Схема сверточной нейронной
Schematic of a convolutional neural
сети и трансферного обучения
network and transfer learning
Рис. 1.9
Fig. 1.9
Схематическая диаграмма
The schematic diagram of
трансферного обучения. Источник: Lingling Li et al*.* Diabetic retinopathy identification system based on transfer learning. 2020. J. Phys.: Conf. Ser. 1544 012133. https://doi.org/10.1088/1742-6596/1544/1/012133. Контент данной работы может быть использован на условиях лицензии Creative Commons Attribution 3.0
transfer learning. Source: Lingling Li et al*.* Diabetic retinopathy identification system based on transfer learning. 2020. J. Phys.: Conf. Ser. 1544 012133. https://doi.org/10.1088/1742-6596/1544/1/012133. Content from this work may be used under the terms of the Creative Commons Attribution 3.0 licence
Другим подходом, предложенным несколькими авторами для решения проблемы ограниченных наборов данных, является использование
Another approach that has been suggested by several authors to address the problem of limited data sets is the use of
генеративно-состязательных сетей (GAN)
generative adversarial networks (GANs)
для синтеза новых изображений из обучающего набора реальных изображений. GAN — это модели ML, которые могут генерировать новые данные с той же статистикой, что и обучающий набор (рис. 1.10). Например, GAN, обученная на фотографиях, может создавать фотографии несуществующих людей, которые выглядят так же достоверно, как реальные люди (рис. 1.11). Искусственные фотографии можно найти по адресу https://thispersondoesnotexist.com. Было предложено множество применений GAN, включая искусство, моду, рекламу, науку, видеоигры, однако возникли опасения по поводу злонамеренного использования, например, для создания фальшивых, возможно,
to synthesize new images from a training data set of real images. GANs are ML models that can generate new data with the same statistics as the training set (Fig. 1.10). For example, a GAN trained on photographs can generate photographs of non-existing persons that look as authentic as real humans (Fig. 1.11). Artificial photos can be found at https://thispersondoesnotexist.com. Many applications of GAN have been proposed, including, art, fashion, advertising, science, video games, however, concerns about malicious uses were also raised, e.g., to produce fake, possibly
компрометирующих
incriminating
, фотографий и видео.
, photographs and videos.
Рис. 1.10
Fig. 1.10
Схематическое
The schematic
представление
presentation
генеративно-состязательной сети (GAN)
of generative adversarial network (GAN)
Рис. 1.11
Fig. 1.11
Изображение молодой
The image of a young
женщины,
woman
созданное StyleGAN, генеративно-состязательной сетью (GAN). Человека на этой фотографии не существует, он был создан искусственным интеллектом на основе анализа портретов. Источник: https://commons.wikimedia.org/wiki/File:Woman_1.jpg. Этот файл находится в общественном достоянии, поскольку, являясь результатом работы компьютерного алгоритма или искусственного интеллекта, он не имеет автора-человека, которому принадлежали бы авторские права
generated by StyleGAN, an generative adversarial network (GAN). The person in this photo does not exist, but is generated by an artificial intelligence based on an analysis of portraits. Source: https://commons.wikimedia.org/wiki/File:Woman_1.jpg. This file is in the public domain because, as the work of a computer algorithm or artificial intelligence, it has no human author in whom copyright is vested
Burlina и др. использовали набор данных Age-Related Eye Disease Study, содержащий более 130 000 изображений глазного дна, для генерации аналогичного количества синтетических изображений с целью обучения моделей глубокого обучения (DL). Эффективность моделей
Burlina et al. used the Age-Related Eye Disease Study data set of over 130,000 fundus images to generate a similar number of synthetic images to train DL models. The performance of DL
DL,
models
обученных на синтетических изображениях, была почти такой же, как и эффективность моделей, обученных на реальных изображениях [21]. Liu и соавт. показали, что 92% синтетических ОКТ-изображений обладали достаточным качеством для дальнейшей клинической интерпретации. Только около 26–30% синтетических изображений после терапии могли быть точно идентифицированы как синтетические (Рис. 1.8) [22]. Точность моделей, обученных на синтетических изображениях, в прогнозировании влажного или сухого статуса макулы составила 0,85 (95% ДИ 0,74–0,95) [22]. В исследовании Zheng и соавт. качество реальных и синтетических ОКТ-изображений было схожим по оценке двух специалистов по сетчатке. Точность дифференциации реальных и синтетических ОКТ-изображений составила 59,50% для специалиста по сетчатке 1 и 53,67% для специалиста по сетчатке 2. Для локального набора данных модель глубокого обучения (DL), обученная на реальных и синтетических ОКТ-изображениях, имела площадь под кривой 0,99 и 0,98 соответственно. Для клинического набора данных площадь под кривой составила 0,94 для реальной модели и 0,90 для синтетической [23]. Эти исследования позволяют предположить, что
trained with the synthetic images was nearly as good as the performance of models trained on real images [21]. Liu et al. have shown that 92% of synthetic OCT images had sufficient quality for further clinical interpretation. Only about 26–30% of synthetic post-therapeutic images could be accurately identified as synthetic images (Fig. 1.8) [22]. The accuracy of models trained on synthetic images to predict wet or dry macular status was 0.85 (95% CI 0.74–0.95) [22]. In a study by Zheng et al., the image quality of real versus synthetic OCT images was similar as assessed by two retinal specialists. The accuracy of discrimination of real versus synthetic OCT images was 59.50% for retinal specialist 1 and 53.67% for retinal specialist 2. For the local data set, the DL model trained on real and synthetic OCT images had an area under the curve of 0.99 and 0.98, respectively. For the clinical data set, the area under the curve was 0.94 for the real model and 0.90 for the synthetic one [23]. These studies suggest the
GAN
синтетические изображения могут быть использованы клиницистами в образовательных целях и для разработки алгоритмов DL [24].
synthetic images can be used by clinicians for educational purposes and developing DL algorithms [24].
Важным и интересным вопросом является клиническое применение непрерывного машинного обучения (ML), т. е.
An important and interesting issue is the clinical application of continual ML, i.e.,
непрерывного обучения и развития на основе новых данных при сохранении ранее полученных знаний [25]. Однако при реализации этой перспективной концепции существуют технические сложности, включая необходимость предотвращения интерференции между новыми и старыми данными, а также старыми и новыми знаниями. При феномене катастрофической интерференции получение новых данных может привести к резкому снижению эффективности алгоритма. Практическое применение инструментов ИИ в здравоохранении должно внедряться осторожно из-за существования таких рисков. Правила FDA требуют, чтобы одобренные FDA автономные алгоритмы были «заблокированы» в целях безопасности для предотвращения непредсказуемых изменений в будущем. Это требование, однако, направлено на обеспечение безопасности модели, а не на улучшение ее эффективности. Непрерывное обучение могло бы повысить эффективность алгоритмов машинного обучения за счет постепенного исправления и устранения ошибок. Потребуется рассмотреть вопрос о том, как эта
continuous learning and development from new data while retaining previously learned knowledge [25]. However, there are technical challenges to the implementation of this promising concept, including the need to prevent interference between new and old data, and old and new knowledge. In the catastrophic interference phenomenon, the acquisition of new data can lead to an abrupt decrease in the performance of an algorithm. Practical applications of AI tools in health care must be cautiously introduced because of the existence of such risks. FDA regulations require that FDA-approved autonomic algorithms be locked for safety to prevent unpredictable future changes. This requirement, however, is designed to ensure the safety of the model rather than improving its performance. Continual learning could refine the performance of machine-learning algorithms by the gradual correction and elimination of mistakes. It will be necessary to consider how this
технология может быть безопасно внедрена в здравоохранение.
technology can be introduced safely to health care.
Опасности и вызовы ИИ в офтальмологии
Hazards and Challenges of AI in Ophthalmology
Будущее развитие
The future development of
офтальмологии зависит от более качественного и, возможно, неограниченного доступа к медицинским данным, хранящимся в электронных медицинских картах. Однако этот доступ не должен ставить под угрозу конфиденциальность этих крайне чувствительных данных. Существует потребность в эффективном регулировании, которое установит баланс между индивидуальной защитой и общим благом. Одним из подходов к защите конфиденциальности и увеличению размера выборки является передача алгоритмов DL в местные учреждения для переобучения, но без передачи частных данных, использованных для создания алгоритмов. Этот подход «модель к данным», также известный как федеративное обучение, был протестирован в офтальмологии и показал свою эффективность [26].
ophthalmology depends on better and possibly unlimited access to the medical data stored within electronic health records. However, this access cannot be allowed to compromise of privacy of this very sensitive data. There is a need for effective regulations that will set a balance between individual protection and the common good. One approach to protecting privacy and increasing sample size is to share DL algorithms with local institutions for retraining purposes, but without sharing the private data used to build the algorithms. This model-to-data approach, also known as federated learning, was tested in ophthalmology and was shown to work effectively [26].
Согласно Национальному институту стандартов и
According to the US National Institute of Standards and
технологий США, биометрические данные, включая изображения сетчатки, являются персонально идентифицируемой информацией и должны быть защищены от ненадлежащего доступа. Хотя было показано, что модели ИИ способны диагностировать и определять стадию некоторых глазных заболеваний по фотографиям глазного дна, ОКТ и изображениям полей зрения, большинство алгоритмов ИИ тестировались на наборах данных, которые не вполне соответствовали реальным условиям. Популяции пациентов обычно были однородными, а изображения низкого качества и пациенты с множественными патологиями исключались. Необходимы будущие исследования для валидации алгоритмов на изображениях глаз гетерогенных популяций, включая снимки как хорошего, так и плохого качества. В противном случае мы можем столкнуться с ситуацией «хорошего ИИ, который стал плохим». Склонность к выбору только лучших результатов («cherry-picking») может еще больше ухудшить ситуацию. Алгоритмы ИИ могут вести себя непредсказуемо при применении в реальной жизни. Эффективность алгоритма может снизиться после внедрения из-за различий между условиями обучения и тестирования (сдвиг набора данных), вызванных, например,
Technology, biometric data, including retina images, are personally identifiable information and should be protected from inappropriate access. Although AI models have been shown to diagnose and stage some ocular diseases from fundus photographs, OCT, and visual-field images, most AI algorithms were tested on data sets that did not correspond well to real-world conditions. Patient populations were usually homogenous, and poor-quality images and patients with multiple pathologies were excluded. Future studies are needed to validate algorithms on ocular images from heterogeneous populations, including both good- and poor-quality images. Otherwise, we may face the situation of “good AI gone bad.” The tendency to cherry-pick the best results might make the situation even worse. AI algorithms can behave unpredictably when applied in real life. Algorithm performance can degrade after deployment due to the changes between the training and testing conditions (dataset shift), caused, for
использованием изображений, созданных другим устройством, чем то, что было в обучающем наборе, или собранных в другой клинической среде [27–30]. Более того, алгоритмы могут выдавать разные результаты в разное время при предъявлении схожих входных данных [31, 32] — на них могут влиять незначительные изменения качества изображения или посторонние данные на снимке [32–35]. Все эти проблемы могут привести к ошибочному диагнозу и неверным рекомендациям по лечению, подрывая доверие к технологиям ИИ. Ошибка в системе ИИ может нанести вред сотням или даже тысячам пациентов.
example, by using to images generated by a different device than this in the training set or collected in a different clinical environment [27–30]. Moreover, algorithms may return different outputs at different times when presented with similar inputs [31, 32]—they can be affected by minor changes in image quality or extraneous data on an image [32–35]. All these problems might lead to misdiagnosis and erroneous treatment suggestions, breaching trust in AI technologies. An error in an AI system could harm hundreds or even thousands of patients.
скрытые предубеждения, связанные с ИИ; разработка и внедрение соответствующих программ обучения и образования для медицинских работников в целях поддержки ИИ в здравоохранении; а также баланс между инновациями и безопасностью посредством использования регулирования и законодательства для укрепления доверия.
implicit biases related to AI; developing and deploying appropriate training and educational programs for health workers to support health-care AI; and balancing innovation and safety through the use of regulation and legislation to promote trust.
Таблица 1.2
Table 1.2
Практические
Practical
трудности на пути развития и применения инструментов ИИ в клинических условиях
challenges to the advancement and application of AI tools in clinical settings