Регулирование медицинских изделий на базе ИИ: демонстрация пользы и безопасности
Regulating AI-Based Medical Devices: Demonstrating Benefit and Safety
Одной из многих проблем в области ИИ является определение того, что представляет собой доказательство воздействия и
One of many challenges in the field of AI is determining what constitutes evidence of impact and
пользы медицинских изделий с ИИ и кто должен оценивать эти доказательства [2]. Большинство исследований ИИ проводятся в экспериментальных условиях и на основе предварительно отобранных данных. Они могут дать недостаточное представление об использовании приложений ИИ в неоднородных условиях реального медицинского обслуживания.
benefit for AI medical devices and who should assess the evidence [2]. The majority of AI studies are conducted in experimental conditions and based on preselected data. They might provide inadequate insight into the use of AI applications in heterogeneous, real-world care settings.
Lee и др. протестировали семь алгоритмов, используемых в клинической практике по всему миру, включая один с
Lee et al. tested seven algorithms being used clinically around the world, including one with
одобрением Управления по санитарному надзору за качеством пищевых продуктов и медикаментов США (FDA) и четыре, разработчики которых подали заявки на одобрение FDA. Они обнаружили, что большинство этих алгоритмов работали в реальных ситуациях хуже, чем в экспериментальных: только у трех из семи и одного из семи алгоритмов чувствительность и специфичность были сопоставимы с показателями экспертов-людей соответственно. Только один алгоритм работал так же эффективно, как эксперты-люди [11]. Другой из протестированных алгоритмов работал значительно хуже экспертов-людей при всех уровнях тяжести ДР — он пропустил 25,58% случаев запущенной ретинопатии, что могло иметь серьезные последствия. Одной из потенциальных опасностей клинического использования алгоритмов, выявленных в данном исследовании, был риск применения алгоритма, обученного на определенной демографической группе, к популяции, которая отличается по таким факторам, как этническая принадлежность, возраст и пол. Более того, многие
US Food and Drug Administration (FDA) approval and four whose developers have submitted applications for FDA approval. They found that most of these algorithms performed worse in real-world, compared with experimental, situations, with only three of seven and one of seven having comparable sensitivity and specificity to the human graders, respectively. Only one algorithm performed as well as human graders [11]. Another of the algorithms tested performed significantly worse than human graders at all levels of DR severity—it missed 25.58% of cases of advanced retinopathy, which could have serious consequences. One of the potential hazards of the clinical use of algorithms identified in this study was the risk of applying an algorithm trained on a particular demographic group to a population that differs in factors such as ethnicity, age, and sex. Moreover, many
исследования алгоритмов, разработанных с помощью
studies of algorithms developed with
ИИ, исключали изображения низкого качества, рассматривая их как не подлежащие оценке, а также пациентов с сопутствующими заболеваниями глаз, что делает их менее отражающими условия реального мира.
AI have excluded low-quality images, treating them as ungradable images, and patients with comorbid eye diseases, making them less reflective of real-world conditions.
Исследование Lee и др. показывает важность и ограничения процесса регистрации медицинских изделий на базе ИИ. Регистрация в FDA
The study by Lee et al. shows the importance and limitations of the registration process of AI-based medical devices. FDA
регистрация
registration
основана на централизованной системе, в которой отсутствует конкретный, легкодоступный регуляторный путь для медицинских изделий на базе ИИ. FDA одобряет медицинские изделия тремя путями: путем предпродажного одобрения (premarket approval), путем предпродажного рассмотрения de-novo и путем 510(k) [12, 13]. Ведущими дисциплинами ИИ в медицине являются радиология, кардиология, внутренняя медицина/эндокринология, неврология, офтальмология, неотложная помощь и онкология. Количество одобрений FDA для медицинских изделий на базе ИИ неуклонно росло в последние годы; их было 9 в 2015 году, 13 в 2016 году, 32 в 2017 году, 67 в 2018 году и 77 в 2019 году, при этом большинство устройств предназначены для использования в радиологии, кардиологии и неврологии [12]. Интересно, что 85% одобренных FDA медицинских изделий в период с 2015 по 2019 годы были предназначены для использования специалистами здравоохранения и только 15% — для использования пациентами. Наиболее известными одобренными FDA медицинскими изделиями на базе ИИ в области офтальмологии являются IDx-DR (2018), первое программное обеспечение, позволяющее принимать решения о скрининге, которые не требуют интерпретации врачом, и Eyenuk (2020), которое, подобно
is based on a centralized system, which does not have a specific, easily accessible regulatory pathway for AI-based medical devices. FDA clears the medical devices through three pathways: the premarket approval pathway, the de-novo premarket review, and the 510(k) pathway [12, 13]. The leading AI disciplines in medicine are radiology, cardiology, internal medicine/endocrinology, neurology, ophthalmology, emergency medicine, and oncology. FDA approvals of AI-based medical devices have increased steadily in recent years; there were 9 in 2015, 13 in 2016, 32 in 2017, 67 in 2018, and 77 in 2019, with the majority of devices designed for use in radiology, cardiology, and neurology [12]. Interestingly, 85% of FDA-approved medical devices in the years 2015–2019 were intended for use by health-care professionals, and only 15% for use by patients. The best-known, FDA-approved, AI-based medical devices in the field of ophthalmology are IDx-DR (2018), the first software to provide screening decisions that do not have to be interpreted by a clinician, and Eyenuk (2020), which, like
IDx-DR
, проводит скрининг диабетической ретинопатии.
, screens for diabetic retinopathy.
В Европейской экономической зоне, которая включает страны Европейского союза (ЕС) и членов Европейской ассоциации свободной торговли (ЕАСТ)
In European Economic Area, which includes the European Union (EU) countries and the European Free Trade Association (EFTA)
(Исландию, Лихтенштейн, Норвегию и Швейцарию), медицинские изделия одобряются децентрализованно.
members (Iceland, Lichtenstein, Norway, and Switzerland), medical devices are approved in a decentralized manner.
Маркировка Conformité Européenne (CE) указывает на соответствие стандартам ЕС в области здравоохранения,
Conformité Européenne (CE) marking indicates conformity with EU health,
безопасности и охраны окружающей среды. Для медицинских изделий с самым низким уровнем риска (класс CE I) производитель гарантирует соответствие продукта нормативным требованиям, и процедура одобрения не требуется. Процедура регистрации медицинских изделий с более высоким уровнем риска (классы CE IIa, IIb и III) осуществляется частными организациями, называемыми нотифицированными органами, которые аккредитованы для оценки устройств и присвоения маркировки CE.
safety, and environmental-protection standards. For the lowest-risk medical devices (CE class I), the manufacturer ensures that the product complies with regulations and an approval procedure is not required. The registration procedure for higher-risk medical devices (CE class IIa, IIb, and III) is handled by private entities, called notified bodies, that have been accredited to assess the devices and issue a CE mark.
Тринадцать
Thirteen
медицинских изделий на базе ИИ с маркировкой CE были одобрены в 2015 году, 27 в 2016 году, 26 в 2017 году, 55 в 2018 году и 100 в 2019 году. Большинство из них были разработаны для использования в радиологии, общей госпитальной помощи, кардиологии, неврологии, офтальмологии (12 устройств) и патологии, и большинство из них относились к устройствам класса IIa (40%), класса I (35%) или класса IIb (12%) [12]. Из устройств на базе ИИ, получивших маркировку CE в период с 2015 по 2019 годы, 124 (52%) также были одобрены FDA, что составило 56% от всех инструментов на базе ИИ, одобренных FDA за этот период. Крупные компании с большей вероятностью получали оба одобрения, в то время как более мелкие компании чаще получали только маркировку CE. Авторы этого исследования предположили, что европейская система одобрения
CE-marked AI-based medical devices were approved in 2015, 27 in 2016, 26 in 2017, 55 in 2018, and 100 in 2019. The majority were designed for use in radiology, general hospital care, cardiology, neurology, ophthalmology (12 devices), and pathology, and most were class IIa (40%), class I (35%), or class IIb (12%) devices [12]. Of the AI-based devices that were CE-marked between 2015 and 2019, 124 (52%) were also FDA approved, making up 56% of the AI-based tools that the FDA approved in those. Bigger companies were more likely to get both approvals, whereas smaller companies were more likely to obtain only a CE mark. The authors of this study suggested that the European approval
была менее строгой, чем американская. Этот вывод подтверждается отчетом FDA о 12 устройствах, которые получили только одобрение CE, а позже оказались небезопасными или неэффективными [13, 14]. Основной проблемой при изучении устройств с маркировкой CE в Европейской экономической зоне является отсутствие общедоступного реестра одобренных устройств, сопоставимого с реестром FDA. Более того, информация, предоставляемая нотифицированным органам, является конфиденциальной. В 2022 году заработает новая европейская база данных по медицинским изделиям (Eudamed), предоставляющая актуальную картину жизненного цикла медицинских изделий. Она будет состоять из шести модулей, включая регистрацию участников, уникальную идентификацию устройств (UDI), регистрацию устройств, нотифицированные органы и сертификаты, клинические исследования и испытания эффективности, а также
system was less rigorous than the US one. This conclusion is supported by an FDA report on 12 devices that received CE approval only and later were found to be unsafe or ineffective [13, 14]. A major problem in studying CE-marked devices in the European Economic Area is the lack of a publicly available register of approved devices comparable to the FDA register. Moreover, the information submitted to the notified bodies is confidential. In 2022, a new European database on medical devices (Eudamed), providing a live picture of the lifecycle of medical devices, will become operational. It will be composed of six modules, including actor registration, unique device identification (UDI), device registration, notified bodies and certificates, clinical investigations and performance studies, and
Доступ к надежным данным
Access to Reliable Data
Обучение алгоритмов глубокого обучения (DL) требует больших наборов данных с тысячами или даже сотнями тысяч разнообразных, хорошо сбалансированных и точно размеченных изображений [16].
DL algorithm training requires large data sets with thousands or even hundreds of thousands of diverse, well-balanced, and accurately labeled images [16]. The
Ресурсы, необходимые для исследования в области ИИ, представлены на рис. 1.6. Огромное количество необходимых изображений редко удается получить из отдельных центров; таким образом, они запрашиваются из репозиториев данных или центров, которые согласны поделиться данными. Растет потребность в консенсусе по стандартизированным определениям медицинских сущностей; соглашениям по форматированию данных; идентификации единиц измерения; протоколам очистки, гармонизации и валидации данных; стандартам обмена и повторного использования данных и обмена кодом, реализующим модели ИИ; а также внедрению открытых интерфейсов прикладного программирования (API) для моделей ИИ [17]. Это необходимо для обмена данными и открытого взаимодействия в области ИИ, что имеет решающее значение для проведения воспроизводимых исследований, необходимых до того, как технология ИИ
resources required for an AI study are presented in Fig. 1.6. The enormous numbers of required images rarely can be obtained from individual centers; thus they are secured from data repositories or centers that agree to share data. There is a growing need for consensus on standardized definitions of medical entities; conventions for data formatting; identification of units of measure; protocols for data cleaning, harmonization, and validation; standards for sharing and reusing data and sharing of code implementing AI models; and the adoption of open application program interfaces to AI models [17]. This is required for data sharing and open communication in AI, which is critical for conducting the reproducible research that is necessary before AI
будет внедрена в здравоохранение.
technology can be adopted in health care.
Рис. 1.6
Fig. 1.6
Схематическое представление
The schematic presentation of
ресурсов, необходимых для исследования в области ИИ
resources required for an AI study
Kermany и др. использовали DL-анализ набора данных из
Kermany et al. used a DL analysis of a data set of
изображения оптической когерентной томографии для сортировки и диагностики хориоидальной неоваскуляризации, диабетического макулярного отека и друз. Они продемонстрировали эффективность, сопоставимую с эффективностью экспертов-людей, и обеспечили более прозрачный и интерпретируемый диагноз, выделяя области, распознанные нейронной сетью. Кроме того, они показали, что подход с использованием трансферного обучения дал лишь незначительно худшие результаты (двукратное увеличение ошибки по сравнению с полным набором данных), используя при этом примерно в 20 раз меньше изображений. Они также продемонстрировали более широкую применимость этого подхода, применив его для выявления педиатрической пневмонии по рентгеновским снимкам грудной клетки. Они предоставили свои данные и код в общедоступной базе данных, чтобы облегчить их использование другими биомедицинскими исследователями с целью улучшения
optical coherence tomography images for triage and diagnosis of choroidal neovascularization, diabetic macular edema, and drusen. They demonstrated performance comparable to that of human experts and provided a more transparent and interpretable diagnosis by highlighting the regions recognized by the neural network. Further, they showed that a transfer-learning approach produced only modestly worse results (twofold increase of error, compared with the full data set) while using approximately 20 times fewer images. They also demonstrated the wider utility of this approach by applying it to the identification of pediatric pneumonia using chest X-ray images. They provided their data and code in a publicly available database to facilitate their use by other biomedical researchers in order to improve the
Трансферное обучение (рис. 1.7 и 1.8) в последние годы использовалось для построения моделей классификации медицинских изображений, поскольку количество изображений, которые могут быть использованы для обучения, относительно мало по сравнению с количеством изображений, доступных для обучения общих моделей [19] (рис. 1.9). Другим подходом к удовлетворению потребности в больших аннотированных обучающих наборах данных может стать использование алгоритмов глубокого обучения (DL) с малым количеством примеров (low-shot DL).
Transfer learning (Figs. 1.7 and 1.8) has been used in recent years to build classification models for medical images because the number of images that can be used for training is relatively small compared to the number of images available to train general models [19] (Fig. 1.9). Another approach to meet the need for large, annotated training data sets might be the use of low-shot DL algorithms.
Обучение с малым количеством примеров (Low-shot learning, LSL), также известное как few-shot learning, представляет собой тип
Low-shot learning (LSL), also known as few-shot learning, is a type of
задач машинного обучения (ML), при которых обучающий набор данных содержит ограниченную информацию. Хорошо известно, что многие ситуации из реальной жизни, включая редкие заболевания (например, серпигинозную хориоретинопатию или ангиоидные стрии при псевдоксантоме эластики), а также нетипичные проявления или подтипы распространенных расстройств, подвержены предвзятости ИИ из-за нехватки или дисбаланса данных. Эти недостатки также могут привести к меньшей точности будущих моделей. При устранении такого рода предвзятости разделение данных по некоторым признакам пациентов (например, возрасту, полу и расе/этнической принадлежности) может привести к созданию более мелких наборов данных, которые могут быть недостаточными для обучения моделей для этих конкретных групп. Исследование Бурлины и др. показало, что эффективность широко используемых методов DL существенно снижалась при использовании ограниченных наборов данных, но методы LSL работали лучше и могут быть применены в диагностике сетчатки
machine learning (ML) problems where the training dataset contains limited information. It is well known that many real-life situations, including rare diseases (e.g., serpiginous choroidopathy or angioid streaks in pseudoxanthoma elasticum) and non-typical presentations or subtypes of common disorders, are prone to AI bias due to the paucity or imbalance of data. These deficiencies may also result in less accurate future models. When addressing this sort of bias, dividing data according to some patient features (e.g., age, sex, and race/ethnicity) may result in smaller data sets that may be insufficient for training models for these particular groups. The study by Burlina et al. showed that the performance of widely used DL methods degraded substantially when used with limited data sets, but LSL methods performed better and might be applied in retinal
в случаях, когда для обучения доступно ограниченное количество изображений сетчатки [20].
diagnostics when a limited number of retina images are available for training [20].
Рис. 1.7
Fig. 1.7
Концепция
The idea of
трансферного обучения.
transfer learning.
Рис. 1.8
Fig. 1.8