Необходимо признать наличие неустранимых конфликтов интересов. Производители, которые разрабатывают и продают
Inherent conflicts of interest should be acknowledged. Manufacturers who develop and market
SaMD (программное обеспечение как медицинское изделие), имеют сильный финансовый интерес в позитивном представлении своих продуктов. Таким образом, конфликты интересов возникают, если они финансируют, проводят и публикуют результаты
SaMD have a strong financial interest in presenting their products positively. Thus, conflicts of interest exist if they fund, conduct, and publish results of
исследований, включая те, в которых могут быть сообщены недостатки их продуктов. Многие из опубликованных работ в области скрининга диабетической ретинопатии на основе ИИ, особенно те, в которых использовались алгоритмы с маркировкой CE и одобрением FDA, были проведены производителями или владельцами патентов.
studies, including those that might report deficiencies in their products. Many of the published papers in the field of AI-based diabetic retinopathy screening, particularly those using CE-marked and FDA-approved algorithms, were conducted by manufacturers or patent owners.
Следует также помнить, что алгоритмы ИИ могут быть спроектированы для работы неэтичными способами. Например, программное обеспечение Greyball компании Uber позволяло компании выявлять и обходить местные нормативные акты, а алгоритм Volkswagen позволял автомобилям проходить тесты на выбросы, снижая их
It should be also remembered that AI algorithms can be designed to perform in unethical ways. For example, Uber’s software Greyball allowed the company to identify and circumvent local regulations, and Volkswagen’s algorithm allowed vehicles to pass emission tests by reducing their
выбросы оксида азота во время тестирования. Алгоритмы ИИ могут быть настроены на извлечение повышенной прибыли для их владельцев путем рекомендации определенных препаратов, тестов или тому подобного без ведома клинических пользователей. Системы ИИ уязвимы для кибератак, которые могут привести к неправильной классификации медицинской информации их алгоритмами [31].
emissions of nitrogen oxide during testing. AI algorithms could be tuned to generate increased profits for their owners by recommending particular drugs, tests, or the like without clinical users’ awareness. AI systems are vulnerable to cybersecurity attacks that could cause their algorithms to misclassify medical information [31].
Семь основных
Seven essential
SaMD (программное обеспечение как медицинское изделие) было надежным, его безопасность должна быть фальсифицируемой. Критические требования к устройству для его полноценного функционирования должны быть определены и должны быть проверяемыми. Если фальсифицируемость невозможна, то критические
SaMD to be trustworthy, its safety should be falsifiable. Critical requirements for a device to be fully functional must be specified and must be testable. If falsifiability is not possible, then the critical
требования не могут быть проверены, и система не должна считаться надежной [38].
requirements cannot be checked, and the system should not be deemed trustworthy [38].
Таблица 1.5
Table 1.5
Основные
Essential
Факторы проектирования ИИ для общественного блага
Factors to design AI for social good
| Факторы | Соответствующие передовые практики | Соответствующий этический принцип |
|---|---|---|
| Фальсифицируемость и поэтапное внедрение | Определение фальсифицируемых требований и их тестирование поэтапно: от лаборатории до «внешнего мира» | Непричинение вреда |
| Защита от манипулирования предикторами | Принятие мер защиты, которые (i) гарантируют, что неказуальные индикаторы не искажают неоправданно вмешательства, и (ii) ограничивают, когда это уместно, знания о том, как входные данные влияют на выходные данные AI4SG систем, для предотвращения манипуляций | Непричинение вреда |
| Контекстуализированное по получателю вмешательство | Создание систем принятия решений в консультации с пользователями, которые взаимодействуют с этими системами и подвергаются их воздействию; с пониманием характеристик пользователей, методов координации, целей и эффектов вмешательства; и с уважением к праву пользователей игнорировать или изменять вмешательства | Автономия |
| Контекстуализированное по получателю объяснение и прозрачные цели | Выбор уровня абстракции для объяснения ИИ, который соответствует желаемой пояснительной цели и уместен для системы и получателей; затем использование аргументов, которые рационально и подходящим образом убедительны для получателя для предоставления объяснения; и обеспечение того, чтобы цель (назначение системы), для которой AI4SG система разрабатывается и внедряется, была по умолчанию известна получателям ее выходных данных | Объяснимость |
| Защита конфиденциальности и согласие субъекта данных | Соблюдение порога согласия, установленного для обработки наборов персональных данных | Непричинение вреда; автономия |
| Ситуативная справедливость | Удаление из соответствующих наборов данных переменных и прокси-переменных, которые не имеют отношения к результату, за исключением случаев, когда их включение способствует инклюзивности, безопасности или другим этическим императивам | Справедливость |
| Человекоориентированная семантизация | Do not hinder the |
| Factors | Corresponding best practices | Corresponding ethical principle |
|---|---|---|
| Falsifiability and incremental deployment | Identify falsifiable requirements and test them in incremental steps from the lab to the “outside world” | Nonmaleficence |
| Safeguards against the manipulation of predictors | Adopt safeguards which (i) ensure that non-causal indicators do not inappropriately skew interventions, and (ii) limit, when appropriate, knowledge of how inputs affect outputs from AI4SG systems, to prevent manipulation | Nonmaleficence |
| Receiver-contextualised intervention | Build decision-making systems in consultation with users interacting with and impacted by these systems; with understanding of users’ characteristics, the methods of coordination, the purposes and effects of an intervention; and with respect for users’ right to ignore or modify interventions | Autonomy |
| Receiver-contextualised explanation and transparent purposes | Choose a Level of Abstraction for AI explanation that fulfils the desired explanatory purpose and is appropriate to the system and the receivers; then deploy arguments that are rationally and suitably persuasive for the receiver to deliver the explanation; and ensure that the goal (the system’s purpose) for which an AI4SG system is developed and deployed is knowable to receivers of its outputs by default | Explicability |
| Privacy protection and data subject consent | Respect the threshold of consent established for the processing of datasets of personal data | Nonmaleficence; autonomy |
| Situational fairness | Remove from relevant datasets variables and proxies that are irrelevant to an outcome, except when their inclusion supports inclusivity, safety, or other ethical imperatives | Justice |
| Human-friendly semanticisation | Do not hinder the |
способность людей семантизировать (то есть придавать смысл и осмысливать) что-либо | Автономия |
ability for people to semanticise (that is, to give meaning to, and make sense of) something | Autonomy |
Источник: Floridi L, Cowls J, King TC, Taddeo M. How to Design AI for Social Good: Seven Essential Factors. Sci Eng Ethics. 2020 Jun;26(3):1771–1796. Springer
Source: Floridi L, Cowls J, King TC, Taddeo M. How to Design AI for Social Good: Seven Essential Factors. Sci Eng Ethics. 2020 Jun;26(3):1771–1796. Springer
Экономическая эффективность устройств на базе ИИ
Cost-Effectiveness of AI-Based Devices
Одним из аргументов в пользу медицинских устройств на базе ИИ
One of the arguments for AI-based medical
устройств заключается в том, что они могут снизить медицинские расходы и исключить ненужные процедуры. Исследование из Сингапура показало, что полуавтоматизированная модель, сочетающая систему глубокого обучения (DL) с оценкой специалистом, обеспечила наилучшую экономическую отдачу, что привело к экономии в 19,5% при скрининге диабетической ретинопатии. В более раннем исследовании из Великобритании сообщалось об экономии средств в размере 12,8–21,0%; однако простое сравнение между ними невозможно из-за различных моделей скрининга ДР в двух странах (двухэтапный скрининг в Сингапуре и трехэтапный скрининг в Великобритании), а также их различных систем классификации ДР. Авторы обоих исследований утверждали, что полуавтоматизированная система обеспечивает большую экономию, чем полностью автоматизированная, за счет более низкого уровня ложноположительных результатов и отсутствия ненужных визитов к специалисту [39, 40].
devices is that they can reduce medical costs and eliminate unnecessary procedures. A study from Singapore found that a semiautomated model that combined a DL system with human assessment achieved the best economic returns, leading to savings of 19.5% in screening for diabetic retinopathy. An earlier study from the UK reported cost-savings of 12.8–21.0%; however, a simple comparison between them is not possible due to the different models of DR screening in the two countries (two-stage screening in Singapore and three-stage screening in the UK), and their different DR classification systems. The authors of both studies argued that a semiautomated system produces more savings than a fully automated system due to the lower rate of false positives and unnecessary specialist visits [39, 40].
Цель данной книги — предоставить офтальмологам, другим специалистам по зрению и исследователям
This book aims to provide ophthalmologists and other visual professionals and researchers with an
обзор текущих исследований в области применения ИИ в офтальмологии. Вместе с командой международных экспертов из Европы, Северной Америки и Азии мы представляем обзор наиболее важных документальных исследований в офтальмологии по технологиям машинного обучения (ML) и ИИ, а также их преимуществам. Мы обсудили использование ИИ в диагностике некоторых заболеваний сетчатки и роговицы, диагностику врожденной катаракты, нейроофтальмологию, глаукому, методы расчета интраокулярных линз, окулярную онкологию, сортировку пациентов в офтальмологии, обучение хирургии катаракты, рефракционную хирургию, а также оценку и прогнозирование системных заболеваний с помощью исследования глаза. Главы по анализу цифровых изображений, основам ИИ и техническим аспектам ИИ дают читателю знания, которыми обычно не обладают офтальмологи, но которые необходимы для понимания темы как в ее
overview of current research into the use of AI in ophthalmology. Together with a team of international experts from Europe, North America, and Asia, we present an overview of the most important documentary research in ophthalmology on ML and AI technologies and their benefits. We discussed the use of AI in the diagnosis of some retinal and corneal disorders, the diagnosis of congenital cataract, neuro-ophthalmology, glaucoma, intraocular lens calculation methods, ocular oncology, ophthalmology triaging, cataract-surgery training, refractive surgery, and the assessment and prediction of systemic diseases through the use of the eye. Chapters on digital-image analysis, AI basics, and technical aspects of AI provide the reader with knowledge not commonly possessed by ophthalmologists, but required to understand the topic in both its
узкоспециальном, так и в более широком контекстах. Очень важная глава о безопасности и эффективности ИИ описывает проблемы, с которыми столкнется офтальмология при внедрении и широком распространении этой технологии. Хотя мы охватили все основные области технологий ИИ/ML в офтальмологии, исследования в этой области продвигаются так быстро, что некоторые новые концепции, появившиеся в конце 2020-го и начале 2021 года, не отражены на этих страницах. Однако доказательная медицина часто требует от нас ожидания дополнительных доказательств для подтверждения ранних отчетов и оценки реальной ценности новых медицинских технологий или приложений. Я хотел бы поблагодарить всех авторов за то, что они поделились своими знаниями в этой новой и увлекательной дисциплине, которая обладает огромным
field-specific and broader contexts. The very important chapter on AI safety and efficacy outlines the challenges ophthalmology will face with the introduction and widespread dissemination of this technology. Although we have covered all of the major areas of AI/ML technology in ophthalmology, research in this field is progressing so quickly that some new concepts that emerged at the end of 2020 and in early 2021 do not appear on these pages. However, evidence-based medicine often demands that we await for more evidence to verify early reports and assess the real value of new medical technologies or applications. I would like to thank all the contributors for sharing their knowledge in this new and fascinating discipline, which has great
потенциалом изменить офтальмологию.
potential to change ophthalmology.
Благодарности
Acknowledgements
Я хотел бы поблагодарить Александру Леманик из Фонда развития офтальмологии (Познань, Польша) и Томаша Кживицкого с факультета математики и информатики Университета Вармии и Мазур (Ольштын, Польша) за помощь в подготовке иллюстраций, а также Шимона Вилка с факультета информатики и телекоммуникаций Познанского технологического университета (Познань, Польша) за ценное обсуждение данной главы.
I would like to thank Aleksandra Lemanik, Foundation for Ophthalmology Development, Poznan, Poland and Tomasz Krzywicki, Faculty of Mathematics and Computer Science, University of Warmia and Mazury, Olsztyn, Poland for their help in preparing illustrations, and Szymon Wilk, Faculty of Computing and Telecommunications, Poznan University of Technology, Poznan, Poland, for his valuable discussion on this chapter.
Список литературы
References
Mitchell M. Artificial intelligence: a guide for thinking humans. Penguin UK; 2019.
Mitchell M. Artificial intelligence: a guide for thinking humans. Penguin UK; 2019.
Topol E. Deep medicine: how artificial intelligence can make healthcare human again. New York: Basic Books; 2019.
Topol E. Deep medicine: how artificial intelligence can make healthcare human again. New York: Basic Books; 2019.
Copeland BJ. Artificial intelligence. Encyclopedia Britannica, 11 August 2020. https://www.britannica.com/technology/artificial-intelligence. Accessed 18 Mar 2021.
Copeland BJ. Artificial intelligence. Encyclopedia Britannica, 11 August 2020. https://www.britannica.com/technology/artificial-intelligence. Accessed 18 Mar 2021.
Singh H, Meyer AN, Thomas EJ. The frequency of diagnostic errors in outpatient care: estimations from three large observational studies involving US adult populations. BMJ Qual Saf. 2014;23(9):727–31.Crossref
Singh H, Meyer AN, Thomas EJ. The frequency of diagnostic errors in outpatient care: estimations from three large observational studies involving US adult populations. BMJ Qual Saf. 2014;23(9):727–31.Crossref
Gunderson CG, Bilan VP, Holleck JL, et al. Prevalence of harmful diagnostic errors in hospitalised adults: a systematic review and meta-analysis. BMJ Qual Saf. 2020;29:1008–18.Crossref
Gunderson CG, Bilan VP, Holleck JL, et al. Prevalence of harmful diagnostic errors in hospitalised adults: a systematic review and meta-analysis. BMJ Qual Saf. 2020;29:1008–18.Crossref
Zwaan L, Singh H. Diagnostic error in hospitals: finding forests not just the big trees. BMJ Qual Saf. 2020;29(12):961–4.Crossref
Zwaan L, Singh H. Diagnostic error in hospitals: finding forests not just the big trees. BMJ Qual Saf. 2020;29(12):961–4.Crossref
Singletary B, Patel N, Heslin M. Patient perceptions about their physician in 2 words: the good, the bad, and the ugly. JAMA Surg. 2017;152(12):1169–70.Crossref
Singletary B, Patel N, Heslin M. Patient perceptions about their physician in 2 words: the good, the bad, and the ugly. JAMA Surg. 2017;152(12):1169–70.Crossref
Benjamens S, Dhunnoo P, Meskó B. The state of artificial intelligence-based FDA-approved medical devices and algorithms: an online database. NPJ Digit Med. 2020;3:118.Crossref
Benjamens S, Dhunnoo P, Meskó B. The state of artificial intelligence-based FDA-approved medical devices and algorithms: an online database. NPJ Digit Med. 2020;3:118.Crossref