Искусственный интеллект в офтальмологии

Интеграция в рабочий процесс	Понимание технических, когнитивных, социальных и политических факторов, а также стимулов, влияющих на интеграцию ИИ в рабочие процессы здравоохранения.
Повышение объяснимости и интерпретируемости	Для содействия интеграции ИИ в рабочие процессы здравоохранения следует определить, что именно нуждается в объяснении, и подобрать подходы для обеспечения понимания всеми членами медицинской команды.
Обучение персонала	Продвижение образовательных программ для информирования клиницистов о подходах ИИ/машинного обучения и формирования соответствующего кадрового потенциала.
Надзор и регулирование	Рассмотрение подходящего механизма регулирования для ИИ/машинного обучения и подходов к оценке алгоритмов и их влияния.
Идентификация и приоритизация проблем	Каталогизация различных областей здравоохранения и общественного здоровья, где ИИ/машинное обучение могли бы принести пользу, с упором на ИИ, направленный на конкретные вмешательства.
Взаимодействие с клиницистами и пациентами	Понимание подходящих подходов к привлечению потребителей и клиницистов к приоритизации, разработке и интеграции ИИ/машинного обучения, а также потенциального влияния алгоритмов ИИ/машинного обучения на отношения между пациентом и врачом.
Качество и доступ к данным	Повышение качества данных, обеспечение доступа к ним и их обмена, а также использование как структурированных, так и неструктурированных данных и интеграция неклинических данных имеют решающее значение для разработки эффективных инструментов ИИ.

Workflow integration	Understand the technical, cognitive, social, and political factors in play and incentives impacting integration of AI into health care workflows.
Enhanced explainability and interpretability	To promote integration of AI into health care workflows, consider what needs to be explained and approaches for ensuring understanding by all members of the health care team.
Workforce education	Promote educational programs to inform clinicians about AI/machine learning approaches and to develop an adequate workforce.
Oversight and regulation	Consider the appropriate regulatory mechanism for AI/machine learning and approaches for evaluating algorithms and their impact.
Problem identification and prioritization	Catalog the different areas of health care and public health where AI/machine learning could make a difference, focusing on intervention-driven AI.
Clinician and patient engagement	Understand the appropriate approaches for involving consumers and clinicians in AI/machine learning prioritization, development, and integration, and the potential impact of AI/machine learning algorithms on the patient-provider relationship.
Data quality and access	Promoting data quality, access, and sharing, as well as the use of both structured and unstructured data and the integration of non-clinical data is critical to developing effective AI tools.

Источник: Matheny ME, Thadaney Israni S, Ahmed M, Whicher D. AI in Health Care: The Hope, the Hype, the Promise, the Peril. Washington, DC: National Academy of Medicine; 2019. https://nam.edu/artificial-intelligence-special-publication

Source: Matheny ME, Thadaney Israni S, Ahmed M, Whicher D. AI in Health Care: The Hope, the Hype, the Promise, the Peril. Washington, DC: National Academy of Medicine; 2019. https://nam.edu/artificial-intelligence-special-publication

Для понимания ограничений моделей на базе ИИ в здравоохранении и ответственности производителей и пользователей ИИ

To understand the limitations of AI-based models in health care and the responsibilities of manufacturers and users of AI

программного обеспечения как медицинского изделия (SaMD) был предложен контрольный список MI-CLAIM для использования при разработке программного обеспечения с ИИ [³⁷]. Его целью является обеспечение прямой оценки клинического эффекта, включая вопросы справедливости и предвзятости, а также обеспечение возможности быстрого воспроизведения технического дизайна любым легитимным клиническим ИИ-

software as a medical device (SaMD), an MI-CLAIM checklist was proposed for use in AI software development [³⁷]. Its purpose is to enable a direct assessment of clinical impact, including considerations of fairness and bias, and to allow rapid replication of the technical design by any legitimate clinical AI

исследованием. Контрольный список MI-CLAIM состоит из шести частей (Таблица 1.3), включая (1) Дизайн исследования; (2) Разделение данных на разделы для обучения и тестирования модели; (3) Оптимизация и окончательный выбор модели; (4) Оценка эффективности; (5) Анализ модели; и (6) Воспроизводимый конвейер обработки данных. Рабочие группы CONSORT-AI и SPIRIT-AI предложили руководства по отчетности для клинических исследований вмешательств с использованием ИИ. Резюме этих

study. The MI-CLAIM checklist has six parts (Table 1.3), including (1) Study design; (2) Separation of data into partitions for model training and model testing; (3) Optimization and final model selection; (4) Performance evaluation; (5) Model examination; and (6) Reproducible pipeline. The CONSORT-AI and SPIRIT-AI working groups have proposed reporting guidelines for clinical trials of interventions involving AI. A summary of these

руководств представлено в Таблице 1.4.

guidelines is presented in Table 1.4.

Таблица 1.3

Table 1.3

Пандемия

The

Контрольный список MI-CLAIM [Источник: Norgeot B, Quer G, Beaulieu-Jones BK, Torkamani A, Dias R, Gianfrancesco M, Arnaout R, Kohane IS, Saria S, Topol E, Obermeyer Z, Yu B, Butte AJ. Minimum information about clinical artificial intelligence modeling: the MI-CLAIM checklist. Nat Med. 2020 Sep;26(9):1320–1324]

MI-CLAIM checklist [Source: Norgeot B, Quer G, Beaulieu-Jones BK, Torkamani A, Dias R, Gianfrancesco M, Arnaout R, Kohane IS, Saria S, Topol E, Obermeyer Z, Yu B, Butte AJ. Minimum information about clinical artificial intelligence modeling: the MI-CLAIM checklist. Nat Med. 2020 Sep;26(9):1320–1324]

Перед подачей статьи
Дизайн исследования (Часть 1)	Выполнено: номер страницы	Примечания, если не выполнено
Клиническая проблема, для решения которой будет использоваться модель, подробно описана в статье.	□
Исследовательский вопрос четко сформулирован.	□
Характеристики когорт (обучающей и тестовой выборок) подробно описаны в тексте.	□
Показано, что когорты (обучающая и тестовая выборки) репрезентативны для реальных клинических условий.	□
The state-of-the-art

Before paper submission
Study design (Part 1)	Completed: page number	Notes if not completed
The clinical problem in which the model will be employed is clearly detailed in the paper.	□
The research question is clearly stated.	□
The characteristics of the cohorts (training and test sets) are detailed in the text.	□
The cohorts (training and test sets) are shown to be representative of real-world clinical settings.	□
The state-of-the-art

Решение, использованное в качестве базового для сравнения, определено и подробно описано. | □ | |

solution used as a baseline for comparison has been identified and detailed. | □ | |

Данные и оптимизация (Части 2, 3)

Data and optimization (Parts 2, 3)

Выполнено: номер страницы

Completed: page number

Примечания, если не выполнено

Notes if not completed

| |

Происхождение данных описано, а исходный формат подробно изложен в статье.

The origin of the data is described and the original format is detailed in the paper.

| □ | | |

Описаны преобразования данных перед их применением в предлагаемой модели.

Transformations of the data before it is applied to the proposed model are described.

| □ | | |

Независимость между обучающей и тестовой выборками была доказана в статье.

The independence between training and test sets has been proven in the paper.

| □ | | |

Приведены сведения о моделях, которые оценивались, и о коде, разработанном для выбора наилучшей модели.

Details on the models that were evaluated and the code developed to select the best model are provided.

| □ | | |

Является ли тип входных данных структурированным или неструктурированным?

Is the input data type structured or unstructured?

| □ | | |

Эффективность модели (Часть 4)

Model performance (Part 4)

Выполнено: номер страницы

Completed: page number

Примечания, если не выполнено

Notes if not completed

| |

Основной показатель, выбранный для оценки эффективности алгоритма (например, AUC, F-score и т. д.), включая обоснование выбора, был четко сформулирован.

The primary metric selected to evaluate algorithm performance (e.g., AUC, F-score, etc.), including the justification for selection, has been clearly stated.

| □ | | | The primary metric

выбранный для оценки клинической полезности модели (например, PPV, NNT и т. д.), включая обоснование выбора, был четко сформулирован. | □ | |

selected to evaluate the clinical utility of the model (e.g., PPV, NNT, etc.), including the justification for selection, has been clearly stated. | □ | |

Сравнение эффективности базовой и предлагаемой моделей представлено с соответствующей статистической значимостью.

The performance comparison between baseline and proposed model is presented with the appropriate statistical significance.

| □ | | |

Анализ модели (Часть 5)

Model examination (Part 5)

Выполнено: номер страницы

Completed: page number

Примечания, если не выполнено

Notes if not completed

| |

Метод исследования 1^a

Examination technique 1^a

| □ | | |

Метод исследования 2^a

Examination technique 2^a

| □ | | |

Представлено обсуждение значимости результатов исследования в отношении эффективности модели/алгоритма.

A discussion of the relevance of the examination results with respect to model/algorithm performance is presented.

| □ | | |

Представлено обсуждение возможности и значимости интерпретируемости модели на уровне отдельного случая, если методы исследования не поддаются интерпретации.

A discussion of the feasibility and significance of model interpretability at the case level if examination methods are uninterpretable is presented.

| □ | | |

Включено обсуждение надежности и устойчивости модели при смещении распределения базовых данных.

A discussion of the reliability and robustness of the model as the underlying data distribution shifts is included.

| □ | | |

Воспроизводимость (Часть 6): выберите соответствующий уровень прозрачности

Reproducibility (Part 6): choose appropriate tier of transparency

| |

Примечания

Notes

| |

Уровень 1: полный совместный доступ к коду

Tier 1: complete sharing of the code

| □ | | |

Уровень 2: предоставление третьей стороне возможности оценить код на точность/справедливость; совместное использование результатов этой оценки

Tier 2: allow a third party to evaluate the code for accuracy/fairness; share the results of this evaluation

| □ | | |

Уровень 3: выпуск виртуальной машины (бинарного файла) для запуска кода на новых данных без раскрытия его деталей

Tier 3: release of a virtual machine (binary) for running the code on new data without sharing its details

| □ | | |

Уровень 4: отсутствие совместного доступа

Tier 4: no sharing

| □ | |

PPV — прогностическая ценность положительного результата, NNT — число необходимых для лечения

PPV positive predictive value, NNT numbers needed to treat

^aТипичные способы анализа в зависимости от типа исследования: для исследований, использующих исключительно структурированные данные, часто подходят коэффициенты и анализ чувствительности; для исследований с неструктурированными данными в области анализа изображений или обработки естественного языка часто подходят карты значимости (или их аналоги) и анализ чувствительности.

^aCommon examination approaches based on study type: for studies involving exclusively structured data, coefficients and sensitivity analysis are often appropriate; for studies involving unstructured data in the domains of image analysis or natural language processing, saliency maps (or equivalents) and sensitivity analyses are often appropriate

Таблица 1.4

Table 1.4

Основные темы CONSORT-AI

Major topics of CONSORT-AI

расширение

extension

1. Укажите критерии включения и исключения на уровне участников 2. Укажите критерии включения и исключения на уровне входных данных 3. Опишите, как вмешательство с использованием ИИ было интегрировано в условия исследования, включая любые требования к работе на месте или удаленно 4. Укажите, какая версия алгоритма ИИ использовалась 5. Опишите, как входные данные были получены и отобраны для вмешательства с использованием ИИ 6. Опишите, как оценивались и обрабатывались входные данные низкого качества или отсутствующие данные 7. Уточните, имело ли место взаимодействие человека и ИИ при обработке входных данных, и какой уровень квалификации требовался от пользователей 8. Укажите результат работы вмешательства с использованием ИИ 9. Объясните, как результаты вмешательства с использованием ИИ повлияли на принятие решений или другие элементы клинической практики 10. Опишите результаты любого анализа ошибок эффективности и то, как выявлялись ошибки, если такие данные доступны. Если подобный анализ не планировался или не проводился, объясните почему.

1. State the inclusion and exclusion criteria at the level of participants 2. State the inclusion and exclusion criteria at the level of the input data 3. Describe how the AI intervention was integrated into the trial setting, including any onsite or offsite requirements 4. State which version of the AI algorithm was used 5. Describe how the input data were acquired and selected for the AI intervention 6. Describe how poor-quality or unavailable input data were assessed and handled 7. Specify whether there was human—AI interaction in the handling of the input data, and what level of expertise was required for users 8. Specify the output of the AI intervention 9. Explain how the AI intervention’s outputs contributed to decision-making or other elements of clinical practice 10. Describe results of any analysis of performance errors and how errors were identified, where available. If no such analysis was planned or done, explain why not.

Источник: Адаптировано из Liu X, Cruz Rivera S, Moher D, Calvert MJ, Denniston AK; SPIRIT-AI and CONSORT-AI Working Group. Reporting guidelines for clinical trial reports for interventions involving artificial intelligence: the CONSORT-AI extension. Lancet Digit Health. 2020 Oct;2(10):e537–e548

Source: Adapted from Liu X, Cruz Rivera S, Moher D, Calvert MJ, Denniston AK; SPIRIT-AI and CONSORT-AI Working Group. Reporting guidelines for clinical trial reports for interventions involving artificial intelligence: the CONSORT-AI extension. Lancet Digit Health. 2020 Oct;2(10):e537–e548