| Интеграция в рабочий процесс | Понимание технических, когнитивных, социальных и политических факторов, а также стимулов, влияющих на интеграцию ИИ в рабочие процессы здравоохранения. |
| Повышение объяснимости и интерпретируемости | Для содействия интеграции ИИ в рабочие процессы здравоохранения следует определить, что именно нуждается в объяснении, и подобрать подходы для обеспечения понимания всеми членами медицинской команды. |
| Обучение персонала | Продвижение образовательных программ для информирования клиницистов о подходах ИИ/машинного обучения и формирования соответствующего кадрового потенциала. |
| Надзор и регулирование | Рассмотрение подходящего механизма регулирования для ИИ/машинного обучения и подходов к оценке алгоритмов и их влияния. |
| Идентификация и приоритизация проблем | Каталогизация различных областей здравоохранения и общественного здоровья, где ИИ/машинное обучение могли бы принести пользу, с упором на ИИ, направленный на конкретные вмешательства. |
| Взаимодействие с клиницистами и пациентами | Понимание подходящих подходов к привлечению потребителей и клиницистов к приоритизации, разработке и интеграции ИИ/машинного обучения, а также потенциального влияния алгоритмов ИИ/машинного обучения на отношения между пациентом и врачом. |
| Качество и доступ к данным | Повышение качества данных, обеспечение доступа к ним и их обмена, а также использование как структурированных, так и неструктурированных данных и интеграция неклинических данных имеют решающее значение для разработки эффективных инструментов ИИ. |
Источник: Matheny ME, Thadaney Israni S, Ahmed M, Whicher D. AI in Health Care: The Hope, the Hype, the Promise, the Peril. Washington, DC: National Academy of Medicine; 2019. https://nam.edu/artificial-intelligence-special-publication
Для понимания ограничений моделей на базе ИИ в здравоохранении и ответственности производителей и пользователей ИИ
программного обеспечения как медицинского изделия (SaMD) был предложен контрольный список MI-CLAIM для использования при разработке программного обеспечения с ИИ [37]. Его целью является обеспечение прямой оценки клинического эффекта, включая вопросы справедливости и предвзятости, а также обеспечение возможности быстрого воспроизведения технического дизайна любым легитимным клиническим ИИ-
исследованием. Контрольный список MI-CLAIM состоит из шести частей (Таблица 1.3), включая (1) Дизайн исследования; (2) Разделение данных на разделы для обучения и тестирования модели; (3) Оптимизация и окончательный выбор модели; (4) Оценка эффективности; (5) Анализ модели; и (6) Воспроизводимый конвейер обработки данных. Рабочие группы CONSORT-AI и SPIRIT-AI предложили руководства по отчетности для клинических исследований вмешательств с использованием ИИ. Резюме этих
руководств представлено в Таблице 1.4.
Таблица 1.3
Пандемия
Контрольный список MI-CLAIM [Источник: Norgeot B, Quer G, Beaulieu-Jones BK, Torkamani A, Dias R, Gianfrancesco M, Arnaout R, Kohane IS, Saria S, Topol E, Obermeyer Z, Yu B, Butte AJ. Minimum information about clinical artificial intelligence modeling: the MI-CLAIM checklist. Nat Med. 2020 Sep;26(9):1320–1324]
| Перед подачей статьи | ||
|---|---|---|
| Дизайн исследования (Часть 1) | Выполнено: номер страницы | Примечания, если не выполнено |
| Клиническая проблема, для решения которой будет использоваться модель, подробно описана в статье. | □ | |
| Исследовательский вопрос четко сформулирован. | □ | |
| Характеристики когорт (обучающей и тестовой выборок) подробно описаны в тексте. | □ | |
| Показано, что когорты (обучающая и тестовая выборки) репрезентативны для реальных клинических условий. | □ | |
| The state-of-the-art |
Решение, использованное в качестве базового для сравнения, определено и подробно описано. | □ | |
|
Данные и оптимизация (Части 2, 3)
|
Выполнено: номер страницы
|
Примечания, если не выполнено
| |
Происхождение данных описано, а исходный формат подробно изложен в статье.
| □ | | |
Описаны преобразования данных перед их применением в предлагаемой модели.
| □ | | |
Независимость между обучающей и тестовой выборками была доказана в статье.
| □ | | |
Приведены сведения о моделях, которые оценивались, и о коде, разработанном для выбора наилучшей модели.
| □ | | |
Является ли тип входных данных структурированным или неструктурированным?
| □ | | |
Эффективность модели (Часть 4)
|
Выполнено: номер страницы
|
Примечания, если не выполнено
| |
Основной показатель, выбранный для оценки эффективности алгоритма (например, AUC, F-score и т. д.), включая обоснование выбора, был четко сформулирован.
| □ | | | The primary metric
выбранный для оценки клинической полезности модели (например, PPV, NNT и т. д.), включая обоснование выбора, был четко сформулирован. | □ | |
|
Сравнение эффективности базовой и предлагаемой моделей представлено с соответствующей статистической значимостью.
| □ | | |
Анализ модели (Часть 5)
|
Выполнено: номер страницы
|
Примечания, если не выполнено
| |
Метод исследования 1a
| □ | | |
Метод исследования 2a
| □ | | |
Представлено обсуждение значимости результатов исследования в отношении эффективности модели/алгоритма.
| □ | | |
Представлено обсуждение возможности и значимости интерпретируемости модели на уровне отдельного случая, если методы исследования не поддаются интерпретации.
| □ | | |
Включено обсуждение надежности и устойчивости модели при смещении распределения базовых данных.
| □ | | |
Воспроизводимость (Часть 6): выберите соответствующий уровень прозрачности
| |
Примечания
| |
Уровень 1: полный совместный доступ к коду
| □ | | |
Уровень 2: предоставление третьей стороне возможности оценить код на точность/справедливость; совместное использование результатов этой оценки
| □ | | |
Уровень 3: выпуск виртуальной машины (бинарного файла) для запуска кода на новых данных без раскрытия его деталей
| □ | | |
Уровень 4: отсутствие совместного доступа
| □ | |
PPV — прогностическая ценность положительного результата, NNT — число необходимых для лечения
aТипичные способы анализа в зависимости от типа исследования: для исследований, использующих исключительно структурированные данные, часто подходят коэффициенты и анализ чувствительности; для исследований с неструктурированными данными в области анализа изображений или обработки естественного языка часто подходят карты значимости (или их аналоги) и анализ чувствительности.
Таблица 1.4
Основные темы CONSORT-AI
расширение
| 1. Укажите критерии включения и исключения на уровне участников 2. Укажите критерии включения и исключения на уровне входных данных 3. Опишите, как вмешательство с использованием ИИ было интегрировано в условия исследования, включая любые требования к работе на месте или удаленно 4. Укажите, какая версия алгоритма ИИ использовалась 5. Опишите, как входные данные были получены и отобраны для вмешательства с использованием ИИ 6. Опишите, как оценивались и обрабатывались входные данные низкого качества или отсутствующие данные 7. Уточните, имело ли место взаимодействие человека и ИИ при обработке входных данных, и какой уровень квалификации требовался от пользователей 8. Укажите результат работы вмешательства с использованием ИИ 9. Объясните, как результаты вмешательства с использованием ИИ повлияли на принятие решений или другие элементы клинической практики 10. Опишите результаты любого анализа ошибок эффективности и то, как выявлялись ошибки, если такие данные доступны. Если подобный анализ не планировался или не проводился, объясните почему. |
Источник: Адаптировано из Liu X, Cruz Rivera S, Moher D, Calvert MJ, Denniston AK; SPIRIT-AI and CONSORT-AI Working Group. Reporting guidelines for clinical trial reports for interventions involving artificial intelligence: the CONSORT-AI extension. Lancet Digit Health. 2020 Oct;2(10):e537–e548