Может ли базовая модель, обученная на естественных изображениях, превзойти специализированную ретинальную модель в выявлении глазных и системных заболеваний?

Может ли базовая модель, обученная на естественных изображениях, превзойти специализированную ретинальную модель в выявлении глазных и системных заболеваний?

Появление базовых моделей (FMs) привело к смене парадигмы в подходах глубокого обучения в медицине.¹, ², ³, ⁴ Благодаря доступности крупномасштабных высококачественных наборов неструктурированных данных и передовым методам самообучения, FMs демонстрируют превосходство в выполнении множества задач с высокой адаптивностью и обобщающей способностью к новым, ранее не встречавшимся задачам, часто требуя минимальной тонкой настройки.^5,6 В офтальмологии внедрение RETFound, первой специализированной ретинальной FM, разработанной Zhou et al⁷ в 2023 г., привело к значительной трансформации подходов глубокого обучения для анализа медицинских изображений. Используя архитектуру Vision Transformer (ViT)^8,9 в качестве основы и подход к самообучению на базе маскированного автоэнкодера¹⁰, RETFound была предварительно обучена на разнообразном наборе данных, включающем 1,4 млн естественных изображений (ImageNet-1K), ∼900 000 цветных фотографий глазного дна (CFPs) и ∼730 000 сканов ОКТ (OCT). Такой подход к предварительному обучению позволил RETFound эффективно извлекать и изучать признаки и представления сетчатки, повышая диагностическую эффективность, эффективность использования данных и обобщающую способность при решении офтальмологических и системных клинических задач.¹¹, ¹², ¹³