Содержание
Может ли базовая модель, обученная на естественных изображениях, превзойти специализированную ретинальную модель в выявлении глазных и системных заболеваний?
- Hou QХау К
- Zhou YЖау И
- Lin Goh JHЛин Гох Джх
- Zou KЗау К
- Yew SMEЕв См
- Srinivasan SСринивасан С
- Wang MВанг М
- Lo TWSЛо Твс
- Lei XЛей Кс
- Wagner SKВагнер Ск
- Chia MAЧиа Ма
- Yang GDЯнг Гд
- Jiang HДжианг Х
- Ran ARРан Ар
- Santos RСантос Р
- Somfai GMСомфей Гм
- Zhou JHЖау Джх
- Chen HЧен Х
- Chen QЧен К
- Y Cheung CИ Чеунг К
- Keane PAКеан Па
- Tham YCТам Ис
Может ли базовая модель, обученная на естественных изображениях, превзойти специализированную ретинальную модель в выявлении глазных и системных заболеваний?
Can a Natural Image-Based Foundation Model Outperform a Retina-Specific Model in Detecting Ocular and Systemic Diseases?
Появление базовых моделей (FMs) привело к смене парадигмы в подходах глубокого обучения в медицине.1, 2, 3, 4 Благодаря доступности крупномасштабных высококачественных наборов неструктурированных данных и передовым методам самообучения, FMs демонстрируют превосходство в выполнении множества задач с высокой адаптивностью и обобщающей способностью к новым, ранее не встречавшимся задачам, часто требуя минимальной тонкой настройки.5,6 В офтальмологии внедрение RETFound, первой специализированной ретинальной FM, разработанной Zhou et al7 в 2023 г., привело к значительной трансформации подходов глубокого обучения для анализа медицинских изображений. Используя архитектуру Vision Transformer (ViT)8,9 в качестве основы и подход к самообучению на базе маскированного автоэнкодера10, RETFound была предварительно обучена на разнообразном наборе данных, включающем 1,4 млн естественных изображений (ImageNet-1K), ∼900 000 цветных фотографий глазного дна (CFPs) и ∼730 000 сканов ОКТ (OCT). Такой подход к предварительному обучению позволил RETFound эффективно извлекать и изучать признаки и представления сетчатки, повышая диагностическую эффективность, эффективность использования данных и обобщающую способность при решении офтальмологических и системных клинических задач.11, 12, 13
The advent of foundation models (FMs) have ushered in a paradigm shift in medical deep learning approaches.1, 2, 3, 4 Driven by the availability of large-scale high-quality unstructured data sets and advanced self-supervised learning methods, FMs excel in performing multiple tasks with high adaptability and generalizability to new unseen tasks, often requiring minimal fine-tuning.5,6 In ophthalmology, the introduction of RETFound, the first retina-specific FM developed by Zhou et al7 in 2023, led to a significant transformation in deep learning approaches for medical image analysis. Using a Vision Transformer (ViT)8,9 backbone and a masked autoencoder–based10 self-supervised learning approach, RETFound was pretrained on a diverse dataset of 1.4 million natural images (ImageNet-1K), ∼900 000 color fundus photographs (CFPs), and ∼730 000 OCT scans. This pretraining approach enabled RETFound to effectively extract and learn retinal features and representations, enhancing diagnostic performance, data efficiency, and generalizability across ophthalmic and systemic clinical tasks.11, 12, 13
Дальше — с подпиской Awamed+
Осталось ещё 122 абзаца. Подписка открывает материал целиком вместе с оригиналом, рисунками и файлами.