RADAR

RADAR — это открытая модель зрения и языка от Alibaba DAMO Academy, обученная читать КТ брюшной полости с контрастным усилением и описывать находки так, как это делает врач-радиолог. Проект живёт на GitHub: код для обучения и инференса, предобученные веса на HuggingFace, демо-данные и документация. Ориентирован он на исследователей медицинского ИИ и разработчиков, которые хотят воспроизвести результаты или дообучить модель на своих данных.

В основе — обучение на более чем 400 000 исследований КТ с контрастом и 15 миллионах пар «изображение — текст» с привязкой к анатомии. Важная деталь: модель училась напрямую по клиническим заключениям, без ручной разметки. Авторы позиционируют RADAR как универсальный каркас для радиологического ИИ, который показывает уровень эксперта и на рутинных, и на сложных клинических задачах. Результаты описаны в статье в журнале Science.

Запуск выглядит стандартно для питоновского проекта: нужно создать conda-окружение с Python 3.10 и установить зависимости из requirements.txt. Дальше в папке download_scripts лежат два помощника — один скачает чекпоинты и вспомогательные файлы в ckpt/, второй подтянет вспомогательные данные с обработанными масками. В репозитории уже есть демонстрационный файл в формате NIfTI и предсказания в CSV, так что первый прогон можно сделать без долгой подготовки. Код можно также найти в архиве на Zenodo.

Документация разбита на три руководства, и по ним понятно, что вообще можно делать с проектом:

• Training — обучить RADAR или RADAR+ с нуля либо дообучить на данных MERLIN; сюда же входят инференс и оценка;
• Inference — демо с предобученным чекпоинтом на RAD-CT, а также прогон и оценка модели на внешнем тестовом наборе MERLIN;
• Preprocess — подготовка изображений, масок и текстов заключений, пригодится и для MERLIN, и для собственных данных.

Проект собран на нескольких известных открытых библиотеках — LAVIS, nnU-Net, MONAI и 3D-ResNets-PyTorch, их лицензии сохранены отдельным файлом. Сам RADAR выпущен под Apache License 2.0, то есть использовать его можно свободно, включая коммерческие сценарии, при соблюдении условий лицензии. Если результаты пригодятся в исследовании, авторы просят сослаться на публикацию — BibTeX лежит в README.