Пациент ложится под компьютерный томограф, врач ищет ответ на конкретный вопрос: есть ли пневмония, не проросла ли опухоль, не повреждены ли сосуды. Исследователи из Медицинской школы Перельмана при Пенсильванском университете показали: КТ-снимки несут гораздо больше информации — её только надо уметь извлекать. Модель Percival, обученная на 400 000 КТ-исследований из биобанка Penn Medicine, выявляет на томограммах признаки болезней, для которых сканирование изначально не назначали: мерцательную аритмию, железодефицитную анемию, хроническую почечную недостаточность и другие.

Percival — визуально-языковая модель. Она сопоставляет трёхмерные изображения с радиологическими отчётами и учится находить в картинке те паттерны, которые радиологи описывают словами. Статья вышла в журнале npj Digital Medicine. Пока модель проходит доклинические испытания и не готова к рутинному применению в больнице.

Чем модель отличается от обычного поиска патологий

Большинство ИИ-инструментов для КТ работают по заданию: «найди рак лёгкого» или «измерь объём сердца». Percival не получает конкретной инструкции. Её обучали на парах «изображение — текст отчёта», не указывая, на какие диагнозы обращать внимание. В итоге модель сама выделила в снимках структуры, которые связаны с десятками заболеваний, включая те, что обычно не видны на КТ.

Представим упрощённую ситуацию. У вас есть тысяча КТ грудной клетки. Обычная модель ищет на них затемнения — возможные очаги пневмонии. Percival, анализируя ту же картинку, дополнительно замечает, что у части пациентов расширено левое предсердие, а лёгочные вены выглядят иначе. По совокупности этих неочевидных признаков модель указывает на повышенную вероятность фибрилляции предсердий — хотя сканирование делали вовсе не для проверки ритма сердца. В проверке на биобанковских данных Percival показала для этого диагноза AUC 0,84 (AUC — метрика, где 0,5 означает случайное угадывание, а 1,0 — идеальное различение).

Авторы подчёркивают: ассоциация не равна диагнозу. Модель видит паттерны, которые совпадают с записями в электронных историях болезни, но это не доказывает, что Percival понимает биологическую причину заболевания. Исследование сравнивает Percival с другими подходами: сегментационной моделью TotalSegmentator и контрастной моделью CT-FM. Например, для рака поджелудочной железы Percival набрала AUC 0,91 против 0,84 у TotalSegmentator. Для бактериальной пневмонии разрыв был меньше. Для состояний, которые обычно не диагностируют по КТ — таких как хроническая почечная недостаточность или анемия — Percival тоже показала устойчивый сигнал, хотя AUC для них ниже.

Проверку на независимом наборе данных CT-RATE провели только по 18 патологиям грудной клетки, результаты оказались сопоставимы с моделью CT-CLIP, которую обучали непосредственно на этом наборе. Широкие выводы о связи с лабораторными показателями и будущими рисками пока не воспроизведены на внешней выборке с аналогичными данными. «Мы надеемся поднять так называемый оппортунистический скрининг, когда результаты находят за пределами первоначальной цели сканирования — например, ранние следы рака на снимке, который делали для оценки пневмонии», — говорит старший автор Уолтер Уитчи. Код и веса модели опубликованы в открытом доступе на GitHub.

В научных текстах важно опираться на проверенные данные. Услуги по написанию научных статей помогают корректно оформить результаты и ссылки.

Схема работы Percival: на входе КТ-снимок, на выходе — вероятности нескольких болезней, включая те, для которых КТ изначально не назначали.

Фото: MART PRODUCTION / Pexels