Радиология

Почему у медицинских данных длинный «хвост», с какими неожиданностями столкнулись разработчики медицинского искусственного интеллекта, какую роль сыграл в жизни молодой питерской компании эксперимент «Радиологии Москвы» и о каком дата-сете пока можно только мечтать, рассказал номинант на премию Data Award 2022 Евгений Никитин, начальник департамента ML-разработки компании «Цельс». На основе машинного обучения в «Цельсе» разрабатывают системы анализа медицинских изображений, помогающие рентгенологам, которых сейчас катастрофически не хватает в российских регионах, работать быстрее и пропускать меньше патологий на снимках.

- Как вы пришли в data science?

С детства хотел заниматься математикой, но не теоретической, а прикладной. Поэтому сначала получил образование по специальности «математические методы в экономике» в Санкт-Петербургском университете экономики и финансов. Затем в магистратуре в Англии занимался математическим моделированием человеческой памяти и внимания, потом в аспирантуре в США — машинным обучением для анализа политического поведения людей в социальных медиа. Параллельно занялся бизнесом — разрабатывал модели кредитного скоринга для финансовых организаций.

- Как же родилась идея работы с медицинскими данными? С чего начался проект «Цельс»?

Звезды так сложились. Мы с партнером познакомились с ребятами из калужской ИТ-компании, которым была очень интересна тема MedTech, но у них не было компетенций в сфере машинного обучения. На стыке их возможностей и наших компетенций осенью 2018 года попробовали сделать минимально жизнеспособный продукт (minimum viable product, MVP). Сначала задача была поставлена очень абстрактно: сделать то, что поможет обнаруживать рак молочной железы. Помимо пары публичных дата-сетов по маммографии для обучения модели, у нас была только выборка снимков, по которым уже был известен диагноз, поставленный пациенту. Результаты, полученные на тот момент, показались удивительными врачам, которым мы их показали. Это всех обнадежило. Мы поняли, что можем сделать нечто полезное, и решили развивать продукт дальше.

- Какими были следующие главные вехи проекта?

Мы открыли офис в Санкт-Петербурге и вскоре запустили разработку второго продукта «Флюорография / Рентген легких», а также пилотные проекты, что важно для получения обратной связи.

Очень большой поддержкой для нас оказалась работа, которую проводил в Москве Сергей Павлович Морозов, директор Центра диагностики и телемедицины («Радиология Москвы»). Действительно серьезной вехой стал эксперимент mosmed.ai, в котором прошедшие тестирование компании — разработчики ИИ-решений могут подключаться к клиникам через ЕРИС ЕМИАС, обрабатывать поток исследований реальных пациентов и получать обратную связь. К настоящему моменту три наши системы прошли так называемое калибровочное тестирование в этом проекте и работают полноценно: «Маммография», «Флюорография / Рентген легких» и «Covid-19». Другая наша система, выявляющая рак по КT легких, готова к внедрению, и еще одна, определяющая по КТ кровоизлияние в головном мозге, находится на стадии апробации.

- В этом проекте клиники голосуют, выбирая на определенный период продукт, с которым предпочитают работать. Сколько клиник выбрало ваш продукт?

Всего 102 клиники, больше всего выбрали «Маммографию» — примерно 50–60. Огромная выгода московского проекта — финансирование и одновременно развитие конкурентной среды: многие компании просто не выжили бы без такой поддержки. Второй крайне важный момент: организаторы понимали, что все системы далеко не идеальны, и принимали это. Когда мы приходили в регионы, то чаще всего слышали: «Ребята, это еще сыровато, надо допилить». А тут ставились три цели: во-первых, определить задачи, которые целесообразно и логично решать с помощью машинного обучения; во-вторых, отобрать лучшие решения; и, в-третьих, помочь разработчикам улучшить свои системы. Все эти цели достигнуты, и это очень здорово!

Результаты эксперимента теперь позволяют нам внедрять ML-системы и вне Москвы. В мае 2021 года мы получили регистрационное удостоверение на медицинское изделие, и в ближайшее время наши системы официально начнут работать на уровне нескольких российских регионов. Кроме того, большой проект идет в Узбекистане.

- Что было самым интересным в процессе создания медицинского ИИ?

Разметить изображение, чтобы определить, есть у пациента патология или нет. Поначалу мы не отдавали себе отчета в том, какое количество расхождений будет, если дать один и тот же снимок двум врачам. А ведь это влияет не только на обучение модели, но и на ее оценку. Как доказать, что модель качественная, если существуют пять разных мнений по тому, как размечен снимок?

Начинали, по сути, тыкаясь вслепую, но в итоге построили четкий пайплайн по разметке. Это очень сложный процесс, начиная с того, что врачей надо выбрать по каким-то формальным характеристикам. Оказалось, что квалификация и опыт — не всегда очень хорошие предикторы качественной разметки. Важны и дополнительные характеристики — например, усидчивость и внимательность. В числе факторов, часто и сильно влияющих на качество разметки, — обычная усталость и отсутствие большого монитора с высоким разрешением.

Поэтому сейчас мы много внимания уделяем отбору врачей, которые хотят с нами работать, их обучению и регулярной проверке их работы. В процесс разметки встроен автоматический контроль качества с использованием специального набора снимков и эвристик.

Второе, чему мы научились, — итерационное написание инструкций. Каждый раз, запуская новый проект, сначала пишем первую версию инструкции и просим врачей разметить снимки в соответствии с ней. Затем смотрим, какие есть расхождения и почему они возникают. Например, один специалист отмечает на маммографическом снимке злокачественные кальцинаты, а другой может их не отметить или разметить иначе, не заметив, выбрав другой класс или неаккуратно обозначив контур. Далеко не всегда расхождения означают разные мнения, иногда врачи по-разному интерпретировали инструкцию! То есть большую часть противоречий между оценками врачей можно устранить с помощью качественной инструкции по разметке.

- Какую цель вы ставили перед собой на уровне данных?

Максимально эффективно получить дата-сеты, которые нужны для создания качественных продуктов.

Сначала нам был нужен качественно размеченный набор данных достаточного объема. Теперь, для дальнейшего повышения качества, к дата-сетам предъявляем все больше требований — например, по наличию разных видов и форм рака молочной железы. Сейчас наша задача — пополнять и обновлять дата-сеты, экономя при этом деньги.

Как выяснилось, жизненно необходимо так называемое активное обучение. Специфика медицинских данных в том, что у них очень длинный «хвост». То есть большая часть пациентов здоровы, и лишь в снимках оставшихся 5% встречаются редкие патологии, которые мы очень хотим выявить. Если размечать все подряд, то большую часть времени мы будем делать бесполезную работу: нейросеть уже выучила здоровых пациентов и пациентов с легко детектируемыми патологиями, а мы просто сжигаем деньги, размечая бесполезные для модели снимки.

Поэтому мы сделали «умные» инструменты, которые позволяют отбирать данные на разметку. Когда поступает информация, что врачи освободились, для них в полуавтоматическом режиме по разработанным нами алгоритмам отбирается пул исследований, разметка которых принесет наибольшую пользу.

То есть мы внедрили подходы, позволяющие улучшать готовые продукты, ведь повышать их качество становится все труднее и труднее.

- Какие источники данных использовали?

В некоторых проектах использовали публичные дата-сеты: мы берем по максимуму все, что можно использовать в коммерческих целях. Как правило, это зарубежные наборы данных, но сейчас при поддержке Минздрава РФ идет подготовка публичных дата-сетов для отечественных разработчиков, и мы в ней тоже участвуем.

Второй источник — прямые контакты с медучреждениями и научными центрами. Это выгрузка анонимизированных данных: либо платная из зарубежных институтов, либо (что бывает чаще) в обмен на бесплатное использование нашего продукта в пилотном проекте. И третий крупный источник — поток данных, поступающих в рамках московского эксперимента через радиологический сервис ЕРИС ЕМИАС.

- К вам попадают уже анонимизированные данные?

Да, в 95% случаев. В московском проекте на стороне организаторов стоит модуль для анонимизации. Изредка к нам попадают неанонимизированные данные, тогда перед началом работы мы производим автоматическую анонимизацию.

- Алгоритмы анализа медицинских изображений сейчас пишут многие. Чем отличается ваш подход?

Конкурирующие решения различаются количественными характеристиками: точностью и скоростью работы, числом систем, c которыми могут интегрироваться. К сожалению, в нашей области пока практически нет обмена знаниями. Мы же стараемся пропагандировать такой обмен.

Наша «машина» по разметке медицинских данных — одна из лучших. Отдельная команда работает непосредственно с врачами, контролирует качество разметки и снабжает команду машинного обучения этими данными.

Еще один важный момент: мы уделяем большое внимание скорости проверки идей. Моя роль в компании — обеспечивать правильную настройку процессов и правильный выбор инструментов, чтобы максимально быстро обучать нейросети, тестировать идеи и продолжать улучшать продукты.

У нас всего 15 дата-сайентистов на пять готовых продуктов плюс три в разработке. Поддерживать такую линейку можно только при максимально эффективном использовании ресурсов — то есть автоматизируя все, что можно, и применяя лучшие практики, как процессные, так и инструментальные.

- Есть мнение, что главный потенциал медицинского ИИ — в анализе интегрированных данных о пациенте, а не отдельных исследований. Есть ли намерение развиваться в этом направлении?

Я всегда верил, что будущее — в мультимодальном подходе, когда в систему интеллектуальной обработки данных попадают данные разного типа из разных источников. Например, рентгеновский снимок плюс история снимков для оценки динамики, информация медкарты плюс информация по результатам приема, которая может быть собрана голосом. Моя давняя мечта — достойный дата-сет с мультимодальными данными. При таком подходе можно достичь по-настоящему крутых результатов. Технологии к этому готовы: есть архитектуры нейросетей, позволяющие работать с мультимодальными данными. Но существуют опасения относительно нарушения приватности: чем больше у нас данных о пациенте, тем выше риск их деанонимизации. Тут явно предстоит большая юридическая работа, и, скорее всего, потребуется согласие пациента на такую обработку данных.

Однако в рамках научного сотрудничества с некоторыми клиниками мы пробуем использовать более широкие массивы данных. Например, не только снимок, но и его описание, где врач может упоминать важные аспекты, сильно повышающие риск онкологии, такие как случаи рака в семье пациента. То есть мы уже работаем на стыке изображения и текстовых данных. Но остается нерешенным ключевой вопрос: как обеспечить безопасный доступ к таким данным?

Кроме того, существует инфраструктурная проблема: не очень много клиник, где можно эффективно выгрузить и связать массивы данных; часто результаты осмотра еще пишут от руки. А у коммерческих клиник обычно с инфраструктурой все отлично, но объем данных недостаточен.

- Какие основные ИТ-инструменты применяете?

Разметка данных проводится на российской платформе Supervisely, для хранения данных и разворачивания моделей используем Yandex.Cloud и Kubernetes. Сама разработка ведется на языке Python во фреймворке Pytorch. Чтобы обеспечить воспроизводимость результатов экспериментов (а это очень важно в науке), для обучения и тестирования моделей пользуемся фреймворками с открытым кодом Clear ML и DVC.

- Какими результатами использования систем «Цельса» можете поделиться?

Применение ИИ в медицине пока носит экспериментальный характер. Если сейчас убрать из медицины все ИИ-системы, краха не случится. Чтобы говорить об ощутимой пользе, надо уметь ее измерить, прежде всего оценить экономически. Посчитать, насколько меньше стали тратить денег в здравоохранении, — непростая задача. Сейчас мы сами тратим большие деньги, чтобы понять, меняется ли что-то с точки зрения финансовой эффективности, если у врача появляется наша система.

Однако в московском эксперименте есть примечательные кейсы — например, по обработке КТ-исследований на ковид. Для рентгенолога несложно увидеть знаменитое «матовое стекло», зато много времени требует оценка объема поражения легких, которая может повлиять на решение о госпитализации пациента. Практика показала, что ИИ-система может справиться с этой рутинной задачей, а врачу достаточно проверить, правильно ли все подсчитано. Время на интерпретацию одного исследования по ковиду сокращается на треть!

Кроме того, точечные свидетельства эффективности мы получаем из обратной связи от врачей — они не только сообщают, как наши системы помогают сэкономить время, но и честно признаются в том, что часть патологий могли бы пропустить, если бы система на них не указала. В пилотных проектах по маммографии в Брянске, Тамбове, Калуге, Калининграде и других городах, после пропускания через систему ретроспективных данных, были случаи, когда система обнаруживала рак, пациента направляли на дополнительное обследование и действительно находили злокачественные изменения.

- Какие направления дальнейшего развития проекта вы видите?

Первое глобальное направление — комплексные сервисы. Сейчас методами машинного обучения обычно ищут один определенный тип патологий, например ковид. Следующий важный этап — научиться находить на снимках одного исследования все возможные типы патологий.

Второе — измерить эффект от использования нашей системы по всем правилам научного исследования.

И третье важное направление — автоматизация рутинных задач, например контроля качества. В большом радиологическом исследовании многое может пойти не так — с оборудованием, с расположением пациента. И мы разрабатываем инструменты, которые помогают контролировать качество исследования прямо в процессе его проведения.

Мне кажется, выживут только те компании, которые, организовав работу небольших команд, смогут обеспечить максимальную скорость проверки идей. А ее можно увеличить благодаря автоматизации.

Пандемия коронавируса дала сильный импульс развитию медицинских информационных технологий, и проблема доступа к большим медицинским данным получила шанс сдвинуться с мертвой точки. Состояние отечественного рынка данных здравоохранения, отраслевые кейсы применения аналитики и технологий искусственного интеллекта, а также ситуацию с доступом к медицинским данным и нормативным регулированием повторного использования обезличенных данных для машинного обучения эксперты обсудили на форуме BIG DATA 2021, проведенном издательством «Открытые системы». Кульминацией тематической сессии стал круглый стол «Качественные медицинские данные для ИИ-решений: где их взять?», организованный при поддержке Ассоциации «Национальная база медицинских знаний».

Сырьевая база

Медицинские данные стали, с одной стороны, отдельным объектом инвестиционного интереса для технологических компаний, а с другой — «топливом» для развития рынка систем искусственного интеллекта. И максимальная вероятность толкового их применения в ближайшем будущем сосредоточена в наиболее привлекательных для инвесторов направлениях: сервисы для пациентов, телемедицина и, конечно, искусственный интеллект.

В числе самых многообещающих областей применения искусственного интеллекта в здравоохранении — предсказательная аналитика, включающая решения по прогнозированию возникновения эпидемий, нехватки лекарств и нежелательных событий в организме конкретного пациента. «Мы научились использовать большие данные для сокращения неэффективных затрат на оказание медицинской помощи», — сообщил директор по развитию проекта Webiomed Александр Гусев, представляя участникам BIG DATA 2021 обзор рынка искусственного интеллекта для здравоохранения. По его мнению, два главных вызова для этого рынка в России — особый правовой статус стартапов в сфере больших данных и искусственного интеллекта, а также развитие национальной платформы, которая позволит собирать медицинские данные, предоставлять доступ к ним доверенным компаниям и осуществлять государственный надзор в этой чувствительной сфере. Планы создания такой отраслевой федеральной платформы искусственного интеллекта, основой которой станет защищенный банк обезличенных медицинских данных, были недавно анонсированы Минздравом. Разработчики рассчитывают, что в процессе реализации этого проекта основные проблемы, связанные с использованием больших данных в медицине, будут решены.

К 2020 году медицинские информационные системы внедрили 82% медицинских организаций России. И хотя 80% информации в электронных медкартах хранится в неструктурированном виде, с ней вполне можно работать с помощью технологий обработки текста на естественном языке (Natural Language Processing, NLP). По мнению Гусева, основные сложности на пути развития российского рынка «умных» решений для медицины создает неурегулированный оборот обезличенных медицинских данных и отсутствие понятной схемы возврата инвестиций в это рискованное направление.

Закон на подходе

Между двумя нежизнеспособными крайностями «данные должны быть доступны всем» и «данные не должны быть доступны никому» лежат компромиссные варианты порядка обращения обезличенных данных, пока еще не оформленные юридически. Медицинские данные выделены в специальную категорию особо чувствительных данных и не могут обрабатываться без согласия субъекта даже в обезличенном виде. Как сообщила Александра Орехович, директор по правовым инициативам ФРИИ, поправки, предусмотренные законопроектом об обезличенных персональных данных, который сейчас готовится ко второму чтению, дают надежду, что вопрос доступа к данным с целью разработки систем искусственного интеллекта вскоре будет урегулирован. Доступ будет предоставляться в определенном порядке определенным категориям организаций, которые соответствуют определенным требованиям. Но никакой конкретики в отношении этого порядка, категорий и требований пока нет — ясность появится только вместе с подзаконными актами. Когда будут выпущены проекты документов с правилами обезличивания данных и правилами доступа к ним, тогда и развернется по-настоящему острая дискуссия на эту тему.

Сегодня, когда одновременно идут процессы усиления защиты данных и полной открытости цифрового следа, настало время поднять вопрос о донации данных, полагает Борис Зингерман, гендиректор ассоциации «Национальная база медицинских знаний». «Сделать донацию данных легче, чем донацию крови, а пользы от нее тоже можно получить немало, — подчеркнул он. — Я с удовольствием поделюсь своими данными для науки, и таких пациентов будет немало».

Три диагноза от искусственного интеллекта

Интересный пример полезного использования данных о первичных приемах пациентов, накопленных в столичной системе здравоохранения, привела первый заместитель начальника Управления заместителя мэра Москвы по вопросам социального развития Юлия Урожаева. Она рассказала о системе поддержки принятия врачебных решений на основе искусственного интеллекта, которая с октября прошлого года работает во всех взрослых поликлиниках города. Для обучения нейросети, которая была разработана и откалибрована при помощи специалистов лаборатории искусственного интеллекта Сбера, использовали уникальную методологию разметки данных, сообщила Урожаева. Около 95% случаев обращения в поликлинику связано с одним из 265 диагнозов. На них и сосредоточились разработчики.

Проанализировав анамнез и введенные врачом жалобы пациента, система подсказывает три наиболее вероятных предварительных диагноза, а затем подбирает стандартные пакеты инструментальных и лабораторных исследований для подтверждения диагноза или его опровержения. К настоящему времени с помощью системы проведено около 4 млн амбулаторных приемов, и в 70% случаев выбор врача совпадает с предложением нейросети. Систему продолжают дорабатывать и обучать, пополняя новыми данными и диагнозами и повышая точность ее работы.

Свое выступление Урожаева завершила приглашением к сотрудничеству. «Очень ждем нестандартно мыслящих людей для разработки следующих продуктов», — обратилась она к участникам форума.

Видеть цель

Поиск качественных медицинских датасетов сродни добыче золота или алмазов, требующей переработки тонн пустой породы. Поиском редких данных в различных источниках и организациях занимаются специальные компании, и эти изыскания не всегда успешны. Качественный датасет получается, когда исследователь четко знает, какие данные и с какой целью собираются. Например, это происходит при написании диссертации. Но создать качественный универсальный датасет для абстрактных целей невозможно, уверен Зингерман.

«При использовании публичных датасетов, которые непонятно как собраны, приходится проводить процедуру кросс-разметки данных нашими врачами», — подтвердил операционный директор компании «Цельс» Никита Николаев. По его словам, качественных медицинских данных на сегодняшний день мало. Однако если качественно отстраивать процедуры разметки данных, можно повысить и точность решений, построенных на их основе. Николаев поделился опытом по оптимизации затрат на разметку медицинских изображений с помощью псевдо- и кросс-разметки, а также результатами эксперимента по привлечению к процедуре разметки маммограм силами сообщества «Яндекс.Толока». Эксперимент показал, что люди, размечающие снимки для обучения ИИ, находили рак не менее точно, чем врачи.

Накопленные к настоящему времени массивы ценнейших медицинских данных очень плохо структурированы, так как при их создании не учитывались цели последующего ретроспективного анализа, отметил Николай Павлов, CDO НПЦ «Радиология Москвы». Но те данные, которые начинают накапливаться сегодня, эти цели уже учитывают.

«Российское здравоохранение находится в двух шагах от того, чтобы перейти к медицинской аналитике на основе первичных данных, — полагает Игорь Башков, коммерческий директор «Нетрика Медицина». — В 2020 году COVID всех к этому подстегнул».

Так, многие регионы организовали автоматическое формирование регистров заболевших коронавирусом и оперативную передачу первичных данных о заболевших на федеральный уровень в структурированном виде. Это лишь одна из множества задач, которые «Нетрика Медицина» помогает решать региональным управленцам, интегрируя данные из 70 медицинских информационных систем различных организаций.

На распутье: NLP или cтруктурированная галлюцинация?

Структурированные или неструктурированные данные — важная развилка на пути дальнейшей цифровизации российского здравоохранения. Как отметил Павел Пугачев, заместитель министра здравоохранения РФ, идти по пути структурированных электронных медицинских документов (СЭМДов), добиваясь перехода всех медицинских организаций на единый формат — правильно, но долго, хотя этот подход прекрасно себя показал в ряде регионов, где интероперабельность и обмен данными с федеральным сегментом Единой государственной информационной системы здравоохранения обеспечивается с помощью СЭМДов. «Мы будем двигаться по этому пути, но нельзя отбрасывать и неструктурированные данные», — подчеркнул он. По мнению Пугачева, сегодня недостаточно проектов, которые работают с неструктурированными текстами и результатами анализов, между тем это направление может стать прорывным. В нем следует создавать заделы и реализовывать сервисы для медработников.

Главное предназначение медицинских данных — обеспечивать оказание медицинской помощи и преемственности лечения. Возможность последующего анализа данных — дополнительный бонус, ради которого далеко не всегда можно заставлять врачей заполнять сложные длинные формы. Иногда это слишком долго и дорого обходится. К тому же опыт показывает, что данные из неструктурированных источников зачастую оказываются даже более качественными.

Гусев поделился историей, когда по настоянию заказчика разработчики сделали форму врачебного осмотра, включавшую почти тысячу полей. Заполнение данных осмотра одного пациента стационара занимало 40 минут. Неудивительно, что врачи сразу переходили в конец формы, меняя лишь несколько полей и оставляя остальные шаблонными. «В итоге на выходе получилась очень качественно подготовленная и прекрасно машино-обрабатываемая… галлюцинация», — констатировал Гусев. Эксперимент подтвердил, что абсолютная формализация в реальной медицинской практике невозможна, и имеет право на жизнь разве что в клинических исследованиях. А в клинической практике более применим подход, сочетающий заполнение текстом крупных блоков структурированных документов, и последующее извлечение информации из них с помощью NLP-технологий.

Чем сложнее экранная форма, тем менее достоверны данные, ее заполняющие, согласен Пугачев. Он, в свою очередь, привел пример неудачной попытки наполнить регистр больных ковидом подробнейшими данными о хронических заболеваниях, в результате которой получили множество пациентов, у которых вообще отсутствовали хронические заболевания. Лишь когда в регистре оставили только группы хронических заболеваний, качество его данных существенно повысилось. Для повышения качества данных также важно использовать данные, поступающие с анализаторов, носимых устройств и предоставляемые самими пациентами. К примеру, при вакцинации заполняемость дневников наблюдения на портале госуслуг оказалась существенно выше ожидаемой, а этот формат дает возможность не только собрать дополнительные сведения, но и разгрузить врачей при сборе анамнеза.

«Нам нужен спрос на датасеты для создания сервисов на основе искусственного интеллекта, чтобы иметь возможность внутренней приоритизации, выстраивания процессов разметки, создания эталонных датасетов и их предоставления вовне, — заявил Пугачев. — Мы хотим поддерживать именно российских разработчиков и готовы выстраивать с ними коммуникации». Удачный опыт НПЦ «Радиология Москвы» по тестированию ИИ-решений, по его мнению, нужно расширять, и не только на анализ медицинских изображений.