Анализ медицинских изображений с помощью искусственного интеллекта постепенно становится мейнстримом. Сервисы, получившие известность на волне борьбы с ковидом, дополнились инструментами для выявления онкологии, а сейчас начинают применяться в экстренной медицине. В прошлом году «Цельс» разработал систему для анализа геморрагических инсультов на основе анализа КТ головного мозга, которая уже начала работу в московских клиниках и проанализировала более 100 тыс. картинок. О реализации этого проекта и его месте среди других разработок компании рассказал Евгений Никитин, начальник департамента ML-разработки компании «Цельс» и номинант на премию Data Award 2023.
— В прошлом году вы участвовали в Data Award и рассказали о своих подходах к работе с данными, выстраивании своеобразного конвейера и создании двух моделей для анализа результатов на ковид и маммографию. Что произошло с тех пор, чем интересным для компании запомнился год?
С точки зрения бизнеса год вышел, как и у многих, непростой. Фактически закрылись внешние рынки, произошел мощный отток сильных специалистов за границу, в экстренном режиме пришлось отказываться от некоторых зарубежных ИТ-сервисов и инструментов.
Несмотря на это, нам удалось удержать свои позиции в Московском эксперименте — четыре наших сервиса («Маммография», «Флюорография», «Рентген легких» и «КТ головного мозга») стабильно занимали первые места в рейтинге решений. А под конец года случилось знаковое для нас и для всей индустрии событие – в России состоялась первая государственная закупка ПО на базе искусственного интеллекта для анализа маммографических исследований за счет тарифов ОМС. Мы уже начали обрабатывать исследования по этому контракту.
В плане работы с данными главным событием года для меня стало создание дата-платформенной команды. Ее главная цель – снижать когнитивную нагрузку на всех ML-специалистов, упрощать процессы анализа данных и обучения моделей. Среди достижений новой команды – автоматизация львиной доли ручных процессов движения данных, создание нескольких собственных сервисов, повышающих скорость и удобство работы с медицинскими данными, а также стандартизация формата хранения разметки.
— Вы рассказывали о своих попытках оптимизировать процесс разметки изображений, отмечая огромное значение человеческого фактора. Что удалось сделать в этом направлении?
Я бы отметил три основных фронта работ. Во-первых, как я уже сказал, была автоматизирована большая часть ручных операций – например, загрузка выбранных исследований на платформу разметки, запуск дата-тестов, загрузка проверенной разметки в базы данных ML-команд. Все это не только позволило снизить время поставки размеченных данных, но и в несколько раз уменьшило количество ошибок и проблем с данными.
Во-вторых, в прошлом году мы отработали кейс с покупкой размеченных данных. Мы гордимся выстроенной системой разметки, но в некоторых случаях покупка готовых данных просто экономически целесообразнее. Пришлось столкнуться с некоторыми подводными камнями – процесс отбора данных «вслепую», множество юридических нюансов – но итоговым результатом мы довольны.
Наконец, в прошедшем году мы много экспериментировали со способами работы с кросс-разметкой. Кросс-разметка – это разметка одного и того же исследования независимо несколькими врачами с целью снижения влияния того самого человеческого фактора. В марте у нас будет на эту тему доклад на конференции OpenTalks.AI, но забегая вперед скажу, что мы достигли хороших результатов, используя новый метод моделирования «стиля» каждого разметчика. По сути, при обучении мы пробрасываем в нейронную сеть информацию о том, какой разметчик делал данную разметку, что позволяет модели выучить особенности работы каждого врача.
— Как вы выбираете направления создаваемых моделей? Это наиболее востребованные или наиболее сложные направления? Или просто те, где удается находить данные?
К процессу выбора новых направлений мы стараемся подходить системно и учитывать множество факторов. Чаще всего на решение влияют несколько их групп.
Во-первых, технические факторы: есть ли в открытом доступе необходимые данные или можно ли их достать и разметить самим, есть ли у нас необходимые компетенции, насколько данный домен требователен по ресурсам, сколько времени понадобится на разработку, какие требования к скорости работы, каких метрик качества необходимо достичь для внедрения ИИ-системы.
Вторая группа – продуктовые и клинические факторы: будет ли востребован данный продукт, каковы потенциальные сценарии его использования, кто ключевые пользователи, сколько исследований данного типа проводится в России, какая смертность от заболевания, снижается ли она при ранней диагностике. Далее следуют бизнес-факторы: есть ли у нас конкретный заказчик или партнер, есть ли конкуренты в России и в мире, можно ли под проект получить грант. Наконец, нужен драйв – нравится ли нам интуитивно идея, заводит ли она нас?
Одновременно у нас в проработке может находиться 5-10 гипотез, какие-то из них умирают на этапе исследования, какие-то – после появления MVP. Ну а самые живучие выходят в промышленную эксплуатацию.
— В чем специфика таких решений как анализ КТ мозга по сравнению, например, с маммографическими и легочными изображениями?
Основной нюанс заключается в том, что КТ – это трехмерные данные. Это ведет к дополнительным сложностям с точки зрения архитектур нейронных сетей, размера данных, требований к «железу» и, конечно, разметки. Разметка одного КТ-исследования обычно дороже и дольше разметки флюорографии примерно в 10 раз.
Помимо этого, у любого направления есть своя доменная специфика. Например, мозг в целом достаточно симметричен, и эту информацию можно использовать при разработке дизайна ML-системы. Есть отличия и в сценариях применения – детекция инсультов чаще всего относится к экстренной медицине, что накладывает дополнительные требования к надежности и скорости работы системы.
— Как проходила работа по созданию системы для анализа геморрагических инсультов?
В общем и целом, процесс создания новых продуктов у нас уже отточен. Были проведены предварительные исследования об актуальности направления, собраны все имеющиеся публичные наборы данных, запущен собственный процесс разметки. Конечно же, мы внимательно изучили все диагностические требования в рамках Московского эксперимента. Первая версия была готова через несколько месяцев – и мы сразу же прошли все необходимые процедуры и начали работу в московских клиниках.
— Каких результатов в итоге удалось добиться?
По результатам последнего калибровочного тестирования в Московском эксперименте, система по выявлению признаков внутричерепного кровоизлияния показала ROC-AUC 0.98, что является почти идеальным результатом. На данный момент наша система проанализировала уже более 100 тыс. КТ головного мозга.
Конечно, есть и куда развиваться – например, пока система не очень корректно рассчитывает объем субарахноидальных кровоизлияний. А еще в этом году мы добавим в систему две новых патологии – ишемические инсульты и новообразования головного мозга.
— Какое количество пользователей mosmed.ai выбрали ваши решения? Какова обратная связь?
По результатам последнего опроса московских врачей-рентгенологов (он проходил в декабре 2022 года) наши системы подключены в 51 организации по КТ мозга, в 15 – по маммографии, в 10 – по рентгену легких и в 19 – по флюорографии. Спасибо организаторам эксперимента – у нас и наших коллег есть большое количество различных источников обратной связи: телеграм-чат с врачами, ежемесячная процедура клинической оценки, очные встречи с врачами.
С каждым годом готовность врачей пробовать системы искусственного интеллекта в своей практике растет. Да, системы до сих пор не идеальны, но рентгенологи уже сейчас находят способы применять такие инструменты с пользой. Например, некоторые врачи используют нашу систему по маммографии для того, чтобы не пропускать плохо различимые группы кальцинатов.
— В чем заключается ваша бизнес-модель?
Рынок искусственного интеллекта в радиологии до сих пор находится на стадии формирования. Мы и наши конкуренты каждый год пробуем разные подходы к монетизации наших сервисов. На данный момент можно выделить три самых актуальных сценария. Во-первых, это может быть оплата по ОМС. В этом случае ИИ-система выступает в качестве «второго мнения» или системы помощи принятия решений, а оплата ее «услуг» заложена в тариф ОМС.
Во-вторых, ИИ-система может находить исследования, где с очень высокой степенью уверенности (более 99,9%) нет патологии. Для таких исследований автоматически формируется заключение, которое врачу достаточно просто утвердить. За каждый такой отчет взимается определенная плата.
Наконец, возможен ретроспективный анализ больших массивов исследований. Например, за время пандемии было сделано огромное количество КТ-исследований области грудной клетки. ИИ-системы могут за относительно небольшие средства проанализировать все эти исследования на предмет других заболеваний – например, онкологических.
Основную долю выручки нам до сих пор приносит Московский эксперимент, но ситуация, скорее всего, кардинально изменится в 2023 году.
— Вы не одни на рынке, анализ медицинских изображений стал довольно популярным направлением исследований. Какова конкурентная среда? В чем вы видите свои сильные стороны?
Действительно, количество компаний на этом рынке немаленькое, хотя и есть ощущение, что пузырь скоро немного сдуется, и на рынке останутся только явные лидеры и перспективные новички. Наше главное преимущество, как бы банально это ни звучало – качество работы наших систем. Это подтверждается результатами в Московском эксперименте и отзывами врачей в других регионах. Мы смогли достичь этого за счет больших временных, денежных и интеллектуальных вложений в ML-команду, команду разработки и разметку данных.
Второе важное преимущество – отлаженный процесс тестирования гипотез и запуска новых направлений. Если мы запускаем новый продукт – значит мы знаем, что он будет успешным. Большую роль в этом играют отлаженные механизма сбора и приоритизации обратной связи от пользователей. Это позволяет нам максимально быстро вносить в продукт те изменения, которые делают его максимально полезным для врачей и медицинских организаций. Это касается не только качества работы моделей и их ошибок, но, например, и формулировок в текстовых отчетах.
— Вы рассказывали о выходе на региональные рынки и даже о планах работы в ближнем зарубежье. Получается?
Расширение регионального присутствия началось в прошлом году и остается одной из главных целей. На текущий момент различные решения «Цельса» используются более чем в 30 регионах России. Это включает в себя как уже внедренные решения, так и пилотные проекты.
С зарубежными рынками ситуация по понятным причинам усложнилась, но наша коммерческая служба ведет работу по подготовке к внедрению в ряде стран: ОАЭ, Египет, Марокко.
— В каком направлении планируете продолжать работу?
Главная коммерческая цель на год – расширение географии присутствия наших решений и заключение нескольких крупных сделок по внедрению в регионах. Компания растет, есть много новых идей (в том числе вне области радиологии), а на их реализацию нужны деньги.
Будем продолжать движение к комплексности наших сервисов. Система по КТ ОГК уже детектирует 8 патологий, решение по маммографии умеет оценивать не только вероятность риска онкологии, но и качество работы лаборанта, а модель по КТ мозга в ближайшее время сможет находить три вида патологий.
Главная техническая цель – как и всегда, совершенствование наших систем. Да, достижение стопроцентного качества и уровня готовности для таких систем – задача практически невыполнимая. Но каждый следующий процент точности делает нас все ближе к будущему, в котором работу врача невозможно представить без ИИ-помощника.