Исследователи Центра искусственного интеллекта Сколтеха и Московского физико-технического института обсудили, какие проверки должна пройти нейросетевая модель, прежде чем её можно будет использовать в медицине, промышленности и научных исследованиях. Панельная сессия «От нейросетевой модели к инженерному решению: как молодые учёные создают ИИ, которому можно доверять» состоялась в Сколтехе в рамках XIV Всероссийского съезда советов молодых учёных и студенческих научных обществ.

Высокая точность на тестовой выборке ещё не означает, что модель готова к работе за пределами лаборатории. В реальной задаче данные могут оказаться неполными, зашумлёнными или отличаться от тех, на которых обучался алгоритм. При этом в геологии истинное строение объекта невозможно наблюдать целиком, климатический прогноз проверяется только спустя месяцы, а ошибка медицинской системы может непосредственно повлиять на здоровье человека.

Главным признаком ИИ, которому можно доверять, участники назвали проверяемость. Необходимо понимать, какую задачу решает модель, на каких данных и в каких условиях она работает, по каким критериям оценивается результат и где проходят границы применимости алгоритма. В зависимости от предметной области исследователи проверяют устойчивость модели, неопределённость прогноза, физическую согласованность и воспроизводимость результата.

Пётр Мокров. Источник: XIV Всероссийский съезд СМУ и СНО

О математическом основании надёжных ИИ-систем рассказал старший инженер по машинному обучению Центра ИИ Сколтеха Пётр Мокров. Он обратил внимание на то, что практическая задача, её математическое описание, численный метод и критерии качества должны образовывать единую систему. Даже хороший алгоритм может давать бесполезный результат, если математическая модель не отражает существенные свойства реального объекта или выбранная метрика не соответствует цели исследования.

«При создании системы искусственного интеллекта можно выделить три уровня: практическую задачу, математическую модель, которая её описывает, и численный метод, реализующий эту модель. Переход от одного уровня к другому всегда связан с упрощением и может стать источником ошибки. Поэтому, чтобы построить систему, которой можно доверять, необходимо выбрать адекватную математическую модель, определить средства оценки качества и использовать подходящий численный метод», — отметил Пётр Мокров.

Григорий Шутов. Источник: XIV Всероссийский съезд СМУ и СНО

Старший инженер-исследователь Центра ИИ Сколтеха Григорий Шутов рассмотрел задачу генеративного моделирования геологических структур. Подземное строение приходится восстанавливать по ограниченным скважинным данным и сведениям о геологическом контексте, поэтому единственного наблюдаемого «правильного ответа» у модели нет. В таких условиях алгоритм должен формировать несколько правдоподобных реализаций, согласующихся с известными данными и геологическими ограничениями. Это позволяет не скрывать неопределённость, а учитывать её при дальнейшем инженерном анализе и прогнозировании добычи.

Александр Марусов. Источник: XIV Всероссийский съезд СМУ и СНО

Руководитель исследовательской группы Центра ИИ Сколтеха Александр Марусов рассказал о работе с зависимыми временными и пространственно-временными данными. В отличие от классических задач машинного обучения, где обычно предполагается независимость наблюдений, климатические и природные процессы развиваются во времени, а соседние наблюдения связаны друг с другом.

Особую сложность представляет моделирование пространственно-временных данных, в которых одновременно проявляются временные зависимости и пространственные корреляции. На примере прогнозирования засух Александр Марусов отметил, что для качественной валидации климатических моделей их необходимо проверять не только на разных регионах, но и на устойчивость к изменению природных условий.

«Для долгосрочного прогнозирования недостаточно учитывать только отдельные наблюдения. Необходимо моделировать пространственные и временные зависимости, сезонность и долгосрочные тенденции. Дополнительную надёжность дают физически информированные подходы: известные законы, например законы сохранения, помогают исключать прогнозы, которые могут выглядеть правдоподобно, но противоречат реальному устройству природного процесса», — отметил Александр Марусов.

Михаил Криницкий. Источник: XIV Всероссийский съезд СМУ и СНО

Модератором и одновременно участником дискуссии выступил заведующий Лабораторией машинного обучения в науках о Земле МФТИ Михаил Криницкий. Он отметил, что в моделировании океана, атмосферы и климата одной высокой метрики недостаточно. Модель должна воспроизводить физическое поведение природной системы на разных пространственных и временных масштабах, корректно описывать различные классы явлений и сохранять состоятельность в редких и экстремальных режимах.

«Доверие к моделям океана, атмосферы и климата не может основываться на одной скалярной метрике. Мы должны оценивать несколько характеристик и смотреть, насколько модель воспроизводит процессы разных масштабов: локальные экстремальные осадки, перенос тепла, массы и энергии. Иногда новая модель принципиально лучше описывает физику системы, но стандартная усреднённая метрика этого просто не показывает», — подчеркнул Михаил Криницкий.

Александр Рябов. Источник: XIV Всероссийский съезд СМУ и СНО

Старший научный сотрудник Центра ИИ Сколтеха Александр Рябов показал, как методы машинного обучения применяются в вычислительной физике, химии и материаловедении. Нейросети способны ускорять сложные расчёты и строить приближённые модели физических процессов, однако численно правдоподобный ответ ещё не гарантирует научной корректности.

В одном из представленных направлений графовая нейросеть обучается сокращать расчётную сетку, сохраняя точность моделирования и устойчивость численной схемы. В другом нейросети используются для приближения обменно-корреляционного функционала в квантовой химии. В обоих случаях результат необходимо проверять не по одной усреднённой метрике, а на широком наборе физических и химических свойств, в том числе в редких и граничных режимах.

«Хорошая метрика на тестовой выборке сама по себе ничего не гарантирует: она может быть усреднена по разным классам химических соединений и типам систем. В крайних случаях модель будет достаточно точно предсказывать энергию, но некорректно работать при геометрической оптимизации, где важны уже не только энергии, но и силы. Поэтому мы проверяем широкий класс химических свойств и только после такого анализа решаем, валидна ли модель. Физические ограничения можно задавать мягко — через функцию ошибки — или жёстко, непосредственно в архитектуре нейросети», — рассказал Александр Рябов.

Дмитрий Самофалов. Источник: XIV Всероссийский съезд СМУ и СНО

О требованиях к искусственному интеллекту в медицине рассказал старший аналитик совместной с Университетом Шарджи биомедицинской лаборатории искусственного интеллекта (BIMAI-Lab) Центра ИИ Сколтеха Дмитрий Самофалов. На примере анализа ультразвуковых исследований участники обсудили, как качество изображения зависит от действий врача, почему медицинские данные сложно стандартизировать и какую роль алгоритм может играть в клиническом процессе.

Команда Сколтеха разрабатывает модель, которая определяет представленный на изображении анатомический срез и оценивает его качество. При переносе такой системы в клиническую практику необходимо учитывать не только точность распознавания, но и скорость обработки и передачи данных, интеграцию в медицинскую инфраструктуру и влияние технологии на работу врача.

«В медицинском ИИ важно понимать, какую именно задачу мы решаем, какое место модель занимает в текущем клиническом процессе, какие данные получает на вход и что выдаёт на выходе. Оценивать нужно не только точность алгоритма, но и то, как его результаты будут использоваться врачом в реальной практике. При внедрении также необходимо учитывать скорость обработки данных, интеграцию сервиса в существующую инфраструктуру и влияние технологии на работу специалиста», — отметил Дмитрий Самофалов.

Обсуждение показало, что переход от исследовательского прототипа к инженерному решению требует не только повышения точности. Необходимо определить, на каких данных и в каких условиях работает модель, как она сообщает о собственной неопределённости, кто проверяет её выводы и что происходит, если новая ситуация выходит за пределы обучающей выборки.

Участники сошлись в том, что зрелая ИИ-система должна уметь не только предлагать решение, но и указывать границы своей компетентности. Чем выше цена ошибки, тем важнее возможность воспроизвести результат, проверить его независимым методом и сохранить профессиональный контроль со стороны учёного, инженера или врача.

Источник: XIV Всероссийский съезд СМУ и СНО

«Модель можно внедрять только тогда, когда к её ошибкам и неопределённости готовы не только разработчики, но и вся инфраструктура и люди, которые будут ею пользоваться. Доверие начинается с готовности воспринимать ИИ не как безошибочный механизм, а как инструмент, у которого принципиально есть ограничения и неопределенность, которые мы знаем и очень тщательно оцениваем. Только когда человек перестает ожидать, что модель не должна ошибаться, - можно начинать говорить о доверии к ИИ», — заключил Михаил Криницкий.

XIV Всероссийский съезд советов молодых учёных и студенческих научных обществ проходит в Сколтехе 9–11 июля 2026 года. В его программе — пленарные и стратегические сессии, открытые диалоги, проектные игры, мастер-классы и встречи молодых исследователей с представителями университетов, научных организаций, органов власти и технологических компаний.