Научный руководитель:
Светлана Илларионова, руководитель исследовательской группы;
Описание:
Алгоритмы ИИ активно используются для улучшения характеристик пространственных данных, в частности, данных спутникового мониторинга. К ключевым характеристикам спутниковых данных относится пространственное разрешение, спектральное разрешение, повторяемость съемки, наличие помех на снимках (например облака, тени от них). Для повышения детализации снимков используются алгоритмы генеративного ИИ для повышения разрешения (image super-resolution). Однако при синтезе новых данных с помощью алгоритмов ИИ могут возникать искажения, галлюцинации моделей. Например, могут появляться объекты, которых не было на исходных изображениях. Для разработки надежных алгоритмов пространственного мониторинга необходимо уметь выявлять появление таких искажений и оценивать достоверность сгенерированных данных.
Какие задачи?
- Анализ существующих методов генеративного повышения разрешения (super-resolution) спутниковых снимков.
- Разработка и реализация метрик для количественной оценки галлюцинаций (артефактов, ложных объектов, спектральных искажений).
- Проведение экспериментов на реальных мультиспектральных данных (Sentinel-2, Landsat) с внесением контролируемых помех (облака, тени).
- Сравнение поведения нескольких генеративных моделей (GAN, диффузионные модели) и выявление сценариев, наиболее подверженных галлюцинациям
Какой опыт получит стажер?
- Навыки работы с геопространственными данными и спутниковыми снимками (библиотеки rasterio, GDAL, xarray).
- Практическое применение методов генеративного ИИ (обучение/дообучение моделей super-resolution на PyTorch/TensorFlow).
- Умение проектировать и реализовывать метрики достоверности сгенерированных данных (в том числе без эталонных изображений).
- Навыки критического анализа устойчивости ИИ-алгоритмов к искажениям
- Опыт оформления научных результатов и подготовки публикаций в ведущих рецензируемых журналах и конференциях
Продолжительность стажировки: 2 месяца
Дата начала стажировки: обсуждается с кандидатами
Требования к кандидату:
Обязательные навыки:
Python — уверенный уровень
PyTorch — опыт написания кастомных модулей (DataLoader-а).
Базовое понимание Generative AI (как работают GAN или базовые диффузионные подходы)
Знание основ цифровой обработки изображений (OpenCV, фильтры, преобразования)
желательно
Знакомство с современными библиотеками (diffusers, timm, albumentations)
Опыт работы со спутниковыми данными
плюс
Опыт участия в соревнованиях (Kaggle)
Ежемесячная компенсация: Не подразумевается
Контактное лицо: Илларионова Светлана, s.illarionova@skoltech.ru