Образование и наука
 
НовГУ, инновации
967

В НовГУ создают модели ИИ для управления компьютером с помощью глаз

Студенты Политехнического института НовГУ Артём Алексеев и Валентин Баранов разработали модели искусственного интеллекта, определяющие на фотографиях рамки лиц и их ключевые точки. В будущем учёные НовГУ планируют использовать эту модель при работе над айтрекером — устройством, которое отслеживает движения глаз и позволяет управлять компьютером при помощи взгляда. Это особенно актуально для людей с ограниченными возможностями здоровья, которые не могут пользоваться мышью.

Первая модель, созданная студентами, умеет определять рамку лица. Вторая — ключевые точки: глаза, брови, нос, рот. Модели образуют своеобразную нейросетевую систему: она распознаёт лица, обрезает эти фрагменты на фото, считывает биометрические показатели. Датасет для обучения нейросети взяли из открытых источников, отредактировали и дополнили.

Наставник студенческой команды — ассистент кафедры информационных технологий и систем НовГУ Игорь Кулаков. Он изучает айтрекинг и планирует в ближайшей перспективе приступить к разработке такого устройства. Уже в следующем семестре начнётся сборка нового датасета для обучения третьей модели для данной системы. В начале 2026 года планируется уже иметь прототип программного обеспечения.

Модели, созданные Артёмом Алексеевым и Валентином Барановым, будут использоваться в работе.

— Наша гипотеза в том, что трёх моделей машинного обучения будет достаточно для работы системы айтрекера. Задачи данных моделей — поиск лица, выделение ключевых точек и предсказание, куда именно смотрит человек на мониторе. Первые две уже готовы, третью мы будем реализовывать в ближайшее время. На данный момент нет открытых подходящих датасетов, поэтому мы будем собирать данные для них самостоятельно, — пояснил Игорь Кулаков.

Ранее команда под руководством Игоря Кулакова уже создала прототип нейросетевой системы, который находит и обрабатывает жесты рук с камеры. Также сейчас создаётся модель для обработки голосовых команд. Всё это также будет использоваться в айтрекере.