История студенческого проекта: как команда выходит на рынок технологий айтрекинга
Руководитель проекта
Сергей Стабров
Студент 1 курса магистратуры ДВФУ, программист.
Познакомьтесь с Сергеем Стабровым, основателем проекта по управлению инвалидной коляской на основе айтрекинга и студентом 1 курса магистратуры «Автоматизация технологических процессов и производств (в промышленности)» Политехнического института ДВФУ. Благодаря возможностям университетской среды Сергей смог собрать команду и начать работать над технологическим проектом.
Передвижение на инвалидной коляске традиционным способом происходит посредством задействования физической активности или управления джойстиком в зависимости от типа коляски. Такой формат доступен и удобен не всем и, если говорить о бесшовных нейроинтерфейсах, пока рано, то роботизированные коляски воплне реальность наших дней.
Я около года занимаюсь развитием технологий айтрекинга и осенью 2020 года мой преподаватель предложил поучаствовать в хакатоне «Нейростарт», который организовывал Центр проектной деятельности ДВФУ. Мы пришли даже без идеи проекта, хотели просто посмотреть что это такое. Идея появилась сразу после первой лекции и за три дня мы собрали рабочий прототип, при помощи которого можно было управлять роботом с помощью зрений. Эксперты поддержали проект и вдохновили нас на его развитие.
Я около года занимаюсь развитием технологий айтрекинга и осенью 2020 года мой преподаватель предложил поучаствовать в хакатоне «Нейростарт», который организовывал Центр проектной деятельности ДВФУ. Мы пришли даже без идеи проекта, хотели просто посмотреть что это такое. Идея появилась сразу после первой лекции и за три дня мы собрали рабочий прототип, при помощи которого можно было управлять роботом с помощью зрений. Эксперты поддержали проект и вдохновили нас на его развитие.
Финал хакатона "Нейростарт-2020"
По итогам хакатона наша команда выиграла грант в программе Акселератор 3.0 на реализацию проекта. Мы начали конструировать коляску, но столкнулись с тем, что не все расходные материалы можно быстро закупить, поэтому итоговый продукт будет готов только к концу июня. Это будет кресло с двумя приводами и системой считывания движения зрачков за счет небольшой камеры, закрепленной на оправе. Информация с очков обрабатывается на компьютере, где алгоритм формирует необходимый сигнал управления, который передается на драйвер приводов.
Технологию мы не изобретали, она существует – это айтрекинг на основе компьютерного зрения. Технология основана на покадровом анализе видеоряда, где специальные алгоритмы на основе нейронных сетей идентифицируют положение зрачка и интерпретируют это в какой-либо сигнал. Звучит просто, но создание программы безошибочно справляется с этой задачей – та еще морока. В процессе разработки мы сталкиваемся со множеством подводных камней.
Мы не первые, кто пытается решить подобную проблему, существуют аналоги как в России, так и в мире, к примеру, коллеги из Курчатовского института, занимаются подобным проектом с применением окулографии, но наши методы несколько различаются.
Технологию мы не изобретали, она существует – это айтрекинг на основе компьютерного зрения. Технология основана на покадровом анализе видеоряда, где специальные алгоритмы на основе нейронных сетей идентифицируют положение зрачка и интерпретируют это в какой-либо сигнал. Звучит просто, но создание программы безошибочно справляется с этой задачей – та еще морока. В процессе разработки мы сталкиваемся со множеством подводных камней.
Мы не первые, кто пытается решить подобную проблему, существуют аналоги как в России, так и в мире, к примеру, коллеги из Курчатовского института, занимаются подобным проектом с применением окулографии, но наши методы несколько различаются.
Демонстрация прототипа по управлению роботом
Я бы бросил проект, если бы не знал, что он действительно нужен и важен. Это нам подтверждают врачи Медицинского центра ДВФУ, зрители и эксперты мероприятий, в которых мы участвуем с идеей разработки. Как только у нас будет готовый прототип, мы сможем узнать, правда ли это так, предложив решение потребителю. У нас есть предварительные договоренности с некоторыми медицинскими учреждениями России на апробацию решения.
Закупить расходные материалы нам помог Центр проектной деятельности ДВФУ, на базе которого мы продолжаем работу по проекту. В процессы работы появляются побочные проекты с применением технологий айтрекинга, но уже не связанные с медициной. В ЦПД рабочая атмосфера, все готовы помочь по проекту, подключиться и углубиться в проект по мере своих компетенций и подсказать. Мы разбирались с технологией в процессе работы, нами двигало желание и интерес, поддержка преподавателей и различные университетские мероприятия, которые обычно продуктивны. Думаю, можно сказать, что сегодня наша команда готова на заказ создавать подобные решения.
Закупить расходные материалы нам помог Центр проектной деятельности ДВФУ, на базе которого мы продолжаем работу по проекту. В процессы работы появляются побочные проекты с применением технологий айтрекинга, но уже не связанные с медициной. В ЦПД рабочая атмосфера, все готовы помочь по проекту, подключиться и углубиться в проект по мере своих компетенций и подсказать. Мы разбирались с технологией в процессе работы, нами двигало желание и интерес, поддержка преподавателей и различные университетские мероприятия, которые обычно продуктивны. Думаю, можно сказать, что сегодня наша команда готова на заказ создавать подобные решения.
КОМАНДА ПРОЕКТА
Сергей Стабров,
руководитель проекта, магистрант ДВФУ,
программист
руководитель проекта, магистрант ДВФУ,
программист
Штакин Денис,
магистрант ДВФУ, программист
Никита Смадыч,
студент ДВФУ,
инженер-конструктор
магистрант ДВФУ, программист
Никита Смадыч,
студент ДВФУ,
инженер-конструктор