Как это работает?

Общий принцип работы нейроинтерфейсов

Метод электроэнцефалографии известен с 1929 года, когда Ганс Бергер открыл так называемые ритмы мозговой активности.

Человеческий мозг состоит из нервных клеток – нейронов, которые обмениваются между собой электрическими импульсами.

Электрическая активность отдельного нейрона слишком слаба, чтобы её можно было зарегистрировать с поверхности головы, без хирургического вмешательства. Но активность нейронов синхронизована, поэтому можно зарегистрировать электрические импульсы больших нейронных ансамблей.

Учёные обнаружили, что, если разложить эту активность по частотным диапазонам, можно получить представление о характере процессов, протекающих в мозге.

На разных участках поверхности головы электрическая активность отличается. В научной и медицинской среде используется сложное оборудование с большим количеством электродов. Чтобы снимать данные с участков, где растут волосы, приходится использовать токопроводящий гель и неудобные резиновые «шапочки».

Однако для многих прикладных задач вполне достаточно всего 3 электродов на лбу (по одному датчику на каждое полушарие и один «нулевой» электрод посередине). Это позволяет создавать простые и удобные устройства для повседневного ношения, которые известны как «нейроинтерфейсы».

Существует большое количество исследований, в которых психофизиологи изучают связь состояния человека с электрической активностью его мозга. Например, уровень внимания связывают с амплитудой бета-ритма, а для определения уровня стресса измеряют разницу между левым и правым полушариями по амплитуде альфа-ритма.

Хотя в основе определения состояний лежат относительно простые принципы, но для реализации этих принципов в виде конкретных алгоритмов необходимо обладать глубокой экспертизой в психофизиологии.

Платформа Teamme берёт на себя задачу интерпретации сигнала и превращает «сырой» сигнал с нейроинтерфейса в набор понятных показателей, имеющих практическую пользу.

Эти показатели можно использовать в прикладных программах и строить на их основе аналитику для широкого круга задач.

Принципы сбора данных

Сбор данных выглядит следующим образом.

Пользователь надевает нейроинтерфейс или другое биометрическое устройство (например, фитнес-браслет), которое передает данные по протоколу Bluetooth на рабочую станцию пользователя. Рабочей станцией может служить мобильный телефон или персональный компьютер.

На рабочей станции установлена программа-агент, которая получает данные с биометрического устройства и передаёт их по протоколу Websockets API на сервер обработки данных.

При передаче запроса по Websockets API программа-агент определяет параметры обработки данных, в том числе:

  • Тип передаваемых данных,
  • Модель обработки данных (может быть выбрана одна из базовых преднастроенных моделей или указана ссылка на конфигурационный XML-файл модели),
  • Пользователя, к которому должны быть привязаны первичные данные и результат их обработки,
  • Дополнительная информация, необходимая в отдельных случаях для уточнения запроса на обработку данных.

В качестве дополнительной информации может быть указана, например, ссылка на внешний скрипт обработки данных, который будет брать на себя часть расчётов. В качестве такого скрипта может быть использована, в частности, искусственная нейронная сеть или иной алгоритм машинного обучения.

Кроме того, при передаче запроса по Websockets API, программа-агент может опционально запросить у сервера вычислений подписку на результаты обработки данных, чтобы демонстрировать их пользователю в режиме реального времени.

Сервер обработки данных принимает первичные биометрические данные, а затем, используя заданные модели их обработки, генерирует результат вычислений, то есть показатели психоэмоциональных состояний пользователя.

Значения показателей психоэмоциональных состояний могут быть получены в момент их генерации по Websockets API программой-агентом, либо сторонними приложениями, при наличии у них доступа к этим данным. Например, эти значения могут выводиться на аналитическом дэшборде в веб-сервисе, доступ к которому пользователь может получить после валидной аутентификации.

После обработки данные поступают в хранилище, где остаются доступны даже после того, как пользователь завершил сессию записи с биометрического устройства.

Данные пользователя за всё время могут быть получены из хранилища по протоколу Web API. Эти данные могут использоваться для формирования сводной статистики, анализа, визуализации и так далее.

Принципы обработки данных

Обработка данных на сервере вычислений выглядит следующим образом.

Модель обработки данных, заданная в виде конфигурационного XML-файла, передаётся серверу обработки данных и содержит всю необходимую информацию для обработки данных конкретной пользовательской сессии.

Когда пользователь начинает сессию записи биометрических данных, на сервере создаётся именованная защищённая область памяти, соответствующая этой сессии. Эта область памяти называется «экземпляр модели», поскольку одна и та же модель может быть запущена одновременно в нескольких экземплярах (например, для разных пользователей).

Первичные данные помещаются в эту область и помечаются определённым типом данных.

Для каждого шага обработки данных запускается вычислительный модуль, выполняющий ту или иную элементарную операцию обработки. При запуске модулю передаются параметры, которые обязательно включают названия типов для входного и выходного потока данных.

Примерами таких элементарных операций обработки могут служить: сложение двух типов сигнала, скользящее сглаживание сигнала по заданной ширине окна, очистка сигнала от шума, спектральное разложение сигнала с помощью преобразования Фурье, дисперсия сигнала и так далее.

На рисунке ниже приведён упрощённый пример работы модуля, который выполняет операцию сложения двух сигналов. В качестве параметров его работы передаются названия типов входных значений – left_theta (тета-ритм с левого электрода) и right_theta (тета-ритм с правого электрода), а также тип выходного значения, который модуль должен присвоить данным после обработки – sum_theta (сумма тета-ритмов правого и левого электродов).

Поскольку данные идут непрерывно, все вычислительные модули работают одновременно, но каждый из них «слушает» и обрабатывает только те типы данных, которые указаны в его параметрах как входящие.

Любой промежуточный результат расчётов может быть передан внешнему скрипту обработки данных, например, искусственной нейронной сети, и результат работы этого скрипта может быть использован в дальнейших расчётах.

Таким образом, механизм обработки данных является универсальным и может быть использован для потоковой обработки произвольных данных по любому заранее заданному алгоритму.

Логика расчёта психоэмоциональных состояний

Общая логика расчёта психоэмоциональных состояний на основе первичных биометрических выглядит следующим образом.

Первичные данные от биометрического устройства поступают, как правило, с нескольких разных датчиков, называемых «отведениями». Сигналы с разных отведений поступают одновременно и обрабатываются независимо друг от друга.

В случае, когда биометрическими устройствами выступают нейроинтерфейсы, отведения имеют стандартные наименования в соответствии с принятой в международном сообществе схемой размещения электродов «10 – 20%». Разные коммерчески доступные нейроинтерфейсы предлагают различное размещение электродов, однако подавляющее большинство из них предоставляет данные с левого и правого лобных отведений, которых достаточно для многих прикладных задач.

Схема электродных отведений 10-20%

Создаваемая технология позволяет подключать биометрические устройства с любой схемой отведений, но для каждой схемы отведений нужно создавать собственную модель обработки данных для получения того или иного психофизиологического состояния.

Сигналы с каждого отведения проходят первичную очистку от шумов, фильтрация артефактов записи и очистка от выбросов происходит методом усреднения по скользящему окну с заданной шириной и временным шагом сдвига.

Затем, если это сигнал электроэнцефалогораммы (ЭЭГ), поступающий с нейроинтерфейса, он подвергается спектральному разложению на частотные диапазоны. Для сигналов ЭЭГ в научной и медицинской среде приняты определённые частотные диапазоны, которые получили названия «ритмов мозговой активности». Однако в последнее время появляются публикации о нахождении коррелятов психоэмоциональных состояний на нестандартных частотах, поэтому технология обеспечивает возможность спектрального разложения на произвольные частотные диапазоны.

Различные ритмы мозговой активности и их комбинации связаны с проявлением тех или иных психоэмоциональных состояний, то есть являются количественно измеримыми коррелятами этих состояний. Существуют также корреляты психоэмоциональных состояний, не связанные с мозговой активностью, а рассчитываемые, например, на основе данных о пульсовой волне, получаемых с биометрических браслетов.

Статьи о нахождении таких коррелятов периодически появляются в авторитетных международных изданиях в области психофизиологии и наук о мозге.

При добавлении нового алгоритма расчёта состояний, психофизиологи компании проверяют научные результаты на специально оборудованных экспериментальных площадках российских научных институтов (Психологического института РАО и Психологического факультета МГУ).

Если результаты публикации подтверждаются, психофизиологи формируют конкретный алгоритм обработки данных в виде конфигурационного файла соответствующей модели.

Каждое психоэмоциональное состояние имеет собственный алгоритм расчёта, в основе которого лежит формула или модель машинного обучения, которые тем или иным образом комбинируют амплитуды частотных диапазонов с разных отведений.

В настоящий момент технология позволяет рассчитывать корреляты стресса, концентрации, когнитивной нагрузки, увлечённости и креативности человека, а также определять эмоции по модели Arousal-Valence (сила и эмоциональная окраска эмоции) и по Экману (страх, гнев, радость, печаль, презрение, отвращение, удивление).

Однако современные достижения психофизиологии свидетельствуют о наличии десятков коррелятов различных психоэмоциональных состояний, которые также можно перевести в алгоритмы и использовать в прикладных областях.