Нейрон - клавиатура - ПК

Так как мир наш будет реализован на основе связки движков NeoAxis и Unity3D, то придётся ориентироваться именно на эти технологии. Поэтому, когда появятся более совершенные нейроинтерфейсы, может быть так, что ни один движок не будет ещё доработан под приём сигналов от этих устройств.

Чтобы всё-таки иметь возможность входить в мир через нейроинтерфейс, думаю можно данные, поступающие с него предварительно преобразовывать в коды прерываний клавиатуры и мыши, и уже непосредственно тот или иной движок будет воспринимать это как обычный клавиатурно-"мышинный" ввод.

Понятно, что само преобразование занимает определённое время, но думаю это не критично для данной ситуации - мы же не мыслеобраз передаём на компьютер а вполне себе низкочастотный сигнал.

Идея супер, поскольку уже можно реализовать и получаем почти полное погружение.
У меня есть мысли, как на основе этой идеи можно больше приблизиться к состоянию полного погружения, но надо самим мутить не только программу для эмуляции клавиатуры, но и самим мутить конечный продукт, а именно сам виртуальный мир. Движение вперёд и назад можно оставить как во всех играх. Не будем делать так, чтобы пользователю пришлось влиять на то, чтобы персонаж мог стоять. Если он не будет программно чувствовать как стоит, то это не повлияет на осознание полного погружения. Мы в жизни обычно не думаем о ногах, и как мы стоим. Тут будет просто, стоять персонаж будет на основе анимации, и ходить на эмуляции обычных клавиш для ходьбы. Это очень упрощает задачу и позволяет использовать эмулятор клавиатуры в любых других играх. К слову, нажатие клавиш, этого эмулятора клавиатуры, надо сделать так, чтобы пользователь воспринимал их не как нажатие клавиш, а как движение вперёд, если это клавиша W, или прыжок, если это клавиша J, итд. Это можно сделать так. В начале, когда будет идти привязка сигналов мозга к нажатию клавиш, надо сделать так, чтобы пользователь представлял как идёт вперёд, или прыгает, итд.
А вот уже для работы с руками можно поработать более плотно, так как руки очень сильно влияют на полноту погружения. Предполагается, что определённая клавиша собирает трофеи, ещё одна клавиша меняет предмет в руке, итд. Если всё так и оставить, то конечно будет некое ощущение полного погружения, но отсутствие прямого управления руками сделает своё плохое дело. Возможно получится как-нибудь подшаманить в самом виртуальном мире, чтобы для каждой руки сделать по несколько клавиш для более свободного движения, чтобы пользователь видел руку, и как она перемещается и что-то берёт благодаря его мыслям. Всё это так же можно замутить на основе нескольких клавиш, и записать сигналы мозга для этих клавиш под ощущения движения руки для пользователя. И сдаётся мне, что этот эмулятор клавиатуры придётся подстраивать под каждую игру или виртуальный мир, и записывать эти настройки в базу эмулятора клавиатуры. Так как у всех игр клавиши используются не одинаково и в разных количествах.
От мыши можно избавиться за счёт системы отслеживания зрачков, такой шлем можно сказать продают. Но это уже будет не совсем чистый нейроинтерфейс ^_^

Суммирую твои идеи (если я правильно всё понял):
1. Персонаж по умолчанию должен стоять (вертикально), тогда пользователю не придётся использовать какие-то сигналы мозга для перевода виртуального тела в это положение.
2. Пользователь должен представлять именно нужное действие в виртуальном мире, а не нажатие каких-либо клавиш.
3. Движению рук нужно уделить особое внимание, так как они сильно влияют на ощущение полного погружения.
4. Для эмулятора клавиатуры необходима база настроек, своеобразные пресеты. В пресетах записаны комбинации клавиш и их функция для разных игр и вирт. миров.
5. Мышь может быть заменена системой отслеживания зрачков.

-----------------------------------------
Разбираем детали:
1. Допустим, нужно из положения сидя вновь перейти в положение стоя. Сигнал для этого всё равно понадобится "отработать". Или, например, пользователь вышел из виртуального мира, когда его аватар находится в лежачем положении. При этом в настройках входа сказано, что входить в мир нужно не только по координате, сохранившейся при выходе, но ещё и с тем же положением тела. Тут же тоже нужен сигнал о "подъёме". Но думаю, я всё же неправильно понял твою мысль.

2. Тут без вариантов, всё так и должно быть.

3. Это да, часто бывают случаи, когда нужно более точно позиционировать не только положение кисти, но и локтя и пальцев (каждого в отдельности). Кстати тут наверно пригодится не только точное позиционирование рук, но и ног, и головы и корпуса, и т. д. Самый яркий пример - возможное изучение боевых искусств в виртуальном мире. Ну прям как в Матрице, только без скоростной записи движений на подкорку реального мозга И конечно же, есть ещё масса других, может быть менее сильно задействующих различные части тела ситуаций, где пригодится такое позиционирование.

4. Такая запись ведь однократная, дальше уже будут действовать пресеты. Думаю ничего сложного тут не должно быть

5. Может, но не всегда и не у всех есть возможность "плодить сущности", то бишь купить лишнее железо. А разработчики различных аппаратных интерфейсов не зависят, и в ближайшее время не будут зависеть от разработчиков виртуальных миров, поэтому вряд ли объединят нейроинтерфейс и "глазомер" в одно устройство. Хотя могут конечно, но всё же лучше как запасной вариант оставить ещё и эмулятор обычной мышь. Кстати, также неизвестно, включат ли поддержку отслеживателей зрачков в свои движки разработчики Юнити и НеоАксис.

1. На счёт положения стоя, это я имел в виду, когда у персонажа есть анимация, и пользователю не нужно удерживать виртуальное тело на ногах при помощи силы мысли. Я говорил вовсе не про саму анимацию стояния, лежания или сидения и её организацию для процесса использования. Я лишь попытался разделить более простой способ достижения почти полного погружения, от более сложного, но уже полного погружения, где у персонажа не будет анимации, и буквально все трудности движения лягут на плечи пользователя. Но мы тут говорим именно про твой простой способ, а именно эмуляцию клавиатуры, поэтому понимаю твою реакцию. Но как мне кажется, всё-же иногда придётся упоминать про безанимационный способ погружения в виртуальность, чтобы видеть разницу.

2. Отмечу для галочки, что в этом пункте пользователю надо просто предложить воспринимать сигналы мозга, которые он отправляет на запись в базу, как свои собственные действия. Типа, программа пользователю скажет: "Записываем движение вперёд" или что-то типа того, и когда получит запись, подключит её к нужной клавише. К какой именно клавише, зависит от игры для которой пытаются настроить эмулятор клавиатуры. Пользователю даже не надо знать какая клавиша задействована. Если он забудет как ходить, сигнал можно будет перезаписать ^_^

3. На счёт позиционирования рук, это в первую очередь лишнее оборудование, и тут уже не особо полежишь на кровати, особенно во время боя ^_^ С учётом использования эмулятора клавиатуры, это не совсем плохой выход из ситуации. Во время боя можно в принципе выключать позиционирование и включать анимацию боевых приёмов, но для пользователя это уже будет как кино. Возможно и не нужно вовсе для этого способа с анимированными ногами пытаться сделать для рук настоящее безанимационное полное погружение. Просто сделать несколько анимаций для рук, которые будут активироваться нейроинтерфейсом через эмулятор клавиатуры. Ну там, взять, потрогать, ударить итд. Я так понимаю, эмулятор клавиатуры, это в любом случае будет лишь половина пути к полному отказу от анимации ^_^ Человеку однозначно может потребоваться максимальная свобода, и даже свобода от собственной формы тела, как ты уже успел заметить и создать тему про третью руку ^_^ В этом случае позиционирование, а значит и привязка к реальному телу, уже будет только мешать ^_^

4. Так то да, можно по разному реализовать базу сигналов мозга для разных игр в эмуляторе клавиатуры. Если движение вперёд уже записано для первой игры, и хорошо срабатывает, то нет смысла перезаписывать его для всех последующих игр. Надо просто чтобы этот сигнал был подключён к своей клавише в каждой из игр. Но могут быть и уникальные действия, которые нужны будут, каждый в своей игре, для этого нужно что-то вроде своего личного хранилища сигналов для каждой новой игры. Скорее всего это будет просто гибкая база данных.

5. Тут конечно всё хорошо подмечено. Думаю, даже если будет какими-либо способами созданы эмуляции клавиатуры и мыши, всё-равно придётся использовать наши привычные клавиатуру и мышь на столе. Дело не в том, что комп не заведётся без клавиатуры ^_^ Просто чтобы мышцы рук не отрофировались в итоге. Если у производителей будут проблемы со скоростью движения курсора при использовании нейроинтерфейса, то могут в принципе совместить шлем, нейроинтерфейс, и глазомер (отслеживание зрачков). Глазомер будет вместо мыши. Так или иначе, мне один канал на ютюбе подсказал, что некая компания уже разрабатывает шлем со встроенным нейроинтерфейсом. И сам я недавно случайно посмотрел видео, где анонсировали шлем с функцией отслеживания зрачков, чтобы максимально быстро управлять курсором, прицелом итд. Ребёнок там довольно быстро играл в какую-то стрелялку. Почему-то мне кажется, глазомер на некотором этапе может потребоваться в помощь нейроинтерфейсу, учитывая, если мы будем пока-что на уровне эмулятора клавиатуры. ^_^

Интересно будет перечитывать позже такие дискуссии
Кстати да, чуть ранее я уже понял, что ты имел ввиду именно защиту пользователя от постоянной мысли об удержании тела в вертикальном положении. Более внимательно перечитал твой последний пост в группе вконтакте. Там в конце была такая фраза:

Главное, чтобы не получилось, типа, перестал думать о ногах и упал ^_^

Всё же нейроинтерфейсы интересная тема, читаю сейчас статьи Каплана http://postnauka.ru/author/kaplan чтобы хоть как-то разобраться в этой новой для меня области. Вырисовывается интересная картина - такие интерфейсы имеют колоссальные перспективы не только для виртуальных миров или в медицинских областях. Но это уже наверно отдельная тема. Хотя естественно, большинство этих целей можно попросту объединить. Что мешает, к примеру, находясь в виртуальном теле ползать по локации, представляющей собой "слепок" своего же организма. Особенно если обложить сей организм медицинскими датчиками (в случае если человек болен). И перемещаясь по поражённым участкам своего организма пользователь сможет мысленно давать команды на выздоровление. Своеобразный аутотренинг, усиленный компьютерными технологиями.

Что касается эмуляторов клавиатуры - наверно в некотором примитивном виде их можно создавать даже сейчас. Ведь с помощью даже нынешних нейроинтерфейсов можно печатать символы на экране. Тогда думаю можно на этой основе также управлять и своим виртуальным телом. Правда там скорее всего придётся представлять именно буквы WSAD и другие, необходимые для движения персонажа. А эмулятор уже переведёт эти буквы в прерывания клавиатуры, таким образом можно будет двигаться, правда очень медленно меняя направление и скорость движения. Я просто не вникал в суть процессов в игровом движке, возможно даже никакого эмулятора не потребуется, а достаточно будет приложения, помогающего выбирать пользователю те или иные буквы.

Про постоянное удержание виртуального тела на ногах при помощи мысли, это наоборот слишком хорошо. Это идеально для полного погружения, просто пока почти невозможно создать такое ПО, чтобы нейроинтерфейс работал нужным образом. В итоге удержание тела на ногах должно стать фоновой работой мозга, чтобы пользователь не уделял этому процессу ценное внимание. Возможно, сначала пользователю придётся тратить внимание на процесс тренировки шагания и стояния виртуальным телом, но мозг штука загадочная, и ПО должно этому способствовать. В общем звучит как сказка, но выглядит вполне реализуемо.
Про аутотренинг при помощи нейроинтерфейса, в этом есть что-то ^_^
Теперь собственно по теме ^_^ Насколько я помню, их способ печатанья символов на экране при помощи нейроинтерфеса, вовсе не то что нам надо. Там компьютер смотрит реакцию пользователя мигая всеми буквами по очереди. Это всё ещё примитивный способ использования нейроинтерфейса, типа концентрация и расслабление, как сейчас почти во всех нейроинтерфейсных гаджетах. Если мы хотим эмулятор клавы, нам придётся каждую клавишу привязать к образу или ассоциации мозга пользователя. Как я уже говорил, при калибровке компьютер говорит пользователю представить движение вперёд, записывает в базу это состояние мозга, и подключает его к клавише W. Это для игры к примеру, и таким макаром остальные клавиши. Для другого приложения, например текстового редактора на ту же клавишу компьютер при колибровке говорит пользователю представить букву W, получается уже другое состояние мозга, хотя клавиша будет срабатывать одна и та же. Тут главное научить эмулятор клавиатуры более точно работать с сигналами мозга, и так же уметь видеть приблизительные сходства. Пока ПО может видеть только концентрацию, медитацию, и что-то ещё третье, но это самые продвинутые. Либо пока не могут так хорошо определять уникальность состояний мозга, либо сам нейроинтерфейс не может различать эти состояния достаточно точно.
Немного повторюсь. Вот ты говоришь представлять WSAD. Разве сильно важно представлять именно эти буквы? Если идёт колибровка нейроинтерфейса на клавишу, то можно представлять именно то, чем легче будет пользоваться, и что больше приблизит к полному погружению. Неважно что представлять, так как это в любом случае будет привязано к той клавише, которую обрабатывают в данный момент ^_^

В принципе да, я как-то не подумал, что в любом случае не обязательно представлять сами клавиши, а только само нужное действие, которое и будет потом обработано как клавиатурное прерывание.
Но что касается направлений движения, за которые отвечают в большинстве случаев клавиши WSAD, то даже без представлений самих букв можно организовать ходьбу уже на основе существующих примитивных нейроинтерфейсов. Организовать можно просто. Пока человек ни на чём не концентрируется, обычный игровой интерфейс (HUD) начинает по очереди отображать различные варианты движения. Это может выглядеть как стрелки четырёх направлений, или как-то иначе, но в итоге пользователь может сконцентрироваться и выбрать нужное направление. Когда юзер начинает замедлять движение (то есть расфокусировать внимание на ходьбе), снова запускается поочерёдное схематическое отображение направлений.

Конечно, это не совсем удобно - чтобы поменять направление начать останавливаться, но всё же достаточно продуктивно. А вполне вероятно, что можно научиться быстро рассеивать внимание и также быстро выбирать нужное направление. Допустим, чем выше скорость переключения мозга в медитативный режим, тем скорее будут меняться на экране значки направлений. Можно даже, чтобы изменения на экране были продублированы ещё и аудиосигналами. Скорее всего изменение тона в наушниках мозг сможет воспринять быстрее, нежели информацию от нашего достаточно инерционного зрения.

Что касается возможности "видеть" разные состояния мозга, то тут скорее всё зависит не столько от ПО, сколько от возможностей пока ещё несовершенной аппаратуры.

Этот способ тем и хорош, что уже можно приобрести нейрогаждет (посложнее, тот у которого несколько датчиков) с готовым драйвером и мутить. Довольно привлекательно, но хочу поподробнее расписать процесс более точного принципа обработки мозгового сигнала.
Я так понимаю то, что сейчас уже используется, они работают с сигналом мозга таким образом, как мне кажется, программа не сохраняет сигнал мозга пользователя. У них уже в базе есть записанное приблизительное состояние мозга типа концентрация, медитация. Эти состояния резко отличаются, поэтому аппаратура видит разницу между ними. При калибровке компьютер просто привязывает эти два состояния к конкретному пользователю и далее уже калибровать не нужно, всё будет работать. Третье состояние кажется действие, видимо недавно научили аппаратуру это различать. Наш способ от этого способа не так уж сильно отличается, в нашем способе программа просто накапливает базу сигналов. Но может быть проблема, которую я уже озвучивал, одни и те же сигналы, один в базе, другой идущий из мозга в данный момент, для сравнения с тем что в базе, могут быть несравниваемые из-за того, что работа нейроинтерфейса, это всего-лишь ловля электро-шумов. Возможно даже, это пытались выяснить те, кто изобретал современный нейроинтерфейс. Поэтому перешли на работу с более простым способом. Но я хочу верить, что в сигналах мозга может быть более тонкая закономерность ^_^
Пока всё так сложно, то ты расписал очень хороший выход из ситуации, а значит очень не помешает глазомер для увеличения возможностей для пользователя. В нашей ситуации нам нужно избавиться от вращения головой, и даже от любых движений реального тела. Поэтому либо придётся приобретать тот шлем с глазомером и отдельно нейроинтерфейс, либо ждать пока всё это совместят в одно устройство. И тогда можно медитацией выбирать команду, концентрацией исполнять команду, состоянием "действие" можно двигать персонажа. Глазами поворачиваться и нацеливаться. И это я на обум сказал, всё это можно устроить более продуманно и получить больше возможностей. Вот и получается почти полное погружение. Современному пользователю этого будет достаточно, чтобы словить кайф полного погружения.

Да тоже хочется верить, что наш мозг каким-то образом распространяет наружу свои намерения. Причём более детальные, а не просто два-три состояния.
А иначе тогда зачем всё это

Привет ^_^ Намерения это немного не то, напрямую техника, как мне кажется, их никогда не увидит. Я имел в виду сам сигнал, который принимает нейроинтерфейс. Учитывая что это просто мозговые шумы, может получится так, что даже если пользователь будет пытаться входить в точно такое-же состояние мозга, которое привязал к какому-либо виртуальному движению, то будет получаться полностью непохожий сигнал. Хотя если использовать большое количество датчиков, то можно будет привязывать к виртуальному движению сигналы со всех датчиков на основе тех трёх действий которые уже доступны, а именно концентрация, медитация, действие. Ведь мозг работает в одно и то же время в разных своих участках по разному. Значит с большого количества датчиков, на основе трёх видов сигналов, можно будет получить невероятное количество вариаций. Но это только домыслы, так как возможности проводить подобные опыты не имеем ^_^

Привет Уже на форуме общаемся почти в реальном времени. Кстати в одной из тем, касающейся подсистемы общения, я начал высказывать (да так пока и не успел) мысль об объединении в виртуальном мире в одну единую систему чатов, форумов, голосовой и видеосвязи. Чтобы для пользователя это было всё одним целым, допустим текст можно с помощью синтезатора речи превратить в голос, или наоборот, программа распознавания речи переводит голос в текст, и так далее. Там куча нюансов, да и тема эта для той темы

Про понятие "намерения мозга" я вроде слышал и читал в интервью Каплана. Скорее всего, так как он достижения интерфейсов мозг-компьютер связывает по большей части с протезированием, то да, в этом случае мозг посылает системе "намерение" сделать допустим движение пальцем правой руки (которую заменяет протез), и уже протез выполняет это намерение.

Вообще же пока всё что касается нейроинтерфейсов и самих сигналов мозга, для меня китайская грамота, приходится домысливать и додумывать. Надеюсь чуть позже разобраться с этим подробней, причём не на уровне научно-популярной литературы, а чуть глубже.