- Специальный корреспондент
Не грози искусственному интеллекту, попивая сок у себя в квартале.
Ученые научились использовать GPT-модели для пассивного чтения человеческих мыслей. Разработанный недавно языковой декодер способен переводить мысли человека в текст с помощью специального ИИ-преобразователя.
Прорыв знаменует собой первый случай, когда непрерывный язык был неинвазивно реконструирован на основе сигналов человеческого мозга, которые считываются с помощью аппарата функциональной магнитно-резонансной томографии (фМРТ).
Декодер смог интерпретировать суть историй, которые люди смотрели или слушали, или даже просто воображали — с помощью паттернов мозга фМРТ. Это достижение, по сути, позволяет машине читать мысли людей с беспрецедентной эффективностью. Хотя технология всё ещё находится на ранней стадии, учёные надеются, что однажды она поможет людям с неврологическими заболеваниями, влияющими на речь, чётко общаться с внешним миром.
Тем не менее, команда, создавшая декодер, также предупредила, что платформы для чтения мозга могут в конечном итоге иметь гнусные применения, в том числе в качестве средства наблюдения за правительствами и работодателями. Хотя исследователи подчеркнули, что их декодер требует сотрудничества людей для работы, они утверждали, что «интерфейсы мозг-компьютер должны уважать ментальную конфиденциальность», согласно исследованию, в понедельник в Nature Neuroscience.
«В настоящее время декодирование языка осуществляется с помощью имплантированных устройств, требующих нейрохирургического вмешательства, и наше исследование является первым, в котором декодируется непрерывный язык, означающий больше, чем полные слова или предложения, из неинвазивных записей мозга, которые мы собираем с помощью функциональной МРТ», — объяснил Джерри Танг, аспирант факультета компьютерных наук Техасского университета в Остине.
«Цель языкового декодирования — записать активность мозга пользователя и предсказать слова, которые он слышал, произносил или представлял. В конце концов, мы надеемся, что эта технология сможет помочь людям, которые потеряли способность говорить из-за инсульта или прочих заболеваний», — отметил Танг.
Учёный и его коллеги смогли создать свой декодер с помощью трёх добровольцев, каждый из которых провел 16 часов в аппарате фМРТ, слушая различные истории. Исследователи обучили модель ИИ на автобиографических историях из Интернета, чтобы связать семантические особенности этих историй с нейронной активностью, зафиксированной в данных фМРТ. Таким образом, модель могла узнавать, какие слова и фразы связаны с определенными паттернами мозга.
После того, как эта фаза эксперимента была завершена, участникам сканировали мозг с помощью фМРТ, пока они слушали новые истории, которые не были частью обучающего набора данных. Декодер смог перевести аудиорассказы в текст так, как их слышали участники, хотя в этих интерпретациях часто использовались семантические конструкции, отличные от оригинальных записей. Например, запись говорящего, произносящего фразу «У меня ещё нет водительских прав», была расшифрована из мыслей слушателя с помощью декодера как «Она ещё даже не начала учиться водить».
Эти грубые переводы возникают из-за ключевого различия между новым декодером и существующими методами, которые используют инвазивные имплантированные электроды в мозг. Платформы на основе электродов обычно предсказывают текст на основе двигательной активности, такой как движения рта человека, когда он пытается говорить. В то время как команда Танга сосредоточилась на потоке крови через мозг, который фиксируется аппаратами фМРТ.
«Наша система работает на совершенно другом уровне. Вместо того, чтобы смотреть на низкоуровневую моторику, наша система действительно работает на уровне идей, семантики и смысла. Вот к чему это идёт», — заявил Александр Хут, доцент нейробиологии и компьютерных наук.
Новый подход позволил команде раздвинуть границы технологий чтения мыслей, наблюдая, может ли декодер переводить мысли участников, когда они смотрели немые фильмы или просто представляли истории в своих головах. В обоих случаях декодер смог расшифровать то, что видели участники (в случае с фильмами) и о чём думали, разыгрывая короткие истории в своем воображении.
Декодер выдавал более точные результаты во время тестов с аудиозаписями по сравнению с воображаемой речью, но всё же мог извлечь некоторые основные детали невысказанных мыслей из мозговой активности. Например, когда испытуемый представлял себе предложение «шёл по грунтовой дороге через пшеничное поле, через ручей и мимо каких-то бревенчатых строений», декодер выдавал текст, в котором говорилось, что «он должен был пройти через мост на другую сторону и очень большое здание вдалеке».
Участники исследования прошли все эти тесты, находясь внутри аппарата фМРТ, который является громоздким и неподвижным лабораторным оборудованием. По этой причине декодер ещё не готов для практического лечения пациентов с нарушениями речи, хотя Танг и его коллеги надеются, что будущие версии устройства можно будет адаптировать к более удобным платформам, таким как портативные датчики спектроскопии ближнего инфракрасного диапазона (fNIRS), которые можно носить на голове пациента.
Хотя исследователи намекнули на перспективы этой технологии в качестве нового средства связи, они также предупредили, что подобные декодеры вызывают этические опасения по поводу конфиденциальности ума.
«Наш анализ конфиденциальности показывает, что в настоящее время требуется сотрудничество субъектов как для обучения, так и для применения декодера. Однако будущие разработки могут позволить декодерам обойти эти требования. Более того, даже если предсказания декодера будут неточными без участия субъекта, они могут быть намеренно неверно истолкованы в злонамеренных целях», — высказали свои опасения учёные.
«По этим и другим непредвиденным причинам крайне важно повысить осведомленность о рисках, связанных с технологией декодирования мозга, и принять меры, защищающие частную жизнь каждого человека», — заключили исследователи.
Ученые научились использовать GPT-модели для пассивного чтения человеческих мыслей. Разработанный недавно языковой декодер способен переводить мысли человека в текст с помощью специального ИИ-преобразователя.
Прорыв знаменует собой первый случай, когда непрерывный язык был неинвазивно реконструирован на основе сигналов человеческого мозга, которые считываются с помощью аппарата функциональной магнитно-резонансной томографии (фМРТ).
Декодер смог интерпретировать суть историй, которые люди смотрели или слушали, или даже просто воображали — с помощью паттернов мозга фМРТ. Это достижение, по сути, позволяет машине читать мысли людей с беспрецедентной эффективностью. Хотя технология всё ещё находится на ранней стадии, учёные надеются, что однажды она поможет людям с неврологическими заболеваниями, влияющими на речь, чётко общаться с внешним миром.
Тем не менее, команда, создавшая декодер, также предупредила, что платформы для чтения мозга могут в конечном итоге иметь гнусные применения, в том числе в качестве средства наблюдения за правительствами и работодателями. Хотя исследователи подчеркнули, что их декодер требует сотрудничества людей для работы, они утверждали, что «интерфейсы мозг-компьютер должны уважать ментальную конфиденциальность», согласно исследованию, в понедельник в Nature Neuroscience.
«В настоящее время декодирование языка осуществляется с помощью имплантированных устройств, требующих нейрохирургического вмешательства, и наше исследование является первым, в котором декодируется непрерывный язык, означающий больше, чем полные слова или предложения, из неинвазивных записей мозга, которые мы собираем с помощью функциональной МРТ», — объяснил Джерри Танг, аспирант факультета компьютерных наук Техасского университета в Остине.
«Цель языкового декодирования — записать активность мозга пользователя и предсказать слова, которые он слышал, произносил или представлял. В конце концов, мы надеемся, что эта технология сможет помочь людям, которые потеряли способность говорить из-за инсульта или прочих заболеваний», — отметил Танг.
Учёный и его коллеги смогли создать свой декодер с помощью трёх добровольцев, каждый из которых провел 16 часов в аппарате фМРТ, слушая различные истории. Исследователи обучили модель ИИ на автобиографических историях из Интернета, чтобы связать семантические особенности этих историй с нейронной активностью, зафиксированной в данных фМРТ. Таким образом, модель могла узнавать, какие слова и фразы связаны с определенными паттернами мозга.
После того, как эта фаза эксперимента была завершена, участникам сканировали мозг с помощью фМРТ, пока они слушали новые истории, которые не были частью обучающего набора данных. Декодер смог перевести аудиорассказы в текст так, как их слышали участники, хотя в этих интерпретациях часто использовались семантические конструкции, отличные от оригинальных записей. Например, запись говорящего, произносящего фразу «У меня ещё нет водительских прав», была расшифрована из мыслей слушателя с помощью декодера как «Она ещё даже не начала учиться водить».
Эти грубые переводы возникают из-за ключевого различия между новым декодером и существующими методами, которые используют инвазивные имплантированные электроды в мозг. Платформы на основе электродов обычно предсказывают текст на основе двигательной активности, такой как движения рта человека, когда он пытается говорить. В то время как команда Танга сосредоточилась на потоке крови через мозг, который фиксируется аппаратами фМРТ.
«Наша система работает на совершенно другом уровне. Вместо того, чтобы смотреть на низкоуровневую моторику, наша система действительно работает на уровне идей, семантики и смысла. Вот к чему это идёт», — заявил Александр Хут, доцент нейробиологии и компьютерных наук.
Новый подход позволил команде раздвинуть границы технологий чтения мыслей, наблюдая, может ли декодер переводить мысли участников, когда они смотрели немые фильмы или просто представляли истории в своих головах. В обоих случаях декодер смог расшифровать то, что видели участники (в случае с фильмами) и о чём думали, разыгрывая короткие истории в своем воображении.
Декодер выдавал более точные результаты во время тестов с аудиозаписями по сравнению с воображаемой речью, но всё же мог извлечь некоторые основные детали невысказанных мыслей из мозговой активности. Например, когда испытуемый представлял себе предложение «шёл по грунтовой дороге через пшеничное поле, через ручей и мимо каких-то бревенчатых строений», декодер выдавал текст, в котором говорилось, что «он должен был пройти через мост на другую сторону и очень большое здание вдалеке».
Участники исследования прошли все эти тесты, находясь внутри аппарата фМРТ, который является громоздким и неподвижным лабораторным оборудованием. По этой причине декодер ещё не готов для практического лечения пациентов с нарушениями речи, хотя Танг и его коллеги надеются, что будущие версии устройства можно будет адаптировать к более удобным платформам, таким как портативные датчики спектроскопии ближнего инфракрасного диапазона (fNIRS), которые можно носить на голове пациента.
Хотя исследователи намекнули на перспективы этой технологии в качестве нового средства связи, они также предупредили, что подобные декодеры вызывают этические опасения по поводу конфиденциальности ума.
«Наш анализ конфиденциальности показывает, что в настоящее время требуется сотрудничество субъектов как для обучения, так и для применения декодера. Однако будущие разработки могут позволить декодерам обойти эти требования. Более того, даже если предсказания декодера будут неточными без участия субъекта, они могут быть намеренно неверно истолкованы в злонамеренных целях», — высказали свои опасения учёные.
«По этим и другим непредвиденным причинам крайне важно повысить осведомленность о рисках, связанных с технологией декодирования мозга, и принять меры, защищающие частную жизнь каждого человека», — заключили исследователи.
