Изследователи от Тексаския университет са се научили да дешифрират какво хората гледат, слушат или си представят, като комбинират показанията на тяхната мозъчна активност с модел, подобен на ChatGPT. Това е първият подобен резултат, постигнат без операция.
Това е първият път, когато непрекъснатата реч е реконструирана неинвазивно, като се използват данни за дейността на човешкия мозък, събрани с помощта на машина за функционален магнитен резонанс (fMRI).
Създателите на декодера признават, че могат да се намерят и други приложения за тяхното изобретение, например за шпиониране на работодатели или правителство. В същото време те подчертават, че работата му изисква сътрудничеството на хората.
„В момента дешифрирането на езика се извършва с имплантирани устройства, изискващи неврохирургия, и нашето изследване е първото, което дешифрира непрекъсната реч, а не отделни думи или изречения“, коментира Джери Тан, завършил студент в катедрата по компютърни науки в Тексаския университет в Остин и ръководител на изследването.
„Накрая се надяваме, че тази технология може да помогне на хора, които са загубили способността да говорят поради наранявания, като инсулти, или заболявания като амиотрофична латерална склероза“, добави той.
Тан и колегите му успяха да създадат декодер с помощта на трима човешки участници, всеки от които прекара 16 часа в fMRI машина, слушайки истории.
Изследователите обучиха AI модела, наречен GPT-1, на коментари от форум на Reddit и автобиографични истории, за да свържат семантичните характеристики на записаните истории със записаната чрез fMRI невронна активност. Така те научиха кои думи и фрази са свързани с определени мозъчни модели.
След това субектите слушаха нови истории, които не бяха включени в набора от данни за обучение. Едновременно с това мозъците им са сканирани с помощта на fMRI. Декодерът успя да преведе аудиозаписите в текст, въпреки че неговите интерпретации не винаги съвпадаха с оригиналните записи.
Това е първият по рода си метод, който не изисква хирургическа намеса. Когато съществуващите методи изискват електроди да бъдат имплантирани в мозъка на пациента и да правят прогнози въз основа на двигателната активност, като например движенията на устата на човек, екипът на Тан събира данни за церебралната циркулация, които се улавят от fMRI.
„Нашата система работи на съвсем различно ниво“, каза Александър Хът, асистент по невронауки и компютърни науки в Калифорнийския университет в Остин и старши автор на новото изследване. „Вместо да изучава двигателна активност на ниско ниво, нашата система наистина работи на ниво идеи, семантика и значение… Ето докъде води.“
„Ето защо смятам, че това, което получаваме, не са точните думи, които някой е чул или казал, а същността“, продължава старшият автор на изследването Александър Хът. „Това е същата идея, но изразена с различни думи.“
Новият подход позволи на екипа да разшири границите на технологията за четене на мисли, като тества дали декодер може да преведе мислите на участниците, докато гледат неми филми или просто си представят истории в главите им. И в двата случая декодерът успя да дешифрира какво са видели участниците, в случая с филмите, и какво си мислеха субектите, докато разиграваха кратките истории в съзнанието си.
Резултатът беше по-точен, когато тестовете използваха аудио записи, а не умствена реч, но в този случай декодерът успя да определи основните детайли. Например, когато субектът си представи изречението „ходейки по черен път през житно поле, през поток и покрай няколко дървени къщи“, дешифрираният текст изглеждаше така: „той трябваше да пресече мост от другата страна и да види много голяма сграда в далечината.”
Участниците в проучването преминаха всички тестове, докато бяха вътре в машината за fMRI. Това е доста обемист апарат, поради което засега декодерът не може да се използва като практичен инструмент за пациенти с говорни нарушения.
Въпреки това, Тан и колегите му се надяват, че бъдещите версии на устройството могат да бъдат адаптирани към по-удобни платформи, като например сензори за близка инфрачервена спектроскопия (fNIRS), които могат да се носят на главата на пациента.
