Forscher rekonstruieren gesprochenen Worte, wie Sie verarbeitet in nichtmenschlichen Primaten-Gehirn

Ein team von Brown University-Forscher hat eine Gehirn-computer-Schnittstelle zu rekonstruieren Englisch Wörter aus neuronalen Signale, die im Gehirn von nicht-menschlichen Primaten. Die Forschung, veröffentlicht in der Zeitschrift „Nature Communications“ die Biologie, könnte ein Schritt in Richtung der Entwicklung von Gehirn-Implantate, die helfen können, Menschen mit Hörverlust, sagen die Forscher.

„Was wir getan haben, ist zu erfassen, die komplexen Muster der neuronalen Erregung im sekundären auditorischen Kortex im Zusammenhang mit Primaten“ hören bestimmte Worte,“ sagte Arto Nurmikko, ein professor in Brown ’s School of Engineering, wissenschaftlicher Mitarbeiter in Brown‘ s Carney Institute for Brain Science und senior-Autor der Studie. „Dann benutzen wir, dass die neuronalen Daten zu rekonstruieren, der Klang der Worte, mit high-fidelity.

„Das übergreifende Ziel ist es, besser zu verstehen, wie Ton verarbeitet wird, in der Primaten-Gehirn“, Nurmikko Hinzugefügt, „die könnte letztlich dazu führen, neue Arten von neuronalen Prothetik.“

Das Gehirn beteiligten Systeme in der anfänglichen Verarbeitung von Ton ähnlich sind, in Menschen und nicht-menschlichen Primaten. Die erste Stufe der Verarbeitung, was passiert, das nennt man den primären auditorischen cortex, sortiert klingt nach Parametern wie Tonhöhe oder Ton. Das signal bewegt sich dann auf den sekundären auditorischen cortex, wo es weiterverarbeitet wird. Wenn jemand hört gesprochene Worte, zum Beispiel, das ist, wo die sounds sind klassifiziert durch die Phoneme—die einfachsten Funktionen, die uns befähigen, Wort vom anderen unterscheiden. Danach, die Informationen an andere Teile des Gehirns für die Verarbeitung, die es ermöglicht, das menschliche Verständnis von Sprache.

Sondern weil in der frühen Stufe der Verarbeitung der sound ist ähnlich wie bei Menschen und nicht-menschlichen Primaten, lernen, wie man Primaten Prozess der Worte, die Sie hören nützlich ist, obwohl Sie wahrscheinlich nicht verstehen, was diese Worte bedeuten.

Für die Studie wurden zwei erbsengroße Implantate mit 96-Kanal-mikroelektroden-arrays erfasst die Aktivität von Nervenzellen, während rhesus-Makaken hörte Aufnahmen von einzelnen englischen Wörtern und Makaken Anrufe. In diesem Fall werden die Makaken hörte ziemlich einfache ein – oder zwei-Silben-Worte—“Baum“, „gut“, „Nord“, „cricket“ und „Programm“.

Die Forscher bearbeiteten die neuronalen Aufnahmen mit Hilfe von computer-algorithmen, die speziell entwickelt, um zu erkennen neuronalen mustern, die mit bestimmten Worten. Von dort werden die neuronalen Daten übersetzt werden könnte zurück in die computer-generierte Sprache. Endlich, das team verwendet mehrere Metriken zu beurteilen, wie eng die rekonstruierte Rede entsprach dem original gesprochenen Wort, das der Makaken gehört. Die Forschungsergebnisse zeigten, dass die aufgenommenen neuronalen Daten produziert high-fidelity-Rekonstruktionen wurden, klar auf einen menschlichen Hörer.

Die Verwendung von multielectrode-arrays zu erfassen, derart komplexe auditive information war ein Erster, sagen die Forscher.

„Früher, habe die Arbeit der gesammelten Daten aus dem sekundären auditorischen Kortex mit einzelnen Elektroden, aber soweit wir wissen ist dies die erste multielectrode Aufnahme von diesem Teil des Gehirns“, sagte Nurmikko. „Im wesentlichen haben wir fast 200 mikroskopischen Horchposten, kann es uns den Reichtum und die höhere Auflösung der Daten erforderlich ist.“

Eines der Ziele der Studie, für die die Doktorandin Jihun Lee führte die Experimente, war zu testen, ob eine bestimmte Decodierung Modell Algorithmus besser als andere. Die Forschung, die in Zusammenarbeit mit Wilson Truccolo, ein computational neuroscience-Experte, zeigte sich, dass die rekurrenten neuronalen Netzen (RNNs)—eine Art von machine-learning-Algorithmus, der Häufig verwendet, in der EDV-Sprache übersetzung—hergestellt mit der höchsten treue Rekonstruktionen. Die RNNs wesentlich besser als die mehr traditionellen algorithmen, die gezeigt haben, um wirksam zu sein bei der Dekodierung von neuronalen Daten aus anderen teilen des Gehirns.

Christopher Heelan, wissenschaftlicher Mitarbeiter bei Braun und co-lead-Autor der Studie, meint, der Erfolg des RNNs kommt von Ihrer Flexibilität, die wichtig ist für die Dekodierung komplexer auditiver Informationen.

„Traditionell verwendeten algorithmen für neuronale Decodierung machen starke Annahmen darüber, wie das Gehirn kodiert Informationen, und das schränkt die Fähigkeit dieser algorithmen zur Modellierung der neuronalen Daten“, sagte Heelan, wer hat die computational toolkit für die Studie. „Neuronale Netze stellen schwächeren Annahmen und haben mehr Parameter, so dass Sie lernen, komplizierte Beziehungen zwischen neuronalen Daten und die experimentelle Aufgabe.“

Letztlich hoffen die Forscher, diese Art von Forschung könnte Hilfe bei der Entwicklung von neuronalen Implantaten, die möglicherweise Hilfe bei der Wiederherstellung der Völker‘ Gehör.