發(fā)布日期：2019-08-22
《自然—通訊》近日發(fā)表的一項(xiàng)研究介紹了一種可以將問(wèn)答對(duì)話相關(guān)腦活動(dòng)轉(zhuǎn)化為文字記錄的神經(jīng)解碼器。
大腦皮層包含不同的區(qū)域，其中的神經(jīng)活動(dòng)會(huì)編碼語(yǔ)音感知與生成。研究表明，這種腦活動(dòng)可以被解碼；但是之前的研究側(cè)重于將聽(tīng)說(shuō)任務(wù)分開(kāi)解碼。
美國(guó)加州大學(xué)舊金山分校的Edward Chang及同事在模擬的問(wèn)答對(duì)話試驗(yàn)中，通過(guò)腦活動(dòng)解碼語(yǔ)音感知與生成。被試為3名正在接受癲癇治療的患者，他們要聽(tīng)一系列的問(wèn)題并通過(guò)一套規(guī)定的答案，口頭回答問(wèn)題，作者將被試在這個(gè)過(guò)程中的腦皮層活動(dòng)記錄了下來(lái)，之后這些數(shù)據(jù)被用于訓(xùn)練語(yǔ)音檢測(cè)和解碼模型。接著，被試再聽(tīng)一系列問(wèn)題，并大聲地用自己所選的答案作答。
僅使用在對(duì)話中記錄下的神經(jīng)信號(hào)，作者便能夠檢測(cè)被試何時(shí)在聽(tīng)、何時(shí)在說(shuō)，并且能夠預(yù)測(cè)所聽(tīng)或所說(shuō)的是什么。通過(guò)解碼問(wèn)題，他們能夠利用所得信息提高被解碼答案的準(zhǔn)確性（因?yàn)椴糠执鸢钢贿m用于特定問(wèn)題），而且對(duì)于生成語(yǔ)音和感知語(yǔ)音的解碼準(zhǔn)確性分別提高到了61%和76%。
還需要開(kāi)展進(jìn)一步的工作來(lái)解碼想象的語(yǔ)音回答，這樣才能使因?yàn)閾p傷或神經(jīng)退行性疾病而無(wú)法說(shuō)話的個(gè)體使用這項(xiàng)技術(shù)。(來(lái)源：中國(guó)科學(xué)報(bào) 唐一塵編譯)
相關(guān)論文信息：https://doi.org/10.1038/s41467-019-10994-4
來(lái)源：《自然—通訊》
