正在阅读:

脑机接口重大突破!华裔科学家团队成功解码脑电波

扫一扫下载界面新闻APP

脑机接口重大突破!华裔科学家团队成功解码脑电波

从脑活动中重建自然语音是可能的。

文|AI报道

瘫痪或者中风等疾病往往会导致患者丧失部分说话能力,例如斯蒂芬·霍金生前因患有肌肉萎缩性脊髓侧索硬化症(ALS)而丧失了全身机动能力和说话能力。

虽然霍金在世时可以借助红外线感应器与外界进行沟通,包括通过眨眼速度的变化与电脑通信,再由语言合成器将文字转为语音,但使用这类辅助技术非常费时费力,霍金生前每分钟只能说15个单词左右。而正常人说话的速度是每分钟100~150个单词。

脑波直接转语音,脑机接口新突破

就在不久前的4月25日,Nature 杂志发表了加州大学旧金山分校神经外科学系华裔教授 Edward Chang(中文名:张复伦)及同事的最新研究成果“Speech synthesis from neural decoding of spoken sentences” :通过解码大脑活动提升语音的清晰度,使用深度学习方法直接从大脑信号中产生口语句子,达到150个单词,接近正常人水平。

这套人类语音合成系统,通过一个独特的两步过程运作:首先,它将大脑信号转换成声道(包括下颌、喉部、嘴唇和舌头)的运动。之后,它将这些运动合成为语音。该系统需要一个直接放置在大脑上的手掌大小的电极阵列。论文作者表示,该系统概念验证了从脑活动中重建自然语音是可能的。

这项研究还有一个有趣的发现,一名受试者被要求在不发出声音的情况下用其声道模仿单词的发音动作。BCI能够从这些发音动作中合成出可理解的语音,这表明该系统还可以应用于不能发出声音的人。

解码出来的声道运动在人与人之间大同小异,这表明有可能创建一种“通用”解码器在不同的人之间共享。“模仿一个人声音的人造声道可以根据另一个人的大脑活动来合成语音。”Chang说道。

在关于该研究的一则新闻报道中,Edward Chang表示,许多研究都聚焦在从脑活动中解码声音或完整单词,但解码思想“非常困难”。“我们很明确地尝试解码动作以创建声音,而不是直接解码声音。”

目前,该研究的主要限制是它的受试者都是没有语言障碍的人,该团队希望未来能够在不能说话的患者身上进行临床试验,测试这项新技术。

随后,谷歌大脑 Jeff Dean 通过 Twitter 转发了这条研究,并赞叹该项研究成果,“非常酷!可以直接从神经活动中快速产生语音。”

当然,大脑的潜力不仅仅如此,脑机接口的研究除了能在神经活动中产生语音,还可以让人类在神经活动中实现实时搜索引擎。

早前在Frontiers系列期刊杂志中的神经科学板块上,由美国加州大学伯克利分校的研究人员和美国分子制造研究所合作发表过一项研究项目“人类大脑/云接口”(B / CI)”,这项技术可以连接大脑神经元,直接接触巨大的云计算网络,实现与网络的实时连接。

研究人员在论文中说,一个稳定、安全、实时的系统可以将云与人脑连接起来。实现这样一个系统的一种有希望的策略,称为“人脑/云接口”(B/CT),将基于一种称为“神经纳米机器人”(neuralnanorobotics)的技术。

《黑客帝国》电影中,主角黑客尼奥历尽千辛万苦,认清Matrix就是AI人工智能创造的一种神经交互模拟系统。如今,这种神经交互模拟系统离我们越来越近了。

大脑中的纳米机器人

纳米机器人(Nanobots)是一种比人类头发丝的宽度还小的微型机器人,这种机器人有望在未来以各种方式造福人类和地球。但要实现B/CI,需要一种特殊的机器人:神经纳米机器人。

B/CI的概念最初是由未来学家,作家以及发明家雷·库兹韦尔提出的,他认为人类布满皱纹的新皮质是大脑中最新的、最聪明的、“有意识”的部分,神经纳米机器人可以用来连接人类大脑的新皮质和云端的“合成新皮质”。

研究人员预计,未来的神经纳米机器人技术将有望促进对影响人类大脑的约400种疾病进行精确诊断和最终治疗。神经纳米机器人还将通过直接地检测大脑的~86×109个神经元和~2×1014个突触,使B/CI能够控制神经活动与外部数据存储和处理之间的连接。

此外,通过在人体血管系统内进行导航,三种神经纳米机器人(endoneurobots,gliabots,和synaptobots)还可以穿过血脑屏障(blood–brain barrier, BBB),进入脑实质,甚至进入单个脑细胞,分别在神经元的轴突初始段(endoneurobots)、神经胶质细胞内(gliabots)和亲密接近突触时 (synaptobots)进行自动定位。

然后,它们将通过辅助纳米机械光纤,以高达每秒~6×1016比特的速度无线传输突触处理的信息和编码人脑电信息。辅助纳米光纤的传输能力达1018bits/每秒,并能为基于云的超级计算机提供快速的数据传输,以实现实时大脑状态监测和数据提取。

神经纳米机器人有望提供一种非破坏性、实时、安全、长期,并且实际上是自主的体内系统,可实现首个有效的人类 B/CI。

思想的互联网

研究显示,这个位于云端的皮层将允许“矩阵”式的信息下载到大脑。首席作者努诺·马丁斯博士表示:“一个由神经纳米机器人介导的人类B/CI系统可以让个人即时访问云计算中所有人类积累的知识,同时显著提高人类的学习能力和智力。”

B/CI技术或许还能让我们创造出一个未来的“全球超级大脑”,将个人大脑和人工智能网络连接起来,从而实现集体思维。马丁斯解释说:“虽然还不是特别复杂,但一个实验性的人类‘大脑网络’系统已经经过测试,可以通过云在个体大脑之间进行思想驱动的信息交换。它通过‘发送者’的头骨记录的电信号和通过‘接收者’的头骨记录的磁刺激,允许执行合作任务。”

“随着神经纳米机器人技术的进步,我们设想未来可以创造出‘超级大脑’,可以实时控制任意数量的人和机器的思维和思考能力。”马丁斯表示。这种共同的认知可以变革民主,增强同理心,最终将文化多样性的群体团结成一个真正的全球社会。”

BTBI技术的一个特别有趣的应用,称为“Brainets”,涉及从多个大脑记录的神经元信号的接口和处理,以实现互连大脑之间的信息交换和执行合作任务。虽然还不是特别复杂,但最近对老鼠和猴子的实验一定程度上证明了Brainet系统的效果,包括验证在大鼠的感觉运动皮层中永久植入微电极之后,位于不同大陆的两只大鼠的大脑之间潜在的直接通信。

技术障碍和伦理障碍仍存在

根据该组织的估计,即使是现有的超级计算机也有处理B/CI所需的神经数据量的速度,而且它们正在变得越来越快。相反,在云计算中向超级计算机和从超级计算机之间传输神经数据可能是B/CI开发的最终瓶颈。马丁斯警告说:“这一挑战不仅包括为全球数据传输寻找带宽,还包括如何通过嵌入大脑深处的微型设备与神经元进行数据交换。”

论文作者提出的一个解决方案是使用“磁电纳米颗粒”来有效地增强神经元和云之间的通信。

马丁斯解释说:“这些纳米粒子已经被用在活老鼠身上,把外部磁场和神经元电场结合起来——也就是说,探测并在局部放大这些磁场信号,从而使它们能够改变神经元的电活动。这也可以反过来工作:神经元和纳米机器人产生的电信号可以通过磁电纳米颗粒放大,从而使它们能够在颅骨外被探测到。”让这些纳米粒子——以及纳米机器人——通过血液循环安全地进入大脑,或许是B/CI所面临的最大挑战。

“在考虑将纳米颗粒用于人类发展之前,需要对其生物分布和生物相容性进行详细分析。然而,随着这些和其他有前景的B/CI技术以越来越快的速度发展,‘思想的互联网’可能在世纪之交之前成为现实,”马丁斯总结道。

美国福克斯新闻网报道了一项新研究表明,这种脑机接口面世的时间可能大大早于很多人的预期,或许几十年内就能实现。

而中国自动化学会混合智能专家委员会副主任、复旦大学计算机学院张军平教授则对此持谨慎态度,他表示:“人工智能领域容易在获得一点小成就的前提下,就对未来的发展表现得过于乐观。前两次人工智能的低谷,与这种乐观情绪导致对人工智能的过高期望不无关系。大脑与互联网相连,还面临不少技术和伦理方面的障碍。”

他解释说:“首先,我们对人类大脑的理解远远不够。由于现有探测设备的局限性,我们在探索大脑活动的时间分辨率和空间分辨率上仍然不高,因此无法在局部和整体之间形成光滑的过渡,也不足以让我们形成能充分了解大脑活动和思维的断言。此外,若要确保脑机接口不损伤人体,所需要考虑的因素依然很多。举例来说,现有的脑机接口设备多是头戴式的,无法获得细胞尺寸级的信号控制。而要实现与大脑真正意义的全连接,我想它的前提应该是换头术要先成功。那样才意味着至少我们能把神经控制通路理解清楚了,然后才能上升到意识层,对高层的智能进行模拟和实现人机融合。”

总的来说,无论是解码思想直接转化为语音,还是像《黑客帝国》中一样实现超高速信息传送,脑机接口领域的前沿成果从研究到落地仍有相当长的路要走。

部分参考:

https://www.frontiersin.org/articles/10.3389/fnins.2019.00112/full#h1

https://www.sciencedaily.com/releases/2019/04/190412094736.htm

https://www.sciencealert.com/scientists-say-a-human-brain-cloud-interface-is-coming-this-is-what-it-could-be-like

图片来自网络

本文为转载内容,授权事宜请联系原著作权人。

评论

暂无评论哦,快来评价一下吧!

下载界面新闻

微信公众号

微博

脑机接口重大突破!华裔科学家团队成功解码脑电波

从脑活动中重建自然语音是可能的。

文|AI报道

瘫痪或者中风等疾病往往会导致患者丧失部分说话能力,例如斯蒂芬·霍金生前因患有肌肉萎缩性脊髓侧索硬化症(ALS)而丧失了全身机动能力和说话能力。

虽然霍金在世时可以借助红外线感应器与外界进行沟通,包括通过眨眼速度的变化与电脑通信,再由语言合成器将文字转为语音,但使用这类辅助技术非常费时费力,霍金生前每分钟只能说15个单词左右。而正常人说话的速度是每分钟100~150个单词。

脑波直接转语音,脑机接口新突破

就在不久前的4月25日,Nature 杂志发表了加州大学旧金山分校神经外科学系华裔教授 Edward Chang(中文名:张复伦)及同事的最新研究成果“Speech synthesis from neural decoding of spoken sentences” :通过解码大脑活动提升语音的清晰度,使用深度学习方法直接从大脑信号中产生口语句子,达到150个单词,接近正常人水平。

这套人类语音合成系统,通过一个独特的两步过程运作:首先,它将大脑信号转换成声道(包括下颌、喉部、嘴唇和舌头)的运动。之后,它将这些运动合成为语音。该系统需要一个直接放置在大脑上的手掌大小的电极阵列。论文作者表示,该系统概念验证了从脑活动中重建自然语音是可能的。

这项研究还有一个有趣的发现,一名受试者被要求在不发出声音的情况下用其声道模仿单词的发音动作。BCI能够从这些发音动作中合成出可理解的语音,这表明该系统还可以应用于不能发出声音的人。

解码出来的声道运动在人与人之间大同小异,这表明有可能创建一种“通用”解码器在不同的人之间共享。“模仿一个人声音的人造声道可以根据另一个人的大脑活动来合成语音。”Chang说道。

在关于该研究的一则新闻报道中,Edward Chang表示,许多研究都聚焦在从脑活动中解码声音或完整单词,但解码思想“非常困难”。“我们很明确地尝试解码动作以创建声音,而不是直接解码声音。”

目前,该研究的主要限制是它的受试者都是没有语言障碍的人,该团队希望未来能够在不能说话的患者身上进行临床试验,测试这项新技术。

随后,谷歌大脑 Jeff Dean 通过 Twitter 转发了这条研究,并赞叹该项研究成果,“非常酷!可以直接从神经活动中快速产生语音。”

当然,大脑的潜力不仅仅如此,脑机接口的研究除了能在神经活动中产生语音,还可以让人类在神经活动中实现实时搜索引擎。

早前在Frontiers系列期刊杂志中的神经科学板块上,由美国加州大学伯克利分校的研究人员和美国分子制造研究所合作发表过一项研究项目“人类大脑/云接口”(B / CI)”,这项技术可以连接大脑神经元,直接接触巨大的云计算网络,实现与网络的实时连接。

研究人员在论文中说,一个稳定、安全、实时的系统可以将云与人脑连接起来。实现这样一个系统的一种有希望的策略,称为“人脑/云接口”(B/CT),将基于一种称为“神经纳米机器人”(neuralnanorobotics)的技术。

《黑客帝国》电影中,主角黑客尼奥历尽千辛万苦,认清Matrix就是AI人工智能创造的一种神经交互模拟系统。如今,这种神经交互模拟系统离我们越来越近了。

大脑中的纳米机器人

纳米机器人(Nanobots)是一种比人类头发丝的宽度还小的微型机器人,这种机器人有望在未来以各种方式造福人类和地球。但要实现B/CI,需要一种特殊的机器人:神经纳米机器人。

B/CI的概念最初是由未来学家,作家以及发明家雷·库兹韦尔提出的,他认为人类布满皱纹的新皮质是大脑中最新的、最聪明的、“有意识”的部分,神经纳米机器人可以用来连接人类大脑的新皮质和云端的“合成新皮质”。

研究人员预计,未来的神经纳米机器人技术将有望促进对影响人类大脑的约400种疾病进行精确诊断和最终治疗。神经纳米机器人还将通过直接地检测大脑的~86×109个神经元和~2×1014个突触,使B/CI能够控制神经活动与外部数据存储和处理之间的连接。

此外,通过在人体血管系统内进行导航,三种神经纳米机器人(endoneurobots,gliabots,和synaptobots)还可以穿过血脑屏障(blood–brain barrier, BBB),进入脑实质,甚至进入单个脑细胞,分别在神经元的轴突初始段(endoneurobots)、神经胶质细胞内(gliabots)和亲密接近突触时 (synaptobots)进行自动定位。

然后,它们将通过辅助纳米机械光纤,以高达每秒~6×1016比特的速度无线传输突触处理的信息和编码人脑电信息。辅助纳米光纤的传输能力达1018bits/每秒,并能为基于云的超级计算机提供快速的数据传输,以实现实时大脑状态监测和数据提取。

神经纳米机器人有望提供一种非破坏性、实时、安全、长期,并且实际上是自主的体内系统,可实现首个有效的人类 B/CI。

思想的互联网

研究显示,这个位于云端的皮层将允许“矩阵”式的信息下载到大脑。首席作者努诺·马丁斯博士表示:“一个由神经纳米机器人介导的人类B/CI系统可以让个人即时访问云计算中所有人类积累的知识,同时显著提高人类的学习能力和智力。”

B/CI技术或许还能让我们创造出一个未来的“全球超级大脑”,将个人大脑和人工智能网络连接起来,从而实现集体思维。马丁斯解释说:“虽然还不是特别复杂,但一个实验性的人类‘大脑网络’系统已经经过测试,可以通过云在个体大脑之间进行思想驱动的信息交换。它通过‘发送者’的头骨记录的电信号和通过‘接收者’的头骨记录的磁刺激,允许执行合作任务。”

“随着神经纳米机器人技术的进步,我们设想未来可以创造出‘超级大脑’,可以实时控制任意数量的人和机器的思维和思考能力。”马丁斯表示。这种共同的认知可以变革民主,增强同理心,最终将文化多样性的群体团结成一个真正的全球社会。”

BTBI技术的一个特别有趣的应用,称为“Brainets”,涉及从多个大脑记录的神经元信号的接口和处理,以实现互连大脑之间的信息交换和执行合作任务。虽然还不是特别复杂,但最近对老鼠和猴子的实验一定程度上证明了Brainet系统的效果,包括验证在大鼠的感觉运动皮层中永久植入微电极之后,位于不同大陆的两只大鼠的大脑之间潜在的直接通信。

技术障碍和伦理障碍仍存在

根据该组织的估计,即使是现有的超级计算机也有处理B/CI所需的神经数据量的速度,而且它们正在变得越来越快。相反,在云计算中向超级计算机和从超级计算机之间传输神经数据可能是B/CI开发的最终瓶颈。马丁斯警告说:“这一挑战不仅包括为全球数据传输寻找带宽,还包括如何通过嵌入大脑深处的微型设备与神经元进行数据交换。”

论文作者提出的一个解决方案是使用“磁电纳米颗粒”来有效地增强神经元和云之间的通信。

马丁斯解释说:“这些纳米粒子已经被用在活老鼠身上,把外部磁场和神经元电场结合起来——也就是说,探测并在局部放大这些磁场信号,从而使它们能够改变神经元的电活动。这也可以反过来工作:神经元和纳米机器人产生的电信号可以通过磁电纳米颗粒放大,从而使它们能够在颅骨外被探测到。”让这些纳米粒子——以及纳米机器人——通过血液循环安全地进入大脑,或许是B/CI所面临的最大挑战。

“在考虑将纳米颗粒用于人类发展之前,需要对其生物分布和生物相容性进行详细分析。然而,随着这些和其他有前景的B/CI技术以越来越快的速度发展,‘思想的互联网’可能在世纪之交之前成为现实,”马丁斯总结道。

美国福克斯新闻网报道了一项新研究表明,这种脑机接口面世的时间可能大大早于很多人的预期,或许几十年内就能实现。

而中国自动化学会混合智能专家委员会副主任、复旦大学计算机学院张军平教授则对此持谨慎态度,他表示:“人工智能领域容易在获得一点小成就的前提下,就对未来的发展表现得过于乐观。前两次人工智能的低谷,与这种乐观情绪导致对人工智能的过高期望不无关系。大脑与互联网相连,还面临不少技术和伦理方面的障碍。”

他解释说:“首先,我们对人类大脑的理解远远不够。由于现有探测设备的局限性,我们在探索大脑活动的时间分辨率和空间分辨率上仍然不高,因此无法在局部和整体之间形成光滑的过渡,也不足以让我们形成能充分了解大脑活动和思维的断言。此外,若要确保脑机接口不损伤人体,所需要考虑的因素依然很多。举例来说,现有的脑机接口设备多是头戴式的,无法获得细胞尺寸级的信号控制。而要实现与大脑真正意义的全连接,我想它的前提应该是换头术要先成功。那样才意味着至少我们能把神经控制通路理解清楚了,然后才能上升到意识层,对高层的智能进行模拟和实现人机融合。”

总的来说,无论是解码思想直接转化为语音,还是像《黑客帝国》中一样实现超高速信息传送,脑机接口领域的前沿成果从研究到落地仍有相当长的路要走。

部分参考:

https://www.frontiersin.org/articles/10.3389/fnins.2019.00112/full#h1

https://www.sciencedaily.com/releases/2019/04/190412094736.htm

https://www.sciencealert.com/scientists-say-a-human-brain-cloud-interface-is-coming-this-is-what-it-could-be-like

图片来自网络

本文为转载内容,授权事宜请联系原著作权人。