眨眼就能照相?哈佛从神经信号提取出图像,成果登Nature

将肉眼直接用来“照相”,也许将成为可能……


(资料图)

哈佛团队推出的新模型能够分析神经信号,甚至从视觉皮层中直接提取影像。

相比于传统神经解析工具,这项成果大大提高了识别效率和连续性。

Nature的编辑也评价它“十分优雅”:

这款模型名叫CEBRA(发音同zebra),是将对比式学习与非线性独立分析相结合的产物wcCcEioKhw。

一名团队成员表示,这个名字十分贴切,因为CEBRA可以把信息“条纹化”,就像斑马一样。

在小鼠身上进行的实验中,CEBRA视频解析的准确率超过了95%。

团队还发现,CEBRA在跨越大鼠和小鼠两个物种时的表现具有一致性。

所以可以展望CEBRA在其他物种上的应用,说不定人眼摄像python机也会成为可能。

论文通js讯作者也表示,未来的目标是将CEBRA集成到脑机接口中:

本质上,CEBRA是一个神经信号解析模型。

所以它的技能不只有图像获取,只要和神经信号有关的事情,它都能做。

比如根据神经活动来预测肢体的运动行为。

还可以根据神经信号判断肢体活动是主动还是被动做出。

对比式非线性学习

行为或神经数据的降维压缩一直是神经信号识别中不可缺少的一环。

研究团队将对比式学习引入非线性独立成分分析模型,提出了新的框架。

对比式学习是一种强大的自驱动学习方式,使用呈现对比关系的样本进行训练,以发现数据间的共性与个性。

用CEBRA的模型训练神经网络,可以得到一种编码器。

这种编码器则可以生成由动作或时间调控的低维嵌入空间。

具体而言,是通过将离散或连续的变量与时间相结合使数据对得到分布,然后再交由编码器处理。

CEBRA获取神经活动嵌入时同时使用用户定义(监python督驱动、假设式)和只带有时间(自驱动、发现式)的标签。

这一过程中,CEBRA将行为及时间标签与神经信号一并优化,映射到低维嵌入空间。

根据数据集大小的不同,优化计算可以采用批量计算、随机梯度下降等不同方式。

优化后得到的低维嵌入既可以用于数据可视化,也可以在解码等下游工作中使用。

相比于传统的非线性降维方式,对比式训练无需生成模型,适用广泛性更强。

鲁棒性与实用性兼具

在事实信息重构的测试中,CEBRA的表现显著优于pi-VAE。

然后,团队又使用了一个海马数据集进行测试,该数据集被用来作为神经嵌入算法的基准。

在这一轮测试中,团队赋予了pi-VAE卷积网络加持,但最终结果仍是CEBRA更胜一筹。

鲁棒性方面,团队使用了代数拓扑学方法进行测试。

将CEBRA生成的低维嵌入投影到球面,团队发现了一个环形拓扑结构。

通过计算Eilenberg-MACLane坐标发现,CEBRA的环形拓扑结构与(真实)空间跨维度匹配。

至于跨个体甚至物种的表现,团队在训练时就使用了包含多种动物的数据集。

测试结果也表明,CEBRA生成的结果具有很高的个体间和种间一致性。

与完全在未见过的个体上进行训练相比,CEBRA的结果错误更少、效率也更高。

实际应用中,团队在小鼠身上进行了实验。

他们让小鼠反复观看几段视频,并与小鼠视觉皮层的信号一并作为训练数据。

另有一些视频则用作测试数据,结果显示,CEBRA视频解析的准确率超过了95%,远高于其他模型。

论文地址:

https://www.nature.com/articles/s41586-023-06031-6

项目主页:

https://github.com/AdaptiveMotorControlLab/CEBRA

推荐DIY文章
孔子的故乡是哪里怎么查 为春秋末期人 祖籍宋国李益
163邮箱密码破解该怎么做 邮箱密码破解方法的片面审视
天天速看:宝塔诗如何读 宝塔诗是从唐代的“十七体”发展而来的
卷面分析怎么写你知道吗 试卷卷面分析主要内容有什么
全球实时:赛尔号雷伊怎么打 雷伊BOSS每小时整点出现在赫尔卡星三层
乡村四月的诗句意思 南宋诗人翁卷的诗歌注重遣词造句 天天实时
精彩新闻

超前放送