IT之家 3 月 28 日音信,科技媒体 The Decoder 昨日(3 月 27 日)发布博文,报说念称 Meta 基础东说念主工智能征询团队(FAIR)开源全新 AI 模子 TRIBE v2开yun体育网,可精确揣度东说念主类大脑对图像、声息和文本的响应。
该模子最大的亮点,在于无需骨子测量,即可精确揣度东说念主类大脑对视觉、听觉和话语刺激的响应,有望冲破传统神经科学征询周期长、本钱高的瓶颈。

TRIBE v2 的中枢逻辑在于“多模态会通”。模子继承视频、音频和文本后,分别通过 Video-JEPA-2、Wav2Vec-Bert-2.0 和 Llama 3.2 这三个预检察大模子索取特征。随后,Transformer 架构将这些信息整合,最终输出一张包含 7 万个“体素”(3D 像素)的高精度大脑行径图。

TRIBE v2 可实行到新科目,无需重新培训。绿色条示意模子的揣度准确性; 灰点泄漏了单个脑部扫描与群体平均值的相干性。疏漏的微调(底部)进一步培植了精度。| 图源:Meta
在性能施展上,TRIBE v2 的揣度效能比单东说念主真确的脑扫描图更了了。真确的功能性磁共振成像(fMRI)常受心跳、头部微动等杂音骚扰,TRIBE v2 通过顺利揣度“退换后的平均响应”来摈斥杂音。推行标明,其揣度准确度远超传统线性模子,并奏凯在计较机上复现了大王人经典神经科学推行。

TRIBE v2 揣度大脑在皮层和皮层下区域的行径。揣度质地因刺激类型而异,显然优于线性基线。跟着检察数据的加多,准确性稳步培植(右下角)。| 图源:Meta
该模子还揭示了不同感官怎么激活特定的大脑区域。单独输入音频会激活听觉皮层,而同期输入多模态数据时,大脑颞叶、顶叶和枕叶交壤处的揣度准确率可飙升 50%。

.在视觉推行中,TRIBE v2 识别了已知的面部、方位、肉体和脚色的挑升大脑区域。顶部:展示图片。中间:模子揣度。底部:骨子测量的大脑行径。| 图源:Meta
尽管施展惊艳,TRIBE v2 仍存在局限性。它依赖存在数秒蔓延的血流数据,无法捕捉毫秒级的神经动态,也枯竭触觉和感觉维度。

在话语推行中,TRIBE v2 复制了经典的神经话语学发现,如言语与千里默、款式与肉体疾苦,或句子与词汇列表的分袂。揣度的激活模式与测量数据相符。| 图源:Meta
Meta 当今已全面开源该模子的代码与权重,改日将要点探索其在筹画脑科学推行、构建类脑 AI 架构及会诊脑部疾病等限制的诈欺后劲。
IT之家附上参考地址开yun体育网