谷歌提出Titans：突破算力限制，扩展上下文

谷歌研究院发布一项新的研究Titans。通过引入全新的神经长期记忆模块，三头协同架构与硬件优化设计等模块，在算力仅增加1.8倍的情况下，将大模型的上下文窗口扩展至200万token。Titans不仅解决了Transformer模型在长上下文处理中的算力瓶颈，更通过仿生学设计模拟人类记忆系统的分层机制，首次实现了200万token超长上下文的精准推理。

更多精彩内容,请关注亿恩网微信公众号: (ENECNEWS

扫码关注二维码

) 每天为您推送最新,最热干货!
声明:亿恩网原创稿件，未经授权不得以任何方式转发。转载请联系:yujie@enec.net