传谷歌开始小范围测试 Gemini：比训练GPT-4算力大5倍

近日，SemiAnalysis分析师带来了更多关于谷歌多模态和高效机器学习工具Gemini的爆料。据透露，初代的Gemini应该是在TPUv4上训练的，并且这些pod并没有集成最大的芯片数4096个芯片，而是使用了较少的芯片数量，以保证芯片的可靠性和热插拔。如果所有14个pod都在合理的掩模场利用率(MFU)下使用了约100天，那么训练Gemini的硬件FLOPS将超过1e26。据报道，Gemini已开始在新的TPUv5Pod上进行训练，算力高达1e26FLOPS，比训练GPT-4的算力还要大5倍。另外，Gemini的训练数据库为Youtube上93.6亿分钟的视频字幕，总数据集大小约为GPT-4的两倍。

更多精彩内容,请关注亿恩网微信公众号: (ENECNEWS

扫码关注二维码

) 每天为您推送最新,最热干货!
声明:亿恩网原创稿件，未经授权不得以任何方式转发。转载请联系:yujie@enec.net