当前位置: 首页 » 快讯 » 快讯 » 正文

世界第一AI芯片WSE-3面世 一天就可以完成Llama 700亿参数的训练

作者:财中快讯 56303/14

美国加州半导体公司Cerebras Systems发布第三代晶圆级AI加速芯片“WSE-3”(Wafer Scale Engine3),规格参数更加疯狂,而且在功耗、价格不变的前提下性能翻了一番。WSE-3再次升级为台积电5nm工艺,面积没

标签:

美国加州半导体公司Cerebras Systems发布第三代晶圆级AI加速芯片“WSE-3”(Wafer Scale Engine3),规格参数更加疯狂,而且在功耗、价格不变的前提下性能翻了一番。WSE-3再次升级为台积电5nm工艺,面积没说但应该差不多,然而,晶体管数量继续增加达到惊人的4万亿个,AI核心数量进一步增加到90万个,缓存容量达到44GB,外部搭配内存容量可选1.5TB、12TB、1200TB。核心数量、缓存容量增加的不多,但性能实现了飞跃,峰值AI算力高达125PFlops,也就是每秒12.5亿亿次浮点计算,堪比顶级超算。它可以训练相当于GPT-4、Gemini十几倍的下一代AI大模型,能在单一逻辑内存空间内存储24万亿参数,无需分区或者重构。四颗并联,它能在一天之内完成700亿参数的调教,而且支持最多2048路互连,一天就可以完成Llama700亿参数的训练。WSE-3的具体功耗、价格没公布,根据上代的情况看应该在200多万美元。

免责声明:本网转载合作媒体、机构或其他网站的公开信息,并不意味着赞同其观点或证实其内容的真实性,信息仅供参考,不作为交易和服务的根据。转载文章版权归原作者所有,如有侵权或其它问题请及时告之,本网将及时修改或删除。凡以任何方式登录本网站或直接、间接使用本网站资料者,视为自愿接受本网站声明的约束。联系电话 010-57193596,谢谢。

财中网合作