通义千问开源首个MoE模型

作者：财中快讯 55503/29

据阿里通义千问官微，通义千问团队开源首个MoE模型，名为Qwen1.5-MoE-A2.7B。它仅有27亿个激活参数，但性能可与当前公认最先进的70亿参数模型(Mistral7B、Qwen1.5-7B等)相媲美。

标签：

免责声明：本网转载合作媒体、机构或其他网站的公开信息，并不意味着赞同其观点或证实其内容的真实性，信息仅供参考，不作为交易和服务的根据。转载文章版权归原作者所有，如有侵权或其它问题请及时告之，本网将及时修改或删除。凡以任何方式登录本网站或直接、间接使用本网站资料者，视为自愿接受本网站声明的约束。联系电话 010-57193596，谢谢。