OpenAI突然开源新模型!99.9%的权重是0,新稀疏性方法代替MoE

闻乐 发自 凹非寺 量子位 | 公众号 QbitAI 破解AI胡说八道的关键,居然是给大模型砍断99.9%的连接线? OpenAI悄悄开源新模型,仅有0.4B参数,且99.9%的权重为零。 也就是Ci … 继续阅读 OpenAI突然开源新模型!99.9%的权重是0,新稀疏性方法代替MoE