
【TechWeb】5月25日音书,面壁智能晓谕勾通清华大学、OpenBMB开源社区,崇敬发布并开源其在低比特大模子熟练办法的最新服从——BitCPM-CANN。
这款中国首个全皆基于国产算力平台华为昇腾完了端到端熟练并开源的三值(1.58-bit)大模子,继5月23日在华为鲲鹏昇腾开采者大会(KADC 2026)完成初度技巧亮相后,当天崇敬将其全系列模子向全社会怒放。
据先容,比拟传统 BF16 精度,BitCPM-CANN 在推理阶段开释约6倍显存红利,同期将模子能力保留率守护在90%–97.2%。通常的设立内存,不错承载远超以往的模子能力;能够反过来说,通常的模子能力在归并款末端上初始,只需要往常 1/6 的内存。这意味着,开运体育世界杯中国官网首页畴昔有望在手机上初始 60B 大模子,手机的智能会大幅提高。
「2-bit」是近一年来端侧芯片行业的热点究诘话题,亦然在手机上初始更大参数模子的最大技巧卡点之一。2-bit 量化将模子权重压缩 6-8 倍,使其能存脱手机闪存,如 4GB 内存能放 16B,再合作 MoE 与激活限度敛迹、能放 32B;若内存扩大到 8GB,则能将模子参数扩大到 60B。
面壁智能默示开运·体育世界杯(中国)官方网站,BitCPM-CANN 的亮相,瑰丽着面壁智能高效大模子「小钢炮」在端侧落地的能力进一步跃升,同期也通过开源向中国端侧大模子赛谈提交了一份新的答卷。
开云体育app2026世界杯官方下载 声明:新浪网独家稿件,未经授权谢绝转载。 -->






备案号: