35B开源模型流畅跑上手机，面壁智能祭出LES提速 - 九游

手机端侧大模型的参数规模正在进一步扩大。

10月13日，华尔街见闻获悉面壁智能正式发布新一代端侧多模态大模型MiniCPM-V 4.7，包括35B-A3B和1B两个版本。

其中，35B-A3B采用MoE（混合专家）架构，总参数量达到350亿，单次推理仅激活约30亿参数。

面壁智能称，这是首个能够在端侧无损流畅运行的开源MoE模型。在其公布的测试中，该模型仅需约3GB运行内存，便可在iPad Pro上实现每秒15个以上Token的解码速度。

此前，受限于手机的运行内存、计算能力和功耗，大模型在端侧部署面临较多限制。尤其是随着模型参数规模扩大，如何在有限的硬件资源下兼顾模型能力与运行速度，成为行业需要解决的问题。

MoE架构的应用为这一难题提供了新的思路。

与每次推理都需要调用全部参数的稠密模型相比，MoE模型内部包含多个不同的“专家”，每次推理只激活部分专家。这使得模型可以在保持较大总参数规模的同时，减少单次计算量。

但新的问题随之出现。虽然每次只激活部分参数，模型仍需要存储完整的专家权重。手机运行内存有限，无法将所有专家权重都放入内存，频繁从存储设备读取数据又容易造成推理卡顿。

针对这一问题，面壁智能的解法是LES（前瞻专家调度）技术。

面壁智能的核心思路是提前预测模型接下来需要调用哪些专家，在当前计算尚未结束时，就将下一阶段可能使用的专家权重提前加载，让数据读取与模型计算同步进行。

相比传统的按需加载方式，这一技术减少了等待专家权重加载的时间，同时保留模型原有的专家选择机制，避免因减少专家调用而影响模型能力。

根据面壁智能公布的技术资料，结合权重量化、存储布局优化等方案，LES可将端侧推理速度提升约5倍。

值得注意的是，约3GB指的是特定部署方案下的运行内存占用，并不意味着350亿参数的完整模型只需要3GB存储空间。

除了35B-A3B版本，此次面壁智能还推出了1B轻量级版本，进一步降低端侧部署门槛，面向更多硬件配置有限的设备。

生态适配方面，MiniCPM-V 4.7已支持iOS、安卓和鸿蒙系统，并适配瑞芯微、Intel、Apple等芯片平台。面壁智能还同步开放端侧适配代码，支持开发者基于开源推理框架进行部署。

截至目前，面壁智能联合OpenBMB开源社区推出的MiniCPM系列开源模型，全球累计下载量已突破6000万次，覆盖文本、视觉、语音等多个领域。

面壁智能此次的突破也反映出端侧大模型技术路线正在发生变化。

过去，受限于手机的硬件条件，行业更多围绕小参数模型进行压缩和优化。如今，随着MoE架构、低比特量化和专家调度等技术逐步成熟，数百亿参数模型开始尝试进入移动终端，手机本地AI的能力边界正在进一步拓宽。

不过从模型跑通到真正进入普通消费级手机仍有一段距离。如何控制持续推理带来的功耗和发热，如何适配不同价位的芯片平台，以及更大的模型能否带来足够明显的体验提升，都需要进一步验证。

随着模型和芯片技术持续演进，手机端侧大模型有望承载更复杂的多模态理解和智能体任务，进一步减少对云端的依赖。谁能率先让数百亿参数模型从技术演示走向日常应用，或将成为下一轮端侧AI竞争的重要看点。

本文来自华尔街见闻，欢迎下载APP查看更多

九游2以兼顾娱乐与策略，带来深度游戏乐趣。为核心，带来高效便捷的体验。