你的手机能跑35B大模型了!只要3GB内存,还无损

你的手机能跑35B大模型了!只要3GB内存,还无损


智东西 作者 程茜 编辑 李水青 智东西10月13日报道,刚刚,面壁智能发布新一代端侧多模态大模型系列MiniCPM-V4.7,包含 35B-A3B与1B 两个版本。官方称,这款35B‑A3B模型,是 首个能够在手机端流畅运行、且能力无损的开源大模型 。 具体来看,35B-A3B是MiniCPM-V系列 首款MoE模型 ,总参数350亿、每次推理仅激活30亿,仅约3GB内存即可运行。其在iPad Pro实测数据显示,该模型解码速度超 15 token/s ,以及在iPhone 17 Pro Max上仅使用3GB内存即可实现 超13 tokens/s 的解码速度。 从智东西的实际体验来看,35B‑A3B版本 推理速度很快 ,单任务耗时基本维持在秒级;在图像识别、图文分析这类常规任务上,识别结果准确、回答完整。但可能受在线演示平台限制,模型的Token输出长度存在上限,部分复杂问题无法输出完整答案。 今天起,该模型便支持瑞芯微、英伟达、英特尔和苹果等国内外主流芯片平台,同时支持iOS、安卓和鸿蒙系统,并提供开源端侧适配代码及主流推理框架。 另一个1B版本模型主打提升端侧效率,实际参数1.3B。根据面壁智能的测试结果,在指令模式下,1B版本在基础功能方面较MiniCPM-V4.6有所提升,并且在总体得分和推理效率方面 优于Qwen3.5 0.8B 。 截至目前,由面壁智能联合OpenBMB开源社区发布的MiniCPM系列开源模型,全球累计下载量已突破 6000万次 ,覆盖文本、视觉、语音全模态。 开源地址:https://huggingface.co/openbmb/MiniCPM-V-4.7-35B-A3B 一、实测35B-A3B模型,推理速度飞快、简单问题回答准确 智东西通过面壁智能提供的在线演示平台体验了MiniCPM-V4.7 35B-A3B模型。 我们上传了一个餐厅墙上的英文菜单图片,让模型进行翻译并给出具体的用餐建议。从下方的动图可以看出,35B-A3B模型的生成速度很快,按照图片上的分类对菜单进行了翻译,并按照不同的需求给出了建议,如用户只想喝点东西、吃点轻食、有酒精需求等,可以选择哪些食物。 接着我们上传了MiniCPM-V4.7系列模型的发布海报,让其分析这张海报,拆解构图、配色、文案卖点、受众,说说它的优点和可以优化的地方。 在十余秒时间内,模型逐条拆解分析了上述要点,并在最后生成了一个可视化的表格。 我们上传了一张高原风景图,让MiniCPM-V4.7 35B‑A3B分析这是什么地貌。从结果来看,模型的输出内容简单直接,并给出了具体的判断依据和准确答案。 二、性能优于同规模Qwen,支持4x/16x视觉Token压缩 从性能来看,官方博客提到,MiniCPM‑V4.7 推高了性能与效率的帕累托最优边界 。在指令(Instruct)模式下,35B‑A3B相比Qwen3.6 35B‑A3B,能用更短的推理时间取得更高综合得分,1B版本的综合得分与推理效率优于Qwen3.5 0.8B。 MiniCPM-V4.7 1B和前代V4.6、Qwen3.5、LFM2.5-VL、Gemma-4-E2B等多模态大模型进行了横向对比。V4.7支持4x、16x两种视觉压缩率,16x Token压缩率意味着图像token更少、推理更快、显存占用更低,但通常会牺牲一点精度。 从具体的基准测试结果来看,MiniCPM-V4.7 1B在General通用图文理解、Document/OCR/文档图表分析、多图理解方面更占优势。 此外,长视频时序理解方面,MiniCPM-V4.7 1B的表现超过了V4.6、Qwen、LFM、Gemma。 MiniCPM-V4.7 35B-A3B的基准测试结果显示,其在通用图文、STEM数学、OCR文档、视频理解方面均超过了Qwen3.6 35B-A3B,仅在RefCOCO上得分略低。 在纯文本基准测试中,MiniCPM-V4.7 35B-A3B的优势是中文综合知识和复杂多轮工具规划,但在纯文本奥数、代码、严格约束指令、英文硬核专业知识方面相对偏弱。 三、三种互补技术,支撑MiniCPM-V4.7端侧流畅推理 MiniCPM-V4.7系列模型的核心突破,得益于面壁智能自研的LES(前瞻专家调度)技术,以及细粒度的逐层量化和DSpark推测性采样集成。 MoE模型总参数大于单次推理激活的参数,但端侧不能只存激活参数。不同token会调用不同层的不同专家,设备内存通常装不下全部专家权重。 一种思路是把权重放在SSD上按需加载、用完释放,但频繁加载会拖慢解码,达不到实时交互要求;另一种办法是缩小可用专家池,给整条提示词固定一批专家,减少加载次数,但缺点是后续token只能从这批专家里选,会漏掉本该选中的专家,降低模型效果

about image

2026-10-15

一人洗碗全家得癌?医生:洗碗常见的五个坏习惯,建议尽早改
  • 2026-10-15

我在这家俱乐部学到了很多关于足球的战术技巧,教练非常注重比赛中的实际应用,帮我在场上更加游刃有余!...

开盘超5300只个股下跌
  • 2026-10-15

我在这家俱乐部学到了很多关于足球的战术技巧,教练非常注重比赛中的实际应用,帮我在场上更加游刃有余!...