当大模型装进口袋：2026 端侧 AI 的密度定律、NPU 军备竞赛与端云协同新契约

一句话结论

2026 年 8 月，端侧 AI 正在从“能不能跑”的验证阶段，跨进“能不能跑得比云端更值”的工程化深水区——面壁智能 MiniCPM5-2B 以 17 分登顶 Artificial Analysis 榜单 4B 以下模型第一、MiniCPM-o 4.5 用 9B 参数在消费级 RTX 5070 上跑通全双工全模态、Apple AFM 3 Core Advanced 用 Instruction-Following Pruning 把 20B 稀疏模型压到端侧只激活 1-4B、高通骁龙 X2 Elite NPU 推到 80 TOPS、英伟达 RTX Spark N1X 用 FP4 1PFLOP 让 120B 模型本地可跑——这一系列进展共同指向一个清晰信号：端侧 AI 的胜负手不在“参数规模”，而在“知识密度”——以及围绕密度重构的量化、蒸馏、NPU 架构与端云路由的整套工程地基。

一、密度定律 vs 规模法则：端侧 AI 的范式革命

过去三年，大模型行业的叙事中心是 Scaling Law（规模法则）——参数越多、数据越多、算力越多，模型就越强。这条定律在云端被反复验证，从 7B 到 70B 到万亿 MoE。但 2025 年，面壁智能团队受到摩尔定律启发，提出了一个截然不同的评估维度——密度定律（Densing Law）：以“能力密度”作为评估大语言模型效能的关键指标，揭示其最大能力密度每 3.5 个月翻倍的增长规律。这项研究于 2025 年被《Nature》收录为封面文章，成为继 OpenAI 的 Scaling Law 之后人工智能行业又一基础定律。

这两个定律的差别，本质上是两套物理法则的差别。Scaling Law 描述的是“绝对能力随规模增长”——它假设算力无限、内存无限、带宽无限，只关心模型天花板有多高。密度定律描述的是“单位参数里的知识含量”——它假设端侧设备的算力、内存、带宽、功耗都极度受限，关心的是“同样的能力能不能用更少的参数实现”。

这个范式差异决定了端侧 AI 走出了一条与云端完全不同的技术路径。云端模型可以靠堆参数、堆算力解决问题，端侧模型必须在严苛的物理约束下做架构创新。一个直观的对比：端侧 RK3562 芯片相比云侧 4090 GPU，算力低千倍以上，内存低 20 多倍。在这种约束下，把一个 70B 云端模型直接搬到端侧是物理上不可能的——必须从模型架构、量化精度、推理引擎到 NPU 硬件全链路重构。

面壁智能 CEO 李大海的判断是：“2026 年是端侧 AI 规模化落地的元年。” 这个判断的工程依据是：端侧 AI 的核心特征——低延迟、高隐私、低成本、广适配、懂用户——正在改写行业竞争格局，端侧 AI 已从“可选项”升级为所有 AI 玩家的“必选项”。MiniCPM 系列开源模型在 GitHub、HuggingFace 累计下载量已突破 3800 万，成为国民级端侧 AI 模型产品。

但“密度”不只是模型参数的压缩比，它是一个贯穿模型架构、量化、蒸馏、推理引擎、NPU 硬件的全栈工程命题。本文要拆解的，正是这条密度优化暗线的核心技术机制。

二、MiniCPM5-2B 与 Apple AFM 3：小模型架构的两种路径

2026 年 7-8 月，端侧模型领域出现了两个代表性架构：面壁的 MiniCPM5-2B 和苹果的 AFM 3。它们代表了小模型架构创新的两种不同路径——一个走“原生端侧设计+开源生态”路线，一个走“封闭生态+稀疏激活+硬件深度协同”路线。

2.1 MiniCPM5-2B：混合思考与原生 Agent 基座

2026 年 7 月 19 日 WAIC 2026，面壁智能联合 OpenBMB 正式发布 MiniCPM5-2B——仅 20 亿参数，在 Artificial Analysis（AA）榜单中以 17 分占据榜首，取得全球 4B 以下模型的最高得分。这个分数的含义是：在知识、数学推理、代码、指令遵循、智能体能力五个维度上，MiniCPM5-2B 都做到了同尺寸全球领先。

MiniCPM5-2B 的架构创新有三个值得展开的工程点。

第一，原生混合思考机制。 模型支持在“快速响应”与“深度推理”之间无缝切换——日常对话走快速路径省算力，复杂逻辑题走深度推理路径保精度。这种“双频换挡”思路在面壁的 MiniCPM 4.0-8B 上也有体现：采用“高效双频换挡”机制，处理高难度长文本/深度思考任务时启用稀疏注意力降低计算复杂度，短文本场景切换至稠密注意力确保精度。这与云端大模型“一刀切全用全注意力”的思路完全不同——端侧模型的注意力模式必须是任务自适应的。

第二，512K 超长上下文窗口。 单次可处理整本长篇小说或数十万行代码。在端侧设备上支持 512K 上下文是一个工程奇迹——KV Cache 的内存占用随上下文长度线性增长，512K 上下文的 KV Cache 如果不优化会直接撑爆端侧内存。面壁与英特尔合作，基于英特尔硬件架构定制投机解码配置，通过硬件感知的草稿模型优化策略，结合英特尔加速套件与 KV Cache 内存增强技术，实现端到端推理效率的 2.2 倍提升。在 Intel Core Ultra 7 258V NPU 上，MiniCPM4-0.5B FP16 首词元延迟 141.99ms、每秒 67.46 token。

第三，原生 Agent 基座的三阶段训练。 MiniCPM5-2B 专为端侧智能体设计，具备稳定的工具调用、深度搜索和代码生成能力。其训练过程经过严格的 Agent 专项优化：Agent Midtraining 执行了 200B 规模的中间预训练；Agent SFT 基于百万条高质量轨迹进行监督微调；Agent RL 通过可扩展的强化学习对齐，确保智能体行为的稳定性与可靠性。这个三阶段范式值得注意——它说明端侧模型不再是“云端大模型蒸馏一下就完事”，而是有了一套独立的、面向 Agent 任务的后训练方法论。

2.2 Apple AFM 3：稀疏激活 + 双块 KV-Cache 共享

苹果在 WWDC 2026（6 月 8 日）发布了第三代 Apple Foundation Models（AFM 3）——一个五模型矩阵：

模型	运行位置	规模	单次激活	角色
AFM 3 Core	端侧	3B（稠密）	3B	轻量文本、路由、快速 NLU
AFM 3 Core Advanced	端侧	20B（稀疏）	1-4B per prompt	新 Siri/听写/TTS；图像理解
AFM 3 Cloud	Private Cloud Compute	未披露	—	主云端文本/图像理解
ADM 3 Cloud	Private Cloud Compute	未披露	—	图像生成
AFM 3 Cloud Pro	Google Cloud 的 NVIDIA GPU	未披露	—	复杂推理、智能体工具调用

AFM 3 最值得展开的技术点是 AFM 3 Core Advanced——这个 20B 参数的稀疏端侧模型，每个 prompt 只激活 1-4B 参数，背后用的是苹果研究院称为 Instruction-Following Pruning（指令跟随剪枝）的技术。苹果描述这个模型将完整模型存储在闪存（NAND）而非 DRAM 中，用一个轻量级稠密块为每个 prompt 选择专家，实现推理时的弹性激活。这是一个非常苹果式的工程选择——用存储换内存，用闪存的大容量承载 20B 参数，只在推理时把激活的 1-4B 加载到 DRAM。

AFM 3 的另一个核心技术是双块 KV-Cache 共享。3B 端侧模型被分成两个块（5:3 比例，分别占 62.5% 和 37.5% 的层），Block 2 复用 Block 1 的 KV-Cache，将 KV-Cache 内存占用减少 37.5%。配合 2-bit 量化感知训练（QAT）——模型权重压缩到混合 2-bit 和 4-bit 配置，平均每个权重 3.7 bit——使 3B 模型能在 8GB RAM 的设备上运行。在 iPhone 15 Pro 上，这个模型实现约 0.6 ms/prompt-token 的首词元延迟和约 30 tokens/s 的生成速度。

苹果还用 LoRA 适配器系统实现任务特化——不同任务（摘要、重写、代码生成）用不同的 LoRA 适配器，在推理时动态切换。这些适配器通常只有几十 MB，插入冻结的基座模型的注意力和前馈层。适配器权重使用 16-bit 精度，rank 为 16。这个设计让苹果不需要为每个任务维护独立模型，一个 3B 基座+多个 LoRA 适配器就能覆盖多种任务。

但 AFM 3 有一个常被营销话术掩盖的边界：AFM 3 Cloud Pro 跑在 Google Cloud 的 NVIDIA GPU 上，并使用 Google Gemini 前沿模型的输出做精调。苹果高管很小心地区分“使用 Gemini 训练”和“就是 Gemini”——Gemini 是后训练精调的教师信号，不是运行时模型。这意味着苹果最强大的 AI 能力同时依赖竞争对手的芯片和竞争对手的基础设施。苹果没有计划自建这个规模的 AI 训练算力。这是端侧厂商在“端侧能力上限”上的一个结构性边界——端侧能解决的只是轻量任务，复杂推理仍需云端。

2.3 两种路径的工程取舍

MiniCPM5-2B 和 AFM 3 代表了端侧模型的两条路径：

维度	MiniCPM5-2B（面壁）	AFM 3 Core Advanced（苹果）
模型规模	2B 稠密	20B 稀疏，激活 1-4B
架构创新	混合思考、双频换挡注意力	Instruction-Following Pruning、双块 KV-Cache 共享
量化	INT4/INT8 开源社区量化	2-bit QAT（平均 3.7 bit/权重）
上下文	512K	65K（端侧）
开放性	完全开源	封闭，仅通过 Foundation Models framework 访问
硬件绑定	多芯片适配（高通/Intel/AMD/联发科）	深度绑定 Apple Silicon

MiniCPM5-2B 走的是“小而精”路线——2B 参数全激活，靠训练方法和架构优化提升密度。AFM 3 Core Advanced 走的是“大而稀疏”路线——20B 参数但只激活 1-4B，用稀疏激活换取“大模型知识容量+小模型推理成本”的平衡。这两条路线的工程哲学截然不同：前者追求“每个参数都干活”，后者追求“大部分参数 standby，按需调用”。

三、MiniCPM-o 4.5：全双工全模态的端侧工程化

如果说 MiniCPM5-2B 和 AFM 3 解决的是“文本理解”的端侧化，那么 MiniCPM-o 4.5 解决的是“边看边听边说”的全模态端侧化——这是端侧 AI 更难的工程命题。

2026 年 2 月，面壁智能开源 MiniCPM-o 4.5——业界首个端到端全双工全模态大模型，参数规模约 9B。它的核心创新是 Omni-Flow 流式全模态框架——打破传统模型孤立的回合式交互逻辑，搭建起毫秒级统一时间轴。通过时分复用机制，Omni-Flow 将视觉、音频、文本等多模态并行信息流，精准对齐、拆分重组为周期性时序信息组，模型以每秒一次的高频次持续刷新环境认知，全程无需依赖外部 VAD 语音活动检测工具，原生支持持续感知、即时响应、自由打断。

3.1 四模块协同的端到端架构

MiniCPM-o 4.5 的架构是模块化分工设计，由四大核心模块高效协同构成：

• 0.4B 参数 SigLip2 视觉编码器：负责环境视觉感知，处理图像和视频输入，提取高质量视觉特征；
• 0.3B 参数 Whisper-Medium 音频编码器：完成声音信息采集，将语音转换为文本 token；
• 8B 参数 Qwen3-8B LLM 基座：承担核心思考与语义理解，作为核心推理大脑；
• 0.3B 参数轻量级语音 Token 解码器：实现语音生成（基于 CosyVoice2），将文本 token 转换为高保真带情感语音。

这个分工设计的工程价值在于：既保留了大模型强大的理解推理能力，又规避了复杂声学任务对核心算力的损耗。如果让 8B LLM 同时处理声学建模和语义理解，两个任务会互相干扰——声学任务的高频采样会吃掉语义推理的算力。把声学任务拆给专用小模块，让 LLM 专注语义，是端侧全模态的工程必然。

3.2 跨模态注意力蒸馏

MiniCPM-o 4.5 的“全模态”不是三个独立模型各干各的后期拼接，而是训练时就内化的跨模态耦合。它的“跨模态注意力蒸馏”在训练时强制让文本解码器的每一层注意力头，必须与视觉编码器最后一层、语音编码器倒数第二层的对应位置建立可学习的权重映射。这意味着当模型看到“传送锚点”四个字时，它的注意力不仅聚焦在文本 token 上，还会同步激活视觉编码器中“地图 UI 区域”的特征图，以及语音编码器中“锚点”发音的频谱特征。这种耦合不是后期对齐，而是训练时就内化为模型的本能。

3.3 INT4 量化的端侧落地

MiniCPM-o 4.5 已基于 llama.cpp 完成模型量化和推理性能优化，实测最低 12GB 显存的 RTX 5070 即可流畅运行全双工模式（RTF 0.4）。M1-M5 Max（包含 M5 Pro）的 MAC 设备亦可使用，建议内存超过 16G。INT4 量化版本显存占用大幅降低，仅需 12GB 显存即可运行，解码速度可达 212 tokens/s，相较同类模型提速 40% 以上。

这个性能数据的工程含义是：一个 9B 参数的全双工全模态模型，能在消费级显卡上跑出 212 tok/s 的解码速度——这已经达到了实用级交互体验的门槛。在 OpenCompass 评测中，MiniCPM-o 4.5 综合得分 77.6、MMBench 英文得分 87.6，整体表现对标 Gemini 2.5 Flash。在 LiveSports-3K-CC 全双工视频基准测试中，胜率达到 54.4%，领先各类专用流式视频模型。

3.4 MiniCPM-V 4.5：8B 超越 72B 的密度奇迹

面壁在多模态视觉理解方向的 MiniCPM-V 4.5 同样值得关注——8B 参数规模，在视频理解、图像理解、OCR、文档解析等多项任务上取得显著突破，不仅以 8B 的参数规模超越 GPT-4o-latest 和 Qwen2.5-VL-72B，更在推理速度上具有显著优势。它的三大核心技术是：统一的 3D-Resampler 架构实现高密度视频压缩、面向文档的统一 OCR 和知识学习范式、可控混合快速/深度思考的多模态强化学习。MiniCPM-V 4.5 还被称为行业首个具备“高刷”视频理解能力的多模态模型——看得准、看得快、看得长。

这个“8B 超越 72B”的工程意义是：端侧多模态模型的密度优化空间远大于纯文本模型。72B 模型里大量参数在处理视觉信息时是冗余的，8B 模型通过 3D-Resampler 的高密度视频压缩，把视觉 token 的信息密度提升到 GPT-4o 的两倍，用更少参数实现了更高信息密度。这正是密度定律在多模态领域的具体体现。

四、NPU 军备竞赛：45 TOPS 是新底线

端侧 AI 的落地不只依赖模型压缩，还依赖硬件侧的 NPU 算力。2026 年，NPU 算力进入了“军备竞赛”阶段——45 TOPS 已成为 Copilot+ PC 的新底线，头部厂商正在向 80-100 TOPS 冲刺。

4.1 PC 芯片四强格局

2026 年 PC 端 NPU 算力的竞争格局已经清晰：

• 高通骁龙 X2 Elite：NPU 算力 80-85 TOPS，3nm 制程，18 核 Oryon CPU，内存带宽最高 228 GB/s，最大可寻址内存扩展到 128GB。和第一代 Snapdragon X Elite 相比，NPU 性能提升 78%，多线程性能提升 25%，同时功耗降低 43%。
• 苹果 M5 系列：Neural Engine 38-45 TOPS，M5 Max 60 TOPS。M5 Max 通过在 GPU 每个核心内嵌 Neural Accelerator，AI 峰值算力比 M4 提升超 4 倍，546 GB/s 的内存带宽让本地运行 70B 量级大模型成为可能——这是目前消费级设备里最强的端侧大模型运行能力。
• Intel Panther Lake（酷睿 Ultra 300）：平台总算力高达 180 TOPS（CPU 10 + GPU 120 + NPU 50），NPU 4.0 算力 48-67 TOPS，兼容性最强，OpenVINO 开源框架支持广泛。
• AMD Ryzen AI 400：NPU 算力 60-100 TOPS，XDNA 2 架构，能效平衡出色，搭配 LPDDR5X 内存，在轻薄本上可实现 18 小时以上续航。

这四家的技术路线分化值得关注。苹果追求“专用极致”——NPU 几乎只服务于 AI 任务，与 GPU 神经加速器协同（后者峰值 400 TOPS），专为大语言模型本地推理优化。AMD 走“融合路线”——将 NPU 作为 SoC 中的一环，与 CPU/GPU 共享 128GB 统一内存，试图兼顾通用计算与 AI 负载。高通靠 ARM 架构天生低功耗，配合 Windows on Arm 实现超长续航（部分机型达 18-20 小时）和完全静音。Intel 靠 x86 兼容性守住商用基本盘，NPU 生态仍在完善。

4.2 英伟达 RTX Spark：搅局者

2026 年秋季最值得关注的变量是英伟达 RTX Spark N1X——英伟达联合联发科定制 Arm 架构一体化芯片，FP4 算力 1PFLOP，本地可跑 120B 大模型，对标桌面级游戏显卡。首批 30+ 笔记本、10+ 台式机秋季上市，直接冲击英特尔/AMD 高端市场，重构 PC 芯片竞争格局。

RTX Spark 的战略意义在于：英伟达从 AI 加速卡进一步切入端侧/客户端 SoC。这意味着英伟达把数据中心 GPU 的 FP4 低精度计算优势带到了端侧——FP4 是英伟达 Rubin R200 在数据中心的标配，现在被下沉到消费级 PC。如果正式落地，将把 Arm PC、端侧 AI Agent 与本地推理进一步绑定到新的芯片平台生态。

4.3 手机端 NPU：高通/联发科/苹果三国杀

手机端 NPU 的竞争同样激烈。高通骁龙 8 Elite 的 Hexagon NPU 算力 45 TOPS，2026 年新一代预计 70 TOPS+；联发科天玑 9400+ 的 APU 790 算力 50 TOPS；苹果 A18 Pro/M4 的 Neural Engine 达到 35-38 TOPS，2026 年 A19 Pro 预计突破 50 TOPS。

Counterpoint 数据显示，2025 年 Copilot+ PC 出货量达 4500 万台，2026 年预计突破 1.2 亿台。IDC 数据显示，2026 年全球 AI 手机出货量预计同比翻倍，AI PC 渗透率突破 15%，可穿戴设备中 AI 功能搭载率超过 60%。这些数字背后是 NPU 算力的指数级增长——从 2024 年的 40 TOPS 底线，到 2026 年的 80 TOPS 标杆，再到 2027 年预期的 100+ TOPS。

但需要警惕一个工程陷阱：TOPS 数字不等于真实 AI 性能。苹果的 45 TOPS 在实际 Apple Intelligence 任务中表现往往优于竞争对手更高 TOPS 的方案，原因是统一内存架构和软件优化。Windows AI 工作流在骁龙上仍依赖应用开发者实际发布 NPU-aware 构建。NPU 算力是必要条件，不是充分条件——软件栈成熟度才是决定性因素。

五、量化与蒸馏：让百亿参数跑进 8GB 内存

端侧 AI 的工程核心是“压缩”——把云端动辄数十 GB 的模型压进 8-16GB 的端侧内存。这条压缩暗线的两大技术是量化与蒸馏，2026 年它们都迎来了关键突破。

5.1 量化精度演进：从 INT8 到 INT4 到 FP8 到 FP4

量化是把模型权重从高精度降到低精度，直接压缩内存和带宽。2026 年最显著的变化是 INT4 量化技术的成熟——通过 GPTQ、AWQ 等先进算法，4-bit 量化带来的精度损失已降至可接受范围。不同量化级别的特性对比：

量化精度	精度损失	速度提升	显存节省	适用场景
FP32	基准	1×	0%	模型训练
FP16	<1%	2×	50%	高性能推理
INT8	1-3%	3-4×	75%	服务器推理
INT4	3-5%	6-8×	87.5%	边缘设备
INT2	8-15%	12×+	93.75%	极度受限环境

一个真实实测案例：在 Jetson Orin Nano 上用 bitsandbytes 库做 4-bit 量化，LLaMA-3.2-1B 模型内存从 1.8GB 降到 0.68GB，压缩了 62%；首轮推理延迟从 4.2 秒干到 1.1 秒，吞吐量从 12 tokens/s 飙到 45 tokens/s；MMLU 基准测试从 38.2% 掉到 36.7%——1.5% 的精度损失换来了 3 倍多的速度提升。

但 2026 年的量化不只是 INT4。FP8 在 Hopper/Blackwell 架构上改变了游戏——提供接近 FP16 的保真度，内存只有一半，且通过硬件原生 FP8 Tensor Core 带来巨大性能提升。FP4 正在成为下一代硬件的标配——NVIDIA Rubin R200 的 50 PFLOPS FP4（稀疏）、AMD MI400 的 40 PFLOPS FP4（密集）。精度换算力的逻辑是：模型越训越“低”，从 FP8 到 FP4 到 INT4。

DeepSeek V4-Flash 是 FP8 KV-cache 量化的典型实践——MIT 许可证开源权重，百万 Token 上下文，FP8 KV-cache 量化，内置推测解码模块。Poolside 的 Laguna XS 2.1（33B 总参数/3B 激活 MoE 编码模型）更进一步——在发布时同时提供 FP8、INT4、NVFP4 三个量化 checkpoint，每个都带 FP8 量化的 KV cache。发布时就提供精度变体而非留给社区，传递了一个信号：厂商开始把受限 VRAM 部署当作一等公民目标，而非下游杂务。

5.2 一个常被忽视的边界：量化是“选择性遗忘”

2026 年 8 月的一篇 arXiv 论文揭示了一个常被端侧路线图忽视的真相：量化表现为“选择性遗忘者”——记忆退化的速度快于能力退化。论文测量了五个精度级别和三个模型规模下的逐字提取能力，发现：在测试的最大模型上，4-bit 仍能复现大部分记忆序列，同时只损失几个百分点的能力；但随着模型规模扩大，这个差距会拉大——这意味着下一代会更糟，而不是更好。

这个发现的工程含义是深远的：它杀死了一个安静的假设——“把模型缩小到适配硬件，也缩小了披露面”。如果你的端侧部署隐私或合规故事建立在“我们做了量化”之上，这个声称是未经证实的，除非你针对你交付的确切精度下的实际产物运行提取测试。真正的控制——训练数据去重、过滤、遗忘、输出侧检查——仍需到位。这是端侧 AI 隐私叙事里一个常被营销话术掩盖的工程边界。

5.3 知识蒸馏：小模型的大智慧

知识蒸馏通过让“学生模型”模仿“教师模型”的软标签输出，将大模型的知识迁移到小模型。例如，将 LLaMA-7B 蒸馏为 TinyLLaMA-1.1B，在保持 70% 以上性能的同时，模型体积从 14GB 降至 2.2GB，可运行于 Jetson Orin NX。

2026 年的蒸馏技术已分化出多种形态：

• 经典 KD（黑盒蒸馏）：让小模型拟合大模型的 logits；
• Feature Distillation（白盒蒸馏）：拟合中间层特征；
• Self-Distillation：小模型从自己的多个 checkpoint 学习；
• MiniMax-Distill：小模型直接模仿大模型的输出分布。

苹果 AFM 3 Cloud Pro 用 Google Gemini 前沿模型的输出做精调，是“蒸馏从前沿模型”策略的最大规模公开采用。苹果高管区分“使用 Gemini 训练”和“就是 Gemini”——Gemini 是后训练精调的教师信号，不是运行时模型。这个策略的工程价值在于：端侧厂商不需要自建前沿模型实验室，就能通过蒸馏获得前沿能力。但它的边界也清晰——蒸馏只能传递教师模型已有的能力，无法创造教师模型不具备的能力。

5.4 端侧推测解码：免训练自推测

推测解码（Speculative Decoding）在云端已是标配，但在端侧部署一直有两个障碍：草稿模型占用的额外内存、以及“验证”阶段的额外计算开销。2026 年的端侧方案转向“免训练自推测”——不引入独立草稿模型，而是让模型自身在不同深度之间自推测：用浅层输出做草稿、深层做验证，或利用注意力缓存的早期层预测后续 token。这种方案零额外内存、零额外 checkpoint，配合端侧 NPU 的并行吞吐，能在骁龙 X Elite 这类平台上实现 1.5-2x 的端到端加速。配合 INT4 量化与 KV Cache 压缩，端侧推理的延迟已经逼近人类对话的自然节奏。

六、结语：端云协同的新契约

从 MiniCPM5-2B 的混合思考，到 AFM 3 的稀疏激活，再到 RTX Spark 的 FP4 下沉——2026 年端侧 AI 的工程主线清晰可见：模型在变“密”（密度定律）、硬件在变“强”（NPU 军备）、压缩在变“深”（量化+蒸馏+自推测）。而这一切的背后，是端云协同的新契约正在成形：轻量任务端侧实时响应，复杂推理云端按需取用——MiniCPM-o 4.5 在消费级显卡上跑通全双工全模态、AFM 3 用闪存换 DRAM、DeepSeek V4-Flash 用 98% 缓存命中压低云端成本，都在为这张契约补上最后一块拼图。

对工程团队而言，端侧 AI 的选型逻辑已经清晰：看密度而非参数（MiniCPM5-2B 17 分登顶就是证据）、看激活而非总量（AFM 3 Core Advanced 20B 只激活 1-4B）、看 TOPS 的真实性能而非纸面数字（统一内存+软件栈比峰值算力更决定体验）。当大模型装进口袋，真正稀缺的不是算力，而是把每一比特算力都花在刀刃上的密度工程。