关键要点
- 边缘部署优化的是相对于热设计工作点的每token焦耳数——而不是桌面指标"相对于VRAM的每秒token数"。
- 一个1.5B模型在Hailo-10H(据Hailo公开数据)上以2.1W功耗跑出9.45 tok/s,放在桌面场景平庸,放在嵌入式场景却很出色。
- 四大硬件类别覆盖了大多数产品:SBC+NPU扩展板、专用M.2加速模块、集成边缘SoC、嵌入式GPU模块——匹配的是功耗预算,而非模型规模本身。
- 据NVIDIA数据表,Jetson AGX Thor(T5000)在40～130W功耗下提供稀疏FP4 2,070 TFLOPS算力,配备128GB LPDDR5X内存、带宽273GB/s——是嵌入式GPU类别的最高端方案。
- 决定token生成速度的是内存带宽,而非内存容量——带宽相同时,DRAM更多的板卡并不会让生成更快。
- 工业温度范围和芯片供货生命周期必须在选定模型之前确认,而不是之后——供货周期3年的芯片无法用于服务寿命10年的产品。
- 许多NPU工具链只接受固定的一部分量化方案,因此量化计划应由目标硬件的编译器限制决定,而不是反过来。
边缘AI硬件的四大类别是什么?
四大硬件类别几乎覆盖了所有边缘LLM部署场景,选错类别造成的工程返工往往比选错模型更严重。 每个类别在功耗与灵活性的权衡曲线上占据不同位置。在比较类别内的具体芯片之前,首先要让类别匹配产品的功耗预算和使用寿命要求。
📍 简单一句话
边缘AI硬件分为四大类别——SBC+NPU扩展板、专用M.2加速模块、集成边缘SoC和嵌入式GPU模块——匹配的是产品的功耗预算,而不是模型规模本身。
💬 简单来说
SBC+NPU扩展板便宜灵活,但密封外壳里容易发热。专用M.2加速模块以极低功耗只做一件事。集成SoC是一整台电脑做在一颗芯片上,专为机器人和摄像头设计。嵌入式GPU模块是把桌面级性能压缩进产品尺寸。
- SBC+NPU扩展板 — 通用单板计算机(树莓派5级别)搭配外挂NPU加速卡。物料成本最低、软件栈最灵活,但一旦密封进无气流的外壳,持续散热性能最弱。
- 专用加速模块(M.2) — 类似Hailo-10H这样的固定功能推理芯片,通过M.2/PCIe插槽加装到现有载板上。以极低功耗完成一件事——量化推理;它不是通用计算平台,无法运行操作系统。
- 集成边缘SoC — 将CPU、GPU或NPU与I/O整合在同一芯片上,按特定功耗范围设计。NVIDIA Jetson Orin系列(Orin Nano Super、Orin NX、AGX Orin)和Rockchip RK3588,是量产机器人和摄像头产品的默认选择。
- 嵌入式GPU模块 — 将独立级GPU压缩成模块形态,用于边缘算力的最高端场景,例如NVIDIA Jetson AGX Thor(T5000)。适用于产品确实需要桌面级吞吐量的场合——多摄像头感知、人形机器人——同时仍要装进嵌入式的功耗与散热预算内。
桌面硬件指南忽略了哪三个约束?
桌面本地LLM指南针对VRAM容量和峰值每秒token数进行优化;而嵌入式产品受制于另外三个桌面基准测试从不需要考虑的约束。
- 热设计工作点,而非峰值参数。 数据表标注的TOPS值通常假设有气流,而大多数密封、无风扇外壳并不具备这一条件。真正重要的是在实际外壳内、70℃环境温度下的持续吞吐量——在热降频状态下,实际吞吐量可能远低于数据表峰值。
- 内存带宽,而非内存容量,决定生成速度。 Token生成(解码阶段)受带宽限制:解码吞吐量大致等于内存带宽(GB/s)除以每个token读取的字节数。带宽相同时,DRAM更多的板卡并不会让token生成更快——这正是为什么Hailo-10H以平均2.1W功耗运行1.2GB内存占用、2,048 token的KV缓存,与桌面GPU的VRAM余量是完全不同的设计定位。
- 工业温度范围和芯片生命周期,而非跑分表。 消费级SoC通常按2～3年的设计周期采购。承诺10年服务寿命的产品,需要芯片有相匹配的供货承诺和扩展工作温度范围——一颗第四年就无法再采购到的芯片,无论第一天跑目标模型的表现多好,都必然导致寿命中期的硬件重新设计。
如何为产品选定边缘算力?
在评估具体芯片之前,先明确功耗预算和服务寿命要求。 以下步骤按能避免最常见返工的顺序排列:先选模型、再发现它不满足功耗或生命周期约束,是最常见的返工来源。
- 1先定功耗预算,而不是先选模型
Why it matters: 嵌入式产品有固定的散热或功耗范围——电池容量、共享的PoE供电线路、被动散热极限——模型必须装进传感器、无线模块和执行机构消耗之后剩下的部分。 - 2定一个"每token焦耳数"目标,而不是"每秒token数"目标
Why it matters: 脱离功耗背景的每秒token数无法在不同加速器类别之间比较。每token焦耳数才是真正决定成品电池续航或散热余量的数字。 - 3在规格表中把内存带宽和内存容量分开列出
Why it matters: 生成速度受限于访问权重和KV缓存的GB/s,而不是板上有多少DRAM。读取速度跟不上,再大的缓冲区也不会提升解码吞吐量。 - 4在选定模型之前而非之后,确认工业温度范围和供货生命周期
Why it matters: 一颗供货承诺只有3年的芯片,无法用在服务承诺10年的产品上,无论它在实验室里跑目标模型的表现多好。 - 5确认NPU工具链实际接受哪些量化方案
Why it matters: 许多嵌入式NPU编译器只支持固定的一小部分权重、激活值和KV缓存量化方案。在确定模型之前先对照编译器验证,而不是等到编译失败之后。 - 6先用下方的交互式选型工具缩小候选范围,再在真实芯片上验证
Why it matters: 按功耗、模型规模、视频需求和温度范围筛选,几分钟内就能把候选范围缩小到一个短名单。只有在实际外壳内、实际加速器上测得的数据,才能确认贵产品的每token焦耳数。
找到适合你产品的边缘硬件
这是把功耗预算和目标模型规模快速转化为候选名单的最快方式。设置功耗范围、以十亿参数为单位的模型规模,以及产品是否需要视频输入或工业温度范围——下方表格会随之更新,显示接下来值得跑分测试的平台类别。
Platforms that fit
| Platform | Power | Fits up to | Note |
|---|---|---|---|
| NVIDIA Jetson Orin Nano Super | 7–25 W | 8B | Entry dev kit; natural upgrade from a Raspberry Pi |
| NVIDIA Jetson Orin NX | 10–40 W | 13B | Mid-tier module, up to 157 TOPS |
| NVIDIA Jetson AGX Orin 64GB | 15–60 W | 34B | 275 TOPS; current volume robotics workhorse |
边缘AI芯片在功耗和算力上如何对比?
本文提及平台的规格均为厂商公开文档,已于2026年9月2日对照厂商一手资料核实。 标注"据称"的数值来自二手资料而非厂商一手数据表,已相应加注保留说明——在对照自己的供应商联系人确认之前,请当作近似值处理。
平台 | 类别 | 峰值AI算力 | 功耗(TDP) | 内存/带宽 |
|---|---|---|---|---|
| Jetson AGX Thor(T5000) | 嵌入式GPU模块 | 稀疏FP4 2,070 TFLOPS | 40–130W | 128GB LPDDR5X,273GB/s |
| Jetson AGX Orin 64GB | 集成边缘SoC | 275 TOPS | 15–60W | 64GB LPDDR5 |
| Jetson Orin NX | 集成边缘SoC | 约157 TOPS(据称) | 10–40W | 8/16GB LPDDR5 |
| Jetson Orin Nano Super | 集成边缘SoC | 约67 TOPS(据称) | 7–25W | 8GB LPDDR5 |
| Hailo-10H | 专用加速模块(M.2) | 固定功能推理 | 低于5W(M.2形态) | 1.2GB内存占用(实测) |
| Rockchip RK3588 | SBC+NPU | 6 TOPS(3核NPU) | 板级,个位数瓦特 | 与主机SBC共享 |
| Ambarella N系列 | 集成视觉SoC | 未公开 | 未公开 | CES 2026发布,多传感器+边缘生成式AI |
| Qualcomm QRB系列 | 集成边缘SoC | 因平台而异 | 因平台而异 | 在无人机领域占主流——见姊妹文章 |
Jetson AGX Thor还配备QSFP 4×25GbE端口,最多支持32路MIPI CSI-2摄像头;NVIDIA表示其相较Jetson AGX Orin可提供最高7.5倍AI算力和3.5倍能效提升。这两个数字均来自NVIDIA自身的对比,并非本文进行的独立测试。
专用芯片上的1.5B模型实际表现如何?
Hailo公布了Qwen2-1.5B-Instruct在Hailo-10H上的实测结果,恰好印证了本指南的核心论点:平均功耗2.1W时达到每秒9.45个token。 按桌面标准衡量,1.5B模型跑出9.45 tok/s平淡无奇。按嵌入式标准衡量——一块功耗不到5W的M.2模块,耗电量几乎不比手机充电器待机时高多少——这就是产品能用小电池供电、还是需要更大外壳和风扇的区别。
以下数据是Hailo自己公布的基准测试结果,并非本文进行的独立测量——在规格表中引用时应注明为厂商公开数据。
指标 | 数值 |
|---|---|
| 模型 | Qwen2-1.5B-Instruct |
| 吞吐量 | 9.45 tok/s |
| TTFT(输入96 token) | 289毫秒 |
| 平均功耗 | 2.1W |
| 内存占用 | 1.2GB |
| KV缓存 | 2,048 token(约1,536词) |
| 权重量化 | 4位对称,按组量化 |
| 激活值量化 | 8位非对称,按张量量化 |
| KV缓存量化 | 8位非对称,按张量量化 |
| 运行时/系统支持 | HailoRT——Linux、Windows、Android |
HailoRT支持Linux、Windows和Android,模块本身是功耗低于5W的M.2形态——这是电池或PoE受限产品应该参考的对比点,而不是桌面每秒token数排行榜。
面向嵌入式NPU目标应该如何量化模型?
嵌入式NPU工具链通常只接受固定且比桌面推理栈更少的量化方案,因此应由目标硬件的编译器决定量化方案,而不是反过来。 在选定模型之前而非编译失败之后,先确认可接受的方案。
静态量化使用校准数据集,提前固定权重和激活值的缩放系数与零点——大多数固定功能NPU编译器要求这样做,因为这让芯片省去了运行时动态计算量化参数的开销。动态量化在推理时计算这些参数,更灵活,但支持它的嵌入式NPU编译器很少,因为它会引入固定功能流水线本就要避免的延迟。
按张量的激活值量化(为整个激活张量使用单一缩放系数,如Hailo公布的Qwen2-1.5B配置中采用的8位非对称方案)是常见的嵌入式默认选择:相比按通道的方案,它对NPU的计算成本更低,精度损失也较为温和,通常足以满足嵌入式产品典型的短小、任务特定提示词的需求。
量化后的KV缓存(如上述Hailo-10H示例中的8位非对称、按张量量化)缩小了加速器每生成一个token需要保存和回读的内存量,直接提升了上文内存带宽约束中所述的每秒token数上限。关于权重、激活值和KV缓存量化的底层机制,可参阅LLM量化的工作原理及各方案的实际影响,这些机制在桌面和嵌入式目标之间是共通的。
打造边缘AI产品原型该买什么?
用你计划量产的同一硬件类别的开发套件来做原型,而不是用桌面GPU主机——量产类别的散热和功耗表现,正是桌面设备无法告诉你的东西。
- NVIDIA Jetson开发者套件 — 在确定量产载板之前,原型验证集成边缘SoC和嵌入式GPU模块类别的标准方式。请直接向NVIDIA或授权分销商确认当前型号供货情况和价格;具体型号和价格变动过于频繁,本文不便给出可靠数字。
- Hailo M.2加速模块 — 在已有空闲M.2/PCIe插槽的载板上,原型验证专用加速器类别的标准方式。请直接向Hailo或授权分销商确认当前型号供货情况。
- 树莓派 AI HAT+ — 在决定产品是否真的需要更高算力类别之前,以低成本原型验证SBC+NPU扩展板类别的标准方式。请直接向树莓派官方或授权经销商确认当前价格和供货情况。
- 工业级载板与外壳 — 当原型从实验室工作台迈向量产产品所要求的扩展温度范围和抗振能力时才需要;一旦产品时间表提出这一要求,应从工业嵌入式供应商而非消费级载板厂商处进行选型。
什么情况下边缘推理是错误的选择?
在三种常见的产品场景下,边缘推理并非默认的正确选择——强行采用它,通常消耗的工程时间会超过它在延迟或隐私上节省的收益。
- 间歇性负载、长时间闲置。 如果产品只是偶尔需要推理,其余时间都有可靠的网络连接,那么专用边缘芯片固定的功耗和物料成本预算,大部分时间都花在了维持一种很少被用到的能力上——在活跃窗口内调用云端服务,通常在产品整个生命周期内更划算。
- 真正依赖前沿级推理能力的任务。 一个小到能装进边缘功耗预算的模型,在开放式推理、多步骤规划或广泛世界知识方面无法与大型托管模型匹敌——边缘芯片适合范围狭窄、界定清晰的任务,而不是通用助手。
- 具备可靠连接、且没有隐私或延迟约束的产品。 如果产品没有任何理由要求数据必须留在本地,也没有任何场景要求在不经过网络往返的情况下于100毫秒内响应,那么为边缘芯片支付功耗和成本预算的理由就会明显减弱——在围绕这一约束设计之前,先确认它是否真实存在。
2026年,哪些监管适用于AI驱动的机械设备?
从中国监管视角看,首先值得关注的现实约束是获取领先西方AI芯片的渠道受限,这正在推动国产NPU和高度量化小模型的发展——这恰恰预演了本文核心论点所描述的"效率受限"设计路径:在功耗预算固定的情况下,精心量化的小模型往往优于未经优化的大模型。这一约束与欧盟《机械条例》(2023/1230,自2027年1月起适用)对AI驱动安全功能的高风险认定,构成了两种不同却又相互印证的监管与产业现实。
欧盟层面,若边缘推理结果(物体分类、规划决策、视频分析告警)输入到机械的安全相关控制功能中,《机械条例》的基本健康与安全要求与欧盟《AI法案》的高风险分类可能同时适用。这是背景信息,不构成法律意见;出货前应就具体产品的适用性咨询具备资质的监管法律顾问。
对于面向全球市场(包括中国大陆及周边地区)出货的边缘产品,供应链上游芯片的可获得性本身就是一项工程约束,应与监管合规一并纳入早期硬件选型考量,而不是等到设计定型之后再补救。
常见问题
桌面和边缘LLM硬件选型的核心区别是什么?
桌面选型针对可用VRAM优化每秒token数。边缘选型针对固定的热设计工作点和功耗预算优化每token焦耳数——模型必须装进产品剩余的功耗里,而不是反过来。
专用NPU上的小模型真的比GPU上的大模型更好吗?
在功耗预算固定的前提下,通常是的。据Hailo公布的基准数据,一个1.5B模型在Hailo-10H上以2.1W功耗跑出9.45 tok/s,放在桌面场景是平庸结果,放在嵌入式场景却很出色——只有先固定功耗约束,这种比较才有意义。
什么是热设计工作点,为什么它对边缘LLM很重要?
它指的是芯片必须交付额定性能的持续工作条件——通常是密封、往往无风扇外壳内的环境温度——而不是数据表中假设有大多数产品并不具备的气流条件下测得的峰值参数。在热降频状态下,实际吞吐量可能明显低于该峰值。
为什么内存带宽比内存容量对token生成更重要?
Token生成受带宽限制:解码速度大致等于内存带宽(GB/s)除以每个token读取的字节数。带宽相同时,DRAM更多的板卡并不会让token生成更快——设定上限的是带宽,而不是容量。
什么是工业温度范围,为什么它对产品生命周期很重要?
它指的是远超消费级常见0～40℃规格的扩展工作温度范围,芯片需要在多年供货承诺下按此规格认证和采购。通常按2～3年周期采购的消费级芯片,无法用于服务寿命10年的产品,否则必然导致寿命中期的硬件重新设计。
Hailo-10H运行小型LLM时功耗是多少?
据Hailo公布的数据,Hailo-10H在以9.45 tok/s运行Qwen2-1.5B-Instruct时平均功耗为2.1W,内存占用1.2GB,KV缓存为2,048 token,整体为功耗低于5W的M.2形态。
NVIDIA Jetson AGX Thor的算力是多少?
据NVIDIA数据表,Jetson AGX Thor(T5000)在40～130W功耗下提供稀疏FP4 2,070 TFLOPS算力(密集FP4为1,035 TFLOPS,密集FP8为517 TFLOPS),配备通过256位总线、带宽273GB/s的128GB LPDDR5X内存。
面向边缘NPU,应该量化权重、激活值还是KV缓存?
通常三者都要量化,具体方案以目标NPU编译器实际接受的为准。静态的按张量激活值量化,以及量化后的KV缓存,是常见的嵌入式默认方案,因为大多数固定功能NPU工具链只支持有限且固定的一部分方案——在选定模型之前先确认可接受的方案。
什么情况下完全不应该使用边缘推理?
对于连接可靠、负载间歇且很少使用的场景,对于真正需要超出边缘规模模型能力的前沿级推理任务,以及对于没有真实隐私或延迟约束要求数据必须留在本地的产品,应避免使用边缘推理。
如何开始为新产品选定边缘算力?
在评估具体芯片之前先明确功耗预算和所需服务寿命,设定"每token焦耳数"目标而非"每秒token数"目标,对照产品约束确认内存带宽和工业温度范围,然后使用本页的交互式选型工具缩小候选范围,再在真实芯片上进行基准测试。