处理 IP 选型：先看工作负载，再看峰值 TOPS

比较处理引擎前先定义工作负载

VPU / Processing 涵盖不同负载：视频编解码器、向量处理器和神经网络加速器不能互相替代。明确算法、输入尺寸、精度、输出质量及完成时限。本文以神经网络编译为具体示例，并非将所有 VPU 定义为神经网络加速器。

准备常规与困难输入、大张量及 SoC 并发场景。固定模型或算法版本和质量标准。若测试未说明就改变数值精度或输出质量，不能进行同条件比较。

检查存储带宽带来的上限

伯克利实验室的 Roofline 模型将计算吞吐量、存储带宽与算术强度联系起来。峰值算力无法单独描述可实现性能。以下是我们用于说明的整数运算示例，并非实测或供应商声明。

假设峰值算力为 4 TOPS，在指定存储边界上持续带宽为 16 GB/s，每跨越该边界传输一字节对应 100 次运算。带宽上限为 16 × 10⁹ × 100 = 1.6 TOPS。简单上界为 min(4, 1.6) = 1.6 TOPS，实际性能可能更低。数值精度及运算计数应一致，包括一次 MAC 的计数定义。

来源：1

检查实际在加速器上执行的部分

Arm 的 Vela 文档提供具体示例：TFLite 模型中不支持的部分保留为 CPU 运算，而其 TOSA 编译路径没有 CPU 回退。Vela 报告执行位置及周期、带宽和存储需求估算。这描述的是该工具链，并非所有处理 IP。

索取针对您自身负载的编译报告。分别统计加速器执行、CPU 回退、传输、同步与预处理。除模型大小外，还应检查峰值 SRAM 用量与外部流量。记录编译器版本、设置及存储配置以复现结果。

来源：2

以端到端行为验收

在规定批量大小下测量延迟分布、持续任务速率、精度及明确系统边界内的能耗。必要时包含热稳态和资源争用。明确区分仿真估算与硅片实测，记录时钟和电压条件。

最后审查支持的算子或指令、运行时责任、授权、调试器访问及负载变化后的升级路径。应选择以可复现证据满足完整负载约定且软件可维护的配置，而非只追求最高宣传 TOPS。

带着这些问题开展 IP 评估

• 提供代表性负载与质量目标。
• 审查执行位置、SRAM 需求及存储流量。
• 比较端到端延迟、能耗与软件支持。