在 AI 智能体快速落地的当下，算力评估标尺正在发生根本性变化。过去 AI 行业长期以 Token 生成能力作为核心评价标准，这套体系已经难以适配智能体的运行逻辑。在近日，Arm公司提出AI 智能体正在重新定义 CPU 性能的评估标准，对此Arm云AI解决方案架构总监 Ravi Malhotra就AI智能体的应用趋势以及对CPU性能的需求变化等进行了详细分享。

主流AI智能体落地五类场景

Arm云AI解决方案架构总监 Ravi Malhotra指出，“在智能体 AI 出现之前，行业衡量 AI 性能，主要围绕 Token 词元生成展开，核心指标是每秒、每瓦、每美元的Token数。”但智能体 AI 改变了这一切。智能体不只是生成一段文字，它要求生成出来的 Token，能够驱动动作、在真实世界里落地执行。这意味着，算力评估不能只盯着Token，更要站在智能体、站在它要完成的完整任务的角度去衡量性能。

Arm将当下最主流的智能体 AI 落地场景分为五类，不同场景的算力诉求差异显著。

第一类是软件工程场景。开发者正在使用 Codex、Claude Code这类代码智能体，工作不再局限于写代码，还要自动生成补丁、执行测试、定位并修复程序 BUG。

第二类是企业自动化，也是规模化诉求极强的赛道。大型企业尝试把智能体部署在客户服务、供应链调度、库存管理等业务链路中，核心痛点是要支撑超大规模的智能体并发运行。

第三类面向科学研究与金融分析，往往依靠多智能体协同，开展复杂模拟运算，会产生大量领域专属数据。

第四类是大众熟悉的个人助理，可自动完成日程管理、旅行规划、个人财务梳理等任务，消费端应用持续涌现。

最后一类则是机器人技术，目前尚处在发展早期，但长期想象空间巨大。

Ravi Malhotra表示，所有智能体任务天然可以拆成两大计算环节，并且承载在完全不同的基础设施之上。

一部分是Token 生成，也就是推理与规划环节，这部分负载跑在 AI 机架上，核心诉求是高效生成 Token，同时提供充足内存、存储空间，支撑智能体读取上下文、解析业务数据。另一部分是基于模型输出的 Token 去执行动作，也就是工具调用、流程编排，这部分负载，运行在纯 CPU 服务器集群之上。这一类服务器、机架，同样要满足大规模部署、稳定持续运行的要求。

而行业需要回答一个关键问题，什么样的 CPU，才能更好承接这类全新负载？

不同场景下，智能体对 CPU 的能力偏好截然不同。 “没有两个智能体是完全一样的。”Ravi Malhotra 强调。以软件开发场景举例，代码编译、自动化测试是 CPU 密集型任务，单次流程耗时久、消耗大量 CPU 周期，因此对单个智能体的单核性能要求很高。而个人助理、企业运营这类场景里，单次任务往往很简短，大多只是访问网页、查询数据库、执行少量动作，对单个智能体的瞬时性能要求不算苛刻；但整体任务体量巨大，考验的是 CPU 集群的并发吞吐量与整体运行能效。

Ravi Malhotra 谈到，智能体的编排、工具调用、沙箱执行等工作负载，正在让 CPU 在 AI 数据中心里承担全新角色。过去大家的目光大多聚焦在 GPU、大模型推理，而随着 Agent 从演示走向生产，承载循环调度、工具调用的 CPU，正在成为决定整套智能体链路吞吐、延迟、成本的关键一环，行业需要一套适配智能体任务的全新 CPU 性能评价体系。

组件+端到端双基准，用机架级效率重构AI智能体的CPU 评估体系

针对智能体AI 重新定义 CPU 性能这一趋势，Arm 最新白皮书提出全新评估方法论，并且披露了 Arm AGI CPU 在智能体编排、工具调用、沙箱执行等核心负载上的第三方测试结果。这套差异化的智能体 AI 性能评估方法论由两个核心部分组成。

第一部分是组件角度的基准测试。对 Web 服务、数据库、模型服务等独立组件做基准测试，好处是可以精准掌握单一组件本身的性能上限，但短板也很明显 —— 它无法还原各个组件串联起来，跑在一条完整智能体工作流里的协同表现。这就需要配套的端到端智能体基准，用来给完整的智能体任务链路，提供具备业务代表性的评估标尺。

Ravi Malhotra 拆解道：“工具调用类组件，重点看 IPC（每周期指令数）、I/O 能力与并发能力；编排负载，更看重 CPU 并发规模与资源利用率；而在推理规划环节，CPU 承担头节点角色，这时我们会重点考察单线程性能，包括分支预测、缓存、内存延迟与内存带宽。”

第二部分的端到端智能体基准测试，核心聚焦可扩展性、并发能力，二者需要互相配合。他强调，评估智能体 CPU，不能只看单颗 CPU 最多能跑多少智能体，也不能一味冲高吞吐量，吞吐量必须和 SLA 服务等级协议做平衡，这就是我们所说的持续性能。

不同智能体业务的并发上限差异巨大。“像 Terminal-Bench、SWE-bench 代表的软件开发负载，单个核心承载1至2个智能体就足够了，如果继续叠加并发数量，很容易突破 SLA 阈值；但企业运营、个人助理类的轻量任务，就可以支撑更高密度的智能体并发。”Ravi Malhotra 表示，这就要求 CPU 架构同时兼顾单核性能，以及整机横向扩展能力。

他同时提出，评估视角不能局限在单颗 CPU，要向上延伸到机架层面。“不是所有 CPU 的设计取舍都一样。Arm CPU 追求性能、规模、效率三者均衡，而 x86 或者其他架构 CPU，往往会优先偏重其中某一项指标。”

Arm 联合独立技术分析机构 Signal65 完成了第三方对比测试，将 Arm AGI CPU 与第五代 AMD EPYC（Turin）放在智能体负载下对标，核心考察效率、可扩展性与综合平衡能力。

“这份独立报告显示，在本次评估的智能体工作负载中，在相同的机架功耗预算下，Arm AGI CPU 的每机架性能大约是 AMD EPYC 9755 的 1.99 倍。”Ravi Malhotra 说。分负载拆开来看，工具调用场景，Arm AGI CPU 机架性能达到对照平台 1.7 倍；向量数据库、缓存这类推理规划类负载，达到 2.2 倍；端到端完整智能体基准，约为 2 倍。

整套测试选取了覆盖全链路、兼顾代表性的组件与负载样本。“工具调用，我们选用 Nginx Web 服务、MySQL 数据库；推理规划侧，选取向量数据库 Milvus、主流模型服务框架 vLLM，以及 fastText 作为数据处理基准。编排环节，我们专门测量沙箱执行开销，覆盖 Docker、Firecracker、gVisor 多种隔离方案，测算单个智能体运行在隔离沙箱里带来的额外性能损耗。端到端智能体基准，我们选择软件开发这个热门赛道，以 SWE-bench、Terminal-Bench 作为代表。”

Ravi Malhotra 称，选取这批负载的目标，是搭建一套平衡性强、贴近真实业务的基准集合。各个负载对 CPU 的能力诉求各不相同，最终综合平均下来，Arm AGI CPU 机架级性能约为 AMD EPYC 9755 的 1.99 倍。Signal65 报告同时披露，平均来看，Arm AGI CPU 在每核、SoC 单芯片层面性能高出对照平台约 20%。

“Arm AGI CPU 的核心优势不止原始性能，更在于效率与可扩展性。单核心功耗更低，同样的机架功耗上限内，我们可以塞入更多核心。把更强的单核性能、单芯片性能，和机架内更多的核心密度叠加在一起，最终带来接近 2 倍的机架性能优势。”

针对智能体架构里绕不开的沙箱开销，Ravi Malhotra 做了重点说明。出于数据安全、隔离运行的要求，几乎每一个智能体任务都需要沙箱环境，沙箱的创建耗时，是智能体规模化运行里一笔固定成本，哪怕只是毫秒级延迟，大规模并发下也会持续放大。Arm 针对冷创建、热创建、同核多容器超额订阅等真实场景，对沙箱启动耗时做了专项基准。 “我们在多组场景中观察到，Arm AGI CPU 上，沙箱带来的额外开销显著低于 AMD EPYC 处理器。”

硬件落地层面，Arm 已经准备好标准化参考设计，联合合作伙伴推向市场。Arm 设计了两款服务器参考设计，Arm AGI CPU 1OU 双节点服务器参考设计，以及 Arm AGI CPU 2U2P 服务器参考设计。超微电脑（Supermicro）、联想、华擎科技（ASRock）等合作伙伴，已经基于这套方案推出量产商用服务器，覆盖不同机箱规格、适配多元场景。

例如 Supermicro 5U 平台，面向 AI 服务器配套头节点场景，Arm AGI CPU 作为主控，搭配各类AI 加速器协同工作。机架方案同时提供风冷，以及 Supermicro 打造的液冷版本，兼容 19 英寸标准机架和 Open Rack 双宽规格。

AI 智能体助推CPU成为核心支点

随着 AI 智能体从单轮文本生成走向端到端自主执行，算力格局正在重构。CPU 不再是配角，它负责将 Token 转化为工具动作、调度向量数据库与KV Cache、完成流程编排和沙箱安全隔离，撑起智能体循环闭环，成为规模化落地不可或缺的一环。

Ravi Malhotra 表示，AI智能体应用形态千差万别，针对不同场景单独定制 CPU 的思路，无法适配业务持续迭代、大规模落地的需求。行业更需要兼顾性能、可扩展性与能效的均衡型算力底座，而这正是 Arm AGI CPU 的核心定位与价值所在。