💡在问答环节中,Jensen 的这番话引人注目:”如果英伟达成为全球最大的 CPU 厂商之一,我不会感到惊讶,因为市场低估了所有这些不同架构 CPU 的作用。”
🔍这句话反映了现实,旨在引起那些仍质疑英伟达为何设计定制 CPU 的市场观察者的注意。
🔧在技术圈之外,CPU(任何 CPU)在 AI 工作负载中的作用仍被广泛误解。
💡人们普遍理解 GPU 处理 “加速计算”,但 CPU 处理物流,作为编排层。
🔍在 MoE 架构中,每个 token 需要请求调度哪个计算专家来处理,路由请求、调度 8 位专家并管理存储对话上下文的 KV 缓存,这正是 CPU 的作用,在这种情况下,经过专门优化的 CPU 能胜任这一工作。
📝正如 Jensen 在 Grace 发布时指出的,当分析师问 “它有什么用?”—— 现在的答案可能更清晰了:随着上下文窗口扩展到超出 HBM 容量,其支持的更大 KV 缓存和扩展内存子系统,以及 1.8TB/s 的 NVLink CDC 带宽,确保上下文检索不会成为推理的瓶颈。
