【Cpo/Ocs板块】观点更新(65):最大化用光=最大化Token利润

谷歌首次把训练与推理拆分至独立芯片:8t训练,Virgo结构;8i推理,是最大变化,用全新

证明Agentic Ai时代,不仅Gpu,还有Tpu,不仅训练,还有推理,都遵循Token经济学,用更多光提高单Token收益,即更高速度(=更高收入)、更低功耗(=更低成本)。

1️⃣
4个Tpu用Pcb板组成1个Tray,8个Tray用铜缆组成1个Group,36个Group(集群)。

2️⃣为什么8i从Torus环⾯拓扑,转向Boardfly?
本质是模型
LLM的通信像地铁(路线固定、班次密集、吞吐大),适合棋盘格一样的Torus架构;MoE的通信像网约车(每单随机、起点终点任意),token独立选择专家,数据瞬间需要芯片间“all to all”交流,对单次互连的时延要求极高。
(即增加直连光链路),把“多跳(需路过的路口数)”的路径“拍扁”成“少跳”。1024芯片,网络直径从16跳降低至7跳,网络直径-56%,推理场景 80%。

光的三个关键词:测试、耦合、连接,适用于各种光,Cpo/Ocs/Oio等等…。
标的:【(含测试和耦合设备)、【

By Txy

作者 AI财经

AI财经提供的财经数据以及其他资料均来自互联网其他第三方,仅作为用户获取信息之目的,并不构成投资建议。
AI财经以及其他第三方不为本页面提供信息的错误、残缺、延迟或因依靠此信息所采取的任何行动负责。市场有风险,投资需谨慎。