东方通信-半导体】6.21周观点:模型不停,硬件不止

1、Fable 5/ Mythos 5延续scaling law。Mythos 5的总参数规模走向10T,相比Opus 4.8(1-2T)提升约5倍;并采用大MOE架构,专家数量到约256个,推理激活参数约500B-1T,使其在长程任务、Agent、科学任务等能力大幅提升。Anthropic与Amazon在2026年4月公告称,已使用超过100万颗Trainium2芯片训练和服务Claude,并通过Amazon合作获得最高5GW级别的未来算力。通过更多的参数获得更好的模型效果,scaling law仍在延续。

2、大MOE模型推动AI 组网走向rack间的scale up。按照LLM预训练 FLOPs≈6 x 激活参数量 x 训练Token数,10T MOE训练周期60天,MFU为35%,其训练过程对算力需求约5万张B200,或者30万张Trainium2。

大MOE模型训练的需求变化,催生机柜间的scale up。对于10T MoE模型,可能有128–256个专家,每个token激活4–8个专家。训练时token会被路由到不同专家,GPU之间需要频繁交换激活参数,其通信模式比普通dense模型更复杂。NVL576 scale up的核心价值是:把更多专家、更大的张量并行组、更长上下文训练放在同一个高速GPU岛里,从而减少跨机柜通信开销。

几乎所有的GPU芯片都在开发rack间的scale up网络。华为 384、NVL 576/1152、TPU 3D Torus、Trainium、Maia等网络结构都是rack 间的scale up网络。在NVL 576/1152网络中,GPU:OE比例将达到1:40,意味着1000万颗GPU,将配比4亿个OE。

3、Fable 5/Mythos 5被美列入出口管制范围,国产AI模型、芯片、制造、应用将举国建立新的产业体系。6月18日,商务部等8部门发布《关于加快“人工智能+消费”发展的实施意见》,提出17项措施,方向包括AI商品消费、服务消费、商业创新和推广应用。制裁与管制会加强政策扶持,人工智能全产业链发展仍是坚定不移的基本方向。

结论:
①大MOE模型推动scale up和scale out集群规模扩大,NV等rack间的scale up网络拉动CPO、3.2T/6.4T NPO需求,TPU 3D Torus的scale up拉动2.4T 轻相干需求。
②推荐国产AI模型、芯片、制造,布局国家级别战略资产。寒武芯原华虹

作者 AI财经

AI财经提供的财经数据以及其他资料均来自互联网其他第三方,仅作为用户获取信息之目的,并不构成投资建议。
AI财经以及其他第三方不为本页面提供信息的错误、残缺、延迟或因依靠此信息所采取的任何行动负责。市场有风险,投资需谨慎。