💻”HBF 只能针对一小部分工作负载,比如读密集型、高容量且受益于靠近 GPU 的数据。”
💻如果模型规模增长到 50T-100T 参数,HBF 可能会有用,但据我所知,英伟达当前的策略是扩大 scale-up 域规模至 144/576/1152,将权重存储在一个大的单一域中,并通过 STX 将 KV 缓存卸载到 SSD。
🤔我现在看到的情况确实非同寻常。
📈长期协议不再局限于存储器,而是正在向整个行业蔓延。
🔍在经历了存储器短缺之后,超大规模企业现在正试图提前管理每一个潜在的下一个瓶颈,以免再次以同样的方式措手不及 ——MLCC、硅电容、ABF 基板等等。
📝我甚至从渠道那里听到了一些以前几乎不可想象的条款:支持工厂建设、委托采购付款以及其他前所未有的安排。
