前两天看到英伟达那则公告,黄仁勋辞去总裁、CEO和董事职务,CFO Colette Kress接手临时CEO。说实话第一反应是“这公司要变天了”,但冷静下来一想,对像我这种自己攒推理集群的散户来说,最该关注的不是谁上位,而是之前传闻里提到的Rubin Ultra延期和Kyber机架改动。大摩路演里黄仁勋否认了Rubin Ultra延期,说按计划明年推,但Kyber机架架构调整了。这玩意儿才是真正的痛点。
我去年底刚搞完一个小型推理集群,主要是跑开源LLM的推理服务,规模不大,就32张A100和十几张H100混着用。当时布线时最头疼的就是供电。标准机架通常走380V直流或480V交流,但H100单个节点峰值功耗能到700W,32张卡加上交换机、存储,单机架功率密度轻松破20kW。我一开始想用800V直流供电,结果发现国内机房能提供800V直流母线的供应商极少,大部分只走380V或240V。最后妥协成480V交流转直流,效率降低了大概3-4%,多出来的热还得额外风冷。现在英伟达那边要推800V直流,对大型数据中心是利好,但对中小玩家来说,意味着要么改造配电柜,要么等新规格的PDU上市,周期至少半年。
另一个改动是光互连。老架构里机架间通信主要靠铜缆,距离一长信号衰减大,带宽受限。Kyber机架据说要集成光互连,直接走光纤。这玩意儿对推理延迟改善明显,尤其是跨机架做张量并行的时候。我之前用H100跑Llama 3 70B,跨机架通信延迟占推理总延迟的15%左右,换成光互连应该能压到5%以下。但光模块的到货周期现在是个问题,我认识的做光模块的朋友说,800G光模块交期已经排到12周以上,英伟达自己又囤了不少,小厂想拿货得加价。
机架功率密度这块,Rubin系列传闻是单GPU功耗可能到1500W,比H100翻倍还多。这意味着散热方案得从风冷转液冷。我现在的集群是风冷,夏天最热时进风口温度35度,GPU温度能飙到85度,风扇转速拉满噪音堪比吸尘器。如果下一代卡真到1500W,风冷根本压不住,必须上冷板式液冷。液冷改造包括管道、水泵、冷板、CDU,一套下来成本至少是风冷的1.5倍,而且机房需要有排水和防漏设计。我算过一笔账,如果全换液冷,现有集群的改造费用接近新购一半卡的价格,所以暂时只能观望。
这三个改动——800V供电、光互连、液冷——对自建集群的影响是实打实的。到货周期上,新架构卡可能要等8-12周,配套的供电和散热设备可能更久。大摩路演里提到管理层对增长偏乐观,单季营收逼近1000亿,说明需求还在涨,但供应链瓶颈没解决。小玩家要么加钱插队,要么等两三个季度后产能爬坡。
最后说句实在的,技术路线调整是常态,但每次改架构都等于重新布线、重新算散热、重新调网络,成本和时间都不小。
随便看看
- 北京官场私下“妄议”的十大话题
- 北京驾车撞9童案 传夫妻口角拿孩童泄愤
- 欲露还羞[50P]
- 每日微知天下9月23日
- 绝顶恼杀闷绝动图之(300)国産精选私房秘制38-特集 天
- 公司助理[12P]
- [代发]回忆的我的骚货前女友[26P]
- 穷人身上唯一还值钱的东西也被榨干
- 度娘都搜不到的走心句子
- 个人收集的国产小姐姐精彩瞬间1039 [263P]
- 向国人报喜!中国成功收回1500平方公里领土 该国将投
- [原创]涅槃文集——末路狂奔的大豆
- 自由并不是突然消失的
- 美施压叙利亚禁用中国电信技术 称威胁国安
- [欧美] 巴西姑娘 [23P]
- 绝顶恼杀闷绝动图之(118)连续动图-8 二幅式动图
- 极品校花为了取悦男友放飞自我自拍自慰[39P]
- 人妻女友的秘密 第161期 [135P]
- 颜射全脸,口爆,骚妇舔食精液,说还要吃![11P]
- [花姐原创]无耻的人太多了,我依然笑笑活好我自己
- 千人斩系列之关于cd的后续
- [欧美] Jia Lissa[20P]
- 崔天凯:委内瑞拉跟台湾不是一码事 不要存有幻想
- 关于撸货,黄牛的看过来
- [Portal] 自由亚洲电台称已恢复对华广播
- 两马归来释放的信号
- [亚洲] 小少妇的肉体诱惑简直绝了[29P]
- 多年前约会自拍 [21P]
- [亚洲] 有些孤独的美女 [30P]
- [原创]举牌手势双认证,苍哥接投稿,山东济宁3335夫妻入圈
- 6月22日,历史上的今天和生活冷知识
- 斩杀线?中国超7成人收入不及“全国线”
- [亚洲] Alluring allgravure girl[20P]
- [20260707]河北邢台工厂爆炸被夷为平地 详情待查
- gif动图
- 妹子这么粗一定很爽吧[13P]
- [写真] 温心怡百变情趣内衣诱惑[25P]
- 民主台湾你好,香港澳门只能示范一次[30P]