AI基础设施：OpenAI-O1模型使推理需求有10~100倍增量，模型训练和推理都以万卡集群为起步状态
- 每日一算
- 2024-09-19 09:36:28
- 19
来源：Gangtise投研
AI基础设施 专家表示，OpenAI-O1模型使推理需求有10~100倍增量，模型训练和推理都以万卡集群为起步状态。推理端的带宽会接近训练端卡的组网形式。因为计算方式改变，引入新计算模式后计算复杂度（计算多样性）与训练相当，以前的推理芯片效能和能力逐渐不够，最终会回到用训练芯片做推理的状态。
本文由 @admin 于2024-09-19发布在 我的佛跳墙，如有疑问，请联系我们。