着的两个人。
江松然开着电脑，皱着眉头，屏幕上是密密麻麻的算子列表和优先级标注，这些是报告的原始数据。
赵文渊坐在他旁边，手里拿着一杯生椰拿铁，神情看着比韩路一还要放松。
今天会议的主题是讨论接下来怎麽在L100集群里进行模型训练。
说实话，这麽短的时间里能把推理跑起来，就已经让江松然震惊过一次了。
这本身是以年计的工程量，在源智一个月就做出来了。
当然了，这里面江松然也是出了大力气的。
是他把在推理阶段可以绕过的问题都绕过去了，才把工程难度降下来，让汤圆及时上线。
但是现在要做训练，不只是那些没做的工作要做，之前推理阶段逃过的课也得一一补上。
「我先说说大方向。」江松然把电脑上的内容投影到了会议室的大屏幕上，「我们可以把这个项目分成两个阶段，一个是算子的阶段，适配做完之後，先在小集群验证，只能做一些小规模的训练，不超过7B。」
「第二阶段才是用这套东西组千卡甚至万卡级的大集群，这里面涉及很多卡间通信的挑战，我们之後再说。」
江松然指了指屏幕上列出来的密密麻麻的算子，最上面的十几行标了绿，中间还有几十行是黄色的，剩下的都是红的。
绿色是正反向都做完的，黄色是只做了正向、反向用了近似值的，红色则是完全没做、用近似实现代替的。
江松然说道：「前向算子只是第一层，真正麻烦的是训练需要反向算子，还要保证数值稳定。很多算子推理的时候能用近似实现，训练不行，要实现高精度，就得一点儿一点儿抠，这是个苦力活儿。
7
说完他苦笑一声。
要是用CUDA，这个苦力活儿英伟达已经替你干好了，你只需要考虑怎麽设计训练管线、训练策略就行。
现在用矽明的L100，他们的软体团队就不用指望了，所有的活都得源智的团队做，虽然最近招来的人都有丰富的调优经验，也做好了攻坚准备，但是这种事情急不得。
活儿多不可怕，但是你不能设置不合理的预期。
的训练能力，完成汤圆1.0的训练。
虽然他没说预期多长时间做完，但是你听听这个名字，现在发布的是0.9，要优先把1.0训练完，这个任务难道还能等一年多吗？
他只能把最乐观的估计说出来：「我估计，三个月能把一阶段做完，二阶段的通信要六个月，还要花六个月做算子调优一这是最保守的估计，十五个月以後，可以尝试做训练。」
实际上做过工程的人都知道，这种估计真做起来，花的时间翻倍都不止。但他实在是说不出口，让汤圆1.0三年之後再开始训练。
0.9都发布三年了，才训练1.0，你听听这是人话吗？
江松然对韩路一坚持不用任何云服务商的决定也了解，这是对数据安全的坚持。但是咱们现在只有国产卡，或者，如果实在是等不及，要不采购点英伟达的卡？先用着，也不耽误咱们做国产化，不丢人。
这话他也没说，等着韩路一的回应。
没想到，韩路一没说话，倒是这两天一直和江松然一起准备报告的赵文渊先开了口。
「我觉得三个月太长了，一个月，应该就可以把第一阶段的基本训练链路做完了。」
江松然震惊地看着身旁的赵文渊。
老赵，你知道自己在说什麽吗？
这是训练，不是推理！
吹牛不是这麽吹的，当着韩总的面，你要把牛皮吹破了。
这下他忍不住了，恨不得上去捂老赵的嘴：「不行不
（本章未完，请点击下一页继续阅读）