第10章 超越(1 / 1)

深视科技,陈阳的办公室。

顾书瑶顶着两个大大的黑眼圈,把一份测试报告摔在桌子上:

「这活真没法干了。按照这个速度,等到明年我们也跑不完这60个模型!」

模型训练在有条不絮的进行。但算力,成了卡死模型训练的最后一道枷锁。

「我去跟投资人沟通,让他们尽快同意超算中心的建设。」

次日,收到陈阳通知的投资人纷纷赶来,即使时间来不及,也排了代表。

最终经过激烈的讨论后,投资人妥协了。

同意前期投入500万购买显卡以及租用机房,看效果再决定后续是否投入。

对于这个结果陈阳也能接受,反正方向是对的,只是时间问题而已。

于是陈阳叫来顾书瑶。

「买显卡。」

陈阳在支票本上刷刷写下一串数字,「100张英伟达TeslaK20。」

「K20?」

顾书瑶愣了一下,作为硬体发烧友,她提醒道:「英伟达已经发GTXTitan了,听说显卡核心一样,显存还多1G,价格便宜一半。要不买Titan?」

「不等,也不要Titan。」

陈阳摇了摇头,「Titan虽然便宜显存大,但是它的显存没有ECC(错误检查和纠正)功能。在家里或者小规模玩玩可以,但我们要建设的是超算中心,跑的是商业模型。一旦发生比特翻转(BitFlip),导致训练中断或者参数错误,浪费的时间成本,划不来。」

「我们要的是稳定。」陈阳语气坚定的说道。

顾书瑶听完,也不再反驳。

3月中旬,京城某数据中心

陈阳带着顾书瑶和运维团队,站在一排刚刚改造完毕的黑色机柜前。

为了迎接这批伺服器,陈阳额外支付了几十万的改造费。

因为2013年的主流机房都是为CPU伺服器设计的,根本扛不住GPU的高功耗和高发热。

为此,机房专门改造了电源线路,还在机柜后方加装了暴力的工业风扇。

「陈总,这就是你要的效果。」机房负责人指着那一排排亮起的绿灯,

「100张TeslaK20,全部上线。散热和供电都测过了,满载运行没问题。」

「辛苦了。」陈阳满意地点点头,看向顾书瑶。

「书瑶,试试?」

顾书瑶随即打开随身携带的笔记本,连入内网。

屏幕上跳动着一个简洁的控制台界面——这是陈阳基于前面的框架之前花了一个月时间,带着几个人连夜赶出来的简易版超算调度平台。

虽然简陋,但它能将这100张显卡整合成一个整体。

顾书瑶深吸一口气,颤抖着手指,提交了一个训练任务。

屏幕上,100个GPU的使用率瞬间飙升至90%以上。那是一种令人心颤的工业美感。

原本预计需要200小时的任务,进度条此刻正在以肉眼可见的速度疯狂跳动。

「预计剩余时间5小时?!」

顾书瑶惊呼出声,猛地转头看向陈阳,眼中满是难以置信。

「之前要跑十天的任务,现在只要一下午?」

「怎么样,体会到到人民币玩家的快乐吗。」

陈阳笑着拍了拍机柜冰冷的金属外壳,

「从今天起,我们告别手工作坊,正式进入工业化生产时代。」

接下来的半个月,团队进入了疯狂的状态。

有了这100张显卡的加持,原本遥不可及的60个模型联合训练计划,变得像喝水一样简单。

徐力和杨樊每天就像打了鸡血一样,不断地调整参数丶切分人脸区域丶训练子网络。

一个个模型被训练出来,一个个准确率被刷新。

3年4月4日。

所有的子模型全部训练完毕。最后的融合算法也已调试就绪。

陈阳拨通了汤小鸥的电话:「汤教授,所有的拼图都凑齐了。明天有空来京城吗?我们准备揭晓最终答案。」