第 322 章 大模型(1 / 1)

一月,燕京,联想AI研究院。

端侧大模型的季度评审安排在下午两点。

陆尧从鹏城回来之后直接去了研究院,连办公室都没回。

倪光南已经在会议室里了,面前摊着一份技术进展报告,旁边坐着AI研究院的负责人和几个核心工程师。

倪光南穿了一件深灰色的羊毛开衫,精神很好。

八十岁的人了,每周还来研究院三天,带着团队改模型、调参数、跑测试。

陆尧有时候觉得,这个人身上有一种跟年龄不相称的劲头。

那种劲头他在余凯身上见过,在朱一鸣身上见过,在曹旭东身上也见过,做技术的人,一旦认准了方向,就会一直往前走。

“陆总,进展比预期的快。”倪光南把报告推过来,“端侧大模型的参数量从十亿提到了三十亿,推理速度优化到了每秒钟四十个token,功耗控制在两瓦以内。

测试机型是TakeFold二代,折叠状态下跑大模型,展开状态下跑桌面模式,切换的时候模型不用重新加载。”

陆尧翻开报告,逐页看了一遍。

技术指标、测试数据、优化方案、下一步计划,每一项都写得很细。他在推理速度那一页停了一下,问了一句:“每秒钟四十个token,这个速度跟云端大模型比怎么样?”

“差一半。”倪光南说,“云端的大模型每秒能跑八十到一百个token,但云端要联网,有延迟,而且用户数据要上传,端侧的优势是快、私密、不依赖网络。”

“差一半够用吗?”

“看场景。”倪光南说,“如果是聊天问答,四十个token的速度足够了,用户打字的速度大概每秒三到五个字,四十个token等于每秒能生成二十个汉字,比人打字快得多。

如果是长文生成,稍微有点慢,但大部分用户不会在手机上写长文。”

陆尧点了点头,继续往后翻。

报告最后一页是端侧大模型的落地场景列表,排在第一的是跨设备协同,第二是智能助手,第三是图像处理,第四是语音交互。

每一个场景都标注了预计上线时间和负责团队。

“跨设备协同的进度呢?”陆尧问。

“已经跟TakeFold二代同步上线了。”AI研究院负责人接过话,“PC和手机的文件传输、屏幕镜像、通话转接全部打通了,下一步是平板的适配,三月底能完成。”

“用户反馈怎么样?”

负责人翻开另一份报告:“跨设备协同的用户使用率超过了百分之六十,是所有AI功能里最高的。

用户用得最多的场景是文件互传和剪贴板共享,有一个用户在音浪上发了视频,说‘用了联想的跨设备协同之后,再也回不去了’。那条视频的播放量超过了三千万。”

陆尧合上报告,靠在椅背上。

窗外的燕京是一月的深冬,天色灰沉,中关村的楼群在薄雾中泛着灰白色的光。

会议室里暖气开得很足,桌上的茶杯冒着热气。

“倪院士,”陆尧说,“端侧大模型下一步的方向是什么?”

“两个方向。”倪光南翻开笔记本,“第一,继续优化模型,把推理速度提到每秒六十个token以上。

第二,做多模态,现在的模型只能处理文字,下一步要能看懂图片、听懂语音、理解视频。

多模态的端侧大模型出来之后,手机上的AI体验会完全不一样。”

“多模态需要多少算力?”

“比纯文本模型多三到五倍,征程三代的算力够用,但功耗会上去。”倪光南说,“所以我在想,能不能让地平线在征程四代的设计里,专门为多模态大模型做架构优化。这件事需要提前跟余凯沟通。”

陆尧在笔记本上记了一笔:“我下周跟余凯碰一下,把多模态的需求同步给他。”

会议结束之后,陆尧没有马上离开。

他在研究院的办公区走了一圈,看了几个工程师的工作状态。

大部分人都在盯着屏幕改代码、调参数、跑测试。

有人在白板上画架构图,有人在会议室里开小组讨论。

空气中弥漫着一种忙碌而专注的氛围,跟联想总部那种开会、汇报、走流程的节奏完全不同。

他走到一个角落的工位旁边,站了几秒。屏幕上开着一段模型训练的日志,参数在滚动,loss曲线在缓慢下降。

工程师没有注意到他,只是盯着屏幕,偶尔敲几行命令。

陆尧想起2019年初端侧大模型刚立项的时候,项目组只有五十个人,模型参数量只有十亿。

一年过去,团队扩到了一百五十人,参数量翻了三倍,推理速度提升了四倍。

跨设备协同的功能装进了TakeFold二代,用户使用率超过了百分之六十。

从研究院出来的时候,天色已经暗了。

陆尧坐进车里,赵恒从副驾驶递过来一瓶水。他接过来喝了一口,靠在座椅上。

“回总部。”他说。

车从研究院出发,沿着中关村大街向北行驶。

窗外的燕京在冬日的暮色中铺展开去,联想控股和联想集团两栋大楼在灰蓝色的天幕下并排矗立着,玻璃幕墙反射着最后一缕灰白色的天光。

陆尧拿出手机,给余凯发了一条消息:“征程四代的设计,要预留多模态大模型的算力,具体参数下周当面聊。”

余凯回得很快:“收到。我让团队先出一版架构草案。”

陆尧又把手机翻到程艾雪的对话框:“华为联合实验室的场地方案,下周发我。”

程艾雪回了一个字:“好。”

他把手机放进口袋,闭上眼睛。

车正在穿过中关村,远处的西山在暮色中只剩一道深灰色的轮廓。

端侧大模型、跨设备协同、多模态、华为联合实验室、地平线征程四代。每一步都在往前走,每一个节点都在咬合。

车在联想总部楼下停稳,陆尧推开车门走进大堂。

前台的姑娘站起来欠了欠身,他点头示意,上了电梯。

十八层的办公室里,桌上堆着几份待签的文件,最上面的一份是理想汽车纯电平台的融资方案。

他翻开看了两页,拿起笔在签字栏上签了字。

他把文件合上,靠在椅背上。

窗外的燕京已经完全暗了,三环上的车流在夜色中连成一条缓慢流动的星河。

远处的国贸三期亮着冷白色的光,在一片灰蓝色的天幕下格外醒目。