「效果很好啊,这个星期可以在全公司内部推广。」韩路一说道。
「可惜,想要商品化的话,困难重重啊。」苏念念叹了口气,感慨了一句。
这个问题三个人在周五的会议上就讨论过了。
这种「成长系统」,想要能够对用户给出准确的评价,就需要对用户进行全方位的画像,需要接触很多个人信息。
只在源码内部使用的话,所有工作相关的信息本身就是归源码所有,没有什麽隐私的问题,但是一旦想要对外推广,不管是对企业还是对个人用户,关於隐私、数据安全,都还有很长的路要走。
「没必要什麽都想着商品化嘛。」韩路一说了一句,「只要这件事情有趣、有益,我们就可以继续做下去,有的时候商机总会在不经意间出现。」
姜亦心听到这,觉得时机差不多了,她举起手。
「韩总,苏总,其实我还有个关於产品的想法,想和你们聊聊。」
苏念念其实猜到了,三人之间每周是有固定会议的,如果只是汇报「成长系统」的成绩,完全可以等到那个时候。
今天临时预约一个会议,肯定是有决策要做的。
「让小姜总这麽急,是什麽想法啊?」她笑着说道。
姜亦心打开了刚刚整理出来的资料。
《使用大模型创建可复用的专家级技能》。
然後她把是怎麽受到早期用户的启发,想到可以使用AI来制作领域专家的能力,然後在网上调查到的现状等等都讲了出来。
韩路一和苏念念对视了一眼,都能看出对方眼中的惊讶。
小姜真的是一个很敏锐的产品经理啊。
「网上很多人都有这方面的尝试了,但是我觉得主要受限於几个方面的原因,现在的AI还没有办法提供和真人专家一样级别的能力。」姜亦心说,「首先最主要的是,现在的大模型在设计之初都是被按照通才来培养的,但是当我们需要某个职业的能力的时候,我
们需要的是他的专才,比如编程、法律、设计等等。」
韩路一点点头。
这确实是个问题,而且还是源智的应用方面正在面临的挑战一汤圆在国家电网的应用落地,需要的就是电力方面的专才。
「这个方向确实比较前沿,但是在学术界和工业界已经有一些探索了。」韩路一说道,「现在比较流行的是RAG(Retrieval—Augmented Generation,检索增强生成)技术,把模型里没有的相关资料放到资料库里,提前做好索引,等到有查询进来的时候,先把相关的内容在这个专用的资料库里搜出来,然後把搜到的内容一起送给大模型,让大模型根据这些内容来生成答案。」
通过给定数据来源的范围,和在提示词中严格的限制只能从给定的来源中生成回答,可以以最低的成本,在一定程度上把通用大模型变成一个领域专家。
「但是这其实是对模型能力不到位的一种妥协。」韩路一接着说,「用户问什麽问题是没法预测的,语义理解不到位,就检索不到相关的信息,最後给出的答案就不准确。这就像给一个没学过这门课的人开卷考试,你问问题的时候,他得现翻答案,翻到了,答的就好;可是翻不到,你就别指望他能给出什麽好答案了。」
韩路一讲的清晰到位,姜亦心和苏念念都听懂了。
确实,从这个方向上看,问题还是没得到解决。
姜亦心翻了一页资料,说道:「还有下一个问题。」
屏幕上写着这一节的标题:【长时记忆】。
「现在汤圆很强,但是它的工作是响应式的。」姜亦心说道,「我问一个问题,它回答一个问题;我追问下一个问题,它回答下一个问题。等到我问的问题太多了,超出了上下文窗口,整个对话就没法用了,然後打开下一个问题,一切从头开始。我们做御风的时候就对这个问题特意做了优化,然後在做这个成长助手的时候,我们遇到了同样的问题。」
这确实是在一线应用开发中才会遇到的痛点。
韩路一回头看了看苏念念,她最近做经营管理比较多,已经脱离产品一线一段时间了。
韩路一怕苏念念听不懂,停下来做了一些讲解—当然,他是对着姜亦心说的,只是让苏总顺便听一下。
「大模型进行生成的时候,就是把所有的上下文都放进模型里跑一遍,最後得出答案,所以上下文给的越多,占用的内存就越多,这个量有个极限大小,就是上下文窗口。」韩路一说道,「现在汤圆的上下文窗口是二十万个词元,这个量不算小,如果只是日常问答是够用的,但是在工程中使用的话就捉襟见肘了。」
「超出上下文窗口之後,大模型还能继续工作,但是它就会默默地忘记用户最一开始说的话,给出的答案很多时候都驴唇不对马嘴了,而用户还不知道是哪里出了问题。」
为了形象说明,韩路一讲了个网上的段子。
「有人说,你在和大模型聊天的时候,可以在最一开始加一个要求,让他在每一个回答最後都加一个「喵」,等他什麽时候大模型突然回答不带喵」字了,你就知道他已经超出上下文窗口了,需要换一个新的聊天进程了。」
苏念念确实不知道这些,尤其是最後的那个段子,她轻轻点了点头。
「所以在汤圆的上下文窗口有无限大之前,我们只能让它回答窗口里能撑得下的回答」姜亦心总结道。
这个总结很到位。
把问题分析完之後,姜亦心终於翻到了她的提案。
AI技能。
「这是什麽?」韩路一开口问道。
姜亦心想了想,说道:「可以理解成一种可复用的行动脚本。」
她怕这个解释太虚,又换了个说法。
「比如说,我想要一个运营复盘的技能,模型知道怎麽写复盘,但每次都要从头思考,像一个很聪明但没受过公司培训的新人。AI技能就是把公司里成熟员工的做法沉淀成一套固定动作,什麽时候触发,先看哪些数据,怎麽判断异常,怎麽拉取用户反馈,最後输出什麽格式,全都写清楚。」
「类似SOP(Standard OperatingProcedure,标准操作步骤)啊。」苏念念说。
乍一看,这个概念和御风很像。
御风也是把编程拆解成了不同的步骤,其
(本章未完,请点击下一页继续阅读)