者做小。”
“做大或者做小...?你是指终端还是云端两种发展的方向?”李彦弘很快跟上了孟繁岐的思路。
“没错,学术研究的时候起初不会过多关注模型的参数量大小,和它的计算损耗。但实际投入使用的时候,则会必然分出极致优化缩减的小模型,和强调性能开放接口给人使用的云端大模型。”
“在早期的时候,可能会反复魔改和调整模型的结构和设计,让模型尽可能快,尽可能好。但久而久之,随着数据的积累,筛选,更高质量的标注,以及最重要的,更大的模型参数量。”
“规模极其庞大的模型,会在某一个临界点彻底产生质变,让绝大部分小模型失去价值。尤其是以语言语音类,和图像生成类模型。它们的使用体验是无法向下的。”
孟繁岐回想起重生前,李总面对ChatGPT(3.5版本)和GPT-4,强行顶住压力提早推出的大模型文心一言,不得不在心中叹了口气。
其实文心一言并不是一无是处,只是这种与人交互的智能模型,如果相形见绌,就会显得特别不堪一击。