百度CTO王海峰：文心大模型的底色和成色

 
 
百度CTO王海峰：文心大模型的底色和成色  
 

10月17日，“百度世界2023”在北京举行。

百度公司董事长兼首席执行官（CEO）李彦宏用一个多小时发布了“基础模型全面升级”的文心大模型4.0，展示其在理解、生成、逻辑和记忆等能力上的显著提升，并介绍了新搜索、新地图等10余款被大模型重构的业务应用。他对此次升级大加称赞，称其综合能力“与GPT-4相比毫不逊色”，并断言“大模型将开启一个繁荣的人工智能（AI）原生应用生态”。

文心大模型从3.5升级到4.0，仅用4个多月。这期间，文心大模型是怎样变强的？

在紧凑的发布环节，百度首席技术官（CTO）王海峰仅用20分钟就解读了文心大模型4.0背后的“助推剂”。一开场，他就用一句话解答了大家的疑惑：“团队基于更大的算力、更多的数据和更强的算法，训练出来规模更大、效果更好的文心大模型4.0。”

王海峰在百度世界2023解读文心大模型4.0背后的技术创新。百度供图

升级：算力更大、数据更多、算法更强

王海峰坦言，文心大模型4.0的基本技术架构与文心大模型3.0和3.5版本一脉相承，升级是基于在多个关键技术方向上进一步的创新突破。

首先是训练环境更优了。文心大模型的基础模型训练离不开飞桨深度学习平台。王海峰透露，百度技术团队将飞桨平台运行在万卡算力上，并通过集群基础设施和调度系统、飞桨框架的软硬协同优化，支持文心大模型的稳定高效训练。

其次是数据质量更好了。没有好的数据做“养料”，大模型难为无米之炊。王海峰说，技术团队建设了多维数据体系，形成了从数据挖掘、分析、合成到标注和评估的闭环，以充分释放数据价值，大幅提升模型效果。

然后是训练算法更强了。百度技术团队通过打磨训练算法，“保证模型更好地与人类的判断和选择对齐”。在既往技术创新的基础上，技术团队基于有监督精调、偏好学习、强化学习等技术进行多阶段对齐，保证模型更符合人类价值观。同时，技术团队还使用可再生训练技术，通过增量式的参数调优，进一步节省训练资源和时间，加快模型迭代速度。

价值对齐，多多益善。为提升大模型的准确性，文心大模型4.0在输入、输出两个阶段都运用了知识点增强，具体做法为在输入端对用户输入的问题进行理解，并拆解所需的知识点，然后在搜索引擎、知识图谱、数据库中获取准确知识，最后把得到的知识组装进prompt送入大模型；输出端会对大模型的输出进行“反思”，从生成结果中拆解出知识点，然后利用搜索引擎、知识图谱、数据库及大模型本身进行确认，修正偏差。

王海峰介绍，借鉴《思考，快与慢》一书阐述的智能系统，百度研制了智能体机制。在基础大模型的基础上，百度又进一步研制了反应慢但更理性、更准确的“系统2”，让大模型像人一样理解、规划、反思，一定程度上将思考过程白盒化，在完成复杂任务的同时，还可以在环境中持续学习、自主进化。

成色几何？用户“用脚”投票

8月31日，知识增强大语言模型“文心一言”面向全社会开放。仅40多天时间，文心一言的用户规模就已达到4500万，开发者5.4万，场景4300个，实现应用825个、“插件”超过500个。

插件是一种特殊的AI原生应用，其门槛最低，也最容易上手，能让开发者、创业者快速加入到生态中。个人及企业的数据、能力或应用，都能快速变成AI插件，增强大模型的能力，让大模型更实用易用。比如，大模型接入权威法律数据的“智能法律助手”能为用户提供法律咨询的相关建议，简历助手插件则能帮用户一键生成简历模板。

一个月前，百度上线了“灵境”插件平台，目前已有2.7万开发者申请入驻，覆盖法律、职场、学习等多个领域。

“可以看到，用户使用文心一言的场景非常广泛，从欢迎词、演讲稿到企划书、说明书，再到流程图、思维导图等，涵盖了工作和生活的方方面面。”王海峰说。

使用文心一言的不仅有企业、个人用户，还有国家队。