接入Llama 2等33个大模型,上线Prompt模板,百度智能云千帆大模型平台重磅升级

最近,Meta 开源的 Llama2系列模型引发了不小的轰动。这些模型包含7B、13B、70B 三种版本,最大的70B 版本性能接近 GPT-3.5,小一点的版本甚至可以在移动端运编程行,且整个系列都允许商用,有望成为众多大模型应用的底层支撑。很多人预言说,「大模型的安卓时代就要来了」。


【资料图】

Llama 系列模型的 github star 量已经逼近4万。根据官方消息,自发布以来,Llama2一周内就有超过15万次的下载请求。

不过,基于 Llama2构建应用并不只是把它从开源库里下载下来那么简单,模型的后续调优、中文增强、安全评估、与外部数据的融合、推理算力消耗等都是摆在开发者、企业面前的现实问题。这也是当前很多大模型的共性问题。大模型和应用之间需要一座桥梁。

在国内,百度智能云的千帆大模型平台正在努力作好这个角色。

该平台以百度自研的文心大模型为核心,还支持 ChatGLM2、RWKV、MPT、Dolly、OpenLlama、Falcon 等第三方大模型。而且,刚刚发布十几天的 Llama2也已经在他们的模型库中上线(7B、13B、70B 三种版本都有)。

再加上,千帆本身就是一个从数据管理、训练调优到大模型发布的一站式工具链平台,刚刚还新增了预置 Prompt 模板,所以,利用这个平台构建基于 Llama2等大模型的应用变得非常简单、高效,其效果也将明显区别于直接调用原生开源大模型。

在这篇文章中,我们将走近这一平台,看看它到底有哪些功能。

千帆大模型平台:大模型落地加速器

打开千帆平台,可以看到它的左侧罗列了很多功能模块,包括数据服务、大模型训练、大模型管理、大模型服务以及最近新增的 Prompt 模板。这些都是为了加快大模型的落地应用而设计的。

在应用端,很多人对于大模型的感知来源于 ChatGPT 等提供的一个对话框。一开始,大家会觉得这个对话框几乎是万能的,想问什么就问什么。但时间一长,人们也发现了各种问题,有很多个性化需求无法得到满足,尤其是企业需求。

这些企业有一部分想要用更低的成本调用效果依然不错的大模型,希望利用有限的算力获取更大的价值,最好有一js个模型库可以选择,还要有配套的「说明书」;还有一部分希望基于某些强大的开源模型训练自己的行业大模型,追求高效的训练、部署方法以及更低的成本。当然,他们也有一些共同的诉求,即克服大模型的一些固有缺陷,比如可能输出有害或违反法律法规的内容,信息的时效性有所延迟,无法原生地结合企业个性化信息等。

这些问题的解决方案都藏在上面提到的那些功能模块里。

首先,在基础模型的选择上,为了确保模型的可靠性,千帆以模型效果、模型安全性、可商用为指标严选了33个大模型。这些大模型各有所长,比如 Llama27B 体积较小,RWKV 擅长处理长文本。企业可以根据不同细分场景的业务需求,把这些模型组合起来使用。

此外,千帆还对这33个大模型进行了性能 + 安全的双重增强。

其中,性能的增强通过优化模型吞吐、降低模型尺寸来实现,调优后模型体积可压缩至25%-50%,推理成本最多可降低50%,与直接调用或部署第三方开源模型相比更经济。

安全增强是指对输出的内容进行审核,确保其安全合规,这项功能兼顾第三方和自有模型,大大降低了企业直接调用、部署第三方开源模型可能面临的风险。

当然,除了直接调用外,企业还可以对这些模型进行训练、调优,定制自己的专属大模型。在这一过程中,千帆不仅支持传统的全量参数更新,还支持prompt tuning、LoRA等只更新部分参数的高效微调方法。同时,为了让模型更好地与人类意图对齐,它还支持人类反馈强化学习(RLHF)训练。

众所周知,RLHF 训练是一件费时费力的事情,就连 Meta 在第一版 Llama 模型中都没有着重进行这项训练。但在千帆大模型平台的页面上,我们能够很容易地找到一套完整的训练流程,这可能成为很多企业、开发者大幅提升开源模型性能的关键。这点在 Llama1到 Llama2的进化中已经得到了证明,Meta 的研究人员在 Llama2的论文中指出,RLHF 非常重要,模型的出色写作能力基本上是由 RLHF 驱动的,它不只是一种安全工具,更是一种提高模型能力上限的训练方法。

具体到每个训练步骤,千帆都配套了相应的工具,包括13种数据清洗及增强算子以及严密的数据回流设计。

为了降低训练成本,千帆在数据服务中提供了答案自动生成功能和智能在线标注,而且支持带排序的标注功能,让想要进行这项训练的开发者、企业可以借助一套自动化的工具来高效、低门槛地完成。

除了强大的模型库,Prompt 模板也是千帆本次更新的重点。

Prompt 有多重要?相信每个用过 ChatGPT、文心一言的人都深有体会。在工业界,Prompt 工程已经成为一个热门的就业方向。

为什么要专门招人做这件事?因为对于企业来说,大模型就像一个强大但没有说明书的机器,需要一个非常了解大模型技术特点的人来总结其使用方法。

千帆此次发布的103款 prompt 模板有望在一定程度上减轻企业这方面的负担。这些模板包含对话、编程、电商、医疗、游戏、翻译、演讲等十余个场景,企业既可以直接调用,也可以借鉴模板思路进行改写。

从这些功能模块中,我们可以看出千帆平台创建的初衷:他们希望企业在将大模型引入业务的时候不用再到处找工具,在一个平台上就可以把所有问题都解决掉,从而加快大模型在产业界的落地速度。平台的这次密集更新让他们离这一目标更近了一步。

目前,平台新增的 Prompt 模板已经开放内测,机器之心在千帆后台,选择平台接入的某个大型语言模型进行了测试(模型生成结果仅供参考,可能存在纰漏)。

Prompt 模板上手体验

打开「Prompt 模板」模块可以发现,模板列表位于对话框的右侧,找到想用的模板,选择「引用」,即可将模板复制到对话框。

在这里,我们以机器之心高频的素材收集任务为例,看看使用模板前后的效果差异。

比如,在报道最近大火的「室温超导」话题时,我们想搜集一些有关该话题的科普素材。如果随便问一个问题,效果是这样的:

但调用了千帆提供的素材收集模板后,我们得到了更全面的信息:

借助模板,我们还可以让大模型提供写评论的参考角度:

由于两个模板应用起来比较高频,我们选择把它们加入「我的收藏」,节省查找时间。

此外,我们发现,千帆还支持自定义模板功能。于是,我们把平时积累的一些高效 Prompt 创建成了模板,让模型更好地提供翻译建议,结果非常令人满意,大大节省了每次重新编辑 Prompt 的时间。

升级背后的思考

在媒体交流会上,千帆的工程师将千帆大模型平台的未来发展方向概括为更易用、更全面、更安全、更高效、更开放,更扩展,这也是我们在这次升级中能感受到的。

「易用」的感受非常直观。整个千帆的界面看似复杂,但框架清晰,操作简单,而且每个功能模块都搭配了使用文档和操作指引。此外,模型的易用性也随着 Prompt 模板等功能的推出而逐步提升。

「全面」、「安全」、「高效」、「开放」、「扩展」体现在丰富的模型库和工具链上。这些模型库和工具链既满足了当前的一些「不确定性」需求,也编程客栈满足了一些「确定性」需求。

不确定性需求指的是,当前大模型还处在发展初期,企业还不确定什么样的模型更适合自己的业务。所以在这个阶段,千帆想通过更加全面、开放的工具链、更多样的模型库来为企业提供更多的选择,在一个繁荣的平台上快速接受市场反馈,然后把这些反馈沉淀下来,利用平台分享出去。

确定性需求指的是企业在降本增效、模型安全性等方面的共性需求,比如在某些场景中,企业并不需要参数量巨大的通用模型,算力要求较低的小模型就能解决问题,所以千帆要为这样的需求配置全面、高效的工具链,完成模型压缩等刚需任务,同时确保模型安全。

基于这样的思考,千帆的技术团队对平台上的模型库和工具链持续打磨,在短短几个月的时间内就实现了数次迭代,将大模型的强大能力持续输送到各行各业。在未来几个月,我们还将看到这一平台带来更多的惊喜。

推荐DIY文章
海艺AI:迎合“AI时代”发展潮流,刷新绘图市场传统认知
布局产业新高地!海星医药健康创新园B区奠基仪式隆重举行
未来五年500亿投入打底,北汽蓝谷锚定细分市场增量
【展会直击】华秋慕尼黑上海电子展精彩ing,助力电子产业高质量发展!
桂花网蓝牙网关助力司乘人员职业健康监测
DNF新推出封号申诉:每个玩家180天内只能享受一次减少处罚时间机会 每日视讯
精彩新闻

超前放送