【资料图】
编程客栈()7月8日 消息:百图生科与清华大学合作开发了一款名为xTrimoPGLM的蛋白质语言模型,该javascript模型的参数量高达1000亿,是目前蛋白质领域首个达到php这一规模的“通用大模型”。xTrimoPGLM在13个任务上取得了SOTA(State-of-the-Art)成果,超越了AlphaFold2等蛋白质AI模型。
论文地址:https://www.biorxiv.org/content/10.1101/2023.07.05.547496v1
该模型结合了GLM(通用语言模型)和MLM(掩码语言模型)的优势,既具备理解任务的能力,也能完成生成任务。在抗体结构预测任务中,xTrimoPGLM不仅效果更好,而且速度也提升了一个数量级。该模型的参数量达到千亿级,是因为蛋白质android数据的规模庞大,需要更大的模型来处理。
xTrimoPGLM的应用范围涵盖了蛋白质结构预测、蛋白质设计等多个任务,可用于行业研究人员的工作。未来,团队计划将模型扩展到RNA、DNA编程等生命科学数据,并探索更加通用的生命科学大模型。发展“通用大模型”的路python径可以是单个模型的参数量扩大,也可以是多个模型联合的方式。百图生科团队将继续采取多个大模型联动的方式,探索通用大模型之路。