(相关资料图)
编程客栈()8月31日 消息:云知声宣布推出山海大模型2.0版,参数规模达到千亿,wIBBLbRne增加了更多的学科类的预训练语料,训练数据(Tokens)达到两万亿(2.0T)。实测性能在 C-Eval 全球大模型综合性评测中超过了 GPT-4,以70分的成绩进入前三甲。
据悉,这次升级使得山海大模型在多学科能力和医疗能力方面得到了提升,为实现 AGI 的进化打下了基础。模型团队利js用了教材、文献和百科类语料来丰富模型的知识编程客栈库,尤其在医疗领域方面取得了突破。
另外,模型的性能也得到了加速提升android,通过使用 Neural Tangent Kernel (NTK) 的非线性差值方法,实现了大规模长度扩展,支持了32K 的窗口长度。为了提高解码效率,模型还采用了受限解码方法。
云知声山海大模型官网:shanhai.unisound.编程客栈com