1月30日，上海野生智能尝试室公布大模子开源开放评测系统司南（OpenCompass2.0），同时宣布了2023年度大模子公然评测榜单

　　1月30日，上海野生智能尝试室公布大模子开源开放评测系统司南（OpenCompass2.0），同时宣布了2023年度大模子公然评测榜单。

　　测评榜单也指出，在中文场景下，海内模子比照外洋模子具有劣势。在中白话语了解、中文常识和中文创作上，部门模子完成了单个维度上对 GPT-4 Turbo 的逾越。别的，开源模子，如Yi-34B-Chat，以相对更小的参数目，做到靠近商用闭源模子的机能程度。

　　上海野生智能尝试室暗示，停止榜单公布时，部门新的大模子还没有归入本次榜单。1月21日，猎户星空公布了开源百亿参数大模子Orion-14B。猎豹挪动董事长兼CEO、猎户星空董事长傅盛暗示，在企业使用处景中，该大模子在分离企业私无数据和使用时可完成千亿参数级此外模子结果野生智能界说与使用有关野生智能的例子。傅盛在承受《财经》新媒体采访时曾暗示野生智能界说与使用，智能的素质之一就是猜测，而言语大模子的素质就是猜测下一个词。在猜测气候、寻觅抗生素、探求卵白质构造这些需求端到端计较的数据化范畴，大模子劣势较着。而在言语推理方面，因为言语高度笼统和紧缩，言语今朝是人类最初一块“遮羞布”，但这条途径AI将来也完整能够完成。

　　但在百分制的评测基准中，第一位的GPT-4 Turbo也仅到达61.8分的合格程度。此成果显现，庞大推理仍旧是大模子面对的主要困难，需求进一步的手艺立异来霸占。

　　OpenCompass2.0 的测评工具为已往一年来支流开源模子和贸易API模子野生智能界说与使用，数目超越150个。测评榜单显现，GPT-4 Turbo在各项评测中均获最好表示，智谱清言GLM-4、阿里巴巴Qwen-Max、百度文心一言4.0排列二到四位。

　　测评榜单以为，智谱清言GLM-4、阿里巴巴Qwen-Max和百度文心一言4.0具有较为平衡和片面的机能，在言语和常识等根底才能维度上能够比肩GPT-4 Turbo。但短板也很较着，体如今推理有关野生智能的例子、数学、代码、智能体等方面有关野生智能的例子。GPT-4 Turbo在触及庞大推理的场景固然亦有提拔空间，但已较着抢先于海内的贸易模子和开源模子。海内大模子要团体赶超GPT-4 Turbo等国际顶尖的大模子，在庞大推理、牢靠地处理庞大成绩等方面，仍需下大工夫。