近日,小米的大语言模型MiLM-6B首次亮相C-Eval、CMMLU两大AI模型评测榜单。据悉,MiLM-6B在C-Eval总榜单中排名第10,同参数量级排名第1,而在CMMLU中文向大模型中则位列第1。 C-Eval公布的数据显示,MiLM-6B模型在各个测试科目中的平均成绩表现良好。在STEM(科学、技术、工程和数学教育)的20个科目中,包括计量师、物理、化学、生物等多个项目都取得了较高的准确率。在10个社会科学科目中,除教育学和地理外,该模型在所有科目中都获得了较为理想的准确率。在人文科学的11个科目中,MiLM-6B在历史与法律基础上也有着不错的准确率表现。 然而,尽管MiLM-6B模型在大多数科目中表现出了相对良好的准确度,但在法学、数学、编程、概率论、离散数学等科目上的表现仍有待提升。 据了解,MiLM-6B是小米开发的一个大规模预训练语言模型,参数规模为64亿。