近日有报道称,百度正在加紧训练文心大模型4.0版本,该项目有望在不久后正式发布。据悉,文心大模型4.0的进展比预期要快,这是文心大模型3.5版本后的一个重要升级。根据最新消息,文心大模型4.0不仅在小流量测试中已经开始,而且参数规模要大于所有已有的LLM(语言模型)参数。这意味着,文心大模型4.0的参数规模有望突破万亿级别。 文心大模型4.0的训练成本和推理成本都将增加。据悉,文心4.0的推理成本比文心3.5版本增加了许多倍。据传,这在高利用率(MFU)情况下约为8-10倍。此外,文心大模型4.0的训练速度和推理速度也将进一步提升。 值得一提的是,百度文心大模型3.5在IDC发布的首个大模型评估报告中表现突出。该评估报告显示,文心大模型3.5在12项指标中有7项被评为满分。综合评分第一,算法模型第一,行业覆盖第一,综合能力在众多国产大模型中遥遥领先。 综上所述,文心大模型4.0已经达到可发布的阶段,相比之下,它的参数规模更大、训练速度和推理速度也更优。对于这个大模型能否与GPT-4一战甚至超越后者的表现,我们拭目以待。