腾讯在2023年腾讯全球数字生态大会上正式发布了其自主研发的“混元大模型”。这款模型是基于多模态对话Bot产品——腾讯混元助手微信小程序,该小程序目前已经开放内测申请。目前,申请审核需要排队,审核通过后将通过短信提醒用户。 据了解,腾讯混元助手是一款支持AI问答的多模态对话产品,能够回答各类问题,处理多种任务,如获取知识、解决数学问题、翻译、提供旅游攻略、工作建议等。这款产品可以看作是微信版的“ChatGPT”。 据腾讯方面介绍,混元大模型是腾讯全链路自研的大语言模型,参数规模超过千亿,预训练语料超过2万亿tokens(大语言模型文本单位),具有中文创作能力、任务执行能力和复杂语境下的逻辑推理能力。 为了优化预训练算法及策略,腾讯对混元大模型的幻觉进行了优化,相比主流开源大模型,其幻觉降低了30%至50%。此外,通过强化学习方法,模型学会了识别陷阱问题,对难以回答或不应回答的问题说“不”。 值得一提的是,腾讯还自研了机器学习框架Angel,让训练速度相比业界主流框架提升1倍,推理速度比业界主流框架提升1.3倍。 目前,已有腾讯云、腾讯广告、腾讯游戏、腾讯会议、腾讯文档、微信搜一搜、QQ浏览器等超50个腾讯业务和产品接入腾讯混元大模型测试,并取得初步效果。