近日,蚂蚁集团首次开源了其自研的代码生成大模型CodeFuse,加入市场竞争。据了解,CodeFuse是蚂蚁集团自研的代码生成专属大模型,能够根据开发者的输入提供智能建议和实时支持,帮助开发者自动生成代码、自动增加注释、自动生成测试用例、修复和优化代码等,以提升研发效率。 CodeFuse基于蚂蚁基础大模型研发,在近期的代码补全评测中,CodeFuse的得分达到了74.4%,超过了GPT-4(67%)的成绩,也超过了WizardCoder-34B的得分。本次开源内容包括代码框架、模型等,现已上架相关平台,IT之家小伙伴可在HuggingFace下载模型。 代码框架部分包括自研的多任务微调(Multi-task fine-tuning,缩写为MFT)框架。MFT支持代码生成、代码翻译、测试用例生成、bug修复等十多个任务一起微调。MFT微调框架支持蚂蚁自研模型,以及多个开源大模型的代码能力微调。同时,框架内含创新的微调数据打包技术,号称可提升微调速度约8倍;并使用多重部署优化技术,使推理加速约2倍。 模型部分包括CodeFuse13B-4K、CodeFuse-CodeLlaMa34B-MFT两个大模型。模型训练过程中,CodeFuse使用了程序分析校验技术,对高质量代码数据进行筛选,并构建了代码领域专用字典,编码平均长度低10%+。 蚂蚁集团透露,CodeFuse早在今年6月就开始内测,用以真实开发环境,可以助力开发者低门槛编程,例如用自然语言编写H5小游戏、快速开发支付宝小程序等。基于CodeFuse的应用场景有开发助手、IDE插件、数据分析器等,覆盖了目前研发工作的主要需求,在蚂蚁集团内部研发流程中陆续得到验证。