CodeFuse：开源大模型助力开发者提高编程效率
CodeFuse是一款由蚂蚁自研的代码生成专属模型，旨在为开发者提供智能建议和实时支持，以提升他们的研发效率。无论用户是初学者还是有经验的开发者，CodeFuse都能够极大地提高编程效率和准确性，让人人可编程、可创新成为现实。
CodeFuse基于蚂蚁基础大模型进行研发，并在近期代码补全的HumanEval评测中取得了不错的成绩，得分为74.4%，超过了***-4（67%）以及WizardCoder-34B（73.2%）等其他开源模型，在国际上处于领先水平。目前，CodeFuse的代码框架、模型等内容已经上架相关平台，并且模型可以在HuggingFace进行下载。
代码框架部分包括了自研的多任务微调（Multi-task fine-tuning）框架，简称MFT。这个框架支持多个任务的微调，包括代码生成、代码翻译、测试用例生成、BUG修复等。MFT框架充分利用了多任务之间的信息互补，通过创新的loss设计解决了不同任务之间难以收敛的问题，并取得了比单任务微调SFT更好的效果。MFT框架不仅支持蚂蚁自研模型，还可以对多个开源大模型进行代码能力的微调。此外，框架还采用了创新的微调数据打包技术，提升了微调的速度约8倍；同时，还应用了多重部署优化技术，使推理速度提高了2倍。
模型部分包括两个大模型：CodeFuse13B-4K和CodeFuse-CodeLlaMa34B-MFT。在模型训练过程中，CodeFuse采用了程序分析校验技术，对高质量代码数据进行筛选，并构建了代码领域专用字典，以降低编码的平均长度约10%+。这些措施使得CodeFuse具备更好的功能和效果。根据2022年1月蚂蚁集团内部成立代码智能生成专项，经过公司整体战略的推进，在统一软硬件基础设施支持下，进行了从零到一的多个代码大模型的训练。最终基于13B版本，他们打造了CodeFuse，并在今年6月开始内测，用于真实开发环境，可以帮助开发人员以低门槛编程，例如使用自然语言编写H5小游戏、快速开发支付宝小程序等。
CodeFuse的应用场景包括开发助手、IDE插件和数据分析器等，涵盖了目前研发工作的主要需求，在蚂蚁集团内部研发流程中已经得到验证。
CodeFuse的目标是重新定义下一代AI研发，提供全生命周期的AI辅助工具。蚂蚁集团希望通过开源CodeFuse与社区合作，推进软件工程领域的范式跃迁，重塑软件研发的各个领域，加速各行各业的数字化进程。
据了解，在外滩大会上，蚂蚁集团还发布了工业级金融大模型。这两个应用产品将在完成相关备案工作后上线。其中包括面向消费者的应用产品智能金融助理"支小宝2.0"以及面向金融行业专家的智能业务助手"支小助1.0"。这展示了蚂蚁在大模型领域从技术到行业应用的全面布局和进展。
相关文章
桂公网安备45010002450472号