CodeFuse:开源大模型助力开发者提高编程效率

CodeFuse:开源大模型助力开发者提高编程效率CodeFuse是一款由蚂蚁自研的代码生成专属模型,旨在为开发者提供智能建议和实时支持,以提升他们的研发效率。无论用户是初学者还是有经验的开发者,CodeFuse都能够极大地提高编程效率和准确性,让人人可编程、可创新成为现实。

CodeFuse基于蚂蚁基础大模型进行研发,并在近期代码补全的HumanEval评测中取得了不错的成绩,得分为74.4%,超过了***-4(67%)以及WizardCoder-34B(73.2%)等其他开源模型,在国际上处于领先水平。目前,CodeFuse的代码框架、模型等内容已经上架相关平台,并且模型可以在HuggingFace进行下载。

代码框架部分包括了自研的多任务微调(Multi-task fine-tuning)框架,简称MFT。这个框架支持多个任务的微调,包括代码生成、代码翻译、测试用例生成、BUG修复等。MFT框架充分利用了多任务之间的信息互补,通过创新的loss设计解决了不同任务之间难以收敛的问题,并取得了比单任务微调SFT更好的效果。MFT框架不仅支持蚂蚁自研模型,还可以对多个开源大模型进行代码能力的微调。此外,框架还采用了创新的微调数据打包技术,提升了微调的速度约8倍;同时,还应用了多重部署优化技术,使推理速度提高了2倍。

模型部分包括两个大模型:CodeFuse13B-4K和CodeFuse-CodeLlaMa34B-MFT。在模型训练过程中,CodeFuse采用了程序分析校验技术,对高质量代码数据进行筛选,并构建了代码领域专用字典,以降低编码的平均长度约10%+。这些措施使得CodeFuse具备更好的功能和效果。根据2022年1月蚂蚁集团内部成立代码智能生成专项,经过公司整体战略的推进,在统一软硬件基础设施支持下,进行了从零到一的多个代码大模型的训练。最终基于13B版本,他们打造了CodeFuse,并在今年6月开始内测,用于真实开发环境,可以帮助开发人员以低门槛编程,例如使用自然语言编写H5小游戏、快速开发支付宝小程序等。

CodeFuse的应用场景包括开发助手、IDE插件和数据分析器等,涵盖了目前研发工作的主要需求,在蚂蚁集团内部研发流程中已经得到验证。

CodeFuse的目标是重新定义下一代AI研发,提供全生命周期的AI辅助工具。蚂蚁集团希望通过开源CodeFuse与社区合作,推进软件工程领域的范式跃迁,重塑软件研发的各个领域,加速各行各业的数字化进程。

据了解,在外滩大会上,蚂蚁集团还发布了工业级金融大模型。这两个应用产品将在完成相关备案工作后上线。其中包括面向消费者的应用产品智能金融助理"支小宝2.0"以及面向金融行业专家的智能业务助手"支小助1.0"。这展示了蚂蚁在大模型领域从技术到行业应用的全面布局和进展。

ai工具箱
ai导航
免费aigc导航
aigc工具
免费ai工具

© 版权声明

相关文章