天玑9300的AI能力再突破:支持最高达330亿参数的AI大语言模型
快科技11月6日消息,联发科今晚正式发布天玑9300旗舰5G生成式AI移动芯片,引领在端侧生成式AI、游戏、影像等方面重新定义旗舰体验的新潮流。
天玑9300集成了MediaTek第七代AI处理器APU 790,专为生成式AI而设计。此次升级后,其性能和能效显著提升,整数运算和浮点运算的性能比前一代提升2倍,而功耗则降低了45%。
APU 790内置了硬件级的生成式AI引擎,可实现更快速且安全的边缘AI计算。经过深度适配Transformer模型进行算子加速,处理速度比上一代提升8倍,能在1秒内生成图片。
此外,MediaTek还开发了混合精度INT4量化技术,结合特有的内存硬件压缩技术NeuroPilot Compression,更高效地利用内存带宽,大幅减少AI大模型对终端内存的占用。此技术使得天玑9300能够支持终端运行10亿、70亿、130亿,最高达330亿参数的AI大语言模型。
不仅如此,APU 790还支持生成式 AI 模型端侧技能扩充”技术NeuroPilot Fusion,该技术能基于基础大模型在端侧进行低秩自适应(LoRA,Low-Rank Adaptation)融合,赋予基础大模型更加全面的能力。
天玑9300的AI能力的大幅提升不仅展示了MediaTek在AI技术方面的实力,同时也预示着AI大模型在移动设备领域的应用将更加广泛。配合MediaTek的AI开发平台NeuroPilot,开发者可以快速且高效地部署多模态生成式AI应用,为用户带来文字、图像、音乐等丰富的终端侧生成式AI创新体验。
© 版权声明
文章版权归作者所有,未经允许请勿转载。