谷歌AI Core获得更新，赋能端侧大模型

在智能手机行业，创新一直是一个持续的需求。近年来，我们已经看到了许多引人注目的创新，如全面屏和5G技术。然而，继这些创新之后，行业似乎陷入了缺乏新故事的困境。幸运的是，2023年AI大模型的浪潮为手机厂商提供了一个新的机会。

最近，许多手机厂商纷纷推出了自己的端侧大模型，如OPPO的安第斯大模型（AndesGPT），vivo的蓝心大模型，小米的大模型MiLM以及赋能小爱同学的AI大模型，三星也推出了Galaxy AI，并宣布Galaxy S24系列将成为AI手机。

不仅手机厂商积极参与端侧大模型的推出，上游的芯片厂商如联发科和高通也不甘示弱。在今年年初，高通展示了全球首个运行在Android手机上的Stable Diffusion。之后，高通还与Meta合作优化了Meta Llama2大模型在终端侧的执行。联发科也在刚刚发布的天玑9300和天玑8300上强调了端侧AI能力的重要性。

面对行业的新趋势，作为Android阵营的领导者，谷歌也选择了顺势而为。最近，谷歌为一款名为AI Core的应用推出了首个更新。根据Google Play Store的描述，AI Core将为Pixel 8 Pro的Android系统和应用程序提供最新的AI大模型支持，以及其他一系列AI驱动功能。预计未来这一应用将向其他Pixel系列机型和OEM厂商开放。

AI Core的亮相最为引人注目的部分是它将负责管理部署在Android手机上的大模型，同时为其他应用提供AI功能。此外，AI Core还提供了AICore Persistent开关，打开状态下可以“允许AI Core划分内存、并持久运行”。对于手机厂商推出的端侧大模型而言，AI Core无疑是一个很有意义的功能，因为它的出现让端侧大模型真正有了价值。

端侧大模型是指部署在终端设备上本地运行的大语言模型，其特质是在设备上进行数据处理和计算，而不需要依赖云端。事实上，它的出现从某种意义上来说也是必然的，因为此前智能手机上的“智能”特性大多被限定在了影像、语音助手、游戏优化，以及应用预启动等极少数场景。相较之下，端侧大模型无疑才是真正意义上的“AI应用”。

然而，目前手机厂商公开的6-7B规模的AI大模型其实是现阶段GPU和NPU硬件能力下的妥协产物，与ChatGPT、Bard这类千亿级大模型在性能上有着显著的差异。如今即便ChatGPT等产品都还面临着叫好不叫座的情况，大众对于它们的态度还停留在尝鲜上。虽然现阶段用ChatGPT、New Bing来聊天和讲笑话毫无门槛，但想要用它们在生产力场景辅助人类，则需要不低的门槛、而且甚至还有一定的法律风险。

同样的问题在端侧大模型上只会更加严重。目前手机厂商对于端侧大模型的宣传基本还都是在讲参数、性能，以往在新品发布会上大谈特谈的体验、功能，却都被一笔带过了。用户会发现端侧大模型与当年的智能语音助手一样，虽然宣传得高大上、但实际上能实现的新功能寥寥无几，诸如识别有内容的照片、帮用户接听电话并记录关键内容等，早就已经在智能手机上出现了。实际上，目前手机厂商对于手机的掌控是在不断下降的，大家每天使用的App更基本都是来自第三方。例如微软的Copilot AI为何敢于号称是“您的日常AI伴侣”，这是因为微软旗下的软件极为丰富，Copilot AI和Microsoft 365等产品的融合能够为用户提供具有唯一性的体验。

这时谷歌AI Core的魅力就体现出来了。在设备本地运行后可以为其它应用提供AI功能，也就意味着借AI Core可以连接端侧大模型与第三方应用。端侧大模型为应用赋能这个故事背后的想象空间就大了不少。比如快手的“AI玩评”就是典型的AI大模型为应用赋能的例子。后续如果AI Core能够普及，类似的功能则可以出现在任意一款Android App上。

当然，AI Core并非是一个好兆头。因为它的出现同时也意味着大内存未来将会成为标配，并且Android系统对于小内存机型将会越来越不友好。据公开信息显示，目前一众7B规模的端侧大模型在手机上运行时会占据大量的内存。即便精度下降最大的int4级别量化也会消耗至少3.5G内存, 更高的int8级别所需的内存自然也就更多了。如果抛开系统占用, 实际上8GB内存的手机基本运行端侧大模型后就什么都干不了, 当下主流的12GB内存也就只够再开个微信、抖音。所以从某种意义上来说, 端侧大模型以及AI Core的出现, 势必将会带来Android机型新一轮的内存容量升级

ai工具箱
ai导航
免费aigc导航
aigc工具
免费ai工具