「终端 AI」的时代
推动生成式 AI 落地各种品类的终端，包括广泛的消费电子产品，成了高通今年的最大目标。
「我们正在进入 AI 时代，终端侧生成式 AI 对于打造强大、快速、个性化、高效、安全和高度优化的体验至关重要。」高通公司 CEO 安蒙说道。
骁龙峰会上发布的骁龙 X Elite、第三代骁龙 8，据称能以极致速度处理生成式 AI 任务，例如，面向 Windows 11 PC 的终端侧聊天助手可实现每秒处理 30 个 token，仅需不到一秒就能使用 Stable Diffusion 在智能手机上生成图像。
从文本到图像、图像到视频和文本到 3D，多模态 AI 的出现正在改变人类与设备互动的方式，根据高通产品管理高级副总裁 Ziad Asghar 的说法：「在终端设备上完全运行，这意味着你可以在飞机上飞行，仍然可以使用生成式 AI。」而且，「这绝对只是这一革命的开始。」
Asghar 称，「云中的生成式 AI 面临许多难题，这些难题可以通过设备上的处理来解决。」例如，一些公司正在将专有代码集成到 GPT 工具中，用于检测代码错误。未来，个人电脑或能利用设备知道的信息，如用户状态、偏好、日历和年龄，结合生成式 AI 查询，以获得更好的生成式 AI 体验，而「这种体验远远优于云端」。
而且，相比现在人们给各种聊天机器人交出个人信息的互动玩法，设备上运行的 AI 最大卖点还在于：隐私性，不必将私密上下文信息传递到云端进行处理。此外，还有即时性的好处，就是不必等待云端返回信息。
但在终端运行 AI 还有一个关键问题，模型推断需要大量计算怎么办？
据高通高管称，在云端训练大型语言模型时，通常使用 16 位或 32 位浮点数，导致每次模型推断都需要大量计算。相反，他们一直专注于压缩模型，进行量化和修剪，例如仅使用 4 位，节省功耗，并能在设备上执行更多并发 AI 处理，其称「过去几个月大型语言模型的增长已经验证了，通过将模型量子化来使模型变得更小的策略。」
此外，随着时间的推移，人们不断改进算法，模型开始变得更小。人们将采取的另一种方法是「领域特定模型」，即为特定应用程序训练模型，「模型可以变得非常小，并具有非常高的准确性。」
安蒙称：「基于高通多年的 AI 研发，包括在终端中性能卓越的 CPU、NPU 和 GPU 组合，以及我们对众多领先模型本地运行的支持，我们能够将生成式 AI 的优势带给全球用户，带给不同的终端品类。」
同时，为了让使用 Android、Windows 和其他操作系统的骁龙终端发现彼此，实现多终端无缝协作，高通在骁龙峰会上推出了跨平台技术 Snapdragon Seamless。
跨平台技术 Snapdragon Seamless ｜骁龙峰会
根据德勤网联消费者调查，每个美国家庭目前平均拥有 21 台数字化终端，但不同终端之间，尤其是不同制造商的终端之间信息传输通常并不顺畅。这将限制消费者的选择余地并导致锁定效应，即消费者为了实现其终端间的协同工作而不得不只从同一制造商处购买产品。
通过 Snapdragon Seamless，多个终端可以像只有「一个整体」那样运作，例如：鼠标和键盘可在 PC、手机和平板电脑上无缝使用；文件和窗口可在不同类型的终端间拖放；耳塞可根据音源的优先级进行智能切换；XR 可为智能手机提供扩展功能。
据悉，Snapdragon Seamless 未来将扩展至 XR、汽车和物联网平台。包括微软、Android、小米、华硕、荣耀、联想和 OPPO 在内的公司正与高通合作，采用 Snapdragon Seamless，该技术最早将于今年在全球范围发布的终端平台上落地。
从智能手机、增强现实设备、汽车到个人电脑，通过芯片，生成式 AI 对各种终端设备的渗透已经开始。而高通则是将「终端 AI」推向所有消费者的最重要的第一步，也是最重要一步的公司。
