在大模型走进终端的背后，高通等半导体厂商正在围绕AI算力的提升、功耗和成本控制，以及5G赋能等大模型部署的关键需求，提供芯片底座支撑。在进博会的高通展台上，记者看到了一系列手机大模型的应用demo（演示）。用数据线将键盘（手卷琴或电子琴）与手机连接，随手弹一段旋律，大模型会将旋律续写为一段乐章；用手机前置摄像头瞄准电竞选手，大模型会根据微表情评估选手的情绪能量值，并生成包含激动、专注、压力等关键指标的五维雷达图。这些功能不需要云端的参与，仅凭手机中的AI大模型就可以实现。笔记本电脑作为生产力与娱乐性兼具的便携设备，也成为大模型的入驻目标。高通在骁龙峰会期间展现的AI PC应用demo令现场听众心潮澎湃，包括起草完整的电子邮件、转写会议记录，以及文本生成、图像生成等。几个月前还只能在数据中心实现的AI功能，已经集成到PC，让每一个用户都能拥有个人数字助理。而支撑这些功能的计算中枢，是高通第三代骁龙8移动平台（以下简称“骁龙8 Gen3”）和高通面向AI PC推出的骁龙X Elite芯片平台。据工作人员介绍，骁龙8 Gen3能够在手机端运行100亿参数的大模型，骁龙X Elite支持在PC端运行超过130亿参数的生成式AI模型。在大模型部署过程中，有一项挑战贯穿始终——随着AI任务越来越复杂多样，计算系统该如何兼顾性能和功耗？尤其对于手机、笔记本电脑等强调续航能力的移动终端，性能的提升必须与可接受的功耗并肩而行，且相应的指标会越来越严苛。在这种趋势下，通用计算单元搭档专用计算单元的异构计算模式，成为终端芯片供应商的着眼点。具体来看，CPU、GPU等通用计算单元，能够处理多样化的计算任务；而NPU等专用计算单元，专门处理和加速AI工作负载。相比通用计算架构，这种“通用+专用”的架构，能够更好地平衡高性能、实时性和低功耗需求，提供AI计算的更优解。这也是为什么骁龙8 Gen3和骁龙X Elite都采用了以“CPU+GPU+NPU”为主力单元的异构计算模式。其中，高通Hexagon NPU是AI引擎的核心，在加速AI负载的同时进一步释放CPU和GPU的算力，提升多任务运行的实时响应能力和能效表现。针对业界关心的性能与功耗的平衡问题，高通从骁龙Gen2开始就在Hexagon NPU中采用了业界首创的微切片推理技术。传统的神经网络推理过程，是将整个神经网络加载到NPU中，运行一层网络并写入内存，再运行下一层网络。这种逐层运行和写入的方式，一方面会造成大量能耗，另一方面只能一次激活一个加速器，拖慢了推理过程。而微切片推理技术，将神经网络切割成大量切片，标量、矢量和张量加速器同时运行多个切片，再读取到内存中，从而在发挥所有加速器能力的同时消除了大部分的内存读写过程，使NPU能够以更低的功耗更快地完成推理。全新骁龙X Elite的NPU进一步提升了处理能力，并引入了更多的降耗技术。新一代Hexagon NPU的张量加速器将矩阵处理速度提升了2.5倍，进一步提高了标量和矢量加速器的时钟速度，共享内存规模也增加一倍，能够容纳参数更为庞大的神经网络。同时，新一代NPU增加了全新的供电系统，能够按照工作负载适配功率，还为张量加速器增加了独立的电源传输轨道，以实现更加理想的能效表现。而高通新一代处理器搭载的CPU和GPU，也显著提升了AI推理性能和能效表现。以骁龙X Elite为例，在AI算力方面，X Elite搭载的Oryon CPU将AI推理性能提升了5倍，并针对时延敏感型工作负载进行了优化；高通Adreno GPU的AI计算性能提升了50%。在能效方面，Oryon CPU的单线程性能超越了ARM架构竞品，且实现相同水平性能时可以减少30%的能耗；对比x86架构竞品，Oryon CPU实现相同性能时可以减少70%的能耗。Adreno GPU也在性能和功耗之间寻求平衡。在面向PC的热门3D图形基准测试中，Adreno GPU的性能达到x86架构集成GPU竞品的2倍多，且在实现竞品峰值性能同等水平时可以减少74%的功耗。性能决定大模型跑得多快，功耗决定大模型运行多久。基于性能和功耗平衡兼顾的原则，高通正在为端侧大模型筑基赋能，让AIGC更加触手可及。虽然端侧AI优势明显、端侧大模型的布局热度正酣，但终端芯片受到体积和功耗的限制，对于更大的模型和调优等重度负载并非最优解，更加高阶或复杂的AI用例往往诞生于云端大模型。那么，当终端用户偶尔需要超越端侧大模型的功能时，该如何获取？高通在《混合AI是AI的未来》白皮书中，提出了在云端和边缘终端之间分配并协同处理AI工作负载的混合AI架构。这种架构可以根据模型和查询需求的复杂度等因素，在云端和终端侧之间分配处理负载。5G或未来6G的连接，是实现混合AI架构的关键。当终端大模型判断出现了终端无法处理的工作时，可以通过5G连接，将数据上传到云端进行运算，之后再将结果推回到终端。5G或6G的高速连接，能够保障数据处理和结果反馈的实时性。如此一来，云端、边缘云的训练和计算资源，都将为终端大模型服务，保障了用户体验。虽然6G时代尚未到来，但行业已经行至5G第二个阶段的演进——5G Advanced（以下简称“5G-A”）。相比5G，5G-A可实现网络能力的10倍提升，支撑10Gbps体验、全场景物联、通信感知一体、L4级别自动驾驶网络、绿色ICT等业态，进一步开发和释放5G的潜能。全球首个5G Advanced-ready调制解调器及射频系统最新一代骁龙8 Gen 3集成的骁龙X75是业界首个5G Advanced-ready调制解调器及射频系统，面向智能手机、移动宽带、汽车、计算、工业物联网、固定无线接入和5G企业专网等细分领域，提升网络覆盖、时延、能效和移动性体验。在11月8日于乌镇举办的“世界互联网大会领先科技奖”颁奖典礼上，高通5G Advanced-ready调制解调器及射频系统X75获得“世界互联网大会领先科技奖”。内生AI被视为5G-A的关键技术之一，使网络更智能、灵活地按需提供功能。骁龙X75是业界首次在调制解调器及射频系统中采用专用硬件张量加速器，将AI性能提升至前代产品的2.5倍以上。骁龙X75还引入了5G AI套件，为连接速度、移动性、链路稳健性等5G性能和特性的优化提供更大空间。5G-A的加持，除了让手机、PC等终端能够高效运行大模型，也为大模型进入XR（虚拟现实、增强现实等）、汽车等终端带来更多可能。5G-A提供的万兆体验，能够更有力地支撑VR/AR和车联网等需要高带宽、低时延的应用。例如微软基于云流媒体和第二代骁龙XR2芯片平台，在XR终端侧运行先进的算法，实现了将Windows体验安全传输到Meta Quest设备，用Azure远程渲染MR终端内容等用例，更有效地融合了XR云端和客户端内容。混合AI架构以及5G+AI的协同工作，也为开发者在本地和云上的无缝开发大模型相关应用带来便利。今年9月，微软将AI助手Copilot接入Windows11，将生成式AI引入更多应用程序。微软Windows和设备副总裁帕万·达武鲁里在2023骁龙峰会上表示，终端侧AI促进了客户端和云端之间的平衡，将使开发人员能够使用本地和云计算编写混合AI应用。“未来，我们需要一个能够模糊云端和边缘端芯片界限的操作系统，在合适的地方使用合适的芯片，从而实现最佳体验。这将让Windows成为一个跨应用、内容和图形的编排系统。”万物互联，万物智能。AIGC提升了终端的智能上限，而5G-A和未来的6G拓展了智能的触达范围，两者将一起为终端的使用和交互体验带来更多可能。
