首页 / 科技 / 全球顶尖研究者联合发布"协同调度"框架 有望显著降低手机端侧大模型能耗

全球顶尖研究者联合发布"协同调度"框架 有望显著降低手机端侧大模型能耗

摸鱼不慌
摸鱼不慌

上海交通大学与瑞士苏黎世联邦理工学院等多家研究机构的科学家合作研发了一套"协同调度"(COSM)新方案,该制度旨在解决人工智能大模型在手机终端运行时的高效能耗难题。根据研究报告分析,当前智能手机使用AI推理功能时有60%以上的能量消耗于处理器与内存之间频繁的数据传输过程。该创新方案预期可有效降低设备工作负载,实现更强效率的同时保障更佳能耗表现。

研究解析:内存访问成本成AI用电"隐形杀手"

研究人员发现,智能终端进行AI推理时出现的能源浪费现象,在很大程度上源于各核心芯片间的数据传输损耗。该状况消耗的总体算力超过了实际计算需求,导致到设备耗电量持续增长。端侧应用AI技术的手机设备,本质上存在严重的运行效率低下问题。

技术突破:跨域协同的能效新范式

COSM协议首次实现了异构芯片间的任务协同机制,将复杂的AI处理流程合理分配至各功能单元共同完成。这种分布式调度架构能实现数据通路路由的全局优化,有效降低高吞吐状态下的平均功耗。该技术同时兼容多种异构计算单元类型,对于移动设备算力整合提出了新颖有效解法。

未来应用:端侧AI算效新篇章

根据试验数据显示,COSM调度框架在维持相近性能水平的基础上,设备能耗降低效果显著。其技术适用范围涵盖多种AI运行场景,包括实时图像理解、连续语音识别以及复杂场景语义分析等。研究团队表示,随着移动边缘智能应用场景持续丰富,此类端侧大模型处理方案必将迎来规模化量产周期。

创新解读:突破传统调度理念 达成算效双赢

项目核心成员指出,COSM调度框架的创新性之处在于将传统的"单芯片集中处理"转变为"多模态异构协同"范式,这种设计理念有效规避了终端AI运行中的算力-能耗对立矛盾。

全球顶尖研究者联合发布"协同调度"框架 有望显著降低手机端侧大模型能耗  第1张

手机本地大模型能耗挑战获解决方案 存内计算缓解性能瓶颈

随着本地AI技术在移动端的普及,芯片行业迎来新突破。传统架构在运行70亿参数模型时面临三大技术瓶颈:数据频繁传输导致内存带宽枯竭、能耗居高不下以及发热严重制约运行速度。为此,COSM公司创新性地引入PIM(存内计算),将计算单元部署至内存邻近区域,有效规避核心处理器与辅助芯片间的资源争夺。

PIM技术:重构计算架构的本质突破

该方案通过以下三方面实现性能提升:一是将计算单元与存储芯片集成在同一物理空间,二是采用专门适配存内计算的数据传输协议,三是优化内存访问路径降低延迟。统计数据显示,在同等算力下,PIM架构比传统方式减少40%的数据搬运量,功耗降低25%以上,这使其成为大规模AI部署的新范式。

资源竞争难题:精密的内存调度系统

尽管PIM方案创造诸多优势,但其在实际应用仍面临挑战。由于终端设备存储空间高度受限,核心处理器与PIM单元被迫共用高频内存。研发团队通过制定动态优先级算法,实现关键任务与辅助计算的资源隔离。当前优化策略包含五个层级,涉及任务优先级判定、内存带宽分配等关键技术环节。

移动端应用前景:性能与效率的平衡之道

根据实测数据,配备PIM架构的样机在连续游戏推理任务中,能保持98帧的稳定性达30分钟,远超传统方案的20分钟上限。第三方芯片性能评测平台显示,采用该技术的芯片在同等面积下集成度提升33%,将成为未来智能手机智慧芯片的标准配备。 全球顶尖研究者联合发布"协同调度"框架 有望显著降低手机端侧大模型能耗  第2张

COSM动态调度技术解决AI与CPU资源冲突

为解决AI任务与CPU内存共享资源的瓶颈问题,COSM团队开发了可中断PIM指令和空闲时段感知调度机制。该技术能在CPU访问内存时暂时让路,从而最大限度优化资源分配效率。

技术原理:动态资源调度创新

COSM实现了内存子系统的重大突破。核心在于引入可中断PIM指令,允许AI计算任务在特定时间点中断执行。系统会实时监控CPU内存周期中的空闲时段,将这些时间窗口动态分配给AI计算任务,显著改善资源利用率。

实验验证:高性能与低损耗平衡

通过对实验数据的详细分析,COSM展现出卓越的性能优化效果。相较于传统调度方式,该技术可将PIM吞吐量最高提升至2.8倍,同时把CPU性能损耗严格控制在2%以内。这意味着复杂AI模型的推理速度得到显著提升,而不影响其他应用的流畅性。

应用场景:多任务处理能力展示

特别值得关注的是COSM在实际应用中的表现。当大模型训练与日常手机任务并行时,AI推理吞吐量提升达到2.6倍,而其他任务性能下降幅度控制在2.2%以内。这种优化不仅显著提升了设备整体效率,还能明显降低单位Token生成所需能耗,实现性能与功耗的最优平衡。

能效特性:AI算力与绿色计算的统一

COSM带来的另一个超出预期的优势体现在能耗管理方面。实验数据显示,采用该调度机制后,单个Token生成所需电能显著下降,为移动设备在AI应用场景下的续航表现提供了重要保障。同时保持设备低温运行,避免了传统AI任务处理常见的高发热问题。