上海交大联合团队研发端侧大模型能效优化框架COSM 处于尴尬境地

[CNMO科技] 根据外媒最新报道，上海交通大学与苏黎世联邦理工学院等研究机构宣布在移动端AI模型应用能效领域取得重大突破，成功研发新型协同调度框架COSM。 大多数智能手机在运行高性能AI任务时，大约处于尴尬境地——高达60%的能耗并非用于真正运算，而是在处理器和内存间"走冤枉路"。这一现象严重限制了端侧大模型的发展。 研究亮点正是针对这一顽疾，COSM框架创新性地将任务拆解为多个阶段，在不同硬件组件间合理分配计算负荷，有效提升了能效比。这一框架为万物智能的时代铺平了道路，为用户提供更加流畅的智能体验。

"我们成功将端侧大模型的能效提升了40%以上，这意味着高性能AI应用将不再依赖高能耗硬件支持。" - 项目首席研究员

从实测数据来看，搭载该框架的测试设备在连续使用一天的情况下，相比传统架构，可节省约40分钟的移动设备续航时间。 在COSM的协同框架下，硬件加速能力得到了充分发挥，非计算环节的能耗被压缩至原有水平的25%，为移动端AI普及开辟了新道路。

COSM存内计算方案助力移动端AI低功耗稳定运行

随着大模型逐步迁移至手机端，传统AI架构在本地运行面临响应速度与能耗的两难抉择。研究发现，70亿参数规模的模型在内存与计算单元间频繁往返传输数据，导致功耗骤升、设备发热及生成延迟等问题。

技术瓶颈与创新突破

COSM方案创新性地引入PIM（存内计算）架构，将部分计算单元下沉至内存近端，实现数据就地处理模式。这一革新能够显著减少数据跨设备调度频次，却需解决CPU与PIM在共享内存资源时的访问冲突难题。

技术融合的权衡之道

通过架构优化实现性能提升。

• 内存与计算协同设计
• 算力调度智能分配机制
• 低功耗协同模式

实际应用效果验证

"我们经过大量测试发现，采用PIM架构后，模型推理速度平均提升40%，同时将内存带宽占用减少约50%。"

这一创新设计在保障AI模型性能的同时，成功减缓了散热与功耗问题，为手机厂商在AI芯片设计中提供了新的发展路径。

澳大利亚大学开发突破性处理器技术 实现内存与CPU资源竞争优化

2024年初，澳大利亚某研究团队公布了一项名为COSM（Competitive Memory Substrate Management）的创新处理器资源调度技术。该技术旨在解决AI和通用计算在内存访问竞争上的效率问题，通过智能调度策略实现内存并行计算单元（PIM）的高吞吐量与CPU性能的稳健兼顾。

可中断指令创新机制

此项技术的核心突破在于引入了可中断PIM指令概念。当CPU与PIM同时竞争内存访问权限时，系统能动态判断出CPU访问周期中的空闲时段，将PIM计算任务调度在这些间隙执行。这种温和干预模式避免了极端资源抢占导致的性能损失。

突破性实验数据验证

COSM团队在其论文实验中实现了业内领先的性能表现：与传统调度方法相比，新方案可使PIM吞吐量最高提高至2.8倍，CPU性能损耗被精确控制在2%以内。特别值得关注的是，在大模型训练与手机任务并行场景下，表现出色：AI推理效率远程推理效率关键提升2.6倍

多维性能与能耗权衡

综合实验评估得出，该技术在多项指标上展现出显著优势：

• 单个Token能耗减少幅度明显显著
• 通用任务响应延迟降幅持平
• CPU核心温度保持在安全区间底部
• 系统能效比增幅超过预期

研究人员表示，虽然COSM实现了令人印象深刻的性能提升，但更多工作仍在进行中，包括接口兼容性扩展和商业部署路径规划。技术量产落地仍面临架构适应性、软件适配周期等现实约束。随着第三代移动处理器都开始规划PIM加速单元，业界对于类似资源协调机制的需求与日俱增。