标签： ucm

“存力中国行”探讨AI推理新挑战，华为开源UCM技术成破局关键

中国信息通信研究院组织召开的“存力中国行”北京站活动于11月4日举行，吸引了来自中国移动、华为、硅基流动等近20家产业代表齐聚一堂。随着AI产业发展重心从“追求模型能力极限”转向“追求推理体验最优化” … Continue reading “存力中国行”探讨AI推理新挑战，华为开源UCM技术成破局关键

刚刚，华为AI推理大招开源，时延降90%，吞吐提22倍，上下文10倍级扩展

智东西11月5日消息，刚刚，华为正式开源了UCM（Unified Cache Manager）推理记忆数据管理，这是一项针对AI推理加速的关键技术。 ▲GitCode项目页面 今年8月12日，华为正式 … Continue reading 刚刚，华为AI推理大招开源，时延降90%，吞吐提22倍，上下文10倍级扩展

刚刚，华为AI推理大招开源，时延降90%，吞吐提22倍，上下文10倍级扩展

智东西 作者 | 云鹏 编辑 | 李水青 智东西11月5日消息，刚刚，华为正式开源了UCM（Unified Cache Manager）推理记忆数据管理，这是一项针对AI推理加速的关键技术。 GitC … Continue reading 刚刚，华为AI推理大招开源，时延降90%，吞吐提22倍，上下文10倍级扩展

刚刚，华为AI推理大招终于来了！10倍级上下文扩展，性价比暴涨

作者 | ZeR0 编辑 | 漠影 智东西8月12日报道，今日，华为推出AI推理创新技术——推理记忆数据管理器UCM，通过多级缓存显著优化AI推理体验与性价比。 UCM是一款以KV Cache和记忆管 … Continue reading 刚刚，华为AI推理大招终于来了！10倍级上下文扩展，性价比暴涨

华为发布AI推理创新技术UCM：可实现高吞吐、低时延推理体验，计划9月开源

IT之家 8 月 12 日消息，今日，华为正式发布 AI 推理创新技术 UCM（推理记忆数据管理器）。 据IT之家了解，作为一款以 KV Cache 为中心的推理加速套件，UCM 融合了多类型缓存加速 … Continue reading 华为发布AI推理创新技术UCM：可实现高吞吐、低时延推理体验，计划9月开源