标签： ucm

刚刚，华为AI推理大招终于来了！10倍级上下文扩展，性价比暴涨

作者 | ZeR0 编辑 | 漠影 智东西8月12日报道，今日，华为推出AI推理创新技术——推理记忆数据管理器UCM，通过多级缓存显著优化AI推理体验与性价比。 UCM是一款以KV Cache和记忆管 … Continue reading 刚刚，华为AI推理大招终于来了！10倍级上下文扩展，性价比暴涨

华为发布AI推理创新技术UCM：可实现高吞吐、低时延推理体验，计划9月开源

IT之家 8 月 12 日消息，今日，华为正式发布 AI 推理创新技术 UCM（推理记忆数据管理器）。 据IT之家了解，作为一款以 KV Cache 为中心的推理加速套件，UCM 融合了多类型缓存加速 … Continue reading 华为发布AI推理创新技术UCM：可实现高吞吐、低时延推理体验，计划9月开源