标签： kv

刚刚，华为AI推理大招开源，时延降90%，吞吐提22倍，上下文10倍级扩展

智东西11月5日消息，刚刚，华为正式开源了UCM（Unified Cache Manager）推理记忆数据管理，这是一项针对AI推理加速的关键技术。 ▲GitCode项目页面 今年8月12日，华为正式 … Continue reading 刚刚，华为AI推理大招开源，时延降90%，吞吐提22倍，上下文10倍级扩展

刚刚，华为AI推理大招开源，时延降90%，吞吐提22倍，上下文10倍级扩展

智东西 作者 | 云鹏 编辑 | 李水青 智东西11月5日消息，刚刚，华为正式开源了UCM（Unified Cache Manager）推理记忆数据管理，这是一项针对AI推理加速的关键技术。 GitC … Continue reading 刚刚，华为AI推理大招开源，时延降90%，吞吐提22倍，上下文10倍级扩展