Tether AI 发布开源 TurboQuant，并将其集成至 QVAC SDK 0.12.0

深潮 TechFlow 消息，6 月 01 日，Tether AI 宣布发布开源 TurboQuant，并将其纳入 QVAC SDK 0.12.0。该技术基于 Google Research 的内存压缩算法，可将大语言模型运行中的 KV 缓存压缩最高约 5 倍，在尽量保持输出质量的同时，降低本地与边缘设备的内存占用。

Tether 表示，TurboQuant 可支持笔记本、手机、消费级 GPU、边缘设备及去中心化推理网络处理更长对话、更大文档和更复杂工作负载，并已通过 Fabric 向开发者开放。