IT 之家 1 月 17 日音讯，商讨公司 Snowflake 公布了一款名为" SwiftKV "的 AI 模子调校本领，并在 Hugging Face 开源三款专揽" SwiftKV "本领进行调校的 Llama 3.1 AI 模子（点此造访）。

IT 之家获悉，SwiftKV 本领的中枢在于优化模子指示词惩处经由。商讨东说念主员指出，时常情况下大模子最为浪掷策动资源的才调在于惩处用户为模子输入的指示词，而很多企业为模子自界说了极长的指示词，据称平均情况"好像是输降生成实验的 10 倍"。

据 Snowflake 先容，这一" SwiftKV "模子调校本领有益为相应预制的指示词惩处进行优化，堪称冲突了传统的键值（Key-Value，KV）缓存压缩本领，还在模子推理经由中引入模子重组与常识保存自我蒸馏门径，从而灵验陶冶模子蒙胧量、训斥了延长和运算资本，堪称不错匡助 AI 模子显耀裁减推理时刻，不错训斥模子 50% 引申时刻。

实验成果标明，在专揽 SwiftKV 本领优化 Llama 3.1 的 80 亿和 700 亿参数模子后，相应模子的举座蒙胧量可陶冶两倍，同期相应模子也在代码自动补全、文本节录等方面证据出色。

体育游戏app平台