溢れた履歴を、要約じゃなくpaged KVのまま置く。

KVMem。
https://arxiv.org/abs/2609.04852
発見元。
https://x.com/omarsar0/status/2097558879194558838

コンパクションは細かい実行証拠を落とす。注意空間のインデックスで、必要なブロックだけ戻す。

Qwen3.8-27BのDeepSWEで43.8%→48.4%。捨て方の話。
#LLM #AIエージェント #KVキャッシュ

スコアがまだ効く場所もある。一度だけ出て、二度と言い直されない事実。でも推論トレースでは稀。

次の問いは、より賢い順位付けより先に、「何を守るか」の設計。
https://github.com/SalesforceAIResearch/Random-Attention
#LLM #KVキャッシュ #推論最適化