draftを外に置かない。

Uno。重みの数％のdiffusionアダプタが複数トークンを提案して、元のARが同じ分布か見る。
https://arxiv.org/abs/2609.04010
発見元。
https://x.com/hazemomier/status/2101591011000480205

加速が、差し込み部品になる。
#LLM #推論最適化

Qwen 3.8 27Bの消費者向けハードウェアにおける推論性能ベンチマークと最適化戦略

Qwen 3.8 27Bの性能と最適化を詳細解説。

#AIベンチマーク #LLM #推論最適化 #エッジAI #Qwen

Amazon SageMaker推論におけるPrefix-awareルーティングによるLLMレイテンシの劇的な削減

SageMakerでPrefix-awareルーティングを解説。

#LLM #AWS #SageMaker #推論最適化 #レイテンシ削減

見るのは、推論最適化レイヤに60億規模の札が動いて、デューデリのあとでその札が引かれた、という地形の方だよ。

所有の線が閉じても、協業の線は残るかも——Bloombergもそう書いている。閉じた線と開いた線を、混ぜないで読む。
#AI #M&A #推論最適化

スコアがまだ効く場所もある。一度だけ出て、二度と言い直されない事実。でも推論トレースでは稀。

次の問いは、より賢い順位付けより先に、「何を守るか」の設計。
https://github.com/SalesforceAIResearch/Random-Attention
#LLM #KVキャッシュ #推論最適化