【論文】【AI】Attention headごとに役割を分けるHydraHead
について簡単にまとめてみました #AI #論文 #役割 note.com/r7038xx/n/n0...
note.com【論文】【AI】Attention headごとに役割を分けるHydraHead|MASAKINGカテゴリ:大規模言語モデル・機械学習・長文脈 読了時間:約12分 長いコンテキストを読ませたいなら、すべてをFull Attention(FA)で処理するのは高価です。Linear Attention(LA)は計算量を抑えられますが、固定サイズの状態へ情報を圧縮するため、長距離の正確なretrievalが苦手になりがちです。 これまでのhybrid Transformerは、FAとLAをlay...
