【AI】DeepLearning論文を貼って雑談するスレ (13ﾚｽ)
上下前次1-新
3: 11/10(月)22:40 AAS
Attention and Compression is all you need for Controllably Efficient Language Models
外部ﾘﾝｸ:arxiv.org
- LLMの推論時に問題となる「計算量・メモリ消費の爆発」を解決するための仕組み。
- 入力をチャンクに分割し、過去チャンクを圧縮表現で参照することで、長文でも効率的に文脈保持。
- チャンクサイズを調整可能 → タスクに応じて「精度重視」か「効率重視」かを切り替えられる。
- Dense Transformer 並みの性能を維持しつつ、最大9倍のメモリ削減・3倍高速化。
- PyTorchのみで実装可能、再学習不要。
上下前次1-新書関写板覧索設栞歴
あと 10 ﾚｽあります
ｽﾚ情報 赤ﾚｽ抽出 画像ﾚｽ抽出 歴の未読ｽﾚ
ぬこの手 ぬこTOP 0.166s*