【技術】ネ実民のためのAI雑談スレ【LLM/音声合成/画像生成】 (371ﾚｽ)
上下前次1-新
抽出解除 必死ﾁｪｯｶｰ(本家) (べ) 自ID ﾚｽ栞 あぼーん
ﾘﾛｰﾄﾞ規制です｡10分ほどで解除するので､他のﾌﾞﾗｳｻﾞへ避難してください｡
296(1): 既にその名前は使われています (ﾜｯﾁｮｲ b3cf-W9J6) [] 2025/08/14(木) 09:43:02.20 ID:8MT3HkXo0(1) AAS
低VRAM環境対応（8GB）でも120Bクラスのモデルが動作可能。
大規模MoEモデルを低VRAM環境で現実的な速度で動かすための大きな改善です。
GPUは軽量層（Attention等）に集中させ、重いExpert層はCPUに逃がすことで、8GB VRAM程度でも120Bモデルが動作可能になります。
DDR5メモリを盛って（RAM64GB以上）実用レベルで120bを動かせるらしい
https://www.reddit.com/r/LocalLLaMA/comments/1mke7ef/120b_runs_awesome_on_just_8gb_vram/
上下前次1-新書関写板覧索設栞歴
ｽﾚ情報 赤ﾚｽ抽出 画像ﾚｽ抽出 歴の未読ｽﾚ AAｻﾑﾈｲﾙ
ぬこの手 ぬこTOP 0.024s