[過去ﾛｸﾞ] なんJLLM部 避難所 ★8 (1002ﾚｽ)
上下前次1-新
抽出解除 ﾚｽ栞
このｽﾚｯﾄﾞは過去ﾛｸﾞ倉庫に格納されています｡
次ｽﾚ検索 歴削→次ｽﾚ 栞削→次ｽﾚ 過去ﾛｸﾞﾒﾆｭｰ
102: (ﾜｯﾁｮｲ 53e1-K+3N) 05/13(火)22:34:58.52 ID:7fg4ZBO+0(2/2) AAS
なんかredditよんどると今もうllama.cppのVulkan対応で割と使える感じみたいやで。
外部ﾘﾝｸ:old.reddit.com
169: (ﾜｯﾁｮｲ ecb6-fjSQ) 05/20(火)13:14:29.52 ID:EpOCsUcx0(1/2) AAS
GDDR6を512bitならGDDR7を512bitよりハードル低いだろうから、
GDDR6の512bit両面実装で2GBx32の64GB積んだ奴が欲しいですね。
179: (ﾜﾝﾐﾝｸﾞｸ MM2e-/5ow) 05/22(木)10:22:36.52 ID:T0sTcZ3bM(1) AAS
gemma3-12b-itの調整してみようとcolabでロードしたらgpuメモリバカ食いして
A100でもほぼまともに動かないんだけどgemma3の仕様？
他のモデルの同規模モデルならこんなメモリ使わないんだけどな
381(1): (ﾜｯﾁｮｲ 6335-FO4G) 06/17(火)22:38:09.52 ID:eSIpmhfR0(1) AAS
となると現状ではQwen3 32Bがベストか…。
440: (ﾜｯﾁｮｲ 0f91-WwHV) 06/21(土)23:40:52.52 ID:BVoATOzy0(2/2) AAS
コンテキスト増やすためにkvキャッシュの量子化したら、それだけでちょっと頭が悪くなってるな。
そりゃそうだよな量子化したんだし。
560: (ﾜｯﾁｮｲ cfa9-I2fM) 07/06(日)14:01:00.52 ID:/29P8BAS0(1) AAS
>>533
演算GPUのみでVRAMからあふれてメインメモリも使ってるって状況と、
初めからGPU + CPUでVRAMとメインメモリも初めからアプリによって振り分けられてる場合とで
速度差は天と地ほどあるから気を付けてね
メインメモリに"あふれてしまってる"って状況はPCIバスが足を引っ張るので
CPU + メインメモリだけで演算するよりも遅い
658: (ﾜｯﾁｮｲ afe1-TqmD) 07/18(金)01:03:43.52 ID:tywmTD7z0(1/2) AAS
最近は何かにとっかかる時はまずChatGPTに相談してるわ
画像生成のローカル環境作るのもChatGPTにかなりお世話になったし
836: (ﾜｯﾁｮｲ db28-5Osg) 08/06(水)20:19:25.52 ID:bi6cd/uG0(1) AAS
投資家の目を気にしないで良いのがメッチャ強いな
951(2): (ｽｯﾌﾟﾌﾟ Sd3f-bXPR) 08/18(月)17:40:52.52 ID:EILhaHABd(1/2) AAS
GLMはデカすぎて定額無制限で使えるAPIが無いからなぁ
openrouterでQwenがエロ目的なら一番安い
上下前次1-新書関写板覧索設栞歴
ｽﾚ情報 赤ﾚｽ抽出 画像ﾚｽ抽出 歴の未読ｽﾚ AAｻﾑﾈｲﾙ
ぬこの手 ぬこTOP 0.040s