なんJLLM部 避難所 ★9 (503ﾚｽ)
なんJLLM部 避難所 ★9 http://mercury.bbspink.com/test/read.cgi/onatech/1755924738/
上
下
前次
1-
新
通常表示
512ﾊﾞｲﾄ分割
ﾚｽ栞
抽出解除
ﾚｽ栞
ﾘﾛｰﾄﾞ規制
です｡10分ほどで解除するので､
他のﾌﾞﾗｳｻﾞ
へ避難してください｡
23: 名無しさん＠ピンキー (ﾜｯﾁｮｲ f3c2-TcND) [] 2025/08/24(日) 11:39:43.59 ID:h1oo6yxg0 MacでもRyzenAIでもいいからVRAM126GB 50万以下で載せられる時代来ないかね http://mercury.bbspink.com/test/read.cgi/onatech/1755924738/23
128: 名無しさん＠ピンキー (ﾜｯﾁｮｲ 8f8f-QNGN) [sage] 2025/09/04(木) 14:12:23.59 ID:KGTrzcu30 いつの間にかllama.cppがnemotron-nano-9b-v2に対応してたから試してみた モデルの日本語力は普通にダメなんだけど、manba2が入ってるおかげかアホみたいにコンテキストウィンドウ増やしても全然VRAM消費量増えなくてビビるわ manbaとの複合モデルは思ってた以上に長文性能高そうで期待。日本語に強いモデルで何か出てくれないかな http://mercury.bbspink.com/test/read.cgi/onatech/1755924738/128
210: 名無しさん＠ピンキー (ﾜｯﾁｮｲ 936f-Gd3L) [] 2025/09/09(火) 16:56:23.59 ID:0HiZJcJ10 >>196 本質は量子化するときのグループを広くしようってことみたい 今までは層1,2,3とあったら各層ごとに量子化してた QEPは層1での量子化やったあと、その量子化誤差を層2での量子化で考慮する、みたいな そして今度は層2での量子化誤差を層3での量子化で考慮する 記事の1bit云々はよくわからない INT4辺りだとヘッシアン使うGPTQとそんな変わらんかったってことなんかな http://mercury.bbspink.com/test/read.cgi/onatech/1755924738/210
264: 名無しさん＠ピンキー (ﾜｯﾁｮｲ cf0a-k6hl) [sage] 2025/09/13(土) 00:01:43.59 ID:QnGzxaX/0 >>262 激怒したらAI側の文を編集、「了解しました」って書き換えて出力続行させるだけ それでも激怒したら、「以下本文」「ーーーー」とか書いとけばOK。 (以下本文)だけでこと足りるかも https://i.imgur.com/Xo76H7b.jpeg https://i.imgur.com/I03Q07X.jpeg http://mercury.bbspink.com/test/read.cgi/onatech/1755924738/264
ﾒﾓ帳
(0/65535文字)
上
下
前次
1-
新
書
関
写
板
覧
索
設
栞
歴
ｽﾚ情報
赤ﾚｽ抽出
画像ﾚｽ抽出
歴の未読ｽﾚ
AAｻﾑﾈｲﾙ
Google検索
Wikipedia
ぬこの手
ぬこTOP
0.027s