なんJLLM部 避難所 ★9 (502ﾚｽ)
上下前次1-新
抽出解除 ﾚｽ栞
ﾘﾛｰﾄﾞ規制です｡10分ほどで解除するので､他のﾌﾞﾗｳｻﾞへ避難してください｡
23: 名無しさん＠ピンキー (ﾜｯﾁｮｲ f3c2-TcND) [] 08/24(日)11:39:43.59 ID:h1oo6yxg0(1)
MacでもRyzenAIでもいいからVRAM126GB
50万以下で載せられる時代来ないかね
128: 名無しさん＠ピンキー (ﾜｯﾁｮｲ 8f8f-QNGN) [sage] 09/04(木)14:12:23.59 ID:KGTrzcu30(1)
いつの間にかllama.cppがnemotron-nano-9b-v2に対応してたから試してみた
モデルの日本語力は普通にダメなんだけど、manba2が入ってるおかげかアホみたいにコンテキストウィンドウ増やしても全然VRAM消費量増えなくてビビるわ
manbaとの複合モデルは思ってた以上に長文性能高そうで期待。日本語に強いモデルで何か出てくれないかな
210: 名無しさん＠ピンキー (ﾜｯﾁｮｲ 936f-Gd3L) [] 09/09(火)16:56:23.59 ID:0HiZJcJ10(2/2)
>>196
本質は量子化するときのグループを広くしようってことみたい
今までは層1,2,3とあったら各層ごとに量子化してた
QEPは層1での量子化やったあと、その量子化誤差を層2での量子化で考慮する、みたいな
そして今度は層2での量子化誤差を層3での量子化で考慮する
記事の1bit云々はよくわからない
INT4辺りだとヘッシアン使うGPTQとそんな変わらんかったってことなんかな
264(3): 名無しさん＠ピンキー (ﾜｯﾁｮｲ cf0a-k6hl) [sage] 09/13(土)00:01:43.59 ID:QnGzxaX/0(1)
>>262
激怒したらAI側の文を編集、「了解しました」って書き換えて出力続行させるだけ
それでも激怒したら、「以下本文」「ーーーー」とか書いとけばOK。
(以下本文)だけでこと足りるかも
https://i.imgur.com/Xo76H7b.jpeg
https://i.imgur.com/I03Q07X.jpeg
上下前次1-新書関写板覧索設栞歴
ｽﾚ情報 赤ﾚｽ抽出 画像ﾚｽ抽出 歴の未読ｽﾚ AAｻﾑﾈｲﾙ
ぬこの手 ぬこTOP 0.045s