なんJLLM部 避難所 ★9 (500ﾚｽ)
上下前次1-新
抽出解除 ﾚｽ栞
196(1): 名無しさん＠ピンキー (ﾜｯﾁｮｲ 7ea9-sTI1) [sage] 09/08(月)23:31 ID:Xy8bHzyF0(3/3)
重みの場所によって量子化度合い変えてるのは
unslothちゃんがやってるのと同じことか？
それとも全然違うことなんかなぁ
ようわからん
210: 名無しさん＠ピンキー (ﾜｯﾁｮｲ 936f-Gd3L) [] 09/09(火)16:56 ID:0HiZJcJ10(2/2)
>>196
本質は量子化するときのグループを広くしようってことみたい
今までは層1,2,3とあったら各層ごとに量子化してた
QEPは層1での量子化やったあと、その量子化誤差を層2での量子化で考慮する、みたいな
そして今度は層2での量子化誤差を層3での量子化で考慮する
記事の1bit云々はよくわからない
INT4辺りだとヘッシアン使うGPTQとそんな変わらんかったってことなんかな
上下前次1-新書関写板覧索設栞歴
ｽﾚ情報 赤ﾚｽ抽出 画像ﾚｽ抽出 歴の未読ｽﾚ AAｻﾑﾈｲﾙ
ぬこの手 ぬこTOP 0.469s*