なんJLLM部 避難所 ★9 (501ﾚｽ)
上下前次1-新
抽出解除 必死ﾁｪｯｶｰ(本家) (べ) 自ID ﾚｽ栞 あぼーん
ﾘﾛｰﾄﾞ規制です｡10分ほどで解除するので､他のﾌﾞﾗｳｻﾞへ避難してください｡
209: 名無しさん＠ピンキー (ﾜｯﾁｮｲ 936f-Gd3L) [] 09/09(火)16:44 ID:0HiZJcJ10(1/2)
ついに本物のニューラルネットが来るのか
210: 名無しさん＠ピンキー (ﾜｯﾁｮｲ 936f-Gd3L) [] 09/09(火)16:56 ID:0HiZJcJ10(2/2)
>>196
本質は量子化するときのグループを広くしようってことみたい
今までは層1,2,3とあったら各層ごとに量子化してた
QEPは層1での量子化やったあと、その量子化誤差を層2での量子化で考慮する、みたいな
そして今度は層2での量子化誤差を層3での量子化で考慮する
記事の1bit云々はよくわからない
INT4辺りだとヘッシアン使うGPTQとそんな変わらんかったってことなんかな
上下前次1-新書関写板覧索設栞歴
ｽﾚ情報 赤ﾚｽ抽出 画像ﾚｽ抽出 歴の未読ｽﾚ AAｻﾑﾈｲﾙ
ぬこの手 ぬこTOP 0.018s