人工知能ディープラーニング機械学習の数学 ★3 (292ﾚｽ)
上下前次1-新
抽出解除 ﾚｽ栞
ﾘﾛｰﾄﾞ規制です｡10分ほどで解除するので､他のﾌﾞﾗｳｻﾞへ避難してください｡
113: デフォルトの名無しさん [] 2024/03/01(金)22:51 ID:Y2FpEKvZ(1)
＞中身を1と0と-1で表現してる
＞なので4値の2bitではないけど3値必要なので正確には1.58bit
＞こうすることでかけ算があったはずの行列の計算を強制的に足し算引き算無の3種類に落とし込める
＞加えて演算を進めていくにつれて浮動小数だとノイズが混じっていくが、こっちは精度が落ちようがない
ニュース記事
『1.58ビットLLMの衝撃! 70Bで8.9倍高速 全ての推論を加算のみで!GPU不要になる可能性も』
https://wirelesswire.jp/2024/02/86094/
かねてから「1ビット量子化」の研究を続けて来たMicrosoftのがとてつもないLLMをリリースした。それが「BitNet 1.58Bits」だ。
https://i.imgur.com/VMD8HyS.png
最近主流になっている70B(700億)パラメータモデルでの比較である。Llamaの70BとBitNetの70Bモデルを比較すると、BitNetは8.9倍のスループットを誇るという。
「速いだけで回答が微妙なのでは」と心配するのが普通だろう。
そこでLlamaモデルとの比較が載っている。
https://i.imgur.com/zmgoo1X.png
BitNetはLlamaよりも3倍高速でしかも高精度ということになる。
Llamaよりも性能劣化してないどころか性能は上がっている。
この圧倒的なスピードの秘密は、BitNetが文字通り「1ビットで処理している」からだ。
https://i.imgur.com/1tcsItA.png
上下前次1-新書関写板覧索設栞歴
ｽﾚ情報 赤ﾚｽ抽出 画像ﾚｽ抽出 歴の未読ｽﾚ AAｻﾑﾈｲﾙ
ぬこの手 ぬこTOP 0.017s