[過去ﾛｸﾞ] 【LLM】1ビットLLMの衝撃! 70Bで8.9倍高速 全ての推論を加算のみで!GPU不要になる可能性も [すらいむ★] (78ﾚｽ)
上下前次1-新
このｽﾚｯﾄﾞは過去ﾛｸﾞ倉庫に格納されています｡
次ｽﾚ検索 歴削→次ｽﾚ 栞削→次ｽﾚ 過去ﾛｸﾞﾒﾆｭｰ
1: すらいむ ★ 2024/02/28(水)23:09 ID:VVSGeMBG(1) AAS
1ビットLLMの衝撃! 70Bで8.9倍高速 全ての推論を加算のみで!GPU不要になる可能性も
2月は中国では春節というお正月があり、春節にはみんな休む。
それもあってか、12月から1月にかけて怒涛の論文発表が行われて毎日「デイリーAIニュース」を配信している筆者は忙殺されていた。
春節中にはOpenAIがSoraを、GoogleがGemini1.5を発表したのは、その合間を縫ってのことだった。
もはやAI最前線の戦いは研究が行われる場所の文化や風土に影響を受けるところまで来ている。
そして春節もあけた今週、さっそくAlibabaがとんでもないトーキングヘッドモデルを引っ提げて登場したかと思えば、Microsoftの中国チームがとてつもないLLMをリリースした。それが「BitNet 1.58Bits」だ。
もともとMicrosoftはかねてから「1ビット量子化」の研究を続けて来た。
しかし、32ビット浮動小数点での計算が主流な時代にはあまりに野心的で荒唐無稽なプロジェクトに見えていたのは否めない。
しかし、現在、大規模言語モデル(LLM;Large Language Model)は8ビット、4ビットで量子化されるのが当たり前になり、量子化しても性能劣化はある程度まで抑えられることも知られるようになった。
（以下略、続きはソースでご確認ください）
省2
2: 2024/02/28(水)23:35 ID:Da5RaJ1Z(1) AAS
エヌビディアぇ…
3: 2024/02/28(水)23:38 ID:eT8LqT0e(1) AAS
２ゲット
4: 2024/02/28(水)23:38 ID:HYrwgsdn(1) AAS
エヌディビア、あああああ。
つかの間の昇天株価...
5: 2024/02/28(水)23:42 ID:8hRo7bx2(1) AAS
1bit脳なんてマッチ箱以下なんやな（笑
6: 2024/02/28(水)23:58 ID:4ZohjHzW(1) AAS
家庭用量子コンピュータ「量(りょう)子」
7(2): 2024/02/29(木)00:44 ID:GUwd2cwq(1) AAS
SACDの音楽記録とか、D級アンプは、0と1あるいは−1と1の2つの状態だけ（つまり1ビット）で信号を
コーディングしている。二値のパルス波形の時間変化の密度平均でもってアナログ波形を表しているのだ。
だから別に不思議なことでもなんでもないだろう。
8(1): 2024/02/29(木)01:01 ID:pMhoGVml(1) AAS
＞Microsoftの中国チーム
なにこれ？
こんなのがあるのか？
9: 2024/02/29(木)01:01 ID:c92RQO4+(1) AAS
NVIDIAの次が見えてきたら、株価暴落だろ（笑）
10: 2024/02/29(木)01:15 ID:CTmZt2iV(1) AAS
勘でしかないけれど個々のデータは4ビットで収まる0〜215
(2√3*3√2)^2=216で十分なような気がする
GPUで215を上限とした4ビット長のデータをフーリエ変換するアルゴリズムとGPGPUのSIMDのような命令で可変長なアドレスに整数型で加算しまくって
最後に倍精度浮動小数などに変換で良いような気がする
まあ。前述のように根拠のない勘でしかないです。
11(2): 2024/02/29(木)01:43 ID:TPafWJ3r(1) AAS
>>Microsoftの中国チーム
信じていいのか？
12: 2024/02/29(木)01:55 ID:s6Z1THJX(1) AAS
>>7
ΔΣね。オーバーサンプリングしてるから情報量的には変わらんやろ。
ビット数と隠れ層と精度と時間がトレードオフで、今パレートのスイートスポット探ってる最中なんやろな。
13: 2024/02/29(木)01:58 ID:b2zMt52J(1) AAS
これが本当の1bit脳
冗談は置いといて、1ビット量子化の場合エンベディング(ベクトル化)はどうやるんだろ
14: 2024/02/29(木)02:30 ID:0P7E1NaO(1) AAS
階層をフラットにして、数値計算もニューロンに学習させればいいいってことかね
15(1): 2024/02/29(木)02:54 ID:C/e1FVIw(1/2) AAS
人間が一度に把握できる数は4個だと言われているから
人間と同等のAIを作るなら2Bitだろう
16: 2024/02/29(木)02:56 ID:C/e1FVIw(2/2) AAS
つーかこれ少bitのAIプロセッサを作る事になってCUDAは効率が悪いからお払い箱になるのか
今のままだと電力効率悪すぎるしな
17: 2024/02/29(木)03:59 ID:c3THCHFd(1) AAS
Microsoft*中国=不安要素無限大やな
18(1): 2024/02/29(木)04:01 ID:oWq9FOzG(1) AAS
>>11
＞非常に驚異的なことが書いてあるのだが、残念ながらBitNetによるLLMの実装とモデルはまだ公開されていない。
＞だから彼らの主張が本当かどうかはまだ誰にもわからないのだが、
ホントかどうか誰にもわからねえだとｗ
19(2): 2024/02/29(木)04:15 ID:0KDmAa4H(1) AAS
8.9倍速い程度ではGPUにCPUが叶うことはありません。
アーキテクチャの最適化がない状態では話になりません。
計算機は4bit, 8bit, 16bit, 32bit, 64bitという流れで拡張されてきました。計算機の歴史において、科学計算の精度を上げるためには高桁数の浮動小数点を扱う必要があると長年考えられてきました。8bitから16bitに進化した後、高桁の浮動小数を計算するのには時間がかかり過ぎる問題に直面していたため、32bit floatを高速処理するための専用回路を発明しました。その結果は長らく32bitが主流となり、2015年まではこれが主流となりました。
しかし、DeepLearningの登場で、32bitはメモリが肥大化し過ぎて大きなノード数を確保できなくなることや、bitを落としても精度の劣化は非常に小さい事がわかったため、16bit floatが計算に使われるようになりました。half floatと呼ばれるようになった16bit floatで作られたモデルは、実測値で32bit floatモデルよりも速度が非常に遅いという結果になりました。想定外の結果ですが驚くことではありません。これはhalf floatに対する専用回路が存在しなかったためです。そこで2015年以降のハードウェア設計では16bit float専用回路を搭載したものが登場し、大規模モデル、高速処理、省エネに大きく貢献しました。
DeepLearningモデルの精度はどの程度までbitを落としてもよいのか？を研究する人が増えました。すぐに2
値化、つまり1bitモデル(バイナリモデル)が作られましたが、精度は明らかに悪化しました。浮動小数の計算より整数の計算のほうが圧倒的に速いため、int型のモデルの検証も進みました。4bit intも精度vs速度では非常に有益である事がわかったため、ハードウェアは4bit int専用回路も製作されることになりました。
これが今日までのハードウェアアーキテクチャの進化の歴史です。
1bitが有益であれば将来のアーキテクチャで対応されるでしょう。
20: 2024/02/29(木)04:50 ID:JCmTKC78(1) AAS
1bitハードを多数並列とかになるんやろか
21: 2024/02/29(木)04:53 ID:zqjyyldK(1) AAS
だけど絶対無理16ビットと互角に戦うには周波数が16倍必要32ビットなら32倍必要周波数上げれないだろ
22: 2024/02/29(木)06:25 ID:MbeSRaMh(1) AAS
>>19
根本的なことを君は理解できないしてない
そもそもそこまでの性能が不要になると言うことだ
GPUがCPUに敵う必要はない
23: 2024/02/29(木)06:49 ID:/0zn2n09(1) AAS
例えばモニタの白点しか映ってないものを
人間なら瞬時でわかるが、CPUはいちいちGRAMを頭から検出して比較して場所を探さなきゃいけない
CPUが一発程度の処理で済むくらいの進歩か？
24: 2024/02/29(木)07:17 ID:7PW0wpQu(1) AAS
>>19
何言ってんだかわからんが、昔からfloat16bit単精度、32bitはdoubleで倍精度だったろ
そしてcudaというかnvidiaも初めは単精度しか無かったぞ？
25: 2024/02/29(木)07:56 ID:yxWVp1q2(1) AAS
0と1に-1を取り入れることで計算コストを下げたまま1.58ビットに増やすアプローチか
速さだけでなくLlamaより精度も上で規模が大きくなるほど精度は更によくなると
眉唾すぎて評価は実装が出てくるまでは保留だな
26: 2024/02/29(木)08:22 ID:9Cid7DPu(1) AAS
東工大とLG、コンデンサ容量を1000倍にできる強誘電性二量体分子液晶を開発
>>低温で巨大な自発分極および比誘電率を有する強誘電性二量体分子液晶の開発に成功
>>構造解析中であるとしているが依然として極性構造を示し、小さなドメインに分子の極性凝集がある可能性を示しており、これらの極性相は巨大な双極子モーメントを反映した8000を超える比誘電率を示すことを解明したとする。
>>例えば、コンデンサに適用する場合、理論値として従来技術比で1000倍の容量を実現できるため、電子機器の小型化と低消費電力化が実現できるようになる。
>>また、圧電素子や静電アクチュエータへ適用する場合は、理論値としてやはり従来技術比で1000倍の出力を出すことができるようになるため、低電圧駆動が可能となり、
>>今まで高電圧のため人間に装着できなかった手指や歩行をアシストする製品も装着することができるようになるとする。
>>さらに、3次元映像表示素子への応用では、微細画素構造において画素間のクロストークが発生しにくく、高速光スイッチングが可能となり、ホログラフィックディスプレイの実現技術として有望であることが示されたとしている。
27: 2024/02/29(木)08:34 ID:EtSWk9tX(1) AAS
Microsoft中国ってなんかお掃除ソフト作ってたよな
怖くて使ってないけど
28: 2024/02/29(木)09:14 ID:cHGJ6qGV(1) AAS
7年くらい前に
「i7 6700のみを搭載したマシンに比べて
i7 6700 + GTX1080ti搭載マシンで深層学習を行ったら
20倍速かった」って話は出ていた
より性能の低いGPUだと15倍とか12倍とかになったなあ
CPUで10分掛かる計算が50秒で終わっていたり
いずれにしてもCPUだけなら業務時間8時間潰れるくらいの計算が
40～50分あるいは30分以下で終わってくれるなら有難い事だろうな
でも今のcudaコア数が10000を超えるような最新マシンだと
GTX1080tiの3倍以上だからi7 6700だけなら8時間かかる計算が10分で終わる？って考えたくはなるが
省1
29: 2024/02/29(木)09:23 ID:oLt1Wr6d(1) AAS
log3/log2=1.58ビットということか
30: あ 2024/02/29(木)09:31 ID:bQRn0QGc(1) AAS
ゲイツさあ
31: 2024/02/29(木)09:45 ID:c203YtLx(1) AAS
GPUだからってAMDがいいわけじゃない
使用に適したソフト、開発環境そういった
諸々を抑えてるからNVIDIAが優位なわけで
有力な技術がでようが
そう簡単に逆転を許すはずもないね
32: 2024/02/29(木)09:53 ID:XsmVtTSn(1) AAS
ゲイツは名誉チャイニーズなのか
33: 2024/02/29(木)09:56 ID:PrZNSwjd(1) AAS
MSの中国人はハイプな仕事しかしてない
騙し
今は4bitいや5bitが正解
34: 2024/02/29(木)10:03 ID:qmWQKGwL(1) AAS
ハッタリ臭いな。
中国からノーベル賞級の
独創的な発明など未だ無い
もんな。
35: 2024/02/29(木)10:35 ID:9goebzT7(1) AAS
>>7
ノード数が数十倍に増えるけどなwww
36(1): 2024/02/29(木)10:45 ID:3k+jULeh(1) AAS
まだ様子見だな
GPU無しでStable Diffusion動くようになったら褒め称えるわ
37: 2024/02/29(木)10:53 ID:au/k9OoN(1) AAS
とりあえず、この技術を使ったデモが見てみたいな
ChatGPTみたいに会話するとか画像生成するとか
そしてそれをどんなスペックのマシンで出来るのか
それを見てみないと何とも言えない
38: 2024/02/29(木)10:56 ID:tX7NdOOL(1) AAS
>>18
2行くらい後は読めないのか？
39: 2024/02/29(木)11:17 ID:3nQ4/1SP(1) AAS
情報理論的にはe(2.6)bitが最適だが
40: 2024/02/29(木)11:25 ID:MS566tFF(1) AAS
>>11
中国はよくバカにされるが、AI分野では大国だよ。
41: 2024/02/29(木)11:31 ID:3fW8H5wO(1) AAS
エヌビディア終わる？
42: 2024/02/29(木)12:15 ID:mVY35jI2(1/2) AAS
LLVMより早そう
43: 2024/02/29(木)12:17 ID:mVY35jI2(2/2) AAS
>>15
ひとつ、ふたつ、みっつ、たくさん
ゼロも必要だな。
44: 2024/02/29(木)12:37 ID:gYZkE0Wm(1) AAS
次は更に減らして01でできるかという挑戦か
45: 2024/02/29(木)13:22 ID:Vu5ZGLFL(1) AAS
>>36
動くぞ
遅いだけだ
46: 2024/02/29(木)19:27 ID:w7Lv0nHP(1) AAS
単にウエイトの係数の話だろ
47: 2024/02/29(木)20:42 ID:3/z0fOo/(1) AAS
１メガショック
48(1): 2024/02/29(木)21:39 ID:G3WBZBRw(1) AAS
いまだに現金使ってる国に言われたくないだろうな
49: 2024/02/29(木)21:41 ID:IGfxlv16(1) AAS
>>48
自国通貨に信用がないだけだろw
50: 2024/02/29(木)22:23 ID:okPtS4tF(1/2) AAS
今夜のうちにNVIDIAの株売っとけよ
51: 2024/02/29(木)22:24 ID:okPtS4tF(2/2) AAS
ちょいと調べたけど本物っぽいし
52: 2024/02/29(木)22:41 ID:DzIh1LSs(1) AAS
前にも似た話を聞いたきがするのだが
国内の研究だったはず
53: 2024/03/01(金)07:42 ID:556XhDRM(1) AAS
３レベルロジックって、また古の技術が復活したもんやな
54: 2024/03/01(金)08:38 ID:yjAwKiOY(1) AAS
エヌビディアがこれ専用のプロセッサを作ればいいだけでは
55: 2024/03/01(金)10:26 ID:5R/8ZN4X(1) AAS
東京理科大学のスパースターナリーニューラルネットワークAIチップかな
56(1): 2024/03/01(金)13:58 ID:fnr/lEXP(1) AAS
Microsoftが1.58ビットの大規模言語モデルをリリース、行列計算を足し算にできて計算コスト激減へ
外部ﾘﾝｸ:gigazine.net
やっぱりそうだったかという感じ
複雑過ぎるのは脳に無理
57: 2024/03/01(金)15:05 ID:RVSeKBna(1) AAS
>>56
ちょっと意味が分からない
必要な計算してないし結果も正しく求められてないじゃん
58: 2024/03/01(金)15:41 ID:TFOOGu/a(1) AAS
nvidia高原からの壮大な滝を見れたら感動するだろう
59: 2024/03/01(金)18:09 ID:1DY9oCqs(1) AAS
これ主流になったら記憶素子メーカーの大逆転ありえるな
60: 2024/03/01(金)20:48 ID:aQh0wf94(1) AAS
ソフトウェアもアナログからデジタルに移行って感じか
(ちょっと意味不明)
61: 2024/03/01(金)23:37 ID:ouHIOhMt(1) AAS
専用ハード開発しなくてもFPGAで論理回路組めば高速に演算できそう
RTX3060はヤフオクにだしてFPGAボード買うか
62: 2024/03/01(金)23:47 ID:GEaVhHuA(1) AAS
これ速さもそうだけど、電力を大幅に節約できるのがでかいだろ
63: 2024/03/01(金)23:57 ID:l5rgyAz4(1) AAS
1行も論文見てない驚き屋がBitNet b1.58ではなく
BitNetの論文のリンク張ってて底が知れる
64: 2024/03/02(土)02:49 ID:thy5ywaa(1) AAS
Binary and Ternary Natural Language Generation
外部ﾘﾝｸ:arxiv.org
W2A8
W1A8
Token-Scaled Logit Distillation for Ternary Weight Generative Language Models
外部ﾘﾝｸ:arxiv.org
W2A16
驚き屋が驚かなかった先行研究
3値を1.58bitと表現したことで驚き屋が食いついた模様
65: 2024/03/02(土)03:16 ID:2JxRJydi(1) AAS
3値なんだから、マイナス電流使ってアナログコンピュータ化か？
66: 2024/03/02(土)03:42 ID:qWgOtt+o(1) AAS
それはちょっと実装に時間がかかりそう
目先は2bitでやるんと違う？
将来的には3値DRAMとかFLASHを応用して超並列化
67: 2024/03/02(土)13:41 ID:iaDpyfWD(1) AAS
>>8
ここ科学N+だけど、それでもMSR又はMSRAて有名じゃないのか・・・・・
68: 2024/03/02(土)13:53 ID:iSFqmlG9(1) AAS
二値だともっと簡単になるが、三値との比較はだれかやったのだろうか
69: 2024/03/02(土)14:46 ID:q4waPiRd(1) AAS
null,-1,0,+1で実質４値かもしれない
70: 2024/03/02(土)17:26 ID:2fOTc3FF(1) AAS
2chｽﾚ:math
71: 2024/03/03(日)11:54 ID:hCJpwWrB(1) AAS
パルスの密度で０から１の間のアナログ値を近似すれば、
足し算的な計算（正しい足し算ではない）は２つのお互いに相関のないパルス列のORで、
かけ算の計算は２つのお互いに相関にないパルス列のANDで実現できる。
ただし、複雑な演算をパルス列のままでやると、相関がある信号同士のANDやORでは
かけ算や足し算にならなくなる。ときどき整流してアナログ値に戻して、そのアナログ
値を元にして再びパルス変調するとか、面倒なことになりそうだ。
72: 2024/03/03(日)13:51 ID:0Q7XL37P(1) AAS
オーディオも高速1bitがハイエンドだけど粗密で記憶するのかしら
73: 2024/03/06(水)09:24 ID:su8T7W/q(1) AAS
GPU不要というより、より効率的な新たなデバイスが出来るという事やわな
74: 2024/03/06(水)23:08 ID:EJquS8L8(1) AAS
これCGとかのAI以外のGPUも駆逐する可能性あるな
75: 2024/03/08(金)13:07 ID:UVi1of4f(1/2) AAS
1月26日LSI合同ゼミ＠Waseda
D級アンプの性能改善
群馬大学大学院 工学研究科
電気電子工学専攻 小林研究室
趙 楠
外部ﾘﾝｸ[pdf]:kobaweb.ei.st.gunma-u.ac.jp
昔から（今から50年以上も前から）D級アンプは使われてた。
電力効率が良いのと、負帰還をかけずに直線性の良い大電力への増幅が
可能だったから。ただしスイッチング素子のオンオフ動作が速いことが前提。
それ以前から（真空管回路の時代、たとえば二次大戦中）似たような概念と
省4
76(1): 2024/03/08(金)19:09 ID:UVi1of4f(2/2) AAS
Tensoftflow でロスが下がるのに待ちくたびれてラーメンを食べに店屋に行って帰ってきてみても
まだやっているのを見て、悟った。Tensorflowは使うのをやめよう、人生の無駄だと。
77: 2024/03/09(土)14:16 ID:z3k9Xxye(1) AAS
>>76
gpu使って計算したのか？
78: 2024/03/10(日)07:48 ID:N0fYxZir(1) AAS
先日、発表されたGDDR7のデーターバスが3値らしい
量産の基盤技術はあるという事やな
上下前次1-新書関写板覧索設栞歴
ｽﾚ情報 赤ﾚｽ抽出 画像ﾚｽ抽出 歴の未読ｽﾚ AAｻﾑﾈｲﾙ
ぬこの手 ぬこTOP 0.162s*