純粋・応用数学・数学隣接分野（含むガロア理論）18

純粋・応用数学・数学隣接分野（含むガロア理論）18 (372ﾚｽ)
上下前次 1-新

外部ﾘﾝｸ:wirelesswire.jp
外部ﾘﾝｸ[html]:www.itmedia.co.jp
外部ﾘﾝｸ:xtech.nikkei.com

[240|320|480|600|100%|JPG|べ|ﾚｽ栞|ﾚｽ消]

260:  [] 2024/04/18(木) 11:10:07.21 ID:5l0vuf/E

これ面白い
https://wirelesswire.jp/2024/02/86094/
WirelessWire News Technology to implement the future
1ビットLLMの衝撃! 70Bで8.9倍高速　全ての推論を加算のみで!GPU不要になる可能性も
2024.02.28

Microsoftの中国チームがとてつもないLLMをリリースした。それが「BitNet 1.58Bits」だ。

満を持して発表された1ビットLLMの性能に関するレポートは、衝撃的と言っていい内容だ。論文のタイトルも堂々と「The Era of 1-bit LLM(1ビットLLMの時代)」としている。

https://www.itmedia.co.jp/aiplus/articles/2404/16/news064.html
ITmedia AI＋ >
生成AIでGPUがいらなくなる？　業界を揺るがす「1ビットLLM」とは何か、識者に聞いた
2024年04月16日 1
[斎藤健二，ITmedia]

米Microsoftの研究チームが発表した「BitNet」、通称「1bit LLM」と呼ばれる論文が波紋を呼んでいる。これまでのLLMとは違い、演算が軽くなるのに精度が上がり、そしてこれまで必須だと思われていたGPUが不要で、CPUでもLLMが動作することを示唆している。

1bit LLMでは、桁をとことん丸めて、-1か1の2値にしてしまおうという発想なんです。具体的には、ニューラルネットの中の重みパラメータの数値を、大胆に-1か1にしてします。これをBitNetと呼んでいます。

この仕組みをLLMに適用してみようというのが1bit LLMの基本的なアイデアです。この基本アイデアに対して今回の論文では1つ工夫があって、-1か1だけでなく、0も加えて、0、1、-1の3値を使っています。3通りというのは、2の1.58乗に相当するんですよ。だから実際は1.58bitになります。

3値になると符号の計算になり、入力の和算だけでいいようになります。3値、つまり-1、0、1しかない場合、先の例だと、x0と1を掛けて、x1と-1を掛けて、x2と-1を掛けて、x3と1を掛けて足し合わせることになります。これはつまりx0-x1-x2+x3という、符号だけを変えて足し合わせれば良いことになります。掛け算がなくなってしまうのです。

https://xtech.nikkei.com/atcl/nxt/column/18/02801/040900001/
世界が注目したAI論文をSNSで抽出、日本で話題沸騰の「1ビットLLM」
野々村 泰香 AI・データラボ  浅川 直輝 クロスメディア編集部／AI・データラボ
2024.04.12

http://rio2016.5ch.net/test/read.cgi/math/1705834737/260

上下前次 1-新書関写板覧索設栞歴

あと 112 ﾚｽあります
ｽﾚ情報赤ﾚｽ抽出画像ﾚｽ抽出歴の未読ｽﾚ AAｻﾑﾈｲﾙ

ぬこの手ぬこTOP 0.131s