[過去ﾛｸﾞ] なんJLLM部 避難所 (1002ﾚｽ)
上下前次1-新
このｽﾚｯﾄﾞは過去ﾛｸﾞ倉庫に格納されています｡
次ｽﾚ検索 歴削→次ｽﾚ 栞削→次ｽﾚ 過去ﾛｸﾞﾒﾆｭｰ
1: 転載ダメ (ﾜｯﾁｮｲ e249-iArR) 2023/12/17(日)21:48 ID:???0 AAS
!extend::vvvvv:1000:512
!extend::vvvvv:1000:512
AIに色々なことをしゃべってもらうんやで
そこそこのデスクトップPC（できれば＋3060 12GB以上）でもなんぼか楽しめるで
自薦・他薦のモデルやツールは>>2以降
本スレ
なんJLLM部 ★6
2chｽﾚ:liveuranus VIPQ2_EXTDAT: default:vvvvv:1000:512:: EXT was configured
2(2): (ﾜｯﾁｮｲ e249-iArR) 2023/12/17(日)21:50 ID:???0 AAS
初心者は導入しやすいKoboldcppから始めるのをお勧め
(1)ここで最新版のKoboldcpp.exeをダウンロード
外部ﾘﾝｸ:github.com
(2)ここで良さげなggufモデルをダウンロード
外部ﾘﾝｸ:huggingface.co
この2つのファイルだけで動く
3: (ﾜｯﾁｮｲ e249-iArR) 2023/12/17(日)21:52 ID:???0 AAS
日本語特化モデル作ってるとこのまとめ
外部ﾘﾝｸ:huggingface.co
外部ﾘﾝｸ:huggingface.co
外部ﾘﾝｸ:huggingface.co
外部ﾘﾝｸ:huggingface.co
外部ﾘﾝｸ:huggingface.co
外部ﾘﾝｸ:huggingface.co
4: (ﾜｯﾁｮｲ cf32-3PPy) 2023/12/17(日)21:53 ID:???0 AAS
おつー
ここも20制限あり？
5: (ﾜｯﾁｮｲ e249-iArR) 2023/12/17(日)22:00 ID:???0 AAS
Koboldの設定や使い方は英語だけどここが詳しい
外部ﾘﾝｸ:github.com
6: (ﾜｯﾁｮｲ e249-iArR) 2023/12/17(日)22:01 ID:???0 AAS
今期待の日本語特化モデル
TheBloke/japanese-stablelm-instruct-beta-70B-GGUF ・ Hugging Face
外部ﾘﾝｸ:huggingface.co
7: (ﾜｯﾁｮｲ e249-iArR) 2023/12/17(日)22:01 ID:???0 AAS
oobabooga/text-generation-webui
これもKoboldAIに並んで有用な実行環境やで
外部ﾘﾝｸ:github.com
8: (ﾜｯﾁｮｲ e249-iArR) 2023/12/17(日)22:02 ID:???0 AAS
stabilityai/japanese-stablelm-instruct-gamma-7b
比較的小サイズで高性能なおすすめの日本語モデルやで
外部ﾘﾝｸ:huggingface.co
9: (ﾜｯﾁｮｲ e249-iArR) 2023/12/17(日)22:02 ID:???0 AAS
●多くのモデルには「base」と「instruct」の2種類があるで
baseはチューニングされていない、与えられた文書の続きを垂れ流すモデルやで
instructはchatGPTのように対話して質問に答えるようチューニングされたAIやで
10: (ﾜｯﾁｮｲ e249-iArR) 2023/12/17(日)22:03 ID:???0 AAS
⚫︎LLMを動かすにはGPUを使う方法とCPUを使う方法があるで
GPUを使う場合は比較的速く動くけど、VRAM容量の大きなグラボが必要になるで
CPUを使う場合はグラボが不要でメインメモリのRAMを増やすだけで大きなモデルが動かせるというメリットがあるけど、動作速度はGPUよりは落ちるで
11: (ﾜｯﾁｮｲ e249-iArR) 2023/12/17(日)22:03 ID:???0 AAS
⚫︎LLMモデルには量子化されてないsafetensorsファイルと、8bitや4bitなどに量子化されて容量が小さくなったものがあるで
量子化モデルにはGGUFやGPTQなどの種類があるで
基本的にはCPU (llama.cpp)で動かす場合はGGUF、GPUで動かす場合はGPTQを選べばええで
12: (ﾜｯﾁｮｲ e249-iArR) 2023/12/17(日)22:03 ID:???0 AAS
⚫︎LLMモデルは既存のbaseモデルを元に自分で学習(ファインチューニング)させることもできるで
画像AIのようにLoRAファイルとして学習結果を保存したりLoRAを読み込むこともできるで
13: (ﾜｯﾁｮｲ e249-iArR) 2023/12/17(日)22:04 ID:???0 AAS
高性能なPCがないけどLLMを試したい人や大きなモデルを速く動かしたい人はpaperspaceなどのクラウド環境を使うのも手やで
14: (ﾜｯﾁｮｲ e249-iArR) 2023/12/17(日)22:04 ID:???0 AAS
モデルのサイズ(パラメータ数)は◯B (B=billion=10億)という単位で表記されるで
例えば7Bのモデルを読み込むなら量子化しない場合は約14GB、8ビット量子化の場合は7GB、4ビット量子化の場合は3.5GBのメモリまたはVRAMが必要になるで
基本的にはBが大きいほど性能が高いで
15: (ﾜｯﾁｮｲ e249-iArR) 2023/12/17(日)22:04 ID:???0 AAS
70Bの大型モデルはLlama 2というMeta社が開発したモデルが元になってるものが多いで
メモリが48GB以上あれば動くけど、速度はかなり遅いで
16: (ﾜｯﾁｮｲ e249-iArR) 2023/12/17(日)22:05 ID:???0 AAS
18：今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ ff79-XI6K)：2023/11/11(土) 11:13:26.81 ID:0B0rgEfx0
ドライバやミドルウェア周りのインストールがだいたいこんな感じ
外部ﾘﾝｸ:rentry.co
python3.11を別途入れて基本的にそっちを使っていく
17: (ﾜｯﾁｮｲ e249-iArR) 2023/12/17(日)22:05 ID:???0 AAS
7：今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ ff7a-EFnx)：2023/11/11(土) 10:54:35.49 ID:Gp6hELJv0
日本語特化モデル以外のおすすめ。これもはっとこ
更新の速い世界だからお勧めモデルも逐次変わっていくけど取りあえず前スレ後半で話題になってたモデルたち(たぶんまだある)
総合力高い系：
Xwin-LM-70B
upstage-Llama2-70B (=poeのSOLOR)
あとは古典だがwizardLMとかairoboros系もまだまだいける
エロ特化系：
spicyboros
Kimiko
省1
18: (ﾜｯﾁｮｲ e249-iArR) 2023/12/17(日)22:05 ID:???0 AAS
10 今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 7f1d-ZlS5) sage 2023/11/11(土) 11:00:57.86 ID:DSO3hy+d0
Koboldcpp+ggufで動かす時に必要なメインメモリの目安
7Bモデル -> 8GB
13Bモデル -> 16GB
33Bモデル -> 32GB
70Bモデル -> 64GB
180Bモデル -> いっぱい
19: (ﾜｯﾁｮｲ e249-iArR) 2023/12/17(日)22:06 ID:???0 AAS
導入の参考に
Kobold.cppで小説っぽいのを作る
外部ﾘﾝｸ[html]:w.atwiki.jp
Kobold.cppでAIとチャットしてみる
外部ﾘﾝｸ[html]:w.atwiki.jp
20: (ﾜｯﾁｮｲ e249-iArR) 2023/12/17(日)22:07 ID:???0 AAS
24 今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ ff7a-EFnx) 2023/11/11(土) 11:24:55.41 ID:Gp6hELJv0
長い事kobold使ってて、バージョンアップの度に上書きしてたんだが、
いつの間にか推奨セッティングが大きく変わってることに気付いた！
>使用するのに適した既定値は、Top-P=0.92、RepPen=1.1、Temperature=0.7、およびサンプラーの次数 [6,0,1,3,4,2,5] で、それ以外はすべて無効 (デフォルト) のままにします。
>デフォルトの[6,0,1,3,4,2,5]から変更することは、出力が非常に悪くなる可能性があるため、強くお勧めしません。
だそうなんで、長い事使ってる人は、一度セッティングをReset all settingボタンでクリアしとくことをお勧めする
上下前次1-新書関写板覧索設栞歴
あと 982 ﾚｽあります
ｽﾚ情報 赤ﾚｽ抽出 画像ﾚｽ抽出 歴の未読ｽﾚ AAｻﾑﾈｲﾙ
ぬこの手 ぬこTOP 0.675s*