なんJLLM部 避難所 ★8 (280ﾚｽ)
上下前次1-新
1: 転載ダメ (ﾜｯﾁｮｲ f3c0-9L8h) 05/10(土)22:18 ID:0Ak3eO5y0(1/10) AAS
!extend:checked:vvvvv:1000:512
!extend:checked:vvvvv:1000:512
AIに色々なことをしゃべってもらうんやで
そこそこのデスクトップPC（できれば＋3060 12GB以上）でもなんぼか楽しめるで
自薦・他薦のモデルやツールは>>2以降
本スレ(避難中)
なんJLLM部 ★7
2chｽﾚ:liveuranus
前スレ(実質本スレ)
なんJLLM部 避難所 ★7
省1
2(1): (ﾜｯﾁｮｲ f3c0-9L8h) 05/10(土)22:19 ID:0Ak3eO5y0(2/10) AAS
初心者は導入しやすいKoboldcppから始めるのをお勧め
(1)NVIDIA、CPUユーザーはここで最新版のKoboldcpp.exeをダウンロード
外部ﾘﾝｸ:github.com
AMDユーザーはこっち
外部ﾘﾝｸ:github.com
(2)ここで良さげなggufモデルをダウンロード
外部ﾘﾝｸ:huggingface.co
この2つのファイルだけで動く
Koboldの設定や使い方は英語だけどここが詳しい
外部ﾘﾝｸ:github.com
3: (ﾜｯﾁｮｲ f3c0-9L8h) 05/10(土)22:20 ID:0Ak3eO5y0(3/10) AAS
oobabooga/text-generation-webui
通称大葉
これもKoboldAIに並んで有用な実行環境やで
外部ﾘﾝｸ:github.com
4: (ﾜｯﾁｮｲ f3c0-9L8h) 05/10(土)22:20 ID:0Ak3eO5y0(4/10) AAS
●Zuntanニキ謹製のツールEasyNovelAssistant
主に小説用で使われとるで
ローカルLLM導入のハードルをぐっと下げてくれたで
初めてのお人はここから始めるのもいいで
外部ﾘﾝｸ:github.com
5: (ﾜｯﾁｮｲ f3c0-9L8h) 05/10(土)22:20 ID:0Ak3eO5y0(5/10) AAS
外部ﾘﾝｸ:github.com
AIチャットに特化したUI、SillyTavernや
キャラをbot的に管理したりグラ登録したり複数選んでグループチャットしたり大量の設定を外部記憶的に管理したり色々できるで
画像出力や音声出力とも連携可能で夢が広がるで
機能が豊富すぎて最初取っ付きにくいのと日本語の解説がほとんど無いのが難点やがRPチャット派は使うと幸せになれるやで
あくまでUI(フロントエンド)やからこれ自体にはAIは内蔵されてないから注意してな
好きなAPIやローカルモデルと接続して使うんやで
6: (ﾜｯﾁｮｲ f3c0-9L8h) 05/10(土)22:21 ID:0Ak3eO5y0(6/10) AAS
例としてKoboldで起動したローカルモデルとSillyTavernを接続する設定や
先にいつもどおりKoboldを起動してな
SillyTavernのプラグのアイコンをクリック
APIに Text Completion を選択
API Typeは KoboldCpp
API keyは不要
API URLに 外部ﾘﾝｸ:localhost:5001
これでいける
7: (ﾜｯﾁｮｲ f3c0-9L8h) 05/10(土)22:21 ID:0Ak3eO5y0(7/10) AAS
●多くのモデルには「base」と「instruct」の2種類があるで
baseはチューニングされていない、与えられた文書の続きを垂れ流すモデルやで
instructはchatGPTのように対話して質問に答えるようチューニングされたAIやで
⚫︎LLMを動かすにはGPUを使う方法とCPUを使う方法があるで
GPUを使う場合は比較的速く動くけど、VRAM容量の大きなグラボが必要になるで
CPUを使う場合はグラボが不要でメインメモリのRAMを増やすだけで大きなモデルが動かせるというメリットがあるけど、動作速度はGPUよりは落ちるで
⚫︎LLMモデルには量子化されてないsafetensorsファイルと、8bitや4bitなどに量子化されて容量が小さくなったものがあるで
量子化モデルにはGGUFやGPTQなどの種類があるで
基本的にはCPU (llama.cpp)で動かす場合はGGUF、GPUで動かす場合はGPTQを選べばええで
量子化は4bitまでならほとんど精度が落ちないのでよくわからない場合はIQ4_XSやQ4_k_mなどにしとけばええで
省5
8: (ﾜｯﾁｮｲ f3c0-9L8h) 05/10(土)22:22 ID:0Ak3eO5y0(8/10) AAS
●その他の最近話題になったモデルも挙げとくで
動きの速い界隈やから日々チェックやで
Mistral-7B系:
LightChatAssistant
Antler-7B-RP
Japanese-Starling-ChatV
Antler-7B-Novel-Writing
SniffyOtter-7B-Novel-Writing-NSFW
Ninja-v1
Vecteus-v1
省12
9: (ﾜｯﾁｮｲ f3c0-9L8h) 05/10(土)22:22 ID:0Ak3eO5y0(9/10) AAS
●高性能なPCがないけどLLMを試したい人や大きなモデルを速く動かしたい人はpaperspaceなどのクラウド環境を使うのも手やで
若干規制はあるもののGoogle AI studioから無料でAPI keyを入手して高性能なAIを使うこともできるのでそれを使うのええで
API keyの入手は外部ﾘﾝｸ:aistudio.google.comここからできるで
10: (ﾜｯﾁｮｲ f3c0-9L8h) 05/10(土)22:24 ID:0Ak3eO5y0(10/10) AAS
テンプレここまで、しばらく更新されてないから過去ログも参考にしてな
11: (ﾜｯﾁｮｲ 733d-9L8h) 05/10(土)22:38 ID:JABFV6+D0(1/3) AAS
おつつ
12: (ﾜｯﾁｮｲ c3ed-aBcW) 05/10(土)22:38 ID:2GbJOTYW0(1) AAS
サンイチやで
EVO-X2予約ニキの報告楽しみにしとるで
13: (ﾜｯﾁｮｲ 538d-/A7e) 05/10(土)23:12 ID:gS1Fz//C0(1) AAS
Violet_Magcap-12Bの設定使ったら推論って奴できて嬉しい
14(2): (ﾜｯﾁｮｲ 737a-KB/z) 05/10(土)23:46 ID:4K/o7R6K0(1) AAS
すれたておつ
evo-x2はこんな感じらしいで
外部ﾘﾝｸ:wiki.onakasuita.org
15: (ﾜｯﾁｮｲ 733d-9L8h) 05/10(土)23:50 ID:JABFV6+D0(2/3) AAS
ryzenMAX+はCPUにAVX512とか載ってるから
CPUにも仕事させた方が良いんだろうか
16(1): (ﾜｯﾁｮｲ a34c-Fs2+) 05/10(土)23:53 ID:MSpCSYXy0(1/2) AAS
70Bモデルまで行くと速度的に厳しそう
それでもCPU推論よりはマシか？
Testing the Ryzen M Max+ 395 : r/LocalLLM
外部ﾘﾝｸ:www.reddit.com
17: (ﾜｯﾁｮｲ 733d-9L8h) 05/10(土)23:56 ID:JABFV6+D0(3/3) AAS
100〜130BくらいのMoEモデルなら良さそう
18: (ﾜｯﾁｮｲ a34c-Fs2+) 05/10(土)23:58 ID:MSpCSYXy0(2/2) AAS
>>14
DeepSeek-R1-Distill-Llama-70B Q3_K_Lと
Qwen3-235B-A22Bでかなり違うのな
>>16のDeepSeek R1 70Bでも5〜10tk/s
なんかコード修正したら10tk/s以上出るとかも
言われてるけど
外部ﾘﾝｸ:x.com
19: (ﾜｯﾁｮｲ cf7a-pbnj) 05/11(日)01:40 ID:JcEjG3AG0(1/2) AAS
これでゲームもCUDAが必要とか言ってる動画生成系のやつも全部できたら乗り換えるのになぁ
20: (ﾜｯﾁｮｲ 8fa9-KB/z) 05/11(日)02:02 ID:2Y5MxzTS0(1) AAS
前スレのこれ、sshでつないでポートフォワードしたらできるで
>Project Wannabeを使ってみてるんだけど、他のPCで起動してるkobold.cppに接続して使う方法ってあります？
上下前次1-新書関写板覧索設栞歴
あと 260 ﾚｽあります
ｽﾚ情報 赤ﾚｽ抽出 画像ﾚｽ抽出 歴の未読ｽﾚ AAｻﾑﾈｲﾙ
ぬこの手 ぬこTOP 0.892s*