なんJLLM部 避難所 ★9 (470ﾚｽ)
なんJLLM部 避難所 ★9 http://mercury.bbspink.com/test/read.cgi/onatech/1755924738/
上
下
前次
1-
新
通常表示
512ﾊﾞｲﾄ分割
ﾚｽ栞
抽出解除
必死ﾁｪｯｶｰ(本家)
(べ)
自ID
ﾚｽ栞
あぼーん
ﾘﾛｰﾄﾞ規制
です｡10分ほどで解除するので､
他のﾌﾞﾗｳｻﾞ
へ避難してください｡
1: 名無しさん＠ピンキー 転載ダメ (ﾜｯﾁｮｲ fec0-xVEZ) [] 2025/08/23(土) 13:52:18.71 ID:5lw7ZcNF0 !extend:checked:vvvvv:1000:512 !extend:checked:vvvvv:1000:512 AIに色々なことをしゃべってもらうんやで そこそこのデスクトップPC（できれば＋3060 12GB以上）でもなんぼか楽しめるで 自薦・他薦のモデルやツールは>>2以降 本スレ(避難中) なんJLLM部 ★7 https://fate.5ch.net/test/read.cgi/liveuranus/1710561010/ 前スレ(実質本スレ) なんJLLM部 避難所 ★8 https://mercury.bbspink.com/test/read.cgi/onatech/1746883112/ VIPQ2_EXTDAT: checked:vvvvv:1000:512:: EXT was configured http://mercury.bbspink.com/test/read.cgi/onatech/1755924738/1
2: 名無しさん＠ピンキー (ﾜｯﾁｮｲ fec0-xVEZ) [] 2025/08/23(土) 13:52:48.95 ID:5lw7ZcNF0 初心者は導入しやすいKoboldcppから始めるのをお勧め (1)NVIDIA、CPUユーザーはここで最新版のKoboldcpp.exeをダウンロード https://github.com/LostRuins/koboldcpp/releases AMDユーザーはこっち https://github.com/YellowRoseCx/koboldcpp-rocm (2)ここで良さげなggufモデルをダウンロード https://huggingface.co/models?sort=modified&search=gguf この2つのファイルだけで動く Koboldの設定や使い方は英語だけどここが詳しい https://github.com/LostRuins/koboldcpp/wiki http://mercury.bbspink.com/test/read.cgi/onatech/1755924738/2
3: 名無しさん＠ピンキー (ﾜｯﾁｮｲ fec0-xVEZ) [] 2025/08/23(土) 13:53:01.31 ID:5lw7ZcNF0 oobabooga/text-generation-webui 通称大葉 これもKoboldAIに並んで有用な実行環境やで https://github.com/oobabooga/text-generation-webui http://mercury.bbspink.com/test/read.cgi/onatech/1755924738/3
4: 名無しさん＠ピンキー (ﾜｯﾁｮｲ fec0-xVEZ) [] 2025/08/23(土) 13:53:13.44 ID:5lw7ZcNF0 ●Zuntanニキ謹製のツールEasyNovelAssistant 主に小説用で使われとるで ローカルLLM導入のハードルをぐっと下げてくれたで 初めてのお人はここから始めるのもいいで https://github.com/Zuntan03/EasyNovelAssistant http://mercury.bbspink.com/test/read.cgi/onatech/1755924738/4
5: 名無しさん＠ピンキー (ﾜｯﾁｮｲ fec0-xVEZ) [] 2025/08/23(土) 13:53:40.81 ID:5lw7ZcNF0 https://github.com/SillyTavern/SillyTavern AIチャットに特化したUI、SillyTavernや キャラをbot的に管理したりグラ登録したり複数選んでグループチャットしたり大量の設定を外部記憶的に管理したり色々できるで 画像出力や音声出力とも連携可能で夢が広がるで 機能が豊富すぎて最初取っ付きにくいのと日本語の解説がほとんど無いのが難点やがRPチャット派は使うと幸せになれるやで あくまでUI(フロントエンド)やからこれ自体にはAIは内蔵されてないから注意してな 好きなAPIやローカルモデルと接続して使うんやで http://mercury.bbspink.com/test/read.cgi/onatech/1755924738/5
6: 名無しさん＠ピンキー (ﾜｯﾁｮｲ fec0-xVEZ) [] 2025/08/23(土) 13:53:57.63 ID:5lw7ZcNF0 例としてKoboldで起動したローカルモデルとSillyTavernを接続する設定や 先にいつもどおりKoboldを起動してな SillyTavernのプラグのアイコンをクリック APIに Text Completion を選択 API Typeは KoboldCpp API keyは不要 API URLに http://localhost:5001/ これでいける http://mercury.bbspink.com/test/read.cgi/onatech/1755924738/6
7: 名無しさん＠ピンキー (ﾜｯﾁｮｲ fec0-xVEZ) [] 2025/08/23(土) 13:54:14.74 ID:5lw7ZcNF0 ●多くのモデルには「base」と「instruct」の2種類があるで baseはチューニングされていない、与えられた文書の続きを垂れ流すモデルやで instructはchatGPTのように対話して質問に答えるようチューニングされたAIやで ⚫︎LLMを動かすにはGPUを使う方法とCPUを使う方法があるで GPUを使う場合は比較的速く動くけど、VRAM容量の大きなグラボが必要になるで CPUを使う場合はグラボが不要でメインメモリのRAMを増やすだけで大きなモデルが動かせるというメリットがあるけど、動作速度はGPUよりは落ちるで ⚫︎LLMモデルには量子化されてないsafetensorsファイルと、8bitや4bitなどに量子化されて容量が小さくなったものがあるで 量子化モデルにはGGUFやGPTQなどの種類があるで 基本的にはCPU (llama.cpp)で動かす場合はGGUF、GPUで動かす場合はGPTQを選べばええで 量子化は4bitまでならほとんど精度が落ちないのでよくわからない場合はIQ4_XSやQ4_k_mなどにしとけばええで ⚫︎LLMモデルは既存のbaseモデルを元に自分で学習(ファインチューニング)させることもできるで 画像AIのようにLoRAファイルとして学習結果を保存したりLoRAを読み込むこともできるで ●モデルのサイズ(パラメータ数)は◯B (B=billion=10億)という単位で表記されるで 例えば7Bのモデルを読み込むなら量子化しない場合は約14GB、8ビット量子化の場合は7GB、4ビット量子化の場合は3.5GBのメモリまたはVRAMが必要になるで 基本的にはBが大きいほど性能が高いで http://mercury.bbspink.com/test/read.cgi/onatech/1755924738/7
8: 名無しさん＠ピンキー (ﾜｯﾁｮｲ fec0-xVEZ) [] 2025/08/23(土) 14:06:17.76 ID:5lw7ZcNF0 ●その他の最近話題になったモデルも挙げとくで 動きの速い界隈やから日々チェックやで Mistral系 LightChatAssistant Antler-7B-RP Japanese-Starling-ChatV Antler-7B-Novel-Writing SniffyOtter-7B-Novel-Writing-NSFW Ninja-v1 Vecteus-v1 Berghof-NSFW-7B-i1-GGUF Mistral-Small-3.2-24B-Instruct-2506 Cydonia 24B v4 Cydonia-R1-24B-v4 Llama3-70B系: Smaug-Llama-3-70B-Instruct-abliterated-v3 Cohere系: c4ai-command-r-08-2024 (35B) c4ai-command-r-plus-08-2024 (104B) magnumシリーズ(エロ特化): https://huggingface.co/collections/anthracite-org/v4-671450072656036945a21348 Lumimaid-Magnum: Lumimaid-Magnum-v4-12B magnumの日本語版: Mistral-nemo-ja-rp-v0.2 http://mercury.bbspink.com/test/read.cgi/onatech/1755924738/8
9: 名無しさん＠ピンキー (ﾜｯﾁｮｲ fec0-xVEZ) [] 2025/08/23(土) 14:06:34.21 ID:5lw7ZcNF0 ●高性能なPCがないけどLLMを試したい人や大きなモデルを速く動かしたい人はpaperspaceなどのクラウド環境を使うのも手やで 若干規制はあるもののGoogle AI studioから無料でAPI keyを入手して高性能なAIを使うこともできるのでそれを使うのええで API keyの入手はhttps://aistudio.google.com/apikeyここからできるで http://mercury.bbspink.com/test/read.cgi/onatech/1755924738/9
10: 名無しさん＠ピンキー (ﾜｯﾁｮｲ fec0-xVEZ) [] 2025/08/23(土) 14:06:46.46 ID:5lw7ZcNF0 テンプレここまで、しばらく更新されてないから過去ログも参考にしてな http://mercury.bbspink.com/test/read.cgi/onatech/1755924738/10
ﾒﾓ帳
(0/65535文字)
上
下
前次
1-
新
書
関
写
板
覧
索
設
栞
歴
ｽﾚ情報
赤ﾚｽ抽出
画像ﾚｽ抽出
歴の未読ｽﾚ
AAｻﾑﾈｲﾙ
Google検索
Wikipedia
ぬこの手
ぬこTOP
0.024s