なんJLLM部 避難所 ★8 (792ﾚｽ)
上下前次1-新
抽出解除 必死ﾁｪｯｶｰ(本家) (べ) 自ID ﾚｽ栞 あぼーん
ﾘﾛｰﾄﾞ規制です｡10分ほどで解除するので､他のﾌﾞﾗｳｻﾞへ避難してください｡
1: 転載ダメ (ﾜｯﾁｮｲ f3c0-9L8h) 05/10(土)22:18 ID:0Ak3eO5y0(1/10) AAS
!extend:checked:vvvvv:1000:512
!extend:checked:vvvvv:1000:512

AIに色々なことをしゃべってもらうんやで
そこそこのデスクトップPC（できれば＋3060 12GB以上）でもなんぼか楽しめるで
自薦・他薦のモデルやツールは>>2以降

本スレ(避難中)
なんJLLM部 ★7
省4
2(1): (ﾜｯﾁｮｲ f3c0-9L8h) 05/10(土)22:19 ID:0Ak3eO5y0(2/10) AAS
初心者は導入しやすいKoboldcppから始めるのをお勧め
(1)NVIDIA、CPUユーザーはここで最新版のKoboldcpp.exeをダウンロード
外部ﾘﾝｸ:github.com
AMDユーザーはこっち
外部ﾘﾝｸ:github.com
(2)ここで良さげなggufモデルをダウンロード
外部ﾘﾝｸ:huggingface.co
省3
3: (ﾜｯﾁｮｲ f3c0-9L8h) 05/10(土)22:20 ID:0Ak3eO5y0(3/10) AAS
oobabooga/text-generation-webui
通称大葉
これもKoboldAIに並んで有用な実行環境やで
外部ﾘﾝｸ:github.com
4: (ﾜｯﾁｮｲ f3c0-9L8h) 05/10(土)22:20 ID:0Ak3eO5y0(4/10) AAS
●Zuntanニキ謹製のツールEasyNovelAssistant
主に小説用で使われとるで
ローカルLLM導入のハードルをぐっと下げてくれたで
初めてのお人はここから始めるのもいいで
外部ﾘﾝｸ:github.com
5: (ﾜｯﾁｮｲ f3c0-9L8h) 05/10(土)22:20 ID:0Ak3eO5y0(5/10) AAS
外部ﾘﾝｸ:github.com
AIチャットに特化したUI、SillyTavernや
キャラをbot的に管理したりグラ登録したり複数選んでグループチャットしたり大量の設定を外部記憶的に管理したり色々できるで
画像出力や音声出力とも連携可能で夢が広がるで
機能が豊富すぎて最初取っ付きにくいのと日本語の解説がほとんど無いのが難点やがRPチャット派は使うと幸せになれるやで
あくまでUI(フロントエンド)やからこれ自体にはAIは内蔵されてないから注意してな
好きなAPIやローカルモデルと接続して使うんやで
6: (ﾜｯﾁｮｲ f3c0-9L8h) 05/10(土)22:21 ID:0Ak3eO5y0(6/10) AAS
例としてKoboldで起動したローカルモデルとSillyTavernを接続する設定や
先にいつもどおりKoboldを起動してな

SillyTavernのプラグのアイコンをクリック
APIに Text Completion を選択
API Typeは KoboldCpp
API keyは不要
API URLに 外部ﾘﾝｸ:localhost:5001
省1
7: (ﾜｯﾁｮｲ f3c0-9L8h) 05/10(土)22:21 ID:0Ak3eO5y0(7/10) AAS
●多くのモデルには「base」と「instruct」の2種類があるで
baseはチューニングされていない、与えられた文書の続きを垂れ流すモデルやで
instructはchatGPTのように対話して質問に答えるようチューニングされたAIやで

⚫︎LLMを動かすにはGPUを使う方法とCPUを使う方法があるで
GPUを使う場合は比較的速く動くけど、VRAM容量の大きなグラボが必要になるで
CPUを使う場合はグラボが不要でメインメモリのRAMを増やすだけで大きなモデルが動かせるというメリットがあるけど、動作速度はGPUよりは落ちるで

⚫︎LLMモデルには量子化されてないsafetensorsファイルと、8bitや4bitなどに量子化されて容量が小さくなったものがあるで
省8
8: (ﾜｯﾁｮｲ f3c0-9L8h) 05/10(土)22:22 ID:0Ak3eO5y0(8/10) AAS
●その他の最近話題になったモデルも挙げとくで
動きの速い界隈やから日々チェックやで

Mistral-7B系:
LightChatAssistant
Antler-7B-RP
Japanese-Starling-ChatV
Antler-7B-Novel-Writing
省15
9: (ﾜｯﾁｮｲ f3c0-9L8h) 05/10(土)22:22 ID:0Ak3eO5y0(9/10) AAS
●高性能なPCがないけどLLMを試したい人や大きなモデルを速く動かしたい人はpaperspaceなどのクラウド環境を使うのも手やで
若干規制はあるもののGoogle AI studioから無料でAPI keyを入手して高性能なAIを使うこともできるのでそれを使うのええで
API keyの入手は外部ﾘﾝｸ:aistudio.google.comここからできるで
10: (ﾜｯﾁｮｲ f3c0-9L8h) 05/10(土)22:24 ID:0Ak3eO5y0(10/10) AAS
テンプレここまで、しばらく更新されてないから過去ログも参考にしてな
上下前次1-新書関写板覧索設栞歴
ｽﾚ情報 赤ﾚｽ抽出 画像ﾚｽ抽出 歴の未読ｽﾚ AAｻﾑﾈｲﾙ
ぬこの手 ぬこTOP 0.321s