なんJLLM部 避難所 ★11 (18ﾚｽ)
上下前次1-新
ﾘﾛｰﾄﾞ規制です｡10分ほどで解除するので､他のﾌﾞﾗｳｻﾞへ避難してください｡
1: 転載ダメ (ｽｯﾌﾟﾌﾟ Sd1f-l7bU) 02/14(土)16:50 ID:ax4AchcId(1/12) AAS
!extend:checked:vvvvv:1000:512
!extend:checked:vvvvv:1000:512
AIに色々なことをしゃべってもらうんやで
そこそこのデスクトップPC（できれば＋3060 12GB以上）でもなんぼか楽しめるで
自薦・他薦のモデルやツールは>>2以降
本スレ(避難中)
なんJLLM部 ★7
2chｽﾚ:liveuranus
前スレ(実質本スレ)
なんJLLM部 避難所 ★8
省5
2(1): (ｽｯﾌﾟﾌﾟ Sd1f-l7bU) 02/14(土)16:51 ID:ax4AchcId(2/12) AAS
初心者は導入しやすいKoboldcppから始めるのをお勧め
(1)NVIDIA、CPUユーザーはここで最新版のKoboldcpp.exeをダウンロード
外部ﾘﾝｸ:github.com
AMDユーザーはこっち
外部ﾘﾝｸ:github.com
(2)ここで良さげなggufモデルをダウンロード
外部ﾘﾝｸ:huggingface.co
この2つのファイルだけで動く
Koboldの設定や使い方は英語だけどここが詳しい
外部ﾘﾝｸ:github.com
3: (ｽｯﾌﾟﾌﾟ Sd1f-l7bU) 02/14(土)16:51 ID:ax4AchcId(3/12) AAS
oobabooga/text-generation-webui
通称大葉
これもKoboldAIに並んで有用な実行環境やで
外部ﾘﾝｸ:github.com
4: (ｽｯﾌﾟﾌﾟ Sd1f-l7bU) 02/14(土)16:51 ID:ax4AchcId(4/12) AAS
●Zuntanニキ謹製のツールEasyNovelAssistant
主に小説用で使われとるで
ローカルLLM導入のハードルをぐっと下げてくれたで
初めてのお人はここから始めるのもいいで
外部ﾘﾝｸ:github.com
5: (ｽｯﾌﾟﾌﾟ Sd1f-l7bU) 02/14(土)16:52 ID:ax4AchcId(5/12) AAS
外部ﾘﾝｸ:github.com
AIチャットに特化したUI、SillyTavernや
キャラをbot的に管理したりグラ登録したり複数選んでグループチャットしたり大量の設定を外部記憶的に管理したり色々できるで
画像出力や音声出力とも連携可能で夢が広がるで
機能が豊富すぎて最初取っ付きにくいのと日本語の解説がほとんど無いのが難点やがRPチャット派は使うと幸せになれるやで
あくまでUI(フロントエンド)やからこれ自体にはAIは内蔵されてないから注意してな
好きなAPIやローカルモデルと接続して使うんやで
6: (ｽｯﾌﾟﾌﾟ Sd1f-l7bU) 02/14(土)16:52 ID:ax4AchcId(6/12) AAS
例としてKoboldで起動したローカルモデルとSillyTavernを接続する設定や
先にいつもどおりKoboldを起動してな
SillyTavernのプラグのアイコンをクリック
APIに Text Completion を選択
API Typeは KoboldCpp
API keyは不要
API URLに 外部ﾘﾝｸ:localhost:5001
これでいける
7: (ｽｯﾌﾟﾌﾟ Sd1f-l7bU) 02/14(土)16:52 ID:ax4AchcId(7/12) AAS
●多くのモデルには「base」と「instruct」の2種類があるで
baseはチューニングされていない、与えられた文書の続きを垂れ流すモデルやで
instructはchatGPTのように対話して質問に答えるようチューニングされたAIやで
⚫︎LLMを動かすにはGPUを使う方法とCPUを使う方法があるで
GPUを使う場合は比較的速く動くけど、VRAM容量の大きなグラボが必要になるで
CPUを使う場合はグラボが不要でメインメモリのRAMを増やすだけで大きなモデルが動かせるというメリットがあるけど、動作速度はGPUよりは落ちるで
⚫︎LLMモデルには量子化されてないsafetensorsファイルと、8bitや4bitなどに量子化されて容量が小さくなったものがあるで
量子化モデルにはGGUFやGPTQなどの種類があるで
基本的にはCPU (llama.cpp)で動かす場合はGGUF、GPUで動かす場合はGPTQを選べばええで
量子化は4bitまでならほとんど精度が落ちないのでよくわからない場合はIQ4_XSやQ4_k_mなどにしとけばええで
省5
8: (ｽｯﾌﾟﾌﾟ Sd1f-l7bU) 02/14(土)16:52 ID:ax4AchcId(8/12) AAS
●その他の最近話題になったモデルも挙げとくで
動きの速い界隈やから日々チェックやで
Mistral系
LightChatAssistant
Antler-7B-RP
Japanese-Starling-ChatV
Antler-7B-Novel-Writing
SniffyOtter-7B-Novel-Writing-NSFW
Ninja-v1
Vecteus-v1
省15
9: (ｽｯﾌﾟﾌﾟ Sd1f-l7bU) 02/14(土)16:53 ID:ax4AchcId(9/12) AAS
●高性能なPCがないけどLLMを試したい人や大きなモデルを速く動かしたい人はpaperspaceなどのクラウド環境を使うのも手やで
若干規制はあるもののGoogle AI studioから無料でAPI keyを入手して高性能なAIを使うこともできるのでそれを使うのええで
API keyの入手は外部ﾘﾝｸ:aistudio.google.comここからできるで
10: (ｽｯﾌﾟﾌﾟ Sd1f-l7bU) 02/14(土)16:53 ID:ax4AchcId(10/12) AAS
テンプレここまで、しばらく更新されてないから過去ログも参考にしてな
11: (ｽｯﾌﾟﾌﾟ Sd1f-l7bU) 02/14(土)16:54 ID:ax4AchcId(11/12) AAS
今はもう「初心者はLM Studio使え」でいい気もするねw
外部ﾘﾝｸ:lmstudio.ai
12: (ｽｯﾌﾟﾌﾟ Sd1f-l7bU) 02/14(土)16:59 ID:ax4AchcId(12/12) AAS
ローカルLLMのパラ数は80bや235bでもクラウド最先端モデルの数分の1〜10分の1や
Web検索MCPやRAG無しで細かい知識を問うのはローカルでは無理やぞ
エロ表現からWikipediaまでドメイン特化ナレッジのお膳立てが必要や
13: (ﾜｯﾁｮｲ 6fd7-e9mt) 02/14(土)17:10 ID:vT10OKLH0(1) AAS
さんいち
14: (JP 0Hff-5Z9b) 02/14(土)22:59 ID:nD7vTMjwH(1) AAS
サンイチ
15(1): (ﾜｯﾁｮｲ 8308-MnKj) 02/15(日)02:38 ID:mOsIA5T70(1) AAS
前スレの最後で気になったレスあったけど
LLMは明確な答えある事柄に関してその過程を聞くのがベストやろ
LLM自身が知らん事を聞くと平気で嘘が返ってくるし
聞いた側もその嘘を見抜けんからリスクが高すぎる
現状で重宝されとるプログラミングとかはゴールがあって途中を書けって話やからリスクは低いし動かんかったらやり直せばええだけや
想定外のバグ潜んでるけど
16: (ｽｯﾌﾟﾌﾟ Sd1f-l7bU) 02/15(日)02:51 ID:GJoyO2lRd(1) AAS
コンピューターはインプットしたものを加工してアウトプットするだけや
魔法の箱やない
それだけ
17: (ﾜｯﾁｮｲ 4312-EL+m) 02/15(日)03:48 ID:dx1pD3D80(1) AAS
人が組んでも想定外のバグは起こるしなぁ
セキュリティにだけは気をつけなあかんが
18: (ｼｬﾁｰｸ 0Ce7-k9wr) 02/15(日)11:00 ID:DzZ/4/jYC(1) AAS
>>15
それを逆に利用してエロ書かせたりしてるw
例えばあるアニメでこんなエロいシーンあったの知ってる？
って聞いてもちろんです！って返答したらそのエピソードの小説書いてもらう
自分で言ったんだから否定もできないw
上下前次1-新書関写板覧索設栞歴
ｽﾚ情報 赤ﾚｽ抽出 画像ﾚｽ抽出 歴の未読ｽﾚ AAｻﾑﾈｲﾙ
ぬこの手 ぬこTOP 0.018s