[過去ﾛｸﾞ] なんJLLM部 避難所 ★3 (1002ﾚｽ)
上下前次1-新
このｽﾚｯﾄﾞは過去ﾛｸﾞ倉庫に格納されています｡
次ｽﾚ検索 歴削→次ｽﾚ 栞削→次ｽﾚ 過去ﾛｸﾞﾒﾆｭｰ
171(2): (ﾜｯﾁｮｲ 37f2-A6Ya) 2024/06/21(金)14:52 ID:3AADtcAX0(1/2) AAS
初心者ですみませんが、ローカルでCR＋使ってる人に質問です
Koboldで使おうと思ってるんだけど設定とかどうしてます？
Formatはinstract modeでInstruct Tag Preset はcommand rを使ってますが日本語で会話しようとしても英語やローマ字読みで返ってくることが多いですし、日本語で返ってきても言葉があやしい（例こんにちわ→こにちわ）、異常な長文等で返ってくる。
根本的になにか間違ってるのか知りたい
環境はWindows11で3090x2と3060x1で c4ai-command-r-plus-IQ3_M.ggufを使ってて理想としてはCR＋のデモみたいになればいいかなと思ってます。
172(2): (ﾜｯﾁｮｲ db32-4P7d) 2024/06/21(金)15:51 ID:???0 AAS
>>171
どの量子化モデル使ってる？
llama.cppの対応が5月くらいまでいろいろあったから、古いのは使わないほうがいいかも（あるいは自分で量子化する）
dranger003/c4ai-command-r-plus-iMat.GGUF
ここのは比較的新しい。iQ4_xsがおすすめ
173(1): (ﾜｯﾁｮｲ cf11-/D4f) 2024/06/21(金)16:48 ID:MA08bSb80(1) AAS
>>171
これはかなり環境依存だと思うが、うちのmacOS環境だとVRAMに乗り切らないのにn_gpu_layersを-1にしてたとき出力がバグってた
その環境だとVRAM 60GB相当だから多分ないと思うが、他にモデルが並走しててVRAM圧迫してる可能性はない？
あとは>>172の言う通り、GGUF/Kobold.cppのバージョンが古いとか
どうしてもダメなら、llama.cppでも試して見たらいいかも
174: (ﾜｯﾁｮｲ af51-acAo) 2024/06/21(金)18:15 ID:r8nldVMK0(2/2) AAS
出たのでGGUF作りましたよっと
外部ﾘﾝｸ:huggingface.co
175: (ﾜｯﾁｮｲ 9a49-Tg6Z) 2024/06/21(金)20:40 ID:???0 AAS
>>170
gguf助かる！！！
176: (ﾜｯﾁｮｲ db32-4P7d) 2024/06/21(金)21:39 ID:???0 AAS
>>170
可能ならQ6_K_M頼むー
このレベルになるとiQだと性能なのか劣化なのか判断つきにくいー
177: (ﾜｯﾁｮｲ 3701-A6Ya) 2024/06/21(金)22:36 ID:3AADtcAX0(2/2) AAS
>>172
>>173
助言ありがとうございます
最新版koboldでdranger003/c4ai-command-r-plus-iMat.GGUF を試したところ少し賢くなった気がしますが、すぐに崩壊してしまいます
PC再起動しての確認なので他のモデルが並走してはないはずです。
おま環かもしれないので一度llama.cppをインストールして試してみます
178(1): (ﾜｯﾁｮｲ c351-W7/q) 2024/06/22(土)01:57 ID:NczgqD4j0(1/6) AAS
>>0176
Q6_K上げました
後はQ5_K_MとQ4_K_Mあたりも作るかな
179: (ｼｬﾁｰｸ 0Cf7-9UmW) 2024/06/22(土)07:43 ID:???C AAS
>>178
ありがとう
帰ったら試すわ
180(1): (ﾜｯﾁｮｲ b321-S5ud) 2024/06/22(土)10:16 ID:???0 AAS
silly tavernのチャットをStyle-Bert-VITS2を使ってAIの発言だけ読み上げって出来ないのかな
181: (ﾜｯﾁｮｲ 4311-4wBL) 2024/06/22(土)12:36 ID:ZuGBVLKt0(1) AAS
Qwen2-72B日本語いい感じだから、Qwen2ベースのdolphin試してみた
まあある程度無修正化されてて日本語も悪くないけど、NSFWだとちょっと繰り返し多くなったり表現力少なかったりで物足りないなぁ
一般用途なら全然アリだとは思うが
まだCommand R Plus一強状態は変わらないか
182(1): (ﾜｯﾁｮｲ ef83-W7/q) 2024/06/22(土)12:38 ID:0UGQK9Y10(1/4) AAS
>>180
できるやろ
Only narrate "quotes" これでセリフのみ読み上げ
Ignore *text, even "quotes", inside asterisks* こいつは太字内のセリフを無視
ただし、日本語の「」は尻タブ的には意味を持たないテキストなので、場合によってはキャラカードのプロンプトを尻タブ基準に直さんとあかん
日本語キャラでもセリフを"こんにちは！"ってフォーマットやな
183(1): (ﾜｯﾁｮｲ b345-S5ud) 2024/06/22(土)13:10 ID:???0 AAS
>>182
おお、出来るんだ
それってsilly tavernの拡張機能のところ？
一覧にはStyle Bert VITS2が無いんだけどひと工夫が必要って感じ？
184: (ﾜｯﾁｮｲ 3fc3-c/oH) 2024/06/22(土)13:14 ID:???0 AAS
対応拡張を上げてくれた人がいたよ
このスレだったか、別のスレだったか
動作はするけどデフォルト音声だとイマイチだった
185: (ﾜｯﾁｮｲ ef83-W7/q) 2024/06/22(土)13:27 ID:0UGQK9Y10(2/4) AAS
>>183
せや、最新版の尻タブならたぶんインストール時に一緒に入るんじゃないかとおもうが、はいってないなら、このスレたどってスクリプト手に入れてや
あと、尻タブ本体(App.bat)とサーバー(Server.bat)両方走らせとく必要あると思うで
186(1): (ﾜｯﾁｮｲ b345-S5ud) 2024/06/22(土)13:33 ID:???0 AAS
前スレの最後の方に神を発見しました
このsbvits2.jsってファイルを上書きってこと？
957 名無しさん＠ピンキー (ﾜｯﾁｮｲ 2209-hJA7) 2024/06/07(金) 00:40:02.54 ID:L+384jCL0
>>927
auto_splitはデフォで有効になってて，これはレスポンス改善への効果はないよ．
API側にstreamingのサポートがあれば短くなるが...
一応，全オプション対応しておいたので，
外部ﾘﾝｸ:github.com
からsbvits2.jsを入手してください．
187(1): (ﾜｯﾁｮｲ ef83-W7/q) 2024/06/22(土)14:24 ID:0UGQK9Y10(3/4) AAS
>>186
既にsbvit2.jsがttsの中にあるなら、上書きしなくてもええとおもで
こっちがオリジナルの投稿なので、こっちのzipが残っている様なら、中見てみるとえーかも
確かsbvit2.js以外のファイルもいくつかは言ってた気がするので尻にsbvit2.jsを認識させるための設定ファイルとかあるんかもしれん。
0867名無しさん＠ピンキー (ﾜｯﾁｮｲ 2209-hJA7)
2024/06/03(月) 22:19:03.38ID:???0
>>851
SillyTevernのttsは自分用に改造していたので良ければどうぞ．
public\scripts\extensions\tts に上書きでOK．
適当に書いてあるので，誰かきれいにしてPR出してほしい．．．
省1
188: (ﾜｯﾁｮｲ c3b5-W7/q) 2024/06/22(土)14:35 ID:NczgqD4j0(2/6) AAS
3ファイルだね
vits関連2つと、indexが登録用と見た
詳しく知りたければAIに投げればよし
外部ﾘﾝｸ:github.com
189(1): (ﾜｯﾁｮｲ b345-S5ud) 2024/06/22(土)14:54 ID:???0 AAS
>>187
そのレスも読んだんだけどリンク先が切れてもう落とせないっぽ🥹
やっぱそれも無いと駄目なんですか…
190: (ﾜｯﾁｮｲ c3b5-W7/q) 2024/06/22(土)15:13 ID:NczgqD4j0(3/6) AAS
少しはググれじゃなくてAIに聞いてｗ
上下前次1-新書関写板覧索設栞歴
あと 812 ﾚｽあります
ｽﾚ情報 赤ﾚｽ抽出 画像ﾚｽ抽出 歴の未読ｽﾚ AAｻﾑﾈｲﾙ
ぬこの手 ぬこTOP 0.012s