[過去ﾛｸﾞ] なんJLLM部 避難所 (1002ﾚｽ)
上下前次1-新
このｽﾚｯﾄﾞは過去ﾛｸﾞ倉庫に格納されています｡
次ｽﾚ検索 歴削→次ｽﾚ 栞削→次ｽﾚ 過去ﾛｸﾞﾒﾆｭｰ
1: 転載ダメ (ﾜｯﾁｮｲ e249-iArR) [sage] 2023/12/17(日) 21:48:59.66 ID:???0
!extend::vvvvv:1000:512
!extend::vvvvv:1000:512
AIに色々なことをしゃべってもらうんやで
そこそこのデスクトップPC（できれば＋3060 12GB以上）でもなんぼか楽しめるで
自薦・他薦のモデルやツールは>>2以降
本スレ
なんJLLM部 ★6
2chｽﾚ:liveuranus VIPQ2_EXTDAT: default:vvvvv:1000:512:: EXT was configured
953: (ﾜｯﾁｮｲ e384-/xY8) [sage] 2024/05/02(木) 01:34:26.54 ID:???0
Don't be evil
邪悪になるな(ズルしていいのは俺だけ)
がテック業界の標語なんでェ
954: (ﾜｯﾁｮｲ ff1e-1wV0) [sage] 2024/05/02(木) 02:00:06.27 ID:???0
>>916
koboldでエロプロンプトで試させて貰いました！
金玉を「パンパンに張り詰めた長靴下」と表現したのは茶吹きましたｗ
ところでこれはモデルと関係ないかもですが、koboldで生成してる途中の黄色い文字が、生成結果では最後の方だけ消されて文章が減る現象が結構起こるんですが、これは設定で調整できるんでしょうか？
955: (ﾜｯﾁｮｲ f310-7iwU) [] 2024/05/02(木) 02:45:32.84 ID:1tIZbkbs0(1/4)
Settings>Advancedの左下の方のTrim Sentecesのチェック外すと全部表示されるはずやで
文末まで出力できなかった文章を表示するか否かの設定や
956(2): (ﾜｯﾁｮｲ 53e2-7iwU) [sage] 2024/05/02(木) 08:04:56.89 ID:???0
EasyNovelAssistantへの追加ありがとナス
キャラ設定なげるだけでStable Diffusion用プロンプト生成できるプロンプトも用意したで、NSFWコンテンツも出してくれるのはローカルLLMの特権よ
外部ﾘﾝｸ[txt]:github.com
画像は野郎の手じゃなきゃ10000点やったやつ
画像ﾘﾝｸ
957(1): (ﾜｯﾁｮｲ 83be-7iwU) [sage] 2024/05/02(木) 09:25:53.69 ID:???0
kobolcCppをAPIから利用するときChat ModeとかInstruct Modeってどうやって設定するの？
もしかしてAPIからは設定不可能？
958(1): (ﾜｯﾁｮｲ f310-7iwU) [] 2024/05/02(木) 10:19:56.49 ID:1tIZbkbs0(2/4)
>>957
Instructionモードとか、ChatモードってのはあくまでもWebUIの機能で
API経由でKoboldや大葉使う場合は自前で渡すシステムプロンプトでInstruction的な振る舞いを課したり、
Chat的な振る舞いを課すってのがワイの理解や
959: (ﾜｯﾁｮｲ f310-7iwU) [] 2024/05/02(木) 10:32:18.71 ID:1tIZbkbs0(3/4)
ところでSillyTavernでCohereのCommand-r-plus使いたいんだが、上手く接続できん
トライアルAPIはValid表示されるが、メッセージのやり取りしようとするとスクショの様なBad Requestエラーがでてしまう
何を見落としてるんやろうか？SillyTavernでCommand-r-plusイケてるニキおったら、教えてくれんか？
画像ﾘﾝｸ
960(2): (ﾜｯﾁｮｲ 83be-7iwU) [sage] 2024/05/02(木) 10:36:00.00 ID:???0
>>958
う〜ん、だとするとAPIからはやっぱ無理なのか
Ninjaはどのモデル使ってもAPIからではチャットしてくれないわ、Web UIのChat Modeでないと無理
961(1): (ﾜｯﾁｮｲ a3ff-joKd) [sage] 2024/05/02(木) 10:39:18.41 ID:???0
自分はどこもいじらずcohere選んでAPIキーをペーストしてconnectしたら繋がったな
スクショ見る限り自分と同じに見える
とはいえそれは数日前の話で今帰省中だから再現を確認できん
とりあえずどこか別の画面で設定が必要とかはなさそうよということで
962: (ﾌﾞｰｲﾓ MM47-uLBv) [sage] 2024/05/02(木) 10:59:58.46 ID:???M
>>960
興味あるんだけど、挨拶送るとどんな出力を返してるのかな
関係なしに小説を書き始めるのかな
963(3): (ﾜｯﾁｮｲ f308-7iwU) [] 2024/05/02(木) 11:01:40.74 ID:1tIZbkbs0(4/4)
>>961
サンガツ、と言うことはちょっと根が深そうやな…。
>>960
NinjaはAPIからは無理って意味がちょっとよく分からんのだが？
ワイはKobold.cppをバックエンドにしてSilly TavernでNinja遊んどるけどふつーに遊んどるが
この際Kobold.cppのAPIをSilly Tavernが叩くって構図なのでSilly TavernをInstructにしておけばえーやろの気持ちや
964: (ﾜｯﾁｮｲ a3ff-joKd) [sage] 2024/05/02(木) 11:26:30.02 ID:???0
>>963
とりあえずCohereのアカウント新規に作ってトライアルAPIも取得し直してみるのはどうかな
RedditのSillyTavernスレでBad requestで検索したらCohere以外でも悩まされてる人結構いるわ
965: (ﾜｯﾁｮｲ 83be-7iwU) [sage] 2024/05/02(木) 12:12:36.19 ID:???0
>>963
音声でリアルタイム会話できるようにした自作アプリからNinja使おうと試してるんだよ
でSilly Tavernがどうやってチャットしてるのか確認したら初手「こんばんわ」って挨拶するだけで
5000文字超の長大なプロンプト送信してたわ、今必死に中身解析してるところ
966(1): (ﾜｯﾁｮｲ 83be-7iwU) [sage] 2024/05/02(木) 12:25:30.76 ID:???0
Silly Tavernのリクエストの中身見て大体理解したわ
結局どんなモデルにも強制的にチャットさせてる方法は世間で言われてるプロンプトで頑張るやり方じゃなくて
最初からユーザーとAI双方の名前を付けて途中まで会話が進行した履歴をでっち上げてその続きから始めさせるようにして
AIが勝手にユーザーの発言始めるのをストップワードにユーザー名入れてそこで強制的に打ち切るってパワープレイやったわ
967: (ﾜｯﾁｮｲ cf13-6o3J) [sage] 2024/05/02(木) 12:29:56.16 ID:???0
>>956
サンガツやで！
もうちょっと見やすいようにメニューを構成するのとエロに直接リンク貼れない問題への対処を入れ込んどる
画像生成プロンプト生成なんやがNinjaやVecteusでもそこそこの結果が出とるっぽい
使えそうやったら記事でも補足しておいてもらえたらありがたいで
968: (ｱｳｱｳｳｰ Sa47-zsX1) [sage] 2024/05/02(木) 12:40:32.26 ID:???a
提案になるけどChub aiみたいなキャラカード共有するサイトの日本語版みたいなのがあったら需要ある気がする
他人の書いたキャラカを使い回しできたら文才なくても文章書く手間を省けるからな
969: (ﾜｯﾁｮｲ e387-6o3J) [] 2024/05/02(木) 13:21:23.57 ID:BxbvsKPT0(1)
Vecteusのf16使ってるけど賢くて楽しいわ
小説向けだからかハルシネーションちょっと強めやけど、要約とか一般タスクもサクサクしてくれるのほんと助かる。あと文脈の拾いかたすごいわ
Ninjaの方はQ8の方使ってるからか案外Vecteusよりも更にハルシネーション強めやけど、ミドルスペックでも40t/s出るのはほんまストレスフリーや。f16も試してみたいわ
970(1): (ﾜｯﾁｮｲ bf77-joKd) [sage] 2024/05/02(木) 13:29:55.46 ID:???0
>>963
実家に置いてたN100ミニPCにSTインストールしてCohereのトライアルAPI入れたらちゃんと繋がったよ
画像ﾘﾝｸ
Seraphinaちゃんとチャットできるのも確認した
やはりST側の設定じゃなくて、そちらの接続がうまくいってないんじゃないかと思う
プロキシが悪さしてたりAPIがいつの間にか失効してたりとか色々なケースがあるみたいだ
971: (ﾜｯﾁｮｲ cf13-6o3J) [sage] 2024/05/02(木) 14:01:41.07 ID:???0
>>956
EasyNovelAssistantを更新して「特集テーマ」メニューにゴールシーク関連をまとめるようにしといたで
「作例や記事」メニューからもリンク貼っといた
972(1): (ﾜｯﾁｮｲ 83be-7iwU) [sage] 2024/05/02(木) 14:45:14.02 ID:???0
Silly Tavernを参考に何とかNinja使ってローカルだけで無制限に音声会話できるようになったわ
commandR+みたいな大型モデルと違って音声認識で1文字でも誤字があると正確な応答してくれないのは流石にしょうがないな
話してる女の子の名前がハルナだとしてwhisperの誤認識でアルナになってもcommnadR+は察してくれるけど
Ninjaその他の7Bモデルは別人の話だと思ってしまう
973(1): (ﾜｯﾁｮｲ 6f69-7iwU) [] 2024/05/02(木) 16:19:35.70 ID:aApmX5gk0(1/3)
>>970
別垢作ってもダメだったんで、Silly Tavernをクリーンインストールしたらすんなりいけたわ！
色々検証してもらったりで助かったで、ありがとうさんや！
974(1): (ﾜｯﾁｮｲ 6f69-7iwU) [] 2024/05/02(木) 16:28:11.16 ID:aApmX5gk0(2/3)
>>972
おお、おめでとうさん
>>大型モデルと違って音声認識で1文字でも誤字があると正確な応答してくれない
名前と誤認識のパターンによってはあかんケースもあると思うが、せっかくAPI使ってるなら誤認識の結果の単語の辞書作って、
それらはNinjaに渡す前にアプリ側で全部”ハルナ”に置き換えてからNinjaに渡す方法でどうや？ワイは自作アプリではそんな感じでやってそこそこ機能しとった
なんか面白いアプリ出来たら是非遊ばせてや？
975: (ﾜｯﾁｮｲ bf77-joKd) [sage] 2024/05/02(木) 16:30:50.07 ID:???0
>>973
あまり役に立たなかった気もするが繋がってなにより
CohereのAPIは無料だし速いし性能良いしでありがたいな
976(1): (ﾃﾃﾝﾃﾝﾃﾝ MM7f-uLBv) [sage] 2024/05/02(木) 17:22:06.82 ID:???M
自作アプリおじさん複数いて話の流れが掴めないな
Ninjaと会話できるの？小説しか無理なの？
977: (ﾜｯﾁｮｲ ff7c-2TDZ) [sage] 2024/05/02(木) 17:50:20.76 ID:???0
たまたま安かったとはいえRTX3050買ったことを後悔しとる
画像生成は何とかなっとるけどVRAM8GBじゃローカルLLMはかなり厳しそうやな
978: (ﾜｯﾁｮｲ 63c0-joKd) [sage] 2024/05/02(木) 17:52:18.79 ID:???0
次スレはこのままpinkに立てるとして冒頭のテンプレは結構見直す所が多そうだよね
お奨めモデルもかなり入れ替わったしEasyNovelAssistantもテンプレに入れたいな
979(2): (ﾜｯﾁｮｲ cf7a-rdsl) [sage] 2024/05/02(木) 17:53:00.42 ID:???0
メルカリにでも出して3060にしちゃえば？
今4万円くらいでしょ
なんなら3060もメルカリで買えばもっと安いかも
4060Tiとか3090・4090にいって放出する人いそうだし
980(1): (ﾜｯﾁｮｲ 93a7-MiRA) [sage] 2024/05/02(木) 17:59:07.71 ID:???0
EasyNovelAssistantをアプデしたら地の文を読み上げてくれなくなっちゃったのだ
女の子の一人称視点で書かせて読み上げてもらうの最高だったのだ
981: (ﾜｯﾁｮｲ 6f31-7iwU) [] 2024/05/02(木) 18:09:10.65 ID:aApmX5gk0(3/3)
>>976
完全ではないけど、ほぼストレスない形でNinjaと会話できるで
ワイはKobold.cpp + Silly Tavernでチャット形式であそんどる
ただ、小説書かせる方がモデルの性能発揮されるな、と感じた
982: (ﾜｯﾁｮｲ ff7c-2TDZ) [sage] 2024/05/02(木) 18:11:23.31 ID:???0
>>979
それも検討するわ
せやけどvecteus？のggml-model-Q4_K.ggufっていうやつ
EasyLightChatAssistantに放り込んで適当に設定したら一応動いたわ
めちゃめちゃ賢くてビビっとるんやけど
983: (ﾜｯﾁｮｲ 63c0-joKd) [sage] 2024/05/02(木) 18:25:04.33 ID:???0
次スレ立ててみるわ
984(1): (ﾜｯﾁｮｲ 63c0-joKd) [sage] 2024/05/02(木) 18:34:45.97 ID:???0
立ててみたでー
なんJLLM部 避難所 ★2
2chｽﾚ:onatech
985: (ﾜｯﾁｮｲ 83be-7iwU) [sage] 2024/05/02(木) 18:36:27.41 ID:???0
>>>974
なるほどな、whisperはいつも同じ間違いするから辞書作っておくのは有効そうだな
986(1): (ﾜｯﾁｮｲ cf13-6o3J) [sage] 2024/05/02(木) 18:42:38.96 ID:???0
>>980
読み上げメニューのその他自動読み上げを有効にしたら読み上げるやろか？
デフォルトでその他をオフにしたんは失敗やったかもしらんな
手抜き実装しとるんでアプデでは治らんのやが新規インストール民がおんなじ目に合わんように今デフォルト変更しといたで
あとEasyNovelAssistantにファイル監視機能いれといた
お好みエディタをリアルタイムに使えるのもローカルLLMの利点やね
画像ﾘﾝｸ
一応やがNinjaの使い方や
先に自動起動のサーバーを落としてから起動してな
画像ﾘﾝｸ
省2
987(1): (ﾜｯﾁｮｲ 93a7-MiRA) [sage] 2024/05/02(木) 19:47:12.25 ID:???0
>>986
その他にチェック入れても地の文読んでくれませぬ…
名前無しの「」はその他の声で読んでくれました
「」が付いてない文だと読んでくれないみたいです
988: (ﾜｯﾁｮｲ ffa3-muh7) [sage] 2024/05/02(木) 21:03:30.85 ID:???0
>>979
時々画面にノイズが乗る3060が2万円代前半ぐらいであるね
ゲームやらないならわんちゃん
989(1): (ﾜｯﾁｮｲ cf13-6o3J) [sage] 2024/05/02(木) 21:18:41.09 ID:???0
>>987
不具合報告サンガツ！
アプデしてもろうたら直ってるはずや
990: (ｽﾌﾟﾌﾟ Sd9f-EkDX) [sage] 2024/05/02(木) 21:31:58.30 ID:???d
中古のしかもメルカリでGPU買うのってどうなん
991: (ﾜｯﾁｮｲ 53cc-TlR/) [sage] 2024/05/02(木) 21:36:28.59 ID:???0
ゴミが増えない分直接ドブに金捨てたほうがマシレベル
992(1): (ﾜｯﾁｮｲ 93a7-MiRA) [sage] 2024/05/02(木) 21:49:21.51 ID:???0
>>989
アプデしたら直りました！
ホンマにサンガツです！
993: (ﾜｯﾁｮｲ 83be-7iwU) [sage] 2024/05/02(木) 22:06:38.56 ID:???0
Ninjaは創作物から学習した比重高いんかな？プロンプト工夫してチャットさせてるけど
現実的な設定よりRPG世界で女の子と冒険するみたいな設定のほうが自然な流れで会話してくれる
994: (ﾜｯﾁｮｲ 73d4-2TDZ) [sage] 2024/05/02(木) 22:54:42.00 ID:???0
これ軽いから使ってる soramikadukiStarling-RP-ja-westlake-chatvector
995: (ﾜｯﾁｮｲ cf13-6o3J) [sage] 2024/05/02(木) 23:27:28.80 ID:???0
>>992
こちらこそ不具合報告ホンマに助かっとるんでサンガツや
>>934
VecteusとNinjaのポエムやで
- Vecteus Q4_Kのコスパが凄まじいのでIQ4_XS版も触ってみたい
- Vecteusのコンテキスト広げた版にも期待
- Ninjaも128Kでない版を4Kコンテキストで動かしていると良好
- 128K版ではコンテキスト16Kあたりから品質に悪影響があるような気がする？（LCA 32K感覚比）
- とりあえず128K版を8K運用
- NinjaにInstruction formatを適用すると申し訳率が上がる？
省5
996: (ﾜｯﾁｮｲ cf13-6o3J) [sage] 2024/05/02(木) 23:43:05.97 ID:???0
と思ったら出とった
Twitterﾘﾝｸ:WMjjRpISUEt2QZZ
外部ﾘﾝｸ:huggingface.co
Twitterﾘﾝｸ:WMjjRpISUEt2QZZ
外部ﾘﾝｸ:huggingface.co
外部ﾘﾝｸ:huggingface.co
997: (ﾜｯﾁｮｲ bf77-joKd) [sage] 2024/05/03(金) 04:59:24.63 ID:???0
いつものモモンガ先輩か
998: (ﾜｯﾁｮｲ 73f4-5fNx) [sage] 2024/05/03(金) 06:52:05.42 ID:???0
mmng氏の量子化モデルってK量子化にもiMatrixやってるのかな？
K量子化は見た目で分からんからなぁ
999: (ﾜｯﾁｮｲ cf13-6o3J) [sage] 2024/05/03(金) 07:48:10.92 ID:???0
>>936
言ったからにはやってみた
絵・文章・音声の同時生成を再びや
Twitterﾘﾝｸ:Zuntan03
1000: (ﾜｯﾁｮｲ 6f31-7iwU) [] 2024/05/03(金) 09:43:07.63 ID:3NEtr/p00(1)
>>966
>>最初からユーザーとAI双方の名前を付けて途中まで会話が進行した履歴をでっち上げてその続きから始めさせるようにして
AIが勝手にユーザーの発言始めるのをストップワードにユーザー名入れてそこで強制的に打ち切るってパワープレイやったわ
この、でっちあげるって、Silly Tavernそのものが会話をでっちあげてる、って意味なんか？
1001(1): 1001 [] ID:Thread(1/2)
このスレッドは１０００を超えました。
もう書けないので、新しいスレッドを立ててくださいです。。。
life time: 137日 11時間 54分 9秒
1002(1): 1002 [] ID:Thread(2/2)
BBSPINKの運営はプレミアム会員の皆さまに支えられています。
運営にご協力お願いいたします。
───────────────────
《プレミアム会員の主な特典》
★ 専用ブラウザからの広告除去
★ 過去ログを取得
★ 書き込み規制の緩和
───────────────────
会員登録には個人情報は一切必要ありません。
月300円から匿名でご購入いただけます。
省4
上下前次1-新書関写板覧索設栞歴
ｽﾚ情報 赤ﾚｽ抽出 画像ﾚｽ抽出 歴の未読ｽﾚ AAｻﾑﾈｲﾙ
ぬこの手 ぬこTOP 0.593s*