[過去ﾛｸﾞ] なんJLLM部 避難所 ★3 (1002ﾚｽ)
上下前次1-新
抽出解除 ﾚｽ栞
このｽﾚｯﾄﾞは過去ﾛｸﾞ倉庫に格納されています｡
次ｽﾚ検索 歴削→次ｽﾚ 栞削→次ｽﾚ 過去ﾛｸﾞﾒﾆｭｰ
3: (ﾜｯﾁｮｲ 93c0-oLG6) 2024/06/09(日)07:38:18.86 ID:???0 AAS
Koboldの設定や使い方は英語だけどここが詳しい
外部ﾘﾝｸ:github.com
107: (ﾜｯﾁｮｲ d387-gqBD) 2024/06/16(日)20:29:42.86 ID:ZbCWi3lu0(1) AAS
vecteus2マジか、無印愛用してるから嬉しいわ
134: (ﾜｯﾁｮｲ aa3e-0aQ6) 2024/06/18(火)23:23:29.86 ID:???0 AAS
>>133
sillyも使ってみていて、どっちでも起こる現象だったからkoboldの基本的な設定が出来てないのかなと
モデルによって違ってくるんですね
今試しにninja v1を入れてるので他のとinstractmodeも試してみます
154(1): (ﾜｯﾁｮｲ aa24-acAo) 2024/06/20(木)02:55:00.86 ID:RDD54teE0(1) AAS
>>151
大半のLLMモデルは「〜しない」という指示に追従するのは不得意
サイズのデカい推論能力の高いモデルでも、「〜しない」より「〜しなさい」の方が追従しやすい
なので、可能であれば「あなたはAが好きではない」ではなく「あなたはAが嫌いだ」の方が与えるプロンプトとしては好ましいとされることが多い
>>152
全然違うと思う。Advanced Formatting（Aの文字のアイコン）の右下の方にあるCustom Stopping Stringsに入れる。
Silly Tavernの機能とLLMのメッセージとレスポンスが152の頭の中でごっちゃになってる気がする
Advanced Formattingで設定する各種プロンプト（のように見えるもの）はユーザーの入力（キャラカのプロンプトを含む）や設定を利用しているLLMのモデルに応じて整形して渡したり、
逆にLLMからのレスポンスをメッセージとして表示する前に、適切に整形するためのもの。
ここで{{user}}と表記されている部分にはユーザーの名前に入れ替わる
省1
212(1): (ﾃﾃﾝﾃﾝﾃﾝ MMff-BxGN) 2024/06/24(月)19:26:31.86 ID:???M AAS
>>210
日本語キャラ名はバグで機能しないと上で見たが
ただ、そもそもSTでのマルチチャット自体がキャラごとの思想がどんどん混ざるので意味ないかも
大概は私も！となったりAキャラの戻しにBキャラの返答も含まれたりでカオスに
309: (ﾜｯﾁｮｲ 729f-Y4+J) 2024/07/01(月)21:58:00.86 ID:???0 AAS
Kohya氏が会話生成試みてるみたい もちろん他にもやってる人いるだろうけど
キャラ毎にLLM建てて間で応答を仲介したらいけるのかな……
話題が発散しちゃうか……ターン制にしたり、隠れて話題を制御するメタなLLMも必要か……
323(2): (ﾜｯﾁｮｲ 9311-jOK4) 2024/07/02(火)20:03:19.86 ID:pU92odSm0(3/6) AAS
>>322
そう一方的な感想で罵られても困る
自作アプリはLLMの醍醐味だし、そもそもコードはgithubに全て公開している以上、有益な情報を含んで無いとか、勝手なアプリだとか言われる筋合いは無いわ
有益かどうかは知らんけどgemma-2のプロンプトに関していえば、システムプロンプトに相当するものはマークダウン形式で<start_of_turn>userの中に書けば結構追従性高いよ(このSSのtool callの指示とかキャラ設定も全部そこにぶち込んだ)
これで満足か？
325: (JP 0Hbb-wxoV) 2024/07/02(火)20:28:15.86 ID:pKIneMAgH(1) AAS
遂に選民思想のやつがでてきたか
482: (ﾜｯﾁｮｲ 5332-urh9) 2024/07/15(月)18:25:35.86 ID:???0 AAS
Gleipnirが好き
570: (ﾜｯﾁｮｲ 5f07-Nv8D) 2024/07/22(月)08:39:17.86 ID:???0 AAS
64GBあればフルCPUでcommand-R+ Q4でも動くしな。
まぁ流石に遅いので、無印command-Rに下書きさせて、R+に清書させると効率がいい。
603(1): (ﾜｯﾁｮｲ 8bc7-3QTr) 2024/07/24(水)06:59:12.86 ID:???0 AAS
RAGも大葉のLoraも
なりきりでやって欲しいキャラのセリフと設定入れたら（セリフ集にユーザーとのやり取りも入れてる）
どのモデルも何故かユーザー役になりきるんだが
オススメの知識の入れ方ってある？
725: (ﾜｯﾁｮｲ 9beb-lymj) 2024/07/30(火)19:56:24.86 ID:???0 AAS
>>724
123BのIQ-3M試した
798: (ﾜｯﾁｮｲ 136a-6MSl) 2024/08/07(水)04:50:48.86 ID:???0 AAS
エロ会話だけなら膨大な埋め込み空間の極々狭いところしか使わないからそりゃ小さいモデルでもいいでしょ
新規性のある会話も不要だし同じようなところをウロウロサンプリングしてくれればいいから
807: (ﾜｯﾁｮｲ cfa9-3qL1) 2024/08/07(水)21:09:31.86 ID:cY5a4aED0(1) AAS
これからはllama-70b日本語ベースのgguf悪魔合体モデルを中心に話を進めてくれ
842: (ﾜｯﾁｮｲ ca06-UDdm) 2024/08/12(月)17:26:35.86 ID:???0 AAS
VRAMを少しずつ使って処理をわけるのはvLLMっていうライブラリがあったような
975: (ﾜｯﾁｮｲ 6f37-/lpN) 2024/09/06(金)13:43:14.86 ID:???0 AAS
ビデボ12GBだけど70B動かしてるぜ！
上下前次1-新書関写板覧索設栞歴
ｽﾚ情報 赤ﾚｽ抽出 画像ﾚｽ抽出 歴の未読ｽﾚ AAｻﾑﾈｲﾙ
ぬこの手 ぬこTOP 0.036s