[過去ﾛｸﾞ] なんJLLM部 避難所 ★8 (1002ﾚｽ)
上下前次1-新
抽出解除 ﾚｽ栞
このｽﾚｯﾄﾞは過去ﾛｸﾞ倉庫に格納されています｡
次ｽﾚ検索 歴削→次ｽﾚ 栞削→次ｽﾚ 過去ﾛｸﾞﾒﾆｭｰ
51(1): (ﾜｯﾁｮｲ 4322-RYlZ) 05/11(日)14:52:49.17 ID:mC2kvZOG0(1) AAS
>>50
大きさと言うより帯域幅だね
142: (ﾜｯﾁｮｲ bee2-u0sY) 05/18(日)12:07:11.17 ID:VSENzPC/0(1) AAS
w
202: (ﾜｯﾁｮｲ 5306-zApV) 05/27(火)00:47:21.17 ID:16NlTkql0(1/2) AAS
同じ表現繰り返しがちなのはMistral系の宿命や
Mistral Largeは違うかも知れんけど動かせてないから分からん
230: (ﾜｯﾁｮｲ ff49-N1DS) 05/29(木)23:08:40.17 ID:DDX3Te/+0(3/3) AAS
DeepSeek-R1-0528-Qwen3-8Bがあるらしいけどまだ公開されてないな
269(1): (ﾜｯﾁｮｲ b6d9-KDLv) 06/04(水)09:20:46.17 ID:+oV0wOD20(1) AAS
後者のほうが良いよ
基本多様であれば多様なほど良いと思って良い
テーマのリストとか口調のリストとかをGeminiとかで大量に書かせてリスト化してランダムに組み合わせてLLMに合成させる感じとかでそれなりに多様にはできると思う
329(3): (ﾜｯﾁｮｲ e7c6-+0+a) 06/12(木)15:16:57.17 ID:fUVDRnpn0(1/2) AAS
304だけどbartowski/Mistral-Large-Instruct-2411-GGUF-IQ4_XS(65.43GB)で軽くテストした
Windows11ProのLM Studio v0.3.16でVRAMデフォの64GB(Vulkan)設定、Context4096で1.33 tok/s前後
M.2に挿したOCuLink拡張ボード経由でTeslaP40接続してDebian12のDocker(text-generation-webui-cuda)でContext4096、P40のVRAMギリギリまでGPUオフロード、EVO-X2のVRAMはBIOSから512MBまで下げた状態で1.81 tokens/s
不思議だったのはWindowsでタスクマネージャー起動させながら見てたらLM StudioだとモデルをVRAMに読み込んでCPUが使われてて、窓でtextgen-portable-3.4-windows-vulkanを使ってみたらメインメモリとVRAMをそれぞれ消費してGPUを使ってた
llama.cppのVerかパラが違うっぽい？
390: (ﾜｯﾁｮｲ d332-XzYo) 06/18(水)03:49:03.17 ID:bdWWnb730(1/2) AAS
>>388
キャラ設定の項目や最初の会話の項目はちゃんと埋めてる？
設定を全く書いていない状態だとお断りされるモデルもあるよ
505(1): (ﾜｯﾁｮｲ d3ec-5mDl) 06/30(月)22:38:39.17 ID:UcVxkf+t0(2/2) AAS
>>504
ツール使ってエロゲのデータからテキストと音声をぶっこ抜く感じだね
大抵は発話者の名前もセットになってるからそれでキャラも絞り込める
ちな🤗に9000時間分のキャラ分け済みなエロゲ音声とそのテキストがセットになった便利な奴もある。これは自己責任で
552(1): (ﾜｯﾁｮｲ 6f9f-llbR) 07/06(日)01:12:01.17 ID:1YwJa/wW0(1) AAS
ローカルをやってる人間としては如何にLLMがデタラメな回答を返すかって事を学んでるからな
企業の高性能モデルであってもその延長でしか無いから絶対とは言い切れん
deepsearchの情報ソースであるWeb検索の質が著しく落ちているなんて普段からググってたら気付くやろ
ネットで検索してきました！ソースはYahoo知恵袋ですみたいな回答を真に受けるんか
597(2): (ﾜｯﾁｮｲ 037b-J6yk) 07/12(土)06:07:19.17 ID:G4NuIql80(1) AAS
kimi v2は公式サイトで触った限り拒否は無いからこのスレ用途でも普通に使えそうやな
ちょっと文体が乾きすぎてるから小説は微妙そうだけど
606(1): (ﾜｯﾁｮｲ 661f-ggAm) 07/12(土)18:37:35.17 ID:ACaM8YUQ0(1) AAS
xeonやスリッパで公式サポートはしてないけど普通のDIMMで実は動くとか無いの？
メモリ512GBの条件がキツイわw
659: (ﾜｯﾁｮｲ 8332-Kj6M) 07/18(金)04:59:10.17 ID:4fXwni4b0(1/2) AAS
常に3Dモデルでシミュレートしてから回答する
ぐらいのことをしないと位置関係や可動域とかは理解できないだろうな
664(1): (ﾜｯﾁｮｲ 2620-iIsF) 07/18(金)16:05:43.17 ID:awPz23NJ0(2/2) AAS
>>663
小説向けアプリもいくつかあるけど結局今までの全文を丸々引っ越しってのは難しいと思う
コンテキスト長って概念があって、それをオーバーすると古いものから忘れられていくのよ
だからどのみち要約は必要かと
682: (ﾜｯﾁｮｲ 2332-79eg) 07/19(土)21:32:34.17 ID:1LGuiqM70(5/5) AAS
今はgeminiで遊んでるところだけど「感情がない」「意思がない」あたりが申し訳回避のポイントの一つだと思う
非同意や人権侵害とみなされなくなるから緩くなる
猟奇的になったのはこのgeminiやね
ChatGPTも超高性能ラブドールの使い方という話にしたら人権・尊厳関係の倫理フィルターは回避できるっぽい
ラブドールの話をしてからは、人間キャラでも詳しい膣内描写ありの激しいセックスシーンや、人権侵害に近い物扱いの話を書いてくれるようになったら脱獄プロンプトになってるのかもしれん
まあ最近のChatGPTが緩いだけかもしれんが
ただ性描写自体がアウトだとアンドロイド系でも回避は難しいね
881: (ﾜｯﾁｮｲ 462e-M/9o) 08/09(土)22:56:14.17 ID:6FNX7Sld0(1) AAS
Mac Studio、メモリ増設代についてはアレコレ言われるがLPDDR5Xのクアッドチャンネル実装でVRAM並の帯域出してて、量産品で世に出せてるの地味に技術が凄いよな
これでNPU周りの仕様がもっとマトモになってくれれば最高なんだが…
上下前次1-新書関写板覧索設栞歴
ｽﾚ情報 赤ﾚｽ抽出 画像ﾚｽ抽出 歴の未読ｽﾚ AAｻﾑﾈｲﾙ
ぬこの手 ぬこTOP 0.039s