[過去ログ] なんJLLM部 避難所 ★8 (1002レス)
1-

このスレッドは過去ログ倉庫に格納されています。
次スレ検索 歴削→次スレ 栞削→次スレ 過去ログメニュー
72: (ワッチョイ 3ffb-S5D2) 05/12(月)11:14 ID:NreAwN7e0(2/2) AAS
>>71
そのグラフを見ると確かに4bitでも問題なさそうに見える
巷でも4bitならOKとされているのも理解しているけど、自分の環境で実際に出力されたものを比較すると明らかにq6、q8の方が良い結果を出す確率が高く感じる
小説しかり、コーディングしかり
73: (ワッチョイ 3f7a-kIO2) 05/12(月)11:22 ID:eUjAc2ML0(1/2) AAS
たしか前にもこのスレで日本語に関しては量子化サイズの差が顕著って話が出てたな
74: (ワッチョイ 53c5-7OJS) 05/12(月)13:01 ID:hvKSbNU/0(1) AAS
perplexityはなんか解像度が荒い指標な気がする
75: (オッペケ Sr37-o2kj) 05/12(月)13:09 ID:O6Go3Jijr(1) AAS
perplexityよりKL-divergenceって指標のがいいらしいけどマイナーすぎて測られてないんだよな
76: (ワッチョイ 13bd-9L8h) 05/12(月)13:14 ID:5F0YL1Av0(1) AAS
文章のベンチマークは難しいよね
ベンチ結果は良くても文章としては「?」ってのもあるだろうし

自分たちが人力で日本語のドスケベ評価するしかないんや!
77: (ワッチョイ 737a-KB/z) 05/12(月)13:28 ID:CVsmR3mp0(1) AAS
llmにとって簡単なタスク、地の文と丁寧語>話の一貫性>>>キャラの言動と口調って感じがする
qwen3-4Bですら地の文と丁寧語はそこそこ自然
データが豊富なんやろね
78: (ワッチョイ 3f7a-kIO2) 05/12(月)13:31 ID:eUjAc2ML0(2/2) AAS
grok3に版権キャラの情報を収集させてから全力でなりきってって指示しても微妙だからな
今のはここが変、そこが日本語としておかしいってダメ出し続けると確かに偽物感は消える
でもそれと引き換えに話の柔軟さが消えて返答がワンパターンになっていく
ルールでがんじがらめにされてる感じやね
79: (ワッチョイ cfa9-O94U) 05/12(月)13:56 ID:4tsgHbNM0(1) AAS
ロールプレイ依頼時に画像も収集してきてflux1あたりの高級な画像生成モデルのLoRA勝手に作って
応答するたびにそのコメントに合った画像を生成する・・・
のは今でも技術的にはできそうやけどそこまでの高機能なのは需要なさそうで作る人もいなさそうやな
80: (ワッチョイ efab-KB/z) 05/12(月)13:57 ID:RozHuKzp0(1/2) AAS
ワイ、grok-3-betaとかfast-betaで條澤広ちゃん憑依させてあそんどるけど、モデルの素地が理系頭なのが関係してか、プロンプトで固めなくてもかなり広ちゃんで満足や
口調に関しては特徴的な語尾を中心に10個例示した程度だけで、特に例文に入れてないのに「ワクワクするね?」とか言ってきてくれてめっちゃ広ちゃんで嬉しい
81: (ワッチョイ 439a-o2kj) 05/12(月)14:19 ID:VR31sma10(1/2) AAS
ローカルのスレだけどローカルモデルに限らないならキャラなりきりはGeminiが抜けてる感じがあるな
こういうのはモデルの規模が物を言うからローカルはまだ厳しい
82
(1): (ワッチョイ efab-KB/z) 05/12(月)14:27 ID:RozHuKzp0(2/2) AAS
Geminiって倫理フィルターどうなん?
83: (ワッチョイ 439a-o2kj) 05/12(月)14:39 ID:VR31sma10(2/2) AAS
>>82
スレチやからこっちでやらん?
2chスレ:onatech
ワイより詳しい人おるし
84
(1): (ワッチョイ 3fec-9L8h) 05/12(月)15:16 ID:xpvanbmK0(1) AAS
>>66
チャットテンプレートやモデル自体の目的が違うからやろね
Wannabeは入力欄を自動的にwanabi 24bで学習させた形式に変換してるから内部的にはtekken V7(mistral small3)のチャットテンプレートなんや
kobold(自動的にqwen3のチャットテンプレートを使用)なら動くけどwannabeでは動かないのはそういうことや
そもそもWannabeは指示文から何から何までガッチガチに専用モデルに合わせてるから一般的なモデルを組み合わせるならEasyNovelAssitantの方がええやろな
プロンプトやチャットテンプレートを指定できたはずやし
85: (ワッチョイ 7fa0-m4Fo) 05/12(月)18:23 ID:ZpuTV0NJ0(2/2) AAS
>>71 それ古いよ。古すぎる。
25%はどの論文だったかな。ブックマークしとけばよかった
86: (ワッチョイ 3ff3-OGf6) 05/12(月)19:00 ID:WYVgugKJ0(1) AAS
ベンチマークというものは攻略可能だから、で性能差が1%!って出たらこの指標はもう死んでるなと解釈するのが妥当では
差があることなんて触ってみれば誰にでもわかる話だし
87
(2): (ワッチョイ 3f7e-KB/z) 05/12(月)22:03 ID:fBtqwjV90(1) AAS
外部リンク:cohere.com
(1)量子化の有害な影響は人間の評価で明らかであり、自動指標はその悪影響を大幅に過小評価していることを発見しました。自動タスク全体での日本語の平均1.7%の低下は、現実的なプロンプトで人間の評価者が報告した16.0%の低下に相当します。
(2)言語は量子化によって異なる影響を受け、非ラテン文字言語への影響が最も大きいです。
(3)数学的推論などの難しいタスクは最も急速に低下します。
88: (ワッチョイ 536f-HvxF) 05/12(月)22:23 ID:MP4meQDC0(1) AAS
海外のサービスみたいな一定以上の性能かつ多機能なアプリってあるんかな
89: (ワッチョイ 33ca-aBcW) 05/13(火)05:19 ID:thJbNjvA0(1) AAS
>>70
サンガツやで
前スレニキのいう通りやったね、それを確認したかったんや
擬音ばかりになってもうた

>>84
なるほどそういう仕組みやったんたね
ワイのような初心者にはオートマみたいな便利さがあってホンマに助かっとるけど
省2
90
(1): (ワッチョイ cfa9-O94U) 05/13(火)11:09 ID:/+QPsiaf0(1/2) AAS
llamacppがvision対応したって
つーか今まで対応してなかったんか
91: (ワッチョイ 53a5-7OJS) 05/13(火)11:10 ID:VeubRT620(1) AAS
>>87
これは富士通との協業で分かったことなのかな
92: (ワッチョイ 4338-m4Fo) 05/13(火)11:23 ID:5FBdETti0(1) AAS
>>87 ありがとう
自分が見たのはこれじゃないけど8/4bit量子化の表があるね
人間評価の項目で、日本語はわからんでもないけど
フランス人が厳しいのかひどい評価になってる

また103BだとMGSM(多言語数学ベンチ)で 8.8%の低下だけど
35Bだと 13.1%だから体感は酷い事になりそうだ
93
(1): (ワッチョイ 43e4-qc6l) 05/13(火)14:22 ID:TJQtoGRS0(1) AAS
コンテキストウィンドウのサイズでも結構性能変わるらしいね
4kが性能良くて大きくなるほど劣化するとか
94: (ワッチョイ c324-kIO2) 05/13(火)14:38 ID:aVxKBY3K0(1) AAS
じゃあローカルではコンテキスト長は諦めてcontext shiftやauthor's noteで工夫して対処するのがいいのか
95: (ワッチョイ 7f7e-fS5K) 05/13(火)14:58 ID:cTHuCwdA0(1) AAS
>>93
これはコンテキストウィンドウというより、コンテキストにどれだけ突っ込むかが問題で、設定でどれだけウィンドウを広げても実際にうまく扱えるのはせいぜい4K程度(というモデルが多い)、って話なんじゃないかな
96: (ワッチョイ 5335-9L8h) 05/13(火)15:17 ID:6Egnc5Wq0(1) AAS
ローカルLLMに渡すキャラ設定やルールのことならオンライン用の1/10くらいにしないと脱線するわ体感やけど
97: (ワッチョイ bf35-6cIy) 05/13(火)15:20 ID:UKC8ykUW0(1) AAS
>>90
違う

今までもvision対応していたが、コマンドラインの場合、
普通のLLMを使うときは "llama-simple -m モデル名 -p プロンプト"
VLMを使うときは "llama-llava-cli -m モデル名 --mmproj mprojモデル --image 画像 -p プロンプト"
のように違うコマンドで対応していた

今回対応したのはllama.cpp標準のWebUIで使う場合("llama-server -m モデル名 ")
省3
98: (ワッチョイ efcc-7OJS) 05/13(火)19:58 ID:fD2YVls40(1) AAS
じゃああんまり大した事ないな
99: (ワッチョイ 53e1-K+3N) 05/13(火)20:37 ID:7fg4ZBO+0(1/2) AAS
IntelのGPUが24GB搭載なんちゃうかという話が出とるね、ComputexTaipeiが楽しみやわ。
100: (ワッチョイ 3fec-9L8h) 05/13(火)20:37 ID:O2T+dFUm0(1) AAS
コンテキスト長が伸びれば伸びるほど性能下がるのは体感通りだな
例えばgemini 2.5 proだと10万トークンまではほぼ劣化なし、20万までは性能やレスポンス低下が見えるけどまあ使える、20万以降はハルシネーションや現在のタスクと過去のタスクの混乱が増えてまともに使えないって感じ
ローカルの微調整モデルだと学習時のコンテキスト長が短い(大体4096以下)だからより顕著やろしな
101: (ワッチョイ cfa9-wTYv) 05/13(火)21:11 ID:/+QPsiaf0(2/2) AAS
IntelハイエンドGPU持ってないし
GPUそのままにVRAMマシマシラインナップとか全然やれると思うんだよな・・・
GDDR6でいいから30万くらいで128GB版とか

そういうラインナップそろえだしたらソフト側の対応は勝手にみんながやってくれるだろうし
Intelやってくれへんかなぁ
102: (ワッチョイ 53e1-K+3N) 05/13(火)22:34 ID:7fg4ZBO+0(2/2) AAS
なんかredditよんどると今もうllama.cppのVulkan対応で割と使える感じみたいやで。

外部リンク:old.reddit.com
103: (ワッチョイ 737a-KB/z) 05/13(火)23:13 ID:2FHCa9bh0(1) AAS
コンテキスト長のベンチマークはfiction live benchかeqbenchは参考になると思うで
nvidiaのRULERもあるけど古い情報で更新止まってる
104: (ワッチョイ 7399-KvkU) 05/14(水)19:44 ID:Zo1jp2G/0(1) AAS
今ってユニファイドメモリじゃないPCはCPUやNPUで動かしてRAMで動かしてるの?
105: (ワッチョイ 53ce-9L8h) 05/15(木)02:18 ID:c4xck2YD0(1) AAS
intelはB580x2+48GBか。
B580にチップ間接続用のポートとかあるとは思えないから、
たぶんPCIeブリッジで繋いでるだけだろうな。
それでも48GBはかなり良い。
106: (ワッチョイ 1378-M0vV) 05/15(木)02:26 ID:h4dcgYJm0(1) AAS
インテルじゃないボードベンダー産ってのがいいね
これがアリならまた別のベンダーがもっとVRAMマシマシのを出してくる可能性もある
107: (ワッチョイ efa4-aBcW) 05/15(木)04:46 ID:O2T4jsZf0(1) AAS
4090の96Gができたんだ
終売した4090じゃなくB580なら
もっと手軽にできそうだし欲しい
108: (ワッチョイ 5389-9L8h) 05/15(木)20:12 ID:HU+ywqaX0(1) AAS
Silly Tavernでキャラ設定を1500tokens記述してもうまくいかないのはこのためか
Content Lengthは受付可能な長さであって理解している長さではないとは……
109: (ワッチョイ cf20-/WPO) 05/15(木)21:35 ID:s6ZPhXWD0(1) AAS
ローカルで今のGeminiくらいのレベルの動かせたら最高なんやけどなあ
110: (ワッチョイ ff49-hXBp) 05/15(木)23:22 ID:11aQDTlc0(1) AAS
2年くらいしたらローカルもそれくらいになってるのでは
オープンモデルの成長はほぼ中国頼みだが
111: (ワッチョイ a3f0-LVTp) 05/16(金)01:02 ID:zPRIPccK0(1) AAS
コンテキストサイズが大きくても知ってる奴には大して喜ばれないのがそれやな
どうせコンテキスト増えたらまともに動かんの知ってるから
112: (ワッチョイ cf7a-pbnj) 05/16(金)01:21 ID:KWeVTs2u0(1/2) AAS
vRAM16GBぐらいでAIのべりすとレベルが動いてくれたらかなり満足する気がする
あいつオーパーツすぎんだろ
113: (ワッチョイ 737a-KB/z) 05/16(金)02:05 ID:YAfs24yh0(1) AAS
AIのべりすとって今そんなに強いんだ
個人的にはgemini 2.5がオーパーツかな
flashレベルが32Bくらいに収まってくれたらなぁ…
114: (ワッチョイ cf7a-pbnj) 05/16(金)02:45 ID:KWeVTs2u0(2/2) AAS
今というか数年前のAIのべりすとが凄いなって話、いまだ進化してるんだろうか

あそこまで日本語の文章紡げてなおかつどっかの汎用モデルそのまみ動かしてるとかじゃないから日本語圏のネタとかが通じること多いし
115
(1): (ワッチョイ 4387-9L8h) 05/16(金)05:05 ID:NDKGOZfP0(1) AAS
intelマザーってx16スロットをx4x4x4x4に分割したかったらXeonからになるのね・・・
今あるA770-16GB2枚をさらに増やすためにリグフレームやら諸々そろえてうっきうきで組んでたら、
中古で買ったz690マザーがx8x8分割しか出来なかったわ。
AMDの方はB450とかでもx4x4x4x4分割設定あったから普通に出来るもんだと思ってた。
116: (ワッチョイ ff49-hXBp) 05/16(金)05:09 ID:J3Y9aGgt0(1) AAS
AIのべりすとは今は推論モデルになってるらしい
117
(1): (ワッチョイ 3332-KB/z) 05/16(金)06:57 ID:1KwNjVLM0(1) AAS
12Bぐらいのモデル全然増えんな
Lumimaid-Magnum-v4-12Bももう5か月前やで
118
(2): (ワッチョイ 53f4-DYsT) 05/16(金)15:15 ID:pxehtX/h0(1) AAS
>>115
それってPCIe x16をM.2 x4のボードに変換してM.2をPCIe x4に変換してグラボ繋げる……でええんかな?
119: (ワッチョイ 3fec-9L8h) 05/16(金)17:05 ID:X0xY2ZKE0(1) AAS
>>117
gemma3 12b qwen3 14bが出てきてるからもう少ししたら色々とファインチューニングモデル出てくると思うよ
ベースモデルから検閲厳しいからこのスレの使い方的には微妙だろうけど
120
(1): (ワッチョイ 33f5-qHkk) 05/16(金)17:08 ID:LVZ9H2Vs0(1) AAS
>>118
アリクエにOCULinkx4に変換できるボード売ってた
1枚買ってある(´・ω・`)
121: (ワッチョイ 139c-9L8h) 05/16(金)17:16 ID:6IuTlWlX0(1) AAS
>>118
x16をoculinkx4に変換したりU.2x4に変換したりする。
今回使ったのはU.2に変換する奴。

>>120
そういうのそういうの。
122: (ブーイモ MM5f-DYsT) 05/16(金)19:57 ID:J5q06EDjM(1) AAS
OCULinkか成る程
試してみるか
123: (ワッチョイ 1444-G97A) 05/17(土)01:34 ID:lRU6XnJq0(1) AAS
Mistralが最近小さめのモデル出さないからなぁ
124: (ワッチョイ c0a9-dAft) 05/17(土)05:18 ID:KGLngktH0(1) AAS
intel arc b770が16GBで出るかもって噂出てて、
さらにボードベンダーからb580を2個使った48GBのカードが出てくるって噂と合わせると
将来的にb770を2個使った64GBのモデルが出てきてもおかしくない・・・?
125: (ワッチョイ be33-heYV) 05/17(土)08:27 ID:IODRfGV/0(1) AAS
むしろ中国がLLMに特化した
ミニPC出してきてもおかしくない……

4090魔改造するならそういうのも頼むで……!
禁輸くらっとらん素材なら潤沢にできるやろ頼むわ
126: (ワッチョイ da7a-xkjl) 05/17(土)08:52 ID:sObGMPqJ0(1/3) AAS
アメリカが今の半導体規制を撤廃する代わりにファーウェイ製のチップを使うなって言い出してるんよね
127: (ワッチョイ 1ed2-1wA0) 05/17(土)09:28 ID:GWjV3KzO0(1) AAS
世界に勢力が2個以上あって対立してるのは良いことかもな
競争でどんどん進歩していく
128
(1): (ワッチョイ edbe-eIEy) 05/17(土)10:46 ID:1ZXEfXBW0(1) AAS
AI半導体に関してはAMDとIntelが期待外れだったってのもある

Huaweiは自社チップ向けにTensorFlowやPyTorchのバックエンドを作る位の技術力はあるし、プロセスが数年遅れててもデータセンターならゴリ押しできる

AI研究者の半数以上は中国人って調査もあし、当のプロセス進化も足踏み状態
ここはみんなで協力して乗り切るのが人類全体利益になると思うんだけどね
129: (JP 0H07-heYV) 05/17(土)14:20 ID:eir/EweWH(1) AAS
CUDAがなぁ(´・ω・`)
130
(2): (ワッチョイ 00bc-mR1Y) 05/17(土)14:25 ID:jvzrCaRm0(1/3) AAS
LLMモデルに検閲無しのファインチューニングしたいんだけど既存のNSFWファインチューニングニキらは一体どこのデータセット使ってるんや…
まさか自分で1から準備するとかないよね?
131
(1): (ワッチョイ e6a7-fjSQ) 05/17(土)14:57 ID:slMuR/7R0(1) AAS
>>130
readmeに書いてあったりするから見てみ
ちな日本語だとaratako氏のデータが唯一だと思う
132: (ワッチョイ 00bc-mR1Y) 05/17(土)15:32 ID:jvzrCaRm0(2/3) AAS
>>131
ありがてぇ…
133
(2): (ワッチョイ da7a-xkjl) 05/17(土)16:02 ID:sObGMPqJ0(2/3) AAS
>>130
berghofの人が使ってるエロ同人のお約束に精通した隠語マシマシドスケベデータセット欲しい
134
(1): (ワッチョイ 00bc-mR1Y) 05/17(土)16:26 ID:jvzrCaRm0(3/3) AAS
>>133
あれ傑作よなワイも低俗で上質なデータセット欲しい
無駄に理屈的(小説的)じゃない言い回しが臨場感あってよい
ハートマーク多用する低俗な言い回しも合ってる
漫画の絡み中の短いセリフとかを学習させまくってるのかな
135: (ワッチョイ da7a-xkjl) 05/17(土)16:37 ID:sObGMPqJ0(3/3) AAS
多分そうだと思う
小説から学習させたのがNSFWでエロ同人から学習させたのがERPなんじゃないかな
喘ぎ声のバリエーションが豊富で他のモデルみたいに出し惜しみせず喘ぎまくるし
しかもアナルを責めた時だけおほっ♡とか、んおおっ!?って言い出すのほんと解像度高くて笑う
136: (ワッチョイ be75-WIAZ) 05/17(土)17:13 ID:w9ZW+JGn0(1) AAS
20万くらいでgpt4クラスが動くようにしてくれ
チューニングできるなら3.5でもいいけど
137: (ワッチョイ b16a-RrWD) 05/17(土)19:31 ID:F7HRHJWX0(1) AAS
3.5レベルならもうローカルで動かせてるんでは?🤔
138: (ワッチョイ 9849-10PZ) 05/17(土)20:04 ID:1L6mTa660(1) AAS
Gemma3がもうGPT4よりは賢くないか?
139
(1): (ワッチョイ a0b5-heYV) 05/18(日)01:23 ID:vEw2uS6g0(1) AAS
>>133
>>134
データセットはHuggingFaceにJSONで公開してるやろ
140: (ワッチョイ aa26-xkjl) 05/18(日)01:32 ID:ZZpG2jbp0(1) AAS
>>139
小説の方しか見当たらんや
141: (ワッチョイ 9b40-fjSQ) 05/18(日)01:35 ID:17nfmmHD0(1) AAS
とりあえずリグ組めたからサブPCからA770外してリグに組み込んだらA770認識しなくて草
草じゃないが
142: (ワッチョイ bee2-u0sY) 05/18(日)12:07 ID:VSENzPC/0(1) AAS
w
143: (ワッチョイ c0a9-/IyX) 05/18(日)13:23 ID:Ta/N+pvQ0(1) AAS
縺上▲縺輔=笙・
144: (ワッチョイ e6f0-fjSQ) 05/18(日)23:56 ID:7V5PApoN0(1) AAS
「リグ続き。
A770に続いて手持ちのRTX2070も認識せず。
押し入れから引っ張り出してきたGT710とGTXX660は問題なく動作する。
GT710とGTX660を同時にPCIe x16に接続しても両方認識する。
ライザーカードのPCIe電源ライン用にSATA電源を接続しているのだが、
電源供給が足りないのだろうか。
電源供給量が多いライザーカードを探してみないと。
省2
145: (ワッチョイ 8266-pxlb) 05/19(月)01:03 ID:zz1AHgPa0(1) AAS
申し訳ありませんが、そのリクエストにはお答えできません。
146: (ワッチョイ 00a0-dAft) 05/19(月)07:03 ID:Du+41SFG0(1) AAS
そもそもの電源が強くないとな1000W電源は用意した方がいい
147: (ワッチョイ cd08-eKVg) 05/19(月)15:16 ID:J3NCIUm50(1) AAS
kobold AIってLoRA使える?
インストールして起動してみたものの使い方わかんねぇ
検索しても情報少ないのな
148
(1): (ワッチョイ c0a9-dAft) 05/19(月)21:24 ID:A7Cqjv+y0(1) AAS
DGX Spark、台湾系のメーカーが大体扱ってくれるみたいだから入手性は良さそう
外部リンク[html]:pc.watch.impress.co.jp

256GB版出してくれへんかなぁ
149: (ワッチョイ eaec-fjSQ) 05/19(月)21:29 ID:MumTXT1M0(1) AAS
>>148
DGX sparkはGPUがかなり強い(3090以上)からチャンネル数を倍増して欲しいよね
メモリ量も帯域幅も倍になるはずだし
150: (ワッチョイ 2bd9-H4Ie) 05/19(月)21:55 ID:0QYGS3Jw0(1) AAS
>>128
協力どころか現実は規制規制のオンパレードだから中国で盛り上がるのも当然と言えば当然かも
151
(1): (ワッチョイ eaec-fjSQ) 05/20(火)00:23 ID:hbszdRYX0(1/4) AAS
intel arc 48GBがマジで売られそう
48GBで1000$以下らしい 帯域幅は456GB/sと狭いけどryxan AI maxよりは実用的かも
152: (ワッチョイ 007a-jzjh) 05/20(火)00:41 ID:ft2LOxrW0(1) AAS
google ai studioで全然Androidの仕様とかわかってないのに個人使用では実用レベルのスマホアプリ作れちまった

ハルシネーション起こして正しくない文字列で参照してたり、何度手直してもダメな実行順で関数記載しちゃったりとかはあったけど
バグ部分の違和感さえ人間が気づければほぼリライト任せる形でここまで作れちゃうの革命すぎる
1-
あと 850 レスあります
スレ情報 赤レス抽出 画像レス抽出 歴の未読スレ AAサムネイル

ぬこの手 ぬこTOP 0.034s