なんJLLM部 避難所 ★9 (451ﾚｽ)
上下前次1-新
1: 転載ダメ (ﾜｯﾁｮｲ fec0-xVEZ) 08/23(土)13:52 ID:5lw7ZcNF0(1/10) AAS
!extend:checked:vvvvv:1000:512
!extend:checked:vvvvv:1000:512
AIに色々なことをしゃべってもらうんやで
そこそこのデスクトップPC（できれば＋3060 12GB以上）でもなんぼか楽しめるで
自薦・他薦のモデルやツールは>>2以降
本スレ(避難中)
なんJLLM部 ★7
省4
371: (ﾜｯﾁｮｲ ef87-Ix3D) 09/18(木)01:57 ID:/RNcwulO0(1) AAS
Hermes-4-70b 試してみた
英語でしか試してないけど70bの割にかなり賢いしnsfwいける
372: (ﾜｯﾁｮｲ 43e1-EaHa) 09/18(木)04:12 ID:e3GuW3bO0(1) AAS
Metaはもうオープンウェイト公開しないとか聞いたけど
373: (ﾜｯﾁｮｲ efdb-/yr3) 09/18(木)04:19 ID:fAedirXf0(1/2) AAS
Llama4は実はもう出てるんですよ
誰も使ってないことから性能はお察し
374: (ﾜｯﾁｮｲ 036a-GUyp) 09/18(木)07:32 ID:UbTjkdyd0(1) AAS
ラマ4は大失敗で誰もつかうてない
中国製のがマシ
375(1): (ﾜｯﾁｮｲ 7338-lzKx) 09/18(木)07:58 ID:riAF38zU0(1) AAS
Llama4大失敗を受けて新たに研究所作るぞって研究者買い漁った割にその後音沙汰なかったり迷走してんね
376: (ﾜｯﾁｮｲ bf16-yMi3) 09/18(木)08:05 ID:aQTLffDc0(1) AAS
llama4からMETAは沈黙してしまった
377: (ﾜｯﾁｮｲ 33b5-F72q) 09/18(木)09:41 ID:yrfUVyQ70(1/2) AAS
なんか設定間違ってただけでそこ直せば実は賢いとか言ってたような
378: (ﾜｯﾁｮｲ 13c0-9HTd) 09/18(木)10:04 ID:IWPP/3X80(1) AAS
Llama4 ScoutのUnslothが修正した後のやつ一時期ちょっと使ってたけどそんなに悪くはなかったよ
ただ初動でバグありだったせいか直ったものが出るころにはもう見向きもされなくなってて
FTしたモデルも見かけることなくフェードアウトした感がある…
379: (ﾜｯﾁｮｲ 93fb-rla9) 09/18(木)10:33 ID:WYOqUmlv0(1) AAS
Llamaを色んなシステムに導入させてライセンスビジネスしたかったんだろうけど
ライセンスが自己中すぎる上に他のオープンなモデルに性能で負けてるから見向きもされない
自社のサービスで活用する予定も無いからいつ損切りするかって話が出てると思う
iPhoneに載せたいアップルであっても自社開発を諦めたって報道あるし
LLM開発って金食い虫なんやろな
380: (ﾜｯﾁｮｲ 33b5-F72q) 09/18(木)11:07 ID:yrfUVyQ70(2/2) AAS
結局 meta connect で出た眼鏡は日本で買えるの？
381: (ﾜｯﾁｮｲ b3d3-Gtql) 09/18(木)11:19 ID:embtMFpm0(1) AAS
買えんよ、輸入は知らん
382: (ﾜｯﾁｮｲ 535d-2of/) 09/18(木)11:46 ID:1znMx78/0(1) AAS
>>375
トップがLLM知識あんまないってバカにされたり高額で引き抜いたやつがもう既に居なくなってたりガバガバ所じゃなくなっとるしな
あれじゃmetaは期待できんで
383: (ﾜｯﾁｮｲ efdd-k6hl) 09/18(木)13:58 ID:px8LIMne0(1) AAS
賢さよりもエロ方面の文章表現が知りたいンゴ
384: (ﾜｯﾁｮｲ cf9c-njCc) 09/18(木)18:11 ID:xChEY3UR0(1) AAS
エロ方面は好みも使い方も人それぞれだから自分で色々試してしっくりくるのを見つけるしかない
385: (JP 0H37-F72q) 09/18(木)19:53 ID:kNVmceLxH(1) AAS
Metaは今スマートグラスにお熱やから・・・
386(1): (ﾜｯﾁｮｲ 737f-2leZ) 09/18(木)22:06 ID:LE2em4Gi0(1/2) AAS
Magistral-Small-2509ってどんな感じなのかなここ向けならいいんだけど
387(1): (ﾜｯﾁｮｲ efdb-/yr3) 09/18(木)23:06 ID:fAedirXf0(2/2) AAS
2509はまだ試してないけど、Magistralは推論用のモデルだからNSFWとか小説とかならMistral Smallのほうが体感良い
388(1): (ﾜｯﾁｮｲ 737f-2leZ) 09/18(木)23:41 ID:LE2em4Gi0(2/2) AAS
>>387
推論用って駄目なのかローカルでできる新しい奴っぽかったから残念だ
389: (ﾜｯﾁｮｲ efdb-/yr3) 09/19(金)00:07 ID:zmt5WU+/0(1/5) AAS
>>388
駄目ってわけじゃないけど、もっと真っ当な用途で光るモデルって印象
あくまで体感だけど
390: (ﾜｯﾁｮｲ 3f38-F72q) 09/19(金)00:24 ID:nGRCIev20(1) AAS
>>386
あんまり触れてないからあれだけどロールプレイも普通に行けて素のsmall 3.2よりこっちの方がいい感触
少なくとも今までのmagistralよりは良くなってる
391: (ﾜｯﾁｮｲ 7351-lzKx) 09/19(金)03:15 ID:3v9lWFVo0(1/2) AAS
推論は小説にしろロールプレイにしろ設定への忠実さは上がるけど表現が固くなるっていう諸刃の剣だからな
392: (ﾜｯﾁｮｲ cfa0-Gtql) 09/19(金)08:48 ID:hgot4X9W0(1/3) AAS
ＯｐｅｎＡＩエロ解禁するってよ、Ｇｒｏｋにかなり客持って行かれたからな、イーロンのおかげかな
393: (ﾜｯﾁｮｲ bf1b-tA9e) 09/19(金)09:13 ID:EgO47bgd0(1/9) AAS
真面目性能でもgrokの圧勝だったしなあ
GPT4o、5→リアルタイムweb検索できません
grok4→今日最新のニュースをまとめてくれる
394: (ﾜｯﾁｮｲ cfa9-Gtql) 09/19(金)12:28 ID:URw4g0Lb0(1/2) AAS
今chatgptでautoに設定してると話題によっては勝手にWEB検索してくれるけどそれとは違うんか？
395: (ﾜｯﾁｮｲ bf60-tA9e) 09/19(金)13:04 ID:EgO47bgd0(2/9) AAS
それは昨日とか今日のじゃなくてモデルが作られた当時の最新じゃない情報を適当に並べたりしてるみたい
なんかでたらめ言ってない？って問い詰めると白状した
396: (ﾜｯﾁｮｲ 13c0-9HTd) 09/19(金)13:13 ID:u6Mvtc9k0(1) AAS
いや普通にWEB上のニュースとか検索してソースにしてるぞ
数日前に大雨で土砂崩れがあって旅行行けなくなったんだよねーとか話してたらちゃんとその件を調べて回答してくる
397: (ﾜｯﾁｮｲ bf60-tA9e) 09/19(金)13:17 ID:EgO47bgd0(3/9) AAS
4oの時は平然とデタラメ言ってきて、5になってからはあらかじめ断りを入れてくるようになったけどこんな感じやなあ
画像ﾘﾝｸ[jpeg]:i.imgur.com
398: (ﾜｯﾁｮｲ 731f-S5xV) 09/19(金)13:19 ID:zbVfwlxG0(1/2) AAS
リアルタイムweb検索というのがチャット中に検索してソースを調べることを指すなら普通にGPT5でできてるね
何なら情報源ボタンから確認したソースを一覧で左ペインに出してくれる
399(1): (ﾜｯﾁｮｲ bf60-tA9e) 09/19(金)13:20 ID:EgO47bgd0(4/9) AAS
ってことはもしかしたら4oの時のやりとりの記憶が足を引っ張っててずっと出来ません言い続けてるのかな？
メモリリセットしてみるかあ
400(1): (ﾜｯﾁｮｲ 731f-S5xV) 09/19(金)13:21 ID:zbVfwlxG0(2/2) AAS
右ペインか
>>399
無料プランだったりしない？
401: (ﾜｯﾁｮｲ bf60-tA9e) 09/19(金)13:23 ID:EgO47bgd0(5/9) AAS
>>400
plusだけどちゃんと有料の時にやってたよ
でもそれが理由ですぐgrokに移ったけど
402: (ﾜｯﾁｮｲ bf60-tA9e) 09/19(金)13:29 ID:EgO47bgd0(6/9) AAS
履歴削除してもっかいチャレンジしたら出来ませんとは言わなくなった
でもソースのリンク先に飛んだら全部404のデタラメだわ…
ちなみに今は無料プランでやってるからそのせいなのかも？
画像ﾘﾝｸ[jpeg]:i.imgur.com
403: (ﾜｯﾁｮｲ bf60-tA9e) 09/19(金)13:29 ID:EgO47bgd0(7/9) AAS
画像間違えた、こっちだ
画像ﾘﾝｸ[jpeg]:i.imgur.com
404: (ﾜｯﾁｮｲ efdb-/yr3) 09/19(金)13:54 ID:zmt5WU+/0(2/5) AAS
画像全部404だからなんとも言えねえ
405: (ﾜｯﾁｮｲ bf60-tA9e) 09/19(金)14:05 ID:EgO47bgd0(8/9) AAS
ごめん間違えて削除してしまってた
ちなみにニュースはどれも7月頃のものみたい
画像ﾘﾝｸ[jpeg]:i.imgur.com
画像ﾘﾝｸ[jpeg]:i.imgur.com
406: (ﾜｯﾁｮｲ cfa9-KAWZ) 09/19(金)14:40 ID:URw4g0Lb0(2/2) AAS
「検索してます。。。」の表示出てる？
サーチしてるとそういう表示出るんだけど
もしかしたら検索モードに入ってないかもね
あとDeepResearchはchatgptが頭一つ抜けててるかな
chatgptのDeepResearch使用量を使い切ったときに他のサービス使うことあるけどまだまだ差がある
407(2): (ﾜｯﾁｮｲ efdb-/yr3) 09/19(金)14:48 ID:zmt5WU+/0(3/5) AAS
なんかおかしいね
自分（Plusユーザー）は無印5で何も指定しなくても検索されるわ
出典はピルで出る
画像ﾘﾝｸ[png]:gzo.ai
画像ﾘﾝｸ[png]:gzo.ai
408: (ﾜｯﾁｮｲ bf60-tA9e) 09/19(金)14:53 ID:EgO47bgd0(9/9) AAS
>>407
ふぁーマジかあ😳
なんか色々調べてみるよありがとう
409: (ﾜｯﾁｮｲ efdb-/yr3) 09/19(金)14:58 ID:zmt5WU+/0(4/5) AAS
ちなみに設定のPersonalizationで
- カスタマイズとメモリ機能は全部切ってる
- Advancedの項目でWeb search, Code, Canvas, Advanced voiceは全部有効にしてる
410: (ﾜｯﾁｮｲ 8fc8-Gtql) 09/19(金)15:21 ID:Uv8Nv+Fq0(1) AAS
grok4は文章固すぎるからgemini 2.5proの方がいいな
411(1): (ﾜｯﾁｮｲ 5332-yQ+A) 09/19(金)15:24 ID:WmeQwcXc0(1/2) AAS
OpenRouterってChatGPTみたいにメモリ機能や過去のチャット履歴を参照したりするの？
412: (ﾜｯﾁｮｲ 5332-yQ+A) 09/19(金)15:27 ID:WmeQwcXc0(2/2) AAS
>>407
特に指定しないなら必要だと判断したときのみ自動で検索するね
話題の振り方や内容によっては自動で検索してくれない
413: (ﾜｯﾁｮｲ efdb-/yr3) 09/19(金)15:35 ID:zmt5WU+/0(5/5) AAS
>>411
OpenRouterのChat画面のことやろうけどしてないと思っていい
OpenRouterの本業はAPI提供するだけで、チャット画面はおまけというかデモみたいなものや
ルーム変えればコンテキストは共有しないはず、そもそも各々のAPI呼び出してるだけだからあんまり高度なことはできん
414: (ﾜｯﾁｮｲ cfa0-Gtql) 09/19(金)16:07 ID:hgot4X9W0(2/3) AAS
GPTの文章力はかなりいいんだけど、エロ禁止だったからね
GPTが解禁されたら他も追随するんだろうな
415: (ﾜｯﾁｮｲ cfa0-Gtql) 09/19(金)16:08 ID:hgot4X9W0(3/3) AAS
でもグーグルって個人情報抜きまくりから、エロでgeminiは使いたくないな
416: (ｵｲｺﾗﾐﾈｵ MM1f-jiGm) 09/19(金)17:12 ID:1NnrHC2qM(1) AAS
プンルーはただのルーター
APIも転送してるだけ
カネになるとこだけやってる商売上手やで
417: (ﾜｯﾁｮｲ 7389-lzKx) 09/19(金)17:21 ID:3v9lWFVo0(2/2) AAS
$10チャージしたらいくつかのモデルが無料で使えるってだけで有料モデルはファーストパーティー繋げばいいしな
418(1): (ﾜｯﾁｮｲ 7f03-tCvQ) 09/19(金)18:50 ID:6ywWgI9i0(1) AAS
小説が読みたいんやなくて「会話」でエロいことしたいだけなんやが脱獄したgeminiやgptとローカルでやるのどっちがいいの？ gptにはggufでQ4_K_Mくらいしか動かないですねって苦笑された低スペやけど・・・
419: (ｽｯﾌﾟﾌﾟ Sddf-jiGm) 09/19(金)19:36 ID:0vG+dwO9d(1/2) AAS
>>418
ローカルは出力が遅すぎるという理由で会話は成り立たない
オナスレの作り込まれたエロゲなら待ち前提でローカルでもそこそこ楽しめる
420(1): (ﾜｯﾁｮｲ c320-vFl8) 09/19(金)20:43 ID:86mQsRdB0(1) AAS
ふつうのひとがローカルLLM使うメリットって全くない
個人が持てる程度のPCで動くLLMなら、open routerで無料か無料に等しいコストで使えてしまうので
421(1): (ｽｯﾌﾟﾌﾟ Sddf-jiGm) 09/19(金)20:52 ID:0vG+dwO9d(2/2) AAS
>>420
ファインチューン目当てで環境構築したが
画像生成と違ってGGUFに手軽にLoRAを当てる環境が整ってないのよな
まだまだソフトが発展途上だわ
422: (ﾜｯﾁｮｲ c720-GsOJ) 09/20(土)01:23 ID:ExnGmMsF0(1/2) AAS
ローカルである程度のサイズのLLM動くPCに何十万円もかかってそれで性能有料サービス以下だからなあ
サブスク何年分よ
ゲームの趣味とか他に使い道あるならまあええけども
423: (ﾜｯﾁｮｲ f70b-5nxf) 09/20(土)01:32 ID:hrmH+Mjd0(1) AAS
GPT-ossみたいな単一言語ガチガチにしたMoEモデル+翻訳専用SLMで組めるようになるのがローカルの終着点だと思っとるから数百BパラメータのLLM動かせるような環境はやりすぎな気はするわね
424(2): (ﾜｯﾁｮｲ bf70-XlN9) 09/20(土)08:00 ID:p/li7AZa0(1) AAS
大手IT企業とか大学の研究機関ですらLLMの学習コストが高すぎるって言ってるからこれから量子化とかtransformersに代わる計算コストの低いアーキテクチャの研究が進むかもな
そもそも人間は絵描いたりするより文章書く方が簡単なはずなのにAIは画像生成の方が必要リソースが少なくて言語モデルは倍近くのリソースが必要なのはなんでや
425: (ﾜｯﾁｮｲ a36a-3wxO) 09/20(土)08:06 ID:+jVh25Pi0(1) AAS
既に色々されてるが
426(1): (ﾜｯﾁｮｲ 7732-kQ/7) 09/20(土)08:48 ID:xy79eLcb0(1/2) AAS
>>424
人間が絵より文章を書く方が得意なのは、文章が生きる上での必須技能でより多くの時間を費やすからだろ
人生で絵と文章どっちに多くの時間をかけてるのか考えてみるんだ
427: (ﾜｯﾁｮｲ dbb2-XlN9) 09/20(土)09:57 ID:KQrWb2+N0(1) AAS
>>426
簡単/難しいと得意/不得意は別の論な気もするのだが
ワイは、絵は全てのピクセルに明確な意図を込める必要はなく、なんなら単なるノイズですら魅力的な絵の一部と見なされうるけど、文章において文字はそれが許容されるケースが極めて限定的ってあたりがよりリソースが必要になる原因の一つやないか、と思うんやで
428: (ﾜｯﾁｮｲ f390-gFLl) 09/20(土)09:59 ID:qDJ0IAj30(1) AAS
>>421
普通に追加学習でファインチューンできると思うんだけど、上手くいかない感じ？
まぁVRAMが量子化前のモデルサイズ×4倍くらいは要るのが環境面では大変よね
429(1): (ﾜｯﾁｮｲ c720-GsOJ) 09/20(土)10:13 ID:ExnGmMsF0(2/2) AAS
視覚は莫大な情報の中から必要な物だけを抜き出す作業をしている
見たい部分が正しければ他は間違っていても気にならない
文章は伝えたい情報を全て文章化して相手に渡しており原則として相手は全てに目を通す
最初から最後まで確認するから間違いがあれば気づきやすい
430: (ﾜｯﾁｮｲ 7732-kQ/7) 09/20(土)10:56 ID:xy79eLcb0(2/2) AAS
>>429
もちろんそういう問題もあるけど知識や技術の差も大きいで
アホな小学生は文章の良し悪しや文法の間違いに気付くことが出来ない
絵も同じで画力が無い奴は絵のおかしな部分に気付くことが出来ないし、単に下手なのかわざと崩しているのかの区別もつかない
画力があると絵を見た瞬間に多くの情報を正しく拾っておかしな部分に気付いてしまう
んで人類のほとんどはアホな小学生の文章力と同レベルの稚拙な画力しか持っていないから間違いが気になるはずもない
英語苦手な奴が英文読んだときにその良し悪しに気付かないのも同じことやで
431: (ﾜｯﾁｮｲ be35-/zn3) 09/20(土)12:42 ID:JqUlC67e0(1) AAS
OpenRouterにGrok 4 Fastが来た。
しかもフリー。なんだこれ最高かよ。
432: (ﾜﾝﾐﾝｸﾞｸ MMa2-tQaT) 09/21(日)10:00 ID:TZGwxDCYM(1) AAS
CPU推論ってシングルスレッドが有効？
スリッパだとシングルが弱い上にメモリアクセスにワンクッション挟むからRyzen 8000シリーズより遅くなる印象
ThreadripperならGPU複数枚構成かなぁ
433: (ﾜｯﾁｮｲ e6c8-vRSx) 09/21(日)19:57 ID:ewooSzNA0(1) AAS
CPUよりメモリ速度が問題なんじゃないの
434: (ﾜｯﾁｮｲ f2d3-OtDG) 09/21(日)20:42 ID:UQ+WCB620(1/2) AAS
epycで良くないか?
SP5ソケットなら最大12ch動作やから500GB/sくらい出たはず
それにデュアルcpuにすれば理論帯域幅も倍になるから1000GB/s超えも狙える(ソフト側の問題で実際の速度向上は30%程度らしい)
まあCCDの数で実際の帯域幅は律速されるから12chフルで使えるCPUにすると数百万コースやけど
435: (ﾜｯﾁｮｲ f2d3-OtDG) 09/21(日)21:01 ID:UQ+WCB620(2/2) AAS
調べたら9B45とか128core DDR5 12channel で50万くらいなので組み方次第で100万以下も狙えそう
MoEならGPUも載せて一部オフロードすればさらに高速化狙えるし
436: (ﾜｯﾁｮｲ 7232-QENU) 09/21(日)21:30 ID:cNbiFHnF0(1) AAS
pcie4.0でいいやと思ってsp3マザーとzen2epyc狙い
437: (ﾜｯﾁｮｲ bffd-XlN9) 09/22(月)00:16 ID:oEFIPp9o0(1) AAS
magistral 1.2推論ってやつ使ってないけど普通に楽しいや
438: (ﾜｯﾁｮｲ b6a9-HCKT) 09/22(月)00:26 ID:b0NiJC3J0(1) AAS
epycはxeonのAMXより速いってベンチマーク出してきてるけどほんまなんかな
llmのcpu推論は第三者のベンチマークがほとんどないんよなぁ
439: (ﾜｯﾁｮｲ f2c7-yPTp) 09/22(月)05:29 ID:acG4VmK/0(1) AAS
Threadripper Proやepyc買うなら24コア以上推奨
16コア以下だとCCD数の関係で、例えば8chのメモリ帯域をフルに活かせない
chが増えるほど必要なCCD数がいるはず
440: (ﾜｯﾁｮｲ 2f32-vRSx) 09/22(月)23:57 ID:VRVV12LZ0(1) AAS
jukofyork/command-a-03-2025-uncut
command-aの規制解除版（lora統合かな？）
規制強かった３月版が、エロエロになったわｗ
441: (ﾜｯﾁｮｲ f2b0-gFLl) 09/23(火)04:37 ID:zbNZTUaY0(1) AAS
qwen3 omniは純粋に面白そう
日本語での音声入出力が可能らしい
442: (ﾜｯﾁｮｲ 36a0-vRSx) 09/23(火)07:19 ID:SJavagWE0(1) AAS
まもなく10月だが、Windows11とかCPUとかどうでもいい
TPMなんか無くても何ら問題ない
443: (ﾜｯﾁｮｲ fb07-XBLx) 09/23(火)07:46 ID:Wf25WXgH0(1) AAS
Sandyおじさん「まだ・・・・・・戦える」
444: (ﾜｯﾁｮｲ f7fb-5nxf) 09/23(火)09:25 ID:bSvVK3GU0(1) AAS
Qwen明日またモデル出るっぽいな
ミニサイズで性能良かったら嬉しいが、
445: (ﾜｯﾁｮｲ 2249-YdyK) 09/23(火)14:14 ID:J/x1dQw60(1) AAS
Qwenのリリース速度はすごいな
さすがアリババ
クラウドサービス持ってるところは強い
446: (ﾜｯﾁｮｲ f3a4-KxXW) 09/24(水)06:28 ID:Tg8zlyhV0(1) AAS
>>424
人類が意味と価値を見出せるパターンが文章より圧倒的に少ない
ローカルで動いてる画像生成なんて裸の女の子ドーン！みたいな似たような絵しか出ないやろ
それに自然言語で色々出せるモデルはそろそろローカルじゃキツくなってきてるころや
447(1): (ﾜｯﾁｮｲ db8e-fBkI) 09/24(水)12:35 ID:PYQ60cU40(1/2) AAS
エロ小説をLMstudio君に生成させてみたいんだけどどのモデルがいいのかね？
さすがにgptモデルじゃ無理でした…
448(1): (ｽﾌﾟｰﾌﾟ Sdb2-0UjF) 09/24(水)12:42 ID:l8hRk/lgd(1) AAS
>>447
外部ﾘﾝｸ:huggingface.co
449: (ﾜｯﾁｮｲ db8e-fBkI) 09/24(水)17:44 ID:PYQ60cU40(2/2) AAS
>>448
おほーサンクス
家に帰ってみたら早速実装してみます
450: (ﾜｯﾁｮｲ 72ec-iuAP) 09/24(水)17:49 ID:q/lnB44d0(1) AAS
オナテク板で真面目なLLM性能も議論してるから教えて欲しいんやが
コード添付して色々教えてもらうのってどのモデルがええんや？
GPTやと1つのphpコードであれこれ入門的な説明してもらってるときに
「添付があるからこれ以上続行すらさせへんで」になるからLLMでやりたいんや
451: (ﾜｯﾁｮｲ 7232-QENU) 09/24(水)17:54 ID:gl5NAfdi0(1) AAS
codingとか名前付いてるやつかgpt-ossでいいんじゃない
でもクラウドモデルのが圧倒的にいいからgpt以外も試してみるべきかな
上下前次1-新書関写板覧索設栞歴
ｽﾚ情報 赤ﾚｽ抽出 画像ﾚｽ抽出 歴の未読ｽﾚ AAｻﾑﾈｲﾙ
ぬこの手 ぬこTOP 0.331s*