[過去ﾛｸﾞ] なんJLLM部 避難所 ★8 (1002ﾚｽ)
上下前次1-新
抽出解除 ﾚｽ栞
このｽﾚｯﾄﾞは過去ﾛｸﾞ倉庫に格納されています｡
次ｽﾚ検索 歴削→次ｽﾚ 栞削→次ｽﾚ 過去ﾛｸﾞﾒﾆｭｰ
277: (ﾜｯﾁｮｲ 7fba-RMgv) 06/04(水)19:33:05.22 ID:AUnMmnLx0(1) AAS
>>275
70Bなんか動かせるマシン持ってるやつ少ねえよってのと最近は性能大幅に落としてもいいからエッジデバイスでいかにそれっぽいのを動かせるかに研究が移ってるっぽいからなあ
327: (ﾜｯﾁｮｲ 47c8-bdW6) 06/12(木)10:48:03.22 ID:hOd2zX6t0(1) AAS
>>324
4070tiなら12GBのVRAMに収まるようにって考えるかもしれないけど、
小説目的ならチャットみたいにリアルタイムな応答は必ずしも必要ないからメインメモリも使ってでっかいモデル動かすのもありやで
337(2): (ﾜｯﾁｮｲ 6f7a-gw/n) 06/13(金)22:12:27.22 ID:scS7NRIV0(1) AAS
>>330
３台はすごいな、消費電力的にも。。
どんなモデルでも動かせるんじゃないか
400(1): (ﾃﾃﾝﾃﾝﾃﾝ MMc6-zi4d) 06/18(水)14:26:48.22 ID:ArJjZrMTM(1) AAS
2025年06月18日 11時43分
世界最長のコンテキストウィンドウ100万トークン入力・8万トークン出力対応にもかかわらずたった7800万円でトレーニングされたAIモデル「MiniMax-M1」がオープンソースで公開され誰でもダウンロード可能に
外部ﾘﾝｸ:gigazine.net
504(1): (ｵｯﾍﾟｹ Srb7-uwe9) 06/30(月)21:52:42.22 ID:oYi5WPuwr(1) AAS
皆さんありがとうございます
エロゲーがベストっぽいですね（？）
>>502
書き起こしってデータとしてセリフテキストが格納されてるってことでしょうか？
530: (ﾜｯﾁｮｲ 8f32-tZo/) 07/03(木)19:20:11.22 ID:Z9QAcI2Y0(2/2) AAS
>>527
サンキュー順番に調べてみる
日本語入力でなくて英語入力でいいから、copilotみたいに構図やキャラを変えずに
要求通り描いてくれたらいいので
568: (ﾜｯﾁｮｲ ff32-DZti) 07/07(月)06:11:14.22 ID:8gVXwT/L0(1) AAS
程度によるけど、大企業さまの1000Bとか2000B相当と言われるようなのでも定型文は出ちゃうからどうでしょう
573(2): (ﾜｯﾁｮｲ cfbc-rJp5) 07/07(月)21:32:10.22 ID:/WE7oxmV0(1/3) AAS
Qwen3 の 14b 使ってみたんだけど同サイズのLLMと比べて頭1つ抜けて頭よくてびびる
tool と think 対応っていうのがめちゃくちゃデカい
Open WebUI が Native Tool Calling に対応したから自動でツール使用の判断してくれるし
think のおかげでできないことはできないってちゃんと判断して伝えてくれる
唯一ダメなところは文字数指定の出力だけど、これは他のモデルでも同じだからしょうがない
あとは vision 機能だけあればかなりいい感じなんだけど
Gemma3 は vision 対応してるけど think 未対応だから Qwen3 と知性の面で大きな差を付けられちゃってる感じ
省4
729: (ﾜｯﾁｮｲ 6f75-0RW4) 07/24(木)18:03:59.22 ID:1E+cyGo40(1) AAS
>>728
runpodとか使えばvram72gb環境が0.5$/hぐらいで借りれるで
788(1): (ｽﾌﾟﾌﾟ Sd7f-kMzZ) 08/04(月)01:56:45.22 ID:8+UJWzjed(1/2) AAS
wannabeってgemini2.5proと比べてどうなん？
ある程度遊べるなら画像生成に飽きて持て余してる4090を稼働させたいんやが
806: (ﾜｯﾁｮｲ 5f32-Y3w+) 08/05(火)22:42:25.22 ID:/cfyr/cM0(2/2) AAS
>>804
超にわかなんだけどリーズニングモデルを意味してる事が多いと思ってる
972(2): (ﾜｯﾁｮｲ df3d-fSvz) 08/21(木)00:02:39.22 ID:wevjbNHK0(1) AAS
100B前後のmoeはdenseの24-32B程度の性能しかない(LMarena基準)
それでいてオフロードしないと動かせないし速度もアクティブパラメータ次第だけどVRAMに全部載った30Bより遅い
例えばgpt oss 120B(A5.1B)を4090 + DDR5 96GBで動かすと15-20t/s
GLM４.5 airだと10-12t/s 一方高密度32Bモデルの4bitが4090で30-35t/sも出る
その上微調整しようとするとパラメータ数相応のメモリが要求されるから嫌い
サービスを提供したりcpuオンリー環境なら恩恵あるのは理解できるけどね
上下前次1-新書関写板覧索設栞歴
ｽﾚ情報 赤ﾚｽ抽出 画像ﾚｽ抽出 歴の未読ｽﾚ AAｻﾑﾈｲﾙ
ぬこの手 ぬこTOP 0.035s