なんJLLM部 避難所 ★9 (470ﾚｽ)
上下前次1-新
抽出解除 必死ﾁｪｯｶｰ(本家) (べ) 自ID ﾚｽ栞 あぼーん
457(1): 名無しさん＠ピンキー (ﾜｯﾁｮｲ 1f81-gFLl) [sage] 09/24(水)18:55 ID:ARkRWnqL0(1/3)
どうしてもローカルがいいならgpt-oss 20B/120Bかqwen3 coder試してみて、ダメだったらcodexとかclaude codeにいくしかないと思うで
強めのグラボ積んでるならLM StudioでGPU offloadを最大にしてflash attensionを有効にすればワイの環境ならgpt-oss 120Bで140tok/sec出てるで
長めの文章読み込めるようにcontext lengthをそのモデルの最大(gpt-ossなら13万)にするか、遅くならない程度の値にしておくんやで
459: 名無しさん＠ピンキー (ﾜｯﾁｮｲ 1f81-gFLl) [sage] 09/24(水)18:56 ID:ARkRWnqL0(2/3)
↑gpt-oss 20Bで140tok/sec出てるで の間違いや
120Bで140tok/sec出るモンスターPCほしいわ
465: 名無しさん＠ピンキー (ﾜｯﾁｮｲ 1f81-gFLl) [sage] 09/24(水)22:16 ID:ARkRWnqL0(3/3)
ChatGPTの契約はもう必須と捉えてるからコストとして考えてないわ
上下前次1-新書関写板覧索設栞歴
ｽﾚ情報 赤ﾚｽ抽出 画像ﾚｽ抽出 歴の未読ｽﾚ AAｻﾑﾈｲﾙ
ぬこの手 ぬこTOP 0.035s