なんJLLM部 避難所 ★9 (470ﾚｽ)
上下前次1-新
抽出解除 必死ﾁｪｯｶｰ(本家) (べ) 自ID ﾚｽ栞 あぼーん
ﾘﾛｰﾄﾞ規制です｡10分ほどで解除するので､他のﾌﾞﾗｳｻﾞへ避難してください｡
457(1): (ﾜｯﾁｮｲ 1f81-gFLl) 09/24(水)18:55 ID:ARkRWnqL0(1/3) AAS
どうしてもローカルがいいならgpt-oss 20B/120Bかqwen3 coder試してみて、ダメだったらcodexとかclaude codeにいくしかないと思うで
強めのグラボ積んでるならLM StudioでGPU offloadを最大にしてflash attensionを有効にすればワイの環境ならgpt-oss 120Bで140tok/sec出てるで
長めの文章読み込めるようにcontext lengthをそのモデルの最大(gpt-ossなら13万)にするか、遅くならない程度の値にしておくんやで
459: (ﾜｯﾁｮｲ 1f81-gFLl) 09/24(水)18:56 ID:ARkRWnqL0(2/3) AAS
↑gpt-oss 20Bで140tok/sec出てるで の間違いや
120Bで140tok/sec出るモンスターPCほしいわ
465: (ﾜｯﾁｮｲ 1f81-gFLl) 09/24(水)22:16 ID:ARkRWnqL0(3/3) AAS
ChatGPTの契約はもう必須と捉えてるからコストとして考えてないわ
上下前次1-新書関写板覧索設栞歴
ｽﾚ情報 赤ﾚｽ抽出 画像ﾚｽ抽出 歴の未読ｽﾚ AAｻﾑﾈｲﾙ
ぬこの手 ぬこTOP 0.017s