なんJLLM部 避難所 ★9 (500ﾚｽ)
上下前次1-新
抽出解除 ﾚｽ栞
ﾘﾛｰﾄﾞ規制です｡10分ほどで解除するので､他のﾌﾞﾗｳｻﾞへ避難してください｡
104: 名無しさん＠ピンキー (ﾜｯﾁｮｲ bf32-iuFk) [sage] 09/02(火)09:19:11.40 ID:ML4JfrKZ0(1)
大体winアプデに含まれたドライバ自動で当てられておかしくなってるから入れ直し
282: 名無しさん＠ピンキー (ﾜｯﾁｮｲ bfeb-zocN) [sage] 09/13(土)23:40:50.40 ID:BxruNEPP0(2/2)
推論速度はともかくプロンプト評価速度が速くなればMoE用としては完璧かも
457(1): 名無しさん＠ピンキー (ﾜｯﾁｮｲ 1f81-gFLl) [sage] 09/24(水)18:55:55.40 ID:ARkRWnqL0(1/3)
どうしてもローカルがいいならgpt-oss 20B/120Bかqwen3 coder試してみて、ダメだったらcodexとかclaude codeにいくしかないと思うで
強めのグラボ積んでるならLM StudioでGPU offloadを最大にしてflash attensionを有効にすればワイの環境ならgpt-oss 120Bで140tok/sec出てるで
長めの文章読み込めるようにcontext lengthをそのモデルの最大(gpt-ossなら13万)にするか、遅くならない程度の値にしておくんやで
上下前次1-新書関写板覧索設栞歴
ｽﾚ情報 赤ﾚｽ抽出 画像ﾚｽ抽出 歴の未読ｽﾚ AAｻﾑﾈｲﾙ
ぬこの手 ぬこTOP 0.033s