Ember (758ﾚｽ)
上下前次1-新
抽出解除 ﾚｽ栞
684(1): 安倍晋三エクスプローラー 05/19(火)12:24 ID:jo4IEQmh0(3/3) AAS
BEｱｲｺﾝ:001.gif
RTX20シリーズ以降での生成速度とか、8B以上のモデルでの生成品質はどんな感じだろうか
高性能グラボを持ってないので試せない
687(1): 05/20(水)07:45 ID:ER4HLsg70(1/2) AAS
>>684
RTX5070Ti(16GB)でGemma3-12B-ITが使えた
MoEの事は良く分からないけどGemma4-26B-A4B (MoE)はロードが出来ませんね
このスレの要約をやらせると
Gemma3-12B-ITはモデルロード込みで
7秒でイニシャルトークン出力
トータル15秒で完了(「続きを生成」ボタンが表示されるまで)
ロード後は、イニシャルトークン2~3秒でトータル9秒
Qwen3-14Bも同じくらいのスピードで動くのですが画像のようになって文字化けしてます
画像ﾘﾝｸ[png]:i.imgur.com
省2
上下前次1-新書関写板覧索設栞歴
ｽﾚ情報 赤ﾚｽ抽出 画像ﾚｽ抽出 歴の未読ｽﾚ AAｻﾑﾈｲﾙ
ぬこの手 ぬこTOP 0.568s*