なんJLLM部 避難所 ★9 (502ﾚｽ)
上下前次1-新
抽出解除 必死ﾁｪｯｶｰ(本家) (べ) 自ID ﾚｽ栞 あぼーん
63: 名無しさん＠ピンキー (ﾜｯﾁｮｲ 5bc6-Emuj) [sage] 08/28(木)10:46 ID:zC+NRNLm0(1/2)
4.5無印のUD-IQ2_XXSをDDR4-2666/128GB、VRAM/16GB&12GBで"--cpu-moe"オプション、"gpu-layers"をMAXで読み込んで入力するContextのサイズにもよるけど1.7~3.0トークン/s前後って感じ
67: 名無しさん＠ピンキー (ﾜｯﾁｮｲ 5bc6-Emuj) [sage] 08/28(木)13:49 ID:zC+NRNLm0(2/2)
>>64
63だけどAirのQ4_K_Mなら5トークン/s前後だったよ
ローカルで動画生成とかもするならメモリ増設の価値はあるかも
上下前次1-新書関写板覧索設栞歴
ｽﾚ情報 赤ﾚｽ抽出 画像ﾚｽ抽出 歴の未読ｽﾚ AAｻﾑﾈｲﾙ
ぬこの手 ぬこTOP 0.028s