Visual Studio Code / VSCode Part16 (681レス)
前次1-
抽出解除 必死チェッカー(本家) (べ) 自ID レス栞 あぼーん

668
(1): デフォルトの名無しさん [] 2025/07/30(水) 08:43:06.85 ID:NbRP2OYy(1/2) AAS
ローカルでkimi k2使ってる人居る?
RTX5090とRAM64GBの環境でQ5_k_mでさえ動かなかったんだが
どれくらいのスペックにしてる?
670
(1): デフォルトの名無しさん [] 2025/07/30(水) 09:38:55.87 ID:NbRP2OYy(2/2) AAS
>>669
669(1): デフォルトの名無しさん [] 2025/07/30(水) 09:01:14.29 ID:i/n+AUQz(2/3) AAS
俺は動かす環境なんて持ってないけど、Q5_k_mを動かすならVRAMが700GB以上要るんじゃないの?
外部リンク:qiita.com
にvLLMってのを使ってRTX4090搭載のマシンで動かせてるっぽい記述があるんだよね
それで真似してみたけど動かなくてRAMを増やしてオフロードすれば行けるのかなと
前次1-
スレ情報 赤レス抽出 画像レス抽出 歴の未読スレ AAサムネイル

ぬこの手 ぬこTOP 0.029s