Visual Studio Code / VSCode Part16 (681ﾚｽ)
上下前次1-新
抽出解除 ﾚｽ栞
669(1): デフォルトの名無しさん [] 2025/07/30(水) 09:01:14.29 ID:i/n+AUQz(2/3) AAS
俺は動かす環境なんて持ってないけど、Q5_k_mを動かすならVRAMが700GB以上要るんじゃないの？
670(1): デフォルトの名無しさん [] 2025/07/30(水) 09:38:55.87 ID:NbRP2OYy(2/2) AAS
>>669
https://qiita.com/takuya77088/items/fc9b19941bee29069b75
にvLLMってのを使ってRTX4090搭載のマシンで動かせてるっぽい記述があるんだよね
それで真似してみたけど動かなくてRAMを増やしてオフロードすれば行けるのかなと
上下前次1-新書関写板覧索設栞歴
ｽﾚ情報 赤ﾚｽ抽出 画像ﾚｽ抽出 歴の未読ｽﾚ AAｻﾑﾈｲﾙ
ぬこの手 ぬこTOP 1.026s*