Visual Studio Code / VSCode Part16

Visual Studio Code / VSCode Part16 (755ﾚｽ)
上下前次1-新
抽出解除ﾚｽ栞

ﾘﾛｰﾄﾞ規制です｡10分ほどで解除するので､他のﾌﾞﾗｳｻﾞへ避難してください｡

669(1): 07/30(水)09:01 ID:i/n+AUQz(2/3) AAS
俺は動かす環境なんて持ってないけど、Q5_k_mを動かすならVRAMが700GB以上要るんじゃないの？

670(1): 07/30(水)09:38 ID:NbRP2OYy(2/2) AAS
>>669
外部ﾘﾝｸ:qiita.com
にvLLMってのを使ってRTX4090搭載のマシンで動かせてるっぽい記述があるんだよね
それで真似してみたけど動かなくてRAMを増やしてオフロードすれば行けるのかなと