[過去ログ] なんJLLM部 避難所 ★3 (1002レス)
上下前次1-新
抽出解除 レス栞
このスレッドは過去ログ倉庫に格納されています。
次スレ検索 歴削→次スレ 栞削→次スレ 過去ログメニュー
173(1): (ワッチョイ cf11-/D4f) 2024/06/21(金)16:48 ID:MA08bSb80(1) AAS
>>171
これはかなり環境依存だと思うが、うちのmacOS環境だとVRAMに乗り切らないのにn_gpu_layersを-1にしてたとき出力がバグってた
その環境だとVRAM 60GB相当だから多分ないと思うが、他にモデルが並走しててVRAM圧迫してる可能性はない?
あとは>>172の言う通り、GGUF/Kobold.cppのバージョンが古いとか
どうしてもダメなら、llama.cppでも試して見たらいいかも
177: (ワッチョイ 3701-A6Ya) 2024/06/21(金)22:36 ID:3AADtcAX0(2/2) AAS
>>172
>>173
助言ありがとうございます
最新版koboldでdranger003/c4ai-command-r-plus-iMat.GGUF を試したところ少し賢くなった気がしますが、すぐに崩壊してしまいます
PC再起動しての確認なので他のモデルが並走してはないはずです。
おま環かもしれないので一度llama.cppをインストールして試してみます
上下前次1-新書関写板覧索設栞歴
スレ情報 赤レス抽出 画像レス抽出 歴の未読スレ AAサムネイル
ぬこの手 ぬこTOP 0.308s*