[過去ﾛｸﾞ] なんJLLM部 ★7 (1002ﾚｽ)
上下前次1-新
抽出解除 必死ﾁｪｯｶｰ(本家) (べ) ﾚｽ栞 あぼーん
このｽﾚｯﾄﾞは過去ﾛｸﾞ倉庫に格納されています｡
次ｽﾚ検索 歴削→次ｽﾚ 栞削→次ｽﾚ 過去ﾛｸﾞﾒﾆｭｰ
158: (ﾜｯﾁｮｲ fb1b-BQFt) 03/20(水)02:59 ID:xP9UpbZh0(1/3) AAS
>>156
> 自分のキャラを外部に保存
キャラクターを選択したときのキャラクタ名の下段に5つのアイコン（★📕🌐📕📄みたいな）が並んでて、その一番右がExport and Download。
バックアップ目的なら、SillyTavernをインストールしたフォルダ下のpublic\charactersをコピーするのが楽かも。
160(1): (ﾜｯﾁｮｲ fb1b-BQFt) 03/20(水)05:27 ID:xP9UpbZh0(2/3) AAS
>>159
GPTQ、AWQ、EXL2はGPU&VRAMしか使わない。
GGUFは基本的にはCPU&メインメモリを使うけど、n-gpu-layers設定で一部をGPU&VRAMにオフロードすることもできる。
202(2): (ﾜｯﾁｮｲ fb1b-BQFt) 03/20(水)21:18 ID:xP9UpbZh0(3/3) AAS
>>199
WebUIのコンソールにメモリ不足とかのエラーメッセージ出てない？
ローダーによってはモデルのロードに成功しても、生成時にコンテキストのために追加のメモリを要求するからその時点でメモリ不足になることがある。
ExLlamaでGPTQやEXL2を使うときはロード時にmax_seq_len分までVRAMを確保するから生成時のメモリ不足は起こりにくい。
上下前次1-新書関写板覧索設栞歴
ｽﾚ情報 赤ﾚｽ抽出 画像ﾚｽ抽出 歴の未読ｽﾚ AAｻﾑﾈｲﾙ
ぬこの手 ぬこTOP 0.145s*