[過去ﾛｸﾞ] なんJLLM部 避難所 ★8 (1002ﾚｽ)
上下前次1-新
抽出解除 ﾚｽ栞
このｽﾚｯﾄﾞは過去ﾛｸﾞ倉庫に格納されています｡
次ｽﾚ検索 歴削→次ｽﾚ 栞削→次ｽﾚ 過去ﾛｸﾞﾒﾆｭｰ
63(2): (ﾜｯﾁｮｲ eff4-A5UE) 05/12(月)01:54:15.29 ID:J+nQccr80(1) AAS
ChatGPTスレから誘導されて来ました
ローカルで質問なんですけど
32Bモデルの量子化されてないオリジナルをロードできる環境があって
その環境でギリギリロードできるまで量子化した100Bモデルと32Bの非量子化モデルってどっちが生成の質が高くなりますか？
生成の質っていうのはタスクの理解力みたいやイメージです
97: (ﾜｯﾁｮｲ bf35-6cIy) 05/13(火)15:20:52.29 ID:UKC8ykUW0(1) AAS
>>90
違う
今までもvision対応していたが、コマンドラインの場合、
普通のLLMを使うときは "llama-simple -m モデル名 -p プロンプト"
VLMを使うときは "llama-llava-cli -m モデル名 --mmproj mprojモデル --image 画像 -p プロンプト"
のように違うコマンドで対応していた
今回対応したのはllama.cpp標準のWebUIで使う場合("llama-server -m モデル名 ")
省3
365: (ﾜｯﾁｮｲ 4aec-zEtn) 06/15(日)16:54:33.29 ID:MtwqcsDn0(1) AAS
workstation版は5090のFEと同等だから許容できる騒音だろうけど300W版はシロッコファンだから地獄みたいな騒音やろな
439: (ﾜｯﾁｮｲ 0f91-WwHV) 06/21(土)21:50:52.29 ID:BVoATOzy0(1/2) AAS
kobold.cpppのSYCLバックエンド対応来てくれー
529: (ﾜｯﾁｮｲ db28-kLm9) 07/03(木)17:42:27.29 ID:TxGqKl3L0(1) AAS
ERNIE4.5、28Bの次が300Bなのかーい
424Bなら47BのMoEなのかな。それでも専門家数人くらいしかメモリーにのらないかw
572: (ﾜｯﾁｮｲ cfbe-f3/t) 07/07(月)17:56:22.29 ID:FlZvIcvs0(1) AAS
Mistral系はrepeat penaltyよりも温度上げると多少マシになる
もちろん日本語は壊れやすくなる
616(1): (ﾜｯﾁｮｲ 2a6c-KGZ5) 07/14(月)17:07:52.29 ID:4AraLELm0(2/4) AAS
>>614
ありがとうございます
通常の画像は解析できています
>システムプロンプトに脱獄文入れたりするか拒否した応答を「了解しました。」とかに書き換えて続きを生成するとか
なるほど色々な技があるんですね。これから勉強ですが差し支え無い範囲でヒントを頂けたら嬉しいです
653(1): (ｼｬﾁｰｸ 0Cbf-PdEd) 07/17(木)13:01:19.29 ID:WoE5gSD9C(2/2) AAS
kimi ローカルでどうなるか試せる人いないかな？
mac studio 512GならQ3_kmくらいなら動かせそうだし
679(1): (ﾜｯﾁｮｲ 6f32-WgXC) 07/19(土)20:44:16.29 ID:hTrA3oMx0(1) AAS
どういうプロンプトでそんなのが出力されたのか気になる
718: (ﾜｯﾁｮｲ cfd9-VY5O) 07/23(水)00:27:54.29 ID:Z5UQkk8Z0(2/3) AAS
小説執筆とかには結構いいのかも？RP勢だから試してないけど
786: (ﾜｯﾁｮｲ 0fa9-7ts7) 08/02(土)11:43:30.29 ID:TWf8AffI0(1) AAS
qwen 235b a22bがもう安定してdeepseekの上にいるね
deepseekが出て半年だけどもう1/3の規模でdeepseekを上回ってるのが出てきてるんだな
875: (ﾜｯﾁｮｲ 5332-bOCj) 08/09(土)16:08:26.29 ID:OS7ZZkAQ0(1) AAS
今更ながらChatGPTの読み上げ機能を使ってみたんだけど漢字の読みがめちゃくちゃで使い勝手が悪すぎるな
合成音声なら当たり前にある辞書機能がないと使い物にならんだろこれ
902: (ﾜｯﾁｮｲ 1ed9-zlfW) 08/11(月)20:23:14.29 ID:dUWw5kCt0(2/3) AAS
GENIACもそもそも最近はフルスクラッチでやろうとしてるところ少ないし、LLM以外も多いからな
上下前次1-新書関写板覧索設栞歴
ｽﾚ情報 赤ﾚｽ抽出 画像ﾚｽ抽出 歴の未読ｽﾚ AAｻﾑﾈｲﾙ
ぬこの手 ぬこTOP 0.040s