なんJLLM部 避難所 ★9 (500ﾚｽ)
上下前次1-新
抽出解除 ﾚｽ栞
ﾘﾛｰﾄﾞ規制です｡10分ほどで解除するので､他のﾌﾞﾗｳｻﾞへ避難してください｡
52: 名無しさん＠ピンキー (ｵｯﾍﾟｹ Srd7-pOSt) [] 08/25(月)22:09:04.17 ID:9jAW386or(1)
strix haloの後のmedusa haloが帯域が太いらしいとか怪しい噂だけど本当なら良いねぇ…
68(1): 名無しさん＠ピンキー (ﾜｯﾁｮｲ c22a-TnY8) [] 08/28(木)13:59:28.17 ID:MOCeri5p0(1/2)
>>55
これ動かすのってQ8 ggufの複数あるのを全部落として、koboldcppで読み込めばいいの？
96gbメモリーで動くかな？
259: 名無しさん＠ピンキー (ﾜｯﾁｮｲ 1f6a-Lbu8) [] 09/12(金)20:14:32.17 ID:3TdASOtg0(1)
多分だけどモダンなllmだと圧縮効果が薄いか精度の落ち込みが激しいから出せないんだと思う
265(1): 名無しさん＠ピンキー (ﾜｯﾁｮｲ 43db-/yr3) [sage] 09/13(土)00:56:39.17 ID:BwPAIkA10(1/2)
AbliteratedモデルってLLMの出力編集しなくても抵抗なく出力するけど、その代わりにLLMの能力が満遍なく低下してる印象がある
ワイだけ？
283(2): 名無しさん＠ピンキー (ﾜｯﾁｮｲ cf36-F72q) [sage] 09/14(日)01:09:38.17 ID:v4V89Gas0(1/3)
DGX Sparkが70万円近くしそうなのであきらめてGMKTecの128GBにしようと考えているんですが
同じGMKTecでもEVO-X2が36万なのに対してEVO-T1が22万程度で値段にかなり差があるんですがどちらもLLMの運用には使えるんでしょうか？
こんなに値段が違うということは性能差もかなりあるんですかね？
EVO-X2はAMD、EXO-T1はIntelというハードウェア面の違いがあるんですがOllamaが使えて能力もそんなに変わらないなら安いに越したことはないのですがデメリットとかあるんでしょうか
一時期DGX Sparkの代替として話題になってたのはEVO-X2（AI MAX+ 395）の方ですけど
453(1): 名無しさん＠ピンキー (ﾌﾞｰｲﾓ MM92-QGC9) [sage] 09/24(水)18:08:51.17 ID:wQMvlyu2M(1)
コーディングだとclaudeが強いって前に評判だったけど最新の情勢は違うのかもしれん
ローカルだとそもそもコンテキストサイズ的に満足行く回答が得られるか怪しいと思うで
480: 名無しさん＠ピンキー (ﾄﾞｺｸﾞﾛ MMca-YdyK) [] 09/26(金)17:23:52.17 ID:vox1d4RkM(1)
日本語はGLMが優秀だぞ
上下前次1-新書関写板覧索設栞歴
ｽﾚ情報 赤ﾚｽ抽出 画像ﾚｽ抽出 歴の未読ｽﾚ AAｻﾑﾈｲﾙ
ぬこの手 ぬこTOP 0.024s