なんJLLM部 避難所 ★9 (503ﾚｽ)
上下前次1-新
抽出解除 ﾚｽ栞
ﾘﾛｰﾄﾞ規制です｡10分ほどで解除するので､他のﾌﾞﾗｳｻﾞへ避難してください｡
127(2): 名無しさん＠ピンキー (ﾜｯﾁｮｲ efa3-TchX) [] 09/03(水)23:55 ID:raCyPxWa0(2/2)
>>113
9950xでCPU使用率はどれくらい？
普通に買えるDDR5 5600 2チャンネルのメモリだと、どのくらいのCPU性能が有れば良いんだろうか。
129(2): 名無しさん＠ピンキー (ﾜｯﾁｮｲ 9332-Soy0) [sage] 09/04(木)17:10 ID:M4YL4AtO0(1)
>>127
横からだけど9900x 128GB VRAM 12GB
GLM4.5AirQ4でcpu-moeをmax、コンテキスト長32kでVRAM使いきり
これで使用率gpu50%cpu100%、4t/s
9950xでもレイヤー数とVRAM次第だろうけど100%になると思うよ
133(1): 名無しさん＠ピンキー (ﾜｯﾁｮｲ 33f0-Mlxs) [sage] 09/04(木)20:01 ID:gvxobVnD0(1/2)
>>127
遅くなってすまん
せっかく >>129 が例を出してくれたから条件揃えようと思ったらダウンロードに時間かかった(笑
条件は合わせたつもり
Yahooニュースから適当に拾った事件1000文字に対して、文章要約とその対策案を聞いた
- Q4K_M 9950X,HT off(16core)
プロセッシングに8秒、CPU,GPUともに100%付近
結果は5,2tk/s
96Gメモリだと残り7GくらいになってOSに回せるギリギリだw
HT切ってるのは開発用マシンなので仮想PCに正しいCPU数を割り当てたいから
もちろん仮想系は全部切ってテストした
- Q6 mac studio m4max,プロセッシングに 0.4秒、結果は 34tk/s
上下前次1-新書関写板覧索設栞歴
ｽﾚ情報 赤ﾚｽ抽出 画像ﾚｽ抽出 歴の未読ｽﾚ AAｻﾑﾈｲﾙ
ぬこの手 ぬこTOP 0.027s