【PVE】Proxmox VE【KVM, LXC】NODE-2 (869ﾚｽ)
上下前次1-新
10(1): 2024/04/13(土)12:33 ID:/8ovMMuD(1) AAS
2.5GbEでクラスタ組んでる3台6OSD構成のProxmoxクラスタだけど、ストレージの速度は100MB/sくらいしか出ないよ
11(1): 2024/04/15(月)19:21 ID:fRj4O/TW(1) AAS
普通の1000BASE-Tで3台3OSD（2.5インチSSD）構成のProxmoxだけど、ストレージの速度は
VM（ubuntu）のKDiskMarkでSEQ1M Read 190MB/s、Write 50MB/sとか出てるけどなぁ。
NASの容量や目的にも依るだろうけど自分はVMにインストールしたNextcloudで不満は無い。
12(1): 2024/04/16(火)12:23 ID:NhU3tAT8(1/3) AAS
>>9
Ceph組んだことないんだけど、Proxmox3台で、HAとCephを一緒に組めるものなのじゃないのか？
13: 2024/04/16(火)12:23 ID:NhU3tAT8(2/3) AAS
>>9
Ceph組んだことないんだけど、Proxmox3台で、HAとCephを一緒に組めるものなのじゃないのか？
14: 2024/04/16(火)12:24 ID:NhU3tAT8(3/3) AAS
ごめん、２どかいてしまった。
15(1): 2024/04/16(火)19:06 ID:8Lk4PPte(1) AAS
Cephに渡すドライブって /dev/sdb とかの丸ごとじゃないとダメなの？
N100の安miniPCで追加ドライブ用意するのが面倒
（Proxmox自体をUSBメモリにインストールすればいいのだけど、挿ってるのがちょっと気に入らないｗ）
16(1): 2024/04/16(火)20:46 ID:A3/wW9/s(1) AAS
raidzで組みたいんだが後からSSD増設できない仕様なのにSSD値上がりしまくってるせいで痛い
何かいい案ないものか
17: 2024/04/16(火)22:28 ID:mI+fghI5(1/3) AAS
>10,11
参考になります
自分の環境だと3台( NIC 1Gbps )で Write 42MB/s 位でした（想定の範囲）
（一応 public と cluster のネットワークを分けてみたけど、内部の vm からだとあまり変わらず）
複数のノードから同時に書き込みして、その合計を書き込み速度って考えならもっと増えるかな（今度試してみよう・・・）
18: 2024/04/16(火)22:34 ID:mI+fghI5(2/3) AAS
>>12
3台でCeph,HA,VMが共存できます
ただ、手元にPRIMERGY10台（使用中４台）あるから・・・
19: 2024/04/16(火)22:46 ID:mI+fghI5(3/3) AAS
>>15
試したことが無いから憶測だけど
ある程度Linuxの知識あって、Cephのドキュメント読みながらOSD構築できるなら
LV(LVM)でも任意のパーテーションでもOSD用に割り当てできるはず
いま調べてる途中なんだけど、Cephのモニターかマネージャーノード（両方？）が
OSDじゃなくLinuxのインストール側のディスクに常に0.5MBye/sec位謎の書き込みしてる
（内容(原因)追ってるんだけど、inotifywaitでは？特定できてない）
それで、高耐久ではない一般的なUSBメモリだと直ぐに死ぬ！
20(2): 2024/04/17(水)02:43 ID:4BQwGIn7(1) AAS
Cephの謎の連続書き込みこれっぽい
/var/lib/ceph/mon/ceph-{host-name}/store.db
（ find / -mmin -1 の結果から、それっぽいの見つけた ）
123456.log , 123456.sst（6桁？の数値.logと.sst）が原因っぽい
0.5MBye/sec≒15TByte/yearはちょっと多い・・・
Proxmoxの起動用に容量少ないSSD使ってるから不安しかない・・・
21: 2024/04/17(水)18:41 ID:Yk0P1tcC(1) AAS
UNIXの頃から、安全を見てrootの予定空き容量は50%以上を確保しておけと。
（たいした容量は必要ない）
22: 2024/04/18(木)02:02 ID:sxqnCYwL(1) AAS
今日の悲しい報告
fstrimコマンドを100回は打った
Lvm(thin)もZFSもCephもThin Provisioningなのに、なぜ確保した範囲が解放されないって悩み過ぎた
Discardを有効にするために/etc/pve/qemu-server/<vmid>.conf 弄ったり
/etc/lvm/lvm.conf 弄ったり
zpool set autotrim=on pool 打ったり・・・
Vmで使う仮想DiskのDiscradのオプションに気づかずに・・・
23(1): 2024/04/18(木)07:02 ID:ZsCkLYIp(1) AAS
>>20
OSDじゃなくLinuxのインストール側のディスクはHDDにしたほうが安全だね。。
24(2): 2024/04/18(木)16:35 ID:uoBtp6XI(1) AAS
PVEでのcephの運用勉強してたら
前提条件が変わってきて用意したパーツが無駄に(笑)
データ用SSD180GB(MLC)ｘ14個
起動用SSD32GB(SLC)ｘ14個 ← これ、窓から投げ捨てて
起動用に100GB+α以上で高耐久のSSD調達しないと(涙)
25(1): 2024/04/18(木)21:42 ID:Kdf+IRuC(1) AAS
>>24
どんな構成なのか気になる・・・
26(1): 2024/04/19(金)12:23 ID:mQduTie0(1) AAS
>>24
起動用はもう、HDDでいんじゃね？（笑
実際のところ、Proxmox起動用と、iso保存用は、HDDを使うのとSSD使うのどっちがいいんだろうね。
27: 2024/04/19(金)12:24 ID:wZPPiKHf(1) AAS
ISO置き場は読み込み速度がほしいのでSSDにしてるな
28(1): 2024/04/19(金)13:33 ID:v99+h0jJ(1) AAS
Optaneでいいよもう
29(1): 2024/04/19(金)17:35 ID:ipLNXoOs(1) AAS
/var/lib/ceph/mon 以下をtmpfsにしちゃうとか
30: 2024/04/19(金)18:14 ID:ZWzGj4KO(1) AAS
逆にProxmoxサーバーのシステムディスクがHDDの場合、cephのパフォーマンスにどのぐらい影響するか知りたい。
31: 2024/04/19(金)23:40 ID:5OhZYjuR(1/2) AAS
>>25
[最初の計画]
32GB(SLC)をZFS・ミラーで冗長化して起動用(6台分)2個は予備
180GBｘ3をZFS・RAIDZで冗長化（4台分）
Proxmox ｘ3＋予備マシンｘ1、NASｘ1、実験用ｘ1
[途中の計画]
32GB(SLC)をZFS・ミラーで冗長化して起動用(6台分)2個は予備
180ｘ3をCephに使う(マシン3台＋1台）2個は予備
Proxmox ｘ3＋予備マシン＊1、NASｘ1、実験用ｘ1
[現在(中断する計画)]
32GB(SLC)をZFS・ミラーで冗長化して起動用(6台分)2個は予備 （Cpehの書き込み量に対して不安）
NASに使ってるSSDとかHDDをCephに集結して、Proxmox ｘ５＋１(予備)でCephを構築してNASも兼ねる
32: 2024/04/19(金)23:55 ID:5OhZYjuR(2/2) AAS
>>26
HDD、1万回転のSASのなら使ってないのが・・・
＞Proxmox起動用
Ceph無し、容量それほど必要じゃないならSSD（ただし、信頼性の高いメーカー・モデルが良い）
HDDは電源切断直後に衝撃を与えると簡単に壊た
>>28
Optaneは昔数点確保してたけど、入手性が悪くて必要量確保するのが・・・
>>29
Cephの公式ドキュメントだとモニターノード用に100GB確保する事が推奨されてた
OSD少な目でも数十GBの容量は確保する必要が有りそうなので、tmpfsでの運用は難しいと思う
tmpfsを定期的に保存してたとして、障害発生時にモニターとOSDでの配置マップの整合性が合わないと最悪データ壊れたり、未知の不具合が起こるかも
モニターが保存してるデータベースは重要みたいで、モニターノードは頻繁にfsync発行してるらしい（ちょっと曖昧）
33: 2024/04/21(日)04:19 ID:+W2a3iqk(1) AAS
Cephのベンチマーク
Proxmoxの３台のノードでCephを構築
３ノードで同時に書き込み（シーケンシャル）をして書き込みレートを合計
NIC1Gbps(cluster・public同) 60~70MByte/sec
NIC1Gbps(cluster・public別) 85~95MBye/sec
NIC1Gbpsｘ2 ( balance-rr cluster・public同 ) 115~130MByte/sec
NIC1Gbpsｘ2 ( balance-rr cluster・public同 ecpool ( k=2,m=1 ) ) 230~290MByte/sec
34: 2024/04/27(土)09:31 ID:+GfuMO2X(1) AAS
Proxmox VE 8.2 released!
外部ﾘﾝｸ:forum.proxmox.com
35: 2024/04/27(土)10:09 ID:M8dkRrrB(1) AAS
ついに来たな
36(1): 2024/04/27(土)10:10 ID:6v5SZCGA(1) AAS
なんか変わったん？
37(1): 2024/04/27(土)14:16 ID:eLbjLiTZ(1) AAS
へぇ。8.1.8以降だと、ESXiからのライブマイグレーションもGUIからできるようになっているのか。
外部ﾘﾝｸ:qiita.com
戻し(PVE→ESXi)もできるようになると面白いと思う。
38: 2024/04/27(土)20:40 ID:y3s0D4bu(1) AAS
>>37
なんと
前に調べた時は、ESXi -> proxmox の移行が割と面倒なのと、そもそもハードウエアの準備が間に合わなかったので、当面ESXi を使い続ける決断をしたのだが、いよいよ現実的になってきたな
39(1): 2024/04/27(土)23:30 ID:38nUrolh(1) AAS
ZFS RAID1のバグは直ったかな
完全同容量でないと入れられないやつ
上下前次1-新書関写板覧索設栞歴
あと 830 ﾚｽあります
ｽﾚ情報 赤ﾚｽ抽出 画像ﾚｽ抽出 歴の未読ｽﾚ
ぬこの手 ぬこTOP 1.081s*