【PVE】Proxmox VE【KVM, LXC】NODE-2 (869ﾚｽ)
【PVE】Proxmox VE【KVM, LXC】NODE-2 http://mao.5ch.net/test/read.cgi/linux/1712800185/
上
下
前
次
1-
新
通常表示
512ﾊﾞｲﾄ分割
ﾚｽ栞
10: login:Penguin [] 2024/04/13(土) 12:33:55.92 ID:/8ovMMuD 2.5GbEでクラスタ組んでる3台6OSD構成のProxmoxクラスタだけど、ストレージの速度は100MB/sくらいしか出ないよ http://mao.5ch.net/test/read.cgi/linux/1712800185/10
11: login:Penguin [] 2024/04/15(月) 19:21:37.36 ID:fRj4O/TW 普通の1000BASE-Tで3台3OSD（2.5インチSSD）構成のProxmoxだけど、ストレージの速度は VM（ubuntu）のKDiskMarkでSEQ1M Read 190MB/s、Write 50MB/sとか出てるけどなぁ。 NASの容量や目的にも依るだろうけど自分はVMにインストールしたNextcloudで不満は無い。 http://mao.5ch.net/test/read.cgi/linux/1712800185/11
12: login:Penguin [] 2024/04/16(火) 12:23:19.23 ID:NhU3tAT8 >>9 Ceph組んだことないんだけど、Proxmox3台で、HAとCephを一緒に組めるものなのじゃないのか？ http://mao.5ch.net/test/read.cgi/linux/1712800185/12
13: login:Penguin [sage] 2024/04/16(火) 12:23:31.09 ID:NhU3tAT8 >>9 Ceph組んだことないんだけど、Proxmox3台で、HAとCephを一緒に組めるものなのじゃないのか？ http://mao.5ch.net/test/read.cgi/linux/1712800185/13
14: login:Penguin [sage] 2024/04/16(火) 12:24:10.57 ID:NhU3tAT8 ごめん、２どかいてしまった。 http://mao.5ch.net/test/read.cgi/linux/1712800185/14
15: login:Penguin [sage] 2024/04/16(火) 19:06:59.62 ID:8Lk4PPte Cephに渡すドライブって /dev/sdb とかの丸ごとじゃないとダメなの？ N100の安miniPCで追加ドライブ用意するのが面倒 （Proxmox自体をUSBメモリにインストールすればいいのだけど、挿ってるのがちょっと気に入らないｗ） http://mao.5ch.net/test/read.cgi/linux/1712800185/15
16: login:Penguin [sage] 2024/04/16(火) 20:46:42.01 ID:A3/wW9/s raidzで組みたいんだが後からSSD増設できない仕様なのにSSD値上がりしまくってるせいで痛い 何かいい案ないものか http://mao.5ch.net/test/read.cgi/linux/1712800185/16
17: login:Penguin [sage] 2024/04/16(火) 22:28:39.62 ID:mI+fghI5 >10,11 参考になります 自分の環境だと3台( NIC 1Gbps )で Write 42MB/s 位でした（想定の範囲） （一応 public と cluster のネットワークを分けてみたけど、内部の vm からだとあまり変わらず） 複数のノードから同時に書き込みして、その合計を書き込み速度って考えならもっと増えるかな（今度試してみよう・・・） http://mao.5ch.net/test/read.cgi/linux/1712800185/17
18: login:Penguin [sage] 2024/04/16(火) 22:34:01.06 ID:mI+fghI5 >>12 3台でCeph,HA,VMが共存できます ただ、手元にPRIMERGY10台（使用中４台）あるから・・・ http://mao.5ch.net/test/read.cgi/linux/1712800185/18
19: login:Penguin [sage] 2024/04/16(火) 22:46:23.70 ID:mI+fghI5 >>15 試したことが無いから憶測だけど ある程度Linuxの知識あって、Cephのドキュメント読みながらOSD構築できるなら LV(LVM)でも任意のパーテーションでもOSD用に割り当てできるはず いま調べてる途中なんだけど、Cephのモニターかマネージャーノード（両方？）が OSDじゃなくLinuxのインストール側のディスクに常に0.5MBye/sec位謎の書き込みしてる （内容(原因)追ってるんだけど、inotifywaitでは？特定できてない） それで、高耐久ではない一般的なUSBメモリだと直ぐに死ぬ！ http://mao.5ch.net/test/read.cgi/linux/1712800185/19
20: login:Penguin [sage] 2024/04/17(水) 02:43:13.08 ID:4BQwGIn7 Cephの謎の連続書き込みこれっぽい /var/lib/ceph/mon/ceph-{host-name}/store.db （ find / -mmin -1 の結果から、それっぽいの見つけた ） 123456.log , 123456.sst（6桁？の数値.logと.sst）が原因っぽい 0.5MBye/sec≒15TByte/yearはちょっと多い・・・ Proxmoxの起動用に容量少ないSSD使ってるから不安しかない・・・ http://mao.5ch.net/test/read.cgi/linux/1712800185/20
21: login:Penguin [sage] 2024/04/17(水) 18:41:45.47 ID:Yk0P1tcC UNIXの頃から、安全を見てrootの予定空き容量は50%以上を確保しておけと。 （たいした容量は必要ない） http://mao.5ch.net/test/read.cgi/linux/1712800185/21
22: login:Penguin [sage] 2024/04/18(木) 02:02:02.25 ID:sxqnCYwL 今日の悲しい報告 fstrimコマンドを100回は打った Lvm(thin)もZFSもCephもThin Provisioningなのに、なぜ確保した範囲が解放されないって悩み過ぎた Discardを有効にするために/etc/pve/qemu-server/<vmid>.conf 弄ったり /etc/lvm/lvm.conf 弄ったり zpool set autotrim=on pool 打ったり・・・ Vmで使う仮想DiskのDiscradのオプションに気づかずに・・・ http://mao.5ch.net/test/read.cgi/linux/1712800185/22
23: login:Penguin [sage] 2024/04/18(木) 07:02:23.16 ID:ZsCkLYIp >>20 OSDじゃなくLinuxのインストール側のディスクはHDDにしたほうが安全だね。。 http://mao.5ch.net/test/read.cgi/linux/1712800185/23
24: login:Penguin [sage] 2024/04/18(木) 16:35:24.54 ID:uoBtp6XI PVEでのcephの運用勉強してたら 前提条件が変わってきて用意したパーツが無駄に(笑) データ用SSD180GB(MLC)ｘ14個 起動用SSD32GB(SLC)ｘ14個 ← これ、窓から投げ捨てて 起動用に100GB+α以上で高耐久のSSD調達しないと(涙) http://mao.5ch.net/test/read.cgi/linux/1712800185/24
25: login:Penguin [sage] 2024/04/18(木) 21:42:57.67 ID:Kdf+IRuC >>24 どんな構成なのか気になる・・・ http://mao.5ch.net/test/read.cgi/linux/1712800185/25
26: login:Penguin [sage] 2024/04/19(金) 12:23:07.99 ID:mQduTie0 >>24 起動用はもう、HDDでいんじゃね？（笑 実際のところ、Proxmox起動用と、iso保存用は、HDDを使うのとSSD使うのどっちがいいんだろうね。 http://mao.5ch.net/test/read.cgi/linux/1712800185/26
27: login:Penguin [sage] 2024/04/19(金) 12:24:14.61 ID:wZPPiKHf ISO置き場は読み込み速度がほしいのでSSDにしてるな http://mao.5ch.net/test/read.cgi/linux/1712800185/27
28: login:Penguin [] 2024/04/19(金) 13:33:58.38 ID:v99+h0jJ Optaneでいいよもう http://mao.5ch.net/test/read.cgi/linux/1712800185/28
29: login:Penguin [sage] 2024/04/19(金) 17:35:56.25 ID:ipLNXoOs /var/lib/ceph/mon 以下をtmpfsにしちゃうとか http://mao.5ch.net/test/read.cgi/linux/1712800185/29
30: login:Penguin [sage] 2024/04/19(金) 18:14:15.03 ID:ZWzGj4KO 逆にProxmoxサーバーのシステムディスクがHDDの場合、cephのパフォーマンスにどのぐらい影響するか知りたい。 http://mao.5ch.net/test/read.cgi/linux/1712800185/30
31: login:Penguin [sage] 2024/04/19(金) 23:40:58.82 ID:5OhZYjuR >>25 [最初の計画] 32GB(SLC)をZFS・ミラーで冗長化して起動用(6台分)2個は予備 180GBｘ3をZFS・RAIDZで冗長化（4台分） Proxmox ｘ3＋予備マシンｘ1、NASｘ1、実験用ｘ1 [途中の計画] 32GB(SLC)をZFS・ミラーで冗長化して起動用(6台分)2個は予備 180ｘ3をCephに使う(マシン3台＋1台）2個は予備 Proxmox ｘ3＋予備マシン＊1、NASｘ1、実験用ｘ1 [現在(中断する計画)] 32GB(SLC)をZFS・ミラーで冗長化して起動用(6台分)2個は予備 （Cpehの書き込み量に対して不安） NASに使ってるSSDとかHDDをCephに集結して、Proxmox ｘ５＋１(予備)でCephを構築してNASも兼ねる http://mao.5ch.net/test/read.cgi/linux/1712800185/31
32: login:Penguin [sage] 2024/04/19(金) 23:55:22.06 ID:5OhZYjuR >>26 HDD、1万回転のSASのなら使ってないのが・・・ ＞Proxmox起動用 Ceph無し、容量それほど必要じゃないならSSD（ただし、信頼性の高いメーカー・モデルが良い） HDDは電源切断直後に衝撃を与えると簡単に壊た >>28 Optaneは昔数点確保してたけど、入手性が悪くて必要量確保するのが・・・ >>29 Cephの公式ドキュメントだとモニターノード用に100GB確保する事が推奨されてた OSD少な目でも数十GBの容量は確保する必要が有りそうなので、tmpfsでの運用は難しいと思う tmpfsを定期的に保存してたとして、障害発生時にモニターとOSDでの配置マップの整合性が合わないと最悪データ壊れたり、未知の不具合が起こるかも モニターが保存してるデータベースは重要みたいで、モニターノードは頻繁にfsync発行してるらしい（ちょっと曖昧） http://mao.5ch.net/test/read.cgi/linux/1712800185/32
33: login:Penguin [sage] 2024/04/21(日) 04:19:58.10 ID:+W2a3iqk Cephのベンチマーク Proxmoxの３台のノードでCephを構築 ３ノードで同時に書き込み（シーケンシャル）をして書き込みレートを合計 NIC1Gbps(cluster・public同) 60~70MByte/sec NIC1Gbps(cluster・public別) 85~95MBye/sec NIC1Gbpsｘ2 ( balance-rr cluster・public同 ) 115~130MByte/sec NIC1Gbpsｘ2 ( balance-rr cluster・public同 ecpool ( k=2,m=1 ) ) 230~290MByte/sec http://mao.5ch.net/test/read.cgi/linux/1712800185/33
34: login:Penguin [sage] 2024/04/27(土) 09:31:54.96 ID:+GfuMO2X Proxmox VE 8.2 released! https://forum.proxmox.com/threads/proxmox-ve-8-2-released.145722/ http://mao.5ch.net/test/read.cgi/linux/1712800185/34
35: login:Penguin [sage] 2024/04/27(土) 10:09:04.96 ID:M8dkRrrB ついに来たな http://mao.5ch.net/test/read.cgi/linux/1712800185/35
36: login:Penguin [sage] 2024/04/27(土) 10:10:27.03 ID:6v5SZCGA なんか変わったん？ http://mao.5ch.net/test/read.cgi/linux/1712800185/36
37: login:Penguin [sage] 2024/04/27(土) 14:16:11.46 ID:eLbjLiTZ へぇ。8.1.8以降だと、ESXiからのライブマイグレーションもGUIからできるようになっているのか。 ttps://qiita.com/oishi-d/items/0cc452a022fa1ea07a7b 戻し(PVE→ESXi)もできるようになると面白いと思う。 http://mao.5ch.net/test/read.cgi/linux/1712800185/37
38: login:Penguin [] 2024/04/27(土) 20:40:22.11 ID:y3s0D4bu >>37 なんと 前に調べた時は、ESXi -> proxmox の移行が割と面倒なのと、そもそもハードウエアの準備が間に合わなかったので、当面ESXi を使い続ける決断をしたのだが、いよいよ現実的になってきたな http://mao.5ch.net/test/read.cgi/linux/1712800185/38
39: login:Penguin [sage] 2024/04/27(土) 23:30:42.39 ID:38nUrolh ZFS RAID1のバグは直ったかな 完全同容量でないと入れられないやつ http://mao.5ch.net/test/read.cgi/linux/1712800185/39
ﾒﾓ帳
(0/65535文字)
上
下
前
次
1-
新
書
関
写
板
覧
索
設
栞
歴
あと 830 ﾚｽあります
ｽﾚ情報
赤ﾚｽ抽出
画像ﾚｽ抽出
歴の未読ｽﾚ
Google検索
Wikipedia
ぬこの手
ぬこTOP
0.019s