【PVE】Proxmox VE【KVM, LXC】NODE-2 (869ﾚｽ)
上下前次1-新
1(1): 2024/04/11(木)10:49 ID:8tgVZdvA(1/2) AAS
Proxmox VEについて語りましょう！
Proxmox VEは、Debianをベースとしたオープンソースのサーバー仮想化プラットフォームです
仮想マシンとコンテナの管理を、統合されたWebインターフェイスを通じて直感的に行うことができます
【公式サイト】
外部ﾘﾝｸ:www.proxmox.com
【公式ドキュメント】
外部ﾘﾝｸ:pve.proxmox.com
省11
2: 2024/04/11(木)10:50 ID:8tgVZdvA(2/2) AAS
勝手にいくつか変更させてもらった
・WikipediaへのリンクはWikiの情報が古く少ないため削除
・Proxmox公式ドキュメントへのリンク追加
・OpenVZは現在サポート対応してないためLXCに変更
・説明文をChatGPT-4で生成
3: 2024/04/11(木)17:18 ID:Hfg72VNC(1) AAS
>>1
おつです。
ESXi用のCiscoの有償トレーニングソフトCisco Modeling LabsをProxmoxで動かした記事がネットに上がっていた。
そんなこんなでProxmox利用者がどんどん増えるかもね。
4: 2024/04/11(木)20:02 ID:1cumj1yf(1) AAS
乙
> 1001 名前：1001 []： Over 1000 Thread
> このスレッドは１０００を超えました。
> 新しいスレッドを立ててください。
> life time: 3829日 17時間 37分 12秒
前スレ完走まで10年超えで草
5: 2024/04/11(木)21:39 ID:DDVcaDW8(1) AAS
300までに9年、残りで1年くらいだったな
6(1): 2024/04/12(金)08:38 ID:etktpG2b(1) AAS
すげえな
VMwareの影響か知らんけど
7: 2024/04/12(金)09:43 ID:qjVadYHY(1) AAS
>>6
影響でしょう
8: 2024/04/12(金)20:15 ID:V/kew/aY(1) AAS
これからは、VMware関係スレが
9(2): 2024/04/13(土)12:11 ID:v/AkNgnq(1) AAS
前スレ>>996だけど
>CRUSHマップに古いノードの情報が残ってる
ceph osd crush remove {bucket-name}で古いProxmoxのノード情報を消したら
＞WEBGUIのCeph(OSD)に前のノード情報が残ってる
これも上記の操作で綺麗になった
恐らくだけど、Cephの運用でProxomox側で管理してるのは極一部で（pmxcfsでceph.confを同期＋α）
Proxomox側で情報や管理は行ってる部分は殆どなく、WebGUI等はその都度Cephから直接情報取得して表示してるのだろう
省9
10(1): 2024/04/13(土)12:33 ID:/8ovMMuD(1) AAS
2.5GbEでクラスタ組んでる3台6OSD構成のProxmoxクラスタだけど、ストレージの速度は100MB/sくらいしか出ないよ
11(1): 2024/04/15(月)19:21 ID:fRj4O/TW(1) AAS
普通の1000BASE-Tで3台3OSD（2.5インチSSD）構成のProxmoxだけど、ストレージの速度は
VM（ubuntu）のKDiskMarkでSEQ1M Read 190MB/s、Write 50MB/sとか出てるけどなぁ。
NASの容量や目的にも依るだろうけど自分はVMにインストールしたNextcloudで不満は無い。
12(1): 2024/04/16(火)12:23 ID:NhU3tAT8(1/3) AAS
>>9
Ceph組んだことないんだけど、Proxmox3台で、HAとCephを一緒に組めるものなのじゃないのか？
13: 2024/04/16(火)12:23 ID:NhU3tAT8(2/3) AAS
>>9
Ceph組んだことないんだけど、Proxmox3台で、HAとCephを一緒に組めるものなのじゃないのか？
14: 2024/04/16(火)12:24 ID:NhU3tAT8(3/3) AAS
ごめん、２どかいてしまった。
15(1): 2024/04/16(火)19:06 ID:8Lk4PPte(1) AAS
Cephに渡すドライブって /dev/sdb とかの丸ごとじゃないとダメなの？
N100の安miniPCで追加ドライブ用意するのが面倒
（Proxmox自体をUSBメモリにインストールすればいいのだけど、挿ってるのがちょっと気に入らないｗ）
16(1): 2024/04/16(火)20:46 ID:A3/wW9/s(1) AAS
raidzで組みたいんだが後からSSD増設できない仕様なのにSSD値上がりしまくってるせいで痛い
何かいい案ないものか
17: 2024/04/16(火)22:28 ID:mI+fghI5(1/3) AAS
>10,11
参考になります
自分の環境だと3台( NIC 1Gbps )で Write 42MB/s 位でした（想定の範囲）
（一応 public と cluster のネットワークを分けてみたけど、内部の vm からだとあまり変わらず）
複数のノードから同時に書き込みして、その合計を書き込み速度って考えならもっと増えるかな（今度試してみよう・・・）
18: 2024/04/16(火)22:34 ID:mI+fghI5(2/3) AAS
>>12
3台でCeph,HA,VMが共存できます
ただ、手元にPRIMERGY10台（使用中４台）あるから・・・
19: 2024/04/16(火)22:46 ID:mI+fghI5(3/3) AAS
>>15
試したことが無いから憶測だけど
ある程度Linuxの知識あって、Cephのドキュメント読みながらOSD構築できるなら
LV(LVM)でも任意のパーテーションでもOSD用に割り当てできるはず
いま調べてる途中なんだけど、Cephのモニターかマネージャーノード（両方？）が
OSDじゃなくLinuxのインストール側のディスクに常に0.5MBye/sec位謎の書き込みしてる
（内容(原因)追ってるんだけど、inotifywaitでは？特定できてない）
省1
20(2): 2024/04/17(水)02:43 ID:4BQwGIn7(1) AAS
Cephの謎の連続書き込みこれっぽい
/var/lib/ceph/mon/ceph-{host-name}/store.db
（ find / -mmin -1 の結果から、それっぽいの見つけた ）
123456.log , 123456.sst（6桁？の数値.logと.sst）が原因っぽい
0.5MBye/sec≒15TByte/yearはちょっと多い・・・
Proxmoxの起動用に容量少ないSSD使ってるから不安しかない・・・
21: 2024/04/17(水)18:41 ID:Yk0P1tcC(1) AAS
UNIXの頃から、安全を見てrootの予定空き容量は50%以上を確保しておけと。
（たいした容量は必要ない）
22: 2024/04/18(木)02:02 ID:sxqnCYwL(1) AAS
今日の悲しい報告
fstrimコマンドを100回は打った
Lvm(thin)もZFSもCephもThin Provisioningなのに、なぜ確保した範囲が解放されないって悩み過ぎた
Discardを有効にするために/etc/pve/qemu-server/<vmid>.conf 弄ったり
/etc/lvm/lvm.conf 弄ったり
zpool set autotrim=on pool 打ったり・・・
Vmで使う仮想DiskのDiscradのオプションに気づかずに・・・
23(1): 2024/04/18(木)07:02 ID:ZsCkLYIp(1) AAS
>>20
OSDじゃなくLinuxのインストール側のディスクはHDDにしたほうが安全だね。。
24(2): 2024/04/18(木)16:35 ID:uoBtp6XI(1) AAS
PVEでのcephの運用勉強してたら
前提条件が変わってきて用意したパーツが無駄に(笑)
データ用SSD180GB(MLC)ｘ14個
起動用SSD32GB(SLC)ｘ14個 ← これ、窓から投げ捨てて
起動用に100GB+α以上で高耐久のSSD調達しないと(涙)
25(1): 2024/04/18(木)21:42 ID:Kdf+IRuC(1) AAS
>>24
どんな構成なのか気になる・・・
26(1): 2024/04/19(金)12:23 ID:mQduTie0(1) AAS
>>24
起動用はもう、HDDでいんじゃね？（笑
実際のところ、Proxmox起動用と、iso保存用は、HDDを使うのとSSD使うのどっちがいいんだろうね。
27: 2024/04/19(金)12:24 ID:wZPPiKHf(1) AAS
ISO置き場は読み込み速度がほしいのでSSDにしてるな
28(1): 2024/04/19(金)13:33 ID:v99+h0jJ(1) AAS
Optaneでいいよもう
29(1): 2024/04/19(金)17:35 ID:ipLNXoOs(1) AAS
/var/lib/ceph/mon 以下をtmpfsにしちゃうとか
30: 2024/04/19(金)18:14 ID:ZWzGj4KO(1) AAS
逆にProxmoxサーバーのシステムディスクがHDDの場合、cephのパフォーマンスにどのぐらい影響するか知りたい。
31: 2024/04/19(金)23:40 ID:5OhZYjuR(1/2) AAS
>>25
[最初の計画]
32GB(SLC)をZFS・ミラーで冗長化して起動用(6台分)2個は予備
180GBｘ3をZFS・RAIDZで冗長化（4台分）
Proxmox ｘ3＋予備マシンｘ1、NASｘ1、実験用ｘ1
[途中の計画]
32GB(SLC)をZFS・ミラーで冗長化して起動用(6台分)2個は予備
省5
32: 2024/04/19(金)23:55 ID:5OhZYjuR(2/2) AAS
>>26
HDD、1万回転のSASのなら使ってないのが・・・
＞Proxmox起動用
Ceph無し、容量それほど必要じゃないならSSD（ただし、信頼性の高いメーカー・モデルが良い）
HDDは電源切断直後に衝撃を与えると簡単に壊た
>>28
Optaneは昔数点確保してたけど、入手性が悪くて必要量確保するのが・・・
省5
33: 2024/04/21(日)04:19 ID:+W2a3iqk(1) AAS
Cephのベンチマーク
Proxmoxの３台のノードでCephを構築
３ノードで同時に書き込み（シーケンシャル）をして書き込みレートを合計
NIC1Gbps(cluster・public同) 60~70MByte/sec
NIC1Gbps(cluster・public別) 85~95MBye/sec
NIC1Gbpsｘ2 ( balance-rr cluster・public同 ) 115~130MByte/sec
NIC1Gbpsｘ2 ( balance-rr cluster・public同 ecpool ( k=2,m=1 ) ) 230~290MByte/sec
34: 2024/04/27(土)09:31 ID:+GfuMO2X(1) AAS
Proxmox VE 8.2 released!
外部ﾘﾝｸ:forum.proxmox.com
35: 2024/04/27(土)10:09 ID:M8dkRrrB(1) AAS
ついに来たな
36(1): 2024/04/27(土)10:10 ID:6v5SZCGA(1) AAS
なんか変わったん？
37(1): 2024/04/27(土)14:16 ID:eLbjLiTZ(1) AAS
へぇ。8.1.8以降だと、ESXiからのライブマイグレーションもGUIからできるようになっているのか。
外部ﾘﾝｸ:qiita.com
戻し(PVE→ESXi)もできるようになると面白いと思う。
38: 2024/04/27(土)20:40 ID:y3s0D4bu(1) AAS
>>37
なんと
前に調べた時は、ESXi -> proxmox の移行が割と面倒なのと、そもそもハードウエアの準備が間に合わなかったので、当面ESXi を使い続ける決断をしたのだが、いよいよ現実的になってきたな
39(1): 2024/04/27(土)23:30 ID:38nUrolh(1) AAS
ZFS RAID1のバグは直ったかな
完全同容量でないと入れられないやつ
40(1): 2024/05/01(水)12:13 ID:yauHbW51(1) AAS
>>39
バグか仕様かは知らないが
直ってない
41: 2024/05/07(火)23:10 ID:6CprziQV(1) AAS
>>40
これ変わらないと将来片方壊れたとき復元できないんだよな
42(2): 2024/05/08(水)00:10 ID:muzT1nO8(1) AAS
DebianやUbuntuのZFS RAID1なら問題ないの？
43(1): 2024/05/08(水)01:34 ID:zpyAB8xc(1) AAS
>>42
ProxmoxのインストールでZFSのMirrorだと同容量じゃないとインストール出来ないけど
コマンド前提で、インストール後のデータディスクなどにで、異なる容量でミラーを新規作成は-fオプションで可能
壊れたディスクを新しい容量の違う（より容量の多きい）に交換も可能
44(1): 2024/05/08(水)19:06 ID:tbsAi4FE(1) AAS
>>43
詳しく
pve片肺で入れたあとにもう1個繋いでzfsコマンドの-fでraid1作るってこと？-fなんかあったっけ
あとbootパーティションどうにかしないと起動しないよな。grub2再構築だけだといけなかった記憶
45(2): 警備員[Lv.6][初] 2024/05/09(木)01:18 ID:cDB0ceXi(1) AAS
>>44
ちょっと気になったから実際に試してみた
◆Proxmoxの起動ディスクを異なる容量のZFS・Mirrorを構築する手順？
（BIOSのUEFI、CSM、SecureBoot等々の組み合わせで、ダメかもしれないが・・・）
インストール画面でZFSのRAID0を選択して容量の少ない方の単独のディスクにインストール
（ disk 0にインストール先 disk 1~ に --do not use-- を選択 ）
インストール後に、以下の手順でbootやら、ZFSミラーやらを構築
省13
46: 2024/05/12(日)13:35 ID:q/r/YdEQ(1) AAS
kernel更新したらpt3_drv.koの組み込みでコケるようになった
素人判断で合っているのかどうか分からんけど、これで直った
diff pt3_pci.c-dist pt3_pci.c
929c929
< rc = dma_set_coherent_mask((struct device *)pdev, DMA_BIT_MASK(64));
---
> rc = dma_set_coherent_mask(&pdev->dev, DMA_BIT_MASK(64));
47(2): 2024/05/22(水)19:57 ID:yAPLoZBx(1) AAS
EPYCがAM5で出るらしい
普通のパソコンで16C32Tで組める時代になった
48: 2024/05/22(水)23:58 ID:KYfP2r/f(1) AAS
>>45
神ですな
proxmox-boot-toolが重要なのかもしれないね
これ使わないとうまく構築できんかった
49: 2024/05/23(木)07:25 ID:6ybBmxjM(1) AAS
X950は16C32Tだよね
50: 2024/05/23(木)10:11 ID:Am3yVS3J(1) AAS
おいおいdRAIDが選べるのか
RAIDZとどっちがいいんだ？
51: 2024/05/23(木)10:24 ID:pOhkl8LS(1/2) AAS
藤井聡太の師匠、杉本昌隆に使ってもらう事を想定したEPYCだろうか
52(1): 2024/05/23(木)11:21 ID:UxOCbtxe(1) AAS
>>47
16C32Tで何するん？
マルチスレッド番長なCPUが増えてるけど、
シングルスレッド性能がほしい
53(1): 2024/05/23(木)11:56 ID:pOhkl8LS(2/2) AAS
Webサーバ、DBサーバを分けて、Active/Standby用も分けて建てられるやん。
1環境に2コア割くとして16台のサーバ群が...
楽しいー
54: 2024/05/23(木)12:52 ID:nmScwMeV(1) AAS
>>52
シングルならRyzenだな
IntelはPコア/Eコアの制御が微妙だし、PコアオンリーのXeonは普通のPCで動かない
55: 2024/05/24(金)07:25 ID:A2aWVnMx(1/2) AAS
>>47
AM4でも組めた（3950/5950）けど、使い勝手が悪かったのか？
56: 2024/05/24(金)11:41 ID:wm4NCQtE(1) AAS
EPYCならECCメモリ使えるから大容量でも安心じゃん？
と思ったんだけど、RyzenってそもそもECCメモリ普通に使えんのね
知らなかったわ
でも、そうなるとRyzen9との差別化的にEPYC4004シリーズって微妙に思えてきた
57: 2024/05/24(金)12:20 ID:l3H7jR5C(1) AAS
RyzenのECCは使えるけど公式サポートされてない
EPYCはされてる
58: 2024/05/24(金)14:19 ID:A2aWVnMx(2/2) AAS
Ryzen7 PRO 4x50Gは無駄にECC正式サポートだったりする。
59: 2024/05/24(金)14:27 ID:2sr7EHLE(1) AAS
Proはみんなそうじゃね？
60: 2024/05/25(土)17:49 ID:fFAo6mQe(1) AAS
>>53
CPUオーバーコミットすれば更にドン！
メモリーはしらんけど
61(1): 2024/06/01(土)05:16 ID:+8qEOzTG(1/3) AAS
USB延長コードとキーボードをつないでいたら起動できなかったが、外したら普通に起動ができてまた震えさされた今日
前回お世話になったものでようやくバックアップしようとSSDを増設しlvm-thin でフォーマットしたのですが
たのですが、今使ってるexfatの仮想マシーンを移動することができてもコピーすることが出来ません。
全部LVMTHINに移動してからEXFATのをLVMにフォーマットすればいいのかもしれませんがいろいろと間違わないか不安です。
CHATGPTに聞くとディレクトリ間でコピーしてからコピーしたのを移動すればいいといわれたので、先ずバックアップしようとしたのですが、
LVMTINが選べないのは当然としてLOCALという覚えのない100gのところが指定されるのですが、使っていいか不安です
62: 2024/06/01(土)05:17 ID:+8qEOzTG(2/3) AAS
起動ディスク partitions 500gb
BIOSBOOT 1mb
EFI 1Gb
LVM 499gb
データディスク partitions ２ｔb
EXT4 ２ｔb
バックアップディスク LVM 2tb
省6
63: 2024/06/01(土)05:23 ID:+8qEOzTG(3/3) AAS
XEON 2g 18コア からRYZEN7950に移行したら20ぐらいの仮想マシンの環境でブラウジングやエクスプローラーの速度が数倍になりました。
実機よりちょい重いぐらいかなのレベルで動くんですごいですね。
XEONマシンはいろいろとガタが来て超重かっただけかもですが、世代が違うと性能以上の差が出るんですかね
64: 2024/06/01(土)08:36 ID:81E7+yO4(1) AAS
性能以上の差ってどういうことだ？
仮想マシンの場合、passmark の総合スコアだけでなく single thread rating の数字も見ておかないといかんですの
65: 2024/06/01(土)22:40 ID:mGTROnXd(1) AAS
7950Xは16コアとはいえ基本クロック4.5GHzでDDR5だから、Xeon 2GHz 18コアの倍の性能は出るじゃろ。
66(1): 2024/06/04(火)13:24 ID:YWOEOOvj(1) AAS
XEONだと鈍重でまともに動かなかったのは別の理由だったんですかね
ロード100にはなってなかったのでエクスプローラーの重さは異常でした
67: 2024/06/04(火)17:01 ID:Dv/XpoeW(1) AAS
>>66
xeon 2G 18coreってE5-2686 v3か？
同一クロック同一コア数で半分くらいの性能しか無さそうだな
その上でクロックが倍になるわけで性能はかなり違うのは頷けるね
それくらいの世代だとssdもsataだったりするんじゃないか？
68(1): 2024/06/08(土)12:05 ID:X5VmB4qE(1) AAS
>>61 が実現したいのは次の理解で正しい？
1. VMのバックアップを保存したい
保存先はストレージRED２BACKUP
2. VMをコピーしたい
コピーしたVMのHDD保存先はストレージRED
※ストレージlocalとlocal lvmはよくわからないから不安
69: 2024/06/15(土)17:54 ID:wiSGl0w6(1) AAS
ニコニコ動画がサーバーの仮想化基盤かリモート管理機能を乗っ取られた
自分も緊急時に備えてサーバーの物理電源を抜く練習（素振り）しとくぞ！
冗談はさておき、みんなは
リモート管理機能（IPMI等）、仮想化基盤（Proxomox)、仮想マシンのネットワークは完全分離してる？
自分は物理的な分離は出来てない（VLANとIPフィルターによる分離・・・）
70: 2024/06/15(土)22:15 ID:Q0s1yFxE(1) AAS
してない電気代の無駄vlanで十分だ
ただ、使ってる器材が古いから現代の機材を使えば同じ電力で分離できるかもね
71: 2024/06/16(日)08:53 ID:Ygk/Cz49(1) AAS
逆に論理で分離されているものを物理に戻す意味あるのか
SDNの意味とか
72: 2024/06/16(日)11:53 ID:sGJubzhw(1) AAS
物理のマネージメントはしてるよ
73: 2024/06/18(火)14:12 ID:YdASsaJJ(1) AAS
お外から自宅へアクセスがあるのはルーターとNAS（Synology）で走っているOpenVPNとTailscaleだけだから、全部192.168.1.0/24。
仮想環境内で仮想スイッチを使う時があれば、改めてセグメントを考える。
74: 2024/06/18(火)15:56 ID:QgMkE9zo(1) AAS
物理的に別のスイッチに繋ってるとたとえファームにどんなバグがあったとしても絶対にフレームが混ざらないという安心感はあるが、
内部ネットワークの分離はVLANでいいわ
ケーブルぐちゃぐちゃになるし
75: 2024/06/18(火)16:31 ID:mxpQFEV5(1) AAS
データセンターで稼働する大規模サービスと自宅環境を比べて語ってもしゃーない
76(1): 2024/06/18(火)16:51 ID:ZhIYHA86(1) AAS
さっきpveアップデートしたら立ち上がらなくなった
原因は不明
今夜は徹夜かな
はぁ
77(2): 2024/06/18(火)22:35 ID:5iw8JQxR(1) AAS
>>76
もしかしてアップデートを実行したときにW: (pve-apt-hook) !! WARNING !!以下のproxmox-veを
削除しようとするメッセージが出てなかった？
自分はさっき出たけどapt updateを再度実行してからapt upgradeしたら正常にアップデートできた
78: 2024/06/18(火)23:04 ID:iR/K6o1N(1) AAS
>>77
ありがとう
帰宅したらやってみる
79: 2024/06/19(水)03:49 ID:xg3Lqi2D(1) AAS
>>77
ああ、debian系のお約束か。> updateしてからupgrade
80(1): あぼーん [あぼーん] AAS
あぼーん
81: 2024/06/21(金)23:52 ID:4CzZ78WH(1) AAS
>>80
動物の動画ばっかり見てるわ
上下前次1-新書関写板覧索設栞歴
あと 788 ﾚｽあります
ｽﾚ情報 赤ﾚｽ抽出 画像ﾚｽ抽出 歴の未読ｽﾚ AAｻﾑﾈｲﾙ
ぬこの手 ぬこTOP 0.021s