[過去ﾛｸﾞ]
ファイルシステム総合スレ その20 (1002ﾚｽ)
ファイルシステム総合スレ その20 http://mao.5ch.net/test/read.cgi/linux/1722312892/
上
下
前
次
1-
新
通常表示
512ﾊﾞｲﾄ分割
ﾚｽ栞
このｽﾚｯﾄﾞは過去ﾛｸﾞ倉庫に格納されています｡
次ｽﾚ検索
歴削→次ｽﾚ
栞削→次ｽﾚ
過去ﾛｸﾞﾒﾆｭｰ
951: login:Penguin [sage] 2025/06/17(火) 23:54:33.35 ID:YcGRWNVI え、まだ続けんのこの話？？？ どういう実装(ハードウェア/ソフトウェア)でもRAID5は原理的にクラッシュ時のwrite hole(データ/パリティの不整合)の時の問題があるから 電源周りなら例えばUPSで確実にセーフシャットダウン出来るとか バッテリーバックアップ(キャッシュ)付きのハードウェアRAIDとかが推奨に近いレベルであるべきだし ソフトウェアRAIDなら何かしらトランザクションログ付き(ZFSのRAIDZがこれ)になってるとか それでも偶発的なクラッシュによる中断はあり得るとか
何にしても「安全な運用」はかなり難しいか 出来るとしても少なくともかなり上等な環境と管理者が要ると思いますけど てかmdadm含め「RAID」全体だと厳密にはスレチなんじゃねーの？？？ Linux板のファイルシステム総合スレなんだからさあ RAID機能の話ならbtrfsとかOpenZFSとかの話をするスレなんじゃないのか んでbtrfsならまさにwrite hole問題を軽減する実装に乏しいから RAID5(と6)は現状やめときって評価なんじゃないの？ なんか間違ったこと言ってる？ http://mao.5ch.net/test/read.cgi/linux/1722312892/951
952: login:Penguin [sage] 2025/06/18(水) 00:21:52.57 ID:kTzkFbG6 write holeはRAID1でも起こり得るのだが… Disk1だけ書き込めてDisk0は書き込めない状況 両ディスクで内容が異なる http://mao.5ch.net/test/read.cgi/linux/1722312892/952
953: login:Penguin [sage] 2025/06/18(水) 00:33:26.16 ID:CeuUJCLk write holeあったとしてもbtrfsはRAID1でもチェックサムあるからスクラブで修正出来るんじゃないの？ http://mao.5ch.net/test/read.cgi/linux/1722312892/953
954: login:Penguin [sage] 2025/06/18(水) 00:44:06.13 ID:6FJRmKfA RAID1でもwrite holeそのものは起こるけど ミラーリングは単にどちらか片方のコピーが正しい可能性が高く btrfsなら今あるメタデータとチェックサムだけでスクラブで十分に修正出来る 対して5/6はストライプ+パリティで仕組みが複雑なので 最悪アレイが丸ごとおじゃんになる可能性がある http://mao.5ch.net/test/read.cgi/linux/1722312892/954
955: login:Penguin [sage] 2025/06/18(水) 10:37:09.61 ID:wvNgIh7z >>951 > なんか間違ったこと言ってる？ 「Btrfs のRAID-5は危険だから使うな」は間違いかな。 「どうして TeraStation や QNAP は RAID-5 で炎上していない んだ」、「炎上しないために何をすれば良いんだ」、 「本当のリビルドの失敗率はどれくらいなんだ」、「ファイル システムのジャーナリングがライトホールに対してどれだけ有効 か/無力か」あたりを突き詰めるのが正解じゃね？ なんか根拠で碌に精度も出せてないのにバッサリ「使うな」って 雑な結論ゴリゴリ押
しつけてくるだけって感じる。 http://mao.5ch.net/test/read.cgi/linux/1722312892/955
956: login:Penguin [sage] 2025/06/18(水) 13:29:48.18 ID:f4q6cLid ↑951じゃないけど横からちょっとだけ 少なくともQNAPのRAID5は「Btrfsの内蔵機能」での RAID5じゃなくて、MD機能を使ったRAIDですのだ… (最近のQNAPではさらにLVMのレイヤーも噛ませてた気も) 「Btrfsの」RAID5(RAID6も?)は、少なくとも カーネル6.1とかの段階では、メンテナー自身が 危険だからデバッグ目的以外で使うなって言ってた MDを使ったソフトウェアRAIDはもう枯れまくってて 自身の機能部分での安定性は実績がある… けど拡張性や柔軟性は現在基準では比較でやはり
厳しい感 http://mao.5ch.net/test/read.cgi/linux/1722312892/956
957: login:Penguin [sage] 2025/06/18(水) 14:06:13.70 ID:K/MF2oNs これか？ Linux 6.2カーネルに含めるためにBtrfsの改善が提案されました RAID 5/6 実装での書き込みホールの問題を修正します。 https://ja.linuxadictos.com/Linux-6-2.html https://en.linuxadictos.com/Linux-6-2.html RAID5/6 の場合、ファイル システムはチェックサムを保存しません。 この場合、ファイル システムは読み取り-変更-書き込み (RMW) 操作を実行する必要があります。 開発者は、RMW 操作がこの操作を実行する前にブロックのチェックサムを検証し、必要に
応じてデータ リカバリが書き込み後にチェックサム検証も実行するように変更を加えました。 残念ながら、不完全なフリンジ (RMW) が書き込まれる状況では、これによりチェックサムを計算するための追加のオーバーヘッドが発生しますが、信頼性が大幅に向上します。 RAID6 の場合、そのようなロジックはまだ準備ができていません。 http://mao.5ch.net/test/read.cgi/linux/1722312892/957
958: login:Penguin [sage] 2025/06/18(水) 14:33:29.88 ID:mS/Jtlgs 今のbtrfs-progsでも作ると警告出るし ドキュメントでも警告されててふつうに非推奨のままや http://mao.5ch.net/test/read.cgi/linux/1722312892/958
959: login:Penguin [sage] 2025/06/19(木) 12:07:41.63 ID:FZnGLgFp 昔みたterra stationは、xfsだったな。 RAIDもmdなんじゃ無いかな？ http://mao.5ch.net/test/read.cgi/linux/1722312892/959
960: login:Penguin [] 2025/06/19(木) 22:46:06.42 ID:/5HUQadQ 最近出てきた20TオーバのHDDでRAID5とか組んだらリビルドが終わらんだろうな http://mao.5ch.net/test/read.cgi/linux/1722312892/960
961: login:Penguin [] 2025/06/19(木) 23:25:44.44 ID:DYz6LZHt SSDならリビルドどれだけ速くなるんだろうか CPUが追いつかんか http://mao.5ch.net/test/read.cgi/linux/1722312892/961
962: login:Penguin [sage] 2025/06/20(金) 00:46:09.31 ID:qYS4FMam フラッシュメモリの特性として読込みに比べて書込みは桁違いに遅い 各種キャッシュで表面化しないようにしているけど 全面書込みではフラッシュメモリの特性が露骨に出てくる http://mao.5ch.net/test/read.cgi/linux/1722312892/962
963: login:Penguin [] 2025/06/20(金) 01:10:05.54 ID:eaZI5k8F SSDの書き込みが遅くなるのはフラッシュメモリのせいではなくMLCとかQLCのせいでは？ http://mao.5ch.net/test/read.cgi/linux/1722312892/963
964: login:Penguin [sage] 2025/06/20(金) 09:14:26.41 ID:kjXcySV2 SSD は書込寿命あるから不要な書き換えの多い RAID-5/6/Z1/Z2 あたりは非推奨みたいに言われてるんじゃなかったっけ？ http://mao.5ch.net/test/read.cgi/linux/1722312892/964
965: login:Penguin [] 2025/06/20(金) 11:18:26.58 ID:qYS4FMam 「不要な書き換え」が多い？ 具体的にはどのような書き換え？ 不要ならなぜ実装されているわけ？ http://mao.5ch.net/test/read.cgi/linux/1722312892/965
966: login:Penguin [sage] 2025/06/20(金) 11:56:16.09 ID:Uag62jWA 不要な書き換えについてはわからないけど、 RAIDとかファイルシステム直じゃない 抽象レイヤーを挟むと だいたいtrimは実行できなくなる感じ フラッシュメモリでは書き換えブロックが集中しやすくて 寿命の面では不利にはなりそう http://mao.5ch.net/test/read.cgi/linux/1722312892/966
967: login:Penguin [sage] 2025/06/20(金) 18:01:09.01 ID:kjXcySV2 >>965 すまない、この説の信奉者じゃないんで詳しくはないんだが... ランダムライトで4KiB書き換えた場合でもパリティは全書き換えだから、 チャンクサイズが64KiBだと4KiB+64KiB 書き換えが必要。 (4KiB 17回分) RAID-1 なら 4KiBx2 (2回分) で済む。 RAID-1 はシーケンシャルライトするだけで２倍書き込むから 書き込み回数でいうなら RAID-5 より多いじゃん、といえばそう なんだがドライブ１本あたりの書込回数って意味だと RAID-5 の方が多くなるとかなんとか。 フ
ァイルシステムのメタデータはランダムアクセスなんで昔から メタデータについては RAID-5/6 は避けろとは言われているね。 とくに LustreFS や GPFS とか。 >>957 にもメタデータは RAID-1 にしろとある。 xfs も mkfs オプションでメタデータだけ別ブロックデバイスに 配置できるオプションが昔からあるが、そういえば使ったことないな。 http://mao.5ch.net/test/read.cgi/linux/1722312892/967
968: login:Penguin [] 2025/06/20(金) 20:34:29.47 ID:qYS4FMam ちゃんと元の論文なりきちんとした文献を読んだり理解していないようですね 下記wikiももっともらしく書いてありますが https://wiki.archlinux.jp/index.php/RAID RAID5の書込パフォーマンスが(n−1)Xで高速と書いてありますが大嘘ですよ 書込はストライプやストリップ境界と揃わない場合読込みが入り遅くなるのは常識 それをあえて書かないのは雑誌と同じで商業的にあえて触れていず不誠実です http://mao.5ch.net/test/read.cgi/linux/1722312892/968
969: login:Penguin [sage] 2025/06/20(金) 23:30:20.34 ID:kjXcySV2 >>968 んでそのストリップ境界でRMWする確率はどれくらいなんだい？ めったに起きないから(n-1)Xちかくで書き込むのを実測できるわけで。 論文なんてもはやトイレの紙にもならんもの読むんじゃなくて 一流企業のベンダーの資料に目を通したまえ。 http://mao.5ch.net/test/read.cgi/linux/1722312892/969
970: login:Penguin [] 2025/06/21(土) 00:20:30.96 ID:KlN9oYmI SSDはコントローラーのメーカーによってかなり動きが違うよね SSD全体を一般化して語るのはおかしいよ 1つのSSDで試しても他のメーカーでは違う結果が出るかもしれない http://mao.5ch.net/test/read.cgi/linux/1722312892/970
971: login:Penguin [] 2025/06/21(土) 08:41:29.45 ID:3iENlu5H >>963 どゆこと？ http://mao.5ch.net/test/read.cgi/linux/1722312892/971
972: login:Penguin [] 2025/06/21(土) 09:04:54.98 ID:KlN9oYmI SSDはHDDとは違ってKernelから認識しているデータ配置と実際の配置がまるで違うからな それを改善するためにZNS SSDとかいうのが出てきてるけど http://mao.5ch.net/test/read.cgi/linux/1722312892/972
973: login:Penguin [sage] 2025/06/21(土) 09:56:16.70 ID:p0nxy9BL btrfsでSSD RAID10してるけど2年くらい運用してるけど シリコンパワーとかいう半年で壊れるメーカーのせいで2度リビルドさせられた以外は特にトラブルなしだよ 安価なディスクを組み合わせて信頼性や性能を向上させるっていうRAIDの利点はSSDでは通用しないらしい http://mao.5ch.net/test/read.cgi/linux/1722312892/973
974: login:Penguin [sage] 2025/06/21(土) 12:11:27.31 ID:73DbppD8 読み書きの仕組みも HDD と結構違うぞ SSD の読み書きはページ単位(16KiB or 32KiB, 型番による)で Trim(消去) はブロック単位(512KiB など, 型番による) 書き込み回数を均す (Wear Leveling) 目的もあるので一旦書き込んだら上書きしない 1bit でも書き換えたページは別ページに書き直し 再利用するにはガーベージコレクションで使用中のページを別ブロックに追い出してブロック内の全ページを未使用状態にしてからブロック単位で Trim どうみてもデフラグ(略) まあ SMR (瓦
書き込み: 1bit書き換えで最悪ハードディスク８回転ぐらい？させて書き込む(瓦を敷きなおす)必要がある) よりかはわかりやすいが http://mao.5ch.net/test/read.cgi/linux/1722312892/974
975: login:Penguin [sage] 2025/06/21(土) 12:15:57.44 ID:U4z6kL4u そもそもSSDはストライピング系のRAIDレベルで 速度向上させるまでもなく、 元々実用上十分なアクセス速度がある気がしなくもない… ベンチマークでの速度が目的なら何も言えないけど http://mao.5ch.net/test/read.cgi/linux/1722312892/975
976: login:Penguin [sage] 2025/06/21(土) 23:12:54.07 ID:EGQeHYc0 素人ですまんが fstrim って定期的に実行したほうがいいのは今も昔も変わってないよね？ http://mao.5ch.net/test/read.cgi/linux/1722312892/976
977: login:Penguin [sage] 2025/06/22(日) 02:57:18.54 ID:b/oVtT+X Trimの効果はファーム（メーカの方針）による 要するにモデルによって異なる まあ週一くらいで実行すればいいんじゃない http://mao.5ch.net/test/read.cgi/linux/1722312892/977
978: login:Penguin [sage] 2025/06/22(日) 05:05:30.19 ID:11SdqEm/ いまはsystemdに組み込まれたりして勝手に動いてるよ http://mao.5ch.net/test/read.cgi/linux/1722312892/978
979: login:Penguin [sage] 2025/06/22(日) 08:41:19.45 ID:A0LT32zn ファイルシステムからデバイスに対して未使用ブロックの報告をいつするか だからメーカの方針云々は間違いでは？ マウントオプションに discard を入れていれば fstrim 不要だけど rm する度に処理が走ってモタつくから週末あたりにまとめて fstrim しろって認識 http://mao.5ch.net/test/read.cgi/linux/1722312892/979
980: login:Penguin [sage] 2025/06/22(日) 09:50:55.11 ID:A0LT32zn 次スレ ファイルシステム総合スレ その21 ttps://mao.5ch.net/test/read.cgi/linux/1750553314/ http://mao.5ch.net/test/read.cgi/linux/1722312892/980
ﾒﾓ帳
(0/65535文字)
上
下
前
次
1-
新
書
関
写
板
覧
索
設
栞
歴
あと 22 ﾚｽあります
ｽﾚ情報
赤ﾚｽ抽出
画像ﾚｽ抽出
歴の未読ｽﾚ
Google検索
Wikipedia
ぬこの手
ぬこTOP
0.013s