[過去ﾛｸﾞ]
ファイルシステム総合スレ その20 (1002ﾚｽ)
ファイルシステム総合スレ その20 http://mao.5ch.net/test/read.cgi/linux/1722312892/
上
下
前
次
1-
新
通常表示
512ﾊﾞｲﾄ分割
ﾚｽ栞
このｽﾚｯﾄﾞは過去ﾛｸﾞ倉庫に格納されています｡
次ｽﾚ検索
歴削→次ｽﾚ
栞削→次ｽﾚ
過去ﾛｸﾞﾒﾆｭｰ
940: login:Penguin [sage] 2025/06/17(火) 13:37:46.66 ID:1K0szjjx >>938 だから「リビルドがUREで失敗する確率は決して低くない」という話だって言ってるじゃん 冗長性のあるRAIDレベルで通常稼働時に単一の障害が訂正出来るのは当たり前じゃねーかw >>939 あくまで「リビルド中にUREに遭遇する確率」をカタログスペックから単純計算(概算)した数字の話なので もちろん実際の障害の可能性はもう少し前後し得るよ 改めて補足しとくけどUREはSMARTとかからわかる形で 明確に「故障」せずとも読み取り時に偶発的に起きる確率的現象で
だから市販製品のデータシートにもちゃんと書いてあるんだ(Non-recoverable errors per bits readの項とかその辺り) もちろん業務用途ならHDD/SSDにしろRAIDカードにしろソフトウェアRAIDにしろ ずっと上等で堅牢な構成を採用してる事が多いから 破滅的な結果に至る確率はぐっと低いよ あくまで典型的には個人がRAID5やるシナリオだと致命的になりがちって話ね ttps://documents.westerndigital.com/content/dam/doc-library/en_us/assets/public/western-digital/product/internal-drives/wd-red-plus-hdd/product-brief-western-digital-wd-red-plu
s-hdd.pdf ttps://www.seagate.com/files/www-content/product-content/hdd-fam/seagate-archive-hdd/en-us/docs/archive-hdd-dS1834-3-1411us.pdf http://mao.5ch.net/test/read.cgi/linux/1722312892/940
941: login:Penguin [] 2025/06/17(火) 13:51:35.52 ID:G5q8UCPD 5分停止したら何億とか会社消滅ならRAIDでサービス継続は分かる でも個人用途ではHDD故障して機能のバックアップで十分 データ書き戻しで半日くらい止まっても大丈夫 これらが大半 RAID不要だろって話 webや雑誌記事でのせられて使っているだけでしょ? http://mao.5ch.net/test/read.cgi/linux/1722312892/941
942: login:Penguin [] 2025/06/17(火) 13:52:18.30 ID:G5q8UCPD 昨日のバックアップデータで許容ね http://mao.5ch.net/test/read.cgi/linux/1722312892/942
943: login:Penguin [sage] 2025/06/17(火) 14:22:03.02 ID:89jEObby linux板って個人と企業を混合して話をするからエスパー力を必要とされるね http://mao.5ch.net/test/read.cgi/linux/1722312892/943
944: login:Penguin [sage] 2025/06/17(火) 16:34:21.29 ID:TRstYWTQ >>934 3週間間隔でエラー補正かかる、は流石にディスクの方を疑おうよ… http://mao.5ch.net/test/read.cgi/linux/1722312892/944
945: login:Penguin [sage] 2025/06/17(火) 19:12:51.70 ID:lZRqBMI7 以下チラ裏。 週１回スクラブ、週の書き込みが総容量の15%程度でディスクの 使用率90%、8TBx11本(10d1p)、エラー率1/10^15、と仮定して 自分で計算してみた。 10d1pでスクラブなしで１本故障時に残存HDDにエラーが乗って いる率(任意の10本にエラーが乗っている確率)が8%。 スクラブで 0.00000000028% に低下(面倒なので0%とする)。 １週間分の書き込みで 1.2% に上昇、 未使用領域で事なきを得る確率 10% を差っ引くとリビルド失敗率は 1.08% だな。 個人だとHDD4本構成(3d1p)
ぐらい？。 ディスク使用率70%、エラー率は1/10^14 で週の書込量は総容量の 3% で計算。 スクラブなしだと任意の３本にエラーが乗っている確率が24%、 こちらも週１回スクラブ(TeraStationとかがこれぐらいの頻度？) でほぼゼロに。 週に３%(0.72TB)書込で 0.72%、未使用領域で事なきをえる確率 30% 差っ引いてリビルド失敗率は 0.5% ぐらいか。 http://mao.5ch.net/test/read.cgi/linux/1722312892/945
946: login:Penguin [sage] 2025/06/17(火) 19:17:43.68 ID:526FSu8J お前らいったん冷静になってスレタイ512回ほど音読しろ http://mao.5ch.net/test/read.cgi/linux/1722312892/946
947: login:Penguin [sage] 2025/06/17(火) 19:47:46.56 ID:YcGRWNVI みんなbtrfsの話してるとばかり思ってたのに あ、個人の趣味でbtrfsでRAID1してます http://mao.5ch.net/test/read.cgi/linux/1722312892/947
948: login:Penguin [sage] 2025/06/17(火) 19:48:20.77 ID:0tWlbWzs まあまあ… ファイルシステムを乗せるための ファイルシステム/データストレージ関連技術として RAIDとかLVMとかの話題もいいんじゃない？ 専用スレも無いみたいだし(それまで過疎ってたし…) http://mao.5ch.net/test/read.cgi/linux/1722312892/948
949: login:Penguin [sage] 2025/06/17(火) 21:52:54.92 ID:YcGRWNVI >>945 Unrecoverable Read Error (URE)は言葉の通り「回復不可能な読み出しエラー」、 つまり読み出しの時点で新たに起きるエラーの話で URE rate (URE率)というのは読み出しの総量に対してエラーが起きる確率 つまり厳密には事前の書き込みで起きる破損(破損セクタ)じゃないよ 適切に定期scrubすれば現実の故障のリスクを減らせると思われるのはその通りだけど それ踏まえても「リビルド時のURE 」は無くせないって話 でも先の60%/6%で失敗って言ったのはカタログスペック
の保守的な見積もり(のはずの)保証値から全容量でざっくり概算したもので 実際のHDDのエラー率はもっと低いだろって指摘する人もいるし もっと楽観的に見れるんじゃねと言えばそれはそうだと思う 繰り返しになるけど俺が言いたいのは「"RAID5は" URE考えるとヤバイ」って所ね RAID1はじめscrubなど適切な運用ありきの多くが 現実的じゃないとはまったく思ってないし言ってもないからね ttps://www.enricobassetti.it/2022/03/raid5-ure-and-the-probability/ 長々ほぼスレチ話しちゃったから無理やり話戻すけど btrfsでRAID5だけは絶対や
めとけ 地雷機能の地雷構成とか絶対死ぬでw ttps://btrfs.readthedocs.io/en/latest/btrfs-man5.html#raid56-status-and-recommended-practices http://mao.5ch.net/test/read.cgi/linux/1722312892/949
950: login:Penguin [sage] 2025/06/17(火) 23:13:16.50 ID:G5q8UCPD ひとのコメントを根拠とか示さず貼られても… RAID5ではこれこれの機能が理論的には必要だけど linux mdはこれこれが実装されていないとか 具体的に書けばよいのに http://mao.5ch.net/test/read.cgi/linux/1722312892/950
951: login:Penguin [sage] 2025/06/17(火) 23:54:33.35 ID:YcGRWNVI え、まだ続けんのこの話？？？ どういう実装(ハードウェア/ソフトウェア)でもRAID5は原理的にクラッシュ時のwrite hole(データ/パリティの不整合)の時の問題があるから 電源周りなら例えばUPSで確実にセーフシャットダウン出来るとか バッテリーバックアップ(キャッシュ)付きのハードウェアRAIDとかが推奨に近いレベルであるべきだし ソフトウェアRAIDなら何かしらトランザクションログ付き(ZFSのRAIDZがこれ)になってるとか それでも偶発的なクラッシュによる中断はあり得るとか
何にしても「安全な運用」はかなり難しいか 出来るとしても少なくともかなり上等な環境と管理者が要ると思いますけど てかmdadm含め「RAID」全体だと厳密にはスレチなんじゃねーの？？？ Linux板のファイルシステム総合スレなんだからさあ RAID機能の話ならbtrfsとかOpenZFSとかの話をするスレなんじゃないのか んでbtrfsならまさにwrite hole問題を軽減する実装に乏しいから RAID5(と6)は現状やめときって評価なんじゃないの？ なんか間違ったこと言ってる？ http://mao.5ch.net/test/read.cgi/linux/1722312892/951
952: login:Penguin [sage] 2025/06/18(水) 00:21:52.57 ID:kTzkFbG6 write holeはRAID1でも起こり得るのだが… Disk1だけ書き込めてDisk0は書き込めない状況 両ディスクで内容が異なる http://mao.5ch.net/test/read.cgi/linux/1722312892/952
953: login:Penguin [sage] 2025/06/18(水) 00:33:26.16 ID:CeuUJCLk write holeあったとしてもbtrfsはRAID1でもチェックサムあるからスクラブで修正出来るんじゃないの？ http://mao.5ch.net/test/read.cgi/linux/1722312892/953
954: login:Penguin [sage] 2025/06/18(水) 00:44:06.13 ID:6FJRmKfA RAID1でもwrite holeそのものは起こるけど ミラーリングは単にどちらか片方のコピーが正しい可能性が高く btrfsなら今あるメタデータとチェックサムだけでスクラブで十分に修正出来る 対して5/6はストライプ+パリティで仕組みが複雑なので 最悪アレイが丸ごとおじゃんになる可能性がある http://mao.5ch.net/test/read.cgi/linux/1722312892/954
955: login:Penguin [sage] 2025/06/18(水) 10:37:09.61 ID:wvNgIh7z >>951 > なんか間違ったこと言ってる？ 「Btrfs のRAID-5は危険だから使うな」は間違いかな。 「どうして TeraStation や QNAP は RAID-5 で炎上していない んだ」、「炎上しないために何をすれば良いんだ」、 「本当のリビルドの失敗率はどれくらいなんだ」、「ファイル システムのジャーナリングがライトホールに対してどれだけ有効 か/無力か」あたりを突き詰めるのが正解じゃね？ なんか根拠で碌に精度も出せてないのにバッサリ「使うな」って 雑な結論ゴリゴリ押
しつけてくるだけって感じる。 http://mao.5ch.net/test/read.cgi/linux/1722312892/955
956: login:Penguin [sage] 2025/06/18(水) 13:29:48.18 ID:f4q6cLid ↑951じゃないけど横からちょっとだけ 少なくともQNAPのRAID5は「Btrfsの内蔵機能」での RAID5じゃなくて、MD機能を使ったRAIDですのだ… (最近のQNAPではさらにLVMのレイヤーも噛ませてた気も) 「Btrfsの」RAID5(RAID6も?)は、少なくとも カーネル6.1とかの段階では、メンテナー自身が 危険だからデバッグ目的以外で使うなって言ってた MDを使ったソフトウェアRAIDはもう枯れまくってて 自身の機能部分での安定性は実績がある… けど拡張性や柔軟性は現在基準では比較でやはり
厳しい感 http://mao.5ch.net/test/read.cgi/linux/1722312892/956
957: login:Penguin [sage] 2025/06/18(水) 14:06:13.70 ID:K/MF2oNs これか？ Linux 6.2カーネルに含めるためにBtrfsの改善が提案されました RAID 5/6 実装での書き込みホールの問題を修正します。 https://ja.linuxadictos.com/Linux-6-2.html https://en.linuxadictos.com/Linux-6-2.html RAID5/6 の場合、ファイル システムはチェックサムを保存しません。 この場合、ファイル システムは読み取り-変更-書き込み (RMW) 操作を実行する必要があります。 開発者は、RMW 操作がこの操作を実行する前にブロックのチェックサムを検証し、必要に
応じてデータ リカバリが書き込み後にチェックサム検証も実行するように変更を加えました。 残念ながら、不完全なフリンジ (RMW) が書き込まれる状況では、これによりチェックサムを計算するための追加のオーバーヘッドが発生しますが、信頼性が大幅に向上します。 RAID6 の場合、そのようなロジックはまだ準備ができていません。 http://mao.5ch.net/test/read.cgi/linux/1722312892/957
958: login:Penguin [sage] 2025/06/18(水) 14:33:29.88 ID:mS/Jtlgs 今のbtrfs-progsでも作ると警告出るし ドキュメントでも警告されててふつうに非推奨のままや http://mao.5ch.net/test/read.cgi/linux/1722312892/958
959: login:Penguin [sage] 2025/06/19(木) 12:07:41.63 ID:FZnGLgFp 昔みたterra stationは、xfsだったな。 RAIDもmdなんじゃ無いかな？ http://mao.5ch.net/test/read.cgi/linux/1722312892/959
960: login:Penguin [] 2025/06/19(木) 22:46:06.42 ID:/5HUQadQ 最近出てきた20TオーバのHDDでRAID5とか組んだらリビルドが終わらんだろうな http://mao.5ch.net/test/read.cgi/linux/1722312892/960
961: login:Penguin [] 2025/06/19(木) 23:25:44.44 ID:DYz6LZHt SSDならリビルドどれだけ速くなるんだろうか CPUが追いつかんか http://mao.5ch.net/test/read.cgi/linux/1722312892/961
962: login:Penguin [sage] 2025/06/20(金) 00:46:09.31 ID:qYS4FMam フラッシュメモリの特性として読込みに比べて書込みは桁違いに遅い 各種キャッシュで表面化しないようにしているけど 全面書込みではフラッシュメモリの特性が露骨に出てくる http://mao.5ch.net/test/read.cgi/linux/1722312892/962
963: login:Penguin [] 2025/06/20(金) 01:10:05.54 ID:eaZI5k8F SSDの書き込みが遅くなるのはフラッシュメモリのせいではなくMLCとかQLCのせいでは？ http://mao.5ch.net/test/read.cgi/linux/1722312892/963
964: login:Penguin [sage] 2025/06/20(金) 09:14:26.41 ID:kjXcySV2 SSD は書込寿命あるから不要な書き換えの多い RAID-5/6/Z1/Z2 あたりは非推奨みたいに言われてるんじゃなかったっけ？ http://mao.5ch.net/test/read.cgi/linux/1722312892/964
965: login:Penguin [] 2025/06/20(金) 11:18:26.58 ID:qYS4FMam 「不要な書き換え」が多い？ 具体的にはどのような書き換え？ 不要ならなぜ実装されているわけ？ http://mao.5ch.net/test/read.cgi/linux/1722312892/965
966: login:Penguin [sage] 2025/06/20(金) 11:56:16.09 ID:Uag62jWA 不要な書き換えについてはわからないけど、 RAIDとかファイルシステム直じゃない 抽象レイヤーを挟むと だいたいtrimは実行できなくなる感じ フラッシュメモリでは書き換えブロックが集中しやすくて 寿命の面では不利にはなりそう http://mao.5ch.net/test/read.cgi/linux/1722312892/966
967: login:Penguin [sage] 2025/06/20(金) 18:01:09.01 ID:kjXcySV2 >>965 すまない、この説の信奉者じゃないんで詳しくはないんだが... ランダムライトで4KiB書き換えた場合でもパリティは全書き換えだから、 チャンクサイズが64KiBだと4KiB+64KiB 書き換えが必要。 (4KiB 17回分) RAID-1 なら 4KiBx2 (2回分) で済む。 RAID-1 はシーケンシャルライトするだけで２倍書き込むから 書き込み回数でいうなら RAID-5 より多いじゃん、といえばそう なんだがドライブ１本あたりの書込回数って意味だと RAID-5 の方が多くなるとかなんとか。 フ
ァイルシステムのメタデータはランダムアクセスなんで昔から メタデータについては RAID-5/6 は避けろとは言われているね。 とくに LustreFS や GPFS とか。 >>957 にもメタデータは RAID-1 にしろとある。 xfs も mkfs オプションでメタデータだけ別ブロックデバイスに 配置できるオプションが昔からあるが、そういえば使ったことないな。 http://mao.5ch.net/test/read.cgi/linux/1722312892/967
968: login:Penguin [] 2025/06/20(金) 20:34:29.47 ID:qYS4FMam ちゃんと元の論文なりきちんとした文献を読んだり理解していないようですね 下記wikiももっともらしく書いてありますが https://wiki.archlinux.jp/index.php/RAID RAID5の書込パフォーマンスが(n−1)Xで高速と書いてありますが大嘘ですよ 書込はストライプやストリップ境界と揃わない場合読込みが入り遅くなるのは常識 それをあえて書かないのは雑誌と同じで商業的にあえて触れていず不誠実です http://mao.5ch.net/test/read.cgi/linux/1722312892/968
969: login:Penguin [sage] 2025/06/20(金) 23:30:20.34 ID:kjXcySV2 >>968 んでそのストリップ境界でRMWする確率はどれくらいなんだい？ めったに起きないから(n-1)Xちかくで書き込むのを実測できるわけで。 論文なんてもはやトイレの紙にもならんもの読むんじゃなくて 一流企業のベンダーの資料に目を通したまえ。 http://mao.5ch.net/test/read.cgi/linux/1722312892/969
ﾒﾓ帳
(0/65535文字)
上
下
前
次
1-
新
書
関
写
板
覧
索
設
栞
歴
あと 33 ﾚｽあります
ｽﾚ情報
赤ﾚｽ抽出
画像ﾚｽ抽出
歴の未読ｽﾚ
Google検索
Wikipedia
ぬこの手
ぬこTOP
0.014s