[過去ﾛｸﾞ] ファイルシステム総合スレ その20 (1002ﾚｽ)
上下前次1-新
このｽﾚｯﾄﾞは過去ﾛｸﾞ倉庫に格納されています｡
次ｽﾚ検索 歴削→次ｽﾚ 栞削→次ｽﾚ 過去ﾛｸﾞﾒﾆｭｰ
897(1): 06/06(金)22:04 ID:t2yseNZM(1/2) AAS
(Linus Torvalds) in August of 2024 that "nobody sane uses bcachefs and expects it to be stable".
外部ﾘﾝｸ:en.m.wikipedia.org
898: 06/06(金)23:43 ID:DcwFmon4(2/2) AAS
>>897
草
Kent Overstreet 氏がなんかアレっぽいからやめとくわ
899: 06/06(金)23:49 ID:t2yseNZM(2/2) AAS
An Initial Benchmark Of Bcachefs vs. Btrfs vs. EXT4 vs. F2FS vs. XFS On Linux 6.11
外部ﾘﾝｸ:www.phoronix.com
900: 06/06(金)23:57 ID:aNbcFT2d(1) AAS
f2fsすげーな、SDカードいたわりファイルシステムってだけじゃないのか
901: 06/07(土)00:14 ID:7L+jxPfb(1) AAS
F2FSはAndroidのストレージのファイルシステムに使われてるから
今はもうかなりのデバイス数で使われてる
902: 06/07(土)08:30 ID:4MW5fToT(1) AAS
おもしろそうな話をしているようなのできました
f2fsってのがあるんか
903: 06/14(土)07:11 ID:PyLZJCtn(1) AAS
btrfsの更新履歴を読むと raid5 なら行けそうな気がしてきた。
904(2): 06/14(土)18:45 ID:G4FNdXUC(1) AAS
Raid5はもう使っても大丈夫になってたはず
たしかLinux6.2から
カーネルバージョン低いと注意
905: 06/14(土)19:12 ID:mW9KbBLx(1) AAS
RAID5まで使えるようになったらもうBtrfs敵無しでは？
906: 06/14(土)19:37 ID:21r7Qhcw(1/2) AAS
>>904
Debain 12 (Bookworm) 2023年は6.1なのでDebian 13(Trixie)からは大丈夫になるのか。良い情報だ。
907: 06/14(土)19:44 ID:04hwReKF(1) AAS
stableのカーネルって普通にbackportsのに
更新して使うものだと思ってた…
絶対にミスが許されない鯖とかでない限りは
908: 06/14(土)20:18 ID:21r7Qhcw(2/2) AAS
レスチで悪いが、
Debian Backports に関しては Kernel で問題は出ないだろうけど、Backports でバージョン上げて不具合あっても、本家の解消待ちのイメージしかない。Emacs の事だが。
909: 06/15(日)10:22 ID:xeQ27nWt(1) AAS
>>904
なってません
追加機能無しで出来る修正が一つ入ったってだけで
write holeは根本的に解決してないし
多分これからしばらくも解決されません
外部ﾘﾝｸ:www.phoronix.com
外部ﾘﾝｸ:www.reddit.com
省2
910: 06/15(日)10:34 ID:qAAeLG7f(1) AAS
Btrfs使ってるけどRAID10で十分だよ
911: 06/15(日)15:02 ID:YaPsiovj(1/3) AAS
リビルドなんてZFSでもそんな信頼性高いもんじゃないからどうでもいいわ
なんか壊れたら素直に再構築すべき
912: 06/15(日)15:27 ID:aJl0W6/T(1/2) AAS
リビルドによる冗長性に期待しないんだったら
わざわざパリティ付きストライプで分散して書き込む理由なんて一つもない
そして現実的な容量あたりの回復不可能エラーの確率を考えると
6はともかくまともな冗長性が期待出来ないRAID5なんか今は使う理由はまるでない
それこそRAID1どころか多くの場合で破損部分が明白かつ単純で
無事な部分を吸える可能性が高い分だけシングル運用の方が遥かにマシ
913(1): 06/15(日)16:50 ID:YaPsiovj(2/3) AAS
リビルドによる冗長性ってなに？
914(1): 06/15(日)17:08 ID:6DNeCkGf(1) AAS
RAIDはアレイが破損したらリビルドかける前に
全データバックアップしろが通説だと思った
バックアップする空きストレージがないとか
そもそもバックアップがないなら
そもそもその運用がおかしい…
(捨ててもいいデータだけとか観て消し録画は除く)
915(1): 06/15(日)17:27 ID:xQc9M6ba(1/2) AAS
なんでRAIDやりたがるのか意味不明
バックアップの工夫をそれなりにやって
ダウンタイムやデータ損失期間を減らすための最終仕上げだよね
それとも広告であるネット記事を見て導入が大半?
916(1): 06/15(日)17:35 ID:aJl0W6/T(2/2) AAS
>>913
外部ﾘﾝｸ[html]:e-words.jp
外部ﾘﾝｸ[html]:www.buffalo.jp
RAIDの文脈で「冗長性」ってのは
RAID構成内に故障したハードウェアが出てもデータの完全性が損なわれない事
「リビルド」ってのはもっぱらその故障したハードウェアを入れ替えて元の冗長性を持つ構成に再構築することを指す
この説明でわかんないんだったら俺にはうまく説明出来ねえ
省12
917(1): 06/15(日)18:37 ID:YrR/Ub7i(1) AAS
btrfsのsnapは呆気ないほど簡単にファイルの先祖返りが長期も短期も可能で、
WinがやっているVolume Shadow Copyの上位互換って印象で、個人的にはとても好き。
でも、バックアップは別途必要かなって思っている。神経質なだけかもだけれど、データって一番大事だから増分・差分だけじゃなく、本体も自分は保持するようにしている。
918(1): 06/15(日)21:04 ID:YaPsiovj(3/3) AAS
>>916
冗長性ってリビルドのためではなくサービスを止めないためのものでは？
リビルドしなくても冗長性は重要だよ
919: 06/15(日)21:36 ID:xQc9M6ba(2/2) AAS
びっくりしたのはRAIDでリビルド機能が無いと言われたとき
そりゃまぁデータ消えないけどそのまま運用とか狂人だろうに
おーこわいこわい
920: 06/15(日)21:39 ID:nO4JLxoc(1) AAS
>>917
btrfsなら親になるスナップショットを指定して増分モードでsend/receive出来るから
外部にも、
つまり「バックアップ」もスナップショット構造を維持しながら
書き込みは増分だけで済むよって話なんだ
例えばオリジナル上でSnapperで毎日撮ってて06-15→06-16→06-17とかあるとして
同一の06-15が送受信するストレージ上に同時にあれば
省12
921: 06/16(月)02:21 ID:upbk3sl3(1/2) AAS
リビルドは最初からあまり期待しない。
HDDがいかれたときは他のHDDも寿命間近で、リビルド中にお釈迦になった経験がある。
raidを使う利点はコントローラから警告音が盛大に出ることとバックアップの時間が稼げること。
ソフトウェアraidの利点も時間稼ぎかな。
922: 06/16(月)03:30 ID:V26EfEYC(1) AAS
業務用ストレージならスクラブが走るからリビルドあんま失敗しないけどね
最近は別の不具合でボリュームが全損するケースがちらほらある
ストレージも最近高いくせに品質悪いな
923: 06/16(月)05:44 ID:zRTb+SAk(1/2) AAS
RAID1ならリビルドするけどRAID5や6はやらないかなあ
時間かかりすぎるよ
924: 06/16(月)07:30 ID:7sPaAkac(1) AAS
> バックアップの時間が稼げる
これが大事だと思う
925: 06/16(月)07:45 ID:upbk3sl3(2/2) AAS
時間稼ぎだからデータ逃がせる環境ならraid5で十分だよ。
926(1): 06/16(月)12:57 ID:7WvLU0an(1) AAS
リビルドせずにバックアップ取得
ならRAID不要の環境だし普段からバックアップしとけよ
どれだけ踊らされているのか
927: 06/16(月)16:46 ID:zRTb+SAk(2/2) AAS
>>926
どういうこと？
リアルタイムバックアップしろってこと？
928: 06/17(火)03:11 ID:G5q8UCPD(1/8) AAS
バックアップは毎日取るものでしょ
差分だけなら時間もわずかなので
なんでRAID縮退時にバックアップを取る前提なの?
普段からとってないの?
929: 06/17(火)04:39 ID:Z0BbVoQp(1) AAS
日に一度のバックアップならやっぱりRAID必要やん
なぜそれでRAID不要になるのか
930: 875 06/17(火)09:00 ID:lZRqBMI7(1/4) AAS
「壊れた瞬間に使えなくなる」のか、「まだ使える/処理を継続
できる」のか、はかなり重要なファクターだと思うが？
流石にバックアップあればRAID不要は極論。
ハードウェアRAIDはスクラブやらSMART監視で部分的な故障まで
監視しているからリビルド失敗はない。
失敗した場合でもRAIDカード交換させたら治ったこともあるから
似たようなことがったらカード交換も検討するといいよ。
省3
931: 06/17(火)09:22 ID:G5q8UCPD(2/8) AAS
優先度について述べているだけ
バックアップを定期的に取らないのにRAID導入しているのが見受けられる
932: 06/17(火)10:22 ID:lZRqBMI7(2/4) AAS
バックアップに対する現場の意識が足りない、という意味で言いたいのは
わからんでもないが、データロストと(RAIDなし環境における)業務/納期
遅延のそれぞれリスクを発生確率を交えて考えると、やはりその意見には
賛同できないよ。
933(2): 06/17(火)10:29 ID:YcGRWNVI(1/4) AAS
一切の故障がなくてもURE(回復不可能な読み取りエラー)は確率的に起きるのでまず前提が間違ってる
もちろん製品のグレードによりけりで
エンタープライズ用HDDなら限りなく低い確率、具体的には10^15ビットに1回になるぐらいの品質で製造されてるけど
どのHDDにも起き得るし一般的な民生用だと10^14ビットに1回程度で更に確率が上がる
TB単位のストレージでRAID5が現実的じゃないってのは
読み取るサイズが増える分だけURE=リビルド失敗の可能性が高まるから
8TBだと仮定して民生用だと約60%、エンタープライズ用でも約6％ぐらいの確率で失敗する可能性がある
省2
934(1): 06/17(火)11:49 ID:fFPZtW+I(1/2) AAS
RAID5,6は理論上の速度や容量効率は利点だけど、
データチャンク、XORパリティで細切れブロック配置したり複雑で
ディスク上のビット単位でのデータ信頼性という意味では
物理ヘッドガチャガチャするHDDではRAID0よりキツそう
(そんなに詳しくないから想像だけど)
実際には様々なレイヤーのパリティやビット訂正で
エラー回復してるんだろうけど、自分が使ってる
省2
935: 06/17(火)12:00 ID:G5q8UCPD(3/8) AAS
URE(回復不可能な読み取りエラー)
というのは媒体mediumエラーでしょ?
HDD/SSDコントローラは生きていて
特定LBA(LogicalBlockAddress)でエラーがでる
局所的ブロック、媒体エラーだよね
HDD/SSD内部でソフトウェア的エラーの可能性はあるけど
カーネルから見たらハードウェアエラー(==故障)だよ
省1
936: 06/17(火)12:02 ID:G5q8UCPD(4/8) AAS
あとRAID使っているわりには
ファンや電源の冗長化してないよね
これらも故障したら交換するまで停止でしょ
937: 06/17(火)12:12 ID:fFPZtW+I(2/2) AAS
>>933
言われてみればそうだなあ…
HDDだけダウンタイムなしまたは交換時間オンリーを想定してても、
HDDの故障率と比べて電源やファンとかM/B等パーツが
それより壊れないかと言うとうーんって思う…
自分の環境はファンは予備があってすぐ交換できるし、
電源はACアダプターのマザボ運用してるのでちょっとマシ
省1
938(1): 06/17(火)12:57 ID:G5q8UCPD(5/8) AAS
>>933
は事実と異なる内容を記述している
あるHDD/SSDでURE(回復不可能な読み取りエラー)が出たら
RAIDレベルによらず全HDD/SSD稼働中なら他のHDD/SSDのデータから復元できる
(要は1台故障と同じ(切り離して故障にするかは別問題でコントローラの設計))
HDD/SSD故障があるのならRAIDレベルによらず多重故障でデータ復元できない
RAID6は2点故障でも復元できるけど
939(1): 06/17(火)13:27 ID:lZRqBMI7(3/4) AAS
現場的には6%はかなり盛り過ぎだと感じるわ。
RAID のチャンクサイズ考慮して計算されてないか、
スクラブとかSMART監視とかない前提？
940: 06/17(火)13:37 ID:1K0szjjx(1) AAS
>>938
だから「リビルドがUREで失敗する確率は決して低くない」という話だって言ってるじゃん
冗長性のあるRAIDレベルで通常稼働時に単一の障害が訂正出来るのは当たり前じゃねーかw
>>939
あくまで「リビルド中にUREに遭遇する確率」をカタログスペックから単純計算(概算)した数字の話なので
もちろん実際の障害の可能性はもう少し前後し得るよ
改めて補足しとくけどUREはSMARTとかからわかる形で
省8
941: 06/17(火)13:51 ID:G5q8UCPD(6/8) AAS
5分停止したら何億とか会社消滅ならRAIDでサービス継続は分かる
でも個人用途ではHDD故障して機能のバックアップで十分
データ書き戻しで半日くらい止まっても大丈夫
これらが大半
RAID不要だろって話
webや雑誌記事でのせられて使っているだけでしょ?
942: 06/17(火)13:52 ID:G5q8UCPD(7/8) AAS
昨日のバックアップデータで許容ね
943: 06/17(火)14:22 ID:89jEObby(1) AAS
linux板って個人と企業を混合して話をするからエスパー力を必要とされるね
944: 06/17(火)16:34 ID:TRstYWTQ(1) AAS
>>934
3週間間隔でエラー補正かかる、は流石にディスクの方を疑おうよ…
945(1): 06/17(火)19:12 ID:lZRqBMI7(4/4) AAS
以下チラ裏。
週１回スクラブ、週の書き込みが総容量の15%程度でディスクの
使用率90%、8TBx11本(10d1p)、エラー率1/10^15、と仮定して
自分で計算してみた。
10d1pでスクラブなしで１本故障時に残存HDDにエラーが乗って
いる率(任意の10本にエラーが乗っている確率)が8%。
スクラブで 0.00000000028% に低下(面倒なので0%とする)。
省11
946: 06/17(火)19:17 ID:526FSu8J(1) AAS
お前らいったん冷静になってスレタイ512回ほど音読しろ
947: 06/17(火)19:47 ID:YcGRWNVI(2/4) AAS
みんなbtrfsの話してるとばかり思ってたのに
あ、個人の趣味でbtrfsでRAID1してます
948: 06/17(火)19:48 ID:0tWlbWzs(1) AAS
まあまあ…
ファイルシステムを乗せるための
ファイルシステム/データストレージ関連技術として
RAIDとかLVMとかの話題もいいんじゃない？
専用スレも無いみたいだし(それまで過疎ってたし…)
949: 06/17(火)21:52 ID:YcGRWNVI(3/4) AAS
>>945
Unrecoverable Read Error (URE)は言葉の通り「回復不可能な読み出しエラー」、
つまり読み出しの時点で新たに起きるエラーの話で
URE rate (URE率)というのは読み出しの総量に対してエラーが起きる確率
つまり厳密には事前の書き込みで起きる破損(破損セクタ)じゃないよ
適切に定期scrubすれば現実の故障のリスクを減らせると思われるのはその通りだけど
それ踏まえても「リビルド時のURE 」は無くせないって話
省11
950: 06/17(火)23:13 ID:G5q8UCPD(8/8) AAS
ひとのコメントを根拠とか示さず貼られても…
RAID5ではこれこれの機能が理論的には必要だけど
linux mdはこれこれが実装されていないとか
具体的に書けばよいのに
951(1): 06/17(火)23:54 ID:YcGRWNVI(4/4) AAS
え、まだ続けんのこの話？？？
どういう実装(ハードウェア/ソフトウェア)でもRAID5は原理的にクラッシュ時のwrite hole(データ/パリティの不整合)の時の問題があるから
電源周りなら例えばUPSで確実にセーフシャットダウン出来るとか
バッテリーバックアップ(キャッシュ)付きのハードウェアRAIDとかが推奨に近いレベルであるべきだし
ソフトウェアRAIDなら何かしらトランザクションログ付き(ZFSのRAIDZがこれ)になってるとか
それでも偶発的なクラッシュによる中断はあり得るとか
何にしても「安全な運用」はかなり難しいか
省7
952: 06/18(水)00:21 ID:kTzkFbG6(1) AAS
write holeはRAID1でも起こり得るのだが…
Disk1だけ書き込めてDisk0は書き込めない状況
両ディスクで内容が異なる
953: 06/18(水)00:33 ID:CeuUJCLk(1) AAS
write holeあったとしてもbtrfsはRAID1でもチェックサムあるからスクラブで修正出来るんじゃないの？
954: 06/18(水)00:44 ID:6FJRmKfA(1) AAS
RAID1でもwrite holeそのものは起こるけど
ミラーリングは単にどちらか片方のコピーが正しい可能性が高く
btrfsなら今あるメタデータとチェックサムだけでスクラブで十分に修正出来る
対して5/6はストライプ+パリティで仕組みが複雑なので
最悪アレイが丸ごとおじゃんになる可能性がある
955: 06/18(水)10:37 ID:wvNgIh7z(1) AAS
>>951
> なんか間違ったこと言ってる？
「Btrfs のRAID-5は危険だから使うな」は間違いかな。
「どうして TeraStation や QNAP は RAID-5 で炎上していない
んだ」、「炎上しないために何をすれば良いんだ」、
「本当のリビルドの失敗率はどれくらいなんだ」、「ファイル
システムのジャーナリングがライトホールに対してどれだけ有効
省3
956: 06/18(水)13:29 ID:f4q6cLid(1) AAS
↑951じゃないけど横からちょっとだけ
少なくともQNAPのRAID5は「Btrfsの内蔵機能」での
RAID5じゃなくて、MD機能を使ったRAIDですのだ…
(最近のQNAPではさらにLVMのレイヤーも噛ませてた気も)
「Btrfsの」RAID5(RAID6も?)は、少なくとも
カーネル6.1とかの段階では、メンテナー自身が
危険だからデバッグ目的以外で使うなって言ってた
省3
957(1): 06/18(水)14:06 ID:K/MF2oNs(1) AAS
これか？
Linux 6.2カーネルに含めるためにBtrfsの改善が提案されました RAID 5/6 実装での書き込みホールの問題を修正します。
外部ﾘﾝｸ[html]:ja.linuxadictos.com
外部ﾘﾝｸ[html]:en.linuxadictos.com
RAID5/6 の場合、ファイル システムはチェックサムを保存しません。
この場合、ファイル システムは読み取り-変更-書き込み (RMW) 操作を実行する必要があります。
省2
958: 06/18(水)14:33 ID:mS/Jtlgs(1) AAS
今のbtrfs-progsでも作ると警告出るし
ドキュメントでも警告されててふつうに非推奨のままや
959: 06/19(木)12:07 ID:FZnGLgFp(1) AAS
昔みたterra stationは、xfsだったな。
RAIDもmdなんじゃ無いかな？
960: 06/19(木)22:46 ID:/5HUQadQ(1) AAS
最近出てきた20TオーバのHDDでRAID5とか組んだらリビルドが終わらんだろうな
961: 06/19(木)23:25 ID:DYz6LZHt(1) AAS
SSDならリビルドどれだけ速くなるんだろうか
CPUが追いつかんか
962: 06/20(金)00:46 ID:qYS4FMam(1/3) AAS
フラッシュメモリの特性として読込みに比べて書込みは桁違いに遅い
各種キャッシュで表面化しないようにしているけど
全面書込みではフラッシュメモリの特性が露骨に出てくる
963(1): 06/20(金)01:10 ID:eaZI5k8F(1) AAS
SSDの書き込みが遅くなるのはフラッシュメモリのせいではなくMLCとかQLCのせいでは？
964: 06/20(金)09:14 ID:kjXcySV2(1/3) AAS
SSD は書込寿命あるから不要な書き換えの多い RAID-5/6/Z1/Z2
あたりは非推奨みたいに言われてるんじゃなかったっけ？
965(1): 06/20(金)11:18 ID:qYS4FMam(2/3) AAS
「不要な書き換え」が多い？
具体的にはどのような書き換え？
不要ならなぜ実装されているわけ？
966: 06/20(金)11:56 ID:Uag62jWA(1) AAS
不要な書き換えについてはわからないけど、
RAIDとかファイルシステム直じゃない
抽象レイヤーを挟むと
だいたいtrimは実行できなくなる感じ
フラッシュメモリでは書き換えブロックが集中しやすくて
寿命の面では不利にはなりそう
967: 06/20(金)18:01 ID:kjXcySV2(2/3) AAS
>>965
すまない、この説の信奉者じゃないんで詳しくはないんだが...
ランダムライトで4KiB書き換えた場合でもパリティは全書き換えだから、
チャンクサイズが64KiBだと4KiB+64KiB 書き換えが必要。 (4KiB 17回分)
RAID-1 なら 4KiBx2 (2回分) で済む。
RAID-1 はシーケンシャルライトするだけで２倍書き込むから
書き込み回数でいうなら RAID-5 より多いじゃん、といえばそう
省8
968(1): 06/20(金)20:34 ID:qYS4FMam(3/3) AAS
ちゃんと元の論文なりきちんとした文献を読んだり理解していないようですね
下記wikiももっともらしく書いてありますが
外部ﾘﾝｸ:wiki.archlinux.jp
RAID5の書込パフォーマンスが(n−1)Xで高速と書いてありますが大嘘ですよ
書込はストライプやストリップ境界と揃わない場合読込みが入り遅くなるのは常識
それをあえて書かないのは雑誌と同じで商業的にあえて触れていず不誠実です
969: 06/20(金)23:30 ID:kjXcySV2(3/3) AAS
>>968
んでそのストリップ境界でRMWする確率はどれくらいなんだい？
めったに起きないから(n-1)Xちかくで書き込むのを実測できるわけで。
論文なんてもはやトイレの紙にもならんもの読むんじゃなくて
一流企業のベンダーの資料に目を通したまえ。
970: 06/21(土)00:20 ID:KlN9oYmI(1/2) AAS
SSDはコントローラーのメーカーによってかなり動きが違うよね
SSD全体を一般化して語るのはおかしいよ
1つのSSDで試しても他のメーカーでは違う結果が出るかもしれない
971: 06/21(土)08:41 ID:3iENlu5H(1) AAS
>>963
どゆこと？
972: 06/21(土)09:04 ID:KlN9oYmI(2/2) AAS
SSDはHDDとは違ってKernelから認識しているデータ配置と実際の配置がまるで違うからな
それを改善するためにZNS SSDとかいうのが出てきてるけど
973: 06/21(土)09:56 ID:p0nxy9BL(1) AAS
btrfsでSSD RAID10してるけど2年くらい運用してるけど
シリコンパワーとかいう半年で壊れるメーカーのせいで2度リビルドさせられた以外は特にトラブルなしだよ
安価なディスクを組み合わせて信頼性や性能を向上させるっていうRAIDの利点はSSDでは通用しないらしい
974: 06/21(土)12:11 ID:73DbppD8(1) AAS
読み書きの仕組みも HDD と結構違うぞ
SSD の読み書きはページ単位(16KiB or 32KiB, 型番による)で
Trim(消去) はブロック単位(512KiB など, 型番による)
書き込み回数を均す (Wear Leveling) 目的もあるので一旦書き込んだら上書きしない
1bit でも書き換えたページは別ページに書き直し
再利用するにはガーベージコレクションで使用中のページを別ブロックに追い出してブロック内の全ページを未使用状態にしてからブロック単位で Trim
どうみてもデフラグ(略)
省1
975: 06/21(土)12:15 ID:U4z6kL4u(1) AAS
そもそもSSDはストライピング系のRAIDレベルで
速度向上させるまでもなく、
元々実用上十分なアクセス速度がある気がしなくもない…
ベンチマークでの速度が目的なら何も言えないけど
976(1): 06/21(土)23:12 ID:EGQeHYc0(1) AAS
素人ですまんが fstrim って定期的に実行したほうがいいのは今も昔も変わってないよね？
977: 06/22(日)02:57 ID:b/oVtT+X(1) AAS
Trimの効果はファーム（メーカの方針）による
要するにモデルによって異なる
まあ週一くらいで実行すればいいんじゃない
上下前次1-新書関写板覧索設栞歴
あと 25 ﾚｽあります
ｽﾚ情報 赤ﾚｽ抽出 画像ﾚｽ抽出 歴の未読ｽﾚ AAｻﾑﾈｲﾙ
ぬこの手 ぬこTOP 0.024s