[過去ログ] ファイルシステム総合スレ その18 (1002レス)
1-

このスレッドは過去ログ倉庫に格納されています。
次スレ検索 歴削→次スレ 栞削→次スレ 過去ログメニュー
53: 2018/02/01(木)02:24 ID:PvgTnnVR(1) AAS
セクタ=512Bytesの時代はもう終わったよ
54: 2018/02/01(木)03:25 ID:oMuXW2h/(1) AAS
もう4KBが主流になってきてるね
55
(1): 2018/02/01(木)13:46 ID:7ii0AxEy(1) AAS
533 名前:login:Penguin[sage] 投稿日:2018/02/01(木) 13:34:25.48 ID:0hMkXx1N
画像リンク[jpg]:i.ytimg.com

戌厨のいつものグロ貼り転載w

セクタとクラスタを勘違いしてないか?
56: 2018/02/01(木)13:49 ID:AdvIyL44(1) AAS
>>46だがようやく理解できた
ありがとう!
57: 2018/02/01(木)21:51 ID:Es7ZS85K(1) AAS
>>42
> 4Gビット

え?
58: 2018/02/02(金)02:43 ID:gCfX7CEL(1) AAS
>>55
誰が勘違いしてるの?
本当にわかってる?

セクタは物理的なディスクが扱う最小単位
クラスタはOSが扱う最小単位

おまえ、本当にバカでしょ
59
(2): 2018/02/03(土)13:52 ID:5PwDetKW(1) AAS
4KB セクタか。ファイルデータはキャッシュするからページサイズに合わせた 4KB 単位での I/O が普通だったからそこは別に問題がないんだが、ファイルを管理するためのデータ ー メタデータはどうなんだろうかね。
Btree なんかは、キャッシュしたと思うんだが、inode なんかは基本キャッシュしない。読み込んで カーネルのデータ構造に変換してキャッシュとは違う管理をする。
4KB 読み込んで 256B か 512B 書き換えて 書き戻すようなことをするのかね。効率も悪いが、4KB内の関係ないデータが壊れる可能性が出てくる。
関係ないデータが壊れるとお手上げだな、検出できないし、当然復帰できない。
ジャーナルも対応がどうなっているのか。基本は小さなデータを追記しては 書き込み完了を待つ。512B 単位のエミュレーションなんかを使うと、書き込んだはずのものが一部壊れる可能性が出てくる。完全に4KB 単位にして、スカスカで使えば問題は起きないが。

こういうことがあるので、4KBセクタというのは、ファイルシステムの基本設計のバランスを崩してるね。既存のほぼすべてのファイルシステムが向いていないとも言える。
60: 2018/02/03(土)16:18 ID:jtHdjQTT(1) AAS
何言ってんだこいつ
4KBセクタへの移行が始まったの何年前だと思ってるんだ
61: 2018/02/03(土)19:29 ID:GZq3v5kX(1) AAS
>>59 はジャーナリングは信用出来ないとかいってext2使ってそう
62: 2018/02/04(日)05:23 ID:vwYi3iuK(1) AAS
>>59
バランスを考えるならメタとデータの書き込み比率を考慮しないとね
63: 2018/02/04(日)06:47 ID:gA7D0+vG(1/3) AAS
普通のファイルシステムなら4KB以上でアライメントそろえてるから
64
(1): 2018/02/04(日)10:11 ID:2irpMCF7(1/3) AAS
4KBセクタだと、急な電源断で Write 中のデータが失われる場合 、4KB のセクタ単位で壊れるわけだな。512B セクタだと思って処理してると、関係ない所が壊れるケースが出てくるという話。
あたり前の話なんだが、一般人に警告されたことはないようだな。
65
(1): 2018/02/04(日)10:26 ID:M0bXlHVP(1) AAS
たぶん、いまどきのOSで、セクタ単位で何かを書き込もうとするものは無いと思う
ブロックやクラスタと言われる単位で連続して書き込む
そのためにアラインメントを揃えたりもしてるんだし

もちろん必要な極一部、例えばMBRの書き換えを要するfdisk等はこの限りではないし
「やろうと思えば」(512Bセクタでエミュレーションしているならば)512B単位で書き込む(書き込もうとする)ことは出来るけど
普通に使っている限り、ブロック単位で扱われる

特定のエミュレーションセクタに書き込み中に電源断が起きて「書き込み未完了」のまま代替処理が行われたら
その周囲のエミュレーションセクタ共々ブロック全体が「書き込み未完了」になるので
仮にセクタ代替処理が行われて周囲のデータ共々入れ替わっても問題は起こらない
66: 2018/02/04(日)11:18 ID:2irpMCF7(2/3) AAS
>>65
ハードディスクは、セクタ単位で読めなくなる。その単位でしか ECC がないんだから当然そうなる。
前のデータが一部残っているとかはない。
代替処理というのは、また別の話。リードエラーが起きたセクタに書き込めば、なにもなかったように書き込める機能。

いまどきのOS? ファイルシステムは古いものが多いぞ。NTFS , XFS , JFS, EXT2 などは 1990 年代の設計だ。
EXT は、2,3,4 と進化しているが、ディスクレイアウトの基本は同じ。エクステンションなど取り入れてはいるが、XFS の最小から実装されていたような古いもの。
ブロックやクラスタとか もっと前の話だな。

新しい設計というと、btrfs 、ZFS なんかの COW ファイルシステムだが、現状はいまいちだな。NetApp の WAFL 特許がネック。
67: 2018/02/04(日)11:32 ID:gA7D0+vG(2/3) AAS
>>64
4KBセクタのディスクに512Bセクタだと思って512Bで書き込むとサイレントにデータを破壊することがあるのか・・・
68: 2018/02/04(日)11:54 ID:gYyH1zcw(1) AAS
そんな糞設計やだ
69
(1): 2018/02/04(日)12:46 ID:U+mpo3aI(1) AAS
だから、ブロック単位でしか扱わないって

1つのセクタが複数のブロックに分散されるのは
アラインメントを揃えずにフォーマットされた、4Kセクタ以前のOSで何も考えずに使われていたものだけ
それも無思慮に扱われてパフォーマンスが低下しているのに文句言いながら使っている人だけ
70: 2018/02/04(日)13:55 ID:gA7D0+vG(3/3) AAS
>>69
パフォーマンス低下って4KBセクタに512Bで書き込む際に発生するRead-modify-Writeでってことかな?
71
(1): 2018/02/04(日)13:56 ID:iElm5kds(1/2) AAS
クラスタサイズをNTFSみたいに64KiBにできてもいいのになと思う
メディアファイル格納用にさ
72
(1): 2018/02/04(日)16:34 ID:2irpMCF7(3/3) AAS
>>71
 外部リンク:ja.wikipedia.org

とりあえず、XFS の エクステント、遅延アロケーションの項目読んでみ。この機能は ext4 にも導入されている。

上で書いたの間違い。
 X エクステンション
 O エクステント
73: 2018/02/04(日)17:14 ID:7DaAtBsf(1) AAS
4KBセクタのディスクに512Bじゃデータ書き込めないから
74: 2018/02/04(日)17:50 ID:iElm5kds(2/2) AAS
>>72
すまね、ext系列の話
管理方法じゃなくてブロックサイズの話な。
75: 2018/02/04(日)18:44 ID:XldCps9b(1) AAS
なんだこのスレ…ここだけ10年前か?
76: 2018/02/04(日)20:37 ID:LUKGLdtI(1) AAS
いやひとりだけコールドスリーブされて来た奴がいるだけだ
77: 2018/02/05(月)09:40 ID:phk8JjWC(1) AAS
頭おかしなるで
78: 2018/02/05(月)11:39 ID:8TxWsAMa(1) AAS
> いやひとりだけコールドスリーブされて来た奴がいるだけだ

お前のことだろ SLEEVE
79: 2018/02/09(金)10:40 ID:PPTatEc4(1) AAS
違うだろ

2chスレ:market
80: 2018/02/12(月)19:41 ID:DOXm1g1P(1) AAS
Raid1のZFSにscrubかけたら
1系のcheck sumにだけunrecoverable errorみたいなのが5〜6個出たんだけど
もう一回scrubしたら消えた。
こういうもん?何か対処した方が良いのかな?
81
(1): 2018/02/12(月)22:49 ID:TQ+9rMwh(1) AAS
ファイルシステム的にはOKな状態になってるわけだから、見るべきはハードウェア側だね。

各ディスクの S.M.A.R.T 情報みて、ECC 系や Reallocate 系、その他エラー系のカウントが
カウントアップしてないか確認。
一回とって数時間後にもう一回とってみて比較。 ヤバそうだったら HDD 交換。

特に電源ブチ切りしたわけでもなく、ハードウェアエラーも発生していない場合は
memtest とかでメモリをテスト(サーバ製品でECC付きなら省略可)。
予防交換可能なモノ (サーバ製品で保守期間内の場合) ならここでマザボ交換。
その後は再発するか様子見して再発するならファイルシステムのバグを疑う
(OS 保守があるなら OS ベンダーにエスカレーションだが ZFS なんでコミュニ
ティに連絡?)、かな。
82: 2018/02/13(火)20:16 ID:MhJaeVp1(1) AAS
>>81
ありです。今度の休みに戻ったら順番にまずはS.M.A.R.Tから見てみます
ハードの交換で済めば良いけどZFSのバグだとほかに良さそうなFS知らないから困るなぁ
83: 2018/02/15(木)00:49 ID:m3isa15O(1) AAS
☆ 現在、衆議員と参議院の両院で、改憲議員が3分の2を
超えております。総務省の、『憲法改正国民投票法』、
でググってみてください。国会の発議はすでに可能です。
平和は勝ち取るものです。お願い致します。☆☆
84: 2018/02/16(金)23:40 ID:eh+SjOjI(1) AAS
基地外
85: 2018/02/22(木)00:27 ID:IMrh04CH(1/2) AAS
動作確認のために久しぶりにCentOS使ったらデフォがXFSになってた
絶滅してなかったんだな!調べたらBtrfsが非推奨とか書かれてて2度ビックリさせられたっていう
流行り廃りが変わってたのか
86: 2018/02/22(木)00:45 ID:qKDqUSSG(1) AAS
流石に情報が遅すぎないか
87
(1): 2018/02/22(木)05:12 ID:IMrh04CH(2/2) AAS
LVMみたいなのなしでスナップショットが取れて
厄介なライセンス問題がなくて
透過的圧縮が選べて
安定動作する
ベストなファイルシステムbstfs(仮)がXFSを元に誕生してくれるはず
88
(1): 2018/02/24(土)00:17 ID:otGCmp79(1) AAS
>>87
XFS元にとか、raid考えるならブロックレイアウト的に無理ある
btrfsフォークしてテコ入れした方がまだ楽

仕事でbtrfs開発出来たらなあと思う今日この頃
89: 2018/02/24(土)03:36 ID:XjjbZhiu(1) AAS
暗号化はあっさり入ったのに圧縮はまだ入らんからファイルサイズ辺りの設計が拡張性なさそう> btrfs
いろいろ詰め込み過ぎたな
ext5はよ
90: 2018/02/24(土)04:05 ID:HYNepnhz(1) AAS
OpenSUSEあたりがデフォでBtrfs使ってたりがんばってたな
使い勝手とかどうだったんだろ
91: 2018/02/24(土)07:16 ID:x3+sFfnf(1) AAS
btrfsって圧縮なかったか?
少し前にzstdが使えるようになったって話題になっていた気が…
92: 2018/02/24(土)08:04 ID:4MZm8B3k(1) AAS
すまぬbtrfsは圧縮あるな、ext4と勘違いしてたわ
93: 2018/02/24(土)23:52 ID:+IJqvsAE(1) AAS
btrfsのdeprecatedはRH系だけだしXFSに振り回されないほうがいい

もし将来的にbtrfsが破棄されるようなことがあってもさすがにその頃には>>88の言う通りテコ入れフォークが誕生したり
あるいはZFS on Linuxのライセンス問題も解決してるだろうから満を持してそっちにスルっと移行が正解
94: 2018/02/25(日)01:36 ID:SxblO8Sj(1) AAS
XFSはsnapshotが今後もlvm依存で透過圧縮に至っては念頭にもなしが相変わらずならホント関わらないのが吉
仮にBtrfsが派生無く廃止されてZoLライセンスも悪い方に着地したら……いよいよNILFS2の台頭の時
95: 2018/02/25(日)02:40 ID:gsnExqpE(1) AAS
そんなんbtrfsもxfsも使ってるsuse死亡やん
96
(1): 2018/02/25(日)09:19 ID:TEE4OwAc(1) AAS
ハイパーコンバージド界隈だと重複排除や透過圧縮は専用ハード
(ASIC)で高速にやるって流れになりそうだし、スナップショットや
シンプロビジョニングも昔からハード側(というかミドルウェア?)で
やった方が安定してる模様。

つまりソフトじゃハードに勝てず、市場のパイを急速に失いつつ
ある状況だわな。

クラウド化の流れでエントリーレベルのサーバ製品はビジネスの
メインストリームから外れちゃった(PCサーバ数台買って Linux
入れる時代は終わって、外部のクラウドか大規模な内部クラウド
上の仮想マシンに Linux 入れる時代になった)んで、ファイル
省2
97: 2018/02/25(日)12:52 ID:KtlkroaD(1) AAS
>>96
エンドユーザーが使うディスクやファイルシステムに対する解になってないからなあ
まあ興味の集まる分野でもないから技術者が減りそうなのは同意

HCIみたいな箱売りたいメーカーはハード依りだろうけど、クラウド事業者はお高いハードでってのはない気がする
稼働時間に対する障害発生率はハードの方が高いって研究結果もある
確かGoogleが出してた
98: 2018/02/26(月)23:55 ID:9hb6Fpoj(1) AAS
エンドユーザーレベルに専用ハードも降りて来なくてミドルウェアも複雑化回避で避けられてて
そのうえ技術者まで離れそうとなるとソフト面でも今後ぜんぜん進化しなくなる暗黒時代の到来か
何気にヤバイじゃん!既にその手の機能を自前で確保済みだったファイルシステムは割りと羨ましいが保守されなくなると使うのも危険に
99: 2018/02/27(火)00:21 ID:ba93YfaM(1) AAS
それならこのスレの英知を結集して新しいファイルシステム作れば良いじゃないか!
100: 2018/02/27(火)00:26 ID:mYKxKYUa(1) AAS
ext系はずいぶん前に開発者リソース分散を避けるためext5を作らずext4強化で実質5相当にするとか言ってたが
その後の方針はどうなったんだろう
101: 2018/03/02(金)05:30 ID:hhxLds+U(1) AAS
ntfs-3gは互換性にちょい問題あるから仮想マシンのwinにマウントさせれば大丈夫だろうと思ってたけど、物理マシンのwin10にファイルシステムぶっ壊されて尻込みしてきた…
102
(1): 2018/03/02(金)07:08 ID:67A/reQv(1) AAS
windowsがNTFS壊すことなんて普通ないだろ
壊れる場合は大体ハードか要因
103: 2018/03/02(金)22:39 ID:H+tXBOeU(1) AAS
btrfsはまさかのWinBtrfs登場でいま一番すき
104: 2018/03/02(金)23:13 ID:MFGpClv5(1) AAS
狂気
105: 2018/03/04(日)21:51 ID:4+1xEt+z(1) AAS
>>102
Win10は次の起動の高速化のためにシャットダウン時に色々やってるから、油断ならない
106: 2018/03/05(月)14:52 ID:O88BXzrm(1) AAS
ntfs-3gのLFS=Windows7以前のLFSだからWindows8移行のLFSと互換性はない
107: 2018/03/10(土)09:31 ID:x4lfxI/y(1) AAS
btrfsからext4に逃げたけど透過圧縮ないとNAS用途だと10%くらい容量食って辛い
108
(2): 2018/03/12(月)21:38 ID:unPKrVS/(1) AAS
恐縮ですが、SSDとHDD混在のVLMでアクセス頻度の高いデータをHDDからSSD側に動的に移動してくれる機能はないでしょうか
例えば Windows Server 2016 の 記憶域プールのような SSD と HDD を階層化する機能はないでしょうか。
CentOS7を使っています
ご存知の方がいらっしゃいましたら教えてください。
109: 2018/03/12(月)22:19 ID:TUBoTmo4(1) AAS
LVM Cacheが多分一番楽
既にあるLogicalVolumeに対してもSSDをキャッシュに出来る
動いてる状態でにキャッシュの追加と削除が可能
3年くらい使ってるけど、特に問題は起きてない
あくまでキャッシュなのでSSD追加しても全体の容量は増えないけど
110: 2018/03/12(月)22:22 ID:RTR6VDTp(1) AAS
>>108
LVM?
階層化は聞いたことないなあ
本質的にはSSDキャッシュだし
git探してもマトモなのないね
111: 2018/03/12(月)23:15 ID:/r957bgo(1) AAS
>>108
もう開発止まってるっぽいけど、btierとか。
112: 2018/03/13(火)05:55 ID:mU6yb35H(1) AAS
いろいろ情報ありがとうございます。
LVM Cacheキャッシュでいこうと思います。
できないことがわかっただけでもありがたい。
113: 2018/03/24(土)05:35 ID:vglWJKal(1) AAS
ext以外で予約領域の概念があるファイルシステムってある?
114: 2018/03/24(土)08:18 ID:A+B8Oca5(1) AAS
XFSのパーティションに別のパーティションから
100万個ファイルをコピーしたら、途中でコピーが止まり
XFSのファイルにいっさいアクセスができなくなったよ。

よくある話らしいが、EXT4で構築すればよかった。
115: 2018/03/24(土)10:05 ID:Okpi41CK(1) AAS
連続書き込み3万個くらいで不具合起きるかもしれないんだっけ

RedHatの一件からだと思うがXFSに手を出して痛い目みる事例が増えてるみたいだな
そのうち安定化するといいが…
116: 2018/03/24(土)13:09 ID:7LZp7+hZ(1) AAS
XFSでファイル鯖立ててしもうた。
鬱だ。(´・ω・`)
117: 2018/03/24(土)13:55 ID:Q03LRYRl(1/2) AAS
XFSそんななんだ・・・使わんとこ
118
(1): 2018/03/24(土)13:56 ID:Ylvb0lEk(1) AAS
zfs使えばええやん
119: 2018/03/24(土)14:12 ID:PZTMha1Y(1) AAS
>>118
メモリが足りねえ
120: 2018/03/24(土)14:41 ID:Q03LRYRl(2/2) AAS
重複排除使わなきゃそんなに使わなくね?
121: 2018/03/24(土)18:46 ID:WfIumJp8(1) AAS
初めて聞いたわそんなん
fs選択は地獄だな
122
(1): 2018/03/25(日)01:03 ID:sNVEb48G(1) AAS
ZFSはdedupeをonにすると地獄を見るけどoffだと最強になりすぎて
もうコイツだけで良いんじゃないかなってなって面白みがない

誰かが映画版ジャイアンfsと言ってたが一理あるっていう
123: 2018/03/25(日)03:39 ID:jXn25Zte(1/2) AAS
ライセンスの問題がなけりゃすべてのディストリが採用してるレベル
オラクルほんとクソ
124: 2018/03/25(日)04:16 ID:/qrb38yx(1) AAS
xfsだめなのぉ?
125: 2018/03/25(日)05:18 ID:azIef3b5(1) AAS
xfsは中身変わりまくりで歴史が長く信頼性が高いとか言われると?ってなる
126: 2018/03/25(日)05:50 ID:xf2ttzH/(1/2) AAS
>>122
dedup使わなくても空き容量なくなったら死ぬという欠点がある
127: 2018/03/25(日)06:59 ID:H+lpi9gt(1) AAS
zfsは機能と安定性は最強だけど、速度は弱くない?
128: 2018/03/25(日)10:21 ID:jXn25Zte(2/2) AAS
あー、空き容量残り2割切ると遅くなるんだったな
確かに残り1割になったときは遅かった
129: 2018/03/25(日)12:23 ID:HgQzeR+v(1) AAS
atimeが更新される条件ってなんですか?
ファイル見ても更新される時とされない時があるんですが
130: 2018/03/25(日)12:53 ID:QhmAkcZ/(1) AAS
noatimeとかそういうのでぐぐったところ、
131: 2018/03/25(日)16:18 ID:qnXLJ6VG(1) AAS
ZFSをoptaneで性能底上げしたらどうやろ?
132: 2018/03/25(日)16:33 ID:xf2ttzH/(2/2) AAS
外部リンク:gigazine.net
この記事ZFSにoptane最高だぜって言ってるけど
そもそもl2arcとzilの有効性が微妙だからな
耐久度という意味では間違いなくいいけど
133: 2018/03/26(月)12:19 ID:wqW+3yz6(1) AAS
btrfsに続いてzfsでもzstd圧縮が使えるようになるらしいな
134: 2018/03/27(火)06:01 ID:kqSS0Nv9(1) AAS
外国の開発者(ストレージ系)の人とXFSとEXT4について意見交換
したのだが、信頼性を求めるならEXT4じゃね?とメールしたところ、
XFSのほうが多くの面で優れていて、確かに多くのファイルを一度に
更新する(メタデータ更新)とエライコッチャになることが稀にある。
その弱点を差し引いても私はXFSを選ぶよ。 と返事をもらった。
自分はEXT4派だったんだが、XFSに宗旨替えしよう。
135: 2018/03/27(火)06:44 ID:782OWoK3(1) AAS
本当に根拠が宗教的信仰心しかない・・・
136: 2018/03/27(火)11:00 ID:c6neFUpA(1) AAS
よく「エライコッチャになる」可能性があるもんを使えるどころか他人に勧められるもんだな・・・
137: 2018/03/27(火)11:01 ID:3wHgt0DI(1) AAS
zshはmetadataの処理速度が遅すぎて、ガリガリアクセスするとこには使いたくないわ
138: 2018/03/27(火)11:04 ID:vJefcZPQ(1) AAS
xfsは明確な不具合が出ると指摘されたうえでも選ぶんだから厚い信仰心が垣間見れるな

ストレージまわりにそんな危ないの使うのはあるいみ狂信の域だけど
重要データ扱う状況でも無さそうだし文字通り人柱として貢献できるね
139: 2018/03/27(火)12:52 ID:i69pveH8(1) AAS
数万のファイル更新は絶対にやらないシステムならいいんじゃね?
XFS使ったことないけどkernelのソースとか取ってきたら死にそうw
140: 2018/03/27(火)21:30 ID:G+R+bUTm(1) AAS
xfsは2010年ごろ?に大改修されて、
その道の人に言わせるとext4より良くなったとか
141: 2018/03/27(火)21:38 ID:WBgLhK0q(1) AAS
centos7 ext4がデフォらしいけど、かっこつけてxfsにするクセがついてます。
まぁ個人で使う分に違いはわからんでしょ。
142: 2018/03/27(火)22:10 ID:76SAlyTy(1) AAS
centos7はxfsだろ
6まではext4だったが
143: 2018/03/28(水)13:34 ID:jktrpz3K(1) AAS
JFSオヌヌメ
144: 2018/03/28(水)17:02 ID:P4JKYXtv(1) AAS
LinuxをZFSにインストールしてみたけどロールバック便利ね
ライセンス問題解決されたらインストーラーで簡単にインストールできるようになって欲しい
145: 2018/03/28(水)17:15 ID:L0+1Mu1U(1) AAS
zfsはdebianなら公式のリポジトリからインストールできるようになってたろ
それ以上に簡単になってほしいのかね
146: 2018/03/28(水)17:59 ID:20ARKeD+(1) AAS
/boot以外のディレクトリがZFSのファイルシステムに
簡単に出来るとイイね かな?
147: 2018/04/01(日)09:31 ID:OYHXfTBa(1/2) AAS
古い資料だけど、カーネル違うとXFSの信頼性が変わるとか本当にあるんだね
外部リンク[pdf]:www.toshiba.co.jp
148
(1): 2018/04/01(日)11:20 ID:QBy5utPh(1) AAS
そんなのxfsに限らず当たり前のことでは?
ext4やbtrfsもカーネルバージョンが違えば様々な変更があるわけだし
149: 2018/04/01(日)14:15 ID:OYHXfTBa(2/2) AAS
>>148
カーネルの違いによるファイルシステムの信頼性変化のソース頂戴
今btrfsからの乗り換え先を探してるから
出来ればその資料みたいに最新化したことで信頼性が悪化する例をもっと見てみたい
150: 2018/04/01(日)14:52 ID:a8d4V1Xg(1) AAS
そりゃ上流にバグが入ったら信頼性下がるに決まってるだろ
151: 2018/04/03(火)06:12 ID:I/0dc/Hy(1) AAS
たら
 れば
152: 2018/04/03(火)07:50 ID:Foag5iYt(1) AAS
たらの肝臓?
1-
あと 850 レスあります
スレ情報 赤レス抽出 画像レス抽出 歴の未読スレ AAサムネイル

ぬこの手 ぬこTOP 0.022s