ファイルシステム総合スレその17 [転載禁止]©2ch.net

[過去ﾛｸﾞ] ファイルシステム総合スレその17 [転載禁止]©2ch.net (1002ﾚｽ)
上下前次 1-新

このｽﾚｯﾄﾞは過去ﾛｸﾞ倉庫に格納されています｡
次ｽﾚ検索歴削→次ｽﾚ栞削→次ｽﾚ過去ﾛｸﾞﾒﾆｭｰ

953(1): 2017/12/08(金)23:03 ID:6zLhmCQN(1/2) AAS
圧縮機能だけでzfs-fuseを使っていたんだけど、（CentOS 6）
さっきダウンしていた。マウント先ディレクトリにアクセスできなくなっていた。

service zfs-fuse restart を時間を置いて二度行なったら、復帰した。

/var/log/message を確認したら、エラーが記録されていた。
segfault at 70 ip xxxxxxx sp yyyyyyy error 4 in libpthread-2.12.so[zzzzzz]

もう怖くて、zfs-fuse使えない。
重複機能はとっくに諦めていたけど、圧縮機能も諦めて、
もうzfs-fuse使わない。ext4のまま使うことにする。
圧縮効果は1.6倍だったのでもったいないけど、安全の方が大事。

954: 2017/12/08(金)23:16 ID:6zLhmCQN(2/2) AAS
>>953自己レス

メールのINBOXフォルダとして使っていたので、
大量に入ってくるメールの取扱でバグったのかなあ。

955(1): 2017/12/08(金)23:43 ID:ZOJyABBF(1) AAS
評判の悪いfuseなんぞわざわざ使ってる方に問題がある
ZoL使え

956(1): 2017/12/09(土)01:16 ID:ybA/9ws5(1/2) AAS
>>955
ZFS on Linux ググってみたけど、標準の機能でないために躊躇します。
yum update みたいに、カーネルごとアップデートされるようになったら使いたいなあ。

957: 2017/12/09(土)01:36 ID:FOEDyt7P(1/2) AAS
fuseのzfsも標準の機能じゃないしｗ
てかOracleもFSFもLinux界隈もPC衰退期の現状にライセンスが合ってない
もうソースに手入れた人が把握できなくて身動き取れないだけかも知れんけど

958(1): 2017/12/09(土)18:17 ID:XKNRzaCn(1/2) AAS
>>956
ZOLが標準に組み込まれないのはライセンスの問題
FUSEはZOLまでの繋ぎで今はメンテもされていない

959: 2017/12/09(土)22:41 ID:FOEDyt7P(2/2) AAS
事実上、まともな透過圧縮は起動に使うには面倒なZOLだけか
透過圧縮って、パフォーマンス低下させない様にって細工が面倒なのはわかるんだけど
ext4で特定の圧縮アルゴリズムで標準化みたいな動き、出ないもんかな

960(1): 2017/12/09(土)23:07 ID:XKNRzaCn(2/2) AAS
btrfs

961(2): 2017/12/09(土)23:12 ID:ybA/9ws5(2/2) AAS
>>960
btrfsってもう詰んだんでしょ。

>>958
永久にカーネルに組み込まれないってことでしょうか。
それともオリンピックまでになんとかなる話？
なんとかしてほしい。ド素人にも使えるようにしてほしい。

ZFS on Linuxなんてつかったら、多分、カーネルアップデートしたりしたときに、
データにアクセス不能にしてしまいそうでこわい。
凍結的に使いつづけるのならよいのかも知れないけど。

962: 2017/12/09(土)23:12 ID:xfEywRlo(1/2) AAS
遅い、不安定、糞サポート

963: 2017/12/09(土)23:16 ID:XOliZqnc(1) AAS
red hatが作るXFSベースのfsに透過圧縮付いたりしたら良いのにね

964: 2017/12/09(土)23:24 ID:xfEywRlo(2/2) AAS
なければつくるんや！

965(1): 2017/12/09(土)23:24 ID:xkiGrhs4(1) AAS
正直、圧縮はbtrfsだのzfsだのでなく、ストレージに提供させる機能とした方がよさそうだが

966: 2017/12/10(日)00:01 ID:g66QiYsp(1) AAS
>>961
特定のFSに限らんだろうが暗号化ディスクをマウントしたままカーネルアップデートするとディスク構成壊れて起動不能というのはある

967(2): 2017/12/10(日)00:23 ID:up+XnWG1(1) AAS
>>965
ブロックレイヤーでってことか？
メタやジャーナルまで圧縮することになるし
FS側で圧縮した方が良さそうじゃない？

俺は使ってないファイルとか圧縮効果の高いファイルだけ圧縮して欲しいわ

968: 2017/12/10(日)00:25 ID:wGxcaYra(1/3) AAS
起動時のえっらい小さなローダーがパスワード入力とか求めた上で
暗号化解除やら、場合によっては圧縮の解凍しながらとか、相当難しいからね
FreeBSDでも/boot/だけは圧縮とかすらできない様に、あちこちにブロック入ってる
（抜け道があったりで完全じゃないけど（それ言い出したら何でもできるけど））

969(2): 2017/12/10(日)00:44 ID:wGxcaYra(2/3) AAS
>>967
ちょいと考えてみたけど、ブロックレベルでってのは、特にSSDで無理があるな
透過圧縮の類って、実際の圧縮は確か16KB単位とかでやってる筈
頻度表を扱うアルゴリズムを使うってなった時点で、最悪値で無条件に
256×出現回数の表現に必要なビット数の頻度の情報が必要になるから
4KB単位での圧縮なんて（テキストファイル限定とかでもなきゃ）先ず意味がない

970(2): 2017/12/10(日)01:50 ID:ZifqXvj+(1) AAS
>>967
>>969
内蔵HDDとかというよりかは、FCとかiSCSIとかで接続するような外部ストレージね

OSからは4kbのブロックとして見えるけど、実態はストレージによりそう見せられている
仮想的なブロックの、更に下位のレイヤーでの圧縮や展開
ストレージ内蔵のASICや専用アクセラレータが圧縮や展開をするようなモノ

971(1): 2017/12/10(日)03:46 ID:N0TrNYo4(1/2) AAS
Windowsの世界では、透過圧縮、重複排除は安定的に実現できているのかな？ > NTFS
smbaclientでくっつけるとか。

972: 2017/12/10(日)08:57 ID:4pWsPUuO(1) AAS
>>969
同じ意見だわ
余談だけど、圧縮で書き込み量減らしてSSDの寿命を延ばすとか試みはあったそうで
効果は不明

>>970
bio下位ならブロックレイヤーだね

ASICとかハード実装ならインライン圧縮になる
平均IOサイズ考えると圧縮効果低くなるからなあ

ポスト、セミポストならデータマージして圧縮効果上げられるけど、今度はファイル読み込み時の伸長コストに無駄が出るしなあ

iSCSIならネットワークに出すデータ量減らせると考えればFSで圧縮するのが良いと思うぞ

973: 2017/12/10(日)10:16 ID:C8L1/GFy(1) AAS
>>961
家のCentOSでなんとなしにカーネルじゃないけどアップデートしたら、OSが壊れた。
というか起動に使ってたUSBメモリが完全死亡。
新しいUSBメモリにOSに入れ直して前と同じ環境にするだけで済むだろうと思ったけど、5,6年前に組んだマシンで、当時何をどうやったかの記憶も記録も全くなくなってたｗ
ただのファイルバックアップ用マシンだったけど、元のファイルサーバーに不調が出て一新しようとしてる作業中だったから血の気が引いた。

974(1): 2017/12/10(日)14:37 ID:wGxcaYra(3/3) AAS
>>970
ファイルシステム回りを眺めて（読んだとは言ってない）思ったけど、
圧縮で空いた分のブロックとか認識して追従するファイルシステムとかめっちゃ複雑そう
zfsみたいに上で全部管理しないとすぐ限界が来るに1ペソ

975: 2017/12/10(日)14:40 ID:N0TrNYo4(2/2) AAS
外部ﾘﾝｸ:news.mynavi.jp

Red Hatはすでに実装し利用している技術を精査し、
当面はXFSとLVM2を機能拡張していくことでZFSと同様の機能を実現していく計画としている。
この取り組みは「Stratis」プロジェクトと呼ばれており、
2018年には最初のリリースを見込んでいる。

976(1): 2017/12/10(日)17:57 ID:nqYNH5+E(1) AAS
>>971
Windowsで重複排除はReFSからじゃないかったかな
評判は知らないけど

977: 2017/12/10(日)19:37 ID:fs9xD2lp(1) AAS
>>974
ext4で暗号化が実装されてるのに圧縮がされてないのはその辺だろうね

978: 2017/12/11(月)08:12 ID:lx+fHSVz(1) AAS
>>976
逆。
今の所、NTFSでしか使えない。
オフラインなのもあって、まぁ、普通に使えてる。

979: 2017/12/11(月)12:47 ID:OK6Xudye(1) AAS
しかしSUSEはどうすんだろね

980: 2017/12/11(月)13:10 ID:JQ1AKkZN(1) AAS
SUSEは当分xfsとbtrfsでいくんじゃないの

981: 2017/12/13(水)18:58 ID:dzTWqPE0(1) AAS
次スレは?

982(2): [age] 2017/12/18(月)03:36 ID:GyMlMt5D(1/3) AAS
Ext4でも標準でジャーナリングシステムをつかっているのだと知りました。
それなら、xfsをわざわざ選択する意義ってなんなのでしょうか。
xfsか、枯れたExt4を使うか迷っています。

983(1): 2017/12/18(月)05:14 ID:KgitDdCc(1) AAS
>>982
XFSはファイル一つ一つのサイズがデカい場合に良い性能を発揮するらしいので、
普段使いはext4でいいんじゃないだろうか。

> 枯れたExt4
ext4って枯れてるか？絶賛開発中だと思うのだけど。

984(1): 2017/12/18(月)08:21 ID:x84wA0wv(1) AAS
枯れてるかどうかはわからんけど
xfsのほうがはるこに歴史はあるが

985: 2017/12/18(月)11:20 ID:GyMlMt5D(2/3) AAS
>>982です。

>>983-984
ext4ってまだ開発中だったんですか。すっかり枯れたものだと思いこんでました。
それどこか、xfsの方が歴史が長かったなんて。
CentOS 7ではxfsが標準になっているので、逆転現象ですね。

IMAPサーバの構築でメールファイルの管理だけをしたいなら、
使い慣れたCentOS 6で、ext4を使う方がいいかなあと思ってきました。

986(1): 2017/12/18(月)21:55 ID:zF3vE5KP(1) AAS
ext4にしとけ
extundeleteできるのは便利やぞ

987: 2017/12/18(月)22:08 ID:GyMlMt5D(3/3) AAS
>>986
xfsは復活できないそうですね。
メモリも食うらしいので、
はい。もう少し、CentOS6でいきます。

988(1): 2017/12/28(木)12:29 ID:bgFTfYxx(1/2) AAS
SSDのような記録形式は、劣化してくるとコンデンサでいうリフレッシュみたいなことをしないと
あまり頻繁にアクセスしないデータはいつの間にか電荷？の自然消失で壊れると聞いたんですが
ZFSのスクラブはリフレッシュの代わりになりますか？

989: 2017/12/28(木)13:02 ID:vYCrbjN4(1) AAS
そんなことしても気休めにしかならないからバックアップ取ったほうがいいぞ

990: 2017/12/28(木)13:18 ID:fkEzUj9L(1/4) AAS
>>988
バックアップしたのを丸々リストアするのが一番負担の負担が少ない
細かいファイルを１個１個同じSSD内で完全にコピー→上書き移動とかしてると
ディレクトリのエントリ（ファイルの一覧）への書き込み回数がとんでもない事になる

991: 2017/12/28(木)13:18 ID:fkEzUj9L(2/4) AAS
負担の負担とかｗ　SSDの負担

992: 2017/12/28(木)17:49 ID:bgFTfYxx(2/2) AAS
ありです

やっぱりきちんとバックアップも取っておいた方が良いですか

定期的にddでディスクを丸ごとHDDに保存してみようと思います

993: 2017/12/28(木)18:25 ID:W1FLaU/H(1/2) AAS
SSDも劣化対策にRAIDにしておくべきだよね

994: 2017/12/28(木)18:39 ID:fkEzUj9L(3/4) AAS
zfsとかReFSみたいなのなら劣化には有効なんだけど、従来のFSじゃ無理
だからデータ化け対策にMSまでもがわざわざ今頃になってReFSとかし始めてる訳で

3DMLCTLCのエラー訂正がどうなるかわからんけど、少なくとも寿命が来たUSBメモリに
ソフトウェアRAID組んでext4辺りで適当なでかいzipとか放り込んでしばらく放っておいた後、
（フラッシュの類の寿命って読み書きできないじゃなくて、
　データを保持できる時間が短くなる、だから待つのが重要）
データレベルでのエラーが検出できないから、エラーが起きたり起きなかったりする
ソフトウェアRAIDだけじゃなくて、ハードウェアRAIDも同じ
あれは律儀に両方の物理ドライブから読み込んで、両方のセクタの内容を比較とかしてない
（ハードウェアRAID0+1だと、先ず間違いなく片方からしか読んでないし、
　普通のミラーリングでも定期的に読み出す物理ドライブを切り替えて寿命を延ばそうとしてる）
Win10の記憶域プールの類も同じで、プールから作った論理ドライブにNTFS切ると同じ問題が起きる

RAIDはヘッドとかモータとかコントローラが死んだ時には止まらず動き続けてくれたり、
片方のデータで助けてくれたりはしてくれるけど、ECCかファイルシステムのどっちかが
データの正当性を検証し続けてくれない環境だと、運用中のデータ化けには無力（特にSSD）

995: 2017/12/28(木)18:56 ID:aFTO9rA1(1) AAS
つまりエンプラSSDは期違いってこと？

996: 2017/12/28(木)19:25 ID:NbmI0QOw(1) AAS
HDD も SSD も同じことだが、
RAID で DISK故障を発見したとき、他の DISK のデータが一部消えてたという事態は避けなければいけない。
そのために、全データを定期的に read　することが重要。アクセスすることによって訂正可能な範囲の劣化は修整される。
ダメならダメでデータが消えたことが発見できて RAID 使ってたら修正も可能。

コピーオンライトなFSは、GC もあるし、そういう機能を持ってると思うけれども、詳細は知らない。

997: 2017/12/28(木)19:25 ID:fkEzUj9L(4/4) AAS
鯖向けのSSDでも、暗号化の類の保護はあっても、正当性の保証って意味での保護は滅多にない筈
（ちょっと考えればわかる）だからSLCとかで物理的な耐久で耐えようとしてるっしょ
で、わざわざ電源断の保護とか謳ってたりするとこからわかると思うけど、
一般的なSSDの多くは書き込み中に電源落とすと、内部でのイレース→書き込みで、
イレース直後に力尽きた時はセクタの内容がオール０とかになる
物理的な書き込みの順番を守ってないジャーナリングだと、
下手するとディレクトリエントリぶっ壊れて、ディレクトリ内のファイルの一部か全部ロストする

鯖向けの3Dは知らん

998: 2017/12/28(木)20:36 ID:W1FLaU/H(2/2) AAS
複数SSD + ZFS + 定期scrub でいい？

999: 2017/12/28(木)23:22 ID:1cm7+jyT(1) AAS
SSDは記憶場所の再配置も自動でやっているのでscrubなんて無価値だよ

1000: 2017/12/28(木)23:27 ID:Q2KhtiDj(1) AAS
ヾ(ﾟωﾟ)ﾉﾞ

1001(1): 1001 Over 1000 Thread AAS
このスレッドは１０００を超えました。
新しいスレッドを立ててください。
life time: 1076日 0時間 45分 40秒

1002(1): 1002 Over 1000 Thread AAS
5ちゃんねるの運営はプレミアム会員の皆さまに支えられています。
運営にご協力お願いいたします。

───────────────────
《プレミアム会員の主な特典》
★ 5ちゃんねる専用ブラウザからの広告除去
★ 5ちゃんねるの過去ログを取得
★ 書き込み規制の緩和
───────────────────

会員登録には個人情報は一切必要ありません。
月300円から匿名でご購入いただけます。

▼ プレミアム会員登録はこちら ▼
外部ﾘﾝｸ:premium.5ch.net

▼ 浪人ログインはこちら ▼
外部ﾘﾝｸ[php]:login.5ch.net

上下前次 1-新書関写板覧索設栞歴

ｽﾚ情報赤ﾚｽ抽出画像ﾚｽ抽出歴の未読ｽﾚ AAｻﾑﾈｲﾙ

ぬこの手ぬこTOP 0.212s*