[過去ﾛｸﾞ] ファイルシステム総合スレ その18 (1002ﾚｽ)
上下前次1-新
このｽﾚｯﾄﾞは過去ﾛｸﾞ倉庫に格納されています｡
次ｽﾚ検索 歴削→次ｽﾚ 栞削→次ｽﾚ 過去ﾛｸﾞﾒﾆｭｰ
753(1): 2019/09/16(月)22:23 ID:v2xaK5dV(1) AAS
erofs-utilsに入っているmkfs.erofsで作るらしい
外部ﾘﾝｸ:git.kernel.org
754(2): 2019/09/17(火)00:23 ID:tEkIjiM2(1) AAS
>>750
いや、roなファイルシステムも使用時にroでマウントしてるだけで
作成時はイメージファイル上にFSを作ってrwマウントしてファイルコピーするだけ
755: 2019/09/17(火)02:01 ID:C2z//eYW(1) AAS
>>753
圧縮の有無に違いはあるけど、使い方はSquashFSみたいな感じらしい
756: 2019/09/17(火)09:41 ID:mAQfPWIi(1) AAS
>>754
なるほど，まあ当然っちゃ当然そうだよな。
757: 2019/09/17(火)12:22 ID:8KO1t32N(1) AAS
>>754
isofsはwrite()が実装されてないらしいし、rwマウントしてコピーってのはちょっと違うのでは？
758: 2019/09/17(火)21:24 ID:2Wuln3eF(1) AAS
fuseとかでrwマウント出来るようにした物はあるだろうけど、最初からrwでマウント出来たらroファイルシステムじゃないだろｗ
759: 2019/09/17(火)22:27 ID:q0qVtnVz(1) AAS
ro専用のファイルシステムって、誰が書き込むの？
760: 2019/09/17(火)22:50 ID:uhDzaob2(1) AAS
mkfsが｢XXバイト目にマジックナンバー書き込んでYYバイト目にはこのフラグの値書き込んで｣みたいにやってる時に一緒にファイルも書き込むだけ
761: 2019/09/21(土)04:11 ID:H9H9TTsk(1) AAS
これでZFSの重複排除が実用的になるだろうか？
まともに使えそうなら革命的だが
外部ﾘﾝｸ[php]:www.phoronix.com
762(1): 2019/09/21(土)23:27 ID:bKqCk4Ie(1) AAS
重複排除なんてバックグラウンドでやればいいだけじゃないの？
763: 2019/09/22(日)05:53 ID:CqaW/Zfz(1) AAS
今時のバックアップソフトや専用NASはリアルタイムに重複排除出来る
764(1): 2019/09/30(月)15:09 ID:/fxpH8Tk(1) AAS
>>762
重複するデータが既にストレージ上に存在するのなら後続の書き込みは行われないのが理想
765: 2019/10/01(火)01:58 ID:xLonTYnk(1) AAS
>>764
コピーするときだけで十分だろ
どうせ上書きしたら内容は変わるんだし
766(1): 2019/10/01(火)02:38 ID:C0EfQGgt(1) AAS
重複データは書き込み時に判定というのは実際どう判定するのか
書き込み前に一度ファイルを舐めて双方のハッシュでも比較するのか、すごい手間だな
そんなものシステムワイドでファイル作成時や最終書き込みの時にハッシュ引いてファイルの属性データの方に持たせておけばいいのに
それでもハッシュの衝突とか無いとも限らないしな…どうやって検出すればいいんだ
…などと考え始めると眠れなくなる
767: 2019/10/01(火)03:54 ID:O/YTzUB3(1/4) AAS
うん、だからバックアップでやればいいんじゃねーのって思ってる
最終的にはファームウェア側で実装するのもありかもね
768: 2019/10/01(火)04:01 ID:O/YTzUB3(2/4) AAS
>>766
ファイルレベルでハッシュ比較しても駄目だよ。
少しデータが変わっただけの巨大なファイルで重複排除ができなくなる。
でもまあそういう例って仮想イメージのスナップショットぐらいしか無いんだよねｗ
んで、仮想イメージは仮想マシン側がスナップショットを差分で保存してくれるから関係ない
ファイルレベルならバックグラウンドでファイル検索して
ファイルサイズが同じ→中身を比較→全部一緒ならハードリンクにする
これだけで十分だろう
769(1): 2019/10/01(火)04:34 ID:LD5IBfg0(1) AAS
ログファイルとか重複排除すると効果大きいんだけどな
一般家庭の用途だとストレージのほとんどがメディアファイルで埋まるから効果薄いよね
770(1): 2019/10/01(火)08:13 ID:O/YTzUB3(3/4) AAS
>>769
なんで同じ内容のログファイルが
大量にできるんだ？
圧縮ならまだしも何の意味もないだろ
771: 2019/10/01(火)08:17 ID:O/YTzUB3(4/4) AAS
Windowsは95の時代からドライブの圧縮機能があって
昔はお世話になったもんだが、他のファイルシステムには
そういう機能あるのかな？
772(1): 2019/10/01(火)10:03 ID:oU66RV/q(1) AAS
>>770
そもそもファイル単位という前提が間違ってる
773: 2019/10/01(火)10:26 ID:mUwF5icW(1) AAS
>>772
ブロック単位とか言いたいんだろうが、何単位であっても
ログファイルなんて同じ内容にはまずならんだろうが
1バイト違っていたりアドレスがずれてるだけでも
だけでも違うものと判断されるんだからさ
774: 2019/10/01(火)22:11 ID:d4igWScA(1/2) AAS
ZFS とか重複排除はかなりメモリ食うらしいね
NTFS は指定日数経過後のファイルに対してだけ実行するとか
バックグラウンドで実行/高負荷時には実行しないとか
使用メモリ制限とか色々オプションがあるみたい
モードも一般/VDI/バックアップと用途向けに用意されてる
中小規模、ホームユースで考えると NTFS の方式はわかりやすくて
かつ優秀だと思う
775(1): 2019/10/01(火)22:33 ID:acLZahM8(1/2) AAS
確かNTFSの重複排除は対象ディスク領域1TiBあたり1GiBのメモリを確保することが推奨されていて、
これはZFSでの重複排除使用時の推奨値と変わらないはずですよ。
重複排除での処理単位のブロックサイズが同じ程度なら、
管理情報のオーバーヘッドはそれほど変わらんでしょう。
776: 2019/10/01(火)22:34 ID:acLZahM8(2/2) AAS
あ、推奨値じゃなくてこれぐらい消費しますよの目安だったかも。
777: 2019/10/01(火)23:59 ID:d4igWScA(2/2) AAS
>>775
メモリ使いすぎないオプションもあるよって書いたんだが...
778: 2019/10/02(水)10:24 ID:MFUU2o8w(1) AAS
NTFSって複雑奇怪な仕様のくせにムダに安定してるよな
779: 2019/10/02(水)20:38 ID:gqMjbdgw(1) AAS
NTFSの重複除去処理って理想的な実装じゃね？
外部ﾘﾝｸ:www.gmo.jp
> 重複除去機能はWindows Server2012ですでに搭載されていましたが、
> 最新のWindows Server 2019の重複除去では、重複除去率とパフォーマンスが改善されており、
> ファイル単位ではなくバイナリのデータ単位で重複を検出して除去するため、
> 大幅に重複除去率が向上しています。
> 重複除去は一度設定すればボリューム内のすべてのファイルが対象となり、定期的に実行されます。
> 書き込みごとに圧縮される場合、継続的なパフォーマンスの懸念がありますが、
> 重複除去はスケジュール設定が可能なため、慢性的なパフォーマンスへの影響を回避することができます。
780: 2019/10/03(木)00:59 ID:OEBySPhx(1) AAS
NTFSは本当に優秀だ
NT3.1の頃から業務で使っているが、FS起因でのトラブルには一度も遭遇したことがない
さすが天才カトラーが設計しただけある
781: 2019/10/03(木)02:03 ID:7cVKYu14(1) AAS
MSの開発者のスキルは世界一だからね
本当凄いよ
782: 2019/10/03(木)08:52 ID:tzg7uxom(1) AAS
優秀つっても Isilon や NetApp とかの後追いじゃないか？
OneFS, WAFL, NTFS 以外は完全において行かれた感がある。
zfs や btrfs はそれなりに資金力ある企業傘下だったが残念だ。
783: 2019/10/03(木)08:52 ID:47VJX03k(1) AAS
昔との互換性を重視して、仕様は謎みたいな話もあったけどNTFSは問題ないのか？
784: 2019/10/03(木)15:39 ID:06JgUDhC(1) AAS
zfsはSunがあんなことにならなければ…
785: 2019/10/05(土)20:56 ID:6SloAFsk(1) AAS
NTFSの仕様はマジで謎。
786: 2019/10/22(火)03:48 ID:sLMeSFJA(1) AAS
Ubuntu 19.10でZFSをルートファイルシステム利用やっとかよ
787: 2019/10/22(火)04:05 ID:sWREnU7X(1) AAS
ルートにzfs使うことある？
788: 2019/10/22(火)16:37 ID:bJW2ueVJ(1) AAS
zfs重くて泣いた
789: 2019/10/22(火)23:17 ID:4WVgaPY2(1) AAS
zfs raid-1
790: 2019/10/24(木)07:14 ID:e5plJI2y(1) AAS
ZFSの優秀さはメモリと引き換えなのでパソコンクラスのメモリ量だとあまり使えない
791: 2019/10/24(木)14:36 ID:87akmZa+(1) AAS
パソコンクラスってよく分からない表現だな
今のサーバーはほとんどPCサーバーになってきてるのに
792: 2019/10/24(木)15:34 ID:V0q9EpU/(1) AAS
パーソナルなやつだろ
793: 2019/10/24(木)19:01 ID:XtN2MzoY(1) AAS
ZFS出た2005年当時のメモリなんてどれだけだったと思ってるんだ
794: 2019/10/25(金)09:09 ID:Krt8XDYr(1) AAS
うちのパソコンはメモリ512GBだけど足りないかな？
795: 2019/10/25(金)09:54 ID:dtRwUszk(1) AAS
OpenZFSはメモリ要件が改善されたらしくはあるけど
キャッシュヒットが環境によって変わるとはいえメモリの必要量が明確に分からないのは正直つらい
L2ARCの追加もメモリ消費するらしいから安易にできないし
でもZILとかスナップショットとか透過圧縮とか使いたい
796: 2019/10/25(金)10:31 ID:fu1VNf4G(1) AAS
NASでZFSのdedup onで使ってるけど2TBでメモリ10Gも使わない
メモリ512GB積んでおけば100TBぐらいまでは対応できそうだから個人だとこれで十分そうだ
797: 2019/10/25(金)13:35 ID:+KpuEA9M(1) AAS
重複排除設定で使用済みブロックが2TBも使ってるなら相当ゴツいシステムだな
798: 2019/10/25(金)23:24 ID:IP6r7udF(1/2) AAS
重複排除ってサイズが1バイトずれてるだけのやつも
排除してくれるの？
799: 2019/10/25(金)23:52 ID:dtVaeIT3(1/2) AAS
な訳ねー
800(1): 2019/10/25(金)23:54 ID:IP6r7udF(2/2) AAS
あんまり排除できなくないか？
同じファイル見つけたらハードリンクに
置き換えるツールで十分そうｗ
801: 2019/10/25(金)23:57 ID:dtVaeIT3(2/2) AAS
そうだよ、専ら仮想鯖みたいな同じユーザランドが無数に作られる様な用途を想定してるんだろう
802(1): 2019/10/26(土)01:22 ID:vQVY0Sjj(1) AAS
一日1万枚ぐらいエロ画像を漁ってると20%ぐらいはかつて落としたエロ画像だったりするから
重複排除は容量の20%ぐらい浮く計算になる
803: 2019/10/26(土)01:25 ID:bm797MDp(1/2) AAS
>>802
そういうのって重複ファイル削除ツール使えばいいだけなんじゃない？
重複させておく必要ないでしょ？
804: 2019/10/26(土)01:29 ID:Pwsut+Es(1) AAS
重複排除はリアルタイムである必要はないわな
ZFSが採用しているようなリアルタイムでの重複排除はメモリを食うし
デスクトップ用途ではデメリットの方が大きい。
XFSの重複排除はパフォーマンスに影響しないし実際に使っているけど便利だよ。
805: 2019/10/26(土)02:04 ID:/XO9wWRE(1/2) AAS
後で重複を排除するとなると重複かどうかがわからないから結局一度書き込みに行く事になる
zfsはデスクトップ用途だとアレだけどサーバ用途だと理に適ってはいる
あと画像だと今や同じ画像が違うファイル形式であちこちに散乱してたり
同じJPEGでも品質が違ってたりするからあんまし意味ないんじゃ？
806: 2019/10/26(土)02:47 ID:bm797MDp(2/2) AAS
でも書き込むたびに、これ重複してるかな？って
確認してたら、書き込みが遅くなるじゃん
807(1): 2019/10/26(土)06:32 ID:/XO9wWRE(2/2) AAS
それを高速化する為にメモリ内にハッシュの類を持ってるんだろうに
808(1): 2019/10/26(土)10:45 ID:ZfJ5IMnc(1) AAS
でも書き込むごとに、データのハッシュ値を計算してるんですよね？
809: 2019/10/26(土)11:39 ID:+7ZIaVI7(1) AAS
>>807
非同期書き込みなら書き込み遅いのは気にならないが同期書き込みについては
遅くなるのは致命的だよな
同期・非同期で重複排除をバックグラウンドでやるかリアルタイムでやるか決め
られるだろうけど仮想環境用途の仮想ディスクとかはその上の同期・非同期って
NAS側まで伝わるのかね
>>808
ZFSの場合はハッシュの計算以外にもRAIDの計算もしているが、それをいうなら
商用NASハードはそれで百本越えのHDDとか面倒みながら処理してるわけで
ハッシュ計算はそんなに負担ではないのでは？
810: 2019/10/26(土)11:54 ID:kG6Y+7fi(1) AAS
いやめちゃくちゃ負担だけど
やらなきゃ駄目だから
811: 2019/10/27(日)15:53 ID:eiS+LtlM(1) AAS
>>800
重複排除はファイル単位ではなくブロック単位
もしファイル単位ならそりゃハードリンクと同じだ
812(1): 2019/10/27(日)17:06 ID:707D9EX6(1) AAS
異なるファイルでブロックが同じってまずないだろ？
813: 2019/10/27(日)23:20 ID:3lwG/9wl(1) AAS
それをファイルレヴェルでやってたらでかいファイルの一部が変更されただけで
ハッシュの類を再度算出しなおさなきゃいけなくなる
814(1): 2019/10/28(月)00:15 ID:IKPi8ihE(1) AAS
>>812
世代でバックアップとってるファイルとかゲストOSのイメージとか
815: 2019/10/28(月)20:47 ID:dxvlefLW(1) AAS
ファイル単位の重複排除もあるらしい。
更新されなくなったファイルを圧縮するついでにやる？だったかな。
他にもウイルススキャンとかも定期的に走らせるとかあるからハッシュの
再計算を何かのついでにすることで負担は減らせそうだね。
816(1): 2019/10/28(月)22:31 ID:9iH4PItu(1) AAS
>>814
そういうのって仮想マシンソフト側が対応してますよね？
817(1): 2019/10/28(月)23:10 ID:WlwazsDj(1) AAS
ファイル単位でやるにしてもどうしても大きさに制限ができる
COWの事を考えるとどうせブロック単位に回帰する
818: 2019/10/29(火)00:52 ID:fdP/pgCQ(1) AAS
>>816
横から失礼
同じ仮想マシンイメージのPCを移動ユーザープロファイルで利用する
ならわかるが、サーバだと初期イメージから離れていくだけだから
差分に対しては仮想マシンソフト側での吸収は難しいと思うが
>>817
データベースの表領域を考えるとそうだけど、それ故最近アクセスしていない
ファイルに限定してるんじゃないかな
そうなると話は変わって逆に大きさがわかる/ファイルサイズがわかるのは
寧ろメリットになってしまう
省3
819(1): 2019/10/29(火)03:00 ID:L6q0zJPq(1) AAS
自宅のCDデータ倉庫で排除率のシミュレーション'(zdb -S)したけど1%も無くてがっかりだった
やっぱZFSの重複排除は仮想化とセットなんかな
バックアップは取得時だけソフトで差分の処理するほうが安くできそうだし
820: 2019/10/29(火)08:54 ID:tiBJfX00(1) AAS
>>819
zfsは仰る通りだと思う。
コピーオンライトのお陰でスナップショットが高速・少容量な感じに仕上がってる。
821: 2019/11/16(土)21:42 ID:JSAAagCz(1) AAS
重複排除に夢を見ないほうがいいよ
元から圧縮をはじめとする各方面で無駄を無くす努力がなされている現状で
小手先の策は効果がない
822: 2019/11/20(水)20:25 ID:6yGwAp7b(1) AAS
そうか？今日保存したエロ画像は以前見てHDDのどこかに保存したような気がするんだが
823: 2019/11/20(水)20:40 ID:oxDwVSd5(1) AAS
同じ画像に見えてもバイナリ的に同一じゃない要素があってなぁ
というかそういう画像を探すための同一画像判定をしてくれるアプリがあったな
824: 2019/11/21(木)05:47 ID:FXPGTnmV(1) AAS
画像はまだいいけど同一の動画を判定するのは難しそうだなあ
できるソフトあるのだろうか？
825: 2019/11/21(木)09:09 ID:xIJF9Sc2(1) AAS
Googleなら持ってるだろうが
826(1): 2019/11/21(木)09:58 ID:qhCu6Ui0(1) AAS
おれは一期一会派だから
827: 2019/11/21(木)20:44 ID:FOikuE8m(1) AAS
>>826
年々規制が厳しくなるからいつか後悔するぞ
828: 2019/11/23(土)07:34 ID:RKp6gT6E(1) AAS
すでに御禁制の品です
829: 2019/11/26(火)09:21 ID:WiM8NUkS(1) AAS
>> 826
俺は市毛良枝派だった。
830(1): 2019/11/26(火)19:19 ID:dryjMwbD(1) AAS
仮想マシンのイメージのように重複排除が効果的なものはあるけど
そういうのは個別に専用の仕組みで対応したほうが早い
例えば掲示板の画像なら重複を探してハードリンクを貼るスクリプトを定期的に回すだけで事足りる
一応btrfsは重複ブロックを探して共有するプログラムが用意されている
さまざまなリスクと制約を負ってでもリアルタイムにファイルシステムでやる必要性が少ない
831: 2019/11/26(火)22:41 ID:KV/Dsi98(1) AAS
>>830
いやそれだったら画像を保存するだけのプール作ってそこだけdupすればいいだけ
832: 2019/11/27(水)01:03 ID:j6YMclKw(1) AAS
外部ﾘﾝｸ[php]:www.phoronix.com
> Linux 5.4 Kernel Released With exFAT Support, Faster Radeon Graphics, New Hardware
exFATｷﾀ━━━━(ﾟ∀ﾟ)━━━━!!
833: 2019/11/27(水)01:10 ID:vV9+H2A1(1) AAS
これでexFATが汎用性最強になったね
834: 2019/11/27(水)01:36 ID:twkxM08i(1) AAS
でもジャーナリングファイルシステムじゃないからなぁ
835: 2019/11/27(水)01:39 ID:BHucuGJr(1) AAS
全く用途が違うだろ・・・
何を見当違いな
836(1): 2019/11/27(水)03:08 ID:zVRigbnf(1) AAS
そう言えばRaiserさんはFS開発に戻らないんだろうか
837: 2019/11/27(水)07:27 ID:yuP2HKak(1) AAS
そもそもSDXCカードの標準に採用されてるのに読み書きできない方がおかしい
838: 2019/11/27(水)10:28 ID:aEg54iqa(1) AAS
fatは先頭からデータ埋めてくだけだったけどexfatはそのへんどうなの?
839: 2019/11/29(金)08:14 ID:Vz7mdWod(1) AAS
スパースファイルのことなら対応してない
アロケーションのことなら実装次第でFATと変わらんだろう
メタデータの一部がファイル化してるが位置がころころ変わるものじゃないから断片化には影響しない
840: 2019/12/03(火)19:17 ID:fFA/yNYa(1) AAS
Valid Data Length、Linuxで言う所のUnwritten Extentsなら有る
外部ﾘﾝｸ:docs.microsoft.com
841(1): 2020/01/01(水)11:10 ID:scCDRay6(1) AAS
外部ﾘﾝｸ[php]:www.phoronix.com
> Reiser5 File-System In Development - Adds Local Volumes With Parallel Scaling Out
> Hans is still serving his fifteen year sentence until 2023 for
> murdering his wife but can see parole eligibility as soon as next month (January 2020).
Hans Reiser仮釈放でReiser5爆誕
842: 2020/01/01(水)12:31 ID:20dym0cL(1) AAS
まじかｗｗｗ まさか復帰するとは思わなかった
843(1): 2020/01/01(水)21:13 ID:p37tb7FW(1) AAS
キラーFSになるな
844: 2020/01/11(土)02:19 ID:UAAx1hWz(1) AAS
2020年1月10日 Don't use ZFS ―Linus，ZFSをマージしない姿勢をあらためて強調 階戸アキラ
外部ﾘﾝｸ:gihyo.jp
「Don't use ZFS. ―ZFSは使わない。その理由はシンプルだ。ZFSはこれまでずっと，バズワード以上の
何物でもなく，そして実感するのだけど，例のライセンシング問題は僕にとってZFSを価値のない存在と
思わせるだけだ」
1月6日，IT業界に特化したオンラインメディア「Real World Tech」のフォーラムで繰り広げられたある
スレッドにて，Linus TorvaldsはZFSをメインラインにマージする予定がないことをあらためて明確に主張
している。(中略)
今後のZFSの扱いについては「Oracleの正式なリーガル担当者が署名したオフィシャルレターが届くか，
もしくはラリー・エリソン自身が“ああ，いいよ，手続きを進めよう”といってZFSをGPLにするか，そういう
省12
845: 2020/01/11(土)04:42 ID:jnlXzU71(1) AAS
マージ無いのはまあ当然だろう
ZFSの為だけに全てのコードをリスクに晒すわけにはいかない
846: 2020/01/11(土)13:42 ID:6TxpLfrk(1/2) AAS
枯れたjfsで運用しとる奴居らんの？
847(1): 2020/01/11(土)13:44 ID:6TxpLfrk(2/2) AAS
LinuxはSiliconGraphics謹製のxfsと添い遂げろ
848: 2020/01/11(土)14:05 ID:+MC8qtlu(1) AAS
jfs いいぞ。
と、言いたいけどAIX由来じゃなくてOS/2からだし
849(1): 2020/01/11(土)16:12 ID:ICeSTzlT(1) AAS
OS/2ってHPFSじゃないの？
850: 2020/01/11(土)18:40 ID:K/LCgiW1(1) AAS
>>847
どうせならReiserFSがいいな
851: 2020/01/11(土)18:57 ID:FZkUfr0E(1) AAS
>>849
wikipedia の jfs からだが、
1999年4月、新しい JFS が OS/2 Warp Server for e-business に、2000年10月には OS/2 Warp クライアントに向けてリリースされた。
1999年12月、OS/2 の JFS ソースコードがオープンソースコミュニティに提供され、それを受け JFS の Linux への移植が始まった。2001年6月、JFS for Linux の最初の安定版がリリースされた。
852(1): 2020/01/11(土)19:17 ID:ptgZv5Qn(1) AAS
JFSはビデオレコーダーとかのHDDのフォーマットに使われている場合が結構ある/あったか
今はXFSとかか？
上下前次1-新書関写板覧索設栞歴
あと 150 ﾚｽあります
ｽﾚ情報 赤ﾚｽ抽出 画像ﾚｽ抽出 歴の未読ｽﾚ AAｻﾑﾈｲﾙ
ぬこの手 ぬこTOP 0.023s