[過去ﾛｸﾞ] ファイルシステム総合スレ その18 (1002ﾚｽ)
上下前次1-新
このｽﾚｯﾄﾞは過去ﾛｸﾞ倉庫に格納されています｡
次ｽﾚ検索 歴削→次ｽﾚ 栞削→次ｽﾚ 過去ﾛｸﾞﾒﾆｭｰ
853: 2020/01/13(月)11:25 ID:mGzs+Xmt(1) AAS
>>852
むしろレコーダーにはXFSが使われてるイメージ
854: 2020/01/14(火)04:51 ID:iZnsu89D(1) AAS
うちにちょっと古めのRegza(TV)が2台があるが、録画HDDが認識されなくなって
xfs_repairで3回くらい復活させたことがあるわ
855(1): 2020/01/14(火)08:15 ID:bK6lhlF1(1) AAS
ZFS厨死亡のお知らせ
外部ﾘﾝｸ[php]:www.phoronix.com
856(1): 2020/01/14(火)08:55 ID:U+JHY6EW(1) AAS
典型的な老害
857: 2020/01/14(火)09:01 ID:/3xc9qkj(1) AAS
じゃあbtrfs使いますかって話よ
俺はトラウマあるから無理
858: 2020/01/14(火)09:36 ID:Tzu77Qmb(1) AAS
>>855
今までと変えるつもりはないからこれ以上話を出すな、ってだけだと思うんだけど
RedHatがxfsベースで似た機能を持ったもの作るのと、ReiserFSがそこまで取り込んでくれるのを期待
859: 2020/01/14(火)10:05 ID:3ySwGeCo(1/2) AAS
>>856
法的な問題が解決されない関わらないっていうのを改めて明確にしただけだと思うけど
860: 2020/01/14(火)11:40 ID:kTd0knbb(1) AAS
ZFSなんかバズワードだって一刀両断は胸がすくね
Macが採用を謳ってからの持ち上げようったらおかしかった
861: 2020/01/14(火)12:03 ID:Co6d2U6R(1) AAS
linuxではバズワードかもしれないけれど、
FreeBSDなんかは、UFSの代替として一般化してると思うよ。
862(2): 2020/01/14(火)14:46 ID:s3yt3V1I(1) AAS
ソースも見ないアホが語っとるわ
リーナスが言ってるZFSはOracleのZFSのことであってOpenZFSではないぞ
863(1): 2020/01/14(火)17:03 ID:QOKr6lO9(1) AAS
xfsが進化しまくってるから問題ない
俺も早速1年くらいxfsのcowで使っているけど
btrfsとは違ってド安定で一切不具合はないよ
ただしメモリの使用量はなんか多い気がする
864: 2020/01/14(火)17:24 ID:vHb4j94C(1) AAS
>>863
xfsは昔からメモリ大好きっ子やけんな
865: 2020/01/14(火)17:26 ID:t+wcCOjj(1) AAS
スナップショットと圧縮が欲しいんだよー
866: 2020/01/14(火)17:29 ID:J8UtrzpS(1) AAS
>>862
ライセンスがGPLにならないかぎりは同じこと
867: 2020/01/14(火)17:38 ID:3ySwGeCo(2/2) AAS
>>862
誰にアホといってるのか分からんけど
OpenZFSだろうがライセンスが変わらない限り一緒だといってるだろ
868: 2020/01/21(火)20:00 ID:ugNUCPRp(1) AAS
たとえGPLになって取り込まれたとしてもZFSに使いどころがないわ
ガリガリ読み書きする部分にはメタデータアクセス遅すぎて使えん
ガチ性能と可用性が必要なところはハードウェアRAID組む
ニアライン用なら機能いらんからもっと安定してるやつ使う
869: 915 2020/01/21(火)22:45 ID:iC7ldWE7(1) AAS
LinuxはZFS並みのファイルシステムができるまでまだまだかかりそうね
870: 2020/01/22(水)00:52 ID:RmlHZiYt(1) AAS
超サーバ用途には使わんし、かと言って一般的なPCじゃ必要メモリが大き過ぎて使えんし、
運用のハードルが高い割には使いどころが難しいのよね
871: 915 2020/01/22(水)00:59 ID:97fPzXLY(1/2) AAS
使ったことないんじゃない？メモリ2GBでも快適だよ
今時のマシンなら16-32G積んでるしちゃんと使ってみてから評価すればいい
872: 2020/01/22(水)01:20 ID:sJWFkN+Y(1) AAS
2GBで快適に動くような使い方してるならZFSでなくてもいいのではって思うけどな
873: 2020/01/22(水)01:58 ID:wZeNZHAR(1) AAS
メタデータ触ると遅いしメモリ食いなのは確かだけどlvmでスナップショットはかなり無理矢理感あるし透過圧縮ないファイルシステムも多い
874(1): 2020/01/22(水)07:16 ID:97fPzXLY(2/2) AAS
snapshot、promote、細かいACL、send|reciveに透過圧縮など非RAIDでも恩恵はでかいよな
875: 2020/01/22(水)11:38 ID:sjf0Rz/o(1) AAS
>>874
だね
俺はデスクトップユーザーだからそれら機能の簡易版でもあればbtrでもxfsでも構わないのだが
現時点では選択肢がzfsしかない
876: 2020/01/22(水)16:00 ID:vGgGBPjr(1) AAS
うんうんZFSは素晴らしいみたいだからFreeBSDでつかっててね
877: 2020/01/23(木)01:55 ID:7qSP8O0Q(1) AAS
FreeBSDもOpenZFSになるのでLinuxで使いますね
878: 2020/01/23(木)14:10 ID:ZAgXInmL(1/2) AAS
有料でも良ければGPFSが最強なんだけどねえ
879: 2020/01/23(木)14:14 ID:ZAgXInmL(2/2) AAS
今時は1デバイスで100TB、トータル1PBぐらいのシステムを持っている個人も普通にあるよね
そういうとこで実運用に耐えるファイルシステム、って観点だとこれが以外と難しい
880: 2020/01/23(木)23:53 ID:6UDxr1tc(1) AAS
NTFS
881: 2020/01/24(金)18:35 ID:mXgeSarq(1) AAS
巨大パーティションは下手すればエラーチェックもままならなくなるから
動画用でもない限り1T程度で切ることにしている
882: 2020/01/25(土)04:40 ID:hgworRLd(1) AAS
重複排除の実装によくハッシュが使われるがハッシュの計算と保存のコストが馬鹿にならない
例えばKSMは最初ハッシュで実装してたのに結局ツリーを作った上で直接比較する方法に変更した
883: 2020/01/25(土)06:07 ID:v2Q4em8k(1) AAS
NTFSって理論上は64ビットの番地だけど
現在の実装は32ビットなんだろ
(2^32-1)*2048KiBの8PiBくらいしか管理できない
884: 2020/01/25(土)06:30 ID:RUYaEyw5(1) AAS
そんな容量が要求される様な用途だとReFSが使われるんじゃ？
885: 2020/01/25(土)07:53 ID:TTbJFqbp(1) AAS
ファイルシステム上には64ビットで書かれてるよ、
読み書きするときに上位の32ビットを0に固定してるだけ。
たしか、4KBクラスタまでの時代で論理限界16EBとか言ってた。
今は2MBだから増えてる？
886(1): 2020/01/25(土)10:14 ID:9dDjJPoq(1) AAS
個人だとだいたい100TBもあれば足りるからな
887: 2020/01/25(土)13:29 ID:FQlZOJvl(1/2) AAS
まあストレージやメモリのこれだけあれば十分なんて数字は数年で倍になるし10年で2桁変わる
888(2): 2020/01/25(土)15:54 ID:Pn3gpz30(1) AAS
世の中にPBクラスの規模で動いてるファイルシステムって実際にあるのか…？
普通はそんな肥大化する前に設計の見直ししないか
889: 2020/01/25(土)16:15 ID:XUbXy/+j(1) AAS
10年前でメモリ80MBとかPentium IIを10年使っていらしたんですか？
890: 2020/01/25(土)17:43 ID:FQlZOJvl(2/2) AAS
10年前だとメイン機のRAMは8GB、サブ機で2GBだったかな
今はメインで64GBサブ機8GBだから、まあ10倍にはなっていないか
ストレージは1TB→20TB
さらに10年前、2000年時点だとRAM256MBストレージ4GB
1990年頃だとRAM4MBストレージ80MBくらいか
10年で10倍、25年で1000倍目安くらいだな
891(1): 2020/01/25(土)20:54 ID:9YpFJvCS(1) AAS
>>888
そこまでいくと実質的に青天井だからS3などのクラウドを選択するだろう
もう自前でストレージを持つ時代じゃない
892(2): 2020/01/26(日)10:26 ID:AHO9IC4m(1/4) AAS
>>888
資源系を筆頭にいくつかの業界や世界規模の大手企業ではPBなんて珍しくないよ
そういうところでは単一ネームスペースでアクセスできるところに意味があるからそうなる
>>891
むしろ逆、そこまで大きくなるとクラウドストレージはI/Oが高すぎて話にならなくなる
893(1): 2020/01/26(日)11:00 ID:OzJ+Z2xw(1) AAS
>>892
事業の性質によるだろう
多くのBtoCビジネスでは、必要なストレージ容量やIOはユーザー数に比例するから問題ない
それで赤字ならそもそも商売として成立しない
894(1): 2020/01/26(日)11:21 ID:kSy9PDTE(1/3) AAS
>>892
PBクラスのシステムのファイルシステムは実際は Lustre や GPFS
などの分散ファイルシステムで、その中身は ext4 などのファイル
システムを並列に並べたものだから、単一のファイルシステムとしては
PB 超えれてない
ここでの議論は単一のファイルシステムに限定したほうがいいと
思うんだがどうだろう
895(1): 2020/01/26(日)11:44 ID:kSy9PDTE(2/3) AAS
>>893
> 事業の性質によるだろう
具体的にはスパコン(HPC)と映像系だけかな
CIFS/NFS(autofs)/オブジェクトストレージあたりは複数のストレージを
束ねて１つのネームスペースに見せかけられるからそこそこ安定してて
こなれた価格のストレージを並べるから PB のファイルシステムは不要
テキトーなこと言うけど、PB クラスのファイルシステムが必要になる
のは１ファイルがTB超えるとか１バッチあたりの中間ファイルがTB超える
とかぐらいからじゃないかな
896(1): 2020/01/26(日)11:53 ID:AHO9IC4m(2/4) AAS
>>894
LustreもGPFSもPanFSも中身は独自でext4等の下層fsを持たないよ、何か別のものと勘違いしてない？
897(1): 2020/01/26(日)12:22 ID:AHO9IC4m(3/4) AAS
>>895
HPCはそうだけど映像系は実は必ずしも該当しない、ガチなとこは階層化ファイルシステム使うから
日本では技術力がないのか金があるのか知らないけど単一でゴリ押す映像系の話きくけどね
PB越え単一ファイルシステムが必要なのは、一ファイルの大きさが問題じゃなくて
アクセスする可能性があるファイルが大量にあって、かつテープでは遅すぎる場合
だから金融系・資源系・生命系みたいにデータが大量で時間が金に直結するところで良く使われる
898: 2020/01/26(日)12:26 ID:AHO9IC4m(4/4) AAS
>>896
おっとすまない、Lustreは下層がext4だった、ごめん勘違いしてたのは俺だった
でもGPFSやPanFSが下層を持たないのは本当
まあ現状エンタープライズのファイルシステムの最前線はGPFS vs PanFSみたいな雰囲気はある
899: 2020/01/26(日)13:52 ID:kSy9PDTE(3/3) AAS
>>897
それは失礼。 ちなみに Lustre は ext4 と他に ZFS の実装もあるそうな。
> アクセスする可能性があるファイルが大量にあって、かつテープでは遅すぎる場合
使ってる業種と使い方に異論はないんだけど単一ファイルシステムを使う理由が
それかというとちょっとなんか釈然としないなぁ
結局入力ファイルや中間ファイルを複数のファイルサーバに負荷分散するように組むのが
面倒くさいから使ってるってだけって印象だわ
面倒くさがらなった結果の一つが Hadoop/HDFS だと思ってます、ハイ
900(1): 2020/01/26(日)14:09 ID:aLHVJ+JL(1) AAS
1ファイル1'PBのエロ動画とかどうやって保存してるんだろう
901(1): 2020/01/27(月)01:02 ID:SjNVe4Yy(1) AAS
>>900
Display Portが2.7Gb/s最大なんで少なく見積もっても823時間分あるんだが
どういう人向けなのか説明Plz
902: 2020/01/27(月)12:29 ID:0w7PQcpt(1) AAS
>>901
DPは最大25Gbps出るしDSC使えばもっといける
そもそもファイルサイズとモニターへの転送速度は関係ないでしょ？
実際に販売する段階になったらエンコードして小さくするとしても編集前のマスターデータをそのまま保存しておく場合なら再生するモニター以上の解像度、フレームレート、色域が記録されていても保存に必要な容量が用意できれば全く問題ない
903: 2020/01/27(月)14:05 ID:vU+1ytkI(1) AAS
>>886
得ろ動画溜め込むのに少ない
904: 2020/01/27(月)18:07 ID:udH3RDqL(1) AAS
8K24bitの24時間ハメ撮りAVだと無圧縮で計算上約8TBだな
905: 2020/02/02(日)12:09 ID:Hg2ze+cG(1) AAS
>>836,841,843
この流れ好き
906: 2020/02/02(日)15:16 ID:GHB58PtI(1) AAS
Linuxのファイルシステム「Btrfs」を5年間使用した記録
外部ﾘﾝｸ:gigazine.net
907(1): 2020/02/02(日)15:26 ID:U7jFn1mT(1) AAS
RAIDはmd使った方が無難に思える
908(1): 2020/02/02(日)17:40 ID:HE+GXCHP(1) AAS
RAID10はmd raidよりbtrfsのほうが安定してる
RAID 1ならmdのほうがいいけど
909(1): 2020/02/02(日)23:14 ID:cDfryaOr(1) AAS
>>907,908
md の上に何乗せてるん? ext4? xfs?
910(1): 2020/02/02(日)23:40 ID:iaNiREzj(1) AAS
スーパー32Xに決まっておる
911: 2020/02/03(月)05:01 ID:9XLDxuL9(1) AAS
>>909
RAID1なら何でも乗っける
ESPの多重化もしたいし
それ以外ならファイルシステムのネイティブ機能の方がいいと思う
912: 2020/02/03(月)11:50 ID:1h1DB/oS(1) AAS
>>910
その発想はなかった。俺は評価する。
913: 2020/02/03(月)23:45 ID:OVT3+6Po(1) AAS
セガファンは面白いやつ多いのにセガはあれだな
914: 2020/02/11(火)01:11 ID:gTMJQSdw(1) AAS
2020年2月10日 Linus，次期カーネル「Linux 5.6」の最初のリリース候補版を公開
外部ﾘﾝｸ:gihyo.jp
ここで触れられているZonefsは開発したWDによるとSMR HDDやSSDに適したファイルシステムらしい
What is Zoned Storage and the Zoned Storage Initiative?
外部ﾘﾝｸ:blog.westerndigital.com
915(2): 2020/02/11(火)10:00 ID:JmaZPai6(1) AAS
ZonefsはPOSIXに準拠していないので既存のファイルシステムを置き換えるものじゃないけどな
916: 2020/02/11(火)22:35 ID:F8Fgy0xz(1) AAS
f2fsじゃあかんのかね
917: 2020/02/15(土)20:40 ID:ko2/1+4j(1) AAS
F2FSは最大FSサイズが16TBなのがSMR HDDには今後ネックになる
918: 2020/02/15(土)20:51 ID:fQlV7izm(1) AAS
FlashFriendly File Systemだからな
HDDとか知らんよ
919: 2020/02/15(土)21:41 ID:7ROaKxuF(1) AAS
HDDも大容量キャッシュ付き瓦だとあんまりfs側でいじらない方がいいような気がする
920(2): 2020/02/15(土)23:17 ID:Aj0iDWta(1) AAS
WinFS でやりたかったDB の機能も付いたファイルシステムってあります？
921: 2020/02/16(日)09:36 ID:tFc9/bu5(1) AAS
>>920
じゃあそれDBでよくね？ってなってどこも開発やめた
922: 2020/02/16(日)11:11 ID:Cl0cNLYW(1) AAS
最近はDBのためにダイレクトIOのパフォーマンス上げる改善が多い
923: 2020/02/19(水)08:46 ID:+vuP13XZ(1) AAS
Googleが新しいファイルシステム作ってる
Android用だからLinuxのメインラインに取り込まれるのか分からんけど
ダウンロード中の不完全なファイルでも実行できるらしい
外部ﾘﾝｸ[rst]:lore.kernel.org
924: 2020/03/20(金)16:46 ID:oDz6Qr3S(1) AAS
btrfsはUUIDの変更が鬼門だな
メタデータとUUIDが紐付いているらしくてデータを読めなくなる
925: 2020/03/29(日)17:30 ID:ZSfzV/DF(1) AAS
btrfs使わなええ
926(1): 2020/03/29(日)19:29 ID:A9QWVCnu(1/3) AAS
カーネル5.4で追加されたネイティブexFATは日付の処理にバグ有り
Windows7とfuse-exFATで作成したファイルを5.4のネイティブexFATドライバで見ると、
更新日付がちょうど 1ヶ月＋9時間 遅く表示される
アクセス日付は常に 1979/12/31 9:00:00 と表示される
5.4のネイティブexFATドライバで作成したファイルをWindows7で見ると、
更新日付とアクセス日付がちょうど 9時間 早く表示される
また、5.4のネイティブexFATドライバでマウントしなおすと上記の症状が起こる
つまり、
・読み書き共にタイムロケールが正しく反映されない (日本設定では9時間ずれる)
・読み込みのみ暦月がずれて読み込まれる (書き込み直後はキャッシュされるので症状が見えない)
927: 2020/03/29(日)19:38 ID:A9QWVCnu(2/3) AAS
あと、5.4のネイティブexFATは日本語処理は問題なかった
日付のずれは地味に困るから一旦fuse-exFATに戻す
928: 926 2020/03/29(日)20:21 ID:A9QWVCnu(3/3) AAS
アクセス日付を更新するだけでも更新日付が一ヶ月後ろにずれることも分かった
サムネイル表示機能を有効にしてたから試しに開いたSDカードの日付情報も派手にやられた
929(1): 2020/04/08(水)08:54 ID:ctV6ZAP7(1) AAS
Windows10
5000個以上のPDFをAドライブからBドライブに移動させたら、ファイル数はそのまんまなのに総サイズが250MBも減少した
なんで？
930: 2020/04/08(水)09:48 ID:h2p5sSpc(1) AAS
圧縮ディスクだった
931: 2020/04/08(水)16:48 ID:nNfYJP3N(1) AAS
Aドライブってフロッピー？
932: 2020/04/08(水)18:26 ID:9nhczXSy(1) AAS
A側はexfat でアロケーションユニットサイズが 1MB (平均512KB/ファイル余計に消費)で、
B側はNTFSで同サイズが4KBで(同平均2KB/ファイル)だったって感じか？
(意図的にやらない限り 1MB なんて値にはならないはず)
それ以外の可能性としてはA側には隠しファイルがあってサイズは隠しファイル込みだった
933: 2020/04/09(木)01:04 ID:NYHCWS9d(1/2) AAS
exFatをWindowsで初期設定でフォーマットするとクラスタサイズが128KiBになる
1ファイルあたり平均64KiB余計に消費するので、64KiB×5000個=約312MiB
>>929 は順当な結果
934: 2020/04/09(木)01:09 ID:NYHCWS9d(2/2) AAS
1件1ファイルで保存するタイプのメールデータをexFatに保存すると大変なことになる
(1件ごとにほぼ128KiB無駄になる)
あとNTFSは約700バイト未満のファイルはメタデータに直接格納しちゃうから細かい設定ファイルやらメールデータの収納効率が非常に良い
935(1): 2020/04/09(木)08:50 ID:tHpWeU4o(1) AAS
Ubuntu 20.04β試していて初めて知ったんだけどlinux-5.3あたり（？）からNILFS2へ書き込もうとするとクラッシュする（といってもNIFS2を扱っているカーネルのサブシステムだけ）というトラップ（バグ）が仕掛けられてたのね。
/homeをNILFS2で運用していて18.04でバックポートカーネルを入れるとログインできなくなるんで何でだろうと思っていた。
当分18.04+5.0系カーネルで保持かなあ？
936(1): 2020/04/09(木)10:29 ID:wTSYL5PJ(1) AAS
NILFS2って保守されてるのか？
いつか消されるんじゃないかと思っているのだけど
937(3): 2020/04/09(木)12:30 ID:7wAsdCRN(1/2) AAS
4TB の外付けHDDを exFAT でアロケーションユニットサイズを NTFS と同じ 4kB で使う場合、
大きなデメリットってある？
それとも、アロケーションユニットサイズを変更するくらいなら、素直に NTFS で使ったほうがいい？
Linux でもネイティブ対応しそうな exFAT を考慮したいけど、
今までの外付けHDDが全部 NTFS なので、
ちょっと躊躇してしまう。
938(1): 2020/04/09(木)12:47 ID:f9lVta1Z(1) AAS
数十〜数百GB程度ならexFATでも何でも構わんけど
テラバイトサイズのボリュームはジャーナリングファイルシステムでないと怖すぎないか
939: 937 2020/04/09(木)13:13 ID:7wAsdCRN(2/2) AAS
>>938
確かに、ジャーナルのない点は少し気になるねぇ。
サルベージするときの復元率の違いも気になる。
FAT32 のときは、復元できても断片になることもあった。
もっとも、NTFS の場合、復元できなければ断片すら拾えないという感じだから、
優劣という感じじゃないしなぁ。
940: 2020/04/09(木)17:40 ID:vpGccY6F(1) AAS
>>936
ジャップ製モジュールはこれが怖い
941: 2020/04/09(木)18:04 ID:9fEj1NQk(1) AAS
チョン？
942: 2020/04/09(木)22:32 ID:4pQr46JD(1) AAS
手伝お？
943: 2020/04/10(金)16:47 ID:mZNoA7ar(1) AAS
>>937
そのFSを読めるOSが壊れたときなんて想定は別の同じOSを用意すればいいでしかないぞ
944: 2020/04/11(土)22:41 ID:XDts1cPd(1) AAS
>>937
Windows95/98と同じ程度の信頼性はあるはず
945: 2020/04/24(金)00:01 ID:OEQFvFGC(1) AAS
CoWはその性質上、空き領域をどんどん上書きするからSSDの速度低下が起きやすいようだ
定期的にトリムした方が良い、例えば毎朝と毎夕
マウントオプションでdiscardオプションを付けても良いがLinuxでは遅くなることが多い
fstrim -v /
946(2): 2020/05/03(日)18:58 ID:njMyCBBl(1) AAS
>>935
NILFS2開発者のMLにとりあえずの回避策が流れてた。
起動からマウントまでの間にそのFSのデバイスへの書き込みがあればいいので、
マウントの前に
dd if=/dev/なんとか of=/dev/なんとか count=1
みたいにダミーの書き込みを発生さればいいのだそう。
例えば、fstabから削除かnoautoにしてrc.localとかでdd, mountという流れとか。
947: 2020/05/05(火)05:14 ID:AUhfSTN7(1) AAS
>>946
ありがとう。
たぶんこれかな↓
外部ﾘﾝｸ:marc.info
自分の場合も/homeがnilfs2なんでどうしたものかな？？？というところですわ。
サブ機のほうはbtrfsに替えてUbuntu20.04に上げたけどメイン機の方はどうするかなあ？
948(1): 2020/05/26(火)11:43 ID:1H93WhIH(1) AAS
Btrfsとかzfsって一台のhddだけで運用するのはたいしてメリットないの？
949: 2020/05/26(火)12:46 ID:+ELcO//y(1) AAS
あるだろ
圧縮とかスナックショトとか 盛りだくさんだわ
>>948
950: 2020/05/26(火)17:16 ID:o4/8jJLs(1) AAS
デュアルブートしてたらNTFSのMFTがミラー毎壊れたんですけどなんとかMFTを修復できませんかね？
EaseUS Data Recovery Wizardを使うとディレクトリやファイル名がそのままでデータ救出できるんですけど
という事はMFTも修復できるはずですよね？
951: 2020/05/26(火)22:43 ID:6YtvPgat(1) AAS
Btrfsの将来は
952: 2020/05/27(水)08:05 ID:uLCM26Hl(1) AAS
君の頑張り次第
上下前次1-新書関写板覧索設栞歴
あと 50 ﾚｽあります
ｽﾚ情報 赤ﾚｽ抽出 画像ﾚｽ抽出 歴の未読ｽﾚ AAｻﾑﾈｲﾙ
ぬこの手 ぬこTOP 0.199s*