[過去ログ] ファイルシステム総合スレ その19 (1002レス)
1-

このスレッドは過去ログ倉庫に格納されています。
次スレ検索 歴削→次スレ 栞削→次スレ 過去ログメニュー
594: 2022/10/04(火)18:34 ID:ImjmuMcI(1) AAS
子データセット(Btrfsだとサブボリューム)がある時の一括バックアップの使い勝手は
ZFSに軍配があがるなー
595: 2022/10/05(水)19:10 ID:8EmBrLW8(1) AAS
2chスレ:linux
btrfs のパフォーマンスが6.1で上がるニュースを教えてくれた人がいる
596: 2022/10/05(水)21:24 ID:Be/Od0X6(1/2) AAS
いっつもパフォーマンス上がってるな
597: 2022/10/05(水)21:25 ID:Be/Od0X6(2/2) AAS
……と思ったら今回は割とガチ目の上がり方だな
画像リンク[png]:i.imgur.com
598: 2022/10/06(木)18:08 ID:avGMmg5J(1) AAS
Open ZFSの更新来てた(∩´▽`)∩
599: 2022/10/09(日)15:01 ID:rXr5IkAi(1) AAS
zfsの実際のrecord sizeはいつ決まるのでしょうか?
ググった範囲では、record sizeは(dataset指定サイズの範囲で)動的に決まる、決まったあとは変更されない(再作成が必要)、と認識してます。
ファイル書き込みはwrite(2)やfwrite(3)で行われると思うのですが、全てのプログラムが大きなバッファを用意しているとは限らない気がしてます。
zfsにはwriteback用にtxgという領域があるようですが、非同期書き込みのreocrd sizeはtxgがflushされる際に決定されるのでしょうか?
(もしそうであれば、同期書き込みはfsync(2)時に決定?)
600: 2022/10/10(月)12:36 ID:aroMbFWo(1) AAS
NTFSクラスタサイズを後から変更するにはどのような方法があります?
フリーで探し手いるのですが、minitool や aomei無料版は非対応のようで。り
601: 2022/10/19(水)00:38 ID:8S0s8MKH(1) AAS
XFS & F2FS Changes Are Tame For Linux 6.1
外部リンク:www.phoronix.com
602: 2022/10/26(水)21:27 ID:4URvJJm4(1) AAS
Linux 6.2 Aims To Ship Updated Zstd Implementation
外部リンク:www.phoronix.com

Zstd with Btrfs transparent file-system compression performance the decompression speed was "a small win across the board" and at lower compression levels the compression speed and compression ratio were both better than the prior kernel code.
603: 2022/11/07(月)08:35 ID:RMBZpOPP(1) AAS
暗号化鍵ってみなさんどう読み込ませてますか?
手入力だと強さに限界や起動時コンソール前にいる必要があると思うのと、何より面倒。。
かといって同じマシンに置くと平文になると思うので。
604: 2022/11/09(水)22:33 ID:KvH0BOKS(1) AAS
システムパーティションは暗号化せずにおいといて、盗まれたら困るデータだけ別のパーティションにおいてそこは暗号化している
起動したらSSH(SSHのサーバー鍵は「盗まれたら困る」には当たらない)して手でパスフレーズ入れて復号化
手入力の場合の強さの限界は、ストレッチングで多少は緩和される。
605: 2022/11/21(月)05:26 ID:QKr0PUfj(1) AAS
BitTorrent File System (BTFS)
外部リンク:www.bittorrent.com

なんだこれは・・・たまげたなあ
606: 2022/11/21(月)19:44 ID:yefmWMbF(1) AAS
これが本当の分散ファイルシステム
607: 2022/11/22(火)13:05 ID:gnE97F4D(1) AAS
概念的には昔からあるが今のインターネットじゃいろんな部分の性能保証がないから実用性がね
608: 2022/12/02(金)13:21 ID:lH0jw8OM(1) AAS
赤帽エンジニアブログ
2022-12-01
XFSで使った以上に容量が減るナゾ

リンク貼れんかったので
609: 2022/12/04(日)13:25 ID:MfcKUhyk(1) AAS
ファイルシステム関連のドキュメントはBtrfsもxfsもOracle Linux のが親切だな。
外部リンク:docs.oracle.com
610: 2022/12/04(日)16:07 ID:Ye7QwRkv(1) AAS
Oracleは宗教上の理由でちょっと……
611: 2022/12/13(火)18:07 ID:sT4F2h1k(1) AAS
外部リンク:www.phoronix.com
6.2からbtrfs raid5の信頼性が上がるらしい
612: 2022/12/20(火)11:30 ID:0v1vCYwT(1/2) AAS
zstdもアップデートされて高速化されるみたいだし6.2は重要なアップデートになるな
613: 2022/12/20(火)18:04 ID:0v1vCYwT(2/2) AAS
exfatも6.2で速くなるみたいだな
614: 2022/12/20(火)18:46 ID:fyhGCDZv(1) AAS
6.1 が重要そうで、Debian のコードフリーズに間に合って喜んでいたんだけど...
カーネルだけならアップデートしてもほとんど失敗しないし、別にいいんだけど。
615: 2022/12/20(火)22:50 ID:de7d8g5m(1) AAS
昔はshutdown -rFでfsck走ったけどbtrfsは気にしなくていいの?
VMシャットダウンした時とかに気になって。
616: 2022/12/21(水)00:04 ID:qmUzV3jd(1) AAS
shutdownコマンドは古くて問題があったので廃止されてる
systemctlを使おう
617: 2022/12/21(水)02:19 ID:q6nimIuc(1/2) AAS
使ってるのだが...
618: 2022/12/21(水)12:46 ID:EhRPJEI6(1) AAS
今は大抵shutdownとかもsystemctlへのリンクになってるやろ
619: 2022/12/21(水)12:57 ID:q6nimIuc(2/2) AAS
ホントだ
shutdownとして呼ばれると適切に読み替えてくれるんかな?
# shutdown -r now
# shutdown -h now
620: 2022/12/21(水)19:12 ID:5YV/Phng(1) AAS
普通にpoweroffかrebootが1語で済んで簡単で良い
621
(1): 2022/12/29(木)08:21 ID:TYlqFk7p(1) AAS
ファイル名の長さ制限なんとかならん?
622
(2): 2022/12/29(木)09:36 ID:YrPvt7JI(1/2) AAS
前は制限あったけど、今もあるっけ?
623
(2): 2022/12/29(木)10:06 ID:2nJ5CorQ(1) AAS
ファイルのダウンロード中にLinuxのext4ファイルシステムが突然クラッシュしてOSが動かなくなった。
保存先のディレクトリのファイルがすべて操作不能、削除不可能状態になった。
物理的な衝撃とかもまったくなく、突如として起こったトラブル。

再起動したらLinuxはうまく立ち上がらず、セーフモードに。
けっきょく再インストールするハメになったが、インストールに失敗する。
いろんなディストリを試したが、どのディストリでもインストール中にエラーが出て止まる。
インストールメディアの破損もなければ、HDDの破損もない。
DVDドライブも普通に焼くことができるのに。

こんなことがあるんだね。安定しているファイルシステムはなんだろうか。
624
(1): 2022/12/29(木)10:06 ID:otCbGAW+(1/2) AAS
>>621
無制限なのはパス名の長さで、ファイル名はほとんどのファイルシステムで長さに制限があるはず
625: 2022/12/29(木)10:07 ID:otCbGAW+(2/2) AAS
>>624
>>622
安価ミス
626: 2022/12/29(木)10:33 ID:ZePSKeUC(1/3) AAS
>>623

> こんなことがあるんだね。

ビジネスだと物珍しいレベルではないかな。
最近は出荷前検査の精度が上がってて初期不良減ってるから物珍しいレベルになりつつあるけど。

症状的には CPU/マザボ 故障が疑わしい。 その次はメモリ。
ドライブもファイルシステムも無罪だと思うわ。

つうか、ext4 ってまともなメンテナ居るのか?
ドライブ故障のトレンドに追随できてないファイルシステムは使うべきではないよ。
627: 2022/12/29(木)10:58 ID:ZDryYAQt(1) AAS
>>623
ZFSならsnapshotからロールバックで戻せるんじゃない?
628: 2022/12/29(木)11:02 ID:ZBJb5QBa(1) AAS
>>622
ext4が255バイトでNTFSが255文字(Unicode16)なんで困るんよ
vfsにハードコードされてるぽいんでダメだろうけどダメ元で聞いてみた次第
629
(1): 2022/12/29(木)11:16 ID:Sx2YLUkq(1) AAS
流石に無知がすぎるだろ
ext4なんて現在進行系で開発されまくってるファイルシステムだぞ
あと絶対に壊れないファイルシステムは無いから
ext4よりbtrfsやzfsのほうが壊れにくくはあるけれど
630: 2022/12/29(木)11:26 ID:ZePSKeUC(2/3) AAS
>>629
本当に開発されまくって言えるか?
Red Hat 系使う奴は xfs ばかり使うし、その他のディストリも btrfs だったり。
ファイルサーバ製品もハード直結独自FSばかり。
ext4 は使われていない/充分なデータが集まっていないだろ。
631: 2022/12/29(木)11:32 ID:pqXRLrrR(1) AAS
6.1でのext4の変更
外部リンク:lore.kernel.org
632
(1): 2022/12/29(木)12:10 ID:O8F+4wx8(1) AAS
ext4が使われてないってどこの世界線なんだ…
クラウドではほとんどext4だろう
633: 2022/12/29(木)12:27 ID:ZePSKeUC(3/3) AAS
>>632
amazon も ext4 やめて xfs でしょ?
634: 2022/12/29(木)14:06 ID:YrPvt7JI(2/2) AAS
ここのベンチマークの結果だとext4は速い方なので、いい印象持っている
外部リンク[html]:hesonogoma.com
635: 2022/12/29(木)15:32 ID:zAcLS6l6(1) AAS
ファイル名については昔Linusが255バイト制限緩めても今度は1MBじゃ足りないっていい出すに決まってるから対応しないって言ってなかったっけ
東アジア圏だとutf8で更に厳しくなったけど、今ならファイル名に長々情報持たせるほうが悪いって言われそうだしな
636: 2022/12/29(木)23:22 ID:yFWCe43l(1) AAS
英語圏の人は漢字圏特有の問題を理解しないからな
637: 2022/12/30(金)00:00 ID:A61NzzNw(1) AAS
使えるパスの長さは AIX や Solaris の方が少し制限が緩いようにも見えるし、文字コードがUTF-8 じゃなかった頃の設計のせいにも見えるね。
外部リンク[9]:www.ibm.com
638
(1): 2022/12/30(金)13:20 ID:9woIQjbF(1) AAS
OpenShift4 のPVはext4だった気がする。間違ってたらスマン。
639
(1): 2022/12/31(土)00:08 ID:FTj3W6ps(1) AAS
>>638
デフォルトはね
設定で変えられる
640: 2022/12/31(土)02:05 ID:xELcB+Gr(1) AAS
linuxの文字数制限が不便でNASを使用しなくなったことがある
641: 2022/12/31(土)12:09 ID:P2xYG+Vx(1) AAS
ファイル名がUTF-16で記録されるexFATだとLinuxでも全角文字255文字フルに使えたからファイルシステムによるんじゃない?
642: 2022/12/31(土)16:44 ID:QpXj8X5v(1) AAS
fusuで実装されてるからでは?
643: 2023/01/03(火)22:18 ID:qEN3cyhG(1) AAS
>>639
なんと。。圧縮したかったのでbtrfsで圧縮出来ればいいなと思ってた。
RedHatだから無理かな。。
644: 2023/01/03(火)22:25 ID:wEpuZtJW(1) AAS
ログを延々と吐き続ける用途にbtrfsは向いてますかね?
CoWが邪魔したりしませんか?
645: 2023/01/04(水)12:49 ID:0uCFlsnQ(1) AAS
GpartedでUSBメモリをexFatでフォーマットしている途中で進捗が止まり、そのまま。
USBメモリがどうやら物理的に壊れてしまった。
PCに挿し込んでもそのUSBメモリだけがまったく反応なくなった。
Linuxのインストール途中で失敗しつづけている。

悪いこと続き。Linuxの神様に見放された模様。
646: 2023/01/04(水)12:59 ID:PQqENS/b(1) AAS
邪魔の意味は分からないけど、性能はともかくデータ化けとかの心配は無いのでは?
CoWが提供するのは堅牢性や一貫性確保だと思う。
CoWがダメならzfsにはログ保存できないことになってしまうし。。
647: 2023/01/04(水)13:06 ID:K9sTb1hf(1) AAS
ZFSはブロックレベルの重複排除だからCOWでも問題無いとかの話?
648: 2023/01/04(水)13:10 ID:xX40yDLp(1/2) AAS
ログファイルってコピーして使うか?
普通しないからCoWが邪魔はしないでしょ。
ランダムアクセスするファイルならRAIDで向き不向きあるけど
ファイルシステムで向き不向きはないと思う。
649: 2023/01/04(水)14:17 ID:n7gUnUO1(1) AAS
データベースやVMのディスクイメージみたいな1つのファイルを何度も上書きするパターンはCoWと相性が悪いと聞くな
当該ディレクトリのCoWを無効化すればいいけど、してもI/O性能が上がる程度で有効のままでも別に問題なさそう
650: 2023/01/04(水)23:08 ID:xX40yDLp(2/2) AAS
Btrfs の場合、CoW有効のファイルを書き込んだ後に以前書き込んだ部分を上書き
するとドライブ上ではそのブロックを上書きせずに別ブロックに書き込む動作をする。

「ファイルコピーしたファイルでのみそれが発生する」と思っていたがそれは俺の
勘違いで、実際は全ファイルでそれをやるってことか。

まあでもログファイルはシーケンシャルアクセスだから(ブロック単位の
上書きは発生しないから)CoWが邪魔しないことに変わりはなさそうね。
651: 2023/01/04(水)23:43 ID:FNVxHNKk(1) AAS
ログで質問したものです。
皆さんありがとう!
色んな考察が聞けてためになりますた。
VMはCoW無効にするのが常識とおもってて、
ログとかの追記も関係あるのかと思った次第です。
とりあえず何もチューニングせずに使おうと思います!
652: 2023/01/08(日)00:55 ID:fvHOPfXO(1) AAS
debianのtestingに降りてくるまで一月ほどかかるなぁ
653
(1): 2023/01/12(木)22:26 ID:mpGk/a+b(1) AAS
ext4はシステム向け、xfsは倉庫向けと考えてok?
654: 2023/01/13(金)08:54 ID:7OCE97ZZ(1) AAS
どうしてそう思った?xfsデフォのディストリもあるが
655: 2023/01/13(金)13:01 ID:ZKf8B51+(1) AAS
大きいファイルなら速いけど壊れやすくメモリ食うのがxfs縮小もできない
ext4は逆
656: 2023/01/13(金)23:06 ID:0qCLEX6/(1) AAS
>>653
RHEL9 から dump/restore は OS に添付されなくなった。
何かあっても保守/問合せ対象外。
EPEL として残ってるから完全に対象外というわけではないだろうけど。
その観点でいうと ext4 はコンテナ向け、xfsは物理向け、なのかも?
657: 2023/01/14(土)15:10 ID:iY56yVZu(1) AAS
じゃあbtrfsはなに向け?
てかbtrfsはscrub定期的にしないとダメなの?
658
(1): 2023/01/14(土)15:54 ID:V6u7C4fp(1) AAS
zfs にコンプレックスを感じる人向け、というのは冗談として
ext4 の後継と思っている。
659
(1): 2023/01/14(土)16:53 ID:QwD6oUxh(1) AAS
>>658
やっぱそういう位置づけだよね?
何故かQNAPはbtrfsをディスってるけどw
外部リンク:www.qnap.com
660: 2023/01/14(土)18:20 ID:2OMLCN0j(1) AAS
>>659

BtrfsでNAS作られると(高機能すぎて売りが無くなるので)困るというのが伝わってくるw
661
(1): 2023/01/14(土)21:07 ID:g3eX2Qbu(1) AAS
Linuxのファイルシステムはどれも一長一短で決め手にかける。「用途とか関係ない、これにしておけばまずOK」ってのがない。
ext4は大容量ドライブでfsckが遅く昨今の大容量なディスクドライブに作成するには向かない、
xfsはfsckは大容量ドライブでも問題ないが縮小ができないしメモリも食う、
btrfsはfsck不要、CoWなど「モダンなファイルシステム」とされるが、比較的新しいファイルシステムでやや心配がある、枯れていない、遅い。最近はまともになってきているが。
ZFSはライセンスの問題・・・

一方、選択肢が多いのは良いこととも言える。他のOSだって問題はいろいろあるし、OS、FSともに完全無欠のものはないけどね。
662: 2023/01/14(土)21:16 ID:rbIBgCNH(1) AAS
Debian系はデフォルトext4なのは何でだろ
663
(2): 2023/01/15(日)00:04 ID:Ra9CuA6A(1) AAS
>>661
xfsって壊れやすいって本当?
なんかレガシな感じがして受け付けないんだよね。
そういやreiserfsはタイーホ後からどうなったのかね?
当時は先進的だったけど。
664: 2023/01/15(日)00:57 ID:U8aJCTCE(1) AAS
>>663
reiserfsは非推奨になってて2025年に削除される予定
665: 2023/01/15(日)01:23 ID:jySrgcCZ(1) AAS
ファイルサーバーにZFS使ってるけど安定してる
RAIDZ2組んでて一度HDDが一つ壊れたけど復旧も簡単だった
666: 2023/01/15(日)06:15 ID:q2QeSNOE(1) AAS
ZFSはARCが重いんだよな
LRUよりは効率的だけど計算量が多いわ
667: 2023/01/15(日)08:13 ID:SoJu/Q0J(1) AAS
>>663
xfsはCOW導入で安定性が落ちたという話は聞いた気がするけど、その続報を聞かないな。話題になってないってことは安定したのか、皆避けてるのか
668: 2023/01/15(日)09:47 ID:41MzzQ/0(1) AAS
xfsは近いうちに縮小サポートするつもりがあるらしい
外部リンク:www.phoronix.com
669: 2023/01/25(水)09:13 ID:s6TfkC2/(1) AAS
圧縮ファイルシステムでおすすめを教えて
主にテキストのログをどんどこ吐きたい
670: 2023/01/25(水)11:26 ID:wEwhbV4v(1/2) AAS
btrfsかF2FSかな
ログ出力用途ならF2FSのほうが向いてそう
671: 2023/01/25(水)15:47 ID:EXync9nW(1) AAS
金持ってたらgpfs使いたいんだけどな
安定性は元々HPCやエンタプライズ向けだから折り紙付き
パスは255"文字"だしPOSIXで圧縮・暗号・ネットワーク共有・スナップショット・SSDキャッシュ等々
たいてい何でもあり、重複排除はあるのか知らんが
672: 2023/01/25(水)17:35 ID:wEwhbV4v(2/2) AAS
分散ファイルシステムならcephでよくないか
673: 2023/01/25(水)18:44 ID:YTKQNNVA(1) AAS
完璧ファイルシステムないよな
文房具みたいなもんでやりたいことがいろいろバラバラなんだろうな
674: 2023/01/26(木)18:29 ID:5ioFGUAk(1) AAS
当初から設計にも実装にも問題がなければ個人ユースではbtrfsがさいつよだったんだろうけどな
余りにも不具合が多過ぎた過去があって未だに怖くて使う気にはなれない
675: 2023/01/26(木)21:02 ID:2TRuZoTN(1) AAS
最近は不具合聞かんね
676: 2023/01/27(金)05:54 ID:xQJ6/CVG(1) AAS
btrfsだから不具合の噂が広まるみたいなところもあったと思う
去年か一昨年あたりにLinuxのext4がぶっ壊れてた時期があったけど別に広まってないし
677: 2023/01/27(金)07:51 ID:ZyeIUH9X(1) AAS
ext4とは頻度も不具合の数も全然違ってた
動画かスライドショーか忘れたけど当時のバージョンのbtrfsを意図的に壊す色々な手順を紹介してた
強引にじゃなくって長年使ってればそういうケースもあるだろうって手順だったからな
全員って訳じゃないが当時を知ってる人の多くは使い始めるのに躊躇するんじゃないかね
678: 2023/01/27(金)07:58 ID:7Jsb5HY4(1) AAS
みんなが寄ってたかっていじめ抜いて鍛え上げられたFSとかむしろ信頼できるという発想
679: 2023/01/27(金)10:39 ID:LqrORYKx(1) AAS
Copy-on-write のファイルシステムは、良い面もあるけど想定のパフォーマンス出ない時や、使わない方が良いケースを理解できたのは btrfs のおかげ。
680: 2023/01/27(金)11:47 ID:DOUGg5n2(1) AAS
cgroup v2に対応しているファイルシステムがbtrfsしかないからコンテナを厳密に運用しようとするとbtrfs使うしかないんだよな
Facebookがbtrfsを使ってる理由がこれだったはず
681: 2023/01/27(金)12:48 ID:BloaE25Y(1) AAS
ミラーリング対応してるファイルシステムはZFSとbtrfsくらい?
682: 2023/01/30(月)16:25 ID:Yst6JOSz(1) AAS
btrfsってもしかして面倒くさい?
空き容量少なくなってくるとSSDでもランダム書き込みが遅くなる
ファイル消してもメタデータが容量を食っている

btrfs使うなら定期的にbalanceしないとダメ?

倉庫用HDDなら、
ファイル圧縮
チェックサム
誤操作での削除防止や他ストレージへの差分バックアップにスナップショット

とかでbtrfs特有機能が生きてくる気はする
だがシステムドライブは安心と信頼のext4で良いんじゃないかと
省3
683: 2023/01/30(月)17:58 ID:QsirhNqB(1) AAS
ファイル消して容量減らないのはメタデータなんかじゃなくて以前スナップショット切ったとか、コピー元ファイル残ってるとかだゾ。全く食わんとは言わないけどメタデータそんなに容量食わない。
空き容量減ってランダム遅くなるのはSSDってそういうもんだ。
/homeはスナップショットや圧縮がすげー生きるよ。
684
(1): 2023/01/30(月)21:39 ID:3GnoYZPi(1/2) AAS
仮想ホストとゲスト両方共にbtrfsにしたのは失敗だろうか。。。
685
(1): 2023/01/30(月)22:09 ID:BqpcEk1B(1/2) AAS
btrfs、ファイルを削除してからdfコマンドで見える空き領域が増えるのには少し時間がかかる
長いときでも5分とかだけどね

>>684
その書き方だと仮想マシンのイメージファイルもbtrfsのファイルシステムにあるのか?
仮想マシンのイメージファイルとか、データベースのファイルみたいなファイルをbtrfsに保存するときはCoW無効化しておくほうがよいぞ
686: 2023/01/30(月)22:38 ID:ljXAAj+j(1) AAS
半導体不足で納期が悲惨な頃にNASが壊れて、急場しのぎで作ったbtrfs+snapperが好評過ぎて今までズルズル使われてしまった。壊れるの嫌だから全くイジってなかったけれど、退役後に色々試すの楽しみ。kernel上げだけでも楽しみ
687: 2023/01/30(月)22:59 ID:3GnoYZPi(2/2) AAS
>>685
レスありがとう。
いちおうゲスト格納ディレクトリには
chattr +Cしてるけど、大丈夫かな。
ゲストの中身もbtrfsなんだよな。。。
NASとかでないのでオーバースペックだったかと後悔しそう。
新しいモノ好きだから飛びついてしまったよ。
688
(1): 2023/01/30(月)23:59 ID:BqpcEk1B(2/2) AAS
ファイルを作成したあとにchattr +Cしてもダメやで
正しいやりかたはググって調べてね
689: 2023/01/31(火)00:00 ID:2mO0kE8y(1) AAS
おっと、空ファイルに対するchattr +Cは有効だった。詳細は調べてね
690
(1): 2023/01/31(火)11:32 ID:f+A2MWdo(1) AAS
>>688
作成する前は良いということですね。
ありがとうこざいます。
これってディレクトリに対してのみでファイルには無効でOK?
691
(1): 2023/01/31(火)17:20 ID:HmGFYeTA(1/2) AAS
>>690
ディレクトリに設定したら再帰的に適用される
692
(1): 2023/01/31(火)17:22 ID:HmGFYeTA(2/2) AAS
>>691
間違えた
新しく作るやつは再帰的に適用される
693: 2023/02/01(水)00:54 ID:yopUQd5j(1/2) AAS
>>692
という事は別ディレクトリで作成したqcow2を+Cした
ディレクトリに持って行ってもダメかな?
よーわからん。
1-
あと 309 レスあります
スレ情報 赤レス抽出 画像レス抽出 歴の未読スレ AAサムネイル

ぬこの手 ぬこTOP 0.022s