[過去ﾛｸﾞ]
初心者もOK! FreeBSD質問スレッド その124 (1002ﾚｽ)
初心者もOK! FreeBSD質問スレッド その124 http://mevius.5ch.net/test/read.cgi/unix/1569601015/
上
下
前
次
1-
新
通常表示
512ﾊﾞｲﾄ分割
ﾚｽ栞
このｽﾚｯﾄﾞは過去ﾛｸﾞ倉庫に格納されています｡
次ｽﾚ検索
歴削→次ｽﾚ
栞削→次ｽﾚ
過去ﾛｸﾞﾒﾆｭｰ
849: 名無しさん＠お腹いっぱい。 [sage] 2021/03/15(月) 12:56:04.60 natdはインカーネルじゃ無いので遅い http://mevius.5ch.net/test/read.cgi/unix/1569601015/849
850: 名無しさん＠お腹いっぱい。 [] 2021/03/21(日) 11:04:58.59 ZFS（と関係ないかもしれないけど）について不思議な現象が起きています。 tank というZPOOLに大量のデータ（数百万個，トータル数TB）が入っているとして意図しないデータの改竄や 破壊がないかバッチで以下のような処理をしてチェックしてます。 find /tank -type f | xargs md5 > log.txt 前回実行時とMD5が変わっているファイルがいくつか見つかり，確認のためコマンドラインでそのファイルを md5 XXXXX.dat とやるとMD5は前回と同じでした。再度バッチを実行してみたところ実行の度に結果が変わります。感覚としては 実行の度にMD5変更として誤検知されるファイルの数が増えます。しかし直接手動でmd5コマンドを打つとどの ファイルもMD5変更無し。つまりxargs経由でmd5を実行すると百万個に数個の頻度でMD5が正しく得られません。 （OSのシステムエラーが出ないところが悩ましい） このZPOOLは長らくFreeNAS-11で使っていました。最近Linuxにエクスポートしたところこの現象が発現したため 再度FreeBSDに戻しました。この時一度OpenZFSに読ませたため現在FreeBSD-13-RC3で使っています。Linuxほど ではないですがFreeBSD-13でも時々発生しています。FreeNAS-11では一度も問題は起きていませんでした。 何かチェックすべきところはありますか？個人的にはOpenZFSが怪しい気がします。 http://mevius.5ch.net/test/read.cgi/unix/1569601015/850
851: 名無しさん＠お腹いっぱい。 [sage] 2021/03/21(日) 15:21:11.79 >>850 (find /tank -type f -print0 | sort -Vz | xargs -0 -n1 md5 )> log.txt でやってみては？ http://mevius.5ch.net/test/read.cgi/unix/1569601015/851
852: 名無しさん＠お腹いっぱい。 [sage] 2021/03/21(日) 22:26:12.07 >>850 コマンドに流せる文字数には制限があるからそういう制限無しファイルリストを渡すのは予期しない引数あふれを起こす可能性がある。 それと、ファイル名もディレクトリ名も引数で受け渡すときは空白などトラブルを起こす文字があるパターンがあるので その辺も加味してコマンドを組まないと大体ハマる。 自分は似たようなことをしてハマった。 http://mevius.5ch.net/test/read.cgi/unix/1569601015/852
853: 名無しさん＠お腹いっぱい。 [sage] 2021/03/22(月) 07:14:13.63 xargs使うやつは石器人 文明人ならfind /tank -type f -exec md5 {} + http://mevius.5ch.net/test/read.cgi/unix/1569601015/853
854: 名無しさん＠お腹いっぱい。 [] 2021/03/22(月) 09:41:58.62 OS起動中にpfを初期化したい時って、 # pfctl -F all && pfctl -f /etc/pf.conf ってしますか？みなさん http://mevius.5ch.net/test/read.cgi/unix/1569601015/854
855: 名無しさん＠お腹いっぱい。 [sage] 2021/03/22(月) 11:11:24.40 俺はipfw派なんでよくわからん http://mevius.5ch.net/test/read.cgi/unix/1569601015/855
856: 名無しさん＠お腹いっぱい。 [sage] 2021/03/22(月) 11:50:49.60 service pf restartだな http://mevius.5ch.net/test/read.cgi/unix/1569601015/856
857: 名無しさん＠お腹いっぱい。 [sage] 2021/03/22(月) 12:30:17.12 PFって文字をみるとパイパンファイトクラブを思い出すんだよなぁ http://mevius.5ch.net/test/read.cgi/unix/1569601015/857
858: 854 [] 2021/03/22(月) 12:44:47.70 >>856 その方法でも自分の書いたやり方でもテーブルに突っ込まれたIPアドレスが 消えてないんですよね。 http://mevius.5ch.net/test/read.cgi/unix/1569601015/858
859: 名無しさん＠お腹いっぱい。 [sage] 2021/03/22(月) 12:52:10.17 >>850 を書いた者です。ZFSを疑っていると書きましたが今はxargsが犯人の気がして ます。GNUとBSDでxargsの仕様に違いがあることが分かりました。とは言えどっちを 使うにせよ安全に使えるものとばかり信じていたのでショック。 改めてLinuxとFreeBSDで試したら対象ファイル数が数千程度では問題ないけど 数百万個の場合はLinuxではほぼ100%，最低1箇所は誤検知が発生します。FreeBSDでは 今日は一度も発生しなかった。 私の関わっている仕事ではこれは致命的なんでバグとして直したいがどういう タイミングで発生するのランダム性が強すぎて時間がかかりそうです。 >>850 >>851 レスありがとうございます。ファイル名にスペースがあってトラブルが出るのは うちの会社でもよく起きますがその場合File Not Foundのようなエラーが出るので 少なくとも見落とすことはなく今まで大きな問題にはなってないです。今回のは 標準エラー出力を一切出さず見た目上は成功を返すのにしれっと間違った結果を出力 しているという性質の非常に悪い障害になってます。 >>853 {} + というのは知らなかったので詳しく調べてみます。xargsは，OSの定義する制限 ギリギリを狙うのではなく余裕をもたせるようなオプションがなければ信用できない ので見限ってバッチプログラムを再設計中です。多少遅くなってもPythonとかで 確実なのを作る予定。 http://mevius.5ch.net/test/read.cgi/unix/1569601015/859
860: 名無しさん＠お腹いっぱい。 [sage] 2021/03/22(月) 13:02:40.04 > xargsは，OSの定義する制限 > ギリギリを狙うのではなく余裕をもたせるようなオプションがなければ信用できない > ので え？なんで？ギリギリを狙っても何も問題ないでしょ http://mevius.5ch.net/test/read.cgi/unix/1569601015/860
861: 名無しさん＠お腹いっぱい。 [sage] 2021/03/22(月) 13:05:07.32 なんつーか、だめに決まってるという思い込みと 俺が作ったほうが確実なんだとか思ってるでしょ？ 俺がバグなんてするはずがない。相手はバグをしてるはずだ みたいなさ 実績考えてみたら？お前の実績なんてxargsの歴史に比べたらまったくないよ http://mevius.5ch.net/test/read.cgi/unix/1569601015/861
862: 名無しさん＠お腹いっぱい。 [sage] 2021/03/22(月) 13:14:55.41 つーか読み込むたびにハッシュ値が変わってるなら ハードウェアの故障に決まってんじゃん http://mevius.5ch.net/test/read.cgi/unix/1569601015/862
863: 名無しさん＠お腹いっぱい。 [sage] 2021/03/22(月) 13:18:41.85 俺たまにFreeBSDとLinuxで zpool 使い回してるけど ハード不良以外で該当する様な事例に出くわしたこと無いな http://mevius.5ch.net/test/read.cgi/unix/1569601015/863
864: 名無しさん＠お腹いっぱい。 [sage] 2021/03/22(月) 13:27:49.43 手元で起きている問題だろうから 手元で問題を追い込んでおかないとね。 http://mevius.5ch.net/test/read.cgi/unix/1569601015/864
865: 名無しさん＠お腹いっぱい。 [sage] 2021/03/22(月) 16:26:55.83 シェルの最大ライン長は中々の闇っぽいし、xargs任せにするのが無難な気がするけどな。 それでも信用できないなら-sで制限すればいいし。 安全性にこだわるなら-print0と-0は付けとくのがいいよ。 特に書き込みを伴う操作の時は惨劇が起こりかねない。 ふと思ったがZFSならsnapshot使って効率的にチェックできそうな気がする。 数百万ファイルの全数MD5は実行時間も馬鹿にならないんじゃない？ http://mevius.5ch.net/test/read.cgi/unix/1569601015/865
866: 名無しさん＠お腹いっぱい。 [sage] 2021/03/23(火) 21:58:28.99 $ sudo getconf ARG_MAX $ sudo grep ARG_MAX /usr/include/sys/syslimits.h $ sudo sysctl kern.argmax http://mevius.5ch.net/test/read.cgi/unix/1569601015/866
867: 名無しさん＠お腹いっぱい。 [sage] 2021/03/23(火) 22:08:18.36 sudoつける理由もわからずつけてるやつは初心者だな ああ、初心者OKスレかｗ http://mevius.5ch.net/test/read.cgi/unix/1569601015/867
868: 名無しさん＠お腹いっぱい。 [sage] 2021/03/23(火) 22:09:00.24 あとARG_MAXは最大ライン長さのことではない http://mevius.5ch.net/test/read.cgi/unix/1569601015/868
869: 名無しさん＠お腹いっぱい。 [sage] 2021/03/23(火) 22:09:28.19 厨ニングでもしているのかな。 http://mevius.5ch.net/test/read.cgi/unix/1569601015/869
870: 名無しさん＠お腹いっぱい。 [sage] 2021/03/23(火) 22:42:26.29 須藤さん！出番ですよ!！ http://mevius.5ch.net/test/read.cgi/unix/1569601015/870
871: 名無しさん＠お腹いっぱい。 [sage] 2021/03/24(水) 06:36:14.87 doasインストールしてからsudoはめっきり使わなくなった http://mevius.5ch.net/test/read.cgi/unix/1569601015/871
872: 名無しさん＠お腹いっぱい。 [sage] 2021/03/25(木) 03:25:42.14 >>854 pfctl -d http://mevius.5ch.net/test/read.cgi/unix/1569601015/872
873: 名無しさん＠お腹いっぱい。 [sage] 2021/03/26(金) 10:20:57.57 doasで $ doas cat hoge | less でリダイレクト？できなくて $ doas cat hoge 2>&1 | less して回避できますが これは何を間違ってるんでしょうか？ http://mevius.5ch.net/test/read.cgi/unix/1569601015/873
874: 名無しさん＠お腹いっぱい。 [sage] 2021/03/26(金) 10:58:00.27 https://i.imgur.com/GrWFdOQ.jpg なんだろうね http://mevius.5ch.net/test/read.cgi/unix/1569601015/874
875: 名無しさん＠お腹いっぱい。 [sage] 2021/03/26(金) 11:41:50.92 >>874 doas 付けるの忘れてたわ https://i.imgur.com/JcRtqdr.png http://mevius.5ch.net/test/read.cgi/unix/1569601015/875
876: 名無しさん＠お腹いっぱい。 [sage] 2021/03/29(月) 20:35:58.89 https://imgur.com/a/TFq2mp8 http://mevius.5ch.net/test/read.cgi/unix/1569601015/876
877: 名無しさん＠お腹いっぱい。 [sage] 2021/03/29(月) 20:36:27.96 https://imgur.com/VdPhN0S http://mevius.5ch.net/test/read.cgi/unix/1569601015/877
878: 名無しさん＠お腹いっぱい。 [sage] 2021/03/29(月) 20:36:50.01 https://i.imgur.com/VdPhN0S.png http://mevius.5ch.net/test/read.cgi/unix/1569601015/878
ﾒﾓ帳
(0/65535文字)
上
下
前
次
1-
新
書
関
写
板
覧
索
設
栞
歴
あと 124 ﾚｽあります
ｽﾚ情報
赤ﾚｽ抽出
画像ﾚｽ抽出
歴の未読ｽﾚ
Google検索
Wikipedia
ぬこの手
ぬこTOP
0.018s