OpenSolaris/Illumos (OpenIndiana, etc.) 6 (768ﾚｽ)
上下前次1-新
476: 2013/10/04(金)19:52 AAS
つまんね。
477: 2013/10/05(土)21:05 AAS
>>467
スナップショットがこけててもバックアップがあるんだから問題ないだろ。
2TBの書き戻しは気が変になりそうだろうが、がんばれ/
478: [sage kani?] 2013/10/06(日)15:15 AAS
>>471
展開前のブツをDLしてきたとか手持ちであるならそこから進めるだけじゃん？ｗ
つーかその資料とやらを作ったヤシに聞けよ
479(1): 2013/11/03(日)12:20 AAS
CIFSストレージとして使ってますが、ストレージ空き容量が減ってくると
加速度的に読み書きが遅くなりますね
480: 2013/11/03(日)14:12 AAS
>>479
ZFSの事か？
ま、公式にも使用量は80%以下で使えと言われているし、
CoWの仕組み上、空き容量が減ってくると遅くなるのは、
しようが無い事ではある。
DISK数が少ないと、なおさら効いてくるかもな。
481: 2013/11/03(日)15:14 AAS
そこでZILとL2ARCをSSDで、ですよ奥さん！
482(1): 2013/12/06(金)22:56 AAS
dedup=onでrecordsize=4kとかにするとファイル書き込んだときにwriteが増えて異常に遅くなるんだがこれなんだろ?
recordsize弄らなければ急に遅くはならないし、read増えてないのでDDTに書きに行ってるとかか??
recordsize大きいとデータに埋もれて見えないだけとかいうオチか? dedup率優先なpoolにしようかと思ったが遅すぎる
実験方法:
vmに16〜32GB程度メモリ割り当て。zpool create ; zfs create ; zfs set dedup=on, compress=on, sync=disabled
cp dummy_5GB.bin hoge
zfs set recordsize=4k
省1
483: 2013/12/07(土)07:48 AAS
>>482
外部ﾘﾝｸ:blogs.oracle.com
Other consideration (metadata overhead, caching) dictates however that the recordsize not be reduced below a certain point (16K to 64K; do send-in your experience).
484: 2013/12/07(土)19:19 AAS
今回のはdedupが支配要因に見えるしここまで遅いとそういう話ではないような気も。
ひとまず32kでやってみるけど。
ddtとかのメタデータって2〜3重化されてるんだっけ？ 実験的にOFFにできるのかな。
実験先のドライブが1LUNなのが問題な気がしてきた。
485(1): 2013/12/08(日)08:34 AAS
2重化されてる。
ZAPはrecordsize単位で作られるのだから128K→4Kでは32倍にもなる。
486(1): 2013/12/08(日)09:08 AAS
ところで、本番で想定しているプールサイズで、メモリ消費量予想してみました?
外部ﾘﾝｸ[html]:www.c0t0d0s0.org
RAM 32GB→ARC 24GB→metadata 6GB→...
recorsize=4KBだと、プール1TBで DDT 3GBくらいとか?
dedupでストレージを節約しようとしても、代償に必要とされる
メモリが高コストにつくと、あまり意味ないのでは。
487: 2013/12/09(月)19:54 AAS
>>485が書いてくれてるとおりrecordsizeの減少はmetadataの急激な増大を生むので単にそれが原因ぽい
特に1ドライブ上で実験してしまうと離れた位置に2重化して書き込もうとするので猛烈なrandom writeに。
(割とマシなSANでもRAID6 1LUNマウントでは追いつかなかった)
物理ドライブを8本にしてみたら極端な遅さにはならなくなった(1〜2本が酷いだけで4本程度あれば十分かもしれない)が
write総量がかなり増えることには違いないので相性の良いハードで無い限りrecordsize=4kはしんどそう
格納するデータが2k〜4kブロックでないと重複排除が効きづらいものだとzfsの使用は悩ましいことになる
recordsize=128kでの重複排除率が低すぎる場合はserver2012あたりに浮気した方がいいのかもしれない
省3
488: 2013/12/14(土)09:43 AAS
Dedupの効率？みたいな物の比較ってある？
確かにZFSでDedupしても予想の半分程度しか減らないことがある
Compressと併用すると効率が悪くなったりしないよね
489: 2013/12/14(土)17:36 AAS
dedupは思ったほど効果なかったなぁ
そのデメリットがあまりにひどすぎて使うのやめたが
gzip圧縮の方がかなり効く
そもそもdedupがそんなに必要となる状況ってどんなのがあるんだろう？
バックアップで各世代をそのまま保存しつつ、変更がないから同じファイルが
いくつも存在するといった場合なら、そもそもsnapshotバックアップでいいし
490(1): 2013/12/14(土)20:40 AAS
仮想マシンのイメージファイル置き場がメジャーじゃね
ひな形vmをコピーする際にzfs cloneすればいいんだが、実際は丸コピした方が楽な場合が多くw
(ファイル単位でclone出来るようにはならんのか?)
491: 2013/12/14(土)20:50 AAS
マジレスすると、メールアーカイブで添付ファイルとかに効くと思う
492: 2013/12/14(土)22:28 AAS
添付ファイル単位で単離されてるならそりゃ効くだろうけども
メル鯖によってはbase64encされた状態でtextの間に挟まってないかそれ? dedup効くのかね
493: 2013/12/14(土)22:42 AAS
>>490
cloneはファイルシステムを分けて使う場合は便利だけど、
逆にそれが不便になる場合もあるからねぇ
さくらでZFSストレージをVPSのファイルサーバに使って大失敗してたけど
あれどんなシステムでどんな失敗だったんだろうな
494: 2013/12/14(土)23:55 AAS
上で上がってたような特定用途の領域を必要なだけFSとして切り出してdedupかけるのが
（メモリ的にも現実的な）本来の用途なわけで、数TB、数十TBのプール全体にdedupかけて、なんてのはアホの極みでしかないな。
1GBくらいのディスクイメージcpして使用領域増えてないわーい、みたいなブログ記事たまに見るけどそんなこと言ってもねぇ・・・
495: 2013/12/15(日)01:01 AAS
さくらの場合はnfsで使っていて1000台ぐらいで性能が頭打ちに
なったとかどっかで見た気がする。
そもそもnfsを使うのが筋が悪かった。
496: 2013/12/15(日)01:33 AAS
特定用途のvm置き場にdedupかけたけど効果はさっぱりだったな。ブロックサイズ固定まではしてみなかったが
さくらはzfsでdedupかけてたのかな？
どちらにせよzfs自体が大規模トラフィックに向いてない気がするな。nfsは構造上小規模向けだろうに
GlusterFSやらの分散型でスケールアウト狙った方が
497: 2013/12/15(日)01:38 AAS
NFSはそもそも共有して意味があるんであって
クライアントが別々にのファイルにアクセスするなら
NFSする意味がないからな
iSCSIの方が良かったんじゃないのかと
cloneで同じ設定のVMを作り出すのは便利だからそこだけうまくやってればねぇ
498: 2013/12/15(日)09:54 AAS
共有してるからvMotionできる
iSCSIよりずっと手軽で管理しやすい
499: 2013/12/15(日)10:44 AAS
それは微妙にzfsとは違う方向から異論が出そうだが、
iscsiの使い勝手が悪い件については賛成。
そりゃnfsでファイル見えてりゃ規模が大きくなればなるほど管理が圧倒的に楽になる。
ただzfsでサブディレクトリ作ってもクライアントから追加でマウントしないと共有が見えない。
Linuxのnfsdで出来てるんだから何とかしろよ絶対便利だろそれorz
500: 2013/12/15(日)11:04 AAS
サブディレクトリ？？？
501: 2013/12/15(日)17:33 AAS
ファイルシステムのことかな？
そりゃ別だからmountしないと見えない
502(3): 2013/12/15(日)20:47 AAS
ああ、zfs createで作られるマウントポイントってなんつーの？
zfs create pool/zfs1
zfs create pool/zfs1/zfs2
zfs create pool/zfs1/zfs2/zfs3
みたく階層化たりとか。
Linux系はpool/zfs1をnfs共有しとくとその下に増やしても自動で見えるイメージ
inodeとか誤魔化せば出来るんじゃねーかやってくれよっていう
503: 2013/12/15(日)22:41 AAS
>>502
ふっ、貴様はまだbtrfsを知らないようだな・・・
504(1): 2013/12/15(日)22:48 AAS
>>502
ZFS用語的にはtype=fliesystemかな？ datasetでもいいか
ハードリンクできないから下手なことしたら混乱しそうだけどな
505: 2013/12/16(月)00:20 AAS
階層化たり？？？
506(1): 2013/12/16(月)00:29 AAS
btrfsってこれのことですかーっ >_<
外部ﾘﾝｸ:togetter.com
>>504
おお、あれfilesystemっていうのか。>>502みたく階層化して使う場合ってどう表現すればいいんだろ
「filesystemの中にfilesystemをマウントする」とかか。これだと通じるかどうか微妙なラインだが
507(1): 2013/12/16(月)00:34 AAS
>>506
filesytem単位にmountpointは設定できるからなぁ
defaultでは自動でそのまま階層化されるけどね
508(1): 2013/12/16(月)15:28 AAS
ZFSの階層構造はプロパティとかの管理上便利ってだけでファイルシステムとしては独立してるんだから
運用上はext4とかの領域作りまくって色んなフォルダにマウントしてるのと変わらん。
>>507の言うようにdefaultだとZFS上の階層構造そのままの位置にマウントするからフォルダ的に扱える気がするだけだな。
dedupを実際に活用できてる現場ってどれくらいあるのかね？
それなりに大きいストレージだと個人レベルじゃ用意できない量のメモリを必要とするし、
それだけのメモリを用意できるストレージだとストレージ自体ももっと大規模で結局メモリ足りないんじゃ？と思ってしまう。
メモリー積んでdedupかけるより、dedupで削減できる容量分のHDD追加した方がコスト的にマシなケースしか浮かんでこない。
509(1): 2013/12/16(月)16:13 AAS
zfs on Linuxの環境だが既存fsの下層に新規fs作ったらESXi側から見えたよ
エクスポートの設定の問題か
そしてアンマウントできなくなっちまったが
510: 2013/12/16(月)16:59 AAS
>>509 499あたりが書いてるが
Linuxでは可能. vm単位でfs作ってcloneしたら即アクセスできる
Solarisではfs作る度にクライアント側でマウントしないと使えない
511: 2013/12/16(月)17:28 AAS
誠に失礼した
512: 2013/12/16(月)23:26 AAS
NFSv4 mirror mount ってのがあるんですって。
外部ﾘﾝｸ[html]:docs.oracle.com
図は
Oracle Solaris 11 ZFSを使ってみよう（概要・設計ガイド） - 富士通
外部ﾘﾝｸ[pdf]:jp.fujitsu.com
のページ40に。この、富士通のzfs文書シリーズ、良いですね。
513: 2013/12/17(火)00:28 AAS
ESXiは5.5になってもNFSv4はまだ使えないですかそうですか
514: 2013/12/17(火)13:19 AAS
zfs on linux以外は糞ということですねそうですね
515(2): 2013/12/17(火)15:09 AAS
ZFS使おうとして Linux選ぶやつなんか、いるの?
516: 2013/12/17(火)21:36 AAS
>>508
Linux LVM的に言えば
ZPOOL=VG
ZFS filesystem=LV
みたいなもんだからな
別々のLVだからmountも別
NFSクライアント側でハードリンクしたらどうなるかちょっと気になってきた
517(2): 2013/12/21(土)16:56 AAS
>>515
そらzfs on Linuxが安定したら乗り換える人多いだろうよ
518: 2013/12/21(土)21:18 AAS
ZFS使うためだけにOpenIndianaやFreeBSD選んでる人が結構いそうだからな。
元々がLinux使いならそりゃZFSもLinuxで使えた方が嬉しいだろう。
このスレも9割くらいZFSスレになってるけど、Solaris系で使ってる人半分もいなかったりしてｗ
519: 2013/12/21(土)23:22 AAS
Linuxが使いやすいとは全く思わないが、使えるデバイスの多さ（ドライバの充実度）が
半端ないからなぁ
520: 2013/12/22(日)00:28 AAS
数は力だよ、アニキ。
521(1): 2013/12/22(日)10:46 AAS
>>517
すでにかなり安定してるし、0.6.1以降は安定版扱いだよ
522: 2013/12/22(日)11:45 AAS
自称安定版か。
これまでどれほど自称に騙されてきた事か・・・
もう誰も信じない、俺が信じるのはサポート契約だけだ！(死亡フラグ)。
523(2): 2013/12/23(月)00:03 AAS
Btrfsは非常に安定した安心なファイルシステムです
524(2): 2013/12/23(月)01:23 AAS
>>523
たしかに、いつまで経ってもちゃんとしたものが出てこないという
意味では安定しまくっている。
ってか、raid5/6程度の実装に何年かかってるんだろうね。
zfsが発表の翌年にはほぼ実用になってたのが異常に早いのかも知れないが。
525: 2013/12/23(月)03:16 AAS
ZFSはオーパーツだからしょうがない。
526: 2013/12/24(火)21:11 AAS
>>524
>>523はレス内容そのままのネタツイートが由来だぞｗ
ググると安定・安心っぷりがわかる
527: 2013/12/24(火)21:25 AAS
外部ﾘﾝｸ:togetter.com
これか。
こんなネタ知らんわ。
528(1): 2013/12/26(木)21:15 AAS
>>517
安定しそうにもないから >515 なんだが..w
＃ Linuxに ZFSを安定に稼働させられるわけがない、という..
>>521
そんなバカなww
>>524
深い泥田に柱は、結局立たないんだよ。
省3
529: 2013/12/26(木)21:23 AAS
>>528
>そんなバカなｗｗ
外部ﾘﾝｸ:groups.google.com
>Today the ZFS on Linux project reached an important milestone with the official 0.6.1 release!
>Over two years of use by real users has convinced us ZoL is ready for wide scale deployment
>on everything from desktops to super computers.
530: 2013/12/27(金)02:54 AAS
nfsの利便性とドライバ充実度のメリットがでかいなぁ
531: 2013/12/27(金)04:47 AAS
LinuxのNFSは正直あまり使いたくない
532(1): 2013/12/27(金)08:52 AAS
NFSv4はFreeBSDの方が結構バギーだったんじゃない? 今は知らないけど。
あと2000年代前半でzero copy化されてパフォーマンスはその時
かなり上がったよ。
533: 2013/12/28(土)13:46 AAS
本家Solarisでさえ、デフォルトのファイルシステムに採用するのに5年以上かかったのに。
534: 2013/12/29(日)15:42 AAS
>>532
NFSの版とか zero copy入ってるかどうかとかそんな次元の話してるようじゃ
どーしよーもなくてさww
535(1): 2014/01/23(木)22:02 AAS
ZFSの質問です
2TBのmirrorのpoolにファイルシステムを置いてますが、これが残り23GBくらいになったところで
急激に遅くなってきました
ハード的に強化するとしたら、メモリ？HDD追加？
どちらでしょうか
536: 2014/01/23(木)22:34 AAS
>>535
ZFSは使用量80%未満で使う事が、大前提。これは、メーカーも言っていること。
ZFSはpoolの空き容量が20%切ったところで、遅くなり出す。
10%切ったら、遅くなるだけじゃなく、色々弊害出だして、危機的状況。
大至急HDDの追加、現状poolからのデータ退避をすすめる。
537: 2014/01/23(木)22:53 AAS
今のmirror vdev1つなプールにもう1セットmirrorを追加すれば。
急場はしのげそうですね。
使用量・負荷の均衡が取れるのははるか先でしょうから、
少しずつでも、外へ退避してから書き戻し、していくといいと思います。
538: 2014/01/24(金)01:19 AAS
外部ﾘﾝｸ[html]:ftp-admin.blogspot.jp
ftp-adminの人も同じこと書いてるね．
539: 2014/01/24(金)19:06 AAS
空き容量が残り20%を切ったら、コピーオンライトというのを切ればいいのか
ふむふむ...
540: 2014/01/24(金)21:20 AAS
ｱｯ
541: 2014/01/25(土)18:22 AAS
それを すてるなんてとんでもない！
542(1): 2014/01/26(日)08:00 AAS
スレ違いだったら申し訳ありません
今までSolarisをまともに使ったことがないので
一から勉強したいのですが、そういった目的の場合
SolarisとOpenSolarisはどちらが向いているでしようか
他OSの経験は公私双方でWindows、RHELあたりを
主に扱ったことがあります
543: 2014/01/26(日)09:22 AAS
犬厨ってのは、なんでクソつまらんコピペをばらまこうとか思えるんだろう？
とっとと精神科なりに入院すればいいのに
544: 2014/01/26(日)10:21 AAS
>>542
コピペ改変
2chｽﾚ:unix
545(1): 2014/01/26(日)15:06 AAS
ダミーの dataset 作って、そこに reservation でも設定すれば
空き容量食い尽くすってのは未然に防げるのかな。
546(1): 2014/01/26(日)15:38 AAS
親FS(pool直下、同名)にrefreservation
547: 2014/01/26(日)19:49 AAS
空き容量なくなってきたら古いsnapshot消して凌いでたわ
548(1): 2014/01/26(日)21:40 AAS
1分毎のホームディレクトリスナップショットで、
ゴミ箱要らず
気兼ねなくrmできるようになりました...となるのかな？
549: 2014/01/26(日)22:17 AAS
timesliderが15分毎にスナップショット取ってくれるので
時には助かるけど、ゴミ箱も手に入るなら欲しい。
ZFSのsharesmbには無いから、Sambaに浮気したり。
550: 2014/01/27(月)16:16 AAS
>>548
rm対策より上書き対策で助かるけどね
551: 2014/01/27(月)21:45 AAS
zfsにnfsやsmbや統合されてるのはいいんだけど他のと併用する場合にどの程度競合するのか分からなくて怖い
sambaやglusterfsなんかで別途shareした場合安定動作するのか?というのが怖くてzfs内蔵のを使い続けてる
552: 2014/01/27(月)23:14 AAS
同じポート使うから、sambaと共存は無理じゃないの？
553: 2014/01/30(木)19:26 AAS
nfsはOKということ??
554: 2014/01/30(木)19:55 AAS
レイヤー違うもんをごちゃ混ぜに考えてんのか？
何が分からんのかが、分からん
555(1): 2014/01/30(木)21:15 AAS
今ふと思ったんだけど、raidzでzvol作って、そこで、FAT32やext2みたいな軽量なファイルシステム置けば、
信頼性と高速性を両立できるんじゃないかな？
556: 2014/01/30(木)21:21 AAS
物理的な障害はともかく、ファイルシステムぶっ壊れるのに変わりない気がするがな
上下前次1-新書関写板覧索設栞歴
あと 212 ﾚｽあります
ｽﾚ情報 赤ﾚｽ抽出 画像ﾚｽ抽出 歴の未読ｽﾚ AAｻﾑﾈｲﾙ
ぬこの手 ぬこTOP 0.020s