OpenSolaris/Illumos (OpenIndiana, etc.) 6 (768ﾚｽ)
上下前次1-新
459(1): 2013/09/23(月)18:39 AAS
>>454
v29以降の機能が入ってるのがOracle、feature flags以降の機能が入ってるのがillumos系
あと個人的には5wayミラーの理由が気になる・・・そんな凄いデータなのか
そこまで行くとミラー数増やすより停電・天災等々で物理的に全HDD逝ってしまうリスクに対処する方がいい気がしてしまうけど。
>>456
需要の多くがZFSで、そのZFSもFreeBSD/Linux移植の完成度が上がれば上がるほどそっちに流れるからなぁ。
460(3): 454 2013/09/23(月)20:29 AAS
レスありがとうございます
長文失礼します
>>455
１・・・こだわらなければOpenSolaris系で良さそうですね
２・・・NASとしての性能面ではSolaris系の方が有利ですか
軽く探して見た感じだとSolaris系の場合は対応したSATA HBA(PCI-Express)カードが
なかなか見つから無いように思います
３・・・すみません。自分もWindows8のストレージプールについては良く理解できていません
ストレージを仮想化して、スケーラビリティ、復元性、効率性を高める - Building Windows 8 - Site Home - MSDN Blogs
外部ﾘﾝｸ[aspx]:blogs.msdn.com
2ウェイミラーと3ウェイミラーが使用可能のようですが、3ウェイミラーは
・パリティではなくミラーを複数台のドライブに分散して記録する
・2台以上死んでもサービスを継続できる
っぽいです。具体的な原理は自分も良く理解できていません
このミラー数を5くらいに増やせれば4台死んでもサービスの継続が可能なのでは？と思いました
パリティを用いないのでRAID-ZやRAID-Z2よりパフォーマンス面で有利のような気もします
Windows8による構築も検討して調べてみているのですが、縮退モードからドライブ交換無しでリビルドできたり
プールからドライブの削除が出来たり、SATAカードが選び放題だったりと、Solaris(or FreeBSD)+ZFSより
優れる面もあるのですが、実績がほとんど無いこととWindowsだと言うことで不安があります
>>459
現在16台構成(内2〜4台はリザーブ)でNASの構築を検討しているのですが
HBAやドライブ電源の障害でNAS丸ごとクラッシュという事態は避けたいです(単一障害点の削減)
RAID-Z2や3ウェイミラーの場合は2台の死亡までしか許容できないのでHBAと電源を
8台用意する必要があり、流石に現実的ではありません
現実的には
4台死亡を許容(5ウェイパリティ、RAID-Zしたセットをプールに追加)してHBAと電源を4台用意するか
8台死亡を許容(RAID10。ミラーしたセットをプールに追加)してHBAと電源を2台用意する
あたりが落としどころかなと思っています
461: 2013/09/23(月)21:16 AAS
> Solaris系の場合は対応したSATA HBA(PCI-Express)カードがなかなか見つから無いように思います
ま、思うのは勝手だけどな。普通LSI買うだろ
> このミラー数を5くらいに増やせれば4台死んでもサービスの継続が可能なのでは？と思いました
別に何面ミラーでも作れると思うけどな＞ZFS
> パリティを用いないのでRAID-ZやRAID-Z2よりパフォーマンス面で有利のような気もします
パフォーマンスは知らんけど、容量は不利だろうな
> 縮退モードからドライブ交換無しでリビルドできたりプールからドライブの削除が出来たり
ミラー構成なら何でも出来るだろ＞ZFS
> 現在16台構成(内2〜4台はリザーブ)でNASの構築を検討しているのですが
以下意味不明につきレスは避ける
取り敢えず、１台のマシンをNASにするなら、その１台が単一障害点とやらになるだろ
462: 2013/09/23(月)21:47 AAS
>>460
外部ﾘﾝｸ:wiki.openindiana.org
Adaotec/Highpoint/LSIと主だったところは大体対応してるけどな
(Highpoint対応されたのは確かに比較的最近だが)
463(1): 2013/09/23(月)21:53 AAS
てゆーかそこまで耐久性とかこだわるんならSAS使うべ？それならWindowsのみなんてカードほとんど無いと思うけど？
464: 2013/09/23(月)22:13 AAS
なんつーか、素直にNetAppでも買っとけって話じゃね？
465: 2013/09/23(月)22:14 AAS
要件定義に失敗してるよーな
466: 2013/09/23(月)22:23 AAS
Win8のn方向ミラーは「データをアレイ中の任意のn台に書く」ってだけだよね。そんな難しい原理ではなかった気が。
何重ミラーにしようと1つのマシン上でやる以上はrm -rf /には勝てないんだから、
別マシンを用意してzfs send/recvする方が良いとは思うんだけどね。
数TBのバックアップストレージを予算的に用意できないからやむを得ずRAIDによるデータ保護に期待する、
ならともかく5wayミラー想定するほどHDDに余裕あるなら、自分だったら8台でRAID-Z2組んだマシンを2台用意する。
データ保護より何より高可用性が大事なんだとしても、HBAなり電源が逝ったみたいな事態だと結局マシンは止めなきゃいかんのだし。
467(2): 2013/09/24(火)08:16 AAS
snapshotスクリプトがコケててsnapshotが取れてなかったDatasetが
アプリのバグでファイルの半数以上がrmされたorz
（朝五時に電話かかってきて「ファイル消えてんぞぐるぁ」と来た）
zdbでブロックが残ってるのは確認したが、約2T/20万objectの羅列を眺めて１５分ほど固まった
そんな俺に誰か一言
468: [sage kani?] 2013/09/24(火)10:37 AAS
バックアップって大事だね
469: 2013/09/24(火)10:51 AAS
snapshotでniceshot！
470: 2013/09/24(火)15:14 AAS
>>460
後半何言ってるのかわかりません
>>467
zdb叩く前にとっととバックアップからリストアしろ
471(1): 2013/10/02(水)22:09 AAS
仮想マシン上のOpenSolarisにApacheとPHPをインストールしなければならないのですが、
手元の資料にはどちらも解凍・展開からの手順しか書いておらず進められずにいます
解凍・展開前に必要な準備等がありましたら教えて頂けないでしょうか
472: 2013/10/02(水)23:22 AAS
まず服を脱ぎます。
473: 2013/10/02(水)23:24 AAS
まず服を脱ぎます
474: 2013/10/03(木)08:39 AAS
PHP出版に勤めます
475: 2013/10/04(金)19:51 AAS
PHP出版を辞めましたエントリを書きます
476: 2013/10/04(金)19:52 AAS
つまんね。
477: 2013/10/05(土)21:05 AAS
>>467
スナップショットがこけててもバックアップがあるんだから問題ないだろ。
2TBの書き戻しは気が変になりそうだろうが、がんばれ/
478: [sage kani?] 2013/10/06(日)15:15 AAS
>>471
展開前のブツをDLしてきたとか手持ちであるならそこから進めるだけじゃん？ｗ
つーかその資料とやらを作ったヤシに聞けよ
479(1): 2013/11/03(日)12:20 AAS
CIFSストレージとして使ってますが、ストレージ空き容量が減ってくると
加速度的に読み書きが遅くなりますね
480: 2013/11/03(日)14:12 AAS
>>479
ZFSの事か？
ま、公式にも使用量は80%以下で使えと言われているし、
CoWの仕組み上、空き容量が減ってくると遅くなるのは、
しようが無い事ではある。
DISK数が少ないと、なおさら効いてくるかもな。
481: 2013/11/03(日)15:14 AAS
そこでZILとL2ARCをSSDで、ですよ奥さん！
482(1): 2013/12/06(金)22:56 AAS
dedup=onでrecordsize=4kとかにするとファイル書き込んだときにwriteが増えて異常に遅くなるんだがこれなんだろ?
recordsize弄らなければ急に遅くはならないし、read増えてないのでDDTに書きに行ってるとかか??
recordsize大きいとデータに埋もれて見えないだけとかいうオチか? dedup率優先なpoolにしようかと思ったが遅すぎる
実験方法:
vmに16〜32GB程度メモリ割り当て。zpool create ; zfs create ; zfs set dedup=on, compress=on, sync=disabled
cp dummy_5GB.bin hoge
zfs set recordsize=4k
cp dummy_5GB.bin hoge
483: 2013/12/07(土)07:48 AAS
>>482
外部ﾘﾝｸ:blogs.oracle.com
Other consideration (metadata overhead, caching) dictates however that the recordsize not be reduced below a certain point (16K to 64K; do send-in your experience).
484: 2013/12/07(土)19:19 AAS
今回のはdedupが支配要因に見えるしここまで遅いとそういう話ではないような気も。
ひとまず32kでやってみるけど。
ddtとかのメタデータって2〜3重化されてるんだっけ？ 実験的にOFFにできるのかな。
実験先のドライブが1LUNなのが問題な気がしてきた。
485(1): 2013/12/08(日)08:34 AAS
2重化されてる。
ZAPはrecordsize単位で作られるのだから128K→4Kでは32倍にもなる。
486(1): 2013/12/08(日)09:08 AAS
ところで、本番で想定しているプールサイズで、メモリ消費量予想してみました?
外部ﾘﾝｸ[html]:www.c0t0d0s0.org
RAM 32GB→ARC 24GB→metadata 6GB→...
recorsize=4KBだと、プール1TBで DDT 3GBくらいとか?
dedupでストレージを節約しようとしても、代償に必要とされる
メモリが高コストにつくと、あまり意味ないのでは。
487: 2013/12/09(月)19:54 AAS
>>485が書いてくれてるとおりrecordsizeの減少はmetadataの急激な増大を生むので単にそれが原因ぽい
特に1ドライブ上で実験してしまうと離れた位置に2重化して書き込もうとするので猛烈なrandom writeに。
(割とマシなSANでもRAID6 1LUNマウントでは追いつかなかった)
物理ドライブを8本にしてみたら極端な遅さにはならなくなった(1〜2本が酷いだけで4本程度あれば十分かもしれない)が
write総量がかなり増えることには違いないので相性の良いハードで無い限りrecordsize=4kはしんどそう
格納するデータが2k〜4kブロックでないと重複排除が効きづらいものだとzfsの使用は悩ましいことになる
recordsize=128kでの重複排除率が低すぎる場合はserver2012あたりに浮気した方がいいのかもしれない
>>486
メモリ64のマシンが余ったので仮想で半分割り当ててみたんだがarc_meta_limit上げれば割と収まるんじゃないかなー
若しくはARCは16程度でL2に64くらいとか(計算してないけど)
488: 2013/12/14(土)09:43 AAS
Dedupの効率？みたいな物の比較ってある？
確かにZFSでDedupしても予想の半分程度しか減らないことがある
Compressと併用すると効率が悪くなったりしないよね
上下前次1-新書関写板覧索設栞歴
あと 280 ﾚｽあります
ｽﾚ情報 赤ﾚｽ抽出 画像ﾚｽ抽出 歴の未読ｽﾚ
ぬこの手 ぬこTOP 0.011s