【KVS】 Key-Value Storeを勉強するスレ (150ﾚｽ)
上下前次1-新
101: 2012/02/27(月)14:01 ID:??? AAS
Hadoopが対象とするデータの想定はテラバイトやエクサバイトといったビッグデータだからデーRDBのI/O性能ではボトルネックになってしまうと思われます．
102(1): 2012/02/28(火)01:08 ID:??? AAS
データの一貫性少し犠牲にしても処理速度を→KVS
DBのでっかいダンプファイルから統計とったりしたい→Hadoop
大雑把に言うとこんな感じでしょ
103: 93 2012/02/28(火)11:25 ID:??? AAS
なるほど、なるほど。
「ビッグデータでもI/O性能ＯＫ」、かつ、「データを分散して持てる」（←あってますよね？）、
といったものでないと、Hadoopがマトモに動かないってことですよね？
次はなぜKVSではＯＫなのか（データが分散してるから、ビッグデータでもI/O性能ＯＫ？）なのかを考えてみまつ。
（教えて下さる方があるなら、このスレに書いて頂ければ、全部読んでます）
104: 93 2012/02/28(火)11:28 ID:??? AAS
あれ？ >>102
>データの一貫性少し犠牲にしても処理速度を→KVS
>DBのでっかいダンプファイルから統計とったりしたい→Hadoop
KVS単体 VS Hadoop単体、ですか？
105: 2012/02/28(火)13:06 ID:??? AAS
Hadoopとkvsは対になるのではないはず。
106: 93 2012/02/28(火)13:16 ID:??? AAS
再度、あれ？
http://d.hatena.ne.jp/okachimachiorz/20110619/1308490440
＞基本的に単純に分散KVSを使いたいならHbaseにこだわる必要はない。
hBase＝KVSだと思っていたのだが、違うのか。。。
色々読んでみると、KVSという一般的なデザインがあって、
Hadoop用データストアってのがhBaseで、それはKVSより機能が多い、
って感じ？
107: 2012/02/28(火)14:21 ID:??? AAS
KVSはカラムがKeyとValueしか定義されていない単純なデータ構造で代表的なものが
CassandraやHbase。
HadoopにデータストアとしてHbaseしか利用できないことではありません。
108: 93 2012/02/28(火)15:36 ID:??? AAS
なるほど。
Hbase (- KVS //HbaseはKVSの集合に含まれる
Hadoopのデータストアは、データ分散ＯＫ、ビッグデータでもI/O性能ＯＫ、が好ましい。
→RDBよりもKVS、その中でもhBaseが妥当じぇね？
ってことですね。
109: 2012/08/04(土)22:22 ID:hNSFSVJW(1) AAS
LDAPスレはここにないよね？
あのクエリ言語はそれなりに面白いので、うまくバックエンドとして活用できれば嬉しいのだけど
110: 2012/08/07(火)17:47 ID:lgaLRZBM(1) AAS
実際に欲しいのはシンプルなBTreeデータベースなのに、うまくスケールする実装がないから
仕方なしにRDBMSを使っているってシーンが色々ありまして。。
111: 2012/08/16(木)09:14 ID:??? AAS
googleも最初はそうだったよね。
112: 2012/09/03(月)20:06 ID:ojogcPbp(1) AAS
Cassandraは、海外ではTwitterなど大規模なサイトでの導入事例
がたくさんあるようだけど、国内ではほとんど聞かない。
日本の大規模サイトで、Cassandra使ってるところってあるかな？
Cassandra、Write性能もスケールするっていうのは魅力的だな・・
RDBMSだとMasterがボトルネックになるのは不可避だろうし、かといって
Shardingをやるとアプリ側の作りこみがめんどうになる。
>>1
NoSQLのスレのが良かったんでは？
113(2): 2012/09/30(日)20:51 ID:lf9RHx2G(1) AAS
>>41
Cassandraは牛刀すぎて、それ相応の規模を持ち合わせていないとなぁ。。
でもエンタープライズ市場やデータウェアハウス市場という実業分野では、素直にカネ払ってOracle導入するし
KVSは、多量のデータを扱う必要があるけどあまりカネ使えないっすー、というネトゲみたいな
虚業分野での導入実績が多いかんじ
114: 2012/10/02(火)08:19 ID:??? AAS
>>113
まったく的外れだな
いまどきエンタープライズ＝Oracleなんて認識は時代遅れすぎる。
FacebookもDeNAも金持ってるがMySQLやNoSQLを使っている。
FacebookやAmazonは自社でNoSQLの開発もやっている
NoSQLとRDBの違いは予算ではない。
それぞれの長所、短所がある
NoSQLはビッグデータを扱える。
運用の負担が少なく、数百台のサーバーにスケールアウトできる
シンプルなデータモデルのためRDBでは実現できないようなパフォーマンスも叩き出せる。
115: 2012/10/02(火)20:06 ID:??? AAS
エンタープライズ＝Facebook、DeNA、Amazon
って感覚にも問題ある
どこの企業もWebサービスが生命線ってわけじゃないし
116: 2012/10/02(火)23:49 ID:??? AAS
>>113
ビッグデーター関連の技術の活用や研究をしていてしかも金があるところ
だと日本だと例えばNTTがそうだね。
hadoop関連では国内でも有名だし、対外的にも国際学会に論文出している。
117: 2012/10/03(水)00:14 ID:??? AAS
古典的なエキスパートvsプロフェッショナルの分類だと
エンタープライズと言えばプロフェッショナルで出来合いDB
Web企業はエキスパートだから自前かトガったツルシのDB。
といいつつもOracleだって今時の売りはビッグデータだ。
今やハードも持ってるしな。
118: 2012/10/15(月)04:37 ID:??? AAS
Oracleはカネ払えばベンダーが面倒見てくれるけど、KVSはそういう会社がまだないので。。
企業財産そのものであるデータベース分野で、「自分でソース読んで解決すればOK」みたいな
ソフトウエアは使わせてもらえない。
ネトゲみたいに「ｺﾞﾒﾝｺﾞﾒﾝぶっ飛んじゃったわ」で済む範囲ならいいかもしれないけど
119: 2012/10/20(土)07:22 ID:??? AAS
あのgmailでさえデータぶっ飛ばしてるし、まだエンタープライズ用途では様子見で。。
120: [―{}@{}@{}-] 2012/10/20(土)07:30 ID:??? AAS
KVSでも解析系は別に考えた方がよい。
上下前次1-新書関写板覧索設栞歴
あと 30 ﾚｽあります
ｽﾚ情報 赤ﾚｽ抽出 画像ﾚｽ抽出 歴の未読ｽﾚ AAｻﾑﾈｲﾙ
ぬこの手 ぬこTOP 0.591s*