【KVS】 Key-Value Storeを勉強するスレ (150レス)
1-

51: 2010/05/11(火)23:47 ID:??? AAS
それでは、代わりにディストリビューテッド・シングル・カラム・ハッシュ・データベースと呼ぼうか
52: 2010/05/11(火)23:55 ID:??? AAS
或は、ウルトラ・ファスト・クエリー・ウィズ・リミテッド・アグリゲーターとか
53: 2010/05/17(月)08:34 ID:9Qb2d0iM(1) AAS
ネーミングは大事だと思う。全部ひっくるめてNoSQLとかひどいw
54: 2010/05/17(月)22:58 ID:??? AAS
てめー俺が立てたNoSQLスレが一瞬で落ちたことをバカにしてんのか
55: 2010/05/18(火)04:33 ID:??? AAS
DB板でスレ落とすってよっぽどのことじゃね?
56: 2010/05/18(火)07:36 ID:??? AAS
うるさいうるさい!
57: 2010/05/18(火)23:32 ID:??? AAS
Cassandraが本命だと思ってればいいの?
58
(1): 2010/05/19(水)03:44 ID:??? AAS
今の時代はACIDを捨ててまでスピードを求めてるってことかな?
比較する必要があるのだからRDBMSを改めて勉強するにはいい機会かも。
59: 2010/05/19(水)04:11 ID:??? AAS
>>58
プリミティブだけど安くてスケールするデータストレージは提供
するからデータの整合性を保証する仕組みはアプリケーションに
あわせて各自手作りして下さい、みたいな流れだと認識している。

> 比較する必要があるのだからRDBMSを改めて勉強するにはいい機会かも。

比較の有無にかかわらずRDBの理論面や設計論は勉強しておいて
損はないと思う。
なんかNoSQL界隈ではスキーマレス->故に正規化なんて必要ない、
データモデリングも不要、お手軽です、みたいな風潮も一部で散見
されるけど、それは全くの誤解だと思う。
省8
60: 2010/06/29(火)19:43 ID:??? AAS
ひとつのkeyに複数value持たせたいときは
もういっこテーブル?みたいなの作ればいいの?
61
(1): 2010/07/01(木)05:45 ID:??? AAS
keyはともかくvalueはatomicでなくともよい実装が多い。
なので一つのキーに配列でも持たせればよい。
62: 2010/07/10(土)00:06 ID:??? AAS
そして再びコボラー型思想が栄えるのであった
63: 2010/08/12(木)08:37 ID:??? AAS
結局使っていくと範囲取得とかしたくなる。
64: 2010/08/12(木)12:23 ID:??? AAS
テラメモリがエントリ鯖で使えるくらいにならんとね。
2年で倍として、10年後くらいか。
65: 2010/08/12(木)13:12 ID:??? AAS
2Uのサーバで72GBとか積めるのは積める
66
(1): 2010/08/14(土)00:29 ID:??? AAS
セッション情報のキャッシュを保存して複数鯖で共有するのにKVS使いたいんだけど
何が良い?
「ディスクに保存するmemcached」みたいな感じで使いたいんだが
67: 2010/08/14(土)01:22 ID:??? AAS
>>66
membaseなんてどう?

http://www.membase.org/
68: 2010/08/14(土)03:50 ID:??? AAS
なるほど、memcached互換を目指してるのか。現時点で安定して動くかな?検討してみる。
69: 2010/08/19(木)08:58 ID:??? AAS
TokyoTyrantあたりはmemcached互換だったよね。
結構互換のやつはあるっぽい。
70: 2010/08/19(木)11:10 ID:??? AAS
mixiみたいに落ちちゃうの怖い
71: 2010/09/07(火)04:50 ID:??? AAS
なんのための分散なんだか・・・
72: 2010/09/08(水)23:43 ID:??? AAS
memcachedのスレってない?
もうWebやるんなら必須ぽいけど
73: 2010/09/09(木)00:22 ID:??? AAS
たぶんこのスレ
74: 2010/09/09(木)09:46 ID:??? AAS
必須ではないけどな別に
75: 2010/09/29(水)07:22 ID:??? AAS
高信頼クラウド実現用ソフトウェア開発(分散制御処理技術等に係るデータセンター高信頼化に向けた実証事業)
http://www.meti.go.jp/policy/mono_info_service/joho/downloadfiles/2010software_research/clou_dist_software.pdf

小杉
76: 2010/10/06(水)05:01 ID:??? AAS
memcachedに画像を保存するには
base64エンコードするのが定番ですか?
77: 2010/10/06(水)22:59 ID:??? AAS
バイナリでそのまま入れないの?
78: 2010/10/07(木)02:02 ID:??? AAS
入れられた。なんだできるのか。
79
(1): 2010/10/27(水)08:04 ID:??? AAS
NoSQLとしてMySQLを使うDeNAが、memcachedよりも高速な75万クエリ/秒を実現
http://www.publickey1.jp/blog/10/nosqlmysqldenamemcached75.html

すげーじゃん
80: 2010/11/14(日)14:20 ID:nZUldWt9(1/2) AAS
mongoDBが良さそう
C#でもPHPでも使える
81: 2010/11/14(日)15:01 ID:??? AAS
mongodbはいろんな機能がついてて、
SQLの高機能に慣れてる人にも移行しやすそうだよね
82: 2010/11/14(日)17:03 ID:nZUldWt9(2/2) AAS
linqが使えるのが良い
他のコレクションとjoinできるのでRDBMSと同等のことはできるのでは
83: 2010/11/17(水)21:47 ID:??? AAS
これって東京なんたらとか京都なんたらとかでしょ
84: 2011/04/04(月)18:20 ID:??? AAS
Cassandra!
85: 2011/04/04(月)23:08 ID:??? AAS
鬼の哭く街か・・・
86: 2011/05/10(火)00:18 ID:??? AAS
http://code.google.com/p/leveldb/

C++0x を使える環境にある人がどのくらいいるか分からないけど・・・
87: 2011/07/04(月)15:11 ID:??? AAS
>>61

valueには何でも入れられる。KVSそのものさえ。
88
(1): 2011/07/19(火)10:12 ID:??? AAS
インデックスサーバを持たない場合、どっか適当なノードに
「このノードを追加しろー」ってメッセージを送出させるんだろうか。
89: 2011/07/19(火)10:55 ID:??? AAS
構造によってちがうから一概に言えない
90: 2011/07/20(水)02:19 ID:??? AAS
>>88
Chord とかの話?
91: 2011/07/27(水)17:38 ID:??? AAS
skip graphとかをシミュレートしてみようと思う。
とりあえず、数値化するのはホップ数やメッセージ数だけでいいよね・・・。
92: 2011/11/13(日)15:47 ID:??? AAS
>>79
これも似たようなことかな?http://www.atmarkit.co.jp/fdb/rensai/dbwatch2011/dbwatch201111_02.html

(MySQL 5.6では)ラボで開発中のNoSQLオプションにも注目です。従来のRDBのようにinsertやselectだけではなくputやgetで、NoSQLデータベースのようにmemcachedでMySQL(InnoDBデータ)に話しかける機能も加わることになります。
93
(7): 2012/02/21(火)11:21 ID:KIHR+Wqd(1) AAS
>Hadoop

KVSとhadoop系ってセットのものなの?
つまり2つの技術がセットになってやっと動くものなのか、
あくまで”1+1=2”なのか。。。

教えて下さいorz
94: 2012/02/22(水)22:03 ID:??? AAS
HadoopはHBaseとセットで考えたほうがいいんじゃね。
KVSはキーと値の組み合わせ。memmapdとか。
オンメモリのハッシュだと思えばOK
95: 2012/02/22(水)22:03 ID:??? AAS
mcachedだまちがいた
96: 93 2012/02/23(木)08:50 ID:??? AAS
レス?。

Hadoop/MapReduceとセットなのが、hBaseである。
hBase側から見ると、KVSは密な繋がりはなくて、あくまでone of them?
97: 2012/02/24(金)07:20 ID:5WcS76rf(1) AAS
KVSはデータ永続化用
Hadoopはデータ処理用

じゃないの?
98: 93 2012/02/24(金)10:09 ID:??? AAS
つまり、その2つはload処理とsave処理で繋がってるだけで、それ以外は無関係ってことですね。

何となく繋がりがあるイメージだったんだけど。。。
99: 2012/02/27(月)01:38 ID:??? AAS
HadoopはHDFS(ファイルシステム)とMapReduce(分散処理フレームワーク)で構成される.
Hbaseはそのデータストアとしてされる
100: 93 2012/02/27(月)12:26 ID:??? AAS
つまり、Hadoop/MapReduceのデータloadにHbaseは使えても、RDBとかは適切じゃないって意味ですよね?
結果のsaveなんかは、多分何のデータベースでもOKなんでしょうね。
101: 2012/02/27(月)14:01 ID:??? AAS
Hadoopが対象とするデータの想定はテラバイトやエクサバイトといったビッグデータだからデーRDBのI/O性能ではボトルネックになってしまうと思われます.
102
(1): 2012/02/28(火)01:08 ID:??? AAS
データの一貫性少し犠牲にしても処理速度を→KVS
DBのでっかいダンプファイルから統計とったりしたい→Hadoop
大雑把に言うとこんな感じでしょ
103: 93 2012/02/28(火)11:25 ID:??? AAS
なるほど、なるほど。

「ビッグデータでもI/O性能OK」、かつ、「データを分散して持てる」(←あってますよね?)、
といったものでないと、Hadoopがマトモに動かないってことですよね?

次はなぜKVSではOKなのか(データが分散してるから、ビッグデータでもI/O性能OK?)なのかを考えてみまつ。
(教えて下さる方があるなら、このスレに書いて頂ければ、全部読んでます)
104: 93 2012/02/28(火)11:28 ID:??? AAS
あれ? >>102

>データの一貫性少し犠牲にしても処理速度を→KVS
>DBのでっかいダンプファイルから統計とったりしたい→Hadoop

KVS単体 VS Hadoop単体、ですか?
105: 2012/02/28(火)13:06 ID:??? AAS
Hadoopとkvsは対になるのではないはず。
106: 93 2012/02/28(火)13:16 ID:??? AAS
再度、あれ?

http://d.hatena.ne.jp/okachimachiorz/20110619/1308490440
>基本的に単純に分散KVSを使いたいならHbaseにこだわる必要はない。

hBase=KVSだと思っていたのだが、違うのか。。。

色々読んでみると、KVSという一般的なデザインがあって、
Hadoop用データストアってのがhBaseで、それはKVSより機能が多い、
って感じ?
107: 2012/02/28(火)14:21 ID:??? AAS
KVSはカラムがKeyとValueしか定義されていない単純なデータ構造で代表的なものが
CassandraやHbase。
HadoopにデータストアとしてHbaseしか利用できないことではありません。
108: 93 2012/02/28(火)15:36 ID:??? AAS
なるほど。

Hbase (- KVS //HbaseはKVSの集合に含まれる

Hadoopのデータストアは、データ分散OK、ビッグデータでもI/O性能OK、が好ましい。
 →RDBよりもKVS、その中でもhBaseが妥当じぇね?
ってことですね。
109: 2012/08/04(土)22:22 ID:hNSFSVJW(1) AAS
LDAPスレはここにないよね?
あのクエリ言語はそれなりに面白いので、うまくバックエンドとして活用できれば嬉しいのだけど
110: 2012/08/07(火)17:47 ID:lgaLRZBM(1) AAS
実際に欲しいのはシンプルなBTreeデータベースなのに、うまくスケールする実装がないから
仕方なしにRDBMSを使っているってシーンが色々ありまして。。
111: 2012/08/16(木)09:14 ID:??? AAS
googleも最初はそうだったよね。
112: 2012/09/03(月)20:06 ID:ojogcPbp(1) AAS
Cassandraは、海外ではTwitterなど大規模なサイトでの導入事例
がたくさんあるようだけど、国内ではほとんど聞かない。
日本の大規模サイトで、Cassandra使ってるところってあるかな?

Cassandra、Write性能もスケールするっていうのは魅力的だな・・
RDBMSだとMasterがボトルネックになるのは不可避だろうし、かといって
Shardingをやるとアプリ側の作りこみがめんどうになる。

>>1
NoSQLのスレのが良かったんでは?
113
(2): 2012/09/30(日)20:51 ID:lf9RHx2G(1) AAS
>>41
Cassandraは牛刀すぎて、それ相応の規模を持ち合わせていないとなぁ。。
でもエンタープライズ市場やデータウェアハウス市場という実業分野では、素直にカネ払ってOracle導入するし

KVSは、多量のデータを扱う必要があるけどあまりカネ使えないっすー、というネトゲみたいな
虚業分野での導入実績が多いかんじ
114: 2012/10/02(火)08:19 ID:??? AAS
>>113
まったく的外れだな
いまどきエンタープライズ=Oracleなんて認識は時代遅れすぎる。
FacebookもDeNAも金持ってるがMySQLやNoSQLを使っている。
FacebookやAmazonは自社でNoSQLの開発もやっている

NoSQLとRDBの違いは予算ではない。
それぞれの長所、短所がある

NoSQLはビッグデータを扱える。
運用の負担が少なく、数百台のサーバーにスケールアウトできる
シンプルなデータモデルのためRDBでは実現できないようなパフォーマンスも叩き出せる。
115: 2012/10/02(火)20:06 ID:??? AAS
エンタープライズ=Facebook、DeNA、Amazon
って感覚にも問題ある

どこの企業もWebサービスが生命線ってわけじゃないし
116: 2012/10/02(火)23:49 ID:??? AAS
>>113
ビッグデーター関連の技術の活用や研究をしていてしかも金があるところ
だと日本だと例えばNTTがそうだね。
hadoop関連では国内でも有名だし、対外的にも国際学会に論文出している。
117: 2012/10/03(水)00:14 ID:??? AAS
古典的なエキスパートvsプロフェッショナルの分類だと
エンタープライズと言えばプロフェッショナルで出来合いDB
Web企業はエキスパートだから自前かトガったツルシのDB。

といいつつもOracleだって今時の売りはビッグデータだ。
今やハードも持ってるしな。
118: 2012/10/15(月)04:37 ID:??? AAS
Oracleはカネ払えばベンダーが面倒見てくれるけど、KVSはそういう会社がまだないので。。
企業財産そのものであるデータベース分野で、「自分でソース読んで解決すればOK」みたいな
ソフトウエアは使わせてもらえない。

ネトゲみたいに「ゴメンゴメンぶっ飛んじゃったわ」で済む範囲ならいいかもしれないけど
119: 2012/10/20(土)07:22 ID:??? AAS
あのgmailでさえデータぶっ飛ばしてるし、まだエンタープライズ用途では様子見で。。
120: [―{}@{}@{}-] 2012/10/20(土)07:30 ID:??? AAS
KVSでも解析系は別に考えた方がよい。
121: 2012/10/20(土)10:15 ID:+nLxsDLu(1) AAS
ところが、自前管理の方がデータぶっ飛ばしてる率が高そうだ
122: 2012/10/20(土)10:17 ID:??? AAS
gmailは扱ってるデータの規模がそもそも違う。
123
(2): 2012/10/21(日)07:58 ID:??? AAS
データの規模って…ビッグデータはスケールしてなんぼでしょ?
そういうのでなかったら、Oracleで足りるし

結局ビッグデータでも維持のために専任管理者を置いておく必要があるけど、
もしもぶっとんだら、彼だけの能力でデータ復旧できるのかというとまだ微妙
そして彼の退職後に誰もメンテできないようだと、会社の存続が危うくなる

そういうスタッフを自前で置けないんだったら、Oracleを契約しておいた方が面倒がないような
124: 2012/10/21(日)20:13 ID:??? AAS
>>123
googleだってデフォでバックアップ取ってるし、
こっちがあーだこーだ言わなくても自動で修復もしてくれる。
oracleはちゃんとした会社だしサポートも営業体制も安定してるが、
ロストしてバックアップもダメになってる時だってあるし、ダメな時はダメ。
誰も無から有は作り出せない。
125: 2012/10/22(月)02:22 ID:Fprj7xN3(1) AAS
もうfusion-ioさんでmysqlでnosqlに勝てちゃうだろ
nosqlはフラッシュ系ストレージのせいでオワコンになったんや
126: 2012/10/22(月)08:30 ID:??? AAS
そんなんその辺のクラウドじゃ使えませんやん…
127
(1): 2012/10/22(月)16:45 ID:??? AAS
キャッシュ置き場ならいいかもしれないが、現状で一次データをKVSに置くのはさすがに怖い
128
(1): 2012/10/22(月)18:24 ID:??? AAS
>>127
お前が怖いのは、根拠もなしにクラウドは危険だと言う同僚や上司を説得できないことだろ。
リスクの種類が違うからって危険とは限らないが、はなっから信用していない人間を説得するのは骨だ。
129: 2012/10/22(月)18:45 ID:??? AAS
>>128
「動かないコンピュータ」に載るような深刻な大事件がいくらか起こって、
その結果、「クラウドでこうやってはいけないバッドノウハウ集」がそれなりに溜まってきたら、
そろそろ入れようかと思うよ。

クラウド向きじゃない用途が明らかになって、「クラウドは欠点が多くて使えねーわ」って言う人が
増えてきたら、ちゃんと検討する。他人が地雷を一通り踏みまくってくれている。
クラウド関連記事が賞賛ばかりの状況では、マーケ盛んだな、ぐらいでまだ入れない。
機雷掃海は他人にやって頂くに限ります。
130: 2012/10/24(水)02:32 ID:??? AAS
>>123
Googleはデータやハードの故障への耐性ってのをまず考えてる。
安いマシンを並列に、で大きくなったんだから第一の関心がソレだ。
一部故障しても、少しの影響で済むような分散処理。
故障の素早い隔離と復旧そして同期のとりかた。

でも大事なのは、統計合計マシンだから本質的に少々データが
壊れてもあまり影響のないサービスだって事だ。

いわゆる業務システムじゃそうは行かんわな。
131: 2012/10/24(水)11:26 ID:??? AAS
ぶっ飛ばしても、障害報告を書いて謝って終わり、で済む安いデータならいいかもしれないけど
システムが止まると一日あたり数百万づつ売り上げが消える、という業務系ではまだ無理だよ
132: 2012/10/24(水)11:44 ID:??? AAS
MTTF・MTBF共に短いが可用性が高いというのがクラウドの特徴。

これが許せるか許せないかは業務系云々より、社会体質に依るんじゃないかなあ。
「あれ?動かないぞ・・・責任者出せ」みたいな体質の所だったらダメだろうし、
「あれ?動かないな・・・後でやり直そう、あ、動いた動いた、OK」みたいな体質のところだったらOK。
133: 2012/10/24(水)11:47 ID:??? AAS
そう考えると、やはりIT部門の責任者は相当な地位が必要だよなぁ。
システムは利用者の考え方をも変えてしまうのだから。
134: 2012/10/25(木)20:33 ID:??? AAS
分散させれば障害に強くなる…って論は、現状の信頼性研究でも確実に断言できない所があるね

とあるエンジニアは、RAID5の存在を認めず事あるごとに批判し、RAID10以上を要求しているけど
それがマネーが動く業務システムってもんだよなぁ。。
135
(1): 2012/11/15(木)14:22 ID:??? AAS
ネットワーク透過型のHashテーブルが欲しいな、と思ってKVSに当たるのだけど、
それの保守チームを確保できないから、やっぱりMySQLのように運用人口の多いRDBで代用してしまう
鶏と卵だなー
136: 2012/11/15(木)19:22 ID:??? AAS
買ってくるんじゃ駄目なの?
137: 2013/02/27(水)17:31 ID:??? AAS
>>135
保守チームって何?
コードの隅々まで理解してる人達を養成でもしたいの?
138: 2013/09/18(水)17:40 ID:??? AAS
お勧めは?
139: 2013/10/24(木)02:44 ID:??? AAS
テスト
140: 2013/10/24(木)02:49 ID:??? AAS
スレチかもしれんのだけど、
エクスペディアの「このホテル、○分前に予約が入りました」
ってあれは、KVS使ってるのかな?
REDISかHBASEあたり?

探ってるんだけど、SAS入れたって情報しか見えてこない…
141: 2013/10/24(木)17:11 ID:??? AAS
RDBで十分でしょ
142: 2013/10/24(木)20:41 ID:??? AAS
探って出てくるような話じゃないと思うんだが。
143: 2013/10/25(金)02:30 ID:??? AAS
言われたら、「○分前に予約が入りました」は、RDBで行ける気がしました。
13万のホテルに最終予約時刻入れとけばいいから、対したこと無いですね。
144: 2013/10/26(土)03:18 ID:??? AAS
なるほどバカなんだな
145: 2013/11/24(日)20:50 ID:??? AAS
千葉県松戸市六高台2-78-3
146: 2014/07/13(日)15:17 ID:DJgIKLkB(1) AAS
◎2ch勢いランキングサイトリスト◎

★+ニュース板
・ 2NN (推薦)
・ 2chTimes
★+ニュース板新着
・ 2NN新着
・ Headline BBY
・ unker Headline
★+ニュース板その他
・ Desktop2ch
省10
147: 2015/04/21(火)21:23 ID:pQzWEcgh(1) AAS
☆ 日本の核武装は絶対に必須ですわ。☆
http://www.soumu.go.jp/senkyo/kokumin_touhyou/index.html

☆ 日本国民の皆様方、2016年7月の『第24回 参議院選挙』で、改憲の参議院議員が
3分の2以上を超えると日本国憲法の改正です。皆様方、必ず投票に自ら足を運んでください。
私たちの日本国憲法を絶対に改正しましょう。☆
148: 2016/03/29(火)16:26 ID:sfT27TYg(1) AAS
もともとRDBでなくてもいいものは、それぞれのシステムで実装していただけで、NoSQLのたぐいは昔からある。

でも結局、仕様の変化に耐えられなくてRDBになる。

SQL文は作られた時代から、古臭いけど、デファクトスタンダードだから仕方ない。
149: 【だん吉】 2021/02/12(金)00:50 ID:gQk0UUYA(1) AAS
  ( ゚д゚ )    
_(__つ/ ̄ ̄ ̄/_
  \/     /
     ̄ ̄ ̄
150: 2022/10/23(日)01:03 ID:??? AAS
テステス
1-
スレ情報 赤レス抽出 画像レス抽出 歴の未読スレ AAサムネイル

ぬこの手 ぬこTOP 0.527s*