[過去ﾛｸﾞ] MySQL 総合 Part26 [無断転載禁止]©2ch.net (1002ﾚｽ)
上下前次1-新
このｽﾚｯﾄﾞは過去ﾛｸﾞ倉庫に格納されています｡
次ｽﾚ検索 歴削→次ｽﾚ 栞削→次ｽﾚ 過去ﾛｸﾞﾒﾆｭｰ
130(1): 2018/05/19(土)23:06 ID:??? AAS
あんまり詳しくないんだけど、commitするってことはトランザクション貼るんだよね？
トランザクション貼る必要があったら分割できないし、途中で別処理が乱入してきてデータ不整合になることがないってわかってるならそもそもトランザクション貼らないでinsertすれば良くない？
131: 2018/05/19(土)23:33 ID:R16XYZ3x(2/2) AAS
>>128
>>129
>>130
コメントありがとうございます。
10万件が揃ってないと次の処理に行けないので、
全くわかってないんですけど、beginでロックして
トランザクションにして最後にcommitしてみます。
実行時にディスクやメモリをチェックしてみて
かなり消費しているようでしたら、１万件ずつとかで
commitしてみます。
132(2): 2018/05/20(日)00:57 ID:??? AAS
処理に順番があるだけなら、外部でロックして、後続の処理を待たせることも考えたら。
10万レコードを1トランザクションでコミットしなければいけないことなんかそうそうないんじゃないかとも思うので。
133(1): 2018/05/20(日)01:03 ID:??? AAS
>>132
これが普通だよな
不要なのにトランザクション使ってるだけならパフォーマンス落ちるだけですむけど、一万件でコミットして次のトランザクション入るまでに割り込まれたらマズいなら作りが悪い
134: 2018/05/20(日)14:47 ID:WSY7vKF/(1/5) AAS
>>132
>>133
ありがとうございます。
実は大きな勘違いがありまして10万件はサンプルであって、
本番用は4000万件が29ファイルの１２億件ぐらいあることがわかりました。
１ファイルの4000万件をMySQLに書き込んでみたら4000万件ちょっとで、
２時間かかりましたけど、１４Gほどディスク容量を使ってしまって、
Cドライブの残り２００Gには入りそうにないことがわかってきまして、
ちょっと呆然としてます。
どうしたらいいか、ちょっと落ち着いて考えてみます。
135(1): 2018/05/20(日)15:19 ID:??? AAS
innodb_file_format = Barracuda
を指定して節約するとか
ま、そんな量じゃ小手先だろなw
136(1): 2018/05/20(日)15:30 ID:??? AAS
４T位のHDDを４台使ったRAIDで増設しよう
今時1万くらいで買える
137(2): 2018/05/20(日)16:33 ID:WSY7vKF/(2/5) AAS
>>135
>>136
ありがとうございます。
CドライブがSSDで速いのでいいかなと思っているのですけど、
外付けのハードディスクを使わざるを得ないと思っています。
そこで簡単に外付け（Eドライブ）に移動する方法ですけど、
一度、MySQLを停止しておいて、my.iniのdatadirを指定して、
そこに現在のCドライブのmysql\dataフォルダをコピーしてやって
再起動すれば、そのまま使えるのでしょうか？
138(1): 2018/05/20(日)18:17 ID:??? AAS
>>137
135だけど
Barracudaの指定後それだけでは駄目でテーブル定義に
ROW_FORMAT=COMPRESSEDを付け加えないといけないから、そこら辺はいろんな
サイトで確認してくれ
くれぐれも慎重に
139(1): 2018/05/20(日)19:27 ID:??? AAS
>>137
問題ない。
しかし、何億件て。ｗ
しかるべき筋に業務として発注したほうがいいんじゃないか。
自前でやっていいのなら、そもそもその全レコードが必要なのかを考えるところからだろ。
サマリ処理ではいかんのかとか。
140: 2018/05/20(日)20:00 ID:WSY7vKF/(3/5) AAS
>>138
>>139
ありがとうございます。
データを調べていたら、不必要なものが15%ぐらいあるようですし、
重複したデータがあって、それは件数さえわかればいいので、
countで件数数えてひとつにまとめます。
他のソフトの結果と連動して使うので、
サマリ処理だけでは済みそうにないんです。
141(1): 2018/05/20(日)20:27 ID:??? AAS
それは理由としてまだあやしい。
ま、ここで正確に回答する必要なんかないんだけど。ｗ
とにかく、そんなに簡単な案件ではなさそうなので、あきらめることもあわせてよーく考えるべき。
全レコードが記録されたデータファイルだけが目的なら別だけど、そうでなければ、時間をかけてつくったのにまともに検索できないデータベースができてしまう可能性も高い。
データ構造とかインデックスとかチューニングとか、いろいろあるからね。
142: 2018/05/20(日)20:45 ID:WSY7vKF/(4/5) AAS
>>141
ご指摘ありがとうございます。まさにそのとおりです。
まともに検索できるのかとか心配事は山ほどあります。
ただ、検索するときにはヒット件数が多くありませんので、
なんとかならないかなーと思っています。
とりあえず、やれるところまでやってみようと思います。
143: 2018/05/20(日)21:12 ID:WSY7vKF/(5/5) AAS
１Tの空きのあるEドライブにdataを移動して正常に起動できました。
最初、うまく起動できなかったのですけど、
フォルダのプロパティのnetwork serviceの
フルコントロール権限を与えないといけない、
というのをググって見つけて、そのとおりしたらうまくいきました！
144: 2018/05/23(水)21:34 ID:uoNdzmcr(1) AAS
こめかみでさんぷるかー
145: 2018/05/24(木)01:39 ID:??? AAS
昨日秋葉の９９で４Tを買ってきたけど
1台8618円でした
146: 2018/05/31(木)10:53 ID:LNEYCf/I(1) AAS
phpMyAdminにバックアップしていたデータベースをインポートしようとすると、
2006エラーで止まってしまいます。
こういう場合どうしたらインポート成功させられるんでしょうか？
MariaDB 5.5.56です。
SQLファイルは253MBあります。
max_allowed_packetが関係しているかなと思って、これを300Mに上げてみました。
それでもダメです。
147: 2018/05/31(木)11:48 ID:??? AAS
スレ汚し失礼しました。
BigDump.phpでいけました。
148: 2018/05/31(木)11:49 ID:??? AAS
再起動した？
149: 2018/06/01(金)19:48 ID:TwHoIUZ0(1/2) AAS
128+256=384byteなはずなのになぜこのエラーが出るのでしょうか。
https://i.imgur.com/vqXsH4dl.jpg
上下前次1-新書関写板覧索設栞歴
あと 853 ﾚｽあります
ｽﾚ情報 赤ﾚｽ抽出 画像ﾚｽ抽出 歴の未読ｽﾚ AAｻﾑﾈｲﾙ
ぬこの手 ぬこTOP 1.400s*