[過去ﾛｸﾞ] 【統計分析】機械学習・データマイニング24 (1002ﾚｽ)
上下前次1-新
抽出解除 ﾚｽ栞 あぼーん
このｽﾚｯﾄﾞは過去ﾛｸﾞ倉庫に格納されています｡
次ｽﾚ検索 歴削→次ｽﾚ 栞削→次ｽﾚ 過去ﾛｸﾞﾒﾆｭｰ
736(2): デフォルトの名無しさん (ﾜｯﾁｮｲ 6ba5-cDow [112.139.161.67]) [sage] 2019/06/13(木)12:04 ID:bhCstcom0(1/3)
Colaboratoryで巨大なデータセット扱うおすすめの方法を教えてください
自宅にwebサーバー建ててColaboratoryからwgetしてみたのですが、40Gあるのでアップだけで2時間、展開で1時間とか効率悪すぎて泣けてきます
Googleドライブ有料版をマウントして使ってみたのですが、何か1日の転送量最大値があるのかファイルが破損してしまいます
何かいいアイデアください！
739: デフォルトの名無しさん (ﾜｯﾁｮｲ 6ba5-cDow [112.139.161.67]) [sage] 2019/06/13(木)14:39 ID:bhCstcom0(2/3)
>>737
まあ、回線も遅いですが他の方法でアップしなくてもいい方法とかないかなと
>>738
aria2てので並列ダウンロードしてみます！
740: デフォルトの名無しさん (ﾜｯﾁｮｲ 6ba5-GB9F [112.139.161.67]) [sage] 2019/06/13(木)18:38 ID:bhCstcom0(3/3)
うーん、Google側が細いのか最大で10MB/s位しかでないですね
744: デフォルトの名無しさん (ﾜｯﾁｮｲ 6ba5-YCmz [112.139.161.67]) [sage] 2019/06/14(金)15:52 ID:rI3r/fFD0(1/2)
https://hazm.at/mox/machine-learning/computer-vision/classification/keras-provided-cnn/index.html
これって
loss 順調に下がって下がり止まって,
acc 順調に上がって上がりきっても
val_loss val_acc 安定していないけど最終的に収束してて驚く
この不安定な val_loss val_acc だけど学習続けたのは,
loss acc が安定していたからなのかな？
いつ収束するかわからないまま学習続けるとか狂気の沙汰な気がする・・・
746: デフォルトの名無しさん (ﾜｯﾁｮｲ 6ba5-YCmz [112.139.161.67]) [sage] 2019/06/14(金)17:32 ID:rI3r/fFD0(2/2)
いや loss acc が安定していれば val_loss val_acc が不安定でも収束に向かうのか知りたい
発散してるように見えても大丈夫なのかなと
749: デフォルトの名無しさん (ﾜｯﾁｮｲ 6ba5-YCmz [112.139.161.67]) [sage] 2019/06/15(土)17:54 ID:3j3poNkN0(1/6)
低い精度で収束しちゃった場合はどうすればいいの？
752: デフォルトの名無しさん (ﾜｯﾁｮｲ 6ba5-31ip [112.139.161.67]) [sage] 2019/06/15(土)19:04 ID:3j3poNkN0(2/6)
valdation accuracyが0.3位で動かなくなっちゃった
754: デフォルトの名無しさん (ﾜｯﾁｮｲ 6ba5-31ip [112.139.161.67]) [sage] 2019/06/15(土)20:09 ID:3j3poNkN0(3/6)
他の方法はモデルの変更とか、オプティマイザの変更とかでしょうか
データ量はもう増やせそうにないです
757(1): デフォルトの名無しさん (ﾜｯﾁｮｲ 6ba5-31ip [112.139.161.67]) [sage] 2019/06/15(土)21:26 ID:3j3poNkN0(4/6)
画像分類です
650種類で、各200枚ほどの教師データです
759: デフォルトの名無しさん (ﾜｯﾁｮｲ 6ba5-31ip [112.139.161.67]) [sage] 2019/06/15(土)22:10 ID:3j3poNkN0(5/6)
すみません
小出しにしているつもりはないのですが
初学すぎて何を出すべきなのかもわかりません
単純な各200画像分類を10クラスで学習して十分な精度が得られました
30クラスでも十分な精度が得られました
なので600まで増やしてみました
Keras で tf をラップし、
オプティマイザはAdam
modelはxceptionで108層までフリーズさせています
761: デフォルトの名無しさん (ﾜｯﾁｮｲ 6ba5-YCmz [112.139.161.67]) [sage] 2019/06/15(土)23:41 ID:3j3poNkN0(6/6)
触ってません
768(1): デフォルトの名無しさん (ﾜｯﾁｮｲ 6ba5-YCmz [112.139.161.67]) [sage] 2019/06/16(日)22:53 ID:sdZe9hov0(1)
>>764
わざわざ返信ありがとうございます
https://www.flowername.sint.ai/
ここは花ですが、
257クラスで10000枚1クラスあたり約40枚でそれなりの精度が得られているみたいです
これは特殊な例なのでしょうか
上下前次1-新書関写板覧索設栞歴
ｽﾚ情報 赤ﾚｽ抽出 画像ﾚｽ抽出 歴の未読ｽﾚ AAｻﾑﾈｲﾙ
ぬこの手 ぬこTOP 0.035s