[過去ﾛｸﾞ] 【統計分析】機械学習・データマイニング29 (1002ﾚｽ)
上下前次1-新
抽出解除 ﾚｽ栞 あぼーん
このｽﾚｯﾄﾞは過去ﾛｸﾞ倉庫に格納されています｡
次ｽﾚ検索 歴削→次ｽﾚ 栞削→次ｽﾚ 過去ﾛｸﾞﾒﾆｭｰ
ﾘﾛｰﾄﾞ規制です｡10分ほどで解除するので､他のﾌﾞﾗｳｻﾞへ避難してください｡
9: (ﾜｯﾁｮｲ 7502-RTUg [118.154.96.7]) 2020/08/21(金)09:14 ID:uo/qvn+o0(1) AAS
>>4
領域検出とかセグメンテーションっていう分野だね
いろいろやり方がある
ディープラーニングと組み合わせて検索すればいろいろ引っかかるよ
63: (ﾜｯﾁｮｲ 0502-th+2 [118.154.96.7]) 2020/09/02(水)20:23 ID:r7qllEy10(1) AAS
そこまでやってる人は少ないんじゃないかな
上位のAPI使うだけでも結構いろいろできちゃうし
俺も必要に迫られるまでは手を出す気がしない
勉強してもすぐ陳腐化しちゃうしね
しかしAttentionはもっと簡単に使えるようにならんものか
69: (ﾜｯﾁｮｲ 0502-th+2 [118.154.96.7]) 2020/09/03(木)02:10 ID:nez+JOaA0(1/3) AAS
そしてライブラリのバージョンアップで動かなくなるという罠
73: (ﾜｯﾁｮｲ 0502-th+2 [118.154.96.7]) 2020/09/03(木)10:34 ID:nez+JOaA0(2/3) AAS
>>70
Attentionを使うための便利なものはKerasには用意されてないっぽい
実装してる人のコード見ると、ベクトル演算とか組み合わせてグラフ繋げて自力で作ってたりする
あまりに大変すぎるので、そのうち何かサポートが追加されるんじゃないかと期待してるが
誰か簡単な方法知ってたら教えてくれ
77: (ﾜｯﾁｮｲ 0502-th+2 [118.154.96.7]) 2020/09/03(木)21:31 ID:nez+JOaA0(3/3) AAS
うお、KerasにAttentionレイヤー用意されてたのか
tf.keras.layers.Attention
いつの間に
94(1): (ﾜｯﾁｮｲ 0502-biH0 [118.154.96.7]) 2020/09/04(金)18:22 ID:5pEEdWxD0(1) AAS
>>86
中間層すべてにかけるのが普通かな
出力層にもかける流派もあるらしいが
ドロップアウト率は入力層に近い方を高く、遠い方を低くするもんらしい
97(2): (ﾜｯﾁｮｲ 0502-biH0 [118.154.96.7]) 2020/09/05(土)10:16 ID:Az39CCC60(1/8) AAS
GeForce RTX 3090はFP32性能が36TFLOPSか、すげーな
しかしせっかくTensorCoreが載ってるのに、これって学習には使えないのね
FP16しか対応してないからかな？ 確かにFP16じゃBPがうまく進まなそうだが
性能半分でいいから、FP32対応してくれればいいのに
せっかくの汎用マトリクス演算ユニットなのにもったいない
104(1): (ﾜｯﾁｮｲ 0502-biH0 [118.154.96.7]) 2020/09/05(土)12:26 ID:Az39CCC60(2/8) AAS
nVidiaのTensorCoreはFP32には対応していない
いちおう、TensorflowなんかでもFP16設定にすればTensorCoreも学習に使ってくれるみたいね
もっとも試してみた人のブログとか見てるとやっぱFP16じゃ精度が悲惨なことになるらしい
外部ﾘﾝｸ:qiita.com
そういう意味じゃやっぱ推論専用という捉え方でいいんじゃないかな
71Tflopsとか夢があるけどなあ
105: (ﾜｯﾁｮｲ 0502-biH0 [118.154.96.7]) 2020/09/05(土)12:45 ID:Az39CCC60(3/8) AAS
× nVidiaのTensorCoreはFP32には対応していない
〇 GTX/RTXのTensorCoreはFP32には対応していない
A100とかだとFP32/64も対応してる。学習アクセラレータなんだからそりゃそうだ
グラボに載ってるTensorCoreは対応してなくて推論専用って話ね
107: (ﾜｯﾁｮｲ 0502-biH0 [118.154.96.7]) 2020/09/05(土)13:09 ID:Az39CCC60(4/8) AAS
RTX 30シリーズはSSDから直接グラフィックデータを読み込めるらしいが
たぶんDLの学習データ転送にも使えるよね
flopsもメモリ帯域も上がってるしDL用途にも別次元の速さが実感できそうだ
109(1): (ﾜｯﾁｮｲ 0502-biH0 [118.154.96.7]) 2020/09/05(土)15:57 ID:Az39CCC60(5/8) AAS
>>108
103じゃないが、↓によると238Tensor-TFLOPSとなってるな
外部ﾘﾝｸ[html]:pc.watch.impress.co.jp
Tensor-TFLOPSってのがよくわからんがFP16の性能かな？
FP16までしか対応してないソースは↓
外部ﾘﾝｸ:www.nvidia.com
「サポートされている Tensor コア精度」に書いてある
Turingまでしか記載がないが、AmpereもFP32に対応したなんて発表はないし、
推論専用という位置づけは変わらないので一緒だろう
111: (ﾜｯﾁｮｲ 0502-biH0 [118.154.96.7]) 2020/09/05(土)16:33 ID:Az39CCC60(6/8) AAS
Tensor-TFlopsについて自己レス
Tflopsは普通ベクトル演算性能を指すが、TensorCoreは固定サイズのマトリクス演算なので
こういう書き方をしてるらしい
ピーク性能は238Tflopsなんだろうけど(FP16)、計算粒度が大きいんでよほどタスクが都合のいい
サイズでないと無駄が大きくなってしまう、と。
113: (ﾜｯﾁｮｲ 0502-biH0 [118.154.96.7]) 2020/09/05(土)17:09 ID:Az39CCC60(7/8) AAS
17万円のThreadripper 3960Xで5Tflops
11万円のRTX 3080で30Tflops
DL専用ならやっぱRTXでは
まあCPUの汎用性も捨てがたいけど
昔よりCPUの並列化が進んで差が縮まってるから悩むな
114: (ﾜｯﾁｮｲ 0502-biH0 [118.154.96.7]) 2020/09/05(土)18:13 ID:Az39CCC60(8/8) AAS
[RTX3090]
CUDA Core : 35.7Tflops
TensorCore : 285Tflops
RT Core : 69Tflops
これだけポテンシャルがあるのにDLで使えるのはCUDAの35.7Tflopsだけ
なんか虚しくなってくるな
ゲーム用に売れてるおかげで安く買えるわけだから仕方ないと思わんといかんのか
216: (ﾜｯﾁｮｲ f902-QmsY [118.154.96.7]) 2020/09/13(日)11:01 ID:VEHzwMhQ0(1) AAS
判断の前段階の状況認識でDLの出番はけっこうあるけどな
515: (ﾜｯﾁｮｲ 5f02-D/bg [118.154.96.7]) 2020/11/06(金)10:49 ID:tMdQESqp0(1/2) AAS
機械学習は過去のデータから何か規則性を見つけて予測を行おうとする
見つけた法則が未来の予測に役立つかは問題による
競馬だといけそうな気もするがFXなんかは無理と言われてる
とにかくあてずっぽうより精度が良いなら何か役立つ法則を見つけられていることになる
あとは損益分岐点を超えられるかどうかだ
519: (ﾜｯﾁｮｲ 5f02-D/bg [118.154.96.7]) 2020/11/06(金)13:09 ID:tMdQESqp0(2/2) AAS
>>517
八百長があるかどうかは関係しない
単純に過去のできごとと未来との間に相関があるかどうかで予測可能かどうかが決まる
八百長があった方がむしろ予測しやすい可能性もある
633: (ﾜｯﾁｮｲ 3302-bQi2 [118.154.96.7]) 2020/11/23(月)11:45 ID:IPGclKeJ0(1/2) AAS
単なる統計手法なんて捉え方は大雑把すぎ
結局はBPで学習させてるという意味では統計的手法だが、
トランスフォーマーはちょっとのグラフの変更だけで劇的性能向上を起こした
従来のエンコーダデコーダモデルの限界だった内部表現の容量の問題を撤廃して
データシーケンスの必要なところを自由に参照できるようになった
まさに革命だった
日本が同じレベルの革新を起こせないとは思わないが、研究環境と層の厚さの差は大きいな
634: (ﾜｯﾁｮｲ 3302-bQi2 [118.154.96.7]) 2020/11/23(月)12:00 ID:IPGclKeJ0(2/2) AAS
人工知能学会のことは知らないが、Chainer の Define-By-Run は日本の発明だな
トランスフォーマーほどの革新とは言わないが、他のDNN学習ツールの設計にも大きな影響を与えた
760: (ﾜｯﾁｮｲ 6302-CWdK [118.154.96.7]) 2020/12/06(日)20:28 ID:8X+3nqvD0(1/2) AAS
>>753
素朴な方法って総当たり法のことかな？
バックプロパゲーションで学習ができることは理論的裏付けがなくて単なる経験則らしい
条件によって収束までのステップ数はえらく変わるし、そもそも収束する保証もないので
見積りもできないのだろう
784: (ﾜｯﾁｮｲ 6302-CWdK [118.154.96.7]) 2020/12/06(日)23:02 ID:8X+3nqvD0(2/2) AAS
>>778
転移学習したいってこと？
別にカーネルも自分で学習させればいいと思うけど
800: (ﾜｯﾁｮｲ 5902-LBAI [118.154.96.7]) 2020/12/09(水)20:15 ID:EU/X14pa0(1) AAS
パナソニックがこんなのを始めるらしいが、人込みでは遠隔手動操作なんだな。。。
外部ﾘﾝｸ:news.yahoo.co.jp
815(1): (ﾜｯﾁｮｲ 5902-LBAI [118.154.96.7]) 2020/12/10(木)20:12 ID:4I880zB/0(1/3) AAS
>>811
具体例を出せなくて申し訳ないが、誤差を補正して過学習を防ぐ正則化手法には
いろんな研究分野があるらしい
いま過学習に悩まされてて調べてみようかなと思ってたところ
819(1): (ﾜｯﾁｮｲ 5902-LBAI [118.154.96.7]) 2020/12/10(木)21:12 ID:4I880zB/0(2/3) AAS
>>816
> トータルの誤差E(w)は増えてしまうということになる恐れはないのでしょうか？
普通にあるよ
増えたり減ったりしながら徐々に正解に近づいていくイメージ
振動するおかげで極小解から脱出できるチャンスが増える
823: (ﾜｯﾁｮｲ 5902-LBAI [118.154.96.7]) 2020/12/10(木)21:40 ID:4I880zB/0(3/3) AAS
>>820
確率的勾配降下でも、学習率εが十分に小さければ近づく、とされてるね
証明もされてるんだとは思うけど、どこ見ればいいとかは俺はわからない
ところで、欲しいのは極小解じゃなくて大域的最適解だよね？
極小値でよければ最急降下法が一番収束が速い
1サンプルずつ学習する確率的…は極小値にはまらない可能性は高いけど重すぎる
バランスを取ったのがバッチ学習
863: (ﾜｯﾁｮｲ 5902-LBAI [118.154.96.7]) 2020/12/12(土)16:29 ID:Qgp/l0qJ0(1) AAS
>>861
計算量の問題もあるが、それだけじゃないんだぜ
学習データだけで最適解を求めてしまうと過学習に陥りやすくなる
いろいろ制約つけて、学習を途中で止めた方が汎化性能が高くなる
アーリーストップとかで調べてみるといいよ
上下前次1-新書関写板覧索設栞歴
ｽﾚ情報 赤ﾚｽ抽出 画像ﾚｽ抽出 歴の未読ｽﾚ
ぬこの手 ぬこTOP 0.040s