[過去ﾛｸﾞ]
【統計分析】機械学習・データマイニング29 (1002ﾚｽ)
【統計分析】機械学習・データマイニング29 http://mevius.5ch.net/test/read.cgi/tech/1597882603/
上
下
前次
1-
新
通常表示
512ﾊﾞｲﾄ分割
ﾚｽ栞
抽出解除
ﾚｽ栞
あぼーん
このｽﾚｯﾄﾞは過去ﾛｸﾞ倉庫に格納されています｡
次ｽﾚ検索
歴削→次ｽﾚ
栞削→次ｽﾚ
過去ﾛｸﾞﾒﾆｭｰ
9: デフォルトの名無しさん (ﾜｯﾁｮｲ 7502-RTUg [118.154.96.7]) [sage] 2020/08/21(金) 09:14:56.27 ID:uo/qvn+o0 >>4 領域検出とかセグメンテーションっていう分野だね いろいろやり方がある ディープラーニングと組み合わせて検索すればいろいろ引っかかるよ http://mevius.5ch.net/test/read.cgi/tech/1597882603/9
63: デフォルトの名無しさん (ﾜｯﾁｮｲ 0502-th+2 [118.154.96.7]) [sage] 2020/09/02(水) 20:23:13.12 ID:r7qllEy10 そこまでやってる人は少ないんじゃないかな 上位のAPI使うだけでも結構いろいろできちゃうし 俺も必要に迫られるまでは手を出す気がしない 勉強してもすぐ陳腐化しちゃうしね しかしAttentionはもっと簡単に使えるようにならんものか http://mevius.5ch.net/test/read.cgi/tech/1597882603/63
69: デフォルトの名無しさん (ﾜｯﾁｮｲ 0502-th+2 [118.154.96.7]) [sage] 2020/09/03(木) 02:10:35.74 ID:nez+JOaA0 そしてライブラリのバージョンアップで動かなくなるという罠 http://mevius.5ch.net/test/read.cgi/tech/1597882603/69
73: デフォルトの名無しさん (ﾜｯﾁｮｲ 0502-th+2 [118.154.96.7]) [sage] 2020/09/03(木) 10:34:00.34 ID:nez+JOaA0 >>70 Attentionを使うための便利なものはKerasには用意されてないっぽい 実装してる人のコード見ると、ベクトル演算とか組み合わせてグラフ繋げて自力で作ってたりする あまりに大変すぎるので、そのうち何かサポートが追加されるんじゃないかと期待してるが 誰か簡単な方法知ってたら教えてくれ http://mevius.5ch.net/test/read.cgi/tech/1597882603/73
77: デフォルトの名無しさん (ﾜｯﾁｮｲ 0502-th+2 [118.154.96.7]) [sage] 2020/09/03(木) 21:31:54.12 ID:nez+JOaA0 うお、KerasにAttentionレイヤー用意されてたのか tf.keras.layers.Attention いつの間に http://mevius.5ch.net/test/read.cgi/tech/1597882603/77
94: デフォルトの名無しさん (ﾜｯﾁｮｲ 0502-biH0 [118.154.96.7]) [sage] 2020/09/04(金) 18:22:35.09 ID:5pEEdWxD0 >>86 中間層すべてにかけるのが普通かな 出力層にもかける流派もあるらしいが ドロップアウト率は入力層に近い方を高く、遠い方を低くするもんらしい http://mevius.5ch.net/test/read.cgi/tech/1597882603/94
97: デフォルトの名無しさん (ﾜｯﾁｮｲ 0502-biH0 [118.154.96.7]) [sage] 2020/09/05(土) 10:16:29.80 ID:Az39CCC60 GeForce RTX 3090はFP32性能が36TFLOPSか、すげーな しかしせっかくTensorCoreが載ってるのに、これって学習には使えないのね FP16しか対応してないからかな？ 確かにFP16じゃBPがうまく進まなそうだが 性能半分でいいから、FP32対応してくれればいいのに せっかくの汎用マトリクス演算ユニットなのにもったいない http://mevius.5ch.net/test/read.cgi/tech/1597882603/97
104: デフォルトの名無しさん (ﾜｯﾁｮｲ 0502-biH0 [118.154.96.7]) [sage] 2020/09/05(土) 12:26:15.00 ID:Az39CCC60 nVidiaのTensorCoreはFP32には対応していない いちおう、TensorflowなんかでもFP16設定にすればTensorCoreも学習に使ってくれるみたいね もっとも試してみた人のブログとか見てるとやっぱFP16じゃ精度が悲惨なことになるらしい ttps://qiita.com/kuroyagi/items/e70c55cbc88fc0ed0220 そういう意味じゃやっぱ推論専用という捉え方でいいんじゃないかな 71Tflopsとか夢があるけどなあ http://mevius.5ch.net/test/read.cgi/tech/1597882603/104
105: デフォルトの名無しさん (ﾜｯﾁｮｲ 0502-biH0 [118.154.96.7]) [sage] 2020/09/05(土) 12:45:27.03 ID:Az39CCC60 × nVidiaのTensorCoreはFP32には対応していない 〇 GTX/RTXのTensorCoreはFP32には対応していない A100とかだとFP32/64も対応してる。学習アクセラレータなんだからそりゃそうだ グラボに載ってるTensorCoreは対応してなくて推論専用って話ね http://mevius.5ch.net/test/read.cgi/tech/1597882603/105
107: デフォルトの名無しさん (ﾜｯﾁｮｲ 0502-biH0 [118.154.96.7]) [] 2020/09/05(土) 13:09:00.94 ID:Az39CCC60 RTX 30シリーズはSSDから直接グラフィックデータを読み込めるらしいが たぶんDLの学習データ転送にも使えるよね flopsもメモリ帯域も上がってるしDL用途にも別次元の速さが実感できそうだ http://mevius.5ch.net/test/read.cgi/tech/1597882603/107
109: デフォルトの名無しさん (ﾜｯﾁｮｲ 0502-biH0 [118.154.96.7]) [sage] 2020/09/05(土) 15:57:37.62 ID:Az39CCC60 >>108 103じゃないが、↓によると238Tensor-TFLOPSとなってるな https://pc.watch.impress.co.jp/docs/news/1274381.html Tensor-TFLOPSってのがよくわからんがFP16の性能かな？ FP16までしか対応してないソースは↓ https://www.nvidia.com/ja-jp/data-center/tensor-cores/ 「サポートされている Tensor コア精度」に書いてある Turingまでしか記載がないが、AmpereもFP32に対応したなんて発表はないし、 推論専用という位置づけは変わらないので一緒だろう http://mevius.5ch.net/test/read.cgi/tech/1597882603/109
111: デフォルトの名無しさん (ﾜｯﾁｮｲ 0502-biH0 [118.154.96.7]) [sage] 2020/09/05(土) 16:33:54.61 ID:Az39CCC60 Tensor-TFlopsについて自己レス Tflopsは普通ベクトル演算性能を指すが、TensorCoreは固定サイズのマトリクス演算なので こういう書き方をしてるらしい ピーク性能は238Tflopsなんだろうけど(FP16)、計算粒度が大きいんでよほどタスクが都合のいい サイズでないと無駄が大きくなってしまう、と。 http://mevius.5ch.net/test/read.cgi/tech/1597882603/111
113: デフォルトの名無しさん (ﾜｯﾁｮｲ 0502-biH0 [118.154.96.7]) [sage] 2020/09/05(土) 17:09:43.08 ID:Az39CCC60 17万円のThreadripper 3960Xで5Tflops 11万円のRTX 3080で30Tflops DL専用ならやっぱRTXでは まあCPUの汎用性も捨てがたいけど 昔よりCPUの並列化が進んで差が縮まってるから悩むな http://mevius.5ch.net/test/read.cgi/tech/1597882603/113
114: デフォルトの名無しさん (ﾜｯﾁｮｲ 0502-biH0 [118.154.96.7]) [sage] 2020/09/05(土) 18:13:07.70 ID:Az39CCC60 [RTX3090] CUDA Core : 35.7Tflops TensorCore : 285Tflops RT Core : 69Tflops これだけポテンシャルがあるのにDLで使えるのはCUDAの35.7Tflopsだけ なんか虚しくなってくるな ゲーム用に売れてるおかげで安く買えるわけだから仕方ないと思わんといかんのか http://mevius.5ch.net/test/read.cgi/tech/1597882603/114
216: デフォルトの名無しさん (ﾜｯﾁｮｲ f902-QmsY [118.154.96.7]) [sage] 2020/09/13(日) 11:01:10.23 ID:VEHzwMhQ0 判断の前段階の状況認識でDLの出番はけっこうあるけどな http://mevius.5ch.net/test/read.cgi/tech/1597882603/216
515: デフォルトの名無しさん (ﾜｯﾁｮｲ 5f02-D/bg [118.154.96.7]) [sage] 2020/11/06(金) 10:49:41.50 ID:tMdQESqp0 機械学習は過去のデータから何か規則性を見つけて予測を行おうとする 見つけた法則が未来の予測に役立つかは問題による 競馬だといけそうな気もするがFXなんかは無理と言われてる とにかくあてずっぽうより精度が良いなら何か役立つ法則を見つけられていることになる あとは損益分岐点を超えられるかどうかだ http://mevius.5ch.net/test/read.cgi/tech/1597882603/515
519: デフォルトの名無しさん (ﾜｯﾁｮｲ 5f02-D/bg [118.154.96.7]) [sage] 2020/11/06(金) 13:09:03.54 ID:tMdQESqp0 >>517 八百長があるかどうかは関係しない 単純に過去のできごとと未来との間に相関があるかどうかで予測可能かどうかが決まる 八百長があった方がむしろ予測しやすい可能性もある http://mevius.5ch.net/test/read.cgi/tech/1597882603/519
633: デフォルトの名無しさん (ﾜｯﾁｮｲ 3302-bQi2 [118.154.96.7]) [sage] 2020/11/23(月) 11:45:22.20 ID:IPGclKeJ0 単なる統計手法なんて捉え方は大雑把すぎ 結局はBPで学習させてるという意味では統計的手法だが、 トランスフォーマーはちょっとのグラフの変更だけで劇的性能向上を起こした 従来のエンコーダデコーダモデルの限界だった内部表現の容量の問題を撤廃して データシーケンスの必要なところを自由に参照できるようになった まさに革命だった 日本が同じレベルの革新を起こせないとは思わないが、研究環境と層の厚さの差は大きいな http://mevius.5ch.net/test/read.cgi/tech/1597882603/633
634: デフォルトの名無しさん (ﾜｯﾁｮｲ 3302-bQi2 [118.154.96.7]) [sage] 2020/11/23(月) 12:00:18.87 ID:IPGclKeJ0 人工知能学会のことは知らないが、Chainer の Define-By-Run は日本の発明だな トランスフォーマーほどの革新とは言わないが、他のDNN学習ツールの設計にも大きな影響を与えた http://mevius.5ch.net/test/read.cgi/tech/1597882603/634
760: デフォルトの名無しさん (ﾜｯﾁｮｲ 6302-CWdK [118.154.96.7]) [sage] 2020/12/06(日) 20:28:21.98 ID:8X+3nqvD0 >>753 素朴な方法って総当たり法のことかな？ バックプロパゲーションで学習ができることは理論的裏付けがなくて単なる経験則らしい 条件によって収束までのステップ数はえらく変わるし、そもそも収束する保証もないので 見積りもできないのだろう http://mevius.5ch.net/test/read.cgi/tech/1597882603/760
784: デフォルトの名無しさん (ﾜｯﾁｮｲ 6302-CWdK [118.154.96.7]) [sage] 2020/12/06(日) 23:02:45.31 ID:8X+3nqvD0 >>778 転移学習したいってこと？ 別にカーネルも自分で学習させればいいと思うけど http://mevius.5ch.net/test/read.cgi/tech/1597882603/784
800: デフォルトの名無しさん (ﾜｯﾁｮｲ 5902-LBAI [118.154.96.7]) [sage] 2020/12/09(水) 20:15:28.61 ID:EU/X14pa0 パナソニックがこんなのを始めるらしいが、人込みでは遠隔手動操作なんだな。。。 https://news.yahoo.co.jp/articles/e8eb753857c1b796b95d9f5346b9af0a9873f921 http://mevius.5ch.net/test/read.cgi/tech/1597882603/800
815: デフォルトの名無しさん (ﾜｯﾁｮｲ 5902-LBAI [118.154.96.7]) [sage] 2020/12/10(木) 20:12:15.89 ID:4I880zB/0 >>811 具体例を出せなくて申し訳ないが、誤差を補正して過学習を防ぐ正則化手法には いろんな研究分野があるらしい いま過学習に悩まされてて調べてみようかなと思ってたところ http://mevius.5ch.net/test/read.cgi/tech/1597882603/815
819: デフォルトの名無しさん (ﾜｯﾁｮｲ 5902-LBAI [118.154.96.7]) [sage] 2020/12/10(木) 21:12:09.60 ID:4I880zB/0 >>816 > トータルの誤差E(w)は増えてしまうということになる恐れはないのでしょうか？ 普通にあるよ 増えたり減ったりしながら徐々に正解に近づいていくイメージ 振動するおかげで極小解から脱出できるチャンスが増える http://mevius.5ch.net/test/read.cgi/tech/1597882603/819
823: デフォルトの名無しさん (ﾜｯﾁｮｲ 5902-LBAI [118.154.96.7]) [sage] 2020/12/10(木) 21:40:43.82 ID:4I880zB/0 >>820 確率的勾配降下でも、学習率εが十分に小さければ近づく、とされてるね 証明もされてるんだとは思うけど、どこ見ればいいとかは俺はわからない ところで、欲しいのは極小解じゃなくて大域的最適解だよね？ 極小値でよければ最急降下法が一番収束が速い 1サンプルずつ学習する確率的…は極小値にはまらない可能性は高いけど重すぎる バランスを取ったのがバッチ学習 http://mevius.5ch.net/test/read.cgi/tech/1597882603/823
863: デフォルトの名無しさん (ﾜｯﾁｮｲ 5902-LBAI [118.154.96.7]) [sage] 2020/12/12(土) 16:29:51.26 ID:Qgp/l0qJ0 >>861 計算量の問題もあるが、それだけじゃないんだぜ 学習データだけで最適解を求めてしまうと過学習に陥りやすくなる いろいろ制約つけて、学習を途中で止めた方が汎化性能が高くなる アーリーストップとかで調べてみるといいよ http://mevius.5ch.net/test/read.cgi/tech/1597882603/863
ﾒﾓ帳
(0/65535文字)
上
下
前次
1-
新
書
関
写
板
覧
索
設
栞
歴
ｽﾚ情報
赤ﾚｽ抽出
画像ﾚｽ抽出
歴の未読ｽﾚ
Google検索
Wikipedia
ぬこの手
ぬこTOP
0.055s