[過去ﾛｸﾞ] 【統計分析】機械学習・データマイニング29 (1002ﾚｽ)
上下前次1-新
このｽﾚｯﾄﾞは過去ﾛｸﾞ倉庫に格納されています｡
次ｽﾚ検索 歴削→次ｽﾚ 栞削→次ｽﾚ 過去ﾛｸﾞﾒﾆｭｰ
799: (ﾜｯﾁｮｲ 3901-LBAI [220.56.102.222]) 2020/12/09(水)19:19 ID:kJMhAlw60(2/3) AAS
Ars Technicaはこの点について、「歩行者がいる場面では、Waymoは慎重すぎます。人間のドライバーであれば、
間違いなくもっと速く動けるでしょう。しかし、このことでWaymoを責めるのは困難です。人をはねる危険を冒すくらいなら、
多少待たされた方がはるかにマシですから」とコメントしました。
不満はあれど批判できないってところだろうな
800: (ﾜｯﾁｮｲ 5902-LBAI [118.154.96.7]) 2020/12/09(水)20:15 ID:EU/X14pa0(1) AAS
パナソニックがこんなのを始めるらしいが、人込みでは遠隔手動操作なんだな。。。
外部ﾘﾝｸ:news.yahoo.co.jp
801: (ﾜｯﾁｮｲ 5952-74Z4 [118.243.75.50]) 2020/12/09(水)21:13 ID:O9/kA4vd0(2/2) AAS
まあこういう実証実験を積み重ねていけばいつかはものになるだろ
802: (ﾜｯﾁｮｲ 59da-9ESD [118.16.65.177]) 2020/12/09(水)21:47 ID:4uClczgm0(2/2) AAS
どこでもやってる
803: (ﾜｯﾁｮｲ 3901-LBAI [220.56.102.222]) 2020/12/09(水)23:05 ID:kJMhAlw60(3/3) AAS
日本は装置内のハードやソフトだけで成り立たせて製品単体として売るぐらいだろう
「危ないところは人が見てくださいね」っていう仕様で
IT云々と絡めたり、別のサービスと絡むようなことはないだろう
日本が出来るのは
製品単体をマニアック仕様にして高く売りつけることぐらいで
車内のカメラも踏まえ、、、いろんなデータをいち早く収集し
売上に繋げて行くんだろうな
804: (ﾜｯﾁｮｲ 5952-ojTD [118.243.75.50]) 2020/12/10(木)11:21 ID:+ZlzWDd90(1/3) AAS
Transformer-based Double-token Bidirectional Autoregressive Decodingin Neural Machine Translation
外部ﾘﾝｸ[pdf]:www.aclweb.org
精度を上げるつもりでL2RとR2Lを組み込んだんだろうけど
精度を下げてて草
しょうもなくて「速度が〜」に方針転換しててさらに草
805: (ﾜｯﾁｮｲ 1355-orE1 [59.147.205.222]) 2020/12/10(木)16:34 ID:7nBpTtaz0(1/7) AAS
茨木俊秀著『AI時代の離散数学』に以下の記述があります．
「ディープラーニングがいろいろな分野で成功を収めているのは，多層NNは，複雑でありながら柔軟な構造をもっているので，全体的な最適解でなくても，
品質の高い局所最適解が多数存在するため，最急降下法によってそれらへ至る経路を見出しやすいからではないかと考えられる．」
確かにそうなのではないかと思わざるを得ないのですが，「品質の高い局所最適解が多数存在する」ことについての研究はあるのでしょうか？
806(1): (ﾜｯﾁｮｲ 1355-orE1 [59.147.205.222]) 2020/12/10(木)16:36 ID:7nBpTtaz0(2/7) AAS
損失関数のグラフが一般にどういう形状をしているのかについての研究はないのでしょうか？
807: (ｱｳｱｳｳｰ Safd-Y1oi [106.180.10.34]) 2020/12/10(木)17:05 ID:/Tdm9YCRa(1/2) AAS
一般にかあ。それは大変な研究になりそう
808(1): (ｱｳｱｳｴｰ Sae3-6xLJ [111.239.185.234]) 2020/12/10(木)17:33 ID:sa6E7lY5a(1) AAS
>>806
Visualizing the Loss Landscape of Neural Nets
外部ﾘﾝｸ:arxiv.org
809(1): (ﾜｯﾁｮｲ 5952-74Z4 [118.243.75.50]) 2020/12/10(木)19:01 ID:+ZlzWDd90(2/3) AAS
問題やパラメータによって形状は変わるんじゃないの？
一般的な議論をするのって難しくない？
810: (ﾜｯﾁｮｲ 1355-orE1 [59.147.205.222]) 2020/12/10(木)19:07 ID:7nBpTtaz0(3/7) AAS
>>808
ありがとうございます．
>>809
たとえば，f(x) = a*x^2 + b*x + cという関数のグラフは（a≠0であれば）パラメータによらず放物線です．
811(3): (ﾜｯﾁｮｲ 1355-orE1 [59.147.205.222]) 2020/12/10(木)19:11 ID:7nBpTtaz0(4/7) AAS
ところで，ディープラーニングでは，ニューラルネットワークを使って，誤差関数を決めます．
誤差関数を全く別の考え方で決めてやるともっと性能の良い人工知能ができないかと考えて研究している人はいるのでしょうか？
812(1): (ｱｳｱｳｳｰ Safd-Y1oi [106.180.10.34]) 2020/12/10(木)19:17 ID:/Tdm9YCRa(2/2) AAS
誤差関数ってネットワークそのもの?
813(1): (ﾜｯﾁｮｲ 5952-74Z4 [118.243.75.50]) 2020/12/10(木)19:19 ID:+ZlzWDd90(3/3) AAS
>>811
調べてみたら？
いそうな気がする
814(2): (ﾜｯﾁｮｲ 7901-MC0k [60.69.230.42]) 2020/12/10(木)19:34 ID:qJWGxKCt0(1) AAS
目的関数が異なるモデル同士は性能を比較できないんじゃない？
目的関数の他に最適性の指標となる評価関数があるなら別だけど。
815(1): (ﾜｯﾁｮｲ 5902-LBAI [118.154.96.7]) 2020/12/10(木)20:12 ID:4I880zB/0(1/3) AAS
>>811
具体例を出せなくて申し訳ないが、誤差を補正して過学習を防ぐ正則化手法には
いろんな研究分野があるらしい
いま過学習に悩まされてて調べてみようかなと思ってたところ
816(2): (ﾜｯﾁｮｲ 1355-orE1 [59.147.205.222]) 2020/12/10(木)20:53 ID:7nBpTtaz0(5/7) AAS
>>812
どういうことでしょうか？
>>813-815
ありがとうございました．
岡谷貴之著『深層学習』を読んでいるのですが，確率的勾配降下法についての素朴な質問です．
Nは全訓練サンプルの数です．
E(w) = Σ_{n=1}^{N} E_n(w)
確率的勾配降下法では，極端な場合，サンプル1つだけを使ってパラメータの更新を行うと書いてあります．
たとえば，n=1のサンプルを使って，wを更新したとします．
このとき，E_1(w)の値は，（学習係数の値が十分小さければ，）少し小さくなりますが，他のnについてのE_n(w)の値は逆に増えてしまい，
トータルの誤差E(w)は増えてしまうということになる恐れはないのでしょうか？
岡谷の本にはそのことについて全く触れていません．
817: (ﾜｯﾁｮｲ 59da-9ESD [118.16.65.177]) 2020/12/10(木)20:54 ID:Zy+JpGE80(1) AAS
Courseraを勉強して自慢していた馬鹿アスペ
818: (ﾜｯﾁｮｲ 1355-orE1 [59.147.205.222]) 2020/12/10(木)21:00 ID:7nBpTtaz0(6/7) AAS
バッチ学習をした後で，テストデータに対して，誤差関数の値が本当に小さくなるのかというのと似たような問題かもしれませんね．
819(1): (ﾜｯﾁｮｲ 5902-LBAI [118.154.96.7]) 2020/12/10(木)21:12 ID:4I880zB/0(2/3) AAS
>>816
> トータルの誤差E(w)は増えてしまうということになる恐れはないのでしょうか？
普通にあるよ
増えたり減ったりしながら徐々に正解に近づいていくイメージ
振動するおかげで極小解から脱出できるチャンスが増える
820(2): (ﾜｯﾁｮｲ 1355-orE1 [59.147.205.222]) 2020/12/10(木)21:15 ID:7nBpTtaz0(7/7) AAS
>>819
確率的勾配降下法によって，極小値を与えるwにかならず近づいていくということは証明できるのでしょうか？
勾配降下法では，学習係数が十分小さければ，単調に誤差が減少していき，最終的に，極小値を与えるwに近づいていくことは自明ですが．
821: (ﾜｯﾁｮｲ 0b10-t6eo [153.131.102.129]) 2020/12/10(木)21:27 ID:3MNDS+Jy0(1/5) AAS
>>814
最終的な性能は正解率とか指標があるでしょう
822: (ﾜｯﾁｮｲ 0b10-t6eo [153.131.102.129]) 2020/12/10(木)21:30 ID:3MNDS+Jy0(2/5) AAS
>>811
教師信号、正解と出力の差、距離の計算方法を変えたら評価関数、誤差関数は違うものになるだろう
ただそれで学習時間や性能にどんな影響があるかは自分は判らない
823: (ﾜｯﾁｮｲ 5902-LBAI [118.154.96.7]) 2020/12/10(木)21:40 ID:4I880zB/0(3/3) AAS
>>820
確率的勾配降下でも、学習率εが十分に小さければ近づく、とされてるね
証明もされてるんだとは思うけど、どこ見ればいいとかは俺はわからない
ところで、欲しいのは極小解じゃなくて大域的最適解だよね？
極小値でよければ最急降下法が一番収束が速い
1サンプルずつ学習する確率的…は極小値にはまらない可能性は高いけど重すぎる
バランスを取ったのがバッチ学習
824: (ﾜｯﾁｮｲ 0b10-t6eo [153.131.102.129]) 2020/12/10(木)21:40 ID:3MNDS+Jy0(3/5) AAS
>>816
自分で実験してみるのが１つの方法
初期化後に全データで評価値を計算して
簡単なNNを作ってデータ１つで重みを更新してから
全データで評価値を再計算する
多分増える事もあると思うけどデータを変えて重みを更新していく事で徐々に出力と正解の誤差が小さくなっていくと思う
同じ出力をする入力は同じニューロンが発火して
別の出力をする入力はそれと違うニューロンが発火するよつな感じに学習が進んでいくのかな
825: (ﾜｯﾁｮｲ 0b10-t6eo [153.131.102.129]) 2020/12/10(木)21:45 ID:3MNDS+Jy0(4/5) AAS
>>820
勾配降下法は深層学習に限らず研究されているんじゃないかと思う
そっち方面で局所的最適値を得られる条件とか判ってるかもしれない
凸関数とかそんなのが条件になっていたりするかも
826: (ﾜｯﾁｮｲ 0b10-t6eo [153.131.102.129]) 2020/12/10(木)22:51 ID:3MNDS+Jy0(5/5) AAS
思い出した
鞍点とかあるとそこで止まるとかあったような
827: (ﾜｯﾁｮｲ e901-qdUP [126.25.239.8]) 2020/12/10(木)23:37 ID:feZOjJB+0(1) AAS
正しいけれど全く意味のない話というやつだな。
828: (ｻｻｸｯﾃﾛ Spa5-t6eo [126.33.131.200]) 2020/12/11(金)09:59 ID:YXM/kAxOp(1) AAS
意味があるかは解釈によっても変わる
道具が同じでも上手く使える人とそうではない人がいる
既存の技術を上手く使って問題解決できた人もいるからな
上下前次1-新書関写板覧索設栞歴
あと 174 ﾚｽあります
ｽﾚ情報 赤ﾚｽ抽出 画像ﾚｽ抽出 歴の未読ｽﾚ
ぬこの手 ぬこTOP 0.017s