[過去ﾛｸﾞ] 【統計分析】機械学習・データマイニング26 (1002ﾚｽ)
上下前次1-新
このｽﾚｯﾄﾞは過去ﾛｸﾞ倉庫に格納されています｡
次ｽﾚ検索 歴削→次ｽﾚ 栞削→次ｽﾚ 過去ﾛｸﾞﾒﾆｭｰ
202(2): (ﾌﾞｰｲﾓ MM89-ToAo [202.214.125.165]) 2019/10/13(日)07:58 ID:S6cUkNQoM(1) AAS
深層学習の凄いことのひとつは特徴量を人が設計する必要がない、と本とかに書いてありますが、どう理解すればいいのか分からず教えてください！
ここでいう深層学習とはニューラルネットのことですか？(線形回帰やSVMと違って説明変数を人間が決めてないから？ )
203: (ﾜｯﾁｮｲ 8302-o74w [101.142.8.160]) 2019/10/13(日)08:07 ID:A69S9ntC0(1) AAS
レビューを投稿する行動を取る時点で母集団にサンプルバイアス
204: (ﾜｯﾁｮｲ 653c-3Hkb [118.240.95.156]) 2019/10/13(日)08:55 ID:kaSZg9r20(3/11) AAS
>>201
言ってることの一つ一つは正しいことは理解できるんだけど、何が言いたいのか理解できないんだ
食べログが評価を操作しているかどうか、は今説明してくれた事を駆使すれば判別できるんだろうか？
あるいは、Twitterの書き込みのおかしさ、は今説明してくれた事を駆使すれば、ココがおかしいと指摘されるんだろうか
205(1): (ｱｳｱｳｶｰ Sa51-vt6R [182.251.195.232]) 2019/10/13(日)09:26 ID:vNAU+AUMa(1) AAS
>>201
各店舗の分散は各店舗の分布には影響しても全店舗の平均値の分布には影響しないでしょ
206(1): (ｱｳｱｳｶｰ Sa51-CdT3 [182.251.154.80]) 2019/10/13(日)10:08 ID:uKg8mtfTa(1) AAS
中心極限定理はあくまで「同一の母集団から得た独立な確率変数であれば、十分な数の平均値を集めたものの分布が正規分布に近似できる」というもの
全店舗の採点者が同一の基準に従う採点を行うという前提が成り立たなければ成立しない定理
207(1): (ﾜｯﾁｮｲ 653c-3Hkb [118.240.95.156]) 2019/10/13(日)10:56 ID:kaSZg9r20(4/11) AAS
>>206
個々の採点者が同じ基準でないのに中心極限定理を持ち出しているのがおかしいと主張しているわけか、なるほど
同じ基準ではないにしろ、少し幅をつけてみよう
個々の採点者はある得点を中心に正規分布で配点する、もしくは一様分布で採点する、あるいは同じ点数しかつけないものとする
正規分布で採点する者は、正規分布の合成が正規分布になることから、平均値の分布もまた正規分布
一様分布で採点する者は、分布関数の底上げにはなるが平均値には影響を与えない
同じ点数しかつけない者も、平均値そのものをずらす事にはなるが正規分布の形は歪めない
つまるところ上記の前提が成り立つ場合には、平均値の分布は厳密に正規分布になる
毎回1点で、たまに4点をつけるような人が大量にいないと、この評点と言う平均値分布を正規分布から歪めるのは難しいように思う
208(2): (ﾜｯﾁｮｲ 9501-o74w [126.25.129.72]) 2019/10/13(日)12:13 ID:pJwii1Hg0(1) AAS
>>202
多分、画像データを深層学習(ニューラルネット)で学習することを念頭に置いてる話だろう。
もっと広い文脈で使えるときもあるがたいていは画像でうまくいった話を誇張して言ってることが多い。
209: (ﾜｯﾁｮｲ cb10-vzjJ [153.131.102.129]) 2019/10/13(日)12:41 ID:Fxu1r5BT0(3/8) AAS
>>205
平均値についても同様の事が言える
仮に評価する側が同じだとしても
店舗の特徴によって分布の形は変わる
分布の形を見る事で店舗の特徴を把握してその店を利用するかどうかを事前に利用者が判断できるようにするサービス
が本来目標としたものかもしれない
分布を意図的に操作する事で金儲けに利用しようとした疑いが上がっているという問題だと思う
210: (ﾜｯﾁｮｲ cb10-vzjJ [153.131.102.129]) 2019/10/13(日)12:44 ID:Fxu1r5BT0(4/8) AAS
>>207
評価尺度はただの順序尺度で間隔尺度ではないだろう
211: (ﾄﾝﾓｰ MM59-d/3+ [210.142.95.4]) 2019/10/13(日)12:53 ID:sm0sVhGqM(1) AAS
>>159
大規模ですけどC、C++、アセンブラです。
現在、全部で数百万ステップです
212(1): (ﾜｯﾁｮｲ 653c-b92j [118.240.95.156]) 2019/10/13(日)13:19 ID:kaSZg9r20(5/11) AAS
いかん、ラーメン屋の得点とスイーツ屋の得点を合わせて平均するとか謎なことをしていた
改めてデータに立ち戻ろう
3.6にピークがあるのは、とりあえず4に入れておこう層が2/3くらいいて、残りの1/3がとりあえず3に入れておこうということ4*2/3+3*1/3=11/3=3.67で説明できそうだ
逆に言えば、ここにピークが立つのは「とりあえず3か4に入れとけ層」が一定数いるということで、これは直感と合うのであまり怪しくはなさそうだ
次に3.8にギャップがある理由を考えてみる
元のデータを見た所、２つのガウス関数の和で表現できそうだ
一つは平均3.6で3σが0.3にあるピーク、もう一つは平均3.75で3σが0.05のピーク
こう仮定すると3.8にギャップができているのは、この2つ目のガウス関数の裾野に原因がある
この2つのガウス関数が意味するところは
ラーメン屋に通う「オヤジ層」とスイーツ屋に行く「レディー層」の違いを表すのか、
あるいは「関東に住んでいる層」と「関西に住んでいる層」を地域差表すのか、
はたまた疑惑の「操作されていない層」と「操作されている層」の人為操作の違いを表すのか
ラーメン屋だけの分布、特定地域だけの分布は作れそうだが、疑惑の操作に辿り着くのは難しそうだ
213(1): (ﾜｯﾁｮｲ cb10-vzjJ [153.131.102.129]) 2019/10/13(日)13:25 ID:Fxu1r5BT0(5/8) AAS
操作がなかったという帰無仮説を棄却できるかどうかじゃね？
214(1): (ﾜｯﾁｮｲ 653c-b92j [118.240.95.156]) 2019/10/13(日)13:39 ID:kaSZg9r20(6/11) AAS
>>202
まぁ>>208でも言っているけど画像をCNNで処理することを汎用化して言ってる気はするなぁ
少し古いけど
外部ﾘﾝｸ[html]:deepage.net
にある
CNNはこういった特徴を抽出するための検出器であるフィルタのパラメータを自動で学習していく
ということなんだろう
RNNでも同じ話はあるので画像だけってことはないけど、なんでもかんでも特徴量を自動抽出ってことではないよ
215(1): (ｱｳｱｳｴｰ Sa13-NJTS [111.239.57.16]) 2019/10/13(日)13:45 ID:48i2xCpca(1/3) AAS
三層のニューラルネットワークでは xor を分離できないという問題は
さらに多層になったことで何で解消されたの?
216: (ﾜｯﾁｮｲ e394-P4H7 [115.37.73.212]) 2019/10/13(日)14:17 ID:25TC8kRG0(1) AAS
3.8を超えた評価を3.6に落としてるって仮定したらほぼ同じヒストグラムになる
画像ﾘﾝｸ
平均3.8標準偏差0.5で正規分布を生成して、3.8を超えた評価値を90%の確率で平均3.6標準偏差0.01の正規分布で取り直す操作をした（N=1000）
ただ同じだからと言って>>212のように元データの特徴量ごとの性質の違いを反映しているだけかもしれない
217(1): (ｱｳｱｳｴｰ Sa13-P4H7 [111.239.178.130]) 2019/10/13(日)14:21 ID:qY0pTgmia(1) AAS
>>213
操作がないという帰無仮説について仮説検定の方法で検証するには操作がない場合の点数の理想的な分布を知っていなければならない
その理想分布に基づいて実際の分布がどの程度ずれているのかを確認するのが仮説検定なのだから
しかしそんなもの知り得ないので検定のしようがない
218(2): (ｱｳｱｳｳｰ Sac9-B2ag [106.154.130.6]) 2019/10/13(日)14:23 ID:llG9wcVha(1/5) AAS
>>215
出来ないのは2層
3層にすると一度高次元空間に写してからシンプルな境界で分離出来る
219: (ﾌﾞｰｲﾓ MM59-ToAo [210.138.208.219]) 2019/10/13(日)14:45 ID:TJDkUn5hM(1) AAS
>>208
>>214
ありがとうございます。ほぼCNNのことと思って良さそうなんですね
CNNが凄い！っことを深層学習という言葉に拡大して凄い！って言ってるイメージですね
220(2): (ﾜｯﾁｮｲ 653c-b92j [118.240.95.156]) 2019/10/13(日)15:01 ID:kaSZg9r20(7/11) AAS
>> 215
細かいけど、まず層の数え方から
入力層は層に数えないので、ANDとORは1層で、XORは2層で表現できる
次にXORはなぜ2層で表現可能か
単純に、AND(正確にはNAND)とORの出力をANDで受ければXORが作れるから
ググったら以下のような図を見つけた
画像ﾘﾝｸ
>>218の回答はエレガントだけども、少し説明を加えると
(0, 0) → 0
(0, 1) → 1
(1, 0) → 1
(1, 1) → 0
を分ける直線は2次元平面内では書けないけど、3次元に拡張して
(0, 0, a) → 0
(0, 1, b) → 1
(1, 0, c) → 1
(1, 1, d) → 0
を分ける平面はa,b,c,dを適当に決めれば作れる(例えばa=d=0, b=c=1としてz=0.5の平面)
a,b,c,dを適当に決めて分離できるってそんなんアリかよ！？って最初は思うかもしれないけど
そんな純粋な気持ちは最初だけで、どうせa, b, c, dは見ないし分離できたら何でもOKになる
221(6): (ｱｳｱｳｴｰ Sa13-NJTS [111.239.57.16]) 2019/10/13(日)18:39 ID:48i2xCpca(2/3) AAS
二層あれば大抵の関数は模倣できるのに
何でもっと多層が必要なの?
222: (ﾜｯﾁｮｲ cb10-vzjJ [153.131.102.129]) 2019/10/13(日)18:43 ID:Fxu1r5BT0(6/8) AAS
>>217
諦めたらそこで試合終了ですよ
目の前にヒントが転がっていても見えなくなる
223(1): (ﾜｯﾁｮｲ cb10-vzjJ [153.131.102.129]) 2019/10/13(日)18:44 ID:Fxu1r5BT0(7/8) AAS
>>218
線型結合してる層を増やすとなぜ高次元になるのかを直感的に判るように説明して
224(1): (ｱｳｱｳｳｰ Sac9-B2ag [106.154.130.6]) 2019/10/13(日)19:30 ID:llG9wcVha(2/5) AAS
>>221
層を増やす方が効率が高い
ニューラルネットの近似能力は層を増やすと指数的に向上するが、中間層のニューロン数に対しては多項式的にしか上がらない
225(1): (ｱｳｱｳｳｰ Sac9-B2ag [106.154.130.6]) 2019/10/13(日)19:32 ID:llG9wcVha(3/5) AAS
>>223
一旦中間層のニューロン数だけの次元を持つ空間を経由できるから
226(3): (ﾜｯﾁｮｲ cb10-vzjJ [153.131.102.129]) 2019/10/13(日)20:04 ID:Fxu1r5BT0(8/8) AAS
>>225
線型結合して関数を通して
また線型結合して関数を通して
の繰り返しでなぜ高次元になるの？
関数によって非線形になるなら判るけど
227: (ｱｳｱｳｳｰ Sac9-B2ag [106.154.130.6]) 2019/10/13(日)20:33 ID:llG9wcVha(4/5) AAS
>>226
非線形な活性化関数噛ませるでしょ普通
自然に高次元になるんじゃなくてそうなる様にしてるんだよ、ニューロン数は自由に決められるから
228: (ﾄﾝﾓｰ MM59-d/3+ [210.142.95.69]) 2019/10/13(日)20:44 ID:/3kPh57iM(1/2) AAS
ディープキスのほうがいい！
舌をからませるの
立つよね！
229(1): (ﾜｯﾁｮｲ 9501-qBpa [126.25.131.86]) 2019/10/13(日)20:48 ID:P1vmVh210(1) AAS
>ニューラルネットの近似能力は層を増やすと指数的に向上するが、中間層のニューロン数に対しては多項式的にしか上がらない
こんなことを示した論文などない。
よくこんなことをさも証明されたことの如く言えるな。
230(1): (ﾜｯﾁｮｲ 653c-b92j [118.240.95.156]) 2019/10/13(日)21:28 ID:kaSZg9r20(8/11) AAS
>>221
本質的な質問が来た
これについては俺も明確な答えは持ってないなぁ
直感的には、多層の方が中間層に保持できるパラメータ数が多く
そこには活性化関数を通した非線形の効果も含まれているので
ほどほどにノイズが消されていて抽象的な状態を保持できるから
と思うんだが、本当かどうかは分からない
231: (ｱｳｱｳｳｰ Sac9-B2ag [106.154.130.6]) 2019/10/13(日)21:37 ID:llG9wcVha(5/5) AAS
>>229
Montufar, Guido F., et al. "On the number of linear regions of deep neural networks." Advances in neural information processing systems. 2014.
NIPSの論文だが
何を根拠に「こんなことを示した論文などない(ｷﾘｯ」なんて言えたのか
上下前次1-新書関写板覧索設栞歴
あと 771 ﾚｽあります
ｽﾚ情報 赤ﾚｽ抽出 画像ﾚｽ抽出 歴の未読ｽﾚ
ぬこの手 ぬこTOP 0.016s