[過去ﾛｸﾞ] 【統計分析】機械学習・データマイニング26 (1002ﾚｽ)
上下前次1-新
抽出解除 必死ﾁｪｯｶｰ(本家) (べ) 自ID ﾚｽ栞 あぼーん
このｽﾚｯﾄﾞは過去ﾛｸﾞ倉庫に格納されています｡
次ｽﾚ検索 歴削→次ｽﾚ 栞削→次ｽﾚ 過去ﾛｸﾞﾒﾆｭｰ
ﾘﾛｰﾄﾞ規制です｡10分ほどで解除するので､他のﾌﾞﾗｳｻﾞへ避難してください｡
195(1): デフォルトの名無しさん (ﾜｯﾁｮｲ 653c-b92j [118.240.95.156]) [] 2019/10/13(日) 00:20:47.58 ID:kaSZg9r20(1/11) AAS
>>184
すでに指摘されているが、母集団の分布は正規分布である必要はない
>>190
中心極限定理の話(前半の話)はそうだけども、後半の部分は何が言いたいのかよく分からない
食べログの評点は一人当たり整数値の1~5を付けられる(ある店舗における点数分布をAとする)
各店舗は添付ごとにN人の評価の平均を平均点として算出する(各店舗の平均点分布をBとし、これが話題となっている分布)
Aの採点を行うのが一般人であると仮定すると、各店舗は同一の母集団確率分布に従うものと仮定でき、各店舗の確率変数X1, X2, …, XNは同一の母集団確率分布からのランダムサンプルと考えられる
大数の法則により、標本平均(分布Bのこと)は母集団の平均に近づき正規分布になる
標本数30以上というのはNが30以上ということで、この部分は残念ながら自明ではない
ある焼肉屋の評価は67件から構成されているが、別の焼肉屋は2件となっている
つまり最大限「食べログ」を擁護するのであれば、標本数が30以上ではないため前提条件が間違っている、ということだろうか
197: デフォルトの名無しさん (ﾜｯﾁｮｲ 653c-3Hkb [118.240.95.156]) [sage] 2019/10/13(日) 00:59:42.54 ID:kaSZg9r20(2/11) AAS
>>196
すまん、焼肉屋しか見てなかった
実にその通り
204: デフォルトの名無しさん (ﾜｯﾁｮｲ 653c-3Hkb [118.240.95.156]) [sage] 2019/10/13(日) 08:55:43.76 ID:kaSZg9r20(3/11) AAS
>>201
言ってることの一つ一つは正しいことは理解できるんだけど、何が言いたいのか理解できないんだ
食べログが評価を操作しているかどうか、は今説明してくれた事を駆使すれば判別できるんだろうか？
あるいは、Twitterの書き込みのおかしさ、は今説明してくれた事を駆使すれば、ココがおかしいと指摘されるんだろうか
207(1): デフォルトの名無しさん (ﾜｯﾁｮｲ 653c-3Hkb [118.240.95.156]) [sage] 2019/10/13(日) 10:56:42.24 ID:kaSZg9r20(4/11) AAS
>>206
個々の採点者が同じ基準でないのに中心極限定理を持ち出しているのがおかしいと主張しているわけか、なるほど
同じ基準ではないにしろ、少し幅をつけてみよう
個々の採点者はある得点を中心に正規分布で配点する、もしくは一様分布で採点する、あるいは同じ点数しかつけないものとする
正規分布で採点する者は、正規分布の合成が正規分布になることから、平均値の分布もまた正規分布
一様分布で採点する者は、分布関数の底上げにはなるが平均値には影響を与えない
同じ点数しかつけない者も、平均値そのものをずらす事にはなるが正規分布の形は歪めない
つまるところ上記の前提が成り立つ場合には、平均値の分布は厳密に正規分布になる
毎回1点で、たまに4点をつけるような人が大量にいないと、この評点と言う平均値分布を正規分布から歪めるのは難しいように思う
212(1): デフォルトの名無しさん (ﾜｯﾁｮｲ 653c-b92j [118.240.95.156]) [] 2019/10/13(日) 13:19:59.66 ID:kaSZg9r20(5/11) AAS
いかん、ラーメン屋の得点とスイーツ屋の得点を合わせて平均するとか謎なことをしていた
改めてデータに立ち戻ろう
3.6にピークがあるのは、とりあえず4に入れておこう層が2/3くらいいて、残りの1/3がとりあえず3に入れておこうということ4*2/3+3*1/3=11/3=3.67で説明できそうだ
逆に言えば、ここにピークが立つのは「とりあえず3か4に入れとけ層」が一定数いるということで、これは直感と合うのであまり怪しくはなさそうだ
次に3.8にギャップがある理由を考えてみる
元のデータを見た所、２つのガウス関数の和で表現できそうだ
一つは平均3.6で3σが0.3にあるピーク、もう一つは平均3.75で3σが0.05のピーク
こう仮定すると3.8にギャップができているのは、この2つ目のガウス関数の裾野に原因がある
この2つのガウス関数が意味するところは
ラーメン屋に通う「オヤジ層」とスイーツ屋に行く「レディー層」の違いを表すのか、
あるいは「関東に住んでいる層」と「関西に住んでいる層」を地域差表すのか、
はたまた疑惑の「操作されていない層」と「操作されている層」の人為操作の違いを表すのか
ラーメン屋だけの分布、特定地域だけの分布は作れそうだが、疑惑の操作に辿り着くのは難しそうだ
214(1): デフォルトの名無しさん (ﾜｯﾁｮｲ 653c-b92j [118.240.95.156]) [] 2019/10/13(日) 13:39:33.29 ID:kaSZg9r20(6/11) AAS
>>202
まぁ>>208でも言っているけど画像をCNNで処理することを汎用化して言ってる気はするなぁ
少し古いけど
https://deepage.net/deep_learning/2016/11/07/convolutional_neural_network.html
にある
CNNはこういった特徴を抽出するための検出器であるフィルタのパラメータを自動で学習していく
ということなんだろう
RNNでも同じ話はあるので画像だけってことはないけど、なんでもかんでも特徴量を自動抽出ってことではないよ
220(2): デフォルトの名無しさん (ﾜｯﾁｮｲ 653c-b92j [118.240.95.156]) [sage] 2019/10/13(日) 15:01:05.43 ID:kaSZg9r20(7/11) AAS
>> 215
細かいけど、まず層の数え方から
入力層は層に数えないので、ANDとORは1層で、XORは2層で表現できる
次にXORはなぜ2層で表現可能か
単純に、AND(正確にはNAND)とORの出力をANDで受ければXORが作れるから
ググったら以下のような図を見つけた
https://www.infiniteloop.co.jp/blog/wp-content/uploads/2017/12/XOR.png
>>218の回答はエレガントだけども、少し説明を加えると
(0, 0) → 0
(0, 1) → 1
(1, 0) → 1
(1, 1) → 0
を分ける直線は2次元平面内では書けないけど、3次元に拡張して
(0, 0, a) → 0
(0, 1, b) → 1
(1, 0, c) → 1
(1, 1, d) → 0
を分ける平面はa,b,c,dを適当に決めれば作れる(例えばa=d=0, b=c=1としてz=0.5の平面)
a,b,c,dを適当に決めて分離できるってそんなんアリかよ！？って最初は思うかもしれないけど
そんな純粋な気持ちは最初だけで、どうせa, b, c, dは見ないし分離できたら何でもOKになる
230(1): デフォルトの名無しさん (ﾜｯﾁｮｲ 653c-b92j [118.240.95.156]) [sage] 2019/10/13(日) 21:28:26.53 ID:kaSZg9r20(8/11) AAS
>>221
本質的な質問が来た
これについては俺も明確な答えは持ってないなぁ
直感的には、多層の方が中間層に保持できるパラメータ数が多く
そこには活性化関数を通した非線形の効果も含まれているので
ほどほどにノイズが消されていて抽象的な状態を保持できるから
と思うんだが、本当かどうかは分からない
232(1): デフォルトの名無しさん (ﾜｯﾁｮｲ 653c-b92j [118.240.95.156]) [sage] 2019/10/13(日) 21:45:22.38 ID:kaSZg9r20(9/11) AAS
>>226
ちょうどいいので>>220で示したXORを例に説明しよう
入力が2次元である(x1, x2)を拡張して3次元の(x1, x2, x3)にしようと思う
つまり
(0, 0, a) → 0
(0, 1, b) → 1
(1, 0, c) → 1
(1, 1, d) → 0
が出来て(a, b, c, d) = (0, 1, 1, 0)を設定できれば、平面z=0.5で2つの領域に分離できる
すなわちx3をx1, x2から作れれば良いので
a = w11・x1 + w12・x2
b = w21・x1 + w22・x2
c = w31・x1 + w32・x2
d = w41・x1 + w42・x2
として(w11, w12) = (1, 1), (w21, w22) = (1, 1), (w31, w32) = (1, 1), (w41, w42) = (1, -1)のような重みを設定する
a, b, c, dの式をよく見てみると、これは２個のニューロンを1層分増やした式そのものである
つまり層を1層増やすということは、次元を増やすことと同値である
233: デフォルトの名無しさん (ﾜｯﾁｮｲ 653c-b92j [118.240.95.156]) [sage] 2019/10/13(日) 21:46:31.38 ID:kaSZg9r20(10/11) AAS
>>226
ちょうどいいので>>220で示したXORを例に説明しよう
入力が2次元である(x1, x2)を拡張して3次元の(x1, x2, x3)にしようと思う
つまり
(0, 0, a) → 0
(0, 1, b) → 1
(1, 0, c) → 1
(1, 1, d) → 0
が出来て(a, b, c, d) = (0, 1, 1, 0)を設定できれば、平面z=0.5で2つの領域に分離できる
すなわちx3をx1, x2から作れれば良いので
a = w11・x1 + w12・x2
b = w21・x1 + w22・x2
c = w31・x1 + w32・x2
d = w41・x1 + w42・x2
として(w11, w12) = (1, 1), (w21, w22) = (1, 1), (w31, w32) = (1, 1), (w41, w42) = (1, -1)のような重みを設定する
a, b, c, dの式をよく見てみると、これは２個のニューロンを1層分増やした式そのものである
つまり層を1層増やすということは、次元を増やすことと同値である
237: デフォルトの名無しさん (ﾜｯﾁｮｲ 653c-b92j [118.240.95.156]) [sage] 2019/10/13(日) 22:35:14.55 ID:kaSZg9r20(11/11) AAS
>>235
あんたは性格悪いなぁ・・・
ニューラルネットワークの普遍性についての質問が本質的でないなら何が本質的なんだ?
知ってて聞いてるなら教えてやれよ
上下前次1-新書関写板覧索設栞歴
ｽﾚ情報 赤ﾚｽ抽出 画像ﾚｽ抽出 歴の未読ｽﾚ AAｻﾑﾈｲﾙ
ぬこの手 ぬこTOP 0.042s