[過去ﾛｸﾞ] 【統計分析】機械学習・データマイニング24 (1002ﾚｽ)
上下前次1-新
このｽﾚｯﾄﾞは過去ﾛｸﾞ倉庫に格納されています｡
次ｽﾚ検索 歴削→次ｽﾚ 栞削→次ｽﾚ 過去ﾛｸﾞﾒﾆｭｰ
375(1): (ｻｻｸｯﾃﾛ Spef-MdQY [126.33.78.134]) 2019/05/20(月)02:38 ID:zK6cmhQap(1/5) AAS
>>367
正常、異常のラベルはあるの？
人が見たら確実に異常と分かるようなものなのかどうかは一応の判断基準かな
人が判断できるなら特徴量の選び方を工夫する、モデルを工夫すれば何とかなる場合もある
人が判断できないなら単なるパワハラ
376(1): (ﾜｯﾁｮｲ 9bb0-ZQbr [114.164.61.37]) 2019/05/20(月)03:04 ID:kMasXacY0(1) AAS
>>367です
>>371
>>375
ラベルに関しては正常が1万、異常が20あります
人が見ても一応異常と判断することはできます
ただ、欠けやキズではなく位置ズレなので軽微なやつは分かりにくいです
分布が正常の方が広くなっていて、異常は小さく、正常の中に被っていて閾値が引けないので
あまり水増しで画像を加工しないようにするのと対照の所を判断しやすいように画像のトリミングを行ってフォーカスさせて変化を見てみるくらいかなぁと思ってます…
アドバイス頂いた特徴量の選び方を工夫するとはどなような方法がありますか？
377: (ｻｻｸｯﾃﾛ Spef-MdQY [126.33.78.134]) 2019/05/20(月)03:28 ID:zK6cmhQap(2/5) AAS
あぁ、実例があるって書いてあった
同業他社がすでにやっているなら原理的には可能かも知れないね
ただ世の中にはプロの囲碁棋士に勝てるAIがあるんだからお前も作れよ言われても厳しいね
あとはまぁオートエンコーダを使ってる理由によるかな
ラベルがないからと言う理由なら仕方ないが、入力が画像ならCNNをネットワークに組み込んだ方が性能が出るし、ラベルがあって特徴量が少ないならXGBoostを試すのもあり
378(1): (ｻｻｸｯﾃﾛ Spef-MdQY [126.33.78.134]) 2019/05/20(月)03:59 ID:zK6cmhQap(3/5) AAS
>>376
画像から何らかの基準値が作られてそれが識別として利用できないなら基準値を変えることから始める
位置ズレを検出したい、かつ人間なら判断できると言うのであれば、結構な確率でそのようなネットワークは作れると思う
もし位置が重要であるならば、前処理として画像を2値化して白黒にしてしまうのがいい
正常と異常のバランスが悪いので、正常なデータだけを使ってVAEを組むのが良いが、オートエンコーダは検出能力が低いので、正常だけども異常と判断されるように閾値を下げる
異常と検出されたものの中から正常なものを除去するために、異常なデータを水増しして、CNNを組み込んだデータで2値分類をする
こんな感じかな？
379: (ﾜﾝﾐﾝｸﾞｸ MMbf-Vdu8 [153.155.221.223]) 2019/05/20(月)09:11 ID:TIcVJda3M(1) AAS
異常値少なくね？
380(1): (ｻｻｸｯﾃﾛ Sp5f-ZQbr [126.35.80.160]) 2019/05/20(月)10:19 ID:ZsUjaMDlp(1) AAS
>>378
ありがとうございます
こちらから情報が出せないなか丁寧にありがとうございます
2値は試してみたのですが、元々の画像自体がそれほど鮮明ではなく
影などノイズも多く写り込んでいて2値化すると検出対象が特徴として捉えられませんでした…
正しい名称か分かりませんが、Convolutional AutoEncoderを使っています
ラベルに関しては元々正常しかありませんでしたが、評価用に正常をトリミングなどで加工して異常としたので元々は正常しかありません
あまり現実離れした異常を作ることは意味がありませんが試してみて変化するかとりあえず見てみます…
381(1): (ﾜｯﾁｮｲ cf85-DcB2 [115.37.189.126]) 2019/05/20(月)12:24 ID:MXQauqoY0(1/2) AAS
積率を定義するとどんな良いことがあるの？
382: (ﾜｯﾁｮｲ 37da-8NB0 [114.185.8.252]) 2019/05/20(月)13:11 ID:DYuPdND10(1) AAS
just moment!
383: (ｻｻｸｯﾃﾛ Spef-MdQY [126.33.78.134]) 2019/05/20(月)13:29 ID:zK6cmhQap(4/5) AAS
>>381
積率母関数(Moment Generation Function; MGF)のことでいいかな？
確率変数XのMGFが分かると、E[X^n]が簡単に求まるので係数を除けば
E[X] 平均
E[X^2] 分散
E[X^3] 歪度
E[X^4] 尖度
に使える
384: (ｱｳｱｳｸｰ MM1f-88Mz [36.11.225.171]) 2019/05/20(月)14:44 ID:wijT7VzXM(1) AAS
大学一年か二年でならう統計学の内容だけど
よほど理論的なところに関わってないと、実務で積率母関数を扱うことまずないよね
385: (ﾜｯﾁｮｲ bfda-8NB0 [223.217.47.191]) 2019/05/20(月)16:53 ID:Bx3reKfJ0(1) AAS
全モーメントが分かるとあーら不思議確率分布がわかっちゃうのよ
386: (ﾜｯﾁｮｲ cf85-DcB2 [115.37.189.126]) 2019/05/20(月)17:49 ID:MXQauqoY0(2/2) AAS
よく分からんけど便利なんだな
分かるようになるまで勉強してみるわ
387: (ｻｻｸｯﾃﾛ Spef-MdQY [126.33.78.134]) 2019/05/20(月)21:53 ID:zK6cmhQap(5/5) AAS
確かに積率母関数を実務で使ったことない
よくある問題としては、正規分布に従う確率分布がn個(X1, ... , Xn)あり、各々二乗して全てを足したY=X1^2+...+Xn^2はどんな分布に従いますか？
答えは自由度nのカイ二乗分布になるんだけども、畳み込みを使って帰納法で解くのと、MGFを使って解くのどっちが簡単かというと、多分MGFのが簡単
388: (ｱｳｱｳｴｰ Sa5f-EL+e [111.239.59.168]) 2019/05/20(月)22:00 ID:QOzKNsGfa(1) AAS
>>380
二値分類問題であれば、まずは SVM を試してみるという方法もあるが
389: (ﾜｯﾁｮｲ af66-tBzz [183.77.216.198]) 2019/05/21(火)07:59 ID:IiB+jawz0(1) AAS
積率母関数て
タイムボカンみたいな響きだな
390: (ﾜｯﾁｮｲ 43ad-A5UN [124.144.197.178]) 2019/05/21(火)08:31 ID:OkKPzQUl0(1/2) AAS
戦闘空母群みたいだな―と思ってたw
391: (ﾜｯﾁｮｲ 4f3c-Ma/j [219.98.80.75]) 2019/05/21(火)10:28 ID:Cd33UaFb0(1/3) AAS
>>336
憤りを感じるのはもっともだが、東大PhDでも生き残りは難しいのは事実。
5年くらい前までは日本語処理とかで日本人を完全に排除することは難しかったが、
2014年以降は、ローカル固有の処理は排除し、多少、機能は劣っても共通基盤で統一する方向に進んでいる。
例えば現在のGoogle JapanのAI部門のトップは、スザンナ・イリックという強気の女性で、
AI部門の採用に関してはスタンフォード、MIT、ハーバード、バークレイ、カーネギーとかの指定大学制度を採用していて
他の大学の卒業者だと、書類選考で落とされる可能性が大（前にそれ以外は見る価値はないのようなことを言い放って一部で議論を招いた）
ただし、Googleのほかの部門に入るのであれば東大、京大、東工大であれば入社はわりかし簡単（むしろ最初は歓迎されると思う）。
あと、営業系だと、給与は他の日本企業と大して変わりはない。
392(1): (ｱﾒ MM47-Gp6W [210.142.96.170]) 2019/05/21(火)10:30 ID:6lunsjWmM(1) AAS
んで君の学歴は？
393(1): (ﾜｯﾁｮｲ 4f3c-Ma/j [219.98.80.75]) 2019/05/21(火)10:50 ID:Cd33UaFb0(2/3) AAS
あと、一点だけ書くと、AI以外の部門に東大卒で入るのは、やや問題がある。
なぜならば、AIとかの研究開発部門以外の部門に関しては、採用条件で大卒以上という学歴制限がないため
入社してマウンテンビューの本社に派遣されると隣の席の人は高卒ということになったりする。
高卒でGoogleに入るようなやつは大概の場合、プログラミングの天才みたいなやつが多く一般人だと勝てない。
さらに院卒と高卒だと年齢差が６年はあることになり、院卒の年齢だと完全に浮く。
394: (ﾜｯﾁｮｲ 4f3c-Ma/j [219.98.80.75]) 2019/05/21(火)10:51 ID:Cd33UaFb0(3/3) AAS
>>392
コロンビア
395(1): (ﾄﾝﾓｰ MM47-A5UN [210.142.95.17]) 2019/05/21(火)11:37 ID:lQFm1hfyM(1/2) AAS
>>393
Googleやyoutube使ってると
マジでクソなプログラムばっかりだ
天才を集めてるというが
誰が判断してるんだ？
人間は自分より知能の低い人間しか
理解できないんじゃないのか？
Googleには一部に天才的な人はいる。
それは認める。
しかし大方はクズの馬鹿だ。
六本木にいる奴なんてゴミばっか
396: (ﾌﾞｰｲﾓ MM6f-/k+J [210.149.255.169]) 2019/05/21(火)11:42 ID:Ba5sgWV5M(1/3) AAS
ゴミと言われてでも1000万ほしいな。
397: (ﾌﾞｰｲﾓ MM6f-/k+J [210.149.255.169]) 2019/05/21(火)11:43 ID:Ba5sgWV5M(2/3) AAS
技術職でGと同じ額出せる企業ｶﾏｰﾝ
398(1): (ｱｳｱｳｳｰ Sa57-Evxl [106.180.21.138]) 2019/05/21(火)12:11 ID:vH1mZrOla(1) AAS
>>395
どこがクソなのか具体的に
399: (JP 0H1f-VAkf [153.145.95.158]) 2019/05/21(火)12:30 ID:hRizw/teH(1) AAS
クレクレ受け身じゃなくサービス立ち上げたるぐらいの気概出しなよ
まぁそこが順調にいきゃ苦労しないんだけど
400(1): (ｽﾌﾟﾌﾟ Sdaf-Nx0B [49.98.67.97]) 2019/05/21(火)12:50 ID:jJIzGyAxd(1) AAS
ネットのニュース記事に、有識者のコメントのように
自動でコメントするAIは実現可能ですか？
さすがに難しい？
401: (ｱｳｱｳｶｰ Sa5f-FbtK [182.251.118.207]) 2019/05/21(火)15:02 ID:1PvoN0q0a(1) AAS
むりぃ
402: (ﾜｯﾁｮｲ 4f2c-rckI [219.162.237.2]) 2019/05/21(火)15:12 ID:ZAINLMmO0(1/2) AAS
YouTube の表示にバグがあって、報告しても、2週間以上そのまま放置される！
HTML, CSS, JavaScript, jQuery などを知らないから、修正できない
検索フィルターの条件に「今日」と入力しても、それ以前の動画も表示されてしまう。
もう直ったけど
403(1): (ﾄﾝﾓｰ MM47-A5UN [210.142.95.17]) 2019/05/21(火)15:13 ID:lQFm1hfyM(2/2) AAS
>>400
おれは言語や翻訳の機械学習も
やってるが、
コメントの内容がありふれたものでいいなら
そんなに難しくはない。
404(1): 402 (ﾜｯﾁｮｲ 4f2c-rckI [219.162.237.2]) 2019/05/21(火)15:17 ID:ZAINLMmO0(2/2) AAS
基本的に、5ch とYouTube はテストせずに、本番用を変える。
漏れはYouTube に、何回も報告してる！
HTML, CSS, JavaScript, jQuery などが、おかしい
5ch も、IE11 では無限ループか何かで、操作できない！
UI がスタックして動かない
上下前次1-新書関写板覧索設栞歴
あと 598 ﾚｽあります
ｽﾚ情報 赤ﾚｽ抽出 画像ﾚｽ抽出 歴の未読ｽﾚ
ぬこの手 ぬこTOP 0.012s