[過去ﾛｸﾞ]
【統計分析】機械学習・データマイニング20 (1002ﾚｽ)
【統計分析】機械学習・データマイニング20 http://mevius.5ch.net/test/read.cgi/tech/1533635797/
上
下
前
次
1-
新
通常表示
512ﾊﾞｲﾄ分割
ﾚｽ栞
このｽﾚｯﾄﾞは過去ﾛｸﾞ倉庫に格納されています｡
次ｽﾚ検索
歴削→次ｽﾚ
栞削→次ｽﾚ
過去ﾛｸﾞﾒﾆｭｰ
225: デフォルトの名無しさん (ｻｻｸｯﾃﾛ Spf1-Mm8o) [sage] 2018/08/30(木) 14:31:20.51 ID:Aa6QMEJ0p >>221 ほんとはめっちゃ詳しく書きたいけど誰が見てるから分からないから凄く端折ってるけど今はある装置のトラブル要因を調べてる データは特徴量が200個あって1万レコードくらいある ただこの装置自体は見たことがなくて装置自体の知見も浅い分野だからデータセットは理解できてない 明らかに要らなそうなデータは消して特徴量を選択して決定木にかけて、重要な特徴量に対してペアプロットを出すところまでは来た プロットの結果は分類自体がほぼ出来ていなくて、唯一差が見れそうなところに見てみようと思ったんだけど、 結局そこはどこどこの数値が高くなると異常が出やすい、くらいの説明しか出来なくてその値がなぜ高くなるかを見つけ出すべきなんだろうけどデータや機構が分からなくて何から手をつけて良いか分からないってところで止まってる こんなのは多分現場の人は感覚的に分かってる話だから何の意味もないよね http://mevius.5ch.net/test/read.cgi/tech/1533635797/225
226: デフォルトの名無しさん (ｻｻｸｯﾃﾛ Spf1-Mm8o) [sage] 2018/08/30(木) 14:34:28.66 ID:Aa6QMEJ0p >>223 ありがとう 帰り本屋寄ってみる ちなみに昨日pythonによるデータ分析入門って買ったんだよな 俺はまだ分析の領域にも行けてないのになw http://mevius.5ch.net/test/read.cgi/tech/1533635797/226
227: デフォルトの名無しさん (ｱｳｳｨﾌ FF19-jOsm) [] 2018/08/30(木) 15:21:00.65 ID:RB/VojpjF 民間ロケットかω http://mevius.5ch.net/test/read.cgi/tech/1533635797/227
228: デフォルトの名無しさん (ﾜｯﾁｮｲ a323-tpL7) [sage] 2018/08/30(木) 15:56:28.71 ID:7HgxnLgF0 機械学習の腕は特徴量を選択するセンス次第 http://mevius.5ch.net/test/read.cgi/tech/1533635797/228
229: デフォルトの名無しさん (ﾜｯﾁｮｲ 65b3-j9mh) [sage] 2018/08/30(木) 16:44:08.77 ID:NY8GEmPq0 >>225 ああそういう話だとさっきの本は関係ないや ビジネスの何に使えばいいかわからない 的な意味だと思ったんで http://mevius.5ch.net/test/read.cgi/tech/1533635797/229
230: デフォルトの名無しさん (ﾜｯﾁｮｲ 351e-J7KC) [sage] 2018/08/30(木) 17:17:26.23 ID:lMDVbSRW0 >>225 >データは特徴量が200個あって1万レコードくらいある 直感的に、少なくない？ >ただこの装置自体は見たことがなくて装置自体の知見も浅い分野だからデータセットは理解できてない それが問題じゃん。装置自体調べろよ。 ていうか物理現象を調べてるのか？ なら機械学習を使う意味があるのかがそもそもわからんな しいていうなら相関の強いものを上から順に並べるとか ヒステリシスを持っている可能性を考慮するために、プロット上げる方向と下げる方向を別変数にしたほうがいいかも http://mevius.5ch.net/test/read.cgi/tech/1533635797/230
231: デフォルトの名無しさん (ﾜｯﾁｮｲ 8da5-Mm8o) [sage] 2018/08/30(木) 18:48:13.32 ID:zHnsz/ji0 >>230 特徴量200って少ないのか… 装置見れれば良いんだけど、身近にある物じゃないから見れなくてさ… 相関関係を見るなら重回帰かなと思って一応やってみたんだけど、言ってくれてる通り物理現象で動きには前回の動きとかも考慮して特徴量増やしたりしなくちゃいけないはずなんだけど結局データセットが分からないから行き詰まってしまった >>ヒステリシスを持っている可能性を考慮するために、プロット上げる方向と下げる方向を別変数にしたほうがいいかも これってどういう意味かな… 理解出来なくてごめん http://mevius.5ch.net/test/read.cgi/tech/1533635797/231
232: デフォルトの名無しさん (ﾜｯﾁｮｲ 351e-J7KC) [sage] 2018/08/30(木) 19:08:50.69 ID:lMDVbSRW0 >>231 >特徴量200って少ないのか… いや、変数200に対してデータ数10000は、 データのほうが少ないのではないか、と >>ヒステリシスを持っている可能性を考慮するために、プロット上げる方向と下げる方向を別変数にしたほうがいいかも >これってどういう意味かな… ヒステリシスを持つ可能性があるため、パラメータは上げる方向と下げる方向、両方測定する っていう実験物理の基本は知ってるよな？ パラメータ上がる方向と下がる方向は別の変数にしないと区別できないんじゃないか、と http://mevius.5ch.net/test/read.cgi/tech/1533635797/232
233: デフォルトの名無しさん (ｱｳｰｲﾓ MM19-S4xg) [sage] 2018/08/30(木) 19:15:05.96 ID:QzSJYFXmM データをアップしてくれないと よくわからん http://mevius.5ch.net/test/read.cgi/tech/1533635797/233
234: デフォルトの名無しさん (ﾜｯﾁｮｲ b52d-g5V3) [sage] 2018/08/30(木) 21:14:55.66 ID:JFBhQmXO0 ID:Aa6QMEJ0p 特定した。 お前には期待してたのだが、5chでアドバイスを貰おうとは見損なったぞ。 今後の査定を真摯に受け止めるが良い。 http://mevius.5ch.net/test/read.cgi/tech/1533635797/234
235: デフォルトの名無しさん (ﾜｯﾁｮｲ 351e-zBrR) [sage] 2018/08/30(木) 21:35:27.97 ID:NQz3sjtC0 >234 マジモンのチームメイトなら少しはサポートしてやれよ。 仮に上司だとして結果が出せない部下を放置って、今の時代ならパワハラ案件だろ。 まぁブラフだろうが。 http://mevius.5ch.net/test/read.cgi/tech/1533635797/235
236: デフォルトの名無しさん (ﾜｯﾁｮｲ 8da5-Mm8o) [sage] 2018/08/30(木) 22:03:46.63 ID:zHnsz/ji0 >>232 ぐ…よく分からん…ごめん 調べてみる…何かつかめるように頑張るよ >>235 出来が悪い俺がダメだと思うよ 質問するにも何が分からないかすら分からない自分があまりにも無力…！ 明日は何か少しでも前進出来るように頑張るよ http://mevius.5ch.net/test/read.cgi/tech/1533635797/236
237: デフォルトの名無しさん (ｽｯﾌﾟ Sd43-SU0A) [sage] 2018/08/31(金) 00:11:23.98 ID:p6vKiofNd これで5%返せるとか脳死こいてるバカがまだまだ多いんだな http://mevius.5ch.net/test/read.cgi/tech/1533635797/237
238: デフォルトの名無しさん (ﾜｯﾁｮｲ 65b3-j9mh) [sage] 2018/08/31(金) 01:40:33.97 ID:/VjCJv9E0 >>236 説明変数(特徴量？)200と目的変数(トラブル)の 散布図行列を作るところからやってみては？ http://bellcurve.jp/statistics/wp-body/wp-content/uploads/2016/06/scmatrix_g.png http://mevius.5ch.net/test/read.cgi/tech/1533635797/238
239: デフォルトの名無しさん (ﾜｯﾁｮｲ 0bd3-yCPC) [sage] 2018/08/31(金) 01:58:16.50 ID:NfYNCgTp0 >>238 変数多すぎて情報拾えないと思う。 http://mevius.5ch.net/test/read.cgi/tech/1533635797/239
240: デフォルトの名無しさん (ｱｳｱｳｳｰ Sa19-lQkG) [sage] 2018/08/31(金) 11:58:13.87 ID:8oqZjBEKa 効いてる特徴量見たいだけだったら、ランダムフォレスト かxgboostでモデル作ってFeature Importance見ればいいんでない？ なぜ効いてるかについては別途考察が必要になるけど http://mevius.5ch.net/test/read.cgi/tech/1533635797/240
241: デフォルトの名無しさん (ﾜｯﾁｮｲ a3b3-zJks) [sage] 2018/08/31(金) 17:27:51.18 ID:xOkTAq7n0 一万レコードは流石に少なすぎる… うちだと特徴量30前後レコード数50万ちょっとでランダムフォレストしてやっと実用に足るレベル http://mevius.5ch.net/test/read.cgi/tech/1533635797/241
242: デフォルトの名無しさん (ﾜｯﾁｮｲ a3b3-zJks) [sage] 2018/08/31(金) 17:32:55.30 ID:xOkTAq7n0 特徴量200だと相関関係にある特徴量同士や結果にまったく影響しない特徴量が多そうだな そういうのを絞らないとメモリを食うだけで確実な結果が出ないと思う http://mevius.5ch.net/test/read.cgi/tech/1533635797/242
243: デフォルトの名無しさん (ﾏｸﾄﾞ FFe1-J7KC) [] 2018/08/31(金) 20:20:22.26 ID:1Ee7C22hF >>225 装置の故障に関係のある特徴量を調べたいだけなら ランダムフォレストではなく、もっと別の識別器を使った方がいいんじゃないか http://mevius.5ch.net/test/read.cgi/tech/1533635797/243
244: デフォルトの名無しさん (ﾏｸﾄﾞ FFe1-J7KC) [sage] 2018/08/31(金) 20:35:34.13 ID:1Ee7C22hF ランダムフォレストは不純度の減少に関係ある特徴量を重要度でピックアップしてくれるだけだから 故障の原因を調べるなら、むしろ関係のない特徴量を削ったり、選択したりする方に 機械学習を使うべきだと思うんだ ロジスティック回帰とか、KNNにSBSを適用するとか いきなりランダムフォレストでがばっとやってるなら雑過ぎると思う あと装置について何も知らないなら 分析結果を提出して仕事完了以外に何も出来ない気がするんだけど http://mevius.5ch.net/test/read.cgi/tech/1533635797/244
245: デフォルトの名無しさん (ﾜｯﾁｮｲ 8da5-Mm8o) [sage] 2018/09/02(日) 16:06:18.87 ID:qpc9/9Oc0 >>225 です レスくれた人ほんとにありがとう 一応自分では>>240で出した結果から重要度が高いものに対して>>238を出すところまではやってみた ただ特徴量の選択だったり、自分で特徴量を増やしたりする必要がある可能性があったけどその辺が不十分だから正常時と不良時の変化は捉えきれなかった 急ぎの案件ではないから装置に詳しい人にもっと詳細に聞いてから見直してみる http://mevius.5ch.net/test/read.cgi/tech/1533635797/245
246: デフォルトの名無しさん (ﾜｯﾁｮｲ 8da5-Mm8o) [sage] 2018/09/02(日) 16:10:25.31 ID:qpc9/9Oc0 >>242 自分なりに考えて削ったところ残ったのは半分くらいだった…選定が不十分だとは思うけど… >>241 そんな多いんだ… まだ素人だからその規模扱った事ないけど、データ数が少ないと使い物にならないのかな >>244 特徴量の選択に機械学習を使うのか… やったことないし考えたこともなかった ロジスティック回帰は確率的に予測するモデルだっけ KNNにSBSとか全然知らないからもっと勉強しないと… 今更だけどレス遅くなってすいません やっぱ知識的な勉強もしなきゃだし、もっとkaggleみたいなので色々経験踏んだ方が良いのかな… http://mevius.5ch.net/test/read.cgi/tech/1533635797/246
247: デフォルトの名無しさん (ｱｳｳｨﾌ FF19-jOsm) [] 2018/09/02(日) 16:13:35.40 ID:fTJM2v21F >>238 この図って下三角は無駄やね http://mevius.5ch.net/test/read.cgi/tech/1533635797/247
248: デフォルトの名無しさん (ﾜｯﾁｮｲ e3a5-jo4B) [] 2018/09/02(日) 18:09:35.27 ID:Gf+N3VgJ0 特徴200の例1万で正解ラベル付き、それでなんらかの故障の原因を 少数の特徴から説明をする必要性があるなら PCAかけてからSVMでいいんじゃね？ ラベルないなら、明らかに異常時の正解ラベルを少数でも集めてから アノマリーディテクション それ以外になにかやりようがあるような案件に思えない http://mevius.5ch.net/test/read.cgi/tech/1533635797/248
249: デフォルトの名無しさん (ﾌｧﾐﾜｲ FF29-zJks) [] 2018/09/02(日) 22:15:22.45 ID:aecTCx63F ランダムフォレストって入門書で機械学習の勉強をしたら一番最後に習うジャンルじゃないか 理論的にはかなり難しい分類に入るはずなんだけど、最初にやったんかい 入門的な範囲に関していえば、NNなんかよりよほど複雑だよな http://mevius.5ch.net/test/read.cgi/tech/1533635797/249
250: デフォルトの名無しさん (ﾜｯﾁｮｲ 0b81-2Cin) [sage] 2018/09/02(日) 23:37:09.90 ID:N8NA3iwF0 そうか？ http://mevius.5ch.net/test/read.cgi/tech/1533635797/250
251: デフォルトの名無しさん (ﾜｯﾁｮｲ db76-ZtIo) [sage] 2018/09/03(月) 06:46:02.23 ID:U0kvs2wf0 決定木好き boostingも好き http://mevius.5ch.net/test/read.cgi/tech/1533635797/251
252: デフォルトの名無しさん (ﾌﾞｰｲﾓ MM43-HIeS) [sage] 2018/09/03(月) 08:17:31.91 ID:EloH5MrPM 自分も>>230の通り装置自体の理解が先だと思う つーかkaggleしかやったことのない新卒を現場に出すと 大抵 >>225 みたいになるので笑える 225は素直だしやる気もありそうだから大成すんじゃない？ http://mevius.5ch.net/test/read.cgi/tech/1533635797/252
253: デフォルトの名無しさん (ｱｳｱｳｳｰ Sa19-920O) [sage] 2018/09/03(月) 08:23:54.20 ID:6BBBjiRUa 新人なんだったら上司としては笑ってる前にとっとと装置持ってくるか設置場所に連れて行って触らせろよ http://mevius.5ch.net/test/read.cgi/tech/1533635797/253
254: デフォルトの名無しさん (ﾜｯﾁｮｲ 0b8a-J7KC) [sage] 2018/09/03(月) 15:29:21.33 ID:wK4QWbzI0 割り振られた仕事が酷いだけな気がするんだけど 不良品検知なら機械学習は有用だけど、トラブルの原因の特定とか厳し過ぎるだろ 俺が同じ仕事を課されても出来ない自信がある まだ今後の仕事に繋がるスキルなら学ぶ気にもなるけど 一回限りの仕事でこれだったら職場を変えたくなるなｗ http://mevius.5ch.net/test/read.cgi/tech/1533635797/254
ﾒﾓ帳
(0/65535文字)
上
下
前
次
1-
新
書
関
写
板
覧
索
設
栞
歴
あと 748 ﾚｽあります
ｽﾚ情報
赤ﾚｽ抽出
画像ﾚｽ抽出
歴の未読ｽﾚ
Google検索
Wikipedia
ぬこの手
ぬこTOP
0.013s