[過去ﾛｸﾞ] 【統計分析】機械学習・データマイニング20 (1002ﾚｽ)
上下前次1-新
このｽﾚｯﾄﾞは過去ﾛｸﾞ倉庫に格納されています｡
次ｽﾚ検索 歴削→次ｽﾚ 栞削→次ｽﾚ 過去ﾛｸﾞﾒﾆｭｰ
225(5): (ｻｻｸｯﾃﾛ Spf1-Mm8o) 2018/08/30(木)14:31 ID:Aa6QMEJ0p(2/3) AAS
>>221
ほんとはめっちゃ詳しく書きたいけど誰が見てるから分からないから凄く端折ってるけど今はある装置のトラブル要因を調べてる
データは特徴量が200個あって1万レコードくらいある
ただこの装置自体は見たことがなくて装置自体の知見も浅い分野だからデータセットは理解できてない
明らかに要らなそうなデータは消して特徴量を選択して決定木にかけて、重要な特徴量に対してペアプロットを出すところまでは来た
プロットの結果は分類自体がほぼ出来ていなくて、唯一差が見れそうなところに見てみようと思ったんだけど、
結局そこはどこどこの数値が高くなると異常が出やすい、くらいの説明しか出来なくてその値がなぜ高くなるかを見つけ出すべきなんだろうけどデータや機構が分からなくて何から手をつけて良いか分からないってところで止まってる
こんなのは多分現場の人は感覚的に分かってる話だから何の意味もないよね
226: (ｻｻｸｯﾃﾛ Spf1-Mm8o) 2018/08/30(木)14:34 ID:Aa6QMEJ0p(3/3) AAS
>>223
ありがとう
帰り本屋寄ってみる
ちなみに昨日pythonによるデータ分析入門って買ったんだよな
俺はまだ分析の領域にも行けてないのになw
227: (ｱｳｳｨﾌ FF19-jOsm) 2018/08/30(木)15:21 ID:RB/VojpjF(1) AAS
民間ロケットかω
228: (ﾜｯﾁｮｲ a323-tpL7) 2018/08/30(木)15:56 ID:7HgxnLgF0(2/2) AAS
機械学習の腕は特徴量を選択するセンス次第
229: (ﾜｯﾁｮｲ 65b3-j9mh) 2018/08/30(木)16:44 ID:NY8GEmPq0(2/2) AAS
>>225
ああそういう話だとさっきの本は関係ないや
ビジネスの何に使えばいいかわからない
的な意味だと思ったんで
230(2): (ﾜｯﾁｮｲ 351e-J7KC) 2018/08/30(木)17:17 ID:lMDVbSRW0(1/2) AAS
>>225
>データは特徴量が200個あって1万レコードくらいある
直感的に、少なくない？
>ただこの装置自体は見たことがなくて装置自体の知見も浅い分野だからデータセットは理解できてない
それが問題じゃん。装置自体調べろよ。
ていうか物理現象を調べてるのか？
なら機械学習を使う意味があるのかがそもそもわからんな
しいていうなら相関の強いものを上から順に並べるとか
ヒステリシスを持っている可能性を考慮するために、プロット上げる方向と下げる方向を別変数にしたほうがいいかも
231(1): (ﾜｯﾁｮｲ 8da5-Mm8o) 2018/08/30(木)18:48 ID:zHnsz/ji0(1/2) AAS
>>230
特徴量200って少ないのか…
装置見れれば良いんだけど、身近にある物じゃないから見れなくてさ…
相関関係を見るなら重回帰かなと思って一応やってみたんだけど、言ってくれてる通り物理現象で動きには前回の動きとかも考慮して特徴量増やしたりしなくちゃいけないはずなんだけど結局データセットが分からないから行き詰まってしまった
>>ヒステリシスを持っている可能性を考慮するために、プロット上げる方向と下げる方向を別変数にしたほうがいいかも
これってどういう意味かな…
理解出来なくてごめん
232(1): (ﾜｯﾁｮｲ 351e-J7KC) 2018/08/30(木)19:08 ID:lMDVbSRW0(2/2) AAS
>>231
>特徴量200って少ないのか…
いや、変数200に対してデータ数10000は、
データのほうが少ないのではないか、と
>>ヒステリシスを持っている可能性を考慮するために、プロット上げる方向と下げる方向を別変数にしたほうがいいかも
>これってどういう意味かな…
ヒステリシスを持つ可能性があるため、パラメータは上げる方向と下げる方向、両方測定する
っていう実験物理の基本は知ってるよな？
パラメータ上がる方向と下がる方向は別の変数にしないと区別できないんじゃないか、と
233: (ｱｳｰｲﾓ MM19-S4xg) 2018/08/30(木)19:15 ID:QzSJYFXmM(1) AAS
データをアップしてくれないと
よくわからん
234(1): (ﾜｯﾁｮｲ b52d-g5V3) 2018/08/30(木)21:14 ID:JFBhQmXO0(1) AAS
ID:Aa6QMEJ0p
特定した。
お前には期待してたのだが、5chでアドバイスを貰おうとは見損なったぞ。
今後の査定を真摯に受け止めるが良い。
235(1): (ﾜｯﾁｮｲ 351e-zBrR) 2018/08/30(木)21:35 ID:NQz3sjtC0(1) AAS
>234
マジモンのチームメイトなら少しはサポートしてやれよ。
仮に上司だとして結果が出せない部下を放置って、今の時代ならパワハラ案件だろ。
まぁブラフだろうが。
236(1): (ﾜｯﾁｮｲ 8da5-Mm8o) 2018/08/30(木)22:03 ID:zHnsz/ji0(2/2) AAS
>>232
ぐ…よく分からん…ごめん
調べてみる…何かつかめるように頑張るよ
>>235
出来が悪い俺がダメだと思うよ
質問するにも何が分からないかすら分からない自分があまりにも無力…！
明日は何か少しでも前進出来るように頑張るよ
237: (ｽｯﾌﾟ Sd43-SU0A) 2018/08/31(金)00:11 ID:p6vKiofNd(1) AAS
これで5%返せるとか脳死こいてるバカがまだまだ多いんだな
238(3): (ﾜｯﾁｮｲ 65b3-j9mh) 2018/08/31(金)01:40 ID:/VjCJv9E0(1) AAS
>>236
説明変数(特徴量？)200と目的変数(トラブル)の
散布図行列を作るところからやってみては？
画像ﾘﾝｸ
239: (ﾜｯﾁｮｲ 0bd3-yCPC) 2018/08/31(金)01:58 ID:NfYNCgTp0(1) AAS
>>238
変数多すぎて情報拾えないと思う。
240(1): (ｱｳｱｳｳｰ Sa19-lQkG) 2018/08/31(金)11:58 ID:8oqZjBEKa(1) AAS
効いてる特徴量見たいだけだったら、ランダムフォレスト かxgboostでモデル作ってFeature Importance見ればいいんでない？
なぜ効いてるかについては別途考察が必要になるけど
241(1): (ﾜｯﾁｮｲ a3b3-zJks) 2018/08/31(金)17:27 ID:xOkTAq7n0(1/2) AAS
一万レコードは流石に少なすぎる…
うちだと特徴量30前後レコード数50万ちょっとでランダムフォレストしてやっと実用に足るレベル
242(1): (ﾜｯﾁｮｲ a3b3-zJks) 2018/08/31(金)17:32 ID:xOkTAq7n0(2/2) AAS
特徴量200だと相関関係にある特徴量同士や結果にまったく影響しない特徴量が多そうだな
そういうのを絞らないとメモリを食うだけで確実な結果が出ないと思う
243: (ﾏｸﾄﾞ FFe1-J7KC) 2018/08/31(金)20:20 ID:1Ee7C22hF(1/2) AAS
>>225
装置の故障に関係のある特徴量を調べたいだけなら
ランダムフォレストではなく、もっと別の識別器を使った方がいいんじゃないか
244(1): (ﾏｸﾄﾞ FFe1-J7KC) 2018/08/31(金)20:35 ID:1Ee7C22hF(2/2) AAS
ランダムフォレストは不純度の減少に関係ある特徴量を重要度でピックアップしてくれるだけだから
故障の原因を調べるなら、むしろ関係のない特徴量を削ったり、選択したりする方に
機械学習を使うべきだと思うんだ
ロジスティック回帰とか、KNNにSBSを適用するとか
いきなりランダムフォレストでがばっとやってるなら雑過ぎると思う
あと装置について何も知らないなら
分析結果を提出して仕事完了以外に何も出来ない気がするんだけど
245: (ﾜｯﾁｮｲ 8da5-Mm8o) 2018/09/02(日)16:06 ID:qpc9/9Oc0(1/2) AAS
>>225 です
レスくれた人ほんとにありがとう
一応自分では>>240で出した結果から重要度が高いものに対して>>238を出すところまではやってみた
ただ特徴量の選択だったり、自分で特徴量を増やしたりする必要がある可能性があったけどその辺が不十分だから正常時と不良時の変化は捉えきれなかった
急ぎの案件ではないから装置に詳しい人にもっと詳細に聞いてから見直してみる
246: (ﾜｯﾁｮｲ 8da5-Mm8o) 2018/09/02(日)16:10 ID:qpc9/9Oc0(2/2) AAS
>>242
自分なりに考えて削ったところ残ったのは半分くらいだった…選定が不十分だとは思うけど…
>>241
そんな多いんだ…
まだ素人だからその規模扱った事ないけど、データ数が少ないと使い物にならないのかな
>>244
特徴量の選択に機械学習を使うのか…
やったことないし考えたこともなかった
ロジスティック回帰は確率的に予測するモデルだっけ
KNNにSBSとか全然知らないからもっと勉強しないと…
今更だけどレス遅くなってすいません
やっぱ知識的な勉強もしなきゃだし、もっとkaggleみたいなので色々経験踏んだ方が良いのかな…
247: (ｱｳｳｨﾌ FF19-jOsm) 2018/09/02(日)16:13 ID:fTJM2v21F(1) AAS
>>238
この図って下三角は無駄やね
248: (ﾜｯﾁｮｲ e3a5-jo4B) 2018/09/02(日)18:09 ID:Gf+N3VgJ0(1) AAS
特徴200の例1万で正解ラベル付き、それでなんらかの故障の原因を
少数の特徴から説明をする必要性があるなら
PCAかけてからSVMでいいんじゃね？
ラベルないなら、明らかに異常時の正解ラベルを少数でも集めてから
アノマリーディテクション
それ以外になにかやりようがあるような案件に思えない
249: (ﾌｧﾐﾜｲ FF29-zJks) 2018/09/02(日)22:15 ID:aecTCx63F(1) AAS
ランダムフォレストって入門書で機械学習の勉強をしたら一番最後に習うジャンルじゃないか
理論的にはかなり難しい分類に入るはずなんだけど、最初にやったんかい
入門的な範囲に関していえば、NNなんかよりよほど複雑だよな
250: (ﾜｯﾁｮｲ 0b81-2Cin) 2018/09/02(日)23:37 ID:N8NA3iwF0(1) AAS
そうか？
251: (ﾜｯﾁｮｲ db76-ZtIo) 2018/09/03(月)06:46 ID:U0kvs2wf0(1) AAS
決定木好き
boostingも好き
252: (ﾌﾞｰｲﾓ MM43-HIeS) 2018/09/03(月)08:17 ID:EloH5MrPM(1) AAS
自分も>>230の通り装置自体の理解が先だと思う
つーかkaggleしかやったことのない新卒を現場に出すと
大抵 >>225 みたいになるので笑える
225は素直だしやる気もありそうだから大成すんじゃない？
253: (ｱｳｱｳｳｰ Sa19-920O) 2018/09/03(月)08:23 ID:6BBBjiRUa(1) AAS
新人なんだったら上司としては笑ってる前にとっとと装置持ってくるか設置場所に連れて行って触らせろよ
254(2): (ﾜｯﾁｮｲ 0b8a-J7KC) 2018/09/03(月)15:29 ID:wK4QWbzI0(1) AAS
割り振られた仕事が酷いだけな気がするんだけど
不良品検知なら機械学習は有用だけど、トラブルの原因の特定とか厳し過ぎるだろ
俺が同じ仕事を課されても出来ない自信がある
まだ今後の仕事に繋がるスキルなら学ぶ気にもなるけど
一回限りの仕事でこれだったら職場を変えたくなるなｗ
上下前次1-新書関写板覧索設栞歴
あと 748 ﾚｽあります
ｽﾚ情報 赤ﾚｽ抽出 画像ﾚｽ抽出 歴の未読ｽﾚ
ぬこの手 ぬこTOP 0.017s