[過去ﾛｸﾞ] 【統計分析】機械学習・データマイニング25 (1002ﾚｽ)
上下前次1-新
このｽﾚｯﾄﾞは過去ﾛｸﾞ倉庫に格納されています｡
次ｽﾚ検索 歴削→次ｽﾚ 栞削→次ｽﾚ 過去ﾛｸﾞﾒﾆｭｰ
725(1): (ﾜｯﾁｮｲ 2701-bCZX [126.26.34.63]) 2019/08/24(土)08:58 ID:u6taJwr50(1/3) AAS
明らかに実データ取り扱ってない奴だな。
実際のデータのクソ汚さ見たらc/c++系統で処理するとか地獄だとわかる。
726: (ﾜｯﾁｮｲ 87b0-P0k6 [122.16.225.100]) 2019/08/24(土)09:11 ID:+PLwcW2w0(1/3) AAS
前処理はそれに適した言語やツールを使えばいいだけで、それと数値計算自体を
同じものでやらなきゃならん必然性はないがな。昔はみんなそうやってたし。
727(2): (ﾜｯﾁｮｲ e7ad-oH2O [124.144.197.178]) 2019/08/24(土)09:28 ID:RkH4AGAO0(2/4) AAS
>>725
自分がC、C++できないからって
そゆ発言はダメです
言語は状況に応じて適切なのを選択するんですよ
わかるかな？
Pythonは遅すぎて使えないという
場合はよくありますから
728: (ﾜｯﾁｮｲ bfab-JHzk [39.111.85.105]) 2019/08/24(土)10:21 ID:ioeZFbio0(1/3) AAS
前処理終わったら一旦ファイルかDBに保存するじゃない?
計算はそいつを読み込むんだから、前処理と主計算で別の言語使っても問題ないでしょ。パイソンでもjuliaでもCでも好きにすればよろしいかと
729(1): (ｱｳｱｳｳｰ Saab-MlRc [106.154.130.61]) 2019/08/24(土)10:25 ID:W+rnr2YCa(1/2) AAS
>>727
python自体が遅いのは確かだがnumpy, scipyとかのライブラリのバックエンドはCってご存じ？
適切に使えばかなり速い
730: (ｱｳｱｳｳｰ Saab-MlRc [106.154.130.61]) 2019/08/24(土)10:28 ID:W+rnr2YCa(2/2) AAS
>>724
目的に応じてツールを使い分けてるだけじゃん
手書きの履歴書とか持て囃してそう
731(3): (JP 0Hbf-rA3M [153.145.204.94]) 2019/08/24(土)10:37 ID:6mtETOAfH(1) AAS
前処理を細かく操りたいときにpython FWのAPI使わず外でやるとか
FWだとパラメータをランダムに決めちゃったりするやん
仕様も不明なこともあるし
732: (ｱｳｱｳｸｰ MM5b-xv4K [36.11.225.157]) 2019/08/24(土)10:43 ID:qCxUPpqHM(2/2) AAS
>>731
データのパラメーターをランダムで勝手に変更するライブラリなんて逆にあるのか
あるなら画像処理か音声処理だと思うんだけど
少なくとも、OpenCVにはそんな仕様は絶対ないな
733: (ｵｯﾍﾟｹ Sr5b-MlRc [126.133.200.13]) 2019/08/24(土)13:28 ID:+Cso22+ur(1) AAS
>>731
乱数シードを設定したら？
734: (ﾄﾝﾓｰ MMcb-oH2O [210.142.95.37]) 2019/08/24(土)16:35 ID:KBrwzPg6M(1/2) AAS
>>729
知ってるよ
俺が作ったライブラリも
お前が使ってそう
735(2): (ﾄﾝﾓｰ MMcb-oH2O [210.142.95.37]) 2019/08/24(土)16:39 ID:KBrwzPg6M(2/2) AAS
>>731
Pythonのライブラリは
きっちりバージョン合わせないと
変なことになるぞ
だから完全自立人型ロボットの
リアルタイム処理には
Pythonなんて絶対に使えない
自動運転もそう
実験では使えても
実装じゃ絶対使わない
つか使ってるメーカ―なんて
ないから
736: (ｱｳｱｳｶｰ Sa3b-c9SO [182.251.141.203]) 2019/08/24(土)17:02 ID:hHTykqqra(1) AAS
誰もロボットや自動運転に組み込む話なんてしてないのに何をいきなり語りだしてるんだろう
737: (ﾜｯﾁｮｲ bfda-gQHD [223.218.154.205]) 2019/08/24(土)17:03 ID:OJKjIaGu0(1) AAS
改行爺さんだろ
738(2): (ﾜｯﾁｮｲ bfab-JHzk [39.111.85.105]) 2019/08/24(土)17:38 ID:ioeZFbio0(2/3) AAS
ライブラリよりGCがあるから使わないでしょ。
そもそもロボットのOSで動くLLなぞ無いような
739: (ｱｰｸｾｰ Sx5b-m4OL [126.165.5.76]) 2019/08/24(土)17:46 ID:VcLVuM9Px(1/4) AAS
>>735
自動車業界はMatlabじゃないの？
部門によるのかな
740: (ｱｰｸｾｰ Sx5b-m4OL [126.165.5.76]) 2019/08/24(土)18:10 ID:VcLVuM9Px(2/4) AAS
>>738
Luaとか？
リアルタイム処理の前処理と一般的な機械学習の前処理はなんかレイヤーの違う話に感じるけど同列に議論するものなの？
リアルタイム処理の前処理って機械学習の推論側だよね？そしたら好きな言語で書いてONNX形式にしてTensorRTが今時なんじゃないのとか思ったり
C/C++が面倒だというのを批判したいだけ？私も相当C++を書くけど面倒くさくてPythonばっかり使うわ
741: (ﾜｯﾁｮｲ bfab-JHzk [39.111.85.105]) 2019/08/24(土)18:32 ID:ioeZFbio0(3/3) AAS
ワイもワイも
pythonで足りる許されるなら使うよ
742: (ﾜｯﾁｮｲ 2759-xv4K [36.2.42.152]) 2019/08/24(土)18:33 ID:kpdhu7+D0(1/2) AAS
armsのボードを入れてるだけのところが多いけど、
俺は底辺だったからなあ
743: (ﾜｯﾁｮｲ 2759-xv4K [36.2.42.152]) 2019/08/24(土)18:33 ID:kpdhu7+D0(2/2) AAS
armな
744(1): (ﾜｯﾁｮｲ 2701-bCZX [126.26.34.63]) 2019/08/24(土)20:46 ID:u6taJwr50(2/3) AAS
>>727
ちゃんと計測してから物言おうな。
今のpythonで100万行のデータ取り扱っても数十秒だから。
んで持ってpythonでてきとうな処理書くのなんて数分でできる。
c/c++でまともなデータ処理コード書こうと思った恐ろしく時間かかるわ。
まともに使ったこともないくせに理論上のランタイム速度だけで議論しようとするのは
愚かなことだよ。
745: (ﾜｯﾁｮｲ 87b0-P0k6 [122.16.225.100]) 2019/08/24(土)21:04 ID:+PLwcW2w0(2/3) AAS
>今のpythonで100万行のデータ取り扱っても数十秒だから。
ちゃんと計測してから物言おうとか言いながら、処理内容も限定せずにこんなこと言っちゃう矛盾
746: (ﾜｯﾁｮｲ 2701-bCZX [126.26.34.63]) 2019/08/24(土)21:22 ID:u6taJwr50(3/3) AAS
csvでてきとうなカラム50〜60のデータを処理する場合だよ。
イチャモン付けしたいだけで何も提示しないバカは黙ってろよ。
747: (ｱｳｱｳｸｰ MM5b-xv4K [36.11.224.191]) 2019/08/24(土)21:31 ID:5wabu85BM(1/3) AAS
モデルは最新の決定木だろ。データ分析を想定してる？
748: (ﾜｯﾁｮｲ 87b0-P0k6 [122.16.225.100]) 2019/08/24(土)21:32 ID:+PLwcW2w0(3/3) AAS
だからその「処理」の内容次第で数十秒で済むのか数十時間かかるのか変わるだろ。
csvとか言っているところを見るともしかして前処理の時間の方を言っている？
そうだとしたら話がかみ合わんわけだわ。
749: (ｱｳｱｳｸｰ MM5b-xv4K [36.11.224.191]) 2019/08/24(土)21:34 ID:5wabu85BM(2/3) AAS
C言語は画像処理の分野で使われていて、
まともなところはpythonでまずモデルを作って精度を測ってから実装に移る
あとCやjavaで業務をこなしているけど、実はpythonで十分な案件も多々ある
てか、そんなのばかり
750: (ﾜｯﾁｮｲ e7da-gQHD [60.35.88.143]) 2019/08/24(土)21:53 ID:dydE/XPA0(1) AAS
ソンのarm7
751(1): (ﾜｯﾁｮｲ e7ad-9WLl [124.144.197.178]) 2019/08/24(土)22:09 ID:RkH4AGAO0(3/4) AAS
>>744
100万行？
なにいってんだ馬鹿
そんなちっちゃなデータしか扱ったことがないのか！！！？？？
ホント視野の狭いFランの馬鹿は困る
データ分析には想像力も必要なんだぞ？
ま、いまどきの若いのはExcelがちょっと使えるだけで
データサイエンティストだから(笑)
NTTデータ先端技術が地方から集めてきた馬鹿の仲間か？
752: (ｱｰｸｾｰ Sx5b-m4OL [126.165.5.76]) 2019/08/24(土)22:20 ID:VcLVuM9Px(3/4) AAS
>>751
データサイズで人を馬鹿にするのはよしなさい
そんなのは業務によるもの
あと学歴をすぐに持ち出すのはコンプレックス丸出しでみっともないですよ
私の感覚ではデータ量が増えれば増えるほどプログラミング言語より分散処理に重要度がシフトする気がしますね
753(1): (ｱｳｱｳｸｰ MM5b-xv4K [36.11.224.191]) 2019/08/24(土)22:37 ID:5wabu85BM(3/3) AAS
kaggleを大規模なコンペに参加したことある奴おる？
ブレンド勝負に突入したんだけど、特徴量の選択とモデルのパラメーターをちょくちょく変えて、沢山のcsvファイルを作ってブレンドするのが底辺の戦術でOKかね
kernelで明らかにアイディアが出尽くしていて辛い
754(1): (ｱｰｸｾｰ Sx5b-m4OL [126.165.5.76]) 2019/08/24(土)22:49 ID:VcLVuM9Px(4/4) AAS
>>753
最適化合戦になると性能のいいハードが用意できないと勝てないかなぁ
外人って飯の種となりそうな凄いカーネルをあっさり出すよね
上下前次1-新書関写板覧索設栞歴
あと 248 ﾚｽあります
ｽﾚ情報 赤ﾚｽ抽出 画像ﾚｽ抽出 歴の未読ｽﾚ
ぬこの手 ぬこTOP 0.012s