[過去ﾛｸﾞ] 【統計分析】機械学習・データマイニング26 (1002ﾚｽ)
上下前次1-新
このｽﾚｯﾄﾞは過去ﾛｸﾞ倉庫に格納されています｡
次ｽﾚ検索 歴削→次ｽﾚ 栞削→次ｽﾚ 過去ﾛｸﾞﾒﾆｭｰ
317: (ｵｯﾍﾟｹ Srbf-S1Ce [126.211.27.217]) 2019/10/19(土)21:05 ID:/qIJCw1Pr(1) AAS
kerasの経験ばかり増えたが、いきなり生のtensorflowのコードを見たりchainerを見せられたり
日々勉強だなあ
データセットもある日はnpzある日はpkl
318: (ﾜｯﾁｮｲ f67c-4dmd [113.42.68.218]) 2019/10/20(日)00:03 ID:tuWSj+Lu0(1/2) AAS
>>315
セキュリティが心配なんだろうと思う
319(1): (ｱｳｱｳｸｰ MMff-V+wO [36.11.224.130]) 2019/10/20(日)00:44 ID:Ff441XyXM(1) AAS
セキュリティというよりデータを抜かれるのが心配
特に画像処理
320(1): (ｱｳｱｳｴｰ Sa7a-S3Tg [111.239.67.162]) 2019/10/20(日)01:42 ID:nq7StZQCa(1) AAS
自然言語処理は近頃 word2vec 一択なの?
321: (ﾜｯﾁｮｲ f7ad-V+wO [124.144.197.178]) 2019/10/20(日)03:49 ID:zXnrxtUW0(1/8) AAS
>>320
word2vec一択とはどゆ意味なのかわからんけど、
それだけでは人と会話できないじゃん？
322: (ﾜｯﾁｮｲ f7ad-V+wO [124.144.197.178]) 2019/10/20(日)03:50 ID:zXnrxtUW0(2/8) AAS
うちではword2vecは使ってないよ
323: (ﾜｯﾁｮｲ 2fe6-hjwr [14.3.161.84]) 2019/10/20(日)06:36 ID:RLBjETOG0(1/2) AAS
自然言語処理スレで聞け
324: (ﾜｯﾁｮｲ f67c-4dmd [113.42.68.218]) 2019/10/20(日)06:51 ID:tuWSj+Lu0(2/2) AAS
>>319
データを抜かれるのはセキュリティの脅威の一つ
325(1): (ﾜｯﾁｮｲ 9202-V+wO [101.142.8.160]) 2019/10/20(日)08:21 ID:KT5ycvxT0(1) AAS
クラウド＝情報漏洩の可能性が高いわけではなく、
社内のアナログ上司の承認が降りないんだろう
データセンターと国内の一般的な企業のセキュリティの堅牢性を比べたら前者が勝ち
326: (ﾜｯﾁｮｲ bf01-V+wO [126.25.131.86]) 2019/10/20(日)09:51 ID:4HG1pc8w0(1/4) AAS
データ解析事業なんて当たればデカいけどリスクでかいし、
マイナス査定が通常の企業じゃ社員はやりたがらんだろうね。
クラウドにデータおきたがらないのなんてわかりやすい大企業病の例だわ。
327: (ｱｳｱｳｶｰ Saa7-KB0K [182.251.151.218]) 2019/10/20(日)10:15 ID:WLZPVulDa(1) AAS
セキュリティ万全と言いながら音声認識の音声データを勝手に社員が聞いていたりという事例もあるわけで
物理的にデータが相手側に置かれる以上はいくらでもこっそり悪用できるし内部告発以外でそれに気付くことは不可能だからな
扱うデータの性質にもよるが大企業ならすぐ炎上し得るので慎重になるのは当然だろう
328: (ﾜｯﾁｮｲ f7ad-V+wO [124.144.197.178]) 2019/10/20(日)10:18 ID:zXnrxtUW0(3/8) AAS
クラウドとローカルと、うまく使い分ければいいだけの話
言語論争と同じで、その仕事に適しているものを使うというだけの話
329: (ｱｳｱｳｸｰ MMff-V+wO [36.11.225.214]) 2019/10/20(日)10:37 ID:006B6SYsM(1/3) AAS
個人的に、ローカル側を勉強するコストは別のことに回したいかなあ…
330: (ｱｳｱｳｸｰ MMff-V+wO [36.11.225.214]) 2019/10/20(日)10:41 ID:006B6SYsM(2/3) AAS
中小でローカルサーバーを利用したがるのは、
社員たちのITに対する理解度が底辺で、データをネットに接続しただけで、
情報漏洩のリスクが発生するからだったり…
奴ら、機械学習用のPCにwinny入れちゃうとかデフォだから
331: (ﾜｯﾁｮｲ bf01-V+wO [126.25.131.86]) 2019/10/20(日)10:43 ID:4HG1pc8w0(2/4) AAS
ほとんどの場合、上の自己保身のために下にサーバーメンテのコストを押し付けてるだけだがな。
だから仕事がスケールしねーんだよ。
332: (ｱｳｱｳｸｰ MMff-V+wO [36.11.225.214]) 2019/10/20(日)11:00 ID:006B6SYsM(3/3) AAS
良く調べもしないで、"クラウドは怖いから駄目"とか言っちゃう上司か
でもいつかは海外の流れに追随するんじゃないの
333: (JP 0Hd2-ugRq [153.143.147.33]) 2019/10/20(日)11:15 ID:NNpN8hAvH(1) AAS
このスレにデータ基盤エンジニアはさすがにいないか？
データ基盤回りの技術もなかなか難しいっすね
ご多分に漏れず技術の移り変わり早いし
334: (ﾜｯﾁｮｲ f7ad-V+wO [124.144.197.178]) 2019/10/20(日)12:45 ID:zXnrxtUW0(4/8) AAS
データ基盤はNTTデータであっても
ぐちゃぐちゃになってますね。
データ分析が始まって、
何もわからないところから、
その時その時に良いと思う方法で
構築して結合するので、
現在は、もうそれはそれは恐ろしい
暗黒構造となってます。
資料を作るひまもなく付け加えるので、
資料無しのぐちゃぐちゃです。
終わってます。
335(2): (ﾌﾞｰｲﾓ MM73-vzCu [210.148.125.64]) 2019/10/20(日)12:57 ID:pEDMITRJM(1/3) AAS
オートエンコーダについて質問です
計算の負荷を考えないことを前提の場合
層の深さは深いほど良い(もしくは損をすることはない)の理解であってますか？
336(1): (ｱｳｱｳｳｰ Sa9b-KXk8 [106.154.130.6]) 2019/10/20(日)13:00 ID:xbXJ4T7Ga(1/3) AAS
>>335
深すぎるとoverfittingする可能性がある
337(2): (ﾜｯﾁｮｲ f7ad-V+wO [124.144.197.178]) 2019/10/20(日)13:03 ID:zXnrxtUW0(5/8) AAS
>>335
いいえ、違います。
オートエンコーダを使って何をするのかにもよりますけど、
結局のところ次元圧縮を「適切に」やりたいわけです。
基本的には中間層から取り出した「圧縮」されたデータを
分析に利用するわけですから、
その分析として実現したいことによって、
「適切な意味が残存している」データを中間層から
取り出したいわけです。
よって適切な層の数はやりたいことによって変わります。
ただ、オートエンコーダの応用はいろいろ発展中ですので、
どういうことをやっているのか具体体に書いていただければ
よりよいアドバイスができると思います。
338(1): (ﾌﾞｰｲﾓ MM73-vzCu [210.148.125.64]) 2019/10/20(日)13:20 ID:pEDMITRJM(2/3) AAS
>>336
返信ありがとうございます
オートエンコーダは入力と出力が同じだから過学習とかは考えなくてもいいと思ってたんですがそうでもないんですか？
339(1): (ﾜｯﾁｮｲ f7ad-V+wO [124.144.197.178]) 2019/10/20(日)13:25 ID:zXnrxtUW0(6/8) AAS
＞ オートエンコーダは入力と出力が同じ
原始的なNNとして使ってるだけなんだな
しかし入力と出力が同じとはどういう意味なんだ？
340(1): (ｱｳｱｳｳｰ Sa9b-KXk8 [106.154.130.6]) 2019/10/20(日)13:52 ID:xbXJ4T7Ga(2/3) AAS
>>338
教師データだけ丸暗記して、テストデータは復元出来なくなる
341: (ﾜｯﾁｮｲ f7ad-V+wO [124.144.197.178]) 2019/10/20(日)14:05 ID:zXnrxtUW0(7/8) AAS
データサイエンティスト名乗るやつって
みんな馬鹿だと確信できたよ
342: (ﾌﾞｰｲﾓ MM73-vzCu [210.148.125.64]) 2019/10/20(日)14:06 ID:pEDMITRJM(3/3) AAS
>>337
すみません。お返事もらってたのに見逃してました
本で理論を学んでいてオートエンコーダの層の深さは多い方がいいのか少ない方がいいのか書いていなかったので、知識浅いのに質問してみました…
適切な意味が残存するようにということで一歩ですが少し分かった気がします。具体例を色々見てみたいと思います
>>340
>>339
教師データ入れて教師データで評価するとか考えてしまって書き込んでしまったのですが、教師データとテストデータはありますよね、ありがとうございます
343: (ﾜｯﾁｮｲ 2fe6-sprL [14.3.161.84]) 2019/10/20(日)15:07 ID:RLBjETOG0(2/2) AAS
ディープラーニングが流行ってから
汎化性能ってあんまりうるさく言わなくなったよね
SVMあたりのころはやたら言及してたのに
344(3): (ｽﾌｯ Sd42-FVSl [49.106.220.168]) 2019/10/20(日)16:55 ID:5FKWmxq9d(1) AAS
DCGANによる画像生成について質問。
色んな文章の画像データを学習させたら
LSTMのように画像データとして、文章生成は可能ですか？
あと、4コマ漫画をDCGANで学習させて
意味のある4コマ漫画を生成することは可能ですか？
345: (ﾜｯﾁｮｲ b701-Rn+9 [60.86.178.93 [上級国民]]) 2019/10/20(日)18:08 ID:+KWnMamE0(1) AAS
>>344
どっちもはげしく調教師の腕前次第。
不可能ではないだろう。
346: (ｱﾒ MMab-tUn0 [218.225.236.49]) 2019/10/20(日)19:17 ID:2v7IlCoiM(1) AAS
そもそもクラウドはテクニカルタームじゃなくて単なるマーケティング用語だったよな？
AIと同じく結局はビジネス界隈で流行れば官軍ってことか
上下前次1-新書関写板覧索設栞歴
あと 656 ﾚｽあります
ｽﾚ情報 赤ﾚｽ抽出 画像ﾚｽ抽出 歴の未読ｽﾚ
ぬこの手 ぬこTOP 0.025s