[過去ﾛｸﾞ] 【統計分析】機械学習・データマイニング26 (1002ﾚｽ)
上下前次1-新
このｽﾚｯﾄﾞは過去ﾛｸﾞ倉庫に格納されています｡
次ｽﾚ検索 歴削→次ｽﾚ 栞削→次ｽﾚ 過去ﾛｸﾞﾒﾆｭｰ
819: デフォルトの名無しさん (ｱｳｱｳｴｰ Sa3f-UAPS [111.239.53.221]) [sage] 2020/01/01(水) 23:48:05.60 ID:1biaYKqja(1) AAS
さらにデータを開示してもらわなければならない
「このデータ・セットではうまくいった」
実はそのデータ・セット以外ではうまくいない
じゃあダメじゃん
よくある話だ
820: デフォルトの名無しさん (ﾜｯﾁｮｲ 6b54-hZl1 [180.235.0.69]) [] 2020/01/02(木) 07:41:44.81 ID:abNQ9/EA0(1/2) AAS
まともな論文はオープンなデータを使うか
実験に使ったデータを公開してる
JST、産総研、NICT、理研、NTTあたりはこれらもやってない
821: デフォルトの名無しさん (ｱｳｱｳｴｰ Sa3f-UAPS [111.239.53.221]) [sage] 2020/01/02(木) 09:14:28.28 ID:tOCbQ3Wha(1) AAS
オープンなデータを使っているけど
データを恣意的に選択して実験しているため
他の人がやっても再現できないというのも
よくあるパターン
別に日本だけではないが
822(1): デフォルトの名無しさん (ﾜｯﾁｮｲ 3b02-pIXJ [58.70.65.108]) [sage] 2020/01/02(木) 11:12:59.42 ID:VAl9vceh0(1) AAS
データの選択によって再現性が失われているなら、抽出データが偏ってるし、
普通は検証段階で確認する
しかし、精度の高いモデル作りました→実践投入
で、新規データを食わせたら精度が右肩下がりって良くある光景
823: デフォルトの名無しさん (ｱｳｳｨﾌ FF0f-p4uH [106.171.74.125]) [] 2020/01/02(木) 14:08:56.51 ID:fRqsjLPxF(1) AAS
>>812
箱根マラソンもビッグデータωで戦ってるそうだ
https://toyokeizai.net/articles/-/321510?page=3
824: デフォルトの名無しさん (ﾜｯﾁｮｲ 0f10-qQU+ [153.131.102.129]) [] 2020/01/02(木) 14:23:33.66 ID:CkITwvFM0(1) AAS
>>822
よく言われる過学習になってると思う
過学習かそうでないかは未知データで訓練と同程度の性能が出るかどうか以外の判別方法ある？
825: デフォルトの名無しさん (ﾜｯﾁｮｲ ab01-FlZP [126.25.131.86]) [sage] 2020/01/02(木) 19:01:13.39 ID:GkTEMuMY0(1/2) AAS
ない。あったらみんな飛びついてる。
826: デフォルトの名無しさん (ﾜｯﾁｮｲ ab01-FlZP [126.25.131.86]) [sage] 2020/01/02(木) 19:18:29.62 ID:GkTEMuMY0(2/2) AAS
そういうわかりやすい汎化性能を表す指標ってものがあったら、それをロスに組み込めばいいわけだ。
だがそんな状況にはなってない。
827(2): デフォルトの名無しさん (ﾜｯﾁｮｲ 3b09-37P1 [122.223.158.203]) [sage] 2020/01/02(木) 22:19:42.02 ID:KXPhUsay0(1) AAS
希望の結果に成らなかった事柄全て、過学習と言ってしまうことのないように
828: デフォルトの名無しさん (ﾜｯﾁｮｲ 6b54-BJMr [180.235.0.69]) [] 2020/01/02(木) 23:09:33.24 ID:abNQ9/EA0(2/2) AAS
日本の研究期間は
本当の意味で研究に寄与してない
松尾豊あたりがちゃんと言わなきゃダメだろ
829: デフォルトの名無しさん (ﾜｯﾁｮｲ ab01-FlZP [126.25.131.86]) [sage] 2020/01/03(金) 09:51:46.65 ID:JJK+Gv110(1/2) AAS
そんな自分を全否定するようなこと言えないだろw
830: デフォルトの名無しさん (ｱｳｱｳｴｰ Sa3f-BfT8 [111.239.153.7]) [sage] 2020/01/03(金) 10:33:40.29 ID:dIGkMlOva(1) AAS
PyTorchとTensorFlow - 学界と産業界で有力なMLフレームワークはどちらか
https://www.infoq.com/jp/news/2019/12/State-Machine-Learning-fw-2019
831(1): デフォルトの名無しさん (ｱｳｳｨﾌ FF0f-p4uH [106.171.76.178]) [] 2020/01/03(金) 11:57:25.32 ID:lHIykz7yF(1) AAS
>>827
ほんそれ
日本の教育構造の欠陥だな
832: デフォルトの名無しさん (ﾜｯﾁｮｲ ab01-CjBp [126.161.32.147]) [] 2020/01/03(金) 15:30:23.04 ID:W71Q+2T/0(1) AAS
>>831
主語デカ
833: デフォルトの名無しさん (ﾜｯﾁｮｲ 8bda-UAPS [118.16.214.117]) [sage] 2020/01/03(金) 16:10:33.70 ID:jtHjGBI50(1) AAS
粗探し <<<< 欠点の解消の実行
834: デフォルトの名無しさん (ｱｳｱｳｶｰ Sacf-EDwQ [182.251.142.17]) [sage] 2020/01/03(金) 17:04:32.60 ID:WpaKhE1wa(1) AAS
過学習の判定は当然ながら一定数の推論結果を総合して行うわけで個別の推論結果が希望通りかどうかなんてことはそもそも眼中にない
>>827は過学習が何なのか、どうやって過学習か否か判定するのかすら理解していないのだろう
835(3): デフォルトの名無しさん (ﾜｯﾁｮｲ 6b54-hZl1 [180.235.0.69]) [sage] 2020/01/03(金) 17:59:55.69 ID:gVRcdqQw0(1) AAS
松尾豊にダメ元で意見を送ってみることにした
実装とデータをgithubで公開することを基本にしろ、と
そうしないと日本の研究は停滞したままだ、と
836: デフォルトの名無しさん (ﾜｯﾁｮｲ 0f1f-s+Pb [153.206.149.90]) [sage] 2020/01/03(金) 18:29:08.35 ID:6jkaCR+Q0(1) AAS
>>835
松尾に送ってどうするよ
837: デフォルトの名無しさん (ﾜｯﾁｮｲ efda-37P1 [223.217.162.112]) [sage] 2020/01/03(金) 18:34:20.22 ID:b+HkQOrh0(1/2) AAS
繰り返しますが、うまくいかなかった事柄を過学習とラベリングし、考えることを止めないように。
過学習って言葉は使用禁止にしたいぐらいですね
838: デフォルトの名無しさん (ﾜｯﾁｮｲ efda-37P1 [223.217.162.112]) [sage] 2020/01/03(金) 18:37:58.64 ID:b+HkQOrh0(2/2) AAS
>>835
松尾って奴には何も期待してないから別にやらなくてよい
839: デフォルトの名無しさん (ﾜｯﾁｮｲ 7bb2-GLZk [202.221.186.197]) [sage] 2020/01/03(金) 19:54:17.54 ID:hATKQL5q0(1) AAS
線形代数とか難しいんだけど、ライブラリ使いこなすだけだとやっぱりしぬ？
840: デフォルトの名無しさん (ﾜｯﾁｮｲ ab01-FlZP [126.25.131.86]) [sage] 2020/01/03(金) 21:15:55.83 ID:JJK+Gv110(2/2) AAS
機械学習は置いといても線形代数は理解してた方が今後の人生のためにはなる。
841: デフォルトの名無しさん (ﾜｯﾁｮｲ 3b02-pIXJ [58.70.65.108]) [sage] 2020/01/03(金) 22:46:08.59 ID:kIdsqT260(1) AAS
>>835
経産省と文部科学省に言うべきだが、
>>835が進言するより、松尾や落合が言った方が聞く耳を持って貰える
842: デフォルトの名無しさん (ﾜｯﾁｮｲ 9f90-pIXJ [59.85.19.163]) [sage] 2020/01/04(土) 01:07:26.61 ID:+fj4YEmI0(1) AAS
聞いてるふりをして聞き流してますよ
843: デフォルトの名無しさん (ﾜｯﾁｮｲ 6b54-hZl1 [180.235.0.69]) [] 2020/01/04(土) 08:10:20.67 ID:0FWfySRB0(1/2) AAS
PFNの連中でもいいけど
日本のAIベンチャー（笑）から建設的な意見が出てこないのも悲しい
やっぱり山師なんだろう
844(1): デフォルトの名無しさん (ﾜｯﾁｮｲ eb5f-UAPS [14.8.42.192]) [sage] 2020/01/04(土) 10:56:49.96 ID:GvN9lrG00(1) AAS
実装を公開するといっても、実装した人の特異な環境、設定で
やっているかもしれないし。次はそれをもっと標準的な環境で
公開しろということになってきりがないような気がするが
845: デフォルトの名無しさん (ﾌﾞｰｲﾓ MM8f-nmBI [210.149.255.76]) [sage] 2020/01/04(土) 11:08:32.58 ID:uVSKRwzpM(1/2) AAS
まずは米国並みに公開すればいい。問題が出てきたら他国でも問題になるだろうから皆で考えればいいさ
846(1): デフォルトの名無しさん (ﾜｯﾁｮｲ 3bdd-BJMr [122.249.73.11]) [] 2020/01/04(土) 11:41:58.28 ID:ENDwxYLV0(1/2) AAS
公開するのってキリスト教的な考えなのかな
寄付みたいな
日本はどうも閉鎖的
847: デフォルトの名無しさん (ﾜｯﾁｮｲ 0f10-qQU+ [153.131.102.129]) [] 2020/01/04(土) 11:42:29.12 ID:j2BUyZ6N0(1/3) AAS
複数のデータセットでエラー率を測定して
その母比率を区間推定して
下限値が要求するレベルを超えているかどうかで
そのモデルを採用するか否か判別する方法はどうか
エラー率を他の指標にしてもいいかもしれない
848: デフォルトの名無しさん (ﾜｯﾁｮｲ 0f10-qQU+ [153.131.102.129]) [] 2020/01/04(土) 11:43:40.22 ID:j2BUyZ6N0(2/3) AAS
過学習しているモデルなら
エラー率の分散が大きくなると予想して
区間推定の区間が広くなって
下限値が下がると思う
849(1): デフォルトの名無しさん (ﾜｯﾁｮｲ ab01-FlZP [126.25.131.86]) [sage] 2020/01/04(土) 11:56:52.06 ID:NL29rqkc0(1/4) AAS
複数のデータセットをそんな簡単に用意できるわけないだろ。
クロスバリデーションからやり直し。
850: デフォルトの名無しさん (ﾌﾞｰｲﾓ MM8f-nmBI [210.149.255.76]) [sage] 2020/01/04(土) 11:59:21.87 ID:uVSKRwzpM(2/2) AAS
>>846
科学的なものではないか
材料系の実験論文は、材料と手順を書いても追試困難なものも多いそうな
計算機上で出来る実験はエビデンスとしてソースが使えるから、公開したら説得力が増して良いことばかり
851: デフォルトの名無しさん (ﾜｯﾁｮｲ ab01-FlZP [126.25.131.86]) [sage] 2020/01/04(土) 12:19:30.68 ID:NL29rqkc0(2/4) AAS
問題は説得力と信頼性を得ても金にならんてことだけどね。
852: デフォルトの名無しさん (ｱｳｳｨﾌ FF0f-p4uH [106.171.67.82]) [] 2020/01/04(土) 12:31:23.41 ID:trUJS7QSF(1) AAS
線形代数が難しいって言ってる人に聴きたいんだが
具体的にどの辺で詰まってるの？
853(1): デフォルトの名無しさん (ﾜｯﾁｮｲ efab-nmBI [39.111.85.105]) [sage] 2020/01/04(土) 12:33:42.39 ID:n3QqNFMv0(1) AAS
論文の説得力が増しても給料上がったりに繋がらないなら、研究者の評価の仕方が違うんかね
お役所はどこを見てるのか
854: デフォルトの名無しさん (ﾜｯﾁｮｲ cb01-UAPS [60.120.23.126]) [sage] 2020/01/04(土) 13:01:13.27 ID:Eq0fd+t90(1/4) AAS
随伴行列とか
855: デフォルトの名無しさん (ｱｳｱｳｳｰ Sa0f-CjBp [106.154.136.90]) [] 2020/01/04(土) 13:12:18.47 ID:lipfO/3va(1) AAS
>>844
イメージも一緒に公開するまでだ
856(1): デフォルトの名無しさん (ﾜｯﾁｮｲ 0f10-qQU+ [153.131.102.129]) [] 2020/01/04(土) 13:20:23.20 ID:j2BUyZ6N0(3/3) AAS
>>849
訓練に必要なデータ数はどの程度か目安を計算する式ある？
テスト用ならそれよりもっと少なくていいんじゃね？
857: デフォルトの名無しさん (ﾜｯﾁｮｲ 9fb3-Hx/H [125.173.52.11]) [] 2020/01/04(土) 14:13:41.19 ID:CQ4m6M+L0(1/2) AAS
教育やってるけど難しいと言ってる人は大抵固有値問題で引っかかる
858: デフォルトの名無しさん (ｱｳｱｳｳｰ Sa0f-k9eQ [106.130.217.133]) [sage] 2020/01/04(土) 14:39:53.48 ID:eKUy87rqa(1) AAS
固有値で引っかかり
ジョルダン標準形で完全挫折
859: デフォルトの名無しさん (ﾜｯﾁｮｲ 8bda-UAPS [118.18.6.225]) [sage] 2020/01/04(土) 15:16:22.42 ID:zJPV7nPe0(1) AAS
固有値では引っかからんだろ、ジョルダン標準形なら分かるが
860: デフォルトの名無しさん (ﾜｯﾁｮｲ 8b2c-EDwQ [118.11.212.169]) [sage] 2020/01/04(土) 16:07:21.47 ID:+gXTwHr30(1) AAS
線形代数は大抵の大学の講義がひたすら定理の証明をなぞるだけで何のためにやってるのか説明しないからいつしか付いていく気が失せるのが問題
861(1): デフォルトの名無しさん (ﾜｯﾁｮｲ cb01-uetj [60.86.178.93]) [sage] 2020/01/04(土) 16:55:02.67 ID:dVmT9Zd40(1/3) AAS
>>853
何本かいたか＆何回発表したか しかかぞえてないぉ
だから
プレデター（ハゲタカ）ジャーナルとかプレデターカンファレーションがわらわらわー
862: デフォルトの名無しさん (ﾜｯﾁｮｲ 6b54-BJMr [180.235.0.69]) [] 2020/01/04(土) 17:12:16.04 ID:0FWfySRB0(2/2) AAS
じゃなくて
研究者としての矜持くらい持てよ
863: デフォルトの名無しさん (ﾜｯﾁｮｲ cb01-uetj [60.86.178.93]) [sage] 2020/01/04(土) 17:15:40.43 ID:dVmT9Zd40(2/3) AAS
矜持と予算がケンカする現状なのー
864: デフォルトの名無しさん (ｱｳｱｳｶｰ Sacf-EDwQ [182.251.146.88]) [sage] 2020/01/04(土) 17:58:28.14 ID:UI0ynszPa(1) AAS
正当な評価を受けたいまともな研究者は海外へ出ていくだけ
865: デフォルトの名無しさん (ｴﾑｿﾞﾈ FFbf-37P1 [49.106.174.144]) [sage] 2020/01/04(土) 19:20:25.08 ID:mrNm0sQkF(1/9) AAS
ロジック/ロジカルシンキング/論理的思考と一般的に呼ばれるもので物事を解決しようとすると、基本的な問題解決のための方法は
帰納法によるアプローチ
演繹法によるアプローチ
この二つの何れかのアプローチに分けられる。
866: デフォルトの名無しさん (ｴﾑｿﾞﾈ FFbf-37P1 [49.106.174.144]) [sage] 2020/01/04(土) 19:24:33.17 ID:mrNm0sQkF(2/9) AAS
前者は、これまでの実績/経験則を元に一般法則を推定しようとするアプローチである。
一方後者は、確固たる前提/原理原則/一般規格から、確固たる結論を得る方法である。
867: デフォルトの名無しさん (ｴﾑｿﾞﾈ FFbf-37P1 [49.106.174.144]) [sage] 2020/01/04(土) 19:27:21.07 ID:mrNm0sQkF(3/9) AAS
例えば、ハイパーパラメータを弄って一定の効果・傾向を掴み、それを元に上手くいった/いかないを結論付けようとするのは帰納法による推論である
868(1): デフォルトの名無しさん (ｴﾑｿﾞﾈ FFbf-37P1 [49.106.174.144]) [sage] 2020/01/04(土) 19:33:21.25 ID:mrNm0sQkF(4/9) AAS
他方、小学1年の算数の例であるが…
1＋1は2である。
これは、小学生1年生であろうが学校の先生であろうが、会社の社長であろうが一国の首相であろうが同じ答えを答えるだろう。
869(1): デフォルトの名無しさん (ﾌﾞｰｲﾓ MM7f-nmBI [163.49.211.159]) [sage] 2020/01/04(土) 19:34:05.47 ID:iP+F2XtLM(1) AAS
>>861
引用数も評価されると思ってた
引用稼ぐにはソース公開はいいと思うけどなあ
870(1): デフォルトの名無しさん (ｴﾑｿﾞﾈ FFbf-37P1 [49.106.174.144]) [sage] 2020/01/04(土) 19:37:44.95 ID:mrNm0sQkF(5/9) AAS
ただし、
数字を十進法ではなく二進法で表せば1+1=10である。
他に、
1＋1の『+』の加算の定義を『×』乗算の定義と入れ換えれば1+1＝1である。
あるいは、
2という数字の定義を5と入れ換えれば1+1＝5である。
871(1): デフォルトの名無しさん (ｴﾑｿﾞﾈ FFbf-37P1 [49.106.174.144]) [sage] 2020/01/04(土) 19:39:43.23 ID:mrNm0sQkF(6/9) AAS
加算の定義、数字の定義、数の定義を全て正しいものと仮定して始めて1+1は2となる。
872: デフォルトの名無しさん (ｴﾑｿﾞﾈ FFbf-37P1 [49.106.174.144]) [sage] 2020/01/04(土) 19:41:39.97 ID:mrNm0sQkF(7/9) AAS
ここの人は是非、自分のやっていることが前者で進めているのか、後者で進めていることなのか、よく考えてほしい
873: デフォルトの名無しさん (ｴﾑｿﾞﾈ FFbf-37P1 [49.106.174.144]) [sage] 2020/01/04(土) 19:47:32.97 ID:mrNm0sQkF(8/9) AAS
帰納法で得られた結果はあくまでも推定の域を出ない。
例え10回やって10回ともいい結果が出たとしても11回目に100%よい結果が出るかどうかは保証はない。
874: デフォルトの名無しさん (ｴﾑｿﾞﾈ FFbf-37P1 [49.106.174.144]) [sage] 2020/01/04(土) 19:50:57.56 ID:mrNm0sQkF(9/9) AAS
他方、演繹法は絶対的・普遍的な解を得ることができる。
これは非常に強烈なロジックなのだが、残念ながら日本ではこのアプローチを重視する人材が非常に少ない、というかいない
875: デフォルトの名無しさん (ﾜｯﾁｮｲ 9fb3-Hx/H [125.173.52.11]) [] 2020/01/04(土) 19:52:14.75 ID:CQ4m6M+L0(2/2) AAS
公衆無線LANで何寒いこと書いてるねん
876(1): デフォルトの名無しさん (ﾜｯﾁｮｲ 3bdd-BJMr [122.249.73.11]) [] 2020/01/04(土) 20:19:20.64 ID:ENDwxYLV0(2/2) AAS
ねー
文系出身のワナビーだろう
直感はどちらに分類されるのだろうね
877: デフォルトの名無しさん (ﾜｯﾁｮｲ cb01-uetj [60.86.178.93]) [sage] 2020/01/04(土) 20:27:40.67 ID:dVmT9Zd40(3/3) AAS
>>869
そういえばそんなのもあったが
だいたいはお友達ｗ同士で相互に引用しあって一蓮托生というね もうね
878: デフォルトの名無しさん (ﾜｯﾁｮｲ 3b09-37P1 [122.223.158.203]) [sage] 2020/01/04(土) 20:43:29.49 ID:m+tPynmQ0(1/7) AAS
>>876
帰納法
879: デフォルトの名無しさん (ｱｳｱｳｴｰ Sa3f-UAPS [111.239.66.98]) [sage] 2020/01/04(土) 20:52:46.32 ID:YBqf4hfGa(1) AAS
日本での研究者の評価というと、真っ先に思い浮かぶのが科研費
過去の論文の数を基に、今後の計画を立てて予算申請する
一応審査しているのは専門家
専門性の高い論文を書いているかどうかが評価の基準
情報公開は・・・評価されるのかな?
そういうのを書く項目がないような気がする
880: デフォルトの名無しさん (ﾌﾞｰｲﾓ MM8f-GLZk [210.149.253.43]) [sage] 2020/01/04(土) 21:56:53.64 ID:xLbjEwkrM(1) AAS
君たちG検定はとるの？
881(2): デフォルトの名無しさん (ﾜｯﾁｮｲ ab01-FlZP [126.25.131.86]) [sage] 2020/01/04(土) 22:06:24.08 ID:NL29rqkc0(3/4) AAS
>>856
そんなものはない。
あってもVC次元使った奴とかバウンドが実際のデータ数よりも圧倒的に多いものしか計算できなくて
全く使い物にならん。
テストデータのサンプル数も何回か試して精度が安定する個数に設定するってのが現状。
この仕事、やってない奴ほど理論でなんとかなると思ってんだよな。
そこが実際とのギャップになってめんどくさい議論を増やしてる。
882(1): デフォルトの名無しさん (ﾜｯﾁｮｲ cb01-UAPS [60.120.23.126]) [sage] 2020/01/04(土) 22:16:11.54 ID:Eq0fd+t90(2/4) AAS
相対性理論は帰納法で導かれたよ
883: デフォルトの名無しさん (ﾜｯﾁｮｲ 3b09-37P1 [122.223.158.203]) [sage] 2020/01/04(土) 22:31:38.39 ID:m+tPynmQ0(2/7) AAS
相対性理論は
仮説推定⇒演繹法による検証⇒ローレンツ変換不変の前提のもとで100%正しい
884: デフォルトの名無しさん (ﾜｯﾁｮｲ 3b09-37P1 [122.223.158.203]) [sage] 2020/01/04(土) 22:34:59.55 ID:m+tPynmQ0(3/7) AAS
仮説推定の検証が実験のみか理論かで分かれる
885(1): デフォルトの名無しさん (ﾜｯﾁｮｲ 3b09-37P1 [122.223.158.203]) [sage] 2020/01/04(土) 22:36:39.92 ID:m+tPynmQ0(4/7) AAS
>>881
それはお前及びお前が出会ってきた人間がヘボいだけ
886: デフォルトの名無しさん (ﾜｯﾁｮｲ ab01-FlZP [126.25.131.86]) [sage] 2020/01/04(土) 22:39:40.66 ID:NL29rqkc0(4/4) AAS
>>885
そうだな。お前みたいなヘボイ奴ばっか相手にしてる。
887: デフォルトの名無しさん (ﾜｯﾁｮｲ cb01-UAPS [60.120.23.126]) [sage] 2020/01/04(土) 22:41:53.90 ID:Eq0fd+t90(3/4) AAS
例えば一般相対性理論は慣性質量と重力質量は等価である等の
小さな原理から大きな理論を構築した帰納的思考によるもの
888: デフォルトの名無しさん (ﾜｯﾁｮｲ 3b09-37P1 [122.223.158.203]) [sage] 2020/01/04(土) 22:45:01.46 ID:m+tPynmQ0(5/7) AAS
だから仮説推定の後すぐに演繹法による検証をやってるのがアインシュタイン
889: デフォルトの名無しさん (ﾜｯﾁｮｲ 3b09-37P1 [122.223.158.203]) [sage] 2020/01/04(土) 22:46:21.57 ID:m+tPynmQ0(6/7) AAS
実験やってないんだよ
890(1): デフォルトの名無しさん (ﾜｯﾁｮｲ cb01-UAPS [60.120.23.126]) [sage] 2020/01/04(土) 23:11:36.37 ID:Eq0fd+t90(4/4) AAS
実験したとかしないとか関係ないし
891: デフォルトの名無しさん (ﾜｯﾁｮｲ 3b09-37P1 [122.223.158.203]) [sage] 2020/01/04(土) 23:15:56.70 ID:m+tPynmQ0(7/7) AAS
？？
892: デフォルトの名無しさん (ﾜｯﾁｮｲ ab27-eg9S [164.70.253.210]) [sage] 2020/01/05(日) 06:22:18.52 ID:+jir1/5X0(1/3) AAS
自然言語処理のツールの使い方を覚えたいんですが
具体例のあるブログ記事ってないでしょうか
keras とか ALBERT とか tensorflow とかでてくるんですが
どれもインストール方法とかの説明はあるんですが
はじめからセットしてあるモデルに対して精度を出力して終わりみたいなブログ記事ばかりで
実際に日本語で質問文を投げてAIが返答するようなプログラムの書き方みたいなのが一切出てこないです
どうやって勉強すればいいんでしょうか
情報系の大学院生でプログラムはそこそこ経験があるんですが
AIに関しては原理を講義でならっただけでtensorflow すら使ったことがないレベルです
もうじき就活がはじまるのでAIが使えるってだけで有利になるらしいので
サンプルシステムを作ってみたいと思ってます
893(1): デフォルトの名無しさん (ﾜｯﾁｮｲ 0f63-bcBw [153.218.137.102]) [] 2020/01/05(日) 06:28:31.48 ID:kv6ApXZt0(1/4) AAS
それは世間的には基礎的かもしれないが
現行のAIはそこまで対応してないだろ
文書の内容を機械が理解するのは高度
とりあえず日本→英語の翻訳を実装してみれば手がかり、オリジナリティを得られるのでは?
一般的な、唯一の手法はないという前提だが、じぶんがしらないだけかもしれないが
894: デフォルトの名無しさん (ﾜｯﾁｮｲ 0f63-bcBw [153.218.137.102]) [] 2020/01/05(日) 06:35:30.27 ID:kv6ApXZt0(2/4) AAS
2019/08/19 05:01
AI翻訳が人間超え、言葉の壁崩壊へ
1人に1台、自動翻訳機、多言語“通訳”がポケットに
第1部：市場動向
https://tech.nikkeibp.co.jp/atcl/nxt/mag/ne/18/00046/00001/
2019/08/20 05:02
AI翻訳が人間超え、言葉の壁崩壊へ
トランスフォーマー時代到来、翻訳技術から汎用言語系AIに
第2部：技術動向
https://tech.nikkeibp.co.jp/atcl/nxt/mag/ne/18/00046/00002/
895: デフォルトの名無しさん (ﾜｯﾁｮｲ 0f63-bcBw [153.218.137.102]) [] 2020/01/05(日) 06:41:07.68 ID:kv6ApXZt0(3/4) AAS
総務省・NICT主催「多言語音声翻訳アイデアコンテスト」(第2回)優秀賞決定！
多言語音声翻訳コンテスト運営事務局 2019年12月19日
総務省と国立研究開発法人情報通信研究機構（NICT）は、12月14日（土）TEPIAホールにて、
多言語音声翻訳技術の更なる普及や多種多様な翻訳サービスの出現を加速するため、
世界の「言葉の壁」をなくす新しいアイデアを募集する「多言語音声翻訳アイデアコンテスト」（第2回）審査会及び表彰式を開催いたしました。
https://prtimes.jp/main/html/rd/p/000000002.000050519.html
896: デフォルトの名無しさん (ﾌﾞｰｲﾓ MM0f-80IA [202.214.231.24]) [sage] 2020/01/05(日) 06:55:10.09 ID:24cr/O3JM(1) AAS
機械学習だと固有値って教本にやたら出てくるけど具体的にどこで使うの？主成分分析だけ？
897(1): デフォルトの名無しさん (ﾜｯﾁｮｲ ab27-eg9S [164.70.253.210]) [sage] 2020/01/05(日) 07:05:39.44 ID:+jir1/5X0(2/3) AAS
>>893
ツールを使うだけではBOT同志で会話するっていうのは無理で
かなり高度なチューニングの知識？がいるってことなんでしょうか
ライブラリに適当な文章大量に流し込めば勝手に知識獲得してしゃべりだすものかと思ってました
898: デフォルトの名無しさん (ﾜｯﾁｮｲ 0f63-bcBw [153.218.137.102]) [] 2020/01/05(日) 07:15:11.42 ID:kv6ApXZt0(4/4) AAS
人工知能が2019年センター試験の英語筆記本試験で185点を獲得 2019年11月19日
人工知能プロジェクト「ロボットは東大に入れるか」の一環として、大学入試センター試験の英語筆記科目に挑戦した結果、185点(偏差値64.1)の成績を収めた。
NTTコミュニケーション科学基礎研究所(NTT CS研)ではこのプロジェクトを自然言語処理および知識処理の基礎研究を進めるベンチマークとして捉え、自動解答に関する知見を積み重ねてきた。
近年は深層学習に基づく文書読解技術が進展しており、そのなかの最新技術であるXLNetは、大規模テキストによる事前学習をベースモデルに、問題の性質に合わせた移転学習を施すことで、異なる種類の問題を比較的少量のデータから効率的に解くことを可能にした。
しかし、学習に利用できるデータが大きく不足している問題や、解答に辞書的な情報が不可欠な問題では、十分な精度の解答が得られなかった。
今回NTT CS研は以下の点で改善を施し、過去3年間のセンター本試験/追試験に対して適用した結果、安定して偏差値60以上を達成したという。
不要文除去問題の高精度化
機械学習は正解と不正解のデータの両方を入力して学習するが、文章から不要な文を見つける比較的新しい「不要文除去問題」には適用できない。
というのも、通常の文章には不要な文が含まれておらず、学習に用いるデータを集めることが難しいためだ。このため従来のAIでは、本試験/追試験で15問中6問しか正解できなかった。
そこで、不要文を含まない通常の文章から、文の順序を組み替えて擬似的に不自然な流れを作成することで、大量の不要文除去問題を自動作成する手法を考案。
これにより15問すべて正答できたという。また、過去問や独自作成問題からなるベンチマークデータにおいても、正答率を60%から86%までに高められた。
https://pc.watch.impress.co.jp/docs/news/1219388.html
899: デフォルトの名無しさん (ﾜｯﾁｮｲ 0f10-qQU+ [153.131.102.129]) [] 2020/01/05(日) 13:14:15.07 ID:5vFDsLtv0(1/6) AAS
>>881
ないならつくるのが研究者の課題じゃ無いのかな？
900: デフォルトの名無しさん (ﾜｯﾁｮｲ 0f10-qQU+ [153.131.102.129]) [] 2020/01/05(日) 13:16:19.91 ID:5vFDsLtv0(2/6) AAS
科学って帰納的に仮説を立てて実証することの繰り返しじゃね？
その仮説を立てたりどんな実証方法があるかを考えたりするのにこれまでに判っている事を演繹的に適用して論理展開する
両方の思考が必要だと思う
901: デフォルトの名無しさん (ﾜｯﾁｮｲ 0f10-qQU+ [153.131.102.129]) [] 2020/01/05(日) 13:17:44.79 ID:5vFDsLtv0(3/6) AAS
>>882
時間や空間が絶対的なものではなくて光の速さが絶対的だと言う仮定を元に演繹的に論理展開していったものだと理解している
902: デフォルトの名無しさん (ﾜｯﾁｮｲ 0f10-qQU+ [153.131.102.129]) [] 2020/01/05(日) 13:19:41.39 ID:5vFDsLtv0(4/6) AAS
>>890
あなたはそうかもしれないけど世の中的には
実験で確認されて初めてノーベル賞もらったりしてるけどな
ヒッグス粒子もそうだったし
903: デフォルトの名無しさん (ﾜｯﾁｮｲ 9bda-UAPS [114.185.50.145]) [sage] 2020/01/05(日) 13:31:19.77 ID:98+Qbn7z0(1/2) AAS
マウント合戦
904(1): デフォルトの名無しさん (ﾌﾞｰｲﾓ MM7f-nmBI [163.49.211.159]) [sage] 2020/01/05(日) 13:34:07.84 ID:/FsL/PEZM(1) AAS
物理は実験が主だよ
アインシュタインみたいな理論屋は凄いけど実験で確認出来なかったら只の妄想
905: デフォルトの名無しさん (ﾜｯﾁｮｲ 9bda-UAPS [114.185.50.145]) [sage] 2020/01/05(日) 13:41:29.59 ID:98+Qbn7z0(2/2) AAS
イタチ野郎
906(1): デフォルトの名無しさん (ﾜｯﾁｮｲ 0f10-qQU+ [153.131.102.129]) [] 2020/01/05(日) 14:55:53.83 ID:5vFDsLtv0(5/6) AAS
>>904
湯川博士とか理論物理で進展した領域もあると思う
実験で確認されないとただの仮説だけど
907(1): デフォルトの名無しさん (ﾜｯﾁｮｲ cb01-uetj [60.86.178.93]) [sage] 2020/01/05(日) 15:01:35.73 ID:Xx30ZH0k0(1) AAS
>>897
(ヾﾉ･∀･`)ﾅｲﾅｲ
大量に話しかけてやれば
そのうち
それっぽい応答するようになる、かもしれない
日本語対応Python3系のコードっていうと
ちょっと古いが、
unmoっていうのがある。
探して読んでインスコして遊んでみれ。
908(2): デフォルトの名無しさん (ﾜｯﾁｮｲ ef1d-iOMu [143.189.31.12]) [] 2020/01/05(日) 15:38:21.14 ID:rjC1FbEm0(1) AAS
ガチ勢はフツーの線形代数じゃなくて、行列の微分が自然に出てくる領域で、
一般相対論とスキルセットで親和性が高かったりする。
909(1): デフォルトの名無しさん (ﾌﾞｰｲﾓ MMbf-eGyC [49.239.69.93 [上級国民]]) [sage] 2020/01/05(日) 17:38:18.20 ID:qqN6BGPlM(1) AAS
>>906
もちろん理論も大事なんだけど、物理の場合は理論がいくら発展しても実験で確かめられないと意味がないという風潮があるよ
電磁気力、弱い核力、強い核力を統一する大統一理論の有力候補の超対称性理論ってやつも、多分理論としてはかなり綺麗にまとまってるんだと思うけど、超対称性粒子が全然実験で検出されないからなかなか立場的に厳しいみたい
重力まで統一する万物の理論に関しては、例えば超弦理論なんかだと決めるべきパラメータが多すぎて、また実験も惑星規模の加速器を作ったりしなきゃいけないらしく、現実的にこの世界に適合する超弦理論が得られるかというと怪しいみたいで、物理学の仮説として取り扱うのすら反対意見があるらしいよ
910: デフォルトの名無しさん (ﾜｯﾁｮｲ efab-nmBI [39.111.85.105]) [sage] 2020/01/05(日) 17:57:18.05 ID:ZpTtXk4N0(1) AAS
>>909
風潮じゃなくてニュートン以来の原則が実験ですよ
何故か物理は数式で表せて、しかも美しい数式になるという所から、ここ100年ちょっとは美しさという指標で、理論だけでもドンドン発展させられたのさ
911: デフォルトの名無しさん (ﾜｯﾁｮｲ efda-37P1 [223.217.162.112]) [sage] 2020/01/05(日) 18:08:53.21 ID:qL+E1kAs0(1/3) AAS
実験検証でのデメリットとしては、実験でよい結果が得られた⇒だから正しい⇒終わり
としてしまう人が発生すること。
たまたま偶然よい結果がでただけの可能性を疑わない人がいるんですよね。
○-○aveなんかはその最たる例ですね
912: デフォルトの名無しさん (ｱｳｱｳｳｰ Sa0f-qQU+ [106.154.126.11]) [] 2020/01/05(日) 19:11:04.25 ID:aadHI+RPa(1) AAS
アニーリング方式は100%最適解が求まる類のものではないんじゃないの？
量子の振る舞いの結果を計算結果とみなすってことだろうし
量子ゲート方式なら論理演算ができるのかもしれないけど
ノイマン型でも誤り訂正とかしないとミスは起きるし
量子ビットも誤り訂正とかの技術が確立されてきたらエラー率が下がるんじゃないかな
913: デフォルトの名無しさん (ﾜｯﾁｮｲ efda-37P1 [223.217.162.112]) [sage] 2020/01/05(日) 19:22:52.95 ID:qL+E1kAs0(2/3) AAS
＞アニーリング方式は100%最適解が求まる類のものではないんじゃないの？
そのとおり。量子アニーリングで得た結果は最適解である保証はありません。
結果だけ切り取った結果、無駄な投資を生んでしまい、日本の量子コンピュータ検討の邪魔する結果となってしまいました。
914: デフォルトの名無しさん (ﾜｯﾁｮｲ efda-37P1 [223.217.162.112]) [sage] 2020/01/05(日) 19:24:37.61 ID:qL+E1kAs0(3/3) AAS
https://www.itmedia.co.jp/news/spv/1906/03/news033.html
915(1): デフォルトの名無しさん (ﾜｯﾁｮｲ ab01-FlZP [126.25.131.86]) [sage] 2020/01/05(日) 19:43:23.83 ID:6gmeklwC0(1/2) AAS
全くすれ違いだし
そもそもお前ら実験も理論もどっちもやってねーだろ。。
916(2): デフォルトの名無しさん (ﾜｯﾁｮｲ 0f10-qQU+ [153.131.102.129]) [] 2020/01/05(日) 20:06:43.95 ID:5vFDsLtv0(6/6) AAS
組合せ最適化問題を解ければ判別問題の学習結果を
より早くより正確に得られるようになるんじゃね？
917(1): デフォルトの名無しさん (ｽｯｯﾌﾟ Sdbf-37P1 [49.98.159.214]) [sage] 2020/01/05(日) 20:07:51.30 ID:y5M6+8m0d(1/2) AAS
元々の話題の一例を語ってるだけに見えますが…
>>915は帰納法・演繹法何れで仕事をされているかたですか？
918: デフォルトの名無しさん (ｽｯｯﾌﾟ Sdbf-37P1 [49.98.159.214]) [sage] 2020/01/05(日) 20:08:34.48 ID:y5M6+8m0d(2/2) AAS
>>916
それ以上はスレ違いですね
上下前次1-新書関写板覧索設栞歴
あと 84 ﾚｽあります
ｽﾚ情報 赤ﾚｽ抽出 画像ﾚｽ抽出 歴の未読ｽﾚ AAｻﾑﾈｲﾙ
ぬこの手 ぬこTOP 0.030s