[過去ﾛｸﾞ] 人工知能ディープラーニング機械学習の数学 ★2 (1002ﾚｽ)
上下前次1-新
このｽﾚｯﾄﾞは過去ﾛｸﾞ倉庫に格納されています｡
次ｽﾚ検索 歴削→次ｽﾚ 栞削→次ｽﾚ 過去ﾛｸﾞﾒﾆｭｰ
885(1): 2020/07/22(水)04:09 ID:o4e++MjD(1/2) AAS
>>879
情報幾何学は関数空間だから可視化なんて出来るんですかね...
脳内でイメージすることすら難しいですよね
アイデアがあったらむしろ教えてほしいです＾＾
書籍は情報幾何学の新展開が定番書だと思います
位相空間は沢山ありますね
>>880
省8
886: 2020/07/22(水)04:42 ID:o4e++MjD(2/2) AAS
関数空間と表現したのは不適切だったかもしれません
幾何学的考察の対象となる確率分布の空間は関係式で書かれるものではないという点で微分幾何学の基礎で学ぶものとは違い可視化が難しいということがいいたかったのです...！
887(1): ８７９ 2020/07/22(水)11:40 ID:J4Vacr3k(1) AAS
>>885
ありがとうございます
これから勉強するところなのでよくわかりませんが、
我々は普段から3+1の3DCG動画を2次元ディスプレイで観察してるじゃないですか
XYZ→RGBカラー化してそれをさらに3次元の座標点にカラーボリュームとして時間で動かすなら
6次元＋1時間次元への写像までなら可能なんじゃないですか？
gpt3でのヒントンさんコメントみたいな何千万とか何億のパラメータの可視化じゃどうしようもないでしょうけどね。
888(1): 2020/07/22(水)14:27 ID:ogHTg7VR(1) AAS
>>887
中心を原点とする単位円の方程式はx^2+y^2=1ですからxを決めればyが求まりますね
ですから可視化が簡単に出来ます
一方、正規分布の平均を代入すれば分散が直ちに決定されることはありませんから可視化は難しいというわけです＾＾
簡単に書く為には次元数に関わらず関係式が必要ということですねー
情報幾何学は可視化の技術ではなく、多くの場合、測定誤差バイアスのような難しい統計学におけるパラメーター推定の為の関数を得るフレームワークというのが私の認識ですが、それ以外にも様々な応用がされてると思います
応用の部分をもっと知りたいのですがあまり時間がないので良かったら皆さんも勉強してみてその辺教えて頂けませんか？＾＾
889: 2020/07/22(水)15:09 ID:qXz2Homy(1) AAS
動画ﾘﾝｸ[YouTube]
890: 2020/07/23(木)01:46 ID:7K9Sfx1C(1) AAS
>>888
パラメーター推定の為の関数を得るフレームワーク
という認識は同じと思います。
xを入力してyが求まる関数をdeep learningで作って
（大量の猫画像から猫認識関数を作る）
それを逆にy=0のときのxを求める関数を使って生成するのがGAN敵対生成ネットだと思っています。
（出来上がった猫認識関数にランダムなグレー画像を入力すると猫の画像が生成される）
891(1): 2020/07/25(土)00:55 ID:Tyqdc6uT(1/3) AAS
RTX2070S買えばローカルで戦える？
892: 2020/07/25(土)01:52 ID:Fp9cWtaQ(1) AAS
何と戦ってるんだ
893: 2020/07/25(土)02:58 ID:tG5eQuUg(1) AAS
自分との戦いかもしらん
894: 2020/07/25(土)10:36 ID:P/SMu1Ur(1) AAS
サイヤ人だろ
895: 2020/07/25(土)11:35 ID:7+BqQz/s(1) AAS
下手にnvidiaのtesla買うより、中古売りで7割方戻ってくるゲーミンググラボの方がマシ
896: 2020/07/25(土)13:33 ID:MWx9t2wm(1) AAS
＞ お前は毎朝起きるたびに俺に負けたことを思い出すよ＾＾
あー、ホンッとに思い出すなあ（笑）
キチガイの嘘つきの低レベルFランの、
朝鮮ゴキブリBot君は、
チョン独特の「なにもできないけど俺のほうがジャップより偉い！」的な
ことはよーくわかったよ。
ホントなにもできない朝鮮ゴキブリBot君！
省5
897(1): 2020/07/25(土)14:20 ID:2cyYdpWK(1) AAS
>>891
もっと安いグラボかCPUのみで高速に動く方が価値は高い。
898: 2020/07/25(土)16:02 ID:27MFahGa(1) AAS
>>897
つまりどーゆうことだってばよ
簡単に計算できるモデルが優秀という意味？
899: 2020/07/25(土)17:18 ID:Utk0CUxm(1) AAS
同じ成果を出すモデルなら当然計算コストが低い方が優秀
900: 2020/07/25(土)18:35 ID:Tyqdc6uT(2/3) AAS
特徴量が数万になるようなDL学習させようとしたらCPUじゃ無理でしょ
901(3): 2020/07/25(土)19:56 ID:D5avJc7l(1/2) AAS
実はそのモデルの精度は線形モデルと有意差つかなかったりして...
ブートストラップ法とかでクロスバリエーションの精度の信頼区間を計るようになると現実を知って機械学習辞めたくなるｗ
902(1): 2020/07/25(土)21:30 ID:Tyqdc6uT(3/3) AAS
>>901
特徴量エンジニアリングでかなりいい線いければ。
903: 2020/07/25(土)23:19 ID:D5avJc7l(2/2) AAS
>>902
それもうDL必要ないやんｗ
画像動画音声なら分かるけど
904: 2020/07/26(日)10:42 ID:eVtkMvlX(1/2) AAS
>>901
データ数によっては、DLより単なる重回帰のほうが結果良かったりするのはしょっちゅうありますよ。
DLが役に立つのって非線形の
関係のときだけですね。
経済データいろいろやりましたけど
圧倒的に単なる重回帰が役立つと思います。
905(3): 2020/07/26(日)11:43 ID:xoS2qxJ+(1/2) AAS
世の中の問題って圧倒的に非線形なんじゃないの？素人ですが
906(1): 2020/07/26(日)12:25 ID:lB9wxXPe(1) AAS
線形と非線形の違いって？具体例ありゅ？
907: 2020/07/26(日)13:12 ID:OkxWyAVF(1) AAS
例えば適当にググったこのサイトの真ん中編の「応力とひずみ」の例で言うと
外部ﾘﾝｸ:math-fun.net
力をかけてゆっくり歪んでる間は線形で
ビキッとヒビ行ったりズルっと滑ったりする瞬間の動きが非線形
908: 2020/07/26(日)13:14 ID:eVtkMvlX(2/2) AAS
>>906
ググッたほうが早いと思います。
909: 2020/07/26(日)13:35 ID:/C7vk7pM(1) AAS
非線形=線形でない
いわれて考えてみれば線形なんて理想論みたいなものでそれで済むのが稀な気
ある部分で線形だったり、線形で近似できたりはするんだろうが
910(2): 2020/07/26(日)13:47 ID:DMzmTixT(1/3) AAS
>>905
線形か非線形かが問題ではない
パラメトリックかノンパラメトリックかが問題
そしてノンパラメトリックは過学習が起きやすい
サンプルがめちゃくちゃ多いとき以外はクロスバリエーションでなんとかなるレベルじゃないのはバイアス-バリアンストレードオフの話を色々を調べればなんとなくそんな感じがする
画像映像音声のよくある問題はDLが今のところ圧倒的高精度だからその分野では有意差ついてそうとは思うけどもっと一般のデータマイニングでは有意差について慎重になるべきだな
一度でもいいから精度の信頼区間計ったらいいよ予想以上の結果で色々考えるのバカらしくなってくるから
911: 2020/07/26(日)13:49 ID:rLcG4cV6(1) AAS
>>905
勿論そうだが実用上線形とみなして問題無いことも多い
912: 2020/07/26(日)13:50 ID:DMzmTixT(2/3) AAS
>>910
>>901
訂正
クロスバリデーションだったｗ
913: 2020/07/26(日)14:30 ID:41+d3Yxg(1) AAS
>>905
本質は非線形でも線形近似で精度必要十分
914(1): 2020/07/26(日)14:30 ID:xoS2qxJ+(2/2) AAS
>>910
すまんな、何言ってるか分からんw
出直してきます
915: 2020/07/26(日)14:50 ID:DMzmTixT(3/3) AAS
>>914
ここは数学スレだからDLユーザーの風潮に少し否定的というか懐疑的な見方をしてる人が多いだけ
あまり考え過ぎない方がいいかも
916: 2020/07/26(日)16:00 ID:O+t3YMLT(1) AAS
ノンパラなデータをそのままライブラリにぶち込んでも
テストスコアだけが高い再現性のないモデルしか作れないのでは？
917: 2020/07/26(日)21:23 ID:Q1iiyZri(1) AAS
＞ お前は毎朝起きるたびに俺に負けたことを思い出すよ＾＾
あー、ホンッとに思い出すなあ（笑）
キチガイの嘘つきの低レベルFランの、
朝鮮ゴキブリBot君は、
チョン独特の「なにもできないけど俺のほうがジャップより偉い！」的な
ことはよーくわかったよ。
ホントなにもできない朝鮮ゴキブリBot君！
省5
918: 2020/07/27(月)18:43 ID:2I3xUck9(1) AAS
javascriptだけで簡単にAIは作れますぜ
外部ﾘﾝｸ:re-file.com
919: 2020/07/27(月)18:53 ID:vNtx9fDh(1) AAS
グロ中尉
920(1): 2020/08/07(金)18:54 ID:HONuOrp7(1) AAS
仕事でPython書いてるんでプログラミングは問題無し。
さいきっとらーんは使える。
ただ数学がにがてで、
高校の数学が怪しいところからスタートして、
偏微分、行列計算くらいはわかるようになったんですが、
ここからあとなんの本やれば、パターン認識と機械学習に太刀打ちできるようになりますか？
何冊か教えてもらえると助かります！
921: 2020/08/07(金)19:02 ID:5LxRGCW6(1/2) AAS
>>920
最初におもに勉強すること、教科書を決めてそれから必要な数学を探るほうがいい
922(1): 2020/08/07(金)19:05 ID:5LxRGCW6(2/2) AAS
数学科卒で大学院も数学で、プログラムはやらないけど基本情報、応用情報はもってるが
機械学習等が動かせばいいであれば中身の動作がどうなってるかを詳しく勉強することもないとおもうんだが
チュートリアルのみでも動かせるでしょ
923(1): ◆QZaw55cn4c 2020/08/07(金)19:44 ID:gw272rHb(1) AAS
>>922
パンピーが老後の楽しみに数学書をじっくり楽しむとすれば、どんな分野がいいでしょうか？
数?はなんとかわかります…
924: 2020/08/07(金)20:49 ID:4FpQfo0p(1/2) AAS
>>923
シナのスパイ
925: 2020/08/07(金)21:23 ID:oZh6kvdz(1) AAS
解析概論
現代数学概論
位相幾何学概論
数学の古典的名著だな
ググると今でも手に入るらしい
926: 2020/08/07(金)22:38 ID:4FpQfo0p(2/2) AAS
現代数学概説だろ
927: 2020/08/08(土)11:00 ID:noFfmCPy(1) AAS
IUT
928(1): 2020/08/08(土)13:47 ID:hwORmqbH(1) AAS
学術の巨大掲示板群 - アルファ・ラボ 外部ﾘﾝｸ:x0000.net
数学 物理学 化学 生物学 天文学 地理地学
IT 電子 工学 言語学 国語 方言 など
VM + ASM を書いた (C#, DX) * x86 ではない!
simulationライブラリで純粋な関数式プログラミングをする
UIライブラリ (C#, 2D) を作ったよ
連続と離散を統一した！
省6
929: 2020/08/08(土)14:54 ID:Lqo3p0LF(1) AAS
>>928
シナ竹
930(2): 2020/08/08(土)16:03 ID:7YEbe8TN(1) AAS
ディープラーニングの為の数学とあるが、DLに数学はいらんのでは？
数学や統計学が必要になるのは、DLが適切かも含めたモデリングの段階
931: 2020/08/08(土)21:11 ID:wOHmTuS3(1) AAS
勾配降下法しらんのか？
932(1): 2020/08/09(日)05:35 ID:jZpY6CFt(1) AAS
>>930
いわゆる数学科で習うような数学ではないわな
数値計算アルゴリズムと言った方がいいと思う
933: 2020/08/09(日)10:18 ID:uiA/gyzW(1/2) AAS
>>930
自分で計算できる必要はないけど
活性化関数見て、ああこんな感じの効果のある関数ねって理解したり
微分可能とは何かわかってoptimizerの説明みてこんなことやってるのねってわからなければ
ディープラーニングのライブラリの説明文読んでもわけわからんだろう
934: 2020/08/09(日)10:28 ID:yOL8Hbuo(1/3) AAS
>>932
数値計算ではない
935: 2020/08/09(日)15:54 ID:EBrjBl58(1/2) AAS
統計とか手順に従って計算するだけだから面白く無い
936: 2020/08/09(日)16:07 ID:yOL8Hbuo(2/3) AAS
手順のない計算が面白い
937: 2020/08/09(日)16:57 ID:Nr3Uk+92(1) AAS
ディープラーニング含めありとあらゆる計算は何らかの手順に従ってやってるだけだぞ
938(2): 2020/08/09(日)17:08 ID:EBrjBl58(2/2) AAS
知ってるよ
手順を開発するのが楽しい
手順を(特に人力で)実行するのは楽しくない
939: 2020/08/09(日)17:15 ID:yOL8Hbuo(3/3) AAS
日本語の勉強が必要
940: 2020/08/09(日)17:29 ID:uiA/gyzW(2/2) AAS
>>938
普通は○○の認識・検出などの精度を上げたい・新しく作りたいっていうのがあって
改善のためにいじるところが山ほど（ネットワークや損失関数、学習データなど）あって途方に暮れる場面の方が多いと思うけど
手順を実行するだけの状況ってどんなんだろう
授業で言われた通りに課題の学習組む感じ？そりゃつまんないわな
941(2): 2020/08/09(日)19:11 ID:aQ8abht6(1) AAS
>>938
気持ちはわかる
俺は同じ画像セットで延々とやってる
だが実際は人工知能の本質はむしろデータに内包された情報の構造にあるんじゃないかと思ってる
その辺研究やってる人いないっしょ・・・
942: 2020/08/09(日)19:17 ID:EA6aRf4j(1) AAS
>>941
構造方程式モデリングのこと？
943(1): 2020/08/10(月)12:06 ID:bqo8sxYW(1) AAS
ネットワークの組み方を少し探っていくと、
結局、人間はこう判断してる、だからこういうネットワークが有効なはずだ。
と人間観察がほとんどな気がしてる・・・
が、この解釈あってる？
944(4): 2020/08/10(月)12:37 ID:uz+Syx7O(1/2) AAS
近頃はcpuパワーを生かして
いろいろなパラメーターを乱数で振って
ものすごい試行回数を試して
一番いいのを選ぶんじゃないの?
数学の出る場面は?
945: 2020/08/10(月)12:56 ID:xQxKdDFj(1) AAS
>>944
評価基準は決めなきゃいけないでしょ
二乗誤差を極小化するのか？
尤度を最大化するのか？
どれを利用すれば、データにどのような性質を、暗に仮定する事になるのか、数学的な理解を持たなければ、意味ある分析にならない
946: 2020/08/10(月)13:26 ID:wInlBSoO(1) AAS
>>944
こんなんでも東大卒
動画ﾘﾝｸ[YouTube]
947: 2020/08/10(月)14:37 ID:4tPtqbP8(1/2) AAS
>>943
だいたいあってる。そういう仮説をダラダラ語れた方が論文にしやすい
でも実際そういう仮説が当たってんのかどうかは不明
適当なネットワークでもそれなりに働くから
948: 2020/08/10(月)14:40 ID:4tPtqbP8(2/2) AAS
>>944
ハイパーパラメータは乱数ってより総当たり全探索系
ネットワークの重みの最適化は勾配法の類
数学の出る場面は？って全てにおいて数学の計算やん
人間が計算するわけじゃなくてソフトがやるけど
949: 2020/08/10(月)14:53 ID:49C7NXd+(1) AAS
人がチューニングしなければいけない工程はライブラリの発展で減ってってるから
中途半端な数学や統計の知識は不要になってるのは事実
しかし、現実の課題は、画像認識等の定型的なものばかりじゃないので、
機械学習できる段階まで落とし込む為に深い知識が必要
950: 2020/08/10(月)16:22 ID:uz+Syx7O(2/2) AAS
それは数学の知識というか
エンコーディングの知識だよね
抽象化するという意味では
ある意味数学でもあるけど
951: 2020/08/10(月)16:27 ID:ifu45ewE(1/2) AAS
どこを見ても学習に何日何時間かかったという肝心な情報が欠落している
どんな構成でも1月も回せば収束するがそれはその方法の正当性を示しているわけではない
952: 2020/08/10(月)16:37 ID:o1DBAVtN(1) AAS
アホ参上
953: 2020/08/10(月)17:03 ID:MKRdVhsj(1) AAS
その方法の正当性とやらをなぜ全く無関係な学習時間で測れると思うのか
学習時間なんてマシン構成やライブラリ・フレームワークの向き不向きなどで何倍も変わり得る
客観的に正当性を測るには統計学に基づく方法でしかありえない
954: 2020/08/10(月)17:16 ID:ifu45ewE(2/2) AAS
二日過ぎても九割にも達せず遅いと思い、こうすれば早いと改善を入れても変わらん
調べて見れば同じ構成ひと月が3週間になる改善か俺のやり方の方が早かったとあきれ果てる
早い遅いの基準があまりに主観的に書かれていると言いたいのである
955: 2020/08/10(月)18:22 ID:eoPn3DJ4(1) AAS
>>941
情報の構造を直交表現しようぜみたいな話はある
外部ﾘﾝｸ:arxiv.org
956(1): 2020/08/10(月)21:50 ID:nKG0Ke2J(1) AAS
>>944
その勾配法勝手にユークリッド空間を仮定して単純化してない？
赤信号皆んなで渡れば怖くない、みたいな感じで。
勾配法をまともに使うにはリーマン幾何学とかフィッシャー情報なんかの大変な数学の知識がいるはずだけど
957: 2020/08/11(火)09:42 ID:lpYV++WD(1) AAS
＞ お前は毎朝起きるたびに俺に負けたことを思い出すよ＾＾
あー、ホンッとに思い出すなあ（笑）
キチガイの嘘つきの低レベルFランの、
朝鮮ゴキブリBot君は、
チョン独特の「なにもできないけど俺のほうがジャップより偉い！」的な
ことはよーくわかったよ。
ホントなにもできない朝鮮ゴキブリBot君！
省5
958: 2020/08/11(火)10:12 ID:kR1xa8wK(1/4) AAS
脳味噌の計量が間違ってるとそう思うのか
959: 2020/08/11(火)10:23 ID:DyHWpKfR(1) AAS
ん体積から密度へ
960: 2020/08/11(火)12:32 ID:2c8mpoZg(1) AAS
>>956
これのことか
動画ﾘﾝｸ[YouTube]
学歴詐称疑惑ω
961: 2020/08/11(火)16:08 ID:MrLH3nvT(1) AAS
通常の勾配法は確かに損失関数を減少させる
だがそれが最も下げる方向かというと、それはパラメーター空間がユークリッド空間で正規直交座標の時だけ。
だがパラメーター空間は一般の場合、ユークリッド空間ではない
では一般のパラメーター空間ではどうなるのか、その答えは自然勾配法によって得られ、これこそが真の最急降下法となる
下の論文には自然勾配を使うとディープラーニングの収束が１０００倍早くなった例が記載されている
ではパラメーター空間とは何か？
まず、パラメーターを座標系とするリーマン空間の接空間に内積を導入する。この時"上手に"公理を満たす内積を定義すればリーマン計量はフィッシャー情報行列に一致し、
省11
962: 2020/08/11(火)16:31 ID:kR1xa8wK(2/4) AAS
それがどうした
963: 2020/08/11(火)16:48 ID:kR1xa8wK(3/4) AAS
詳しく言うと、具体的な問題に対して計量を考えて問題を解くアルゴリズムはあるの？
964: 2020/08/11(火)19:19 ID:ae1RDu82(1) AAS
今までだって何らかの根拠があってユークリッド空間で考えようと決めたはずなのだから
その根拠が揺らぐなら別のパラメータ空間を検討するのは自然だろう
965: 2020/08/11(火)21:43 ID:kR1xa8wK(4/4) AAS
アルゴリズムを知らないのか
上下前次1-新書関写板覧索設栞歴
あと 37 ﾚｽあります
ｽﾚ情報 赤ﾚｽ抽出 画像ﾚｽ抽出 歴の未読ｽﾚ AAｻﾑﾈｲﾙ
ぬこの手 ぬこTOP 0.046s