[過去ﾛｸﾞ] 【統計分析】機械学習・データマイニング31 (1002ﾚｽ)
上下前次1-新
このｽﾚｯﾄﾞは過去ﾛｸﾞ倉庫に格納されています｡
次ｽﾚ検索 歴削→次ｽﾚ 栞削→次ｽﾚ 過去ﾛｸﾞﾒﾆｭｰ
38: (ﾜｯﾁｮｲ d390-2jfQ [220.216.26.186]) 2021/10/03(日)15:59 ID:fd2z9Q2P0(1) AAS
アインシュタインの脳は世界中に散らばってたな
39(1): (ﾃﾃﾝﾃﾝﾃﾝ MMff-ye6e [133.106.36.167]) 2021/10/04(月)11:18 ID:4SMJvp7PM(1) AAS
転移学習とファインチューニングって何が違うの？
40: (ﾜｯﾁｮｲ cf10-eQG6 [153.243.53.4]) 2021/10/04(月)12:00 ID:uwgJa6dm0(1) AAS
ファインチューニング⊂転移学習
41(1): (ﾜｯﾁｮｲ 3fe4-puhv [61.114.68.38]) 2021/10/04(月)12:24 ID:NQkhcE1O0(1) AAS
>>39
俺もそこはイマイチだったけど、目的が違うんだと理解してる
ファインチューニングは、その名の通り微調整
公開された学習済みモデルの、出力層付近の重みを自分の（または新たな）データセットで学習させて適応させるとかで、ファインチューニングの前後でモデル全体の目的は変わらない
転移学習は、モデルをそのまま別の目的へ使用すること
例えばよくある例だと画像認識モデルを特徴抽出器としてSVMに流し込んで、分類させるのに使うとか
転移学習の前後では全体の目的は変わる（例では画像認識→画像分類）
42: (ﾜｯﾁｮｲ cf10-J7Q7 [153.131.102.129]) 2021/10/04(月)13:05 ID:IrVwgMEy0(1) AAS
特定の層だけ学習済みの層を使うのも転移学習なんじゃね？
オートエンコーダ層だけ他のをそのまま使うとか
43: (ｵｯﾍﾟｹ Sr77-dkea [126.236.143.1]) 2021/10/04(月)14:59 ID:pDc4fD3+r(1) AAS
ファインチューニングだと層の数や各テンソルの成分数までいじる、って見たような
転移学習だと既にあるモデルに別の画像モデルを載せて学習させてた
44: (ﾜｯﾁｮｲ a36e-ye6e [138.64.70.222]) 2021/10/05(火)14:43 ID:qxXQzr/v0(1) AAS
>>41
プリトレインのパラメータはフリーズしてffを新たに訓練すること？
45: (ﾜｯﾁｮｲ 73fb-uTfP [92.203.11.83]) 2021/10/09(土)16:11 ID:R9jtZdzp0(1/2) AAS
機械学習において概念の獲得というのは可能なのでしょうか？
例えば犬種を見分けるモデルを作成する中で大きさという概念を獲得させ、その結果を転用して大きさから車種を判別するといったことは可能でしょうか？
46: (ﾜｯﾁｮｲ 376e-Vwtj [138.64.70.222]) 2021/10/09(土)16:38 ID:imDr+lCx0(1) AAS
できない
47(1): (ｱｳｱｳｳｰ Sab7-8nkb [106.128.116.15]) 2021/10/09(土)17:12 ID:AqE3enYfa(1) AAS
どこかのパラメータが大きさを認識するかもしれないけどそれを全く別の種類のものに適用したければ
どのパラメータが大きさを認識するか調べて抽出して新たなモデルを人間が作成するしかない
大きさという概念をプログラムが知らない前提なんだから人間が調べて取り出す必要がある
48: (ﾜｯﾁｮｲ 73fb-uTfP [92.203.11.83]) 2021/10/09(土)17:55 ID:R9jtZdzp0(2/2) AAS
>>47
やはり現状では人間の手が必要ですよね。
特定の概念に特化したモデルを予め作成し転用することは可能でしょうか？
例えば画像情報から大きさを判別するモデルを作成し、この大きさ判別モデルをモジュールとして別のモデルに組み込んで使うという形です。
49: (ｽｯﾌﾟ Sd5a-NFwx [49.97.25.215]) 2021/10/11(月)02:41 ID:W1oEq6hAd(1/2) AAS
概念って何？
50: (ｽｯﾌﾟ Sd5a-NFwx [49.97.25.215]) 2021/10/11(月)02:42 ID:W1oEq6hAd(2/2) AAS
定義を述べてください
51: (ﾜﾝﾐﾝｸﾞｸ MM26-Vwtj [221.184.126.169]) 2021/10/11(月)11:48 ID:5HHAjiD3M(1/2) AAS
人間の定義なんてものは主観的で
規則ベースの方式は所詮おれがかんがえたさいきょうのモデル、でしかなく
汎用性は無く例外に弱く使い物にならないのは散々見せられてきた
52: (ｵｯﾍﾟｹ Sreb-kg6J [126.253.219.141]) 2021/10/11(月)12:29 ID:DIodBuTLr(1) AAS
その辺は言語モデルと画像認識と分類クラス名がリンクされたモデルというのを
作らないと難しいか
53(1): (ﾜﾝﾐﾝｸﾞｸ MM26-Vwtj [221.184.126.169]) 2021/10/11(月)17:21 ID:5HHAjiD3M(2/2) AAS
そのあたりをグチャッとやってるのがdall-e
54: (ﾜｯﾁｮｲ 73fb-uTfP [92.203.11.83]) 2021/10/11(月)23:03 ID:iNvGL8qd0(1) AAS
>>53
記事を見つけて読んでみましたが面白いですね。
外部ﾘﾝｸ:ainow.ai
時間や場所の概念を獲得した(テキストに正しく反応できた)だとか、当初の目的以外の用途に使えたというのは実に興味深いです。
120億パラメータというのがこれまた凄まじいですが、特定の概念に関する部分だけ抽出出来たら宝探しみたいで楽しいでしょうね。
55(1): (ﾜｯﾁｮｲ 2ffd-36a8 [210.236.126.224]) 2021/10/12(火)21:36 ID:llg6th+00(1) AAS
入門書読んでる途中で練習がてらUCIからEnergy efficiencyってデータセットひっぱてきたんだけど
すごく素直なデータセットだな。欠損値ないし、ただ単に重回帰分析しただけで決定係数が0.9越えてた
ここまで素直だとなにか罠があるんじゃないかと不安になる。諸先輩方はどう思います？
56(1): (ﾜｯﾁｮｲ c7dd-xjoE [122.249.112.164]) 2021/10/12(火)21:55 ID:G8QNgj6p0(1) AAS
>>55
過学習してるだけ
57(2): (ﾜｯﾁｮｲ 2ffd-36a8 [210.236.126.224]) 2021/10/13(水)00:10 ID:JsCrEKeM0(1/2) AAS
>>56
その可能性を考えて、訓練データとテストデータ両方の
決定係数を見てるんですけどそんな差がないんですよね。
データ分ける時にシード固定せずに40回ほど試したんですけど
決定係数の差は、大きくても0.043、もとのデータも768件あるんで
過学習なんでしょうか？
58: (ｱｳｱｳｳｰ Sab7-Awko [106.161.246.212]) 2021/10/13(水)05:53 ID:5xUxuv4Ba(1/2) AAS
>>57
ちゃんとクロスバリデーションすべきだなとか思ったけど
59: (ｱｳｱｳｳｰ Sab7-Awko [106.161.246.212]) 2021/10/13(水)06:07 ID:5xUxuv4Ba(2/2) AAS
ごめん途中で書き込んじゃった
自明な予測との比較はどうなんだろとか思ったけどよく読むと予測精度じゃなくて決定係数の話ですね。
決定係数って学習データへの当てはまりの指標じゃなかったかな。学習データの分散のどの程度を説明できてるかですね確か。
訓練とテストに分割する意味がよく分からないなと思いました。
60: (ﾜｯﾁｮｲ c7dd-xjoE [122.249.112.164]) 2021/10/13(水)21:21 ID:NE9hYB7Y0(1) AAS
>>57
とりあえずテスト誤差と訓練誤差調べてみたら？
61(2): 57 (ﾜｯﾁｮｲ 2ffd-36a8 [210.236.126.224]) 2021/10/13(水)21:58 ID:JsCrEKeM0(2/2) AAS
先輩方ありがとうございます。次にやることが見えてきました。
追伸、IP出るスレは苦手なのでこれにて失礼します。スレ汚し失礼しました。
62: (ﾜｯﾁｮｲ c7dd-xjoE [122.249.112.164]) 2021/10/14(木)01:06 ID:YnY723dO0(1) AAS
>>61
IP出たらまずいことでもあるんか？
63: (ｱｳｱｳｳｰ Sab7-Awko [106.161.248.235]) 2021/10/14(木)01:34 ID:oiazgOwIa(1) AAS
>>61
勉強が足りてないですが自覚したなら努力を継続できるでしょう。
頑張って
64: (ﾜｯﾁｮｲ 9f55-twAR [59.147.205.222]) 2021/10/15(金)11:35 ID:n9WPu0Ca0(1/3) AAS
新しい資本主義会議メンバーに松尾豊さんが選ばれましたね。
65(1): (ﾜｯﾁｮｲ 9f55-twAR [59.147.205.222]) 2021/10/15(金)11:41 ID:n9WPu0Ca0(2/3) AAS
松尾豊さんのことをAIの第1人者と紹介していましたが、本当ですか？
66: (ﾜｯﾁｮｲ 97fb-/6z9 [92.203.11.83]) 2021/10/15(金)12:41 ID:RXO4bJUV0(1/2) AAS
最も〇〇なものの一つの表現と同程度に捉えておくと良いかと思います。
現在のAIブームの初期から積極的に活動されてたことは確かですし、語れる研究者は貴重な存在ですよね。
67: (ﾜｯﾁｮｲ f7dd-20uR [122.249.112.164]) 2021/10/15(金)13:11 ID:6tKAdTHp0(1/3) AAS
>>65
判断基準は論文を書いてるかどうか
上下前次1-新書関写板覧索設栞歴
あと 935 ﾚｽあります
ｽﾚ情報 赤ﾚｽ抽出 画像ﾚｽ抽出 歴の未読ｽﾚ
ぬこの手 ぬこTOP 0.014s