[過去ﾛｸﾞ] 【統計分析】機械学習・データマイニング31 (1002ﾚｽ)
上下前次1-新
このｽﾚｯﾄﾞは過去ﾛｸﾞ倉庫に格納されています｡
次ｽﾚ検索 歴削→次ｽﾚ 栞削→次ｽﾚ 過去ﾛｸﾞﾒﾆｭｰ
513(1): (ﾜｯﾁｮｲ 8d7c-PvPk [122.218.227.106]) 2022/05/07(土)07:52 ID:u2uFhB8a0(3/6) AAS
たとえば文字枠のある用紙に書かれた手書き文字を OCR する場合
・手書き文字だから枠からはみ出すし、はみ出す位置もさまざまだし、
・文字枠も1桁ごとだったり3桁ごとだったり点線だったりキリがない
こういうのは対象画像をそのまま（枠付きで）DLに学習させても、読めますよなんてとても言えんと思うんだが。最近はそうでもないのか？
昔は専門家がデータ眺めてうんうん唸ってロジックを考えていたが、そういうのも大切だよねと
514(1): (ﾜｯﾁｮｲ 8d7c-PvPk [122.218.227.106]) 2022/05/07(土)08:12 ID:u2uFhB8a0(4/6) AAS
あと、学習データで評価してお客に報告するアホ技術者？もシリウスβあたりに左遷して欲しい
スキャンしなおしたら同じ紙でも別データだよね、とかいうやつも
正読率80%はぎりぎり最低ラインで、どんな方法を使ってもこの程度はいきます
95%を超えるあたりからが勝負です。頑張りましょうね。と言いたい
515: (ﾜｯﾁｮｲ 9d6e-xesJ [138.64.67.32]) 2022/05/07(土)12:37 ID:Gp5QHcLl0(1) AAS
simclrはしんくらーで良いの？
516(1): (ﾜｯﾁｮｲ 6204-cfd4 [131.213.243.150]) 2022/05/07(土)13:07 ID:TDwBHkCb0(1/4) AAS
>>512-514
基本的に事前に確認しておく内容かと
後から言われても対処できんよ
517: (ﾜｯﾁｮｲ 8d7c-TPhO [122.218.227.106]) 2022/05/07(土)13:59 ID:u2uFhB8a0(5/6) AAS
>>516
誰が何を確認するの？
学習データとして妥当なのかそれ、という話なんだが
518(1): (ﾜｯﾁｮｲ 6204-cfd4 [131.213.243.150]) 2022/05/07(土)14:17 ID:TDwBHkCb0(2/4) AAS
学習データの妥当性や追加のデータが必要かどうかも普通は打ち合わせしとくよね？
最終的なアウトプットを出す為に必要なデータもエンジニアから提案あるよね？
519: (ﾜｯﾁｮｲ 0202-zDU0 [59.138.123.33]) 2022/05/07(土)14:31 ID:9e79BjZl0(1) AAS
学習データが1000万件ぐらいあれば話が変わってくるけど
現実にあるのはせいぜい1万件、ひどいと100件ぐらいで
何とかしてくれと言ってくる
520: (ﾜｯﾁｮｲ 6204-cfd4 [131.213.243.150]) 2022/05/07(土)14:35 ID:TDwBHkCb0(3/4) AAS
無茶なこと言ってくる人多いからね
最初にはっきりさせておかないと後々面倒になるんだよ
今は周りも大分理解が進んできてるけどさ
521: (ｱｳｱｳｳｰ Sac5-e+q+ [106.154.64.98]) 2022/05/07(土)14:51 ID:cvuJwPv2a(1) AAS
「100件でやれ」といわれて「それじゃ少なすぎてできない」というのは簡単だけど
本当にできないとは限らないからな
そこが難しいところなんだよ
「やる気になれない」とか「俺には無理」ってだけ
522: (ﾜｯﾁｮｲ 8d7c-PvPk [122.218.227.106]) 2022/05/07(土)15:00 ID:u2uFhB8a0(6/6) AAS
>>518
学習データの妥当性って基本的にベンダー側が確認するもんだよね？
お客さん的には、領収書と請求書が見分けられる提案が貰えれば、他はどうでもいい。
ベンダー側の危機感知能力に依存するんじゃないだろうか。
しくじると悲惨。しかも試験運用では完璧だったりする。
523: (ﾜｯﾁｮｲ 6204-cfd4 [131.213.243.150]) 2022/05/07(土)15:02 ID:TDwBHkCb0(4/4) AAS
自分の研究開発テーマだったら取り組む
他部門からの依頼だと確証が持てないから断るかな
524(2): (JP 0Hca-dy93 [103.163.220.76]) 2022/05/09(月)20:40 ID:nBUQfFjcH(1) AAS
初心者の質問ですみません
学習中にバッチサイズを変更すると、lossとaccuracyが変わってしまうんですが、
バッチサイズによって収束値が変わるってことでしょうか？
それだとバッチサイズの設定が結果の精度に影響しませんか？
525(1): (ﾜｯﾁｮｲ ee10-UDwQ [153.243.43.6]) 2022/05/10(火)08:13 ID:/XkHfgKF0(1/3) AAS
>>524
影響するよー。だからハイパーパラメータの調整はバッチサイズも含むんだよー。ミニバッチが内部的に何やってるかはググってね。でも、ざっくり、学習パラメータ最適化時のサンプリングサイズだと思えばいいよー
526(1): (JP 0Hca-tbBW [103.163.220.100]) 2022/05/10(火)08:51 ID:NCnPeIRkH(1) AAS
>>525
ありがとうございます
やっぱり影響するんですね
そうなると、モデルの作り方、パラメータの設定方法、必ず正しいというやり方がないので、
初心者にはハードルが高いですね
もうある程度適当にエイヤーでやってみるしかないですね
527(1): (ﾜｯﾁｮｲ ee10-cfd4 [153.243.43.6]) 2022/05/10(火)08:59 ID:/XkHfgKF0(2/3) AAS
>>526
正しいやり方はないけど、単純なアルゴリズムでベースラインモデル作って評価基準を作り、独自のモデルがそれと比較して優位かを確認しながら進めるという、方法論のテンプレはあるよー。
今ならAutoMLを使うのもいいねー。対応しているタスクならだけどねー
528: (JP 0Hca-wvgW [103.163.220.95]) 2022/05/10(火)09:43 ID:Kl+PeJSAH(1) AAS
>>527
AutoML、初めて知りました
無知でもできそうですねｗ
試しに入れてみました
いろいろ勉強できそうです
教えてくださりありがとうございました
529: (JP 0Hca-IBC7 [103.163.220.59]) 2022/05/10(火)11:29 ID:a3woWy82H(1) AAS
tpot自動すぎて怖いｗｗｗ
エポック数すら指定しないし
追加学習したほうがよさそうなのにこれ以上は過学習になるんだろうか
530(1): (ﾜｯﾁｮｲ 5102-U1YL [118.154.96.7]) 2022/05/10(火)13:14 ID:zWCxNbfy0(1/2) AAS
バッチはサイズだけでなくサンプルのまとめ方が重要になる場合も
たとえば数字の文字認識をする場合は１つのバッチに0-9のサンプルがバランスよく
含まれるようにした方が学習がうまく行く
逆に、0だけ、1だけとかでバッチを作ってしまうとなかなか収束しなくなる
531(1): (ﾜｯﾁｮｲ 9d6e-xesJ [138.64.67.32]) 2022/05/10(火)13:20 ID:OS09Ye+10(1/2) AAS
前にtpot使ったけどボロボロだったぞ
532: (JP 0Hca-4Pmz [103.163.220.96]) 2022/05/10(火)14:00 ID:J0ydLFpDH(1) AAS
>>531
正直あんまり収束してない感じなので追加学習させたいのですが、やり方がわかりませんｗ
533(2): (ﾜｯﾁｮｲ 7d5f-oYRD [106.73.226.99]) 2022/05/10(火)18:02 ID:A/IfvceU0(1) AAS
>>530
確かにそういうこと起こりそうだけど、なんか指摘してる論文てあったっけ？
534: (ﾜｯﾁｮｲ ee10-cfd4 [153.243.43.6]) 2022/05/10(火)18:17 ID:/XkHfgKF0(3/3) AAS
>>533
具体的な論文は把握してないけど、時系列予測で考えると直感的な理解が得られ易いと思うよー
535(1): (ﾜｯﾁｮｲ 5102-U1YL [118.154.96.7]) 2022/05/10(火)18:35 ID:zWCxNbfy0(2/2) AAS
>>533
俺も論文とかはわからないが教科書に載ってるレベルの話なような
バッチのサンプルでまとめて勾配を計算するので、サンプルのバランスが悪いと
ウエイトがあっちに行ったりこっちに行ったりしてしまうが、
バランスが良いとあるべき方向に真っ直ぐ進みやすい、ということかなと直感的には理解している
536: (ﾜｯﾁｮｲ 8d01-U1YL [122.255.141.199]) 2022/05/10(火)18:51 ID:gcxSlYEt0(1) AAS
・日立、週休3日で給与維持 生産性向上へ働き方改革 時間から成果へ転換
・日立、最低勤務時間を撤廃 「週休3日」も可能に
・2022年の新入社員、79.8%がテレワーク オフィスの必要性は？
・日立、富士通、NEC…「ジョブ型雇用」を大企業が続々導入する理由
・日立やNECが導入へ 「週休3日」は人材獲得の切り札
・リクルートグループ、週休｢約3日｣に。4月から年間休日を145日に増加へ
・カルビー／国内社員3900人を対象に副業解禁
537: (ｱｰｸｾｰ Sx91-PvPk [126.151.83.114]) 2022/05/10(火)19:37 ID:rAiWhgPwx(1) AAS
>>535
確率的最急降下法だから、偏った方向に突き進むのは良くないとか、そういう次元の話だと思っていた
538: (ﾜｯﾁｮｲ 9d6e-xesJ [138.64.67.32]) 2022/05/10(火)19:43 ID:OS09Ye+10(2/2) AAS
そういうことかと
539: (ﾜｯﾁｮｲ 5102-U1YL [118.154.96.7]) 2022/05/11(水)02:35 ID:n/T4USjf0(1/4) AAS
確率的勾配降下法と最急降下法が混じってないか？
最急降下法 : 全サンプルで一度に勾配を求めてウエイトを更新
確率的勾配降下法：１サンプル毎に勾配を求めてウエイトを更新
ミニバッチ勾配降下法：ミニバッチ毎に勾配を求めてウエイトを更新
んで >>524- あたりから話してるのはミニバッチ勾配降下法についてね
540: (ﾜｯﾁｮｲ 8d7c-maJN [122.218.227.106]) 2022/05/11(水)03:49 ID:2hlm/96F0(1/2) AAS
ごめん訂正ありがと
541: (ﾜｯﾁｮｲ 9d6e-xesJ [138.64.67.32]) 2022/05/11(水)06:58 ID:168GVk5R0(1/2) AAS
ミニバッチも偏ってたら駄目じゃない？
542: (ﾜｯﾁｮｲ 8d7c-maJN [122.218.227.106]) 2022/05/11(水)09:33 ID:2hlm/96F0(2/2) AAS
駄目だよね
偏ったサンプルの気持ちいい場所に捕まってしまう
上下前次1-新書関写板覧索設栞歴
あと 460 ﾚｽあります
ｽﾚ情報 赤ﾚｽ抽出 画像ﾚｽ抽出 歴の未読ｽﾚ
ぬこの手 ぬこTOP 0.023s