[過去ﾛｸﾞ] 【統計分析】機械学習・データマイニング30 (1002ﾚｽ)
上下前次1-新
このｽﾚｯﾄﾞは過去ﾛｸﾞ倉庫に格納されています｡
次ｽﾚ検索 歴削→次ｽﾚ 栞削→次ｽﾚ 過去ﾛｸﾞﾒﾆｭｰ
963: (ﾜｯﾁｮｲ 3dca-yDFm [182.168.51.6]) 2021/08/31(火)04:15 ID:D+Jl3XmV0(1/2) AAS
>>950
spaCyかな。利点はGPUを使えるので圧倒的に早いこと。欠点はPython依存。
964: (ﾜｯﾁｮｲ 3dca-yDFm [182.168.51.6]) 2021/08/31(火)04:39 ID:D+Jl3XmV0(2/2) AAS
>>958
個人的にはあれはよくできてると思う。
まず、要約はextraction法とabstraction法の2種類がある。
extractionはbowを作って単語の頻出度で統計処理することでウェイトの高いセンテンスを抽出する。
一方、abstractionは要約済みの学習データをseq2seqで機械学習させることで、要約エンジンを作る。
松尾研のベンチャーが作ったのは、後者のabstractionの方で、日本語でabstractiono方式の要約エンジン
というのはほとんど見たことがない。
ただ、実際に売れるかどうかは別。
この種のシステムは、を企業向けに販売しようと思ってもクラウドでAPIで提供する方式の場合だと
企業は内部情報が外部に流出することになるのでまず100％導入はしない。
省5
965(1): (ﾜｯﾁｮｲ 4db0-Y/PZ [180.46.85.8]) 2021/08/31(火)07:41 ID:vHl4DeHq0(1) AAS
>この種のシステムは、を企業向けに販売しようと思ってもクラウドでAPIで提供する方式の場合だと
>企業は内部情報が外部に流出することになるのでまず100％導入はしない。
用途で言えば内部情報より外部の公開情報を要約してリサーチ等に使う方が多そうな気がするが。
そうでなくても、契約文書をチェックするサービスなんてのも商売になっているくらいだし。
966(1): (ﾜｯﾁｮｲ 856e-bRri [138.64.70.222]) 2021/08/31(火)14:21 ID:Sht6cbMy0(1/2) AAS
optunaで指定するパラメータの範囲はどう決めれば良いの？
apiにパラメータの取りうる範囲が1 <= p < ∞とあるとき
967: (ｵｲｺﾗﾐﾈｵ MM09-ABh5 [150.66.78.51]) 2021/08/31(火)15:50 ID:j/ruVWceM(1) AAS
1と∞で二分探索
968: (ﾜｯﾁｮｲ 6b10-VSBu [153.243.43.6]) 2021/08/31(火)19:28 ID:l6anRrPu0(1) AAS
無限の半分は・・・無限!!
969(1): (ﾜｯﾁｮｲ 25dd-RulN [122.249.112.164]) 2021/08/31(火)19:30 ID:IiAPjlBZ0(1) AAS
>>966
無限大に発散するような関数はまずないはずだけどどういう式？
970: id:ignore (ｵｯﾍﾟｹ Sr99-BJ4f [126.255.84.77 [上級国民]]) 2021/08/31(火)20:06 ID:Yj2FMtNrr(1) AAS
exp
971: (ﾜｯﾁｮｲ 7b89-U7Lh [39.111.228.181]) 2021/08/31(火)20:07 ID:TL2gsmuJ0(1) AAS
表からともったら裏、裏かとと思ったら表
972: (ﾜｯﾁｮｲ 856e-bRri [138.64.70.222]) 2021/08/31(火)20:56 ID:Sht6cbMy0(2/2) AAS
>>969
xgboostのパラメータ
reg_alphaとか
973: (ﾜｯﾁｮｲ 85ca-mUqo [182.168.51.6]) 2021/09/04(土)02:49 ID:9cArpdYt0(1/2) AAS
>>877
Rejected internal applicants twice as likely to quit
doi.org/10.5465/amj.2018.1015
974: (ﾜｯﾁｮｲ 85ca-mUqo [182.168.51.6]) 2021/09/04(土)04:02 ID:9cArpdYt0(2/2) AAS
>>965
いずれにしてもSeqモデルによる実装は簡単だから、要約済みの学習データさえ準備できれば
要約システムは簡単に構築可能。無料で出す分にはみんなは面白がって使うだろうけど、有料提供
となると、かなり困難に直面するんじゃないかと思っただけ。
Seqモデルは、かなり一般化してきてるので、NLP専攻の学卒者だったら、十分に構築は可能。
これが機械翻訳とかだと、かなり膨大な学習データが必要となるので、参入障壁になるが、
自動要約だと、元の学習量もしれてるので、NTTデータや富士通あたりだと多分、簡単に作れる。
また、要約の精度は学習データに依存するので、どこまで精度の高いデータを作れるかは、
最終的には開発元の資本力によって決まることになる。
975(1): (ｵｯﾍﾟｹ Sr81-T5eM [126.166.155.87]) 2021/09/05(日)22:01 ID:zykEaDwPr(1) AAS
松尾研で文章を3つの文にまとめるアプリができてましたが
これを任意の文の数にまとめられて更に
「動作を文章にするアプリ」と組み合わせることで作業手順書の自動作成ができて
ひいては行動計画に関する人工知能の開発が進むといいんですがねえ
976: (ﾜｯﾁｮｲ 2302-KrGZ [59.138.123.33]) 2021/09/05(日)22:33 ID:vgQPhGSA0(1) AAS
どうして文の「数」にこだわるの?
重要なことがその「数」以上あったらどうするの?
977: (ｵｯﾍﾟｹ Sr81-T5eM [126.166.155.58]) 2021/09/06(月)01:15 ID:otQfwK4Sr(1) AAS
3つにする、5つにする、など試して最も妥当な説明書になっているものを最終出力出来たらいいんですがねえ
978: (ﾜｯﾁｮｲ 4b10-jJn5 [153.243.43.6]) 2021/09/06(月)01:21 ID:owoO2Yj90(1) AAS
妥当な説明を定式化せよ
979: (ﾃﾃﾝﾃﾝﾃﾝ MM4b-8fYv [133.106.37.33]) 2021/09/06(月)08:50 ID:0zGOZ0ajM(1) AAS
>>975
できるんじゃない？
980: (ｱｳｱｳｳｰ Sa69-KrGZ [106.129.21.248]) 2021/09/06(月)09:29 ID:fsHJbGHja(1/2) AAS
重要な項目が5つあって、3つの文にせよ
という場合は、一つの文に2つ盛り込むとか?
なんだか本末転倒だなあ
重要な項目がいくつあるか分からなくなるじゃないの
981: (ｵｯﾍﾟｹ Sr81-T5eM [126.166.147.134]) 2021/09/06(月)10:59 ID:fK8LC2SFr(1) AAS
重要な項目の数に合わせて文の数も調整できたらなあ
更にはそれぞれの文の構造化まで自動化
982: (ｱｳｱｳｳｰ Sa69-KrGZ [106.129.21.248]) 2021/09/06(月)11:36 ID:fsHJbGHja(2/2) AAS
例えば、裁判所の判決文とかは全部重要なのだそうで
要約できないらしい。法曹関係者が要約が下手なのは
そういう理由もあるらしい
上下前次1-新書関写板覧索設栞歴
あと 20 ﾚｽあります
ｽﾚ情報 赤ﾚｽ抽出 画像ﾚｽ抽出 歴の未読ｽﾚ AAｻﾑﾈｲﾙ
ぬこの手 ぬこTOP 1.047s*