[過去ﾛｸﾞ] くだすれPython(超初心者用) その48【まず1嫁】 (1002ﾚｽ)
上下前次1-新
抽出解除 ﾚｽ栞
このｽﾚｯﾄﾞは過去ﾛｸﾞ倉庫に格納されています｡
次ｽﾚ検索 歴削→次ｽﾚ 栞削→次ｽﾚ 過去ﾛｸﾞﾒﾆｭｰ
ﾘﾛｰﾄﾞ規制です｡10分ほどで解除するので､他のﾌﾞﾗｳｻﾞへ避難してください｡
712(3): デフォルトの名無しさん [sage] 2020/07/08(水) 02:58:31.93 ID:sBTgQPNr(1) AAS
requestsで連番ページにアクセスして生きてるかどうか調べる
requests.get(連番url)入れて、if html.status_code == 200: ならそのurlをappendしていってリスト化するだけ
ページによってまちまちだけどだいたい100ページで30秒ほどかかる。1ページ0.3秒ほど
これってもうこれ以上縮められない？もっと効率いいやり方ないのかな
714: デフォルトの名無しさん [sage] 2020/07/08(水) 07:50:44.48 ID:mofePuJd(1) AAS
>>712
multiprocessingモジュール使うとか
715: デフォルトの名無しさん [sage] 2020/07/08(水) 08:42:20.69 ID:hEQaHqpN(1) AAS
>>712
requestsじゃなくaiohttpやfaster-than-requestsで並列実行する
サーバーがサポートしてればGETじゃなくHEADで
curlの-Z -Iオプション付きの実行時間をベースラインとして比較すればいいと思う
736: デフォルトの名無しさん [sage] 2020/07/09(木) 18:34:07.93 ID:3EwxQJI6(1) AAS
>>712並列処理でasyncioを調べたけど一つも理解できないまま1日が過ぎた。ｹﾞﾝﾅﾘ…
上下前次1-新書関写板覧索設栞歴
ｽﾚ情報 赤ﾚｽ抽出 画像ﾚｽ抽出 歴の未読ｽﾚ AAｻﾑﾈｲﾙ
ぬこの手 ぬこTOP 0.038s