[過去ﾛｸﾞ] くだすれPython(超初心者用) その44【Ruby禁止】 (1002ﾚｽ)
上下前次1-新
抽出解除 必死ﾁｪｯｶｰ(本家) (べ) 自ID ﾚｽ栞 あぼーん
このｽﾚｯﾄﾞは過去ﾛｸﾞ倉庫に格納されています｡
次ｽﾚ検索 歴削→次ｽﾚ 栞削→次ｽﾚ 過去ﾛｸﾞﾒﾆｭｰ
831: デフォルトの名無しさん [] 2019/10/01(火) 20:28:36.47 ID:k/2kjmdF(1/2) AAS
質問失礼します。
python初心者でスクレイピングをrequestsとBeautifulSoupで勉強中なんですが
find_allで同じサイトページの同タグでも取得できるものと取得できないものがあります。
何が原因なんでしょうか？
834: デフォルトの名無しさん [] 2019/10/01(火) 23:45:42.30 ID:k/2kjmdF(2/2) AAS
>>833833(1): デフォルトの名無しさん [sage] 2019/10/01(火) 22:38:06.74 ID:9HRGRt02(1) AAS
例えば、Ruby のNokogiri でも、静的なHTML を想定しているから、
Ajax で非同期にデータを取得するページでは、
要素が作られるまでは、その要素を取得できない
例えば、5ch では、空のHTMLを送って来てから、
Ajaxでコンテンツを取得するから、その後じゃないと、内容を取得できない
10秒ぐらいスリープするとか、
Selenium WebDriver でブラウザを、人間のように操作してから、
要素が作られてから、その要素を取得する
そんなことがあるんですね。とても分かりやすいご説明で助かりました。
ありがとうございます。
上下前次1-新書関写板覧索設栞歴
ｽﾚ情報 赤ﾚｽ抽出 画像ﾚｽ抽出 歴の未読ｽﾚ AAｻﾑﾈｲﾙ
ぬこの手 ぬこTOP 0.052s