[過去ﾛｸﾞ] 【PHP】下らねぇ質問はここに書き込みやがれ 11 (1002ﾚｽ)
上下前次1-新
このｽﾚｯﾄﾞは過去ﾛｸﾞ倉庫に格納されています｡
次ｽﾚ検索 歴削→次ｽﾚ 栞削→次ｽﾚ 過去ﾛｸﾞﾒﾆｭｰ
117(1): (ﾜｯﾁｮｲ 5f2c-Yghi) 2020/06/22(月)12:09 ID:+DreoFMt0(1/2) AAS
Ruby には、Anemone というライブラリでスクレイピングできるけど、
これは、静的なページを対象にしているから、
5ch みたいに、空のHTML を送ってきてから、
Ajax で内容を取得するようなページには対応できない
Anemone は、データベースにURL を記録して、
同じURLを再ダウンロードしないようになっているけど、
Ajax で内容を取得している場合、URLは同じでも、内容が変わっている
翌日になったら、翌日のデータを取得しているとか、
5ch では、毎回データが変わっているなど
だから、こういう問題に対処するには、Ruby on Rails で、自分で作るべき
でも、スクレイピングは気を付けないと、営業妨害で逮捕されるので、
同じURL は、1日1回までにすべき
上下前次1-新書関写板覧索設栞歴
あと 885 ﾚｽあります
ｽﾚ情報 赤ﾚｽ抽出 画像ﾚｽ抽出 歴の未読ｽﾚ AAｻﾑﾈｲﾙ
ぬこの手 ぬこTOP 0.010s