[過去ログ] 【PHP】下らねぇ質問はここに書き込みやがれ 12 (1002レス)
前次1-
抽出解除 レス栞

このスレッドは過去ログ倉庫に格納されています。
次スレ検索 歴削→次スレ 栞削→次スレ 過去ログメニュー
744
(1): (ワッチョイ 532c-Lto6) 2021/08/12(木)11:23 ID:s+UN3BdM0(1/5) AAS
スクレイピングでは、そのサイトのrobots.txt を遵守する必要がある

初心者がスクレイピングすると、プログラムのバグで無限ループしたりして、
そのサイトを落としてしまう事があるので、超危険!

だから、必ずテスト中は、ローカルPC に対して行うこと!
絶対に、本番サーバーに対して、テストしてはいけない

Udemy の山浦清透、2021/6 の動画を参照。
PHP で、マイナビ転職をスクレイピングしてる
省2
778: 744 (ワッチョイ e22c-MEry) 2021/08/13(金)12:16 ID:S8120IP70(1) AAS
基本、スクレイピングじゃなくて、
サイトと契約して、サイトのAPI を使う

YouTube API, Google Maps API など

5ch も、そう。
契約して、APIを使う。
勝手にスクレイピングすると、どうなるか知りませんよと、脅し文句が書いてある

スクレイピングする所は、APIを提供していないサイトで、
省10
前次1-
スレ情報 赤レス抽出 画像レス抽出 歴の未読スレ AAサムネイル

ぬこの手 ぬこTOP 0.029s