[過去ﾛｸﾞ] 【まず1嫁】くだすれPython(超初心者用) その58 (1002ﾚｽ)
上下前次1-新
抽出解除 必死ﾁｪｯｶｰ(本家) (べ) 自ID ﾚｽ栞 あぼーん

---

このｽﾚｯﾄﾞは過去ﾛｸﾞ倉庫に格納されています｡
次ｽﾚ検索 歴削→次ｽﾚ 栞削→次ｽﾚ 過去ﾛｸﾞﾒﾆｭｰ

---

ﾘﾛｰﾄﾞ規制です｡10分ほどで解除するので､他のﾌﾞﾗｳｻﾞへ避難してください｡

---

63(1): 2022/09/24(土)15:30 ID:lPRg1Z9G(1/2) AAS
seleniumでのスクレイピングの処理を書いたpythonファイル1.py、2.py、3.py、4.pyを5.pyに下記の記載をして、
exec(open("1.py").read())
exec(open("2.py").read())
exec(open("3.py").read())
exec(open("4.py").read())
の形で順に処理を行っているのですが、この処理をマルチプロセスを使用して並列処理ってですか？

1.py〜4.pyはそれぞれ別のサイトからクローリングする内容で並列処理をしても過アクセスにならない状態です。

---

68: 2022/09/24(土)21:48 ID:lPRg1Z9G(2/2) AAS
>>63
やってみたい内容はseleniumをマルチプロセス？で並行処理したいです。

1.pyはamazonをスクレイピングする内容で、2.pyはビックカメラを、3.pyはヨドバシを、4.pyは楽天をスクレイピングする内容になってます。

5.pyを起動すると1.pyから4.py順に処理するかたちとなってます。

現状
1.py処理開始
↓1時間で処理完了
2.py処理開始
↓1時間で処理完了
3.py処理開始
↓1時間で処理完了
4.py処理開始
↓1時間で処理完了
合計4時間で処理終了

やりたいこと
1.py～4.pyを同時に処理開始
↓1時間で処理完了
合計1時間で処理終了

---

上下前次1-新書関写板覧索設栞歴

---

ｽﾚ情報 赤ﾚｽ抽出 画像ﾚｽ抽出 歴の未読ｽﾚ

---

ぬこの手 ぬこTOP 0.042s