[過去ﾛｸﾞ] くだすれPython(超初心者用) その46【Ruby禁止】 (1002ﾚｽ)
上下前次1-新
抽出解除 ﾚｽ栞
このｽﾚｯﾄﾞは過去ﾛｸﾞ倉庫に格納されています｡
次ｽﾚ検索 歴削→次ｽﾚ 栞削→次ｽﾚ 過去ﾛｸﾞﾒﾆｭｰ
46: デフォルトの名無しさん [sage] 2020/01/05(日) 01:19:33.03 ID:MK0cWPLh(1) AAS
超初心者です。Pythonのscrapyについて教えていただきたいです。
一つのspiderを作って、crawlすることはできたのですが、
（scrapy crawl xxxxx -o sample_data.csv）
yyyyy.pyとzzzzz.pyというspiderを同じディレクトリに作成し、
（x,y,zは別ドメイン別サイトで同じような情報が掲載されている。
もちろん構造が違うためxpathはサイトごとに違う。）
連続で実行する方法があったら知りたいです。
ググったのですが、scrapyでそういうことができるかどうか、
わからなかったので、質問させていただきました。
spiderの.pyのみx,y,zと複数作って管理保守を楽にしたいです。
xxxxx.pyに複数のclassを書いて、上から順に実行していくという方法に
なるのでしょうか。
わかりづらくて申し訳ないです。ご教示よろしくお願いいたします。
74: デフォルトの名無しさん [] 2020/01/07(火) 12:42:25.03 ID:j68rdTp2(1/2) AAS
もちろんできないのであきらめる
172(1): デフォルトの名無しさん [sage] 2020/01/12(日) 15:47:52.03 ID:iU1LDXiT(1) AAS
いつのまにかインデントが崩れて正常に動作しなくなってた
でも中括弧がないので元の状態が分からない
元に戻せない
289(2): デフォルトの名無しさん [sage] 2020/01/18(土) 18:17:17.03 ID:bny/49Iw(10/16) AAS
>>288
これはできますね。
間にエクセルを入れるとどうもおかしなことになるみたいです。
エクセルって書き出し時のコード指定できないみたいだし。
349: デフォルトの名無しさん [] 2020/01/23(木) 14:01:15.03 ID:rTyMrtC+(1/2) AAS
仕事で使用している上に特定のソフトのスクリプトなので詳しいことが書けないのですが、
以下のようにクラス変数をチェックするコードを書くと何故かcheck1の値は6になってるのに、check2の値は0のままみたいなことが起きてしまいます。
class testClass():
def __init__(self):
self.test = 0
def set_test(self,a,b,c):
self.test = a+b+c
print("check1:"+str(self.test))
def print_test(self):
print("check2:"+str(self.test))
testClass = testClass()
testClass.set_test(1,2,3)
testClass.print_test()
この↑のサンプルスクリプト自体はどっちも6と正しく表示されるのですが、これに似たスクリプトでおかしなことになって困っています。
何か思い当たる節のある方がいたら教えてください。。。
471(3): デフォルトの名無しさん [sage] 2020/02/05(水) 20:21:18.03 ID:3A2Vd31x(1) AAS
cとPHPとシェルとストアドプロシージャ位しか書けないんだけど
パイソンでDLバリバリになるには何の書籍から始めるのが良い？
やっぱ統計学はやんなきゃ話にならない？
496(4): デフォルトの名無しさん [sage] 2020/02/06(木) 12:35:55.03 ID:/hIhK6yv(1/5) AAS
要素を非同期処理で読み込むから、要素が存在しないとか、
サイトの構成が変わったとか、
XPath/CSS セレクターが間違っているとか、
相手がアクセスをブロックしてくるとか
スクレイピングは、相手のサイトを分析するのが難しいのと、
適切に限定される、セレクターを作るのが難しい
API が公開されているなら、APIを使った方がよい
漏れは、Ruby で、Selenium WebDriver, Nokogiri などで、
Chrome, Edge などのブラウザーを自動操作して、スクレイピングするけど
ここに書いておいた
【VBScript】WSHについて話し合うスレ【JScript】
2chｽﾚ:tech
599(2): デフォルトの名無しさん [sage] 2020/02/11(火) 14:25:45.03 ID:L4MHQKAq(1/2) AAS
Pythonの初級を受けた人いますか？
どのような勉強されたか教えてください
m(__)m
604: デフォルトの名無しさん [] 2020/02/11(火) 16:01:24.03 ID:BVyNsmkt(4/4) AAS
それにしても、金になると思うとすぐ資格ビジネス屋が群がりやがって
696: デフォルトの名無しさん [sage] 2020/02/16(日) 11:27:23.03 ID:17VZ7Cpd(2/11) AAS
>>695
２行目には禿同
＞ローカル変数なんて全部一文字でいい
ここまでがんばる必要はない
715(1): デフォルトの名無しさん [sage] 2020/02/16(日) 16:53:49.03 ID:17VZ7Cpd(9/11) AAS
>>714
> ほぼほぼ作ったのが後々改造できなくて
> 投げ捨てるはめになってる
ｗｗｗ
わかるｗｗｗｗｗ始めたばっかりの頃のあるあるｗｗｗｗｗわかるｗｗｗｗｗ
オライリーの
リーダブルコード
ISBN-10: 4873115655
ISBN-13: 978-4873115658
（あるいは
ビューティフルコード
ISBN-10: 4873113636
ISBN-13: 978-4873113630 ）
を
買って読んでみたらー
中古でも安くなってないだけのことはあるでよー
864(1): デフォルトの名無しさん [sage] 2020/02/23(日) 22:05:12.03 ID:SvXUu1bl(7/8) AAS
>>862
もともと>>801ではインデントにスペースとタブを問題ないということを説明し、ただし例外として
一貫性のない使い方(とpython処理系が判断した場合)にエラーになると補足した訳だが、
>>856はまさにそれを裏付けてくれたわけだろう。
875(1): デフォルトの名無しさん [] 2020/02/23(日) 23:43:16.03 ID:uUFeESNP(4/4) AAS
>>872
いや、辞書じゃなくて計算ツールです。
理想としては、
回答入力→解答と照合→数値変換→計算なんですけど
解答と照合と数値変換の過程が分からなくて…
上下前次1-新書関写板覧索設栞歴
ｽﾚ情報 赤ﾚｽ抽出 画像ﾚｽ抽出 歴の未読ｽﾚ AAｻﾑﾈｲﾙ
ぬこの手 ぬこTOP 0.043s