[過去ﾛｸﾞ] スレ立てるまでもない質問はここで 152匹目 (1002ﾚｽ)
上下前次1-新
抽出解除 ﾚｽ栞
このｽﾚｯﾄﾞは過去ﾛｸﾞ倉庫に格納されています｡
次ｽﾚ検索 歴削→次ｽﾚ 栞削→次ｽﾚ 過去ﾛｸﾞﾒﾆｭｰ
183(1): 2019/12/15(日)02:41 ID:sltsdgsx(1) AAS
すいませんwebprog板は人がいないんでこっちで
ウェブスクレイビングしてhtmlと画像を保存してます。
既に保存した画像は重複して保存しないようなデータベースを作りたいです。
つまり、pythonのset型とkey-value型を併せ持った構造にしたいんですが、どんな方法が良いでしょうか？
184(1): 2019/12/15(日)03:56 ID:pFDibfNW(1) AAS
>>183
保存する前に既に保存した画像かどうかチェックすればいいだけでは？
画像そのものでしか比較できないならダウンロードしてからハッシュで比較
テキストやURLで比較できる部分があるならそれで比較してハッシュ比較は保険
上下前次1-新書関写板覧索設栞歴
ｽﾚ情報 赤ﾚｽ抽出 画像ﾚｽ抽出 歴の未読ｽﾚ
ぬこの手 ぬこTOP 0.027s