[過去ﾛｸﾞ] なんJキュレーションサイト・アフィカス対策本部 (66ﾚｽ)
上下前次1-新
このｽﾚｯﾄﾞは過去ﾛｸﾞ倉庫に格納されています｡
次ｽﾚ検索 歴削→次ｽﾚ 栞削→次ｽﾚ 過去ﾛｸﾞﾒﾆｭｰ
26: 2019/09/10(火)11:51 ID:K+OikJ1c(1) AAS
多くのサーチエンジンに対応したサイトブロックスクリプト
外部ﾘﾝｸ:greasyfork.org
27(1): 2019/09/28(土)06:30 ID:ZXf9LJBO(1) AAS
たまには書き込め
いくらUとはいえ落ちるぞ
28: 2019/09/28(土)16:14 ID:eqYTtx7d(1) AAS
うんち
29: 2019/09/29(日)03:38 ID:iWHUtPxL(1/3) AAS
>>27
すまんな
新情報特にないからサイト見つけ次第ブロックしてるだけやし
簡単に各々のフィルター晒し合える場所ってあったら需要あるんやろか?
それとフィルターダブってる部分削除して合体させるスクリプト書こうかな
スクリプトというか正規表現の置き換えで済んでまうが
30: 2019/09/29(日)03:45 ID:iWHUtPxL(2/3) AAS
外部ﾘﾝｸ:pc-pier.com
このサイトにあるフィルターのライセンスがわからんから連絡して聞かなあかんのやけど連絡するの面倒で進んでないわ
ライセンスがMITとかなら改変してGoogle hit hider by domain search用にして公開するんやが
そのためにTwitterのアカウント作るのも面倒やし
31: 2019/09/29(日)03:51 ID:iWHUtPxL(3/3) AAS
それからGoogle hit hider by domain searchの作者にも連絡せなあかんくて
モバイル用に表示されたGoogle検索で動かんってのと
Qwant liteが対応し忘れとるのと
SearXのプラグイン(サイト上にある設定)の無限スクロール有効やと無限スクロールしたところがブロックされないところ伝えんと…
32: 2019/09/30(月)21:51 ID:xuBIUTgq(1) AAS
でも正直ちまちまフィルター作っててもキリないよなぁ
33: 2019/10/01(火)03:11 ID:zX1mSinP(1) AAS
ぶっちゃけ共有NG機能は欲しいわ
34: 2019/10/08(火)12:56 ID:sqzBijxK(1) AAS
商品が届かない…『詐欺サイト』NO-VAアフィリエイト被害続発 警察のサイバー犯罪対策担当に“見分け方”を聞いた
多くの人が使っているインターネットのNO-VAアフィリエイトに関するトラブル。
欲しかった商品が簡単に手に入るなど便利な一方で、「代金を振り込んでも商品が届かない」といったいわゆる「詐欺サイト」の被害が後を絶ちません。
巧妙な詐欺サイトを見抜くには…？
外部ﾘﾝｸ:txti.es
35: 2019/10/17(木)18:44 ID:huSGMYWp(1) AAS
スクレピングで集めるアフィサイトのリストとついでに集めるデータの暫定はこんなかんじかなぁ
ざっくり作って見たけどサブ垢とか考えると難しい
livedorの新着とまとめカテゴリーの全部からURLだけ持ってくるのと2chnaviから集めるのは決めてる
あとFC2も
ほかのアンテナサイトはどれ選んだらいいか悩んでるわ
いい候補があったら教えて
画像ﾘﾝｸ[png]:i.imgur.com
いかがでしたか系のサイトはどうやって集めたらいいんだろ？
36: 2019/10/17(木)22:04 ID:xIrOUWGK(1) AAS
なんかその図見てくるとちょっと正規化組み替えたくなってくるな
とりあえず公告サービス名は分解してもよくね
37: 2019/10/19(土)21:45 ID:4NxWt7T6(1/2) AAS
正規化出来るなら勝手にして画像上げてええで
多分反映するで
悩んで思いつかなくて第一正規化しかできなかっただけやし
一つのサイトに1つのサービスの広告IDが2つあったときと一つの広告IDが複数サイトにあるパターンがあってうまく行かない
第4、5辺りなら正規化出来そうやけど戻せなくなるし作るのが…
38: 2019/10/19(土)21:46 ID:4NxWt7T6(2/2) AAS
あとサイトの生存の項は下の方に移した
生存確認にRSSとか使いそうやからやったら一気にサイトスクレイピングしたほうがええなって
39: 2019/10/19(土)23:58 ID:cwozsMJK(1) AAS
使ってるのここやで知っとると思うが
外部ﾘﾝｸ:www.draw.io
40(1): 2019/10/20(日)00:12 ID:6nzZ2DCA(1) AAS
はえーなんかよく知らんがスゴそうや
ワイもそういうのできるようになってみたい
41(1): 2019/10/23(水)20:38 ID:OmVBWeW9(1/8) AAS
>>40
これはデータベースの基本やで
単にどうやってデータ保存するかって話や
データベースはこの程度やとそこまで難しくないから独学で二ヶ月掛からないんちゃうかな
42: 2019/10/23(水)20:40 ID:OmVBWeW9(2/8) AAS
requests + Beautiful Soup4
Selenium
Scrappy
どれがええんやろな…
昔スクレイピングしたときはXpath知らなくて冗長なコード書いてたわ
Xpath 便利すぎる
43: 2019/10/23(水)20:41 ID:OmVBWeW9(3/8) AAS
Pythonが一番簡単やろな
44(2): 2019/10/23(水)20:50 ID:OmVBWeW9(4/8) AAS
Livedoorのアフィカスのサイト名とURLスクレイピングメモ（改行はテキトウに消して）
ランキング
上位1~3位がdiv[contains(@class, 'inner')]にしないとclass='inner'とclass="inner match_0"があって面倒
サイト名
/html/body/div[@id='lb-container']/section[@id='lb-wrapper']/div[@id='lb-category-ranking']/div[@class='category-ranking-inner clearfix']/
div[@class='contents']/div[@id='items']/ul[@class='clearfix']/li/div[contains(@class, 'inner')]/div[@class='box']/span[@class='bold']/a
45(1): 2019/10/23(水)20:50 ID:OmVBWeW9(5/8) AAS
>>44
サイトURL(「/@href」を加えただけ)
/html/body/div[@id='lb-container']/section[@id='lb-wrapper']/div[@id='lb-category-ranking']/div[@class='category-ranking-inner clearfix']/
div[@class='contents']/div[@id='items']/ul[@class='clearfix']/li/div[contains(@class, 'inner')]/div[@class='box']/span[@class='bold']/a/@href
上下前次1-新書関写板覧索設栞歴
あと 21 ﾚｽあります
ｽﾚ情報 赤ﾚｽ抽出 画像ﾚｽ抽出 歴の未読ｽﾚ AAｻﾑﾈｲﾙ
ぬこの手 ぬこTOP 0.083s*