２ちゃん画像落としまくりスクリプト (294ﾚｽ)
２ちゃん画像落としまくりスクリプト http://mevius.5ch.net/test/read.cgi/unix/1003833552/
上
下
前次
1-
新
通常表示
512ﾊﾞｲﾄ分割
ﾚｽ栞
抽出解除
ﾚｽ栞
ﾘﾛｰﾄﾞ規制
です｡10分ほどで解除するので､
他のﾌﾞﾗｳｻﾞ
へ避難してください｡
1: 1 [] 01/10/23 19:39 ２ちゃんねるに貼ってある画像リンクを追い、 jpgをかき集めるスクリプトを作ってみました。 http://www.ninnin.net/ ※perlとwgetが必要です。 ※Windows,Macでは動きません。 http://mevius.5ch.net/test/read.cgi/unix/1003833552/1
3: 1 [] 01/10/23 19:50 fork 使ってるからActive perlでは動かないのですよ。 cygwin上なら動くかも（ためしてないけど） http://mevius.5ch.net/test/read.cgi/unix/1003833552/3
4: 1 [] 01/10/23 19:53 追記： MacOS Xなら動きますよ （10.1ならwgetを入れなきゃだめだけど） http://mevius.5ch.net/test/read.cgi/unix/1003833552/4
6: 1 [] 01/10/23 20:03 例えばモー娘板で 一回スクリプトを実行すると 約８００枚の画像が収集できます。 http://mevius.5ch.net/test/read.cgi/unix/1003833552/6
13: 1 [] 01/10/23 23:39 1です。 >>8 アイドル版ならもっと集まるはず。取得スレ数リミットをもっとあげてみよう。 >>9 wgetのパラメータをいじればできます。現在の設定は２分です。 今後調整します。スクリプトの１５３行目をいじれば変更もできますよ。 >>10 その通りですね。次回のバージョンから少し下げます。 >>11 73,74,84行目の.jpgを.mpgに変更すればＯＫなはずです。 http://mevius.5ch.net/test/read.cgi/unix/1003833552/13
26: 1 [] 01/10/24 13:59 >>24 むろんＯＫです。 "ttp://"でひっかけてます。 http://mevius.5ch.net/test/read.cgi/unix/1003833552/26
27: 1 [] 01/10/24 14:01 >>25 その機能はつけたいんですけどね・・・ でも赤くない死体画像もあるし・・・ こういう時に１ｃｈのレス評価システムは 使い勝手があるんだな、と感じます http://mevius.5ch.net/test/read.cgi/unix/1003833552/27
30: 名無しさん@Ｖｉ [sage] 01/10/25 01:42 たしかに画像フィルタは便利かもしれませんが、 個人的にはこのスクリプトは画像をダイジェストできることに 特化して欲しいです。 できれば追加して欲しい機能 1.URL は違うけどファイル名が同じ場合のファイル処理 2. キーワードを追加( tp:// とか ｈｔｔｐ:// など) 3.スレッドのスキップ（先頭から５０個目のスレッドから開始など） 4. いっそのこと MPEG ファイルも対象に。 スレッドのスキップはスクリプトに追加して作ってみました。 もし希望があれば送ります。>1 http://mevius.5ch.net/test/read.cgi/unix/1003833552/30
32: 1 [] 01/10/25 11:38 >>30 ご意見ありがとうございます。 検討して次期バージョンに反映します。 >>31 んーと現在の仕様では、同じファイルの画像が ローカルにあればダウンしないようになっていますので、 毎日同じファイルをダウンしてしまうというのはないです。 ただ落としたファイルのアドレスを記憶とかしてたほうが、 ２回目以降の効率は良いですね。 http://mevius.5ch.net/test/read.cgi/unix/1003833552/32
39: 1 [] 01/10/27 17:44 >>37 死体画像は同じファイル名でダミーのファイルとかを 置くとかすると良いかも・・・ 面倒なのでそのうちその辺もなんとかしたいですね http://mevius.5ch.net/test/read.cgi/unix/1003833552/39
49: 1 [] 01/10/31 10:28 >>48 できます。 その方法も考えたのですが、結局やりませんでした。 いらないかな？と思って。 同じような要望が多ければ導入を検討します。 wgetのオプションの中にそんな機能があった気がしますので、 ご自分で改造してみてはいかがでしょう。 $optionsにオプションを突っ込んでwget実行サブルーチンを 呼んでるだけですので。 http://mevius.5ch.net/test/read.cgi/unix/1003833552/49
50: 名無しさん＠お腹いっぱい。 [] 01/10/31 13:46 試しにやってみたけどいい感じだぁよ、ありがとう。>1 要望とか考えると結局Iria先生みたくなるんだろうけど期待しちゃうよ。 なにってcronで動かしておけるから昼間だけの時限モノとか拾える可能性 あるってだけでピンコたんピキーンなれるし。 ただこの板でやるなら負荷、転送量減らしは最初に考慮する必要あるかと。 引っ越し間際のスレなんて生データで300kb以上になるのを毎回引っ張る のはやはり問題だと思うので、ツモって来たdat fileはローカルに保存して 再利用する方向で進めてはどうか。 同名異URI処理は取り敢えず後にしないと、考え無し厨房が全開で走らせる と思われ。 http://mevius.5ch.net/test/read.cgi/unix/1003833552/50
51: 名無しさん＠お腹いっぱい。 [sage] 01/11/01 19:49 ねぇねぇ、これからもいじる気ある？>1 マジでcronで走らせてグロ画像getterになろうと思うだけどいぢっていい？ perl なんてしばらくいじってないから思い出すとこからはじめるけど。 http://mevius.5ch.net/test/read.cgi/unix/1003833552/51
53: 1 [] 01/11/03 20:54 >>50 datのタイムスタンプをチェックして再利用するようにしようかなぁ ご意見ありがとう。転送量軽減を目指します。 >>51 ぜひいぢってください >>52 117行目のwgetのオプション設定で調整できると思います。 -t や -w の値を調整すると良いかも。参考ページはこちらあたりをどうぞ http://seagull.cs.uec.ac.jp/~horiuc-m/wget.html http://mevius.5ch.net/test/read.cgi/unix/1003833552/53
116: 名無しさん＠お腹いっぱい。 [sage] 02/02/28 00:07 >>1のスクリプトは、いまや改造しないとそのままでは使えないですね。 http://mevius.5ch.net/test/read.cgi/unix/1003833552/116
122: 名無しさん＠お腹いっぱい。 [sage] 02/03/06 22:47 >>1 のサイト、アクセスできなかったんですけど 件のスクリプトを落とせるところは他にありませんか http://mevius.5ch.net/test/read.cgi/unix/1003833552/122
150: 名無しさん＠お腹いっぱい。 [sage] 03/01/04 16:37 >>1さんが作ったやつをちと効率的に収集できるように改造したけど、 どっかにうｐしようかな？ http://mevius.5ch.net/test/read.cgi/unix/1003833552/150
171: 1 [sage] 03/01/06 19:18 dat落ちするかとおもったけど なんかまたあがってきてるんで ひさびさにバージョンアップしようかな というか、つかってる人（使う人）とかいるんでしょうか？ http://mevius.5ch.net/test/read.cgi/unix/1003833552/171
174: 名無しさん＠お腹いっぱい。 [sage] 03/01/06 21:18 >>173 え？どこ？ さっき作ったばかりだからおかしいところあったら指摘して〜 >>171 >>1さんｷﾀ━━━━━━(ﾟ∀ﾟ)━━━━━━━!!!!! http://mevius.5ch.net/test/read.cgi/unix/1003833552/174
257: login:root ◆GrsqjXpGxE [sage] 2005/04/17(日) 22:09:41 >>1 とりあえず、使ってみる... これはCGIか？ブラウザで実行しろと? まぁ、Linuxしかインストールしていない漏れのPCにはありがたいがな。 鯖にうpしてみる。分からない事があると思うから、>>1教えてな! http://mevius.5ch.net/test/read.cgi/unix/1003833552/257
258: login:root ◆GrsqjXpGxE [age] 2005/04/17(日) 22:15:48 ｳﾜｰｰｰｰｰﾝ 早速だが>>1よ。質問がある! ディレクトリにある conf.txt は変更する必要があるのか? $ita = 'http://choco.2ch.net/ainotane/'; $dir = './jpg'; $limit = 999; $down = 2; $ita は、２ちゃんの板のアドレスでおkなんだな？ http://mevius.5ch.net/test/read.cgi/unix/1003833552/258
ﾒﾓ帳
(0/65535文字)
上
下
前次
1-
新
書
関
写
板
覧
索
設
栞
歴
ｽﾚ情報
赤ﾚｽ抽出
画像ﾚｽ抽出
歴の未読ｽﾚ
AAｻﾑﾈｲﾙ
Google検索
Wikipedia
ぬこの手
ぬこTOP
0.014s