２ちゃん画像落としまくりスクリプト

２ちゃん画像落としまくりスクリプト (294ﾚｽ)
上下前次 1-新

1(21): 1 01/10/23 19:39 AAS
２ちゃんねるに貼ってある画像リンクを追い、
jpgをかき集めるスクリプトを作ってみました。

外部ﾘﾝｸ:www.ninnin.net

※perlとwgetが必要です。
※Windows,Macでは動きません。

168: 03/01/06 16:45 AAS
>>167
さんくすこ。
スレログとらなくても、リンクさえ拾えれば大丈夫だからねぇ、
あぼーんされても大丈夫だと思う。
というわけで、増分だけ拾うようにしますわ。

169(1): 03/01/06 18:57 AAS
このスレでやるな。

170: 03/01/06 18:59 AAS
>>169
何を？なぜ？

171(2): 1 03/01/06 19:18 AAS
dat落ちするかとおもったけど
なんかまたあがってきてるんで
ひさびさにバージョンアップしようかな

というか、つかってる人（使う人）とかいるんでしょうか？

172(2): 03/01/06 21:10 AAS
つくった。
けど、htmlから拾ってるから効率悪いよ。
外部ﾘﾝｸ:homepage3.nifty.com

173(1): 03/01/06 21:15 AAS
>>172
君のPCの時計ずれてない？

174(1): 03/01/06 21:18 AAS
>>173
え？どこ？
さっき作ったばかりだからおかしいところあったら指摘して〜

>>171
>>1さんｷﾀ━━━━━━(ﾟ∀ﾟ)━━━━━━━!!!!!

175: 03/01/06 21:19 AAS
>>171
つか、使うかどうかより、自分で作ってみるのも楽しいのかも。
１さんのも参考にしたいのでオネガイシマス。

176(1): 03/01/06 21:21 AAS
>>174
いやこんなんでたから。
ゴミレススマソ。
---
get2ch_v006/get2ch.pl
tar: get2ch_v006/get2ch.pl: time stamp Jan 7 21:00 2003 is 85213 s in the future
get2ch_v006/get2chrc.txt
tar: get2ch_v006/get2chrc.txt: time stamp Jan 7 21:00 2003 is 85213 s in the future
get2ch_v006/readme.txt
tar: get2ch_v006/readme.txt: time stamp Jan 7 21:00 2003 is 85213 s in the future
get2ch_v006/subback2subhash.pl
tar: get2ch_v006/subback2subhash.pl: time stamp Jan 7 21:00 2003 is 85213 s in the future

177: 03/01/06 21:24 AAS
>>176
・・・なんかちょうど1日ずれてるような。

178(1): 03/01/06 23:34 AAS
て優香、wget使わなければforkしなくていいからActivePerlでも使えるようになるし、
Irvineでも使えばwgetよりはるかに効率的に収集できるし。

あーあ、UNIX板で気付いちゃいけないことに気付いちゃったよ。

179(2): 03/01/07 10:03 AAS
萌え板を監視するスクリプトも(　ﾟдﾟ)ﾎｽｨ…

180: 03/01/07 11:41 AAS
>>179
萌え板を監視、って具体的に何できればいいんだ？
と優香、萌え板って何？ファイヤーウォールのこと？

181(1): 03/01/07 12:52 AAS
>>178
soretteCUI?

182(2): 179 03/01/07 13:06 AAS
説明不足でした。

こんな感じの掲示板です。
外部ﾘﾝｸ[html]:www9.xdsl.ne.jp

萌々ぼ〜どって言うのかな？
ソノテの人の画像アップ掲示板として広く使われてるみたいです。

欲しいのは画像をいっきに落とす・・ですが
できたら全てのページをログも含めてHDに保存できるのが好ましいです。

183: 03/01/07 13:32 AAS
>>182
そうか、wgetの-rオプションだけでは画像アップローダーの
２ページ目以降のがとってこれないのか...
うーむ

184(1): 03/01/07 14:57 AAS
>>182
なるほど。理解した。
VBスクリプトなら、次のページをめくるボタンを押すスクリプトが簡単に書けるけど、
Perlとかだとどうやってやるんだろ？

185(2): 03/01/07 14:58 AAS
wgetでpostできるようにするパッチあるよ
外部ﾘﾝｸ:pluto.im.uec.ac.jp
CGIを激しく呼び出してアク禁喰らっても知らないけど

186(1): 03/01/07 15:03 AAS
>>184
cgiを読んだら、POSTを送ることでページをめくるようになってた。
perlだったら直接サーバと繋いで、POSTを直接送ればできるのでは？
または外部ﾘﾝｸ[cgi]:hoghogeでページを直接指定して(GETでも)ページを開けるらしい。

ところでwgetでPOSTを送ることってできないよね？（wget厨ですまそ）

187(1): 186 03/01/07 15:05 AAS
>>185
リロードしたらみました。
すまそ。試してみます。

wget以外でPOSTを簡単に送れるツールを以前どこかで見たことあったけど。。

188: 03/01/07 15:57 AAS
curl使え

189: 03/01/07 17:03 AAS
>>181
Irvineもコマンドラインから使えるけど。
irvine list.txt　で、URLリストを入れられる。
cronで回すのでなければ、Win上でやったほうが簡単かも。

190: 03/01/07 19:44 AAS
⊂⌒~⊃｡Д｡）⊃

191(1): 03/01/07 21:57 AAS
その萌え萌えなんちゃらってやつな、moemoe.htmlと同じディレクトリにある
moemoe.logってのがログファイルだからそれ落とせ。画像のURLも載ってるから。
CGI叩くのやめれ。

192(2): 03/01/08 01:46 AAS
>>172
なんかデリられてるみたいなんで差異うpキボンヌ、クレクレ君でスマソ

193(1): 03/01/08 01:51 AAS
>>187 w3m

194: 03/01/08 09:32 AAS
>>192
ゴメソ。
cgiからｹﾞﾄｰしてるので下手するとアク禁になっちゃうから今消してる。
もうすぐ次バージョンうｐするからまってて〜(;´Д`)

195: 03/01/08 14:37 AAS
>>193
それだ！

196(1): 03/01/08 21:35 AAS
>>192
うｐしたよ〜
急いで書いたからちゃんと動くかわからないけど。

197(1): 03/01/08 21:49 AAS
>>196
さっきの動かなかったから、差し替えますた。

198(1): 03/01/08 22:46 AAS
>>197
まだ時計がずれてない？（ｗ
勘違いだったらスマソ。

ちょっと読んで気になったのは、
スレッドの差分を取ってくるときのwgetのオプションで-cと-ncの両方を指定しているけど、
これって両方あったらまずくないの？>>165
あと、datファイルを連続してダウンロードしたら、2chの負荷が大きくなってまずいと思うけど..

199(1): 03/01/08 22:50 AAS
>>198
あらほんと。
-cと-nc一緒に書いちゃってるけど、一応動いてるし、ダウンロードの
速さからして差分だけ落としてるように思ふ。
て優香、汚いソースを丁寧に読んでくれてありが?
datは差分だけ落としてるから連続ダウソも大丈夫かと思ったが、
やっぱヤバイかね？間隔あけた方がいいかな？

200: 03/01/08 22:52 AAS
あと、wgetのダウンロード速度が遅くていらつくんだけど、なんか解決方法
ありませんか？

201(1): 03/01/08 23:02 AAS
>>199
いや、ちょっとmonazilla関係のスレをよんでたら、
いかにサーバの負荷を減らすかいろいろ考えられていて、
この、datファイルを総ざらいするのも極力避けた方がいいかと思ってきた。
やるとしても、負荷の低い時間帯にかなり間隔を開けて行った方が良いかと...

>ダウンロードの
>速さからして差分だけ落としてるように思ふ。
-ncはすでにファイルが存在したら、ダウンロードしないので、ダウンロードされていない可能性は？

202(1): 03/01/08 23:16 AAS
>>201
今 -nc消したやつをうｐしたよ。
だけど、-nc消したらなんだか速度が遅くなったような・・・
あと、日時がバグってるのはアーカイバーがおかしいらしいことが分かったよ。
だからｷﾆｼﾅｰｲ

>datファイルを総ざらいするのも極力避けた方がいいかと思ってきた。
なるほど。一応スレのレス数見て更新されてるか確認してから各スレの差分をダウソ
するようにしてるけど。もっと負荷を減らす方法ないでつかね？
cronで回すなら、10秒おきに更新されてるスレを1スレずつ巡回みたいなことも考えられるけど。

>-ncはすでにファイルが存在したら、ダウンロードしないので、ダウンロードされていない可能性は？
一応ダウンロードされてるようだが・・・謎。
まぁ直したし。

203(1): 03/01/08 23:19 AAS
>>202
速度で判断するより、wgetのログをちゃんと見た方がはっきりするかと...

204: 03/01/08 23:27 AAS
>>203
-ncつけてるやつはログが消えちゃったけど、-nc消したやつのログみたら
全部落としてるみたい・・・鬱

205(1): 03/01/09 01:58 AAS
(´-`).｡oO（画像掲示板から落とした方が簡単なのに、なんでだろう…）

206(2): 03/01/09 16:19 AAS
こんなのもあったり
外部ﾘﾝｸ:j2ch.free-city.net

207(1): 03/01/09 19:32 AAS
>>205
ｿﾚﾀﾞ━━━━━━(ﾟ∀ﾟ)━━━━━━━!!!!!
にちゃんねらがよく利用している画像掲示板を巡回すれば、良質なｼﾞｪｲﾍﾟｰｸﾞが
集まるよな。
>>206
同一のアドレスがたくさん・・・sortしてuniq通せよな〜、と。

208(1): 03/01/09 20:05 AAS
>>206
さらに１時間更新とか...
どんなシステムか気になる。

>>207
Windowsでは画像掲示板を巡回して画像をダウンロードするソフトを聞いたことあるけど、
人参収穫か大根収穫とか名前だったか...
まあ、crontabで自動で回してみたい

209(1): 03/01/09 21:08 AAS
>>208
これか？
人参自動収穫機
外部ﾘﾝｸ:ninjinclub.tripod.co.jp

210(3): 03/01/09 23:41 AAS
この画像掲示板はPOSTじゃないと見れないみたいなんですが、w3m等の
POSTがしゃべれるツールで画像をダウンロードする方法が分からないのですが、
分かる方いらっしゃいませんか？

外部ﾘﾝｸ[cgi]:sss.direct.ne.jp

211: 03/01/10 01:23 AAS
>>210
とりあえず>>191の様にログが保存されていないか探してみるとか？
imgboardはデフォルトではfile.dat、fileback.datって名前だったような...
ただ、ログファイル名変えてたり、アクセス権を切っている可能性があるので（俺もだけど）
このばあいは>>209を試してみるとか？
下手にperlでPOSTを送ったりするのはやめた方がいいと思う

212: 03/01/10 01:25 AAS
>>210
てか、右クリック→名前を付けて保存ではいけないのか？
もしくはman w3m

213: 03/01/10 02:00 AAS
ぷ

214: 03/01/12 14:20 AAS
>>210
上のほうで出てるパッチを当てたwgetだとこんな感じ？

#!/bin/bash
url="外部ﾘﾝｸ[cgi]:hoge.com"
img="/hoge/img-box/"
lastpage=10
i=0

while [ $i -lt $lastpage ]
do
i=`expr $i + 1`
echo $url$i >> list.txt
done

wget -r -w 1 -I $img -i list.txt -o wget.log
rm -f list.txt

215(1): age2ch.pl 0.03.28 03/01/12 16:20 AAS
保守

216: 03/01/12 23:06 AAS
>>241
普通に
wget "外部ﾘﾝｸ[cgi]:hoge.com"
でもいけない？

>>215
それはやめとけ。
下手したら悪禁になるかもしれないらしい

217: 山崎渉 [（＾＾）sage] 03/01/15 12:59 AAS
（＾＾）

218(3): 03/01/24 15:59 AAS
java版を作ってみますた。

外部ﾘﾝｸ:gobo.free-city.net

※javaの実行環境が必要です。
※Windows、Macでも動くかも。

219: あぼーん [あぼーん] AAS
あぼーん

220: あぼーん [あぼーん] AAS
あぼーん

221(1): 03/01/25 17:42 AAS
>>218
ネタでつか？
鯖がみつかりませぬ・・・

222(1): 218 03/01/26 00:18 AAS
あれ？確かに見つかりませんね...。
って、鯖ごと落ちてる？

昨日まではアクセスできたのにな。今日話題になってるSQLPの影響かなぁ？

223: 03/01/26 00:43 AAS
>>222
ここでは話題になってないのかな・・

外部ﾘﾝｸ:dailynews.yahoo.co.jp

224: 218 03/01/26 09:12 AAS
>>221
たった今、鯖が復帰していることを確認しますた。よろしくおながいします。
いちお、間借りしたところは、

The site gobo.free-city.net is running Apache/1.3.27 (Unix) on FreeBSD

なので今回の騒ぎで落ちちゃったわけではなさそうですが。

225: 03/01/31 10:59 AAS
どうやらUAをいじらないとdatファイルを直接getできなくなったらしいが

226: 山崎渉 [（＾＾）] 03/04/17 12:33 AAS
（＾＾）

227: あぼーん [あぼーん] AAS
あぼーん

228: 03/04/21 02:09 AAS
↑山崎、必死だな(笑

229: 03/04/28 15:53 AAS
UNIX コマンドだと標準で巡回コマンド付いてきますが、何か？

230: 03/05/06 16:55 AAS
Mac OS 10.2 のターミナルで実行しました
そしたら、
pl {-input <binary_file>} {-output <binary_file>}
Reads ASCII PL from stdin (or serialized file if -input specified)
and writes ASCII PL to stdout (or serialized file if -output)
なんて出ちゃって、もうわかりませぬ
どうかおしえてください。。。
おながいします。。。

231: あぼーん [あぼーん] AAS
あぼーん

232: 03/06/08 23:39 AAS
おお！
このスレまだ存在してたのか。
息が長いな。
山崎先生のおかげですね。

233(1): 03/07/08 00:31 AAS
>>185 のページ見れないんですが、引越し先知ってる人います？

234: 03/07/13 19:27 AAS
>>233
とりあえずWayBack Machineで拾えた

235: あぼーん [あぼーん] AAS
あぼーん

236: 03/08/10 04:45 AAS
age?

237: あぼーん [あぼーん] AAS
あぼーん

238: あぼーん [あぼーん] AAS
あぼーん

239: あぼーん 03/11/13 20:55 AAS
あぼーん

240: 03/12/17 05:13 AAS
ﾎｯｼｭ

241(1): 03/12/31 10:54 AAS
　　

242: 04/01/08 02:45 AAS
あけましたおめでとう

243: 04/01/09 20:08 AAS
このスクリプト使ってみたよ。
板一枚で 7500 くらい画像がとれた。終わるのに丸一日かかったけど…。

244(2): 04/01/10 03:55 AAS
濃淡分布や周波数分布なんか使って、グロ画像や
虹板に紛れ込んだ三次元画像(これもグロ画像か…)を取り除きたいなぁ。
グロ画像は「怖くてみられないグロ画像を鑑定するスレ」があったね、
それを学習データにして……

マンドクセ

245: 04/01/14 21:43 AAS
>>244
一度やってみたいな。グロ画像はともかく、3次元(or2次元)排除なら
フーリエ解析+自動学習で割と精度がでるような気がするのだが。
例のベイジアンフィルタな感じで。さて…

246(1): 04/01/23 06:04 AAS
...

247(1): 04/02/13 19:29 AAS
　　

248: 04/02/14 11:06 AAS
>>246 >>247 なんだよ保守か？何か書けよ！

249: 04/03/28 18:33 AAS
保守。

>>244みたいな感じで2次元画像の属性分けできればいいな。
濃淡分布や周波数分布の勉強にいいホームページor本教えてください。

250: 04/04/16 21:20 AAS
保守

251(1): 04/07/02 22:30 AAS
外部ﾘﾝｸ:akinafreak.zive.net
2ちゃんから集めた画像を会員制にして公開

おまいら、これってどうよ

252: 04/07/02 23:46 AAS
>>251
責任を負っかぶることをものともしない猛者。

253: 04/11/13 08:59:12 AAS
エロエロage

254: pd34d81.tkyoac00.ap.so-net.ne.jp [（＾＾）] 04/12/16 11:13:43 AAS
（＾＾）

255: 04/12/16 11:25:24 AAS
何だ山崎渉か

256: 2005/04/05(火) 17:11:38 AAS
umu

257: login:root ◆GrsqjXpGxE 2005/04/17(日) 22:09:41 AAS
>>1
とりあえず、使ってみる...
これはCGIか？ブラウザで実行しろと?

まぁ、Linuxしかインストールしていない漏れのPCにはありがたいがな。
鯖にうpしてみる。分からない事があると思うから、>>1教えてな!

258(1): login:root ◆GrsqjXpGxE [age] 2005/04/17(日) 22:15:48 AAS
ｳﾜｰｰｰｰｰﾝ
早速だが>>1よ。質問がある!
ディレクトリにある conf.txt は変更する必要があるのか?

$ita = '外部ﾘﾝｸ:choco.2ch.net
$dir = './jpg';
$limit = 999;
$down = 2;

$ita は、２ちゃんの板のアドレスでおkなんだな？

259: 2005/04/17(日) 22:34:37 AAS
>>258
1じゃないけど、おｋだ

260: 名無しさん＠通りすがり ◆.q7T9q3bHY 2005/04/18(月) 01:11:41 AAS
クローラー＆過剰リロード対策スレ2【新バーボン】
2chｽﾚ:operate

delayと差分はちゃんとね。

261: 2005/07/09(土) 14:24:53 AAS
test

262: 2005/07/09(土) 21:05:19 AAS
このスレまだあったのか。。。
懐かしい

263: 2005/07/17(日) 01:12:01 AAS
ああ、ずっとあるぜ

264: 2005/08/15(月) 02:33:24 AAS
イメージサーチャーモナー?

外部ﾘﾝｸ:www.abars.biz

265(1): 2005/11/13(日) 22:53:23 AAS
一度でもdownloadしたファイルをmd5sumしてsum値のリストどっかテキスト
に保存しといて、同じsum値のファイルを二度とdownloadしないように
してくれる重複避け機能を追加してください。

266: ◆9Xm6zmxuk. 2006/11/06(月) 22:12:55 AAS
つ

267: 2007/11/13(火) 23:55:48 AAS
vdvdvdv

nfdfdnfdn

fhffhh

jrtyjr

yteryery

yeryer

268: 2008/02/22(金) 11:12:57 AAS
保守する必要ある？

269: 2009/08/01(土) 09:16:08 AAS
何だこのスレw

270: 2010/11/18(木) 21:04:12 AAS
よし！！

271: 忍法帖【Lv=3,xxxP】 2011/06/09(木) 22:47:57.83 AAS
???

272: 忍法帖【Lv=3,xxxP】 2011/06/16(木) 00:56:59.34 AAS
test

273: 忍法帖【Lv=13,xxxPT】 2011/07/02(土) 19:27:11.02 AAS
test

274: 忍法帖【Lv=4,xxxP】 2011/07/06(水) 23:00:24.79 AAS
test

275: 忍法帖【Lv=13,xxxPT】 2011/07/09(土) 15:57:54.67 AAS
test

276: 忍法帖【Lv=3,xxxP】 2011/08/16(火) 17:34:25.85 AAS
どどとどと

277: 2011/08/27(土) 20:43:51.62 AAS
渋の画像ぶっこ抜きスクリプト、要る？

278: 忍法帖【Lv=38,xxxPT】 2011/08/28(日) 09:52:34.12 AAS
test

279: 2011/09/09(金) 20:42:51.45 AAS
てーすと

280: 2011/10/06(木) 00:30:03.20 AAS
てｓｔ

281: 電脳プリオン忍法帖【Lv=40,xxxPT】(3+0：8) 【28m】 2013/02/11(月) 23:44:32.85 AAS
10年以上更新してたのか

282: 2013/02/13(水) 15:50:37.06 AAS
>>265
ソース公開されてるんだから自分でヤレ。
ってすげー前のレスだった・・・。

283: 2013/03/22(金) 21:42:30.18 AA×

284: 2013/10/13(日) 00:05:36.16 AAS
懐かしい

285: 2014/07/14(月) 17:55:10.21 AAS
画像ﾘﾝｸ

286: 島本町で凄惨なイジメを受けて廃人になった方へ 2014/08/06(水) 20:02:47.91 AAS
＞大阪府三島郡島本町の小学校や中学校は、暴力イジメ学校や。
島本町の学校でいじめ・暴力・脅迫・恐喝などを受け続けて廃人になってしもうた僕が言うんやから、
まちがいないで。僕のほかにも、イジメが原因で精神病になったりひきこもりになったりした子が何人もおる。
教師も校長も、暴力やいじめがあっても見て見ぬフリ。イジメに加担する教師すらおった。
誰かがイジメを苦にして自殺しても、「本校にイジメはなかった」と言うて逃げるんやろうなあ。
島本町の学校の関係者は、僕を捜し出して口封じをするな

＞島本町って町は、暴力といじめと口裏合わせと口封じの町なんだな

子供の時に受けた酷いイジメの体験は、一生癒えない深い傷になるなあ

「暴力とイジメと口裏合わせと口封じ」の町やそういう町に巣食うヤクザ・チンピラ・ゴロツキ・不良・
いじめっ子・ダニ・ノミ・シラミなどを監視して非難するのは暮らしやすい町を作るのに必要だ

287: 2017/12/29(金) 08:49:24.14 AAS
誰でも簡単にパソコン1台で稼げる方法など
参考までに、
⇒　『宮本のゴウリエセレレ』というブログで見ることができるらしいです。

グーグル検索⇒『宮本のゴウリエセレレ』

26UOUCYMZ2

288: 2018/05/22(火) 05:12:44.99 AAS
知り合いから教えてもらったパソコン一台でお金持ちになれるやり方
時間がある方はみてもいいかもしれません
グーグルで検索するといいかも『ネットで稼ぐ方法　モニアレフヌノ』

A4Y4N

289: 2023/09/28(木) 05:34:11.87 AAS
今は別のスクリプトで5chが落ちまくりという

290: 2023/10/20(金) 11:11:11.81 AAS
やっほー、これはうれしい驚きだ！

291: 2024/03/27(水) 20:38:37.01 AAS
要するに太ったらダメな人間はいないと思ってないんだろうね
スケート靴込でもなるだろうし
詐欺に気を使ってるとかない？

292: 2024/03/27(水) 20:49:38.09 AAS
双日って他のやつが世の中心は自由主義だよ
それ言い出したらどこも変わらんやろ...

293: 2024/03/27(水) 21:08:25.55 AAS
>>112
若者は騙しやすい。
全員死んじまえよ構わないからモリカケと変わらんのに
ガーシー馬鹿だから

294: 2024/03/27(水) 21:31:40.23 AAS
子供手当とか配偶者控除とか金持ちのほうが勝てる可能性が高そう

上下前次 1-新書関写板覧索設栞歴

ｽﾚ情報赤ﾚｽ抽出画像ﾚｽ抽出歴の未読ｽﾚ

ぬこの手ぬこTOP 0.843s*