２ちゃん画像落としまくりスクリプト (294ﾚｽ)
２ちゃん画像落としまくりスクリプト http://mevius.5ch.net/test/read.cgi/unix/1003833552/
上
下
前
次
1-
新
通常表示
512ﾊﾞｲﾄ分割
ﾚｽ栞
177: 名無しさん＠お腹いっぱい。 [sage] 03/01/06 21:24 >>176 ・・・なんかちょうど1日ずれてるような。 http://mevius.5ch.net/test/read.cgi/unix/1003833552/177
178: 名無しさん＠お腹いっぱい。 [sage] 03/01/06 23:34 て優香、wget使わなければforkしなくていいからActivePerlでも使えるようになるし、 Irvineでも使えばwgetよりはるかに効率的に収集できるし。 あーあ、UNIX板で気付いちゃいけないことに気付いちゃったよ。 http://mevius.5ch.net/test/read.cgi/unix/1003833552/178
179: 名無しさん＠お腹いっぱい。 [sage] 03/01/07 10:03 萌え板を監視するスクリプトも( ﾟдﾟ)ﾎｽｨ… http://mevius.5ch.net/test/read.cgi/unix/1003833552/179
180: 名無しさん＠お腹いっぱい。 [sage] 03/01/07 11:41 >>179 萌え板を監視、って具体的に何できればいいんだ？ と優香、萌え板って何？ファイヤーウォールのこと？ http://mevius.5ch.net/test/read.cgi/unix/1003833552/180
181: 名無しさん＠お腹いっぱい。 [sage] 03/01/07 12:52 >>178 soretteCUI? http://mevius.5ch.net/test/read.cgi/unix/1003833552/181
182: 179 [sage] 03/01/07 13:06 説明不足でした。 こんな感じの掲示板です。 http://www9.xdsl.ne.jp/~w2web/moe/moelinks.html 萌々ぼ〜どって言うのかな？ ソノテの人の画像アップ掲示板として広く使われてるみたいです。 欲しいのは画像をいっきに落とす・・ですが できたら全てのページをログも含めてHDに保存できるのが好ましいです。 http://mevius.5ch.net/test/read.cgi/unix/1003833552/182
183: 名無しさん＠お腹いっぱい。 [sage] 03/01/07 13:32 >>182 そうか、wgetの-rオプションだけでは画像アップローダーの ２ページ目以降のがとってこれないのか... うーむ http://mevius.5ch.net/test/read.cgi/unix/1003833552/183
184: 名無しさん＠お腹いっぱい。 [sage] 03/01/07 14:57 >>182 なるほど。理解した。 VBスクリプトなら、次のページをめくるボタンを押すスクリプトが簡単に書けるけど、 Perlとかだとどうやってやるんだろ？ http://mevius.5ch.net/test/read.cgi/unix/1003833552/184
185: 名無しさん＠お腹いっぱい。 [sage] 03/01/07 14:58 wgetでpostできるようにするパッチあるよ ttp://pluto.im.uec.ac.jp/~sekita-n/prog/ CGIを激しく呼び出してアク禁喰らっても知らないけど http://mevius.5ch.net/test/read.cgi/unix/1003833552/185
186: 名無しさん＠お腹いっぱい。 [sage] 03/01/07 15:03 >>184 cgiを読んだら、POSTを送ることでページをめくるようになってた。 perlだったら直接サーバと繋いで、POSTを直接送ればできるのでは？ またはhttp://hoghoge/moemoe.cgi?page=3でページを直接指定して(GETでも)ページを開けるらしい。 ところでwgetでPOSTを送ることってできないよね？（wget厨ですまそ） http://mevius.5ch.net/test/read.cgi/unix/1003833552/186
187: 186 [sage] 03/01/07 15:05 >>185 リロードしたらみました。 すまそ。試してみます。 wget以外でPOSTを簡単に送れるツールを以前どこかで見たことあったけど。。 http://mevius.5ch.net/test/read.cgi/unix/1003833552/187
188: 名無しさん＠お腹いっぱい。 [sage] 03/01/07 15:57 curl使え http://mevius.5ch.net/test/read.cgi/unix/1003833552/188
189: 名無しさん＠お腹いっぱい。 [sage] 03/01/07 17:03 >>181 Irvineもコマンドラインから使えるけど。 irvine list.txt で、URLリストを入れられる。 cronで回すのでなければ、Win上でやったほうが簡単かも。 http://mevius.5ch.net/test/read.cgi/unix/1003833552/189
190: 名無しさん＠お腹いっぱい。 [sage] 03/01/07 19:44 ⊂⌒~⊃｡Д｡）⊃ http://mevius.5ch.net/test/read.cgi/unix/1003833552/190
191: 名無しさん＠お腹いっぱい。 [sage] 03/01/07 21:57 その萌え萌えなんちゃらってやつな、moemoe.htmlと同じディレクトリにある moemoe.logってのがログファイルだからそれ落とせ。画像のURLも載ってるから。 CGI叩くのやめれ。 http://mevius.5ch.net/test/read.cgi/unix/1003833552/191
192: 名無しさん＠お腹いっぱい。 [] 03/01/08 01:46 >>172 なんかデリられてるみたいなんで差異うpキボンヌ、クレクレ君でスマソ http://mevius.5ch.net/test/read.cgi/unix/1003833552/192
193: 名無しさん＠お腹いっぱい。 [sage] 03/01/08 01:51 >>187 w3m http://mevius.5ch.net/test/read.cgi/unix/1003833552/193
194: 名無しさん＠お腹いっぱい。 [sage] 03/01/08 09:32 >>192 ゴメソ。 cgiからｹﾞﾄｰしてるので下手するとアク禁になっちゃうから今消してる。 もうすぐ次バージョンうｐするからまってて〜(;´Д`) http://mevius.5ch.net/test/read.cgi/unix/1003833552/194
195: 名無しさん＠お腹いっぱい。 [sage] 03/01/08 14:37 >>193 それだ！ http://mevius.5ch.net/test/read.cgi/unix/1003833552/195
196: 名無しさん＠お腹いっぱい。 [sage] 03/01/08 21:35 >>192 うｐしたよ〜 急いで書いたからちゃんと動くかわからないけど。 http://mevius.5ch.net/test/read.cgi/unix/1003833552/196
197: 名無しさん＠お腹いっぱい。 [sage] 03/01/08 21:49 >>196 さっきの動かなかったから、差し替えますた。 http://mevius.5ch.net/test/read.cgi/unix/1003833552/197
198: 名無しさん＠お腹いっぱい。 [sage] 03/01/08 22:46 >>197 まだ時計がずれてない？（ｗ 勘違いだったらスマソ。 ちょっと読んで気になったのは、 スレッドの差分を取ってくるときのwgetのオプションで-cと-ncの両方を指定しているけど、 これって両方あったらまずくないの？>>165 あと、datファイルを連続してダウンロードしたら、2chの負荷が大きくなってまずいと思うけど.. http://mevius.5ch.net/test/read.cgi/unix/1003833552/198
199: 名無しさん＠お腹いっぱい。 [sage] 03/01/08 22:50 >>198 あらほんと。 -cと-nc一緒に書いちゃってるけど、一応動いてるし、ダウンロードの 速さからして差分だけ落としてるように思ふ。 て優香、汚いソースを丁寧に読んでくれてありが? datは差分だけ落としてるから連続ダウソも大丈夫かと思ったが、 やっぱヤバイかね？間隔あけた方がいいかな？ http://mevius.5ch.net/test/read.cgi/unix/1003833552/199
200: 名無しさん＠お腹いっぱい。 [sage] 03/01/08 22:52 あと、wgetのダウンロード速度が遅くていらつくんだけど、なんか解決方法 ありませんか？ http://mevius.5ch.net/test/read.cgi/unix/1003833552/200
201: 名無しさん＠お腹いっぱい。 [sage] 03/01/08 23:02 >>199 いや、ちょっとmonazilla関係のスレをよんでたら、 いかにサーバの負荷を減らすかいろいろ考えられていて、 この、datファイルを総ざらいするのも極力避けた方がいいかと思ってきた。 やるとしても、負荷の低い時間帯にかなり間隔を開けて行った方が良いかと... >ダウンロードの >速さからして差分だけ落としてるように思ふ。 -ncはすでにファイルが存在したら、ダウンロードしないので、ダウンロードされていない可能性は？ http://mevius.5ch.net/test/read.cgi/unix/1003833552/201
202: 名無しさん＠お腹いっぱい。 [sage] 03/01/08 23:16 >>201 今 -nc消したやつをうｐしたよ。 だけど、-nc消したらなんだか速度が遅くなったような・・・ あと、日時がバグってるのはアーカイバーがおかしいらしいことが分かったよ。 だからｷﾆｼﾅｰｲ >datファイルを総ざらいするのも極力避けた方がいいかと思ってきた。 なるほど。一応スレのレス数見て更新されてるか確認してから各スレの差分をダウソ するようにしてるけど。もっと負荷を減らす方法ないでつかね？ cronで回すなら、10秒おきに更新されてるスレを1スレずつ巡回みたいなことも考えられるけど。 >-ncはすでにファイルが存在したら、ダウンロードしないので、ダウンロードされていない可能性は？ 一応ダウンロードされてるようだが・・・謎。 まぁ直したし。 http://mevius.5ch.net/test/read.cgi/unix/1003833552/202
203: 名無しさん＠お腹いっぱい。 [sage] 03/01/08 23:19 >>202 速度で判断するより、wgetのログをちゃんと見た方がはっきりするかと... http://mevius.5ch.net/test/read.cgi/unix/1003833552/203
204: 名無しさん＠お腹いっぱい。 [sage] 03/01/08 23:27 >>203 -ncつけてるやつはログが消えちゃったけど、-nc消したやつのログみたら 全部落としてるみたい・・・鬱 http://mevius.5ch.net/test/read.cgi/unix/1003833552/204
205: 名無しさん＠お腹いっぱい。 [sage] 03/01/09 01:58 (´-`).｡oO（画像掲示板から落とした方が簡単なのに、なんでだろう…） http://mevius.5ch.net/test/read.cgi/unix/1003833552/205
206: 名無しさん＠お腹いっぱい。 [sage] 03/01/09 16:19 こんなのもあったり http://j2ch.free-city.net/ http://mevius.5ch.net/test/read.cgi/unix/1003833552/206
207: 名無しさん＠お腹いっぱい。 [sage] 03/01/09 19:32 >>205 ｿﾚﾀﾞ━━━━━━(ﾟ∀ﾟ)━━━━━━━!!!!! にちゃんねらがよく利用している画像掲示板を巡回すれば、良質なｼﾞｪｲﾍﾟｰｸﾞが 集まるよな。 >>206 同一のアドレスがたくさん・・・sortしてuniq通せよな〜、と。 http://mevius.5ch.net/test/read.cgi/unix/1003833552/207
208: 名無しさん＠お腹いっぱい。 [sage] 03/01/09 20:05 >>206 さらに１時間更新とか... どんなシステムか気になる。 >>207 Windowsでは画像掲示板を巡回して画像をダウンロードするソフトを聞いたことあるけど、 人参収穫か大根収穫とか名前だったか... まあ、crontabで自動で回してみたい http://mevius.5ch.net/test/read.cgi/unix/1003833552/208
209: 名無しさん＠お腹いっぱい。 [sage] 03/01/09 21:08 >>208 これか？ 人参自動収穫機 http://ninjinclub.tripod.co.jp/ http://mevius.5ch.net/test/read.cgi/unix/1003833552/209
210: 名無しさん＠お腹いっぱい。 [sage] 03/01/09 23:41 この画像掲示板はPOSTじゃないと見れないみたいなんですが、w3m等の POSTがしゃべれるツールで画像をダウンロードする方法が分からないのですが、 分かる方いらっしゃいませんか？ ttp://sss.direct.ne.jp/nuke/bbs.cgi http://mevius.5ch.net/test/read.cgi/unix/1003833552/210
211: 名無しさん＠お腹いっぱい。 [sage] 03/01/10 01:23 >>210 とりあえず>>191の様にログが保存されていないか探してみるとか？ imgboardはデフォルトではfile.dat、fileback.datって名前だったような... ただ、ログファイル名変えてたり、アクセス権を切っている可能性があるので（俺もだけど） このばあいは>>209を試してみるとか？ 下手にperlでPOSTを送ったりするのはやめた方がいいと思う http://mevius.5ch.net/test/read.cgi/unix/1003833552/211
212: 名無しさん＠お腹いっぱい。 [sage] 03/01/10 01:25 >>210 てか、右クリック→名前を付けて保存ではいけないのか？ もしくはman w3m http://mevius.5ch.net/test/read.cgi/unix/1003833552/212
213: 名無しさん＠お腹いっぱい。 [sage] 03/01/10 02:00 ぷ http://mevius.5ch.net/test/read.cgi/unix/1003833552/213
214: 名無しさん＠お腹いっぱい。 [sage] 03/01/12 14:20 >>210 上のほうで出てるパッチを当てたwgetだとこんな感じ？ #!/bin/bash url="http://hoge.com/hoge/imgboard.cgi??page=" img="/hoge/img-box/" lastpage=10 i=0 while [ $i -lt $lastpage ] do i=`expr $i + 1` echo $url$i >> list.txt done wget -r -w 1 -I $img -i list.txt -o wget.log rm -f list.txt http://mevius.5ch.net/test/read.cgi/unix/1003833552/214
215: age2ch.pl 0.03.28 [sage] 03/01/12 16:20 保守 http://mevius.5ch.net/test/read.cgi/unix/1003833552/215
216: 名無しさん＠お腹いっぱい。 [sage] 03/01/12 23:06 >>241 普通に wget "http://hoge.com/hoge/imgboard.cgi?page=2" でもいけない？ >>215 それはやめとけ。 下手したら悪禁になるかもしれないらしい http://mevius.5ch.net/test/read.cgi/unix/1003833552/216
217: 山崎渉 [（＾＾）sage] 03/01/15 12:59 （＾＾） http://mevius.5ch.net/test/read.cgi/unix/1003833552/217
218: 名無しさん＠お腹いっぱい。 [] 03/01/24 15:59 java版を作ってみますた。 http://gobo.free-city.net/ ※javaの実行環境が必要です。 ※Windows、Macでも動くかも。 http://mevius.5ch.net/test/read.cgi/unix/1003833552/218
219: あぼーん [あぼーん] あぼーん http://mevius.5ch.net/test/read.cgi/unix/1003833552/219
220: あぼーん [あぼーん] あぼーん http://mevius.5ch.net/test/read.cgi/unix/1003833552/220
221: 名無しさん＠お腹いっぱい。 [sage] 03/01/25 17:42 >>218 ネタでつか？ 鯖がみつかりませぬ・・・ http://mevius.5ch.net/test/read.cgi/unix/1003833552/221
222: 218 [] 03/01/26 00:18 あれ？確かに見つかりませんね...。 って、鯖ごと落ちてる？ 昨日まではアクセスできたのにな。今日話題になってるSQLPの影響かなぁ？ http://mevius.5ch.net/test/read.cgi/unix/1003833552/222
223: 名無しさん＠お腹いっぱい。 [sage] 03/01/26 00:43 >>222 ここでは話題になってないのかな・・ ttp://dailynews.yahoo.co.jp/fc/computer/internet/ http://mevius.5ch.net/test/read.cgi/unix/1003833552/223
224: 218 [sage] 03/01/26 09:12 >>221 たった今、鯖が復帰していることを確認しますた。よろしくおながいします。 いちお、間借りしたところは、 The site gobo.free-city.net is running Apache/1.3.27 (Unix) on FreeBSD なので今回の騒ぎで落ちちゃったわけではなさそうですが。 http://mevius.5ch.net/test/read.cgi/unix/1003833552/224
225: 名無しさん＠お腹いっぱい。 [sage] 03/01/31 10:59 どうやらUAをいじらないとdatファイルを直接getできなくなったらしいが http://mevius.5ch.net/test/read.cgi/unix/1003833552/225
226: 山崎渉 [（＾＾）] 03/04/17 12:33 （＾＾） http://mevius.5ch.net/test/read.cgi/unix/1003833552/226
227: あぼーん [あぼーん] あぼーん http://mevius.5ch.net/test/read.cgi/unix/1003833552/227
228: 名無しさん＠お腹いっぱい。 [] 03/04/21 02:09 ↑山崎、必死だな(笑 http://mevius.5ch.net/test/read.cgi/unix/1003833552/228
229: 名無しさん＠お腹いっぱい。 [] 03/04/28 15:53 UNIX コマンドだと標準で巡回コマンド付いてきますが、何か？ http://mevius.5ch.net/test/read.cgi/unix/1003833552/229
230: 名無しさん＠お腹いっぱい。 [sage] 03/05/06 16:55 Mac OS 10.2 のターミナルで実行しました そしたら、 pl {-input <binary_file>} {-output <binary_file>} Reads ASCII PL from stdin (or serialized file if -input specified) and writes ASCII PL to stdout (or serialized file if -output) なんて出ちゃって、もうわかりませぬ どうかおしえてください。。。 おながいします。。。 http://mevius.5ch.net/test/read.cgi/unix/1003833552/230
231: あぼーん [あぼーん] あぼーん http://mevius.5ch.net/test/read.cgi/unix/1003833552/231
232: 名無しさん＠お腹いっぱい。 [] 03/06/08 23:39 おお！ このスレまだ存在してたのか。 息が長いな。 山崎先生のおかげですね。 http://mevius.5ch.net/test/read.cgi/unix/1003833552/232
233: 名無しさん＠お腹いっぱい。 [] 03/07/08 00:31 >>185 のページ見れないんですが、引越し先知ってる人います？ http://mevius.5ch.net/test/read.cgi/unix/1003833552/233
234: 名無しさん＠お腹いっぱい。 [sage] 03/07/13 19:27 >>233 とりあえずWayBack Machineで拾えた http://mevius.5ch.net/test/read.cgi/unix/1003833552/234
235: あぼーん [あぼーん] あぼーん http://mevius.5ch.net/test/read.cgi/unix/1003833552/235
236: 名無しさん＠お腹いっぱい。 [] 03/08/10 04:45 age? http://mevius.5ch.net/test/read.cgi/unix/1003833552/236
237: あぼーん [あぼーん] あぼーん http://mevius.5ch.net/test/read.cgi/unix/1003833552/237
238: あぼーん [あぼーん] あぼーん http://mevius.5ch.net/test/read.cgi/unix/1003833552/238
239: あぼーん [sage] 03/11/13 20:55 あぼーん http://mevius.5ch.net/test/read.cgi/unix/1003833552/239
240: 名無しさん＠お腹いっぱい。 [sage] 03/12/17 05:13 ﾎｯｼｭ http://mevius.5ch.net/test/read.cgi/unix/1003833552/240
241: 名無しさん＠お腹いっぱい。 [sage] 03/12/31 10:54 http://mevius.5ch.net/test/read.cgi/unix/1003833552/241
242: 名無しさん＠お腹いっぱい。 [] 04/01/08 02:45 あけました おめでとう http://mevius.5ch.net/test/read.cgi/unix/1003833552/242
243: 名無しさん＠お腹いっぱい。 [sage] 04/01/09 20:08 このスクリプト使ってみたよ。 板一枚で 7500 くらい画像がとれた。終わるのに丸一日かかったけど…。 http://mevius.5ch.net/test/read.cgi/unix/1003833552/243
244: 名無しさん＠お腹いっぱい。 [sage] 04/01/10 03:55 濃淡分布や周波数分布なんか使って、グロ画像や 虹板に紛れ込んだ三次元画像(これもグロ画像か…)を取り除きたいなぁ。 グロ画像は「怖くてみられないグロ画像を鑑定するスレ」があったね、 それを学習データにして…… マンドクセ http://mevius.5ch.net/test/read.cgi/unix/1003833552/244
245: 名無しさん＠お腹いっぱい。 [sage] 04/01/14 21:43 >>244 一度やってみたいな。グロ画像はともかく、3次元(or2次元)排除なら フーリエ解析+自動学習 で割と精度がでるような気がするのだが。 例のベイジアンフィルタな感じで。さて… http://mevius.5ch.net/test/read.cgi/unix/1003833552/245
246: 名無しさん＠お腹いっぱい。 [sage] 04/01/23 06:04 ... http://mevius.5ch.net/test/read.cgi/unix/1003833552/246
247: 名無しさん＠お腹いっぱい。 [sage] 04/02/13 19:29 http://mevius.5ch.net/test/read.cgi/unix/1003833552/247
248: 名無しさん＠お腹いっぱい。 [sage] 04/02/14 11:06 >>246 >>247 なんだよ保守か？ 何か書けよ！ http://mevius.5ch.net/test/read.cgi/unix/1003833552/248
249: 名無しさん＠お腹いっぱい。 [sage] 04/03/28 18:33 保守。 >>244みたいな感じで2次元画像の属性分けできればいいな。 濃淡分布や周波数分布の勉強にいいホームページor本教えてください。 http://mevius.5ch.net/test/read.cgi/unix/1003833552/249
250: 名無しさん＠お腹いっぱい。 [sage] 04/04/16 21:20 保守 http://mevius.5ch.net/test/read.cgi/unix/1003833552/250
251: 名無しさん＠お腹いっぱい。 [] 04/07/02 22:30 http://akinafreak.zive.net/imageThumbnail/showGazoKanList.action 2ちゃんから集めた画像を会員制にして公開 おまいら、これってどうよ http://mevius.5ch.net/test/read.cgi/unix/1003833552/251
252: 名無しさん＠お腹いっぱい。 [sage] 04/07/02 23:46 >>251 責任を負っかぶることをものともしない猛者。 http://mevius.5ch.net/test/read.cgi/unix/1003833552/252
253: 名無しさん＠お腹いっぱい。 [] 04/11/13 08:59:12 エロエロage http://mevius.5ch.net/test/read.cgi/unix/1003833552/253
254: pd34d81.tkyoac00.ap.so-net.ne.jp [（＾＾）] 04/12/16 11:13:43 （＾＾） http://mevius.5ch.net/test/read.cgi/unix/1003833552/254
255: 名無しさん＠お腹いっぱい。 [sage] 04/12/16 11:25:24 何だ山崎渉か http://mevius.5ch.net/test/read.cgi/unix/1003833552/255
256: 名無しさん＠お腹いっぱい。 [] 2005/04/05(火) 17:11:38 umu http://mevius.5ch.net/test/read.cgi/unix/1003833552/256
257: login:root ◆GrsqjXpGxE [sage] 2005/04/17(日) 22:09:41 >>1 とりあえず、使ってみる... これはCGIか？ブラウザで実行しろと? まぁ、Linuxしかインストールしていない漏れのPCにはありがたいがな。 鯖にうpしてみる。分からない事があると思うから、>>1教えてな! http://mevius.5ch.net/test/read.cgi/unix/1003833552/257
ﾒﾓ帳
(0/65535文字)
上
下
前
次
1-
新
書
関
写
板
覧
索
設
栞
歴
あと 37 ﾚｽあります
ｽﾚ情報
赤ﾚｽ抽出
画像ﾚｽ抽出
歴の未読ｽﾚ
AAｻﾑﾈｲﾙ
Google検索
Wikipedia
ぬこの手
ぬこTOP
0.011s