２ちゃん画像落としまくりスクリプト (294ﾚｽ)
上下前次1-新
201(1): 03/01/08 23:02 AAS
>>199
いや、ちょっとmonazilla関係のスレをよんでたら、
いかにサーバの負荷を減らすかいろいろ考えられていて、
この、datファイルを総ざらいするのも極力避けた方がいいかと思ってきた。
やるとしても、負荷の低い時間帯にかなり間隔を開けて行った方が良いかと...
>ダウンロードの
>速さからして差分だけ落としてるように思ふ。
省1
202(1): 03/01/08 23:16 AAS
>>201
今 -nc消したやつをうｐしたよ。
だけど、-nc消したらなんだか速度が遅くなったような・・・
あと、日時がバグってるのはアーカイバーがおかしいらしいことが分かったよ。
だからｷﾆｼﾅｰｲ
>datファイルを総ざらいするのも極力避けた方がいいかと思ってきた。
なるほど。一応スレのレス数見て更新されてるか確認してから各スレの差分をダウソ
省5
203(1): 03/01/08 23:19 AAS
>>202
速度で判断するより、wgetのログをちゃんと見た方がはっきりするかと...
204: 03/01/08 23:27 AAS
>>203
-ncつけてるやつはログが消えちゃったけど、-nc消したやつのログみたら
全部落としてるみたい・・・鬱
205(1): 03/01/09 01:58 AAS
(´-`).｡oO（画像掲示板から落とした方が簡単なのに、なんでだろう…）
206(2): 03/01/09 16:19 AAS
こんなのもあったり
外部ﾘﾝｸ:j2ch.free-city.net
207(1): 03/01/09 19:32 AAS
>>205
ｿﾚﾀﾞ━━━━━━(ﾟ∀ﾟ)━━━━━━━!!!!!
にちゃんねらがよく利用している画像掲示板を巡回すれば、良質なｼﾞｪｲﾍﾟｰｸﾞが
集まるよな。
>>206
同一のアドレスがたくさん・・・sortしてuniq通せよな〜、と。
208(1): 03/01/09 20:05 AAS
>>206
さらに１時間更新とか...
どんなシステムか気になる。
>>207
Windowsでは画像掲示板を巡回して画像をダウンロードするソフトを聞いたことあるけど、
人参収穫か大根収穫とか名前だったか...
まあ、crontabで自動で回してみたい
209(1): 03/01/09 21:08 AAS
>>208
これか？
人参自動収穫機
外部ﾘﾝｸ:ninjinclub.tripod.co.jp
210(3): 03/01/09 23:41 AAS
この画像掲示板はPOSTじゃないと見れないみたいなんですが、w3m等の
POSTがしゃべれるツールで画像をダウンロードする方法が分からないのですが、
分かる方いらっしゃいませんか？
外部ﾘﾝｸ[cgi]:sss.direct.ne.jp
211: 03/01/10 01:23 AAS
>>210
とりあえず>>191の様にログが保存されていないか探してみるとか？
imgboardはデフォルトではfile.dat、fileback.datって名前だったような...
ただ、ログファイル名変えてたり、アクセス権を切っている可能性があるので（俺もだけど）
このばあいは>>209を試してみるとか？
下手にperlでPOSTを送ったりするのはやめた方がいいと思う
212: 03/01/10 01:25 AAS
>>210
てか、右クリック→名前を付けて保存ではいけないのか？
もしくはman w3m
213: 03/01/10 02:00 AAS
ぷ
214: 03/01/12 14:20 AAS
>>210
上のほうで出てるパッチを当てたwgetだとこんな感じ？
#!/bin/bash
url="外部ﾘﾝｸ[cgi]:hoge.com"
img="/hoge/img-box/"
lastpage=10
i=0
省7
215(1): age2ch.pl 0.03.28 03/01/12 16:20 AAS
保守
216: 03/01/12 23:06 AAS
>>241
普通に
wget "外部ﾘﾝｸ[cgi]:hoge.com"
でもいけない？
>>215
それはやめとけ。
下手したら悪禁になるかもしれないらしい
217: 山崎渉 [（＾＾）sage] 03/01/15 12:59 AAS
（＾＾）
218(3): 03/01/24 15:59 AAS
java版を作ってみますた。
外部ﾘﾝｸ:gobo.free-city.net
※javaの実行環境が必要です。
※Windows、Macでも動くかも。
219: あぼーん [あぼーん] AAS
あぼーん
220: あぼーん [あぼーん] AAS
あぼーん
221(1): 03/01/25 17:42 AAS
>>218
ネタでつか？
鯖がみつかりませぬ・・・
222(1): 218 03/01/26 00:18 AAS
あれ？確かに見つかりませんね...。
って、鯖ごと落ちてる？
昨日まではアクセスできたのにな。今日話題になってるSQLPの影響かなぁ？
223: 03/01/26 00:43 AAS
>>222
ここでは話題になってないのかな・・
外部ﾘﾝｸ:dailynews.yahoo.co.jp
224: 218 03/01/26 09:12 AAS
>>221
たった今、鯖が復帰していることを確認しますた。よろしくおながいします。
いちお、間借りしたところは、
The site gobo.free-city.net is running Apache/1.3.27 (Unix) on FreeBSD
なので今回の騒ぎで落ちちゃったわけではなさそうですが。
225: 03/01/31 10:59 AAS
どうやらUAをいじらないとdatファイルを直接getできなくなったらしいが
226: 山崎渉 [（＾＾）] 03/04/17 12:33 AAS
（＾＾）
227: あぼーん [あぼーん] AAS
あぼーん
228: 03/04/21 02:09 AAS
↑山崎、必死だな(笑
229: 03/04/28 15:53 AAS
UNIX コマンドだと標準で巡回コマンド付いてきますが、何か？
230: 03/05/06 16:55 AAS
Mac OS 10.2 のターミナルで実行しました
そしたら、
pl {-input <binary_file>} {-output <binary_file>}
Reads ASCII PL from stdin (or serialized file if -input specified)
and writes ASCII PL to stdout (or serialized file if -output)
なんて出ちゃって、もうわかりませぬ
どうかおしえてください。。。
省1
231: あぼーん [あぼーん] AAS
あぼーん
232: 03/06/08 23:39 AAS
おお！
このスレまだ存在してたのか。
息が長いな。
山崎先生のおかげですね。
233(1): 03/07/08 00:31 AAS
>>185 のページ見れないんですが、引越し先知ってる人います？
234: 03/07/13 19:27 AAS
>>233
とりあえずWayBack Machineで拾えた
235: あぼーん [あぼーん] AAS
あぼーん
236: 03/08/10 04:45 AAS
age?
237: あぼーん [あぼーん] AAS
あぼーん
238: あぼーん [あぼーん] AAS
あぼーん
239: あぼーん 03/11/13 20:55 AAS
あぼーん
240: 03/12/17 05:13 AAS
ﾎｯｼｭ
241(1): 03/12/31 10:54 AAS
242: 04/01/08 02:45 AAS
あけました おめでとう
243: 04/01/09 20:08 AAS
このスクリプト使ってみたよ。
板一枚で 7500 くらい画像がとれた。終わるのに丸一日かかったけど…。
244(2): 04/01/10 03:55 AAS
濃淡分布や周波数分布なんか使って、グロ画像や
虹板に紛れ込んだ三次元画像(これもグロ画像か…)を取り除きたいなぁ。
グロ画像は「怖くてみられないグロ画像を鑑定するスレ」があったね、
それを学習データにして……
マンドクセ
245: 04/01/14 21:43 AAS
>>244
一度やってみたいな。グロ画像はともかく、3次元(or2次元)排除なら
フーリエ解析+自動学習 で割と精度がでるような気がするのだが。
例のベイジアンフィルタな感じで。さて…
246(1): 04/01/23 06:04 AAS
...
247(1): 04/02/13 19:29 AAS
248: 04/02/14 11:06 AAS
>>246 >>247 なんだよ保守か？ 何か書けよ！
249: 04/03/28 18:33 AAS
保守。
>>244みたいな感じで2次元画像の属性分けできればいいな。
濃淡分布や周波数分布の勉強にいいホームページor本教えてください。
250: 04/04/16 21:20 AAS
保守
251(1): 04/07/02 22:30 AAS
外部ﾘﾝｸ:akinafreak.zive.net
2ちゃんから集めた画像を会員制にして公開
おまいら、これってどうよ
252: 04/07/02 23:46 AAS
>>251
責任を負っかぶることをものともしない猛者。
253: 04/11/13 08:59 AAS
エロエロage
254: pd34d81.tkyoac00.ap.so-net.ne.jp [（＾＾）] 04/12/16 11:13 AAS
（＾＾）
255: 04/12/16 11:25 AAS
何だ山崎渉か
256: 2005/04/05(火)17:11 AAS
umu
257: login:root ◆GrsqjXpGxE 2005/04/17(日)22:09 AAS
>>1
とりあえず、使ってみる...
これはCGIか？ブラウザで実行しろと?
まぁ、Linuxしかインストールしていない漏れのPCにはありがたいがな。
鯖にうpしてみる。分からない事があると思うから、>>1教えてな!
258(1): login:root ◆GrsqjXpGxE [age] 2005/04/17(日)22:15 AAS
ｳﾜｰｰｰｰｰﾝ
早速だが>>1よ。質問がある!
ディレクトリにある conf.txt は変更する必要があるのか?
$ita = '外部ﾘﾝｸ:choco.2ch.net
$dir = './jpg';
$limit = 999;
$down = 2;
省1
259: 2005/04/17(日)22:34 AAS
>>258
1じゃないけど、おｋだ
260: 名無しさん＠通りすがり ◆.q7T9q3bHY 2005/04/18(月)01:11 AAS
クローラー＆過剰リロード対策スレ2【新バーボン】
2chｽﾚ:operate
delayと差分はちゃんとね。
261: 2005/07/09(土)14:24 AAS
test
262: 2005/07/09(土)21:05 AAS
このスレまだあったのか。。。
懐かしい
263: 2005/07/17(日)01:12 AAS
ああ、ずっとあるぜ
264: 2005/08/15(月)02:33 AAS
イメージサーチャーモナー?
外部ﾘﾝｸ:www.abars.biz
265(1): 2005/11/13(日)22:53 AAS
一度でもdownloadしたファイルをmd5sumしてsum値のリストどっかテキスト
に保存しといて、同じsum値のファイルを二度とdownloadしないように
してくれる重複避け機能を追加してください。
266: ◆9Xm6zmxuk. 2006/11/06(月)22:12 AAS
つ
267: 2007/11/13(火)23:55 AAS
vdvdvdv
nfdfdnfdn
fhffhh
jrtyjr
yteryery
省1
268: 2008/02/22(金)11:12 AAS
保守する必要ある？
269: 2009/08/01(土)09:16 AAS
何だこのスレw
270: 2010/11/18(木)21:04 AAS
よし！！
271: 忍法帖【Lv=3,xxxP】 2011/06/09(木)22:47 AAS
???
272: 忍法帖【Lv=3,xxxP】 2011/06/16(木)00:56 AAS
test
273: 忍法帖【Lv=13,xxxPT】 2011/07/02(土)19:27 AAS
test
274: 忍法帖【Lv=4,xxxP】 2011/07/06(水)23:00 AAS
test
275: 忍法帖【Lv=13,xxxPT】 2011/07/09(土)15:57 AAS
test
276: 忍法帖【Lv=3,xxxP】 2011/08/16(火)17:34 AAS
どどとどと
277: 2011/08/27(土)20:43 AAS
渋の画像ぶっこ抜きスクリプト、要る？
278: 忍法帖【Lv=38,xxxPT】 2011/08/28(日)09:52 AAS
test
279: 2011/09/09(金)20:42 AAS
てーすと
280: 2011/10/06(木)00:30 AAS
てｓｔ
281: 電脳プリオン 忍法帖【Lv=40,xxxPT】(3+0：8) 【28m】 2013/02/11(月)23:44 AAS
10年以上更新してたのか
上下前次1-新書関写板覧索設栞歴
あと 13 ﾚｽあります
ｽﾚ情報 赤ﾚｽ抽出 画像ﾚｽ抽出 歴の未読ｽﾚ AAｻﾑﾈｲﾙ
ぬこの手 ぬこTOP 0.014s