２ちゃん画像落としまくりスクリプト (294ﾚｽ)
上下前次1-新
2: 01/10/23 19:49 AAS
windows で perl も wget も動くはずだが。
3: 1 01/10/23 19:50 AAS
fork 使ってるからActive perlでは動かないのですよ。
cygwin上なら動くかも（ためしてないけど）
4: 1 01/10/23 19:53 AAS
追記：
MacOS Xなら動きますよ
（10.1ならwgetを入れなきゃだめだけど）
5: 01/10/23 19:56 AAS
ｸﾞﾛ画像ｺﾜｲﾖ(；´д｀)
6(1): 1 01/10/23 20:03 AAS
例えばモー娘板で
一回スクリプトを実行すると
約８００枚の画像が収集できます。
7: 01/10/23 21:11 AAS
UNIX板的にはどうかと思うがサンクス１
8(1): ソースコード読まずにカキコ 01/10/23 21:15 AAS
Σ（ﾟдﾟｌｌｌ）ｶﾞｰﾝ
アイドル画像板でやったら最初の画像が葉っぱ隊だった
しかも何かループしてて同じ画像だけ取ってるっぽい。
42枚しか収集できなかった。
9(1): UNIX すごい。 01/10/23 21:21 AAS
MacOS X ですがやってみました。
こんなこともできるんですね。目からウロコです。
中にはとても重たいサーバーがあるので、可能であれば
タイムアウトのパラメータも追加されるとうれしいです。
（３０秒以上反応が無かったらスキップして次、など）
perl スクリプトとか詳しくないのに勝手言っちゃってすいません。
10(1): 01/10/23 21:27 AAS
cygwinのperlでも動いた。
ただ $down デフォルトは、せめて2くらいに
しておいた方が良くないかい? もしくは固定とか。
サーバに申し訳なくて5は指定出来ん。
11(1): 01/10/23 21:34 AAS
mpegも落としたいが....
醤油みたけど直すのメンドイな
12: 01/10/23 22:19 AAS
こういうのは自分で書いた方が良さげ。
13: 1 01/10/23 23:39 AAS
1です。
>>8
アイドル版ならもっと集まるはず。取得スレ数リミットをもっとあげてみよう。
>>9
wgetのパラメータをいじればできます。現在の設定は２分です。
今後調整します。スクリプトの１５３行目をいじれば変更もできますよ。
>>10
省3
14: 01/10/23 23:44 AAS
ｶﾞ━━(ﾟДﾟ;)━━ｿ!
よろこびいさんで半角板いったらなんもなかった
15(2): 01/10/23 23:47 AAS
おおお、すごいね。ガンガン落とせるよ。でも鯖の負荷がすごそう
なのでsage進行の方が良いかな…。
ところで、これで落とした画像を閲覧するスクリプトとか、
どうやって作るんだろう？ 手動でeeで見てるんだけど、再帰的に
.jpgファイルを見るスプリプト？とかありそうなんですが。
16: 名無しさん＠ＸＥｍａｃｓ 01/10/24 01:00 AAS
やっぱ wget を fork して…ってのはみんな書くのね(笑)
ウチの環境だと wget は 2 個くらい fork するのが一番
効率が良かったかなぁ。
# fork しすぎると timeout して、
# まともに取れなかったりして…
>15
find ./ -name '*.jpg' -exec display \{\} \;
省2
17(1): 01/10/24 01:08 AAS
迷惑画像URLリストとか、どこかにないでしょうか。
フィルタリングしたいですよね。
18: 01/10/24 01:26 AAS
find ./ -name '*.jpg' |xargs ElectoricEyes
19(1): 01/10/24 01:36 AAS
半角板のDATってどこにあるす？ つーか何もないのはおかしいよね。
20: 01/10/24 01:41 AAS
>>15
スクリプトじゃないけどgqviewとかpicviewとかじゃだめなん？
21(1): 124 01/10/24 03:03 AAS
こんなことができるのは常時接続の人たちですか?
22: うひひ 01/10/24 09:28 AAS
>>21
情事切実な人だな。
23: 01/10/24 10:38 AAS
>>19
半角板だと
$ita = 2ch板:ascii
の設定でＯＫなはず
24(1): 01/10/24 13:07 AAS
ｈｔｔｐ://とか
外部ﾘﾝｸ:
みたいにあえてコピペ用になってる物も
落とせる？
25(1): 01/10/24 13:28 AAS
>>17
同意．
でも，迷惑画像っつーのは人によって異なるからね，一概には．．．
画像分析して妙に赤が多いのはハネるとかは欲しいかも．
26: 1 01/10/24 13:59 AAS
>>24
むろんＯＫです。
"ttp://"でひっかけてます。
27: 1 01/10/24 14:01 AAS
>>25
その機能はつけたいんですけどね・・・
でも赤くない死体画像もあるし・・・
こういう時に１ｃｈのレス評価システムは
使い勝手があるんだな、と感じます
28(2): 名無しさん＠ＸＥｍａｃｓ 01/10/24 14:16 AAS
半角っていえば、天使とか鳥とかの半角用語？を含むURLをサポートしたスクリ
プト書いた人居る？漏れは諦めた(w
これ、できたら結構凄いよな…
29: 01/10/24 23:33 AAS
>>28
同意。ぜひ1にはがんばってもらいたい。
30(1): 名無しさん@Ｖｉ 01/10/25 01:42 AAS
たしかに画像フィルタは便利かもしれませんが、
個人的にはこのスクリプトは画像をダイジェストできることに
特化して欲しいです。
できれば追加して欲しい機能
1.URL は違うけどファイル名が同じ場合のファイル処理
2. キーワードを追加( 外部ﾘﾝｸ:とか ｈｔｔｐ外部ﾘﾝｸ:など)
3.スレッドのスキップ（先頭から５０個目のスレッドから開始など）
省3
31(1): 01/10/25 01:59 AAS
スレをどこまで読んだか記憶して、次回はそれ以降だけを読むとか、
落としたファイルのアドレスを記録しておいてそのファイルは二度と落とさないとか
そういう機能がないと、毎日同じファイルをダウンしてきてしまうと思うのですが
どうよ？
32(1): 1 01/10/25 11:38 AAS
>>30
ご意見ありがとうございます。
検討して次期バージョンに反映します。
>>31
んーと現在の仕様では、同じファイルの画像が
ローカルにあればダウンしないようになっていますので、
毎日同じファイルをダウンしてしまうというのはないです。
省2
33: 01/10/26 00:26 AAS
コレ使うとスレの荒れ度がわかるね
荒れてるスレは死体画像多い。
あとなぜかペットの画像も多いＮＥ！
34(1): 01/10/26 05:38 AAS
wgetでいいじゃん。
35: 01/10/26 11:16 AAS
>>34
そういう説もある。
ttp://追えないけどね
36: 01/10/26 16:55 AAS
OSXにwget入れるのに小1時間かかりました。
でも成功、すごいぞUNIX、ありがとう＞1
37(1): 01/10/27 01:20 AAS
>32
そっか、俺は落としてきたファイルを
別ディレクトリに移動して整理していたんだが、
そうすると、また同じやつを落としてきてしまうんだな。
死体画像とかも残しておかないと、
また同じ死体画像を落としてきてしまうのだな。
38(1): 01/10/27 10:54 AAS
>>28 その辺の隠語は限られているから、単純置換じゃダメかな…
39: 1 01/10/27 17:44 AAS
>>37
死体画像は同じファイル名でダミーのファイルとかを
置くとかすると良いかも・・・
面倒なのでそのうちその辺もなんとかしたいですね
40: 名無しさん＠ＸＥｍａｃｓ 01/10/27 20:34 AAS
>38
単純置換は無理っぽいですね。隠語はちょこちょこ増えてるみたいですし、
URLは省略されたりクイズで記述されたりもするので(w
41(1): 01/10/27 20:49 AAS
おいおいおいおいおい、2ch内とはいえ下手なスパイダー
動かすのはやめてくれ。転送量も鯖の負荷も増える。
やりたいやつは公開なんかしないで、自分で作ってひっそりと
やってくれ。
42(1): 01/10/29 19:56 AAS
>>41
すいてる時間帯でもダメ？
43: 名無しさん＠ほっとぞぬ 01/10/29 23:13 AAS
>>42
まず、datファイルをgetして、それを元にすればよいかと思われ。
44(3): 01/10/29 23:57 AAS
MacOSXの人って結構いるんだなぁ。
そういう漏れも。
45(2): 01/10/30 00:12 AAS
>>44
俺もMacOS X
最近多いよね。
厨房UNIX使い気取りが増えてここの板の人は迷惑だろうけど・・
46(1): 01/10/30 00:27 AAS
>>44 >>45
コンソール使う頻度はどれくらいよ?
あんまり多いのも、それはそれで考えもんだけど。
一応Macだし。
47: 01/10/30 02:34 AAS
>>44-46
スレ違い。
48(1): 01/10/30 22:21 AAS
同名のファイルがあった場合、ファイルサイズを調べて一致しなかったら
後ろに_01とか付けて保存するのは出来ませんか？
49: 1 01/10/31 10:28 AAS
>>48
できます。
その方法も考えたのですが、結局やりませんでした。
いらないかな？と思って。
同じような要望が多ければ導入を検討します。
wgetのオプションの中にそんな機能があった気がしますので、
ご自分で改造してみてはいかがでしょう。
省2
50(1): 01/10/31 13:46 AAS
試しにやってみたけどいい感じだぁよ、ありがとう。>1
要望とか考えると結局Iria先生みたくなるんだろうけど期待しちゃうよ。
なにってcronで動かしておけるから昼間だけの時限モノとか拾える可能性
あるってだけでピンコたんピキーンなれるし。
ただこの板でやるなら負荷、転送量減らしは最初に考慮する必要あるかと。
引っ越し間際のスレなんて生データで300kb以上になるのを毎回引っ張る
のはやはり問題だと思うので、ツモって来たdat fileはローカルに保存して
省3
51(1): 01/11/01 19:49 AAS
ねぇねぇ、これからもいじる気ある？>1
マジでcronで走らせてグロ画像getterになろうと思うだけどいぢっていい？
perl なんてしばらくいじってないから思い出すとこからはじめるけど。
52(1): 01/11/03 08:14 AAS
途中で切れちゃう画像とかあるんですが、どこをいじればいいですか？
$limit = 3
$down = 2
で使ってますが。
53: 1 01/11/03 20:54 AAS
>>50
datのタイムスタンプをチェックして再利用するようにしようかなぁ
ご意見ありがとう。転送量軽減を目指します。
>>51
ぜひいぢってください
>>52
117行目のwgetのオプション設定で調整できると思います。
省2
54: 01/11/03 21:44 AAS
自分でSocket開いてRange: bytesヘッダとか使ってくれ。
つーかこういうもんはまともになってから公開してくれ
55(3): 01/11/03 22:17 AAS
FreeBSDでこのソフト使いました。
jpg/以下にたくさんのファイルがきましたが、
この中から、最適なファイルを絞り込むのはむづかしいですね。
タグ情報等から、分類できないのかなあ？
もしくわ、winみたいに、一つ一つのファイルを簡単に表示
できたらまだいいかも。(サムネーム表示？)
今gimp使って、いっこいっこ開いてるけど、
省1
56: 01/11/03 22:17 AAS
今のままじゃ、ファイル名による絞り込み
しかできないよ。
57: 01/11/03 22:23 AAS
・・・ここは本当にUNIX板なのか・・・鬱
58(1): 01/11/03 23:42 AAS
Gimp…… 絶句
59(2): 01/11/03 23:52 AAS
つーか誰かがこのスクリプトをcronで定期的に実行して
作成されたjpglistをどっかで公開すりゃいいんだよね
それを元にiriaなりwgetなりで落とせばいい
そうすりゃ負荷はかからんし
60: 名無しさん@XEｍａｃｓ 01/11/04 00:35 AAS
>59
それおもろいね。
っつーか、 jpg をある程度の大きさごとにアーカイブしといてくれ(w
ってコレはアクセスが集中してダメかにゃ。
61(1): XV 01/11/04 00:42 AAS
A.ディレクトリ毎にサムネイル表示
xv [-dir 画像があるディレクトリ]
^v
^n .xvpics
^u
B.一気にサムネイル作成
cd ベースのディレクトリ
省21
62: 01/11/04 00:55 AAS
>>59
2chはそれでいいかもしれんが、リスト配布はヤメとけ。
厨房に凶器与えるのと一緒だ。
63(1): 55 01/11/04 14:10 AAS
>>58
さんに絶句されたんですが、
みなさんは、どうやって画像みてるのですか？
マジで教えてください。
厨房なんで、すみません。
64: 01/11/04 14:36 AAS
>>63
>>61
65: 55 01/11/04 14:52 AAS
すばらしい。感動した！有難う。
66: 01/11/04 16:27 AAS
グロ画像多すぎ。ホモ画像思わみてしまいかなりへこんだ。
67: 01/11/04 18:24 AAS
Listアップするためのサーバーでも借りましょうかね。
68(1): 名無しさん＠Ｅｍａｃｓ 01/11/05 06:42 AAS
Navi2chで取得したdatを使うようにできたらうれしいな
69: 68 01/11/05 06:48 AAS
あ,Navi2chで m a m i して,awkで抜いて,wgetすればいいだけか…
70(1): 01/11/05 13:34 AAS
>>55
XV の Visual Schnauzer とか使うのが一般的なんじゃないの？もっとも最近
の Linux の distribution なんかには XV の入っていない例もあるようだけ
ど。ちなみにわたくしは xv 3.10a に各種 patch を当てて、FLMASK とかの復
元もできるようにしたのを使ってる。Linux でも *BSD でも特に問題なくコン
パイルできると思うけど？
71: 名無しさん@XEｍａｃｓ 01/11/05 22:35 AAS
XV って未だに使い方よくわかんない…
メンドーなので、なんでもかんでも ImageMagick …
72: 名無しさん＠Ｅｍａｃｓ 01/11/05 23:28 AAS
>>70
既出
73: 01/11/06 03:17 AAS
GQviewとか。
74: 01/11/06 03:33 AAS
キーボードマクロで+mamiするのをcronでまわしておくと、
便利というか迷惑というか。
75: 01/11/14 09:04 AAS
便利と思うがなんであがらないのかな？
ということで定期あげ。
76(1): 名無しさん＠Ｅｍａｃｓ 01/11/15 02:08 AAS
ところで、画像集めた後の話だが、
同じ様な画像がたーくさんディスクの肥しになって
欝にならないか？
そんな時は、dupmerge
外部ﾘﾝｸ:people.qualcomm.com
(QualcommのPhilip Karn作)
洩れは、
省2
77(1): 01/11/15 02:20 AAS
>>76
sambaでwinにmountしているんだけれども、
この手のツールはwinのほうが充実していないでしょうか。
78: 名無しさん＠Ｅｍａｃｓ 01/11/15 02:58 AAS
shell で書けるからね。
79: 名無しさん＠Ｅｍａｃｓ 01/11/15 03:02 AAS
>> 76
どうせなら iname 使え
80: 名無しさん＠Ｅｍａｃｓ 01/11/15 21:01 AAS
そりでは修正
find . -iname "*.[gjm][ip][feg]*" | dupmerge
81(2): 名無しさん＠Ｅｍａｃｓ 01/11/16 17:46 AAS
>>77
最近のwindowsは、ハードリンク出来るの？
消すんじゃなくてハードリンクする所が
ミソなんだけど
82(2): 01/11/16 22:21 AAS
>>81
使えるわけないじゃん
上下前次1-新書関写板覧索設栞歴
あと 212 ﾚｽあります
ｽﾚ情報 赤ﾚｽ抽出 画像ﾚｽ抽出 歴の未読ｽﾚ AAｻﾑﾈｲﾙ
ぬこの手 ぬこTOP 0.013s