２ちゃん画像落としまくりスクリプト (294ﾚｽ)
２ちゃん画像落としまくりスクリプト http://mevius.5ch.net/test/read.cgi/unix/1003833552/
上
下
前
次
1-
新
通常表示
512ﾊﾞｲﾄ分割
ﾚｽ栞
92: 名無しさん＠お腹いっぱい。 [sage] 01/12/08 20:07 symbolic linkをjunctionという、らしい。 ただこいつを使うと、WindowsのExplorerでさえ 摩訶不思議な挙動を示すことがあるというくらい、 ろくに使われてない機能。 http://mevius.5ch.net/test/read.cgi/unix/1003833552/92
93: 名無しさん＠お腹いっぱい。 [sage] 01/12/09 18:33 思いつきとしか思えない機能追加が多いからな。 だったら DOS のころから linkfile をサポートしといてほしい。 http://mevius.5ch.net/test/read.cgi/unix/1003833552/93
94: 名無しさん＠お腹いっぱい。 [sage] 01/12/09 20:30 DOSでFATでもハードリンク作れるYO! ただし、chkdsk.exeにクロスリンクと言われてしまう、諸刃の剣。 素人にはお勧めできない。ってやつだ。 http://mevius.5ch.net/test/read.cgi/unix/1003833552/94
95: 名無しさん＠お腹いっぱい。 [] 01/12/14 22:52 こえーーー http://mevius.5ch.net/test/read.cgi/unix/1003833552/95
96: 名無しさん＠お腹いっぱい。 [sage] 01/12/28 12:45 >>94 確かに間違いでは無いな(笑) http://mevius.5ch.net/test/read.cgi/unix/1003833552/96
97: 名無しさん＠お腹いっぱい。 [age] 02/01/03 22:48 age て みた http://mevius.5ch.net/test/read.cgi/unix/1003833552/97
98: 名無しさん＠お腹いっぱい。 [] 02/01/16 18:24 やっぱり前回履歴に対応して欲しいなぁ。 毎日cronで走らせたいヨ。 http://mevius.5ch.net/test/read.cgi/unix/1003833552/98
99: 名無しさん＠お腹いっぱい。 [sage] 02/01/16 19:50 >>92 俺使ってる。でもあれってsymlinkというのは詐欺だろう。 join(DOS)とかFreeBSDのunion fs & mountみたいのと言った方が正確 かな。で、俺が見つけてる不具合は 1.Explorerやインストーラの空き容量計算がmountに対応できてないので、 インストーラで(空きがあっても)「ねーよ」と弾かれたりする 2.MoveFile() APIがmountを考慮してないので、src/destが同じドライブ 名だけど別ボリュームの場合、ファイル移動に失敗する(API直/cmd.exe Explorer全滅) だな。 一応どっちも
回避方法があるし、従来アプリは1.に対応できんというのは 仕方がない所でもあるんだが、2.はどう考えても(仕様変更への)追従ミス。 # 同一ボリューム内の移動の場合、ディレクトリエントリだけの書き換え # で高速化してるんだが、同一ボリュームかどうかの判定にsrc/destの # ドライブ文字しか見てないという。アホ。 http://mevius.5ch.net/test/read.cgi/unix/1003833552/99
100: 名無しさん＠お腹いっぱい。 [] 02/01/17 20:29 100 http://mevius.5ch.net/test/read.cgi/unix/1003833552/100
101: 名無しさん＠お腹いっぱい。 [] 02/01/17 20:52 ある板のある日の<a href="...">を一括表示してくれるようなサイトない？ つくろうかな…。 http://mevius.5ch.net/test/read.cgi/unix/1003833552/101
102: 名無しさん＠お腹いっぱい。 [] 02/01/17 21:41 >>101 作って！ http://mevius.5ch.net/test/read.cgi/unix/1003833552/102
103: 名無しさん＠お腹いっぱい。 [sage] 02/01/18 09:50 >102 つくりはじめた。rawmodeを使おうかとも思ったけど、index.htmlをtidyでXHTMLに 変換してからXSLTで加工(XHTML to XML)して、XMLで日別にサーバ側に蓄積して、 CGIでXML選んでXSLTかまして(XML to HTML4)出力、みたいな感じにすることにした。 なんとなく。 とりあえず最初のXSLTまで書けましたわ。 http://mevius.5ch.net/test/read.cgi/unix/1003833552/103
104: 名無しさん＠お腹いっぱい。 [] 02/01/21 06:03 age http://mevius.5ch.net/test/read.cgi/unix/1003833552/104
105: 名無しさん＠お腹いっぱい。 [age] 02/01/24 01:14 >103 すばらしいあげ http://mevius.5ch.net/test/read.cgi/unix/1003833552/105
106: 101 [] 02/01/24 01:24 >>105 ども。マ板でもちょっと書いたんだけど、できました。 2ちゃんねるの 技術系/ニュース系 板の、URL流し読みサイト。 これ http://moso.borogrammers.net/newlin/ なんだけどどうかしら? 表示例↓ http://moso.borogrammers.net/newlin/read.cgi?board=news&yyyy=2002&mm=01&dd=23 http://mevius.5ch.net/test/read.cgi/unix/1003833552/106
107: 名無しさん＠お腹いっぱい。 [] 02/01/28 19:58 祭り監視に良いNE >>106 http://mevius.5ch.net/test/read.cgi/unix/1003833552/107
108: 名無しさん＠お腹いっぱい。 [sage] 02/01/29 00:24 >>106 面白いね ちょっと遊んでみるよ でもsage http://mevius.5ch.net/test/read.cgi/unix/1003833552/108
109: 名無しさん＠お腹いっぱい。 [] 02/02/05 14:13 スレがばらばらに表示されるので、日付順、スレ順などのソートがあると嬉しいです。 http://mevius.5ch.net/test/read.cgi/unix/1003833552/109
110: 109 [sage] 02/02/05 14:29 あと、大量のリストを眺める作業になるので、スレタイトルは左揃えにしたほうが 視点の移動が少なくて良いんじゃないかと思います。 http://mevius.5ch.net/test/read.cgi/unix/1003833552/110
111: 名無しさん＠お腹いっぱい。 [] 02/02/13 16:26 .datの形式変わった？ http://mevius.5ch.net/test/read.cgi/unix/1003833552/111
112: 106 [] 02/02/21 05:48 本業でヘロヘロになってました。109さんご意見どうも。 >スレがばらばらに表示されるので、日付順、スレ順などのソートがあると嬉しいです。 トップ画面に「発言日が最近のURLほど上に表示する」と「スレッド番号+発言番号 でソートして表示する」というラジオボタンをつけました。 >あと、大量のリストを眺める作業になるので、スレタイトルは左揃えにしたほうが >視点の移動が少なくて良いんじゃないかと思います。 確かにそうですね。左揃えにしました。スレッドでソートした場合、かなり見易くなったの で
はないかと思います。 URLは相変わらず http://moso.borogrammers.net/newlin/ です。 http://mevius.5ch.net/test/read.cgi/unix/1003833552/112
113: 106 [sage] 02/02/21 05:50 新しい表示例: http://moso.borogrammers.net/newlin/read.cgi?board=newsplus&yyyy=2002&mm=02&dd=21&abone=on&exclude=on&exclude_text=2ch.net%2F&ext_text=swf&thr_sort=yes http://mevius.5ch.net/test/read.cgi/unix/1003833552/113
114: 名無しさん＠お腹いっぱい。 [] 02/02/22 18:48 >>113のURLはなんか妙な表示になる気もするけど、良くなったと思います。 てーか誰か画面のデザインしてやれ。地味すぎるよ http://mevius.5ch.net/test/read.cgi/unix/1003833552/114
115: 名無しさん＠お腹いっぱい。 [sage] 02/02/22 19:20 >>111 datは>>106のviewerには無関係と思われ http://mevius.5ch.net/test/read.cgi/unix/1003833552/115
116: 名無しさん＠お腹いっぱい。 [sage] 02/02/28 00:07 >>1のスクリプトは、いまや改造しないとそのままでは使えないですね。 http://mevius.5ch.net/test/read.cgi/unix/1003833552/116
117: 名無しさん＠お腹いっぱい。 [] 02/03/01 20:10 >>116 改造キボンヌ http://mevius.5ch.net/test/read.cgi/unix/1003833552/117
118: [sage] 02/03/01 23:30 >>116,117 2ch のシステムはよく知らないんだけど現在では subject.txt と .dat は直接見れないんだよね？ read.cgi から raw モードで取得するのかな。 その辺りを書き換えればオッケー。 http://mevius.5ch.net/test/read.cgi/unix/1003833552/118
119: 名無しさん＠お腹いっぱい。 [sage] 02/03/02 11:08 monazilla ML 入るが吉。 http://mevius.5ch.net/test/read.cgi/unix/1003833552/119
120: 名無しさん＠お腹いっぱい。 [sage] 02/03/03 19:05 使えなくなってるね… http://mevius.5ch.net/test/read.cgi/unix/1003833552/120
121: 116 [sage] 02/03/04 00:04 >>117 118が書いてるように、今は $ita/subject.txt が見られないようだから、 まずオリジナルスクリプトの subject.txt は subback.html にでも しないといけない。 また、subback.html を参照するようにしたら、データナンバーの取り出し方も 変えないといけないね。いろいろなやり方があるだろうが、例えば http://love.2ch.net/morningcoffee/subback.html だったら <a href="1014421686/l50">6: 中澤裕子ファン倶楽部 96 (977)</a> みたいなスレッドのリストが得られて、要はこの中の 1014421
686 を 切り出したいわけだから、38行目と60行目 ($data_no) = split /\<\>/ , $_; は、 @data = split /\//; $data_no = $data[0]; $data_no =~ s%\D%%g; とでもすれば $data_no に 1014421686 が入って、 あと、40行目の $target は、conf.txt に $host = 'http://love.2ch.net/'; $categ = '/morningcoffee/'; を追加しといて $target = "$host"."test/read.cgi"."$categ"."$data_no"; として使っているが、もっとエレガントなやり方があったら誰か教えて著。 http://mevius.5ch.net/test/read.cgi/unix/1003833552/121
122: 名無しさん＠お腹いっぱい。 [sage] 02/03/06 22:47 >>1 のサイト、アクセスできなかったんですけど 件のスクリプトを落とせるところは他にありませんか http://mevius.5ch.net/test/read.cgi/unix/1003833552/122
123: 名無しさん＠お腹いっぱい。 [] 02/04/12 23:09 http://mevius.5ch.net/test/read.cgi/unix/1003833552/123
124: 名無しさん＠お腹いっぱい。 [] 02/04/12 23:18 wgetでダウンロードしたファイルを ダウンロードしたYYYYMMDDという形式で 保存するにはどうすればいいのでしょう。 同じ名前でファイルが毎週更新されるので cronでそのままで回すのでは上書きされて しまいます。 http://mevius.5ch.net/test/read.cgi/unix/1003833552/124
125: 名無しさん＠Ｅｍａｃｓ [] 02/04/12 23:53 % wget http://xxx.xxx.xxx/???.jpg -P `date +%y%m%d` ってのはダメ？ 大量に引っこ抜くならこれでいいと思うけど。 http://mevius.5ch.net/test/read.cgi/unix/1003833552/125
126: login:Penguin [sage] 02/04/13 00:12 -O --output-document=FILE FILE に文書を出力します。 http://mevius.5ch.net/test/read.cgi/unix/1003833552/126
127: 名無しさん＠お腹いっぱい。 [sage] 02/04/13 00:25 >>125 > ってのはダメ？ それでもかまわないのですがファイルは1つなので ディレクトリは作らずYYYYMMDD.jpgというファイル名 で保存したいのですが。 http://mevius.5ch.net/test/read.cgi/unix/1003833552/127
128: 名無しさん＠Ｅｍａｃｓ [sage] 02/04/13 01:00 >>128 % wget http://xxx.xxx.xxx/???.jpg -O `date +%Y%m%d`.jpg (´-`).｡ｏＯ(>>127 がすでに答えてくれているけど…なんでだろう？) http://mevius.5ch.net/test/read.cgi/unix/1003833552/128
129: 名無しさん＠お腹いっぱい。 [sage] 02/04/13 08:00 >>128 > (´-`).｡ｏＯ(>>127 がすでに答えてくれているけど…なんでだろう？) あの書き込みはヒントだったのですね。 ドキュメントと書いてあったので他の事かと思っていました。 ありがとう。>>ALL http://mevius.5ch.net/test/read.cgi/unix/1003833552/129
130: 名無しさん＠お腹いっぱい。 [sage] 02/04/20 06:10 ほしゅ http://mevius.5ch.net/test/read.cgi/unix/1003833552/130
131: 名無しさん＠お腹いっぱい。 [sage] 02/04/23 23:12 捕手 http://mevius.5ch.net/test/read.cgi/unix/1003833552/131
132: 名無しさん＠お腹いっぱい。 [sage] 02/05/18 17:53 なんとなく http://mevius.5ch.net/test/read.cgi/unix/1003833552/132
133: 名無しさん＠お腹いっぱい。 [sage] 02/06/07 18:24 ほしゅ http://mevius.5ch.net/test/read.cgi/unix/1003833552/133
134: 名無しさん＠お腹いっぱい。 [sage] 02/06/28 02:33 どるどれい？ http://mevius.5ch.net/test/read.cgi/unix/1003833552/134
135: 名無しさん＠お腹いっぱい。 [sage] 02/08/04 21:09 sage http://mevius.5ch.net/test/read.cgi/unix/1003833552/135
136: 名無しさん＠お腹いっぱい。 [sage] 02/08/20 04:23 おーい http://mevius.5ch.net/test/read.cgi/unix/1003833552/136
137: 名無しさん＠お腹いっぱい。 [] 02/09/18 00:15 ある日付以降の書きこみに書かれているURLのみを 落としたいとかできるでしょうか？ http://mevius.5ch.net/test/read.cgi/unix/1003833552/137
138: 名無しさん＠お腹いっぱい。 [] 02/09/22 00:52 あげとこう http://mevius.5ch.net/test/read.cgi/unix/1003833552/138
139: 名無しさん＠お腹いっぱい。 [sage] 02/09/22 01:29 さげとこう http://mevius.5ch.net/test/read.cgi/unix/1003833552/139
140: 名無しさん＠お腹いっぱい。 [sage] 02/09/23 04:14 一個のディレクトリに画像ファイル１４００個置いてますが gimvでみるときに極端に速度が遅いです 数が多いとよくないんですね どーにかなりませんか？ http://mevius.5ch.net/test/read.cgi/unix/1003833552/140
141: 名無しさん＠お腹いっぱい。 [sage] 02/09/23 04:40 何が悪いかをつきとめて、それを直す。 http://mevius.5ch.net/test/read.cgi/unix/1003833552/141
142: 名無しさん＠お腹いっぱい。 [sage] 02/09/24 19:52 >>140 UNIXのファイルシステムは 一つのディレクトリにファイルがいっぱいあると遅いと 聞いたことがあるな （だからメールキューは複数のディレクトリに分かれてるらしい） 1400個くらいなら関係ないのかもしれんけどね 詳しい人フォローレスたのむ http://mevius.5ch.net/test/read.cgi/unix/1003833552/142
143: 名無しさん＠お腹いっぱい。 [sage] 02/09/26 07:34 >142 (だから2chのスレッドは足切り制限があるらしい) (1つの板に数千のスレがあった時代は重かったなぁ…) 脱線ｽﾏｿ http://mevius.5ch.net/test/read.cgi/unix/1003833552/143
144: 名無しさん＠お腹いっぱい。 [] 02/12/26 04:11 age http://mevius.5ch.net/test/read.cgi/unix/1003833552/144
145: 名無しさん＠お腹いっぱい。 [] 02/12/29 07:42 うーん、誰も保守しようとか言う気はないの？ ないよね。 http://mevius.5ch.net/test/read.cgi/unix/1003833552/145
146: 名無しさん＠お腹いっぱい。 [sage] 02/12/29 13:31 >>142 ext2fsやオリジナルのufsは遅いが、たとえばufsでもUFS_DIRHASH入りものなら速い。 xfsあたりなら、なんもせんと速い。 結論: OSと、選んだファイルシステムによる。 http://mevius.5ch.net/test/read.cgi/unix/1003833552/146
147: 名無しさん＠お腹いっぱい。 [] 02/12/31 08:23 ﾁｮﾄおしえてください。 IEからなら http://pc.2ch.net/test/read.cgi/unix/1003833552/ が見えるんですけど、wgetを使ってこのページをダウンロードしようとしても、 できないんです。どうやればいいんですか？ http://mevius.5ch.net/test/read.cgi/unix/1003833552/147
148: 名無しさん＠お腹いっぱい。 [sage] 02/12/31 12:33 wget http://pc.2ch.net/test/read.cgi/unix/1003833552/ でできるが…？ http://mevius.5ch.net/test/read.cgi/unix/1003833552/148
149: 名無しさん＠お腹いっぱい。 [] 03/01/01 12:43 て優香、wget使わなくても、httpget使えば便利じゃない？ と思って、httpget落とそうとしたけど、内部エラーで落とせない・・・ http://www.onicos.com/staff/iz/release/ http://mevius.5ch.net/test/read.cgi/unix/1003833552/149
150: 名無しさん＠お腹いっぱい。 [sage] 03/01/04 16:37 >>1さんが作ったやつをちと効率的に収集できるように改造したけど、 どっかにうｐしようかな？ http://mevius.5ch.net/test/read.cgi/unix/1003833552/150
151: 名無しさん＠お腹いっぱい。 [sage] 03/01/05 05:23 どうせやるなら、以前にもちょっと話出てたけど、一人が落としたファイルをどっかの鯖に キャッシュしといて他の人はそっちから落とせるようなの作ろうよ。そうすれば２ちゃんの 負荷も減るし、うｐろだの負荷も減るし、ソッコーで消されたファイルもキャッシュに残って るしで、うっはうはーじゃん。 http://mevius.5ch.net/test/read.cgi/unix/1003833552/151
152: 名無しさん＠お腹いっぱい。 [sage] 03/01/05 07:33 どうせなら落としたファイルがP2Pで共有されるようにするとか http://mevius.5ch.net/test/read.cgi/unix/1003833552/152
153: 名無しさん＠お腹いっぱい。 [sage] 03/01/05 18:40 >>147 普通はdatファイルを直接落とそうとするのでは無いの？ >>151 それやろうかな... 今はdatファイルを貯めているんだけど。 http://mevius.5ch.net/test/read.cgi/unix/1003833552/153
154: 名無しさん＠お腹いっぱい。 [] 03/01/06 00:20 >>150 複数ファイル(.mpgとか.rmとかの動画)も同時に落せるヤシキモンヌ http://mevius.5ch.net/test/read.cgi/unix/1003833552/154
155: 名無しさん＠お腹いっぱい。 [sage] 03/01/06 01:01 >>154 もちろんそういう仕様にしてあるよ。てかできたけど。 けどrm,ramはすっかりわすれてたというか、そんなのにちゃんで見たことないのだが。 http://mevius.5ch.net/test/read.cgi/unix/1003833552/155
156: 名無しさん＠お腹いっぱい。 [sage] 03/01/06 03:14 >>153 て優香、datファイルを落とせるならそうしたいんだけど、やりかた 教えてーな。 たしかどっかでdatファイルは落とせなくなったとか聞いたような気がしたんで、 htmlをそのまま落としてマッチングしてるんだけど・・・ http://mevius.5ch.net/test/read.cgi/unix/1003833552/156
157: 153 [sage] 03/01/06 14:02 >>156 http://pc.2ch.net/test/read.cgi/unix/1003833552/ だったら http://pc.2ch.net/unix/dat/1003833552.dat でいけるのではないと？ >たしかどっかでdatファイルは落とせなくなったとか聞いたような気がしたんで、 >htmlをそのまま落としてマッチングしてるんだけど・・・ これは俺も聞いたことあるけど、閉鎖騒動の時あたりじゃないの？ 俺はそれよりあとに2ch来たからよく知らないけど、 read.cgiにアクセスするより、datファイルに直接アクセスしたほうが、負荷は減るらしい、と聞いたこともあ
る。 http://mevius.5ch.net/test/read.cgi/unix/1003833552/157
158: 153 [sage] 03/01/06 14:51 >>156 とりあえず、俺の作ったdatファイルだけ落とすスクリプトも張っておこう。 粗末なシェルスクリプトだが... #!/bin/sh PATH=/usr/local/bin:/usr/bin:/bin:/usr/local/sbin:/usr/sbin:/sbin DATE=`date +%Y%m%d_%H%M%S` if [ "$1" ] && [ "$2" ] && [ "$3" ] && [ "$4" ] ;then : else echo "useage: ./get.sh [dat|subject] [dir] [host] [ita] [waittime] [wget-flag]" exit fi HOMEDIR=/home/hoge/documents/data TARGET=$1 DIR=$2 HOST=$3 ITA=$4 LOGFILE=./wget_log.txt if [ "$5" ];then WAIT=
$5 else WAIT=3 fi http://mevius.5ch.net/test/read.cgi/unix/1003833552/158
159: 153 [sage] 03/01/06 14:52 # -c tuchuukara # -N time stamp WGETFLAG="-t 3 -a${LOGFILE} -P./dat -U "Hogella/1.0" -nd $6" if ! [ -d ${HOMEDIR}/${DIR} ] ;then echo ${HOMEDIR}/${DIR} no such directry\! exit fi /bin/test -d ${HOMEDIR}/${DIR}/dat || mkdir ${HOMEDIR}/${DIR}/dat /bin/test -d ${HOMEDIR}/${DIR}/old_dat || mkdir ${HOMEDIR}/${DIR}/old_dat /bin/test -d ${HOMEDIR}/${DIR}/subject || mkdir ${HOMEDIR}/${DIR}/subject cd ${HOMEDIR}/${DIR} test -f ${LOGFILE} || touch ${LOGFILE} printf "###\n###\
n### DATE=${DATE} \n### args=$* \n###\n###\n" >> ${LOGFILE} if [ ${TARGET} = subject ];then rm -f subject.txt wget -a${LOGFILE} -U "Hogella/1.0" http://${HOST}/${ITA}/subject.txt cp subject.txt ./subject/subject.${DATE}.txt http://mevius.5ch.net/test/read.cgi/unix/1003833552/159
160: 153 [sage] 03/01/06 14:52 elif [ ${TARGET} = dat ];then echo "---> DATE = ${DATE}" mkdir old_dat/${DATE} rm -f subject.txt wget -a${LOGFILE} http://${HOST}/${ITA}/subject.txt echo "---> got subject file" sleep 1 echo -n "---> dat file... " for DAT in `cat ./subject.txt | cut -f1 -d.` ;do echo "--->TARGET is ${DAT}" >> ${LOGFILE} echo -n "${DAT}" wget ${WGETFLAG} http://${HOST}/${ITA}/dat/${DAT}.dat if [ -f ./dat/${DAT}.dat.1 ];then echo "---> file moved to old_dat dir" >>
${LOGFILE} mv ./dat/${DAT}.dat ./old_dat/${DATE} mv ./dat/${DAT}.dat.1 ./dat/${DAT}.dat echo -n "_ " elif [ -f ./dat/${DAT}.dat ];then echo -n ". " else echo -n "X " fi sleep ${WAIT} done echo " " echo "---> all done" >>${LOGFILE} echo "---> all done" fi http://mevius.5ch.net/test/read.cgi/unix/1003833552/160
161: 153 [sage] 03/01/06 14:55 HOMEDIR=/home/hoge/documents/data を適当に書き換えて mkdir $HOMEDIR/test-dir ./get.sh dat test-dir pc.2ch.net unix 3 で使えると思う(freebsd以外は不明)。 ２度目からは ./get.sh dat test-dir pc.2ch.net unix 3 -c で差分だけとってこれる。 http://mevius.5ch.net/test/read.cgi/unix/1003833552/161
162: 名無しさん＠お腹いっぱい。 [sage] 03/01/06 15:20 あらほんと。 で、にちゃんの鯖に負担かけないように、前回収得した所からの差分だけ 拾いたいんだけど、どうやるの？ http://mevius.5ch.net/test/read.cgi/unix/1003833552/162
163: 名無しさん＠お腹いっぱい。 [sage] 03/01/06 15:24 うーん、 cgiから差分だけ拾うのと、datを全部拾って差分を調べるのとではどっちがいいんだろ？ てか、dat拾う方がいいんだろうなぁ。作りなおしてみるか。 http://mevius.5ch.net/test/read.cgi/unix/1003833552/163
164: 153 [sage] 03/01/06 15:42 >>162 wgetのオプションで俺が使えると思うのは。 -c ファイルサイズを見て、増加分だけダウンロードする。 -N タイムスタンプを見て、ファイルが更新されていたら、（ファイルすべて）をダウンロードする。 -nc ファイルが存在したら、ダウンロードしない。（接続もしない） -t 3 失敗したときの再トライ回数(デフォルトは２０なので、３ぐらいに設定したほうがよいと思う) -x ディレクトリを作って、URLを再現する （例 htt
p://pc.2ch.net/unix/dat/0000000.dat → ./pc.2ch.net/unix/dat/000000.dat ） -nd -xの逆、ディレクトリを作らない。（-rは同時に-xが有効になるけど、-ndをつけるとディレクトリを作らない） -i link.txt ファイルからURLを読み込んでダウンロードする。 -nv ダウンロードメッセージをいくらか静かにする。 -A acclist, --accept=acclist acclistで指定した拡張子(?)のみダウンロードする。,で区切る(?) -U "Mozilla/4.0" ユーザーエージェントをちょろまかす。 -P PREFIX --progress=dot ダウンロード中の
メッセージスタイルを変更。 -o hoge.txt ログファイル（上書きしてしまう） -a hoge.txt ログファイル（追加から書く） -r リンクをたどり、再起的に取る（ただし、別のホストはダウンロードしない） -w 3 再起的にとる場合のダウンロードしたときの待ち時間 --no-parent 再起的にダウンロードする際、親ディレクトリから上はダウンロードしない。 -nd http://mevius.5ch.net/test/read.cgi/unix/1003833552/164
165: 153 [sage] 03/01/06 15:44 >>164 失敗。 wgetのオプションで俺が使えると思うのは。 -c ファイルサイズを見て、増加分だけダウンロードする。 -N タイムスタンプを見て、ファイルが更新されていたら、（ファイルすべて）をダウンロードする。 -nc ファイルが存在したら、ダウンロードしない。（接続もしない） -t 3 失敗したときの再トライ回数(デフォルトは２０なので、３ぐらいに設定したほうがよいと思う) -x ディレクトリを作って、URLを再現する
（例 http://pc.2ch.net/unix/dat/0000000.dat → ./pc.2ch.net/unix/dat/000000.dat ） -nd -xの逆、ディレクトリを作らない。（-rは同時に-xが有効になるけど、-ndをつけるとディレクトリを作らない） -i link.txt ファイルからURLを読み込んでダウンロードする。 -nv ダウンロードメッセージをいくらか静かにする。 -A acclist, --accept=acclist acclistで指定した拡張子(?)のみダウンロードする。,で区切る(?) -U "Mozilla/4.0" ユーザーエージェントをちょろまかす。 -P PATH PATHを基準にファイルを保
存 --progress=dot ダウンロード中のメッセージスタイルを変更。 -o hoge.txt ログファイル（上書きしてしまう） -a hoge.txt ログファイル（追加から書く） -r リンクをたどり、再起的に取る（ただし、別のホストはダウンロードしない） -w 3 再起的にとる場合のダウンロードしたときの待ち時間 --no-parent 再起的にダウンロードする際、親ディレクトリから上はダウンロードしない。 http://mevius.5ch.net/test/read.cgi/unix/1003833552/165
166: 153 [sage] 03/01/06 15:55 WINDOWSのiriaとか見たいに、帯域制限してダウンロードすることができないか、 は調べたことあるけど、方法が見つからなかった。wgetではできないのでは無いかと思う。 代わりには、-wで制限するか、スクリプトの中にsleepを入れる方法があると思う。 あと画像ファイルを落とすとき、-x と -nc を組み合わせて使ったら、同一のファイルをダウンロードする問題はなくなると思う。 >>158-160の欠点は、あぼーんでlogが詰まったら、不適切なところから、ダウンロードを開始してしまうため、 変なdatファイルを作
ってしまう。これは-Nですべてをダウンロードしなおせばいいけど、負荷が増える。 >>163 うーん、-nc -x オプションで、すでにダウンロードしてあるファイルをダウンロードしないようにするか、 もしくはwgetで何バイト目からを指定して、別ファイルにダウンロードすることができるような、オプションがあるかも.. http://mevius.5ch.net/test/read.cgi/unix/1003833552/166
167: 153 [sage] 03/01/06 15:59 >>162 wget -c で増加分をダウンロードできるらしいです。 これは、ダウンロード途中でコネクションが切れたりして、 あとからその続きからダウンロードしたい場合にも使えるようです。 遠くのftpサーバとかに使えます。 http://mevius.5ch.net/test/read.cgi/unix/1003833552/167
168: 名無しさん＠お腹いっぱい。 [sage] 03/01/06 16:45 >>167 さんくすこ。 スレログとらなくても、リンクさえ拾えれば大丈夫だからねぇ、 あぼーんされても大丈夫だと思う。 というわけで、増分だけ拾うようにしますわ。 http://mevius.5ch.net/test/read.cgi/unix/1003833552/168
169: 名無しさん＠お腹いっぱい。 [sage] 03/01/06 18:57 このスレでやるな。 http://mevius.5ch.net/test/read.cgi/unix/1003833552/169
170: 名無しさん＠お腹いっぱい。 [sage] 03/01/06 18:59 >>169 何を？なぜ？ http://mevius.5ch.net/test/read.cgi/unix/1003833552/170
171: 1 [sage] 03/01/06 19:18 dat落ちするかとおもったけど なんかまたあがってきてるんで ひさびさにバージョンアップしようかな というか、つかってる人（使う人）とかいるんでしょうか？ http://mevius.5ch.net/test/read.cgi/unix/1003833552/171
172: 名無しさん＠お腹いっぱい。 [sage] 03/01/06 21:10 つくった。 けど、htmlから拾ってるから効率悪いよ。 http://homepage3.nifty.com/wahya/ http://mevius.5ch.net/test/read.cgi/unix/1003833552/172
ﾒﾓ帳
(0/65535文字)
上
下
前
次
1-
新
書
関
写
板
覧
索
設
栞
歴
あと 122 ﾚｽあります
ｽﾚ情報
赤ﾚｽ抽出
画像ﾚｽ抽出
歴の未読ｽﾚ
AAｻﾑﾈｲﾙ
Google検索
Wikipedia
ぬこの手
ぬこTOP
0.015s