[過去ﾛｸﾞ] クローラー＆過剰リロード対策スレ (1001ﾚｽ)
上下前次1-新
このｽﾚｯﾄﾞは過去ﾛｸﾞ倉庫に格納されています｡
次ｽﾚ検索 歴削→次ｽﾚ 栞削→次ｽﾚ 過去ﾛｸﾞﾒﾆｭｰ
501(2): 動け動けウゴウゴ２ちゃんねる 2005/04/16(土) 05:36:03 ID:rmIZqSyI0(13/18)調 AAS
>>492>>493
Live2chなんかは1回の動作で取得スレのあるsubject.txt全部取得できるよ。
更新してるスレを開くのは手動だけど。
502(2): [―{}@{}@{}-] FOX ★ 2005/04/16(土) 05:37:07 ID:???0 BE AAS
>>501
そこは是非手動にして欲しいです。
503: 動け動けウゴウゴ２ちゃんねる 2005/04/16(土) 05:37:20 ID:V0M0fFyX0(4/4)調 AAS
>>493
巡回するところ多くなりますよね。。
504(2): のいぽー（本物） ◆News/n6/H2 2005/04/16(土) 05:37:40 ID:Ou4gt41r0(12/22)調 AAS
>>497
いや、除外ってこのバーボンの設定を、ですね。2ちゃんねるの中の人が。
>>501
何だと？
とても便利そうな機能じゃないかよ？！( ﾟдﾟ)m6
505: root▲ ★ 2005/04/16(土) 05:39:19 ID:???0 BE AAS
〜>>380 まで
>>288
これから、ぼちぼち調整かなと。
おじさんは常に「極端」から始めるので、時に(生)暖かな心構えが必要です。
>>323
現在の閾値は例によって極秘なわけですが、なかなかな値すね。
設定値を見た感想: 一般的な板におけるスレの自動全取得は絶対にだめ、だめったらだめ。
掲示板ってそういうもんじゃないでしょ。
>>329
headlineかな。
>>363
仮に耐えられないとしたら、何か策を考えるんだろうなと。
>>367
今の状況だと、携帯側のプライベートネットワークが既に100Mbpsの頭打ちですね。
つまり、別のところで詰まっている状態です。
サーバ自体の能力は、まだ使い切っていないと思います。
ただ、限界ぎりぎりまで使うテストをしていないので、
blackgoat3/4の限界値(どのくらいまでの処理が可能なのか)は、正直なところ未知数です。
506: 動け動けウゴウゴ２ちゃんねる 2005/04/16(土) 05:40:19 ID:068ogXZ10(1)調 AAS
>>502
datじゃなくsubject.txtをちょっと触るだけなので許して欲しい
datを読むのは手動なので
507: 動け動けウゴウゴ２ちゃんねる 2005/04/16(土) 05:41:31 ID:l0L4SrJh0(10/15)調 AAS
>>504
JaneViewでも同じですよ。
お気に入りのある板のsubject.txtを読みに行ってるです。
で、１鯖にそんなに大量に板が入ってるところも無いから、
そんなに負荷ではないと思う（多分私は50板前後。。）
508: 動け動けウゴウゴ２ちゃんねる 2005/04/16(土) 05:41:58 ID:rmIZqSyI0(14/18)調 AAS
>>502
>>504
ただ、それをやるのは全取得スレッドを対象にして更新チェックするから、
ログ大量に保管してる人はあまりやらないと思う。（全取得スレッドのフォルダ開くだけで物凄くメモリ食う）
509(1): 動け動けウゴウゴ２ちゃんねる 2005/04/16(土) 05:42:22 ID:l0L4SrJh0(11/15)調 AAS
ちなみに、JaneViewは、数分間は連続巡回できない
ようにもなってるし。。
510: のいぽー（本物） ◆News/n6/H2 2005/04/16(土) 05:43:53 ID:Ou4gt41r0(13/22)調 AAS
>>509
それは基本じゃねすか？
かちゅ〜しゃも5分間隔をあけないと再巡回できない。
511(2): [―{}@{}@{}-] FOX ★ 2005/04/16(土) 05:44:17 ID:???0 BE AAS
ん?
qb5ってバーボン除外(引っかかるけど、denyはされない)ですよ?
512: 動け動けウゴウゴ２ちゃんねる 2005/04/16(土) 05:44:19 ID:1PLnVgS10(16/16)調 AAS
いま、MacMoeJiroで削除整理板のスレを新規に200スレ巡回させたけど、
引っかからなかったよ・・・
513: 動け動けウゴウゴ２ちゃんねる 2005/04/16(土) 05:44:48 ID:cZdYxH4f0(2/5)調 AAS
専ブラの話で埋まってきた。
514(1): 動け動けウゴウゴ２ちゃんねる 2005/04/16(土) 05:45:11 ID:l0L4SrJh0(12/15)調 AAS
>>511
えーとですね。。
qb5はみられても、各鯖の削除スクリプトはバーボンになるですよ。。
515(1): ｒｅｆｆｉ@報告人 ★ 2005/04/16(土) 05:45:35 ID:???0 AAS
おや、etc4とgame10で急激なread.cgiアクセス数上昇が見られます。
新バーボンに引っかからない何て何やっているんだろう？
516(1): 動け動けウゴウゴ２ちゃんねる 2005/04/16(土) 05:45:43 ID:WvvjoZEnO携(1)調 AAS
風呂入ってる間に1万回以上回し続けててみたもののやはりバーボン入りはせず。
517(1): [―{}@{}@{}-] FOX ★ 2005/04/16(土) 05:45:49 ID:???0 BE AAS
>>514
ですよ
518: [―{}@{}@{}-] FOX ★ 2005/04/16(土) 05:46:29 ID:???0 BE AAS
まだ私がたまにぷちぷち手動で動かしているだけですよ?
519: ｒｅｆｆｉ@報告人 ★ 2005/04/16(土) 05:48:19 ID:???0 AAS
>515
あっ、game9だった
520(1): 動け動けウゴウゴ２ちゃんねる 2005/04/16(土) 05:51:00 ID:rmIZqSyI0(15/18)調 AAS
なにこれ
外部ﾘﾝｸ[html]:ch2.ath.cx
521(2): root▲ ★ 2005/04/16(土) 05:55:48 ID:???0 BE AAS
〜>>406
>>381
今は、
cフロント1←blackgoat←掲示板サーバ
cフロント2←
cフロント3←
・・・
のうちの、のうちのcフロントに行くところが、100Mに達してしまっています。
つまり、blackgoatから出て行くところの管がめいっぱいになっていると。
blackgoatのネットワークI/Fそのものは1G対応なので、スイッチをいいものにアップグレードする方向で
解決を図ろうとしているわけです。
もし外からのアクセスが相当数見込まれるなら、それ用のblackgoatを入れる手はありえます。
cフロントの替わりに、各種クライアントやらクローラやらがつながると。
>>389 >>395 >>401
現在のblackgoatの遅延は1分です。ここしばらくずっと変えていません。
なっているとしたら、おかしいですね。
再度見直してみましたが、3/4とも1分になっていました。
>>406
その段階ですか。スイッチ? サーバ? それともその両方?
どのぐらいのスイッチを入れるかにもよるですね。
全ポート1Gのしっかりしたスイッチだと、それなりに値段します。
単に1Gでそれなりに動けばいいなら、いまやそれほどでもないかと。
522(1): のいぽー（本物） ◆News/n6/H2 2005/04/16(土) 05:57:41 ID:Ou4gt41r0(14/22)調 AAS
>>511
＞引っかかるけど
の時点でだめぽだと言うことでしょう。
削除作業の為に整理板や要請板を巡回しただけで引っかかってしまっては。。。
巡回せずに手動で取得しろと。
>>516
その辺が謎ねぇ。。
田代砲とかではなくスレ取得を連続で行うと引っかかるのかしら。
>>517
それじゃ削除作業が出来ないでしょうよと。
だから運営カテゴリは除外してくれないかしらと。除外ってdenyされない、では無くて。この仕組み自体動かさないでくれと。
運営カテゴリなんてボランティア以外にはそうそう巡回などしないでしょう。
523(2): 動け動けウゴウゴ２ちゃんねる 2005/04/16(土) 05:57:41 ID:uaAJdnI30(1/2)調 AAS
大量に削除依頼スレッドを取得してから、いざ現場へいくと
削除が出来ない、っつーことですね。
削除人の方も取得の方法考えろってことでFA？＞お狐さん
524: のいぽー（本物） ◆News/n6/H2 2005/04/16(土) 05:58:32 ID:Ou4gt41r0(15/22)調 AAS
>>523
その通りなんでしょうが。。。ねぇ。
525: [―{}@{}@{}-] FOX ★ 2005/04/16(土) 05:59:28 ID:???0 BE AAS
>>521
>その段階ですか。スイッチ? サーバ? それともその両方?
両方です
>どのぐらいのスイッチを入れるかにもよるですね。
>全ポート1Gのしっかりしたスイッチだと、それなりに値段します。
>単に1Gでそれなりに動けばいいなら、いまやそれほどでもないかと。
全ポート1Gのしっかりしたスイッチだと聞いています
526: のいぽー（本物） ◆News/n6/H2 2005/04/16(土) 06:00:15 ID:Ou4gt41r0(16/22)調 AAS
仕組みがよくわからんからあれだけれどさ。
削除スクリプト経由では規制を受けないようにするとか。
>>523
527: [―{}@{}@{}-] FOX ★ 2005/04/16(土) 06:02:24 ID:???0 BE AAS
>>522
>巡回せずに手動で取得しろと。
巡回が駄目じゃなく
その方法が駄目なんだと思うぞ、
つまり引っかかる人は、世界で一番２ちゃんねるに負荷かけている人
方法変えてください、
難しいかなぁ、何て言えばいいんだろ、
まだどこにも導入されていないけどサ
528: 動け動けウゴウゴ２ちゃんねる 2005/04/16(土) 06:02:42 ID:uaAJdnI30(2/2)調 AAS
個人的には、削除人のリモホが出ちゃってるのが
怖いなぁとか。
固定IPだったりもするし。
どういう基準でdenyされるか判るまでは
削除作業自体、やめた方が良さそうですね。
529: 動け動けウゴウゴ２ちゃんねる 2005/04/16(土) 06:03:42 ID:rmIZqSyI0(16/18)調 AAS
ってか、削除作業するならまず大量にスレ巡回する前に長期未処理1スレ取得して
そこに上がってるところから巡回始めてほしいもんだなぁ・・・
と、チラシの裏に愚痴っぽく
530(1): [―{}@{}@{}-] FOX ★ 2005/04/16(土) 06:04:20 ID:???0 BE AAS
騒音、排ガス垂れ流しの車はもう使うなと言ってます。
ドライブは勿論出来ます。
531: 動け動けウゴウゴ２ちゃんねる 2005/04/16(土) 06:04:40 ID:fQbfjtqw0(1/2)調 AAS
ＦＯＸﾀﾝ、中国からの書き込みっぽいのがあるんだけど、規制できる？
532: 動け動けウゴウゴ２ちゃんねる 2005/04/16(土) 06:06:10 ID:kfFlyTiK0(1/2)調 AAS
いつも思うんだけどFOX★っていつ寝てんの？
533: 動け動けウゴウゴ２ちゃんねる 2005/04/16(土) 06:06:35 ID:WmfovjO30(7/8)調 AAS
game10がえらい多いですね。
534: 動け動けウゴウゴ２ちゃんねる 2005/04/16(土) 06:08:18 ID:4rlx9Hb40(3/5)調 AAS
パトカーや救急車も排ガス規制はクリアしてもらうと。
535(2): 動け動けウゴウゴ２ちゃんねる 2005/04/16(土) 06:11:00 ID:hk2Uggix0(1/2)調 AAS
要は串をランダムに変えてアクセスすれば引っかからないとｗｗｗｗｗｗｗ
536: 動け動けウゴウゴ２ちゃんねる 2005/04/16(土) 06:11:01 ID:cZdYxH4f0(3/5)調 AAS
エコですか？似合わない・・・・
537(1): 動け動けウゴウゴ２ちゃんねる 2005/04/16(土) 06:13:12 ID:Lay4neTg0(1)調 AAS
>>535
既に、自動切り替えソフトに100個ほどぶち込みました
538: 動け動けウゴウゴ２ちゃんねる 2005/04/16(土) 06:13:52 ID:AAPJrB1o0(1)調 AAS
末尾の数字は、ばーぼんになって何分経過したかの数字なのだ、という結論に至った俺
539(2): root▲ ★ 2005/04/16(土) 06:14:50 ID:???0 BE AAS
>>427
正直なところ、一般的な使い方なら、手動ではひっかかりませんね。
ただ、+記者だった(今も一応記者ですけど)頃のnewsplusの使い方だと、
ひっかかる気がします。
その頃の使い方は、こんなかんじでした。
1)家に帰る
2)かちゅ〜しゃやOpenJaneで、newsplusを開く
3)上から順に、全スレの>>1だけをたんたんと手で開いて、1スレ1秒ぐらいのインターバルで
たんたんと目を通していく
(重複を防ぐために、立っているスレを脳内に「残像」として残すためです。これだけで相当効果ありました)
4)ニュースソースを巡回しながら、スレを立てていく
つまり、3)の段階で、10分以内の時間で、かなり多くのスレ+subject.txtに手動でアクセスすることになります。
新スレが立ったかのチェックもするので、subject.txtも10回ぐらいはアクセスするかと。
当時のnewsplusのスレの立ち方だと、
記者活動を1.5日〜2日ぐらいさぼると、なんだか閾値に微妙に触れる可能性があるかもしれないですね。
ただ、これはたぶん、特殊な部類でしょうけど。
540(1): 動け動けウゴウゴ２ちゃんねる 2005/04/16(土) 06:15:08 ID:FP/uG3Qy0(5/5)調 AAS
>>521 root▲ ★さん
＞現在のblackgoatの遅延は1分です。
あ、さよですか。
↓これは関係なかったのですね。失礼しました。
外部ﾘﾝｸ:c.2ch.net
541(3): ひろゆき＠どうやら管理人 ★ 2005/04/16(土) 06:15:28 ID:???0 BE AAS
>>406
初耳。。
542: root▲ ★ 2005/04/16(土) 06:15:56 ID:???0 BE AAS
全スレ => 全未読スレ
543: 動け動けウゴウゴ２ちゃんねる 2005/04/16(土) 06:16:44 ID:+b8malLj0(11/12)調 AAS
>>541
Good morning Hiroyuki!
544: [―{}@{}@{}-] FOX ★ 2005/04/16(土) 06:18:52 ID:???0 BE AAS
ぐわん
届いていないよとメールしていただけるとありがたいかも、
cc 私に来ていたから
ちっと探してみるです、でももううもチャっている予感
>>541
545: 動け動けウゴウゴ２ちゃんねる 2005/04/16(土) 06:19:08 ID:WmfovjO30(8/8)調 AAS
ひ（ｒｙが管理人じゃなくなったとの噂を聞きつけてやってきました
546(1): 動け動けウゴウゴ２ちゃんねる 2005/04/16(土) 06:19:13 ID:kfFlyTiK0(2/2)調 AAS
>>539
すげええええええ
よくそんな豆な事を
547(1): 動け動けウゴウゴ２ちゃんねる 2005/04/16(土) 06:19:27 ID:4rlx9Hb40(4/5)調 AAS
で、今度はその状況が串を.htaccessでdenyするとこまで逝かせてしまうかもw
548: root▲ ★ 2005/04/16(土) 06:19:32 ID:???0 BE AAS
>>540
なるほど。
それは、私が設定したものではないです。
私が言っているのは、squid = blackgoat側の話です。
blackgoat側でのキャッシュの設定を、1分にしています。
つまり、1分以内に別のフロント(例えばdocomoから来てから30秒後にauから来るとか)
から再度datのリクエストが来ても、同じdatだったら、外に取りに行かないと。
549(1): 動け動けウゴウゴ２ちゃんねる 2005/04/16(土) 06:21:04 ID:cZdYxH4f0(4/5)調 AAS
>>539
て、事は、むむむさんはnewsplus全スレ取得してた？
ログ消さずに。
550(1): 動け動けウゴウゴ２ちゃんねる 2005/04/16(土) 06:22:13 ID:rmIZqSyI0(17/18)調 AAS
他の記者に読ませてやりたいねぇ。
無論強制させることじゃないけど。
551(1): [―{}@{}@{}-] FOX ★ 2005/04/16(土) 06:22:33 ID:???0 BE AAS
>>541
みっけた
転送したです。
ohayou.com のメアドにJimは送ったようです。
552: 動け動けウゴウゴ２ちゃんねる 2005/04/16(土) 06:25:35 ID:hk2Uggix0(2/2)調 AAS
そのうちdat落ちしてないスレを読むのにも金を取ったりしてなｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗ
儲かるなぁｗｗｗｗｗｗｗｗｗｗｗｗｗｗ
553: 動け動けウゴウゴ２ちゃんねる 2005/04/16(土) 06:25:50 ID:ebsQyNzf0(1)調 AAS
つぼ
554(2): ひろゆき＠どうやら管理人 ★ 2005/04/16(土) 06:27:32 ID:???0 BE AAS
あれれ、、来ないような、、、SPAMフィルターで蹴られてる？？
555: 動け動けウゴウゴ２ちゃんねる 2005/04/16(土) 06:28:24 ID:H3VmSjHm0(2/2)調 AAS
ﾜﾛｽ
556: のいぽー（本物） ◆News/n6/H2 2005/04/16(土) 06:29:04 ID:Ou4gt41r0(17/22)調 AAS
>>551
縦の連携だけではなく横の連携までなってないのか管理人はよ。。。
今までJimきゅんから管理人へ重要な用件でメールしたことがあったかもしれないね。
それに返信が来ないとなるとJimきゅんはどう思っただろう。。
557: のいぽー（本物） ◆News/n6/H2 2005/04/16(土) 06:29:31 ID:Ou4gt41r0(18/22)調 AAS
>>554
(;´Д`)。。。
558: 動け動けウゴウゴ２ちゃんねる 2005/04/16(土) 06:29:32 ID:4rlx9Hb40(5/5)調 AAS
ちゃんちゃんw
559(1): root▲ ★ 2005/04/16(土) 06:30:31 ID:???0 BE AAS
さて、>>428〜 に戻ります。〜>>465
>>440 >>451 >>465
今の閾値は前にも書きましたが「＊多くの＊スレの自動巡回は許しません」な設定ですね。
いくつが「多くの」なのかは「ひ・み・つ」に触れてしまうので今は書きませんが、
あの設定値を見た時に、そういうコンセプトであると理解しました。
そういう需要がほんとに多いとしたら、
巡回な人用の別立てのサーバ(それ用のサーバ)を、別途準備することになるのかな。
>>463
たしかに、悩みどころですね。
単に&つけてバックグラウンド実行して、終了を待たないようにするっていうだけでいいような気がします。
今日全部cronしこむのはちとあれなので、
とりあえず今は、root権限ありtigerあたりに仕込んでみることにします。
グラフとっているんで、効果もわかるだろうし。
560(2): ひろゆき＠どうやら管理人 ★ 2005/04/16(土) 06:31:24 ID:???0 BE AAS
見つけましたー。返信しましたー。
561: 動け動けウゴウゴ２ちゃんねる 2005/04/16(土) 06:31:49 ID:hc6sK8yA0(14/26)調 AAS
>>554
工エｴェｪ（´д｀）ｪェｴエ工
562: 動け動けウゴウゴ２ちゃんねる 2005/04/16(土) 06:32:25 ID:hc6sK8yA0(15/26)調 AAS
リロード
orz
563(1): [―{}@{}@{}-] FOX ★ 2005/04/16(土) 06:38:40 ID:???0 BE AAS
ほほーい
>>559
現在の値は当初の二倍緩和です
2.4倍位までは緩和しようかなと調査中。。。
ただし 3倍まではするつもり全く無しでーす
564(1): [―{}@{}@{}-] FOX ★ 2005/04/16(土) 06:41:28 ID:???0 BE AAS
先ほども書きましたが(書いたつもりだけかも知れない)
サーバが楽な時間帯はさらに緩和するということも出来るかと
たとえば 2:00AM - 7:00AM はさらに二倍とか
565(1): [―{}@{}@{}-] FOX ★ 2005/04/16(土) 06:42:40 ID:???0 BE AAS
>>560
しかし、、
返信先に Jim のアドレスが入っていないという罠。
566: のいぽー（本物） ◆News/n6/H2 2005/04/16(土) 06:45:22 ID:Ou4gt41r0(19/22)調 AAS
>>565
もう駄目杉･ﾟ･（つД`）･ﾟ･
567: root▲ ★ 2005/04/16(土) 06:45:23 ID:???0 BE AAS
>>466〜>>537
>>466
前にレスしたように、携帯関係と、
(管理人がOK出すなら)巡回関係ですかね。
あるいは、「ディレイx秒相当の巡回は許すようにしてくださいー」ということなら、
そういう設定に閾値を変えることになるのでしょう。
>>491
それは、世の中の習いかと。
先進国と開発途上国っていうモデルに似たやつで。
>>520
ありゃ、例のやつ、再発か。
カーネルを戻しても起こるってことは、別の原因だなぁ。
これは、あとで。
>>530
つまり、京都議定書ってやつですか。
>>535 >>537
そうなりますね。
1000個のProxyを確保してそれぞれからちょっとずつアクセスすれば、
技術的には、逃れることは可能かと。
２ちゃんねるだって、読み込みに使えるProxyのリストを公開しています。
外部ﾘﾝｸ:hack72.2ch.net
でも、逃れる方法をここで議論しても、しょせんせんないことかと。
568: 動け動けウゴウゴ２ちゃんねる 2005/04/16(土) 06:47:20 ID:7KmLBscK0(1)調 AAS
tubo
569: root▲ ★ 2005/04/16(土) 06:52:42 ID:???0 BE AAS
〜>>560
>>546
無理のない範囲で楽しんでやっていたので、たいしたことないですよ。
なんていうか、やるならちゃんとやりたいっていう、自己満足に過ぎないわけです。
今は、楽しむ部分がちょっと変わりましたが、結局のところ自己満足であることは
何ら変わっていないわけで。
時間は限られているわけで、その限られた中でできることをしてるってかんじです。
>>547
そのProxyが有名になってそこからばきばきクロールされちゃうと、ありうるかもですね。
>>549
そうですよ。
で、かちゅ〜しゃが重くなってくると、ログをどっこいしょとmvして、ってかんじ。
>>550
それぞれのスタイルで、気楽にやるといいと思うのです。
仕事じゃないわけで、しょせんはその程度のものだという割り切りも、時として必要かと。
>>560
それで、待ちになってたとゆうことすか。
570: root▲ ★ 2005/04/16(土) 06:53:47 ID:???0 BE AAS
>>563-564
了解です。
ようやく、下までいったか。
c-au1の様子を見てきます。
571: のいぽー（本物） ◆News/n6/H2 2005/04/16(土) 06:54:13 ID:Ou4gt41r0(20/22)調 AAS
「閾値は内緒」と言うのはよく理解できるのですが。
内緒にする意味がいまいちわからない。
や、閾値を公表するとぎりぎりそれに準じた値で事を行う輩が出てくるから。これは当然知っていますが。
規制というのは行う側の都合の良い値で行うのでしょう？
だったら「ぎりぎりそれに準じた値」で色々やられても全く問題ない値で規制すれば良いんじゃネーノ？
その上で値を公表すれば専用ブラウザの作者さんとかが色々アレしてくれて結果的に負荷も下がるような。
あれか。IEでのアクセス>>>専用ブラウザでのアクセスだから駄目か。
＞「ぎりぎりそれに準じた値」で色々やられても全く問題ない値
という事は当然に非公表の時よりも厳しい値になるであろうし。
駄目駄目だな俺様。
572: のいぽー（本物） ◆News/n6/H2 2005/04/16(土) 06:57:37 ID:Ou4gt41r0(21/22)調 AAS
今なんか規制が解除されたっぽいのでかちゅ〜しゃでアクセスしてみた。
＿|￣|○
規制されているときにスレを読み込んでエラーが出たスレ、全てログの再取得をしないと駄目なのね。。。
573: root▲ ★ 2005/04/16(土) 07:08:08 ID:???0 BE AAS
c-au1はとりあえずhttpdとbalanceをリスタートしました。なぞだ。
さて、メール読んで、いくつかのサーバに自動起動をしこんできます。
574(4): root▲ ★ 2005/04/16(土) 07:25:30 ID:???0 BE AAS
本日、今現在のcronでの自動動作の設定方針を書いておくです。
・tiger503 = live20 とりあえず>>481に従い今は設定しません
・tiger504 = game10 設定します
・tiger505 = news18 設定します
・tiger506 = game9/etc4/dso 全部設定します
・tiger507 = live16 とりあえず>>481に従い今は自動設定しません
・tiger508 = life7 設定します
・tiger509 = news19 設定します
・tiger510 = hobby7 設定します
・oyster901 = ex10
管理人が今最も手厚くしているnews4vipがある、２ちゃんねるで一番大事なサーバなので、
これだけは管理人に決めてもらおうと思います。
管理人が「設定してくださいー」と言えばしくみ発動するし、「しばらく様子を見てくださいー」とか
「しばらく入れないでくださいー」言えば、今は発動しません。
とりあえず、管理人から何らかの明示的な指示があるまで、ex10は保留(発動しない)にします。
・他のすべてのサーバ
今は自動設定しません
ただし気が向いたら、FOXさんや私や若者(やり方が書かれたメールがCc:されている)が、
様子を見ながら、随時手で動かすことはありえます。
ということで、これから順番に作業していきます。
575(1): 動け動けウゴウゴ２ちゃんねる 2005/04/16(土) 07:28:35 ID:PrT7hB8e0(1/2)調 AAS
subject.txt のリロードもそんなに負荷につながるのか。
576(1): ひろゆき＠どうやら管理人 ★ 2005/04/16(土) 07:30:19 ID:???0 BE AAS
多数＞＞制限値＞＞規定値＞＞少数
規定値に触れるものを洗い出すのと、
制限する値ってのは別のほうがいい気がします。
577: root▲ ★ 2005/04/16(土) 07:36:51 ID:???0 BE AAS
>>575
前にやったミニ雪だるま作戦による調査で、
少なくとも旧ex7、今のex10では、subject.txtへの激しいアクセスにより、
相当量のコストかかっているとわかりました。
>>576
つまり、
A)やばいやつをリストアップする時に使うパラメータ
B)実際に規制するためのパラメータ
を別にして、B > Aにするのはどうか、ってことすか。
578(1): ひろゆき＠どうやら管理人 ★ 2005/04/16(土) 07:42:13 ID:???0 BE AAS
そです。そです。
579(1): 動け動けウゴウゴ２ちゃんねる 2005/04/16(土) 07:47:51 ID:rmIZqSyI0(18/18)調 AAS
ex10はVIPとニー速みたいに
subject.txtを更新、新しく立ったスレを片っ端から読み込み、書き込む、subject.txtを更新...
を繰り返すって特異なところだからなぁ・・・
他と同じとは言えないよね。
580: 動け動けウゴウゴ２ちゃんねる 2005/04/16(土) 07:48:37 ID:cZdYxH4f0(5/5)調 AAS
俺・・・ひ（ｒｙのレス↑予想当たったよ。一字一句間違いなく完璧にな！
おやしみ。
581: root▲ ★ 2005/04/16(土) 07:51:31 ID:???0 BE AAS
>>579
そですね。
結果をみて、そう思いました。
ただ、その傾向は他の板でも大なり小なりあるわけで、
チューニング/負荷軽減のポイントがひとつわかったという意味では、
収穫だったと。
>>578
了解です。
そのへんは、おじさんがうまく仕込んでくれることでしょう。
582(1): ひろゆき＠どうやら管理人 ★ 2005/04/16(土) 07:53:21 ID:???0 BE AAS
たぶん、サーバごとで閾値が変わってくると思うので、
計測と規制は別のフェーズでやっていったほうが
最適値は出しやすいと思うのですね。
583: root▲ ★ 2005/04/16(土) 08:06:14 ID:???0 BE AAS
>>582
なるほど。
Aは全サーバ共通の低めの値を設定して網をかけることにより、全体や各サーバにおける傾向をさぐる
各サーバにおける「網のかかり方」を参考にしながら、サーバごとに適切なBの値をチューニングする
ってかんじですか。いいかも。
584(2): ｒｅｆｆｉ@報告人 ★ 2005/04/16(土) 08:20:11 ID:???0 AAS
あれ、新バーボンで鯖名が出なくなってます。
585: root▲ ★ 2005/04/16(土) 08:23:43 ID:???0 BE AAS
>>584
今、まだgame10しか動かしていません。
作業中につき。
586: root▲ ★ 2005/04/16(土) 08:24:33 ID:???0 BE AAS
>>584
あ、わかった。環境変数問題かぁ。
んじゃ、動かし方を変えます。
587(1): 動け動けウゴウゴ２ちゃんねる 2005/04/16(土) 08:34:20 ID:DgqhVByi0(1)調 AAS
壷から着ました
質問ですが「過度の更新」を規制するのはわかりますが
実況CHだけは導入見送りさせてもらえないでしょうか。
実況しようとすれば落ちる。
リロードすればアクセス規制じゃなんのための実況板かわかりません。
588(1): 動け動けウゴウゴ２ちゃんねる 2005/04/16(土) 08:37:28 ID:crzS05oY0(4/9)調 AAS
>>587
ｽﾚ嫁よヴァカ
誰が>>574でLive系は導入見送られてるなんて教えるかよ
589: 動け動けウゴウゴ２ちゃんねる 2005/04/16(土) 08:45:01 ID:oIXt/cJW0(1/17)調 AAS
・・・差分取得失敗したら
串使いまくりのiriaでＤＬ(not 差分取得)するかな
590: 動け動けウゴウゴ２ちゃんねる 2005/04/16(土) 08:52:44 ID:UdG6JqML0(1)調 AAS
>>588
おまい、意外と良い奴だな。
591(1): 動け動けウゴウゴ２ちゃんねる 2005/04/16(土) 08:54:51 ID:pwGqighk0(1/3)調 AAS
28 BBON.news18 218.41.181.212 (p29b5d4.tkyoac00.ap.so-net.ne.jp) 2
引っかかった
ID:Ou4gt41r0のように報告すべき？
592: 動け動けウゴウゴ２ちゃんねる 2005/04/16(土) 08:57:36 ID:oIXt/cJW0(2/17)調 AAS
今日は wait ２秒にしてみた (１板１時間以内に取得できればいいや)
593(1): 動け動けウゴウゴ２ちゃんねる 2005/04/16(土) 09:03:12 ID:crzS05oY0(5/9)調 AAS
news18に間隔0.3秒で田代砲撃ってみたけどバーボンひっかからなかった
仕様？
594: root▲ ★ 2005/04/16(土) 09:03:42 ID:???0 BE AAS
>>591
何したらひっかかったのかを、教えていただけると。
今しがた、仕掛けいれました。
入れるにあたり数回手で動かしています。
で、今は自動取得な方々にはやや「きつめ」の閾値な気がするので、
ウェイトをある程度入れても、ひっかかる可能性があります。
このへんは、これから調整ということで。
今きつめなことへの文句は、「実は私叩かれるのが快感なんですモデル」の方へどうぞ。
595(1): root▲ ★ 2005/04/16(土) 09:05:07 ID:???0 BE AAS
>>593
いわゆる田代砲には、Webブラウザの仕様とか砲の仕様によっては、
うまく到達してないものもありますよ。
596(1): ｒｅｆｆｉ@報告人 ★ 2005/04/16(土) 09:05:35 ID:???0 AAS
また、クラシックがバーボンされたみたい（汗
25 BBON.news18 219.113.242.220 (usen-219x113x242x220.ap-US.usen.ad.jp)
597(1): root▲ ★ 2005/04/16(土) 09:12:45 ID:???0 BE AAS
クラシックミラーとテストについては、c系の開発・動作確認などに
使用している、ってことでいいのかな。
blackgoatを急ぎ開ける方向で調整します。
ので、連絡くださいです。＞クラシックさん and/or こうすけさん
で、連絡がとれるまでの間限定で、>>157 の2つだけ、バーボン除外リストに追加しておきます。
598(1): 動け動けウゴウゴ２ちゃんねる 2005/04/16(土) 09:13:40 ID:crzS05oY0(6/9)調 AAS
>>595
300なら十分処理できてるから到達してる
念のため0.6秒間隔で100連撃ったけどバーボンかからない
もしかして2ch板:bizplusじゃだめなのかな？
599: 動け動けウゴウゴ２ちゃんねる 2005/04/16(土) 09:16:31 ID:XIXQF7Q20(1/5)調 AAS
>>596
219.113.242.220
↑このIPはクラシックテスト１(i2ch.net)とテスト２(t2.i2ch.net)で共有してるのでひっかかりやすいのではないかと。
600(2): 動け動けウゴウゴ２ちゃんねる 2005/04/16(土) 09:18:04 ID:pwGqighk0(2/3)調 AAS
専用ブラウザのtwintail v2.0 beta30でお気に入りを巡回した
>>451にならうと
1) どのサーバで引っかかったですか?
news18
2) どれくらいの時間内にどれくらいのファイルにアクセスしたですか?
つまりスピード、
・不明、目測でよければ1秒で1スレくらい？
・適当にニューススレを取得しているのでnews18だけで100は超えていると思う
・2ch全体ならお気に入りスレは500を超えている
・ちなみに板ごとにお気に入りスレを分けているので
芸スポ+・ニュース議論・ビジネスnews+などのスレを連続で
巡回していることになる
601: 動け動けウゴウゴ２ちゃんねる 2005/04/16(土) 09:18:39 ID:tenNF70J0(1)調 AAS
自分なら、
体感だと
1アクセス/5秒 かなり待たされる感じ
1アクセス/3秒 ちょっと引っかかる感じ
1アクセス/1秒 待ちなし
なので
300アクセス/10分(=1アクセス/2秒)ぐらいを閾値に設定するかなぁ。
(クローラ対策なら600アクセス/10分でもいいと思うけど。)
602(2): root▲ ★ 2005/04/16(土) 09:20:17 ID:???0 BE AAS
219.113.242.218 219.113.242.220 の2つを除外リストに一時的に足しました。
あくまで一時的な処置ということで。
今バーボンに入っているやつは、はずし方を知らないです。
タイムアウトを待ってください。
603: 動け動けウゴウゴ２ちゃんねる 2005/04/16(土) 09:21:18 ID:pwGqighk0(3/3)調 AAS
>>600
>・不明、目測でよければ1秒で1スレくらい？
これについてはあまりあてにしないでね・・・
604: root▲ ★ 2005/04/16(土) 09:24:35 ID:???0 BE AAS
>>598 >>600 とも、
撃つ数の問題っすね。
いくつかは、「ひ・み・（りゃ」なので、言いませんが。
とりあえず10分で10000発連撃すれば、絶対ひっかかります。
605(4): root▲ ★ 2005/04/16(土) 09:28:26 ID:???0 BE AAS
まとめ
今自動起動しているサーバの一覧 >>574
ひ（りゃ からの提言 >>576-583
連絡ください >>597
もうげんかいっす。いったんおふらいん。むぎゅー。
606: 動け動けウゴウゴ２ちゃんねる 2005/04/16(土) 09:29:16 ID:crzS05oY0(7/9)調 AAS
お疲れさま
つ[俺の尿]＜これでも飲んで
607: 動け動けウゴウゴ２ちゃんねる 2005/04/16(土) 09:29:49 ID:y9x+PZo40(1/3)調 AAS
>>605
乙ーﾉｼ
つ[さくら餅]
608: ｒｅｆｆｉ@報告人 ★ 2005/04/16(土) 09:31:59 ID:???0 AAS
>605
乙です〜〜
609(1): 動け動けウゴウゴ２ちゃんねる 2005/04/16(土) 09:36:14 ID:crzS05oY0(8/9)調 AAS
0.5間隔*5窓を1分続けても規制されなかった
F5砲対策には問題があるような気がする
610: ◆yadoQ//n/E 2005/04/16(土) 09:37:05 ID:OiHyav7G0(2/3)調 AAS
>>605
朝遅くまで乙でしたー。
611: root▲ ★ 2005/04/16(土) 09:37:30 ID:???0 BE AAS
>>609
気になるなぁ。
news18だっけ。
ログみてみます。ここで、fusianasanできますか?
612: 動け動けウゴウゴ２ちゃんねる 2005/04/16(土) 09:38:09 ID:okRj0gqM0(1)調 AAS
>>605
root乙
613(2): root▲ ★ 2005/04/16(土) 09:41:26 ID:???0 BE AAS
だめだ、限界っす。
できるなら、fusianasanしておいてください。あとで調べてみるので。
事情によりできないなら、特に問題ないです(調べようがないだけ)。
614: 動け動けウゴウゴ２ちゃんねる 2005/04/16(土) 09:42:10 ID:z+KMWu3f0(1/7)調 AAS
とりあえずネロ
615: 動け動けウゴウゴ２ちゃんねる 2005/04/16(土) 09:43:30 ID:y9x+PZo40(2/3)調 AAS
>>613
つ[まくら]
616(1): 動け動けウゴウゴ２ちゃんねる 2005/04/16(土) 09:44:15 ID:crzS05oY0(9/9)調 AAS
>>613
乙
( ﾟ∀ﾟ)つ[俺の尿]
あのあとDoS同然の更新かけたらバーボンに引っかかりましたヽ(´ー｀)ノ
IPは申し訳ないんですが今晒すと大変なことになるので勘弁を
617: root▲ ★ 2005/04/16(土) 09:45:52 ID:???0 BE AAS
>>616
りょうかいです。 これでとりあえず安心しました。
今寝るとせっかくの土曜があれなので、奥様とどっかにでかけてきます。
ふらふら。
618(2): 動け動けウゴウゴ２ちゃんねる 2005/04/16(土) 09:51:44 ID:XIXQF7Q20(2/5)調 AAS
>>602:root▲ ★さん
219.113.242.220を除外リストに追加したことでバーボンリストに表示されなくなったけど、
バーボン入ってる状態、ホントに解除されますかね？
バーボンリストに表示されないということは解除カウントも停止してるんじゃないの？
619: 618 2005/04/16(土) 09:59:54 ID:XIXQF7Q20(3/5)調 AAS
i2ch.net(219.113.242.220)でnews18の板が軒並見れないのだけど、
バーボンリストには表示されてないのよね。
620: よよよ ◆EX/mumumu2 2005/04/16(土) 10:00:01 ID:Upn6KYm60(1/4)調 AAS
「>>618 リストにはちゃんと表示されているようです。」
と言っている人がいます。
621(2): よよよ ◆EX/mumumu2 2005/04/16(土) 10:04:09 ID:Upn6KYm60(2/4)調 AAS
17 BBON.life7 219.113.242.220 (usen-219x113x242x220.ap-US.usen.ad.jp) 52
(外部ﾘﾝｸ[cgi]:qb6.2ch.net よりコピペ。言われた通りにやりました。)
622: 動け動けウゴウゴ２ちゃんねる 2005/04/16(土) 10:04:54 ID:pjRzjjfh0(1)調 AAS
既婚者だったのか…rootさん。
なんというか…いろいろ乙です。
家族サービス、ガンガッテ下さい（というのも変な言い方ｗ
623: 動け動けウゴウゴ２ちゃんねる 2005/04/16(土) 10:07:01 ID:XIXQF7Q20(4/5)調 AAS
>>621
＞news18の板が軒並見れないのだけど、
624(1): よよよ ◆EX/mumumu2 2005/04/16(土) 10:07:06 ID:Upn6KYm60(3/4)調 AAS
「カウントが120になれば消えていくので大丈夫だと思います。」
「私がいじったところとは独立に動いています。」
だそうです。
カウントと言うのは、>>621にコピペした奴の最後の数字だそうです。
625: 動け動けウゴウゴ２ちゃんねる 2005/04/16(土) 10:07:22 ID:yMmUlKHV0(2/5)調 AAS
僕の肛門もクロールされそうです
626: 動け動けウゴウゴ２ちゃんねる 2005/04/16(土) 10:09:27 ID:XIXQF7Q20(5/5)調 AAS
>>624
は〜い、わかりました〜(・∀・)
(それにしても被るなぁw)
627: 動け動けウゴウゴ２ちゃんねる 2005/04/16(土) 10:09:30 ID:z+KMWu3f0(2/7)調 AAS
BBON.life7 219.113.242.220 (usen-219x113x242x220.ap-US.usen.ad.jp) 57
あと1時間ちょいで解除です
それまで待つしかないですな
上下前次1-新書関写板覧索設栞歴
あと 374 ﾚｽあります
ｽﾚ情報 赤ﾚｽ抽出 画像ﾚｽ抽出 歴の未読ｽﾚ
ぬこの手 ぬこTOP 0.029s