[過去ﾛｸﾞ] クローラー＆過剰リロード対策スレ (1001ﾚｽ)
上下前次1-新
このｽﾚｯﾄﾞは過去ﾛｸﾞ倉庫に格納されています｡
次ｽﾚ検索 歴削→次ｽﾚ 栞削→次ｽﾚ 過去ﾛｸﾞﾒﾆｭｰ
467(1): 動け動けウゴウゴ２ちゃんねる 2005/04/16(土) 05:16:03 ID:l0L4SrJh0(3/15)調 AAS
>>464
とある鯖のスレッド数えてみたら、150程ありました。。
qb5です。。
まあ、150も見てればそら引っかかるかぁ。。
かちゅで巡回してたら駄目って事ね。。これからは。
468(1): [―{}@{}@{}-] FOX ★ 2005/04/16(土) 05:16:25 ID:???0 BE AAS
>>465
>>323 より前ですか? あとですか?
469: 動け動けウゴウゴ２ちゃんねる 2005/04/16(土) 05:16:36 ID:hc6sK8yA0(13/26)調 AAS
まだ焼かれたままなんですねｗ
470: [―{}@{}@{}-] FOX ★ 2005/04/16(土) 05:16:56 ID:???0 BE AAS
そうみたい、、
とほほっ
471: 動け動けウゴウゴ２ちゃんねる 2005/04/16(土) 05:17:45 ID:WmfovjO30(5/8)調 AAS
誰が焼いてんの？
472(1): のいぽー（本物） ◆News/n6/H2 2005/04/16(土) 05:18:30 ID:Ou4gt41r0(6/22)調 AAS
>>467
＞まあ、150も見てればそら引っかかるかぁ
工エｴェｪ(´д｀)ｪェｴエ工
何だと？
俺様は以前の2ちゃんねる専用デスクトップ「俺様壱号」の時には普通に2ちゃんねる全体で2万スレとかの巡回をしてましたが。。
>>468
後ですね。
473: 動け動けウゴウゴ２ちゃんねる 2005/04/16(土) 05:19:12 ID:+b8malLj0(8/12)調 AAS
sleep(60);
474: 動け動けウゴウゴ２ちゃんねる 2005/04/16(土) 05:19:37 ID:l0L4SrJh0(4/15)調 AAS
>>472
全体では、やっぱ500スレくらい見てるんですよ。
けど、それらは結構分散してるから。
削除系の板の巡回が多いんで、結局そのくらいに
なってしまってるもんで。。
475: 動け動けウゴウゴ２ちゃんねる 2005/04/16(土) 05:20:32 ID:V0M0fFyX0(1/4)調 AAS
ボラ活動のために未取得のスレを巡回して取得していったら、
これにひっかかるのかな。。。
今までそういうやり方でボラ活動してきたので、
ひっかかってしまうと、厳しいものがあるですね。。
負荷をかけてまでやろうとは思わないですが。。。
476(1): 動け動けウゴウゴ２ちゃんねる 2005/04/16(土) 05:20:46 ID:rmIZqSyI0(11/18)調 AAS
かちゅの巡回はdatをどんどん読んじゃうタイプなのか。
477: [―{}@{}@{}-] FOX ★ 2005/04/16(土) 05:21:58 ID:???0 BE AAS
一番負荷かけてるのは誰? って話しです。
50万人のうちの上位100人は引っかかることを覚悟してください
478: 動け動けウゴウゴ２ちゃんねる 2005/04/16(土) 05:23:09 ID:cZdYxH4f0(1/5)調 BE AAS
前のやつみたいに上位１００人を規制したい
自動で、って事か。
479: のいぽー（本物） ◆News/n6/H2 2005/04/16(土) 05:23:46 ID:Ou4gt41r0(7/22)調 AAS
って言うか>>332で一旦リセットしているみたいだから後に決まっているような予感が。。。
28 BBON.news19 218.218.14.139 (EATcf-320p139.ppp15.odn.ne.jp) 89
この
＞BBON.news19
というのはnews19サーバでの読み込み過多によりバーボン入りしましたという事よね？
それとも2ちゃんねる全体で引っかかった中で読み込み数が一番多かったサーバ？
あと、末尾の数字（89）ってなぁに？
最初は1だったのがどんどん増えてきた。
480: 動け動けウゴウゴ２ちゃんねる 2005/04/16(土) 05:23:50 ID:l0L4SrJh0(5/15)調 AAS
qb5の削除依頼系は普通に見えてたから、削除スクリプト
動かすまで、まじで気が付かなかった。。
やっぱJaneに切り替えた方がいいのかなぁ。。
>>476
多分、●も使ってるから、スピードが速いのかもしれない。
うーん、、削除系だけ外してもらうか、自分で手間かけて
Janeに巡回先を移行させるか。。
（で、後者をやれと言われそうな予感）
481(2): root▲ ★ 2005/04/16(土) 05:24:31 ID:???0 BE AAS
〜>>267まで
>>245
blackgoat3/4は現在のところ、プライベート側にしかサービスを提供していません。
もちろん、パブリック側に提供することも、技術的には可能です。
>>248
live系はスルーにする(現在のバーボンのように)とかの細かなチューニングは、
これから詰めていけばいいかなと。
個人的には、live系と場合によってはex系はスルーか、大幅にゆるくしてもよいかなとは思っています。
そのかわり過負荷で落ちたとしても、文句言わせないってことになるんでしょう、きっと。
>>255
live系は、遅延するぐらいならサーバが重くなったり落ちたりしたほうがいいという、
一般のサーバとはだいぶ違う人たちな気がするですね。つまり、いわゆる「コスト高」な人たち。
ということでIMO、上記の意見で。
482(1): [―{}@{}@{}-] FOX ★ 2005/04/16(土) 05:24:44 ID:???0 BE AAS
スピード落としてくれるだけでかなり助かるのだが、
483(4): 動け動けウゴウゴ２ちゃんねる 2005/04/16(土) 05:26:09 ID:l0L4SrJh0(6/15)調 AAS
>>482
かちゅの方で、スピードをコントロールする手段がないんで、
やっぱこれを使う限りは駄目って事ですねぇ。。
いちいちログアウトして巡回しても手間なだけだし。。
ふむふむ。。
484(2): 動け動けウゴウゴ２ちゃんねる 2005/04/16(土) 05:26:30 ID:V0M0fFyX0(2/4)調 AAS
削除整理板だと1000超えるスレがあるけれど、
活動のためにほとんどのスレを巡回対象にしているボラさんって
そこそこいる予感しますよね。
485(1): のいぽー（本物） ◆News/n6/H2 2005/04/16(土) 05:27:28 ID:Ou4gt41r0(8/22)調 AAS
>>483
kageの中の人に要望するしか無いですね多分。。。
486(1): 動け動けウゴウゴ２ちゃんねる 2005/04/16(土) 05:28:04 ID:WmfovjO30(6/8)調 AAS
キャップはスルーとか出来ないの？
487(2): 動け動けウゴウゴ２ちゃんねる 2005/04/16(土) 05:28:36 ID:rmIZqSyI0(12/18)調 AAS
>>483
subject.txtを1回取得で更新されてるものだけ一つ一つ見て回る、じゃダメなん？
488(1): のいぽー（本物） ◆News/n6/H2 2005/04/16(土) 05:29:14 ID:Ou4gt41r0(9/22)調 AAS
>>484
運営カテゴリは除外、で良いような。
このカテゴリの板は商売としてクロールしてログを取得する意味もうまみも無いような気がしますし。
489(1): 動け動けウゴウゴ２ちゃんねる 2005/04/16(土) 05:29:21 ID:+b8malLj0(9/12)調 AAS
サーバー負荷に対してそんなに必死になるほど
２ちゃんねる運営ってのはキツキツで頑張ってんのか〜？
サーバー関連のことはやったことないから分かんないんだけども。
490: 動け動けウゴウゴ２ちゃんねる 2005/04/16(土) 05:30:13 ID:4rlx9Hb40(2/5)調 AAS
鯔でさえ協力を渋る、この現状w
491(2): [―{}@{}@{}-] FOX ★ 2005/04/16(土) 05:30:29 ID:???0 BE AAS
>>489
上位0.01%くらいで30%くらいの資源を使っていると見た
492(1): のいぽー（本物） ◆News/n6/H2 2005/04/16(土) 05:30:33 ID:Ou4gt41r0(10/22)調 AAS
>>487
お気に入りのスレは複数の板にまたがっているでしょうからねぇ。。
各板ごとにそれをやるようじゃ専用ブラウザの利便性が著しく損なわれるような。
493(4): 動け動けウゴウゴ２ちゃんねる 2005/04/16(土) 05:32:06 ID:l0L4SrJh0(7/15)調 AAS
>>484
整理板のスレもそこそこあるんですけど、削除議論とか
ここの規制系のいくつかのスレとか、運営系のスレとか、
規制議論とか、巡回してるところは、かなりあるんです。。
「巡回するな」は、活動するなと同義なんで、なんか方法
変えるしかないんかなぁと。。
>>485
まあ、なんか考えるのかもだけどね、、作者さんも。
>>486
かちゅにキャップ設定するとこなんてないですよｗ
>>483
Jane Viewは、そういう巡回できるですよ。けどね、巡回先が
大量にあると、一気にスレを開くとタブで埋まっちゃうのね。。
（で、画面が見えないという弊害が）
そんなわけで、かちゅでの巡回続けてるのです。。
494: 動け動けウゴウゴ２ちゃんねる 2005/04/16(土) 05:32:18 ID:+b8malLj0(10/12)調 AAS
>>491
ちっ！バレタカ。
495: 動け動けウゴウゴ２ちゃんねる 2005/04/16(土) 05:33:09 ID:l0L4SrJh0(8/15)調 AAS
あ、上の>>483は>>487向けの間違い。
496(1): 動け動けウゴウゴ２ちゃんねる 2005/04/16(土) 05:34:32 ID:4oxfEWNe0(4/4)調 AAS
>>493
View使ってますけど一度に開くスレ数は設定で決められますよ
15スレずつ開いて読んで閉じてって感じに
497(1): 動け動けウゴウゴ２ちゃんねる 2005/04/16(土) 05:34:52 ID:V0M0fFyX0(3/4)調 AAS
>>488
活動方法にもよるのでしょうけれど、
クロールしてどこの板が未処理なのか調べているので、
それが駄目となってしまうと、今後はどうすればいいのかなあと。
いい方法があるなら、そちらに移行しますが。
498: 〈(｀･ω･｀)〉Ψ ◆EQUAL/Pi.Q 2005/04/16(土) 05:35:13 ID:SUYXFjxc0(1)調 AA×
499: のいぽー（本物） ◆News/n6/H2 2005/04/16(土) 05:35:29 ID:Ou4gt41r0(11/22)調 AAS
>>493
＞かちゅにキャップ設定するとこなんてないですよ
ﾀﾞﾖ(ο･д･)(･д･`ο)ﾈｰ
って言うか「書き込み規制を回避」なら兎も角。そもそも読み込みすら出来ないんだから。
それに、キャップでの回避が実現できるなら●をスルーする仕組みにしてくれと。
500: 動け動けウゴウゴ２ちゃんねる 2005/04/16(土) 05:35:40 ID:l0L4SrJh0(9/15)調 AAS
>>496
なんと！！
しらんかった。。
501(2): 動け動けウゴウゴ２ちゃんねる 2005/04/16(土) 05:36:03 ID:rmIZqSyI0(13/18)調 AAS
>>492>>493
Live2chなんかは1回の動作で取得スレのあるsubject.txt全部取得できるよ。
更新してるスレを開くのは手動だけど。
502(2): [―{}@{}@{}-] FOX ★ 2005/04/16(土) 05:37:07 ID:???0 BE AAS
>>501
そこは是非手動にして欲しいです。
503: 動け動けウゴウゴ２ちゃんねる 2005/04/16(土) 05:37:20 ID:V0M0fFyX0(4/4)調 AAS
>>493
巡回するところ多くなりますよね。。
504(2): のいぽー（本物） ◆News/n6/H2 2005/04/16(土) 05:37:40 ID:Ou4gt41r0(12/22)調 AAS
>>497
いや、除外ってこのバーボンの設定を、ですね。2ちゃんねるの中の人が。
>>501
何だと？
とても便利そうな機能じゃないかよ？！( ﾟдﾟ)m6
505: root▲ ★ 2005/04/16(土) 05:39:19 ID:???0 BE AAS
〜>>380 まで
>>288
これから、ぼちぼち調整かなと。
おじさんは常に「極端」から始めるので、時に(生)暖かな心構えが必要です。
>>323
現在の閾値は例によって極秘なわけですが、なかなかな値すね。
設定値を見た感想: 一般的な板におけるスレの自動全取得は絶対にだめ、だめったらだめ。
掲示板ってそういうもんじゃないでしょ。
>>329
headlineかな。
>>363
仮に耐えられないとしたら、何か策を考えるんだろうなと。
>>367
今の状況だと、携帯側のプライベートネットワークが既に100Mbpsの頭打ちですね。
つまり、別のところで詰まっている状態です。
サーバ自体の能力は、まだ使い切っていないと思います。
ただ、限界ぎりぎりまで使うテストをしていないので、
blackgoat3/4の限界値(どのくらいまでの処理が可能なのか)は、正直なところ未知数です。
506: 動け動けウゴウゴ２ちゃんねる 2005/04/16(土) 05:40:19 ID:068ogXZ10(1)調 AAS
>>502
datじゃなくsubject.txtをちょっと触るだけなので許して欲しい
datを読むのは手動なので
507: 動け動けウゴウゴ２ちゃんねる 2005/04/16(土) 05:41:31 ID:l0L4SrJh0(10/15)調 AAS
>>504
JaneViewでも同じですよ。
お気に入りのある板のsubject.txtを読みに行ってるです。
で、１鯖にそんなに大量に板が入ってるところも無いから、
そんなに負荷ではないと思う（多分私は50板前後。。）
508: 動け動けウゴウゴ２ちゃんねる 2005/04/16(土) 05:41:58 ID:rmIZqSyI0(14/18)調 AAS
>>502
>>504
ただ、それをやるのは全取得スレッドを対象にして更新チェックするから、
ログ大量に保管してる人はあまりやらないと思う。（全取得スレッドのフォルダ開くだけで物凄くメモリ食う）
509(1): 動け動けウゴウゴ２ちゃんねる 2005/04/16(土) 05:42:22 ID:l0L4SrJh0(11/15)調 AAS
ちなみに、JaneViewは、数分間は連続巡回できない
ようにもなってるし。。
510: のいぽー（本物） ◆News/n6/H2 2005/04/16(土) 05:43:53 ID:Ou4gt41r0(13/22)調 AAS
>>509
それは基本じゃねすか？
かちゅ〜しゃも5分間隔をあけないと再巡回できない。
511(2): [―{}@{}@{}-] FOX ★ 2005/04/16(土) 05:44:17 ID:???0 BE AAS
ん?
qb5ってバーボン除外(引っかかるけど、denyはされない)ですよ?
512: 動け動けウゴウゴ２ちゃんねる 2005/04/16(土) 05:44:19 ID:1PLnVgS10(16/16)調 AAS
いま、MacMoeJiroで削除整理板のスレを新規に200スレ巡回させたけど、
引っかからなかったよ・・・
513: 動け動けウゴウゴ２ちゃんねる 2005/04/16(土) 05:44:48 ID:cZdYxH4f0(2/5)調 AAS
専ブラの話で埋まってきた。
514(1): 動け動けウゴウゴ２ちゃんねる 2005/04/16(土) 05:45:11 ID:l0L4SrJh0(12/15)調 AAS
>>511
えーとですね。。
qb5はみられても、各鯖の削除スクリプトはバーボンになるですよ。。
515(1): ｒｅｆｆｉ@報告人 ★ 2005/04/16(土) 05:45:35 ID:???0 AAS
おや、etc4とgame10で急激なread.cgiアクセス数上昇が見られます。
新バーボンに引っかからない何て何やっているんだろう？
516(1): 動け動けウゴウゴ２ちゃんねる 2005/04/16(土) 05:45:43 ID:WvvjoZEnO携(1)調 AAS
風呂入ってる間に1万回以上回し続けててみたもののやはりバーボン入りはせず。
517(1): [―{}@{}@{}-] FOX ★ 2005/04/16(土) 05:45:49 ID:???0 BE AAS
>>514
ですよ
518: [―{}@{}@{}-] FOX ★ 2005/04/16(土) 05:46:29 ID:???0 BE AAS
まだ私がたまにぷちぷち手動で動かしているだけですよ?
519: ｒｅｆｆｉ@報告人 ★ 2005/04/16(土) 05:48:19 ID:???0 AAS
>515
あっ、game9だった
520(1): 動け動けウゴウゴ２ちゃんねる 2005/04/16(土) 05:51:00 ID:rmIZqSyI0(15/18)調 AAS
なにこれ
外部ﾘﾝｸ[html]:ch2.ath.cx
521(2): root▲ ★ 2005/04/16(土) 05:55:48 ID:???0 BE AAS
〜>>406
>>381
今は、
cフロント1←blackgoat←掲示板サーバ
cフロント2←
cフロント3←
・・・
のうちの、のうちのcフロントに行くところが、100Mに達してしまっています。
つまり、blackgoatから出て行くところの管がめいっぱいになっていると。
blackgoatのネットワークI/Fそのものは1G対応なので、スイッチをいいものにアップグレードする方向で
解決を図ろうとしているわけです。
もし外からのアクセスが相当数見込まれるなら、それ用のblackgoatを入れる手はありえます。
cフロントの替わりに、各種クライアントやらクローラやらがつながると。
>>389 >>395 >>401
現在のblackgoatの遅延は1分です。ここしばらくずっと変えていません。
なっているとしたら、おかしいですね。
再度見直してみましたが、3/4とも1分になっていました。
>>406
その段階ですか。スイッチ? サーバ? それともその両方?
どのぐらいのスイッチを入れるかにもよるですね。
全ポート1Gのしっかりしたスイッチだと、それなりに値段します。
単に1Gでそれなりに動けばいいなら、いまやそれほどでもないかと。
522(1): のいぽー（本物） ◆News/n6/H2 2005/04/16(土) 05:57:41 ID:Ou4gt41r0(14/22)調 AAS
>>511
＞引っかかるけど
の時点でだめぽだと言うことでしょう。
削除作業の為に整理板や要請板を巡回しただけで引っかかってしまっては。。。
巡回せずに手動で取得しろと。
>>516
その辺が謎ねぇ。。
田代砲とかではなくスレ取得を連続で行うと引っかかるのかしら。
>>517
それじゃ削除作業が出来ないでしょうよと。
だから運営カテゴリは除外してくれないかしらと。除外ってdenyされない、では無くて。この仕組み自体動かさないでくれと。
運営カテゴリなんてボランティア以外にはそうそう巡回などしないでしょう。
523(2): 動け動けウゴウゴ２ちゃんねる 2005/04/16(土) 05:57:41 ID:uaAJdnI30(1/2)調 AAS
大量に削除依頼スレッドを取得してから、いざ現場へいくと
削除が出来ない、っつーことですね。
削除人の方も取得の方法考えろってことでFA？＞お狐さん
524: のいぽー（本物） ◆News/n6/H2 2005/04/16(土) 05:58:32 ID:Ou4gt41r0(15/22)調 AAS
>>523
その通りなんでしょうが。。。ねぇ。
525: [―{}@{}@{}-] FOX ★ 2005/04/16(土) 05:59:28 ID:???0 BE AAS
>>521
>その段階ですか。スイッチ? サーバ? それともその両方?
両方です
>どのぐらいのスイッチを入れるかにもよるですね。
>全ポート1Gのしっかりしたスイッチだと、それなりに値段します。
>単に1Gでそれなりに動けばいいなら、いまやそれほどでもないかと。
全ポート1Gのしっかりしたスイッチだと聞いています
526: のいぽー（本物） ◆News/n6/H2 2005/04/16(土) 06:00:15 ID:Ou4gt41r0(16/22)調 AAS
仕組みがよくわからんからあれだけれどさ。
削除スクリプト経由では規制を受けないようにするとか。
>>523
527: [―{}@{}@{}-] FOX ★ 2005/04/16(土) 06:02:24 ID:???0 BE AAS
>>522
>巡回せずに手動で取得しろと。
巡回が駄目じゃなく
その方法が駄目なんだと思うぞ、
つまり引っかかる人は、世界で一番２ちゃんねるに負荷かけている人
方法変えてください、
難しいかなぁ、何て言えばいいんだろ、
まだどこにも導入されていないけどサ
528: 動け動けウゴウゴ２ちゃんねる 2005/04/16(土) 06:02:42 ID:uaAJdnI30(2/2)調 AAS
個人的には、削除人のリモホが出ちゃってるのが
怖いなぁとか。
固定IPだったりもするし。
どういう基準でdenyされるか判るまでは
削除作業自体、やめた方が良さそうですね。
529: 動け動けウゴウゴ２ちゃんねる 2005/04/16(土) 06:03:42 ID:rmIZqSyI0(16/18)調 AAS
ってか、削除作業するならまず大量にスレ巡回する前に長期未処理1スレ取得して
そこに上がってるところから巡回始めてほしいもんだなぁ・・・
と、チラシの裏に愚痴っぽく
530(1): [―{}@{}@{}-] FOX ★ 2005/04/16(土) 06:04:20 ID:???0 BE AAS
騒音、排ガス垂れ流しの車はもう使うなと言ってます。
ドライブは勿論出来ます。
531: 動け動けウゴウゴ２ちゃんねる 2005/04/16(土) 06:04:40 ID:fQbfjtqw0(1/2)調 AAS
ＦＯＸﾀﾝ、中国からの書き込みっぽいのがあるんだけど、規制できる？
532: 動け動けウゴウゴ２ちゃんねる 2005/04/16(土) 06:06:10 ID:kfFlyTiK0(1/2)調 AAS
いつも思うんだけどFOX★っていつ寝てんの？
533: 動け動けウゴウゴ２ちゃんねる 2005/04/16(土) 06:06:35 ID:WmfovjO30(7/8)調 AAS
game10がえらい多いですね。
534: 動け動けウゴウゴ２ちゃんねる 2005/04/16(土) 06:08:18 ID:4rlx9Hb40(3/5)調 AAS
パトカーや救急車も排ガス規制はクリアしてもらうと。
535(2): 動け動けウゴウゴ２ちゃんねる 2005/04/16(土) 06:11:00 ID:hk2Uggix0(1/2)調 AAS
要は串をランダムに変えてアクセスすれば引っかからないとｗｗｗｗｗｗｗ
536: 動け動けウゴウゴ２ちゃんねる 2005/04/16(土) 06:11:01 ID:cZdYxH4f0(3/5)調 AAS
エコですか？似合わない・・・・
537(1): 動け動けウゴウゴ２ちゃんねる 2005/04/16(土) 06:13:12 ID:Lay4neTg0(1)調 AAS
>>535
既に、自動切り替えソフトに100個ほどぶち込みました
538: 動け動けウゴウゴ２ちゃんねる 2005/04/16(土) 06:13:52 ID:AAPJrB1o0(1)調 AAS
末尾の数字は、ばーぼんになって何分経過したかの数字なのだ、という結論に至った俺
539(2): root▲ ★ 2005/04/16(土) 06:14:50 ID:???0 BE AAS
>>427
正直なところ、一般的な使い方なら、手動ではひっかかりませんね。
ただ、+記者だった(今も一応記者ですけど)頃のnewsplusの使い方だと、
ひっかかる気がします。
その頃の使い方は、こんなかんじでした。
1)家に帰る
2)かちゅ〜しゃやOpenJaneで、newsplusを開く
3)上から順に、全スレの>>1だけをたんたんと手で開いて、1スレ1秒ぐらいのインターバルで
たんたんと目を通していく
(重複を防ぐために、立っているスレを脳内に「残像」として残すためです。これだけで相当効果ありました)
4)ニュースソースを巡回しながら、スレを立てていく
つまり、3)の段階で、10分以内の時間で、かなり多くのスレ+subject.txtに手動でアクセスすることになります。
新スレが立ったかのチェックもするので、subject.txtも10回ぐらいはアクセスするかと。
当時のnewsplusのスレの立ち方だと、
記者活動を1.5日〜2日ぐらいさぼると、なんだか閾値に微妙に触れる可能性があるかもしれないですね。
ただ、これはたぶん、特殊な部類でしょうけど。
540(1): 動け動けウゴウゴ２ちゃんねる 2005/04/16(土) 06:15:08 ID:FP/uG3Qy0(5/5)調 AAS
>>521 root▲ ★さん
＞現在のblackgoatの遅延は1分です。
あ、さよですか。
↓これは関係なかったのですね。失礼しました。
外部ﾘﾝｸ:c.2ch.net
541(3): ひろゆき＠どうやら管理人 ★ 2005/04/16(土) 06:15:28 ID:???0 BE AAS
>>406
初耳。。
542: root▲ ★ 2005/04/16(土) 06:15:56 ID:???0 BE AAS
全スレ => 全未読スレ
543: 動け動けウゴウゴ２ちゃんねる 2005/04/16(土) 06:16:44 ID:+b8malLj0(11/12)調 AAS
>>541
Good morning Hiroyuki!
544: [―{}@{}@{}-] FOX ★ 2005/04/16(土) 06:18:52 ID:???0 BE AAS
ぐわん
届いていないよとメールしていただけるとありがたいかも、
cc 私に来ていたから
ちっと探してみるです、でももううもチャっている予感
>>541
545: 動け動けウゴウゴ２ちゃんねる 2005/04/16(土) 06:19:08 ID:WmfovjO30(8/8)調 AAS
ひ（ｒｙが管理人じゃなくなったとの噂を聞きつけてやってきました
546(1): 動け動けウゴウゴ２ちゃんねる 2005/04/16(土) 06:19:13 ID:kfFlyTiK0(2/2)調 AAS
>>539
すげええええええ
よくそんな豆な事を
547(1): 動け動けウゴウゴ２ちゃんねる 2005/04/16(土) 06:19:27 ID:4rlx9Hb40(4/5)調 AAS
で、今度はその状況が串を.htaccessでdenyするとこまで逝かせてしまうかもw
548: root▲ ★ 2005/04/16(土) 06:19:32 ID:???0 BE AAS
>>540
なるほど。
それは、私が設定したものではないです。
私が言っているのは、squid = blackgoat側の話です。
blackgoat側でのキャッシュの設定を、1分にしています。
つまり、1分以内に別のフロント(例えばdocomoから来てから30秒後にauから来るとか)
から再度datのリクエストが来ても、同じdatだったら、外に取りに行かないと。
549(1): 動け動けウゴウゴ２ちゃんねる 2005/04/16(土) 06:21:04 ID:cZdYxH4f0(4/5)調 AAS
>>539
て、事は、むむむさんはnewsplus全スレ取得してた？
ログ消さずに。
550(1): 動け動けウゴウゴ２ちゃんねる 2005/04/16(土) 06:22:13 ID:rmIZqSyI0(17/18)調 AAS
他の記者に読ませてやりたいねぇ。
無論強制させることじゃないけど。
551(1): [―{}@{}@{}-] FOX ★ 2005/04/16(土) 06:22:33 ID:???0 BE AAS
>>541
みっけた
転送したです。
ohayou.com のメアドにJimは送ったようです。
552: 動け動けウゴウゴ２ちゃんねる 2005/04/16(土) 06:25:35 ID:hk2Uggix0(2/2)調 AAS
そのうちdat落ちしてないスレを読むのにも金を取ったりしてなｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗ
儲かるなぁｗｗｗｗｗｗｗｗｗｗｗｗｗｗ
553: 動け動けウゴウゴ２ちゃんねる 2005/04/16(土) 06:25:50 ID:ebsQyNzf0(1)調 AAS
つぼ
554(2): ひろゆき＠どうやら管理人 ★ 2005/04/16(土) 06:27:32 ID:???0 BE AAS
あれれ、、来ないような、、、SPAMフィルターで蹴られてる？？
555: 動け動けウゴウゴ２ちゃんねる 2005/04/16(土) 06:28:24 ID:H3VmSjHm0(2/2)調 AAS
ﾜﾛｽ
556: のいぽー（本物） ◆News/n6/H2 2005/04/16(土) 06:29:04 ID:Ou4gt41r0(17/22)調 AAS
>>551
縦の連携だけではなく横の連携までなってないのか管理人はよ。。。
今までJimきゅんから管理人へ重要な用件でメールしたことがあったかもしれないね。
それに返信が来ないとなるとJimきゅんはどう思っただろう。。
557: のいぽー（本物） ◆News/n6/H2 2005/04/16(土) 06:29:31 ID:Ou4gt41r0(18/22)調 AAS
>>554
(;´Д`)。。。
558: 動け動けウゴウゴ２ちゃんねる 2005/04/16(土) 06:29:32 ID:4rlx9Hb40(5/5)調 AAS
ちゃんちゃんw
559(1): root▲ ★ 2005/04/16(土) 06:30:31 ID:???0 BE AAS
さて、>>428〜 に戻ります。〜>>465
>>440 >>451 >>465
今の閾値は前にも書きましたが「＊多くの＊スレの自動巡回は許しません」な設定ですね。
いくつが「多くの」なのかは「ひ・み・つ」に触れてしまうので今は書きませんが、
あの設定値を見た時に、そういうコンセプトであると理解しました。
そういう需要がほんとに多いとしたら、
巡回な人用の別立てのサーバ(それ用のサーバ)を、別途準備することになるのかな。
>>463
たしかに、悩みどころですね。
単に&つけてバックグラウンド実行して、終了を待たないようにするっていうだけでいいような気がします。
今日全部cronしこむのはちとあれなので、
とりあえず今は、root権限ありtigerあたりに仕込んでみることにします。
グラフとっているんで、効果もわかるだろうし。
560(2): ひろゆき＠どうやら管理人 ★ 2005/04/16(土) 06:31:24 ID:???0 BE AAS
見つけましたー。返信しましたー。
561: 動け動けウゴウゴ２ちゃんねる 2005/04/16(土) 06:31:49 ID:hc6sK8yA0(14/26)調 AAS
>>554
工エｴェｪ（´д｀）ｪェｴエ工
562: 動け動けウゴウゴ２ちゃんねる 2005/04/16(土) 06:32:25 ID:hc6sK8yA0(15/26)調 AAS
リロード
orz
563(1): [―{}@{}@{}-] FOX ★ 2005/04/16(土) 06:38:40 ID:???0 BE AAS
ほほーい
>>559
現在の値は当初の二倍緩和です
2.4倍位までは緩和しようかなと調査中。。。
ただし 3倍まではするつもり全く無しでーす
564(1): [―{}@{}@{}-] FOX ★ 2005/04/16(土) 06:41:28 ID:???0 BE AAS
先ほども書きましたが(書いたつもりだけかも知れない)
サーバが楽な時間帯はさらに緩和するということも出来るかと
たとえば 2:00AM - 7:00AM はさらに二倍とか
565(1): [―{}@{}@{}-] FOX ★ 2005/04/16(土) 06:42:40 ID:???0 BE AAS
>>560
しかし、、
返信先に Jim のアドレスが入っていないという罠。
566: のいぽー（本物） ◆News/n6/H2 2005/04/16(土) 06:45:22 ID:Ou4gt41r0(19/22)調 AAS
>>565
もう駄目杉･ﾟ･（つД`）･ﾟ･
567: root▲ ★ 2005/04/16(土) 06:45:23 ID:???0 BE AAS
>>466〜>>537
>>466
前にレスしたように、携帯関係と、
(管理人がOK出すなら)巡回関係ですかね。
あるいは、「ディレイx秒相当の巡回は許すようにしてくださいー」ということなら、
そういう設定に閾値を変えることになるのでしょう。
>>491
それは、世の中の習いかと。
先進国と開発途上国っていうモデルに似たやつで。
>>520
ありゃ、例のやつ、再発か。
カーネルを戻しても起こるってことは、別の原因だなぁ。
これは、あとで。
>>530
つまり、京都議定書ってやつですか。
>>535 >>537
そうなりますね。
1000個のProxyを確保してそれぞれからちょっとずつアクセスすれば、
技術的には、逃れることは可能かと。
２ちゃんねるだって、読み込みに使えるProxyのリストを公開しています。
外部ﾘﾝｸ:hack72.2ch.net
でも、逃れる方法をここで議論しても、しょせんせんないことかと。
568: 動け動けウゴウゴ２ちゃんねる 2005/04/16(土) 06:47:20 ID:7KmLBscK0(1)調 AAS
tubo
569: root▲ ★ 2005/04/16(土) 06:52:42 ID:???0 BE AAS
〜>>560
>>546
無理のない範囲で楽しんでやっていたので、たいしたことないですよ。
なんていうか、やるならちゃんとやりたいっていう、自己満足に過ぎないわけです。
今は、楽しむ部分がちょっと変わりましたが、結局のところ自己満足であることは
何ら変わっていないわけで。
時間は限られているわけで、その限られた中でできることをしてるってかんじです。
>>547
そのProxyが有名になってそこからばきばきクロールされちゃうと、ありうるかもですね。
>>549
そうですよ。
で、かちゅ〜しゃが重くなってくると、ログをどっこいしょとmvして、ってかんじ。
>>550
それぞれのスタイルで、気楽にやるといいと思うのです。
仕事じゃないわけで、しょせんはその程度のものだという割り切りも、時として必要かと。
>>560
それで、待ちになってたとゆうことすか。
570: root▲ ★ 2005/04/16(土) 06:53:47 ID:???0 BE AAS
>>563-564
了解です。
ようやく、下までいったか。
c-au1の様子を見てきます。
571: のいぽー（本物） ◆News/n6/H2 2005/04/16(土) 06:54:13 ID:Ou4gt41r0(20/22)調 AAS
「閾値は内緒」と言うのはよく理解できるのですが。
内緒にする意味がいまいちわからない。
や、閾値を公表するとぎりぎりそれに準じた値で事を行う輩が出てくるから。これは当然知っていますが。
規制というのは行う側の都合の良い値で行うのでしょう？
だったら「ぎりぎりそれに準じた値」で色々やられても全く問題ない値で規制すれば良いんじゃネーノ？
その上で値を公表すれば専用ブラウザの作者さんとかが色々アレしてくれて結果的に負荷も下がるような。
あれか。IEでのアクセス>>>専用ブラウザでのアクセスだから駄目か。
＞「ぎりぎりそれに準じた値」で色々やられても全く問題ない値
という事は当然に非公表の時よりも厳しい値になるであろうし。
駄目駄目だな俺様。
572: のいぽー（本物） ◆News/n6/H2 2005/04/16(土) 06:57:37 ID:Ou4gt41r0(21/22)調 AAS
今なんか規制が解除されたっぽいのでかちゅ〜しゃでアクセスしてみた。
＿|￣|○
規制されているときにスレを読み込んでエラーが出たスレ、全てログの再取得をしないと駄目なのね。。。
573: root▲ ★ 2005/04/16(土) 07:08:08 ID:???0 BE AAS
c-au1はとりあえずhttpdとbalanceをリスタートしました。なぞだ。
さて、メール読んで、いくつかのサーバに自動起動をしこんできます。
574(4): root▲ ★ 2005/04/16(土) 07:25:30 ID:???0 BE AAS
本日、今現在のcronでの自動動作の設定方針を書いておくです。
・tiger503 = live20 とりあえず>>481に従い今は設定しません
・tiger504 = game10 設定します
・tiger505 = news18 設定します
・tiger506 = game9/etc4/dso 全部設定します
・tiger507 = live16 とりあえず>>481に従い今は自動設定しません
・tiger508 = life7 設定します
・tiger509 = news19 設定します
・tiger510 = hobby7 設定します
・oyster901 = ex10
管理人が今最も手厚くしているnews4vipがある、２ちゃんねるで一番大事なサーバなので、
これだけは管理人に決めてもらおうと思います。
管理人が「設定してくださいー」と言えばしくみ発動するし、「しばらく様子を見てくださいー」とか
「しばらく入れないでくださいー」言えば、今は発動しません。
とりあえず、管理人から何らかの明示的な指示があるまで、ex10は保留(発動しない)にします。
・他のすべてのサーバ
今は自動設定しません
ただし気が向いたら、FOXさんや私や若者(やり方が書かれたメールがCc:されている)が、
様子を見ながら、随時手で動かすことはありえます。
ということで、これから順番に作業していきます。
575(1): 動け動けウゴウゴ２ちゃんねる 2005/04/16(土) 07:28:35 ID:PrT7hB8e0(1/2)調 AAS
subject.txt のリロードもそんなに負荷につながるのか。
576(1): ひろゆき＠どうやら管理人 ★ 2005/04/16(土) 07:30:19 ID:???0 BE AAS
多数＞＞制限値＞＞規定値＞＞少数
規定値に触れるものを洗い出すのと、
制限する値ってのは別のほうがいい気がします。
577: root▲ ★ 2005/04/16(土) 07:36:51 ID:???0 BE AAS
>>575
前にやったミニ雪だるま作戦による調査で、
少なくとも旧ex7、今のex10では、subject.txtへの激しいアクセスにより、
相当量のコストかかっているとわかりました。
>>576
つまり、
A)やばいやつをリストアップする時に使うパラメータ
B)実際に規制するためのパラメータ
を別にして、B > Aにするのはどうか、ってことすか。
578(1): ひろゆき＠どうやら管理人 ★ 2005/04/16(土) 07:42:13 ID:???0 BE AAS
そです。そです。
579(1): 動け動けウゴウゴ２ちゃんねる 2005/04/16(土) 07:47:51 ID:rmIZqSyI0(18/18)調 AAS
ex10はVIPとニー速みたいに
subject.txtを更新、新しく立ったスレを片っ端から読み込み、書き込む、subject.txtを更新...
を繰り返すって特異なところだからなぁ・・・
他と同じとは言えないよね。
580: 動け動けウゴウゴ２ちゃんねる 2005/04/16(土) 07:48:37 ID:cZdYxH4f0(5/5)調 AAS
俺・・・ひ（ｒｙのレス↑予想当たったよ。一字一句間違いなく完璧にな！
おやしみ。
581: root▲ ★ 2005/04/16(土) 07:51:31 ID:???0 BE AAS
>>579
そですね。
結果をみて、そう思いました。
ただ、その傾向は他の板でも大なり小なりあるわけで、
チューニング/負荷軽減のポイントがひとつわかったという意味では、
収穫だったと。
>>578
了解です。
そのへんは、おじさんがうまく仕込んでくれることでしょう。
582(1): ひろゆき＠どうやら管理人 ★ 2005/04/16(土) 07:53:21 ID:???0 BE AAS
たぶん、サーバごとで閾値が変わってくると思うので、
計測と規制は別のフェーズでやっていったほうが
最適値は出しやすいと思うのですね。
583: root▲ ★ 2005/04/16(土) 08:06:14 ID:???0 BE AAS
>>582
なるほど。
Aは全サーバ共通の低めの値を設定して網をかけることにより、全体や各サーバにおける傾向をさぐる
各サーバにおける「網のかかり方」を参考にしながら、サーバごとに適切なBの値をチューニングする
ってかんじですか。いいかも。
584(2): ｒｅｆｆｉ@報告人 ★ 2005/04/16(土) 08:20:11 ID:???0 AAS
あれ、新バーボンで鯖名が出なくなってます。
585: root▲ ★ 2005/04/16(土) 08:23:43 ID:???0 BE AAS
>>584
今、まだgame10しか動かしていません。
作業中につき。
586: root▲ ★ 2005/04/16(土) 08:24:33 ID:???0 BE AAS
>>584
あ、わかった。環境変数問題かぁ。
んじゃ、動かし方を変えます。
587(1): 動け動けウゴウゴ２ちゃんねる 2005/04/16(土) 08:34:20 ID:DgqhVByi0(1)調 AAS
壷から着ました
質問ですが「過度の更新」を規制するのはわかりますが
実況CHだけは導入見送りさせてもらえないでしょうか。
実況しようとすれば落ちる。
リロードすればアクセス規制じゃなんのための実況板かわかりません。
588(1): 動け動けウゴウゴ２ちゃんねる 2005/04/16(土) 08:37:28 ID:crzS05oY0(4/9)調 AAS
>>587
ｽﾚ嫁よヴァカ
誰が>>574でLive系は導入見送られてるなんて教えるかよ
589: 動け動けウゴウゴ２ちゃんねる 2005/04/16(土) 08:45:01 ID:oIXt/cJW0(1/17)調 AAS
・・・差分取得失敗したら
串使いまくりのiriaでＤＬ(not 差分取得)するかな
590: 動け動けウゴウゴ２ちゃんねる 2005/04/16(土) 08:52:44 ID:UdG6JqML0(1)調 AAS
>>588
おまい、意外と良い奴だな。
591(1): 動け動けウゴウゴ２ちゃんねる 2005/04/16(土) 08:54:51 ID:pwGqighk0(1/3)調 AAS
28 BBON.news18 218.41.181.212 (p29b5d4.tkyoac00.ap.so-net.ne.jp) 2
引っかかった
ID:Ou4gt41r0のように報告すべき？
592: 動け動けウゴウゴ２ちゃんねる 2005/04/16(土) 08:57:36 ID:oIXt/cJW0(2/17)調 AAS
今日は wait ２秒にしてみた (１板１時間以内に取得できればいいや)
593(1): 動け動けウゴウゴ２ちゃんねる 2005/04/16(土) 09:03:12 ID:crzS05oY0(5/9)調 AAS
news18に間隔0.3秒で田代砲撃ってみたけどバーボンひっかからなかった
仕様？
上下前次1-新書関写板覧索設栞歴
あと 408 ﾚｽあります
ｽﾚ情報 赤ﾚｽ抽出 画像ﾚｽ抽出 歴の未読ｽﾚ
ぬこの手 ぬこTOP 0.027s