[過去ﾛｸﾞ] 【.htaccess】読みこみできない【規制作戦】 (1001ﾚｽ)
上下前次1-新
このｽﾚｯﾄﾞは過去ﾛｸﾞ倉庫に格納されています｡
次ｽﾚ検索 歴削→次ｽﾚ 栞削→次ｽﾚ 過去ﾛｸﾞﾒﾆｭｰ
570(1): FOX ★ 04/05/31 17:22 ID:??? AAS
>>568
昨日とかじゃなく
たとえば 10 分毎にデータを取って
前の 10分に負荷を独り占めしたところは 以降 deny
毎朝リセットなんてのを考えていたり寝ていたり
571(1): ひろゆき ◆3SHRUNYAXA 04/05/31 17:24 ID:+a3NVc0S(5/7) AAS
>>568
robots.txtを読むような紳士的なロボットであれば、
はじく必要ないと思うのですよ。
んで、robots.txtを読むのであれ、読まないのであれ、
紳士的でない負荷をかけるIPであれば遮断すると。
572(1): 動け動けウゴウゴ２ちゃんねる 04/05/31 17:38 ID:aDzAN461(2/7) AAS
リクエストの元がどんな種類のものであれ、
現在の負荷のみで判断して、即座に止めるてことかー
んで一定期間でリセットする（予定）と
573(1): 動け動けウゴウゴ２ちゃんねる 04/05/31 17:42 ID:y1UPLd+M(1) AAS
オフトピ臭いけど、紳士的かどうかに関係なくロボットは遮断してしまえば、
SEO目当ての業者を排除できるという副次的メリットが生まれるんじゃないかな。
むやみに2chからリンクされたページの順位は下げるロボットがいたらいいのに。
574: ◆WMaLhm.gkw 04/05/31 17:45 ID:1CDhoqEc(1/3) AAS
あー、なるほど。
過去に過剰負荷をかけたクローラーでも、別IPでまたーりクロールするならＯＫで、
そのまたーりクロールの妨げになるrobots.txtは置かないと。
575: 動け動けウゴウゴ２ちゃんねる 04/05/31 17:45 ID:EX3viIa5(6/12) AAS
ゆくゆくは解析するのはひとつの鯖でまとめて処理するようになるんでしょうかね。
でも、リアルタイムにガンガン増えるApacheのログから
分とか時間単位で頻繁に差分を抜き出すのって結構手法として厳しいような気も…
せめて静的なファイル単位でどうにかできると気楽かもしんない…教えてｴﾗｲ人
>>572
アクセス回数（＝ログのファイルサイズ）で区切って抜き出すほうが誤爆減るかも。
>>571
>>562な感じで、「問答無用でロボットを弾くことになるrobots.txtの機能は
管理サイドではとりあえず求めてないの」ということでいいですか？
576(2): FOX ★ 04/05/31 17:53 ID:??? AAS
現在 毎時別のファイルに吐き出しています
つまり１ファイル最大一時間分のでーた
577(1): 動け動けウゴウゴ２ちゃんねる 04/05/31 17:55 ID:aDzAN461(3/7) AAS
.htaccessに自動に書き出しするところまではできてるの？
>>573
そういうのはBBQとかRockでいけるんじゃないの
578: FOX ★ 04/05/31 17:57 ID:??? AAS
>>576
簡単な解析以外はまだ全部手動。
方法論決まっていないのにプログラム書くのはちと遠慮したい。
完成は 来年の今頃ということで、
579: 動け動けウゴウゴ２ちゃんねる 04/05/31 18:00 ID:aDzAN461(4/7) AAS
それまで手動でごりごりやるの大変だね
まーがんがって
580: FOX ★ 04/05/31 18:02 ID:??? AAS
さいわい、このへんのグラフを見ていると
おっ ぶっこぬき ｷﾀ━━━━━（ﾟ∀ﾟ）━━━━━━!!!!
って解るですよ。
外部ﾘﾝｸ:server.maido3.com
581(2): [―{}@{}@{}-] ux02.so-net.ne.jpn 04/05/31 18:03 ID:D3FZv0gH(2/6) AAS
>>570
>たとえば 10 分毎にデータを取って
>前の 10分に負荷を独り占めしたところは 以降 deny
どのぐらいの負荷なんだろう？
極端に書くと
Ａ．100,000個のIPから読み込みがある時間帯で１％
Ｂ．まったくアクセスが無い時間帯で１００％
Ａの時間帯は人多いからログ取らないで
Ｂの時間帯で人が少ない（いない）時に過去ログ作るためにログ取っていったらアウトってことになる
582(2): 動け動けウゴウゴ２ちゃんねる 04/05/31 18:05 ID:EX3viIa5(7/12) AAS
>>576
そういうのなら1時間ごとに判定して2日アウトとかどうでしょ。
というか、「以後ずっと出入り禁止」ではなく
「期間限定の細切れにアクセス禁止」にする理由って一体…
それとも悪質な個人・団体さんはdeny固定にした後の「一般ユーザー」向けの話でしょか？
>>577
「掲示板に目的のリンクを書けない」よりも
「そもそもGoogleが掲示板に来ないので2chに書く意味がない」ことになったほうが
より根本的で効果大なのでは？
583: 動け動けウゴウゴ２ちゃんねる 04/05/31 18:08 ID:LaN7Fkq2(1) AAS
>>581
深夜番組の視聴率と占有率みたい。
584: FOX ★ 04/05/31 18:08 ID:??? AAS
>>581
ならないって
585(2): FOX ★ 04/05/31 18:10 ID:??? AAS
>>582
plala, dion , ocn , mesh の場合
全部ひっくるめて /19 /18 なんかでやるとまずいような
586(2): ◆WMaLhm.gkw 04/05/31 18:11 ID:1CDhoqEc(2/3) AAS
・常時規制はeveryday.txt
・一時規制はtoday.txt
・一時規制の記録はold.txt
・一時規制は日付変更で消去
ｎ分毎にファイルを出力
↓
ソートしてＡ回以上でかつＢ％以上を抽出（％だけだと混雑時間帯にクロールかけたほうが特になるから、空いている時間に猶予を）
↓
today.txtとold.txtにピンポイントで出力
↓
省4
587: 動け動けウゴウゴ２ちゃんねる 04/05/31 18:11 ID:xb6GE8Db(1/2) AAS
そんなスクリプトが欲しいなぁ
負荷かけまくり→.htaccess弾きを出力
そういえば昔わしづかみくんとかあったような・・・
588: FOX ★ 04/05/31 18:13 ID:??? AAS
>>586
多分そんな感じかと、
あと考慮しなきゃならないのは２ちゃんねるは数十台のサーバでうごいているので
それを共通化することかな
589: 動け動けウゴウゴ２ちゃんねる 04/05/31 18:14 ID:H9FCybO3(3/4) AAS
やっぱDNSでしょ。
上下前次1-新書関写板覧索設栞歴
あと 412 ﾚｽあります
ｽﾚ情報 赤ﾚｽ抽出 画像ﾚｽ抽出 歴の未読ｽﾚ AAｻﾑﾈｲﾙ
ぬこの手 ぬこTOP 0.859s*