[過去ﾛｸﾞ] BBQ システム(公開串リストメンテ) (1001ﾚｽ)
上下前次1-新
このｽﾚｯﾄﾞは過去ﾛｸﾞ倉庫に格納されています｡
次ｽﾚ検索 歴削→次ｽﾚ 栞削→次ｽﾚ 過去ﾛｸﾞﾒﾆｭｰ
1(1): 動け動けウゴウゴ２ちゃんねる 04/01/03 01:39 ID:9aT72JzE(1)調 AAS
公開串リストメンテに関して、どうぞ☆
現在、有志募集中です！
システム = 作る人募集中。。。
要員 = 大将募集中。。。(その後実働部隊募集か)
2: 動け動けウゴウゴ２ちゃんねる 04/01/03 02:38 ID:G4cczBnq(1)調 AAS
誰もカキコしてないんだね
3(1): 削除屋＠放浪人 ★ 04/01/03 02:39 ID:??? AAS
多分、私が関われればと思っているのは、これのような気がするのでメモ。。。
けど、私はプログラミングのスキル無いので、「こうだったらいいな」しか書けません。
言いっぱなしになるのは御了承下さい、、、
ついでに、今までの経緯は、読んだんだけど具体的な話は無いようなんで（bbq.2ch.net
が出来た、という以外には）、もし「既出だ！」ということにはツッコミを。
実際は、boo80も連動しないと駄目かなと思っていたりします。
外部ﾘﾝｸ:www.domo2.net
4(1): 削除屋＠放浪人 ★ 04/01/03 02:40 ID:??? AAS
■公開串リストの作成
このリストを集める方法は、２つあると思うです。
(1) リストを提供している所から、自動的に取得してくる方法。
(2) 実際に２ちゃんねるで使われた串を掻き集める方法。
(2)を集めるのには、boo80を利用してみるといいような気がしてます。
荒らし報告がある度に、それをいちいち手作業でチェックするのは、
人海戦術でも限界がある気がするので。
いま、boo80は自動で登録され、規制されているような気もするんですが、
どうもタイムラグも結構あるような気がしますし、なんか爆撃状況を見ていると、
機能しているのか微妙な時もある（串で書けないから、生でやってるのかもしれ
ませんが）。また、いつ解除になってるのかな、というのも気になります。
とりあえず、自動で登録している部分を、ある程度手動でも結果を反映できる
ようにして欲しいなとか（単に、自動で十数分単位のものを、リアルですぐ反映
するというだけですが）。
細かな所は詰めていくとして。。。
5(1): 削除屋＠放浪人 ★ 04/01/03 02:41 ID:??? AA×
6(1): 削除屋＠放浪人 ★ 04/01/03 02:42 ID:??? AAS
よく考えると、上の方法だと各ファイルのリストの長さがアンバランスになるので、100行
になったら、新規ファイルを作成し、一番古いファイルから生き残りだけを転記、とした方が
いいのかも。
折れてない串が多いリストファイルの場合には、新規作成までの間隔も狭まるけど、とりあえず
そのあたりは、リストファイルの数を増やすとか、チェックの間隔を調整するかで対応してみるとか。
生死判定でn回カウントされるとリストから削除になる件は、１日のうち特定の時間帯にしか使え
ないような串の場合には、すり抜ける事になります。けど、また使われて、boo80で捕捉された
場合には、少なくともn回チェックされるまでは、また規制できますので、それでよしとします。
ポートスキャンは、あまり頻繁にやると問題もあるかもですし、そのあたりの間隔は調整が必要。
リストが肥大化すると、とにかく遅くなるので、どれくらいを生死判定とポートチェックで落とせる
かがポイントです。けど、この数はリストファイル数で調整が可能なので、無限に肥大化するよりは、
人為的な調整が出来るんじゃないか、と期待。
あと、各リストから削除した串については、どこかにリストとして取っておいた方がいいかと。
１ヶ月後に、何回も削除されてる鯖があれば、上で書いた定期的にしか使えない串の可能性が
あるので、永久リスト入りにするとか。そういう解析も、一応ログがあれば出来るんじゃないかと。
7: 削除屋＠放浪人 ★ 04/01/03 02:43 ID:??? AAS
と、システムも作れないのに、議論の叩き台だけ。。。
8(2): 動け動けウゴウゴ２ちゃんねる 04/01/03 02:47 ID:mrNEZ4V0(1)調 AAS
>>5
プロ串でも、設定ミスによりインターネット側からアクセス許可をしていた場合は、
設定を変えれてProxyソフトで拒否した場合、串のポートは開いてても串自体は折れてる場合があるのでは？
だから、折れてるかどうかは、実際にGETもしくはCONNECTメソッドでアクセスしてチェックした方がいいかな
でも、怪しいやつは片っ端から引っかけていく場合は、ポートチェックの方が確実
9(1): 削除屋＠放浪人 ★ 04/01/03 03:03 ID:??? AAS
>>8
チェックの判定方法は、専門の人の方が詳しいでしょうから、
お任せするです。
boo80では、一応ポートのチェックのみをしているような感じでしたが。
判定方法も、そういえば色々あったような気がします。
常時それでチェックしてると、物凄い負荷だったので、
外されたと記憶してますが。
10(2): 動け動けウゴウゴ２ちゃんねる 04/01/03 03:26 ID:mXNDxGe0(1)調 AAS
>>9
boo80は、
１、指定されたレスのホストに対して、公開串でよく使われるポート80,3128,8080等に繋いでみる。
２．もしポートが開いていたら、実際にその串をさして、そこから2chにPOSTしてみる。
３．正常にPOSTできたら公開串とみなす。
というごくごくシンプルなシステムだったはず。
11(1): ◆BDFCNV1.to 04/01/03 03:52 ID:zXlL/5wX(1/4)調 AAS
>>10
ちがったりして、
ポートチェックはしてません
実際に串さして書けるかどうか調べてるです。(boo80スレでソースでています)
書けたら 串
書けなかったら 串じゃない
12(1): ◆BDFCNV1.to 04/01/03 03:57 ID:zXlL/5wX(2/4)調 AAS
現在の公開串のリストはいろいろな起源のものがあります。
常時自動的に更新されつづけています。
(手動追加のものは手動ですけど)
1) いろいろなサイトから拾って来たもの。(自動収集)
2) 昔から集め続けられているもの。
3) boo80(自動反映)
4) 手動追加
5) リモホで判定(bbs.cgi内で判定)
その他にあったかな?
ラプター★さん作なので、ラプター★さんが詳しいです。
13(1): 削除屋＠放浪人 ★ 04/01/03 04:09 ID:??? AAS
>>10-11
ありがとさんです。
つまり、この書き込みチェックする鯖として、bbq.2ch.netは用意されたのだろうか？
今はどの鯖が担当してるんでしょうかね？
どちらにせよ、シンプルにそういうチェックでもいいと思うです。
>>12
多分、このあたりのメリットとデメリットが、色々あると思うので整理すると、
1)、2)は、書けるかどうかチェックしてから登録しないと、案外書けない
無駄な巨大リストになってしまう（チェックすれば判りますが、書ける串
なんて１割もない気がします。各サイトの串リスト）。
昔から集められたものも、定期的にチェックしないと、肥大化するだけだったり。
3)は、何となく永久リストじゃなくて、定期的に削除されてるような気が
するので、付け焼き刃じゃないかな、という危惧があったり。
実際はどうか？
4)は、まあメンテナンスする人が増えると、いろんな意味で難しくなってくるかも。
誰が入れたか、までリストに入れる案は出てましたが、串だと生ものみたく
出ては消えてな上に膨大なので、緊急的措置ならアレですが、やるなら自動
取得リストに、手動で叩き込むとかして、メンテは自動化した方がいいかなとか。
5)は、よくわからない。。。 何を元に何を判定してるんだろう？
14(1): ◆BDFCNV1.to 04/01/03 04:14 ID:zXlL/5wX(3/4)調 AAS
現在までおこなってきたF22迎撃システムが
ご存知のようにリストが肥大化してきているのです。
しかし迎撃機能としては、ひとつの完成形といえるほど
堅固になりました。
この機能はそのままにより処理の軽いものにしようと
BBQを導入しようということになったのです。
第一弾の路線としては、「現機能はそのままで BBQ の組み込み」
にしたいと思っています。
15: 削除屋＠放浪人 ★ 04/01/03 04:34 ID:??? AAS
＞この機能はそのままにより処理の軽いものにしようと
＞BBQを導入しようということになったのです。
＞第一弾の路線としては、「現機能はそのままで BBQ の組み込み」
＞にしたいと思っています。
・・・現機能がどういうものなのか、もう少し具体的に書いてくれないと、
何が必要で、何が出来るのか今ひとつよくわからない・・・。
私としては、肝はその「肥大化したリストのスリム化」じゃないかと
思っているわけですが。無駄が多いらしい、と聞いているので。
リストはそのままに、より高速化する手もありますけど、スリムに
した方が、何かと融通は利くんじゃないかと。
16(1): ◆BDFCNV1.to 04/01/03 04:39 ID:zXlL/5wX(4/4)調 AAS
現在
出生別にリストが五個あるとします。
proxy111.txt
proxy222.txt
proxy333.txt
proxy444.txt
proxy555.txt
これを F22 は一個にまとめて proxy000.txt として
各サーバに10分おきに配っています。
巨大になったので、およびスリム化してもすぐ巨大になねことが
みえみえなので平のtxtファイルを各サーバに配って
投稿される毎に bbs.cgi が全部読んでマッチングという手法を
やめてリストが巨大になっても対応できるように BBQ が考案されました。
まずは BBQ の完成が目標です。
17(1): 仕事人 ★ 04/01/03 04:44 ID:??? AAS
その先いろいろなことが沢山あるしは思いますが
緊急の要件としては
proxy555.txt 手動での追加の部分のダイナミックな改良です。
ご存知のように今まではラプター★さんが一人でやっていたわけです。
作業の一極集中によっていつも引き起こることが実際に起きています。
1) 24h 対応できない。
2) オーバーワークによる疲弊
これを改良するために Rock54リストメンテと同じように
大量の人を投入して組織化しなければいけないと考えています。
24h迎撃体制を確立したいと思っています。
18(1): 仕事人 ★ 04/01/03 04:46 ID:??? AAS
定期的に
proxy111.txt - proxy444.txt は更新されていますので
proxy555.txt まで含めて、 BBQへの流し込みプログラムが必要。
proxy555.txt メンテプログラムが必要。
ここまでで、第一段階かと思っています。
19(2): 削除屋＠放浪人 ★ 04/01/03 04:55 ID:??? AAS
なんか、関わるところ無いじゃんという気がしてきたですが(汗)、質問だけ。
>>16
・出生別リストは、何のチェックもせずにただリスト拾ってくるだけ？
（折れてるかどうかの判定してないのなら、無駄が多そう、と素人考え）
・スリム化してもすぐ巨大化するとのことですが、スリム化が不可能
でないなら、それを自動化すれば、無限に肥大化しないんじゃない
かという気がしますが。それは難しい？（緊急性云々は別にして）
>>17-18
つまりは、スリム化とかは後回しで、とりあえず手動での串追加の方法、
というか部品を作るってことでしょうか？
メンテとしては、やはり定期的な書き込み可能かどうかのチェックに
なるような気がするんですが、それせずに、手動でリストを消したり
加えたりの、人海戦術で行くんですか？
（それは人数が増えると、かなり混乱を来してきそうな。。。機械的な
追加だけなら、そう大きな問題は無い気もするんですが）
20(3): 仕事人 ★ 04/01/03 05:04 ID:??? AAS
>>19
機械的な追加だけですー
多分この作業は未来永劫続くと思うんです。
で、今一番困っていることだけに絞って明日にでも
開始したいんです。つまり第一段階ははやく投入したいんだ。
たとえば jp 串はこのように今までみんなが手塩にかけて
リストを作ってきたんでまずまずの成果を挙げています。
しかし .fr .it ...... 他の国はそのリモホ自体で規制になっています
(★●はスルー設定)
これをもしかしたらBBQは改善できるかも? と考えています
つまり他国からの書き込みも .jp 並にきめ細かに対応する。
アメリカまで拡大しただけでリストは数倍〜数十倍になるのでは?
あち大量の人投入というのは二人でも既に今と比べると大量です。
21: 削除屋＠放浪人 ★ 04/01/03 05:08 ID:??? AAS
>>20
あ、追加だけですか。了解です。
まあ、巨大化したリストでも対応しきれるだけの余裕が
あるなら、当分「追加だけ」でもいいのかも・・・
というところでしょうか。
22: 仕事人 ★ 04/01/03 05:09 ID:??? AAS
で、その先に
必要の無い規制をはずすとか
もっとよくするためにはとか、第二段階以降の話になると思います。
23(1): 削除屋＠放浪人 ★ 04/01/03 05:20 ID:??? AAS
ちょっと先走って、第２段階以降の話をしてた感じか。。。
定期的なチェックとかについては、ある意味、
「串リストを育てる」というようなニュアンスで考えてました。
リストのチェックは、手動でももちろん出来るんですが
（自分のパソコンで串チェックするだけですが）、
自動化できれば、メインテナンスはかなり楽になるかな、と。
24: 動け動けウゴウゴ２ちゃんねる 04/01/03 08:05 ID:0OrRLD9b(1)調 AAS
>>23
BBQシステムだと100万行のリストでも瞬時に判定ができるそうですよ
>>20
>しかし .fr .it ...... 他の国はそのリモホ自体で規制になっています
>これをもしかしたらBBQは改善できるかも? と考えています
>つまり他国からの書き込みも .jp 並にきめ細かに対応する。
>アメリカまで拡大しただけでリストは数倍〜数十倍になるのでは?
ここ期待。国規制とかアメリカの特定プロバイダ全規制とか.edu規制とか。
でも、最近qb3には書けるんだよねえ、と余計なことを書いてみる。
で、この前はどの辺がうまくいってなかったの？
25: 動け動けウゴウゴ２ちゃんねる 04/01/03 12:37 ID:i83LVle1(1)調 AAS
まずはproxy***.txtから↓の(1)(2)形式を生成してnikuとsumiに投げるシステムって事かな。
2chｽﾚ:operate
26: 動け動けウゴウゴ２ちゃんねる 04/01/03 13:55 ID:7GtRasrB(1)調 AAS
>>13
5) はたぶん、QFDN に proxy とか ns とかのそれっぽい名前があった場合に
ひっかけているものと思われ。
27: 削除屋＠cyan ★ 04/01/03 17:58 ID:??? AAS
こちらにお手伝いできるかな、と思って来ました。
規制串リストをメンテしていかない方針だとDNSを用いた方法が
いいと思うのですが、折れた串を探すとなるとゾーン転送かけて
上から書けるか試していくしかない風味と思うのです。
ＤＢを使って、proxyアドレスと共に、最後に串で書こうと挑戦した
日付を更新していくようにしていくと、最近数ヶ月使われてない串＝削除できる
という感じにならないでしょうか？
postcgi -> DNSに問い合わせ -> (hitしたら) DB日付更新
で、定期的にDBからDNSに書き戻すと。
ちょっと先走ってますが。
28(1): 動け動けウゴウゴ２ちゃんねる 04/01/04 03:09 ID:ZgpMefCL(1)調 AAS
やっぱり、DNSベースなのがいいかな
一応、案で
規制プロキシリストを作る(ここには、ホストorIPとポートの組を登録)
登録も削除も完全手動の、proxy0.dat、(削除人、規制人、管理人の手動)
登録は手動で、失効は自動の、proxy1.dat (公開プロキシリストなどからインポート)
登録は自動で、失効も自動の、proxy2.dat
定期的に、プロキシリストと規制用dnsを同期するプログラムを作成
たとえば、プロキシのIP/ホストが、10.1.2.3 / open-proxy.2ch.net だとすると、
bbq用dnsの、3.2.1.10.bbq.2ch. もしくは open-proxy.2ch.net.bbq.2ch. というレコードを作製し、
bbs.cgiからは、リモートホストもしくはアドレスをbbq用dnsに引きに行き、
レコードがあれば、○もちならスルーして、○なしだと投稿を禁止みたいに
また、定期的に同期いがいに、すぐにproxy規制が反映されるように、
proxyリスト登録時にも、dns-update で、bbq用dnsに反映
29(1): 動け動けウゴウゴ２ちゃんねる 04/01/04 05:26 ID:YqOzO9rU(1)調 AAS
リストが巨大になること自体は問題になる？ならない？
リストの巨大化をある程度押さえることが目的の１つなら
使われた串をリストトップに移動させるのが簡単。
新しい串＝使われた串だから新規はリストトップに追加。
んで1000件なら1000件で古い串からプッシュアウトさせて
いけばリストは一定サイズ以下になるんでないの？
30: 動け動けウゴウゴ２ちゃんねる 04/01/04 06:01 ID:axHonbn0(1)調 AAS
>>29
>19 >20
31: 動け動けウゴウゴ２ちゃんねる 04/01/04 06:14 ID:48bVzH/A(1)調 AAS
369 名前： FOX ★ 投稿日： 03/09/07 01:23 ID:???
proxy list はいらんです。
うまく動き出せばわんさか自動的に集まるから
当座の目標 100万個。
32: ラプター ★ 04/01/04 15:25 ID:??? AAS
呼ばれている予感。
F22のやっていること
1) リストのマージ
a) 自動串収集（WEBサイトから持ってきてテキストデータベースに変換）
b) 手動追加（昔から中の人が使っているもの）
c) boo80（利用者が登録するもの）
2) 各サーバへリストの配布
BBQのやっていること
1) F22の1と同じ
2) DNSコンテンツサーバへ登録（niku、sumi）
bbqで注意しなければいけないのは、Perl正規表現が使えないということです。
（実際のリストとは形式が異なります）
IPアドレスベースのリストを作成する場合
1.2.3.4
5.6.7.8/24
ホストネームベースのリストを作成する場合
www.2ch.net
*.2ch.net
（前方文字列の省略は可能）
33(1): ラプター ★ 04/01/04 15:43 ID:??? AAS
DNSコンテンツサーバへの登録プログラムは既にあります。
ここにアップしてもよかったかな。
外部ﾘﾝｸ[pl]:bbq.2ch.net
proxy0.txt 〜 proxy99.txt からリストを拾って、それぞれrbldns（IPアドレスベース）と
tinydns（ホストネームベース）用のリストに加工し登録しています。
要するに、後はリストを管理するプログラムがあればいいわけです。
えーと、あと書くことと言えば…。
↓聞きたいことがあればどうぞ☆
34(1): 動け動けウゴウゴ２ちゃんねる 04/01/04 23:40 ID:B9uKEclt(1)調 AAS
リスト管理っていうのはつまり・・・何すればいいんだろ？
・折れ串を自動で除外する。
・対象を指定して検索・除外する
どっち？それとも両方？っていうか見当違い？
35: 動け動けウゴウゴ２ちゃんねる 04/01/05 01:07 ID:VIZU1lw8(1)調 AAS
仕事人★さんが削除人・復帰屋さんをメールで募集していたのはどうなったの？
これ要員の募集だったの？
36: 動け動けウゴウゴ２ちゃんねる 04/01/05 02:06 ID:yt9kbR0f(1/3)調 AAS
>>34
ログを掘ったときに出てきた荒しが使ったリストに載ってない串を
手動登録、とか、そっち関係がメインの気がする。
37: ラプター ★ 04/01/05 12:23 ID:??? AAS
リスト管理
1) リストの取得
・自動串収集
・boo80
・手動追加
・●の規制リスト（予定）
・携帯の規制リスト（予定）
2) 取得したリストから必要な物だけマージ
3) マージしたリストをbbqに登録（bbq.pl）
という流れになります。
このうち、1) と 2) が必要なのです。
当面は串の収集がメインかな。
38(1): ラプター ★ 04/01/05 12:31 ID:??? AAS
じゃ、どうやって串を集めるの？
という話になるわけで、登場しますのがboo80ではないかなと。
あと、IPアドレス（ホスト）とポート番号を指定して2chに書き込めたら規制とか、
そういうシステムが出来たらいいな、なんて思ったりしてます。
自動串収集システムも更なるパワーアップを図りたいな〜。
39(1): 動け動けウゴウゴ２ちゃんねる 04/01/05 14:00 ID:yt9kbR0f(2/3)調 AAS
>>38 (￣ー￣) ﾆﾔﾘｯ
2)って、要はサーバごとの設定だと思うんだけど、そこまで任せるんだ。。ﾌﾑﾌﾑ
40(1): ラプター ★ 04/01/05 14:27 ID:??? AAS
>>39
基本は全サーバですよ。
現にF22も一つのリストを全サーバへ配布しているわけですから。
ただ、bbs.cgiで特別な処理をしている板もありますけどね。
必要な物というのは何かというと、登録有効期限切れの串はリストに載せないとか、
串リストに載せない串リストを参照してリストに登録するのを防いだり、
そういう細かい所なんじゃないかな。
41: 動け動けウゴウゴ２ちゃんねる 04/01/05 14:36 ID:yt9kbR0f(3/3)調 AAS
>>40
ああ、なるほど。accuseとかworldとかの設定はbbs.cgiでやってたのかー
ファイルの組み合わせをサーバごとに変えてるのかと思いました。
よく考えれば規制リストは手動串リストとは別になってるんだった。
それはそれでちょっと謎も残るけど。
詳しい話、どうもありがとうございました。
42: rafale ★ 04/01/05 17:45 ID:??? AAS
そろそろ動きがあるのかな？どきどき。
43(1): 仕事人 ★ 04/01/08 21:10 ID:??? AAS
Rock54 が動き始めたら次はこっちですね、
44: rafale ★ 04/01/08 22:06 ID:??? AAS
>>43
楽しみにしつつ首を洗って待っておきます。
上下前次1-新書関写板覧索設栞歴
あと 957 ﾚｽあります
ｽﾚ情報 赤ﾚｽ抽出 画像ﾚｽ抽出 歴の未読ｽﾚ
ぬこの手 ぬこTOP 0.048s