【Project peko】2ch特化型サーバ・ロケーション構築作戦 Part15

[過去ﾛｸﾞ] 【Project peko】2ch特化型サーバ・ロケーション構築作戦 Part15 (1001ﾚｽ)
上下前次 1-新

このｽﾚｯﾄﾞは過去ﾛｸﾞ倉庫に格納されています｡
次ｽﾚ検索歴削→次ｽﾚ栞削→次ｽﾚ過去ﾛｸﾞﾒﾆｭｰ

748: root▲ ★ 04/12/01 16:24:16 ID:??? AAS
直ったはず。

同一ホストに2個以上バーチャルホストを切ると、
UIDの都合によりそのままではSuExecなしにはできないみたい。

ということで、game9もSuExecありにしました(運用上は問題ないです)。

749: root▲ ★ 04/12/01 16:24:47 ID:??? AAS
>>747
こっちは、SuExecじゃないモード(httpdのオーナー)で動きますんで。

750: root▲ ★ 04/12/01 16:25:16 ID:??? AAS
というかこれで、i386/amd64の両方で動くことが確認できたと。
まずはめでたいです。>>747

751: FOX ★ 04/12/01 16:29:25 ID:??? AAS
外部ﾘﾝｸ:dso.2ch.net

↓作業用板名案だし

752: 動け動けウゴウゴ２ちゃんねる 04/12/01 16:30:10 ID:BcbzKHvd(1)調 AAS
dso攻撃

753(1): FOX ★ 04/12/01 16:36:04 ID:??? AAS
なんとなく myanmar にしてみる。

754: 動け動けウゴウゴ２ちゃんねる 04/12/01 16:36:29 ID:7gBumNQf(1)調 AAS
運金を移転させればいい

755: 動け動けウゴウゴ２ちゃんねる 04/12/01 16:39:28 ID:WU2ej9SN(1)調 AAS
安直にoperate3
もっと安直にdso

756: root▲ ★ 04/12/01 16:39:29 ID:??? AAS
ミャンマーすか、、、。そのこころは。>>753

757(1): FOX ★ 04/12/01 16:40:43 ID:??? AAS
2ch板:myanmar

じゃじゃーん

758: 動け動けウゴウゴ２ちゃんねる 04/12/01 16:41:32 ID:AoC0aqH2(1)調 AAS
dso、土葬・・・・・。縁起でもない・・

759: 動け動けウゴウゴ２ちゃんねる 04/12/01 16:48:48 ID:/6SyJaVQ(1)調 AAS
なぜミャンマー？

760: 動け動けウゴウゴ２ちゃんねる 04/12/01 18:08:44 ID:FseI0q0U(1)調 AAS
むしろ、どぞー．にちゃんねっと、

761: じじぃ　その４ ◆HETAREzfq. 04/12/01 18:17:54 ID:n910ZIdG(1)調 AAS
>>757
ぶっ

相変わらず面白いのぅ

762: root▲ ★ 04/12/01 20:58:20 ID:??? AAS
-M32は結局流れを阻害するので、やめ。

-b1048576 (CGIからのPOSTの時のバッファをデフォルトの8倍にする)したら、ex7がとっても好調に。
しばらく見て調子いいようなら、これにしてみよう。

ただしlive8の変更は、本日が落ち着いてから。

763: root▲ ★ 04/12/01 21:46:58 ID:??? AAS
SpeedyCGI環境では、ある「壁」までは、割と軽く動くみたい。
その壁にぶち当たると、だめと。

764: root▲ ★ 04/12/01 22:41:06 ID:??? AAS
今のhttpdの並列数は、768～896あたりがせいぜい。
1024だともう苦しくて、それより大きいと「どーん」に耐えられないと。
大きくしても、bbs.cgiが詰まるだけ。

765(1): FOX ★ 04/12/01 22:47:03 ID:??? AAS
りょうかいですー

read.cgi(DSO味) の実験は live8 に触らなくてもよくなってからにします、
来年にでもまた、

766: root▲ ★ 04/12/01 22:50:00 ID:??? AAS
>>765
そですね。

live8のbbs.cgiは今の(8.01+)でいきますか。
で、仕込みをdso.2ch.netでしっかりやる方向で。

767(2): 動け動けウゴウゴ２ちゃんねる 04/12/01 23:09:01 ID:g6WHV1sA(2/2)調 AAS
これ見ました？
外部ﾘﾝｸ[html]:www-6.ibm.com
dW : Linux : Perlを最適化する

768: root▲ ★ 04/12/01 23:16:28 ID:??? AAS
915 名前：root▲ ★[sage] 投稿日：04/12/01 23:15:49 ID:???
ex7は、httpdの並列数を896に戻した。
これ以上増やすと(少なくとも1280とかにすると)、
bbs.cgi(speedy_backend)が増殖しまくって、さっきみたいに結局意識不明に。

ex7も、入れたら768に戻しておこう。
カキコ遅くても、今のままだとこれ以上は、無理な模様。

>>767
おっ。見てみるか。

769: root▲ ★ 04/12/01 23:17:32 ID:??? AAS
いきなり

> お粗末なプログラミングで、お粗末なパフォーマンス

きびしいのう。
といってもこれは、私だけで何とかできる問題でもないわけで。

dsoのbbs.cgiスレに期待しよう。

770: root▲ ★ 04/12/01 23:20:46 ID:??? AAS
ざっと読むと、泣けるなぁ。書いてあることはわかります。
直感ですが、とっても、該当しているような気が。

dsoのbbs.cgiスレかここのbbs.cgiスレあたりで、話題振ってみていただけると。

771(1): root▲ ★ 04/12/01 23:28:40 ID:??? AAS
さて、

・httpd起動数はもうこれ以上は増やせない (tiger: 768, cobra: 896)。
・「スロットいっぱい」「bbs.cgi詰まり」が観測された。
kqueueステータスだったので、DNSまわりの結果待ちな予感。
=> DNSサーバの再チューニングが必要か。
=> 特にBBS/BBQ/DNSキャッシュサーバ。

・mod_cgidsoは、パフォーマンスを確実に底上げしている。
read.cgiは、この路線で進むのが当面、正解と思われる。

・やっぱりbbs.cgi、こいつを何とかしなきゃ。

他に何があるかな。

772: root▲ ★ 04/12/01 23:41:25 ID:??? AAS
外部ﾘﾝｸ[html]:mumumu.mu

BBS変だったみたい。

773: root▲ ★ 04/12/01 23:42:59 ID:??? AAS
BBQは(少なくともDNS側は)、変じゃなかったのか。
外部ﾘﾝｸ[html]:mumumu.mu

BBQはCobra(oyster243)だからなぁ。

774: さぼてん ★ 04/12/01 23:45:13 ID:??? AAS
外部ﾘﾝｸ[html]:mumumu.mu

ちなみに、oyster243は、トラフィックのほうだと多少おかしく見えるけど、
bbs宛てのぶんかなぁ

775: root▲ ★ 04/12/01 23:47:36 ID:??? AAS
BBSのDNS側ログをチェック中。
明らかにBBSシステムのDNS側、変でしたね。
この間、ひとつも処理できていない。
(時間はPST)

2004-12-01 05:06:03.757482500 cedf94fa:201d:2913 + 0001 1101906363.4977.60.40.234.32.0.40.1092895397.loveho.sakura02.bbspink.com.bbs.bbs.2ch.net
2004-12-01 05:45:57.994422500 cedf9837:c3f7:d610 + 0001 1101906363.66646.220.102.118.141.0.19.1101897431.dancesite.live17.2ch.net.bbs.bbs.2ch.net

776: root▲ ★ 04/12/01 23:51:45 ID:??? AAS
日付変わったら、live8のbbs.cgiを他と同じものにしよう。

777(1): root▲ ★ 04/12/01 23:53:33 ID:??? AAS
>>771
で、「スロットいっぱい」は、「bbs.cgi詰まり」により、惹起された模様です。
つまり、BBS処理がふんづまりになることによってbbs.cgiが滞り、
それによって詰まってしまった。

BBQは詰まっても大丈夫なように若者が対応したはずだけど(実験もした)、
BBSはどうなんだろう。

778(2): root▲ ★ 04/12/02 00:02:14 ID:??? AAS
banana238 = BBS/BBY/BBX のdjbdnsを強化版(make WITH_PERSISTENT_MMAP=yes)に更新した。
おかしかったら、指摘よろしくです。

779(1): root▲ ★ 04/12/02 00:07:01 ID:??? AAS
oyster243 = BBQ(niku) のdjbdnsも、強化版に更新。

780(1): root▲ ★ 04/12/02 00:15:00 ID:??? AAS
cobra2245 = BBM のdjbdnsを同様に更新。
これで、更新はひととおりできたはず。

BBSがbananaではもたない、、、ということは、あるのか、ないのか。

781(1): FOX ★ 04/12/02 00:16:09 ID:??? AAS
「絶対に持つ」を前提に話すのが吉と思われ、

782: root▲ ★ 04/12/02 00:17:07 ID:??? AAS
さて、めし、くってくるです。腹が減ってはなんとやら。

落ち着いたらもいっかい今日いじった掲示板cobra/tigerサーバ群の設定を見直しておこう。
設定もれとかがあると、いまいち。

783: root▲ ★ 04/12/02 00:19:15 ID:??? AAS
>>781
ふむ。わたしもそう思っています。< BBS
BBQがbananaではもたなかったのは、DBがでっかかったから(これは明確)。

今のBBSはDBを持ってないので(データがないことしか返していない)ので、
もちろん、もつはずという前提です。

その前提で、サービスが停止した原因を考える必要があるとおもわれ。

# めしめし。

784: root▲ ★ 04/12/02 00:21:17 ID:??? AAS
ちなみに今のBBQデータ。でかっ。

%ls -l data
-rw-r--r-- 1 ch2bbq ch2 73286705 Dec 1 07:20 data
%wc -l data
5158061 data

785: root▲ ★ 04/12/02 00:31:28 ID:??? AAS
BBQ/dnscacheのログ
外部ﾘﾝｸ[html]:mumumu.mu

該当時間、INが少ないですね。

つまり、一般の軽かったサーバも含めて、
問い合わせがDNSキャッシュに十分に行っていなかった、ってことなのか。

BBSのぶんがなかった、というのと一致するわけか。
さて、理由は。

786: FOX ★ 04/12/02 00:36:58 ID:??? AAS
bbs.cgi での各処理の順番はどうだったかな、、

BBQ -> BBX -> BBS -> BBY だったかな

787: FOX ★ 04/12/02 00:41:22 ID:??? AAS
>>777
>BBQは詰まっても大丈夫なように若者が対応したはずだけど(実験もした)、
>BBSはどうなんだろう。

ここでのお題目は、その「つまり」を起こさないことかな。
起った場合の逃げコードはサザン ★君が暇になったら
ぼちぼちやってもらうという事にして、

788(1): FOX ★ 04/12/02 00:44:48 ID:??? AAS
BBQ -> BBX -> (BBY) -> BBS だった。

789: FOX ★ 04/12/02 00:54:17 ID:??? AAS
Load Average @ stats.2ch.net

2004/12/01 21:00:00 LA= 9:00PM up 186 days, 22:19, 0 users, load averages: 0.00, 0.06, 0.11
2004/12/01 21:10:00 LA= 9:10PM up 186 days, 22:29, 0 users, load averages: 0.08, 0.10, 0.08
2004/12/01 21:20:00 LA= 9:20PM up 186 days, 22:39, 0 users, load averages: 0.20, 0.18, 0.12
2004/12/01 21:30:00 LA= 9:30PM up 186 days, 22:49, 0 users, load averages: 0.06, 0.12, 0.11
2004/12/01 21:40:00 LA= 9:40PM up 186 days, 22:59, 0 users, load averages: 0.17, 0.10, 0.08
2004/12/01 21:50:00 LA= 9:50PM up 186 days, 23:09, 0 users, load averages: 0.25, 0.15, 0.10
2004/12/01 22:00:00 LA=10:00PM up 186 days, 23:19, 0 users, load averages: 0.06, 0.12, 0.10
2004/12/01 22:10:00 LA=10:10PM up 186 days, 23:29, 0 users, load averages: 0.07, 0.10, 0.08
2004/12/01 22:20:00 LA=10:20PM up 186 days, 23:39, 0 users, load averages: 0.05, 0.11, 0.08
2004/12/01 22:30:00 LA=10:30PM up 186 days, 23:49, 0 users, load averages: 0.02, 0.05, 0.06
2004/12/01 22:40:00 LA=10:40PM up 186 days, 23:59, 0 users, load averages: 0.04, 0.09, 0.08
2004/12/01 22:50:00 LA=10:50PM up 187 days, 9 mins, 0 users, load averages: 0.29, 0.32, 0.20

790: FOX ★ 04/12/02 00:55:13 ID:??? AAS
LA 見る限りは、特に負荷が上昇しちまったようには見えず、

791(1): root▲ ★ 04/12/02 01:00:52 ID:??? AAS
上がるとしたら、負荷じゃないですね。

BBQがだめぽになった時も、LAがあがらなかったです。
プロセスが増えるわけじゃないから。

BBQの時はI/Oがつらくなって、処理がふんづまりました。
LAは低いままで、DNS問い合わせに答えられなくなったと記憶。

てなわけで、今送信側(news18とかnews19)のDNS問い合わせログをチェック中。

792: root▲ ★ 04/12/02 01:01:20 ID:??? AAS
1行目の「負荷」は、LAと読み換えてくださいです。>>791

793(1): FOX ★ 04/12/02 01:02:38 ID:??? AAS
ということは、
DNS問い合わせのたびに呼ばれるプログラムは特に問題ないということかな?
どんどん呼ばれてもどんどんはけて行く or 一個しか起動しない。

794: root▲ ★ 04/12/02 01:05:02 ID:??? AAS
>>793
そっち側が変になっても、DNS側がブロックしないように組んであるはずです。
# いちおう、確認してみます。

795: FOX ★ 04/12/02 01:11:49 ID:??? AAS
>>778 の順番に処理しているんで

呼ばれる回数は BBQ > BBS ( >>> BBX >>>>>>>>>> BBY) です

796(1): root▲ ★ 04/12/02 01:12:13 ID:??? AAS
news18の問い合わせログを見ました。

2004-12-01 05:06:06.098103500 tx 0 1 1101906365.98088.0.0.0.0.0.57.1101628087.anime.news18.2ch.net.bbs.bbs.2ch.net.maido3.com. maido3.com. cedf93fe cedf94fe
2004-12-01 05:06:06.102803500 nxdomain cedf93fe 2560 1101906365.98088.0.0.0.0.0.57.1101628087.anime.news18.2ch.net.bbs.bbs.2ch.net.maido3.com.
これは「ないよ(nxdomain)」の応答があるのに、

2004-12-01 05:06:13.843026500 query 2292275 7f000001:4d75:fe65 1 1101906373.98241.0.0.0.0.0.94.1101743825.mnewsplus.news18.2ch.net.bbs.bbs.2ch.net.
この問い合わせに対する、BBSのDNS側からの応答(nxdomain行)がありません。

で、このあと、BBSについてその状態がずっと続く。

つまり、
・問い合わせ側システムは正常
・でも、BBSのDNS側からの返事がなかった

ということになります。

同じサーバ(banana238)で動かしている別のDNS(BBX/BBY)は、
該当時間、どうだったのかな。

797: FOX ★ 04/12/02 01:12:19 ID:??? AAS
訂正

>>788 の順番に処理しているんで

呼ばれる回数は BBQ > BBS ( >>> BBX >>>>>>>>>> BBY) です

798: root▲ ★ 04/12/02 01:14:41 ID:??? AAS
>>796
BBXとBBYはその時間無事動いていたことを確認しました。
また、BBQも同様に確認しました。

おかしかったのは、BBSだけか。

799: FOX ★ 04/12/02 01:19:34 ID:??? AAS
んんん?

それはいったいどういうことじゃ?

なぞだ、

800(1): root▲ ★ 04/12/02 01:22:57 ID:??? AAS
しかも、live8やex7が変だった時間と、一致するような予感。

というよりひょっとすると、BBSが変になったことで、live8やex7もつられて落ちた、
というのが、正しいような気もする。

801: FOX ★ 04/12/02 01:24:23 ID:??? AAS
ちなみに
BBS呼び出し側(bbs.cgi)には、タイムアウトを検出する処理はいってます

802(1): ▲ 某ソレ511 04/12/02 01:26:20 ID:BlvqLG2N(1/9)調 AAS
マツケンサンバが始まったのが22:05:00 ころですね。
その直後にlive8は落ちました。ex7はもうちょっとあとかも。

>>800
その可能性は、なんかあるかも、、
BBSが動いてない時間に、どの鯖でもbbs.cgiが微妙に動作が遅かったですね、、

803: root▲ ★ 04/12/02 01:27:14 ID:??? AAS
入ってましたか。つまりブロックは数秒(何秒でしたっけ)ですむと。
つまり、他のサーバは「あれ？」ぐらいで、済むわけか。

「数秒のブロック」が雪ダルマ式に影響が出るのは、
その時カキコが激しかったサーバということだとすると、
ex7とlive8だけ壊滅するのは、ありうることかも。

live8とex7のシステムログを、緻密にあたってみます。

804: root▲ ★ 04/12/02 01:29:43 ID:??? AAS
>>802
とすると、、、。

ex7/live8からものすごいDNSアクセスがBBS側のDNSに来て、
BBS側が不調になり、
bbs.cgiの滞留が起こりはじめ、
それが顕著に起こったex7/live8が、ブロックプロセス過多で壊滅した

というシナリオは、ありうるわけだ。

805(1): FOX ★ 04/12/02 01:31:42 ID:??? AAS
その部分のコード

{
my $BYTES = length($FORM{'MESSAGE'});
my $BHOST = "$NOWTIME.$$.$ENV{'REMOTE_ADDR'}.$NEWTHREAD.$BYTES.$FORM{'key'}.$FORM{'bbs'}.$ENV{'SERVER_NAME'}.bbs.bbs.2ch.net";
eval{
alarm(3);
my $YACHO = gethostbyname($BHOST);
alarm(0);
};
alarm(0);
if($@ =~ /timeout/){
last;
}
}

806(1): FOX ★ 04/12/02 01:32:32 ID:??? AAS
ちゃんと動いていると思うんですが

BBS だけ止めてみるなんてこと出来ますか?

807: root▲ ★ 04/12/02 01:36:23 ID:??? AAS
>>806
簡単です。

808: FOX ★ 04/12/02 01:37:30 ID:??? AAS
タイムアウト処理が正しく動いているか検証してみよう。

809: root▲ ★ 04/12/02 01:39:46 ID:??? AAS
時間決めて、しばらく止めてみろということですか。
では、1:45から2分、BBSだけ止めてみます。

810: root▲ ★ 04/12/02 01:45:44 ID:??? AAS
これから止めます。< BBSのDNS

811: root▲ ★ 04/12/02 01:46:31 ID:??? AAS
今、BBSだけ止まっている状態。

812: root▲ ★ 04/12/02 01:46:53 ID:??? AAS
5秒ぐらい? ディレイかかりますね。

813: root▲ ★ 04/12/02 01:48:22 ID:??? AAS
書き込みが多いサーバ(ex7)の様子をチェックしてきます。
まだ、BBSは止めています。

814: FOX ★ 04/12/02 01:48:34 ID:??? AAS
ですね、

これと同じことが当該時間帯に別のサーバで起ったという記憶があります

815: root▲ ★ 04/12/02 01:49:20 ID:??? AAS
すごいことになってる。
LA上がってないけど、ブロックばかり。

PID USERNAME PRI NICE SIZE RES STATE C TIME WCPU CPU COMMAND
631 dnscache 98 0 32868K 32172K select 0 104:59 5.81% 5.81% dnscache
11196 ch2ex7 4 0 7112K 6336K kqread 2 0:01 5.08% 2.00% speedy_back
11051 ch2ex7 4 0 7092K 6320K kqread 0 0:00 3.24% 1.86% speedy_back
11045 ch2ex7 4 0 7080K 6376K kqread 0 0:00 3.15% 1.81% speedy_back
11037 ch2ex7 4 0 7088K 6316K kqread 0 0:00 2.96% 1.76% speedy_back
11301 ch2ex7 4 0 7096K 6324K kqread 0 0:00 12.26% 1.71% speedy_back
11330 ch2ex7 4 0 7068K 6304K kqread 3 0:00 35.00% 1.71% speedy_back
11302 ch2ex7 4 0 7092K 6320K kqread 2 0:00 11.56% 1.61% speedy_back
11310 ch2ex7 4 0 7088K 6320K kqread 1 0:00 11.56% 1.61% speedy_back
11041 ch2ex7 4 0 7092K 6320K kqread 0 0:00 2.71% 1.61% speedy_back
11043 ch2ex7 4 0 7092K 6320K kqread 0 0:00 2.71% 1.61% speedy_back
11046 ch2ex7 4 0 7060K 6292K kqread 0 0:00 2.81% 1.61% speedy_back
11263 ch2ex7 4 0 7100K 6316K kqread 3 0:00 6.02% 1.56% speedy_back
11319 ch2ex7 4 0 7060K 6292K kqread 0 0:00 15.89% 1.51% speedy_back
11253 ch2ex7 4 0 7068K 6300K kqread 0 0:00 5.65% 1.46% speedy_back
11039 ch2ex7 4 0 7092K 6320K kqread 0 0:00 2.47% 1.46% speedy_back
11316 ch2ex7 4 0 7092K 6320K kqread 0 0:00 10.50% 1.46% speedy_back
11296 ch2ex7 4 0 7092K 6324K kqread 3 0:00 7.53% 1.37% speedy_back
11292 ch2ex7 4 0 7096K 6324K kqread 0 0:00 7.26% 1.32% speedy_back
11067 ch2ex7 4 0 7064K 6296K kqread 1 0:00 2.30% 1.27% speedy_back
11217 ch2ex7 4 0 7064K 6296K kqread 0 0:00 3.50% 1.27% speedy_back
11062 ch2ex7 4 0 7064K 6360K kqread 2 0:00 2.22% 1.27% speedy_back
11305 ch2ex7 4 0 7092K 6320K kqread 0 0:00 9.10% 1.27% speedy_back
11073 ch2ex7 4 0 7080K 6312K kqread 1 0:00 2.22% 1.22% speedy_back
11247 ch2ex7 4 0 7060K 6296K kqread 2 0:00 4.13% 1.22% speedy_back
11171 ch2ex7 4 0 7080K 6316K kqread 1 0:00 2.65% 1.12% speedy_back
11152 ch2ex7 4 0 7080K 6380K kqread 3 0:00 2.49% 1.12% speedy_back

816: 動け動けウゴウゴ２ちゃんねる 04/12/02 01:49:43 ID:LvgKTSCx(1)調 AAS
なんか重いと思ったらまた遊んでやがんなｗ
ま、原因がわかったらはよ直してね

817: root▲ ★ 04/12/02 01:50:21 ID:??? AAS
BBSあげました。

ex7のブロックは解消しました。

818: ▲ 某ソレ511 04/12/02 01:50:43 ID:BlvqLG2N(2/9)調 AAS
体感では、さきほどBBSが止まってた時と
ほとんど同じくらい(2～3秒)の引っかかり感がありますね。

819: root▲ ★ 04/12/02 01:51:45 ID:??? AAS
BBSの戻りは一切チェックしなくてもいいので、
bbs.cgi側のディレイを「なし」にできると、うれしいかも。

820: FOX ★ 04/12/02 01:53:45 ID:??? AAS
alarm(3);
を
alarm(0); とかにすればいいのか?

それとも alarm(1); が最小なのか?

821(1): ▲ 某ソレ511 04/12/02 01:55:35 ID:BlvqLG2N(3/9)調 AAS
＞指定した秒数(実際は 1 を引いたもの)が経過した後、 SIGALRM をプロセスに伝える。
＞つまり、 `alarm(15)' はそれから 14 秒以上経ったある時点で SIGALRM を起こす。

らしいので、alarm(1); でディレイ0になるんじゃないかな。

822: FOX ★ 04/12/02 01:56:19 ID:??? AAS
ほぅほぅ

やってみよう、

823(1): root▲ ★ 04/12/02 01:57:36 ID:??? AAS
あ、そういえば、
bbs.cgi 配布サイトに、live16 と live17 も加えておいてくださいです。
これらは FreeBSD 5.3R への更新に伴い、
perlcc バージョンの使用をやめました。
今後も、perlccバージョンにする予定は当面ないです。

live8 もさきほど perlcc をやめましたが、
私の判断で、perlcc版とスイッチするかもしれないので、
当面従来どおり配布ホストには、入れなくてよいです。

824: FOX ★ 04/12/02 01:58:18 ID:??? AAS
alarm(1);のbbs.cgi に全サーバ置き換えた

825: FOX ★ 04/12/02 01:58:58 ID:??? AAS
>>823

live16,live17 りょうかいです

826: root▲ ★ 04/12/02 01:59:26 ID:??? AAS
bbsにはあいかわらず、query来ています。
このカキコの後で、BBSを再度止めてみます。

827: root▲ ★ 04/12/02 02:00:00 ID:??? AAS
BBS止め中、、、。

828(1): root▲ ★ 04/12/02 02:00:17 ID:??? AAS
ちょっと引っかかる感じはありますが、さっきよりいい感じですね。

829(1): FOX ★ 04/12/02 02:00:19 ID:??? AAS
live16 , 17 も元々配られているようです

830: FOX ★ 04/12/02 02:00:41 ID:??? AAS
>>828

I think so too.

831: root▲ ★ 04/12/02 02:00:56 ID:??? AAS
>>829
了解です。

ex7の様子を確認してきます。

832: root▲ ★ 04/12/02 02:01:30 ID:??? AAS
ブロックは、してるみたい。< ex7

631 dnscache 97 0 32868K 32172K select 1 105:17 6.10% 6.10% dnscache
25373 ch2ex7 4 0 7072K 6280K kqread 0 0:01 14.80% 2.69% speedy_back
25418 ch2ex7 4 0 7068K 6308K kqread 2 0:00 21.01% 2.00% speedy_back
25323 ch2ex7 4 0 7060K 6268K kqread 2 0:00 5.62% 1.66% speedy_back
25393 ch2ex7 4 0 7068K 6284K kqread 0 0:00 11.91% 1.66% speedy_back
25412 ch2ex7 4 0 7060K 6292K kqread 3 0:00 17.43% 1.66% speedy_back
25388 ch2ex7 4 0 7060K 6272K kqread 3 0:00 11.56% 1.61% speedy_back
25398 ch2ex7 4 0 7060K 6268K kqread 0 0:00 11.56% 1.61% speedy_back
25372 ch2ex7 4 0 7060K 6272K kqread 0 0:00 8.34% 1.51% speedy_back
25317 ch2ex7 4 0 7060K 6340K kqread 0 0:00 4.96% 1.46% speedy_back
25333 ch2ex7 4 0 7060K 6272K kqread 0 0:00 5.46% 1.42% speedy_back
25311 ch2ex7 4 0 7060K 6276K kqread 1 0:00 4.79% 1.42% speedy_back
25379 ch2ex7 4 0 7060K 6344K kqread 0 0:00 7.80% 1.42% speedy_back
25383 ch2ex7 4 0 7060K 6268K kqread 1 0:00 7.80% 1.42% speedy_back
25394 ch2ex7 4 0 7060K 6340K kqread 0 0:00 9.45% 1.32% speedy_back
25400 ch2ex7 4 0 7064K 6268K kqread 1 0:00 8.75% 1.22% speedy_back
25262 ch2ex7 4 0 7060K 6272K kqread 0 0:00 2.98% 1.17% speedy_back
25260 ch2ex7 4 0 7064K 6344K kqread 1 0:00 2.85% 1.12% speedy_back
25054 ch2ex7 4 0 7096K 6292K kqread 3 0:01 1.57% 1.07% speedy_back
25264 ch2ex7 4 0 7060K 6268K kqread 0 0:00 2.73% 1.07% speedy_back
25340 ch2ex7 4 0 7064K 6268K kqread 2 0:00 4.14% 1.07% speedy_back
25435 ch2ex7 4 0 7060K 6296K kqread 1 0:00 22.00% 1.07% speedy_back
25348 ch2ex7 4 0 7060K 6272K kqread 0 0:00 4.19% 0.93% speedy_back
25297 ch2ex7 4 0 7064K 6276K kqread 0 0:00 2.66% 0.88% speedy_back
25280 ch2ex7 4 0 7060K 6268K kqread 0 0:00 2.42% 0.88% speedy_back
25350 ch2ex7 4 0 7060K 6272K kqread 2 0:00 3.97% 0.88% speedy_back
25271 ch2ex7 4 0 7060K 6272K kqread 0 0:00 2.29% 0.83% speedy_back

833: ▲ 某ソレ511 04/12/02 02:01:43 ID:BlvqLG2N(4/9)調 AAS
>>821
これ、perl alarmで検索して一番上のところにそう書いてあったんだけど、
ほかのところはどこ見てもそう書いてないなぁ、、だいじょぶだべか、

834: root▲ ★ 04/12/02 02:02:57 ID:??? AAS
BBSを再度動かしました。
ex7のブロックは解消しました。

遅延なしにはできてないみたいですが、さっきよりは、改善されたです。

835(1): FOX ★ 04/12/02 02:04:31 ID:??? AAS
live8 , ex7 が落ちたのは
直接的には BBS の返事がないから処理が貯まりに貯まって落ちたと、
元々 live8 , ex7 は物凄い書き込み数だと言うことが原因の一端であると、

しかし、根本的には何が起ったかというと
BBSがなぜか応答しなくなったと
なのに不思議なのは、同じサーバにある別のもの BBY 等は問題なく動いていたと

質問
同じサーバ内で BBS だけがぽしゃる事なんてあるんですか?

836(1): FOX ★ 04/12/02 02:06:14 ID:??? AAS
投げっぱなしで応答をまったく期待しない場合の
コーディング方法募集中です　(Perl >>805)

837(1): root▲ ★ 04/12/02 02:06:16 ID:??? AAS
>>835
BBS担当、BBY担当、BBX担当のDNSサーバは全部別プロセスなので、
ありえますね。というか、全部がぽしゃらないようにしてあるともいえます。

838: root▲ ★ 04/12/02 02:06:58 ID:??? AAS
>>836
具体的には gethostbyname() の結果がDNSから来なくても、
次に進んでほしいということですね。

839(1): FOX ★ 04/12/02 02:08:10 ID:??? AAS
>>837
なるほど、
ということは、サーバの負荷というよりも BBS(DNS)の限界?

840: root▲ ★ 04/12/02 02:14:15 ID:??? AAS
>>839
それを疑っています。

その時間だけBBSのログがないのです。まったく「すぽーん」と。
まるで、サーバそのものがいなかったかのように。

しかし、djbdns+daemontoolsで作ってあるので、
プロセスがいなくなっても立ち上がるし、
サービスダウンには、とりわけ強いはずなんですよ。
すくなくともこんなふうにサービスがいなくなることは、これまで一度もなかった。

banan238の他のシステムログもあさっていますが、
今のところ不審なものは、発見できていませんです。

841(1): FOX ★ 04/12/02 02:15:24 ID:??? AAS
BBS はどれくらいコールされているかというと、、、
一日で 150万～180万
ピーク時で一分間に・・・

どれくらいでしたっけ?
1,000 くらい?

842(1): root▲ ★ 04/12/02 02:18:04 ID:??? AAS
>>841
投稿数のピークと同じですね。
外部ﾘﾝｸ[html]:mumumu.mu

12000/5min が、ピーク値かと。

843(1): FOX ★ 04/12/02 02:19:56 ID:??? AAS
ぐおっ　2,400/min

つまり 24ms毎にリクエストがあると、(平均ですが)
ぱっと見、それくらいいけそうな数字ではあるんですけど、

844: ▲ 某ソレ511 04/12/02 02:22:18 ID:BlvqLG2N(5/9)調 AAS
1分ごとだと3000～3500かな？
夏～秋ごろに、1分ごとのデータをグラフにしてたことがあるんですけど、
その時も記憶に残ってる限り最高で3500くらいでした。

845: root▲ ★ 04/12/02 02:24:36 ID:??? AAS
>>843
普段はいけてますね。(>>842 のグラフ参照)
今回は、、、。

846: FOX ★ 04/12/02 02:25:07 ID:??? AAS
ん?
計算変かな?

35000/min だとすると 17ms 毎くらいか

847(1): FOX ★ 04/12/02 02:26:27 ID:??? AAS
もう二桁くらい小さい値で動くと思うんですけどね　< DNS
(単なる勘です)

848: root▲ ★ 04/12/02 02:26:47 ID:??? AAS
で、いけない数字とは思えないんですよ。
DNSコンテンツサーバ側って、数千query/secぐらいは、さばけるはずなんです。

あと、今日やったMMAPの手術(>>778-780)で、
さらに30%らいは強化されているはず。

849: root▲ ★ 04/12/02 02:28:43 ID:??? AAS
こちらで別の機会に実験した値でも、
DNSのコンテンツサーバ側は数千queries/secまでは問題なく動く、
という結果が出ています。>>847

850(1): FOX ★ 04/12/02 02:29:03 ID:??? AAS
初めての経験ですからねぇ

「たまたまだった」という結論にでもしますかねぇ
二度目があったら・・・そんときに再度考える?

851(2): ▲ 某ソレ511 04/12/02 02:31:55 ID:BlvqLG2N(6/9)調 AAS
BBSが動いていない現象自体はしょっちゅうありますけどね、、
確かにこんな長い時間動かなかったのはめずらしいけど

852: root▲ ★ 04/12/02 02:33:04 ID:??? AAS
今日のところは、そうしておきたいかも。>>850

DNSサーバ側を緊急強化したので、これで様子を見たいかなと。
今月は、機会が連日連夜あるに違いないわけで。

# うへー、明日朝早いんだよなぁ。

853(1): FOX ★ 04/12/02 02:33:18 ID:??? AAS
げっ
そういえばそうか?

たまたまじゃないのか?

DNS 自体は返事していて、単に数え漏れが発生しているということではない?
>>851

854: FOX ★ 04/12/02 02:34:00 ID:??? AAS
外部ﾘﾝｸ[html]:mumumu.mu

BBM ってどうして毎日ざっくりりこんになっているんだろぅ

855: root▲ ★ 04/12/02 02:34:04 ID:??? AAS
>>851
しょっちゅうあるのは、いまいち、、、かも。

DNS側がブロックしないように、ちゃんとなってるかちょっと見てみます。

856: ▲ 某ソレ511 04/12/02 02:35:15 ID:BlvqLG2N(7/9)調 AAS
>>853
んまぁ、、確かに他の止まってる時とは明らかに動作が違ってたですからねぇ。
いつもは数え漏れなのかもしれませんねぇ。
そうかも。いや、そうだべ。うん、きっとそうだ！

857: root▲ ★ 04/12/02 02:36:38 ID:??? AAS
うーん。
外部ﾘﾝｸ[html]:mumumu.mu
外部ﾘﾝｸ[html]:mumumu.mu

確かにこのグラフの凹みは、とっても気になる。

強化したので、明日以降の様子をチェックしたいなと。

858: FOX ★ 04/12/02 02:37:49 ID:??? AAS
しかーし

限界を拝めるとは幸せなことで、

859: root▲ ★ 04/12/02 02:39:02 ID:??? AAS
個人的には、ネットワークのチューニング問題な気がとってもするです、、、。

860(1): FOX ★ 04/12/02 02:39:45 ID:??? AAS
PIE の?

861: root▲ ★ 04/12/02 02:41:57 ID:??? AAS
>>860
ではなく、banana238のです。

# netstat -s -p udp
udp:
361330042 datagrams received
0 with incomplete header
0 with bad data length field
8 with bad checksum
327 with no checksum
152972 dropped due to no socket
125983 broadcast/multicast datagrams dropped due to no socket
9072993 dropped due to full socket buffers
0 not for hashed pcb
351978086 delivered
352298516 datagrams output

今BBS止めてたんで、この値そのまま信用できないところがありますけど。

862: root▲ ★ 04/12/02 02:43:52 ID:??? AAS
今netstat -z でカウンタをリセットしたんで、
この後様子を見てみます。

ドロップパケットとかが出てるようだと、
ネットワーク系を何かチューニングしないと、いかんかなと。

udp:
212 datagrams received
0 with incomplete header
0 with bad data length field
0 with bad checksum
0 with no checksum
0 dropped due to no socket
0 broadcast/multicast datagrams dropped due to no socket
0 dropped due to full socket buffers
0 not for hashed pcb
212 delivered
212 datagrams output

863(1): root▲ ★ 04/12/02 02:45:14 ID:??? AAS
DNSはUDPなんで、具体的には、

# netstat -s -p udp
udp:
1996 datagrams received
0 with incomplete header
0 with bad data length field
0 with bad checksum
0 with no checksum
0 dropped due to no socket
0 broadcast/multicast datagrams dropped due to no socket
0 dropped due to full socket buffers
0 not for hashed pcb
1996 delivered
1996 datagrams output

の、droppedなんちゃらのところがカウントアップされるようだと、
いまいちですね

864(1): FOX ★ 04/12/02 02:46:37 ID:??? AAS
各個のサーバを強化し
台数も増やすと、、、

土台が小さく感じ始めるということかしら、
当然なんですけどもね、

865(1): FOX ★ 04/12/02 02:48:11 ID:??? AAS
>>863
それを　_serviceに吐き出しておくとか、
皆で観察 !

866: root▲ ★ 04/12/02 02:53:31 ID:??? AAS
>>864
それは、多分にあるかなと。

今、２ちゃんねるで動いているDNS系の仕組みはこんなかんじです。
おおむね、上から負荷が大きい順。

・dnscache

量産型bananaからのDNS問い合わせを処理
cobra (oyster243)

・BBQ

BBQチェック、投稿毎に呼び出し、巨大DB参照
cobra (oyster243)

・BBS

野鳥の会、投稿毎に呼び出し、DB参照なし
banana (banana238)

・BBM

携帯版BBQ、携帯からの投稿で呼び出し、DB参照
cobra (cobra2245)

・BBX

Rock54、広告っぽい投稿毎に呼び出し、DB参照
banana (banana238)

・BBY

ヘッドライン&スレ立てチェック、スレ立て毎に呼び出し
banana (banana238)

867: root▲ ★ 04/12/02 02:53:53 ID:??? AAS
>>865
やってみるです。

868(2): FOX ★ 04/12/02 03:02:56 ID:??? AAS
もっと書き込めるようにスレ保持数さげて(ex7)
現象が顕著に現れるようにしてみよう。

869: root▲ ★ 04/12/02 03:07:09 ID:??? AAS
外部ﾘﾝｸ[txt]:stats.2ch.net

10分ごとのはず。
BBQにもしかけてくるです。

870: 動け動けウゴウゴ２ちゃんねる 04/12/02 03:10:11 ID:/+jEHb/d(1)調 AAS
楽すみ～

871(1): root▲ ★ 04/12/02 03:12:42 ID:??? AAS
BBQにもしかけた。
外部ﾘﾝｸ[txt]:bbq.2ch.net

>>868 おっ。

872: 動け動けウゴウゴ２ちゃんねる 04/12/02 03:18:40 ID:CgtczSxr(1)調 AAS
>>871
droppedてｶｳﾝﾄされてますな

873: root▲ ★ 04/12/02 03:21:12 ID:??? AAS
ふむ。

これよめと。
外部ﾘﾝｸ[htm]:publibn.boulder.ibm.com

874: root▲ ★ 04/12/02 03:22:41 ID:??? AAS
Dropped Due to No Socket
受け取った UDP データグラムのうち、宛先ソケット・ポートが開かれなかった数。
結果として、「ICMP Destination Unreachable - Port Unreachable」という
メッセージが送信されます。ただし、受け取った UDP データグラムがブロード
キャスト・データグラムである場合は、ICMP エラーが生成されません。
この値が大きい場合は、アプリケーションがソケットをどのように処理しているかを調べてください。

port unreach か。
いまいちな予感。

上下前次 1-新書関写板覧索設栞歴

あと 127 ﾚｽあります
ｽﾚ情報赤ﾚｽ抽出画像ﾚｽ抽出歴の未読ｽﾚ

ぬこの手ぬこTOP 0.030s