[過去ﾛｸﾞ] 2ch特化型サーバ・ロケーション構築作戦 Part21 (1001ﾚｽ)
上下前次1-新
このｽﾚｯﾄﾞは過去ﾛｸﾞ倉庫に格納されています｡
次ｽﾚ検索 歴削→次ｽﾚ 栞削→次ｽﾚ 過去ﾛｸﾞﾒﾆｭｰ
145: root▲ ★ 2006/04/20(木) 20:50:11 ID:???0 AAS
netstat -i でカウントが増えています。
とりこぼしかな。
ログインしていても、そう感じる。
mbuf は余裕ありか、、、。
%netstat -m
1845/2535/4380 mbufs in use (current/cache/total)
665/2231/2896/32768 mbuf clusters in use (current/cache/total/max)
292/356/8704 sfbufs in use (current/peak/max)
1791K/5095K/6887K bytes allocated to network (current/cache/total)
0 requests for sfbufs denied
0 requests for sfbufs delayed
197 requests for I/O initiated by sendfile
41 calls to protocol drain routines
146: root▲ ★ 2006/04/20(木) 20:50:42 ID:???0 BE AAS
で、LAが急上昇。
CPU idle time はまだ相当ある。
load averages: 40.84, 53.78, 34.102
147: root▲ ★ 2006/04/20(木) 20:55:42 ID:???0 BE AAS
少し設定変えたけど、もう下がっちゃったのかな。
148(1): ◆XejmK2zG7E 2006/04/20(木) 21:02:42 ID:4p31BL0O0(2/2)調 AAS
>>139
ご確認ありがとうございます。
>>138の書き込みの内容に一部間違いがございましたことをお詫び致します。
誠に申し訳ございませんでした。
下記に訂正させていただきます。
【DoCoMo】
826（jigブラウザ）
827(ネイティブ）
828（jigブラウザ）
832（ネイティブ）
833（jigブラウザ）
835（jigブラウザ）
【au】
829(jigブラウザ）
830(ネイティブ）
【ボーダフォン】
844(jigブラウザ）
845(ネイティブ）
サーバの追加・変更等があった場合の報告の件了解致しました。
弊社バージョンアップの準備ができ次第IPの公開をさせていただきます。
宜しくお願い致します。
149: root▲ ★ 2006/04/20(木) 21:09:33 ID:???0 BE AAS
sysctl kern.polling.user_frac=20
とかしてみた。
kern.polling.user_frac
When polling is enabled, and provided that there is some work to
do, up to this percent of the CPU cycles is reserved to userland
tasks, the remaining fraction being available for polling pro-
cessing. Default is 50.
150: root▲ ★ 2006/04/20(木) 21:10:16 ID:???0 BE AAS
>>148
了解です。わざわざ訂正ありがとうございました。
151: root▲ ★ 2006/04/20(木) 21:27:52 ID:???0 BE AAS
これ (banana238 に昔入れたもの、今でも入っている)を入れていなかったのを
思い出して、入れてみた。 @ live22
# increase network send/receive buffer
net.inet.tcp.sendspace=131072
net.inet.tcp.recvspace=131072
net.inet.udp.maxdgram=131072
net.inet.udp.recvspace=131072
152: root▲ ★ 2006/04/20(木) 21:32:44 ID:???0 BE AAS
さらに、
net.local.stream.sendspace=131072
net.local.stream.recvspace=131072
を追加。
153: root▲ ★ 2006/04/20(木) 21:38:19 ID:???0 BE AAS
net.inet.tcp.delayed_ack=0
は、live22 バックエンドではしない方がよさげですね。
外部ﾘﾝｸ[html]:www.jp.freebsd.org
154: root▲ ★ 2006/04/20(木) 21:42:13 ID:???0 BE AAS
net.local.dgram.maxdgram=131072
net.local.dgram.recvspace=131072
を追加。
155: root▲ ★ 2006/04/20(木) 21:46:44 ID:???0 BE AAS
で、これらは、
%netstat -s -p udp
udp:
1826031 datagrams received
0 with incomplete header
0 with bad data length field
0 with bad checksum
15 with no checksum
36 dropped due to no socket
0 broadcast/multicast datagrams dropped due to no socket
1055 dropped due to full socket buffers
0 not for hashed pcb
1824940 delivered
1824924 datagrams output
> 1055 dropped due to full socket buffers
これを見つけて、やることにした。
(フロント <=> bbsd は udp で通信)
156: root▲ ★ 2006/04/20(木) 23:22:54 ID:???0 BE AAS
【実況】 live22x Part17
2chｽﾚ:operate
帰宅途中に「banana403/404はパブリック側でmatしているから、
全部Gigabit通信になるはずで、それならプライベート側にはjumbo frame入れられるはず」
と気がつき、live22/live22x[123] に導入してみた。
ifconfig em1 mtu 9000 を設定し、/etc/rc.conf に記述を追加。
%ifconfig -a
em0: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> mtu 1500
options=4b<RXCSUM,TXCSUM,VLAN_MTU,POLLING>
inet6 fe80::230:48ff:fe53:ec66%em0 prefixlen 64 scopeid 0x1
inet 206.223.150.54 netmask 0xffffff00 broadcast 206.223.150.255
ether 00:30:48:53:ec:66
media: Ethernet autoselect (1000baseTX <full-duplex>)
status: active
em1: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> mtu 9000
options=4b<RXCSUM,TXCSUM,VLAN_MTU,POLLING>
inet6 fe80::230:48ff:fe53:ec67%em1 prefixlen 64 scopeid 0x2
inet 192.168.100.1 netmask 0xffffff00 broadcast 192.168.100.255
ether 00:30:48:53:ec:67
media: Ethernet autoselect (1000baseTX <full-duplex>)
status: active
lo0: flags=8049<UP,LOOPBACK,RUNNING,MULTICAST> mtu 16384
inet6 ::1 prefixlen 128
inet6 fe80::1%lo0 prefixlen 64 scopeid 0x3
inet 127.0.0.1 netmask 0xff000000
157: root▲ ★ 2006/04/20(木) 23:26:42 ID:???0 BE AAS
live22x[45] の em1 にも入れた。
cobra2247 は、、、なぜか、ping かからない模様。
158(1): root▲ ★ 2006/04/20(木) 23:36:08 ID:???0 BE AAS
よく見てみたところ、
arplookup 206.223.151.3 failed: host is not on local network
arplookup 206.223.151.4 failed: host is not on local network
arplookup 206.223.151.2 failed: host is not on local network
...
こりゃ、携帯用のVLANですね。
…なるほど、雪だるまのVLANのプライベート側は、
携帯用VLANのパブリック側と同居なのか。
だとすると(携帯用サーバにはbanana = 100Mbps)がいるから、
ジャンボフレームの設定は現時点では無理ですね。(´･ω･｀)ｼｮﾎﾞｰﾝ
中の人にVLANをきちんと分けてもらえば、可能なのかしら。
159(1): 動け動けウゴウゴ２ちゃんねる 2006/04/21(金) 00:51:51 ID:PItZ29620(1/2)調 AAS
TCPなら、ジャンボ設定してもネゴ時にMSS調整して、小さいほうに合わせてくれますけど。
160: 動け動けウゴウゴ２ちゃんねる 2006/04/21(金) 01:00:32 ID:PItZ29620(2/2)調 AAS
あ、HUBの問題か。
161: root▲ ★ 2006/04/21(金) 02:03:24 ID:???0 AAS
>>159
えぇ、TCPは大丈夫でした。
UDP (NFSとかbbsdとか)が、のきなみだめぽ。
162: root▲ ★ 2006/04/21(金) 11:07:28 ID:???0 AAS
今、 live22 はほとんど遊んでいて、idile timeもちゃんと90%ぐらい。
で、load averages: 1.38, 1.18, 1.16 な状態。
DEVICE_POLLING ありにすると、LAが1つ高めに出るのかしら。
比較対象として、ifconfig em[01] -polling にしてみた。
午前中これで動かしてみる。
163: root▲ ★ 2006/04/21(金) 11:08:16 ID:???0 BE AAS
systat -v で割り込みで動いているのを確認。
164: root▲ ★ 2006/04/21(金) 11:32:49 ID:???0 BE AAS
%uptime
7:31PM up 2 days, 10:57, 1 user, load averages: 0.71, 0.64, 0.68
なるほど。
いつでも「あり」「なし」を変えられる状態だから、
負荷がかかった時に、また試してみるか。
再度「あり」に戻しておこう。
165(1): root▲ ★ 2006/04/21(金) 19:36:37 ID:???0 BE AAS
> SunOS さん
ちと、別件でメールさせていただきましたです。
166(2): む＠携帯 2006/04/21(金) 21:45:46 ID:bSDwdv/9O携(1)調 AAS
また、パケットのとりこぼし系かしら。
167(1): む P221119009130.ppp.prin.ne.jp 2006/04/21(金) 22:11:09 ID:wuqnmux/0(1)調 AAS
で、チューニングが不十分なせいかもしれないけど、
DEVICE_POLLINGありのほうが、限界が早い気がするなぁ。
重い状態を人工的に作り出せるようにしないと。
168(1): root▲ ★ 2006/04/21(金) 22:46:40 ID:???0 BE AAS
ちょっと負荷をかけてみたけど(数回)、
このぐらいだとびくともしないなぁ。
いくつかのサーバから同時にしかけないと、だめなのかな。
169(1): 株価【650】 ▲ ◆cZfSunOs.U 2006/04/21(金) 23:58:52 ID:Uf+IMzKU0(1)調 AAS
>>165 メール受け取りました．内容が内容だけに，お返事はしばしお待ちを......
>>166-168 異常のきっかけがパケットの取りこぼしって感じなんですかね．
人為的に実験するとなれば，やはり複数鯖から一斉に，の方が再現しやすいのかもですね．
170(2): 動け動けウゴウゴ２ちゃんねる 2006/04/22(土) 00:04:29 ID:6nuOE4bYO携(1)調 AAS
thttpd
171: 動け動けウゴウゴ２ちゃんねる 2006/04/22(土) 00:05:32 ID:HcKd5O9k0(1)調 AAS
イオナズンのボットのみなさんに協力していただくとか
172: root▲ ★ 2006/04/22(土) 00:59:26 ID:???0 AAS
>>169
第一段落: 了解しました。
第二段落: そうですね。
同じファイルばかりものすごい勢いでアクセスしてもだめぽなのは、
既に以前に実験済みだったり。
>>170
thttpd って、cgi とかさっくり動くんでしたっけ。
というか、ポートとかIPアドレスを変えてフロントとの通信用の thttpd を動かす、とかいう
手はあるのかも。そっちは基本的に、cgi 動かさないわけだし。
で、実験的に device polling をオフにしてみた。
HZ=2000 のままで、ネットワーク系のバッファのパラメータをでかくした状態かなと。
173(1): 動け動けウゴウゴ２ちゃんねる 2006/04/22(土) 23:37:45 ID:DPRbtYaU0(1)調 AAS
>>158
L2SWの方にジャンボフレームを通す設定が入っているのですかね。
紫箱はデフォルトは通さないような。
>>135
live22ってFD_SIZEをかえているから、カーネル/ライブラリ/アプリの
間でサイズの不整合がおきているとか、スタックサイズオーバに
なっているとかですかね。
174: root▲ ★ 2006/04/23(日) 00:06:52 ID:???0 BE AAS
>>173
> 紫箱はデフォルトは通さないような。
なるほど、ありえますね。
> live22ってFD_SIZEをかえているから、カーネル/ライブラリ/アプリの
> 間でサイズの不整合がおきているとか、スタックサイズオーバに
> なっているとかですかね。
ex11 (6.1-RC, worker MPM + libthr) でも起きています。
というか、２ちゃんねるのサーバ全体でみても、かなり昔から、
それこそ mod_cgidso とか入れる前から、散見していたき駕します。 < signal 10
175(1): root▲ ★ 2006/04/23(日) 00:07:53 ID:???0 BE AAS
【 MACKEREL HAS BEEN DOWN 】リブート部隊連絡所 -- Count 02
2chｽﾚ:operate
cobra2247 のカーネルパニックメッセージ:
spin lock smp rendezvous held by 0xffffff00f3600be0 for > 5 seconds
cpuid = 1
176(1): 動け動けウゴウゴ２ちゃんねる 2006/04/23(日) 00:31:02 ID:Tl8hBhv/0(1/2)調 AAS
>>166
パケットのとりこぼしというか、Outputの段階でdropされてるかも。
netstat -sp ip
で
output packets dropped due to no bufs, etc
が結構出てるとか…。
177(1): root▲ ★ 2006/04/23(日) 00:59:55 ID:???0 BE AAS
>>176
live22:
%netstat -sp ip
ip:
569814333 total packets received
0 bad header checksums
0 with size smaller than minimum
0 with data size < data length
0 with ip length > max ip packet size
0 with header length < data size
0 with data length < header length
0 with bad options
0 with incorrect version number
44404 fragments received
4 fragments dropped (dup or out of space)
17 fragments dropped after timeout
22094 packets reassembled ok
569779481 packets for this host
12392 packets for unknown/unsupported protocol
0 packets forwarded (0 packets fast forwarded)
0 packets not forwardable
0 packets received for unknown multicast group
0 redirects sent
614399657 packets sent from this host
0 packets sent with fabricated ip header
600 output packets dropped due to no bufs, etc.
0 output packets discarded due to no route
623622 output datagrams fragmented
3611880 fragments created
0 datagrams that can't be fragmented
0 tunneling packets that can't find gif
0 datagrams with bad address in header
178(1): root▲ ★ 2006/04/23(日) 01:00:58 ID:???0 BE AAS
live22x1:
%netstat -sp ip
ip:
1369507060 total packets received
0 bad header checksums
7 with size smaller than minimum
1 with data size < data length
0 with ip length > max ip packet size
0 with header length < data size
0 with data length < header length
0 with bad options
0 with incorrect version number
1585871 fragments received
11 fragments dropped (dup or out of space)
39 fragments dropped after timeout
273775 packets reassembled ok
1368170580 packets for this host
24340 packets for unknown/unsupported protocol
0 packets forwarded (0 packets fast forwarded)
0 packets not forwardable
0 packets received for unknown multicast group
0 redirects sent
1254082254 packets sent from this host
0 packets sent with fabricated ip header
960 output packets dropped due to no bufs, etc.
164 output packets discarded due to no route
26692 output datagrams fragmented
53608 fragments created
0 datagrams that can't be fragmented
0 tunneling packets that can't find gif
0 datagrams with bad address in header
179(1): root▲ ★ 2006/04/23(日) 01:01:49 ID:???0 BE AAS
live22x2:
%netstat -sp ip
ip:
1941558663 total packets received
0 bad header checksums
4 with size smaller than minimum
1 with data size < data length
0 with ip length > max ip packet size
0 with header length < data size
0 with data length < header length
0 with bad options
0 with incorrect version number
1600442 fragments received
4 fragments dropped (dup or out of space)
28 fragments dropped after timeout
276242 packets reassembled ok
1940200297 packets for this host
34122 packets for unknown/unsupported protocol
0 packets forwarded (0 packets fast forwarded)
0 packets not forwardable
0 packets received for unknown multicast group
0 redirects sent
1773064829 packets sent from this host
0 packets sent with fabricated ip header
724 output packets dropped due to no bufs, etc.
16 output packets discarded due to no route
38083 output datagrams fragmented
76529 fragments created
0 datagrams that can't be fragmented
0 tunneling packets that can't find gif
0 datagrams with bad address in header
180(1): root▲ ★ 2006/04/23(日) 01:02:27 ID:???0 BE AAS
live22x3:
%netstat -sp ip
ip:
1942658831 total packets received
0 bad header checksums
0 with size smaller than minimum
2 with data size < data length
0 with ip length > max ip packet size
0 with header length < data size
0 with data length < header length
0 with bad options
0 with incorrect version number
1577166 fragments received
0 fragments dropped (dup or out of space)
36 fragments dropped after timeout
271920 packets reassembled ok
1941319657 packets for this host
33893 packets for unknown/unsupported protocol
0 packets forwarded (0 packets fast forwarded)
0 packets not forwardable
0 packets received for unknown multicast group
0 redirects sent
1776610741 packets sent from this host
0 packets sent with fabricated ip header
656 output packets dropped due to no bufs, etc.
76 output packets discarded due to no route
38092 output datagrams fragmented
76529 fragments created
0 datagrams that can't be fragmented
0 tunneling packets that can't find gif
0 datagrams with bad address in header
181(2): 動け動けウゴウゴ２ちゃんねる 2006/04/23(日) 01:12:40 ID:Tl8hBhv/0(2/2)調 AAS
>>177-180
UDPで再送してないとdropされた時点でOUTだけど、
ん〜、でも意外?にdropされてないですね。。
182: root▲ ★ 2006/04/23(日) 01:15:35 ID:???0 BE AAS
>>181
> ん〜、でも意外?にdropされてないですね。。
そうなんですよね。ううむ。
183(3): ◆XejmK2zG7E 2006/04/24(月) 11:26:21 ID:Kofmj0/f0(1/2)調 AAS
お世話になっております。
株式会社jig.jpの菊池です。
バージョンアップの準備が完了致しましたので全IPの公開を致します。
バージョンアップは明日を予定しております。
下記URLよりご確認いただけます。
外部ﾘﾝｸ[html]:br.jig.jp
宜しくお願い致します。
184: 動け動けウゴウゴ２ちゃんねる 2006/04/24(月) 11:35:56 ID:eHG25XWb0(1)調 AAS
jigブラウザBREW版に関しましては、KDDIの審査において認可がおりなかった為、
サービス開始時期は未定となっております。なお、今後も申請を続ける予定でございます。
どう考えても政治的理由によるものでは・・・・・w
185: 動け動けウゴウゴ２ちゃんねる 2006/04/24(月) 11:43:34 ID:3kei+bh1O携(1)調 AAS
フルブラがあるのにjig使われたら定額上限アップ出来ないからね。
186(1): root▲ ★ 2006/04/24(月) 12:50:08 ID:???0 BE AAS
>>183
情報をありがとうございます。
現時点で、64IPアドレスですか。
これだけあると、use Net::CIDR::Lite; する感じですね。
まずはこれで作業すすめます。
が、もし可能であれば、携帯電話のゲートウェイサーバと同様の形で、
つまり CIDR 表記で指定できる形で公開いただけますと、
大変ありがたいです。
ということで、ご検討をよろしくお願いいたします。
187(1): root▲ ★ 2006/04/24(月) 13:37:57 ID:???0 BE AAS
qb5 サーバに >>183 の IP アドレスを組み込んだ
本番用の bbs.cgi を入れました。実験いただけると助かります。
188(1): root▲ ★ 2006/04/24(月) 14:13:38 ID:???0 BE AAS
あと >>183 のリンク先に、「2006年4月24日現在」といった形で、
最終更新の日付を入れていただけますと、より作業がしやすくなります。
ご検討いただけますと助かります。
qb5 での動作確認ができ次第、
本 bbs.cgi を全サーバに配布させていただきます。
以上、よろしくお願いいたします。
189(1): 動け動けウゴウゴ２ちゃんねる 2006/04/24(月) 17:39:39 ID:tyCVZJR+0(1)調 AAS
ふと思ったのですが、
高負荷時にバッファがいっぱいになる前に
bbsd を優先的にスケジュールするように、
bbsd を nice or renice しちゃうというのはどうでしょうか。
190: root▲ ★ 2006/04/24(月) 17:40:29 ID:???0 BE AAS
>>189
matd と同じ手法ですか。いいかもですね。
191: root▲ ★ 2006/04/24(月) 17:43:41 ID:???0 BE AAS
#!/bin/sh
exec 2>&1
exec env - TZ="JST-9" PATH="/usr/sbin:/usr/bin:/bin:/usr/local/bin" \
LANG="ja_JP.SJIS" \
/usr/bin/nice -n -20 setuidgid ch2live22 /usr/local/sbin/bbsd -f \
-c -b 192.168.100.1 -d /home/ch2live22/public_html \
-i 2 -I 60 -n 8 -p 2222 -s live22x.2ch.net
こうしてみた。 < live22
192(1): ◆XejmK2zG7E 2006/04/24(月) 18:48:02 ID:Kofmj0/f0(2/2)調 AAS
>>187
対応ありがとうございます。
実験が終了致しましたらご連絡致します。
>>186
>>188
こちら対応致しました。
外部ﾘﾝｸ[html]:br.jig.jp
CIDR表記も追加致しましたが、数は結構多くなっております。
宜しくお願い致します。
193(1): root▲ ★ 2006/04/24(月) 19:01:24 ID:???0 BE AAS
>>192
> jigブラウザIP一覧 「2006年4月24日現在」
CIDR表記での表現、助かります。
早速設定させていただきますので、テストはその後にお願いします。
(テストOKになった時点でこちらで連絡いたします)
# 「」 は要らないです(w。
194(1): root▲ ★ 2006/04/24(月) 19:05:58 ID:???0 BE AAS
>>193
> 早速設定させていただきますので、テストはその後にお願いします。
> (テストOKになった時点でこちらで連絡いたします)
qb5 サーバの準備完了しました。
それでは、よろしくお願いします。
195(2): root▲ ★ 2006/04/25(火) 01:51:49 ID:???0 BE AAS
過去ログ部分は、NFSで問題なく動いている模様。
シビアにアクセスしなければいいっていう感じなのかな。
あるいは6.0Rでは5.4Rにあった虫がとれているとかか。
196(1): 株価【800】 ▲ ◆cZfSunOs.U 2006/04/25(火) 02:00:31 ID:PxdU2BU80(1)調 AAS
>>195 まぁ，猛烈にアクセスしても平気なのかは，じっけ(ry
ただ，ファイル更新とバッティングした際の問題は
過去ログではほとんど発生しない，ってのも大きいのかも知れませんね．
197: root▲ ★ 2006/04/25(火) 02:09:43 ID:???0 BE AAS
>>196 第一段落
過去ログでは、「祭り」はないですからね(あってたまるか（ｗ)。
で、ご指摘のとおり、
基本的にはdatができていくだけなので、
そういう部分では、確かに虫を踏む可能性は少なそうですね。
(というかそう思ったので、NFSにしてみたという側面があります)
198(1): 動け動けウゴウゴ２ちゃんねる 2006/04/25(火) 09:16:41 ID:aQCO1jRV0(1)調 AAS
>>rootさん
jigブラウザでの書き込みの対応が目前な様ですが、書き込み可能になった場合の
公式p2経由での書き込みに関してはどのような扱いになりますでしょうか？
確か、現在の公式p2ではBBQとBBMの規制データを基に規制をしていたと思うのですが
199(1): ◆XejmK2zG7E 2006/04/25(火) 11:02:17 ID:tmltVyDb0(1/2)調 AAS
>>194
書き込みテストが完了致しました。
問題ございません。
■テスト結果
2chｽﾚ:operate
【DoCoMo】
27ネイティブ
28jigブラウザ
【ボーダフォン】
30jigブラウザ
32ネイティブ
【au】
69jigブラウザ
70ネイティブ
bbs.cgi全サーバに配布お願い致します。
宜しくお願い致します。
200: root▲ ★ 2006/04/25(火) 11:34:32 ID:???0 BE AAS
>>199
配布完了しました。10分ほどで有効になります。
>>198
昨日、質雑スレでもこのやりとりあったですね。
通常書き込みについては個別規制できるようになったので、
「BBQ解除して公式p2についてはどんどん芋掘りしてどんどん規制」でも
いいのかな、とは思いますが、芋掘りしなきゃならないというところで、
ちょっとちゅうちょしていたり。
# 私は今のところ「芋掘りはしない」と決めているです。
# 管理人に昔「募集中ですよ」って誘われましたが、唯一、明確にお断りしました。
# どこかに一つぐらい歯止めを持っておかないと、きりがなくなっちゃうし。
201: ▲ ◆SANUKI/VII 2006/04/25(火) 11:46:53 ID:tWONX7RjP(1)調 BE AAS
そして伝説へ
202(1): 動け動けウゴウゴ２ちゃんねる 2006/04/25(火) 11:51:08 ID:PGEbgPoeP(1)調 AAS
P2の規制チェックをBBQからBBXにすることはできませんか？
ここではスレ違いかな…
203(1): 動け動けウゴウゴ２ちゃんねる 2006/04/25(火) 11:52:36 ID:+haoXbxGP(1)調 AAS
ibisやjig側がp2を作ってアプリで直カキコした時と同じように端末情報などを2ch側に送信するのは？
204: root▲ ★ 2006/04/25(火) 11:55:16 ID:???0 BE AAS
>>202
Proxy + p2 で、荒らしツールとして使われまくった過去があるですね。
ようは「規制回避ツール」「荒らしツール」として使うのは、おことわりってことで。
で、たぶんスレ違いな肝。
# 上にも質雑スレにも書いたように、ibis と jig については迷っているので、
# 気まぐれに解除を依頼するかも。
205(2): root▲ ★ 2006/04/25(火) 12:02:40 ID:???0 BE AAS
>>203
そういう形での解決は、ありえますね。
p2(相当)のしくみを各アプリのベンダーさんが持って
技術情報を開示 => ２ちゃんねるでうまく対応
みたいな解決パターンは、じゅうぶん考えられると思います。
前スレでもちょっと議論しましたが、一般論だと、
・荒らしツール、規制回避ツールとして使うのはおことわりです
・携帯の場合、個別規制ができる形がいいなぁ(= 端末固有情報を２ちゃんねる側で得られる)
・２ちゃんねるから見て、コスト的に大きくないのがいいなぁ(= 大きな負荷や手間がかからない)
ってかんじなのかなと。
206(1): root▲ ★ 2006/04/25(火) 15:44:42 ID:???0 BE AAS
Hello, Sean-san, Jim-san,
Cc: related folks,
This is Mumumu. Genki-desuka?
Now several XO 2ch servers, cobra2247, tiger503, and tiger507 are
'almost idling'. So, we need to verify the current electric power
status before these servers working well.
I want to know the current status of power circuit configuration.
I think that if cobra2247 works well, it will use the electric power
almost the same as oyster901. Is the current electric power
configuration of XO enough for it?
And if tiger503 and tiger507 work well, they will use the electric
power almost the same as tiger2523 and tiger2524.
If the power is not enough for them, we can move out some servers of XO,
they are tiger504, tiger509, tiger510 and cobra2245.
We want to advance the power up of the server of 2ch by "The Snowman"
clustering technology. The "Snowman" system is now working on tiger2522,
tiger2523, tiger2524 and tiger2525.
I think it is an ultimate server system for 2ch. I will describe to you
details of it.
Thank you for your cooperation.
Regards,
207(1): root▲ ★ 2006/04/25(火) 16:32:31 ID:???0 BE AAS
菊池様;
202.181.98.242
202.181.98.243
202.181.98.244
202.181.98.245
202.181.98.246
202.181.98.247
202.181.98.248
202.181.98.249
202.181.98.250
これらの御社のサーバは、DNSの逆引きがエラーになっているようです。
208: root▲ ★ 2006/04/25(火) 16:34:18 ID:???0 BE AAS
>>207 続き、
こちらで確認してみたところ、
%dig -t ptr 242.98.181.202.in-addr.arpa. @ns1.dns.ne.jp.
; <<>> DiG 9.3.2 <<>> -t ptr 242.98.181.202.in-addr.arpa. @ns1.dns.ne.jp.
; (1 server found)
;; global options: printcmd
;; Got answer:
;; ->>HEADER<<- opcode: QUERY, status: NOERROR, id: 61718
;; flags: qr rd; QUERY: 1, ANSWER: 0, AUTHORITY: 2, ADDITIONAL: 0
;; QUESTION SECTION:
;242.98.181.202.in-addr.arpa. IN PTR
;; AUTHORITY SECTION:
242.98.181.202.in-addr.arpa. 3600 IN NS dns1.jig.jp.98.181.202.in-addr.arpa.
242.98.181.202.in-addr.arpa. 3600 IN NS dns2.jig.jp.98.181.202.in-addr.arpa.
;; Query time: 110 msec
;; SERVER: 210.188.224.9#53(210.188.224.9)
;; WHEN: Tue Apr 25 00:31:48 2006
;; MSG SIZE rcvd: 90
となっており、DNSサーバの指定が適切ではない状態にみえます。
# たぶん上位ISP(ns1.dns.ne.jp)において、NS 指定の末尾に "." を付け忘れていると思われ。
# 以上、老婆心ながら。
209: ◆XejmK2zG7E 2006/04/25(火) 17:48:43 ID:tmltVyDb0(2/2)調 AAS
>>205
ご指摘ありがとうございます。
DNSの逆引きエラーに関しましては弊社方でも認識しておりまして
現在対応しております。
宜しくお願い致します。
210(1): 桶屋 2006/04/26(水) 00:16:26 ID:4qUryQYl0(1/2)調 AAS
>>181>>195
気になったのは、ネットワークのどこかでドロップされている、ということはありませんか？
例えば、1000Mbpsで繋がっているポートと100Mbpsで繋がっているポートがあると、
帯域が狭くなるところでスイッチのバッファに一時貯められるわけですけど、
バッファ容量以上のパケットが押し寄せてくると、パケットは捨てられてしまうわけです。
TCPなら再送されますが、UDPだと取りこぼしてしまいます。
・切り分け
サーバのアクセスが集中しているときに、NFSやbbsdをTCPにしてみる。
211: 株価【650】 ▲ ◆cZfSunOs.U 2006/04/26(水) 00:33:46 ID:Nigoyequ0(1)調 AAS
>>210
>サーバのアクセスが集中しているときに、NFSやbbsdをTCPにしてみる。
ん......問題の切り分けという点では興味深いですが，bbsd は UDP に依存した
造りになってるんで，TCP で扱えるようにするのはちょっと大変かも......
あと，アクセス集中でおかしくなる時はバックエンドへの HTTP アクセス，
つまり TCP でもどん詰まりになってるんで，パケットのドロップ自体より，
ドロップをきっかけに別の異常が発生しているという感じなのかな，とも......
212: 桶屋 2006/04/26(水) 00:36:11 ID:4qUryQYl0(2/2)調 AAS
＞あと，アクセス集中でおかしくなる時はバックエンドへの HTTP アクセス，
＞つまり TCP でもどん詰まりになってるんで，パケットのドロップ自体より，
＞ドロップをきっかけに別の異常が発生しているという感じなのかな，とも......
詳しくどうもです。
もうちょっと詳しい観察と切り分けが必要ってことなんですね。
213: root▲ ★ 2006/04/26(水) 11:47:26 ID:???0 AAS
>>206 の件、Jim さんから「調べさせる」という返事あり。
結果も来てました。別途、報告入れます。
214: root▲ ★ 2006/04/26(水) 14:27:52 ID:???0 BE AAS
Jim-san, Ryan-san, Tom-san,
Thank you for your help.
I have more questions.
1) I want to know which circuit following servers are connected to
precisely.
tiger503
tiger507
cobra2247
I think MS VM 1 and MS VM 2 in MS-XO-9 are almost full. If these
servers are connected to their circuit, we have to change the circuit
configuration. So, please tell us the information.
2) What time do you measured the amp usage? The amp usage of 2ch
servers are vary. 22:00-24:00 JST (it is equal to 6:00;8:00 PDT)
is the maximum time. We need to check the actual usage at that time.
Regards,
> MS-XO-2
> MS VM 1 Load: 8 of 20 amps [39%]
> MS VM 2 Load: 3 of 15 amps [17%]
> MS-XO-9
> MS VM 1 Load: 11 of 15 amps [73%]
> MS VM 2 Load: 17 of 20 amps [87%]
> MS VM 3 Load: 6 of 20 amps [31%]
> MS VM 4 Load: 5 of 15 amps [32%]
215(1): む＠携帯 2006/04/26(水) 21:44:09 ID:LLZKM6MbO携(1)調 AAS
do you measuredって何だよ、、、。ううむ。
216(2): 株価【600】 : ◆SEXY...t7c 2006/04/26(水) 23:13:37 株 ID:U/13fwBJP(1)調 BE AAS
>>215
ibis+公式p2書き込みの件で返事来ました
いつもお世話になっております。アイビスサポート係です。
p2の管理者様が
「ibisBrowserから2chに書き込むために出力しているUserAgent」
への有効化を行っていただければ、
ibisBrowser側のアップデートで実現可能と思います。
実装については前向きに検討してまいります。
今後ともよろしくお願い申し上げます。
↑をあきさんに伝えれば宜しいのでしょうか？
217(1): root▲ ★ 2006/04/27(木) 00:20:37 ID:???0 BE AAS
>>216
ですね。
既にこちらにも貼られているようです。
p2.2ch.net不具合報告スレ Part10
2chｽﾚ:operate
218: 株価【600】 : ◆SEXY...t7c 2006/04/27(木) 00:57:25 株 ID:paP4b8ntP(1/3)調 BE AAS
>>217
向こうに詳しい人が来てくれたみたいですね
色々ありがとうございましたm(__)m
219(6): root▲ ★ 2006/04/27(木) 01:31:18 ID:???0 BE AAS
あ、そうだ。一応念のため。
ibis さん、jig さんとも、相手方のドメイン名を見て、固有情報を送っているのかしら。
だとすると、2ch.net に加えて、bbspink.com に対しても同じ動作をする必要があると思います。
220(1): 動け動けウゴウゴ２ちゃんねる 2006/04/27(木) 01:50:56 ID:7FX0xzeW0(1/4)調 AAS
>>219
確認してみました。
ibis、jigともにbbspink.comの場合は固有情報を送っていないようで、
「携帯用ブラウザからの情報を正しく取得できませんでした。(2)」が表示されました。
221(2): root▲ ★ 2006/04/27(木) 01:51:15 ID:???0 BE AAS
p2.2ch.net のほうでは、対応が終わったとのことです。
p2.2ch.net不具合報告スレ Part10
2chｽﾚ:operate
ということで、p2.2ch.net 経由での書き込みについても、
通常の bbs.cgi 経由での書き込みと同じ形で
固有情報を送っていただくように設定された時点で、
同様に書き込みができるようになるはずです。 > ibis/jig とも
# この場合のIDの末尾は、通常のp2での書き込み同様に P となります。
222(2): root▲ ★ 2006/04/27(木) 01:53:42 ID:???0 BE AAS
>>220
了解。やはりそうですか。
これは、それぞれの中の方々の対応待ちですね。
お手数ですが、もし公式 p2 のアカウントをお持ちであれば、
>>221 についても、＊以下のスレでの解除作業が終了後に＊
お試しいただけますと助かります。
【BBQ＆BBM14本目】公開串登録所【ピンポイント規制】
2chｽﾚ:sec2chd
223(1): 動け動けウゴウゴ２ちゃんねる 2006/04/27(木) 02:09:40 ID:7FX0xzeW0(2/4)調 AAS
>>222
p2で試してみました。
ibis、jigともに
「p2 error: 携帯の固有端末IDを送信しないと書き込みできません。。(携帯の設定で、固有端末IDを送信するようにしてください)」
が表示されました。
・・・あれっ？
224(1): 動け動けウゴウゴ２ちゃんねる 2006/04/27(木) 02:12:40 ID:7FX0xzeW0(3/4)調 AAS
どうやらjigも通常の書き込み時"のみ"固有情報を送信しているようですね。
・・・ということはjig側の対応も必要ということですね。
225(2): root▲ ★ 2006/04/27(木) 02:18:56 ID:???0 BE AAS
西村様、菊池様;
p2.2ch.net不具合報告スレ Part10
2chｽﾚ:operate
ということで、jig, ibis とも、現時点では p2.2ch.net 経由では
固有情報を送信しないように設定されている模様です。
p2.2ch.net は２ちゃんねる公式のサービスですので、
こちらでの書き込みの際にも、同様の形式で送るように
設定をいただけますと大変助かります。
なお、>>221 にあるように、p2.2ch.net での設定は完了している旨、
連絡をもらっています。
>>219 の件とあわせ、お手数ですがよろしくお願いいたします。
226: root▲ ★ 2006/04/27(木) 02:19:32 ID:???0 BE AAS
>>223-224
そのようですね。
ということで、>>225 と。
227: root▲ ★ 2006/04/27(木) 02:21:28 ID:???0 BE AAS
jig さんについては、続報が。
ちと、向こうのスレの動きを観察します。
p2.2ch.net不具合報告スレ Part10
2chｽﾚ:operate
228(1): root▲ ★ 2006/04/27(木) 02:36:18 ID:???0 BE AAS
p2.2ch.net不具合報告スレ Part10
2chｽﾚ:operate
jig については、p2.2ch.net 側の対応により
書き込みが可能になったようです。
ということで残作業は、
jig: >>219
ibis: >>219 >>216
になります。お手数ですがよろしくです。
# 今日はそろそろ、寝る時間で。
229: 株価【600】 : ◆SEXY...t7c 2006/04/27(木) 02:43:25 株 ID:paP4b8ntP(2/3)調 BE AAS
>>228
お疲れさまでした
ibisにはメールしたので後は対応してもらえる事を願いつつ待ちます
本当にありがとうごさいましたm(__)m
230: 七宝焼 ★ 2006/04/27(木) 02:47:50 ID:???0 BE AAS
一応こちらにも報告します。
>>222
解除作業が終了しました。
231: stream ◆PNstream2s 2006/04/27(木) 10:57:48 ID:eG5n3QCX0(1)調 AAS
いつのまにかeAccelerator-0.9.5-beta2になってます
232: 株価【600】 : ◆SEXY...t7c 2006/04/27(木) 11:25:44 株 ID:paP4b8ntP(3/3)調 BE AAS
>>219に関してibisから返事来ましたー
いつもお世話になっております。アイビスサポート係です。
情報提供まことにありがとうございます。ご連絡いただいたページも参考にさせていただきます。
今後とも宜しくお願い申し上げます。
との事です
もー1通はp2スレに貼ります
ありがとうございましたm(__)m
233(1): ◆XejmK2zG7E 2006/04/27(木) 11:35:29 ID:Qrmf01en0(1)調 AAS
>>219
書き込み先のドメインを確認して端末情報を送信しているのですが
2ch.net,bbspink.com以外に端末情報を送信する必要のあるドメインは
ございますでしょうか？
234(1): root▲ ★ 2006/04/27(木) 11:43:07 ID:???0 BE AAS
>>233
そういえば、u.la もですね。
よろしくお願いします。
現在のところは、この3つ以外には必要ないはずです。
状況が変化したらその都度ここでお知らせします。
235(1): ◆PyBmQVnXTM 2006/04/27(木) 12:03:55 ID:VKQyPqiN0(1)調 AAS
>>219
bbspink.com に対してのテスト書き込みを行いました。
>>225
p2への書き込みの件、承知しました。
(現在、モリタポの申請中です)
>>234
u.la から bbspink に書き込む際の action属性の中に utn が含まれているため、
404が返されております。(firefoxで確認済)
できれば修正していただけると助かります。
236: root▲ ★ 2006/04/27(木) 14:33:35 ID:???0 BE AAS
>>235
第一段落、第二段落
よろしくおねがいします。
第三段落
状況確認しました。修正してもらう方向で。
237: root▲ ★ 2006/04/27(木) 15:02:37 ID:???0 BE AAS
u.la の対応がなされたようです。
雪だるま作戦のスレを待ち続けるスレ Part6
2chｽﾚ:nanmin
確認をお願いいたします。
238(1): ◆PyBmQVnXTM 2006/04/27(木) 15:35:13 ID:8yYtn6v10(1)調 AAS
u.la から bbspink.comの書き込みを確認しました。
外部ﾘﾝｸ:same.u.la
478: bbspink.com からibisBrowserで直接書き込み
479: c.2ch.net からibisBrowserで書き込み
480: (PCから書き込み)
481: u.la からibisBrowserで書き込み
以上の通り、書き込みできましたことを報告いたします。
239(1): root▲ ★ 2006/04/27(木) 16:09:47 ID:???0 BE AAS
>>238
了解しました。
公式 p2 以外は対応できたということですね。
向こうの様子をみていると、公式 p2 ももうすぐ対応できそうな感じで。
240: ◆PyBmQVnXTM 2006/04/27(木) 17:24:20 ID:+NOcME0YP(1)調 AAS
>>239
ありがとうございました。
公式p2への書き込みも無事終了しました。
今後ともよろしくお願い申し上げます。
241(1): カイト 2006/04/27(木) 19:05:12 ID:hLXKjTQn0(1)調 AAS
皆さんに質問ですウイルスの作り方知ってる人カキコおねがいします
(＊´д｀)ハァハァ
242: 動け動けウゴウゴ２ちゃんねる 2006/04/27(木) 19:20:01 ID:xm32mp4Q0(1/2)調 AAS
>>241
まずメモ帳を開く
↓
243: 動け動けウゴウゴ２ちゃんねる 2006/04/27(木) 19:21:37 ID:swt1nvC50(1)調 AAS
そしてお湯を沸かす
↓
244: ▲ ◆SANUKI/VII 2006/04/27(木) 19:25:15 ID:EBXb9wjTP(1)調 BE AAS
VIPでやれ
245: 動け動けウゴウゴ２ちゃんねる 2006/04/27(木) 20:07:09 ID:xm32mp4Q0(2/2)調 AAS
怒られる
↓
246: 動け動けウゴウゴ２ちゃんねる 2006/04/27(木) 20:11:25 ID:Egjy6L/JP(1)調 AAS
讃岐あぼん
247: 動け動けウゴウゴ２ちゃんねる 2006/04/27(木) 20:13:11 ID:qyRDUlMq0(1)調 AAS
出来上がりです！
248: 動け動けウゴウゴ２ちゃんねる 2006/04/27(木) 20:23:03 ID:vNc69kqx0(1)調 AAS
蒸らしが足りないので失敗でした。。
249: 動け動けウゴウゴ２ちゃんねる 2006/04/27(木) 20:24:35 ID:7FX0xzeW0(4/4)調 BE AAS
rootさん・西村さん、お疲れ様でしたm(_ _)m
250: root▲ ★ 2006/04/27(木) 21:48:54 ID:???0 BE AAS
さっき、live22 が重くなった時。
症状は先日と同じで、CPU idle time が 0 になり、
umtx という状態の httpd が多数発生して、httpd 自体が signal 10 でダウンするもの。
httpd の数を少なくしておくと、操作できなくなるほどの重さにはならない。
core 吐いているので、gdb の出力をこれから調査。
(gdb) where
#0 0x282884d3 in _umtx_op () from /lib/libc.so.6
Cannot access memory at address 0xb787de80
251: root▲ ★ 2006/04/27(木) 21:51:55 ID:???0 BE AAS
で、top で見ると、
"stopped" なスレッドが山ほどいた。
明らかに、挙動不審だ。
252: root▲ ★ 2006/04/27(木) 21:58:05 ID:???0 BE AAS
もう1回堀江被告が出るようなので、
/etc/libmap.conf を /etc/libmap.conf.SAVE に mv して、
Apache と bbsd をリスタートし、
libthr => libpthread に戻してみた。
253: root▲ ★ 2006/04/27(木) 22:26:56 ID:???0 BE AAS
#XXX#MaxKeepAliveRequests 100
↓
MaxKeepAliveRequests 0
これはあんまり効果ないかなぁ。
やはり、mod_cache とかか。
254: 株価【600】 ▲ ◆cZfSunOs.U 2006/04/27(木) 23:41:38 ID:+k37joJg0(1/2)調 AAS
桃の毛が明晩に迫ってて，バック増設も間に合いそうにない，となると
やはり mod_cache か......
255(1): 動け動けウゴウゴ２ちゃんねる 2006/04/27(木) 23:54:34 ID:FVJqUPlM0(1)調 AAS
桃の毛は5/12だからそこまで急がなくても。
256: 株価【600】 ▲ ◆cZfSunOs.U 2006/04/27(木) 23:58:12 ID:+k37joJg0(2/2)調 AAS
>>255 なるほど......金曜日とかどっかで見たような気がして，てっきり明日かと......
257(1): stream ◆PNstream2s 2006/04/28(金) 00:12:56 ID:kCVpYe/y0(1)調 AAS
Apache2.2.0で起こるフロントの暴走って結局どうなりました？
mod_proxyで子プロセスがCPUを100%つかうバグが2.2.0にあるみたいですけど
外部ﾘﾝｸ[cgi]:svn.apache.org
258: root▲ ★ 2006/04/28(金) 00:18:32 ID:???0 BE AAS
>>257
今フロントは Apache 2.0.55 + libpthread です。
特に暴走問題はその後起こってない模様。
259(1): 動け動けウゴウゴ２ちゃんねる 2006/04/28(金) 00:31:15 ID:g6hnuWFD0(1/2)調 AAS
2.2.0じゃないの？
GET /ootoko/subject.txt HTTP/1.1
If-Modified-Since: Thu, 27 Apr 2006 14:27:26 GMT
Host: live22x.2ch.net
Accept: text/html, */*
Accept-Encoding: gzip
User-Agent: Monazilla/1.00 (JaneStyle/2.23)
HTTP/1.1 304 Not Modified
Date: Thu, 27 Apr 2006 15:22:36 GMT
Server: Apache/2.2.0
ETag: "126a1-3d-63244f80"
Vary: Accept-Encoding
260: root▲ ★ 2006/04/28(金) 00:39:25 ID:???0 BE AAS
>>259
mod_proxy 経由でバックエンドにいくと、そうなります。
バックエンドは Apache 2.2.0
HEAD / HTTP/1.1
Host: live22x.2ch.net
HTTP/1.1 200 OK
Date: Thu, 27 Apr 2006 15:38:03 GMT
Server: Apache/2.0.55
Last-Modified: Thu, 18 Aug 2005 12:46:12 GMT
ETag: "da84b-8c-9917ed00"
Accept-Ranges: bytes
Content-Length: 140
Vary: Accept-Encoding
Content-Type: text/html
261: 動け動けウゴウゴ２ちゃんねる 2006/04/28(金) 00:40:58 ID:g6hnuWFD0(2/2)調 AAS
あら、そんな仕様だったのか。失礼しました。
262(1): root▲ ★ 2006/04/29(土) 03:57:21 ID:???0 BE AAS
明日以降、mod_cache を入れるべく、
squid と mod_cache あり Apache との間で実際にどんなやりとりがなされているか
調べてみるということで。
263(9): 動け動けウゴウゴ２ちゃんねる 2006/04/29(土) 10:41:19 ID:pY0afDFM0(1)調 AAS
Apacheが落ちちゃう問題について。
自宅の6.0-RELEASEマシンで再現したので、いろいろ調べてるんですが、
メモリが破壊されることがある模様。
例:
(gdb) frame 2
#2 0x08095001 in ap_http_header_filter (f=0x819edd8, b=0x819f708) at http_filters.c:1024
1024 send_all_header_fields(&h, r);
(gdb) p r
$31 = (request_rec *) 0x819e050
(gdb) p *r
$32 = {pool = 0x2c746153, connection = 0x20393220, server = 0x20727041, next = 0x36303032,
<長いので省略>
(gdb)
0x2c746153 -> ,taS -> Sat,
0x20393220 -> 92 -> 29
0x20727041 -> rpA -> Apr
つまり Sat, 29 Apr
…というように、本来ポインタ値が入るところに文字列が入ってます。
今のところ、OSの問題なのか、Apacheの問題なのかは不明です。
264: 株価【700】 ▲ ◆cZfSunOs.U 2006/04/29(土) 11:02:03 ID:z/i950CG0(1/2)調 AAS
>>262 この壁を乗り越えると，また一歩前進と......
265: 軍艦焼 ★ 2006/04/29(土) 11:07:12 ID:???0 AAS
【BBQ＆BBM14本目】公開串登録所【ピンポイント規制】
2chｽﾚ:sec2chd
携帯からなのでbrew.ne.jpと思われる範囲をばっさりしました。
（>>205の考えと宣伝荒らし発生のため）
ご報告まで。
266: 株価【700】 ▲ ◆cZfSunOs.U 2006/04/29(土) 11:20:38 ID:z/i950CG0(2/2)調 AAS
>>263 う〜む......そうなっちゃうとすると SIGBUS 発生も頷けますが，しかしなぜそうなるのか......
267: 動け動けウゴウゴ２ちゃんねる 2006/04/29(土) 11:23:23 ID:TGF9wkTR0(1)調 AAS
メモリが糞で化けてる可能性は無視ですか？そうですか。
268: 動け動けウゴウゴ２ちゃんねる 2006/04/29(土) 12:04:34 ID:WQscSnyKO携(1/2)調 AAS
きっとアドレスが足りないんだよ、ァ。
再現できるので、多分OSでゴミが貯まっているかも。
二日にいっぺん再起動かけるようにしたらいいかも。
10:55〜11:00までは朝支度をしています。何卒ご了承下さい。
269: 動け動けウゴウゴ２ちゃんねる 2006/04/29(土) 13:58:38 ID:2y12yphs0(1/2)調 AAS
memtestかけて何も問題無かったらapacheの問題かな？
270(1): root▲ ★ 2006/04/29(土) 14:01:00 ID:???0 BE AAS
signal 10 で落ちるのは 2ch 全土でかなり昔から観測されているので、
Apache か OS の問題と思いますね。
preform MPM な banana / tiger / cobra でも観測されているです。
271: root▲ ★ 2006/04/29(土) 14:02:02 ID:???0 BE AAS
>>270 補足
ただ、worker MPM で負荷が高くなった時にまとまって落ちるという
現在の症状のものとは、
原因が異なっているような気もしていたりします。
上下前次1-新書関写板覧索設栞歴
あと 730 ﾚｽあります
ｽﾚ情報 赤ﾚｽ抽出 画像ﾚｽ抽出 歴の未読ｽﾚ
ぬこの手 ぬこTOP 0.023s