[過去ログ] 過去ログ&●(2chビューア)情報スレ 04 (1001レス)
前次1-
抽出解除 必死チェッカー(本家) (べ) 自ID レス栞 あぼーん

このスレッドは過去ログ倉庫に格納されています。
次スレ検索 歴削→次スレ 栞削→次スレ 過去ログメニュー
リロード規制です。10分ほどで解除するので、他のブラウザへ避難してください。
964
(1): 動け動けウゴウゴ2ちゃんねる 2008/04/06(日)11:16 ID:oa0qgFE/0(1/15) AAS
昨日ニュース速報VIP板の検索をしてくれた人のために
yutori.2ch.net/news4vipを優先してクロールしたぞー

どれどれ・・・
「格納スレッド809531のうち、news4vipのスレッド779480、つまり96.2%がVIPのスレだお( ^ω^)」
   。 。
  / / ポーン!
( Д )
966: 動け動けウゴウゴ2ちゃんねる 2008/04/06(日)13:54 ID:oa0qgFE/0(2/15) AAS
>>965
Linuxでも動くようにしてくれたらやる!
Win鯖はこの前電源が逝ってしまいますた
968: 動け動けウゴウゴ2ちゃんねる 2008/04/06(日)14:23 ID:oa0qgFE/0(3/15) AAS
>>967
その辺の扱いはどーしよっかなー

現在のリストはbbsmenu.htmlから作ったので、隠し板はありません。

外部リンク[html]:www.2ch.netから過去の倉庫も辿らなくちゃいけないんだけど、
それは現役倉庫(新しくスレッドが格納されていく倉庫)のクロールシステムができてからにするつもり。
969: 動け動けウゴウゴ2ちゃんねる 2008/04/06(日)14:25 ID:oa0qgFE/0(4/15) AAS
ニュース速報板「news」で検索してくれた人がいるんだけど、
ニュース速報VIP板「news4vip」が検索結果に含まれてしまう模様。

どーしたものか。。。
971
(2): 動け動けウゴウゴ2ちゃんねる 2008/04/06(日)15:24 ID:oa0qgFE/0(5/15) AAS
>>970
PINKは年齢的問題からできません><
まちBBS?何それ、食(ry
・・・まちBBSは過去ログの仕組みがよく分からないです

事実、●持ちご用達ツール兼●販促ツールであり、
隠し板は考慮に値すると思うんだが・・・
私が隠し板は壁とアラスカしか知らない。
まぁ、ググればいくらでも出てくるとは思うが・・・。

とりあえず、非隠し板のクロールが終わってからね。
974
(1): 動け動けウゴウゴ2ちゃんねる 2008/04/06(日)15:36 ID:oa0qgFE/0(6/15) AAS
>>972-973
把握、じゃぁ「机」をこれからクロールするよう指示します
975: 動け動けウゴウゴ2ちゃんねる 2008/04/06(日)15:56 ID:oa0qgFE/0(7/15) AAS
>>974
できたよー\(^o^)/
980: 動け動けウゴウゴ2ちゃんねる 2008/04/06(日)19:37 ID:oa0qgFE/0(8/15) AAS
>>979
対応しました。
そのうちデータ収集に行きます。
982: 動け動けウゴウゴ2ちゃんねる 2008/04/06(日)19:45 ID:oa0qgFE/0(9/15) AAS
>>981
それではお願いします
984: 動け動けウゴウゴ2ちゃんねる 2008/04/06(日)19:59 ID:oa0qgFE/0(10/15) AAS
>>983


スーパーフリー板って過去ログ倉庫あるの?
986: 動け動けウゴウゴ2ちゃんねる 2008/04/06(日)20:15 ID:oa0qgFE/0(11/15) AAS
>>985
これは収集する価値があるか疑問ですねぇ・・・
987
(1): 動け動けウゴウゴ2ちゃんねる 2008/04/06(日)20:16 ID:oa0qgFE/0(12/15) AAS
というわけでsuperfree板をクロールしたことにしておいた
989: 動け動けウゴウゴ2ちゃんねる 2008/04/06(日)20:22 ID:oa0qgFE/0(13/15) AAS
ふーむ、170万スレッドのデータを収集した今、検索データと実データを含むすべてのデータ量はおよそ半ギガ。

0.5ギガバイト / 170万 * 2億
とやると58.8235294 ギガバイトとなることから、仮に2億スレッドスレッド格納してもハードディスクの
領域としては何とかなりそうだ。

問題は検索性能。
2億スレッド、それもそれらのスレッドはタイトルの長さはせいぜい20文字程度。
普通に検索ワードを入れるだけでは結果が万単位になるだろう。
その他の絞り込み機能が必須だな。
993
(1): 動け動けウゴウゴ2ちゃんねる 2008/04/06(日)20:30 ID:oa0qgFE/0(14/15) AAS
>>990
受けてもいいんだ、受けてもいいんだ、
システム的には今すぐクロール開始もできる。

だがここでそれを受けると以下どこそこのデータ収集始めてくださいレスで埋まるかもしれない。
それを避けるためにすまんがもう少し待ってほしい。といってももう3日目なのに、
まだこのくらいではもうしばらくかかりそうだ。
・・・リロードバーボンめ・・・。除外申請したら通るだろうか?

この検索システムの話題をするのにもっと適切な板、スレはないだろうか・・・。

>>991
PINK、まちBBSは今のところやる気なし。
省2
997: 動け動けウゴウゴ2ちゃんねる 2008/04/06(日)20:40 ID:oa0qgFE/0(15/15) AAS
>>994
それまでにHDDが尽きたらごめんね。でも、HDDは増設できそう・・・。

●板かなぁ。
でも・・・●を買う動機づけになってほしいと思っているのでできれば・・・

昔板とかか?「過去ログをねたにして、モリアがロー」とあるし、ここがいいか?
すごい過疎のような・・・

>>996
できれば2ch内が・・・
前次1-
スレ情報 赤レス抽出 画像レス抽出 歴の未読スレ AAサムネイル

ぬこの手 ぬこTOP 0.028s