DB検索プロジェクト (255レス)
1-

1
(3): 伊吹萃香◆SUICAthVuI 2008/07/15(火)11:21 ID:nbUQSmQo(1/2) AAS
現状の検索が重すぎるため、書き込みをDB登録して
そっちで検索かけようというプロジェクトです
夏休み前に運用開始できたらいいなぁ・・・

このへんとかも参照のこと
■ 【祝】 サーバー購入のお知らせ
vip2chスレ:operate

◆仕様とか
・運用開始からのデータのみ検索対象
・検索サーバは別立て。ex14とは切り離す

◆現状
省12
2: 2008/07/15(火)11:26 ID:XcvJPfco(1) AAS
乙です
3: 伊吹萃香◆SUICAthVuI 2008/07/15(火)11:29 ID:nbUQSmQo(2/2) AAS
あとはテーブル関連として
・板ごとにテーブルを分けるか
・過去ログをそのままテーブルに残すのか(過去ログの検索もDBでやるのか)

他に問題点とか考慮すべき点があったらよろしくお願いします
4: P ★ 2008/07/15(火)11:52 ID:??? AAS
とりあえず出来過ぎさん待とうか
5: 萃香@飲酒係 ★ 2008/07/15(火)13:48 ID:??? AAS
MySQL+Sennaのプロジェクトtritonnのページです
外部リンク:qwik.jp

MySQLの入れ直しとか必要になるわけですが
現在のDB鯖だとそういう権限ってないような・・・
6: P ★ 2008/07/15(火)18:19 ID:??? AAS
今なにやってるか産業でww
7: P ★ 2008/07/15(火)18:20 ID:??? AAS
まずは動作環境作ってるのかなぁ
8: P ★ 2008/07/16(水)04:08 ID:??? AAS
今日やったこと

MySQLの動作確認テスト
HTMLの仮組み

次の課題はphp関連かなぁ
9: 出来杉3.0 ★ 2008/07/16(水)16:01 ID:??? AAS
どもども、乙です乙です出来杉です

こちらではroot権限付きサーバで使うことを前提に、まだ妄想設計段階だったりしますw

妄想設計の仕様(適当)
・掲示板サーバ(ex14)ローカルでも、別サーバでも
・検索対象はライブスレッド、過去ログはどんどん削除
・Senna、常駐スクリプト(インデックス作成用)などを使うのでroot権限付きが前提
・DBはほとんどor全く使わない(使うかもしれないのは検索結果に表示するdatの一部)

とりあえず特に気になる課題へのツッコミを
・Sennaの組み込み
 さくらプレミアムは共用ホスティングなので厳しい
省1
10
(1): 2008/07/16(水)23:38 ID:2enUouMo(1) AAS
DB使わないんですか?
11: 萃香@飲酒係 ★ 2008/07/17(木)15:14 ID:??? AAS
>>検索対象
スレ番入れて、レコードごっそり削除するような画面でも作りますかね
まぁこれは後ででいいでしょうけど
バックアップとかはどうしますかねぇ
何もなしでバッサリ削除するのも怖い気が

>>サーバ
荒巻になんとかしてもらわないとダメですね
一応他の検索エンジンも探してみますか
12
(1): 出来杉3.0 ★ 2008/07/17(木)15:45 ID:??? AAS
>>10
まあ個人的な考えではねw

DATあるいはDBが無くても、Sennaのインデックスがあれば検索できるし、スレッドのURLくらいはわかるわけですよ
スレタイが欲しいならsubjectをメモリにキャッシュしておけばいいし、Sennaは検索でヒットしたレス番まではわからないので、スレ内容は>>1の一部だけをキャッシュすればおkだったりとかで

それと方法の問題&要確認は…

phpを使う場合
 eAcceleratorには変数をキャッシュしておく機能が付いてるらしい
 しかし使いにくいと言う話が…
 (ただし詳しいことはまだ調べてませんので)

Perlを使う場合
省2
13: 出来杉3.0 ★ 2008/07/17(木)15:52 ID:??? AAS
あ、リロード><;

> サーバ
まあ、とりあえずスレタイくらいでいいなら、さくらプレミアムでも何とかなるでしょう
とりあえずはね^^;
14
(1): 萃香@飲酒係 ★ 2008/07/17(木)15:57 ID:??? AAS
Sennaって単体では使えませんよねぇ
DBにレコード登録して、その項目に対してインデックスを張る認識だったんですけど違うのかな
15
(1): P 2008/07/17(木)17:18 ID:rflf6R6o(1/5) AAS
私もDBにデータ突っ込んで、ミラーみたいにして
そこから検索するんだと思ってたwwww

あーなるほどー
16: 出来杉3.0 ★ 2008/07/17(木)17:18 ID:??? AAS
>>12の訂正
×Sennaは検索でヒットしたレス番まではわからないので
○Sennaは検索でヒットした部分の抜粋を作成できる
(これって"KeyWord In Content"と言うのか)

↑この機能を使うならDBの方がパフォーマンス的に優位かも??(しかしサーバが…)

>>14-15
Sennaは単体では使えませんが、DBは無くても使えますよ
DBを使うかどうかは前述のKWICを使うかどうかと言うところでしょう
そしてDBを使えるかどうかはサーバ次第ですかねw(VPSの安いプランとか)
17
(1): P 2008/07/17(木)17:37 ID:rflf6R6o(2/5) AAS
Sennaが抜粋してくれるなら、KWICでいいと思います
18
(1): P 2008/07/17(木)17:57 ID:rflf6R6o(3/5) AAS
DBとdatの代わりになるものが何かわかんないけど・・・
その方がいい予感がする
19
(2): 出来杉3.0 ★ 2008/07/17(木)18:13 ID:??? AAS
>>17-18
KWICを使うなら、ファイルorDBからヒットしたスレのDATの中身全部持ってきて、再検索する必要がありますw

もっと小容量のスレタイ&抜粋リストを使えば、そこに書かれてるものに関しては処理は早いはず

後者は専用プログラムを常駐させておいて、余裕のある時or検索CGIにくれくれされた時にDATを読み込んでキャッシュするといいんじゃないかなーと思ってる
それで検索CGIがそのリストを使うときは、名前付きパイプを通して送ると言う感じで

前者はとても抜粋内容のキャッシュなんかしてられないw
こっちにするならキャッシュ機能のあるDBを使うのがいいかと
20
(1): 荒巻@中の人 ★ 2008/07/17(木)18:19 ID:??? AAS
ちょっと今病気で倒れているのでおおざっぱにしかレスできないですが、

さくらプレミアムに検索クライアントを設置(表向きにクライアントに見えるIPはこいつっていうこと)
DBや検索などの実際の処理はあまり見せたくないIPのサーバーによって処理

っていうのは可能です。

つまりさくらに検索リクエストを整形してクライアントに送信するプログラムをおいて、実際のデータの蓄積とか、検索は実際には見えない後ろのサーバーでやると。

それならとある施設のグローバルIPと電源が使えるのでかなり性能の高いサーバーが設置できると思います。
1-
あと 235 レスあります
スレ情報 赤レス抽出 画像レス抽出 歴の未読スレ AAサムネイル

ぬこの手 ぬこTOP 0.159s*