全文検索エンジン Hyper Estraier 2

全文検索エンジン Hyper Estraier 2 (333ﾚｽ)
上下前次 1-新

178: 2009/02/01(日)02:03 AAS
>>47にも書いてるけど，属性検索ができない．
Wikipediaの全文検索デモページで試してみたけど効果なし...

179: 2009/02/08(日)23:47 AAS
疑似ノードマスタって、認証なしなの？
通常のノードマスタみたいにユーザとパスを設定できないの？

180: 2009/02/09(月)01:33 AAS
estcmd outで文書の一括削除はできますか？

181: 2009/02/13(金)23:47 AAS
Windows版のバイナリ落としてindexだけはコマンドで作ってみたんですが
JavaのAPI使ってファイル検索や全文検索を行うサンプルコードが載って
いるサイトとかってないですかね？
web環境ないのでSwingから直で操作したいのですがAPIの使い方がよくわかりません・・
初歩的な質問ですいません。

182(2): 2009/02/23(月)06:47 AAS
Unix板なのに申し訳ないのですが、Ubuntu Intrepid64bit版を使っています。
mecabを組み込みたかったのでソースからビルドしましたが、ライブラリとしてregexp.hだけ認識されないのでビルドできません。
32bitの時も同様だったのですが、こちらはネットでダウンロードしたライブラリをつっこんでインストール迄無事に成功しました。
aptitude search lib | grep -i regexp などで見つけたものを次々インストールしてみましたが全くお手上げです。
必要なライブラリについてご存知の方いませんか？

183(1): 2009/02/23(月)09:04 AAS
>>182
やったの去年だからよく覚えてないけど
ふつーのUbuntuならソフトウェアの一覧に普通に入っていた気がする

184(1): 2009/02/23(月)17:49 AAS
aptで入るね

185: 182 2009/02/24(火)06:22 AAS
>>183-184
レス有難うございます、結局手順を忘れていただけで、32bit版でと同様の事をすればいいだけですんなりビルド成功。
aptでlibc-dev(これですよね？)を入れてもlibregex.aがないので、外部ﾘﾝｸ:arglist.comからregex3.8a.tar.gzを落してビルドし~/lib ~/includeに放り込む。
似たような事で困っている方は試してみて下さい。
どうもお騒がせしました。

186(1): 2009/08/28(金)12:40 AAS
作者ページのタイトルがうざくなってるんだが、改ざんされたのかな

187: 2009/08/28(金)13:43 AAS
特に変わったようには見えないが。
> Last-Modified: Tue, 25 Dec 2007 01:47:27 GMT
だし。

188: 2009/08/28(金)20:25 AAS
>>186
ソースみてみ。アクセスしたタイミングで表示されるものが変わるようになってる。
しかし作者ﾀｿはmixiに就職してからH.E.のほうには全然顔出さなくなったな。

189: 2009/08/28(金)22:37 AAS
ソース見てみた、何じゃこりゃ。

> case 59: name = "ちょｗｗｗおまｗｗｗいごｗｗ"; break;
> case 61: name = "どう見ても超迷子です本当にありがとうございました"; break;

190: 2009/08/31(月)10:17 AAS
> From: [783] 名無しさん＠お腹いっぱい。 <sage>
> Date: 2006/09/17(日) 07:52:41
>
> case 59: name = "ちょｗｗｗおまｗｗｗいごｗｗ"; break;
> case 61: name = "どう見ても超迷子です本当にありがとうございました"; break;

191: 2009/11/09(月)16:22 AAS
検索してもHitしないってことはなにが考えられるのかな？
登録文書に検索語句は確実にあるし、DBも壊れていない・・・

192(1): 2009/11/09(月)18:02 AAS
ごめん、壊れてたみたい。
estcmd inform で壊れてるかどうかわかんないんだよなあ・・・

193(1): 2009/11/15(日)00:49 AAS
>>192
そうなの？おれもestcmd inform で情報出てきたら平気だと思ってた。
どうやって壊れてる判定したの？

194: 2009/11/15(日)01:54 AAS
>>193
絶対に登録文書にある文字列を検索しても出てこなかったので。
再構築で直りました。
インデックスが壊れているかどうか調べるコマンドが欲しい。

195(1): 2009/11/18(水)06:15 AAS
estcmd repair を、時々やらないと駄目ってことですかね。
(-_-;ウーン　たまに治らないときもあるし..

--　追記お願いします m(_ _"m)ペコリ---------
【テク１】ノードマスタが再起動しない・・正常に停止しないとこうなる
　サーバールートDirの　_pid _stop の削除

【テク２】ＤＢが?でるっぽい
#estcmd repair index_path

ex.ノードサーバー利用時は（サーバールートをcasketなら）
#estcmd repair casket/_node/ノード名

【テク３】estwaver crawl時の「could not open」エラーの解決法
省6

196: 2009/11/18(水)16:56 AAS
>>195
>>estcmd repair を、時々やらないと駄目ってことですかね。
repairを一回やってみたんだ。直ったかなと思って、それでも念の為に
もう一回repairしてみたんだ。登録文書がごっそり減ったんだ。
repairを繰り返す度に減っていくんだ・・・

あきらめて再構築したよ。

197(1): 2009/11/19(木)05:41 AAS
>repairを繰り返す度に減っていくんだ・・・

((( ；ﾟДﾟ)))ｶﾞｸｶﾞｸﾌﾞﾙﾌﾞﾙ　

「特定のキーワードにヒットしたを、ＤＢから削除する」　なんてことできますか？

「特定のキーワードにヒットさせない」でもいいかなー

198(2): 2009/11/20(金)08:54 AAS
Estraierで2chのログファイルを全文検索してJaneで表示できないでしょうか。
DATファイルを全文検索に入れるだけじゃなくて、名前やスレタイで絞り込めれば最高なのですが。

DesktopHEで利用しようとしております。

199: 2009/11/20(金)14:16 AAS
>>197
私も探してみたけど、そのものは無いみたい。
よくやる作業ならcgiとか作るんじゃないかな。

コマンドから手作業するときは、例えばこんな感じ。
消したいやつを検索して
estcmd search -vu -attr '@uri STRINC /path/to/del/' _index BadWord
OKなら上のコマンドに以下を追加
|awk '$1 ~ /^[0-9]+/{print $1}' |while read id; do estcmd out -cl _index $id; done

200(1): 2009/11/20(金)16:26 AAS
>>198
出来ないことはないと思うけど、面倒くさいかもね。dat2htmlのフィルタ作って読みこませて、
DesktopHEの関連付けはjaneにすればいいみたいな。

私はhtmlに変換してブラウザで全文検索してる。そういう人の方が多いと思うけど。

201(1): 2009/11/20(金)22:49 AAS
>>200
速レスありがとう。
htmlに変換してって毎日巡回するたびにdat2html走らせてるの？
それとも真夜中にバッチ処理？

いずれにせよ、HDD容量が倍必要ですよね？

202(1): 2009/11/21(土)12:31 AAS
>>201
>>毎日巡回するたびにdat2html走らせてるの？
そうだよ。1時間ごとにdat2htmlを走らせてる。ロードアベレージを見て負荷が大きいときは処理しないようにしている。
ログは8GBくらいある。datファイルは定期的に削除している。
ウェブブラウザから検索できるので、LAN内で利用出来て重宝している。

203: 2009/11/21(土)23:28 AAS
>>202
うちもログは6Gぐらいあります。
全部変換するとなると15ｇぐらいいきそうですよねorz

Windowsだからロードアベレージ監視できないのと、指定したコテハンがNASDAQについて
レスした発言とかを知りたくても特定がとてつもなく難しいのがネックになりそう。

Threadsearchと併用しないと駄目ですかね。

204: 2009/11/27(金)00:40 AAS
XREAで設置しようとしたけど、インストールの段階で躓いたorz
cannot find -liconvとかでてきてるし・・・

libiconvの入れ方に問題があるのかなぁ・・・。

205: 2010/01/07(木)21:28 AAS
某サイト丸ごと吸い上げようと、
クローラーの設定seeddepthを50にしたら、５時間かかっても１つもインデックスできなかった...

種文書を全部吸い上げてからインデックスするとは知らんかった。
seeddepth１〜２でよさそうね。

206(1): 2010/01/15(金)16:12 AAS
Hyper Estraier のｗｉｎを使っている方に質問です。

当方初心者。
インストール、インデックス作成まではできました。なんとか。

しかし、estseek.confの内容変更の段で（だと思ってるんですが・・・）つまづいています。
replaceの行の変更はどのようにしたらよろしいのか教えていただけないでしょうか？

何卒よろしくお願いいたします。

207: 2010/01/16(土)02:43 AAS
>>206
win版も使ったことはありますが、それだけでは何がなんだか分かりません。
estcmd inform casket は通りますか?
Hyper Estraier の画面は出るのですか?
表示のどこかに不満があるのですか?
どうなって欲しくて、現状どうなっているのか書いてください。

上下前次 1-新書関写板覧索設栞歴

あと 126 ﾚｽあります
ｽﾚ情報赤ﾚｽ抽出画像ﾚｽ抽出歴の未読ｽﾚ AAｻﾑﾈｲﾙ

ぬこの手ぬこTOP 0.014s