全文検索エンジン Hyper Estraier 2 (333ﾚｽ)
全文検索エンジン Hyper Estraier 2 http://mevius.5ch.net/test/read.cgi/unix/1176807372/
上
下
前
次
1-
新
通常表示
512ﾊﾞｲﾄ分割
ﾚｽ栞
32: 名無しさん＠お腹いっぱい。 [sage] 2007/09/05(水) 11:32:08 Tokyo Cabinet なんてのも作ってるしなあ。 QDBM ともども H.E. もこのまま放置されたりして。 http://tokyocabinet.sourceforge.net/ つーか代わりにメンテナに立候補する香具師はおらんかなあと思う今日このごろ。 http://mevius.5ch.net/test/read.cgi/unix/1176807372/32
33: 名無しさん＠お腹いっぱい。 [sage] 2007/10/28(日) 19:54:12 >>32 開発スピードが遅くなるのはいいんだけど、放置プレイだけが心配だなぁ。 Tokyo Cabinet で QDBM の不満点を解消したとかいってるし、QDBM 放置 → H.E. も放置な流れの気配が… http://mevius.5ch.net/test/read.cgi/unix/1176807372/33
34: 名無しさん＠お腹いっぱい。 [] 2007/11/05(月) 14:51:27 100万レコードくらいのインデックスを作成したいのですが、 mysqlのエラーで止まります。何かいい方法ありますか？ http://mevius.5ch.net/test/read.cgi/unix/1176807372/34
35: 名無しさん＠お腹いっぱい。 [sage] 2007/11/06(火) 00:03:34 そもそもmysqlのエラーというのが発生する経緯がわからん どういう使い方をしているのか、それを説明したまえ http://mevius.5ch.net/test/read.cgi/unix/1176807372/35
36: 34 [] 2007/11/06(火) 19:34:03 >35 レスありがとうございます。 hyperestraierとacts_as_searchableというrailsのプラグインを使って、全文検索を行いたいと考えています。 acts_as_searchableに備わっているreindex!というメソッドを実行すると、インデックスが構築される仕様になっているのですが、 これを実行すると、だんだん処理が重くなり、最終的にはMysql::Error: Lost connection to MySQL server during queryというエラーが出てしまいます。 reindex!というメソッドはデフォルトでは対象になるレコードを一気にメモリにのせてしまうので、 そのあたりは負荷を減らすようなコードに修正して実行しています。 （このような感じです。ttp://d.hatena.ne.jp/yune_kotomi/20070912/1189617411） hyperestraierのメーリングリストで、mysqlのLost Connectionを改善する mysql_retry_lost_connectionというrailsのプラグインを教えて頂いたのですが、 インストールしても効果がなく、どうも、接続が切れる前の段階でつまずいているような気がします。 対象レコード数は100万弱で、途中で止まってしまいましたが、 #docs => 22897、#words => 196666まではいけました。 なにかアドバイスいただければ幸いです。 よろしくお願いします。 http://mevius.5ch.net/test/read.cgi/unix/1176807372/36
37: 名無しさん＠お腹いっぱい。 [sage] 2007/11/07(水) 11:56:45 そのMySQLのqueryとやらは、その先の処理が何時間かかろうともいつまでも待ってくれるの？ 単にタイムアウトしているだけのような気が... http://mevius.5ch.net/test/read.cgi/unix/1176807372/37
38: 名無しさん＠お腹いっぱい。 [sage] 2007/11/08(木) 01:02:45 つーかMLとマルチ？やるなあおい http://mevius.5ch.net/test/read.cgi/unix/1176807372/38
39: 名無しさん＠お腹いっぱい。 [sage] 2007/11/08(木) 08:42:09 作者こないね http://mevius.5ch.net/test/read.cgi/unix/1176807372/39
40: 名無しさん＠お腹いっぱい。 [sage] 2007/11/08(木) 22:48:10 マルチっていうより、ML で有効なレスポンスがないからこっちにも、ってことだろう。 残念ながら俺は MySQL と組み合わせたことも Rails も使ったことがないからよくわからん。 つか普通 MySQL で全文検索するんだったら Senna じゃね? http://mevius.5ch.net/test/read.cgi/unix/1176807372/40
41: 名無しさん＠お腹いっぱい。 [sage] 2007/11/11(日) 18:28:54 いや、だからさ、作者はメンテする意思あんのか、と。 http://mevius.5ch.net/test/read.cgi/unix/1176807372/41
42: 名無しさん＠お腹いっぱい。 [] 2007/11/12(月) 00:50:42 メンテナンスに関しては、開発者コミュニティが形成されていない のがダメな点だな。 作者の手を煩わせてはいかんよ。 http://mevius.5ch.net/test/read.cgi/unix/1176807372/42
43: 名無しさん＠お腹いっぱい。 [sage] 2007/11/12(月) 08:59:50 いやでもパッチ投げても直接マージされるわけじゃなく、本人がリライトして 著作権保持者を維持してるので、開発コミュニティの形成はforkでもしないと 無理だよ。 http://mevius.5ch.net/test/read.cgi/unix/1176807372/43
44: 名無しさん＠お腹いっぱい。 [sage] 2007/11/12(月) 10:29:24 作者がmixiじゃなくgoogleに就職していれば… http://mevius.5ch.net/test/read.cgi/unix/1176807372/44
45: 名無しさん＠お腹いっぱい。 [] 2007/11/12(月) 10:59:56 googleに行ったフーリソフトウェア者も沈黙しちゃってる件(泣) http://mevius.5ch.net/test/read.cgi/unix/1176807372/45
46: 名無しさん＠お腹いっぱい。 [sage] 2007/11/12(月) 19:53:49 マイクロソフトはソース見たらフリーウェアに参加で着なくなるけどほかのも？ http://mevius.5ch.net/test/read.cgi/unix/1176807372/46
47: 名無しさん＠お腹いっぱい。 [sage] 2007/11/21(水) 14:39:17 estseek.cgiで属性検索しても結果に出てこないのはなんで？ [UVSET]してるけどなー http://mevius.5ch.net/test/read.cgi/unix/1176807372/47
48: 名無しさん＠お腹いっぱい。 [sage] 2007/11/21(水) 14:44:41 あとgather -aa @uri STRで属性インデックスつけてるけど やっぱ遅いですね 属性検索で速く検索する方法ありますか http://mevius.5ch.net/test/read.cgi/unix/1176807372/48
49: 名無しさん＠お腹いっぱい。 [sage] 2007/11/21(水) 18:22:16 >>48 それ属性インデクス追加のオプションだっけ？ おれは estcmd create -attr @uri str idx とかやって属性インデクス付けたよ． 1000万件位のレコード数だったけど，URI検索は体感できるほど 速くなった． http://mevius.5ch.net/test/read.cgi/unix/1176807372/49
50: 名無しさん＠お腹いっぱい。 [] 2007/11/29(木) 10:43:00 >>39-45 で、いざ新バージョンが出たら沈黙ってなんだよ。 http://mevius.5ch.net/test/read.cgi/unix/1176807372/50
51: 名無しさん＠お腹いっぱい。 [sage] 2007/11/29(木) 13:26:34 http://hyperestraier.sourceforge.net/index.ja.html > 最新のソースパッケージ（バージョン1.4.12） あれ、いつの間に。 ML 入ってるけどリリース情報なかったぞ。 何にせよ復活age. ただ、ChangeLog 見る限り、 2007-11-18 Mikio Hirabayashi <mikio@users.sourceforge.net> * estraier.c: code clean-up. - Bugs related to type casting of perl binding were fixed. - Release: 1.4.12 2006-11-11 Mikio Hirabayashi <mikio@users.sourceforge.net> * estraier.c (est_resmap_add): "method" argument was added. * estraier.c (est_inode): a bug related to overflow was fixed. * estraier.c (est_narrow_score): a bug related to attribute distinction was fixed. * estraier.c (est_search_union): search accuracy with trailing uni-gram was improved. * estmaster.c (searchlocal): a bug related to scanning with regular expressions was fixed. * estscout.c (realmain): "union", "score", and "idsuffix" attributes were added. * estsupt.c (realmain): "score" attribute was added. * estsupt.c (procsearch): accuracy of hint was improved. * estsupt.c (realmain): "logmsg" parameter was added. * estscout.c (realmain): "distinct" parameter was added. * estscout.c (showresult): cache clear at random was added. - Release: 1.4.11 ここのところ精力的に ML に投げられてたパッチはマージされてなさげ? http://mevius.5ch.net/test/read.cgi/unix/1176807372/51
52: 名無しさん＠お腹いっぱい。 [sage] 2007/12/05(水) 19:46:42 pthreadsライブラリのないシステムで動かしたいんですが なんとかならんですかね。 http://mevius.5ch.net/test/read.cgi/unix/1176807372/52
53: 名無しさん＠お腹いっぱい。 [] 2007/12/06(木) 19:59:56 Chimera Search（キメラ・サーチ） http://www.osstech.co.jp/product/chimera > 構築コンポーネントに以下のOSS（オープンソースソフトウェア）を利用 > しているため、安価に導入できるのに高性能・高機能を発揮します。 > * プログラム言語： Rubyおよび Ruby On Rails > * 全文検索システム ： Hyper Estraier http://mevius.5ch.net/test/read.cgi/unix/1176807372/53
54: 名無しさん＠お腹いっぱい。 [sage] 2007/12/22(土) 14:50:01 百度でやってるように 會→会 懷→懐 みたいに異体・旧字体・繁体・簡体をまとめてくれるといいのに。 estraier.c のなかの canonize なんとか関数に誰かちょっちょっと書き加えてくれ。 http://mevius.5ch.net/test/read.cgi/unix/1176807372/54
55: 名無しさん＠お腹いっぱい。 [sage] 2007/12/22(土) 15:24:27 >>53 こういう製品って虚しいよね。 だって、導入６０万、年１２万だったらGoogle MINIの方が 安いし、ハードウェア込みの提供だからメンテフリーだし。 実際，うちの会社はWWW用はGoogleMINI にした。 部内サーバは自分でHyper Estraierをいれた。 http://mevius.5ch.net/test/read.cgi/unix/1176807372/55
56: 名無しさん＠お腹いっぱい。 [sage] 2007/12/22(土) 17:12:45 >>55 それはそうなんだが、Google MINIってちっとも社内のニーズに合わせてくれなくて不満がでるんだよな。 ページの計算もなんか適当に丸められちゃうし。 http://mevius.5ch.net/test/read.cgi/unix/1176807372/56
57: 名無しさん＠お腹いっぱい。 [sage] 2007/12/24(月) 16:00:59 コレ使って、某サイトの1万件の記事の全文検索作ったが早いし良いね!! acts_as_searchableの未完成具合に泣いたけどｗｗ Rails系のエンジニアに聞くと皆使ってるし、 結構いろんなサービスでも使ってるみたい。 http://mevius.5ch.net/test/read.cgi/unix/1176807372/57
58: 名無しさん＠お腹いっぱい。 [sage] 2007/12/27(木) 04:43:21 最新版のWindows版のバイナリパッケージを配布して欲しい．．． http://mevius.5ch.net/test/read.cgi/unix/1176807372/58
59: 名無しさん＠お腹いっぱい。 [sage] 2007/12/27(木) 21:52:28 ありゃ、SennaはともかくHEにもないんだ… http://mevius.5ch.net/test/read.cgi/unix/1176807372/59
60: 名無しさん＠お腹いっぱい。 [sage] 2008/01/06(日) 02:53:55 ( ￣0￣)Ψ 誰かぁぁ PHP-nativ binding を作ってぇ〜 http://mevius.5ch.net/test/read.cgi/unix/1176807372/60
61: 名無しさん＠お腹いっぱい。 [] 2008/01/29(火) 14:23:57 クローラー＋ノードサーバーを使用した検索をシステムを動かし http://*****:1978/node/***/search_ui の形式で検索には成功しました。 次ステップで estraierpure.rb を PHP に移植したという 「EstraierPure for PHP 4.3」を使用し、ClassNodeを利用しましたが、検索結果に同じサイトばかり表示されてしまいます。 １：Pure版には 類似隠匿機能はないのでしょうか。 Ruby、Javaにもないようですし.. ２：Binding版（Perl等）には、類似隠匿機能（set_eclipse)があるのですが、classNode がありません。 Binding版で、P2P（ノード）利用した検索をシステムって可能なのでしょうか。 CPAN（Search-Estraier）を観ましたが、classNodeがあったのですが、set_eclipseがありませんでした ３：そもそもBinding版とPure版の違いってなんでしょうか。（汗 全く、的外れな質問でしたらお許しください やりたいのは、「P2P＋クローラーでの検索サーバーの構築」です。 http://mevius.5ch.net/test/read.cgi/unix/1176807372/61
ﾒﾓ帳
(0/65535文字)
上
下
前
次
1-
新
書
関
写
板
覧
索
設
栞
歴
あと 272 ﾚｽあります
ｽﾚ情報
赤ﾚｽ抽出
画像ﾚｽ抽出
歴の未読ｽﾚ
AAｻﾑﾈｲﾙ
Google検索
Wikipedia
ぬこの手
ぬこTOP
0.016s