全文検索エンジン Hyper Estraier 2 (333ﾚｽ)
全文検索エンジン Hyper Estraier 2 http://mevius.5ch.net/test/read.cgi/unix/1176807372/
上
下
前
次
1-
新
通常表示
512ﾊﾞｲﾄ分割
ﾚｽ栞
143: 名無しさん＠お腹いっぱい。 [sage] 2008/07/26(土) 11:00:18 >>142 あんただれ？ http://mevius.5ch.net/test/read.cgi/unix/1176807372/143
144: 名無しさん＠お腹いっぱい。 [] 2008/07/28(月) 14:06:44 >>142 ホントすいません、付き合って頂いちゃってありがとうございます。 pdftotext のバグですか!? だとすると、こんなド素人に使いこなすのは難しくなっちゃうかも。。現状で満足せなあかんですかね(;´ー`) スクリプトありがとうございます(人-) ただかなり初歩的な部分で分からないところが…(滝汗) そもそも sed がイマイチ分かってないしょっぱい自分… > # sed 's/ -htmlmeta / -raw -nopgbrk /' /usr/bin/estfxpdftohtml > /usr/bin/estfxpdftotext > # chmod 755 /usr/bin/estfxpdftotext estfxpdftohtml や estfxpdftotextは /usr/local/share/hyperestraier/filter にあって /usr/bin には無かったりするんですが、その辺は読み替えろよこんちくしょう的な感じでしょうか…？(ﾟДﾟ;)ｱﾜﾜ それともそのままやっちゃっても大丈夫的な感じでしょうか？ http://mevius.5ch.net/test/read.cgi/unix/1176807372/144
145: fumiyas [] 2008/07/29(火) 13:53:59 >>144 まずは pdftotext のバグについて。 pdftotext は -htmlmeta オプションを付けると PDF に含まれる 本文のテキストを簡単な HTML にして、プラス文書情報 (Adobe Reader なら [File] - [Properties] で表示される情報) を HTML の <meta> に 含めてくれますが、PDF 本文のテキストは <pre> で囲まれるだけで その中に含まれる <, >, & を <, >, & に変換してくれません(バグ)。 なので PDF に「<HTMLのタグではない適当な文字列>」という文が含まれていると、 estcmd がそれを HTML のタグと認識してしまい、削除してしまいます。 sed がやっていることですが、<pre>〜</pre> の間の <, >, & を <, >, & に変換しているだけです。 最後に estfxpdftohtml(text) の置き場所ですが、私の手元の Debian の hyperestraier パッケージでは /usr/bin に置かれているというだけで、 そっちの環境で /usr/local/share/hyperestraier/filter なら、 そっちに合わせて ↑ に置くのがいいと思います。 # sed 's/ -htmlmeta / -raw -nopgbrk /' \ /usr/local/share/hyperestraier/filter/estfxpdftohtml \ >/usr/local/share/hyperestraier/filter/estfxpdftotext >>143 ハンドル(?)をググると出てくるので、そっちをどうぞ。:-) http://mevius.5ch.net/test/read.cgi/unix/1176807372/145
146: fumiyas [] 2008/07/29(火) 13:57:46 ありゃ? 「＆ｌｔ；」(実際は半角)とかが「<」に変換されちまった…。 どうしたらいいの? ま、いいか。 http://mevius.5ch.net/test/read.cgi/unix/1176807372/146
147: fumiyas [] 2008/07/29(火) 15:56:25 初心者板で聞いてきました。「&amp;」って書くのね…。 pdftotext -enc UTF-8 -htmlmeta "$infile" - 2> "/dev/null" \ |sed '/<pre>/,/<\/pre>/{s/&/\&/g;s/</\</g;s/>/\>/g}' \ |output その中に含まれる <, >, & を <, >, & に変換してくれません(バグ)。 http://mevius.5ch.net/test/read.cgi/unix/1176807372/147
148: 名無しさん＠お腹いっぱい。 [] 2008/07/30(水) 18:50:03 >>147 す・すすごい!!できたできました!!(･∀･∀･) ごっそり抜けちゃってた文章も、タグだと誤解されてしまってたんですね。 きちんとインデックスに戻ってきました、戻ってきましたよ！！щ(゜ロ゜щ) カモ-ン 天才ですかfumiyasさま… (ｼ_ _)ｼ ネ申 >>147 ほんにありがとうございます。 確かにインデックスの方には <pre> が単語化されているようですが、 これはもう、しょうがないですよ…ね…？ はぁぁ、感動しちゃいました。(；∀； ) http://mevius.5ch.net/test/read.cgi/unix/1176807372/148
149: fumiyas [] 2008/08/01(金) 01:35:58 >>148 解決されたようでなによりです。 「pre」が気になるようなら、上で書いたように estfxpdftohtml の代わりに estfxpdftotext でもどうぞ。estcmd の -fx オプションの 値を変更するのを忘れないように。 http://mevius.5ch.net/test/read.cgi/unix/1176807372/149
150: HE@SHE [] 2008/09/27(土) 02:48:36 Hyper Estraierで、URI属性をフレーズ検索の対象とする方法はありますでしょうか。 http://mevius.5ch.net/test/read.cgi/unix/1176807372/150
151: 名無しさん＠お腹いっぱい。 [] 2008/10/02(木) 13:47:11 すみません教えてください。 ファイルサーバ（Xとか入れてません）として使っているetchにHyper Estraierを入れてわりと経つのですが、 pdfの日本語がインデックスに入っていないことに気付きました。 いろいろ調べて、ひとまずpdftotextが日本語を変換してくれてないのだ、と分かりました。 degas@debian:~$ pdftotext 日本語入りのpdf.pdf Error: Unknown character collection 'Adobe-Japan1' ： Error: Unknown character collection 'Adobe-Japan1' ってな状況ですorz。xpdfはapt-getでhyperestraierをインストールするときに 推奨パッケージでxpdf-utilsを入れたので、大丈夫だと思っているのですが…。 念のためいまxpdfも入れてみましたが、同じエラーが出ます。 指針が有ればお願いしますm(_ _)m。 http://mevius.5ch.net/test/read.cgi/unix/1176807372/151
152: 名無しさん＠お腹いっぱい。 [sage] 2008/10/02(木) 14:23:09 Unknown character collection 'Adobe-Japan1' でググっても解決しないの？ xpdf-japanese とやらを入れてる？ http://mevius.5ch.net/test/read.cgi/unix/1176807372/152
153: 名無しさん＠お腹いっぱい。 [sage] 2008/10/02(木) 14:29:43 ttp://www.foolabs.com/xpdf/download.html にある xpdf-japanese.tar.gz は入れた？ http://mevius.5ch.net/test/read.cgi/unix/1176807372/153
154: 名無しさん＠お腹いっぱい。 [sage] 2008/10/02(木) 15:11:58 ありがとうございます。 xpdf-japaneseはapt-getだと入らないのですよ…何でか分からないけど。 http://mevius.5ch.net/test/read.cgi/unix/1176807372/154
155: 名無しさん＠お腹いっぱい。 [sage] 2008/10/02(木) 15:19:29 そうですか。私にも何でか分かりません。 http://mevius.5ch.net/test/read.cgi/unix/1176807372/155
156: 151,153 [sage] 2008/10/02(木) 16:59:34 解決しました。 xpdf-commonをapt-getでインストール、 cmap-adobe-japan1を取ってきてdpkgでインストール、 さらに/etc/xpdf/xpdfrcに include /etc/xpdf/xpdfrc-japanese.dpkg-new を書き加えればOKでした。 apt-getしか使えない男にお付き合いいただきありがとうございました。 お邪魔しました。 http://mevius.5ch.net/test/read.cgi/unix/1176807372/156
157: 名無しさん＠お腹いっぱい。 [sage] 2008/10/02(木) 17:05:15 ファイルを指定ディレクトリに置くだけだからapt-getイラネですよ。 DLしてtar xvfzしてREADMEだかINSTALLだか読めば分かると思う。 http://mevius.5ch.net/test/read.cgi/unix/1176807372/157
158: 名無しさん＠お腹いっぱい。 [sage] 2008/10/20(月) 15:21:23 tokyo estraierはここ以外で存在が話題になっていないんだけど 商用、あるいは公用の検索システムに勝手に使っちゃっていいんだろうか http://mevius.5ch.net/test/read.cgi/unix/1176807372/158
159: fumiyas [] 2008/10/27(月) 11:44:33 >>158 GPL と LGPL だし、問題ないでしょ。(たぶん :-) で、tokyo estraier どんなくらい試しました? http://mevius.5ch.net/test/read.cgi/unix/1176807372/159
160: 名無しさん＠お腹いっぱい。 [sage] 2008/10/28(火) 18:27:33 >>159 >>158じゃないけれど 普通にインデックスして普通に検索出来て普通に遊べて… これ、本当にインデックス時にTokyoCabinet使ってるのか不安になってきた http://mevius.5ch.net/test/read.cgi/unix/1176807372/160
161: 名無しさん＠お腹いっぱい。 [sage] 2008/10/28(火) 18:40:31 データベースファイルの先頭バイトを覗いたら、[depot]って書かれてたりして http://mevius.5ch.net/test/read.cgi/unix/1176807372/161
162: 名無しさん＠お腹いっぱい。 [sage] 2008/10/28(火) 21:50:58 >>161 う…_attrフォルダの中に「depot」ファイルがあるんだが http://mevius.5ch.net/test/read.cgi/unix/1176807372/162
163: 名無しさん＠お腹いっぱい。 [sage] 2008/10/29(水) 10:07:46 過去のバージョンと、Windows版のバイナリパッケージのページが落ちてるようなんだが。 UNIX板でアレだけどWin版の1.4.10持ってる人だれか上げてくれないかな… http://mevius.5ch.net/test/read.cgi/unix/1176807372/163
164: 名無しさん＠お腹いっぱい。 [sage] 2008/10/29(水) 11:16:02 >>163 ttp://www2.uploda.org/uporg1754116.zip.html http://mevius.5ch.net/test/read.cgi/unix/1176807372/164
165: 名無しさん＠お腹いっぱい。 [sage] 2008/10/29(水) 11:38:31 ディレクトリ一覧がデフォルトでは表示されなくなっただけなので 正確なファイル名が分かるとか、検索サイト等のキャッシュから手繰るとかで 落とせますよ。 ttp://hyperestraier.sourceforge.net/win/hyperestraier-1.4.10-win32.zip http://mevius.5ch.net/test/read.cgi/unix/1176807372/165
166: 名無しさん＠お腹いっぱい。 [sage] 2008/10/29(水) 11:47:50 >>164 >>165 ディレクトリ一覧が表示されないだけだったのか。 ありがとう、助かりました。 お早いレスで俺涙目。 http://mevius.5ch.net/test/read.cgi/unix/1176807372/166
167: 名無しさん＠お腹いっぱい。 [sage] 2008/10/29(水) 18:47:28 Tokyo Estraierってどこにあるの？ http://mevius.5ch.net/test/read.cgi/unix/1176807372/167
168: 名無しさん＠お腹いっぱい。 [sage] 2008/10/30(木) 00:44:04 Windows環境でMecabを使いたいんですけど、可能ですか？ 試した手順は、下記になります。 前提：WindowsXP、Cygwin環境 １、Mecab0.97と辞書のビルド ２、下記サイトを参考にし、qdbmとHyperEstraierのビルド ttp://www.shinonon.dyndns.org/diary/20071212.html HyperEstraierのビルドで--enable-mecabとしましたが、 その後のmakeでエラーとなります。 http://mevius.5ch.net/test/read.cgi/unix/1176807372/168
169: 名無しさん＠お腹いっぱい。 [sage] 2008/10/30(木) 14:21:13 >>167 ttp://hyperestraier.sourceforge.net/past/tokyoestraier-0.0.1.tar.gz ベースはHyper Estraier1.4.13 ソース見ると確かにTokyo Cabinetのincludeが入ってるんだが 実際に使われてるのかちと分からん QDBMも一緒に入ってないとエラー出るし ところで100万以上の文書を対象にインデックス作ると想像以上に遅いんだな… 1秒以下でパパッと結果が表示されるのは何件くらいが限度なんだろ http://mevius.5ch.net/test/read.cgi/unix/1176807372/169
170: fumiyas [] 2008/10/30(木) 18:22:25 TE コンパイルしてみた。`estcmd create db` だけ試した。 >>162 _idx 以外は QDBM を使ってるんで、_idx だけ見てごらん。 $ /usr/local/tokyoestraier/bin/estcmd crete db $ strings db/_idx/0001 ToKyO CaBiNeT 1.0:510 >>169 HE ソースとの diff とってみればわかるけど、一部のみ TC, ほかは QDBM。 ちなみに、`estcmd repair db` 時に _idx 以下は何もしないようになっている。 いいのか? いまのところ DB の構成を把握していないのでよくわからんが、 _idx が転置インデックス? ほかは? 知っている人、教えて…。 あと 100万以上の文書は試したことないんでアレなんだけど、 参考までにハードウェアの構成とか、estcmd create に 指定したオプション (estcmd を使っているなら。-xh 付けたの?)、 estmaster の _conf の設定等を教えてもらえると嬉しいです。 http://mevius.5ch.net/test/read.cgi/unix/1176807372/170
171: 名無しさん＠お腹いっぱい。 [] 2008/12/08(月) 22:30:47 Hyper Estraierについて質問させてください。 Windowsで一回動かしたんですが、cygwinのパスで結果が表示されてしまうので、 うれしくないと思い、VMware2.5.1 build-126130 でUbuntu7.10を動かし、 そちらでestcmd gather を走らせました。Hyper Estraier1.4.9です。 Apacheはxamppを使いました。http://localhost/xampp/ は正常に表示されてると 思います。1.6.8aと出ています。あとphp5もスタートさせました。 でも、http://localhost/cgi-bin/estseek.cgi にアクセスすると、 Error: the configration file is misshing.とか出ます。 /opt/lampp/cgi-bin/estseek.cgi と同じフォルダに estseek.confは置いてます。 estcmd search casket 'ほげほげ' とかはちゃんとHITして結果が出てきます。 Errorが出てくる原因は何でしょうか。分かる方教えてください。 http://mevius.5ch.net/test/read.cgi/unix/1176807372/171
172: 171 [sage] 2008/12/09(火) 22:34:48 自己レスです。よく分かりませんが estseek.conf estseek.tmpl estseek.top をchmod 744 したら動きました。失礼しました。 http://mevius.5ch.net/test/read.cgi/unix/1176807372/172
ﾒﾓ帳
(0/65535文字)
上
下
前
次
1-
新
書
関
写
板
覧
索
設
栞
歴
あと 161 ﾚｽあります
ｽﾚ情報
赤ﾚｽ抽出
画像ﾚｽ抽出
歴の未読ｽﾚ
AAｻﾑﾈｲﾙ
Google検索
Wikipedia
ぬこの手
ぬこTOP
0.016s