組み込み型全文検索エンジンSenna (274ﾚｽ)
上下前次1-新
1(1): うんこ船長 2005/06/15(水)00:14 ID:nYzPplAZ(1/4) AAS
ないようなので立ててみました。
外部ﾘﾝｸ:dev.razil.jp
245: 242 2009/06/20(土)05:04 ID:??? AAS
測定基準整理して計り直してみた。
OS 起動直後、インデックスがキャッシュに一切載っていない状態で
「wiki」で検索 (1万件以上ヒットする) し、応答時間を測定。
1回目
LIMIT 10: 0.643秒
LIMIT 100: 1.129秒
LIMIT 1000: 5.787秒
LIMIT 10000: 49.523秒
2回目以降 (SQL_NO_CACHE 無しの場合)
LIMIT 10: 0.007秒
LIMIT 100: 0.029秒
LIMIT 1000: 0.203秒
LIMIT 10000: 1.467秒
2回目以降 (SQL_NO_CACHE 指定の場合)
LIMIT 10: 0.007秒
LIMIT 100: 0.029秒
LIMIT 1000: 0.202秒
LIMIT 10000: 1.462秒
SQL_NO_CACHE 指定の有無は優位な差を生まなかった。
246: 242 2009/06/20(土)05:06 ID:??? AAS
搭載メモリ 2GB だったのを 512MB に減らした状態でも測定してみた。
SEN と SEN.l の合計が 800MB 強なので、明らかに物理メモリよりインデックスの方が大きい状態。
1回目
LIMIT 10: 0.634秒
LIMIT 100: 1.104秒
LIMIT 1000: 5.787秒
LIMIT 10000: 50.292秒
2回目以降 (SQL_NO_CACHE 無しの場合)
LIMIT 10: 0.007秒
LIMIT 100: 0.030秒
LIMIT 1000: 0.207秒
LIMIT 10000: 42.752秒
2回目以降 (SQL_NO_CACHE 指定の場合)
LIMIT 10: 0.007秒
LIMIT 100: 0.030秒
LIMIT 1000: 0.208秒
LIMIT 10000: 42.771秒
LIMIT 1000 まではメモリ 2GB の時と同じ状態。
今回も SQL_NO_CACHE 指定の有無は優位な差を生まなかった。
247: 242 2009/06/20(土)05:18 ID:??? AAS
メモリ 512MB 環境下で LIMIT 10000 の時のみ
2回目の数値が極端に悪くなって1回目と大差なくなっているのは、
1回目検索時に読み込まれたデータが多すぎてキャッシュから溢れたためだろう。
実運用では同じ検索語が連続してくることなど希だから
このキャッシュミス状態はかなり起きやすくなるはず。
なのでインデックスは全部オンメモリであることが強く望ましいのは間違いない。
が、だからといって
>>235
> こいつらがオンメモリにないと単なるシーケンシャルスキャンより遅くなってもおかしくない
などというアホなこともない。
きちんと LIMIT 切ってやればメモリに全く載って無い状態ですら1秒で帰ってくる。
(ORDER BY とかつけてると LIMIT 付けててもダメな予感がするがまだ試してない)
また、
>>230
> 5Gのコンテンツだと、経験上インデックスサイズがだいたい5Gになるんすよ。
そういうケースもあるのかもしれんが、少なくとも今回試した Wikipeida 全文では
コンテンツ 5GB 弱に対してインデックス 1GB 弱になった。
よって 2GB で十分オンメモリになる。
それにしても、今回テストした ATOM で IDE 40GB の HDD で OS 起動直後で
1万件ヒットする単語でも1分越えしなかったわけだが、
>>214はいったいどういう環境とクエリで検索したんだ?
248: 2009/06/22(月)01:12 ID:??? AAS
64ビットOSにしてメモリ5Gは積まないととか言ってた奴はどこ行ったの？
249: 2009/08/03(月)13:00 ID:??? AAS
通常のMysqlで動作が遅かったため
tritonn-1.0.12-mysql-5.0.67-win32.zip
をインストールしてみたのですが、
何分かInsert Selectを連続して行っているとDBが落ちてしまい
MySQLAdministratorから「Can't crete a new thread errno12」とでて
ログインできなくなったり、
できてもスキーマやテーブル一覧が取得できなくなります。
この状態で.NETからSelectなどの処理を行うと
「Got error 12 from storage engine」
とでて処理できません。
Mysql6では同様の動作が問題なく継続できていました。
サービスを再起動すると復活するのですが、
同じように何分か処理を走らすと同様の状態になります。
メモリなどハードウェアはまだ余裕の状態です。
何が原因でどうしたらいいかなど八方塞になってしまいました。
どなたかアドバイスいただけませんでしょうか。
250(1): 2009/08/17(月)16:21 ID:ha4chuFj(1) AAS
人いない
sennachkドキュメントないんだけどこれ使えるの？
251(1): 2009/08/17(月)17:48 ID:??? AAS
>>250
まあ今時こんな性能が悪いものは、みんあ使わんってことだ
252: 2009/08/17(月)22:15 ID:a7sy8cob(1) AAS
>>251 さんのオヌヌメ教えて！
253: 2009/09/05(土)21:32 ID:4Qwo+WsH(1) AAS
mecabの辞書がUTF-8になってるから、
sjisのdbでは使えないと思ってたんだけど
やってみたら使えてるみたい。
ngramインデックスの場合、mecabの辞書に気を遣う必要ないという認識でOKですか？
254: 2009/09/05(土)23:48 ID:??? AAS
そりゃngramインデックスならmecab関係ないだろ。
mecabなしでも使えるわけだし。
255: 2010/03/06(土)02:05 ID:??? AAS
test
256: 2010/03/25(木)03:31 ID:txB00Cpn(1) AAS
あれ、半年もレスなかったのか・・・
なにか他にいいのが出てるの？
アゲてみる、ごめん
257: 2010/04/04(日)09:24 ID:f5hMLlFL(1) AAS
tritonn使ってみようかと思ってるんですが、
将来的にDBをマシン間で引越しするとき、MyISAMは単純にファイルコピーだけ、
ダンプ→インポートしなくても引越しできるようですが、付加されたsenna関連である
sen.*についても単純にファイルコピーだけでOKなんでしょうか。
258: 2010/04/07(水)02:19 ID:nn78rN3+(1) AAS
どんな挙動するのかは知らないけど
センファイルは殲滅しておk
やたらでかいし、バックアップ対象からも外してるよ
インデックス張り直せば勝手に作るし
259: 2010/04/16(金)10:09 ID:dbk/orQU(1) AAS
トリトン使ってるけど
時間によって検索結果に出たり出なかったりする時があるみたい
インデックスへの反映具合を確認する方法があればいいんだけど
260: 2010/05/16(日)02:14 ID:??? AAS
Senna、Lucene、Solrなど
オープンソース系検索エンジンの
性能比較をやってるHPありませんか？
261: 2010/05/16(日)16:24 ID:??? AAS
以前見たような気がするからググれば出てくるんじゃね？
262(1): 2010/05/31(月)10:03 ID:ldCXIDLw(1) AAS
Tritonnの2ind機能を使って、
select * from table force index(counter) where match(title,body) against("*W1,2 てすと" in boolean mode) order by counter desc limit 100,100
という使い方は出来ないのでしょうか？
一応検索結果は得られるのですが、limit 0,100としたのと同じように、必ず先頭からの結果になってしまいます。
force index(counter)を消せば求めている結果になります。
環境はCentOSにsenna1.1.5、Tritonn1.0.12-mysql-5.0.87、
WindowsにはTritonn1.0.12-mysql-5.0.67なのですがどちらも結果は同じです。
263: 2010/06/02(水)00:02 ID:pNSVCSiw(1/3) AAS
1 ：名無しさん＠どっと混む[]：2009/12/14(月) 20:45:15 ID:unnBMLw10
高根社長のＳＭ趣味サイトＭａｓｋＲと
副業のＳＭクラブ銀座プレジス・動画配信専門リアルミストレスばかり語られるが
高根社長の本業コムラッドについても語ろう
銀座プレジス
外部ﾘﾝｸ[htm]:www.prezis.jp
ＭａｓｋＲ
外部ﾘﾝｸ:maskr.com
【腹黒樹里高根】銀座ﾌﾟﾚｼﾞｽ3【客の情報開示】
2chｽﾚ:sm
【腹黒樹里】プレジスを語ろう2【周年ｲﾍﾞﾝﾄ大失敗】
2chｽﾚ:sm
プレジスを語ろう
2chｽﾚ:sm
動画配信専門リアルミストレスってどうよ？
2chｽﾚ:sm
9 ：名無しさん＠どっと混む：2010/01/03(日) 18:27:00 ID:RSEbBiG0O
高値はもう大麻やめたの？
10 ：名無しさん＠どっと混む：2010/01/04(月) 05:15:29 ID:A3l1qdv+O
タカネ社長ってどうやってばれないように脱税してんだろ？
億単位で脱税して億ション暮らしなんて凄いよな
監査役の奥さんもグルなのか？
264: 2010/06/02(水)00:03 ID:pNSVCSiw(2/3) AAS
18 ：名無しさん＠どっと混む：2010/01/07(木) 09:26:06 ID:5NL2jyJpO
高根はMASKRでレイプ仲間募集するのやめたんだね
mixiで募集中か
21 ：名無しさん＠どっと混む：2010/01/10(日) 19:36:45 ID:FdRwgXUTO
風俗店やってるってことは高根社長は暴力団と繋がってるんだね
どこの組にいくらみかじめ料払ってるんだかw
23 ：名無しさん＠どっと混む：2010/01/23(土) 03:43:12 ID:Pdcv8aq0O
ﾀｶﾈ社長未成年に酒飲ませてﾚｲﾌﾟ
24 ：名無しさん＠どっと混む：2010/01/29(金) 18:16:06 ID:zMwtdkIsO
高根社長のレイプ趣味は病気だから治らない
25 ：名無しさん＠どっと混む：2010/02/01(月) 01:39:32 ID:uaH5mo2nO
前科者
26 ：名無しさん＠どっと混む：2010/02/09(火) 00:52:46 ID:JwGmN2cG0
>>25
容疑はレイプ？買春？管理売春？公然猥褻？薬物？脱税？詐欺？傷害？
28 ：名無しさん＠どっと混む：2010/02/14(日) 22:56:30 ID:lykq8x1VO
どこかのスレで人を死に追いやったと書いてあった
33 ：名無しさん＠どっと混む：2010/03/04(木) 12:49:19 ID:J8YxaRGO0
金がないって脱税がばれて追徴課税でも来たか？
せっかく脱税の隠れ蓑にプレジス営業してるのに残念だったなｗ
38 ：名無しさん＠どっと混む：2010/03/12(金) 21:09:53 ID:L0W4+sivO
首吊り首絞めプレイ大好き高根英哉
265: 2010/06/02(水)00:04 ID:pNSVCSiw(3/3) AA×
>>18
ID:E/7OZVtz0
266: 262 2010/06/02(水)08:04 ID:kP3cOHz1(1) AAS
>>262はtritonnの仕様っぽいですね。
これはどうしようも無いことなのかな？
てっきり出来ると思ってたからがっくし。
267: 2011/05/22(日)12:38 ID:gdrY9aId(1) AAS
groonga来てるから話題減ってる気がするけど、あげ。
268: 2011/06/01(水)17:59 ID:??? AAS
limit a,b 指定で b の抽出件数指定は効くんだけど、a がゼロから効かない。
100,10 や 1000, 10 と指定しても、0, 10 と同じ結果。
フルテキストインデックス再構築したけど同じ。
インストした頃はちゃんと表示されたはずなんだが…。
269: 電脳プリオン 忍法帖【Lv=40,xxxPT】(2+0：8) 【31.3m】 2013/02/10(日)00:44 ID:??? AAS
>>1のリンク先が見れない
270: 2017/12/30(土)13:38 ID:YhlYw6jg(1) AAS
誰でも簡単にネットで稼げる方法など
参考までに、
⇒ 『半藤のブブイウイウレレ』 というサイトで見ることができます。
グーグル検索⇒『半藤のブブイウイウレレ』
Z25K5IFYUN
271: 2018/09/11(火)09:17 ID:??? AAS
もう何とかブラジルって会社もないらしいな
272: 2019/02/28(木)10:06 ID:??? AAS
senna作ってた会社ニコニコ動画に買収されたんだっけ？
273: 2020/02/11(火)15:33 ID:??? AAS
チエオクレのハゲの悲惨なツイッター
Twitterﾘﾝｸ:aphonedollar
↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑
この自称「ハゲ」とかいうチエオクレのブログが酷すぎる
＞「DesktopHE」 はWindows10に対応してないらしい
はぁ？？？ ★★★大嘘デタラメ★★★を垂れ流すな！！！
■「DesktopHE」 はWindows10でも、もちろん使えるわ！！！■
■「DesktopHE」 はWindows10でも、もちろん使えるわ！！！■
■「DesktopHE」 はWindows10でも、もちろん使えるわ！！！■
■「DesktopHE」 はWindows10でも、もちろん使えるわ！！！■
■「DesktopHE」 はWindows10でも、もちろん使えるわ！！！■
チエオクレのハゲが、Javaの設定を失敗してるだけじゃねえか！！！
嘘デタラメ垂れ流しやがって、このハゲがやっていることは立派な公害じゃねえか！
hatenaとかでまで、必死こいて大嘘をばらまいているんだが
Twitterﾘﾝｸ:5chan_nel (5ch newer account)
274: 2023/09/29(金)12:01 ID:??? AAS
ｳｿｫ━━━Σ(дﾟ|||ﾉ)ﾉ━━━ﾝ!?
上下前次1-新書関写板覧索設栞歴
ｽﾚ情報 赤ﾚｽ抽出 画像ﾚｽ抽出 歴の未読ｽﾚ
ぬこの手 ぬこTOP 0.891s*