全文検索エンジン Hyper Estraier 2 (333レス)
上
下
前
次
1-
新
231
(1)
: 2010/03/25(木)07:29
AA×
[240|
320
|
480
|
600
|
100%
|
JPG
|
べ
|
レス栞
|
レス消
]
231: [sage] 2010/03/25(木) 07:29:47 N-gramするうえで文字単位にするかバイト単位にするかはどうすればいいですか。 このソフトはどっちですか。 日本語だと一文字で2バイトか3バイトになります。英語は1バイトにります。 文字単位では日本語一文字と英語一文字の価値が同等になりますが 実際の情報量は日本語の方が大きいです。 英語の2文字か3文字くらいの情報量がありそう。 バイト単位にすると、N=2の時に英字一文字の検索がしにくくなります。 http://mevius.5ch.net/test/read.cgi/unix/1176807372/231
するうえで文字単位にするかバイト単位にするかはどうすればいいですか このソフトはどっちですか 日本語だと一文字でバイトかバイトになります英語はバイトにります 文字単位では日本語一文字と英語一文字の価値が同等になりますが 実際の情報量は日本語の方が大きいです 英語の文字か文字くらいの情報量がありそう バイト単位にするとの時に英字一文字の検索がしにくくなります
上
下
前
次
1-
新
書
関
写
板
覧
索
設
栞
歴
あと 102 レスあります
スレ情報
赤レス抽出
画像レス抽出
歴の未読スレ
AAサムネイル
ぬこの手
ぬこTOP
0.026s