文字コード総合スレ part15 (470ﾚｽ)
上下前次1-新
311(1): 05/09(金)02:29 ID:3ts3cFTs(1) AAS
>>303
ファイルコピーとかするときは毎回、正規化の変換が発生する感じ?
（不明な正規化）->（特定の正規化） ってのは問題ないんだっけ?
一方でファイルビューア（Finder)とか上の方はどのFS上にいるとか意識
したくないだろうからなあ。そこでも正規化の変換が起こるのかな?
312: 05/09(金)11:12 ID:oh4Slinf(1) AAS
ファイルビューア
↓正規化
ファイルヒ゛ューア
こんなのやだな
313: 05/09(金)12:07 ID:OoJ+JMZS(1) AAS
EBCDICカナ文字の話みたい。
ごめんなさい、ごめんなさい、ごめんなさい。
314: 05/09(金)15:56 ID:yePfNbNe(1) AAS
>>311
最近macOSは余り触ってないが昔は
(様々な理由により以下の状況が起きて)
ファイルビューア
ファイルヒ゛ューア
の両方がディレクトリにある場合に、Finder.appでは
ファイルビューア
ファイルビューア
と表示され後者しかアクセス出来なかった
Cocoaが正規化してユーザやカーネルに渡すから
315: 05/13(火)18:18 ID:El9a77up(1) AAS
字にはヒラギノール
316(3): 07/20(日)21:42 ID:v9zpB8iu(1) AAS
Microsoft Print to PDFで出力したファイルからテキストをコピペしたら文字化けしてた…→実はPDFの仕様に潜む本質的な欠陥が原因なのでは？
外部ﾘﾝｸ:togetter.com
317(3): 07/20(日)22:29 ID:0FYiUEbf(1) AAS
>>316
文字コードの問題ではなく単なるバグ
より正確にいうと大昔からある PDF のフォントの使い方の問題
PDF はウェブと違って文字コードをデフォルトでは埋め込んでなくてフォント内の番号で直接埋め込んでる
フィント番号と文字コードが1対1でマップしている保証はないのに、コピペの時はフォントに埋め込みの変換表で番号から文字コード生成する仕組になってる
複数の文字コードに同じフォントを割り当てているフォントを使うとこの問題が起きる
318: 07/22(火)01:09 ID:g3Tn7WHZ(1) AAS
>>316 みたいな奴が参政党に投票する
319: 07/22(火)12:00 ID:Yl+nv6VH(1) AAS
アドビはタイプセッター屋じゃけぇ、フォントファーストじゃけぇ
320(1): 07/22(火)12:55 ID:nZDCfJLI(1) AAS
>>317
しかし1:1になるように、
つまり同じ字形が複数の文字コードで使われるなら、同じ字形のフォントを別登録してしまえば回避出来るのでは？
ならPDF出力ソフトが糞なだけ
321(1): 07/22(火)13:37 ID:bKhKMrtD(1/2) AAS
>>320
そんなことしたらサイズが無駄にでかくなるだろ
PDFがアホなのは同意だが、unicode普及以前の技術なのを思い出せ
322(1): 07/22(火)15:01 ID:yoaKkUTS(1/2) AAS
>>321
大きくはなるが、1%も変わらんだろ、その文書で使った物だけそうすればいいのだし
> unicode普及以前の技術なのを思い出せ
unicode以外では特に問題なかったのなら、unicode側の問題であり、
unicodeをPDF化するときには数パーセント大きくなる、で済んだ話だろ
お前がPDF嫌いなのは分かるが、技術的には、unicodeで仕様を拡大したのにPDF出力ソフトが対応出来てないだけだろ
323(1): 07/22(火)19:20 ID:bKhKMrtD(2/2) AAS
>>322
違うんだ。unicode その他の対応の拡張で PDF の仕様自体は更新されてるんだ
でもその機能にちゃんと対応している pdf 作成ツールや pdf viewer が少ないだけなんだ
本家の Adobe で作成して Adobe で読めば問題なかったりするんだよ
324: 07/22(火)22:22 ID:yoaKkUTS(2/2) AAS
>>323
となるとPDF側はすべき事はやってて、unicodeと糞ソフトの問題だな
とはいえ今更本家からの統制は無理だし、
この問題を認識した上で各自が対応するしかなさそうだな
(そういえば最近無駄にコピペさせないPDFが増えた気がするが、実は糞ソフト側のパッチ対応であったか)
325: 07/24(木)18:46 ID:bvlLnJ99(1) AAS
>>316
PDFの仕様が自由すぎるからだぞ？
326(1): 07/24(木)19:36 ID:Gx5EDFfz(1) AAS
adobeはPDF2.0に対応したのか、やる気もないのか、とふと思った
327: 07/24(木)21:57 ID:PCIysLOC(1) AAS
>>326
対応とは？
PDF-2.0 が何か知ってて言ってるのか？↓
328(3): 07/25(金)01:59 ID:UKTPcfYB(1) AAS
PDFはPostScriptがベースなんだけど、これは元々プリンタ出力のために設計されたもの
後は紙に印刷するだけって状態のデータだから文字コードなんて概念はない
PostScriptの仕様をPDFに流用する時、検索ができないのは不便だからってんで
グリフ番号→文字コードのマッピング表をPDFファイルに埋め込める仕組みを作った
アプリがこの表を適宜生成しないと文字化けが発生する
329(1): 07/25(金)07:07 ID:yWMF+wv2(1/4) AAS
>>328
それで、unicode以外ではグリフと文字コードが1:1だから問題にならなかったのなら、
アプリ製作者がunicodeについて無知なのが原因だろう
ただ、unicodeも無駄に冗長すぎるようにも見える
K(0x212a:Kelvin sign)とか、K(0x4b:大文字K)が今までの全ての文書で使われてるのに今更どうしろと？
今後「KをKに修正しろ」と誤字を指摘するKelvin警察が生まれるとウザい
そして割と問題なのが、検索で引っかからなくなる事
検索時には区別しないのなら、最初から今まで通り同じフォントでよくね？だし
unicodeが何を目指してどういう着地点を想定してるのかさっぱり分からん
330(1): 07/25(金)09:21 ID:5+UAzUxo(1/2) AAS
>>329
元々の unicode は実践主義、御都合主義ともいう。
過去に別の文字として同時に実装された記録があれば別の文字として登録。
331(1): 07/25(金)11:08 ID:yWMF+wv2(2/4) AAS
>>330
つまり、あらゆる文字コードの上位セットにしてしまえば、文字コードを統一出来るとの考えか
しかしこれだとあらゆる方言を内包する事になるので、おかしくなりかけてるのが今か
どこかの自治体が「斉」の文字を外字で19種登録してたら、これもいつか実装されるというわけか
(と思ったらもうあった、0x9f4a〜8文字のようだ)
仕様を適宜整理出来ず、ムダ仕様が膨らみ、メンテ不能になるのは、あるあるだけど、
unicodeもこの軌道に乗ってるな
(もしかして欧米連中はこの辺の仕様の整理が上手くて、下手糞なCJKを混入したからおかしくなってるだけか？)
332(1): 07/25(金)14:05 ID:TViBdD0W(1) AAS
>>331
戸籍／汎用電子情報交換環境／文字情報基盤の「斎」の変種のことなら unicode には IVD として全部登録されてる
333: 07/25(金)18:28 ID:yWMF+wv2(3/4) AAS
>>332
正式名称は知らんが、俺が言ってるのはそれだな
ググったら総務省が音頭取ってやってるのか？色々出てきたが、
少なくとも規格化してから登録してるようだから、最低限の重複チェック等はあるはずで、まあ何とかなるのかな？
にしても検索どうするんだこれ？だし、
最近の絵文字の氾濫も、当初の想定からかなり逸脱してるのではないかと思うが
334(1): 07/25(金)19:02 ID:yWMF+wv2(4/4) AAS
と思ったが、IVSは直後に枝番付加する方式か
まあ、比較的マシ、というか、真面目にやるならこれしかない程度には洗練されてる
ちなみにこれ、実際のグリフを算出するにはどうするのだ？
異体字が全部Exxxなようで、辞書引きするしかなく、それがIVDなのか？
というか各者の説明読む限り、845B+E0100指定すれば勝手にそれが出てくる的な書き方で、
もしかして「斉」のようにunicode側に独立したコードを割り当てておらず、
必ず元字＋枝番のセットで使うのが仕様か？(この方がいいが)
335(1): 07/25(金)19:10 ID:5+UAzUxo(2/2) AAS
>>334
IVD は重複登録が許されてる。ソースが異なれば完全に同じ字形でも異なる IVS が与えられる（こともある）
336(3): 07/26(土)08:13 ID:PF0bui/v(1) AAS
>>335
うむ、意図が分からん
「斉」は独立コ
ードも与え、IVDにも登録、
「葛」は独立コー
ドなし、IVDには登録、のようだから、仕様作ったやつが馬鹿だな
実装には結局両対応が必要となり、発注価格には1000万程度の上乗せが各社で必要となる
無能が仕様を作るとこういった糞仕様による目に見えづらい税金が発生するから、
仕様は最初にガッツリ決めようぜというのが欧米流だが、相変わらず日本はこの辺糞だな
（大方やってるうちに足りなくなって途中で方針変更だろうが、これをやられると悲惨なことになる)
> ソースが異なれば完全に同じ字形でも異なる IVS が与えられる（こともある）
検索でヒットする必要がなく、たまたま同じフォントで見た目が同じなだけだから、
プログラム側には全く問題ないだろうさ
ただ、入力側が正しく入力できるかは大問題だろうけどさ
単一の文字コー
ドを目指すかぎり、字体のみならず、コードの割り当て方の方言も内包することになるわけだな
unicodeのバージョン管理って、完全上位互換?それとも後方互換切り捨て？
(例：16準拠の場合、15を完全に満たすのか、そうでないのか)
C#のように上手く古い仕様を廃止していかないと、確実にどこかで破綻する気はする(か、そもそも実装してもらえないか)
337(1): 07/26(土)12:33 ID:JK5RKkw3(1) AAS
>>336
最近の仕様だけ見たら混乱するよな
− もともとは同じ文字の別字形については昔の資産（unicode が作られるより前の20世紀の文字コード）にある文字だけ独立したコードポイントが割り当てられる方針だった
− その後の他の字形も使いたい、実際に使ってる現場があるという要望に答えるために IVS が整備された
− でもある文字と別の文字の字形が同じかどうかをフォント抜きで確実に判別する手段がないので字体表をそのまま IVD として登録していく方針にした
− 中国政府が「 IVD とか知るか、独立したコードポイント割り当ててくれないんなら、自分たちで勝手に割り当ててオレオレ unicode の利用を中国国内では強制することにするがよろしいか？」 と言い出した
− unicode 側が折れて漢字に関しては中国が要望してきた分に関してはIVDじゃなくて今後も全部に独立コードポイントが割り当てられることになった
− 甲骨文字は漢字じゃないので独立コードポイントよこせって中国が言ってきたので漢字とは別に割り当てる予定
338: 07/26(土)13:22 ID:IhScHI/D(1) AAS
>>337
日本側の状況はさもありなん
全自治体の異体字をカバーする為にはIVS/IVDしかないので、最初からここを目指せればベストだったが
中国側の言い分は正直分からん、というか連中は日本政府以上に馬鹿だな
検索考えたらIVS/IVD方式の方が独立コード方式より断然いいのに
とはいえ状況知らんが、簡体/繁体もある意味異体字だから、最早どうしようもないのかもしれんが
> オレオレ unicode の利用を中国国内では強制することにする
それは中国規格なので勝手にしろでいいと思うが
> unicode 側が折れて
となるのは、unicode陣営は統一コードの夢を見続けている、ということか
なら、日本政府が、どうにもならないからやっぱ止めて新規格作ります、とか言いだしたら、(見る限りこの必要はないと思うが)
非関税障壁ガーで、足抜けは許さないコードヤクザになるわけだな
まあ、検索考えたら独立コードになってるのも全部IVS/IVD方式に寄せた方がいい
現実的には入力後に独立コード→IVS/IVDに変換してDB登録すれば実害はあまりない
可能であればさっさと独立コードになってる物を仕様から落とすべきだが、これは難しいのだろうね
339(1): 07/27(日)09:27 ID:y0cxqRG2(1) AAS
>>328
>PDFはPostScriptがベースなんだけど、これは元々プリンタ出力のために設計されたもの
>後は紙に印刷するだけって状態のデータだから文字コードなんて概念はない
これはひどい
340(2): 07/27(日)09:52 ID:s52NuiMb(1/4) AAS
>>339
酷くはない
その当時はそれでも素晴らしかったから普及した
そして実際、unicode以前は完全に機能していたわけだし
どちらかというとunicodeが既存技術に対してかなり異端で、
当然アプリは別対応が求められるが、それが適切に為されていない場合、誤動作してるだけ
Adobe謹製環境では動作してるのなら、Adobe側がこれ以上できることはない
上下前次1-新書関写板覧索設栞歴
あと 130 ﾚｽあります
ｽﾚ情報 赤ﾚｽ抽出 画像ﾚｽ抽出 歴の未読ｽﾚ
ぬこの手 ぬこTOP 0.010s