文字コード総合スレ part15 (470ﾚｽ)
文字コード総合スレ part15 http://mevius.5ch.net/test/read.cgi/tech/1723861080/
上
下
前
次
1-
新
通常表示
512ﾊﾞｲﾄ分割
ﾚｽ栞
356: デフォルトの名無しさん [sage] 2025/07/29(火) 22:35:36.96 ID:pHNfVPjg altなんて実際のところ機能してないだろ 隠しメッセージに使うとかおもちゃになってる http://mevius.5ch.net/test/read.cgi/tech/1723861080/356
357: デフォルトの名無しさん [sage] 2025/07/31(木) 07:07:13.35 ID:1FIA24UI >>343 結局、何も言えないのか？ だからゆとりZは死ねなんだな 俺は5chにいるゆとりZは全員殺処分が妥当だと考えてる 理由は長いが以下に書き散らしたので興味あれば読んでみてくれ https://mevius.5ch.net/test/read.cgi/tech/1739527246/529- お前らはお互いに足を引っ張り合ってるので成長出来てない 今回も、無駄に喧嘩を売ってきて、正面から受けてもだんまりとか、 だから議論もろくに出来ず、幼稚なままだ そもそも俺はPostScriptやフォントの事に一言も触れてないのに、どうして > PostScriptと当時のフォントの詳細をほとんど知らないだろ? > だから妄想で適当なことを書く、酷いのはお前だ になったのかさっぱり分からない ゆとりZは妄想で適当なことを書く、酷い連中だから 存在するだけで邪魔だし、議論も紛糾するだけなので、殺処分が妥当 お前も死ね ってこのぐらい書けばわかるんかな http://mevius.5ch.net/test/read.cgi/tech/1723861080/357
358: デフォルトの名無しさん [sage] 2025/07/31(木) 07:09:00.90 ID:1FIA24UI >>349 > 問題は単にPDFの仕様が膨らみ過ぎて全部実装するのが困難になってて、サブセットでしか実装していない不十分なアプリが氾濫し過ぎてるってだけ > 直接的には文字コードの問題ではない その通りだが、お前も感づいているとおり、間接的にはunicodeの問題だ 実際、フォントと文字コードが1:1対応してたSJIS等だと問題にならなかったのも事実だろ つまりunicodeが > 異端 (>>340:俺) で、 > 確実にどこかで破綻する気はする(か、そもそも実装してもらえないか) (>>336:俺) に現時点でなってるのも事実ではないか PDFに関してはパチもん使わずAdobe純正品使え、だろうが、 unicodeも十分複雑すぎる仕様だから、同様の状況(＝フル実装されてないのが氾濫)になってる気はするが (だから足抜けは許さねえ！！！なコードヤクザになるのも納得) そもそもサロゲートペアも初段階で必須だと判断出来たはず (だからutf-16はナンセンスだとも) > https://skawa68.com/2024/07/31/post-81230/ 大漢和辞典で5万+、康熙字典で4.7万だから、ギリ行けると判断したのかもしれんが、 常識的には、いや無理でしょ、余裕無さすぎ、だし (よく知らんがハングルも1.2万程あるようだし、参考: https://tagengo-gakushuu.study-tips.info/app/web-form/korean/unicode_all_with_ancient_hangul/doc/all_hangul_chars_unicode.pdf) あとふと思ったが、IVS/IVD方式はもしかしてutf-32でも8バイトか？ なら中国が独立コードに拘る理由もありえる、というか、 これだと事実上utf-32も捨てる事になる まあほぼutf-8なので今更どうでもいいのも事実だが http://mevius.5ch.net/test/read.cgi/tech/1723861080/358
359: デフォルトの名無しさん [sage] 2025/07/31(木) 07:55:06.21 ID:1FIA24UI 思うにunicodeは、文字化けのない世界を提示したのは素晴らしいにしても、 一つでやろうとするが故、仕様が包括的になるのは避けられず、破綻に向かっている気はする 全ての言語を話せる人が居ない以上、 IVS/IVDなんて欧米連中からすれば意味不明で、逆に欧米側の仕様は俺らには意味不明になる だから実装側は誰も仕様の妥当性を判断出来ず、ただひたすらに仕様に従うしかない これ自体は自治体向けや会計ソフト等、一般プログラマの領域外の分野では普通の事で、 だから橋渡しとして両方が分かる人を入れ、仕様でガチガチに固定するわけだが、 実際破綻しまくっているのも、元々無理があるからだ つまり、例のブランコ、 「顧客が本当に必要だったもの」を解決出来る人が、本質的に存在しない (会計等の分野なら、会計知ってる奴にプログラミングを教える、等の解があるが、 全ての言語を話せる人が存在しない以上、unicodeにはこの解が存在しない) まあIT版バベルの塔であり、どこまで行けるかという話だが 実際、自分には関係ない機能なんて、実装するモチベわかないものだし (大体において実際困ってるから動くのがほぼ全員で、困ってなければ誰も動かない この意味では、unicodeがフル実装される未来なんて多分存在しない) http://mevius.5ch.net/test/read.cgi/tech/1723861080/359
360: デフォルトの名無しさん [sage] 2025/07/31(木) 10:38:37.81 ID:Ztum1zAi >>359 気付いてないようだが unicode 以前の SJIS とかの時代から PDF では使うフォントによっては同じ問題が起きてた 変なフォント使うやつ少ないし、同じ国の中の文字の揺れなので気づくやつが少なかったのが、国際化の影響で別の国の文字だの部首素片だのに変換されて目立つようになっただけ PDF は文字コード表にない文字（フォント）まで扱えることを知ってればコピペ等で化ける（別の字への置き換え）は当然の仕様と知れる http://mevius.5ch.net/test/read.cgi/tech/1723861080/360
361: デフォルトの名無しさん [sage] 2025/07/31(木) 12:22:57.59 ID:1FIA24UI >>360 Windowsの標準のフォントしか使ってないので、遭遇した事もないし、聞いた事もないが (ただ、当時はそうなっても「文字化け」としてスルーされてたとも思うが unicodeしか使った事無いゆとり以降は、文字化け＝バグ、とか言い出すから別の問題はあるにしても、 文字化けについて厳しくなってるから話題として出てきてるだけかもしれん) しかし結局、文字コード->グリフで多対一写像があり、戻す時にどちらに戻すべきか分からなくなるのが問題なら、 (SJISな当時に)多対一写像がありまくるのはただの糞フォントだとも思うが 平仮名/片仮名は漢字の簡易形であり、当然似たような字形はあるので、 ほぼ全部のフォントでそれらを何となく区別出来るように大きさを変えてあるのが常だし で、unicodeは多対一写像が仕様だから、 1:1写像な以前の世界向けに作られた物が当然誤動作してるだけだろ (さっさと対応しろよ、なのは勿論だが) して、「酷い」と考える奴は結局、後知恵でもいいからどうすべきだったと考えるのだ？ 文字コードを埋め込む方式は、見た目同じだが検索に引っかからない、いわゆる正規化の問題が発生してしまう 同じグリフ->同じ文字コードなら、この問題は存在しない だから「検索」と「コピペ」のどちら向けの仕様にするか、であり、PDFが > 検索ができないのは不便だからってんで (>>328) なら、そりゃ検索向けの仕様にするよ (現在のPDFが検索時に正規化して対応してるとしても、 同じグリフに複数の文字コードを与えている糞フォントな場合、 画面なぞって検索したときに、見た目同じなのに引っかからないケースが発生する 同じグリフなら同じコードだ！の旧方式なら、これはない) http://mevius.5ch.net/test/read.cgi/tech/1723861080/361
362: デフォルトの名無しさん [sage] 2025/07/31(木) 12:57:26.17 ID:lEUWnalG 長文は読み手の負担になるし 希薄化して本当に書きたいことも伝わらなくなるよ http://mevius.5ch.net/test/read.cgi/tech/1723861080/362
363: デフォルトの名無しさん [sage] 2025/07/31(木) 13:09:41.59 ID:Ztum1zAi >>361 フォントが1種類しか使われてないと思い込んでるのがお前の妄想の原因なんだよ アラビア語のフォントが一部に使われてるPDFをSJISのテキストにコピペしたらどうなるか想像つくだろ http://mevius.5ch.net/test/read.cgi/tech/1723861080/363
364: デフォルトの名無しさん [] 2025/07/31(木) 14:31:26.32 ID:hwCClOrU ∃〆ﾚば良いんょ http://mevius.5ch.net/test/read.cgi/tech/1723861080/364
365: デフォルトの名無しさん [sage] 2025/07/31(木) 14:51:39.49 ID:1FIA24UI >>363 それはSJISの範囲を超えているから当然誤動作する (俺は知らんがwiki等読む限り)仕様としてはエスケープシーケンスで各国語を切り替えられたらしいが、 そんな事が必要な奴は90年代でも既にunicodeを使ってたので、 SJISに貼り付けて誤動作ガーとか言ってるお前が狂ってる 資本主義＝商用ベースでやる以上、訳の分からないマイナーな使い方は無視されて当然 (良い悪いではなく、そうなる構造) http://mevius.5ch.net/test/read.cgi/tech/1723861080/365
366: デフォルトの名無しさん [sage] 2025/07/31(木) 15:58:32.58 ID:Ztum1zAi >>365 基本的な部分が分かってないな ・全ての文字（フォント）が SJIS と1対1でマップされている保証はない というのが ・全ての文字（フォント）が Unicode と1対1でマップされている保証はない というのに変わっただけで unicode など文字コードの問題だと思ってるのがお前の勘違い、文字コードで解決する問題ではない http://mevius.5ch.net/test/read.cgi/tech/1723861080/366
367: デフォルトの名無しさん [sage] 2025/07/31(木) 17:19:12.01 ID:T4u83bYv 対象文書に閉じた形式（情報量が削減されたグリフオリエンテッドな形式）で表現されている以上、どうしようもない http://mevius.5ch.net/test/read.cgi/tech/1723861080/367
368: デフォルトの名無しさん [sage] 2025/07/31(木) 22:07:10.30 ID:1FIA24UI >>366 > ・全ての文字（フォント）が SJIS と1対1でマップされている保証はない それはそうだが、実際はされてるから問題にならなかったんだろ SJISで正規化問題なんて聞いた事無いし unicodeでは色々な所で多対一がモロ仕様だから顕在化しただけ とはいえこれ以上は平行線だろうし終わりでいい 合意とる必要もないし 俺は、 ・見た目全く同じなのに検索に引っかからない事があるunicode仕様 ・コピペ時に見た目は全く同じな別のコードに変わる事があるPDF仕様 なら、PDFには後者の方が断然いいと考える PDFに対して検索はよくやるが、コピペはあまりしないし (ただ、ファイル容量なんてどうでもいい昨今なら、両方入れとけだろうし、 それが316リンク先内の/ActualTextだろうから、 俺らがやるべきは、「/ActualTextを出力しないPDF作成アプリはゴミ」と吹聴する事だろうよ) http://mevius.5ch.net/test/read.cgi/tech/1723861080/368
369: デフォルトの名無しさん [sage] 2025/07/31(木) 22:46:51.26 ID:Ztum1zAi >>368 昔から発生してた、特に字体の多いプロフォント使った印刷用のPDFとか外国語関係とかだと当たり前に起きてた、お前の経験が浅いだけ 単にSJISとかしょっちゅう文字化けするんで、文字化けしても特段話題にならなかっただけ、検索とかコピペ失敗しても単に機種依存文字wって言ってすましてた unicode が普及したことで環境依存って思わなくなったのと外国の文字が含まれてるフォントを常用するようになって話題になった http://mevius.5ch.net/test/read.cgi/tech/1723861080/369
370: デフォルトの名無しさん [sage] 2025/07/31(木) 22:58:34.81 ID:1FIA24UI >>369 > 検索とかコピペ失敗しても それはお前の理解が間違ってて、PDF内では検索失敗しないのがPDFの仕様だ まあお前みたいなタイプは沢山居るけども http://mevius.5ch.net/test/read.cgi/tech/1723861080/370
371: デフォルトの名無しさん [sage] 2025/07/31(木) 23:10:14.79 ID:1FIA24UI >>369 もしかして検索はPDFではなくSJISにかかってた？ だとしたら、俺はSJISで「見た目同じだが引っかからない」検索失敗は、一度も経験した事がない 経験不足なのか、SJISにはなくunicodeで発生した問題なのかについては、俺は後者だと考えてる http://mevius.5ch.net/test/read.cgi/tech/1723861080/371
372: デフォルトの名無しさん [sage] 2025/08/01(金) 01:22:53.13 ID:S37h8L9Z アホ過ぎる「検索失敗しないのがPDFの仕様だ」とか小学生レベル 失敗するのは人間。 見えてる文字で検索したつもりでも内部的には別の文字になってるので検索に引掛からなかったり、その逆で見た目が全然違う文字が検索でひっかかたりする。原因はコピペの失敗と同じ 。 http://mevius.5ch.net/test/read.cgi/tech/1723861080/372
373: デフォルトの名無しさん [sage] 2025/08/01(金) 07:02:06.81 ID:7kydH/9J >>372 グリフが完全に同じ時は同じ文字扱いなのがPDFで、 グリフが完全に同じでも違う文字の時があるのがunicodeだぞ とはいえ、お前には理解出来ないことは理解したので終わりでいいが http://mevius.5ch.net/test/read.cgi/tech/1723861080/373
374: デフォルトの名無しさん [sage] 2025/08/01(金) 07:18:07.89 ID:ckQfX7Hr だれかTeXで例えて http://mevius.5ch.net/test/read.cgi/tech/1723861080/374
375: デフォルトの名無しさん [sage] 2025/08/01(金) 08:03:21.63 ID:S37h8L9Z >>373 SJIS の話してんのに unicode 関係ないだろ お前は PDF のこと全く分かっってないだろ PDF はお前が思ってるほど単純なしくみじゃないぞ CMap って聞いたことあるか？ そのあたりから内部構造勉強してみ /ActualText どころか ToUnicode CMap すらない PDF だって普通にあるんだよ（unicode 以前のフォントが unicode 対応してる訳ないだろ PDFの内部の文字の記録は unicode ではなくてグリフID というフォント内の格納番号なんだよ、一部の日中韓フォント使った場合は CID というまた別のコードで記載されてることもある http://mevius.5ch.net/test/read.cgi/tech/1723861080/375
376: デフォルトの名無しさん [sage] 2025/08/01(金) 08:41:40.71 ID:wR/jTASQ >>375 その辺は316のリンク先読んだ程度しか知らないが、 それでも普通にプログラミング経験があれば理解出来る物なんだよ グリフID->文字コードの変換表は、普通に実装すれば「その文書で最初にそのグリフを使った文字コード」が格納される だから、「違う文字コードだが同じグリフ」が無い場合、この程度の仕様/実装でも検索もコピペも問題ない 実際、SJISでWindowsデフォのフォントを使ってる限り、問題なかった ところがunicodeでは、「違う文字コードだが同じグリフ」が普通にあるので、 コピペでは「同じグリフの違う文字コード」に変更(縮退)されてしまう事が多発する なお、PDF内では「同じグリフは同じ文字コード」に縮退されているので、検索では100%ヒットする というか、ループしてるしこの辺でいいか？ ここでは知識(知れば済む事)を与える事は出来ても、 理解(考えて納得する事)を与える事は出来ない いろんな言い方をする事は出来るけども、既にそうしてきてるし、 これで理解出来ないのはお前の知能の問題で、ここで一朝一夕に修正するのは無理だ お前は知識＝頭がいいと考える文系馬鹿に近い存在のようだが、それは間違いだ 知識はちゃんと理解してナンボであってね プログラミングが多少でも出来る奴なら、上記の俺の説明で、ああ、はいはい程度には理解出来ると思うし http://mevius.5ch.net/test/read.cgi/tech/1723861080/376
377: デフォルトの名無しさん [sage] 2025/08/01(金) 09:32:26.46 ID:S37h8L9Z お前は一回 PDF 検索を実装してみろ、失敗しない検索が実装できるか分かるぞ 検索文字列がフォント名とグリフIDのセットで降ってくるとでも思ってるのか？ http://mevius.5ch.net/test/read.cgi/tech/1723861080/377
378: デフォルトの名無しさん [sage] 2025/08/01(金) 22:01:15.19 ID:wR/jTASQ >>377 > 検索文字列がフォント名とグリフIDのセットで降ってくるとでも思ってるのか？ お前のプログラミング能力はゼロで、文字列検索では具体的に何をしてるのか全く知らない事は分かった ただこれはプログラマには常識過ぎるので、316のリンク先やこのスレ内でも、誰もわざわざ言及していない だからお前は付いてこれないままだ だが、それ以前に、お前は文字列とは何なのかも知らなそうだが そもそも>>317もまるで理解できてないだろ 理解したければ、プログラミングのイロハから勉強するんだね 多分お前はPDFのヘビーユーザー、おそらくはイラレ使い、てなところか お前が文字コードの問題まで理解できることは、短期的にはない。ベースの知識が足り無すぎる そもそも何故お前がこの板にいるのかがかなり謎だが PDFに不満があるのなら、「出力はAdobe純正ソフトで、マッピング情報等は全部含めて、ファイルは大きくなってもいいから」と依頼すれば、 お前の不満に対しての最適解にはなってるだろうさ http://mevius.5ch.net/test/read.cgi/tech/1723861080/378
379: デフォルトの名無しさん [sage] 2025/08/01(金) 23:52:35.21 ID:S37h8L9Z >>378 俺は実際にPDFの検索組んだことあるんだが、お前のその妄想はどっから来たのか知りたい http://mevius.5ch.net/test/read.cgi/tech/1723861080/379
380: デフォルトの名無しさん [sage] 2025/08/02(土) 07:47:18.20 ID:xIFE1Go+ >>379 文盲か？最初の行にわざわざモロクソ書いただろ > 検索文字列がフォント名とグリフIDのセットで降ってくるとでも思ってるのか？ (>>377) ここからだよ 普通はたった2行のレスをわざわざ引用するのは冗長すぎるので文句言われるが、 それでもお前にはどちらの行か分かるようにしたほうが良さそうなので敢えて引用した 5chのコミュ障共はこの辺の配慮なんて汲めないから、 ひたすら「俺にとっては冗長だ」という基準で長い長い言うわけだが、 それでも馬鹿なお前に合わせて書いてるんだから、ちゃんと読め というか、逆に言うと、そんな事を言うお前は、 > 検索文字列がフォント名とグリフIDのセットで降ってくる 場合に、検索出来るようになると思ってるわけだろ そりゃお前の組んだプログラムなんて動作しないさ 初心者あるあるだが、 ・間違った問題を、間違った方法で解決しようとして、余計におかしくなる ケースに該当する ただ正直、このレベルから相手にする気にはならんし、勝手によろしくやってくれだが http://mevius.5ch.net/test/read.cgi/tech/1723861080/380
381: デフォルトの名無しさん [sage] 2025/08/02(土) 07:48:17.42 ID:xIFE1Go+ 結局の所、>>317はよく書けていて、その通りだが、別の言い方をすると、 PDFの仕様は各文字が別々の字形(＝複数の文字コードが同じグリフを使うことがない) の時に機能するように出来ていた SJIS時代はだいたいこれが成立してたので、目立った問題はなかった unicodeだとまるで動かなくなったので、新仕様を整備したが、対応してないPDFアプリは誤動作しまくり で、これが上位の状況説明で、下位の詳細理由説明が317になってる 上位の説明はお前のような文系馬鹿でも分かるはずだが、下位の説明では、 ・元々どのように動作していて、←これ(前提部分)が省略されてる ・〇〇すべき所 ・△△になってるから、上手く動かない の、後半部分しか通常は与えられない。全員が知ってる前提部分なんて無駄でしかないから だから、前提部分の知識が全く無いお前には理解できない。これがお前が317以降空回りしてる理由 趣旨は異なるけど、例のバッテリー女も、同様の前提条件 ・車のエンジンをかける際にバッテリーが必要なこと(＝セルモーターを回してエンジンをかけること) を知らないからそうなるのであって、バッテリー女がクソ女なのは事実としても、 「バッテリーが上がってるとエンジンもかからないんだ。バッテリーなら15分ほどで修理できるから、試してみてくんない？」 と一言言えば回避できるんだが、これをやりたいか、ここまでやる必要があると考えるかは、人それぞれだね ただ、会話する気があるのなら、相手が馬鹿と分かったのなら、馬鹿にも通じるように言うべきではある そして俺は一応それをやってるつもりなのだから、ちゃんと読んでくれ http://mevius.5ch.net/test/read.cgi/tech/1723861080/381
382: デフォルトの名無しさん [sage] 2025/08/02(土) 08:50:01.67 ID:jagzAmj3 糞長文書いてる暇があったらプログラム書けよ そうすればすぐに unicode 関係ない 絶対に失敗しない検索も作れないってわかるぞ そもそも暗号化されてもいないのに一切検索できないPDFをはくツールすらあるぞ http://mevius.5ch.net/test/read.cgi/tech/1723861080/382
383: デフォルトの名無しさん [sage] 2025/08/02(土) 09:03:03.63 ID:tv/q+z7t >>382 それも初心者あるあるだな 賢いお前にはこれで十分通じるはず(ｷﾘｯ http://mevius.5ch.net/test/read.cgi/tech/1723861080/383
384: デフォルトの名無しさん [sage] 2025/08/02(土) 10:53:41.96 ID:jagzAmj3 日本語フォントとかだとグリフID の順がSJISやUnicodeと全く一致してないということを知らずに吹いてるんだろうな（SJIS時代は並び順が一致してたとでも妄想してるのかな？ 検索文字列がSJISとかUnicodeで与えられた時にそれをどうやってグリフIDとマッチングされるか具体的な方法も知らないんだろうな グリフIDと文字コードの対応がPDFに内蔵されてない場合に検索どうするか検討もつかないんだろうな 中には文字をグリフIDですらなくてアウトラインの図形データとして格納してるPDFだってあるということも知らないんだろうな http://mevius.5ch.net/test/read.cgi/tech/1723861080/384
385: デフォルトの名無しさん [sage] 2025/08/02(土) 11:23:02.89 ID:xIFE1Go+ >>384 > 順が なるほどやはりお前は分かってない > 検索文字列がSJISとかUnicodeで与えられた時 実はこれには問題がある。だから注つけるかとも考えたが、 > 画面なぞって (>>361) と既に言及してるし、どのみちunicodeだと手打ちでは無理で、画面なぞるしかない(後述)ので、まあいいかで省略した 賢いお前らなら当然気づくから、いちいち無駄ツッコミはないはずだし > グリフIDと文字コードの対応がPDFに内蔵されてない場合 それは初(ry > 中には文字を それも初(ry 本質的には、unicodeの問題がPDFに輸出されてしまってるんだよ 仮にPDFがhtmlのようにunicode文字コードで構成されてても、正規化の問題は発生するし、 316の例みたいに同じグリフを複数のコードが使用してる場合、「手打ちでの」検索はヒットしないことがあり得る PDFの仕様だと、「画面なぞれば」100%ヒットするだけまだましで、unicodeはこれすら保証できない http://mevius.5ch.net/test/read.cgi/tech/1723861080/385
ﾒﾓ帳
(0/65535文字)
上
下
前
次
1-
新
書
関
写
板
覧
索
設
栞
歴
あと 85 ﾚｽあります
ｽﾚ情報
赤ﾚｽ抽出
画像ﾚｽ抽出
歴の未読ｽﾚ
Google検索
Wikipedia
ぬこの手
ぬこTOP
0.028s