[過去ﾛｸﾞ] 文字コード総合スレ Part12 (1002ﾚｽ)
上下前次1-新
このｽﾚｯﾄﾞは過去ﾛｸﾞ倉庫に格納されています｡
次ｽﾚ検索 歴削→次ｽﾚ 栞削→次ｽﾚ 過去ﾛｸﾞﾒﾆｭｰ
1: デフォルトの名無しさん [sage] 2018/12/16(日) 12:38:15 ID:VlX3xGEw(1/7) AAS
Windows NTは初代からUnicodeがネイティブの文字コードです。cp932ではありません。
プログラマーなら一度は煩わされたことのある文字コードについてのスレ。
UTF-8、Shift_JIS、JIS、EUC、Unicode、UCS、サロゲートペア、コードポイント、文字コード判定、
合成文字、ソート、TRON、外字コード、その他について語り合いましょう。
各言語での文字列の扱いについての質問もOKです。
基本マッターリ、ささ、茶でもどうぞ。
■過去スレ
文字コード総合スレ part1 2chｽﾚ:tech
文字コード総合スレ part2 2chｽﾚ:tech
文字コード総合スレ part3 2chｽﾚ:tech
文字コード総合スレ part4 2chｽﾚ:tech
（スレ再利用）UnicodeとUTF-8の違いは？ 2chｽﾚ:tech
（隔離スレ）UnicodeとUTF-8の違いは？ その2 2chｽﾚ:tech
文字コード総合スレ part5 2chｽﾚ:tech
文字コード総合スレ part6 2chｽﾚ:tech
文字コード総合スレ part7 2chｽﾚ:tech
文字コード総合スレ part8 2chｽﾚ:tech
文字コード総合スレ part9 2chｽﾚ:tech
文字コード総合スレ Part10 2chｽﾚ:tech
文字コード総合スレ Part11 2chｽﾚ:tech
2(1): デフォルトの名無しさん [sage] 2018/12/16(日) 12:40:36 ID:VlX3xGEw(2/7) AAS
■参考サイト
Unicode Home Page
外部ﾘﾝｸ:www.unicode.org
Java Character Encodings
外部ﾘﾝｸ:www.ingrid.org
euc.JP: tech docs, BeOS tools
外部ﾘﾝｸ:euc.jp
IANA: Character Sets
外部ﾘﾝｸ:www.iana.org
Legacy Encoding Project
外部ﾘﾝｸ:sourceforge.jp
JIS X 4061
日本語文字列照合順番
外部ﾘﾝｸ:www.jisc.go.jp
3: デフォルトの名無しさん [sage] 2018/12/16(日) 12:45:08 ID:VlX3xGEw(3/7) AAS
■これまでに行われた議論
・Windows 10のコマンドプロンプトでUTF-8を使用する場合chcp 65001で切替可能。日本語入力等も可
・Shift JIS や EUC-JP や Big5 や GB なんかをUnicode に変換してしまうと、ラウンドトリップは保証されるか
・単一情報をソースの文字コード(or 言語)情報なしに元に戻したい （統計的に文字の出現確率なんかを調べる）
・0x5cをUnicodeにするときにバックスラッシュに置き換えるか円マークに置き換えるかで、逆変換時に結果が変わるの問題
・丸付き数字は機種依存文字か？。Unicodeでは機種依存文字ではない。
・Safari文字コード変換のバグは
・Microsoft文字コード変換のバグは
・U+31F0..U+31FF（アイヌ語表記用小書きカタカナ）が入ってない件
・文字化けに強いishフォーマットでエロ画像を交換する場合、ssより、s7のほうが化けにくい
・SJISとUNICODEの判別はどのようにすればいいですか？BOM。無ければ、統計判断。 ライブラリを使うが吉
・ところでケータイのUnicode対応度って実際どうよ？ → 対応済み
・TwitterのWebインターフェイスからだと、サロゲートペアは2文字としてカウント。140字打てない 。
・Unicode 5.2で追加されたUnicodeSMP(第1面)、Unicode 5.1で未定義だったSMPのコードポイントや第15、第16面が
Windows7では表示されない。 → 和田研細丸ゴシック2004ARIBはARIB外字を含んでいる。
・元号を安置する場所はJIS第三で確保済み。ウニコードでブロックを確保は政治力次第。
・元号は個人名ではない。特定の時間軸基準に数える年号を漢字で指す文字。
陛下の崩御後必ずしも元号が追号になるわけではない。むしろ違う場合が多い。昭和54年法律43号の元号法参照。
・文末でなければ"0"+ASCII7ビット、文末なら"1"+ASCII7ビットというエンコード。 → ヌル1バイトが貴重な時代からの負の遺産。
・Windows7出荷時に未定義だったコードポイントはフォント入れても豆腐になる。Unicode5.2は表示しない。欝だ。
・Unicode6ドラフトでPILE_OF_POO文字確定。ウニコードがもはやイミフ。SerifとSans-Serifで幅に違いは出る？
・Unicodeのzipが文字化けする。→Windows 7は公式パッチで対応可能。8以降は標準対応
4: デフォルトの名無しさん [sage] 2018/12/16(日) 12:46:00 ID:VlX3xGEw(4/7) AAS
・中国語の簡体字では、へんやつくりが簡略化されるなら、その文字も自動的に簡略化して表記する国家規格が有る
・中国語の「噁心」簡化政策によると「恶(U+6076)」に統一。口偏＋恶(U+6076)は普通に使われているがUnicodeにはない
・日本人のニーズが満たせないのも確かなので原規格分離（中国では「曾→曽」は簡体字と繁体字の違いとはみなされていないとか）
・UNICODEを扱うプログラムはサロゲートをぶったぎられた入力が渡されてくる場合にも備えろって→YES
・UnicodeとUTF-8の違いは？
・日本のCJK Ext.D Submissionに{魚針}が含まれてる件
U+9C75(魚箴)は強烈。いくら何でも違いすぎる。(魚針)
ひょっとしたら後で実は別字だったとか日本では異体字だが中国では別字とかになるかも知れんぞ。
中国ではってレベルじゃねーぞ。
・Unicodeは言語情報を直接扱わない。 多言語の混在表現は（unicodeでは）できないか
・Unicode文字列リストを各国言語を考慮してソートしたいんですが → ムリです。
・Unicodeサニタイズが面倒になるのか
5: デフォルトの名無しさん [sage] 2018/12/16(日) 12:46:16 ID:VlX3xGEw(5/7) AAS
もうひとつの過去スレ:
文字コード統一スレ 1文字目
2chｽﾚ:tech
隔離スレ:
UnicodeとUTF-8の違いは？
2chｽﾚ:tech
UnicodeとUTF-8の違いは？ その2
2chｽﾚ:tech
UnicodeとUTF-8の違いは？ その2
2chｽﾚ:tech
UnicodeとUTF-8の違い4(インディアン隔離スレ)
2chｽﾚ:tech
6: デフォルトの名無しさん [sage] 2018/12/16(日) 12:48:18 ID:VlX3xGEw(6/7) AAS
■ライブラリ
ICU - International Components for Unicode
外部ﾘﾝｸ:site.icu-project.org
mlang
外部ﾘﾝｸ[aspx]:msdn.microsoft.com
iconv
外部ﾘﾝｸ:www.gnu.org
ICU
外部ﾘﾝｸ:www.icu-project.org
NKF32.DLL （非推奨）
外部ﾘﾝｸ[html]:www.vector.co.jp
7: デフォルトの名無しさん [sage] 2018/12/16(日) 12:49:13 ID:VlX3xGEw(7/7) AAS
■単語一覧
・UTF-16は16ビット単位にエンコードするけど、サロゲートペアがある
表現できる文字空間はUTF-8と同じく20ビットとちょっと
・丸付き数字は機種依存文字か？MSIME2007ではCP932に収録されてない文字は「環境依存文字」って表示。
MacJapaneseではフォントによっては表示されないし、フォントによっては表示される。
今のMac（内部Unicodeアプリ）は、フォント依存ではなくアプリ依存。
似非ISO-2022-JPや似非Shift_JISのドキュメント中の丸付き数字は、
素直にAppleのAPIを使ってるアプリならゲタ（U+FFFD）になる。
・Mail.appではISO-2022-JPに収まらずCP932に収まるメールは、含まれる字種によって
charset=CP932で送信される場合とISO-2022-JP（もどき）で送信される場合がある
・MSでのウニコードとSJIS変換のバグ。
U+007E TILDE <-> Shift_JIS 0x7E OVERLINE
U+301C WAVE DASH -> Shift_JIS NA 【MSの問題】
U+FF5E FULLWIDTH TILDE <-> Shift_JIS 0x8160 WAVE DASH 【MSの問題】
・SafariでのウニコードとSJIS変換のバグ。
U+007E TILDE -> Shift_JIS 0x8160 WAVE DASH 【Safariの問題】
U+301C WAVE DASH <-> Shift_JIS 0x8160 WAVE DASH
U+FF5E FULLWIDTH TILDE <-> Shift_JIS NA
・winzipの規格ではファイル名のコードページ指定もしくは記録情報が存在しない。
解決策：取り合えず、MSWin+JPではShift-jisでファイル自体には保存されている。
MACOSX=Unicode,Unix=UTF/EUC/S-JISどれでもありえる。文字に関係なくLocalLangで
再変換しているので、それをしなければよい。
・charlenでの文字列長の判定はプラットフォームにより返り値が違う（機種依存文字等）。マニュアル嫁。
・JISのエスケープシーケンスが正しく認識されない本文とか。
'0x1b, 0x24, 0x42' という3バイトを先頭に、'0x1b, 0x28, 0x42' を末尾に追加汁。
あるいは外部ﾘﾝｸ[php]:masaka.dw.land.toとか。
8: デフォルトの名無しさん [sage] 2018/12/16(日) 17:19:29 ID:0LUE4AGb(1) AAS
oo|o|o|||o|o|o|o|||ooo|oo|o|ooooo||o||o|oooo|||o||||o|oo|o|||o|o|o|o|o|oo
ooo||o|o|||||||o|o||oo|ooo||ooo|o||oooo|oo|o||oo|||ooo||||oo||ooooo||oo||
oo||ooo|o||o||ooooo|oo|oo|o|o|||o|||||o|o|oo||oo|ooo||o||||o|o||o||o|oooo
ooo|||||o|oo|||ooo|o|oo|||||ooooooooooo|||ooo|||o||||oo|oo|||ooo|o||oo|||
ooooo|ooo||o|oo|||oooo|oo|||||ooooo||o|||oo|||o|o|o|o||||o|||||oo|oo|oo|o
||o|oo||oooooo||o|oo||o|||ooo||oo||oo||ooo|o|o|oo|||||o|o|o|||oooooo|o|||
||o||||o|oo|||o||oo||ooo|ooo|oo|||oo|o|||o|||oo|oo|oo|o|||||oooo||ooooooo
oo|oo|||||oo|||||o|oo|o||oo|||o|ooo||o|oo|||o||ooooooooo|ooooo|o|||o||o||
o|oo|o||o|oo|oo|oo|o|o|o|oo|o||||oo|oo||ooo|ooooo||||o|oo|oo|||o|||oo||||
|o||||o|||oo|o||o||oo||oooo|oo|o||oooo|oo|||||||oo|o|o|ooo|oooo||||ooo|oo
ooooo|||oo||oo|o||o|ooooooo||||||o|o||o|o|ooo||oo||o||oooo||oo|oo|||o||||
|o|||oo||o||o|o|||o||oooo|oo|||o||oo|ooooo|o|||o|||oo|ooo|ooo|||oo||oo|oo
||ooo|||ooo|||o|ooooo||||oo|||||oo||ooo|o||o||ooo|oo||oo|oo|||o|o|o|oooo|
|||oo|o||o||o|ooooooooo|o|o|||||oo|o||ooo|o||o|oo||||oo|o||o||o|ooo|||ooo
oooo|||ooooo||o||oo|ooo|||||o|oo|||o||o||ooo|ooo||oo||oo||o||o|oo|o|oo|||
oooooo||||oo|o||oo|||o|ooooo||ooo||||||oooo|||||oo||||ooo|||o|o|o|o||oooo
o|o|o|oo|o|oooo|o|ooo||oo|oo||||||||ooo|o||o||oo||o|||ooo|o||oo||oo||oo|o
oo||||oooooo|o||o|o|oooo||o|||oo|ooo|o|o|o|ooo||o|o|oo|o|||o|o|o|||o||o||
oo|oooo|oo|o|oo||||oo|||o||o|o||o||o|oooo|o||||o|o||o|ooooo||ooo||||||ooo
oo||o|oo||||oo|||||||||ooo|oo|||oo||oooo||o|o|o||||ooooooooo|oo|||oo|oo|o
o|o|||||o|o|||oo|oo|o|||o|o|||oo|oo||ooo|oo|oo||oooo||||o||||ooooooo||ooo
o|||||oo|o|||oo|ooooo|ooooo||o||oo||ooo||||oo|oooo||||oo|oooo||oo|o||||||
|oo|oo|||||oooooo||||ooo|||||ooo|oo|o|||oo|o|o|||o||ooo||ooo|o|oo|||o|ooo
ooooo|o|oo||o||||oo||oo|o|ooo||o|o|o|||ooo||||||o||oo|ooo||o|o||oo|o||ooo
|oo|ooooo||o||o|o|oo|oo|||ooo||||o|oo|oo|o||||o|oo|||o||o|||||ooooo|o|ooo
|o||ooooooo|||oo|ooo|ooo||||ooo||oo||ooo|||||||ooo|o|ooooo|||||o|o|o|||o|
9: デフォルトの名無しさん [sage] 2018/12/16(日) 21:10:16 ID:3q5iKhWM(1) AAS
こんなスレあったんだ
Windowsのフォントって、どのフォントがどのコード体系とか字体を使っている。
などを纏めているところってある？？
10: デフォルトの名無しさん [sage] 2018/12/16(日) 23:11:32 ID:/e3hQGaS(1) AAS
ちょっと考えれば分かるようなことをなぜ聞くんだろう。
11: デフォルトの名無しさん [sage] 2018/12/17(月) 20:40:27 ID:kiEfSjeK(1) AAS
ちょっと考えれば解るなんてすごい人だな。
ちょっと書いてみ
12: デフォルトの名無しさん [] 2018/12/17(月) 21:18:18 ID:lO+98ZHR(1) AAS
あげ
13: デフォルトの名無しさん [] 2018/12/18(火) 03:08:10 ID:81OlOyOQ(1) AAS
nkf - Network Kanji Filter Fork
外部ﾘﾝｸ:ja.osdn.net
v2.1.5
2018-12-15 18:19:02
14: デフォルトの名無しさん [] 2018/12/18(火) 11:22:36 ID:/M0/bFGF(1) AAS
>やはり頭悪いのはunicodeと符号化を混同してる
ここは同意
>2つ以上のｵｸﾃｯﾄを使う符号単位で
>BOM入れないﾔﾂは池沼だからな
これは嘘
15: デフォルトの名無しさん [] 2018/12/19(水) 00:20:13 ID:jOXn0Ht9(1/5) AAS
低学歴知恵遅れには
ｴﾝﾃﾞｨｱﾝの概念がないのが
よおく分かったわ
16: デフォルトの名無しさん [sage] 2018/12/19(水) 00:28:37 ID:t+yG2AJO(1) AAS
CPUの内部形式とデータには何の関係もない
現にネットワークデータはCPUとは無関係の並びになってる
17: デフォルトの名無しさん [sage] 2018/12/19(水) 00:54:40 ID:s0UhV0Jg(1) AAS
やっぱあれ書いたの半角さんだったんだｗ
18: デフォルトの名無しさん [] 2018/12/19(水) 00:57:03 ID:jOXn0Ht9(2/5) AAS
うわあ。。。
ﾏｼﾞでいってんの
こういうﾏｼﾞもんの低学歴がこの板で
はば利かせてるのがよく分かるわ
ﾏｼﾞで頭悪いことを
ﾊｼﾞもなくなんの躊躇もなくいうからな
ﾌﾟﾛｸﾞﾗﾑで
いちいｴﾝﾃﾞｨｱﾝ変換してんのすら
しらないらしいわ
当然Unicodeのｴﾝｺｰﾄﾞ方法にも
ﾋﾞｯｸﾞｴﾃﾞｨｱﾝとﾘﾄﾙｴﾝﾃﾞｨｱﾝがある
19: デフォルトの名無しさん [] 2018/12/19(水) 00:58:18 ID:jOXn0Ht9(3/5) AAS
もうね低学歴すぎてﾔﾊﾞｲって
ちなみﾈｯﾄﾜｰｸでﾃﾞｰﾀを交換するときは
暗黙で基本はﾋﾞｯｸﾞｴﾝﾃﾞｨｱﾝになってる
常識だからなｺﾚ
20: デフォルトの名無しさん [] 2018/12/19(水) 01:00:17 ID:jOXn0Ht9(4/5) AAS
低学歴知恵遅れって
なんでものすごい頭悪いことを
自信満々にいうわけ？
21(1): デフォルトの名無しさん [] 2018/12/19(水) 01:12:57 ID:jOXn0Ht9(5/5) AAS
ちなみipｱﾄﾞﾚｽの並びはﾋﾞｯｸｴﾝﾃﾞｨｱﾝになってる
ﾎﾟｰﾄ番号も当然ﾋﾞｯｸｴﾝﾃﾞｨｱﾝになってる
ｿｹｯﾄ通信のﾌﾟﾛｸﾞﾗﾑ組んだことあるなら
ﾎﾟｰﾄ番号設定するのにhtons（ｺﾚはｵｸﾃｯﾄ2つになる）という関数を使ったことあるﾊｽﾞだ
ちなみにこの関数はﾘﾄﾙｴﾝﾃﾞｨｱﾝの計算機なら
ﾋﾞｯｸﾞｴﾝﾃﾞｨｱﾝに変換された値がかえってくる
ﾋﾞｯｸﾞｴﾝﾃﾞｨｱﾝの計算機なら
そのままﾋﾞｯｸﾞｴﾝﾃﾞｨｱﾝの値がかえってくる
22: デフォルトの名無しさん [sage] 2018/12/19(水) 01:39:07 ID:B2A2n/bL(1) AAS
半角カタカナはAAにしか見えない
23(1): デフォルトの名無しさん [sage] 2018/12/19(水) 06:24:21 ID:wJcYDzdz(1) AAS
最近の子はバイトオーダーなんて意識しないからな
常識としては知っててほしいがけど
低レベルな処理書かなきゃ関係ないし触れることもないだろうから知らなくても困らんな
アラインメントとかパディングとかも同様
24(1): デフォルトの名無しさん [sage] 2018/12/19(水) 12:49:47 ID:JIdS0sYR(1) AAS
エンディアン嘘つかない
25: デフォルトの名無しさん [] 2018/12/19(水) 16:46:27 ID:R6d6JT/9(1) AAS
>>23
バイトオーダーを意識する機会が減ったのは、xmlやjsonなどテキスト形式でデータ受け渡しすることが多くなったから。
テキスト形式ならバイトオーダーを意識せずに済むし、スクリプト言語で扱うのにも便利。
上下前次1-新書関写板覧索設栞歴
あと 977 ﾚｽあります
ｽﾚ情報 赤ﾚｽ抽出 画像ﾚｽ抽出 歴の未読ｽﾚ AAｻﾑﾈｲﾙ
ぬこの手 ぬこTOP 0.015s