知识大全 Unicode编码 解释UCS、UTF、BMP、BOM

Posted 字节

篇首语：人不能只做正确的选择，偶尔也得做一些喜欢的选择。本文由小常识网(cha138.com)小编为大家整理，主要介绍了知识大全 Unicode编码 解释UCS、UTF、BMP、BOM相关的知识，希望对你有一定的参考价值。

Unicode编码 解释UCS、UTF、BMP、BOM  以下文字资料是由(全榜网网www.cha138.com)小编为大家搜集整理后发布的内容，让我们赶快一起来看一下吧！

　　这是一篇程序员写给程序员的趣味读物 所谓趣味是指可以比较轻松地了解一些原来不清楚的概念 增进知识 类似于打RPG游戏的升级 整理这篇文章的动机是两个问题 　　　　 问题一 　　　　使用Windows记事本的 另存为 可以在GBK Unicode Unicode big endian和UTF 这几种编码方式间相互转换 同样是txt文件 Windows是怎样识别编码方式的呢？　　　　我很早前就发现Unicode Unicode big endian和UTF 编码的txt文件的开头会多出几个字节 分别是FF FE（Unicode） FE FF（Unicode big endian） EF BB BF（UTF ） 但这些标记是基于什么标准呢？　　　　 问题二 　　　　最近在网上看到一个ConvertUTF c 实现了UTF UTF 和UTF 这三种编码方式的相互转换 对于Unicode(UCS ) GBK UTF 这些编码方式 我原来就了解 但这个程序让我有些糊涂 想不起来UTF 和UCS 有什么关系 　　　　查了查相关资料 总算将这些问题弄清楚了 顺带也了解了一些Unicode的细节 写成一篇文章 送给有过类似疑问的朋友 本文在写作时尽量做到通俗易懂 但要求读者知道什么是字节 什么是十六进制 　　　　 big endian和little endian　　　　big endian和little endian是CPU处理多字节数的不同方式 例如 汉 字的Unicode编码是 C 那么写到文件里时 究竟是将 C写在前面 还是将 写在前面？如果将 C写在前面 就是big endian 如果将 写在前面 就是little endian 　　　　 endian 这个词出自《格列佛游记》 小人国的内战就源于吃鸡蛋时是究竟从大头(Big Endian)敲开还是从小头(Little Endian)敲开 由此曾发生过六次叛乱 一个皇帝送了命 另一个丢了王位 　　　　我们一般将endian翻译成 字节序 将big endian和little endian称作 大尾 和 小尾 　　　　 字符编码 内码 顺带介绍汉字编码　　　　字符必须编码后才能被计算机处理 计算机使用的缺省编码方式就是计算机的内码 早期的计算机使用 位的ASCII编码 为了处理汉字 程序员设计了用于简体中文的GB 和用于繁体中文的big 　　　　GB ( 年)一共收录了 个字符 包括 个汉字和 个其它符号 汉字区的内码范围高字节从B F 低字节从A FE 占用的码位是 * = 其中有 个空位是D FA D FE 　　　　GB 支持的汉字太少 年的汉字扩展规范GBK 收录了 个符号 它分为汉字区和图形符号区 汉字区包括 个字符 　　　　从ASCII GB 到GBK 这些编码方法是向下兼容的 即同一个字符在这些方案中总是有相同的编码 后面的标准支持更多的字符 在这些编码中 英文和中文可以统一地处理 区分中文编码的方法是高字节的最高位不为 按照程序员的称呼 GB GBK都属于双字节字符集 (DBCS) 　　　　 年的GB 是取代GBK 的正式国家标准 该标准收录了 个汉字 同时还收录了藏文 蒙文 维吾尔文等主要的少数民族文字 从汉字字汇上说 GB 在GB 的 个汉字的基础上增加了CJK扩展A的 个汉字（Unicode码 x x db ） 一共收录了 个汉字 　　　　CJK就是中日韩的意思 Unicode为了节省码位 将中日韩三国语言中的文字统一编码 GB 就是ISO/IEC 的中文版 相当于Unicode 　　　　GB 的编码采用单字节 双字节和 字节方案 其中单字节 双字节和GBK是完全兼容的 字节编码的码位就是收录了CJK扩展A的 个汉字 例如 UCS的 x 在GB 中的编码应该是 EF UCS的 x 在GB 中的编码应该是 EF 　　　　微软提供了GB 的升级包 但这个升级包只是提供了一套支持CJK扩展A的 个汉字的新字体 新宋体 并不改变内码 Windows 的内码仍然是GBK 　　　　这里还有一些细节 　　　　GB 的原文还是区位码 从区位码到内码 需要在高字节和低字节上分别加上A 　　　　对于任何字符编码 编码单元的顺序是由编码方案指定的 与endian无关 例如GBK的编码单元是字节 用两个字节表示一个汉字 这两个字节的顺序是固定的 不受CPU字节序的影响 UTF 的编码单元是word（双字节） word之间的顺序是编码方案指定的 word内部的字节排列才会受到endian的影响 后面还会介绍UTF 　　　　GB 的两个字节的最高位都是 但符合这个条件的码位只有 * = 个 所以GBK和GB 的低字节最高位都可能不是 不过这不影响DBCS字符流的解析 在读取DBCS字符流时 只要遇到高位为 的字节 就可以将下两个字节作为一个双字节编码 而不用管低字节的高位是什么 　　　　 Unicode UCS和UTF　　　　前面提到从ASCII GB GBK到GB 的编码方法是向下兼容的 而Unicode只与ASCII兼容（更准确地说 是与ISO 兼容） 与GB码不兼容 例如 汉 字的Unicode编码是 C 而GB码是BABA 　　　　Unicode也是一种字符编码方法 不过它是由国际组织设计 可以容纳全世界所有语言文字的编码方案 Unicode的学名是 Universal Multiple Octet Coded Character Set 简称为UCS UCS可以看作是 Unicode Character Set 的缩写 　　　　根据维基百科全书()的记载 历史上存在两个试图独立设计Unicode的组织 即国际标准化组织（ISO）和一个软件制造商的协会（） ISO开发了ISO 项目 Unicode协会开发了Unicode项目 　　　　在 年前后 双方都认识到世界不需要两个不兼容的字符集 于是它们开始合并双方的工作成果 并为创立一个单一编码表而协同工作 从Unicode 开始 Unicode项目采用了与ISO 相同的字库和字码 　　　　目前两个项目仍都存在 并独立地公布各自的标准 Unicode协会现在的最新版本是 年的Unicode ISO的最新标准是ISO : 　　　　UCS只是规定如何编码 并没有规定如何传输 保存这个编码 例如 汉 字的UCS编码是 C 我可以用 个ascii数字来传输 保存这个编码 也可以用utf 编码: 个连续的字节E B 来表示它 关键在于通信双方都要认可 UTF UTF UTF 都是被广泛接受的方案 UTF 的一个特别的好处是它与ISO 完全兼容 UTF是 UCS Transformation Format 的缩写 　　　　IETF的RFC 和RFC 以RFC的一贯风格 清晰 明快又不失严谨地描述了UTF 和UTF 的编码方法 我总是记不得IETF是Internet Engineering Task Force的缩写 但IETF负责维护的RFC是Internet上一切规范的基础 　　　　 内码和code page　　　　目前Windows的内核已经支持Unicode字符集 这样在内核上可以支持全世界所有的语言文字 但是由于现有的大量程序和文档都采用了某种特定语言的编码 例如GBK Windows不可能不支持现有的编码 而全部改用Unicode 　　　　Windows使用代码页(code page)来适应各个国家和地区 code page可以被理解为前面提到的内码 GBK对应的code page是CP 　　　　微软也为GB 定义了code page CP 但是由于GB 有一部分 字节编码 而Windows的代码页只支持单字节和双字节编码 所以这个code page是无法真正使用的 　　　　 UCS UCS BMP　　　　UCS有两种格式 UCS 和UCS 顾名思义 UCS 就是用两个字节编码 UCS 就是用 个字节（实际上只用了 位 最高位必须为 ）编码 下面让我们做一些简单的数学游戏 　　　　UCS 有 ^ = 个码位 UCS 有 ^ = 个码位 　　　　UCS 根据最高位为 的最高字节分成 ^ = 个group 每个group再根据次高字节分为 个plane 每个plane根据第 个字节分为 行 (rows) 每行包含 个cells 当然同一行的cells只是最后一个字节不同 其余都相同 　　　　group 的plane 被称作Basic Multilingual Plane 即BMP 或者说UCS 中 高两个字节为 的码位被称作BMP 　　　　将UCS 的BMP去掉前面的两个零字节就得到了UCS 在UCS 的两个字节前加上两个零字节 就得到了UCS 的BMP 而目前的UCS 规范中还没有任何字符被分配在BMP之外 　　　　 UTF编码　　　　UTF 就是以 位为单元对UCS进行编码 从UCS 到UTF 的编码方式如下 　　　　UCS 编码( 进制)　　UTF 字节流(二进制)　　　　 F　　 xxxxxxx　　　　 FF　　 xxxxx xxxxxx　　　　 FFFF　　 xxxx xxxxxx xxxxxx　　　　例如 汉 字的Unicode编码是 C C 在 FFFF之间 所以肯定要用 字节模板了 xxxx xxxxxx xxxxxx 将 C 写成二进制是 用这个比特流依次代替模板中的x 得到 即E B 　　　　读者可以用记事本测试一下我们的编码是否正确 需要注意 UltraEdit在打开utf 编码的文本文件时会自动转换为UTF 可能产生混淆 你可以在设置中关掉这个选项 更好的工具是Hex Workshop 　　　　UTF 以 位为单元对UCS进行编码 对于小于 x 的UCS码 UTF 编码就等于UCS码对应的 位无符号整数 对于不小于 x 的UCS码 定义了一个算法 不过由于实际使用的UCS 或者UCS 的BMP必然小于 x 所以就目前而言 可以认为UTF 和UCS 基本相同 但UCS 只是一个编码方案 UTF 却要用于实际的传输 所以就不得不考虑字节序的问题 　　　　 UTF的字节序和BOM　　　　UTF 以字 cha138/Article/program/Java/hx/201311/26766

相关参考

知识大全 PHP中的UNICODE 编码与解码

PHP中的UNICODE编码与解码  以下文字资料是由(全榜网网www.cha138.com)小编为大家搜集整理后发布的内容，让我们赶快一起来看一下吧！本篇文章是对PHP

知识大全 ajax+php中文乱码的解决

　　由于XMLHTTP采用的是Unicode编码上传数据而一般页面采用的是gb这就造成显示页面时产生乱码而当在获取页面时的XMLHttp返回的是utf编码这就造成了显示产生乱码解决方法之一就是在PHP

知识大全 用PHP实现GB2312和Unicode间的编码转换

用PHP实现GB2312和Unicode间的编码转换  以下文字资料是由(全榜网网www.cha138.com)小编为大家搜集整理后发布的内容，让我们赶快一起来看一下吧！

知识大全 基于php导出到Excel或CSV的详解(附utf8、gbk 编码转换)

基于php导出到Excel或CSV的详解(附utf8、gbk编码转换)  以下文字资料是由(全榜网网www.cha138.com)小编为大家搜集整理后发布的内容，让我们赶

知识大全 解决asp中uft8和gb2312转换乱码问题

　　ASP程序在同一个站点中如果有UTF编码的程序又有GB编码的程序时在浏览UTF编码的页面后再浏览当前网站GB的页面GB编码的页面就会出现乱码出现这样的问题是当你浏览UTF编码的时候服务器默认用UT

知识大全 struts中文问题和国际化问题的终极解决方案

　　Java本身就支持多国语言编码不需要写任何程序可以很简单的实现秘诀就是两点　　　　所有HTML/JSP页面全部采用UTF编码　　　　客户端浏览器完全支持UTF编码　　　　步骤　　首先把所有的HTM

知识大全 如何解决html网页编码导致jsp页面乱码

　　页面中这段不起眼的代码<metaequiv="ContentType"content="text/;charset=GBK">错把如果charset=GBK设置为charset=UTF

知识大全 前台开发要求 与 测试

　　一般要求        尽量在涉及到编码的地方采用UTF编码　　    &n

知识大全 java连接mysql数据库乱码的解决方案

　　解决方法一:　　mysql安装时候的编码　　看下myini有无　　[mysql]　　defaultcharacterset=utf　　[client]defaultcharacterset=utf

知识大全 Delphi中把bmp图片转换成jpg图片

Delphi中把bmp图片转换成jpg图片  以下文字资料是由(全榜网网www.cha138.com)小编为大家搜集整理后发布的内容，让我们赶快一起来看一下吧！//bmp