常见的几种编码方式

常见的编码方式及其特点:

编码方式的设计是为了适应不同的字符集和应用需求,因此它们在表示字符时使用的位数和字节数各不相同

  1. 常见编码方式及其位数和字节数

    • ASCII(American Standard Code for Information Interchange)

      • 位数:7位
      • 字节数:1字节(8位,但最高位固定为0)
      • 字符范围:128个字符(包括英文字母、数字、标点符号和控制字符)
    • ISO 8859-1(Latin-1)

      • 位数:8位
      • 字节数:1字节
      • 字符范围:256个字符(包括西欧语言的字符)
    • GB2312

      • 位数:16位
      • 字节数:2字节
      • 字符范围:6763个汉字及其他字符(主要用于简体中文)
    • BIG5

      • 位数:16位
      • 字节数:2字节
      • 字符范围:13053个汉字及其他字符(主要用于繁体中文)
    • Unicode

      • 位数:16位或32位
      • 字节数:2字节或4字节(具体取决于编码方式)
      • 字符范围:几乎所有已知字符(涵盖全球所有语言)
    • UTF-8(Unicode Transformation Format - 8-bit)

      • 位数:8位到32位
      • 字节数:1到4字节(变长编码)
      • 字符范围:所有Unicode字符
        • 1字节(7位):用于ASCII字符(0x00 - 0x7F)
        • 2字节(11位):用于扩展字符(0x80 - 0x7FF)
        • 3字节(16位):用于基本多文种平面(BMP)字符(0x800 - 0xFFFF)
        • 4字节(21位):用于补充字符(0x10000 - 0x10FFFF)
    • UTF-16(Unicode Transformation Format - 16-bit)

      • 位数:16位或32位
      • 字节数:2字节或4字节
      • 字符范围:所有Unicode字符
        • 2字节(16位):用于基本多文种平面(BMP)字符(0x0000 - 0xFFFF)
        • 4字节(32位):用于补充字符(0x10000 - 0x10FFFF)
    • UTF-32(Unicode Transformation Format - 32-bit)

      • 位数:32位
      • 字节数:4字节
      • 字符范围:所有Unicode字符(直接使用32位表示)

为什么UTF-8可以编码中文,而其他的编码方式不行?

原理解释:

  1. ASCII:只有128个字符,不可能表示中文这样的复杂字符。

  2. ISO 8859-1:扩展到256个字符,但主要用于西欧语言字符,不包括中文。

  3. GB2312 和 BIG5:这两种编码方式是专门为中文设计的,但它们有各自的局限性,不能表示所有的中文字符。

  4. Unicode:它是一个统一的编码标准,包含了全球所有已知的字符。Unicode为每个字符分配一个唯一的编码点(code point),例如“中”字的编码点是U+4E2D。

  5. UTF-8

    • UTF-8是Unicode的一种实现方式,它使用可变长度的字节来编码字符。
    • 对于中文字符,UTF-8通常使用3个字节表示。UTF-8的第一个字节的高位部分指示了该字符需要的总字节数。例如,一个中文字符的第一个字节的高位部分可能是1110xxxx,这表示需要三个字节。后面的两个字节的高位部分是10xxxxxx,表示这是一个多字节字符的一部分。
    • 这种可变长度的设计使得UTF-8可以非常高效地编码各种语言的字符,同时保持对ASCII的兼容性。

详细原理:

  • 中文汉字在UTF-8编码中通常是三个字节,但这并不是绝对的。具体来说,UTF-8编码的长度取决于字符的Unicode编码点范围。下面是UTF-8编码的基本规则:

  • 单字节字符(0x00 - 0x7F):1字节,最高位为0。例如,ASCII字符“a”编码为0x61。
  • 双字节字符(0x80 - 0x7FF):2字节,第一个字节为110xxxxx,第二个字节为10xxxxxx。
  • 三字节字符(0x800 - 0xFFFF):3字节,第一个字节为1110xxxx,后两个字节为10xxxxxx。
  • 四字节字符(0x10000 - 0x10FFFF):4字节,第一个字节为11110xxx,后三个字节为10xxxxxx。

总结

大多数中文汉字在UTF-8中是三个字节

但对于超过基本多文种平面的汉字,则需要使用四个字节表示。UTF-8通过这种可变长度的设计,能够有效地表示包括中文在内的所有Unicode字符。

大多数常用的中文汉字的Unicode编码点范围在0x4E00到0x9FFF之间,因此在UTF-8中表示为三个字节。例如,“中”字的Unicode编码是U+4E2D,在UTF-8中编码为E4 B8 AD。

然而,也有一些特殊的汉字或者罕见的汉字,它们的Unicode编码点超出了0xFFFF,需要使用四个字节来表示。以下是几个例子:

例子1:“𠀀”(CJK扩展B区第一个字符)

Unicode编码

  • “𠀀”字的Unicode编码是U+20000。

转换为二进制

  • 20000(十六进制)转换为二进制是0010 0000 0000 0000 0000。

根据UTF-8的编码规则进行分组

  • UTF-8编码四字节格式:
    • 第一个字节:11110xxx
    • 第二个字节:10xxxxxx
    • 第三个字节:10xxxxxx
    • 第四个字节:10xxxxxx

应用到“𠀀”字的二进制表示

  • 将0010 0000 0000 0000 0000分配到UTF-8的四个字节中:
    • 第一个字节:1111 0000
    • 第二个字节:1010 0000
    • 第三个字节:1000 0000
    • 第四个字节:1000 0000

最终UTF-8编码表示

  • 第一个字节:11110000 (F0)
  • 第二个字节:10100000 (A0)
  • 第三个字节:10000000 (80)
  • 第四个字节:10000000 (80)

c++ String

C++ 的 std::string 是一个通用的字符串容器,它本身并不依赖于特定的字符编码。这种设计使得 std::string 可以存储不同编码的字符串。下面详细解释其中的原因和机制。

std::string 的设计

  1. 字节序列容器

    • std::string 本质上是一个字节序列的容器,可以存储任意的字节数据。
    • 它不关心这些字节数据的具体含义,这使得它可以存储不同编码的字符串。
  2. 字符编码无关性

    • std::string 并不强制要求字符串使用特定的编码。
    • 可以将任何编码的字符数据(如ASCII、UTF-8、ISO 8859-1等)存储在 std::string 中。
  3. 灵活的内存管理

    • std::string 使用动态内存管理,可以灵活地调整其容量以适应存储的字符数据。
    • 这使得它可以存储从短的ASCII字符串到长的多字节编码字符串(如UTF-8)。
#include <iostream>
#include <string>int main() {// ASCII编码的字符串std::string ascii_str = "Hello, World!";std::cout << "ASCII: " << ascii_str << std::endl;// UTF-8编码的字符串std::string utf8_str = u8"你好,世界!";std::cout << "UTF-8: " << utf8_str << std::endl;// ISO 8859-1编码的字符串std::string iso8859_1_str = "\xA1\xA2\xA3";std::cout << "ISO 8859-1: " << iso8859_1_str << std::endl;return 0;
}

std::wstring 和宽字符

对于需要处理Unicode字符的应用,C++还提供了宽字符字符串类型 std::wstringstd::wstring 使用 wchar_t 类型存储字符,每个字符的大小依赖于具体实现(通常是2或4字节),可以更方便地处理多字节编码的字符数据,如UTF-16。

#include <iostream>
#include <string>int main() {// UTF-16编码的宽字符字符串std::wstring utf16_str = L"你好,世界!";std::wcout << L"UTF-16: " << utf16_str << std::endl;return 0;
}

编码转换

在实际应用中,可能需要在不同编码之间进行转换。C++11及之后的标准库提供了 codecvt 来支持字符编码转换。

#include <iostream>
#include <string>
#include <locale>
#include <codecvt>int main() {// UTF-8 to UTF-16std::string utf8_str = u8"你好,世界!";std::wstring_convert<std::codecvt_utf8_utf16<wchar_t>> converter;std::wstring utf16_str = converter.from_bytes(utf8_str);std::wcout << L"UTF-16: " << utf16_str << std::endl;// UTF-16 to UTF-8std::string utf8_converted = converter.to_bytes(utf16_str);std::cout << "UTF-8: " << utf8_converted << std::endl;return 0;
}

总结

  • std::string 是一个通用的字节序列容器,可以存储不同编码的字符串,因为它本质上是存储字节数据而不是特定的字符编码。
  • std::wstring 提供了处理宽字符的支持,适用于多字节编码的字符数据。
  • 对于字符编码的转换和处理,需要使用适当的工具和库,例如 codecvt

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/web/20268.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

C#语言进阶(二)—事件 第三篇(事件访问器)

总目录 C# 语法总目录 系列链接 C#语言进阶(二) 事件 第一篇(发布订阅模式) C#语言进阶(二) 事件 第二篇(.net标准事件模型) C#语言进阶(二) 事件 第二篇(事件访问器) 事件 第三篇目录 事件 第三篇3. 事件访问器 事件 第三篇 3. 事件访问器 默认情况下&#xff0c;编…

【Go语言精进之路】构建高效Go程序:掌握变量、常量声明法则与iota在枚举中的奥秘

&#x1f525; 个人主页&#xff1a;空白诗 文章目录 引言一、变量1.1 基础知识1.2 包级变量的声明形式深入解析&#x1f4cc; 声明并同时显式初始化&#x1f4cc; 声明但延迟初始化&#x1f4cc; 声明聚类与就近原则 1.3 局部变量的声明形式深入探讨&#x1f4cc; 延迟初始化的…

你认识nginx吗,nginx是做什么的,nginx可以做什么 --1)nginx介绍

一.Nginx 介绍 Nginx&#xff08;发音同engine x&#xff09;是一个异步框架的 Web 服务器&#xff0c;也可以用作反向代理&#xff0c;负载平衡器 和 HTTP 缓存。该软件由 Igor Sysoev 创建&#xff0c;并于2004年首次公开发布。同名公司成立于2011年&#xff0c;以提供支持。…

PHP:集成Xunsearch生成前端搜索骨架

如果是安装宝塔&#xff0c;我们在集成xunsearch的时候就会比较简单&#xff0c;后面我们在介绍其他的接入方式&#xff1b; 首先我们进入到宝塔管理后台&#xff1a;【软件商店】-【输入xun】-【点击xunsearch】直接安装即可 安装成功之后&#xff0c;会自动在www/server中创…

spdlog日志库源码:全局管理类registry

概述 已经有了用于接收前端用户log消息的类logger&#xff0c;代表log消息的类是log_msg&#xff0c;后端写log消息到目标文件的类sink&#xff0c;格式化log消息为最终字符串的类formatter&#xff0c;解析pattern flag的类pattern_formatter等等。 每次使用时&#xff0c;可…

Forth Python语言:深度解析其四维、五维、六维与七维之奥秘

Forth Python语言&#xff1a;深度解析其四维、五维、六维与七维之奥秘 在编程语言的浩瀚星空中&#xff0c;Forth Python以其独特的魅力与深邃的内涵&#xff0c;吸引着众多探索者的目光。然而&#xff0c;这门语言究竟有何独到之处&#xff1f;本文将从四维、五维、六维和七…

大模型高级 RAG 检索策略:自动合并检索

节前&#xff0c;我们星球组织了一场算法岗技术&面试讨论会&#xff0c;邀请了一些互联网大厂朋友、参加社招和校招面试的同学. 针对算法岗技术趋势、大模型落地项目经验分享、新手如何入门算法岗、该如何准备、面试常考点分享等热门话题进行了深入的讨论。 汇总合集&…

Flutter 中的 CupertinoSliverNavigationBar 小部件:全面指南

Flutter 中的 CupertinoSliverNavigationBar 小部件&#xff1a;全面指南 Flutter 是一个由 Google 开发的跨平台 UI 框架&#xff0c;它允许开发者使用 Dart 语言来构建高性能、美观的移动、Web 和桌面应用。在 Flutter 的丰富组件库中&#xff0c;CupertinoSliverNavigation…

比较3维空间中4个点的不同结构

在4*4*4的3维空间中&#xff0c;取4个点共有635376种可能&#xff0c;有209个结构&#xff0c;继续按旋转对称分类则只有55个不同的结构。如其中的4t12 4个点在同一个平面&#xff0c;有1个点与其中的3个点不在同一行也不在同一列&#xff0c;这样的位置不止一个 这两个结构都是…

Apache Calcite - 自定义数据源适配之访问内存列表

前言 上一篇文章中学习了Calcite基本概念&#xff0c;其中框架的核心能力是通过统一的Sql访问不同来源的数据。这篇文章中将通过一个简单的例子学习如何实现改功能。 最终通过sql来访问Java List中的数据。 准备工作 maven依赖 <dependency><groupId>org.apache…

ubuntu系统下安装mysql的步骤详解

一、下载安装包 下载地址&#xff1a; https://dev.mysql.com/downloads/repo/apt 跳转到这个页面&#xff1a; 直接点击Download。 直接点击最下面的开始下载安装包即可。 二、将安装包下载到ubuntu系统中 先将用户切换成root用户&#xff0c;把下载好的安装包复制到桌面上&…

域名更换服务器的原因

在互联网的运营过程中&#xff0c;域名更换服务器是一个常见的操作&#xff0c;可能是由于业务扩展、性能需求、成本考虑或服务质量等多种因素。然而&#xff0c;这个过程如果处理不当&#xff0c;可能会导致网站访问中断、搜索引擎排名下降或用户体验受损。本文将探讨在域名更…

系统架构设计师【第11章】: 未来信息综合技术 (核心总结)

文章目录 11.1 信息物理系统技术概述11.1.1 信息物理系统的概念11.1.2 CPS的实现11.1.3 信息物理系统的建设和应用 11.2 人工智能技术概述11.2.1 人工智能的概念11.2.2 人工智能的发展历程11.2.3 人工智能关键技术 11.3 机器人技术概述11.3.1 机器人的概念11.3.2 机…

丛林生存法则其实就两个字:输出

不管你是在上班&#xff0c;还是在灵活就业&#xff0c;现在的大环境下&#xff0c;你要想活下来&#xff0c;生存下去&#xff0c;一定要记住这两个字&#xff1a;输出。如果你能记住更多的字&#xff0c;那便是持续高水平的输出。 你如果是大厂程序员&#xff0c;你肯定发现…

Linux DHCP server 配置

参考&#xff1a;linux dhcp配置多vlan ip_linux 接口vlan-CSDN博客 配置静态IP地址&#xff1a; 给固定的MAC地址分配指定的IP地址&#xff0c;固定的IP地址不必包含在指定的IP池中&#xff0c;如果包含在IP地址池中&#xff0c;固定的IP地址会从IP地址池中移除 配置方法&…

清洁力强的洗地机前十名排行榜:2024十大洗地机热销款式好用不踩雷

如今&#xff0c;洗地机行业竞争激烈&#xff0c;各品牌紧紧抓住用户对智能化和深度清洁的需求&#xff0c;深入研究创新。经过几轮行业内部的激烈竞争后&#xff0c;许多厂商在宣传中各说各的&#xff0c;对洗地机的重要参数描述不一&#xff0c;给消费者的选择带来了不少困惑…

【CVPR_2024】:逐元素乘积为什么会产生如此令人满意的结果?

写在前面&#xff1a;本博客仅作记录学习之用&#xff0c;部分图片来自网络&#xff0c;如需引用请注明出处&#xff0c;同时如有侵犯您的权益&#xff0c;请联系删除&#xff01; 文章目录 前言论文重写星形运算一层网络推广多层网络特殊情况 W 1 W_1 W1​和/或 W 2 W_2 W2​…

JDK版本特性(JDK8\11\17\21版本)

JDK版本特性 Oracle官网https://www.oracle.com/java/technologies/java-se-support-roadmap.html Oracle官网中JDK版本的说明&#xff0c;Java SE 8、11、17和21是LTS版本。也就是长期支持版本。 我们针对这几个版本了解学习下对应版本的新特性。 JDK8版本 正式发布于2014…

Facebook的创新实验室:人工智能与新技术探索

Facebook作为全球领先的社交媒体平台之一&#xff0c;一直在不断探索和应用最新的技术来改善用户体验、推动创新和拓展业务边界。其创新实验室更是探索人工智能&#xff08;AI&#xff09;和新技术的前沿&#xff0c;为未来的社交媒体发展开辟了新的可能性。本文将深入探讨Face…

C语言| 求1到100之间所有能被3整除的数之和

思路分析&#xff1a; 有两种解题方法&#xff1a; 第一种 直接在100个数字里面&#xff0c;找能被3整除的数字。 for循环里面&#xff0c;判断条件是i%3 0。 第二种 设置变量i 3&#xff0c;for循环&#xff0c;每次i 加3&#xff0c;并相加求和&#xff0c;直到遍历完…