java utf8 byte_byte以及UTF-8的转码规则

https://www.cnblogs.com/hell8088/p/9184336.html

多年来闲麻烦,只记录笔记,不曾编写BLOG,本文为原创,如需转载请标明出处

废话不说,直奔主题

ascii

计算机只接受 “高”、“低”电压,所以使用二进制  1  和  0 分别代表高低电压

ascii  将 “字符”和“符号”转为二进制,在通过二进制转为电压让计算机识别

0-127 是 7 位ASCII 码的范围,是国际标准  0111 1111

byte 字节

1 byte = 8 bit     就是8位二进制数    在不同语言中,字节范围不应,这主要取决于最高位是不是符号位

ascii  就是用一个字节,8位二进制表示一个字符或者符号

如 小写字母 a 的 ascii 编码是97,不同进制表示如下

二进制:01100001   (高四位 0110 低四位  0001)

十进制:26 + 25 + 20 = 64 + 32 + 1 = 97

了解了ASCII,再来看看其他编码和byte的关系

gb2312     两字节

utf-8          一个 "英文" 字符一字节,一个 "中文" 字符三字节

unicode     所有字符等于 "两个字节"

UTF-8

以 UTF-8 JAVA 中 将字符串转换为字节为例

//字符串和byte转换样本

byte[] str2byte = new String("中汉").getBytes("utf-8");

for (byte b : str2byte) {

System.out.println(b);

}

byte[] byte2str = { -28, -72, -83, -27, -101, -67 };

String str = new String(byte2str, "utf-8");

System.out.println(str);

解释:

比如 “汉” 这个字要在网络上传输,最终是要使用二进制表示电压

unicode 编码表中 “汉”字的编码是0x6C49,

转成UTF-8格式,对照映射表, 0x6C49在0x0800-0xFFFF之间, UTF-8使用用3字节模板了:1110xxxx 10xxxxxx 10xxxxxx

0x6C49 是16进制表示, 6C49  写成二进制是:0110 1100 0100 1001

用这个比特流依次代替模板中的x,得到:11100110 10110001 10001001,即E6 B1 89

在 java 中,首先要把汉字转成字节,计算出来的 是 -26,-79,-119,我们发现和E6 B1 89 不同

那么是如何换算呢

E6 => 1110 0110   因为JAVA中 byte 是 -128 ~ 127,高位是符号位

计算方式为    采用补码计算  取反后+1   去掉符号位,0001 1001 + 1 = 16+8+1 + 1 = 26

高位1 位负数, 所以 E6 对应 -26, 在通过字节传输给网络流,转成二进制

那么使用UTF-8 将一串中英文转成二进制,计算机如何接收呢

这个就是UTF-8规则编码,计算机指定了UTF8编码接收二进制并进行转移,当发现字节以0开头,表示这是一个标准ascii字符,直接转义 ,当发现1110开头,就说明接下来的三个字节表示一个汉字,则取3个字节去掉模板后转义,UTF8编码模板如下

1字节 0xxxxxxx

2字节 110xxxxx 10xxxxxx

3字节 1110xxxx 10xxxxxx 10xxxxxx

4字节 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx

5字节 111110xx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx

6字节 1111110x 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx

base64

作用:

主要用于将二进制数据转换成可见字符

由来:

早期 MIME 协议 Multipurpose Internet Mail Extensions 只能传输ASCII字符,这样非英文字符和图片就无法在邮件中发送

(ASCII包含的字符少,GBK等包含的中文在ascii表示不了,所以有UTF)

BASE64就是将这些二进制数据转换成64个定义好的ASCII字符,一方面可以传输,一方面可以也可见,比如XML里加入二进制图片持久化,就是用 BASE64 进行存储

BASE64  最小使用单元是3字节,24bit   转换后将24bit且成4块,然后每块是6bit,因为计算机存储字节是8bit,所以在高位补两个0

e.g.    100101  转换后   00100101

这样就得到了4个ascii  字符,不过长度也随之增加

另外,URL里不支持 /  +这类字符,所以一般使用  safe  url base 64编码,由于BASE64是3*8 = 4*6 的游戏,

注意:当转换成6位时,需要查BASE64编码表,而不是查ASCII表,另外,当转化不是3的倍数时,看下图

(借用网上的一张图片 http://www.cnblogs.com/caoyc/p/5794720.html)

590cd12cdcafd907790a9e509c04c90a.png

这里再举例小写 a

01100001   转换后是   011000   010000  补4个0变成2字节,得到YQ,BASE64要求4个字节  补两个 ==

得到  YQ==

文章参考:http://www.cnblogs.com/caoyc/p/5794720.html

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/432537.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Unreal4(虚幻4抽茧剥丝)——02章格式化C++和蓝图

本章先写个占位符,原因是具体内容正在构思,希望不和网上已有文章内容出现雷同尽量让读者接受新的知识转载于:https://www.cnblogs.com/hiroshiryu/p/3764013.html

jni c call java_Java通过-jni调用c语言

(4)生成的TestJNI.h文件如下:/* DO NOT EDIT THIS FILE - it is machine generated */#include /* Header for class TestJNI */#ifndef _Included_TestJNI#define _Included_TestJNI#ifdef __cplusplusextern "C" {#endif/** Class: TestJNI* Method…

OpenSceneGraph 笔记–如何导出三角形数据

在OpenSceneGraph开发中,为了方便会经常使用到一些不是三角形片的数据,比如四边形等数据。例如画一个管子用四边形带比用三角形片好计算得多。比如现在我们要画一个由两个平面组成的面,我可以这样做: osg::Geode*geodenewosg::Geo…

自由与限制

#自由与限制##自由 前端,包括html-css-javascript三大基础技术,都是非常能体验出开放自由的。具体说来,因为这三大技术都是以标准先行,html-css的标准由w3c组织制定,js的标准由ECMA制定,都是只有标准&#…

理解GL_TRIANGLE_STRIP等绘制三角形序列的三种方式

GL_TRIANGLE_STRIP绘制三角形方式很多时候令人疑惑,在这里对其运作机理进行解释。 一般情况下有三种绘制一系列三角形的方式,分别是GL_TRIANGLES、GL_TRIANGLE_STRIP和GL_TRIANGLE_FAN。 如下图所示: GL_TRIANGLES是以每三个顶点绘制一个三…

Swift的笔记和参考

好久没来了,趁着新语言Swift发布,继续钻研中! Create Class 创建类 (重载效果) // Create Class 创建类 class MyClass {// Properties 成员变量init() {// Constructor 构造函数}// Method 成员方法func doIt() {prin…

java正则过滤js_JS/Java正则表达式验证

校验密码:6-15位var pwdreg /^[0-9A-Za-z_,.!#$%^*]{6,15}$/;pwdreg.test(phonenum)校验手机号var mobilereg /^0?1[3|4|5|7|8][0-9]\d{8}$/;mobilereg.test(phonenum)只能输入数字(年龄大小)只能输入中文、英文、数字、空格(微信中,关键字&#xff0…

UE4中的字符串转换

虚幻4学习---UE4中的字符串转换(文章来自于UE4官方文档) String Conversions: FString To FName FString To Int32 Float To FString FArrayReaderPtr To FString TArray<uint8> To FString FString To char * --- ( TCHAR_TO_ANSI() ) FString To TCHAR * FString …

DeDeCMS后台批量修改替换sql语句大全

有时候后台文章内容、标题或者锚文本出错&#xff0c;需要修改批量修改&#xff0c;那么就需要用dedecms的sql语句进行批量修改了。 利用dedecms后台SQL命令行工具批量修改内容&#xff0c;路径和超链接等信息。语句 DEDECMS SQL命令批量替换1.更改文章中的内容update dede_add…

jpa mysql乐观锁_【快学springboot】8.JPA乐观锁OptimisticLocking

介绍当涉及到企业应用程序时&#xff0c;正确地管理对数据库的并发访问是至关重要的。为此&#xff0c;我们可以使用Java Persistence API提供的乐观锁定机制。它导致在同一时间对同一数据进行多次更新不会相互干扰。为了使用OptimisticLocking&#xff0c;我们需要一个实体(En…

UE4 连接自定义服务器

UE4 dedicated server是一个很好的游戏服务器,但是对于大厅和聊天服务器来说,我们要自行开发,通过UE4的socket组建很方便的和其他服务器建立连接 创建Socket FSocket* Socket ISocketSubsystem::Get(PLATFORM_SOCKETSUBSYSTEM)->CreateSocket(NAME_Stream, TEXT("de…

学习笔记-java编程-交通灯管理器设计流程。

先抛出需求&#xff1a; 异步随机生成按照各个路线行驶的车辆。例如&#xff1a; 由南向而来去往北向的车辆 ---- 直行车辆 由西向而来去往南向的车辆 ---- 右转车辆 由东向而来去往南向的车辆 ---- 左转车辆 。。。 信号灯忽略黄灯&#xff0c;只考虑红灯和绿灯。应考虑左转车…

php mysql 库存变负数_php解决秒杀并发入库导致的库存负数

我们知道数据库处理sql是一条条处理的&#xff0c;假设购买商品的流程是这样的&#xff1a;sql1:查询商品库存1 if(库存数量 > 0)2 {3 //生成订单4 //库存-15 >当没有并发时&#xff0c;上面的流程看起来是如此完美&#xff0c;假设同时两个人下单&#xff0c;而库存只有…

Codeforces Testing Round #10 A. Forgotten Episode

水题&#xff0c;注意数据范围 #include <iostream> using namespace std;int main(){long long n,a;cin >> n;long long sum (n*(n1))>>1;for(int i 0 ; i < n-1 ; i){cin >>a;sum -a;}cout<<sum<<endl; } 转载于:https://www.cnblo…

UE4--多线程的实现方式

首先查阅了WIKI中能找到Rama大神的两篇文章&#xff0c;讲了两个开线程的方式&#xff1a; https://wiki.unrealengine.com/Multi-Threading:_Task_Graph_System https://wiki.unrealengine.com/Multi-Threading:_How_to_Create_Threads_in_UE4 TaskGraph与FRunnable的比较 一…

python if else格式_Python if else条件语句详解

我们看到的代码都是顺序执行的&#xff0c;也就是先执行第1条语句&#xff0c;然后是第2条、第3条……一直到最后一条语句&#xff0c;这称为顺序结构。但是对于很多情况&#xff0c;顺序结构的代码是远远不够的&#xff0c;比如一个程序限制了只能成年人使用&#xff0c;儿童因…

UE4 HTC VIVE - 番外篇 - 局域网联机(一)

--------------------引擎环境配置文件修改与项目在线模式启动修改--------------------1&#xff09;我们就直接用默认名创建一个第三人称项目Paste_Image.png2&#xff09;右键资源栏&#xff0c;创建一个新的C类创建一个C类选择不继承任何UE提供的基类3&#xff09;打开【解…

UIImageView 圆角

UIImageView *image [[UIImageView alloc]init]; image.layer.cornerRadius 10.0;//如果想变圆形&#xff0c;设置这个值为宽度的一半 image.layer.masksToBounds YES;转载于:https://www.cnblogs.com/qianyindichang/p/3779823.html

java 参数 string_java(String和StringBuffer分别作为参数传递)

package com.day8.StringBuffer;public class Demo7StringBuffer {/***常见对象(String和StringBuffer分别作为参数传递)* A:形式参数问题* String作为参数传递* StringBuffer作为参数传递* B:案例演示* String和StringBuffer分别作为参数传递问题*( 基本数据类型的值传递&…

UE4 HTC VIVE - 番外篇 - 局域网联机(二)

开始之前先说一下网游中服务器与客户端的大致关系&#xff1a;网络游戏中各段关系图客户端职责&#xff1a;1&#xff09;接收玩家的输入翻译得到【玩家指令】上传服务器&#xff1b;2&#xff09;接收服务器下发的【游戏指令】并将其实现服务器职责&#xff1a;1&#xff09;接…