字符ascii码值转换_没想到 Unicode 字符还能这样玩?

92ec862fa92b3e862d86fa82d663c899.png

  脚本之家

你与百万开发者在一起

92ec862fa92b3e862d86fa82d663c899.png

bff405532c33a40ed3df0954109913b5.gif

来源 | 程序通事(ID:US_stocks)

如若转载请联系原公众号

上周的时候,朋友圈的直升飞机不知道为什么就火了,很多朋友开着各种花式飞机带着起飞。

1fb36329dd9f0bc3d288fa1a6488bb87.png
图片来自网络

还没来得及了解咋回事来着,这个直升飞机就?到的微博热搜。

9f30c5f1458b5506020d8082804cf31b.png
图片来自网络

后面越来越多人开来他们的直升飞机,盘旋在朋友圈上方。于是很多朋友开来他们的坦克,专打直升飞机,一轰一个准。

98a08c9fd44b0c2c8b10a415ad61c361.png
图片来自网络

好了,说回正题!

程序员朋友应该都很熟悉 Unicode (万国码),它几乎包含世界上所有符号,比如组成直升飞机这几个特殊符号对应的 Unicode 码分别为:

eb97e822db011161deba97fd324ea62c.png
faa9ccd8e6db209223cf7164e682f348.png

ps:推荐一个网站,可以根据符号搜对应的 Unicode 码:https://unicode.yunser.com/unicode

除了这些正常字符以外,Unicode 还包含着各种各样的奇葩字符。

奇葩字符

除了正常的我们熟知的文字以外,Unicode 中还有一些奇怪的文字,比如下面这些文字

c02acda87e29e45ed92ef8c4dbb16452.png
这咋读?某少?
8040f3133386e2be68b7c84d7d93b7d9.png
世代?
8a59168072836a2f3f03715c5f1ba82f.png
恩?超出认知范围

除了这些奇怪文字以外,Unicode 还有一些奇葩的的符号。

例如下面一整套麻将牌:

43f790a0ecffcb56410e238b6efe73b8.png
三缺一?

一整套的扑克牌:

79b462d7432d4dd51b00598eb1f472c4.png
对三?要不起!

一整套国际象棋:

8d1821081618de484c93792ad2c1814f.png
不会玩--!

除了这些,通过组合符合,我们还可以造出各种各样的颜文字(๑•̀ㅂ•́)و✧、

ce3bc4935a8785c033e062deaca1c210.png

另外 Unicode 还收录着我们常用的 Emoji

6b654e9ef2c4af36c4c2d130bba401bb.png

除了这些之外,Unicode 中还有一些特殊字符的,利用这些字符,我们还可以玩出很多有趣的骚操作。

组合字符

Unicode 有一类字符称为组合字符,它可以附加在前一个非组合字符上,从而使整体看起来像是一个字符。

组合字符原来目的是为了解决一些地区语言、文字特殊的需要,比如说泰文声调符号与母音符号。

c1222a8f8ba1dd59da4667ad32d7e59b.png
39b5be147ea6cfd37130a17fabc5c968.png

正常使用的情况下,这些组合字符数量都会有一些限制。但是在 Unicode 组合字符设计上,并没有加这种限制,这样使我们可以无限加这类组合字符。

利用这个特性,可以达到一些恶搞效果,比如「击穿天花板」与「凿穿地板」的效果。

95502ba3bc07ac25fe40fb0268a43fc1.png

上面实现原理其是利用以下两个组合字符:

ed6231e3ad750e820e6b4a4e98255b2a.png
上翻字符
ce1b9548388bd785b3a9ac4a54ea5fec.png
下翻字符

只要复制这两个字符相应的 HTML 代码,跟在正常的字符后面,就可以使这两个字符附加在普通字符上,比如下面实现效果为

黑̮̑
6efd3212ca215315d5b1d7f2fe29a2f6.png

Unicode 码值通常使用 U+N(16 进制N 代表码值),比如 A 的码值为 U+0041。

在 HTML 中 Unicode 可以使用 N;(十进制,N 代表码值)表示

在 JS 中 Unicode 中需要使用] \uN(16 进制N 代表码值)表示

只要我们在普通字符多复制几个这类附加字符,就可以形成上述「击穿」效果。

还记得上面说的泰文吗,曾经有一段时间贴吧,很流行一种喷射文,比如下面的效果。

 22bafebb06e46aa30b3eb1fc2a59a78b.pngc901cfc4ae3b544fe6eed193b2658d6d.png5e1b942641dbd87dfb4b0b85b830d118.png

往左喷、往右喷、左右互喷

这种喷射文实际原理就是利用泰文中声调符号附加在其他正常符号上。

3a3fcc7fb310f5d2afd18a7a92aa4542.png

不过现在这个效果貌似已经没办法再复现了,现在我们只能看到这样的效果:

2770a897773b867d45da9be691e2921e.png

在一些老版本的系统/浏览器可能还能看到这种效果,知道的小伙伴留言区可以告知一下。

零宽字符

Unicode 中还有一类格式字符,不可见,不可打印,主要作用于调整字符的显示格式,所以我们将其称为零宽字符。

零宽字符主要有以下几类:

零宽度空格符 (zero-width space) U+200B : 用于较长单词的换行分隔

零宽度非断空格符 (zero width no-break space) U+FEFF : 用于阻止特定位置的换行分隔

零宽度连字符 (zero-width joiner) U+200D : 用于阿拉伯文与印度语系等文字中,使不会发生连字的字符间产生连字效果

零宽度断字符 (zero-width non-joiner) U+200C : 用于阿拉伯文,德文,印度语系等文字中,阻止会发生连字的字符间的连字效果

左至右符 (left-to-right mark) U+200E : 用于在混合文字方向的多种语言文本中(例:混合左至右书写的英语与右至左书写的希伯来语),规定排版文字书写方向为左至右

右至左符 (right-to-left mark) U+200F : 用于在混合文字方向的多种语言文本中,规定排版文字书写方向为右至左

利用零宽字符不不可见的特性,我们也可以玩出一些骚效果。

空白微博

发布微博的时候,如果内容都是空格,将没办法发布。

04b8caed44884bdb43d02ac8ab1a9c3d.png

但是如果我们将零宽字符,比如说「零宽度空格符 U+200B」复制到微博,这样我们就可以发布空白微博。

我们可以利用 Chrome 浏览器的控制台复制零宽字符,操作方式如下:

d4a409c9d31dba2b179ed355c0dc4176.png

发布效果如下:

8d3e340131bec2bbe5e620c160b3b8cd.png
真的没有改 HTML 导致的.jpg

隐形水印

对于一些内部论坛或者说小说网站来说,可以通过零宽字符在帖子或小说内容嵌入隐形水印。

当这些内容被一些爬虫复制到其他网站时,我们就可以通过隐形水印,轻松查找时那位用户泄漏内容。

隐形水印主要原理就是将用户信息比如用户名,通过一定算法转成零宽字符,这样普通用户浏览时完全看不到这个水印。

如果内容被复制到其他网站,隐形谁赢也被复制,只要找到这个水印,将这些零宽字符反转成用户名即可。

下面展示一种转换方法,JS 代码主要参考以下 Github 项目:

https://github.com/umpox/zero-width-detection

隐形水印生成方法

第一步我们需要将明文字符串每个字符都转成二进制串。

    // 每个字符转为二进制,用空格分隔
    const textToBinary = username => (
      username
      .split('')
      // charCodeAt 将字符转成相应的 Unicode 码值
      .map(char => char.charCodeAt(0).toString(2))
      .join(' ')
    );

示例如下:

45b5b76daca0e640db68ea139f42c852.png

第二步,将二进制串转为零度字符串,转换规则如下:

  • 1 转换为 \u200b 零宽度字符(zero-width space)
  • 0 转换为 \u200c 零宽度断字符(zero-width non-joiner)
  • 其他(剩余就是空格) 转换为 \u200d 零宽度连字符 (zero-width joiner)
  • 最后使用 \ufeff 零宽度非断空格符 (zero width no-break space) 作为分隔符
const binaryToZeroWidth = binary => (
  binary.split('').map((binaryNum) => {
    const num = parseInt(binaryNum, 10);
    if (num === 1) {
      return '\u200b'; // \u200b 零宽度字符(zero-width space)
    } else if(num===0) {
      return '\u200c'; // \u200c 零宽度断字符(zero-width non-joiner)
    }
    return '\u200d'; // \u200d 零宽度连字符 (zero-width joiner)

  }).join('\ufeff') // \ufeff 零宽度非断空格符 (zero width no-break space)
);

最终加密方法如下:

const encode = username => {
  const binaryUsername = textToBinary(username);
  const zeroWidthUsername = binaryToZeroWidth(binaryUsername);
  return zeroWidthUsername;
};

使用加密方法将明文字符串加密之后,加密字符串肉眼是看不到了,但是实际还是存在的。

12bba952e967a7333674a0173d089517.png

实际上,如果我们将加密之后字符串复制到 ?BEJSON 网站,就可以看到字符。

aa39044bf689ebf6801583bc4dbe0866.png


另外你还可以把加密字符串复制到 IDEA 中,可以看到相应的 Unicode 编码值。

214605fc8c31c6deb1a4e754862e8ab7.png

解密隐形水印

知道了加密的方式,解密其实就很简单,我们只要按照相反步骤的来就可以了。

第一步,将隐形水印按照以下规则转换为二进制串。转换规则如下:

  • 使用 \ufeff 分隔字符串
  • \u200b 转为 1
  • \u200c 转为 0
  • 其他字符使用空格
const zeroWidthToBinary = string => (
  string.split('\ufeff').map((char) => { // \ufeff 零宽度非断空格符 (zero width no-break space)
    if (char === '\u200b') { // \u200b 零宽度字符(zero-width space)
      return '1';
    } else if(char === '\u200c') { // \u200c 零宽度断字符(zero-width non-joiner)
      return '0';
    }
    return ' ';
  }).join('')
);

调用该方法,隐形水印转成二进制串。

d3a355f24b18af7e69c7a81bfedc2edc.png

第二步,将二进制再转为相应的字符。

const binaryToText = string => (
  // fromCharCode 二进制转化
  string.split(' ').map(num => String.fromCharCode(parseInt(num, 2))).join('')
);

最终解密方法如下:

const decode = zeroWidthUsername => {
  const binaryUsername = zeroWidthToBinary(zeroWidthUsername);
  const textUsername = binaryToText(binaryUsername);
  return textUsername;
};

解密示例如下:

237c21ed663bacb400311fe004bbfcf6.png

短网址

我们常用的短网址,域名后面会跟上一串随机串,从而实现短网址到长网址的映射。比如以下网址:

https://sourl.cn/iLyn9S

然而我们可以利用零宽字符也可以实现短网址的效果,,比如下面这个网站,就可以生成这类短网址。

https://zws.im/

eed8510f192fcd3c0a2978ec4504a642.png

可以看到这个短网址后面看不到任何字符,实际上这后面跟着一串零宽字符。当浏览器访问该短网址时,后端程序只要反解密的后面零宽字符,拿到相应的网址,然后在做跳转就可以到指定的网站。

反解密的原理可以参考上面隐形水印的代码

小心零宽字符

日常开发过程中,我们有时需要从一些文件中读取文本内容,然后做相应的处理。

有时候我们可能会碰到一些诡异的现象,比如我们之前碰到的例子。

后台程序从 Excel 读取文本内容,然后程序中判断是读取的文本内容是否与指定的字符串相等。

然后当我们读取一份 Excel 内容后,返现这段比较逻辑怎么也通过不了。本来以为是 Excel 内容存在空格什么的,但是打开 Excel 仔细一看,跟指定字符串一模一样,并没有什么其他字符。

第一次碰到这种例子,没有什么经验,真的排查了很久,到最后都有点怀疑人生了。最后无意间将文本内容复制到了 IDEA 中,才发现整理混杂着零宽字符!

6baefd34d470ca4d671702c2e2465e9a.png

如果各位小伙伴也碰到这类问题,不妨将复制文本内容,然后到 IDEA 中查看是否存在某些看不见字符~

参考链接

  1. https://juejin.im/post/5d3f01e7f265da03c23ead69
  2. http://zero.rovelast.com/
  3. https://zws.im/
  4. https://imweb.io/topic/5a08a5c7ef79bc941c30d8dd
- END -点击卡片进入小程序,签到赢礼品??????

64491d8a73382d8eb6cb6653f79adb88.png

(更多精彩值得期待……)

3e65085073d42cbe11ac76976f84e3f2.gif

f82654739d0ff60305180118fd0cfab5.png8927f7d0d22d327852c8841f334588aa.gif

● b4a371af736ba4109bdfb87033f1cfb8.gif 人人都欠微软一个正版?

● b4a371af736ba4109bdfb87033f1cfb8.gif 积分兑换,来就“兑”了

● b4a371af736ba4109bdfb87033f1cfb8.gif 这 10 行比较字符串相等的代码给我整懵了,不信你也来看看

● b4a371af736ba4109bdfb87033f1cfb8.gif Unicode双向算法(bidi算法)详解(一)

● 漫画:什么是字符串匹配算法?

● 漫画:如何优化 “字符串匹配算法”?

7d22d513ed1fcd9178af5e659c995de8.gif

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/527649.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

右键菜单无响应_被流氓软件玩坏了?这两个清理工具拯救你凌乱的右键菜单。...

Hello 这里是一周进步我们写了四年近2000篇的干货文章,还分享了许多实用的神器工具,一路以来,感谢大家的支持与陪伴~文 / 一周进步 安哥拉如果你和我们一样,是一个喜欢在电脑上安装各种各样的软件的人,你的电脑右键菜…

python列表超出索引_python列表的切片操作允许索引超出范围

web开发的步骤前端知道是浏览器呈现的部分,相对于前端,后台你可以理解为服务器端专门处理.读取.存储数据库数据的部分. 因为网站是基于B\S架构,即浏览器---服务端架构,就程序来讲,可笼统划分为前端程序和服务器端程 ...const 指针的三种使用方式///const 指针的三种状态/ 注意:…

linux搭建mcpe服务器_Ubuntu Linux下搭建Minecraft我的世界服务器

总结一下在Ubuntu Linux下搭建Minecraft我的世界服务器的方法,其实非常简单直接。(1)、把当前的软件都更新到最新sudo apt-get updateMinecraft服务器需要Java支持。为了检查我们是否已经安装Java,我们执行下面的命令:java -version如果Java已…

supersocke接收不到数据_基于SuperSocket的北斗终端数据接收服务的设计与实现

基于SuperSocket的北斗终端数据接收服务的设计与实现刘朴,莫家勤*【摘要】北斗是我国自主研发的卫星导航定位系统,已经被广泛使用于各个领域,城市交通管理的核心是车辆监控,为了实现车辆的智能管理,获取车辆信息是首要任务,基于北斗二代的车载终端能够精确获取车辆信息,因此实现…

winform防止sqlserver注入_c# 防止sql注入对拼接sql脚本的各个参数处理

/// ///过滤标记/// /// 包括HTML,脚本,数据库关键字,特殊字符的源码/// 已经去除标记后的文字public string NoHtml(stringHtmlstring){if (Htmlstring null){return "";}else{//删除脚本Htmlstring Regex.Replace(Htmlstring, …

jsp mysql源码_jsp+servlet+mysql员工管理系统源代码下载

jspservletmysql员工管理系统项目截图注册页面登录页面添加员工编辑员工员工列表数据库建表语句/*Navicat MySQL Data TransferSource Server : localhostSource Server Version : 50509Source Host : localhost:3306Source Database : wdhdbTarget Server Type : MYSQLTarget …

mysql varchar(20)_MySQL中采用类型varchar(20)和varchar(255)对性能上的影响

MySQL建立索引时如果没有限制索引的大小,索引长度会默认采用的该字段的长度,也就是说varchar(20)和varchar(255)对应的索引长度分别为203(utf-8)(21),2553(utf-8)(21),其中"2"用来存储长度信息,“1”用来标记…

添加mysql至服务器_mysql 如何添加服务器

{"moduleinfo":{"card_count":[{"count_phone":1,"count":1}],"search_count":[{"count_phone":6,"count":6}]},"card":[{"des":"云服务器 ECS(Elastic Compute Service)是一…

vs里安装了mysql吗_vs2017安装 MySQL for Visual Studio 1.2.

vs2017安装想在win7EF6 VS2017 MySQL 但是安装MySQL for Visual Studio 1.2.7 时一直安装不上去,如下:Action 9:40:05: InstallFinalize.1: Action 9:40:05: DeleteRegKeyAndExtensionsFile_VS2013.1: Action 9:40:06: DeleteRegKeyAndExtensionsFile_…

var lib mysql ib_MYSQL问题解决

1、MySQL错误日志里出现:140331 10:08:18 [ERROR] Error reading master configuration140331 10:08:18 [ERROR] Failed to initialize the master info structure140331 10:08:18 [Note] Event Scheduler: Loaded 0 events从错误提示就可以看出和mster info相关&am…

mysql数据库优化语句_mysql数据库优化语句

mysql优化语句数据库语句: Ddl(数据定义语言) alter create drop Dml(数据操作语言) inset delete update www.2cto.com Dtl(数据事务语言) conmmit rollback savepoint Select Dcl(数据控制语句) grant赋权限 revoke回收 Mysql数据库优化: 1、 数据库表…

linux mysql 目录结构图_linux下mysql安装、目录结构、配置

1、准备安装程序(官方网站下载)服务端:MySQL-server-community-5.1.44-1.rhel4.i386.rpm客户端:MySQL-client-community-5.1.44-1.rhel4.i386.rpm2、安装(打印信息略)[rootlocalhost /]#rpm -ivh MySQL-server-community-5.1.44-1.rhel4.i386.rpm;[rootl…

php mysql删除失败_php mysql删除的代码哪里出错了?

<?phpsession_start ();if($_SESSION[droits]f){echo("vousn\avezpasdedroit");}include(dirname(__FILE__)."/includes/connexion.php");?>-//W3C//DTDHTML4...session_start();if ($_SESSION[droits] f){echo("vous n\avez pas de droit&q…

mysql rr 更新失败_RR 级别下 update 操作的是快照读还是当前读?

我们知道在 RR 级别下&#xff0c;重复的 select 操作&#xff0c;读取的值都会是一致的。即便在两次 select 操作的中间&#xff0c;有一个事务 B 修改了值&#xff0c;但是在事务 A 中 select 读取的值还是一致的。那么如果是 update 操作呢&#xff1f;之前在网上看到一篇博…

json模拟数据怎么用_在使用axios获取自己模拟的json数据是踩到的坑

最近在使用Vue仿写一个网易云音乐的单页面应用&#xff0c;当页面布局什么的写完后&#xff0c;然后就准备用axios获取后台数据渲染页面了&#xff0c;当然&#xff0c;我自己写的&#xff0c;并没有后台&#xff0c;所以&#xff0c;我就自己写json文件&#xff0c;然后弄prox…

python中数据类型不同运算不同_Python的基本数据类型与运算

Python的基本数据类型:1.number数字整型(整数):python可以处理任意大小的整数包括正整数与负整数浮点型(小数):在Python中表示浮点数的时候回存在一些误差复数:abj2.str字符串类型定义:使用单引号或者双引号括起来的任意文本,我们称之为字符串.3.bool(布尔)类型取值只有Ture和F…

ubuntu 自动加载ko_linux驱动模块开机自动加载,以及应用程序开机自启动

http://blog.csdn.net/qq_29350001/article/details/51788635第一种方法&#xff1a;相对来说简单将测试程序放在/bin底下&#xff0c;然后用vi编辑/etc/init.d/rcS&#xff0c;加上/bin/应用程序名 &,加上&表示后台运行这两个功能的实现都是通过设置启动脚本来实现的。…

mysql架构深入_mysql性能优化2:深入认识mysql体系架构

前言本文将重点梳理mysql的体系架构&#xff0c;便于了解mysql的实现原理。Mysql体系结构Client Connectors 接入方 支持协议很多Management Serveices & Utilities 系统管理和控制工具&#xff0c;mysqldump、 mysql复制集群、分区管理等Connection Pool 连接池&#xff1…

mysql租车管理系统_基于java实现租车管理系统

概述基于java swing JFrame 的图书馆管理系统&#xff0c;租车&#xff0c;还车&#xff0c;管理员管理用户&#xff0c;付款等。部分代码public class Login extends JFrame {private static final long serialVersionUID 1L;/*** 登录窗体*/public Login() {setDefaultClo…

树莓派 pip安装mysql_树莓派 pip 手动安装

在 /etc/pip.conf 添加如下内容&#xff0c;启用源[global]extra-index-urlhttps://www.piwheels.org/simple下载后 pip install **.whl 安装国内源&#xff1a;新版ubuntu要求使用https源&#xff0c;要注意。清华&#xff1a;https://pypi.tuna.tsinghua.edu.cn/simple阿里云…