图像数据格式基础知识

JPEG文件格式简单分析

作者:小爽

摘要:

这篇文章大体上介绍了JPEG文件的结构信息以及它的压缩算法和编码方式。使读者能够对JPEG文件格式有大体上的了解。为读者进一步进行学习JPEG文件压缩做好准备

 

关键字:十六进制,段格式,编码

 

一、    JPEG文件格式概述:

图像和动画的存储方式是一个很重要的问题。幸好我们有了数据压缩,有了JPEG等多种压缩存储图像的文件格式,我们今天才能够拿着小小的一个存储器,却存上许多张色彩鲜艳的图片。如果没有图像压缩算法,也许我们的多媒体时代就会晚到来许多年。

JPEG图像存储格式一个比较成熟的图像有损压缩格式,虽然一个图片经过转化为JPEG图像后,一些数据会丢失,但是,人眼是很不容易分辨出来这种差别的。也就是说,JPEG图像存储格式既满足了人眼对色彩和分辨率的要求,又适当的去除了图像中很难被人眼所分辨出的色彩,在图像的清晰与大小中JPEG找到了一个很好的平衡点。

虽然图像转化为JPEG格式会减小很多,但是并不是文件就变得简单了,相反,JPEG文件的格式是比较复杂的。不经过认真地分析,是不容易弄懂它的。

 

二、    JPEG文件的存储方式:

JPEG文件的格式是分为一个一个的段来存储的(但并不是全部都是段),段的多少和长度并不是一定的。只要包含了足够的信息,该JPEG文件就能够被打开,呈现给人们。JPEG文件的每个段都一定包含两部分一个是段的标识,它由两个字节构成:第一个字节是十六进制0xFF,第二个字节对于不同的段,这个值是不同的。紧接着的两个字节存放的是这个段的长度(除了前面的两个字节0xFF0xXXX表示不确定。他们是不算到段的长度中的)。注意:这个长度的表示方法是按照高位在前,低位在后的,与Intel的表示方法不同。比方说一个段的长度是0x12AB,那么它会按照0x120xAB的顺序存储。但是如果按照Intel的方式:高位在后,低位在前的方式会存储成0xAB0x12,而这样的存储方法对于JPEG是不对的。这样的话如果一个程序不认识JPEG文件某个段,它就可以读取后两个字节,得到这个段的长度,并跳过忽略它。

本人曾经编写过一个读取JPEG文件信息的程序,该程序能够读取JPEG文件中包含的段的信息并显示出来。下面是一个JPEG图片的信息片断:

 

SOI

        APP0    Length: 0x10

        DQT

                DQT [0]:

        8       6       5       8       12      20      26      31

        6       6       7       10      13      29      30      28

        7       7       8       12      20      29      35      60

        7       9       11      15      26      44      50      31

        9       11      19      28      34      56      52      0

        12      18      28      32      61      52      0       46

        25      32      39      57      52      0       60      0

        36      46      39      49      253     50      0       50

        Length: 0x43

        DQT

                DQT [1]:

        9       9       12      24      50      50      50      50

        9       11      13      33      50      50      50      50

        12      13      28      50      50      50      50      50

        24      33      50      50      50      50      50      50

        50      50      50      50      50      50      50      0

        50      50      50      50      50      50      0       50

        50      50      50      50      50      0       50      0

        50      50      50      50      253     50      0       50

        Length: 0x43

        SOF0

                Image Height: 173

                Image Width: 401

                Number of Frame(s): 3

                ****************

                Content ID: 1

                H Factor: 2

                V Factor: 2

                QT ID: 0

                ****************

                Content ID: 2

                H Factor: 1

                V Factor: 1

                QT ID: 1

                ****************

                Content ID: 3

                H Factor: 1

                V Factor: 1

                QT ID: 1

        Length: 0x11

        DHT

                Type: DC TABLE

                ID: 0

        Length: 0x1f

        DHT

                Type: AC TABLE

                ID: 0

        Length: 0xb5

        DHT

                Type: DC TABLE

                ID: 1

        Length: 0x1f

        DHT

                Type: AC TABLE

                ID: 1

        Length: 0xb5

        SOS     Length: 0xc     <-Will Not Process This Seg.

FATAL ERROR: File Structure Does NOT Support.

 

你首先会想到为什么最后会出现一个错误的信息呢?这是因为,在SOSStart Of Scan)段的后面,就是编码后的一行一行的图像信息。不再是段的结构了。在开始的SOIStart Of Image)不是一个段,它是文件的开始,它的值也是类似于0xFF0xXX的结构(SOI的具体数值清自己察看相关书籍,本文章中将不作重点介绍),但是后面没有段的长度。在文件的最后,有一个EOIEnd Of Image)的标识,它的结构和SOI是类似的。它标志着文件的结束。

在这中间,包含了APP0段,DQT段,SOF0段,DHT段,SOS段。有的段的个数是不唯一的,比方说DQT段。我们现在重点地介绍各个段的作用。

 

三、    JPEG文件中段的介绍:

APP0段中主要存储的是图片的识别信息(字符串”JFIF\0”)、一些分辨率的信息以及缩略图的信息。在我的实际测试中,发现并不是所有的JPEG文件都有APP0段的,有的仅是有APP2之类的其他段,但是每个文件中肯定是包含APPX的段(X可以取得的值可以查阅相关文档)。我个人估计,这些APPX的段的信息应该是大同小异。这个的验证还有待本人进一步的学习,目前只能说到这里。

DQT段的内容是量化表的信息。众所周知,一个颜色可以分为RGB(红、绿、兰)三个分量,这三色光组成了我们可以见到的所有色彩。但是,在JPEG文件中,RGB色彩格式需要先转化为YUV的格式。Y分量代表了亮度信息,UV分量代表了色差信息。相比之下,人眼对于Y分量更为敏感。量化表的作用就是对于一些不需要的量进行去除,这也是JPEG有损压缩损失数据的关键。上面的输出可以看到两个量化表,一个给Y分量,另一个给UV分量。其实,他们也可以共用一个量化表。一个量化的结果如下所示(摘自《JPEG压缩编码标准》):

15    0     -1    0     0     0     0     0

-2    -1    0     0     0     0     0     0

-1    -1    0     0     0     0     0     0

0     0     0     0     0     0     0     0

0     0     0     0     0     0     0     0

0     0     0     0     0     0     0     0

0     0     0     0     0     0     0     0

0     0     0     0     0     0     0     0

我们可以看到,量化后出现了大量的0,这种结果很有利于我们进行下一步的数据压缩的。至于为什么是8x8的大小,待会你就知道了。

SOF0段的内容是图像的大小信息,每个像素的位数信息,以及YUV每个分量分别得的采样信息(这部分如果读者想要进一步学习,请参考相应书籍和文档)。JPEG文件图像的编码是一个方块一个方块进行的,每块的大小为8x8大小(如果图像不是整数个方块的大小那么就对图像补齐为整数个大小)。简略地说采样信息,就是如何按组记录YUV的信息,即若干个Y方块,若干个U方块,若干个V方块经过量化的数据再次经过编码后组成一组记录,保存在SOS段结束后。

DHT段的内容是一个重头戏,如果没有它,JPEG压缩效率就不会那么高了。它内部定义的是一个Huffman表,不同的DHT段定义不同的Huffman表,有的是直流量的表,有的是交流量的表。什么是直流量,什么是交流量呢?待会我再作介绍。最多的Huffman表示几个呢?YUV各一个,直流交流各一个,因为YUV每个分量都有直流和交流,所以最多时,Huffman表有3x2个,也就是可以有6DHT段。该文件中有4DHT表,您可以大概猜出来是哪几个表么?Y的直流和交流各一个Huffman表,UV和起来直流和交流各一个Huffman表。这样说应该比较合理吧。

好了,现在我们应该弄明白什么是交流量,什么是直流量了。还举上面那个有许多个08x8的表的例子说,所谓交流量,是经过量化后的块内部除了左上角15那个值的其余值。实际上,块与块之间左上角那个值是用直流Huffman表来单独编码的。不与块内部一同编码。虽然不同的编码,但是要注意的事,不同的编码方式并不意味着它们是不在一起的,具体的存储编码后的数据的时候,还是按照若干个Y方块,若干个U方块,若干个V方块经过量化的数据再次经过编码后组成一组记录来存储的。

SOS段的内容是关于YUV每个分量的直流和交流各使用那个Huffman表来编码的。

四、    JPEG文件十六进制代码解析

我觉得,如果想要的了解JPEG,对十六进制代码的观察是必不可少的。不要认为这样有多难,我会让你知道这是很简单的。目前我们只需要了解我们能够了解的东西就可以了。要记住,每个段的开始是0xFF0xXX,紧接着两个字节是长度信息。

 

可以看到,上图被选定的标记是SOI标记。

 

上图被选定的段是APP0段。

 

 

 

紧接着的段是DQT段,这个JPEG文件有两个DQT段。这里需要强调一点的是,包括量化表在内8x8的块的值是按照Z形来保存量化表8x8的数据的。而不是按照一行一行的保存的。这样做的好处是,能够让实际上相邻的像素点保存后也排列得比较近,便于压缩和编码。如下图所示:

(摘自《JPEG压缩编码标准》)

 

 

 

 

上图标记的段是DHT段,一共有4DHT段。

 

 

这个段是SOS段,在这个段的后面就是所有压缩后的数据。

每段的具体信息在这里我就不详细介绍了,网上有很多相关的文章,如果有兴趣的话,可以去查找阅读。

 

五、    图像数据块内的编码方式

其实,图像数据块的编码是比较麻烦的,它涉及到了行程编码,Huffman编码等编码方式。这部分很多文档说得都不是很清楚,我力求去除内部比较麻烦的部分,再通过简单的语言让大家明白原理,这样大家如果有兴趣进行下一步的研究,也会比较容易上手的。

我们还是使用那刚才那个包含很多0的量化后的8x8的数据块来说明。我们把块内剩余的63个数据用行程编码来编码。经过行程编码后的数据的格式是:(x,y)。x表示的是从当前位置开始有多少个连续的零,y表示这些连续的0的后面的第一个非零的数是多少。但是为了解决存储的问题和进行进一步的压缩。最后的压缩格式变为:(x,yzxy占有一个字节的长度。z的长度不固定,需要根据y的值来判断。x仍代表从当前位置开始有几个连续的零,但是因为x只能占有四位的长度,也就是它的最大值是15,所以,当多于16个连续的零的时候。会用一个字节的(15,0)来代替前面的160,然后继续编码(注意:这时候没有z部分)。当块结束或者当前块后面剩余的都是零的时候,就用(0,0)即EOB代替(同样也是没有z部分)。前面说到z的长度不固定,需要根据y的值来判断,这是为什么呢?简单的来说,z的长度是不一定的,在1~15的范围内。Y的作用简单的来说表示的是z的二进制位数(1~15),也正好是4位二进制的值能够表示的。然后,把xy合成的一个字节单独提取出来,利用DHT里面的Huffman表来进行编码。这样,编码的长度又能够被压缩了。

 


本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/255602.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

SQL语句:从一个表里按年份统计条目数

比如一个数据表名称叫deploypool&#xff0c; 需要知道里面每一年的记录数&#xff0c; 而add_date字段里有增加记录时的时间&#xff0c; 那么语句如下&#xff1a; SELECT EXTRACT(YEAR from add_date),COUNT(id) FROM deploypool GROUP BY EXTRACT(YEAR from add_date);

为什么需要架构图,怎么画?

Technorati 标签: 架构图,架构,交流,布局不知不觉中做架构师也已经4年了&#xff0c;最初的感觉只是一个名号&#xff0c;不再把代码作为强制的任务&#xff0c;后来开始慢慢的转变工作内容。画图&#xff0c;成为了我的主要工作。我可能不是每天都在写代码&#xff0c;但却是每…

Jenkins构建时间Poll Scm的设置(常用设置)

每15分钟构建一次&#xff1a;H/15 * * * * 或*/5 * * * * 每天8点构建一次&#xff1a;0 8 * * * 每天8点~17点&#xff0c;两小时构建一次&#xff1a;0 8-17/2 * * * 周一到周五&#xff0c;8点~17点&#xff0c;两小时构建一次&#xff1a;0 8-17/2 * * 1-5 每月1号、15号…

图像格式基础

所谓位映像&#xff0c;即是指一个二维的像素矩阵&#xff0c;而位图就是采用位映像方法显示和存储图像。一幅图像的显示就是将图像的像素映射到屏幕的像素上并显示一定的颜色。当一幅图形的像素由彩色表示时就是我们通常所说的彩色图像了。 由于数字图像可以表示为矩阵…

aop理解

1.切面&#xff08;Aspects&#xff09;常常通过通知&#xff08;advice&#xff09;、切点&#xff08;pointcuts&#xff09;和织入点&#xff08;join points&#xff09;来描述 2.通知&#xff08;advice&#xff09;有5种 Before——前置通知&#xff0c;在调用目标方法之…

Php 与 Json

PHP与JSON 在PHP中存在两个与JSON相关的函数&#xff1a; json_encode($array或$object)函数&#xff1a;把一个数组或对象转化为JSON格式的字符串 json_decode($json,$flag)函数&#xff1a;把一个JSON格式的字符串转化为数组或对象 $flag &#xff1a;true&#xff0c;代表转…

docker supervisor + compose

一&#xff1a; Supervisor Docker 容器在启动的时候开启单个进程&#xff0c;比如&#xff0c;一个 ssh 或者 apache 的 daemon 服务。但我们经常需要在一个机器上开启多个服务&#xff0c;这可以有很多方法&#xff0c;最简单的就是把多个启动命令放到一个启动脚本里面…

AngularJS(1)——入门学习

AngularJs相关概念 在w3schools中针对AngularJs的介绍为: AngularJS extends HTML with new attributes. AngularJS is perfect for Single Page Applications (SPAs). ProAuditObject ProAuditObj1 new ProAuditObject(); ProAuditObj1.setLproid(proId); Pr…

C# 字符,字符串和文本处理。

1. 字符&#xff1a; 在.net中 字符是表示成16为Unicode代码值。每个字符都是System.Char结构&#xff08;一个值类型&#xff09;的实例。 public class StringTempte{public static void GetChar(){double d;d char.GetNumericValue(\u0033);Console.WriteLine(d.ToString()…

opencv2.2.0源代码(include文件)分析

由于openCV2.2.0源文件很庞大&#xff0c;这里我只分析openCV2.2.0文件组织结构的各个模块的include文件&#xff08;重点分析各个模块下引用的算法和实现的功能&#xff09;&#xff0c;而不是src文件。这里分析各个模块有助于更好的从整体把握和理解openCV2.2.0。这里只是自己…

【pyqt5学习】——tableWidget学习

设置单元格列宽 self.tableWidget.setColumnWidth(0,200) 设置第一行和表头之间的表格线 self.tableWidget.horizontalHeader().setStyleSheet("QHeaderView::section{background:skyblue;color: black;}")

SUSE团队已将重心偏向GCC 7

2019独角兽企业重金招聘Python工程师标准>>> SUSE的Andreas Jaeger在博客中发表了一篇关于SUSE Linux Enterprise Server 12操作系统更新工具链以及它所带来的新开发工具的博文。文章指出&#xff0c;随着GNU Compiler Collection 7的发布&#xff0c;GCC团队为开发…

eclipse-连接TFS错误 the server to respond with a valid http response解决方法

解决办法 如果普通凭证有多个&#xff0c;则将普通凭证给删除。 转载于:https://www.cnblogs.com/nidongde/p/6277243.html

Mysql源码安装

首先去http://dev.mysql.com/downloads/mysql/5.6.html 下载mysql的源代码&#xff0c;记住是source code&#xff0c;别下别的版本 1.安装依赖的包 yum -y install cmake gcc-c bison ncurses ncurses-devel 2.创建mysql的安装目录及数据库存放目录 mkdir -p /usr/local/mysql…

PDB文件:每个开发人员都必须知道的

一 什么是PDB文件 大部分的开发人员应该都知道PDB文件是用来帮助软件的调试的。但是他究竟是如何工作的呢&#xff0c;我们可能并不熟悉。本文描述了PDB文件的存储和内容。同时还描 述了debugger如何找到binay相应的PDB文件&#xff0c;以及debugger如何找到与binay对应的源代码…

【pyqt5学习】——graphicView显示opencv图像

imgpath "result.jpg"img cv2.imread(imgpath) # 读取图像img cv2.cvtColor(img, cv2.COLOR_BGR2RGB) # 转换图像通道x img.shape[1] # 获取图像大小y img.shape[0]self.zoomscale 1 # 图片放缩尺度frame QImage(img, x, y, x * 3, QImage.Format_RGB888)…

项目总结——机房收费系统合作版

机房合作就结束了&#xff0c;这次合作开发是第一次与别人一块儿开发一个系统&#xff0c;收获还是蛮大的。以下我总结几点算是经验吧&#xff0c;供以后參考&#xff1a; 管理上1.计划在准备合作开发之前我们三个去找米老师&#xff0c;老师给我们规定了时间。半个月。尽管计划…

CenterOs 防火墙设置

为什么80%的码农都做不了架构师&#xff1f;>>> 1. 重启后生效的 开启&#xff1a; chkconfig iptables on 关闭&#xff1a; chkconfig iptables off 2. 及时生效 开启&#xff1a; service iptables start 关闭&#xff1a; service iptables stop 查看防火墙规则…

设计模式六大原则(3)——依赖倒置原则

定义&#xff1a;高层模块不应该依赖低层模块&#xff0c;二者都应该依赖其抽象&#xff1b;抽象不应该依赖细节&#xff1b;细节应该依赖抽象。 问题由来&#xff1a;类A直接依赖类B&#xff0c;假如要将类A改为依赖类C&#xff0c;则必须通过修改类A的代码来达成。这种场景下…

【机器学习——决策树】——两种方法实现,含模型的保存和调用

目录 1、ID3算法 2、使用sklearn API——模型保存和调用成功 1、ID3算法 以下实现了决策树的创建、可视化绘制、决策树的保存和调用 但是在利用决策树进行预测的时候出现错误 分类代码 #实用决策树进行分类 def classify(inputTree, featLabels, testVec): firstStr = in…