图片处理OpenCV IMDecode模式说明【生产问题处理】

OpenCV IMDecode模式说明【生产问题处理】

1 前言

今天售后同事反馈说客户使用我们的图片处理，将PNG图片处理为JPG图片之后，变为了白板。

我们图片处理使用的是openCV来进行处理

2 分析

2.1 图片是否损坏：非标准PNG头部

于是，马上写了一个demo尝试本地复现，结果复现概率是：必现。

package mainimport ("fmt""gocv.io/x/gocv"_ "image/jpeg"_ "image/png""io""os"
)func main() {params := []int{gocv.IMWriteJpegQuality, 1}srcFile, err := os.Open("/Users/xxx/GolandProjects/xxx/image-encoder/demo/quality/3.png")if err != nil {fmt.Printf("%v", err)return}defer srcFile.Close()imageBuf, err := io.ReadAll(srcFile)if err != nil {fmt.Printf("%v", err)return}mat, err := gocv.IMDecode(imageBuf, gocv.IMReadUnchanged)if err != nil {fmt.Printf("%v", err)return}buf, err := gocv.IMEncodeWithParams(gocv.JPEGFileExt, mat, params)//buf, err := gocv.IMEncodeWithParams(gocv.JPEGFileExt, mat, params)if err != nil {fmt.Printf("%v", err)return}os.WriteFile("/Users/xxx/GolandProjects/xxx/image-encoder/demo/quality/33.jpg", buf.GetBytes(), os.ModePerm)if err != nil {fmt.Printf("%v", err)return}println("DONE.....")
}

接着尝试将我本地其他的PNG图片转换为JPG，发现可以转换成功。表示这个代码是可以将PNG转换为JPG的。

于是，开始排查是否是客户图片有破损，比如图片的文件头已经损坏，导致它不是一个标准的PNG图片。

在这里插入图片描述

通过查阅资料后发现PNG的头部为89 50 4E 47 0D 0A 1A 0A

package mainimport ("encoding/hex""fmt""os"
)func main() {filePath := "/Users/xsky/GolandProjects/xxx/image-encoder/demo/quality/11.png" // 替换为你的 PNG 图片文件路径file, err := os.Open(filePath)if err != nil {fmt.Println("Error opening file:", err)return}defer file.Close()header := make([]byte, 8)_, err = file.Read(header)if err != nil {fmt.Println("Error reading file:", err)return}fmt.Println("PNG 文件头的16进制信息:")//89504e470d0a1a0a//89504e470d0a1a0afmt.Println(hex.EncodeToString(header))
}

最终验证发现，客户的PNG图片与我本地PNG图片一致，文件头都是符合PNG格式的。

2.2 Alpha图像通道问题(shooting)

接着想着客户图像是灰白色的，而我之前验证的本地图片为彩色，加上我自己gocv处理图片的参数选择的是gocv.IMReadUnchanged。点进去查看源码，发现还有其他的参数，于是尝试替换其他参数。

//我之前代码的用法
mat, err := gocv.IMDecode(imageBuf, gocv.IMReadUnchanged)

// IMReadUnchanged return the loaded image as is (with alpha channel,
//otherwise it gets cropped).
IMReadUnchanged IMReadFlag = -1 # 处理带有Alpha参数的图像
// IMReadColor always converts image to the 3 channel BGR color image.
IMReadColor IMReadFlag = 1 # 将图片转换为BGR三色通道
// IMReadAnyColor the image is read in any possible color format.
IMReadAnyColor IMReadFlag = 4 # 根据图像自动识别任何可能的格式
...

知道这个参数之后，我将gocv.IMDecode(imageBuf, gocv.IMReadUnchanged)中的IMReadUnchanged改为IMReadAnyColor，最后验证，成功处理客户图片。

目前可以知道，我的图像处理参数选择有问题。于是开始查这几种参数有什么区别。其实点进去看源码就可以知道这几种参数的区别。

这个时候如果对图像处理不熟悉的朋友可能会问，Alpha通道是什么意思，其实大家可以简单的理解为和图像的透明度有关。

为了验证这个结论是否正确，我尝试读取客户的PNG和我本地的彩色PNG的颜色Model是否不同：

//color.RGBAModel # 我自己的图像
//color.Gray16Model # 客户的图像

至此，猜想成立，可以知道是我图像的处理颜色的参数选择有误。

3 拓展：图像color.Model

色彩模型（RGB，RGBA，CMYK灰度）
matplotlib中的色彩定义主要用到了RGB、RGBA、CMYK、灰色四种模型。

这里我主要介绍RGBA模型

对这块感兴趣的朋友可以去看这边文章：https://blog.csdn.net/mighty13/article/details/113616772

3.1 color.RGBAModel：三色+Alpha

带有alpha[RGBA 表示传统的32位预处理 Alpha 色，每个颜色都有8位，分别表示红色，绿色，蓝色和阿尔法。 ]

type RGBA struct {R, G, B, A uint8
}

3.2 color.RGBA64Model：64位表示三色+Alpha的值

带有alpha：64位数来表示每个通道的值

type RGBA64 struct {R, G, B, A uint16
}

3.3 color.NRGBAModel：其他颜色不预乘Alpha的值

NRGBA 表示非 Alpha 预乘32位颜色（非 alpha 预乘表示在进行颜色合成时，颜色值不会提前乘以 alpha 通道的值）

预乘：什么是预乘？假设一个像素点，用RGBA四个分量来表示，记做(R,G,B,A)，那预乘后的像素就是(RA,GA,B*A, A)，这里A的取值范围是[0,1]。所以，预乘就是每个颜色分量都与该像素的alpha分量预先相乘。可以发现，对于一个没有透明度，或者说透明度为1的像素来说，预乘不预乘结果都是一样的。
NRGBA代表一个没有32位透明度加乘的颜色。每个红，绿，蓝和透明度都是８bit的数值