色度联合编码 JCCR
-
VVC 支持色度分量联合编码(Joint Coding of Chroma Residual，JCCR)， 两个色度残差联合编码。通过 TU 的标志位 tu_joint_cbcr_residual_flag 指定该工 具，并通过 CBF 来隐式传输所选的模式。仅当 TU 的至少一个色度分量的 CBF 为 1 时才需要传输 tu_joint_cbcr_residual_flag 标志位。在 PPS 和 slice header 中， JCCR 模式的 QP offset 和普通模式的色度 QP offset 不同。JCCR 有三个子模式， 当 TU 激活子模式 2 时，则在量化过程中色度 QP offset 和亮度生成的色度 QP 相加，当 TU 激活子模式 1 或 3 时，则色度 QP 的生成方式和普通的 Cb，Cr 相同。
-
JCCR模式通过使用单一的联合残差块来描述同一变换单元中 Cb（蓝色分量）和Cr（红色分量）块的残差，从而可能提高编码效率。这种模式利用了Cb和Cr残差在实际过程中往往呈现一定的关系，通过编码一个联合残差信号，然后在解码端根据这个联合残差信号推导出原始的Cb和Cr残差信号，以此来提高编码效率。说白了，JCCR 技术实际就是对 Cb、Cr 的残差进行加权平均。
-
色度残差的重建过程如下表所示，tu_cbf_cb 和 tu_cbf_cr 分别是 Cb 和 Cr 的 CBF，mode 是子模式其可以通过 Cb 和 Cr 的 CBF 计算得到不需要在码流中传输。 且只对 I slice 才支持全部三种子模式，对于 P 和 B slice 只支持子模式 2。且对于 P 和 B slice 只 有 当 Cb 和 Cr 的 CBF 都等于 1 时才需要传输 tu_joint_cbcr_residual_flag 标志位。CSign 是符号位，在 slice header 中传输。 resJointC[ ][ ]是码流中传输的色度的残差值。
-
resJointC[ ][ ]的生成过程如下:
-
当激活子模式 2 时，
-
否则，当激活子模式 1 时，
-
否则，当激活子模式 3 时，
-
-
JCCR 和色度块的变换跳过模式(TS)可以配合使用。如果一个色度分量选择 DCT-II(或 TS)作为最优变换，另一个色度分量的变换系数全为 0，或者两个色 度分量都选择 DCT-II(或 TS)作为最优变换，则 JCCR 编码中仅考虑 DCT-II(或 TS)。如果一个色度分量选择 DCT-II 另一个选择 TS，则 JCCR 编码中需要考虑 DCT-II 和 TS。
-
在 2019 年 1 月的 JVET-M0305[CE7-related: Joint coding of chrominance residuals] 提案中介绍了 JCCR 工具原理和实验收益。
-
在 2020 年 1 月的 JVET-Q2002[Algorithm description for Versatile Video Coding and Test Model 8 (VTM 8)] 提案中对 JCCR 技术进行了总结描述。
-
在 VVenC 编码器中 TrQuant.cpp 文件中
fwdTransformCbCr函数通过 Cb、Cr 的残差来计算resJointC 的值。
template<int signedMode> std::pair<int64_t,int64_t> fwdTransformCbCr( const PelBuf& resCb, const PelBuf& resCr, PelBuf& resC1, PelBuf& resC2 )
{const Pel* cb = resCb.buf;const Pel* cr = resCr.buf;Pel* c1 = resC1.buf;Pel* c2 = resC2.buf;int64_t d1 = 0;int64_t d2 = 0;for( SizeType y = 0; y < resCb.height; y++, cb += resCb.stride, cr += resCr.stride, c1 += resC1.stride, c2 += resC2.stride ){for( SizeType x = 0; x < resCb.width; x++ ){int cbx = cb[x], crx = cr[x];if ( signedMode == 1 ){c1[x] = Pel( ( 4*cbx + 2*crx ) / 5 );d1 += square( cbx - c1[x] ) + square( crx - (c1[x]>>1) );}else if ( signedMode == -1 ){c1[x] = Pel( ( 4*cbx - 2*crx ) / 5 );d1 += square( cbx - c1[x] ) + square( crx - (-c1[x]>>1) );}else if ( signedMode == 2 ){c1[x] = Pel( ( cbx + crx ) / 2 );d1 += square( cbx - c1[x] ) + square( crx - c1[x] );}else if ( signedMode == -2 ){c1[x] = Pel( ( cbx - crx ) / 2 );d1 += square( cbx - c1[x] ) + square( crx + c1[x] );}else if ( signedMode == 3 ){c2[x] = Pel( ( 4*crx + 2*cbx ) / 5 );d1 += square( cbx - (c2[x]>>1) ) + square( crx - c2[x] );}else if ( signedMode == -3 ){c2[x] = Pel( ( 4*crx - 2*cbx ) / 5 );d1 += square( cbx - (-c2[x]>>1) ) + square( crx - c2[x] );}else{d1 += square( cbx );d2 += square( crx );}}}return std::make_pair(d1,d2);
}
