Csiszár divergences
熵函数
熵函数（entropy function) φ : R + + → R + \varphi: \mathbb{R}_{++} \to \mathbb{R}_{+} φ:R++→R+，他是凸函数，正的（？），下半连续函数，并且 φ ( 1 ) = 0 \varphi \left( 1 \right) = 0 φ(1)=0
φ ∞ ′ = lim x → ∞ φ ( x ) x \varphi_{\infty}^{\prime} = \lim_{ x \to \infty } \frac{\varphi \left( x \right)}{x} φ∞′=limx→∞xφ(x)
性质
设 φ ∗ \varphi^{*} φ∗是熵函数的共轭函数，则
- ∂ φ ⊂ R + \partial \varphi \subset \mathbb{R}_{+} ∂φ⊂R+,即 φ ∗ \varphi^{*} φ∗单调不减
- dom φ ∗ = ( − ∞ , φ ∞ ′ ) \operatorname{dom}\varphi^{*} = \left( -\infty, \varphi_{\infty}^{\prime} \right) domφ∗=(−∞,φ∞′)
- lim q → − ∞ φ ∗ ( q ) = − φ ( 0 ) , lim q → + ∞ φ ∗ ( q ) = + ∞ \lim\limits_{q\to -\infty}\varphi^{*} \left( q \right) = -\varphi \left( 0 \right), \lim\limits_{q\to +\infty}\varphi^{*} \left( q \right) = +\infty q→−∞limφ∗(q)=−φ(0),q→+∞limφ∗(q)=+∞
证明：
设 q < q ′ q < q^{\prime} q<q′,
由于 dom φ = R + + \operatorname{dom} \varphi = \mathbb{R}_{++} domφ=R++，有 x q − φ ( x ) ≤ x q ′ − φ ( x ) xq-\varphi \left(x\right) \le x q^{\prime} - \varphi\left(x\right) xq−φ(x)≤xq′−φ(x)
两边同时取 sup \sup sup，即可证明1
若 φ ∞ ′ < ∞ \varphi_{\infty}^{\prime} < \infty φ∞′<∞, 并且 q > φ ∞ ′ q > \varphi_{\infty}^{\prime} q>φ∞′, 则 lim p → ∞ ( p q − φ ( p ) ) = lim p → ∞ p ( q − φ ( p ) p ) = + ∞ \lim_{ p \to \infty } \left( pq-\varphi \left(p\right) \right) = \lim_{ p \to \infty } p\left(q - \frac{\varphi \left( p \right)}{p} \right) = +\infty limp→∞(pq−φ(p))=limp→∞p(q−pφ(p))=+∞,也就是说 q ∉ dom ( φ ∗ ) q \notin \operatorname{dom} \left( \varphi^{*} \right) q∈/dom(φ∗)
若 φ ∞ ′ = ∞ \varphi_{\infty}^{\prime} = \infty φ∞′=∞，则，对于 ∀ q ∈ R \forall q \in \mathbb{R} ∀q∈R , lim p → ∞ p ( q − φ ( p ) p ) = − ∞ \lim_{ p \to \infty } p\left(q - \frac{\varphi \left( p \right)}{p} \right) = -\infty limp→∞p(q−pφ(p))=−∞,
也就是说，关于 p p p是一个强制函数，进而 φ ∗ ( p ) \varphi^{*} \left( p \right) φ∗(p)有限，即 q ∈ dom ( φ ∗ ) q \in \operatorname{dom} \left( \varphi^{*} \right) q∈dom(φ∗)
显然 φ ∗ ( q ) ≥ − φ ( 0 ) \varphi^{*} \left( q \right) \ge - \varphi \left( 0 \right) φ∗(q)≥−φ(0)
当 q → − ∞ q \to -\infty q→−∞, 若 p > 0 p >0 p>0，则 p q − φ ( p ) → − ∞ pq-\varphi \left(p\right) \to -\infty pq−φ(p)→−∞,因此 lim q → − ∞ φ ∗ ( q ) = − φ ( 0 ) \lim\limits_{q\to -\infty}\varphi^{*} \left( q \right) = -\varphi \left( 0 \right) q→−∞limφ∗(q)=−φ(0)
当 q → + ∞ q \to +\infty q→+∞， φ ∗ ( q ) ≥ q × 1 − φ ( 1 ) = q \varphi^{*} \left( q \right) \ge q \times 1 - \varphi \left( 1 \right) = q φ∗(q)≥q×1−φ(1)=q, 进而 lim q → + ∞ φ ∗ ( q ) = + ∞ \lim\limits_{q\to +\infty}\varphi^{*} \left( q \right) = +\infty q→+∞limφ∗(q)=+∞
定义
考虑数据定义在空间 X \mathcal{X} X上，正测度集 M + ( X ) \mathcal{M}^+ \left( \mathcal{X} \right) M+(X)
Radon-Nikodym-Lebegue decomposition, α = d α d β + α ⊥ ∀ ( α , β ) ∈ M ( X ) \alpha = \frac{\mathrm{d} \alpha}{\mathrm{d} \beta} + \alpha^{\perp}\ \forall \left( \alpha, \beta \right) \in \mathcal{M} \left( \mathcal{X} \right) α=dβdα+α⊥ ∀(α,β)∈M(X)
熵函数 φ \varphi φ，其中定义 ∀ x < 0 , φ ( x ) = + ∞ \forall x < 0, \varphi \left( x \right)= +\infty ∀x<0,φ(x)=+∞
则Csiszár divergences定义为
D φ ( α ∣ β ) ≜ ∫ X φ ( d α d β ( x ) ) d β ( x ) + φ ∞ ′ ∫ X d α ⊥ ( x ) \mathrm{D}_{\varphi}(\alpha \mid \beta) \triangleq \int_{\mathcal{X}} \varphi\left(\frac{\mathrm{d} \alpha}{\mathrm{d} \beta}(x)\right) \mathrm{d} \beta(x)+\varphi_{\infty}^{\prime} \int_{\mathcal{X}} \mathrm{d} \alpha^{\perp}(x) Dφ(α∣β)≜∫Xφ(dβdα(x))dβ(x)+φ∞′∫Xdα⊥(x)
离散版本
D φ ( μ ∣ ν ) ≜ ∑ ν i > 0 φ ( μ i ν i ) ν i + φ ∞ ′ ∑ ν i = 0 μ i \mathrm{D}_{\varphi}(\mu \mid \nu) \triangleq \sum_{\nu_i>0} \varphi\left(\frac{\mu_i}{\nu_i}\right) \nu_i+\varphi_{\infty}^{\prime} \sum_{\nu_i=0} \mu_i Dφ(μ∣ν)≜νi>0∑φ(νiμi)νi+φ∞′νi=0∑μi
函数用法)
)
)
