Hadamard积 学习笔记（张贤达《矩阵分析与应用》）

• 定义
• 与正定性有关的性质
• • 正定性的传递性
  • 正定性的反推（Fejer定理）
• 与矩阵迹有关的性质
• • 定理1
  • 定理2
• 一般性质
• Hadamard积服从的不等式

本文是张贤达老师《矩阵分析与应用（第2版）》的部分阅读笔记。

定义

$m\times n$矩阵A=[aij]boldsymbol{A}=left[a_{i j}right]A=[aij​]与$m\times n$矩阵B=[bij]boldsymbol{B}=left[b_{i j}right]B=[bij​]的Hadamard积记作$\mathbf{A}\odot \mathbf{B}$，它仍然是一个$m\times n$矩阵，定义为：A⊙B=[aijbij]boldsymbol{A} odot boldsymbol{B}=left[a_{i j} b_{i j}right]A⊙B=[aij​bij​]Hadamard积也称Schur积或者对应元素乘积。

与正定性有关的性质

正定性的传递性

如果$m\times m$维矩阵$\mathbf{A},\mathbf{B}$是正定的（半正定）的，则他们的Hadamard积也是正定（半正定的）

正定性的反推（Fejer定理）

我们可反推$m\times m$维矩阵$\mathbf{A}$是半正定矩阵，当且仅当∑i=1m∑j=1maijbij⩾0sum_{i=1}^{m} sum_{j=1}^{m} a_{i j} b_{i j} geqslant 0i=1∑m​j=1∑m​aij​bij​⩾0对所有$m\times m$维半正定矩阵$\mathbf{B}$成立。

与矩阵迹有关的性质

定理1

令$\mathbf{A},\mathbf{B},\mathbf{C}$为$m\times n$矩阵，并且1=[1,1,⋯,1]Tboldsymbol{1}=[1,1,cdots,1]^mathrm{T}1=[1,1,⋯,1]T为$n\times 1$求和向量，D=diag(d1,d2,⋯,dm)boldsymbol{D}=mathrm{diag}(d_1,d_2,cdots,d_m)D=diag(d1​,d2​,⋯,dm​)，其中，di=∑j=1naijd_{i}=sum_{j=1}^{n} a_{i j}di​=∑j=1n​aij​，则tr⁡(AT(B⊙C))=tr⁡((AT⊙BT)C)operatorname{tr}left(boldsymbol{A}^{mathrm{T}}(boldsymbol{B} odot boldsymbol{C})right)=operatorname{tr}left(left(boldsymbol{A}^{mathrm{T}} odot boldsymbol{B}^{mathbf{T}}right) boldsymbol{C}right)tr(AT(B⊙C))=tr((AT⊙BT)C)1TAT(B⊙C)1=tr⁡(BTDC)mathbf{1}^{mathbf{T}} boldsymbol{A}^{mathrm{T}}(boldsymbol{B} odot boldsymbol{C}) mathbf{1}=operatorname{tr}left(boldsymbol{B}^{mathrm{T}} boldsymbol{D} boldsymbol{C}right)1TAT(B⊙C)1=tr(BTDC)

定理2

令$\mathbf{A},\mathbf{B}$为$n\times n$正方矩阵，并且1=[1,1,⋯,1]Tboldsymbol{1}=[1,1,cdots,1]^mathrm{T}1=[1,1,⋯,1]T为$n\times 1$求和向量。假定$\mathbf{M}$是一个$n\times n$对角矩阵M=diag(μ1,μ2,⋯,μn)boldsymbol{M}=mathrm{diag}(mu_1,mu_2,cdots,mu_n)M=diag(μ1​,μ2​,⋯,μn​)，而$\mathbf{m}=\mathbf{M}1$为$n\times 1$向量，则有：tr⁡(AMBTM)=mT(A⊙B)mtr⁡(ABT)=1T(A⊙B)1MA⊙BTM=M(A⊙BT)Mbegin{aligned} operatorname{tr}left(boldsymbol{A} boldsymbol{M} boldsymbol{B}^{mathrm{T}} boldsymbol{M}right) &=boldsymbol{m}^{mathrm{T}}(boldsymbol{A} odot boldsymbol{B}) boldsymbol{m} \ operatorname{tr}left(boldsymbol{A} boldsymbol{B}^{mathrm{T}}right) &=mathbf{1}^{mathrm{T}}(boldsymbol{A} odot boldsymbol{B}) mathbf{1} \ boldsymbol{M} boldsymbol{A} odot boldsymbol{B}^{mathrm{T}} boldsymbol{M} &=boldsymbol{M}left(boldsymbol{A} odot boldsymbol{B}^{mathrm{T}}right) boldsymbol{M} end{aligned}tr(AMBTM)tr(ABT)MA⊙BTM​=mT(A⊙B)m=1T(A⊙B)1=M(A⊙BT)M​

一般性质

1. 若$\mathbf{A},\mathbf{B}$均为$m\times n$矩阵，则A⊙B=B⊙A(A⊙B)T=AT⊙BT(A⊙B)H=AH⊙BH(A⊙B)∗=A∗⊙B∗begin{aligned} boldsymbol{A} odot boldsymbol{B} &=boldsymbol{B} odot boldsymbol{A} \ (boldsymbol{A} odot boldsymbol{B})^{mathrm{T}} &=boldsymbol{A}^{mathrm{T}} odot boldsymbol{B}^{mathrm{T}} \ (boldsymbol{A} odot boldsymbol{B})^{mathrm{H}} &=boldsymbol{A}^{mathrm{H}} odot boldsymbol{B}^{mathrm{H}} \ (boldsymbol{A} odot boldsymbol{B})^{*} &=boldsymbol{A}^{*} odot boldsymbol{B}^{*} end{aligned}A⊙B(A⊙B)T(A⊙B)H(A⊙B)∗​=B⊙A=AT⊙BT=AH⊙BH=A∗⊙B∗​
2. 任意矩阵与零矩阵的Hadamard积：A⊙Om×n=Om×n⊙A=Om×nboldsymbol{A} odot boldsymbol{O}_{m times n}=boldsymbol{O}_{m times n} odot boldsymbol{A}=boldsymbol{O}_{m times n}A⊙Om×n​=Om×n​⊙A=Om×n​
3. 若c为常数，则$c(\mathbf{A}\odot \mathbf{B})=(c\mathbf{A})\odot \mathbf{B}=\mathbf{A}\odot (\mathbf{c}\mathbf{B})$
4. 正定（或半正定）矩阵$\mathbf{A},\mathbf{B}$的Hadamard积$\mathbf{A}\odot \mathbf{B}$也是正定（或半正定的）。
5. 矩阵Am×m=[aij]boldsymbol{A}_{m times m}=left[a_{i j}right]Am×m​=[aij​]与单位矩阵Imboldsymbol{I}_mIm​的Hadamard积为$m\times m$对角矩阵，即：A⊙Im=Im⊙A=diag⁡(A)=diag⁡(a11,a22,⋯,amm)boldsymbol{A} odot boldsymbol{I}_{m}=boldsymbol{I}_{m} odot boldsymbol{A}=operatorname{diag}(boldsymbol{A})=operatorname{diag}left(a_{11}, a_{22}, cdots, a_{m m}right)A⊙Im​=Im​⊙A=diag(A)=diag(a11​,a22​,⋯,amm​)
6. 若$\mathbf{A},\mathbf{B},\mathbf{C},\mathbf{D}$均为$m\times n$矩阵，则A⊙(B⊙C)=(A⊙B)⊙C=A⊙B⊙C(A±B)⊙C=A⊙C±B⊙C(A+B)⊙(C+D)=A⊙C+A⊙D+B⊙C+B⊙Dbegin{aligned} boldsymbol{A} odot(boldsymbol{B} odot boldsymbol{C}) &=(boldsymbol{A} odot boldsymbol{B}) odot boldsymbol{C}=boldsymbol{A} odot boldsymbol{B} odot boldsymbol{C} \ (boldsymbol{A} pm boldsymbol{B}) odot boldsymbol{C} &=boldsymbol{A} odot boldsymbol{C} pm boldsymbol{B} odot boldsymbol{C} \ (boldsymbol{A}+boldsymbol{B}) odot(boldsymbol{C}+boldsymbol{D}) &=boldsymbol{A} odot boldsymbol{C}+boldsymbol{A} odot boldsymbol{D}+boldsymbol{B} odot boldsymbol{C}+boldsymbol{B} odot boldsymbol{D} end{aligned}A⊙(B⊙C)(A±B)⊙C(A+B)⊙(C+D)​=(A⊙B)⊙C=A⊙B⊙C=A⊙C±B⊙C=A⊙C+A⊙D+B⊙C+B⊙D​
7. 若$\mathbf{A},\mathbf{B},\mathbf{D}$为$m\times m$矩阵，且$\mathbf{D}$为对角矩阵，则$$(\mathbf{D}\mathbf{A})\odot (\mathbf{B}\mathbf{D})=\mathbf{D}(\mathbf{A}\odot \mathbf{B})\mathbf{D}$$
8. 若$\mathbf{A},\mathbf{C}$为$m\times m$矩阵，且$\mathbf{B},\mathbf{D}$为$n\times n$矩阵。则$$(\mathbf{A}\oplus \mathbf{B})\odot (\mathbf{C}\oplus \mathbf{D})=(\mathbf{A}\odot \mathbf{C})\oplus (\mathbf{B}\odot \mathbf{D})$$
9. 若$\mathbf{A},\mathbf{B},\mathbf{C}$为$m\times n$矩阵，则tr⁡(AT(B⊙C))=tr⁡((AT⊙BT)C)operatorname{tr}left(boldsymbol{A}^{mathrm{T}}(boldsymbol{B} odot boldsymbol{C})right)=operatorname{tr}left(left(boldsymbol{A}^{mathrm{T}} odot boldsymbol{B}^{mathrm{T}}right) boldsymbol{C}right)tr(AT(B⊙C))=tr((AT⊙BT)C)

Hadamard积服从的不等式

1. Oppenheim不等式：令$\mathbf{A}$与$\mathbf{B}$是$n\times n$ 半正定矩阵，则∣A⊙B∣⩾a11⋯ann∣B∣|boldsymbol{A} odot boldsymbol{B}| geqslant a_{11} cdots a_{n n}|boldsymbol{B}|∣A⊙B∣⩾a11​⋯ann​∣B∣特例：若B=Inboldsymbol{B}=boldsymbol{I}_nB=In​，且$\mathbf{A}$为$n\times n$半正定矩阵，则有Hadamard不等式：∣A∣≤a11⋯ann|boldsymbol{A}|leq a_{11}cdots a_{nn}∣A∣≤a11​⋯ann​这是因为∣A∣=b11⋯bnn∣A∣⩽∣In⊙A∣|boldsymbol{A}|=b_{11} cdots b_{n n}|boldsymbol{A}| leqslantleft|boldsymbol{I}_{n} odot boldsymbol{A}right|∣A∣=b11​⋯bnn​∣A∣⩽∣In​⊙A∣，而In⊙A=diag⁡(a11,⋯,ann)boldsymbol{I}_{n} odot boldsymbol{A}=operatorname{diag}left(a_{11}, cdots, a_{n n}right)In​⊙A=diag(a11​,⋯,ann​)，故而有∣A∣≤a11⋯ann|boldsymbol{A}|leq a_{11}cdots a_{nn}∣A∣≤a11​⋯ann​。
2. 令$\mathbf{A}$与$\mathbf{B}$是$n\times n$ 半正定矩阵，则$$|\mathbf{A}\odot \mathbf{B}|⩾|\mathbf{A}\mathbf{B}|$$
3. 特征值不等式：令$\mathbf{A}$与$\mathbf{B}$是$n\times n$ 半正定矩阵，λ1,⋯,λnlambda_{1}, cdots, lambda_{n}λ1​,⋯,λn​是Hadamard积$\mathbf{A}\odot \mathbf{B}$的特征值，而λ^1,⋯,λ^nhat{lambda}_{1}, cdots, hat{lambda}_{n}λ^1​,⋯,λ^n​是矩阵乘积$\mathbf{A}\mathbf{B}$的特征值，则∏i=knλi⩾∏i=knλ^i,k=1,⋯,nprod_{i=k}^{n} lambda_{i} geqslant prod_{i=k}^{n} hat{lambda}_{i}, quad k=1, cdots, ni=k∏n​λi​⩾i=k∏n​λ^i​,k=1,⋯,n可以理解为不等式2的特征值版本。
4. Hadamard积的秩不等式：令$\mathbf{A}$与$\mathbf{B}$是$n\times n$ 矩阵，则$$\mathrm{rank}(\mathbf{A}\odot \mathbf{B})⩽\mathrm{rank}(\mathbf{A})\mathrm{rank}(\mathbf{B})$$