符号

本书中使用的符号概述如下。

数字

  • \(x\):标量

  • \(\mathbf{x}\):向量

  • \(\mathbf{X}\):矩阵

  • \(\mathsf{X}\):张量

  • \(\mathbf{I}\):单位矩阵

  • \(x_i\), \([\mathbf{x}]_i\):向量\(\mathbf{x}\)\(i\)个元素

  • \(x_{ij}\), \([\mathbf{X}]_{ij}\):矩阵\(\mathbf{X}\)\(i\)行第\(j\)列的元素

集合论

  • \(\mathcal{X}\): 集合

  • \(\mathbb{Z}\): 整数集合

  • \(\mathbb{R}\): 实数集合

  • \(\mathbb{R}^n\): \(n\)维实数向量

  • \(\mathbb{R}^{a\times b}\): 包含\(a\)行和\(b\)列的实数矩阵

  • \(\mathcal{A}\cup\mathcal{B}\): 集合\(\mathcal{A}\)\(\mathcal{B}\)的并集

  • \(\mathcal{A}\cap\mathcal{B}\):集合\(\mathcal{A}\)\(\mathcal{B}\)的交集

  • \(\mathcal{A}\setminus\mathcal{B}\):集合\(\mathcal{B}\)与集合\(\mathcal{A}\)相减

函数和运算符

  • \(f(\cdot)\):函数

  • \(\log(\cdot)\):自然对数

  • \(\exp(\cdot)\): 指数函数

  • \(\mathbf{1}_\mathcal{X}\): 指示函数

  • \(\mathbf{(\cdot)}^\top\): 向量或矩阵的转置

  • \(\mathbf{X}^{-1}\): 矩阵的逆

  • \(\odot\): 按元素相乘

  • \([\cdot, \cdot]\):连结

  • \(\lvert \mathcal{X} \rvert\):集合的基数

  • \(\|\cdot\|_p\)\(L_p\) 正则

  • \(\|\cdot\|\): \(L_2\) 正则

  • \(\langle \mathbf{x}, \mathbf{y} \rangle\):向量\(\mathbf{x}\)\(\mathbf{y}\)的点积

  • \(\sum\): 连加

  • \(\prod\): 连乘

  • \(\stackrel{\mathrm{def}}{=}\):定义

微积分

  • \(\frac{dy}{dx}\)\(y\)关于\(x\)的导数

  • \(\frac{\partial y}{\partial x}\)\(y\)关于\(x\)的偏导数

  • \(\nabla_{\mathbf{x}} y\)\(y\)关于\(\mathbf{x}\)的梯度

  • \(\int_a^b f(x) \;dx\): \(f\)\(a\)\(b\)区间上关于\(x\)的定积分

  • \(\int f(x) \;dx\): \(f\)关于\(x\)的不定积分

概率与信息论

  • \(P(\cdot)\):概率分布

  • \(z \sim P\): 随机变量\(z\)具有概率分布\(P\)

  • \(P(X \mid Y)\)\(X\mid Y\)的条件概率

  • \(p(x)\): 概率密度函数

  • \({E}_{x} [f(x)]\): 函数\(f\)\(x\)的数学期望

  • \(X \perp Y\): 随机变量\(X\)\(Y\)是独立的

  • \(X \perp Y \mid Z\): 随机变量\(X\)\(Y\)在给定随机变量\(Z\)的条件下是独立的

  • \(\mathrm{Var}(X)\): 随机变量\(X\)的方差

  • \(\sigma_X\): 随机变量\(X\)的标准差

  • \(\mathrm{Cov}(X, Y)\): 随机变量\(X\)\(Y\)的协方差

  • \(\rho(X, Y)\): 随机变量\(X\)\(Y\)的相关性

  • \(H(X)\): 随机变量\(X\)的熵

  • \(D_{\mathrm{KL}}(P\|Q)\): \(P\)\(Q\)的KL-散度

复杂度

  • \(\mathcal{O}\):大O标记