《机器学习的数学》(Mathematics for Machine Learning) 核心摘要

这份交互式摘要旨在以极低的认知负荷，提炼全书的核心要点。您可以点击各个标题来展开或折叠详细内容。

核心观点与目标读者
英文原文摘录 (Original Excerpt)

This book brings the mathematical foundations of basic machine learning concepts to the fore and collects the information in a single place so that this skills gap is narrowed or even closed.

The book is split into two parts, where Part I lays the mathematical foundations and Part II applies the concepts from Part I to a set of fundamental machine learning problems, which form four pillars of machine learning...

第一部分：数学基础 (Part I: Mathematical Foundations)
第2章: 线性代数 (Linear Algebra)
  • 核心地位: 线性代数是机器学习的语言，用于描述和操作数据。
  • 向量 (Vectors): 将数据点（如一张图片、一个用户画像）表示为向量。
  • 矩阵 (Matrices): 将整个数据集或模型参数表示为矩阵。
  • 核心概念: 线性方程组、向量空间、线性无关、基与秩、线性映射。这些是理解后续模型（如线性回归、PCA）的基础。
英文原文摘录 (Original Excerpt)

Linear algebra is the study of vectors and certain rules to manipulate vectors. ... In general, vectors are special objects that can be added together and multiplied by scalars to produce another object of the same kind. From an abstract mathematical viewpoint, any object that satisfies these two properties can be considered a vector.

第3章: 解析几何 (Analytic Geometry)
  • 核心思想: 为向量空间引入几何直觉，使我们能够衡量向量间的关系。
  • 内积 (Inner Product): 核心工具，用于定义长度、距离和角度。它将代数操作与几何概念联系起来。
  • 范数 (Norms): 定义向量的“长度”或“大小”。
  • 正交性 (Orthogonality): 定义向量间的“垂直”关系，是构建高效基和理解投影的关键。
  • 正交投影 (Orthogonal Projections): 将向量投影到低维子空间，是PCA和线性回归的几何基础。
第4章: 矩阵分解 (Matrix Decompositions)
  • 核心思想: 将复杂矩阵分解为更简单、更具解释性的矩阵的乘积，类似于数字的质因数分解。
  • 特征值与特征向量 (Eigenvalues & Eigenvectors): 揭示了矩阵变换的“主方向”。特征向量在变换中只进行缩放，缩放因子即特征值。这是理解PCA的核心。
  • 奇异值分解 (SVD): 极其重要的分解方法，适用于任何矩阵（无论方阵与否）。它将矩阵分解为旋转、缩放和另一次旋转。是许多降维和推荐系统的基础。
  • 其他分解: Cholesky分解（针对对称正定矩阵）、对角化。
第5章: 向量微积分 (Vector Calculus)
  • 核心作用: 提供了优化机器学习模型参数的数学工具。
  • 梯度 (Gradients): 函数在某点上增长最快的方向，是梯度下降算法的基础。
  • 雅可比矩阵 (Jacobian) & 海森矩阵 (Hessian): 梯度对多维函数的一阶和二阶推广，分别描述局部线性和曲率信息。
  • 链式法则 (Chain Rule): 核心法则，用于计算复合函数的梯度。
  • 反向传播 (Backpropagation): 链式法则在神经网络中的高效实现，是深度学习训练的核心算法。
第6章: 概率与分布 (Probability and Distributions)
  • 核心作用: 为机器学习中的不确定性建模。
  • 基本法则: 加法法则（边缘化）和乘法法则（条件概率）。
  • 贝叶斯定理 (Bayes' Theorem): 核心定理，用于在观察到新数据后更新我们的信念（从先验到后验）。p(θ|D) ∝ p(D|θ)p(θ)
  • 重要分布:
    • 高斯分布 (Gaussian): 因其分析上的便利性和中心极限定理而无处不在。
    • 伯努利/二项分布 (Bernoulli/Binomial): 用于建模二元或计数数据。
    • 指数族 (Exponential Family): 一个统一了许多常见分布的框架，具有良好的计算特性（如共轭性）。
第7章: 连续优化 (Continuous Optimization)
  • 核心任务: “学习”过程在数学上通常被表述为找到使目标函数（如损失函数）最小化的参数。
  • 梯度下降 (Gradient Descent): 最基础的优化算法。沿着梯度的反方向迭代更新参数以寻找局部最小值。随机梯度下降（SGD）是其在大数据集上的高效变体。
  • 约束优化与拉格朗日乘子 (Constrained Optimization & Lagrange Multipliers): 一种将约束问题转化为无约束问题的技巧，是推导SVM对偶形式的关键。
  • 凸优化 (Convex Optimization): 一类特殊的优化问题，其局部最优解就是全局最优解。许多机器学习问题被设计成凸问题以保证能找到最优解。
第二部分：核心机器学习问题 (Part II: Central Machine Learning Problems)
第9章: 线性回归 (Linear Regression)
  • 问题: 找到一个线性函数，将输入特征映射到一个连续的输出值。
  • 数学工具:
    • 线性代数: 将问题表述为求解线性方程组 y = Xθ。最小二乘解为 θ = (XᵀX)⁻¹Xᵀy。
    • 解析几何: 最小二乘解可以被看作是将观测向量 y 正交投影到由特征矩阵 X 的列所张成的子空间上。
    • 概率论: 假设观测噪声服从高斯分布，最大似然估计（MLE）等价于最小二乘法。引入参数的高斯先验则得到最大后验估计（MAP），这等价于L2正则化（岭回归）。
第10章: 主成分分析 (PCA) 用于降维
  • 问题: 在保留数据最多信息（方差）的前提下，将高维数据投影到低维子空间。
  • 数学工具:
    • 两个视角: 1) 寻找一个投影方向，使得数据投影后的方差最大。2) 寻找一个低维子空间，使得数据点到其投影的重构误差最小。这两个视角是等价的。
    • 矩阵分解: PCA的解是数据协方差矩阵的特征向量。主成分是与最大特征值对应的特征向量。SVD提供了一种更数值稳定的计算方法。
第11章: 高斯混合模型 (GMM) 用于密度估计
  • 问题: 用概率分布来描述数据集的结构，特别是当数据包含多个簇（多峰分布）时。
  • 数学工具:
    • 概率论: 模型是多个高斯分布的加权和（混合）。
    • 隐变量 (Latent Variable): 引入一个离散的隐变量，表示每个数据点属于哪个高斯分量。
    • 优化: 由于直接最大化似然函数没有闭式解，使用期望最大化 (EM) 算法进行迭代求解。EM算法在E步计算每个点属于各分量的“责任”（后验概率），在M步利用这些责任更新高斯分量的参数。
第12章: 支持向量机 (SVM) 用于分类
  • 问题: 找到一个超平面，以尽可能大的“间隔”将两类数据点分开。
  • 数学工具:
    • 解析几何: 核心是超平面 (⟨w, x⟩ + b = 0) 和间隔 (margin) 的几何概念。最大化间隔等价于最小化 ||w||²。
    • 约束优化: 这是一个带不等式约束的二次规划问题。通过拉格朗日对偶，可以转化为一个更易于求解（且能引出核技巧）的对偶问题。
    • 核技巧 (Kernel Trick): 通过核函数 k(xᵢ, xⱼ) = ⟨φ(xᵢ), φ(xⱼ)⟩，在高维特征空间中隐式地计算内积，从而实现非线性分类，而无需显式地进行特征映射 φ(·)。

原文

源链接

附件

中文PDF (48.0M)

下载

中文epub (19.9M)

下载