3. 线性神经网络

在介绍深度神经网络之前，我们需要了解神经网络训练的基础知识。在本章中，我们将介绍神经网络的整个训练过程， 包括：定义简单的神经网络架构、数据处理、指定损失函数和如何训练模型。经典统计学习技术中的线性回归和 softmax 回归可以视为 线性 神经网络。为了更容易学习，我们将从这些经典算法开始，向你介绍神经网络的基础知识。 这些知识将为本书其他部分中更复杂的技术奠定基础。

• 3.1. 线性回归
  • 3.1.1. 线性回归的基本元素
  • 3.1.2. 矢量化加速
  • 3.1.3. 正态分布与平方损失
  • 3.1.4. 从线性回归到深度网络
  • 3.1.5. 小结
  • 3.1.6. 练习
• 3.2. 线性回归的从零开始实现
  • 3.2.1. 生成数据集
  • 3.2.2. 读取数据集
  • 3.2.3. 初始化模型参数
  • 3.2.4. 定义模型
  • 3.2.5. 定义损失函数
  • 3.2.6. 定义优化算法
  • 3.2.7. 训练
  • 3.2.8. 小结
  • 3.2.9. 练习
• 3.3. 线性回归的简洁实现
  • 3.3.1. 生成数据
  • 3.3.2. 读取数据集
  • 3.3.3. 定义模型
  • 3.3.4. 定义损失函数
  • 3.3.5. 定义优化算法
  • 3.3.6. Trainer的初始化配置
  • 3.3.7. 初始化模型参数
  • 3.3.8. 运行性能指标
  • 3.3.9. 训练
  • 3.3.10. 保存训练模型
  • 3.3.11. 小结
  • 3.3.12. 练习
• 3.4. Softmax回归
  • 3.4.1. 分类问题
  • 3.4.2. 网络结构
  • 3.4.3. 全连接层的参数开销
  • 3.4.4. softmax运算
  • 3.4.5. 小批量样本的矢量化
  • 3.4.6. 损失函数
  • 3.4.7. 信息论基础
  • 3.4.8. 模型预测和评估
  • 3.4.9. 小结
  • 3.4.10. 练习
• 3.5. 图像分类数据集
  • 3.5.1. 读取数据集
  • 3.5.2. 读取小批量
  • 3.5.3. 小结
  • 3.5.4. 练习
• 3.6. softmax回归的从零开始实现
  • 3.6.1. 初始化模型参数
  • 3.6.2. 定义softmax操作
  • 3.6.3. 定义模型
  • 3.6.4. 定义损失函数
  • 3.6.5. 分类准确率
  • 3.6.6. 训练
  • 3.6.7. 预测
  • 3.6.8. 小结
  • 3.6.9. 练习
• 3.7. softmax回归的简洁实现
  • 3.7.1. 初始化模型参数
  • 3.7.2. 重新审视Softmax的实现
  • 3.7.3. 优化算法
  • 3.7.4. Trainer的初始化配置
  • 3.7.5. 初始化模型参数
  • 3.7.6. 运行性能指标
  • 3.7.7. 训练
  • 3.7.8. 小结
  • 3.7.9. 练习