5. 深度学习计算

除了庞大的数据集和强大的硬件，优秀的软件工具在深度学习的快速发展中发挥了不可或缺的作用。 从2007年发布的开创性的Theano库开始，灵活的开源工具使研究人员能够快速开发模型原型， 避免了使用标准组件时的重复工作，同时仍然保持了进行底层修改的能力。随着时间的推移， 深度学习库已经演变成提供越来越粗糙的抽象。就像半导体设计师从指定晶体管到逻辑电路再到编写代码一样， 神经网络研究人员已经从考虑单个人工神经元的行为转变为从层的角度构思网络， 现在通常在设计结构时考虑的是更粗糙的块（block）。

到目前为止，我们已经介绍了一些基本的机器学习概念，并慢慢介绍了功能齐全的深度学习模型。 在上一章中，我们从零开始实现了多层感知机的每个组件，然后展示了如何利用高级API轻松地实现相同的模型。 为了易于学习，我们调用了深度学习库，但是跳过了它们工作的细节。在本章中， 我们开始深入探索深度学习计算的关键组件，即模型构建、参数访问与初始化、设计自定义层和块、 将模型读写到磁盘，以及利用GPU实现显著的加速。这些知识将使你从基础用户变为高级用户。 虽然本章不介绍任何新的模型或数据集，但后面的高级模型章节在很大程度上依赖于本章的知识。

• 5.1. 层和块
  • 5.1.1. 自定义块
  • 5.1.2. 顺序块
  • 5.1.3. 在正向传播函数中执行代码
  • 5.1.4. 小结
  • 5.1.5. 练习
• 5.2. 参数管理
  • 5.2.1. 参数访问
  • 5.2.2. 参数初始化
  • 5.2.3. 参数绑定
  • 5.2.4. 小结
  • 5.2.5. 练习
• 5.3. 自定义层
  • 5.3.1. 不带参数的层
  • 5.3.2. 带参数的图层
  • 5.3.3. 小结
  • 5.3.4. 练习
• 5.4. 读写文件
  • 5.4.1. 加载和保存 NDArray
  • 5.4.2. 加载和保存模型参数
  • 5.4.3. 小结
  • 5.4.4. 练习
• 5.5. GPU
  • 5.5.1. 计算设备
  • 5.5.2. NDArray 与 GPU
  • 5.5.3. 神经网络与 GPU
  • 5.5.4. 小结
  • 5.5.5. 练习