Run this notebook online:\ |Binder| or Colab: |Colab|

.. |Binder| image:: https://mybinder.org/badge_logo.svg
   :target: https://mybinder.org/v2/gh/deepjavalibrary/d2l-java/master?filepath=chapter_linear-networks/softmax-regression-djl.ipynb
.. |Colab| image:: https://colab.research.google.com/assets/colab-badge.svg
   :target: https://colab.research.google.com/github/deepjavalibrary/d2l-java/blob/colab/chapter_linear-networks/softmax-regression-djl.ipynb

.. _sec_softmax_concise:

softmax回归的简洁实现
=====================


在 :numref:`sec_linear_concise` 中，我们可以发现使用 DJL
能够使跟简洁实现线性回归 。同样地，使用 DJL 也能更方便地实现分类模型。

.. code:: java

    %load ../utils/djl-imports
    
    import ai.djl.basicdataset.cv.classification.*;
    import ai.djl.metric.*;

让我们继续使用Fashion-MNIST数据集，并保持批量大小为256，就像在
:numref:`sec_softmax_scratch` 中一样。

.. code:: java

    int batchSize = 256;
    boolean randomShuffle = true;
    
    // Get Training and Validation Datasets
    FashionMnist trainingSet = FashionMnist.builder()
            .optUsage(Dataset.Usage.TRAIN)
            .setSampling(batchSize, randomShuffle)
            .optLimit(Long.getLong("DATASET_LIMIT", Long.MAX_VALUE))
            .build();
    
    
    FashionMnist validationSet = FashionMnist.builder()
            .optUsage(Dataset.Usage.TEST)
            .setSampling(batchSize, false)
            .optLimit(Long.getLong("DATASET_LIMIT", Long.MAX_VALUE))
            .build();

初始化模型参数
--------------

如我们在 :numref:`sec_softmax` 所述，softmax
回归的输出层是一个全连接层。因此，为了实现我们的模型，我们只需在
``SequentialBlock``
中添加一个带有10个输出的全连接层。同样，在这里，\ ``SequentialBlock``
并不是必要的，但我们可能会形成这种习惯。因为在实现深度模型时，\ ``SequentialBlock``\ 将无处不在。我们仍然以均值0和标准差0.01随机初始化权重。

.. code:: java

    public class ActivationFunction {
        public static NDList softmax(NDList arrays) {
            return new NDList(arrays.singletonOrThrow().logSoftmax(1));
        }
    }

.. code:: java

    NDManager manager = NDManager.newBaseManager();
    
    Model model = Model.newInstance("softmax-regression");
    
    SequentialBlock net = new SequentialBlock();
    net.add(Blocks.batchFlattenBlock(28 * 28)); // flatten input
    net.add(Linear.builder().setUnits(10).build()); // set 10 output channels
    
    model.setBlock(net);

.. _subsec_softmax-implementation-revisited:

重新审视Softmax的实现
---------------------


在前面 :numref:`sec_softmax_scratch`
的例子中，我们计算了模型的输出，然后将此输出送入交叉熵损失。从数学上讲，这是一件完全合理的事情。然而，从计算角度来看，指数可能会造成数值稳定性问题。

回想一下，softmax函数
:math:`\hat y_j = \frac{\exp(o_j)}{\sum_k \exp(o_k)}`\ ，其中\ :math:`\hat y_j`\ 是预测的概率分布。\ :math:`o_j`\ 是未归一化的预测\ :math:`\mathbf{o}`\ 的第\ :math:`j`\ 个元素。如果\ :math:`o_k`\ 中的一些数值非常大，那么
:math:`\exp(o_k)` 可能大于数据类型容许的最大数字（即
*上溢*\ （overflow））。这将使分母或分子变为\ ``inf``\ （无穷大），我们最后遇到的是0、\ ``inf``
或 ``nan``\ （不是数字）的
:math:`\hat y_j`\ 。在这些情况下，我们不能得到一个明确定义的交叉熵的返回值。

解决这个问题的一个技巧是，在继续softmax计算之前，先从所有\ :math:`o_k`\ 中减去\ :math:`\max(o_k)`\ 。你可以证明每个
:math:`o_k`
按常数进行的移动不会改变softmax的返回值。在减法和归一化步骤之后，可能有些
:math:`o_j` 具有较大的负值。由于精度受限， :math:`\exp(o_j)`
将有接近零的值，即 *下溢*\ （underflow）。这些值可能会四舍五入为零，使
:math:`\hat y_j` 为零，并且使得 :math:`\log(\hat y_j)` 的值为
``-inf``\ 。反向传播几步后，我们可能会发现自己面对一屏幕可怕的\ ``nan``\ 结果。

尽管我们要计算指数函数，但我们最终在计算交叉熵损失时会取它们的对数。
通过将softmax和交叉熵结合在一起，可以避免反向传播过程中可能会困扰我们的数值稳定性问题。如下面的等式所示，我们避免计算\ :math:`\exp(o_j)`\ ，而可以直接使用\ :math:`o_j`\ 。因为\ :math:`\log(\exp(\cdot))`\ 被抵消了。

.. math::


   \begin{aligned}
   \log{(\hat y_j)} & = \log\left( \frac{\exp(o_j)}{\sum_k \exp(o_k)}\right) \\
   & = \log{(\exp(o_j))}-\log{\left( \sum_k \exp(o_k) \right)} \\
   & = o_j -\log{\left( \sum_k \exp(o_k) \right)}.
   \end{aligned}

我们也希望保留传统的softmax函数，以备我们需要评估通过模型输出的概率。
但是，我们没有将softmax概率传递到损失函数中，而是[**在交叉熵损失函数中传递未归一化的预测，并同时计算softmax及其对数**]，这是一件聪明的事情
`"LogSumExp技巧" <https://en.wikipedia.org/wiki/LogSumExp>`__\ 。

.. code:: java

    Loss loss = Loss.softmaxCrossEntropyLoss();

优化算法
--------

在这里，我们使用学习率为0.1的小批量随机梯度下降作为优化算法。这与我们在线性回归例子中的相同，这说明了优化器的普适性。

.. code:: java

    Tracker lrt = Tracker.fixed(0.1f);
    Optimizer sgd = Optimizer.sgd().setLearningRateTracker(lrt).build();

``Trainer``\ 的初始化配置
-------------------------

下面这段程序，展示了我们如何初始化及配置\ ``trainer``\ ，并用这个\ ``trainer``\ 对人工智能模型进行训练。

.. code:: java

    DefaultTrainingConfig config = new DefaultTrainingConfig(loss)
        .optOptimizer(sgd) // Optimizer
        .optDevices(manager.getEngine().getDevices(1)) // single GPU
        .addEvaluator(new Accuracy()) // Model Accuracy
        .addTrainingListeners(TrainingListener.Defaults.logging()); // Logging
    
    Trainer trainer = model.newTrainer(config);


.. parsed-literal::
    :class: output

    INFO Training on: 1 GPUs.
    INFO Load MXNet Engine Version 1.9.0 in 0.057 ms.


初始化模型参数
--------------

我们调用 ``initialize`` 函数，对模型及模型参数进行初始化。 shape
(:math:`1`, :math:`748`).

.. code:: java

    trainer.initialize(new Shape(1, 28 * 28)); // Input Images are 28 x 28

运行性能指标
------------

一般情况下，DJL
不会自动记录运行性能指标，因为记录运行性能指标本身会提高运行成本，降低运行性能。如果出于特殊理由，你需要对某些运行指标进行记录，你可以生成一个
``metrics`` 并将这个新生成的 ``metrics`` 设置成 ``trainer`` 的
``metrics`` 即可，具体程序如下：

.. code:: java

    Metrics metrics = new Metrics();
    trainer.setMetrics(metrics);

训练
----

在 :numref:`sec_linear_concise` 中，我们使用 ``EasyTrain``
类来简化训练的代码，其实我们可以使用 ``EasyTrain.fit()``
函数进一步简化代码：

.. code:: java

    int numEpochs = 3;
    
    EasyTrain.fit(trainer, numEpochs, trainingSet, validationSet);
    var result = trainer.getTrainingResult();


.. parsed-literal::
    :class: output

    Training:    100% |████████████████████████████████████████| Accuracy: 0.74, SoftmaxCrossEntropyLoss: 0.79
    Validating:  100% |████████████████████████████████████████|


.. parsed-literal::
    :class: output

    INFO Epoch 1 finished.
    INFO Train: Accuracy: 0.74, SoftmaxCrossEntropyLoss: 0.79
    INFO Validate: Accuracy: 0.79, SoftmaxCrossEntropyLoss: 0.62


.. parsed-literal::
    :class: output

    Training:    100% |████████████████████████████████████████| Accuracy: 0.81, SoftmaxCrossEntropyLoss: 0.57
    Validating:  100% |████████████████████████████████████████|


.. parsed-literal::
    :class: output

    INFO Epoch 2 finished.
    INFO Train: Accuracy: 0.81, SoftmaxCrossEntropyLoss: 0.57
    INFO Validate: Accuracy: 0.80, SoftmaxCrossEntropyLoss: 0.58


.. parsed-literal::
    :class: output

    Training:    100% |████████████████████████████████████████| Accuracy: 0.82, SoftmaxCrossEntropyLoss: 0.53
    Validating:  100% |████████████████████████████████████████|


.. parsed-literal::
    :class: output

    INFO Epoch 3 finished.
    INFO Train: Accuracy: 0.82, SoftmaxCrossEntropyLoss: 0.53
    INFO Validate: Accuracy: 0.82, SoftmaxCrossEntropyLoss: 0.54


和以前一样，这个算法收敛到一个相当高的精度，而且这次的代码行比以前少了。

小结
----

-  我们可以使用 DJL ``EasyTrain.fit()`` 函数更简洁地实现 softmax 回归。
-  从计算的角度来看，实现softmax回归比较复杂。在许多情况下，深度学习框架在这些著名的技巧之外采取了额外的预防措施，来确保数值的稳定性。这使我们避免了在实践中从零开始编写模型时可能遇到的陷阱。

练习
----

1. 尝试调整超参数，例如批量大小、迭代周期数和学习率，并查看结果。
2. 增加迭代周期的数量。为什么测试准确率会在一段时间后降低？我们怎么解决这个问题？