深度学习再学习（一）

一、损失函数

二、基础概念

三、特征工程

四、激活函数

激活函数（activation functions）的目标是，将神经网络非线性化。激活函数是连续的（continuous），且可导的（differential）。

连续的：当输入值发生较小的改变时，输出值也发生较小的改变；
可导的：在定义域中，每一处都是存在导数；

常见的激活函数：sigmoid，tanh，relu。

五、深度学习模型

了解一个训练好的深度学习图像分类模型时，以下是一些相关的信息：

1. 模型架构：模型使用的具体网络架构，例如 DenseNet、ResNet、VGG 等。
2. 激活函数：模型中使用的激活函数，如 ReLU、Sigmoid、Softmax 等。
3. 优化函数：在训练过程中使用的优化算法，如随机梯度下降（SGD）、Adam、Adagrad 等。
4. 学习率：优化算法中的学习率，控制模型参数更新的速度。
5. 批次大小：训练过程中每个批次中的样本数量。
6. 训练次数或轮数：训练模型时迭代的次数，也被称为轮数或周期。
7. 权重初始化方法：模型参数初始化的方法，如随机初始化、预训练权重加载等。
8. 正则化：在模型训练过程中使用的正则化技术，如 L1 正则化、L2 正则化等。
9. Dropout：在模型中使用的 Dropout 层的参数，控制神经元的随机失活比例。
10. 数据增强：在训练过程中应用的数据增强方法，如随机裁剪、旋转、翻转等。
11. 输入尺寸：模型接受的输入图像的大小或分辨率。
12. 类别数目：模型所能预测的不同类别的数量。
13. 损失函数：训练过程中使用的损失函数，如交叉熵损失、均方误差等。

这些信息对于了解和重现训练好的模型以及进行模型调优和微调都是很重要的。请注意，在某些情况下，这些信息可能无法直接从保存的模型文件中获取，可能需要查看模型训练的源代码或日志文件以获取更详细的信息。

相关文章：
激活函数 sigmoid、tanh、relu
深度学习中英词汇表

为者常成，行者常至