1 Introduction 按层调节学习率是很重要的，但原始的torch.optim.optimizer类不含按层调整的功能，所以我们需要自定义一个流程来实现。为了方便的创建带这个功能的optimizer，最好的做法是使用工厂设计模式来创建optimizer。当我们需要不同的优化器的时候，optimizer factory总能够帮我们“加工”torch的optimizer来增加按层调整功能。

1 什么是AMP Automatic Mixed Precision是百度联合英伟达一起推出的一个训练trick，通过在训练过程中部分使用FP16的半精度数据来极大节省内存，同时能加快训练速度。最开始要使用Apex框架来开启AMP训练，但现在PyTorch已经自带AMP相关功能。 2 AMP训练的挑战 AMP训练一般会遇到几个问题，第一是有可能遇到数值下溢和数值上溢，由于FP16能表示的范围要

PyTorch参数自动命名规则 当我们使用 12for name, params in model.named_parameters(): print(f"Parameter Name: {name}, Parameter Shape: {params.shape}") 时可以看到模型的参数以及参数的名字，PyTorch内部实际上

MetricLogger：大厂都在用的指标记录器 MetricLogger是现在比较流行的一个用来记录各种metric的类，它实际上最开始来源于DeiT项目，而DeiT项目又是从torchvision-classification-reference-utils.py里面抄过来的，所以总的来说是PyTorch提供的一个轮子。 1 前置模块：SmoothedValue SmoothedValue

单机多卡DDP tutorial 1 什么是DDP 当数据足够多的时候，一张显卡装不下很大的batch_size，我们需要将数据分摊到多个显卡上去。 DDP的思路很简单，我们在每个显卡上面都创建一个模型的复制以及相同的Optimizer，数据被Distributed Sampler平分，并送到每张显卡上完成Forward和Backward过程。 但如果只做以上步骤的话，我们得到的是四个不同参数

Overview of GAN 1 GAN的诞生 GAN的全称为Generative Adversarial Net，意思是对抗生成网络。 在这之前，生成式网络总会遇到很多难以实现的概率计算方法，这些问题在最大似然估计等策略中经常出现。 而GAN采用一种完全不同的方式来学习数据集的分布。 首先，我们定义一个生成器GGG，生成器的输入是一个随机噪声z∼pz(z)z\sim p_z(z)z∼pz​

03 Chapter 3：调制模拟信号

01 信号与系统的基础 1 信号 信号其实广泛指代现实世界中的各种物理现象，例如，人说话的声音是一种信号，它在不同时间有不同的音量大小。股票价格是一种信号，在不同时间股票的价格不同。当然，也有与时间没有关系的信号，例如一张静态的图片，图片上像素点的亮度值与所处图片的位置有关。 所以，信号总是一种在变换的值，可能随着时间变化（声音，股票），可能随着空间变化（图片）。它可能还随着其它因素变化，但在

Markov模型 1 生灭过程 连续时间Markov链满足以下三个条件 过程中状态仅限于从一个状态向其邻近状态转移 如果t时刻处在状态n，那么在[t,t+Δt)[t, t+\Delta t)[t,t+Δt)内转移到n+1n+1n+1的概率为λn(t)Δt+o(Δt)\lambda_n(t) \Delta t+o(\Delta t)λn​(t)Δt+o(Δt)，转移到n−1n-1n−1的概率为

附件2：矩母函数(母函数) 1 定义 原英文是Moment Generating Function，直译叫做矩生成函数。 对于离散随机变量，Moment Genertating Function定义为 ϕ(t)=E[etX]=∑xetxp(x)\phi(t) = E[e^{tX}]=\sum_x e^{tx}p(x) ϕ(t)=E[etX]=x∑​etxp(x) 对于连续随机变量，Moment