本课程分为三个部分：Transformer模型搭建、自定义Mini数据集训练、新闻数据集并行训练，手把手教大家用PyTorch搭建一个Transformer模型，并完成英译中翻译任务。

课程内容

1、Transformer 模型搭建

大约用13个小节，带大家逐步实现 Transformer 模型结构。

(1) 文本嵌入层、位置编码层

(2) 编码器层：多头注意力机制、前馈神经网络、残差连接和归一化

(3) 解码器层：多头注意力机制、编码-解码注意力机制、前馈神经网络、残差连接和归一化

(4) 生成器层

2、自定义Mini数据集训练

因为训练生成任务的样本量一般都比较大，自定义Mini数据集，方便调试，整个流程走通之后再做替换，自定义数据集跟真实数据格式一致。

(1) 分词、词表生成

(2) 数据集加载、数据对齐

(3) 模型训练和验证、BLEU评估指标

(4) 模型预测

3、新闻数据集并行训练

新闻数据集词表大，模型参数量大，训练样本多，需要用多块GPU并行训练。

(1) Label Smoothing、动态调整学习率策略

(2) 多 GPU 并行训练、多 GPU 负载均衡设置

(3) Kaggle 免费 GPU 资源