承接上文，我们使用Sequential改造了神经网络结构，但是更新权重参数依然很麻烦，其实Pytorch中也有更新权重参数的类，而且还会使用一些策略，加快模型收敛，在前面文章《深度学习中的优化算法Optimizer比较和总结》总体介绍过，本文结合这些算法，再次优化代码。

代码示例 

import torch
import torch.nn as nn

N, D_in, H, D_out = 64, 1000, 100, 10

x = torch.randn(N, D_in)
y = torch.randn(N, D_out)

model = nn.Sequential(
    nn.Linear(D_in, H),
    nn.ReLU(H),
    nn.Linear(H, D_out),
)

lr = 1e-4
loss_fn = torch.nn.MSELoss(reduction='sum')

# 定义优化器
optimizer = torch.optim.Adam(model.parameters(), lr=lr)

for i in range(500):
    y_hat = model(x)

    loss = loss_fn(y_hat, y)
    print(i, loss.item())

    loss.backward()
    optimizer.step()
    # 更新权重参数
    optimizer.zero_grad()

本文为 陈华 原创，欢迎转载，但请注明出处：http://edu.ichenhua.cn/read/310