上节课介绍了解码器中唯一特殊的点,就是需要用 mask 遮掩后生成的位置权重,除了这一点之外,其他的都是在编码器部分已经实现的模块,接下来,就是对照 Transformer 的结构图,组装出一个解码器层。

代码示例

1、解码器子层

需要注意的是,第二个注意力层中,query 来自上一层输出,key 和 value 来自编码层的输出,称为 memory。

内容不可见,请联系管理员开通权限。

2、解码器层

内容不可见,请联系管理员开通权限。

3、调用测试

内容不可见,请联系管理员开通权限。

好的,到现在为止,编码器和解码器就都已经实现了。接下来,就只剩下最后一块,就是生成目标值了。

本文链接:http://edu.ichenhua.cn/edu/note/661

版权声明:本文为「陈华编程」原创课程讲义,请给与知识创作者起码的尊重,未经许可不得传播或转售!