在Pytorch中,通常都是定义一个继承Dataset的类,配合DataLoader,来实现数据的加载过程。

在本项目中,由于票据识别后的节点数量不尽相同,而且每个节点的字数也不同,很难实现batch加载。

所以,我们直接定义一个函数,实现单文件的加载过程(一次只读取一个文件)。

代码示例

1、模块导入

内容不可见,请联系管理员开通权限。

2、加载词表和标签表

内容不可见,请联系管理员开通权限。

3、数据加载主函数

目的是将字和标签转成数字id,需要注意的是每个节点会对应一个句子,句子由多个字组成,转换完后是二维列表。

内容不可见,请联系管理员开通权限。

本文链接:http://edu.ichenhua.cn/edu/note/469

版权声明:本文为「陈华编程」原创课程讲义,请给与知识创作者起码的尊重,未经许可不得传播或转售!