上节课,修改了配置文件中的样本路径,接下来,继续修改数据加载流程。这份数据集作者比较贴心,提供数据不仅是字符标签一对一的,而且连句子都拆分好了,空行表示一句的结束。之前项目里面,按50个字拆分句子的逻辑就不需要了,这节课重点修改这部分代码。

代码示例

1、分类型加载文件

内容不可见,请联系管理员开通权限。

2、按空行断句

内容不可见,请联系管理员开通权限。

3、修改加载方法

内容不可见,请联系管理员开通权限。

4、调用测试

Python高版本,next()方法有改动。

内容不可见,请联系管理员开通权限。

这节课,主要是修改了数据加载的方法,依托数据集的优势,替换掉了之前自己拆分句子的逻辑,可以看出前面数据集处理的好,后面用起来就更方便了。

本文链接:http://edu.ichenhua.cn/edu/note/615

版权声明:本文为「陈华编程」原创课程讲义,请给与知识创作者起码的尊重,未经许可不得传播或转售!