NER项目 P14 修改Dataset类数据集加载方法
上节课,修改了配置文件中的样本路径,接下来,继续修改数据加载流程。这份数据集作者比较贴心,提供数据不仅是字符标签一对一的,而且连句子都拆分好了,空行表示一句的结束。之前项目里面,按50个字拆分句子的逻辑就不需要了,这节课重点修改这部分代码。
代码示例
1、分类型加载文件
内容不可见,请联系管理员开通权限。
2、按空行断句
内容不可见,请联系管理员开通权限。
3、修改加载方法
内容不可见,请联系管理员开通权限。
4、调用测试
Python高版本,next()方法有改动。
内容不可见,请联系管理员开通权限。
这节课,主要是修改了数据加载的方法,依托数据集的优势,替换掉了之前自己拆分句子的逻辑,可以看出前面数据集处理的好,后面用起来就更方便了。
本文链接:http://edu.ichenhua.cn/edu/note/615
版权声明:本文为「陈华编程」原创课程讲义,请给与知识创作者起码的尊重,未经许可不得传播或转售!