上节课，给大家介绍了中英文分词的方法，搞定分词之后，就要开始构建词表了。构建词表的目的，其实就是让每个词跟一个数字对应，才能做后续的数学运算。

另外，还有一个点要提醒大家，对中文来说，常用的汉字也就三千来个，不分词直接用字做运算，生成器的参数会更少，理论上说训练起来会更容易；但是，单个字做预测，会损失词的语义信息，训练难度也会相应增加。所以，两种方案都是可行的，大家有时间可以自行尝试对比，课上还是使用 jieba 分词之后的词语，来构建词表。

目标分析 

内容不可见，请联系管理员开通权限。

代码示例

1、创建预处理文件 

内容不可见，请联系管理员开通权限。

2、预设特殊标记词 

内容不可见，请联系管理员开通权限。

3、加载json文件，并记录分词结果 

内容不可见，请联系管理员开通权限。

4、按出现次数，去重生成词表

如果语料库够大，可以按最小次数，过滤掉生僻词。 

内容不可见，请联系管理员开通权限。

5、生成词表文件 

内容不可见，请联系管理员开通权限。

好的，现在就搞定了中英文词表的生成，虽然是根据一个小数据集生成的，但功能已经完成了。后面加载大数据集，代码不用动，只需要改路径配置就可以了。

本文链接：http://edu.ichenhua.cn/edu/note/665

版权声明：本文为「陈华编程」原创课程讲义，请给与知识创作者起码的尊重，未经许可不得传播或转售！