HuggingFace 是一家专注于自然语言处理(NLP)、人工智能和分布式系统的创业公司,创立于2016年。最早是主营业务是做闲聊机器人,2018年 Bert 发布之后,他们贡献了一个基于 Pytorch 的 Bert 预训练模型,即 pytorch-pretrained-bert,大受欢迎,进而将重心转向维护 NLP开源社区。

经过这几年的发展,HuggingFace 的开源社区,已经变成了最大的开源模型托管服务的平台,相当于人工智能界的 Github。

官网:https://huggingface.co

HuggingFace里有什么

Models:56000多个预训练模型,BERT、GPT等,甚至还有图像预训练模型。

Datasets:6900多个数据集,文本分类、问答语料等都有,遗憾的是中文的数据集很少。

HuggingFace 正确打开姿势,是当做工具来用,无需花时间系统了解,按需学习即可。

我们这课程,也是一个连载的状态,项目中需要用到某个模块或者数据集,才会针对性讲解某一块内容。大家有特别想了解的内容,也可以留言告诉我,我抽时间补充。

快速安装

transformers 是一个通用接口,Pytorch, Tensorflow2 都支持,相当于加载预训练模型的基座。

pip install transformers

加载预训练模型

transformers 模型管理的方式是,为每一个模型起一个唯一的短名,如果同时有配套的tokenizer模型,需要使用同名调用。

1、全局加载

from transformers import AutoModel, AutoTokenizer
tokenizer = AutoTokenizer.from_pretrained('bert-base-chinese')
model = AutoModel.from_pretrained('bert-base-chinese')

清华镜像:AutoModel.from_pretrained('bert-base-uncased', mirror='tuna', cache_dir='./huggingface')

2、指定路径加载

git lfs install
git clone https://huggingface.co/bert-base-chinese

有大文件,需要用 lfs

from transformers import BertModel, BertTokenizer
tokenizer = BertTokenizer.from_pretrained('./huggingface/bert-base-chinese')
model = BertModel.from_pretrained('./huggingface/bert-base-chinese')

Bert离线包,实在搞不定可以从这下载。

https://www.123pan.com/s/oQRtVv-9fl0A.html

本文链接:http://edu.ichenhua.cn/edu/note/511

版权声明:本文为「陈华编程」原创课程讲义,请给与知识创作者起码的尊重,未经许可不得传播或转售!