从这节课开始,我们来学习片段向量化的流程,这块内容是这套课程的重点和难点,课后大家一定要自己动手实现一遍。主要是两个大块的内容,一个向量化,另一个是向量的存储和检索。

代码示例

1、模型配置

a) 这里我们以OpenAI为例,讲解向量化的流程,大家可以根据需要,替换百川、千问等国产模型,都兼容OpenAI接口,只需要配置相应的url和key即可。

b) 如果需要自己部署的离线模型,只需要将模型部署为兼容OpenAI接口的http服务即可,有需要的话也可以参考我前面录制的模型部署课程。

c) 不同Embedding模型,向量化之后的维度是不一样的,通常来说,项目上线前需要确定具体模型,上线后不能更改,如果强制更改,则需要清除向量库,重新进行全站向量化。

内容不可见,请联系管理员开通权限。

2、封装函数

内容不可见,请联系管理员开通权限。

3、调用测试

内容不可见,请联系管理员开通权限。

这个向量化的过程,因为OpenAI做了比较好的封装,实现起来还是相对比较容易的。下节课,我们开始学习向量存储和检索,需要用到Milvus,这个就没有现成的三方包可以用了,所以为了降低大家的学习门槛,我提前封装好了一个操作Milvus的类,下节课我们一起看一下具体内容。

本文链接:http://edu.ichenhua.cn/edu/note/761

版权声明:本文为「陈华编程」原创课程讲义,请给与知识创作者起码的尊重,未经许可不得传播或转售!