LLM-RAG项目 P36 调用大模型并封装流式输出接口
上节课,我们在前端发起请求,把用户输入的内容传到了后端,这节课就来处理后端的逻辑。这块不太好理解,还是老方法,先给大家写一个直观的测试接口,调通之后再调大模型。
代码示例
1、封装json结构体
一般来说,一个项目的接口返回结构应该是一致的,所以封装一个统一的json结构体,供业务调用。
内容不可见,请联系管理员开通权限。
2、模拟流式输出
flask中,流式输出有固定的写法,返回Response即可。
内容不可见,请联系管理员开通权限。
3、请求大模型并流式返回
接受前端传递的参数,调用大模型后,再做一层封装即可。
内容不可见,请联系管理员开通权限。
4、中断输出
前端会循环读取接口返回的结果,要中断输出,中断循环即可。
内容不可见,请联系管理员开通权限。
好的,那现在调用大模型,和流式输出的效果都已经实现了。但是还有一个重要的需求,就是要基于知识库回答,而不是直接让大模型回复,不然的话这个项目就没有意义了。
本文链接:http://edu.ichenhua.cn/edu/note/770
版权声明:本文为「陈华编程」原创课程讲义,请给与知识创作者起码的尊重,未经许可不得传播或转售!