今天教大家如何用Python爬虫去搭建一个「生活常识解答」机器人。
思路:这个机器人主要是依托于“阿里达摩院发布的语言模型PLUG”,通过爬虫的方式,发送post请求(提问),然后返回Json数据(回答)
1、问答平台这个「生活常识解答」机器人采用的是:阿里达摩院发布的语言模型PLUG(最近刚发布的,目前是测试阶段),地址链接如下:
https://nlp.aliyun.com/portal#/BigText_chinese
该模型参数规模达270亿,采用1TB以上高质量中文文本训练数据,包括了新闻、小说、诗歌、常识问答等类型。
先来看一下原页面效果
这里是需要登录阿里云账号,登录之后可以在网页进行测试问答!
因此我们下面将通过抓包方式获取这个问答的请求链接,然后在python代码中requests发送post请求去进行提问,然后返回结果(答案)。
2、抓包在浏览器里面F12,点击network,然后点击一下提问,获取链接。
首先是发送的参数(提问)
然后是返回的Json数据
请求链接
https://nlp.aliyun.com/otherAPI/yymx/cdgmwbsc
因此这个数据包的相关信息(请求链接,参数,返回结果)我们已经知道了,下面开始编写python代码
3、编写代码首先是导入python库和请求头
import requestsimport Jsonheader={ 'content-type':'application/Json', 'cookie':'上面页面中你自己的cookie', 'User-Agent': 'Mozilla/5.0 (windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3947.100 Safari/537.36',}
经过测试,有用的请求头参数是上面三个(content-type、cookie、User-Agent),缺一不可。
参数(其中q是问题,length是返回答案长度,type是对应常识问题)
q = "程序员脱发用什么洗发水好?"data = { 'length':'128', 'type':'2', 'passage':q,}
发送请求
url = "https://nlp.aliyun.com/otherAPI/yymx/cdgmwbsc"text = requests.post(url,data = Json.dumps(data),headers=header).Json()print(text['res'])
返回结果
下面为了能够多轮提问,将请求部分代码放到循环中(如果输入是exit则退出循环)
4、小结今天阿辰主要就教大家用Python爬虫去搭建一个「生活常识解答」机器人。
这个机器人主要是依托于“阿里达摩院发布的语言模型PLUG”,通过爬虫的方式,发送post请求(提问),然后返回Json数据(回答)。轻松实现多轮提问。
总结以上是内存溢出为你收集整理的教你用python搭建一个「生活常识解答」机器人全部内容,希望文章能够帮你解决教你用python搭建一个「生活常识解答」机器人所遇到的程序开发问题。
如果觉得内存溢出网站内容还不错,欢迎将内存溢出网站推荐给程序员好友。
欢迎分享,转载请注明来源:内存溢出
评论列表(0条)