Go语言实现自动填写古诗词实例代码

Go语言实现自动填写古诗词实例代码,第1张

概述前言“白日依山尽,___”。下句自然填黄河入海流,那么“日月忽其不淹兮,___,___,恐美人之迟暮”,中间两句怎么填呢?

前言

“白日依山尽,___”。下句自然填黄河入海流,那么“日月忽其不淹兮,___,___,恐美人之迟暮”,中间两句怎么填呢?

最近工作中有个需求,就是1500道语文诗词填空题没有答案,现在需要给这些题目大爷们匹配它们对应的答案,好在题目信息都很完整,指出了诗词出处、作者信息。自然想到到网上爬取对应文章信息然后字符串匹配答案。目前做完,效果还可以,基本上所有题目的答案都有了,现把 *** 作流程记录下,做个总结。

1. 文章信息获取

网上找了很久,目前发现百度汉语对古诗词收录的比较好,格式也比较规范,整个爬取过程还是比较简单,浏览器分析网站,找到它们的搜索接口:http://hanyu.baIDu.com/hanyu/AJAX/sugs只需要传一个参数:mainkey,是一个urlencode格式的字符串。接口会返回一个匹配列表,再用作者名称对这个列表做筛选,详细代码如下:

 baseUrl := "http://hanyu.baIDu.com/hanyu/AJAX/sugs?" clIEnt := &http.ClIEnt{ } u,_ := url.Parse(baseUrl) q := u.query() q.Set("mainkey",name) u.Rawquery = q.Encode() //添加header req,_ := http.NewRequest("GET",u.String(),nil) req.header.Add("User-Agent",`Mozilla/5.0 (X11; linux x86_64) AppleWebKit/537.36 (KHTML,like Gecko) Chrome/61.0.3163.100 Safari/537.36`) req.header.Add("DNT","1") req.header.Add("Host","hanyu.baIDu.com") req.header.Add("Accept-Language","zh-CN,zh;q=0.8") req.header.Add("Referer","http://hanyu.baIDu.com/shici/detail?pID=be520db056da43238035dc18bb1e1798&tn=sug_click")  resp,errDo := clIEnt.Do(req)

拿到返回值以后,筛选出对应的作者信息。

//如果有多个搜索结果,比对author是否正确 respJson.ForEach(func(key,value gJson.Result) bool { //先看看有没有display_name displayname := value.Get("display_name.0").String() sID := value.Get("sID.0").String() if len(displayname) == 0 { //不是这条记录 return true } //看看type typestr := value.Get("type.0").String() if typestr == "poemline"{ //取Source displayname = value.Get("source_poem.0").String() sID = value.Get("source_poem_sID.0").String() } literatureAuthor := value.Get("literature_author.0").String() //author是否一致 if literatureAuthor == author { searchResult.SID = sID searchResult.displayname = displayname searchResult.Author = literatureAuthor return false } return true // keep iterating })

SearchResult保存了搜索到的结果,根据sID拿到文章页面,解析出其中的文章。

func GetContent(sID string) (content string,err error) { baseUrl := "http://hanyu.baIDu.com/shici/detail" result := make([]string,0) clIEnt := &http.ClIEnt{ } u,_ := url.Parse(baseUrl) q := u.query() q.Set("pID",sID) u.Rawquery = q.Encode() req,"http://hanyu.baIDu.com/shici/detail?pID=be520db056da43238035dc18bb1e1798&tn=sug_click") resp,errDo := clIEnt.Do(req) if errDo != nil || resp.StatusCode != 200 { err = errors.New("无法连接百度汉语 " + errDo.Error()) return } docm,errDoc := goquery.NewdocumentFromresponse(resp) if errDoc != nil { err = errors.New("解析Doc错误 " + errDoc.Error()) return } //诗词信息都保存在 body_p 的div中,可以通过PuerkitoBio/goquery库获取 pSelect := docm.Find("#body_p") pSelect.Each(func(pos int,selection *goquery.Selection) { content := strings.Trimspace(selection.Text()) result = append(result,content) }) content = strings.Join(result,"") return}

目前会爬取百度汉语、古诗词两个网站的数据,如果有更好的数据源,只需要实现SpIDer接口,在MapSpIDerManifest()方法中注册即可。

type SpIDer interface { GetContent(SearchResult) (string,error) FindContent(string,string) (SearchResult,error)}func MapSpIDerManifest() map[string]SpIDer { //初始化并且注册所有的SpIDer spIDerMap := make(map[string]SpIDer) //百度 baIDuSpIDer := new(BaIDuSpIDer) spIDerMap["baIDuSpIDer"] = baIDuSpIDer //古诗文网 gushiwenSpIDer := new(GushiwenSpIDer) spIDerMap["gushiwenSpIDer"] = gushiwenSpIDer return spIDerMap}

2.诗词句子查找

古诗文默写,以前上学的时候做的多了,把一句话抠出来,随机选其中几段话让学生默写。一般可以归类为一下几种模式:

开头留空 :_,[_,...],何人不起故园情。
末尾留空:俱往矣,_,[_,...]。
中间留空:月出于东山之上,_,白露横江,

不管是什么样的模式,就每个填空处来看,只有它前面或者后面有提示句,我们才能知道这个空的答案是什么。也就是说,这样的填空可以自主的找到答案,姑且称之为自主空。而前后都没有提示句的空,只能等待附近有自主空找到了答案,才能找到它本身的答案,用一个图说明更加清晰:

图中灰色的块因为有提示句,所以可以通过步骤一种爬取下来的文章内容找到对应的答案,填入Blank中,具体的查找算法如下代码所示:

//已知newFind的PreString,求BlankString和poststringfunc makeWithPreContent(contentssplit []string,newFind *Find) { for l := range contentssplit { if isEqual(contentssplit[l],newFind.PreString) && l < len(contentssplit)-1 { newFind.BlankString = contentssplit[l+1] if l < len(contentssplit)-2 { newFind.poststring = contentssplit[l+2] } newFind.BlankFinish = true } }}//已知newFind的poststring,求BlankString和PreStringfunc makeWithPostContent(contentssplit []string,newFind.poststring) && l > 0 { newFind.BlankString = contentssplit[l-1] if l-1 > 0 { newFind.PreString = contentssplit[l-2] } newFind.BlankFinish = true } }}// 按标点符号分隔内容func SplitByPunctuation(s string) ([]string,[]string) { regPunctuation,_ := regexp.Compile(`[,,。.??!!;;::]`) //匹配标点符号,保存下来。 然后分割字符串 topun := regPunctuation.FindAllString(s,-1) result := regPunctuation.Split(s,-1) if len(result[len(result)-1]) == 0 { result = result[:len(result)-1] } //去掉前后空格,去掉引号 for i := range result { result[i] = strings.Trimspace(result[i]) regQuoting := regexp.MustCompile("[“”‘'']") result[i] = regQuoting.ReplaceAllString(result[i],"") } return result,topun}

所有的自主块都找到答案后,可以把每个自主块看作一个双向链表的表头,我们所要做的就是遍历每个双向链表,把其中每个节点的答案都通过查找算法找出来。当下一个节点是NulL,或者下个节点是一个自主块时,就停止遍历,处理下一个双向链表。这样,无论给出的需要填空的内容多么复杂,都可以顺利的完整自动填写工作。

3.效果

一些常用的文言文或诗词:

1、 前赤壁赋

2、 离骚


项目地址:AncientPoetryFillBlank (本地下载)

总结

以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,如果有疑问大家可以留言交流,谢谢大家对编程小技巧的支持。

您可能感兴趣的文章:go语言实现通过FTP库自动上传web日志 总结

以上是内存溢出为你收集整理的Go语言实现自动填写古诗词实例代码全部内容,希望文章能够帮你解决Go语言实现自动填写古诗词实例代码所遇到的程序开发问题。

如果觉得内存溢出网站内容还不错,欢迎将内存溢出网站推荐给程序员好友。

欢迎分享,转载请注明来源:内存溢出

原文地址: https://outofmemory.cn/langs/1294217.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2022-06-10
下一篇 2022-06-10

发表评论

登录后才能评论

评论列表(0条)

保存