Python爬取爬取明星关系并写入csv文件

概述今天用Python爬取了明星关系，数据不多，一共1386条数据，代码如下：importrequestsfrombs4importBeautifulSoupimportbs4importcsvdefgetHTMLText(url):try:kv={'user-agent':'Mozilla/5.0'}#请求头;指定访问浏览器为Mozilla5.0版本的浏览器

　　今天用Python爬取了明星关系，数据不多，一共1386条数据，代码如下：

　　

import requestsfrom bs4 import BeautifulSoupimport bs4import csvdef getHTMLText(url):    try:        kv = {'user-agent': 'Mozilla/5.0'}  # 请求头;指定访问浏览器为Mozilla5.0版本的浏览器        r = requests.get(url)        r.raise_for_status() #如果状态不是200，引发httpError异常        r.enCoding = r.apparent_enCoding        return r.text    except:        return "产生异常"def fillUnivList(uList,HTML):    soup = BeautifulSoup(HTML,"lxml")    for lis in soup.find_all('li', {'liodd', 'lIEven'}):        if isinstance(lis, bs4.element.Tag):            spans = lis('span')            uList.append([spans[0].text.strip(), spans[1].text.strip(), spans[2].text.strip()])            #print(spans[0].text.strip(),"    ",spans[1].text.strip(),"    ",spans[2].text.strip(),)    with open('star.csv', 'a', newline='')as f:        csv_writer = csv.writer(f)        csv_writer.writerows(uList)    f.close()    #print(uList)if __name__ == '__main__':    print("爬虫开始")    for page in range(1,100):        url = "https://www.1905.com/mdb/relation/List/s0t0p" + str(page) + ".HTML"        HTML = getHTMLText(url)        uList=[]        fillUnivList(uList,HTML)    print("爬虫结束")

 

总结

以上是内存溢出为你收集整理的Python爬取爬取明星关系并写入csv文件全部内容，希望文章能够帮你解决Python爬取爬取明星关系并写入csv文件所遇到的程序开发问题。

如果觉得内存溢出网站内容还不错，欢迎将内存溢出网站推荐给程序员好友。