怎么爬虫获取数据

用爬虫爬取网站的数据就可以得到数据，如果你想知道怎么用爬虫，我可以教你，三步（用scrapy，爬虫框架）
定义item类
开发spider类
开发pipeline
你可以看《疯狂python讲义》来学习更多的爬虫

方法/步骤

在做爬取数据之前，你需要下载安装两个东西，一个是urllib,另外一个是python-docx。

然后在python的编辑器中输入import选项，提供这两个库的服务

urllib主要负责抓取网页的数据，单纯的抓取网页数据其实很简单，输入如图所示的命令，后面带链接即可。

抓取下来了，还不算，必须要进行读取，否则无效。

5

接下来就是抓码了，不转码是完成不了保存的，将读取的函数read转码。再随便标记一个比如XA。

6

最后再输入三句，第一句的意思是新建一个空白的word文档。

第二句的意思是在文档中添加正文段落，将变量XA抓取下来的东西导进去。

第三句的意思是保存文档docx，名字在括号里面。

7

这个爬下来的是源代码，如果还需要筛选的话需要自己去添加各种正则表达式。

可以通过requests库re库进行淘宝商品爬虫爬取
import requests
import re
def getHTMLText(url):
try:
r= requestsget(url,timeout=30)
rraise_for_status()
rencoding = rapparent_encoding
return rtext
except:
return ""
def parsePage(ilt,html):
try:
plt = refindall(r'\"view_price\":\"[\d+\]\"',html)
tlt = refindall(r'\"raw_title\"\:\"\"',html)
for i in range(len(plt)):
price = eval(plt[i]split(':')[1])
title = eval(tlt[i]split(':')[1])
iltappend([price,title])
except:
print("F")
def printGoodsList(ilt):
tplt = "{:4}\t{:8}\t{:16}"
print(tpltformat("序号","价格","商品名称"))
count = 0
for g in ilt:
count = count +1
print(tpltformat(count,g[0],g[1]))
def main():
goods = '书包'
depth = 2
start_url = ">VBA网抓常用方法
1、xml>

根据java网络编程相关的内容，使用jdk提供的相关类可以得到url对应网页的html页面代码。

针对得到的html代码，通过使用正则表达式即可得到我们想要的内容。

比如，我们如果想得到一个网页上所有包括“java”关键字的文本内容，就可以逐行对网页代码进行正则表达式的匹配。最后达到去除html标签和不相关的内容，只得到包括“java”这个关键字的内容的效果。

从网页上爬取的流程和爬取内容的流程基本相同，但是爬取的步骤会多一步。

需要先用img标签的正则表达式匹配获取到img标签，再用src属性的正则表达式获取这个img标签中的src属性的url，然后再通过缓冲输入流对象读取到这个url的信息，配合文件输出流将读到的信息写入到本地即可。

---