使用Inet控件获取网页源码。
Internet Transfer 控件实现了两种广泛使用的 Internet 协议: 超文本传送协议(HyperText Transfer
Protocol)(>Private Sub Command1_Click()
Dim strhtml As String
Dim STRURL As String
STRURL = ">
获取网页源代码中的文件的具体步骤如下:
1、首先我们在浏览器里随意打开一张网页查看其源代码。
2、然后我们点击浏览器上的查看。
3、在选项中选择后面位置的查看源代码。
4、然后我们可以看到该网页中的源代码。
5、其中的源代码也可以点击访问。
6、点击访问的源代码的显示的如下图,即可看到源代码所显示的数据。
看是静态网页还是动态网页,如果是静态网页的话(单纯的html)右键查看源文件一般就可以看到,但样式表和脚本如果是以link方式导入的话这部分代码你也无法得到;如果是动态网页(asp;jsp等),显示到浏览器的都是编译过的代码,这种类型的源码你是无法得到的。
打开你要获取的源代码,右击鼠标会出现查看网页源代码(快捷键ctrl+u),全选复制(全选快捷键ctrl+a复制快捷键ctrl+c),在本地电脑上粘贴到(ctrl+v)新建一个文档以html结尾,保存,即可。
问题一:易语言如何获取网页源码的并展示出来? 版本 2
支持库 RegEx
支持库 internet
支持库 iext
子程序 _按钮1_被单击
局部变量 网页文本, 文本型
局部变量 表达式, 正则表达式
局部变量 搜索结果, 搜索结果, , 0
局部变量 计次变量, 整数型
局部变量 文本, 文本型
网页文本 = 到文本 (>
一个月前实习导师布置任务说通过网络爬虫获取深圳市气象局发布的降雨数据,网页如下:
心想,爬虫不太难的,当年跟zjb爬煎蛋网无(mei)聊(zi)图的时候,多么清高。由于接受任务后的一个月考试加作业一大堆,导师也不催,自己也不急。
但是,导师等我一个月都得让我来写意味着这东西得有多难吧。。。今天打开一看的确是这样。网站是基于Ajax写的,数据动态获取,所以无法通过下载源代码然后解析获得。
从某不良少年写的抓取淘宝mm的例子中收到启发,对于这样的情况,一般可以同构自己搭建浏览器实现。phantomJs,CasperJS都是不错的选择。
导师的要求是获取过去一年内深圳每个区每个站点每小时的降雨量,执行该 *** 作需要通过如上图中的历史查询实现,即通过一个时间来查询,而这个时间存放在一个hidden类型的input标签里,当然可以通过js语句将其改为text类型,然后执行send_keys之类的 *** 作。然而,我失败了。时间可以修改设置,可是结果如下图。
为此,仅抓取实时数据。选取python的selenium,模拟搭建浏览器,模拟人为的点击等 *** 作实现数据生成和获取。selenium的一大优点就是能获取网页渲染后的源代码,即执行 *** 作后的源代码。普通的通过 url解析网页的方式只能获取给定的数据,不能实现与用户之间的交互。selenium通过获取渲染后的网页源码,并通过丰富的查找工具,个人认为最好用的就是find_element_by_xpath("xxx"),通过该方式查找到元素后可执行点击、输入等事件,进而向服务器发出请求,获取所需的数据。
[python] view plain copy
# coding=utf-8
from testString import
from selenium import webdriver
import string
import os
from seleniumwebdrivercommonkeys import Keys
import time
import sys
default_encoding = 'utf-8'
if sysgetdefaultencoding() != default_encoding:
reload(sys)
syssetdefaultencoding(default_encoding)
district_navs = ['nav2','nav1','nav3','nav4','nav5','nav6','nav7','nav8','nav9','nav10']
district_names = ['福田区','罗湖区','南山区','盐田区','宝安区','龙岗区','光明新区','坪山新区','龙华新区','大鹏新区']
flag = 1
while (flag > 0):
driver = webdriverChrome()
driverget("hianCe/")
# 选择降雨量
driverfind_element_by_xpath("//span[@id='fenqu_H24R']")click()
filename = timestrftime("%Y%m%d%H%M", timelocaltime(timetime())) + 'txt'
#创建文件
output_file = open(filename, 'w')
# 选择行政区
for i in range(len(district_navs)):
driverfind_element_by_xpath("//div[@id='" + district_navs[i] + "']")click()
# print driverpage_source
timeElem = driverfind_element_by_id("time_shikuang")
#输出时间和站点名
output_filewrite(timeElemtext + ',')
output_filewrite(district_names[i] + ',')
elems = driverfind_elements_by_xpath("//span[@onmouseover='javscript:changeTextOver(this)']")
#输出每个站点的数据,格式为:站点名,一小时降雨量,当日累积降雨量
for elem in elems:
output_filewrite(AMonitorRecord(elemget_attribute("title")) + ',')
output_filewrite('\n')
output_fileclose()
driverclose()
timesleep(3600)
文件中引用的文件testString只是修改输出格式,提取有效数据。[python] view plain copy
#Encoding=utf-8
def OnlyCharNum(s, oth=''):
s2 = slower()
fomart = 'abcdefghijklmnopqrstuvwxyz0123456789,'
for c in s2:
if not c in fomart:
s = sreplace(c, '')
return s
def AMonitorRecord(str):
str = strsplit(":")
return str[0] + "," + OnlyCharNum(str[1])
一小时抓取一次数据,结果如下:
以上就是关于请问如何用VB获取网页源码全部的内容,包括:请问如何用VB获取网页源码、安卓如何实现获取网页源代码、怎么获取网页源代码中的文件等相关内容解答,如果想了解更多相关内容,可以关注我们,你们的支持是我们更新的动力!
欢迎分享,转载请注明来源:内存溢出
评论列表(0条)