正则提取
找前后关键字
python可以很方便地抓取网页并过滤网页的内容,那么,如何从如下的网页中提取良玉的博客bloguouo123com。
<script type="text/ecmascript">
windowquickReplyflag = true;
</script>
<div id="article_details" class="details">
<div class="article_title">
<span class="ico ico_type_Original"></span>
<h1>
<span class="link_title"><a href="/u013074465/article/details/44280335">
良玉的博客bloguouo123com
</a></span>
</h1>
</div>
如下是核心代码,使用正则表达式实现:
html2 = openeropen(page)read()
allfinds2 = refindall(r'<span class="link_title"><a href="/u013074465/article/details/">\r\n(+)</a></span>',html2, reS)
print allfinds2[0]strip()
第一行:打开链接,page指向的是所要提取的文章标题的链接;
第二行:当读取到了连接的内容后,使用正则表达式进行匹配。这里要匹配的字符串的尾部是</a></span>,要匹配最近的</a></span>需要注意下面黑体字部分:
一个月前实习导师布置任务说通过网络爬虫获取深圳市气象局发布的降雨数据,网页如下:
心想,爬虫不太难的,当年跟zjb爬煎蛋网无(mei)聊(zi)图的时候,多么清高。由于接受任务后的一个月考试加作业一大堆,导师也不催,自己也不急。
但是,导师等我一个月都得让我来写意味着这东西得有多难吧。。。今天打开一看的确是这样。网站是基于Ajax写的,数据动态获取,所以无法通过下载源代码然后解析获得。
从某不良少年写的抓取淘宝mm的例子中收到启发,对于这样的情况,一般可以同构自己搭建浏览器实现。phantomJs,CasperJS都是不错的选择。
导师的要求是获取过去一年内深圳每个区每个站点每小时的降雨量,执行该 *** 作需要通过如上图中的历史查询实现,即通过一个时间来查询,而这个时间存放在一个hidden类型的input标签里,当然可以通过js语句将其改为text类型,然后执行send_keys之类的 *** 作。然而,我失败了。时间可以修改设置,可是结果如下图。
为此,仅抓取实时数据。选取python的selenium,模拟搭建浏览器,模拟人为的点击等 *** 作实现数据生成和获取。selenium的一大优点就是能获取网页渲染后的源代码,即执行 *** 作后的源代码。普通的通过 url解析网页的方式只能获取给定的数据,不能实现与用户之间的交互。selenium通过获取渲染后的网页源码,并通过丰富的查找工具,个人认为最好用的就是find_element_by_xpath("xxx"),通过该方式查找到元素后可执行点击、输入等事件,进而向服务器发出请求,获取所需的数据。
[python] view plain copy
# coding=utf-8
from testString import
from selenium import webdriver
import string
import os
from seleniumwebdrivercommonkeys import Keys
import time
import sys
default_encoding = 'utf-8'
if sysgetdefaultencoding() != default_encoding:
reload(sys)
syssetdefaultencoding(default_encoding)
district_navs = ['nav2','nav1','nav3','nav4','nav5','nav6','nav7','nav8','nav9','nav10']
district_names = ['福田区','罗湖区','南山区','盐田区','宝安区','龙岗区','光明新区','坪山新区','龙华新区','大鹏新区']
flag = 1
while (flag > 0):
driver = webdriverChrome()
driverget("hianCe/")
# 选择降雨量
driverfind_element_by_xpath("//span[@id='fenqu_H24R']")click()
filename = timestrftime("%Y%m%d%H%M", timelocaltime(timetime())) + 'txt'
#创建文件
output_file = open(filename, 'w')
# 选择行政区
for i in range(len(district_navs)):
driverfind_element_by_xpath("//div[@id='" + district_navs[i] + "']")click()
# print driverpage_source
timeElem = driverfind_element_by_id("time_shikuang")
#输出时间和站点名
output_filewrite(timeElemtext + ',')
output_filewrite(district_names[i] + ',')
elems = driverfind_elements_by_xpath("//span[@onmouseover='javscript:changeTextOver(this)']")
#输出每个站点的数据,格式为:站点名,一小时降雨量,当日累积降雨量
for elem in elems:
output_filewrite(AMonitorRecord(elemget_attribute("title")) + ',')
output_filewrite('\n')
output_fileclose()
driverclose()
timesleep(3600)
文件中引用的文件testString只是修改输出格式,提取有效数据。[python] view plain copy
#Encoding=utf-8
def OnlyCharNum(s, oth=''):
s2 = slower()
fomart = 'abcdefghijklmnopqrstuvwxyz0123456789,'
for c in s2:
if not c in fomart:
s = sreplace(c, '')
return s
def AMonitorRecord(str):
str = strsplit(":")
return str[0] + "," + OnlyCharNum(str[1])
一小时抓取一次数据,结果如下:
在使用PendingIntent向Activity和BroadcastReceiver传递内容时遇到的坑,记录下来。
第二个参数 requestCode 相同的话后面的定时器会将前面的定时器"覆盖"掉,只会启动最后一个定时器,所以同一时间的定时器可以用同一个requestCode,不同时间的定时器用不同的requestCode。
<br />
第二个参数 requestCode不同 ,以及设置最后一个flags参数为PendingIntent FLAG_UPDATE_CURRENT 可以保证每次点击notification进入activity,传的参数都是当前这个notification传过去的(Intent里附带的参数)。如果 requestCode相同 ,最后一个参数为PendingIntent FLAG_UPDATE_CURRENT ,那么所有未点击的notification里的参数都会被更新为最后一个传过去的,也就是最新的。
flags的取值有四个:
FLAG_ONE_SHOT:获取的PendingIntent只能使用一次
FLAG_NO_CREATE:利用FLAG_NO_CREAT获取的PendingIntent,若描述的Intent不存在则返回NULL值
FLAG_CANCEL_CURRENT:如果描述的PendingIntent已经存在,则在产生新的Intent之前会先取消掉当前的
FLAG_UPDATE_CURRENT:能够新new一个 Intent
举个栗子:
通过notification向activity传递一个数字,第一个通知传递1,第二个通知传递2。(notification的notifyCode不同,保证两个notification都能显示出来)现在两个通知均是d出来未点击状态。
点击测试结果如下:
每次遇到BAM文件flag值都有一些困惑,时间越久越迷惑。
在此,针对BAM文件中的flag信息进行梳理和解释:
记录于BAM文件的第2列,以 bwa 软件比对结果为例
可以使用samtools查询:
samtools view testbam | cut -f2 | uniq
问题来了,这些数字的意义是什么呢?
首先可以参考SAM/BAM文件的解释文档:
>
以上就是关于python如何抓取网页源代码中的字符串全部的内容,包括:python如何抓取网页源代码中的字符串、python爬虫怎么获取动态的网页源码、PendingIntent requestCode flags 参数等相关内容解答,如果想了解更多相关内容,可以关注我们,你们的支持是我们更新的动力!
欢迎分享,转载请注明来源:内存溢出
评论列表(0条)