xpath取一个节点下的所有文字

很简单，教你一招：

这是你的html文件，我命名为testhtml

然后用xpath匹配：

html=lxmletreeparse("testhtml")

res=htmlxpath("//a[@heaf='baiducom']")

info=res[0]xpath('string()')

print(info)

运行结果：

1正则表达式是进行内容匹配，将符合要求的内容全部获取；xpath()能将字符串转化为标签，它会检测字符串内容是否为标签，但是不能检

测出内容是否为真的标签；Beautifulsoup是Python的一个第三方库，它的作用和 xpath 作用一样，都是用来解析html数据的相比之下，

xpath的速度会快一点，因为xpath底层是用c来实现的

2三者语法不同，正则表达式使用元字符，将所有获得内容与匹配条件进行匹配，而xpath和bs4将获取的解析后的源码进行按条件筛选，筛选

出想要的标签即根据标签属性来找到指定的标签，之后对标签进行对应内容获取。

使用xpath helper或者是chrome中的copy xpath都是从element中提取的数据。

JSONView插件，方便查看json数据，有时候url里有callback参数，可以直接去除，得到想要的数据。

Element，一套为开发者、设计师和产品经理准备的基于Vue 20 的组件库，提供了配套设计资源，帮助你的网站快速成型。由饿了么公司前端团队开源。与现实生活一致：与现实生活的流程、逻辑保持一致，遵循用户习惯的语言和概念。在界面中一致：所有的元素和结构需保持一致，比如：设计样式、图标和文本。

1、下载并安装Chrome浏览器（就是Google浏览器），打开目标网页；

2、使用快捷键ctrl+shift+i或者f12，或者直接网页上面右键单击，选择“检查”即可d出DevTools开发者工具。

Chrome DevTools是内置在Google Chrome浏览器中的一个网页调试工具，也叫作开发者工具，不管是小白还是大神用这款软件能够极大提高网页调试效率。

默认选择element面板，Elements 面板中可以通过 DOM 树的形式查看所有页面元素，同时也能对这些页面元素进行所见即所得的编辑。

找到需要定位的元素所在的位置，鼠标放在右侧元素所在位置的代码所在处，代码会高亮显示，右键“Copy”》“Copy XPath”（也可以选择Copy Xpath，前者是相对路径，后者是绝对路径），下面是复制下来的XPath路径。

//[@id="nav"]/ul[1]/li[6]/a

这里简单说明一下，这句XPath代码的意思是，定位到id="nav"的div标签下面第一个ul标签下的第六个li标签下的a标签，具体看截图所示代码理解这句话。

具体定位到的就是a标签中间的文字“百度”（看上图）。

另外：貌似目前好多浏览器都有这个功能，比如搜狗浏览器就是在高速模式下打开网页》右键，选择“审查元素”，也可以打开搜狗浏览器的类似开发者工具，然后定位好元素，右键“Copy”》“Copy XPath”也可以搞定这个问题。

最近在自学JAVA的过程中，偶然想到了做个爬虫程序，经过简单的对比，发现了WebMagic这个库，在使用库的过程中因为涉及到正则表达式和XPATH，所以做个笔记，记录一下，否则稍微过段时间不看就忘记了。

以内涵社区为例，打开 内涵社区 ，然后右键“检查”（Chrome浏览器，得到如下html，这里只截取其中一部分作为示例）

然后，开始我们的爬虫程序：

创建一个类GithubRepoPageProcessor(为什么叫Github因为跟着写demo的时候创建的，懒得修改了)继承PageProcessor,并实现方法:

好，那么这里就要用正则和XPATH提取我们需要的内容了：

先来看下正则表达式的常用字符:

接下来使用上面的html文件依次举例：

1、获取所有的数字

扩展例子:

2、获取所有p标签里的内容

3、获取所有的href内容

分析GithubRepoPageProcessor里面的内容:

创建MainApp写入main方法并调用运行

最终效果:

以上就是关于xpath取一个节点下的所有文字全部的内容，包括:xpath取一个节点下的所有文字、正则表达式、xpath、BeautifulSoup和JSONPath的区别、怎么爬取element中的数据等相关内容解答，如果想了解更多相关内容，可以关注我们，你们的支持是我们更新的动力！