织梦dede采集方法教程

方法/步骤

1、首先我们打开织梦后台点击

采集——采集节点管理——增加新节点

2、这里我们以采集普通文章为例，我们选择普通文章，然后确定

3、我们进入了采集的设置页面，填写节点名称，就是给这个新节点取个名字，这里你可以任意填写。

然后打开你想要采集的文章列表页，打开链接这个页面，右键——查看源文件

找到目标页面编码，就在charset后面

4、页面基本信息其他的一般就不用管了，填完了如图

5、现在我们来填写列表网址获取规则

看看文章列表第一页的地址jianzhanxinde/list_49_1.html

对比第二页的地址jianzhanxinde/list_49_2.html

我们发现了他们除了49_后面的数字不一样，其他的都一样，所以我们可以这样写

/jianzhanxinde/list_49_(*).html

就是把1换成了(*)

因为这里只有2页，所以我们就填从1到2

每页递增当然是1了，2-1...是等于1吧

这里我们就填写完了

6、可能大家采集的有些列表没有规则，那就只有手工指定列表网址了，如图

7、每行写一个页面地址

列表规则写完了，我们就开始写文章网址匹配规则了,回到文章列表页

右键查看源文件

找到区域开始的HTML，就是找文章列表开始的标志。

8、我们很容易的找到了如图中的“新闻列表”

。从这里开始，后面就是文章列表里

我们再找文章列表结束的HTML

9、就是这个了，一个很容易找到的标志

如果链接中含有图片：

不处理

采集为缩略图

这里根据自己的需要选择

对区域网址进行再次筛选：

(使用正则表达式)

必须包含：

(优先级高于后者)

不能包含：

打开源文件，我们可以很清楚的看到，文章链接都是以.html结束的

所以，我们在必须包含后面填.html

如果遇到有些列表很麻烦，还可以填写后面的不能包含

8、我们点击保存设置进入下一步，可以看到我们获得的文章网址

看到这些就是对的了，我们保存信息进入下一步设置内容字段获取规则

我们看看文章有没有分页，随便进入一篇文章看看。。我们看到这里的文章没有分页

所以这里的我们就默认了

9、我们现在来找文章标题等等

随便进入一篇文章，右键查看源文件

看看这些

10、依照源码填写

11、我们再来填写文章内容的开始，结束

和上面的一样，找到开始和结束标志

12、开始：

12、结束：

13、你想过滤文章中的什么内容就到过滤规则里写吧，比如要过滤文章中的图片

选择常用规则

14、再勾选IMG，然后确定

15、这样我们就把正文中的图片过滤了

设置完毕后点保存设置并预览

这样一个采集规则就写好了，很简单吧有些网站很难写，可要多下点功夫了哦

16、我们点保存并开始采集——开始采集网页

一会的功夫就采集完了

17我们看看我们采集到的文章

18、看来是成功了，我们导出数据吧

在后台增加自定义字段

前台内容超链接处调用这个自定义字段就行

比如你增加的字段是xiazai，那么页面上就是

<a href="{dede:field name='xiazai'/}">rar格式下载</a>

1.幻剑书盟小说采集节点 {dede:comments} {!-- 采集列表获取规则 --} {/dede:comments} {dede:list source='single' sourcetype='list' varstart='1' varend='10'} {dede:url =' http://read.hjsm.tom.com/book/[var: 分页]/html/contents.html'} {/dede:url} {dede:need} http://read.hjsm.tom.com/book/{/dede:need} {dede:cannot}{/dede:cannot} {/dede:list} {dede:comments} {!-- 网页内容获取规则 --} {/dede:comments} {dede:art sptype='full'} {dede:sppage}{/dede:sppage} {dede:note field='title' ='[var:内容]' isunit='' isdown=''} {dede:match}<DIV class=title align=center>[var:内容]</div><HR>{/dede:match} {/dede:note} {dede:note field='writer' ='[var:内容]' isunit='' isdown=''} {dede:match}/index.php"><font color=blue>[var:内容]的会客室{/dede:match} {/dede:note} {dede:note field='body' ='[var:内容]' isunit='1' isdown='1'} {dede:match}</div><HR>[var:内容]</TD></TR>{/dede:match} {dede:trim}<p>{/dede:trim} {/dede:note} {/dede:art} 2.翠微居小说采集节点 {dede:comments} {!-- 采集列表获取规则 --} {/dede:comments} {dede:list source='single' sourcetype='list' varstart='34271' varend='34272'} {dede:url =' http://www.cuiweiju.com/articleinfo.php?id= [var:分页]'} {/dede:url} {dede:need} http://www.cuiweiju.com/htmpage/{/dede:need} {dede:cannot}{/dede:cannot} {/dede:list} {dede:comments} {!-- 网页内容获取规则 --} {/dede:comments} {dede:art sptype='full'} {dede:sppage}{/dede:sppage} {dede:note field='title' ='[var:内容]' isunit='' isdown=''} {dede:match}<div align='center'><span class='max'>[var:内容]</span><br><br><span class='min'>{/dede:match} {/dede:note} {dede:note field='writer' ='[var:内容]' isunit='' isdown=''} {dede:match}</span><br><br><span class='min'>作者：[var:内容]</span><br><br></div><div align='left'>{/dede:match} {/dede:note} {dede:note field='body' ='[var:内容]' isunit='1' isdown='1'} {dede:match}<span class='middle' id='content' name='content'><!--this-is-text-->[var:内容]<!--this-is-text--></span>{/dede:match} {/dede:note} {/dede:art} 上面的两个都是一些小数据量的采集，大数据量太费时间了，所以把网址的范围写小了，你可以把网址的范围写大一些

---