新手使用火车头发布接口如何采集文章教程

前沿：

如果你对火车头一点都不知道，你还是去网上自学一点火车头采集的知识，我也不是什么大师，硬着头皮写的，至少能用，在这里我不会教你如何写采集规则，因为写法种类太多，你问我我也不知道，火车头相关文件夹里提供的发布接口内置了马甲发布文章，并且支持远程抓取本地化，和发布文章时间设置（10-70分钟随机）。用户只需关注火车头标题和内容即可，参数值标题（title),内容（content)。

第一步：站点设置里设置下火车头免登录发布接口的全局变量值：

第二步：将发布接口上传覆盖程序根目录：

第三步：登录火车头软件后导入发布模块"

下图更多处下拉--选择导入：

导入后：

上图中，数字1处填写你在网站后台设置的全局变量值。

2 处选择 utf-8 编码。

3 处填写你网站域名，不要带 反斜杠'/'

4处选择不需要登录

5 处点击获取列表--选择你需要入库的分类

6 随便给当前这个发布模块写个名字，后续采集任务模块会用到。

最后点击保存配置按钮。

---------

下面讲解导入采集任务：

新建任务分组后，在该分组下导入任务规则（导入任务至该分组）：

选择我们的采集任务规则（ljobx文件）：

下一步：双击规则项

点击第三步：修改发布内容设置

修改下你发布的分类：

最后保存即可：

然后右键开始任务采集：

说下我做采集的方式哈，我这边主要有两种方式，第一个，常规站点，内容很全，那就先找一个采集源，然后爬取整站数据，注意，这种方式，如果源站小说比较多的话，会非常耗时，按火车头十个进程来计算的话，一个进程可以开十个线程，也就是一个火车头最多可以跑100个线程，平均采集一章大概时间为1秒（加上列表采集所耗时间进行平均），10万本书的站，大概5000万加的章节，数据采集完毕大概需要一周时间，这是在你服务器配置比较好的情况下。然后就是发布，发布不能多线程，那么时间就得翻倍，也就是差不多两个多月时间吧。这也是为什么有人说火车采集小说比较慢的原因了。原始内容采集完了，然后每天就采集更新了，方式如第二点。
那么第二个，就是直接采集每日更新，以前的旧书就不采集了。这样的话，速度会比较快。当时就能用。火车头设置好定时任务，自动触发。
这是火车头采集小说网站的传统方式。
我研究火车头采集一个月，找到一个比较合适的快速采集方式，经多方位，多客户测试，采集10万本书，发布完毕，大概就是两天的时间。
具体时间跟服务器配置有一定的关系，比如，硬盘读写速度快慢、网络带宽(火车头放在服务器上的可以忽略)等，测试2H4G美国服务器，10万本大概两天加几个小时，采集需要花几个小时，发布大概接近两天时间。然后每日定时更新即可。
可百度搜索“九七阅读”查看站点，有书库频道，时间一看就知道了。

dedecms在采集时如果遇到会自动采集和它的属性的(譬如头条,幻灯片,推荐等) 但如果没有就只能显示无省略图了,这个没办法改变的, 如果觉得不美观你可以在修改时添加相关的并作相应的设置

作为同时使用八爪鱼采集器和写爬虫的非技术的莫名其妙喜欢自己琢磨技术的互联网运营喵。。。我来谈谈心得感想。
八爪鱼有一些优势，比如学习成本低，可视化流程，快速搭建采集系统。能直接导出excel文件和导出到数据库中。降低采集成本，云采集提供10个节点，也能省事不少。
不好的地方就是，即使看似很简单了，而且还有更傻瓜化的smart模式，但是里面的坑只有用的多的人才清楚。关于这个我在我的博客里简单写了写，不过说实话心得太多，还没仔细整理。
首先里面的循环都是xpath元素定位，如果用单纯的傻瓜化点击定位的话，很死板，大批量采集页面的时候很容易出错。另外用这个工具的，因为方便，小白太多，成天有人问普通问题，他们都不会看页面结构，也不懂xpath，很容易出现采集不全，无限翻页等问题。
但是八爪鱼采集器的ajax加载，模拟手机页面，过滤广告，滚动至页面底端等功能堪称神器，一个勾选就能搞定。写代码很麻烦的，实现这些功能费劲。
八爪鱼毕竟只是工具，自由度肯定完败编程。胜在方便，快速，低成本。
八爪鱼判断语录较弱，无法进行复杂判断，也无法执行复杂逻辑。还有就是八爪鱼只有企业版才能解决验证码问题，一般版本无法接入打码平台。
还有一点就是没有ocr功能，58同城和赶集网采集的电话号码都是格式，python可以用开源图像识别库解决，对接进去识别便可。
除非对技术有很高要求，否则我觉得八爪鱼采集器很好用，比火车采集器好用，虽然效率没那么高，但是比起费劲学习和研究数据包，还是用这个省事。我没事也会在八爪鱼群里解答一些规则编制的问题。
作者：极客兔子
来源：知乎

先去下载火车头采集软件吧，
两种方法，一种是按关键字采集，
也就是没有限制采集哪个站点的文章，
另一种是你提供具体的板块链接，
然后按关键字采集，只采集当前提供的地址。

---