如何抓取微信所有公众号最新文章

经常有朋友需要帮忙做公众号文章爬取，这次来做一个各种方法的汇总说明。

目前爬取微信公众号的方法主要有3种：

通过爬取第三方的公众号文章聚合网站

通过微信公众平台引用文章接口

通过抓包程序，分析微信app访问公众号文章的接口

通过第三方的公众号文章聚合网站爬取

微信公众号文章一直没有提供一个对外的搜索功能，直到2013年微信投资搜狗之后，搜狗搜索接入微信公众号数据，从此使用搜狗搜索就可以浏览或查询到相关公众号以及文章。

域名是: >

可以直接搜索公众号或者文章的关键字，一些热门的公众号更新还是很及时的，几乎做到了和微信同步。

所以，爬一些热门公众号可以使用搜狗微信的接口来做，但是一些小众公众号是搜索不到的，而且搜狗的防爬机制更新的比较勤，获取数据的接口变化的比较快，经常两三个月就有调整，导致爬虫很容易挂，这里还是建议使用 selenium爬比较省心。另外搜狗对每个ip也有访问限制，访问太频ip会被封禁24小时，需要买个ip池来做应对。

还有一些其他公众号文章聚合网站(比如传送门)也都存在更新不及时或者没有收录的问题，毕竟搜狗这个亲儿子都不行。

通过微信公众平台引用文章接口

这个接口比较隐蔽而且没法匿名访问，所有得有一个公众号，建议新注册一个公众号比较好，免得被封。

下面开始具体步骤：首先登录自己的微信公众号，在进去的首页选择 新建群发，然后再点击 自建图文，在文章编辑工具栏中找到 超链接，如下图：

点击这个超链接按钮，就会d出一个对话框，链接输入方式这一项选中 查找文章，如下图：

到这里就可以输入公众号的名字，回车之后微信就会返回相匹配的公众号列表，接着点击你想抓取的公众号，就会显示具体的文章列表了，已经是按时间倒序了，最新的文章就是第一条了。

微信的分页机制比较奇怪，每个公众号的每页显示的数据条数是不一样的，分页爬的时候要处理一下。

通过chrome分析网络请求的数据，我们想要的数据已经基本拿到了，文章链接、封面、发布日期、副标题等，如

由于微信公众平台登录验证比较严格，输入密码之后还必须要手机扫码确认才能登录进去，所以最好还是使用 selenium做自动化比较好。具体微信接口的分析过程我就不列了，直接贴代码了：

import re

import time

import random

import traceback

import requests

from selenium import webdriver

class Spider(object):

'''

微信公众号文章爬虫

'''

def __init__(self):

# 微信公众号账号

selfaccount = '286394973@qqcom'

# 微信公众号密码

selfpwd = 'lei4649861'

def create_driver(self):

'''

初始化 webdriver

'''

options = webdriverChromeOptions()

# 禁用gpu加速，防止出一些未知bug

optionsadd_argument('--disable-gpu')

# 这里我用 chromedriver 作为 webdriver

# 可以去 >

selfdriver = webdriverChrome(executable_path='/chromedriver', chrome_options=options)

# 设置一个隐性等待 5s

selfdriverimplicitly_wait(5)

def log(self, msg):

'''

格式化打印

'''

print('------ %s ------' % msg)

def login(self):

'''

登录拿 cookies

'''

try:

selfcreate_driver()

# 访问微信公众平台

selfdriverget('>

# 等待网页加载完毕

timesleep(3)

# 输入账号

selfdriverfind_element_by_xpath("///input[@name='account']")clear()

selfdriverfind_element_by_xpath("///input[@name='account']")send_keys(selfaccount)

# 输入密码

selfdriverfind_element_by_xpath("///input[@name='password']")clear()

selfdriverfind_element_by_xpath("///input[@name='password']")send_keys(selfpwd)

# 点击登录

selfdriverfind_elements_by_class_name('btn_login')[0]click()

selflog("请拿手机扫码二维码登录公众号")

# 等待手机扫描

timesleep(10)

selflog("登录成功")

# 获取cookies 然后保存到变量上，后面要用

selfcookies = dict([[x['name'], x['value']] for x in selfdriverget_cookies()])

except Exception as e:

tracebackprint_exc()

finally:

# 退出 chorme

selfdriverquit()

def get_article(self, query=''):

try:

url = '>

# 设置headers

headers = {

"HOST": "mpweixinqqcom",

"User-Agent": "Mozilla/50 (Macintosh; Intel Mac OS X 10_14_3) AppleWebKit/53736 (KHTML, like Gecko) Chrome/7203626109 Safari/53736"

}

# 登录之后的微信公众号首页url变化为：>

# 从这里获取token信息

response = requestsget(url=url, cookies=selfcookies)

token = refindall(r'token=(\d+)', str(responseurl))[0]

timesleep(2)

selflog('正在查询[ %s ]相关公众号' % query)

search_url = '>

# 搜索微信公众号接口需要传入的参数，

# 有三个变量：微信公众号token、随机数random、搜索的微信公众号名字

params = {

'action': 'search_biz',

'token': token,

'random': randomrandom(),

'query': query,

'lang': 'zh_CN',

'f': 'json',

'ajax': '1',

'begin': '0',

'count': '5'

}

# 打开搜索微信公众号接口地址，需要传入相关参数信息如：cookies、params、headers

response = requestsget(search_url, cookies=selfcookies, headers=headers, params=params)

timesleep(2)

# 取搜索结果中的第一个公众号

lists = responsejson()get('list')[0]

# 获取这个公众号的fakeid，后面爬取公众号文章需要此字段

fakeid = listsget('fakeid')

nickname = listsget('nickname')

# 微信公众号文章接口地址

search_url = '>

# 搜索文章需要传入几个参数：登录的公众号token、要爬取文章的公众号fakeid、随机数random

params = {

'action': 'list_ex',

'token': token,

'random': randomrandom(),

'fakeid': fakeid,

'lang': 'zh_CN',

'f': 'json',

'ajax': '1',

'begin': '0', # 不同页，此参数变化，变化规则为每页加5

'count': '5',

'query': '',

'type': '9'

}

selflog('正在查询公众号[ %s ]相关文章' % nickname)

# 打开搜索的微信公众号文章列表页

response = requestsget(search_url, cookies=selfcookies, headers=headers, params=params)

timesleep(2)

for per in responsejson()get('app_msg_list', []):

print('title ---> %s' % perget('title'))

print('link ---> %s' % perget('link'))

# print('cover ---> %s' % perget('cover'))

except Exception as e:

tracebackprint_exc()

if __name__ == '__main__':

spider = Spider()

spiderlogin()

spiderget_article('python')

代码只是作为学习使用，没有做分页查询之类。实测过接口存在访问频次限制，一天几百次还是没啥问题，太快或者太多次访问就会被封24小时。

目前微信公众号的关注方法基本有三种:

1扫码(公众账号生成的二维码,包括一些指纹识别的东东,>

2通过搜索公众账号名字。

3通过阅读公众号发布出来的公众图文,点击上面的微信号名称(右上角三点),可以查看公众号,进入关注页面。

但是如果想实现通过一个链接直接跳转到公众号的关注页面,微信这个好像是封闭的,目前好像不可以实现,如果有高手,还望指教。

但是目前有一个间接方法就是,通过发布一篇公众图文,使图文的内容作为一个指引页,这样只需获取到这片图文的连接就ok了,另外制作公众图文时可以加一个原文链接。

在原文连接的页面中加入<a href="weixin://addfriend/gh_f21962e96e49">一键关注</a>  //gh_f21962e96e49就是公众号id,这样点击[一键关注]就可以直接跳转到微信中了。

微信公众平台js介面安全域名是什么

这里设定安全域名，目的是为了当发现此公众平台发现诱导分享行为时，可以根据此域名追溯到所有分享出去的连结，以及通过这些连结增加的粉丝。这样，微信就可以牢牢控制了你的微信平台，一旦发现违规，让分享连结失效，删除掉诱导行为增加的粉丝，是瞬间就可以完成的。因此，微信平台的开发者，一定要合理来使用分享功能，不要因小失大。等到你的微信平台被封，估计哭都来不及

企业公众号业务域名 5分

认证的微信公众号可以在设定---公众号设定---功能设定填写业务域名，从而避免网页输入框d出安全提示，这样可以提高使用者体验也能让消费者放心。

微信公众帐号支付时域名是什么？URL是什么意思

亲，微信的公众平台域名是mpweixinqq，至于URL意思就是统一资源定位符URL，

统一资源定位符 URL 是对可以从因特网上得到的资源的位置和访问方法的一种简洁的表示。

URL 给资源的位置提供一种抽象的识别方法，并用这种方法给资源定位。统一资源定位符

只要能够对资源定位，系统就可以对资源进行各种 *** 作，如存取、更新、替换和查询其属性。

URL 相当于一个档名在网路范围的扩充套件。因此 URL 是与因特网相连的机器上的任何可访问物件的一个指标。

在因特网的历史上，统一资源定位符的发明是一个非常基础的步骤。统一资源定位符的语法是一般的，可扩充套件的，它使用ASCII程式码的一部分来表示因特网的地址。一般统一资源定位符的开始标志著一个计算机网路所使用的网路协议。

请问微信域名是什么。麻烦举例说明 谢谢！

可以用top域名试试的

微信官网域名伺服器

域名不需要伺服器 需要伺服器的是微网站等 新麦互联伺服器服务商

微信公众号里的业务域名跟JS介面安全域名，网页授权域名这三个应该填写什么呢？有没有大神来解释一下

这个就是填写自己的网站域名的，自己没有域名就不能填写的呀，域名就是我们常说的网址

微信开发里的 JS介面安全域名 到底特么的怎么填啊 30分

1、检查后台是否设定：右上角公众号名称--功能设定--JS介面安全域名

2、检查程式码里的appid和公众号后台的id是否一致

3、不行的话就反馈到官方邮箱：

邮箱地址：[email protected]

邮件主题：微信JS-SDK反馈

邮件内容说明：

用简明的语言描述问题所在，并交代清楚遇到该问题的场景，可附上截图，微信团队会尽快处理你的反馈。

微信JS域名，业务域名配置接入，网页授权，需要上传这个档案，是什么原因？ 5分

同问，而且还必须上传在下面配置的域名路径下，但是不知道有什么用

微信朋友圈内分享的域名，必须在icp备案是什么意思

不是的,一个域名备案一次就行了

备案的前提是你的网站有一台伺服器或者主机在国内且系结这个域名才需要备案

其它的目前都不需要备案

微信为什么限制每月 业务域名修改

变态了

以上就是关于如何抓取微信所有公众号最新文章全部的内容，包括:如何抓取微信所有公众号最新文章、微信公众号关注页面链接地址如何获取、微信公众平台js介面安全域名是什么等相关内容解答，如果想了解更多相关内容，可以关注我们，你们的支持是我们更新的动力！