那么搜索引擎对蜘蛛抓取回来的页面进行处理主要有4个步骤。
第一:判断该页面的页面类型 判断页面是正常的普通网页还是PDF等特殊文件文档。
普通网页会区分是论坛、普通文章还是视频等内容,方便后期更快的呈献给用户第二:提取网页的文本信息 站长们都知道搜索引擎无法识别JavaScript、Flash、图片、视频等内容,虽然一直在努力的识别这些信息,但是更多的还是依靠提取网页TDK来进行识别,虽然keyword标签已经被主流搜索引擎抛弃,但是还是会有一定的参考借鉴的。
第三:去除页面噪音 前面有两三篇文章,提到页面信噪比的问题,信噪比就是页面主题内容与干扰信息的比例,搜索引擎会去掉与该页面无关的广告、导航、链接等各类信息,提取网页的主体内容。
相关搜搜的在一定程度上也会被算作本页的内容,所以更好的利用想过搜索不但可以提高页面质量,还可以增加与用户搜索的匹配程度。
第四:去除页面内容停止词去除页面停止词其实是搜索引擎分词处理,今天主要讲停止词,也就是页面中“的”“啊”等词语,来减少搜索引擎的计算量。
欢迎分享,转载请注明来源:内存溢出
评论列表(0条)