标签 百度站长 下的文章

前方高能——本篇文章是攻城狮们根据日常收到的case整理而来，亲自编写，希望站长亲们给个好评哦！

平台攻城狮近日接到了百度内部用户的反馈，说 lvshi.baidu.com 站点的收录情况比较差，希望协助追查原因。

攻城狮追查的过程如下：

首先通过site语法检索，发现收录量确实比较少，只有11条，而且还发现一部分是死链数据。

然后根据用户反馈的部分url，检测发现这批链接在2016年12月26日当天已经就已经抓取回来了，首次抓取上是没有问题；

http://lvshi.baidu.com/help/about/story

http://lvshi.baidu.com/help/about/contact

http://lvshi.baidu.com/help/user/guide

http://lvshi.baidu.com/help/user/question

http://lvshi.baidu.com/help/user/feedback

http://lvshi.baidu.com/help/cooperation/provider

http://lvshi.baidu.com/goods?categoryid=1

http://lvshi.baidu.com/goods/33

紧接着发现这批网页都被百度爬虫判定为空短页面，从网页库中获取当时的抓取页面，检查发现这些页面抓取回来的内容是一样的，都是提示让输入邀请码。

被百度爬虫判断为空短页面，肯定是不能被百度搜索收录的。

有站长可能会问，那等网站全部开放后，是不是就可以收录了呢？对于百度爬虫来说，当对一个网站抓取后发现大面积都是低值的空短页面时，爬虫会认为这个站点的整体价值比较低，那么在后面的抓取流量分布上会降低，导致针对该站点的页面更新会比较慢，进而收录也会比较慢。这里学院君再次强调一下，不要让爬虫给站点画上不优质的标签哦，后果很严重！

那么该如何避免呢？方法其实比较简单，网站在邀请测试阶段使用robots封禁就可以。

背景

这篇文章我是转载的；

进过我博客的朋友应该都记得，站点首页响应速度出奇的慢，然而还找不到原因。（好气啊）

经过@调调的提醒，突然就想起来可能是百度收录的锅（还是腾讯云的锅？）。

因为写在module.php每次输出文章都会在线查询一次，去掉试试？<(￣︶￣)>

果然去掉百度收录后博客首页是秒开呀。但是想想不要百度收录查询感觉怪怪的。

话说怎么我博客一篇文章都还没被收录？好吧，偏题了。（会SEO的朋友私密我，谢谢）

所以便写了这么一个接口，同时也开通的SSL。

当页面结束后再利用AJax进行调用，响应速度不用说。（终于找到背锅的了(～￣▽￣)～）

调用地址

  • https://api.isecret.vip/api?type=baidu&url=http://blog.myiooc.cn

调用参数

  • type：必填，现在还只有baidu这一个参数，后边如果还写什么接口可能还会有更多
  • url：必填，填写需要查询的URL地址

返回格式

参数完整的话会返回一个JSON数据，格式：{"url":"http:\/\/baidu.com","status":1}

返回参数

  • url：即你查询的URL地址，
  • status：返回值只有0和1，0为未收录，1为已收录

调用实例

<script>
var urlArr = $('.api'); //需要先在HTML代码中给接口留一个位置并绑定固定的class
$(urlArr).each(function(i) {
var url = "https://api.isecret.vip/api?type=baidu&url="+urlArr[i].title; //这里title值存放查询链接
$.post(url,null,function(e){
if(e.status == 0){
$(urlArr[i]).html('百度未收录');
}else if(e.status == 1){
$(urlArr[i]).html('百度已收录');
}
},'JSON');
});
</script>

特别鸣谢

感谢Mrxn's Blog