百度搜索引擎不收录的问题，爬取诊断Robots封禁

Hi, I'm Shendi

---

在Google收录无任何问题，百度却未收录

这里主要列出百度搜索引擎不收录的可能性

网站上线已有一段时间，且通过 api 提交链接，和sitemap，后面发现依然未被收录

通过 百度搜索资源平台 的爬取诊断发现是robots封禁

首先尝试点击报错按钮

我的站点是没有robots.txt文件的（据说没有代表可爬取所有），于是我在站点新建了空的robots.txt文件，在百度Robots检测更新，且在下方校验发现都是已允许

但是诊断依然是robots封禁，应该是robots更新需要时间，等待即可

如果依然无效可以尝试以下方法

1. 修改Robots封禁为允许，然后到百度站长后台检测并更新Robots。

2. 在百度站长后台抓取检测，此时显示抓取失败，没关系，多点击抓取几次，触发蜘蛛抓取站点。

3. 在百度站长后台抓取频次，申请抓取频次上调。

4. 百度反馈中心，反馈是因为误操作导致了这种情况的发生。

5. 百度站长后台链接提交处，设置数据主动推送（实时）。

6. 更新sitemap网站地图，重新提交百度，每天手工提交一次。

依然无效则只能去百度反馈了

END

本文链接：https://sdpro.top/blog/html/article/1010.html