百度搜索素来违背robots协议书随意爬取网页页面內容，在seo业界已并不是甚么新鮮事情，不外仿佛中国的检索模块基本也不遵照robots协议书，也有哪个甚么鬼的国搜也是。

该一篇文章从题目到所有的內容被百度搜索抓取并百度收录，另有网页页面快照更新为证。

再说看一下加QQ微信公众号的robots协议书：robots.txt，其实不容许检索模块spider抓取内容页，不外百度搜索還是极致的抓取了，非常值得嘉奖。

因此一些同学们问为何我屏蔽掉了某一文件目录仍在爬取，并不是你做的错误，只是百度搜索吊炸天。

文中百度搜索素来违背robots协议书随意爬取由词源SEO编写，大家潜心于SEO学习培训，因此技术专业。