QiitBot
Qiit 技术 SEO 网站扫描爬虫
QiitBot 由网站所有者主动发起，用于检查公开页面的抓取、索引指令、元数据、内部链接和技术 SEO 问题。 它不会登录网站、绕过访问控制或冒充搜索引擎。
User-Agent
QiitBot/1.0 (+https://qiit.com/bot; [email protected])遵守 robots.txt
可使用 User-agent: QiitBot 单独允许或阻止。
限制抓取频率
默认低并发，并在同一主机请求之间保留间隔。
可以联系我们
如有异常，请发送邮件至 [email protected]。
阻止 QiitBot
在网站根目录的 robots.txt 中加入：
User-agent: QiitBot Disallow: /