# ═══════════════════════════════════════════════════════════ # 51漫画 · 精品站群 SEO Robots 协议 # 全站允许抓取 | Sitemap 相对路径(不写死域名) # 生成时间: 2026-08-24 # 更新方式: 访问时由 index.php 动态输出,或 python scripts/generate_seo.py # ═══════════════════════════════════════════════════════════ # ── 通用爬虫:全站允许抓取 ────────────────────────────────── User-agent: * Allow: / # ── 百度蜘蛛(国内收录优先)────────────────────────────────── User-agent: Baiduspider Allow: / Crawl-delay: 1 # ── 其他主流搜索引擎 ───────────────────────────────────────── User-agent: Googlebot Allow: / User-agent: Sogou web spider Allow: / User-agent: 360Spider Allow: / User-agent: YisouSpider Allow: / # ── 站点地图(相对路径 /sitemap.xml,站群随机域名自动解析)──── Sitemap: /sitemap.xml