# robots.txt — 放在网站根目录
# 必应 / Google / 百度蜘蛛抓取规则
# 上线后请把下方 Sitemap 域名改成真实域名

User-agent: *
Allow: /
Allow: /sitemap.xml
Allow: /sitemap.html
Allow: /feed.xml
Allow: /llms.txt
Allow: /spider-data.json
Allow: /assets/
Crawl-delay: 0

# —— 必应蜘蛛（全速抓取）——
User-agent: bingbot
Allow: /
Crawl-delay: 0
Request-rate: 1/1s

User-agent: BingPreview
Allow: /
Crawl-delay: 0

User-agent: msnbot
Allow: /
Crawl-delay: 0

User-agent: msnbot-media
Allow: /
Crawl-delay: 0

User-agent: adidxbot
Allow: /
Crawl-delay: 0

# —— Google ——
User-agent: Googlebot
Allow: /
Crawl-delay: 0

User-agent: Googlebot-Image
Allow: /

User-agent: Googlebot-News
Allow: /

# —— 百度 ——
User-agent: Baiduspider
Allow: /
Crawl-delay: 0

User-agent: Baiduspider-render
Allow: /

# —— 其他 ——
User-agent: Yandex
Allow: /
Crawl-delay: 0

User-agent: DuckDuckBot
Allow: /

User-agent: Sogou
Allow: /

User-agent: Bytespider
Allow: /

# 网站地图（蜘蛛发现入口）
Sitemap: /sitemap.xml
Sitemap: /sitemap.html
Sitemap: /feed.xml