13 lines
266 B
Plaintext
13 lines
266 B
Plaintext
User-agent: *
|
|
|
|
# 不允许抓取 Cloudflare 的内部目录
|
|
Disallow: /cdn-cgi/
|
|
|
|
# 新增：不允许抓取 /en 和 /ja 目录
|
|
Disallow: /en/
|
|
Disallow: /ja/
|
|
|
|
# 站点地图
|
|
Sitemap: https://ai.hubtoday.app/sitemap.xml
|
|
Sitemap: https://ai.hubtoday.app/zh/sitemap.xml
|