User-agent: *

# 不允许抓取 Cloudflare 的内部目录
Disallow: /cdn-cgi/

# 新增：不允许抓取 /en 和 /ja 目录
Disallow: /en/
Disallow: /ja/

# 站点地图
Sitemap: https://ai.hubtoday.app/sitemap.xml
Sitemap: https://ai.hubtoday.app/zh/sitemap.xml