# Miha Flat-File CMS - Robots.txt
# Правила для поисковых роботов

User-agent: *
Allow: /

# Запретить доступ к служебным директориям
Disallow: /cache/
Disallow: /includes/
Disallow: /templates/
Disallow: /vendor/

# Запретить доступ к служебным файлам
Disallow: /config.php
Disallow: /bootstrap.php
Disallow: /composer.json
Disallow: /composer.lock
Disallow: /.gitignore
Disallow: /.env

# XML Sitemap
Sitemap: /sitemap.xml

# Crawl-delay (опционально, для замедления агрессивных ботов)
# Crawl-delay: 10

# Правила для конкретных ботов (примеры)

# Google
User-agent: Googlebot
Allow: /
Disallow: /cache/

# Yandex
User-agent: Yandex
Allow: /
Disallow: /cache/

# Bing
User-agent: Bingbot
Allow: /
Disallow: /cache/