# llms.txt для AI-краулеров и больших языковых моделей.
# Этот файл указывает, какие данные нашего сайта могут быть использованы для обучения AI-моделей.

User-agent: GPTBot
User-agent: ChatGPT-User
User-agent: Claude-Web
User-agent: ClaudeBot
User-agent: anthropic-ai
User-agent: Google-Extended
User-agent: FacebookBot
User-agent: OAI-SearchBot
User-agent: Applebot-Extended
User-agent: CCBot
User-agent: Cohere-ai
User-agent: Alice-AI
Crawl-delay: 1

# РАЗРЕШЕНЫ К ИНДЕКСАЦИИ: Основной публичный контент
Allow: /catalog
Allow: /o-kompanii
Allow: /contact

# ЗАПРЕЩЕНЫ К ИНДЕКСАЦИИ: Технические, приватные и служебные разделы
Disallow: /login.html
Disallow: /cart.html

# ЯВНО РАЗРЕШАЕМ СКАЧИВАТЬ SITEMAP для лучшего понимания структуры
Sitemap: https://nabor-instrumentov.com/sitemap.xml