# Роботы ИИ: явное разрешение и поиска (ответы ассистентов со ссылкой на сайт),
# и обучения моделей. Группа с собственным User-agent заменяет группу "*" целиком,
# поэтому закрытые разделы повторены здесь — иначе эти роботы ходили бы и в них.
# Права на контент выражены ещё и через Content-Signal (contentsignals.org).
User-agent: GPTBot
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: ClaudeBot
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: Claude-Web
User-agent: anthropic-ai
User-agent: Google-Extended
User-agent: GoogleOther
User-agent: Google-CloudVertexBot
User-agent: Googlebot
User-agent: bingbot
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: Applebot
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: meta-externalfetcher
User-agent: FacebookBot
User-agent: Amazonbot
User-agent: Amzn-SearchBot
User-agent: Amzn-User
User-agent: Bytespider
User-agent: CCBot
User-agent: cohere-ai
User-agent: cohere-training-data-crawler
User-agent: MistralAI-User
User-agent: DuckAssistBot
User-agent: YouBot
User-agent: Diffbot
User-agent: AI2Bot
User-agent: Ai2Bot-Dolma
User-agent: Webzio-Extended
User-agent: PanguBot
User-agent: PetalBot
User-agent: Timpibot
User-agent: Omgilibot
User-agent: ImagesiftBot
Content-Signal: search=yes, ai-input=yes, ai-train=yes
Allow: /
Disallow: /*/account
Disallow: /*/cart
Disallow: /*/checkout
Disallow: /*/login
Disallow: /*/logout
Disallow: /signin-oidc
Disallow: /signout-callback-oidc
Disallow: /*/support/requests
Disallow: /*/search
Disallow: /*/community/profile/
Disallow: /_blazor
Disallow: /_framework/
Disallow: /api/
Disallow: /*/403
Disallow: /*/404
Disallow: /*/405
Disallow: /*/500
Disallow: /*/auth-error

User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=yes
# Личный кабинет, корзина и оформление заказа — не для поисковиков.
Disallow: /*/account
Disallow: /*/cart
Disallow: /*/checkout
# Вход и выход: запрос /login уводит робота в Azure AD B2C.
Disallow: /*/login
Disallow: /*/logout
Disallow: /signin-oidc
Disallow: /signout-callback-oidc
# Обращения в поддержку (личные данные клиентов).
Disallow: /*/support/requests
# Результаты поиска по сайту и профили сообщества — тонкий и дублирующий контент.
Disallow: /*/search
Disallow: /*/community/profile/
# Служебные адреса Blazor и API.
Disallow: /_blazor
Disallow: /_framework/
Disallow: /api/
# Служебные страницы ошибок.
Disallow: /*/403
Disallow: /*/404
Disallow: /*/405
Disallow: /*/500
Disallow: /*/auth-error

Sitemap: https://vitextra.com/sitemap.xml