# tgsonar.com — каталог Telegram-каналов и ботов
# Данные собираются с публичных страниц t.me. Машиночитаемое описание: /ai/

User-agent: *
Allow: /
Disallow: /compare/?
Disallow: /search
Disallow: /*?utm_
Disallow: /crawl-log/
# ниже — ловушка: адрес никуда не ведёт и ниоткуда не слинкован.
# Переход по нему означает, что этот файл не прочитан.
Disallow: /crawl-trap/
Clean-param: a&b&cat&type&utm_source&utm_medium&utm_campaign&utm_term&utm_content /
Crawl-delay: 1

# ИИ-краулеры: доступ открыт, упоминания важнее ссылок
User-agent: GPTBot
Allow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: Claude-Web
Allow: /

User-agent: Google-Extended
Allow: /

User-agent: Applebot-Extended
Allow: /

User-agent: YandexAdditional
Allow: /

# Агрегаторы чужих данных — смысла в обходе нет
User-agent: SemrushBot
Disallow: /

User-agent: AhrefsBot
Disallow: /

User-agent: DataForSeoBot
Disallow: /

User-agent: MJ12bot
Disallow: /

Host: tgsonar.com
Sitemap: https://tgsonar.com/sitemap.xml