robots.txt

robots.txt — це текстовий файл у корені сайту (https://site.ua/robots.txt), у якому власник сайту вказує роботам пошукових систем і ШІ-сервісів, які розділи можна сканувати, а які — ні.

Як це працює

Перед скануванням сайту сумлінний робот спершу читає robots.txt і виконує правила для свого імені (User-agent). Протокол існує з 1994 року, а у 2022 році став стандартом RFC 9309. Дотримання правил добровільне: великі пошукові й ШІ-компанії їх виконують, зловмисні боти — ні, тому robots.txt не є захистом.

Синтаксис

User-agent: *
Disallow: /backend/
Disallow: /*?sort=
Allow: /

Sitemap: https://slav.ua/sitemap.xml

• User-agent — якому роботу адресовано правила (* — усім).
• Disallow — що не сканувати; Allow — виняток із заборони.
• * — будь-яка послідовність символів, $ — кінець адреси.
• Sitemap — повна адреса карти сайту.
• Шляхи чутливі до регістру; Google обробляє перші 500 КіБ файлу.

robots.txt і ШІ-боти

ШІ-компанії мають власні імена роботів, і доступ можна налаштувати окремо:

Робот	Чий	Для чого
OAI-SearchBot	OpenAI	Пошук у ChatGPT
GPTBot	OpenAI	Навчання моделей
ChatGPT-User	OpenAI	Відкриття сторінок за запитом користувача
ClaudeBot	Anthropic	Збір даних для моделей Claude
PerplexityBot	Perplexity	Пошук Perplexity
Google-Extended	Google	Навчання й обґрунтування відповідей Gemini (на пошук Google і AI Overviews не впливає)

Якщо ви хочете, щоб вашу компанію цитували ШІ-асистенти (GEO), не закривайте щонайменше пошукових роботів цих сервісів.

Типові помилки

• Закрити сторінку в robots.txt, щоб прибрати її з пошуку. Заборона сканування не забороняє індексацію: адреса може зʼявитися у видачі без опису. Для видалення з пошуку потрібен noindex — і сторінка має бути відкрита для сканування, щоб робот його побачив.
• Закрити стилі й скрипти. Google не зможе коректно побачити сторінку.
• Забути Disallow: / після розробки — і весь сайт зникає з пошуку.
• Непідтримувані директиви. Google ігнорує crawl-delay і noindex у robots.txt.

Як перевірити

Звіт robots.txt у Search Console показує, яку версію файлу бачить Google і чи є в ній помилки, а інструмент перевірки URL — чи дозволено сканувати конкретну сторінку.

Повʼязані терміни та матеріали

• Sitemap (карта сайту)
• Індексація і краулінговий бюджет
• Canonical (канонічна адреса)
• ШІ-агент
• llms.txt
• GEO (Generative Engine Optimization)
• SEO

Джерела

• Google Search Central: How Google interprets the robots.txt specification
• RFC 9309: Robots Exclusion Protocol (2022)
• Google Search Central: Google's common crawlers (зокрема Google-Extended)
• Google Search Central: Block Search indexing with noindex

Оновлено 21 вересня 2026 року. Автор — Слав Кривонос.