Індексація і краулінговий бюджет
Індексація — це додавання сторінки до бази даних (індексу) пошукової системи. Сторінку, якої немає в індексі, неможливо знайти в пошуку — а отже, і в ШІ-відповідях, які спираються на пошукові індекси.
Як сторінка потрапляє в індекс
- Виявлення — Google дізнається про адресу з посилань, карти сайту чи запиту в Search Console.
- Сканування — Googlebot завантажує сторінку, якщо це дозволяє robots.txt.
- Обробка — сторінка відтворюється (зокрема з виконанням JavaScript), аналізуються текст, зображення, посилання, канонічна адреса.
- Рішення про індексацію — якщо сторінка корисна й не дублює інші, її додають до індексу.
Не кожна просканована сторінка потрапляє в індекс: Google сам вирішує, чи варта вона місця.
Як перевірити індексацію
- Інструмент перевірки URL у Search Console — точна відповідь для конкретної сторінки й кнопка «Надіслати запит на індексування».
- Звіт «Індексування сторінок» — скільки сторінок в індексі і чому решта ні.
- Оператор
site:у пошуку Google — лише приблизна картина.
Чому сторінки не індексуються
| Статус у Search Console | Що означає |
|---|---|
| Виявлено — наразі не проіндексовано | Google знає про адресу, але ще не сканував — часто через брак краулінгового бюджету або перевантаження сервера |
| Проскановано — наразі не проіндексовано | Сторінку прочитали, але вирішили не індексувати — найчастіше через слабкий чи дубльований вміст |
| Дублікат без вибраної користувачем канонічної сторінки | Сторінка — копія іншої, canonical не вказано |
| Виключено тегом noindex | Сторінку свідомо закрили від індексації |
| Сторінка з переадресацією | Адреса веде на іншу — це нормально для старих URL після 301-редиректу |
| Помилка 404 / «мʼяка» 404 | Сторінки немає або вона порожня |
Краулінговий бюджет
Краулінговий бюджет — це кількість адрес, які Google може і хоче просканувати на сайті за певний час. Він складається з двох частин: скільки сервер витримує без перевантаження і наскільки Google зацікавлений у сторінках (популярність, свіжість, якість).
За словами Google, про бюджет варто думати насамперед великим сайтам — від мільйона сторінок або від 10 000 сторінок, що змінюються щодня, — чи сайтам, де багато адрес має статус «Виявлено — наразі не проіндексовано». Для невеликих сайтів важливіші якість сторінок і технічна чистота.
Як покращити індексацію
- Прибрати дублікати: одна адреса на сторінку, 301-редиректи, canonical.
- Не тримати тисячі порожніх сторінок фільтрів, тегів і параметрів відкритими для сканування.
- Підсилювати важливі сторінки внутрішніми посиланнями й включати їх у карту сайту.
- Робити сторінки кориснішими за конкурентів — слабкий вміст найчастіше лишається «просканованим, але не проіндексованим».
- Стежити за швидкістю і стабільністю сервера.
Повʼязані терміни та матеріали
- robots.txt
- Sitemap (карта сайту)
- Canonical (канонічна адреса)
- 301-редирект
- Core Web Vitals
- SEO
- Послуга: просування сайтів у пошукових системах (SEO)
- Тонкий контент
- Внутрішня перелінковка
- Google Search Console
Джерела
- Google Search Central: How Google Search works
- Search Console Help: Page indexing report
- Google: Crawl budget management for large sites
- Google Search Central: Block Search indexing with noindex
Оновлено 21 вересня 2026 року. Автор — Слав Кривонос.
