Що таке robots.txt для WordPress та як його використовувати

Мистецтво та науку підвищення рейтингу вашого сайту в різних пошукових системах зазвичай називають SEO (пошукова оптимізація). І коли справа доходить до SEO, є безліч різних аспектів, можливо, занадто багато, щоб охопити їх в одній статті. Ось чому ми зосередимося лише на одному – robots.txt WordPress. У цій статті докладніше розглянемо, що таке robots.txt і як його використовувати, обговоримо різні способи створення файлу та розглянемо найкращі практики щодо його директив.

Що таке "robots.txt"

Robots.txt – це текстовий файл, розташований у кореневому каталозі WordPress. До нього можна отримати доступ із браузера, відкривши URL-адресу your-website.com/robots.txt. Він дозволяє роботам пошукових систем знати, які сторінки сайту слід сканувати, а які ні. Строго кажучи, веб-сайту не потрібний robots.txt. Якщо ви перебуваєте в процесі створення веб-сайту, краще спочатку зосередитися на створенні якісного контенту. Боти пошукових систем будуть сканувати веб-сайт незалежно від того, чи є у вас robots.txt чи ні.

Більше того, добре написані директиви WordPress robots.txt можуть зменшити негативні наслідки поганих роботів, заборонивши їм доступ. Це, у свою чергу, покращить загальну швидкість завантаження сайту. Але майте на увазі, що директиви robots.txt не повинні бути єдиним захистом. Погані боти часто ігнорують їх, тому рекомендується використовувати хороший плагін безпеки, особливо якщо на веб-сайті виникають проблеми, викликані поганими ботами.

Нарешті, поширена помилка, що robots.txt запобігатиме індексації деяких сторінок веб-сайту. Файл robots.txt може містити директиви, що забороняють сканування, але не індексування. І навіть якщо сторінка не просканована, її все одно можна проіндексувати за допомогою зовнішніх посилань, які ведуть її. Якщо ви бажаєте уникнути індексації певної сторінки, слід використовувати метатег noindex замість директив у robots.txt для WordPress.

Як використовувати "robots.txt"

Усвідомивши, що таке robots.txt у WordPress і що він робить, розглянемо, як він використовується. З цього розділу ви дізнаєтесь, як створити та відредагувати robots.txt, деякі передові практики щодо його змісту та як перевірити його на наявність помилок.

За промовчанням WordPress створює віртуальний robots.txt для будь-якого веб-сайту. Він може виглядати приблизно так:

Дивіться також:

Як закрити сайт від індексації і що це означає

Але якщо ви захочете відредагувати його, потрібно створити справжній robots.txt. Нижче описано три способи, як це зробити. Два з них передбачають використання плагінів WordPress, а третій покладається використання FTP.

• Yoast SEO

плагін Yoast SEO – один із найпопулярніших доступних плагінів для SEO з більш ніж 5 мільйонами активних установок. Він включає безліч інструментів для оптимізації сайту, у тому числі функцію для створення та редагування robots.txt для WordPress.

Після встановлення плагіна, натисніть на новостворений SEO розділ, а потім клацніть на підрозділ Інструменти. На сторінці, що відкрилася, клацніть посилання Редактор файлів вгорі.

На наступній сторінці знайдіть розділ robots.txt. Звідти, якщо файл не створили раніше, слід натиснути кнопку Створити robots.txt.

Ця дія створить файл, і тепер можна побачити його вміст у текстовій області. Використовуючи ту ж саму текстову область, можна редагувати зміст нового robots.txt. Закінчивши редагування, натисніть кнопку Зберегти зміни в robots.txt нижче.

• Все в одному SEO

Після встановлення плагіна натисніть новий розділ All in One SEO в меню панелі інструментів, а потім натисніть опцію Feature Manager. На сторінці Feature Manager знайдіть функцію Robots.txt і натисніть кнопку Активувати.

Файл robots.txt створено. Після цього з'явиться повідомлення про успішне виконання, в якому йдеться про те, що параметри оновлені. І з'явиться новий підрозділ за назвою Robots.txt.

Натиснувши опцію Robots.txt, відкриється новий розділ. Там ви зможете додати нові правила до robots.txt, а також подивитися, як він виглядає в даний час.

• Створення robots.txt через FTP

Крім використання плагіна WordPress можна створити robots.txt вручну. Спочатку створіть порожній файл типу .txt на своєму комп'ютері та збережіть його як robots.txt.

Потім підключіться до сервера за допомогою облікових даних FTP. Потім у правому розділі перейдіть до кореневого каталогу WordPress, який часто називається public_html. У лівій частині вашого FTP-клієнта (у прикладі використовуємо Filezilla) знайдіть robots.txt, який ви раніше створили та зберегли на своєму комп'ютері. Клацніть правою кнопкою миші на нього та виберіть Завантажити варіант.

За кілька секунд файл буде завантажений, і його можна побачити серед інших у кореневому каталозі WordPress.

Якщо ви хочете згодом відредагувати завантажений robots.txt, знайдіть його в кореневому каталозі WordPress, клацніть правою кнопкою миші по ньому і виберіть параметр «Перегляд / редагування».

Додавання правил у robots.txt

Тепер, коли ви знаєте, як створювати та редагувати robots.txt, можемо детальніше поговорити про правила, які може містити цей файл. У robots.txt найчастіше присутні дві директиви: Користувач-агент и забороняти.

Правило User-agent вказує, якого робота застосовуються директиви, перелічені під User-agent. Ви можете вказати одного бота (наприклад, User-agent: Bingbot) або застосувати директиви до всіх ботів, поставивши зірочку (User-agent: *).

Правило Disallow забороняє роботу доступу до певної частини сайту. А ще є правило Allow, яке робить протилежне. Її не потрібно використовувати так часто, як Disallow, тому що ботам за промовчанням надається доступ до сайту. Allow зазвичай використовується у поєднанні з директивою Disallow. Точніше, вона використовується для дозволу доступу до файлу або підпапки, що належить забороненій папці.

Крім того, є ще дві директиви: Crawl-delay и Карта сайту.

Правило Crawl-delay використовується для запобігання навантаженню сервера через надмірні запити сканування. Однак цю директиву слід використовувати з обережністю, оскільки вона не підтримується деякими сканерами (наприклад Googlebot) і по-різному інтерпретується пошуковими роботами, які її підтримують (наприклад, BingBot).

Правило Sitemap вказує пошукові системи на ваш XML-файл карти сайту. Рекомендуємо використовувати цю директиву, оскільки вона допоможе з відправкою створеної вами XML-карти сайту в Google Search Console або Bing Webmaster Tools. Але майте на увазі, що при використанні цієї директиви потрібно використовувати абсолютну URL-адресу для посилання на свою карту сайту (наприклад, Sitemap: https://www.example.com/sitemap_index.xml).

Приклади фрагментів robots.txt

Нижче розглянемо два приклади фрагментів, що ілюструють використання директив robots.txt, згаданих вище. Однак це лише приклади; Залежно від вашого веб-сайту може знадобитися інший набір правил. З урахуванням сказаного, погляньмо на фрагменти.

• Цей фрагмент прикладу забороняє доступ до всього каталогу /wp-admin/ для всіх роботів, за винятком файлу /wp-admin/admin-ajax.php, що знаходиться всередині.

User-Agent: *
Disallow: /wp-admin/
Дозволити: /wp-admin/admin-ajax.php

• Цей фрагмент забезпечує доступ до папки /wp-content/uploads/ для всіх роботів. При цьому забороняє доступ до папки /wp-content/plugins/, /wp-admin/ та /refer/, а також до файлу /readme.html для всіх ботів. У наведеному прикладі показаний правильний спосіб написання декількох правил; незалежно від того, відносяться вони до одного або різних типів, обов'язково вказуйте по одному в кожному рядку. Крім того, цей приклад фрагмента дозволяє посилатися на файл карти сайту, вказавши його абсолютну URL-адресу. Якщо вирішите використовувати його, не забудьте замінити частину www.example.com на фактичну URL-адресу вашого веб-сайту.

User-Agent: *
Allow: /wp-content/uploads/
Disallow: / wp-content / plugins /
Disallow: /wp-admin/
Заборонити: /readme.html
Disallow: / refer /

Sitemap: https://www.example.com/sitemap_index.xml

Тестування «robots.txt»

Після додавання директив, які відповідають вимогам вашого веб-сайту, вам слід запропонувати robots.txt WordPress. Таким чином, ви одночасно перевіряєте, що у файлі немає жодних синтаксичних помилок і переконайтеся, що відповідні області вашого веб-сайту були правильно дозволені або заборонені.

Щоб протестувати robots.txt на своєму веб-сайті, перейдіть на веб-сайт, присвячений SEO-тестування. Потім вставте будь-яку URL вашого сайту (URL домашньої сторінки, наприклад), виберіть User-agent (Googlebot, наприклад) і натисніть кнопку Test.

Якщо URL-адреса доступна для сканування, побачите зелений результат з написом Дозволено. В іншому випадку з'явиться повідомлення «Заборонено». Щоб підтвердити правильність директив сканування на своєму веб-сайті, можете повторити той самий процес для будь-якої кількості різних URL-адрес.

robots.txt – це текстовий файл, розташований у кореневому каталозі кожного сайту WordPress. Він містить директиви для пошукових роботів, які повідомляють їм, які частини веб-сайту слід сканувати, а які ні. Хоча цей файл за промовчанням є віртуальним, знання того, як створити його самостійно, буде корисним для пошукової оптимізації.

Тому ми розглянули різні способи створення фізичної версії та поділилися інструкціями щодо її редагування, торкнулися основних директив, які має містити robots.txt WordPress, та того, як перевірити правильність їх встановлення.

Джерело: qodeinteractive.com

Олексій Шевченко

редактор wpcafe

Вивчає сайтобудування з 2008 року. Практикуючий вебмайстер, що спеціалізується на створенні сайтів WordPress. Задати питання Олексію можна на https://profiles.wordpress.org/wpthemeus/