Якщо ви заглядали в серверну частину WordPress, то помітили налаштування: "Попросити пошукові системи не індексувати сайт", і запитали, що це означає. А можливо шукаєте спосіб приховати свій сайт від небажаних відвідувачів і задаєтеся питанням, чи достатньо цього маленького прапорця, щоб контент залишався конфіденційним.
Що означає ця опція і що саме вона робить із сайтом? І чому не слід покладатись на неї, якщо ви намагаєтеся приховати свій контент?
Відповіді на ці запитання та кілька способів закрити сайт від індексації та блокування доступу до певних сторінок будуть розглянуті нижче.
Як розуміти «Попросити пошукові системи не індексувати сайт»
Ви замислювалися, як пошукові системи індексують сайт та оцінюють його SEO? Вони роблять це за допомогою автоматизованої програми, яка називається павуком, також відомою як робот або краулер. Павуки «повзають» мережею, відвідуючи веб-сайти і реєструючи їх контент. Google використовує їх, щоб ранжувати та розміщувати веб-сайти в результатах пошуку, витягувати фрагменти тексту зі статей для сторінки результатів пошуку та вставляти зображення в Картинки Google.
Коли встановлюється прапорець "Попросити пошукові системи не індексувати сайт", WordPress змінює файл robots.txt (файл, який дає павукам інструкції про те, як сканувати сайт). А ще може додати метатег у заголовок сайту, який повідомляє Google та іншим пошуковим системам, що сайт чи будь-який контент закритий від індексації.
Ключове слово тут – «попросити»: пошукові системи не зобов'язані виконувати цей запит, особливо пошукові системи, які не використовують стандартний синтаксис robots.txt, який використовує Google.
Сканери, як і раніше, зможуть знайти ваш сайт. Але правильно налаштовані сканери прочитають файл robots.txt і підуть, не індексуючи контент і показуючи їх у результатах пошуку.
У минулому ця опція WordPress не заважала Google показувати веб-сайт у результатах пошуку, просто індексуючи його контент. Ви, як і раніше, можете бачити, що ваші сторінки відображаються в результатах пошуку з помилкою типу «Інформація для цієї сторінки недоступна» або «Опис цього результату недоступний через файл robots.txt сайту».
Хоча Google не індексував сторінку, він також не приховував її повністю. Ця аномалія призвела до того, що могли відвідувати сторінки, які їм не призначалися. Завдяки WordPress 5.3 він працює правильно, блокуючи як індексацію, так і лістинг сайту.
Уявляєте, як це зруйнує SEO сайту, якщо випадково буде увімкнено цей прапорець? Критично важливо використовувати цю опцію тільки в тому випадку, якщо ви дійсно не хочете, щоб будь-хто бачив контент – і навіть у цьому випадку це не єдиний захід, який потрібно вжити.
Чому іноді потрібно закрити сайт від індексації
Веб-сайти створені для того, щоб їх бачили люди: щоб читачі читали статті, купували продукти, споживали контент. Навіщо навмисно намагатись блокувати пошукові системи?
Є кілька причин, з яких потрібно приховати частину або весь свій сайт:
- Сайт знаходиться у розробці та не готовий до публікації.
- Використовуєте WordPress як систему управління контентом, але хочете, щоб цей контент залишався конфіденційним.
- Намагаєтеся приховати конфіденційну інформацію.
- Бажаєте, щоб сайт був доступний лише невеликій кількості людей за посиланням або лише через запрошення, а не через загальнодоступні сторінки пошуку.
- Плануєте розмістити певний контент для платного доступу (наприклад, статті, ексклюзивні пропозиції, інформаційні бюлетені).
- Хочете скоротити трафік до старих, застарілих статей.
- Намагаєтеся запобігти отриманню штрафів SEO на тестових сторінках або дублювання контенту.
Для деяких із цих пунктів є найкращі рішення – використання належного автономного сервера розробки, встановлення приватності статей або розміщення їх під паролем. Але є законні причини, через які необхідно закрити частину або весь свій сайт від індексації.
Як перевірити, чи не відлякує ваш сайт пошукові системи
Хоча можуть бути законні причини для закриття сайту від індексації, може бути жахливим шоком розуміння, що ви включили цей параметр без наміру або залишили його випадково включеним. Якщо трафік із сайту нульовий, то є підозра, що сайт не індексується. Як підтвердити це?
Один із простих способів – встановити прапорець «На очах» на головному екрані панелі адміністратора. Якщо бачите повідомлення «Пошукові системи не схвалюють» (Search Engines Discouraged), це налаштування активовано.
Ще надійніший спосіб – перевірити файл robots.txt. Це можна легко перевірити у браузері, навіть не заходячи на сайт.
Щоб перевірити robots.txt, додайте/robots.txtв кінці URL вашого сайту. Наприклад:https://namesite.com/robots.txt
Якщо бачите, Disallow: /отже, весь сайт заблоковано для індексації.
Якщо бачите, що Disallow:за ним слідує URL-шлях, наприклад Disallow: /wp-admin/, це означає, що будь-яка URL-адреса з /wp-admin/шляхом заблоковано. Така структура є нормальною для деяких сторінок, але якщо, наприклад, вона блокує /blog/сторінки, які потрібно проіндексувати, може викликати проблеми.
Тепер, коли WordPress використовує метатеги, а не robots.txt Для закриття сайту від індексації потрібно перевірити свій заголовок на наявність змін.
Увійдіть у свій бекенд і виберіть «Зовнішній вигляд» > « Редактор тем». Знайдіть заголовок теми (header.php) та наступний код:
<meta name='robots'content='noindex,nofollow'/>
Ще можете перевірити functions.php на наявність noindexтега, тому що через цей файл можна віддалено вставити код у заголовок.
Якщо знайдете цей код у своїх файлах теми, то сайт не індексується Google. Але замість того, щоб видаляти його вручну, спочатку спробуємо вимкнути вихідне налаштування.
Як перешкоджати індексації пошуковими системами у WordPress
Можна пропустити зайві кроки та одразу перейти до вихідних налаштувань, щоб активувати або деактивувати опцію «Попросити пошукові системи не індексувати сайт» у WordPress.
Увійдіть у свою панель управління WordPress і перейдіть до «Налаштування»>«Читання». Знайдіть параметр "Видимість для пошукових систем" з прапорцем "Попросити пошукові системи не індексувати сайт".
Якщо ви знайдете, що він уже увімкнений і хочете, щоб сайт був проіндексований, зніміть прапорець. Якщо збираєтеся заборонити індексування сайту, ставте прапорець (і запишіть десь замітку, що нагадує вимкнути його пізніше!).
Тепер натисніть «зберегти зміни», і все готове. Переіндексація сайту або його видалення з результатів пошуку може тривати деякий час.
Якщо сайт все ще закритий від індексації, можна видалити noindexкод із файлу заголовка або вручну відредагувати robots.txt, щоб усунути прапор «Disallow».
Це досить просто, але з яких причин слід уникати цього варіанта чи принаймні не повністю покладатися на нього?
Недоліки використання опції "Попросити пошукові системи не індексувати сайт"
Це здається простим – поставте галочку і ніхто не зможе побачити ваш сайт. Хіба цього мало?
Коли вмикаєте цей параметр або будь-який інший подібний до нього, він просто додає тег у заголовок або файл robots.txt. Як показують більш старі версії WordPress, які, як і раніше, дозволяють відображати ваш сайт у результатах пошуку, невеликий збій або інша помилка може призвести до того, що люди побачать ваші імовірно приховані сторінки.
Крім того, пошукові системи повинні виконати запит на заборону індексувати цей сайт. Основні пошукові системи, такі як Google та Bing, зазвичай виконують цю опцію. Але не всі пошукові системи використовують один і той же синтаксис robots.txt, і не всі павуки, що сканують Інтернет, надсилаються пошуковими системами.
Наприклад, одна із служб, що використовують пошукові роботи, – це Wayback Machine. А якщо контент проіндексований такою службою, він назавжди залишиться у мережі.
Можна думати, якщо на новому сайті немає посилань, то воно захищене від павуків, але це неправда. Існування на загальному сервері, надсилання електронного листа з посиланням на веб-сайт або навіть відвідування сайту в браузері (особливо Chrome) може відкрити цей сайт для сканування.
Якщо хочете приховати контент, не рекомендується просто додавати параметр і сподіватися, що він допоможе. Давайте прояснимо: якщо контент, який закритий від індексації, має конфіденційний або особистий характер, ні в якому разі не слід покладатися на robots.txt або метатег, щоб приховати його.
І останнє, але не менш важливе: ця опція повністю приховає сайт від пошукових систем, хоча в багатьох випадках потрібно закрити індексування лише певних сторінок.
Отже, що треба робити замість цього методу чи разом із ним?
Дивіться також:
Інші способи закрити сайт від індексації
Хоча варіант, що надається WordPress, зазвичай виконує свою роботу, у певних ситуаціях краще використовувати інші методи приховування контенту. Навіть сам Google каже, що не використовуйте robots.txt для приховання сторінок.
Поки сайт має доменне ім'я та знаходиться на загальнодоступному сервері, немає жодного способу гарантувати, що контент не буде видно або проіндексований пошуковими роботами, якщо ви не видалите його або не приховаєте за паролем чи вимогою входу до системи.
Проте, як краще приховати сайт чи певні сторінки?
Блокуйте пошукові системи за допомогою .htaccess
Хоча його реалізація функціонально така сама, як при простому використанні опції «Попросити пошукові системи не індексувати сайт», ви можете вручну використовувати .htaccess, щоб закрити індексування сайту
Використовуйте програму FTP / SFTP для доступу до сайту та відкриття файлу .htaccess, який зазвичай знаходиться в кореневій папці (перша папка, яку видно при відкритті сайту) або в public_html. Додайте цей код у файл і збережіть:
Header set X-Robots-Tag "noindex, nofollow"Примітка. Цей метод працює лише для серверів Apache. Сервери NGINX повинні замість цього коду додати інший код файлу .conf, який можна знайти в /etc/nginx/ (можете знайти тут приклад реалізації метатега):
add_header X-Robots-Tag "noindex, nofollow";Захист секретних сторінок паролем
Якщо є певні статті або сторінки, які пошукові системи не повинні індексувати, то найкращий спосіб закрити їх – захистити сайт паролем. Таким чином, тільки ви та бажані користувачі зможете бачити цей контент.
На щастя, ця функція вбудована в WordPress, тому встановлювати плагіни не потрібно. Просто перейдіть на Сторінки записів і натисніть ту, яку хочете приховати. Відредагуйте свою сторінку та знайдіть меню праворуч Статус та видимість > Видимість.
Якщо ви не використовуєте Gutenberg, процес буде аналогічним. Знайдіть таке ж меню у полі «Опублікувати». Змініть Видимість на «Захищено паролем» та введіть пароль, потім збережіть – і тепер контент прихований від широкої публіки.
Що робити, якщо захистити паролем весь власний веб-сайт не потрібно? А вимагати пароль кожної сторінки непрактично. Можна увімкнути захист паролем у Сайтах > Інструменти, зажадавши як ім'я користувача, і пароль.
В іншому випадку ви можете використовувати плагін обмеження контенту (наприклад, Захищений паролем). Встановіть та активуйте його, потім перейдіть у «Налаштування»>«Захищено паролем»І включіть«Статус захист паролем». Це дає більш тонкий контроль, дозволяючи занести до білого списку певні IP-адреси.
Примітка: на момент написання статті цей плагін не оновлювався понад 11 місяців. Він може більше не підтримуватися, що може спричинити проблеми сумісності з останніми версіями WordPress.
Встановіть плагін WordPress
Коли стандартної функціональності WordPress недостатньо, добрий плагін часто може вирішити ваші проблеми. Наприклад, якщо ви хочете не індексувати певні сторінки, а не весь сайт, у плагіна Yoast є така опція.
У Yoast SEO ви можете відкрити сторінку, яку хочете приховати, та знайти опцію на вкладці «Додатково' Дозволити пошуковим системам показувати цей запис у результатах пошуку? Змініть його на Ні, і сторінку буде закрито.
Повинні відзначити, що обидва плагіни покладаються на ті ж методи, що і варіант WordPress за замовчуванням, щоб закрити сайт від індексації пошуковими системами, і схильні до тих же недоліків. Деякі пошукові системи можуть не задовольнити ваш запит. Тому потрібно буде використовувати інші методи, якщо вам справді потрібно повністю приховати цей контент.
Інше рішення – заплатити за доступ до вашого контенту або приховати його за обов'язковим логіном. Плагіни Просте членство або Ultimate Member допоможуть створити безкоштовний чи платний контент членства.
Використовуйте проміжний сайт для тестування
При роботі над тестовими проектами або незавершеними веб-сайтами найкраще приховувати їх, використовуючи проміжний або сайт, що розробляється. Ці веб-сайти є приватними, часто розміщуються на локальному комп'ютері, до якого ніхто, крім вас та інших довірених осіб, не можуть отримати доступ.
Багато веб-хості нададуть прості в розгортанні проміжні сайти і дозволять відправити їх на власний загальнодоступний сервер, коли ви будете готові.
Якщо у вас немає доступу до простого способу створення проміжного сайту, плагін ПОСТАНОВКА WP може продублювати установку та перемістити її до папки для легкого доступу.
Використовуйте Google Search Console для тимчасового приховування веб-сайтів
Консоль пошуку Google – це служба, яка дозволяє заявити про право власності на веб-сайти. Це дозволяє тимчасово заблокувати Google від індексації певних сторінок.
Цей метод має кілька проблем: він ексклюзивний для Google (тому такі сайти, як Bing, не будуть порушені) і діє лише 6 місяців.
Але якщо потрібний швидкий і простий спосіб тимчасово видалити контент з результатів пошуку Google, це чудово впорається. Для цього потрібно додати сайт до Google Search Console, якщо його тап немає. Після цього відкрийте «Видалення»І виберіть«Тимчасове видалення»>«Новий запит». Потім натисніть «Видалити тільки цю URL-адресу» та вкажіть посилання на сторінку, яку хочете приховати.
Це надійний спосіб блокування контенту, але, знову ж таки, він працює виключно для Google і триває лише 6 місяців.
Є багато причин, через які потрібно закрити контент на своєму сайті, але використання опції «Попросити пошукові системи не індексувати сайт» – не найкращий спосіб переконатися, що такий контент не видно. Скористайтеся рекомендаціями, докладно наданими у цій статті, щоб закрити сайт від індексації.
Джерело: kinsta.com
Коментарі до запису: 0