Google + фейсбук Вконтакті Twitter RSS

Файл robots.txt для блогу на WordPress — що це таке і як його скласти правильно

Дата: 29 березня 2013 Рубрика: Технічні поради по WP Коментарі: 18 коментарів

Всім читачам мої вітання! Продовжуємо говорити про блоги та їх налаштування — сьогодні розглянемо такий маленький файлик, як robots.txt для блогів на WordPress. Файлик маленький, але виконує надзвичайно важливу роботу, тому створення цього звіра необхідне одразу ж, після встановлення блогу та написання перших статей. Що це за файл такий, robots.txt, як він працює та що в ньому прописати?

Дуже багато блогерів нехтують цим файлом, а от цього робити не треба. Я спробую описати Вам без технічних понтів, на хлопський розум, що це за файл. Спілкуючись зі своїми друзями — блогерами, я помічаю одну цікаву штуку — існує великий відсоток людей, які знають про robots.txt, знають, що він вкрай необхідний, а от як працює — розуміють не завжди. Отже — поїхали.

Для початку, давайте визначимо, як працюють пошукові системи. Варто розуміти, що індексують Ваш блог не самі ПС, а їхні спеціальні програми — роботи, які заходять на Ваші ресурси, дивляться, з чого вони складаються, який матеріал на блозі та що можна додати у видачу пошукової машини.

Пошукові роботи мені нагадують добре вишколених, дресированих вівчарок, які повинні виконувати різні команди чітко та без заперечень. Що буде, коли таку вівчарку випустити на волю? Правильно, «бєспрєдєл», тому ці роботи повинні слухатись команд досвідченого дресирувальника, а саме таким дресирувальником виступає у нас файл robots.txt.

Коли пошукові роботи заходять на блог і не знаходять robots.txt, тобто не розуміють, яким командам підкорятись, вони починають індексувати все, що їм заманеться, що потрібно і що ні. Тому такий фал на блозі просто необхідний, а ще, вкрай важливо, правильно його створити.

Отже, уявляємо, що пошуковий робот заходить на наш блог і з висунутим язиком шукає robots.txt. При відсутності такого файлу, робот починає індексувати геть все, всі файли, папки, директорії, розділи, абсолютно все, що йому попадеться під лапи.

Це займає дуже багато часу. Якщо Ви подумаєте: «Ну і дідько з ним, що мені, шкода часу пошукового робота?» — то Ви будете дуже не праві. Справа в тому, що індексуючи всіляке сміття, робот може просто філонити та халявити і випускати з уваги ті сторінки, які точно повинні бути в індексі, у видачі пошукової системи.

Індексуючи Ваші архіви, різні профілі, теги, требеки, папки з плагінами ... він може «забути» проіндексувати статті з ключовими запитами, за якими Ви і просуваєте Ваш блог.

Ми, власники сайтів, блогів, залежимо від пошукових систем, що тут гріха таїти, тому змушені під них підлаштовуватись. А значить нам потрібно ось цим шпигунам, цій розвідці пошуковиків, точно вказати, що потрібно індексувати, а чого у видачі не конче. Яндекс чи Гугл, вже на основі доносів цих роботів, формують думку про наш ресурс та визначають, на яких позиціях в пошуку йому процвітати.

Надіюсь, що Вам тепер зрозуміло, що таке robots.txt. Це вказівки, команди пошуковим роботам, які визначають, що ті повинні проіндексувати, а що пропустити.

Давайте перейдемо, власне, до самого змісту файлу robots.txt, до його наповнення. Зараз всі збірки WordPress мають ці файли в стартових пакетах, але складені вони не зовсім так, як би нам того хотілось.

Тому перевірте, чи є у Вас в корені блогу файл robots.txt. Корінь блогу — це те місце, де знаходиться файл wp-config.php, як правило — це папка public_html або http_docs, в залежності від типу хостингу. Тобто, це папка, після відкриття якої, Ви бачите файли самого двигунця WordPress.

Якщо цей файл там є — копіюєте його собі на робочий стіл, якщо немає — відкриваєте звичайний блокнот або Notepad++. Далі я приведу Вам приклад того, що повинно бути в правильному файлі robots.txt, на новоствореному блозі. Якщо блог у Вас уже існує довший час, але з цим файлом Ви справи не мали — нічого, підійде, все буде працювати чудово.

Різниця між новим та бувалим блогом в тому, що на блозі, який існує певний час, можуть бути створені певні директорії, які необхідно закрити від індексування. Але основа повинна бути така, як я Вам приведу. Отже, сам вміст файлу robots.txt.

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
User-agent: Mediapartners-Google
Disallow:
 
User-agent: *
Disallow: /wp-admin
Disallow: /vote
Disallow: /vote/
Disallow: /buttons
Disallow: /buttons/
Disallow: /archive/
Disallow: /archive
Disallow: /blog/
Disallow: /blog
Disallow: /secret_archive/
Disallow: /secret_archive
Disallow: /share42/
Disallow: /share42
Disallow: /navigator
Disallow: /navigator/
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /xmlrpc.php
Disallow: /wp-content/uploads
Disallow: /wp-content/themes
Disallow: /trackback/
Disallow: /tag/
Disallow: /feed/
Disallow: */*/feed/*/
Disallow: */feed
Disallow: */*/feed
Disallow: /*?*
Disallow: /?feed=
Disallow: /?s=
Sitemap: http://webdigest.com.ua/sitemap.xml.gz
Sitemap: http://webdigest.com.ua/sitemap.xml
 
User-agent: Yandex
Disallow: /wp-admin
Disallow: /vote
Disallow: /vote/
Disallow: /buttons
Disallow: /buttons/
Disallow: /buttons/
Disallow: /archive/
Disallow: /archive
Disallow: /blog/
Disallow: /blog
Disallow: /secret_archive/
Disallow: /secret_archive
Disallow: /share42/
Disallow: /share42
Disallow: /navigator
Disallow: /navigator/
Disallow: /wp-includes
Disallow: /xmlrpc.php
Disallow: /wp-content/uploads
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback/
Disallow: /tag/
Disallow: /feed/
Disallow: */*/feed/*/
Disallow: */feed
Disallow: */*/feed
Disallow: /?feed=
Disallow: /*?*
Disallow: /?s=
Host: webdigest.com.ua

Завантажте архів з файлом, розпакуйте його і в самому robots.txt змініть адреси мого блогу на свої. копіюєте цей код та вставляєте його замість того, що був у Вас в стандартному файлі robots.txt. Якщо такого файлу у Вас не було, відповідно, вставляєте у відкритий текстовий документ та зберігаєте, як robots.txt.

Далі, все це діло закидуємо на хостинг, в корінь блогу. Замінюємо на новий, якщо такий файл був і просто копіюємо, якщо не було. Все. Далі просто пишемо статті, додаємо та налаштовуємо плагіни — запорука гарної індексації у нас вже є. Тепер пошукові вівчури Яндекса і Гугла будуть індексувати тільки те, що потрібно.

Бажаю Вам вдалого блогінгу та хорошої індексації Ваших постів.


З повагою, Олег Волощук.

Бажаєте отримувати повідомлення про публікацію нових статей на блозі? Підпишіться на RSS стрічку оновлень!

 

До запису "Файл robots.txt для блогу на WordPress — що це таке і як його скласти правильно" 18 коментарів

  1. Сергій коментує:

    Дякую. Корисна і потрібна стаття.

  2. Павло коментує:

    Вітаю, Олеже!

    Дякую за статтю. У мене робот Яндекса в останній обхід завантажив 602 статті, з них проіндексував 129. Треба й справді привести в порядок файл robots.txt. У мене тільки питання: це нічого, що у вас заборонено індексувати категорії? Якось я перевіряв у пошуку, так на першу сторінку за запитом «змієві вали» робот виніс саме категорію, а статті йшли далі, десь на другій-третій сторінках. Може, категорії треба залишити?

    • Олег Волощук коментує:

      Нічого страшного, навіть навпаки, таким чином ми вбережемось від дублювання контенту, нехай в пошуку будуть тільки статті — це найголовніше

  3. Павло коментує:

    І таке ще питання. У вас стоїть карта сайту для пошуковиків Google XML Sitemaps, і ще одна «для людей», але вона теж видає варіант для пошуковиків. Виходить, що робот спершу буде індексувати сайт по одній карті, а потім по другій. Тут дублювання не буде?

    • Олег Волощук коментує:

      Не буде, можете не перейматись, цей файл опробовуваний вже багатьма.

  4. Андрій коментує:

    Привіт, Олег.

    Стаття чудова все дуже зрозуміло, але в мене є одне АЛЕ. Які саме файли треба закривати від індексації, а то що не дуже зрозумів.

    Я бачу ти на сайті поставив якийсь чудовий плагін який не дозволяє копіювати твої матеріали це також добре і я за використання таких штук, але ось наприклад мені треба скопіювати твій файл робота але виходить проблема і я не можу це зробити,а переписувати якось не охота.Вибачай що замучив тебе питаннями і докорами, але не підкажеш як цей плагін зветься а то я зараз в процесі створення блогу і мені це б не пошкодило...дякую за увагу!

    P.S. Щось такий довгий комент вийшов :o

    • Олег Волощук коментує:

      Взагалі то доцільно закривати сторінки та папки, а які ... це вже дивіться що у Вас на блозі є зайвого. Наприклад,

      Disallow: /wp-content/plugins

      я закрив папку з плагінами від індексації. Чи ще, створили Ви на сервері папку archive, куди складаєте різні файли до завантаження — її також варто закрити.

      З файлом робота зараз вирішу, плагін тільки сьогодні поставив.

  5. Андрій коментує:

    Так і ще одне.Краще налаштуй як слід цей плагін, а то «пересуватись» по сайту стало досить неприємно...

  6. Андрій коментує:

    Ну просто мені не подобається все в однії вкладці читати...ну ви мене зрозуміли...ну це таке для кожного своє...

    • Олег Волощук коментує:

      Не зовсім, якщо чесно :smile: , поясніть, можливо я знайду рішення.

      • Андрій коментує:

        Просто наприклад відкриваєш сайт і натискаєш на різні рубрики і суть в тому щоб від кожної руюрики була окрума вкладка в браузері...ну якось так...але над цим особливо не зациклюйтеся...а от з копіюванням деяких частин статей треба буде подивитись ;-)

  7. Андрій коментує:

    Що порадите я хочу створити свій блог який хостинг і домен найкраще використати???І чи не поможете мені з темою для мого сайту, а то для мене дуже важко там розбиратись(основи знаю але...))

  8. Андрій коментує:

    До речі,вибачайте що я такий настирливий,але на сайті дата коментарів,а саме година не співпадає з дійсністю(ну це таке просто щоб ви знали)

Залишити свій коментар

;-) :| :x :twisted: :smile: :shock: :sad: :roll: :razz: :oops: :o :mrgreen: :lol: :idea: :grin: :evil: :cry: :cool: :arrow: :???: :?: :!:

Цікаве з блогу
Навігація
  • Інтерв’ю (3)
  • Конкурси (5)
  • Оголошення (10)
  • Особисте (17)
  • Плагіни для Wordpress (11)
  • Саморозвиток (6)
  • Технічні поради по WP (14)
Активні читачі
Павло(5)
Ad60(4)
Андрій(3)
Pavlofox(3)
MrVigner(2)
Олександр(1)
Пан П(1)
Віктор(1)
Спільнота блогу
Вгору