Цена 1 часа рабочей силы, как правило снижается.
Размещения dofollow ссылок для индексации
Материал из m-17.info
(Различия между версиями)
Vladimir (Обсуждение | вклад) (→Пример 5) |
Vladimir (Обсуждение | вклад) (→Общие инструменты индексирования) |
||
| (70 промежуточных версий не показаны.) | |||
| Строка 2: | Строка 2: | ||
<small>/ [[17march_Users]] / [[Участник:Kernel Panic]] / [[Media development]] / [[Планирование позиций в SE]] /</small> | <small>/ [[17march_Users]] / [[Участник:Kernel Panic]] / [[Media development]] / [[Планирование позиций в SE]] /</small> | ||
---- | ---- | ||
| - | ==Создание и | + | ==Создание и первичное индексирование страниц== |
* Создаем страницы по примерам и начинаем индексировать например: проверкой url в Google Search Console для SE Google и webmaster.yandex для SE Yandex | * Создаем страницы по примерам и начинаем индексировать например: проверкой url в Google Search Console для SE Google и webmaster.yandex для SE Yandex | ||
| + | * Проверка и быстрая индексация страниц в Bing см. использование Bing webmaster tool | ||
| + | |||
==Пример 1== | ==Пример 1== | ||
| - | * [[Dofollow ссылки для сайта lotlov.com страница - промывка головок wf-7610]] | + | * Для линков в профилях [[Dofollow ссылки для сайта lotlov.com страница - промывка головок wf-7610]] + G + Y |
| - | + | * Для линков в профилях [[Dofollow ссылки для сайта lotlov.com страница - головка wf-7610 wf-7620]] + G + Y | |
| - | * [[Dofollow ссылки для сайта lotlov.com страница - головка wf-7610 wf-7620]] | + | * Для размещенных в профилях ссылок ''[[Dofollow ссылки для сайта blogpc.co страница - головка wf-7610 wf-7620]]'' при проверке URL в Search Console появилась ошибка и как итог получили надпись (дальше ОшибкаURL) - URL is on Google, but has issues |
| - | + | ||
| - | + | ||
| - | + | ||
| - | * ''[[Dofollow ссылки для сайта blogpc.co страница - головка wf-7610 wf-7620]]'' при проверке URL в Search Console появилась ошибка и как итог получили надпись (дальше ОшибкаURL) - URL is on Google, but has issues | + | |
Для выяснения где произошла ошибка переделываем страницу разделив содержание на 2 страницы: | Для выяснения где произошла ошибка переделываем страницу разделив содержание на 2 страницы: | ||
: Первая половина примера 4 (1/2 часть) ''[[Ссылки 1 для сайта blogpc.co страница - головка wf-7610 wf-7620]]'' | : Первая половина примера 4 (1/2 часть) ''[[Ссылки 1 для сайта blogpc.co страница - головка wf-7610 wf-7620]]'' | ||
| - | : Вторая половина примера 4 (1/2 часть) '''[[ссылки 2 для сайта blogpc.co страница - головка wf-7610 wf-7620]]''' | + | : Вторая половина примера 4 (1/2 часть) '''[[ссылки 2 для сайта blogpc.co страница - головка wf-7610 wf-7620]]''' +G + Y |
При проверке в SE Console опять ОшибкаURL по страницы с первой половиной примера 4, выделено косым шрифтом, вторая страница прошла без ошибок выделено жирным шрифтом. Переделываем страницу снова разделив содержание на две страницы: | При проверке в SE Console опять ОшибкаURL по страницы с первой половиной примера 4, выделено косым шрифтом, вторая страница прошла без ошибок выделено жирным шрифтом. Переделываем страницу снова разделив содержание на две страницы: | ||
: Половина 1/2 части 1 примера 4 ''[[Ссылки 4.1.1 для сайта blogpc.co страница - головка wf-7610 wf-7620]]'' | : Половина 1/2 части 1 примера 4 ''[[Ссылки 4.1.1 для сайта blogpc.co страница - головка wf-7610 wf-7620]]'' | ||
| - | : Половина 1/2 части 1 примера 4 '''[[Ссылки 4.1.2 для сайта blogpc.co страница - головка wf-7610 wf-7620]]''' | + | : Половина 1/2 части 1 примера 4 '''[[Ссылки 4.1.2 для сайта blogpc.co страница - головка wf-7610 wf-7620]]''' + G + Y |
При проверке в SE Console третья ОшибкаURL по страницы с первой половиной части 1 примера 4, выделено косым шрифтом, вторая страница прошла без ошибок выделено жирным шрифтом. Переделываем страницу снова разделив содержание на две страницы: | При проверке в SE Console третья ОшибкаURL по страницы с первой половиной части 1 примера 4, выделено косым шрифтом, вторая страница прошла без ошибок выделено жирным шрифтом. Переделываем страницу снова разделив содержание на две страницы: | ||
: Первая половина части 1/2 примера 4 ''[[Ссылки 4.1.1.1 для сайта blogpc.co страница - головка wf-7610 wf-7620]]'' | : Первая половина части 1/2 примера 4 ''[[Ссылки 4.1.1.1 для сайта blogpc.co страница - головка wf-7610 wf-7620]]'' | ||
| - | : Вторая половина части 1/2 примера 4 '''[[Ссылки 4.1.1.2 для сайта blogpc.co страница - головка wf-7610 wf-7620]]''' | + | : Вторая половина части 1/2 примера 4 '''[[Ссылки 4.1.1.2 для сайта blogpc.co страница - головка wf-7610 wf-7620]]''' + G + Y |
При проверке в SE Console четвертая ОшибкаURL по страницы с первой половиной части 1 примера 4, выделено косым шрифтом, вторая страница прошла без ошибок выделено жирным шрифтом. Переделываем страницу снова разделив содержание на две страницы: | При проверке в SE Console четвертая ОшибкаURL по страницы с первой половиной части 1 примера 4, выделено косым шрифтом, вторая страница прошла без ошибок выделено жирным шрифтом. Переделываем страницу снова разделив содержание на две страницы: | ||
: Половина части 1/2 примера 4 ''[[Ссылки 4.1.1.1.1 для сайта blogpc.co страница - головка wf-7610 wf-7620]]'' | : Половина части 1/2 примера 4 ''[[Ссылки 4.1.1.1.1 для сайта blogpc.co страница - головка wf-7610 wf-7620]]'' | ||
| - | : Половина части 1/2 примера 4 '''[[Ссылки 4.1.1.1.2 для сайта blogpc.co страница - головка wf-7610 wf-7620]]''' | + | : Половина части 1/2 примера 4 '''[[Ссылки 4.1.1.1.2 для сайта blogpc.co страница - головка wf-7610 wf-7620]]''' + G + Y |
При проверке в SE Console в пятой части найдена ОшибкаURL по страницы с первой половиной части 1 примера 4, выделено косым шрифтом. Переделываем страницу снова разделив содержание на две страницы. При этом страницу ошибкой визуально просматриваем переформатируем и перепроверяем. Вторая страница прошла без ошибок выделено жирным шрифтом.: | При проверке в SE Console в пятой части найдена ОшибкаURL по страницы с первой половиной части 1 примера 4, выделено косым шрифтом. Переделываем страницу снова разделив содержание на две страницы. При этом страницу ошибкой визуально просматриваем переформатируем и перепроверяем. Вторая страница прошла без ошибок выделено жирным шрифтом.: | ||
| - | : Половина части 1/2 примера 4 [[Ссылки 4.1.1.1.1.1 для сайта blogpc.co страница - головка wf-7610 wf-7620]] | + | : Половина части 1/2 примера 4 [[Ссылки 4.1.1.1.1.1 для сайта blogpc.co страница - головка wf-7610 wf-7620]] + G + Y |
| - | : Половина части 1/2 примера 4 [[Ссылки 4.1.1.1.1.2 для сайта blogpc.co страница - головка wf-7610 wf-7620]] | + | : Половина части 1/2 примера 4 [[Ссылки 4.1.1.1.1.2 для сайта blogpc.co страница - головка wf-7610 wf-7620]] + G + Y |
| - | + | ||
SE Console ошибок не показал. | SE Console ошибок не показал. | ||
| + | |||
| + | * Для ссылок в профилях [[Dofollow ссылки lotlov.com страница - таракан средство]] + G | ||
| + | |||
| + | ==Пример 2== | ||
| + | * Для трастовых ссылок [[Dofollow ссылки для сайта lotlov.com головка wf-7610 wf-7620]] + G | ||
| + | |||
| + | ==Пример 3== | ||
| + | * Для размещенных безанкорных ссылок [[Dofollow ссылки для сайта stolet.tv страница - таракан средство]] + G + Y | ||
| + | |||
| + | == Пример 4== | ||
| + | * Для индексации размещенных линков на форумах [[Dofollow ссылки на форумах для lotlov.com промывка головки]] + G | ||
| + | * Для индексации размещенных линков на форумах [[Dofollow ссылки на форумах lotlov.com таракан средство]] + G + Y | ||
==Пример 5== | ==Пример 5== | ||
| - | * [[Dofollow ссылки для сайта blogpc.co страница - usb ssd диск]] | + | * Для ссылок размещенных в профилях [[Dofollow ссылки для сайта blogpc.co страница - usb ssd диск]] + G + Y |
| - | + G | + | |
==Пример 6== | ==Пример 6== | ||
| - | * [[Dofollow ссылки для сайта blogpc.co общие для сайта]] | + | * Для размещенных в каталогах [[Dofollow ссылки для сайта blogpc.co общие для сайта]] + G + Y |
| + | |||
==Проверка== | ==Проверка== | ||
| - | * Проверить индексацию ссылок возможно сервисами https://serphunt.ru/indexing/ | + | * Проверить индексацию ссылок возможно сервисами https://serphunt.ru/indexing/ https://raskruty.ru/tools/index/ prozavr.ru |
| + | |||
| + | ==Индексирование страниц дополнительными инструментами== | ||
| + | ===Общие инструменты индексирования=== | ||
| + | * Перелинковка, если вы имеете доступ к проекту уровнем начиная с ИКС10 можете поставить линк на необходимую страницу с первой страницы вашего проекта. | ||
| + | * Второй уровень создания страниц с Dofollow ссылками и их индексация с использованием Google Search Console и webmaster.yandex | ||
| + | * См. также indexgator.com всего за 3 рубля помогает достигнуть нужного эффекта, хорошо подходит для сайтов с редким графиком добавления новых публикаций. Услугами данного сайта в качестве ускорителя индексации многие довольны. ''(До введения яндексом показателя ИКС можно было использовать сервисы getbot.guru (если индексации не было возвращали средства, сайт закрыт)''. | ||
| + | * Воспользоваться платным размещением ссылок до 50 руб. - (simplireg.com качество по трастовым ссылкам не очень однако для массовости подойдет), (topliv.com кидалово, не дает списка сайтов по размещенным статьям, заказ по размещению статей на 3750 руб от 20.04.2020 не сделали, на апрель 2020 многие на форумах дают резко отрицательные отзывы, по указанным емейлам скайп и прочими контактами на связь не выходят), proftrust.ru proflinks.ru 5bucks.ru, от 350 руб. - http://on-links.ru/ и seodrom.ru, от 500 руб. - ispolnu.ru Avtoprogon.ru kwork.ru | ||
| + | * [[Размещение линков в Социальных закладках]]. | ||
| + | * Одним из эффективных считается постинг ссылки на новые странички в прокаченные Твиттер аккаунты. С помощью специальных программ типа [http://www.twidium.com/ Twidium Accounter] можно «прокачать» нужное вам количество твиттер аккунтов и уже с их помощью быстро загонять в индекс поисковых систем новые страницы сайта. Если у вас нет возможности постить ссылки в прокаченные аккаунты Твиттера самостоятельно, можно купить такие посты через специальные биржи ([https://ru.epicstars.com/ epicstars] etc.). Один пост с вашей ссылкой в среднем будет стоить от 3-4 рублей и выше (в зависимости от крутости выбранного аккаунта). Но этот вариант будет довольно дорогим. Оптимальный вариант по цене также можно подобрать здесь: '''[[SMM - Blog/jj/ youtube & social chanels, facebook etc.]]''' | ||
| + | * Можно воспользоваться сервисом [http://socialhammer.com социального продвижения] и добавлять линки на необходимые страницы в программу '''Pingxpertfree''', которая раскидывает ссылки по своей базе сайтов в интернет. Их еще называют rss ленты, что также улучшит индексацию. | ||
| + | |||
| + | ===Инструменты индексирования в Google=== | ||
| + | * Закупка внешних линков на биржах ссылок для индексации в google, что имеет более значительную стоимость и помогает не только достигнуть нужного эффекта а также улучшает общее SEO сайта. | ||
| + | * Воспользоваться сервисасми linkbox.pro add-my-url.com услуги Google Ad Url | ||
| + | * Использовать Телеграм бот Webmaster BOT 1 руб ссылка | ||
| + | * Осуществить рекламную компанию в GoogleAds за минимальную стоимость. | ||
| + | * Twitter: работает c индексацией менее 3% ссылок. | ||
| + | * Для ссылок Tier2, Tier3: годятся любые инструменты типа Xrumer, Senuke Xcr и т.д., но избавляться от footprint-ов дорого для целей индексации. | ||
| + | * Дорвеи: хороший дорогой метод, одни те же домены нельзя использовать для индексации постоянно, т.к. они быстро попадают в бан. | ||
| + | * 301: linkbox.pro/ru/google-addurl несколько трастовых сайтов без футпринтов – добавляем URL с редиректом в GSC и отправляем на индексацию. SE Google обходит страницы которые отдают 301, что повышает вероятность добавления ее в поиск. | ||
| + | |||
| + | ===Инструменты индексирования в Yandex=== | ||
| + | * Для индексации в яндексе можно использовать индексер https://banochkin.com/tools/indexer/ | ||
| + | * Плагин Indexer | ||
| + | * Закупка внешних линков на биржах ссылок для индексации в yandex, что имеет более значительную стоимость и помогает не только достигнуть нужного эффекта а также улучшает общее SEO сайта. | ||
| + | * Размещение двух обратных ссылок из twitera и ЖЖ | ||
| + | * См. также indexgator.com всего за 3 рубля помогает достигнуть нужного эффекта, хорошо подходит для сайтов с редким графиком добавления новых публикаций. Услугами данного сайта в качестве ускорителя индексации многие довольны. | ||
| + | * Осуществить рекламную компанию в direct.yandex минимальная стоимость 80 руб. | ||
| + | * Самая лучшая, но и трудная рекомендация – это поселить быстробот Яндекса на своем сайте. Для этого желательно каждый день добавлять на сайт свежие материалы. Желательно 2-3 и более материалов. Причем добавлять их не сразу все одновременно, а через некоторое время, например, утром, днем и вечером. Еще лучше было бы соблюдать примерно одинаковый график публикаций (примерно выдерживать одно и то же время добавления новых материалов). Также многие рекомендуют создать RSS ленту сайта, чтобы поисковые роботы могли считывать обновления прямо с нее. Естественно, далеко не все смогут в таких объемах добавлять новые материалы на сайт – хорошо, если получится добавлять 2-3 материала в неделю. В таком случае о быстроботе Яндекса можно особо не мечтать, а пытаться загонять в индекс новые странички другими способами. | ||
| + | == Дополнительно == | ||
| + | * Обязательно смотрите раздел '''[[Индексация страниц роботами google и yandex]]''' | ||
| + | |||
| + | |||
| + | |||
---- | ---- | ||
Текущая версия на 14:40, 12 мая 2020
/ 17march_Users / Участник:Kernel Panic / Media development / Планирование позиций в SE /
Содержание |
[править] Создание и первичное индексирование страниц
- Создаем страницы по примерам и начинаем индексировать например: проверкой url в Google Search Console для SE Google и webmaster.yandex для SE Yandex
- Проверка и быстрая индексация страниц в Bing см. использование Bing webmaster tool
[править] Пример 1
- Для линков в профилях Dofollow ссылки для сайта lotlov.com страница - промывка головок wf-7610 + G + Y
- Для линков в профилях Dofollow ссылки для сайта lotlov.com страница - головка wf-7610 wf-7620 + G + Y
- Для размещенных в профилях ссылок Dofollow ссылки для сайта blogpc.co страница - головка wf-7610 wf-7620 при проверке URL в Search Console появилась ошибка и как итог получили надпись (дальше ОшибкаURL) - URL is on Google, but has issues
Для выяснения где произошла ошибка переделываем страницу разделив содержание на 2 страницы:
- Первая половина примера 4 (1/2 часть) Ссылки 1 для сайта blogpc.co страница - головка wf-7610 wf-7620
- Вторая половина примера 4 (1/2 часть) ссылки 2 для сайта blogpc.co страница - головка wf-7610 wf-7620 +G + Y
При проверке в SE Console опять ОшибкаURL по страницы с первой половиной примера 4, выделено косым шрифтом, вторая страница прошла без ошибок выделено жирным шрифтом. Переделываем страницу снова разделив содержание на две страницы:
- Половина 1/2 части 1 примера 4 Ссылки 4.1.1 для сайта blogpc.co страница - головка wf-7610 wf-7620
- Половина 1/2 части 1 примера 4 Ссылки 4.1.2 для сайта blogpc.co страница - головка wf-7610 wf-7620 + G + Y
При проверке в SE Console третья ОшибкаURL по страницы с первой половиной части 1 примера 4, выделено косым шрифтом, вторая страница прошла без ошибок выделено жирным шрифтом. Переделываем страницу снова разделив содержание на две страницы:
- Первая половина части 1/2 примера 4 Ссылки 4.1.1.1 для сайта blogpc.co страница - головка wf-7610 wf-7620
- Вторая половина части 1/2 примера 4 Ссылки 4.1.1.2 для сайта blogpc.co страница - головка wf-7610 wf-7620 + G + Y
При проверке в SE Console четвертая ОшибкаURL по страницы с первой половиной части 1 примера 4, выделено косым шрифтом, вторая страница прошла без ошибок выделено жирным шрифтом. Переделываем страницу снова разделив содержание на две страницы:
- Половина части 1/2 примера 4 Ссылки 4.1.1.1.1 для сайта blogpc.co страница - головка wf-7610 wf-7620
- Половина части 1/2 примера 4 Ссылки 4.1.1.1.2 для сайта blogpc.co страница - головка wf-7610 wf-7620 + G + Y
При проверке в SE Console в пятой части найдена ОшибкаURL по страницы с первой половиной части 1 примера 4, выделено косым шрифтом. Переделываем страницу снова разделив содержание на две страницы. При этом страницу ошибкой визуально просматриваем переформатируем и перепроверяем. Вторая страница прошла без ошибок выделено жирным шрифтом.:
- Половина части 1/2 примера 4 Ссылки 4.1.1.1.1.1 для сайта blogpc.co страница - головка wf-7610 wf-7620 + G + Y
- Половина части 1/2 примера 4 Ссылки 4.1.1.1.1.2 для сайта blogpc.co страница - головка wf-7610 wf-7620 + G + Y
SE Console ошибок не показал.
- Для ссылок в профилях Dofollow ссылки lotlov.com страница - таракан средство + G
[править] Пример 2
- Для трастовых ссылок Dofollow ссылки для сайта lotlov.com головка wf-7610 wf-7620 + G
[править] Пример 3
- Для размещенных безанкорных ссылок Dofollow ссылки для сайта stolet.tv страница - таракан средство + G + Y
[править] Пример 4
- Для индексации размещенных линков на форумах Dofollow ссылки на форумах для lotlov.com промывка головки + G
- Для индексации размещенных линков на форумах Dofollow ссылки на форумах lotlov.com таракан средство + G + Y
[править] Пример 5
- Для ссылок размещенных в профилях Dofollow ссылки для сайта blogpc.co страница - usb ssd диск + G + Y
[править] Пример 6
- Для размещенных в каталогах Dofollow ссылки для сайта blogpc.co общие для сайта + G + Y
[править] Проверка
- Проверить индексацию ссылок возможно сервисами https://serphunt.ru/indexing/ https://raskruty.ru/tools/index/ prozavr.ru
[править] Индексирование страниц дополнительными инструментами
[править] Общие инструменты индексирования
- Перелинковка, если вы имеете доступ к проекту уровнем начиная с ИКС10 можете поставить линк на необходимую страницу с первой страницы вашего проекта.
- Второй уровень создания страниц с Dofollow ссылками и их индексация с использованием Google Search Console и webmaster.yandex
- См. также indexgator.com всего за 3 рубля помогает достигнуть нужного эффекта, хорошо подходит для сайтов с редким графиком добавления новых публикаций. Услугами данного сайта в качестве ускорителя индексации многие довольны. (До введения яндексом показателя ИКС можно было использовать сервисы getbot.guru (если индексации не было возвращали средства, сайт закрыт).
- Воспользоваться платным размещением ссылок до 50 руб. - (simplireg.com качество по трастовым ссылкам не очень однако для массовости подойдет), (topliv.com кидалово, не дает списка сайтов по размещенным статьям, заказ по размещению статей на 3750 руб от 20.04.2020 не сделали, на апрель 2020 многие на форумах дают резко отрицательные отзывы, по указанным емейлам скайп и прочими контактами на связь не выходят), proftrust.ru proflinks.ru 5bucks.ru, от 350 руб. - http://on-links.ru/ и seodrom.ru, от 500 руб. - ispolnu.ru Avtoprogon.ru kwork.ru
- Размещение линков в Социальных закладках.
- Одним из эффективных считается постинг ссылки на новые странички в прокаченные Твиттер аккаунты. С помощью специальных программ типа Twidium Accounter можно «прокачать» нужное вам количество твиттер аккунтов и уже с их помощью быстро загонять в индекс поисковых систем новые страницы сайта. Если у вас нет возможности постить ссылки в прокаченные аккаунты Твиттера самостоятельно, можно купить такие посты через специальные биржи (epicstars etc.). Один пост с вашей ссылкой в среднем будет стоить от 3-4 рублей и выше (в зависимости от крутости выбранного аккаунта). Но этот вариант будет довольно дорогим. Оптимальный вариант по цене также можно подобрать здесь: SMM - Blog/jj/ youtube & social chanels, facebook etc.
- Можно воспользоваться сервисом социального продвижения и добавлять линки на необходимые страницы в программу Pingxpertfree, которая раскидывает ссылки по своей базе сайтов в интернет. Их еще называют rss ленты, что также улучшит индексацию.
[править] Инструменты индексирования в Google
- Закупка внешних линков на биржах ссылок для индексации в google, что имеет более значительную стоимость и помогает не только достигнуть нужного эффекта а также улучшает общее SEO сайта.
- Воспользоваться сервисасми linkbox.pro add-my-url.com услуги Google Ad Url
- Использовать Телеграм бот Webmaster BOT 1 руб ссылка
- Осуществить рекламную компанию в GoogleAds за минимальную стоимость.
- Twitter: работает c индексацией менее 3% ссылок.
- Для ссылок Tier2, Tier3: годятся любые инструменты типа Xrumer, Senuke Xcr и т.д., но избавляться от footprint-ов дорого для целей индексации.
- Дорвеи: хороший дорогой метод, одни те же домены нельзя использовать для индексации постоянно, т.к. они быстро попадают в бан.
- 301: linkbox.pro/ru/google-addurl несколько трастовых сайтов без футпринтов – добавляем URL с редиректом в GSC и отправляем на индексацию. SE Google обходит страницы которые отдают 301, что повышает вероятность добавления ее в поиск.
[править] Инструменты индексирования в Yandex
- Для индексации в яндексе можно использовать индексер https://banochkin.com/tools/indexer/
- Плагин Indexer
- Закупка внешних линков на биржах ссылок для индексации в yandex, что имеет более значительную стоимость и помогает не только достигнуть нужного эффекта а также улучшает общее SEO сайта.
- Размещение двух обратных ссылок из twitera и ЖЖ
- См. также indexgator.com всего за 3 рубля помогает достигнуть нужного эффекта, хорошо подходит для сайтов с редким графиком добавления новых публикаций. Услугами данного сайта в качестве ускорителя индексации многие довольны.
- Осуществить рекламную компанию в direct.yandex минимальная стоимость 80 руб.
- Самая лучшая, но и трудная рекомендация – это поселить быстробот Яндекса на своем сайте. Для этого желательно каждый день добавлять на сайт свежие материалы. Желательно 2-3 и более материалов. Причем добавлять их не сразу все одновременно, а через некоторое время, например, утром, днем и вечером. Еще лучше было бы соблюдать примерно одинаковый график публикаций (примерно выдерживать одно и то же время добавления новых материалов). Также многие рекомендуют создать RSS ленту сайта, чтобы поисковые роботы могли считывать обновления прямо с нее. Естественно, далеко не все смогут в таких объемах добавлять новые материалы на сайт – хорошо, если получится добавлять 2-3 материала в неделю. В таком случае о быстроботе Яндекса можно особо не мечтать, а пытаться загонять в индекс новые странички другими способами.
[править] Дополнительно
- Обязательно смотрите раздел Индексация страниц роботами google и yandex
