Итак, если вы хотите, чтоб ваш сайт попал в поиск и хорошо проиндексировался, а позже – был оптимизирован на пользовательские запросы, нужно знать следующее. У сайта для хорошего ранжирования должны быть непременно :
1. Файл robots.txt, в котором пишутся директивы для поисковых роботов. Как правило, в большинстве CMS ( готовых движков) файл robots.txt заложен в системе, но он не всегда учитывает все требования поисковых систем. К тому же эти требования в последнее время ужесточаются, а большинство популярных движков сделаны еще при Царе Горохе, когда все девки были хороши:-)) …. сайт можно было легко продвинуть за счет лишь одного контента ( уникального и оригинального содержания) и многие сегодняшние условности еще не были в ходу у поисковых роботов.
Поэтому первое требование для сайта в поиске – наличие правильного robots.txt, в котором после перечисления всех «можно» и «нельзя» как директив-указаний для поисковых роботов – что смотреть, а что – нет, есть обязательное упоминание основного зеркала сайта ( host) и – места, где искать карту сайта (sitemap.xml).
Следовательно, в файле robots.txt должны быть перечислены директивы Allow и Disallow, а так же – указан host и sitemap.xml.
Пример.
Возьмем первый попавшийся сайт, который выпрыгивает на первую страницу Яндекса по фразе «купить зефир». Я не пишу про рекламу ( про сайты, которые двигаются по рекламному Яндекс-Директ) и не делаю рекламу «зефирному сайту», все объективно и наглядно.
Вот так выглядит его robots.txt ( который, кстати, всегда располагается в корне сайта, то есть пишется непосредственно после наклонной палочки, после слеша, вот так «http://адрес-сайта.ru/robots.txt»)
User-agent: *
Disallow: /admin
Disallow: /back-office
Disallow: /cart
Disallow: */r/*
Disallow: */epp/*
Disallow: */by/*
Disallow: */rating
Disallow: */date
Disallow: */price/*
Disallow: */sort/*
Disallow: */asc
Disallow: */desc
Disallow: */all
Disallow: /?t=*
Disallow: /cabinet
Disallow: /login
Disallow: /tmp
Disallow: *search*
Host:
Sitemap:
Первая строчка User-agent: * говорит о том, что указания касаются всех роботов, которые забредут на сайт. (звездочка) И Яндекс, и Гугл, и остальные. Далее пошли директивы запрета(Disallow), не смотреть – папки администратора, папки с системными файлами и прочее, то, что не касается непосредственно содержания сайта для пользователя.
Благодаря правильно прописанным директивам в файле robots.txt поисковые роботы не будут тратить лишнюю энергию, и не будут «забивать себе голову» (если она у них есть) всякой, не относящейся к пользовательскому интересу информацией. А пользовательский интерес касается зефира. Значит, этот robots.txt предлагает роботам читать лишь о том, что на сайте предлагается много сладкого и нужного (что не запрещено, то разрешено), нужного именно посетителям сайта, которые находят его по фразе «купить зефир»
И в конце файла robots.txt, внизу – стоит важнейшая для Яндекса, например, строка, – host. Что считать главным зеркалом сайта, и каков его реальный адрес.
Host:
И плюс карта сайта – здесь поисковые роботы могут найти все, что касается содержания сайта, все и сразу.
Sitemap:
2. Соответственно, помимо файла robots.txt у сайта должна быть карта сайта в xml. Файл sitemap.xml . В популярных движках она создается системой, или – ее всегда можно сгенерировать с помощью онлайн-сервиса.
Для генерации карты сайта удобно использовать бесплатную службу
Там же можно сгенерировать карту сайта в html. Она очень нужна для лучшего ранжирования сайта. Это уже – «по мнению поисковых роботов» (если у них есть мнение) – Ваша забота о людях, о посетителях. Мол, если сайт предлагает карту сайта не только в xml( для поисковых роботов), но и – в html ( для людей), то этот сайт – молодец! И поощрить его нужно лучшей выдачей в поиске.
Если файл карты сайта в xml (sitemap.xml) работы находят сами (располагается так же как и robots.txt – в корне и пишется после слеша), то на местонахождение карты сайта для людей (в html или php) нужно дополнительно указать путь. На сайте, на каждой странице, должна быть ссылка на карту сайта «для людей», на файл sitemap.html. А где можно поставить эту ссылку? Правильно – в футере!
И еще она обязательно должна высвечиваться, когда посетитель видит Страницу Ошибки 404. Здесь – наличие карты сайта в html просто обязательно! Такие сейчас требования поисковиков. Отсюда – третье важнейшее требование для сайта, обеспечивающее его лучшую выдачу в поиске.
3. Правильно сделанная Страница Ошибки 404.
В это святое место посетитель попадает по устаревшей, не существующей или удаленной ссылке. Была раньше какая-то страница на сайте, теперь ее нет. Если вы, как владелец сайта, предусмотрели такую вероятность, что посетитель попадет на несуществующую страницу сайта, то вы должны обязательно удержать посетителя милыми извинениями, предложением поиска того, что он ищет, другими танцами с бубном.
Ссылка на карту сайта в html, php, любом другом «человекочитабельном» виде – повысит ваш статус в глазах поисковиков. Если вы продумали, как развлечь и направить по правильному пути заблудившегося посетителя, сделали с добром и любовью Страницу Ошибки 404 ( оформлена в дизайне сайта), назвали ее sitemap.html (или sitemap.php), то будет вам за это еще один бонус от поисковых систем.
4. Файл .htaccess – обряд изгнания дублей страниц.
Анализ сайта на его соответствие современным требованиям поисковиков включает в себя еще один необходимый в деле самостоятельного продвижения и раскрутки сайта обряд. Обряд экзорцизма – изгнание бесов-дублей. Дублей страниц, дублей всего контента, дублей главной страницы. Поясняю.
Для поисковика, который нашел страницу вашего сайта с уникальным материалом, одновременно обнаружил, что тот же самый прекрасный текст находится еще по 4 адресам. Представьте, что у вас на главной странице есть море ценной информации, которая принадлежит только вам и это самый, что ни на есть – уникальный текст.
Если вы никогда не задумывались на тему бесов-дублей и никогда не думали их изгонять, то ваш распрекрасный текст может быть так и не увиденным восхищенной публикой из-за того, что поисковики посчитали вас плагиатчиком. Причем стырили вы текст у себя самого, аж 4 раза! Но они об этом не догадываются.
Проверьте ваш сайт. Особо касается старых сайтов, старых доменов, которые делались еще повсеместно на www. Однако, новые сайты так же частенько грешат www-дублями.
Ваш сайт имеет адрес – saitik1.ru
Вы полагаете, что адрес вашего сайта
А потом, прочитав мой текст, идете проверять и видите, что он так же открывается по адресу
Главная страница вашего сайта – index.html (или index.php)
Открывается главная страница по адресу сайта
Но тоже самое содержание вы видите, когда открываете ваш сайт на главной странице по адресу сайта в сети!
То есть страницы
Это абсолютные близнецы-четверняшки! Для поисковых роботов, это разные страницы. Получается, что кто-то у кого-то тырит текст. Текст, картинки и прочее. А вор должен сидеть в тюрьме! это сегодня, ох как не поощряется.
И сайт с дублями страниц попадает в черный список, какой бы он ни был классный и умный.
Обряд экзорцизма (изгнание бесов-дублей) делается с помощью файла .htaccess
Да! Да! Он так и пишется – с точкой вначале. Это очень странный файл, но в то же время, этот файл – настоящий волшебник.
Вот что должно быть в этом файле, если вы хотите, чтоб ваш сайт открывался без www и не было дубля главной страницы. ( первые две строки после RewriteEngine On)
RewriteEngine On
RewriteCond %{THE_REQUEST} ^[A-Z]{3,9} /index.php HTTP
RewriteRule ^index.php$ http://ваш-сайт.ru/ [R=301,L]
RewriteCond %{HTTP_HOST} ^www.ваш-сайт.ru$ [NC]
RewriteRule ^(.*)$ http://ваш-сайт.ru/$1 [R=301,L]
ErrorDocument 404 /404.php
Следующие две строки указывают на то, что сайт больше не должен открываться по адресу www…
Последняя строчка указывает на местонахождение нашей страницы ошибки и как она называется. В данном случае – это 404.php, так страница и называется именно в этом случае.
То есть можно сказать, что файл .htaccess – это указующий перст, уже не для поисковиков, а для браузеров, как именно отображать ваш сайт. И куда производить перенаправление (редирект) для того, чтобы главная страница – index.html (или index.php) не путала поисковых роботов своим присутствием на сайте и не мешала восприятию главной и единственной страницы, с которой «начинается» сайт и где находится главный презентационный контент.
Идем далее. С robots.txt, с картами сайта ( в xml и в html ) справились, страницу ошибки ( 404) написали, избавились от дублей страниц.
Что еще должно быть на сайте как Отче Наш?
5. Описания страниц description, а так же заголовок страницы – title.
Если вы посмотрите на исходный код страницы сайта, то на каждой странице вы увидите мета-тег, описывающий страницу. Выглядит он примерно так.
meta name=”description” content=”Cайты с простым управлением на заказ недорого в Москве”
Понятно, что кто-то предлагает сделать сайты с простым управлением в Москве. И об этом страница. Это сигнал для поискового робота – о чем страница этого сайта. И он идет «читать» дальше.
Идеально, когда примерно такое же содержание содержится между тегами title. Заголовок страницы! Робот заинтригован, идет дальше и смотрит на соответствие заявленного. Соответствовать должны
Заголовки,(h1-h6)
Подзаголовки,(h1-h6)
Подписи к фото и альтернативный текст, который поисковик «видит» вместо фото( alt)
Сам контент ( содержание страницы, текст)
То есть содержание страницы должно быть грамотно структурировано, желательно – разделено подзаголовками, дополнено картинками с альтернативным текстом. Все. Если вы это соблюдаете, вас не в чем упрекнуть. Поисковик просто вынужден будет «подсунуть» ваш сайт (страницу) пытливому посетителю. Поисковые роботы, как ни крути, это слуги народа. Для этого они создавались, благодаря работе поисковых роботов мы находим в интернете нужную нам информацию.
Заключение:
Проблемы, связанные с плохой оптимизацией сайта (сайт не находится в сети по нужным запросам), конечно же шире, чем я описала. Есть еще понятие невалидного кода (засоренный код, сделанный с ошибками), есть понятие правильной разметки всего сайта (стандарт Schema), есть понятие конкуренции, которую никто не отменял. SEO – оптимизация – большая и серьезная тема, которая постоянно развивается, дополняется, усложняется и так далее.
В последнее время адаптивность сайта к мобильным устройствам – находится едва ли не на первом месте в новых стандартах ранжирования. Сайт не адаптивный? Плохо отображается в телефоне? До свидания! Каким бы прекрасным ни был сайт, его репутация рушится, если он «не вмещается» в крохотный экран телефона.
Хотите, чтоб ваш сайт был признан Яндексом? А вы включили информацию о сайте в Яндекс-справочник? А в каталог? А на Яндекс-картах организация присутствует? А в Гугл-Вебмастер есть информация о вашем сайте? Словом, это тема – для другого разговора, для следующего.
Но то, что сказано выше – 5 важных пунктов джентльменского набора любого современного сайта, который «хочет быть увиденным» – это святое. Это должно быть выполнено при любых обстоятельствах. Это азбука современного сайтостроения, которую следует вызубрить и выполнить.
