В результатах поиска появляются только те сайты, которые до этого были проиндексированы данной поисковой системой. Под индексацией в общем случае понимают посещение сайта поисковым роботом, который собрал всю информацию о сайте, а поисковая система ее проанализировала и внесла в свою базу данных.
Страница, которая занесена в индекс поисковика, будет отображена в результатах поиска по определенному запросу. Если страница в индексе отсутствует, это означает, что поисковой системе ничего о ней не известно и в результатах выдачи этой страницы не будет. Большинство среднестатистических сайтов объемом от нескольких десятков до нескольких сотен страниц обычно не испытывают проблем с индексацией в поисковых системах. Однако следует знать несколько моментов, которые нужно учитывать при создании и работе над сайтом.
Время для индексации нового или измененного сайта в зависимости от поисковой системы занимает от 2-3 дней до 2 недель, при этом самой быстрой в этом отношении является поисковая система Google. О новом сайте поисковик может узнать двумя способами.
Можно самостоятельно сообщить поисковой системе о своем сайте. Для этого в поисковиках предусмотрена специальная форма, в которую добавляется адрес нового сайта. Адрес попадает в очередь на индексацию и обрабатывается в соответствии с установленным порядком. При этом добавляется адрес только главной страницы сайта – по всем внутренним страницам поисковый робот пройдется по ссылкам самостоятельно.
Поисковый робот самостоятельно отыщет новый сайт. Для этого на сайте должна размещаться хотя бы одна внешняя ссылка на ресурс, уже проиндексированный поисковой системой. Индексируя в очередной раз такой ресурс, поисковый робот посетит для индексации и новый сайт. Этот вариант более предпочтителен по сравнению с ручным добавлением сайта, так как это проще и, как правило, занимает меньше времени. К тому же сайт уже будет иметь несколько внешних ссылок, что немаловажно для его продвижения.
В любом случае сайт нужно делать максимально дружественным и удобным для работы поисковых роботов. Для этого нужно соблюдать простые правила:
- На большинство внутренних страниц должна быть возможность попасть по ссылкам с главной страницы не более чем за 3 клика (перехода). Если на сайте несколько тысяч страниц или сложная, запутанная структура, следует делать специальную карту сайта, исправляющую данный недостаток.
- Не нужно использовать идентификаторы сессии, затрудняющие индексацию. Если без идентификаторов не обойтись, навигация по сайту должна быть реализована через скрипты, а ссылки должны быть дублированы обычным способом.
- Поисковые системы индексируют страницы объемом не более 100-200 кб или только начало страницы этим объемом. Остальная часть страницы не будет проиндексирована, поэтому следует избегать страниц большого объема или размещать важную информацию в начале таких страниц.
Иногда ракрутка сайтов может потребовать запретить индексацию поисковыми роботами определенной страницы. Это можно сделать с помощью специального файла robots.txt. С помощью тега «NOINDEX» также можно закрывать для индексации часть страницы, но этот тег работает только с российскими поисковыми системами. Процесс индексации сайта вебмастер может отслеживать по анализу лог-файлов сервера. В них хранится время всех визитов поискового робота. Для более удобного и быстрого анализа сегодня доступен ряд специализированных программ, о которых будет говориться ниже.
База данных поисковой системы постоянно обновляется – в нее добавляются или из нее удаляются новые страницы, поэтому число проиндексированных страниц на сайте может каждый раз быть разное. При этом очень редко бывает, что оказываются проиндексированными все страницы сайта. Наиболее распространенной причиной, по которой страница исчезает из индекса, является недоступный сервер. Поисковый робот пытается получить доступ к странице, но не может на нее попасть. После восстановления работоспособности сервера страница будет проиндексирована в обычном порядке. При этом нужно помнить, что переиндексация сайта происходит тем быстрее, чем больше внешних ссылок он имеет.