Пятница
29.03.2024
03:13
Поиск
Календарь
«  Январь 2010  »
ПнВтСрЧтПтСбВс
    123
45678910
11121314151617
18192021222324
25262728293031
Архив записей
Наш опрос
Оцените мой сайт
Всего ответов: 48
Друзья сайта
  • Мы на YouTube
  • SeNDez_rU
  • Mister_Wong
  • Мы на Бодре
  • Всё самое интересное
  • Студия Артемия Лебедева
  • sergeyzabolotny.livejournal.com
  • stigen-ihor.livejournal.com
  • Статистика

    Nice Design Studio - создание, продвижение, оптимизация

    Главная » 2010 » Январь » 16 » На этой странице решил поделиться опытом, как сделать, чтобы ваш сайт был проиндексирован Rambler.
    16:58
    На этой странице решил поделиться опытом, как сделать, чтобы ваш сайт был проиндексирован Rambler.
    Рамблер, как и другие поисковые машины, для поиска и индексации интернет-ресурсов использует программу-робот. Робот скачивает документы, выставленные в Интернет, находит в них ссылки на другие документы, скачивает вновь найденные документы и находят в них ссылки, и так далее, пока не обойдет весь интересующий его участок Сети.

    Когда робот-индексатор поисковой машины приходит на web-сайт (к примеру, на http://www.rambler.ru/), он прежде всего проверяет, нет ли в корневом каталоге сайта служебного файла robots.txt (в нашем примере - http://www.rambler.ru/robots.txt).

    Если робот обнаруживает этот документ, все дальнейшие действия по индексированию сайта осуществляются в соответствии с указаниями robots.txt. Вы можете запретить доступ к определенным каталогам и/или файлам своего сайта любым роботам-индексаторам или же роботам конкретной поисковой системы.

    Правда, инструкциям файла robots.txt (как и meta-тегов Robots, см. ниже) следуют только так называемые "вежливые" роботы - к числу которых робот-индексатор Рамблера, разумеется, относится.

    Размещение файла robots.txt

    Робот ищет robots.txt только в корневом каталоге Вашего сервера. Под именем сервера здесь понимаются доменное имя и, если он есть, порт.

    Размещать на сайте несколько файлов robots.txt, размещать robots.txt в подкаталогах (в том числе подкаталогах пользователей типа www.hostsite.ru/~user1/) бессмысленно: "лишние" файлы просто не будут учтены роботом. Таким образом, вся информация о запретах на индексирование подкаталогов сайта должна быть собрана в едином файле robots.txt в "корне" сайта.

    Имя robots.txt должно быть набрано строчными (маленькими) буквами, поскольку имена интернет-ресурсов (URI) чувствительны к регистру.

    Ниже приведён пример правильного размещения robots.txt.

    User-agent: *
    Disallow: /photo/
    Disallow: /pobeda/
    Disallow: /db/auth/
    Disallow: /db/comp/items.html
    Disallow: /cgi-bin/
    Disallow: /srch
    Disallow: /lite

    # Инструкции для всех роботов
    User-agent: *
    Disallow: /

    # Инструкции для робота Рамблера
    User-agent: StackRambler
    Disallow:

    Группы инструкций для отдельных роботов: User-agent

    Любой файл robots.txt состоит из групп инструкций. Каждая из них начинается со строки User-agent, указывающей, к каким роботам относятся следующие за ней инструкции Disallow.

    Для каждого робота пишется своя группа инструкций. Это означает, что робот может быть упомянут только в одной строке User-agent, и в каждой строке User-agent может быть упомянут только один робот.

    Исключение составляет строка User-agent: *. Она означает, что следующие за ней Disallow относятся ко всем роботам, кроме тех, для которых есть свои строки User-agent.

    Инструкции: Disallow

    В каждой группе, вводимой строкой User-agent, должна быть хотя бы одна инструкция Disallow. Количество инструкций Disallow не ограничено.

    Строка "Disallow: /dir" запрещает посещение всех страниц сервера, полное имя которых (от корня сервера) начинается с "/dir". Например: "/dir.html", "/dir/index.html", "/directory.html".

    Чтобы запрещать посещение именно каталога "/dir", инструкция должна иметь вид: "Disallow: /dir/".

    Для того, чтобы инструкция что-либо запрещала, указанный в ней путь должен начинаться с "/". Соответственно, инструкция "Disallow:" не запрещает ничего, то есть все разрешает.

    Внимание: точно так же и инструкции "Disallow: *", "Disallow: *.doc", "Disallow: /dir/*.doc" не запрещают ничего, поскольку файлов, имя которых начинается со звездочки или содержит ее, не существует! Использование регулярных выражений в строках Disallow, равно как и в файле robots.txt вообще, не предусмотрено.

    К сожалению, инструкций Allow в файлах robots.txt не бывает. Поэтому даже если закрытых для индексирования документов очень много, Вам все равно придется перечислять именно их, а не немногочисленные "открытые" документы. Продумайте структуру сайта, чтобы закрытые для индексирования документы были собраны по возможности в одном месте.

    Пустые строки и комментарии

    Пустые строки допускаются между группами инструкций, вводимыми User-agent.

    Инструкция Disallow учитывается, только если она подчинена какой-либо строке User-agent - то есть если выше нее есть строка User-agent.

    Любой текст от знака решетки "#" до конца строки считается комментарием и игнорируется.

    Использование META-тегов "Robots"

    В отличие от файлов robots.txt, описывающих индексацию сайта в целом, тег управляет индексацией конкретной web-страницы. При этом роботам можно запретить не только индексацию самого документа, но и проход по имеющимся в нем ссылкам.

    Инструкции по индексации записываются в поле content. Возможны следующие инструкции:

    NOINDEX - запрещает индексирование документа;
    NOFOLLOW - запрещает проход по ссылкам, имеющимся в документе;
    INDEX - разрешает индексирование документа;
    FOLLOW - разрешает проход по ссылкам.
    ALL - равносильно INDEX, FOLLOW
    NONE - равносильно NOINDEX, NOFOLLOW
    Значение по умолчанию: .

    В следующем примере робот может индексировать документ, но не должен выделять из него ссылки для поиска дальнейших документов:



    Имя тега, названия и значения полей нечувствительны к регистру.

    В поле content дублирование инструкций, наличие противоречивых инструкций и т.п. не допускается; в частности, значение поле content не может иметь вид "none, nofollow".


    Когда сайт будет готов, сделайте следующее.

    Как сделать, чтобы Rambler находил мои документы?
    Прежде всего рекомендуем заполнить регистрационную анкету в поисковой системе Rambler. Это будет гарантией того, что роботы Рамблера узнают о Вашем сайте и скорее начнут его индексацию. Анкета находится по адресу http://www.rambler.ru/doc/add_site_form.shtml.

    Автоматически роботы Rambler сканируют сайты, находящиеся в следующих доменах первого уровня:
    Российская Федерация: .ru, .su
    Украина: .ua
    Белоруссия: .by
    Казахстан: .kz
    Киргизия: .kg
    Узбекистан: .uz
    Грузия: .ge
    и игнорируют сайты из других доменов.
    Если Ваш сайт находится вне названных доменов (например, в зонах .com, .org, .net), но существенная часть сайта содержит русскоязычные материалы или, по Вашему мнению, он может представлять интерес для русскоязычной аудитории Рамблера, Вы можете отослать письмо на адрес search.support@rambler-co.ru с просьбой включить Ваш сайт в число сканируемых, либо заполнить форму обратной связи. Наши сотрудники рассмотрят эту просьбу и примут решение о целесообразности такого включения.

    Рекомендуем зарегистрировать сайт в рейтинге Top100 и расставить счетчик на всех страницах сайта. Анкета, заполняемая при регистрации в этом рейтинге, индексируется ежедневно, а специальный робот Рамблера дважды в день пополняет базу поисковой машины новыми страницами, на которых размещен счетчик. Таким образом, включение сайта в Тор100 - это самый быстрый способ попасть в результаты поиска!

    При заполнении полей анкеты "Название сайта" и "Описание" не следует вводить в них длинные перечни ключевых слов. Эти поля все равно пока не используются для поиска. Название и описание должны быть предназначены для прочтения человеком, так как эти поля используются в наших внутренних базах данных и просматриваются редакторами.


    Рамблер умеет извлекать гиперссылки из объектов Macromedia Flash. Если Ваш сайт имеет заставку или навигационные панели, выполненные c использованием этой технологии, Рамблер обработает их, найдет адреса всех страниц сайта и проиндексирует весь сайт. Однако, сами тексты flash-объектов не индексируются. Это решение принято потому, что большая часть таких объектов содержит элементы навигации, заставки, меню и другие фрагменты, очень важные в качестве источника гиперссылок, но малоинформативные как текст. Для сайтов, которые целиком состоят из flash-объектов, рекомендуется создать HTML-копию и зарегистрировать ее в поисковой машине.


    Роботы Рамблера при сканировании игнорируют поля и все другие поля , кроме . Это связано с тем, что наша система старается индексировать документ таким, какой он есть (то есть таким, каким его видит пользователь). Не секрет, что зачастую создатели интернет-страниц злоупотребляют этими полями, пытаясь заставить поисковые машины находить документ по запросам, не имеющим к нему прямого отношения.
    Не следует также использовать невидимый текст (в котором цвет шрифта совпадает с цветом фона).

    Комментарии в документе роботы Рамблера тоже не сканируют, поэтому советуем использовать их по прямому назначению. Помните, что каждый комментарий увеличивает размер Вашего документа, а значит, снижает вероятность того, что документ будет просмотрен пользователем до конца.

    Обратите внимание на заголовки и выделения в документе. Базовые понятия и ключевые для данного сайта слова целесообразно включать в следующие HTML-теги (в порядке значимости):
    Просмотров: 2816 | Добавил: mr_nice2435 | Рейтинг: 5.0/1
    Всего комментариев: 3
    3 fubunsatt  
    0
    Side effects associated with Valium include but are not limited to impaired motor function, decreased REM sleep, lack of coordination, impaired balance, nausea, depression, and dizziness. http://www.phobiasblog.com/ - diazepam online Valium is a prescription medication that is indicated in the treatment of a wide variety of conditions such as anxiety, panic and restless legs. While some patients will experience some or all of these symptoms, others will not experience anything but a relief of symptoms. Buy cheap Valium medication at one of trusted online pharmacy! Valium cost.

    2 voicaispopilK  
    0
    http://gfkdjghfkgjjkhj.com - gfkdjghfkgjjkh

    1 mr_nice2435  
    1
    cool Ну что, удалось?

    Имя *:
    Email *:
    Код *: