суббота, 14 сентября 2013 г.

Интересные страницы Яндекса в Robots.txt

Препарируя Яндекс



Ради забавы я решил посмотреть на Robots.txt  yandex.ru. И что интересного я нашел для себя:

User-agent: *
Disallow: /?
Disallow: /404.html - страница ошибок
Disallow: /about.html - главная страница компании Яндекс
Disallow: /adddata
Disallow: /advanced_engl.html
Disallow: /advertising
Disallow: /articles
Disallow: /chisla.html
Disallow: /cgi-bin/
Disallow: /cgi/
Disallow: /cy
Disallow: /dzen.html - Медитативный поиск (на основе запросов пользователей к Яндексу) 
Disallow: /i/
Disallow: /ie3/yandsearch
Disallow: /keyboard_qwerty.html - виртуальная клавиатура для ввода поиска
Disallow: /logotypes
Disallow: /norobot
Disallow: /polling
Disallow: /redir
Disallow: /regions.html?
Disallow: /s/
Disallow: /setup
Disallow: /skazki
Disallow: /subscribe/confirm.pl
Disallow: /subscribe/view.pl
Disallow: /yaca
Disallow: /ya
Disallow: /yandsearch
Disallow: /catalog/?text=
Disallow: /msearch
Disallow: /themes
Disallow: /showcaptcha
Disallow: /sitesearch
Disallow: /sl/*.html
Disallow: /403.html
Disallow: /404.html
Disallow: /500.html
Disallow: /adresa-segmentator
Disallow: /all-supported-params
Disallow: /cgi-bin/hidereferer
Disallow: /cgi-bin/set-intl
Disallow: /cgi-bin/xmlsearch.pl
Disallow: /cgi-bin/yandpage
Disallow: /cgi-bin/yandsearch
Disallow: /click|/cy
Disallow: /clck
Disallow: /cycounter
Disallow: /dzen
Disallow: /experiments.xml
Disallow: /family
Disallow: /familysearch
Disallow: /formfeedback
Disallow: /goto_issue/
Disallow: /goto_rubric/
Disallow: /i/yandex-big.gaf
Disallow: /ie3/yandsearch
Disallow: /images-data
Disallow: /images.html
Disallow: /images/*
Allow: /images/
Disallow: /gorsel/* 
Allow: /gorsel/
Disallow: /index_m
Disallow: /infected
Disallow: /largesearch
Disallow: /map/.+/news.html
Disallow: /more_samples
Disallow: /msearch
Disallow: /msearchpart
Disallow: /norobot
Disallow: /opensearch.xml
Disallow: /people
Disallow: /person
Disallow: /podpiska/login.pl
Disallow: /quotes
Disallow: /redir
Disallow: /redir_warning
Disallow: /region_map
Disallow: /regions_list.xml
Disallow: /rubric2sport
Disallow: /schoolsearch
Disallow: /search/advanced
Disallow: /search/customize
Disallow: /search/extra-snippet
Disallow: /search/inforequest
Disallow: /search
Disallow: /sitesearch
Disallow: /sportagent
Disallow: /storeclick
Disallow: /storerequest
Disallow: /telsearch
Disallow: /toggle-experiment
Disallow: /touchsearch
Disallow: /v
Disallow: /versions
Disallow: /video/*
Allow: /video/
Disallow: /wpage
Disallow: /xmlsearch
Disallow: /yandpage
Disallow: /yandsearch
Disallow: /yca/cy

Комментариев нет :

Отправить комментарий