Задача поиска и сканирования сайтов лежит на плечах поисковых роботов (веб-краулеров).