Что Такое Индекс?
Индекс — это компьютерно сгенерированный список всех страниц сайта, доступных для поисковых систем. Он создается веб-краулерами и используется поисковыми системами для нахождения страниц, когда пользователи вводят запросы.

Подробнее об индексировании
Поисковые системы используют индексы, чтобы помочь пользователям найти необходимую информацию. Когда пользователь вводит запрос в поисковую систему, она просматривает свой индекс, чтобы найти соответствующие страницы. Затем она почти мгновенно показывает их искателю.
SEO боты, более обще известные как «краулеры» или «пауки», создают индексы, используя алгоритмы, которые анализируют содержимое страниц. Эти боты прочесывают каждый уголок содержимого, включая текст, изображения и ссылки. Собранная информация используется для индекса поисковой системы, который затем используется для определения ранжирования страницы в результатах поиска. Если по какой-либо причине страница не может быть проиндексирована, она не появится в индексе и не сможет быть ранжирована.