Каждый день в интернете появляется все больше сайтов и страниц, на которых собрана на первый взгляд полезная информация. Однако нередко они содержат спам, недостоверные или непроверенные данные, а иногда и вредоносные программы. Чтобы отделить «зерна от плевел», были разработаны поисковые алгоритмы. Они в соответствии с установленными правилами проводят оценку релевантности и ранжирование страниц. В нашей стране чаще задействуются поисковые алгоритмы Яндекс. Опираясь на них в сео-оптимизации, можно избежать санкций Yandex и приблизиться к цели продвижения сайта.
Алгоритм ПС – математическая формула, определяющая позицию сайта в поисковой выдаче на основании текстового контента или ссылочных факторов. Обрабатывая ключевые слова, он определяет страницу с релевантной информацией. Опираясь на формулу, поисковики анализируют содержимое, находит ключи, соответствующие запросу пользователя, и составляют рейтинг из просмотренных страниц. Каждая поисковая система использует собственные формулы, которые составляются на общих принципах.
Для начала пользователь вводит в поисковую строку запрос, который состоит из ключевых слов. Задача робота – проанализировать обширный массив данных, найти информацию, максимально отвечающую запросу, и доставить ее пользователю. Чтобы ускорить поиск, разработчики постоянно совершенствуют математические формулы. Некоторые апдейты вводятся официально, вторые – в фоновом режиме, о третьих и вовсе не сообщается.
Обработка информации поисковиками проводится двумя способами. В первом случае используется индексация, при которой специальный робот добавляет сведения в основную базу данных, а уже потом находит в ней релевантную страницу. Во втором случае используется прямой способ без индексации, при котором анализ проводится на основе всех имеющихся данных.
С каждым годом продвижение в поисковиках Яндекс или Google становится все сложнее и сложнее. Несмотря на это, переменные, влияющие на позиции сайта в рейтинге, остаются неизменными. Шансы продвинуться в топе выше у страниц с:
Поисковые алгоритмы не рассчитаны на доскональный анализ информации, размещенной на сайте. Поэтому в качестве ориентира они используют отзывы и поведение пользователей. На основе того, сколько времени посетители проводят на странице и как часто переходят на другие ресурсы, поисковики оценивают релевантность данных и составляют рейтинги. Следовательно, компания, которая хочет продвинуться в топе, должна следить за метрикой интереса пользователей, создавать оригинальный контент, отдавать предпочтение естественному линкбилдингу.
Первый алгоритм ранжирования Яндекс был создан в 1997 г. Уже тогда он умел определять релевантность контента в соответствии с пользовательскими запросами. При этом учитывалось количество и частотность ключевых фраз. Более чем за 20 лет компания пересмотрела свои подходы к данному процессу и много раз изменяла формулы. За это время появились и обновились антиспам-алгоритмы и фильтры, которые теперь учитывают поведение пользователей на сайте, регион, ссылочную массу и другие факторы. Когда их количество дошло до предела, Яндекс внедрил первый метод машинного обучения – Матрикснет. Именно с тех пор в создании формулы отбора данных учитываются разные факторы и их комбинации.
За почти 25-летнюю историю Яндекс создал и запустил более семи десятков алгоритмов. Последней его разработкой считается YATI – абсолютно новая формула ранжирования, основанная на нейросетях-трансформерах и уникальном подходе. Она представляет собой нейросетевую архитектуру, которая учитывает смысл контента и устанавливает связь между документом, запросом и намерением пользователя.
Первые поисковые алгоритмы в истории компании Яндекс были запущены в 1997 г. Следующие серьезные изменения произошли в 2005 г., когда компания выпустила Непот фильтр. Его уникальность заключалась в том, что он перестал учитывать внешние ссылки с сайтов, которые занимаются продажей линков. Следующие обновления Яндекс представлены в хронологической таблице:
| Название | Ключевые изменения | Дата выхода | |
|---|---|---|---|
| 1 | Версия 7 | Обновленная формула, ранжировавшая сайты на основе большего количества факторов. | Июль 2007 г. |
| 2 | Версия 8, Восьмерка SP 1 | При составлении рейтингов в первую очередь учитываются авторитетные ресурсы. Появились новые фильтры, которые позволяют накручивать ссылочные факторы. | Декабрь 2007 г. Январь 2008 г. |
| 3 | Магадан, Магадан 2.0 | Подбор претендентов осуществляется с помощью Fast Rank. Расширены классификаторы документов, синонимов и аббревиатур. В версии 2.0 стала учитываться уникальность контента, проведено обновление классификаторов пользовательских запросов. | Май-Мюль 2008 г. |
| 4 | Находка | При обработке поисковых запросов учитываются стоп-слова, появился тезаурус, изменилось машинное обучение. | Сентябрь 2008 г. |
| 5 | Арзамас. Анадырь | Алгоритмы стали опираться на геозависимость. Созданы специальные формулы для городов и регионов. | Апрель-Сентябрь 2009 г. |
| 6 | Снежинск | Компания запустила MatrixNet, создала около 20 региональных формул, изменила выдачу, увеличила количество факторов для отбора данных. | Ноябрь 2009 г. |
| 7 | Конаково | Разработаны региональные формулы более чем для 1200 городов РФ, обновлена формула геонезависимых запросов. | Декабрь 2009 г. – Март 2010 г. |
| 8 | Обнинск | Разработчики увеличили производительность, перенастроили формулу, расширили базу факторов для геонезависимых запросов, которые теперь занимают 70 % потока. | Сентябрь 2010 г. |
| 9 | Краснодар | Поисковые роботы начали раскладывать запросы на интенты, разнообразили выдачу, повысили локализацию выдачи по геозапросам, внедрили новые региональные формулы. Запуск технологии «Спектр». | Декабрь 2010 г. |
| 10 | Рейкьявик | Первый этап персонализации выдачи. Роботы начинают учитывать основной язык пользователей. | Август 2011 г. |
| 11 | Калининград | Переход на персонализацию выдачи. Роботы стали учитывать долгосрочные интересы пользователей, подсказки, «любимые» ресурсы. | Декабрь 2012 г. |
| 12 | Дублин | Персонализация стала включать текущие интересы, а также подстраивать результаты в соответствии с интересами пользователя в ходе одной поисковой сессии. | Май 2013 г. |
| 13 | Началово | Роботы перестали учитывать ссылки при выдаче информации по коммерческим ключам в Московской области. | Март 2014 г. |
| 14 | Одесса | Экспериментальный запуск островного дизайна выдачи и интерактивных ответов, которые не получили дальнейшего развития. | Июнь 2014 г. |
| 15 | Амстердам | Внедрение проекта «Объектный ответ», в рамках которого пользователь получает общую информацию по предмету запроса. Создание базы объектов поиска. | Апрель 2015 г. |
| 16 | Минусинск | Снижение в поисковой выдаче доли сайтов, у которых наблюдается переизбыток сео-ссылок. Компания вернула ссылочные факторы при составлении топа по запросам из Московской области. | Май 2015 г. |
| 17 | Киров | Внедрение рандомизации, которая помогает собирать дополнительные поведенческие сведения по Московской области на основе документов со знаком Rel+. | Сентябрь 2015 г. |
| 18 | Владивосток | При составлении выдачи роботы учитывают, насколько ресурс адаптирован к просмотру на переносных устройствах. Повышение доли сайтов, адаптированных к мобильным устройствам. | Февраль 2016 г. |
| 19 | Палех | Внедрение нейронных сетей. Роботы начинают понимать сложные запросы и находить информацию по смыслу заголовка и запроса, а не по словам. | Ноябрь 2016 г. |
| 20 | Баден-Баден | Начало борьбы с переоптимизированными текстами. Алгоритм направлен на исключение из выдачи сайтов с некачественным контентом и переизбытком ключевых слов. | Март 2017 г. |
| 21 | Королев | Усовершенствованная версия Палеха, которая ищет смысл не только в заголовке, но и в тексте. При этом учитывается скрытая семантика. | Август 2017 г. |
| 22 | Андромеда | Логическое развитие Королева. Обновление помогло увеличить количество быстрых ответов, обновить формулу ранжирования. Пользователи могут одним кликом сохранять файлы. | Ноябрь 2018 г. |
| 23 | Вега | Алгоритмы начинают разбивать поисковую базу на смысловые кластеры, учитывать оценки экспертов, находить информацию с точностью до микрорайона. Внедрение технологии пререндеринга (предварительная загрузка результатов). | Декабрь 2019 г. |
| 24 | YATI | После обновления за смысловой поиск отвечают тяжелые нейросети. Они не отменяют старые факторы, а больше настроены на смысловой анализ текстов. | Ноябрь 2020 г. |
| 25 | YATI 1 | Последняя разработка компании. Она основана на нейросетях-трансформерах и языковых моделях для генерирования текстов в заданной стилистике. | Июнь 2021 г. |
Параллельно с поисковыми алгоритмами компания постоянно запускает и совершенствует санкции, с помощью которых удается фильтровать обманные техники раскрутки сайтов. Это позволило СЕО-мастерам и представителем поисковиков изменить взгляд на правила, давно существующие в отрасли.
За содержимое текстов в поисковике Яндекс отвечают следующие антиспам-формулы:
Алгоритмы Yandex также помогают фильтровать ресурсы с некачественной и искусственно накрученной ссылочной массой. Для этого используются инструменты:
Поисковые алгоритмы Яндекс анализируют и поведенческую информацию. Для этого разработаны антиспам-фильтры:
Помимо этого, Яндекс разработал алгоритмы, которые блокируют сайты с навязчивыми оповещениями, избыточной и обманной рекламой, а также обманывающие мобильных пользователей и вводящие их в заблуждение. Некоторые фильтры способны группировать страницы с пересекающейся информацией и выделать наиболее релевантные. Разработаны инструменты, которые отбирают ресурсы по возрасту (adult-фильтры). Они включаются в случае, если используются запросы с возрастным интентом. Их можно применять к целым проектам или определенным разделам.
В Яндексе используются фильтры, которые пресекают попытки обмануть поисковик. В «бан» попадают сайты, у которых обнаружен чрезмерный спам, а также псевдо-сайты, сайты-клоны, «дорвеи», сайты, использующие списки запросов и клоакинг.
Работу алгоритмов Яндекс можно легко визуализировать. Представьте офис компании, который возглавляет асессор. Он работает за компьютером, просматривая сайты и составляя списки тех, кто в точности соответствует поисковым запросам. Рядом с ним сидит ассистент – робот, наблюдающий за асессором. В определенный момент асессор встает с кресла и передает полномочия роботу. Теперь он занимается анализом и отслеживанием релевантностью страниц. Поэтому чтобы занять высокие позиции в топе выдачи Яндекс, SEO-специалист должен подружиться с этим роботом. Именно так можно описать процесс машинного обучения, который поисковики используют для улучшения ранжирования.
Самый известный метод машинного обучения Яндекс – Матрикснет, обладающий способностью быстро переучиваться. Если сначала он включает в топы сайты с хорошими поведенческими факторами, то впоследствии становится умнее и учится отличать сайты с реальными и искусственными поведенческими факторами. Для этого Матрикснет постоянно переписывает формулы, чтобы в результате фильтровать ресурсы, пользующиеся накруткой.
Если интернет – это паутина, алгоритмы Google или Яндекс – пауки, охотящиеся за релевантной информацией. Причем объект охоты – сайты с оригинальным и потенциально полезным контентом. Если пользователю постоянно попадаются в поиске одни и те же страницы, можно быть уверенным в том, что «пауки» считают их наиболее соответствующими запросам.
В представленной статье мы восстановили хронологию создания алгоритмов Яндекс. Знать их нужно для того, чтобы понимать, как работает поисковик. На основе этого можно научиться составлять стратегии, которая поможет продвигать сайты в рейтинге, привлекать трафик, избегать бана и фильтров. Опытный маркетолог понимает, что для продвижения недостаточно просто заполнить текст внешними ссылками. Зная принципы работы поисковых роботов, можно создавать качественный и оригинальный контент, не прибегая к манипуляции выдачей.
Войти
