самостоятельное
продвиждение сайтов

Алгоритмы ранжирования Яндекс

21.09.2021
12 мин
33
superseowizard

Каждый день в интернете появляется все больше сайтов и страниц, на которых собрана на первый взгляд полезная информация. Однако нередко они содержат спам, недостоверные или непроверенные данные, а иногда и вредоносные программы. Чтобы отделить «зерна от плевел», были разработаны поисковые алгоритмы. Они в соответствии с установленными правилами проводят оценку релевантности и ранжирование страниц. В нашей стране чаще задействуются поисковые алгоритмы Яндекс. Опираясь на них в сео-оптимизации, можно избежать санкций Yandex и приблизиться к цели продвижения сайта.

Основные понятия и задачи

Алгоритм ПС – математическая формула, определяющая позицию сайта в поисковой выдаче на основании текстового контента или ссылочных факторов. Обрабатывая ключевые слова, он определяет страницу с релевантной информацией. Опираясь на формулу, поисковики анализируют содержимое, находит ключи, соответствующие запросу пользователя, и составляют рейтинг из просмотренных страниц. Каждая поисковая система использует собственные формулы, которые составляются на общих принципах.

Для начала пользователь вводит в поисковую строку запрос, который состоит из ключевых слов. Задача робота – проанализировать обширный массив данных, найти информацию, максимально отвечающую запросу, и доставить ее пользователю. Чтобы ускорить поиск, разработчики постоянно совершенствуют математические формулы. Некоторые апдейты вводятся официально, вторые – в фоновом режиме, о третьих и вовсе не сообщается.

Обработка информации поисковиками проводится двумя способами. В первом случае используется индексация, при которой специальный робот добавляет сведения в основную базу данных, а уже потом находит в ней релевантную страницу. Во втором случае используется прямой способ без индексации, при котором анализ проводится на основе всех имеющихся данных.

Влияние на позиции сайта

С каждым годом продвижение в поисковиках Яндекс или Google становится все сложнее и сложнее. Несмотря на это, переменные, влияющие на позиции сайта в рейтинге, остаются неизменными. Шансы продвинуться в топе выше у страниц с:

  • простой и понятной навигацией,
  • оригинальным контентом,
  • текстами с релевантными ключами,
  • естественной ссылочной массой.

Поисковые алгоритмы не рассчитаны на доскональный анализ информации, размещенной на сайте. Поэтому в качестве ориентира они используют отзывы и поведение пользователей. На основе того, сколько времени посетители проводят на странице и как часто переходят на другие ресурсы, поисковики оценивают релевантность данных и составляют рейтинги. Следовательно, компания, которая хочет продвинуться в топе, должна следить за метрикой интереса пользователей, создавать оригинальный контент, отдавать предпочтение естественному линкбилдингу.

Как развивалась поисковая система Яндекс

Первый алгоритм ранжирования Яндекс был создан в 1997 г. Уже тогда он умел определять релевантность контента в соответствии с пользовательскими запросами. При этом учитывалось количество и частотность ключевых фраз. Более чем за 20 лет компания пересмотрела свои подходы к данному процессу и много раз изменяла формулы. За это время появились и обновились антиспам-алгоритмы и фильтры, которые теперь учитывают поведение пользователей на сайте, регион, ссылочную массу и другие факторы. Когда их количество дошло до предела, Яндекс внедрил первый метод машинного обучения – Матрикснет. Именно с тех пор в создании формулы отбора данных учитываются разные факторы и их комбинации.

За почти 25-летнюю историю Яндекс создал и запустил более семи десятков алгоритмов. Последней его разработкой считается YATI – абсолютно новая формула ранжирования, основанная на нейросетях-трансформерах и уникальном подходе. Она представляет собой нейросетевую архитектуру, которая учитывает смысл контента и устанавливает связь между документом, запросом и намерением пользователя.

Хронология поисковых алгоритмов Yandex

Первые поисковые алгоритмы в истории компании Яндекс были запущены в 1997 г. Следующие серьезные изменения произошли в 2005 г., когда компания выпустила Непот фильтр. Его уникальность заключалась в том, что он перестал учитывать внешние ссылки с сайтов, которые занимаются продажей линков. Следующие обновления Яндекс представлены в хронологической таблице:

Название Ключевые изменения Дата выхода
1 Версия 7 Обновленная формула, ранжировавшая сайты на основе большего количества факторов. Июль 2007 г.
2 Версия 8, Восьмерка SP 1 При составлении рейтингов в первую очередь учитываются авторитетные ресурсы. Появились новые фильтры, которые позволяют накручивать ссылочные факторы. Декабрь 2007 г. Январь 2008 г.
3 Магадан, Магадан 2.0 Подбор претендентов осуществляется с помощью Fast Rank. Расширены классификаторы документов, синонимов и аббревиатур. В версии 2.0 стала учитываться уникальность контента, проведено обновление классификаторов пользовательских запросов. Май-Мюль 2008 г.
4 Находка При обработке поисковых запросов учитываются стоп-слова, появился тезаурус, изменилось машинное обучение. Сентябрь 2008 г.
5 Арзамас. Анадырь Алгоритмы стали опираться на геозависимость. Созданы специальные формулы для городов и регионов. Апрель-Сентябрь 2009 г.
6 Снежинск Компания запустила MatrixNet, создала около 20 региональных формул, изменила выдачу, увеличила количество факторов для отбора данных. Ноябрь 2009 г.
7 Конаково Разработаны региональные формулы более чем для 1200 городов РФ, обновлена формула геонезависимых запросов. Декабрь 2009 г. – Март 2010 г.
8 Обнинск Разработчики увеличили производительность, перенастроили формулу, расширили базу факторов для геонезависимых запросов, которые теперь занимают 70 % потока. Сентябрь 2010 г.
9 Краснодар Поисковые роботы начали раскладывать запросы на интенты, разнообразили выдачу, повысили локализацию выдачи по геозапросам, внедрили новые региональные формулы. Запуск технологии «Спектр». Декабрь 2010 г.
10 Рейкьявик Первый этап персонализации выдачи. Роботы начинают учитывать основной язык пользователей. Август 2011 г.
11 Калининград Переход на персонализацию выдачи. Роботы стали учитывать долгосрочные интересы пользователей, подсказки, «любимые» ресурсы. Декабрь 2012 г.
12 Дублин Персонализация стала включать текущие интересы, а также подстраивать результаты в соответствии с интересами пользователя в ходе одной поисковой сессии. Май 2013 г.
13 Началово Роботы перестали учитывать ссылки при выдаче информации по коммерческим ключам в Московской области. Март 2014 г.
14 Одесса Экспериментальный запуск островного дизайна выдачи и интерактивных ответов, которые не получили дальнейшего развития. Июнь 2014 г.
15 Амстердам Внедрение проекта «Объектный ответ», в рамках которого пользователь получает общую информацию по предмету запроса. Создание базы объектов поиска. Апрель 2015 г.
16 Минусинск Снижение в поисковой выдаче доли сайтов, у которых наблюдается переизбыток сео-ссылок. Компания вернула ссылочные факторы при составлении топа по запросам из Московской области. Май 2015 г.
17 Киров Внедрение рандомизации, которая помогает собирать дополнительные поведенческие сведения по Московской области на основе документов со знаком Rel+. Сентябрь 2015 г.
18 Владивосток При составлении выдачи роботы учитывают, насколько ресурс адаптирован к просмотру на переносных устройствах. Повышение доли сайтов, адаптированных к мобильным устройствам. Февраль 2016 г.
19 Палех Внедрение нейронных сетей. Роботы начинают понимать сложные запросы и находить информацию по смыслу заголовка и запроса, а не по словам. Ноябрь 2016 г.
20 Баден-Баден Начало борьбы с переоптимизированными текстами. Алгоритм направлен на исключение из выдачи сайтов с некачественным контентом и переизбытком ключевых слов. Март 2017 г.
21 Королев Усовершенствованная версия Палеха, которая ищет смысл не только в заголовке, но и в тексте. При этом учитывается скрытая семантика. Август 2017 г.
22 Андромеда Логическое развитие Королева. Обновление помогло увеличить количество быстрых ответов, обновить формулу ранжирования. Пользователи могут одним кликом сохранять файлы. Ноябрь 2018 г.
23 Вега Алгоритмы начинают разбивать поисковую базу на смысловые кластеры, учитывать оценки экспертов, находить информацию с точностью до микрорайона. Внедрение технологии пререндеринга (предварительная загрузка результатов). Декабрь 2019 г.
24 YATI После обновления за смысловой поиск отвечают тяжелые нейросети. Они не отменяют старые факторы, а больше настроены на смысловой анализ текстов. Ноябрь 2020 г.
25 YATI 1 Последняя разработка компании. Она основана на нейросетях-трансформерах и языковых моделях для генерирования текстов в заданной стилистике. Июнь 2021 г.

Список антиспам-алгоритмов Яндекс

Параллельно с поисковыми алгоритмами компания постоянно запускает и совершенствует санкции, с помощью которых удается фильтровать обманные техники раскрутки сайтов. Это позволило СЕО-мастерам и представителем поисковиков изменить взгляд на правила, давно существующие в отрасли.

За содержимое текстов в поисковике Яндекс отвечают следующие антиспам-формулы:

  • «Переспам» – фильтр, направленный на снижение релевантности текста по ключевой фразе;
  • «Переоптимизация» – инструмент для снижения релевантности как текста, так и всего сайта;
  • «Баден-Баден» – фильтр, который снижает в топе слишком оптимизированные сайты;
  • «New» – фильтр, дисконтирующий релевантность документа по запросам и снижающий место в топе на десятки пунктов.

Алгоритмы Yandex также помогают фильтровать ресурсы с некачественной и искусственно накрученной ссылочной массой. Для этого используются инструменты:

  • «Пессимизация/Ссылочный спам», рекомендованный для работы с ресурсами, которые манипулируют ссылочной массой;
  • «Внешний Непот», который исключает ссылки по одной или сразу пулом;
  • «Внутренний Непот», эффективный при работе с сайтами со спамной перелинковкой;
  • «Ссылочный взрыв», штрафующий ресурсы, у которых ссылочная масса растет неестественно высокими темпами (источники ссылок получают пометку «неблагонадежный» и в дальнейшем тщательно фильтруются);
  • «Минусинск», понижающий позицию сайтов, отличающихся большой долей СЕО-ссылок.

Поисковые алгоритмы Яндекс анализируют и поведенческую информацию. Для этого разработаны антиспам-фильтры:

  1. «Кликджекинг». Инструмент отыскивает сайты и блоги, в которые внедрен кликджекинг – технология, подразумевающая использование элементов, скрыто воздействующих на пользователей. Благодаря фильтрам удается защитить личные данные пользователей от утечки.
  2. «Криптоджекинг». Предметом поиска этого фильтра являются сайты со скриптами, которые в майнинге криптовалюты задействуют вычислительные мощности персонального компьютера, ноутбука или смартфона. По результатам фильтрации сайт понижается в рейтинге и помечается как потенциально опасный.
  3. «Накрутка ПФ». Инструмент направлен на ресурсы, которые накручивают кликовые поведенческие факторы, используя эмуляцию действия или трафик за вознаграждение.
  4. «Содействие имитации действий пользователя». Инструмент понижает в рейтинге ресурсы, требующие от пользователя введение капчи, тем самым накручивая кликовые поведенческие факторы.

Помимо этого, Яндекс разработал алгоритмы, которые блокируют сайты с навязчивыми оповещениями, избыточной и обманной рекламой, а также обманывающие мобильных пользователей и вводящие их в заблуждение. Некоторые фильтры способны группировать страницы с пересекающейся информацией и выделать наиболее релевантные. Разработаны инструменты, которые отбирают ресурсы по возрасту (adult-фильтры). Они включаются в случае, если используются запросы с возрастным интентом. Их можно применять к целым проектам или определенным разделам.

В Яндексе используются фильтры, которые пресекают попытки обмануть поисковик. В «бан» попадают сайты, у которых обнаружен чрезмерный спам, а также псевдо-сайты, сайты-клоны, «дорвеи», сайты, использующие списки запросов и клоакинг.

Машинное обучение

Работу алгоритмов Яндекс можно легко визуализировать. Представьте офис компании, который возглавляет асессор. Он работает за компьютером, просматривая сайты и составляя списки тех, кто в точности соответствует поисковым запросам. Рядом с ним сидит ассистент – робот, наблюдающий за асессором. В определенный момент асессор встает с кресла и передает полномочия роботу. Теперь он занимается анализом и отслеживанием релевантностью страниц. Поэтому чтобы занять высокие позиции в топе выдачи Яндекс, SEO-специалист должен подружиться с этим роботом. Именно так можно описать процесс машинного обучения, который поисковики используют для улучшения ранжирования.

Самый известный метод машинного обучения Яндекс – Матрикснет, обладающий способностью быстро переучиваться. Если сначала он включает в топы сайты с хорошими поведенческими факторами, то впоследствии становится умнее и учится отличать сайты с реальными и искусственными поведенческими факторами. Для этого Матрикснет постоянно переписывает формулы, чтобы в результате фильтровать ресурсы, пользующиеся накруткой.

Если интернет – это паутина, алгоритмы Google или Яндекс – пауки, охотящиеся за релевантной информацией. Причем объект охоты – сайты с оригинальным и потенциально полезным контентом. Если пользователю постоянно попадаются в поиске одни и те же страницы, можно быть уверенным в том, что «пауки» считают их наиболее соответствующими запросам.

Заключение

В представленной статье мы восстановили хронологию создания алгоритмов Яндекс. Знать их нужно для того, чтобы понимать, как работает поисковик. На основе этого можно научиться составлять стратегии, которая поможет продвигать сайты в рейтинге, привлекать трафик, избегать бана и фильтров. Опытный маркетолог понимает, что для продвижения недостаточно просто заполнить текст внешними ссылками. Зная принципы работы поисковых роботов, можно создавать качественный и оригинальный контент, не прибегая к манипуляции выдачей.