Назад в блог

Как защитить сайт от парсинга цен и проверить результат

Как заметить автоматический обход карточек товаров, проверить правило HotWall на одном разделе каталога и сохранить доступ покупателей и поисковых роботов.

Если каталог внезапно получает много запросов, выясните, какие страницы открывают и кто к ним обращается. Всплеск может совпасть с рекламной рассылкой, обновлением товарного фида или сбором цен. Начните с журнала веб-сервера за период, когда выросла нагрузка.

Как заметить парсинг цен в журнале

  1. Выберите пути карточек товаров, например /catalog/. Сохраните время запросов, путь, код ответа и адрес клиента. Если перед сервером стоит прокси, используйте адрес клиента из журнала доверенного прокси или серверного поля, настроенного по документации хостинга.
  2. Посчитайте обращения и число разных карточек по источникам за одинаковые интервалы. Сравните с обычным трафиком в тот же час и проверьте, совпадает ли всплеск с акцией, выгрузкой фида или обновлением каталога.
  3. Проверьте, повторяется ли один маршрут по многим карточкам и сопровождается ли это ростом нагрузки. Сверьте обращения с расписанием своих интеграций. Если клиент представляется поисковым роботом, проверьте его адрес по инструкции Яндекса или Google.

Условный пример. В течение двух минут источник открыл 48 разных карточек категории, от /catalog/chairs/p101 до /catalog/chairs/p148. Через десять минут последовательность повторилась. Сравните этот интервал с обычным трафиком категории и проверьте, не совпал ли он с обновлением товарного фида. Число 48 служит примером. Ориентир для вашего магазина — его обычная нагрузка.

Как ограничить проверку одним разделом в HotWall

Для подключённого домена откройте «Собственные правила». В конструкторе выберите поле «Путь», условие «Содержит» и укажите фрагмент проблемной категории, например /catalog/chairs/. Через «И» добавьте второе условие для проверенного источника, например совпадение IP-адреса. Оцените, может ли адрес быть общим у покупателей или партнёрских сервисов. Если проверка указывает на автоматический сбор цен, выберите действие «Проверять» и включите правило на время наблюдения.

Запишите время включения, выбранный раздел и признаки, по которым будете сравнивать трафик. Осторожно расширяйте область только после проверки. Короткий тест с одним правилом проще оценить и при необходимости остановить.

Как проверить покупателей и поисковых роботов

  • Покупатель. Откройте карточку в новом окне браузера, выберите товар и добавьте его в корзину. Повторите на телефоне и проверьте обычные переходы по каталогу.
  • Индексация. Проверьте опубликованную карточку через «Проверку страницы» в Яндекс Вебмастере и «Проверку URL» в Google Search Console. Убедитесь, что инструмент видит содержание карточки, а поисковый робот может его прочитать.
  • Нагрузка. Сравните число обращений к категории и коды ответов за одинаковые интервалы до и после правила. Если у покупателей или проверенных роботов появились ошибки, отключите правило, проверьте доступ и уточните условия.

Посмотрите, как работает защита интернет-магазина от ботов и парсинга цен, если хотите проверить этот сценарий в HotWall.

Поделиться: