BotFAQtor: как избавиться от ботов на сайте

BotFAQtor: как избавиться от ботов на сайте

Здравствуйте, уважаемые читатели блога KtoNaNovenkogo.ru. Рад видеть вас на своем ресурсе… Но есть те, встрече с которыми я совсем не рад. Да и вы тоже отказались бы от знакомства с ними. Что за личности?

Да боты вездесущие, везде снующие, конверсии понижающие и статистику засоряющие. От них может избавить только BotFAQtor…

Мы не такие богатые, чтоб «разводить» ботов!

Не все боты зловредные. Среди них полно тех, что несут сайту добро. Например, поисковые краулеры. Но большая часть этих искусственных «кривляк» действуют на другой стороне.

Из-за их посещений не только сбивается «стрелка» статистики, а и впустую тратятся деньги, бракуется трафик… В общем, это зло для любого бренда, сайта и кампании продвижения!

Но как от них избавиться? Ведь не будешь на входе ставить «турникет» с проверочной капчей. Так ведь можно и без посетителей остаться… А, может, по IP ботов ловить? Ага! Их адреса меняются чаще, чем мнение Трампа!

Примерно так разворачивался ход моих мыслей о планах борьбы с ботным иго. И потом меня чуть не посетило отчаяние… Но (как луч света) появился BotFAQtor… Который на деле оказался эффективным средством очистки трафика.


*при клике по картинке она откроется в полный размер в новом окне

Как ему это удается?

Что BotFAQtor делает? И ответы на другие вопросы.

  1. Что умеет сервис?

С помощью BotFAQtor можно не только определить (идентифицировать) ботов, но и блокировать их. Кроме этого сервис очищает статистику и от накруток, и от нецелевых лидов.

От пользователей, которые не заинтересованы в вашем продукте или сайте.


*при клике по картинке она откроется в полный размер в новом окне

Некоторые инструменты платформы еще находятся на стадии разработки. Но чтобы победить ботов на всех фронтах, можно немного и подождать.

Да нет! Функционалом BotFAQtor можно пользоваться и просто так. В рамках базового тарифа пользователю предоставляется бесплатных 10 тыс. проверок, а каждая сверху обойдется в полторы копейки.

Миллион проверок стоит 7,5 тыс.руб. на год. Все последующие – по копейке.


*при клике по картинке она откроется в полный размер в новом окне

Чтоб развеять оставшийся туман

Погружаемся в практические исследования BotFAQtor.

Чтобы воспользоваться сервисом и проанализировать (бесплатно!) трафик сайта на наличие ботов, сначала проходим процедуру регистрации.


*при клике по картинке она откроется в полный размер в новом окне

Затем валидируем профиль, перейдя по ссылке в полученном от BotFAQtor письме. После чего получаем доступ к личному кабинету.


*при клике по картинке она откроется в полный размер в новом окне

Активируем тарифный план и добавляем сайт для мониторинга.


*при клике по картинке она откроется в полный размер в новом окне

Настраиваем доступность показателей счетчика BotFAQtor для пользователей сайта.


*при клике по картинке она откроется в полный размер в новом окне

Затем размещаем два блока кода в HTML-разметке главной страницы сайта. Один сниппет – это код счетчика, а второй – скрипт блокировщика ботов.


*при клике по картинке она откроется в полный размер в новом окне

Получается, что за бесплатно BotFAQtor не только отслеживает «ботную» живность на сайте, но еще и блокирует!

После этого в разделе «Отчеты» начинает отображаться статистика по всем источникам трафика, типам ботов, гео и IP-адресам.


*при клике по картинке она откроется в полный размер в новом окне

В разделе «Блокировки» осуществляется настройка противоботной защиты сайта. По умолчанию доступна блокировка от всех типов ботов.


*при клике по картинке она откроется в полный размер в новом окне

Кроме этого можно создать пользовательский вариант блокировки с собственными параметрами защиты. Она позволяет блокировать сеансы с определенных гео, посадочных страниц, источников или конкретные типы ботов.


*при клике по картинке она откроется в полный размер в новом окне

В личном кабинете пользователя BotFAQtor отображается исчерпывающая статистика по всем источникам трафика, посещениям и пользователям. То есть, это не только защитный сервис, но и мощная аналитическая платформа.

Ну, что… Ботам капец!

Теперь благодаря BotFAQtor мы можем спокойно вздохнуть и сказать ботам «Давай, до свидания!»… И даже «Прощайте!».

Нецелевой трафик и как от него избавиться

Главная задача интернет-компании привлечь трафик на сайты. Но большой трафик не гарантирует его качество. Если цель вашего сайта продажи, то все, кто не покупает, автоматически попадают в категорию «нецелевой трафик».

Вы настраиваете контекстную рекламу, вкладываете деньги в продвижение и трафик на сайт растет, но конверсия остается на прежнем уровне?

Чтобы избавиться от мусорного трафика, четко сформулируйте задачу сайта и опишите целевую аудиторию. После этого можно отсечь аудиторию, которая вам не нужна.

Задача сайта

Основная задача большинства бизнес-сайтов — продажа товаров или услуг. Посетитель сайта, который ничего не купит, относится к нецелевому трафику. Целью может служить формирование лояльности, или получение обратной связи от клиента.

В конечном итоге, все цели направлены на привлечение клиентов и увеличение прибыли

Целевая Аудитория

На сайт необходимо привлекать качественного посетителя. Для этого необходимо сформировать его портрет. Чем детальнее будет описание тем меньше нецелевой аудитории будет на сайте. Не бойтесь задавать более конкретные параметры, отсеивайте всех, кто вам не подходит. Например, регионы, куда еще не организована доставка. Анализируйте действующих клиентов и создавайте четкий портрет того, кто у вас покупает.

Отсеките часть аудитории и конверсия сразу станет выше!

Контекстная реклама и SEO

Основной трафик на сайт вы получаете из поисковых систем, поэтому продвижение опирается на контекстную рекламу и SEO. С контекстной рекламы, все довольно просто – необходимо отслеживать показания счетчиков Яндекс.Метрика и Google Analytics. По характеристикам пришедших покупателей и площадкам, с которых они пришли настраивать рекламу.

При настройке необходимо помнить что:

  • провокационные объявления дают огромный, но не целевой трафик;
  • ссылка в объявлении должна вести именно на страницу с продуктом, показанным в рекламе.

В SEO важную роль играют ключевые слова. Запомните, среди них не должно быть слов с двойным смыслом, они увеличивают поток нецелевого трафика, так же как и неточные описания в title посадочной страницы. Сегодня благодаря Веб-аналитике можно считать процент конверсии по каждому ключевому слову и стоимость привлечения пользователя. Обращайте внимание на это, и убирайте слова с низкой конверсией.

Непоисковый трафик

К другим источникам нецелевого трафика относятся:

  • нецелевые e-mail рассылки, в где не отражена задача сайта;
  • контент, который направлен на максимальную, а нецелевую аудиторию.

Для отслеживания нецелевого трафика можете воспользоваться специальными инструментами.

BotFAQtor проведет проверку качества посещений на вашем сайте с ведущих поисковых систем (Google, Яндекс), рекламных, партнерских и тизерных сетей.

Information Security Squad

Добрый день друзья!

Сегодня мы коснемся вопроса web безопасности, а именно нелегитимного траффика.

Наличие спама и нежелательных переходов, которые в свою очередь могут дискредитировать ваш сайт/приложение, является серьезной проблемой для многих.

По данным компании statista.com общий трафик различных вредоносных источников составляет значительную долю из всего объема.

Это могут быть как движки-поисковики по определенным целевым запросам, инструменты хакинга для накрутки, инструмента кликджекига, имитаторы, двойники и т.д.

В данной связи мы решили провести поиск средств защиты от этих угроз на нашем рынке ИБ.

Если у вас малый/средний бизнес, напрямую зависимый от вэб-технологий ( сайт, приложение, сервис) вы едва-ли сможете позвоить себе нанимать вендера услуг по защите хостинга или VPS.

Вместо этого есть альтернативные решения «под ключ».

Сегодня мы хотим познакомить вас с одним из отечественных решений по веб-безопасности botfaqtor. [ https://botfaqtor.ru/ ]

Разработана ребятами из «Бот-Фактор», которые являются эксклюзивным партнером голландской компании Witstroom в России.

Система позволяет выявлять различные типа зомби-траффика, определять его источник и блокировать в дальнейшем.

Уникальность заключается в том, что система работает не только сигнатурным методом с базами нежелальных Ip прокси, socks и т.д. , но и использует эврестический метод, т.е. анализ поведеческого фактора бота злоумышленников.

Итак, для начала работы перейдите по ссылке: https://botfaqtor.ru

На главной странице найдите кнопку «Добавить свой сайт»

Выполните регистрацию, заполнив необходимые поля:

Далее вам придет письмо, на указанную выше почту, с просьбой подтверждения аккаунта.

В моем случае, письмо пришло через 5 минут после регистрации.

Введите адрес почты и пароль, которые вы указали ранее.

После авторизации вы попадете на главную страницу управления.

1. Dashboard

Это первая страница на которую, вы попадаете. При добавленном сайте здесь вы будете видеть количество ботов/живых пользователей за выбранный период по дням и краткую классификацию ботов по 4 параметрам (тип бота, источник, посадочная страница, география).

По умолчанию у меня был выставлен голландский язык — Nl.

Чтобы изменить язык, найдите кнопку в правом верхнем углу, которая предложит вам раскрывающийся список при нажатии.

2. My sites

Эта страница показывает ваши сайты и позволяет:

  • Добавить новый сайт
  • Удалить существующий сайт
  • Изменить статус work on / work off для сайтов
  • Так же показывает количество ботов и реальных людей на данный момент времени
  • Здесь вы можете скопировать скрипты для добавления на свой сайт. С момента добавления скриптов на сайт анализ по трафику будет доступен в меню Dashboard и Reports.

3. Blocking

Здесь можно добавить блокировку на добавленный сайт и видеть количество заблокированных ботов за сегодня и в целом.

Видео обзор программы:

Как видите, интерфейс программы очень прост и понятен.

Вам не нужно обладать навыками анализа сетевых пакетов или анализа вредоносного кода, чтобы защитить свой сайт от вредоносного траффика, созданного ботами.

Также, присутствует служба техподдержки, доступная по e-mail :info@botfaqtor.ru

На мой вопрос ответили в течение 15 минут.

Предлагаю вам самим попробовать этот инструмент в работе, чтобы избежать влияние нежелательного траффика на ваши бизнес процессы.

1 комментария на “ Как удалить ботов на сайте, избежать блокировок google /yandex с помощью botfaqtor ”

Могу сказать, что аналогов Botfaqtor в России нет! Я долго искала сервис который блокировал посещение ненужных мне ботов на сайт, а тут еще и бонус в виде защиты от кликфрода! Лично я очень рада, что на просторах отечественного интернета есть такой сервис!

Botfaqtor — сервис для комплексной проверки трафика и блокировки ботов на сайте

Мы содержим веб-тюрьму для ботов, которых ловим на сайтах клиентов: клиенты экономят на оптимизации рекламных расходов, а мы подбираемся к цели мирового надзирательства.

Сейчас мы предлагаем владельцам сайтов установить у себя в /head&/body два скрипта: один отвечает за аналитику посещений, второй – за блокировку ботов. Причем в таком формате, что для установки не требуется специальных навыков программирования (проще, чем счетчик Я.Метрики)

Нам всё равно, что клиенты делают с ботами – блокируют их, или продолжают скупать фейковый, но качественный бот-трафик. Мы определяем ботов, “ловим”, и пополняем нашу базу технических и психофизических характеристик: через какое-то время, наша база будет настолько обширной (по крайней мере в российском сегменте), что необходимость установки скрипта останется в прошлом.

Мы сможем оценивать бот-трафик удалённо, всего лишь по URL-адресу: к нам потянутся компании-трафиковые миллионеры, мы каждому дадим по аккаунт-менеджеру, и установим платную подписку на Премиум-услуги.

Но не забудем о тех, с кем начинали свой путь – до определенного порога посещений, сервис всегда будет оставаться бесплатным.

Об актуальной повестке

У нас голландские “корни”, но мы выращены полностью на российском “сырье” – от европейского проекта Witstroom осталась только идея. Все разработки создаются нашей московской командой.

На Западе, у нас десятки конкурентов, в России – ноль.

Но там, уже давно не закупают “траф”, там ботов обязали представляться “ботами” в беседах с клиентами, запретили ботам перепродавать билеты, следят за фейковой покупкой сейловых позиций, на каждом втором сайте – защита от парсинга. А проблема скликивания контекстной рекламы – практически доведена до автоматических решений (в плане возврата денежных средств рекламодателю). Вдобавок ко всему, “они там” признали бот-угрозу на официальном уровне, и в конце 2018 года закрыли российский бот-нет по баннерной рекламе.

И перспективе сотрудничества

Рассказывать о всех бот-манипуляциях мира, раскрывать коммерческие накрутки, недобросовестную конкуренцию за счет бот-симуляций – наша социальная ответственность.

и попробуйте узнайте, какие боты, и откуда – посещают ваш сайт уже сейчас:

– Конкурент ли это скликивает рекламные ссылки?

– Недобросовестный партнер “льёт” ботов на баннеры?

– Чьи аналитические сервисы копируют контент и ключевые слова с вашего сайта?

Материал опубликован пользователем.
Нажмите кнопку «Написать», чтобы поделиться мнением или рассказать о своём проекте.

Сервис botfaqtor – есть ли альтернатива, и продолжать ли работу с поставщиком трафика

11/03/2019

Здравствуйте, уважаемые коллеги.
Нет так давно, инте Гбгрировали на сайт интернет-магазина Ботфактор сервис, который отвечает за. Так скажем, проверку трафика – показывает сколько ботов пришло на сайт.
Наши старейший партнер (рекламная сеть – не буду показывать пальцем), неожиданно вошёл в блэк-лист: минимум, около 15% трафика ежедневно, по отчетам “Ботфактора” якобы доставляется ботами-экспертами.
Блокировать не решились – аккаунт партнерской сети ответил, что у них трафик полностью живой, и лишь 2-3% посещений могут быть ботами, т.к. “вероятнее всего, это поисковые боты”.

Возникают вопросы:
1) Есть ли свежие отзывы о botfaktor? Если есть, то прецеденты того, как партнеры реагировали на новости о том, что у них есть боты.
2) Есть ли альтернативные бесплатные, или сервисы с тестовым периодом, чтобы сравнить результаты?
3) Смутило то, что UTM-метки (15% трафика по которым якобы идут боты) за почти 2 месяца ни разу не показали конверсии.

P.S.: если будет в тему, поделитесь пожалуйста, какие партнерки подключаете к сайту? (Можно в ЛС).

Заранее благодарю за ответы!

18/03/2019

1. Партнеры, в глобальном смысле, как бренд – могут быть не причем, т.к. ботов могут подкручивать рядовые менеджеры в надежде сделать kpi.
2. Кликфрог, ботсканнер
3. Смело блокируйте трафик без конверсии, эти посещения не будут засчитываться, и партнерка соответственно предоставит другой трафик; и тот блокируйте, если опять ботовый. Они обязаны предоставить столько, сколько согласовано по договору.

29/03/2019

Ирина, думается, что Вы не совсем верно поняли для чего необходима защита трафика.
Это не для того, чтобы просто оценить его “качество”, т.к. трафик действительно может быть живым и незыблемым, хотя при этом “ботовым”.

Поясню: когда партнерские сети “льют” трафик, то чаще всего при этом используются настоящие IP-адреса, настоящих людей – но конечно, эти люди редко об этом знают (т.к. чаще всего IP-адреса достаются хакерам вместе с установкой на ПО каких-либо программ, в 90% случаев). Хакеры перепродают трафик партнеркам, а партнерки – Вам. Реальный IP – значит реальный трафик, так что обмана со стороны партнерки нет.

Тот же Botfaqtor собирает, как данные реальных IP с подозрительным поведением (т.е. ранее замеченные по контр-интересам в посещениях, типа сейчас этот IP смотрит “Товары для детей в Москве”, а через минуту “Автосервис в Хабаровске”), так и “мертвые” IP, которые работают от фальшивых Прокси-серверов. В этом плане, заслуга сервиса лишь в том, что они собирают данные и блокируют скомпрометированные (так, идея очень проста – не особо инновационно).

Могут ли реальные, но “ботовые” визиты давать конверсию? Ответ “Скорее Да” .
И вот почему:
1) Поскольку краденый IP всё-таки “по-тихому” посещает какие-то сайты, допустим Ваш – то Google это запоминает;
2) В следующий раз, Google обязательно порекомендует реальному человеку с данным IP, ваш сайт (т.к. он уже “якобы” интересовался им).
3) Вероятность того, что этот человек реально купит товар – 50/50. А вашем случае, хоть 1 юзер из 15% точно уж должен выстреливать, хотя бы дополнительными бесплатными визитами.

Подытожу то, с чего начал: Botfaqtor используют, чтобы защищаться от кликфрода (скликивания) контекстной, баннерной, таргетированной рекламы. Только после блокировки можно судить о “ботах”, и возвращать свои деньги.

TOP 3 сервисов в категории Маркетинг :

Официальный сайт: https://botfaqtor.ru
Специализация: маркетинг
Рейтинг:
LPGenerator 2.42
SpyWords 2.29
Zvonobot 2.00

Сервис по проверке качества интернет-трафика БотФактор начал работу в 2018 году. Является российским представительством голландской компании Witstroom, предлагающей аналогичные услуги зарубежным рекламодателям.

Позволяет с минимальными усилиями достичь сразу несколько целей:
– сбор детальной статистики о трафике на сайте;
– детектирование бот-трафика;
– общее или избирательное блокирование нежелательных заходов на сайт.

На момент написания обзора услуги сервиса полностью бесплатны, но основная схема работы с клиентами предполагает продажу доступа с бесплатным ознакомительным периодом.

Отдельно отметим, что в “БотФактор” удачно объединены система сбора статистики и автоматический блокировщик.

Анализируемый трафик распределяется по категориям, часть которых отображает общие группы роботов (Rookie, Skilled, Expert, Advanced), а другая часть классифицирует его источники (поисковые системы, социальные сети, внутренние переходы и т.д.).

По отзывам пользователей, такое представление данных удобней и быстрее, чем стандартные метрики, предоставляемые другими статистическими сервисами.

Помимо сводного отчёта, представленного на рисунке выше, доступны следующие срезы данных:
– количественное или процентное соотношение между разными категориями трафика;

– распределение по источникам с указанием времени пребывания на сайте;

– группирование по географическому признаку (вплоть до городов);

– отслеживание характеристик трафика по отдельно заданной посадочной странице.

Кроме этого, среди отчётов есть отдельная сводка с разбивкой по типу ботов.

Для детектирования ботов “БотФактор” использует собственную базу сигнатур, разработанную специалистами с большим опытом работы в рекламных сетях.

По утверждению разработчиков, система способна выявлять не только “накрутчики” и “парсеры”, но и заходы с интеллектуальных модулей botnet-сетей.

Как начать работу с сервисом БотФактор

Одним из ключевых преимуществ “БотФактор” является простота подключения рабочих скриптов и относительно несложный процесс настройки их рабочих режимов.

Начинать следует с добавления сайта (раздел “Add Site” или “My Sites”).

Обратите внимание, что коды скриптов доступны уже при добавлении сайта, но выполнять подключение на этом этапе не обязательно.

Для настройки режимов работы и генерации скриптов предназначен отдельный раздел – “Install scripts”.

Код статистического модуля может сопровождаться визуальным счётчиком. Для активации такого режима работы следует активировать переключатель “Graphics”.

Непосредственная интеграция скриптов “БотФактор” с HTML-кодом клиентского сайта производится в два шага:
– установка первого блока кода для загрузки скриптов (сразу после открывающего тега head);
– установка второго блока кода перед закрывающим тегом body.

Отметим, что сайтов может быть несколько и управление скриптами по каждому из них осуществляется отдельно.

После того, как сайты добавлены, можно приступать к настройке режимов блокировки, выполняемой в разделе “Blocking”.

Настройка каждого фильтра состоит из следующих шагов:

1.Указание страниц, где будет фильтроваться трафик.
2.Выбор одного или нескольких типов ботов, для которых необходимо закрыть доступ на сайт.
3.Определение источника, трафик с которого должен быть отфильтрован.
4.Определение GEO параметров фильтруемого трафика.

Помимо общего управления скриптами, также возможно избирательное отключение отдельных фильтров.

Избавляемся от ботов в Инстаграме

Боты в Инстаграм могут стать довольно полезным инструментом для создания видимости популярности и востребованности вас или вашего бизнеса. Тем не менее, в наше время их наличие может сослужить плохую службу и оттолкнуть покупателей и подписчиков. Об этом и о том, как удалить в Инстаграме ботов, мы и поговорим в этой статье.

Почему боты – помеха?

Итак, основная проблема, которую создают боты – низкий процент охвата и вовлечённости. Согласитесь, если мы видим аккаунт, у которого сотни тысяч подписчиков и всего по сотне лайков на постах, мы понимаем, что это накрутка. И тут включается внутренний Шерлок, который начинает искать, где же нас хотят обмануть.

Это если смотреть с точки зрения бизнеса. Если вы планируете использовать аккаунт, как рекламную площадку, низкий охват сделает цену либо очень низкой либо нулевой.

Так что, если вы потратили деньги на раскрутку и получили подписчиков-ботов, у меня для вас плохие новости. А теперь давайте почистим то, вашу аудиторию от ненужного груза.

Как удалить ботов в Инстаграм?

Удалить ботов в Инстаграме можно двумя способами: через компьютер или мобильные устройства. Рассмотрим подробнее оба способа.

Удаляем с ПК

Во-первых определим, как найти массфолловера. Это профиль, у которого очень много подписок, а вот подписчиков, относительно подписок, мало. Кроме того это аккаунт, который не проявляет на вашей странице совершенно никакой активности. В первую очередь нам здесь поможет глубокий анализ вашего аккаунта. Сделать это можете вы сами или сторонний человек. Ниже я представлю путь решения проблемы, но вы сами должны знать свою аудиторию и понимать, представляет ли ценность тот или иной подписчик.

  1. Ищем сайты, которые помогут вам собрать статистику ваших подписчиков. Например, Picaton или LiveDune. Можно также использовать парсеры SocialKit FindGram;
  2. Отбираем пользователей по следующему алгоритму: делаем список подписчиков, у которых подписок больше 1000. Затем там же делаем список активных пользователей. Для этого придётся либо скопировать его и вставить в отдельный док либо экспортировать, в зависимости от способа, который вы выбрали в первом пункте;
  3. Сверяем списки и удаляем активных из массфолловеров. Сделать это можно вручную, а можно перейти по ссылке: pr-cy.ru/duplicates/ . Вручную мы делаем это с помощью блокировки. При этом пользователь автоматически отписывается от вас;
  4. Получившийся список ботов лучше всего чистить вручную. Но, если их слишком много, можно использовать InstaPlus. Там для этого мы просто создаем задание «Отписка» по списку.

Еще больше о том, как отписаться от нежелательных подписчиков в материале “Массовая отписка от всех в Инстаграм: несколько работающих способов”.

Гаджеты в борьбе с ботами

Осуществить чистку от ботов можно и с помощью телефона. Для этого достаточно войти в Play Market или App Store. Приведу только один пример, потому что нет смысла описывать больше – они имеют примерно одинаковый функционал и интерфейс. Даже сами приложения и на андроид и на айфонах совпадают.

Одним из таких приложений является InstaFollowers. Он, если честно, открыл мне глаза. Нет, я прекрасно знала, что у меня в подписках много ботов. Но вот что мои летние друзья отписались, было действительно шоком. Мне до сих пор грустно, но возможность за раз очистить всех ботов в подписчиках немного подняла настроение.

Также рекомендуем ознакомиться с материалом: “5 программ для отписки в Инстаграме”.

Проблемы, которые могут возникнуть

Что может помешать избавиться от атаки ботов? На самом деле причин не так уж много, но не стоит упускать их из виду:

  1. Безденежье. Обычно средства очистки аккаунта от бота платные. Поэтому приготовьтесь раскошелиться, чтобы получить хороший сервис.
  2. Потеря аккаунта. Так как эта работа требует авторизации, в каждом сервисе и в каждом приложении приходится вводить свои логин и пароль от Инстаграм. Если сайт будет мошенническим, страницу могут просто угнать. Поэтому внимательно смотрите, какой адрес введён у вас в адресной строке.
  3. Теневой бан. Это ограничение охвата за чрезмерную блокировку. Поэтому запомните одно правило Инстаграма: блокировок должно быть меньше, чем новых подписчиков.

Заключение

Самый лучший способ – вручную с помощью сайтов создать список подозрительных аккаунтов и вручную же их заблокировать. Это будет намного эффективнее, чем автоматизированный сервис, потому что вы знаете своих подписчиков. Вы знаете, кто проявляет активность, а кто нет. Вы знаете, кто не ставит лайки, но при этом в директе спрашивает о ценах и условиях доставки. Я рекомендую именно это. Да, это очень муторно и скучно. Но куда деваться? Чистый, здоровый аккаунт с активными подписчиками привлечёт ещё больше подписчиков.

Глаза боятся, руки делают: чистим трафик сайта от ботов

Как вычислить и вычистить ботов. Рассказывает Дмитрий Максаков из ADV Digital.

Допустим, у вас есть сайт с какой-то небольшой аудиторией, для которого пока нет медийного продвижения. По какой-то причине вы чувствуете, что часть этой аудитории вам нерелевантна, но не знаете, насколько эта часть большая. По данным исследования Bot Traffic Report 2016, до половины трафика в интернете — боты.

Рассказываем, как понять, есть ли боты на вашем сайте, сколько их и как избавиться от этой заразы с помощью Google Analytics.

Первые шаги

Сначала нужно выгрузить все возможные показатели активности пользователей на сайте (показатель отказов, процент новых пользователей, среднее время сессии и прочее) по различным фильтрам (источники трафика, каналы, операционные системы, браузеры, типы устройств).

Далее находим статистические показатели, которые сильно отличаются от нормы, за норму можно принять среднее значение по всем сайтам, с которыми вы работаете. Если такого опыта у вас нет, то можно примерно рассчитать норму, основываясь на показателях одного сайта.

Корпоративный пакет COSSA-2020

Cossa анонсирует главный рекламный формат на весь 2020 год: сразу 7 различных контентных и медиа-форматов.

Пакет идеально подходит для онлайн-сервисов, стартапов, интернет-компаний и digital-агентств.

Успейте приобрести пакет до повышения цены!

Пример. Допустим, трафик на сайт приходит из 10 браузеров, показатели в GA по 9 из них примерно похожи, а вот по одному сильно отличаются, это и будет поводом для более детальной проверки данного источника. Для геолокации подход такой же.

Такие аномалии могут вызывать боты. Но бывает и так, что сбоит сам счётчик. Это возможно в следующих случаях.

1. Установлено два и более счётчика GA на один сайт. В таком случае счётчики могут перебивать данные друг друга.

2. Счётчик установлен не там. Рекомендуется устанавливать счётчик аналитики перед закрывающим тегом head.

3. Установлена старая версия Google Analytics.

4. У вас одностраничный сайт, навигация по которому осуществляется без смены url. В таком случае без дополнительно настроенных событий показатель отказов будет стремиться к 100%, а время на сайте к 0.

5. Настроены события на различные pop-up events, которые автоматически срабатывают на сайте и скручивают показатель отказов до 0%.

6. Счётчик GA установлен не на все страницы сайта.

Примеры аномальной статистики из GA, которая поможет выявить ботов

Пример 1. Новых сеансов меньше 5% (обычно можно посмотреть, сколько у вас новых сеансов в ретаргетинге, и поставить это значение). Слишком высокие или слишком низкие показатели процента отказов, страниц за сеанс, средней продолжительности сеанса.

В данном случае невозможно дать какие-либо точные бенчмарки, так как нужно ориентироваться на средние показатели, а они индивидуальны для каждого сайта.

Пример 2. Аномальный коэффициент достижения цели как в общем по каналу, так и по какому-то фильтру.

Вот конкретный пример такого анализа, благодаря которому мы смогли вычислить нечестную CPA сеть.

Показатели выбиваются из общей картины

Как видно на скриншоте из GA, существует очень большая разница в коэффициенте конверсии как минимум для двух городов. При среднем значении конверсии в 17% в Ступино мы имеем 0,13%, а в Тамбове аж 95%. Если видите что-то подобное, это повод разобраться в источнике трафика.

Пример 3. Большой процент трафика приходится на пользователей, у которых GA не смог распознать возраст или пол.

Ранее в GA этот трафик указывался как not set или вообще не показывается в фильтре по демографии. Это не самый очевидный параметр для определения мошеннического трафика, так как Google физически не может определять пол и возраст у 100% трафика, но если мы видим большую долю таких сеансов, то лучше с этим разобраться.

Пример 4. Очень низкий процент новых сеансов на сайте с определённого канала.

Низкий процент, конечно, может быть обусловлен тем, что аудитория сайта в принципе невелика и на него заходят одни и те же пользователи, но в других случаях стоит проверить источник таких посещений, так как вполне возможно, что данные сессии генерируются одним ботом, поэтому и показатель новых сеансов низкий.

Пример 5. Странная активность с прочих технологических фильтров: ОС, браузера, устройства, IP-адреса.

Иногда следует обратить внимание на технологические отчеты GA, так как там также попадается много интересного. Часто мы можем видеть большой процент трафика с нецелевого для нас гео или странные показатели с какого-либо браузера или операционной системы.

Описанное выше — элементы «обязательной программы» по борьбе с ботами. Если мы имеем дело с более совершенными «созданиями», которые ведут себя как нормальные пользователи, есть ещё один подход.

Поведение человека и бота на сайте может отличаться тем, что человек, перейдя на сайт, понимает, какие области тут кликабельные, какие ему интересны, и обращает внимание только на некоторые кнопки.

Бот же скликивает на сайте все элементы, которые для этого предназначены. Чтобы отсеять данный тип мошенничества, мы можем добавить на сайт невидимый глазу кликабельный пиксель и настроить в GA соответствующие события и цели, связанные с кликом по этому пикселю. Таким образом канал, с которого будут приходить сеансы со сработавшими целями по клику на данный пиксель, нужно будет дополнительно проверить на качество трафика, так как настоящий посетитель (не бот) может совершить такое событие на сайте только случайным образом.

Мы провели такой тест для клиента и увидели подобные сработавшие события, но таких сеансов было не более 0,1% от общего количества аудитории на сайте. Более детальную информацию по настройке такого фильтра вы найдете в инструкции.

В этом материале мы рассмотрели несколько способов провести быструю диагностику трафика сайта и найти неблагонадёжные источники. В следующей статье расскажем о системах бот-фильтрации, отсекающих ненужные сеансы на уровне рекламной кампании. Stay tuned!

Борьба с парсерами и ботами – antiBot


Первый случай
Примерно год назад повадился на сайт парсер который шерстил сайт с разных IP адресов и c разными user agent, воровал информацию.
Сайт по содержанию имел около 10 миллионов страниц и ежедневно обновлялся по 10к страниц в день. Видел его даже в статистике сайта на метрике. Но все не мог придумать как его заблокировать.
Пробовал использовать компонент siteStatistics с костамизаций так чтобы можно было блочить его по IP адресам.
Худо бедно кое как избавился от этого парсера.

Второй случай
Две недели назад, какой то экспериментатор устроил мне атаку на форму регистрации пользователей, и как давай регистрировать по 2-3 пользователей в секунду. Пришлось закрыть сайт на некоторое время чтобы остановить регистрацию и выяснить как от него избавится. В итоге пару кастылей для формы регистрации еще пришлось написать. Но товарища я так и не успел вычислить так как компонент siteStatistics был отключен, и я честно говоря уже даже забыл как им пользоваться.
Кстати в логах сайта шарится не стал, так как понимал все ровно может повторится не на этом сервер так на другом, пришел один прийдет и второй

UPD: цена снижена с 1490 руб до 590 руб, чтобы можно было купить сразу для нескольких сайтов

siteStatistics — ведет статистику, это отлично, но он не для целей защиты от нападения. А мне нужно было чистить тот мусор который скапливается и разрастается в базе данных при каждом запросе, а это проблема. Так же необходимо было вести список IP адресов и USER AGENT которые нужно блокировать, и нужна была возможность редиректа на страницу блокировки или выдачу сообщения о блокировки.

В третий раз
Пишет мне один очень хороший знакомый, с вопросом: а как защитится от ботов которые нагружают сайт своими переходами. Обсудили. Набросал небольшую логику как же все таки можно отсекать ботов + парсеров с сайта. По шарился в интернете, и посмотрев работу кое каких компонентов других CMS, вывел для себя заключения что мне нужно сделать компонент.

Так что прошу знатоков linux, nginx и apache сильно меня не критиковать, так как сам и так знаю что есть всяческие утилиты по блокировки и защите от ботов и парсеров.
Но проблема заключается в том что с помощью них сложно определить кто сейчас парсит сайт или какой бот гуляет у тебя на сайте (особенно если знаешь только php). И вообще это нормальный бот или подделка какого нибудь yandex или google бота.
Все бы ничего, есть разные уловки для блокировки ботов через веб-сервера, но боты то новые появляются, как быть с ними?

В общем написал компонент который умеет блокировать ботов и парсеров по IP и USER AGENT с проверкой на фэковых ботов. В будущем планируется добавить блокировку по части IP адреса.

Компонент ведет статистику за 3 дня(это по умолчанию, можно поставить больше) и чистить её по наступлению даты или если дата последней отчитки меньше. Очистка производится один раз в сутки при входе пользователя/бота на сайт.
Это позволяет не захламлять базу данных с переходами и вовремя вычислять парсеров и ботов через список посетителей и хитов

Список хитов

Список посетителей

Блокировка ботов и парсеров

Можно составлять свои СТОП-ЛИСТЫ с блокировкой и выводом сообщения или редиректом на страницу.

Добавление стоп-листа

Блокировка

Запись и блокировка ботов/парсеров/пользователей производится на событии OnHandleRequest что позволяет избавится от бота еще на подходе к самому важно: контенту. То есть бот будет заблокирован до того как будет загружен ресурс, чанки, сниппеты, шаблоны.

Как по мне так это очень полезный компонент который избавит от дополнительной нагрузки на сайт так и защитит от воровства контента.
Уже установил на клиентские сайты на modx с блокировкой ботов AhrefsBot, MJ12bot, DotBot и SemrushBot

Причем я был удивлен когда увидел что на один из моих сайтов-клиентов с небольшой посещаемостью боты делаю переходов на 10000% процентов больше чем живые пользователи.
Так сайт клиента имеющий каталог в 17000 товаров попадал под раздачу этих ботов. Боты делали по 1000 переходов на страницы в сутки, ну вот зачем мне это счастье. А если у меня сотни таких сайтов, что сервер просто будет работать на одних только ботов.

В заключении: возможно есть множество готовые решений по защите от ботов и парсеров, но когда год назад я боролся с парсером, я как то их не мог найти для modx.

Компонент по стоимости 1490 руб.
antiBot

Установить и посмотреть как работает можно на modhost.pro.
Свою демку делать не стал)) Все ровно кто нибудь заблокирует по случайности)))

PS. robots.txt, apache, nginx это круто, но а если новый бот появится?

Обновление от 27.02.2019

Добавлена кнопка для скачивания стоп листов из репозитория для блокировки ботов. После скачивания создаются стоп листы с правилами для блокировки ботов.
Репозиторий будет периодически пополняется новыми правилами блокировки.

Статья Создаем свой ботнет

Добрый вечер господа. Сегодня я хотел бы поговорить не о взломе в чистом виде. Я думаю пришло время нам с Вами создать собственный БОТНЕТ . Эта тема, является не новой, но я бы хотел обратить внимание на то как именно начать создавать ботнет. Я уже являюсь ботоделом. И вот так выглядит, то что уже написано.

Ну что, пожалуй сразу к делу?

Ботнет будем строить на языке C# – так как этот лучший выбор для НЕБОЛЬШИХ Ботнетов (максимум 100к онлайн машин). Это связано с одним ограничением, что для работы бота у жертвы должен быт установлен .Net Framework – сегодня в эпоху Windows 10, это уже не является большой проблемой, однако знать об этом стоит.

Теперь же поговорим о главном, а именно о том, с чего начинают новички и как НЕ НАДО начинать . (По разрушаем некоторые мифы)

Миф 1: Крутой ботнет должен содержать много всяких плюшек (DDOS, лайки в вк, вызов калькулятора =)).

Опровергаем: Хороший ботнет это тот, который не падает и справляется со своей задачей. Поэтому, как и любой продукт сначала необходимо писать МИНИМАЛЬНО – НЕОБХОДИМЫЙ функционал, так как программиста очень тяжело остановить и ему хочется писать всё больше и больше кода. Это неправильно. Написать необходимо сначала каркас и возможность расширения функционала. Этим путем пойдем и мы. Ботнет должен работать сразу и писаться максимум за два – три дня.

Миф 2: Ботнет обязательно для DDOS – атак.

Опровергаем: Это тоже не верное суждение. Да, ботнеты обычно используются для DDOS атак и мы рассмотрим типы DDOS атак и даже напишем свои модули, но не это главное. Лично я использую ботнет для распределенного быстрого подбора хеш функций, брута сервисов и т.п. Так как согласитесь, на сколько бы быстрый не был бы Ваш процессор, 100 000 машин сбрутят быстрее чем 1 машина. И это лишь немногое, как его можно использовать

Миф 3: Написать ботнет – сложно и требует клоссальных знаний программирования и сетевых технологий.

Опровергаем: Отчасти это так, но на самом деле не нужно быть выдающимся программистом с великим стажем. Хватит понимания общих сетевых протоколов (такие HTTP), немного знаний криптографии (SSL), и уровень программирования хотя бы на понимание ООП.

Итак, что же такое ботнет? Это несколько машин, объединённых одним командным центром, для скрытой эксплуатации ресурсов выгодных владельцу ботнета.

Пожалуй, хватит разговоров, пора к делу:

Требования к сегодняшнему релизу:
1) Создать билд который по указанному пути будет брать команду для ботов
2) Реализовать возможность копирования самого себя в автозагрузку и на этой стадии ограничимся копированием билда в другом каталог.
3) ByPass Uac и AV
4) Запретить завершение процесса.
5) Реализовать поддержку первый команды «Update» – команда которая просто будет обновлять наш текущий клиент, новой версией.
6) Небольшую обфускацию исходников , чтобы нас не отреверсили так просто.

Создаем новый консольный проект.

Далее меняем в настройках проекта на приложение для Windows (Лайвхак, чтобы создать пустое приложение без поддержки телеметрии).

А вот теперь переходим в вопросы архитектуры.

Создаем папку Services в которой будет хранится наша бизнес логика и при добавлении новых возможностей в эту папку будем добавлять папки с новыми сервисами и классами. Начнем с первого пункта ТЗ. Создаим сервис «FileManager» , который будет читать команду по ссылке, а также интерфейс.

Далее код, для начала создадим заглушку на командном сервере (index.php).

Реализовать возможность копирования самого себя в автозагрузку и на этой стадии ограничимся копированием билда в другом каталог.
Создаем в FileManager новый метод

Добавляем в Program.cs

Для того чтобы забайпассить UAC нужно в реестре просто отключить его проверку.

Реализовать поддержку первый команды «Update» – команда которая просто будет обновлять наш текущий клиент, новой версией.

Сравним обфусцированный и необфусцированный билды

Видим как билд палится без проблем

Вспоминаем наш метод Main, который теперь вот так выглядит в dotPeek

Всем спасибо. На этом всё. Посмотрим, зайдет ли кодерская статья у публики, и решим продолжать эту тему или нет. Во всяком случае в статье собраны так же инетересные техники байпасса, немного рефлексии.

Добрый вечер господа. Сегодня я хотел бы поговорить не о взломе в чистом виде. Я думаю пришло время нам с Вами создать собственный БОТНЕТ . Эта тема, является не новой, но я бы хотел обратить внимание на то как именно начать создавать ботнет. Я уже являюсь ботоделом. И вот так выглядит, то что уже написано.
Посмотреть вложение 8073
Ну что, пожалуй сразу к делу?

Ботнет будем строить на языке C# – так как этот лучший выбор для НЕБОЛЬШИХ Ботнетов (максимум 100к онлайн машин). Это связано с одним ограничением, что для работы бота у жертвы должен быт установлен .Net Framework – сегодня в эпоху Windows 10, это уже не является большой проблемой, однако знать об этом стоит.

Теперь же поговорим о главном, а именно о том, с чего начинают новички и как НЕ НАДО начинать . (По разрушаем некоторые мифы)

Миф 1: Крутой ботнет должен содержать много всяких плюшек (DDOS, лайки в вк, вызов калькулятора =)).

Опровергаем: Хороший ботнет это тот, который не падает и справляется со своей задачей. Поэтому, как и любой продукт сначала необходимо писать МИНИМАЛЬНО – НЕОБХОДИМЫЙ функционал, так как программиста очень тяжело остановить и ему хочется писать всё больше и больше кода. Это неправильно. Написать необходимо сначала каркас и возможность расширения функционала. Этим путем пойдем и мы. Ботнет должен работать сразу и писаться максимум за два – три дня.

Миф 2: Ботнет обязательно для DDOS – атак.

Опровергаем: Это тоже не верное суждение. Да, ботнеты обычно используются для DDOS атак и мы рассмотрим типы DDOS атак и даже напишем свои модули, но не это главное. Лично я использую ботнет для распределенного быстрого подбора хеш функций, брута сервисов и т.п. Так как согласитесь, на сколько бы быстрый не был бы Ваш процессор, 100 000 машин сбрутят быстрее чем 1 машина. И это лишь немногое, как его можно использовать

Миф 3: Написать ботнет – сложно и требует клоссальных знаний программирования и сетевых технологий.

Опровергаем: Отчасти это так, но на самом деле не нужно быть выдающимся программистом с великим стажем. Хватит понимания общих сетевых протоколов (такие HTTP), немного знаний криптографии (SSL), и уровень программирования хотя бы на понимание ООП.

Итак, что же такое ботнет? Это несколько машин, объединённых одним командным центром, для скрытой эксплуатации ресурсов выгодных владельцу ботнета.

Пожалуй, хватит разговоров, пора к делу:

Требования к сегодняшнему релизу:
1) Создать билд который по указанному пути будет брать команду для ботов
2) Реализовать возможность копирования самого себя в автозагрузку и на этой стадии ограничимся копированием билда в другом каталог.
3) ByPass Uac и AV
4) Запретить завершение процесса.
5) Реализовать поддержку первый команды «Update» – команда которая просто будет обновлять наш текущий клиент, новой версией.
6) Небольшую обфускацию исходников , чтобы нас не отреверсили так просто.

Далее меняем в настройках проекта на приложение для Windows (Лайвхак, чтобы создать пустое приложение без поддержки телеметрии).
Посмотреть вложение 8075

А вот теперь переходим в вопросы архитектуры.

Создаем папку Services в которой будет хранится наша бизнес логика и при добавлении новых возможностей в эту папку будем добавлять папки с новыми сервисами и классами. Начнем с первого пункта ТЗ. Создаим сервис «FileManager» , который будет читать команду по ссылке, а также интерфейс.

Ссылка на основную публикацию