Скрапинг и автоматизация аккаунтов - разные задачи, продаваемые как один инструмент

Кому-то в команде нужно снимать цены с десяти тысяч страниц товаров в день. Кому-то другому - держать сорок клиентских рекламных кабинетов залогиненными и ведущими себя каждый раз как один и тот же человек. Обе задачи попадают на один стол, и на обе часто отвечают одной покупкой: антидетект-браузер плюс тариф на резидентные прокси. Для одной из этих двух работ такой ответ дорог и медленен. Вот где верный выбор переворачивается, по осям.

Тип прокси и ротация

Скрапингу публичных страниц нужен объём IP и дешёвая ротация. Пул серверных прокси, меняющий адреса каждый запрос или каждые несколько запросов, здесь ровно то, что надо: целевой сайт не видит ни логина, ни сессии, ни причины сопоставлять один IP со следующим. Блокировка одного IP не стоит ничего, вы переходите к следующему.

Автоматизации аккаунтов нужно обратное. Один аккаунт должен предъявлять один выходной IP, в идеале тот же самый или ту же узкую подсеть, при каждом входе. Ротация IP под живой сессией - самый быстрый способ получить пометку на аккаунте, потому что вход из Чикаго, а через десять минут действие из Варшавы - сигнал крупнее большинства несовпадений отпечатка. Это залипающий резидентный IP, привязанный к одной этой личности, а не пул.

Статья резидентные и серверные прокси разбирает механику того, почему сайты отличают эти два типа прокси на сетевом уровне.

Нужен ли вам настоящий браузер вообще

Многому скрапингу браузер не нужен. Если данные лежат в HTML-ответе или в JSON-эндпоинте, который вызывает сама страница, HTTP-клиент быстрее, легче и проще в масштабировании, чем управление Chromium. Браузер становится необходим, когда цель рисует содержимое на клиенте, прячет его за проверками JavaScript или снимает отпечаток с рукопожатия TLS и порядка фреймов HTTP/2, а не только смотрит на IP. Что именно проверяет эта проверка, объясняет статья про отпечатки TLS, JA3 и JA4, и обычный вызов requests или curl проваливает её так, как настоящий браузер не проваливает.

Автоматизации аккаунтов настоящий браузер нужен почти всегда, потому что цель ожидает сессию: куки, localStorage, аутентификатор WebAuthn для passkey, движок JS, ведущий себя как тот, из которого аккаунт был создан. Лёгкой замены залогиненной сессии, которая должна прожить неделю, не существует.

Что значит «быстро» и как выглядит провал

Для скрапинга быстро - это запросов в секунду по множеству одноразовых личностей. Провал - заблокированный IP или капча, и лечится он тем, что личность выбрасывают и идут дальше. Никакой преемственности защищать не нужно.

Для автоматизации аккаунтов скорость - неверная метрика. Единица работы - одна долговечная личность, которая должна работать и через месяц. Провал - блокировка самого аккаунта, а это не ошибка, которую можно повторить: это потеря того актива, ради которого автоматизация и затевалась.

Модель затрат

Ротируемые серверные IP тарифицируются по трафику или по количеству адресов и на объёме дёшевы. Резидентные IP, привязанные к отдельным аккаунтам, тарифицируются по сессии или по адресу и стоят дороже за единицу, но их нужно куда меньше, потому что каждой личности нужен ровно один.

Гонять антидетект-браузер по ротируемому пулу серверных прокси не даёт ни того ни другого выигрыша: вы платите за согласованность отпечатка на уровне браузера, которой не пользуетесь, поверх IP, которые всё равно меняются под вами.

Когда антидетект-браузер - неверная покупка

Если задача - чистый скрапинг публичных страниц, на объёме, без всякого логина, HTTP-клиент плюс ротируемый пул серверных прокси обычно дешевле и лучше любого антидетект-браузера, включая этот. Вы платите за постоянство личности и согласованность отпечатка, которым в скрапинге без состояния нет применения. Направьте этот бюджет в объём прокси.

Большинство команд, думающих, что им нужен один инструмент, на деле нуждаются в обоих: конвейер скрапинга для публичных данных и отдельные профили с залипающими IP для аккаунтов, которые должны оставаться залогиненными. Попытка заставить одно делать работу другого - место, где утекают и деньги, и надёжность.

Проверьте сами

Возьмите одну цель, которую вы сейчас скрапите полноценным браузером, и попробуйте сначала обычным HTTP-запросом. Если данные есть без выполнения JavaScript, вы платили за браузер, который был не нужен. А там, где он нужен, определите, работает ли нагрузка без сохранения состояния (скрапинг) или привязана к личности (аккаунт), до выбора тарифа на прокси, а не после.

Документация по прокси или тарифы.