Проксі для парсингу

Збір публічних даних: цін, карток товарів, пошукової видачі. Тип проксі залежить від захисту сайту. Де його немає, вистачить серверних IP з безлімітним трафіком, а на сайти з антиботом заходять через резидентні з ротацією.

Ротація на кожен запит
Безліміт на серверних
72M+ резидентних IP
Гео до міста

Створити акаунт Підібрати проксі

Як влаштований збір через проксі

1
Новий IP на запит
Запити розходяться по пулу й не накопичуються на одній адресі. Ліміти за IP спрацьовують рідше.
2
Пагінація на одній адресі
Каталог із фільтрами часто зберігає стан у cookie. Sticky-сесія проводить обхід усіх сторінок через один IP.
3
Локальні ціни й видача
Магазини й пошуковики показують різне залежно від міста. З параметрами country і city ви отримуєте локальну версію сторінки.

Який тип під який сайт

Серверні проксінезабаром

Серверні IPv4 до 1 Гбіт/с, безлімітний трафік, підмережі /24 на вибір. Для сайтів без серйозного захисту й великих обсягів.

Детальніше

Резидентні проксівід $1.20 за GB

Домашні IP з пулу 72M+ з ротацією на кожен запит. Для сайтів з антиботом і капчею.

Детальніше

Premium резидентні проксівід $1.80 за GB

Якщо й на звичайних резидентних капча часта. Відбірні адреси без історії банів.

Детальніше

Налаштування для парсера

Кілька підмереж /24

Беріть серверні IP з різних підмереж. Якщо сайт заблокує одну підмережу цілком, решта продовжать працювати.

ttl на обхід категорії

Для пагінації задайте session і ttl із запасом на весь прохід по категорії.

Повтор при 403 і 429

Отримали таку відповідь — повторіть запит. У режимі ротації він піде вже з іншої адреси.

Рядок для Scrapy

Формат URL на кшталт http://user:pass@host:port підходить для meta["proxy"] у запиті або змінної HTTP_PROXY.

З чим працює

ScrapyCrawleePlaywrightPuppeteerSeleniumBeautifulSoupScreaming FrogOctoparsen8n

Часті запитання

Не знайшли відповіді? Напишіть у Telegram, підтримка працює цілодобово.

Написати в підтримку

Які проксі краще для парсингу?

Залежить від сайту. Для сайтів без захисту від ботів підійдуть серверні з безлімітним трафіком. Якщо сайт віддає капчу або блокує за IP, беріть резидентні з ротацією.

Ротація чи sticky для парсингу?

Ротація — коли кожна сторінка запитується незалежно. Sticky — коли потрібен вхід в акаунт або пагінація зі збереженням cookie.

Скільки коштують проксі для парсингу?

Резидентні коштують від $2.30 до $1.20 за GB залежно від обсягу. ISP оплачуються за IP, від $1.80 на місяць у США, і трафік у них не обмежений. Серверні проксі незабаром з’являться.

Як зібрати видачу по різних містах?

Вкажіть city в логіні, і запит піде з IP цього міста. Для серії запитів увімкніть ротацію.