У прокси есть понятные границы. Он меняет только адрес, с которого вы выходите в сеть, но не отменяет лимиты сайта, не проходит капчу за вас и не делает разрешённым то, что сайт запрещает. Ниже: какие адреса выбрать, сколько их взять и как вести сбор аккуратно.
Какие прокси выбрать для парсинга
| Задача | Что брать | Почему |
|---|---|---|
| Каталоги и цены, большие объёмы | серверные IPv4 | доступная цена за адрес, стабильная работа |
| Сайты, которые строже относятся к дата-центрам | резидентские | адреса домашних провайдеров |
| Позиции и реклама в конкретном городе | резидентские | город выбирается только у них |
| Долгие сессии с одним сайтом | ISP | провайдерский адрес, закреплённый за вами |
Серверные IPv4
Обычно это первый выбор прокси для сбора с общедоступных страниц. Адрес закреплён за вами до конца аренды, город не выбирается — только страна. Подробнее — на странице серверных прокси.
Резидентские
Адреса домашних абонентов в 229 странах и территориях, город выбирается в кабинете после покупки. Оплата пакетом трафика, пакет бессрочный. У резидентских есть ротация по каждому запросу или по таймеру и статичная сессия, когда нужно держать один адрес. О ротации в целом — на странице прокси с ротацией.
ISP
Адрес провайдера, размещённый в дата-центре и закреплённый за вами на весь срок.
Мобильные прокси мы пока не продаём: они в разработке и появятся позже.
Протоколы
Все тарифы работают по HTTP, HTTPS (CONNECT) и SOCKS5. Большинству парсеров и HTTP-библиотек достаточно HTTP или HTTPS. UDP доступен только на серверных IPv4 через SOCKS5.
Что собирают через прокси
Цены и наличие
Магазины и маркетплейсы могут показывать разное посетителям из разных стран и городов. Чтобы видеть витрину так, как её видит местный покупатель, обращение должно идти с адреса этой страны.
Поисковая выдача
SEO-специалисты снимают позиции по своим ключам из нужного региона. С адреса сервера в другой стране результаты будут другими. Учтите: Яндекс допускает автоматические запросы к Поиску только через Search API, а у Google страницы поиска закрыты для роботов в robots.txt.
Объявления в другой стране
Чтобы увидеть, что показывают пользователям конкретной страны, нужен прокси оттуда.
Каталоги и классифайды
Сбор карточек с публичных ресурсов — классифайдов, справочников, сайтов-агрегаторов. Для Авито есть отдельная страница с его правилами.
Тесты своих сервисов
Проверка, как ваш сайт или API отвечает пользователям из разных стран.
Все эти задачи объединяет одно: данные доступны любому посетителю. Закрытые разделы, чужие аккаунты и персональные данные — не тема этой страницы.
Что означают ответы 429 и 403
При сборе данных чаще всего встречаются два кода ответа. Их полезно понимать до того, как выбирать прокси.
429 Too Many Requests
Сервер сообщает, что вы прислали слишком много запросов за какой-то период, и просит снизить частоту. Он может добавить заголовок Retry-After — время ожидания в секундах или конкретную дату. Стандарт не задаёт ни величину лимита, ни то, как он считается: по IP, сессии, аккаунту, API-ключу или по их сочетанию. Поэтому смена адреса не обязательно сбрасывает ограничение.
403 Forbidden
Сервер понял обращение, но отказывается его выполнять. Одной обязательной причины у этого кода нет: это может быть география, правило защиты от ботов, отсутствие cookies или JavaScript, User-Agent. По одному коду нельзя доказать, что виноват именно прокси.
| Ответ | Что можно утверждать | Что делать |
|---|---|---|
| 429 | превышен какой-то лимит запросов | снизить частоту, учесть Retry-After |
429 + Retry-After |
сервер назвал время ожидания | ждать указанное время, не повторять сразу |
| 403 | сервер отказал в доступе | смотреть текст ответа и заголовки, проверить, доступен ли раздел посетителям |
robots.txt и правила сайта
Файл robots.txt описан стандартом RFC 9309. В нём владелец сайта сообщает автоматическим клиентам, какие адреса им можно и нельзя запрашивать: правила группируются по User-agent, а доступ задают директивы Allow и Disallow. Google в своей документации ссылается на этот же стандарт.
robots.txt ничего не блокирует технически: он работает, только если клиент сам его соблюдает. Мы советуем соблюдать. Кроме того, прочитайте правила, которые сайт публикует для посетителей: там бывает прямо сказано, разрешён ли автоматический сбор и есть ли официальный API.
Почему сайты ограничивают серверные адреса
Сервисы защиты от ботов оценивают, насколько вероятно, что за запросом стоит программа, и могут заблокировать его, показать проверку или ограничить частоту. Для этого используют и фильтрацию по IP, и по User-Agent, и отдельные лимиты. Адрес из дата-центра может попасть под такое правило, но обычно решает совокупность признаков, а не одно происхождение IP.
Отсюда практический вывод: несколько адресов не делают обращения независимыми. Сайт может связать их по cookies, сессии, параметрам соединения и заголовкам. Распределение по IP помогает не перегружать один адрес, но не даёт права превышать лимиты сайта.
Как подключить прокси к парсеру
Retry-After и не повторяйте обращение сразу.Сколько адресов брать, зависит от числа страниц и частоты обхода. Начните с небольшого набора, посмотрите, как сайт отвечает, и докупите прокси новым заказом, если адресов не хватает. Трафик на серверных IPv4 и ISP не ограничен; у серверных IPv4 не ограничена и скорость, а жёсткого лимита подключений нет.
Как купить прокси для парсинга
Серверный IPv4 стоит $0.70 за адрес на 1 день, $1.35 на 14 дней и $1.49 на 30 дней. ISP и резидентский трафик — ISP — $2.49 за адрес на месяц, резидентские — от $2.40 до $1.40 за ГБ. За объём скидка до 20 %, за срок — до 15 %, вместе не больше 20 %. API для управления прокси появится позже.
Почему Ultra Proxy
- Три варианта адресов. Серверные IPv4 для объёма, резидентские с выбором города, ISP для долгих сессий.
- Трафик резидентских не сгорает. Можно собрать данные сейчас, а остаток потратить в следующем месяце.
- HTTP, HTTPS и SOCKS5 в каждом тарифе. Подходит для любого парсера и библиотеки.
- Поддержка. ИИ-бот в чате отвечает круглосуточно, специалисты — с 10:00 до 00:00 по Москве; раздел «Помощь» и support@ultraproxy.io. Помогут подобрать тип и подключить парсер. Если прокси не работает, его заменят. Недоступность конкретного сайта неисправностью не считается.
Частые вопросы
Какой тип прокси лучше для парсинга?
Для общедоступных каталогов и больших объёмов обычно хватает серверных IPv4. Если сайт строже относится к адресам дата-центров или нужен конкретный город, берите резидентские.
Можно ли парсить через бесплатные открытые прокси?
Публичные списки не годятся для работы: адресами пользуются чужие люди, соединение нестабильно, и неизвестно, что с них делали до вас.
Сколько прокси нужно для парсинга?
Зависит от числа страниц и частоты обхода. Начните с небольшого набора прокси и смотрите на ответы сайта: если часто приходит 429, снижайте частоту, а не только добавляйте адреса.
Поможет ли прокси обойти ответ 429?
Нет. Код 429 означает, что вы превысили лимит, и стандарт не говорит, что лимит считается по IP. Учтите `Retry-After` и уменьшите частоту запросов.
Нужно ли соблюдать robots.txt?
Мы советуем соблюдать. По RFC 9309 файл сообщает автоматическим клиентам, какие адреса запрашивать нельзя. Технически он не блокирует, но это прямое указание владельца сайта.
Нужны ли мобильные прокси для парсинга?
У нас мобильных пока нет, они появятся позже. Для сайтов, строгих к дата-центрам, берите резидентские.
HTTP или SOCKS5 для парсера?
Все тарифы работают по HTTP, HTTPS (CONNECT) и SOCKS5. Большинству парсеров хватит HTTP или HTTPS; SOCKS5 удобен, если программа работает не только с веб-страницами, но и с другими сервисами в сети.