Полтора года назад я купил доступ к списку из пятисот бесплатных прокси. Через сутки отвечали одиннадцать. Через неделю - два. Продавец тут ни при чем: адреса лежали в открытом доступе, их разобрали за первые часы, а часть узлов выключили сами владельцы.
С тех пор вопрос "как найти рабочий прокси сервер" я переформулировал иначе: нужен адрес, который останется рабочим через час, через сутки и через месяц. Разница между формулировками примерно как между парсингом двухсот страниц в сутки и двухсот тысяч.
Рабочий прокси - это про предсказуемость, а не про пинг
Классическая ошибка новичка: открыть чекер, отсортировать по задержке, взять верхнюю строку. Пинг 40 мс выглядит красиво. Дальше вы запускаете сбор данных, и на третьем десятке запросов узел начинает отдавать капчу или рвать соединение. Формально он живой, практически бесполезен.
Для себя я определяю работоспособность тремя вещами. Узел стабильно держит сессию хотя бы десять минут без разрывов. Он не подставляет ваш IP вместо своего при обращении к сайту и не светит заголовком HTTP_X_FORWARDED_FOR с реальным адресом. И он не висит в публичных бан-листах, куда со временем попадает все, что месяцами лежит в открытых списках.
Последний пункт недооценивают. Крупные площадки давно ведут собственные черные списки подсетей. Найдете идеальный по скорости узел, подключитесь, а сайт выдаст пустую страницу без единой ошибки в логах. Прокси рабочий, а страница пустая.
Бесплатный список умирает быстрее, чем вы его дочитаете
Механика простая. Публичные списки обновляются по расписанию, но между обновлениями проходит время. За эти часы адреса разбирают боты, владельцы узлов видят нетипичную нагрузку и закрывают доступ, часть серверов просто падает. По моим замерам на выборке из пары тысяч строк живых остается от 3 до 12 процентов. Половина из них умирает в течение следующих суток.
Есть нюанс, который знают не все. Бесплатные узлы часто живут на домашних машинах или дешевых VPS без нормального канала. Отсюда дикая задержка вечером и обрывы на длинных ответах. Разово проверить гео или открыть одну страницу сойдет. Для регулярной работы нет.
Поэтому к бесплатным спискам я отношусь как к песочнице: посмотреть, как ведет себя протокол, потренироваться на настройках, сравнить поведение разных стран. Инфраструктурой это не считается.
Пять параметров, по которым отсеиваю узлы за минуту
Когда ко мне попадает новый список, я не гоняю его целиком через тяжелые тесты. Сначала быстрый фильтр, потом подробная проверка выживших.
- Протокол. HTTP или HTTPS подходит для браузера и части клиентов, SOCKS5 - для задач, где нужен произвольный трафик и нормальная работа с UDP.
- Гео. Проверяю не заявленную страну, а фактическую по IP. Расхождения встречаются чаще, чем кажется, особенно у перепродавцов.
- Стабильность отклика. Делаю десять запросов подряд и смотрю не средний пинг, а разброс. Узел с ровными 300 мс лучше, чем узел с 80 мс и скачками до двух секунд.
- Прозрачность заголовков. Они выдают тип прокси быстрее любых заявлений в описании.
- Срок жизни. Если адрес светился в публичном листинге больше недели, вероятность бана высокая независимо от качества канала.
Такой фильтр занимает минуты, а экономит часы отладки, когда скрипт падает на ровном месте.
Как проверить прокси руками, без панелей и подписок
Самый честный способ - отправить через узел запрос и посмотреть, что вернется. В терминале достаточно одной строки с ключом socks5h, чтобы DNS тоже ушел через прокси, а не разрешался локально. Сайт определения IP показал чужой адрес вместо вашего - базовое соединение работает.
Дальше три проверки, которые я делаю всегда. Первая: два запроса подряд с интервалом в минуту, оба должны пройти. Вторая: запрос на сайт с большим ответом, чтобы поймать обрывы на длинных пакетах. Третья: запрос с заголовком User-Agent обычного браузера, чтобы увидеть, не подмешивает ли узел что-то от себя.
Есть путь нагляднее. Онлайн-чекеры показывают сразу пачку параметров по списку адресов: скорость отклика, степень анонимности, страну, поддержку протокола. Закидываете весь список, смотрите, кто выжил, выживших тестируете вручную. Время экономится, но держите в голове ограничение: чекер проверяет доступность узла на момент проверки, а не пригодность для вашей задачи. Тяжелому парсингу и просмотру почты нужны совершенно разные прокси.
SOCKS5 против HTTP: разница на уровне архитектуры, а не маркетинга
HTTP-прокси работает на прикладном уровне. Он понимает запросы, умеет их кэшировать, может переписывать заголовки. Именно поэтому его проще отследить и сложнее настроить на нестандартный трафик. Для браузера и обычных веб-запросов этого достаточно.
SOCKS5 работает ниже, на уровне установления соединения. Он не разбирает содержимое, а просто передает пакеты по адресу. Отсюда два следствия. Первое: через SOCKS5 спокойно ходит не только HTTP, а любой TCP-трафик - это нужно для клиентов, мессенджеров и специализированного софта. Второе: шифрования на уровне протокола здесь нет. Защиту дает слой выше - TLS, SSH-туннель, VPN.
Путаница частая: люди берут SOCKS5 и ждут конфиденциальности по умолчанию. Ее там нет. Есть гибкость и скорость, а шифрование организуют отдельно.
С задержкой тоже не все однозначно. SOCKS5 часто выигрывает на множестве мелких соединений, потому что меньше разбирает трафик. HTTP-прокси бывает быстрее на кэшируемых запросах. Сравнивайте два узла на своем реальном сценарии, а не на абстрактном тесте скорости.
Где посмотреть адрес и порт, если прокси уже настроен
Ситуация частая: прокси стоит на рабочей машине или телефоне, а какие там адрес и порт, никто не помнит. Достать их из интерфейса системы быстрее, чем искать в переписке с админом.
В Windows откройте Панель управления, зайдите в Сеть и Интернет, дальше в Свойства браузера и на вкладку Подключения, затем Настройка сети. В блоке прокси-сервера будут IP и порт, если заданы вручную. При автоматическом определении система тянет настройки из PAC-файла. Откройте его в блокноте, адрес там прописан прямым текстом.
Путь в macOS: Системные настройки, Сеть, активное подключение, Дополнительно, вкладка Прокси. Активные протоколы видно сразу, рядом и адрес с портом. При автоматической настройке скачиваете PAC-файл по указанному URL и читаете параметры оттуда.
Linux выдает то же самое в Настройках, раздел Сеть, Прокси. Ручной режим покажет адрес и порт, автоматический - ссылку на скрипт.
Android: Настройки, Wi-Fi, тап по активной сети, Изменить. В разделе Прокси при ручном режиме будут IP и порт. iPhone: Настройки, Wi-Fi, значок информации рядом с сетью, раздел Прокси. Там же видно, ручной режим или автоматический со скриптом.
Браузер, Telegram и антидетект: куда именно вписывать цифры
В браузере на десктопе все сводится к системным настройкам или отдельному расширению. Настроите систему целиком - трафик пойдет через прокси у всех приложений, а не только у браузера. Иногда это плюс, иногда неприятный сюрприз в виде отвалившихся обновлений.
В Telegram настройка живет в разделе Данные и память, дальше Прокси, дальше Добавить прокси. Выбираете тип, вводите адрес, порт, при необходимости логин и пароль, сохраняете и включаете переключателем. Интерфейс одинаковый на десктопе и в мобильном клиенте, отличается только расположение пунктов меню.
В антидетект-браузерах логика другая: прокси привязывается к профилю, а не к системе. Один профиль - один адрес, иначе смысл конструкции теряется. Проверяйте утечки DNS, иначе разные профили будут светиться одним и тем же адресом.
Публичный Wi-Fi и корпоративный узел: когда пора поднимать свой VPS
Если задача разовая, хватит арендованного адреса из каталога. Если вы регулярно работаете из кафе, аэропортов и коворкингов, разумнее поднять собственный узел на VPS. Настройка занимает вечер, зато трафик идет через ваш сервер и логи сессий не читает посторонний.
Корпоративный вариант выглядит так: один узел на офис или на команду, белые списки адресов, ограничение пропускной способности на сотрудника. Плюс в предсказуемости - вы сами отвечаете за канал и не зависите от того, когда чужой сервер выключат.
В публичной сети важна связка: шифрование плюс посредник. Открытый Wi-Fi без этого слоя означает, что содержимое запросов видит владелец точки доступа. Прокси или туннель проблему снимают, но только при правильной настройке, с принудительным DNS через тот же канал.
Пул из десяти адресов решает то, что не решит один идеальный
Практика быстро учит: идеального прокси не существует. Существует пул, в котором часть узлов отдыхает, часть работает, и ротация идет автоматически. Для парсинга это критично: один адрес на сто запросов в минуту гарантированно упрется в лимиты.
Схема, которая у меня прижилась: десять-двадцать адресов в одной геолокации, ротация по кругу, проверка перед каждым использованием и вывод из пула после трех ошибок подряд. Плюс отдельный резерв на случай, если половина пула выпадет одновременно. Звучит громоздко, на деле это сотня строк кода и спокойный сон.
На Reddit в тредах про сбор данных советуют то же самое: не искать один идеальный узел, а строить пул с автозаменой. Логика простая - отказ одного адреса не должен останавливать задачу.
И еще про анонимность. Для сбора открытых данных достаточно, чтобы сайт не видел ваш настоящий адрес. Для работы с аккаунтами требования жестче: нужны резидентные адреса, стабильная сессия и отсутствие пересечений с другими пользователями того же пула. Датацентровые прокси в таких задачах вычисляются почти сразу.
Где брать узлы, когда бесплатные закончились
Рано или поздно любой приходит к одному: платить за предсказуемость дешевле, чем тратить вечера на реанимацию публичных списков. Остается выбрать каталог.
Я пользуюсь каталогом прокси 3seller. Причина простая: там есть фильтры по протоколу, стране и типу адресов, и пул под конкретную задачу собирается за пару минут, а не покупается вслепую. Для парсинга беру датацентровые с нормальным каналом, для работы с аккаунтами - резидентные, для мобильных сценариев - соответствующий тип. Каталог обновляется, поэтому мертвые адреса руками ловить не приходится.
Прозрачность тоже в плюс: у каждого пула видно гео и протокол, а не абстрактное "прокси из Европы". Когда задач двадцать и у каждой свои требования, это экономит кучу времени.
Что сделать прямо сейчас
Возьмите текущий список прокси, даже если он кажется нормальным. Прогоните через чекер, оставьте только те, что отвечают дважды подряд с интервалом в минуту. Проверьте на сайте определения IP, что виден чужой адрес, а не ваш. Посмотрите заголовки: если там светится ваш реальный IP, адрес в мусор, каким бы быстрым он ни был.
Дальше решите честно, что у вас за задача. Разово посмотреть страницу - хватит бесплатного. Регулярный сбор данных, работа с аккаунтами, командный доступ - нужен пул с ротацией и нормальным каналом. Разница в стабильности между случайным адресом из открытого листинга и подобранным узлом измеряется не процентами, а порядками. Полчаса на настройку здесь экономят недели нервов.