Как поднять мобильные прокси своими руками недорого за 2 часа

В этой статье мы развернем свои прокси на базе 4G USB модемов и сервера на Centos 7, также предоставим калькуляцию по стоимости оборудования и мобильного интернета. Но прежде чем, преступить к настройке прокси-сервера на сетях мобильных операторов, давайте разберемся в терминологии.

Прокси-сервер – это специальное программное обеспечение, позволяющее пропускать через себя трафик TCP, UPD и др., который используется для подмены реального IP клиента, выполняющего запрос к серверу. Основная цель, избежать блокировки или получение  «captcha». Прокси-серверы можно разделить на несколько групп, в зависимости от типа используемых сетей: серверные и резидентные.

Серверные прокси – это хостинг-провайдеры. Довольно часто, данный вид прокси создают на VDS (виртуальный выделенный сервер), стоимость которого начинается от 40 руб. за один IP адрес. Существуют два основных недостатка серверных прокси: привязка к одному региону (Москва Санкт-Петербург и другие крупные города);  быстрый детект («detection» рус. распознавание) на популярных площадках.

Резидентный прокси – это сети реальных операторов, предоставляющих доступ по кабелю или беспроводному интернету. Данный вид сетей в арбитраже трафика имеет значительный вес. С меньшей долей вероятности блокируются социальными сетями и поисковыми системами. Еще одним значимым плюсом, является гео-зависимость (принадлежности RIR провайдера  к определенному городу). Из недостатков резидентных прокси, более высокая стоимость и низкая скорость передачи данных.

Мобильные прокси (4g/LTE)– вид резидентных прокси, которые используют сети сотовых операторов. Данный вид прокси дешевле по сравнению с широкополосным интернетом, так как использует особенность динамического присвоения IP адреса при подключении устройства к сети. Благодаря этой особенности, при переподключении клиент получает новый IP, тем самым у нас получается ротация IP адресов (динамические мобильные прокси). К недостаткам такого решения, можно отнести потерю связи при реконекте («reconnect») в интервале от 20 до 90 секунд.

Схема устройства и принцип работы сотовых прокси в домашних условиях

На данный момент, LTE proxy набирают популярность, и как известно, спрос рождает предложение, поэтому в сети появилось множество сервисов по аренде мобильных прокси для различных задач: парсинга авито; сбор позиций Yandex и google; накрутка лайков и подписчиков в инстаграм , и другие задачи, где требуется высокая анонимность. На малоизвестных площадках, цена на такие proxy начинается от 2500 рублей в месяц, а у популярных сервисов средняя стоимость составляет 3500 рублей за один приватный канал ( 1 SIM card).

Выбор оборудования для настройки сети

При подборе оборудования, стояла задача выбрать недорогое и надежное оборудование способное выдержать интенсивную нагрузку на длительной срок. Для организации стека нам необходимы:

• Маршрутизатор Mikrotik hEX S – для обеспечения доступа по «проводному интернету» и подключения прокси клиентов;

• Статический IP адрес – выдается провайдером, стоимость от 150 рублей;
• ASUS RS500E6PS4 XEON e5645 4x4 DDR 3 промышленный. На начальном этапе, можно приобрести Б/У сервер, он идеально подойдет для наших задач;

• 2G/3G/4G модем Huawei E3372h-153 – данная модель выбрана для того, так как имеет возможность установки модифицированной прошивки с необходимыми функциями (поддержка AT команд и виртуальный сетевой интерфейс RNDIS), а также дополнительные выходы MIMO антены для усиления сигнала (также актально для выезда на природу, дачу и др).

У операторов, модем поставляется в «залоченном» виде:

• Билайн - E3370
• МегаФон - M150-2
• МТС - 827F/829F/829FT

Стоимость операторского модема варьируется в пределах 3000 рублей, а цена на оригинал составляет около 3400-4000 рублей. Если найдете операторские модемы, то покупайте, разницы никакой нет;

• Хаб (разветвитель) TP-LINK UH700. Взял эту модель, так как более бюджетные модели не выдерживают нагрузку;

• Кабель удлинитель USB-3.0A(M) – USB 3.0A(F). Чтобы избежать потерю сигнала, важно использовать не более одного метра кабеля;

Прошивка и настройка модема Huawei E3372h

Неважно какой у вас модем - операторский или оригинальный, он нуждается в модифицированной прошивке «hilink». При подключении устройство определяется, как сетевая карта. Кастомовая прошивка необходима для смены шлюза DHCP, по умолчанию и подключению по telnet. Есть еще одна немаловажная особенность этой прошивки - это смена IMEI на любой другой (телефонный), такая фича позволит сэкономить на тарифных планах сотовых операторов, ведь детект типа устройства происходит именно по IMEI. Все дальнейшие действия выполняются под Windows.

1) Определение установленной версии прошивки.

Узнаем  текущую версию прошивки для установки переходной. Для этого запустите программу «DC Unlocker», далее нажмите на кнопку лупы и в окне результата найдите строку Firmware, нам понадобятся последние цифры;

2) Установка переходной прошивки.

Скачайте прошивку для вашего модема и запустите исполняемый файл. Следуйте инструкции мастера установки:

3) Прошить «хайлинк» прошивку,

4) Прошить веб-интерфейс,

5) Разблокировка (унлокер сим-карт), если требуется

Запустите dc-unlocker, включите поиск устройства и в текстовом поле введите поочередно команды:

AT^NVWREX=8268,0,12,1,0,0,0,2,0,0,0,a,0,0,0
AT^NVWREX=33,0,4,2,0,0,0
AT^RESET

6) Смена IMEI

Скачайте скрипт для смены IMEI. Найдите любой доступный телефонный IMEI и введите в консоль. Если команда сработала успешно, то увидите сообщение OK;

7) Фиксация TTL

Скачиваем скрипт для фиксации, так как данная процедура необходима, чтобы провайдер не определил модем по размеру пакета;

8) Меняем шлюз модема

Если мы подключаем 2 устройства и более, то необходимо избежать сетевого конфликта. Для этого меняем в настройках сети модема шлюз на 192.168.x.1 , где x – следующая подсеть, например: 192.168.8.1, 192.168.9.1, 192.168.10.1и т. д.

Как выполнить смену IP на модеме

Зайдем на сам модем по telnet

telnet 192.168.8.1

Выполним команду

echo -e "at^reset\r" >/dev/appvcom1

На этом подготовка модема окончена. Далее повторяем операцию для всех остальных устройств.

Настройка маршрутизатора MikroTik

Маршрутизатор MikroTik - универсальный сетевой инструмент, позволяющий реализовать различные конфигурации сети (2 и более провайдера, несколько NAT и т.д.)

Для настройки маршрутизатора будем использовать графическую утилиту «winbox» , она работает только под ОС  windows, но также с помощью «Wine» может быть запущена в Linux.

1) Настройка WAN порта. Мы используем DHCP клиента для получения статического IP адреса v4

2) Создание Bridge для локальной сети, нам нужно добавить сетевой мост

3) Добавляем порты в наш Bridge и открываем вкладку «Ports» , далее жмем кнопку добавить «+»

4) Настройка DHCP сервера

- служит для автоматического конфигурирования подключаемых устройств к маршрутизатору. Переходим IP->DHCP Server вкладка DHCP и нажимаем кнопку DHCP Setup и выбираем созданный нами Bridge

4.1) Выбираем адресное пространство для выдачи сервером

4.2) Назначаем шлюз нашей сети

4.3) Присваиваем DNS–сервер, выданные проводным провайдером

4.4) Устанавливаем диапазон выдачи IP адресов

5) Настройка NAT

– это служба обеспечивает доступ клиентов локальной сети в интернет. Для настройки NAT, необходимо перейти в раздел IP -> Firewall вкладка NAT и нажать на кнопку добавить. В форме создания правила для Firewall в поле Out. Interface выбираем наш WAN порт.

Далее необходимо выбрать действия над нашими пакетами, переходим в вкладку Action и выбираем опцию masquerade

6) Проброс портов до нашего прокси

Клиенты будут подключаться через один статический IP адрес, меняться будет только порт, например: 87.250.250.242:1080, 87.250.250.242:1081, 87.250.250.242:1082 и т. д. Такой метод существенно позволит сэкономить на статических IPv4. Для открытия порта,  переходим в раздел IP -> Firewall -> вкладка NAT. В форме заполняем значения полей: Dst. Port = 1080, In. Interface = WAN порт

В вкладке Action выбираем наш локальный IP адрес и порт куда переадресовываем запрос

Повторяем проброс порта для каждого модема, в нашем случае их 7 штук. На этом настройка маршрутизатора закончена. Если у Вас другой маршрутизатор, то можете настроить по аналогии, все что требуется, так это пробросить порты к нашему proxy server.

Установка и настройка Centos7

Скачиваем с официального сайта дистрибутив CentOS 7. Для наших задач достаточно конфигурации minimal, потому как данный образ содержит минимальный набор пакетов, обеспечивающий функционирование основных компонентов системы. Все остальные утилиты мы установим с помощью менеджера пакетов yum.

Создаем загрузочную флешку для установки на наш сервер. Для этих целей используем программу UNetbootin, которая работает в различных программных средах: Windows, Linux, MacOS. Вставляем флешку, и запускаем процесс установки.

Выбираем в установочном меню «Install CentOS 7» и нажимаем клавишу enter. Ждем пока загрузится установщик и появляется графическая среда выбора языка. Находим русский язык и жмем enter.

Для продолжения установки, нам необходимо разметить диск, но мы не будем углубляться в файловую систему Linux, и  выберем авторежим для наших целей. Этого вполне достаточно.

Установим пароль супер-пользователя, обязательно убедитесь, что вы используете раскладку клавиатуры «us».

Ждем окончания установки и перезагружаем наш сервер.

Настройка сетевого интерфейса проводного интернета-провайдера:

• Посмотрим название существующих интерфейсов:

Ip a

• Пропишем настройки сетевой карты кабеля - через него будут подключаться наши прокси клиенты. Статический адрес, выдаваемый нашим маршрутизатором:

nano /etc/sysconfig/network-scripts/ifcfg-enp5s0f0

TYPE=Ethernet
PROXY_METHOD=none
BROWSER_ONLY=no
BOOTPROTO=static
DEFROUTE=yes
IPV4_FAILURE_FATAL=no
NAME=enp5s0f0
DEVICE=enp5s0f0
ONBOOT=yes
IPADDR=192.168.0.1
NETMASK=255.255.255.0
GATEWAY=192.168.0.11
DNS1=192.168.0.11
DNS2=8.8.8.8
METRIC=1
ZONE=public

Где:

BOOTPROTO – тип подключения

GATEWAY – адрес шлюза маршрутизатора

IPADDR – локальный ip-адрес прокси сервера

ONBOOT – загружать настройки при старте системы

DEFROUTE – присваивать статический маршрут по умолчанию

METRIC – вес маршрута

• Сохраняем настройки и перезагружаем сетевую службу

service network restart

• Для просмотра подключенных сетевых интерфейсов нам необходима утилита ifconfig, она входит в состав пакета net-tools, установим:

yum -y install net-tools

• Для стабильной работы, подключаемых сетевых устройств, должна быть запущена утилита Network Manager

systemctl status NetworkManager

Подключаем 4G модемы к серверу и настраиваем

При подключении модема NetworkManager  автоматически активируется виртуальный интерфейс RNDIS, при этом не требуется никакой драйвер.

• Далее нам надо прописать сетевые интерфейсы для каждого модема:

nano /etc/sysconfig/network-scripts/ifcfg-enp0s29f7u4u1u1

DEVICE=enp0s29f7u4u1u1
NAME=enp0s29f7u4u1u1
BOOTPROTO=dhcp
TYPE=Ethernet
ONBOOT=yes
METRIC=4

Где:

METRIC - вес маршрута для каждого интерфейса разный

• Прописываем таблицу маршрутов

nano /etc/iproute2/rt_tables
101 int
102 m1
103 m2
104 m3
105 m4
106 m5
107 m6
108 m1

Где:

int – таблица маршрутов для проводного провайдера

mx – таблицы для сотовых операторов

• Маршрут для проводного интернета

nano /etc/sysconfig/network-scripts/route-enp5s0f0
default via 192.168.0.11 table int

где:

default – маршрут по умолчанию

192.168.0.11 – шлюз

Int – название таблицы

• Правила для проводного интернета

nano /etc/sysconfig/network-scripts/rule-enp5s0f0
from 192.168.0.1 table int

где:

192.168.0.1 – ip адрес сетевой карты

int – таблица, в которую «заворачивается» трафик

• Маршрут для N модема

nano /etc/sysconfig/network-scripts/route-enp0s29f7u4u1u1
default via 192.168.9.1 table m2

• Правило для N модема

nano /etc/sysconfig/network-scripts/rule-enp0s29f7u4u1u1
from 192.168.9.100 lookup m2

Пункты 7, 11, 12 необходимо повторить для каждого «свистка», после чего перезагрузить сетевую службу и Network Manager

systemctl restart NetworkManager
service network restart

Установка и настройка 3Proxy на CentOS7

• Открываем порты

firewall-cmd --permanent --add-port=1080/tcp
firewall-cmd –reload

• Устанавливаем репозиторий epel:

yum install epel-release

• Устанавливаем сам 3proxy

yum install 3proxy

• Включаем автозапуск службы

systemctl enable 3proxy

• Запускаем

systemctl start 3proxy

• Пишем конфигурацию

nano /etc/3proxy.cfg

nserver 77.88.8.8
nserver 8.8.8.8
nscache 65536
timeouts 1 5 30 60 180 1800 15 60

daemon

log /var/log/3proxy/3proxy.log
logformat "- +_L%t.%.  %N.%p %E %U %C:%c %R:%r %O %I %h %T"
archiver gz /bin/gzip %F

rotate 30

dnspr
maxconn 64

auth strong
users логин:CL:пароль
socks -n -a -p1080  -i192.168.0.1 -e192.168.8.100
socks -n -a -p1081  -i192.168.0.1 -e192.168.9.100
socks -n -a -p1082  -i192.168.0.1 -e192.168.10.100
socks -n -a -p1083  -i192.168.0.1 -e192.168.11.100
socks -n -a -p1084  -i192.168.0.1 -e192.168.12.100
socks -n -a -p1085  -i192.168.0.1 -e192.168.13.100

• Перезапускаем

systemctl restart 3proxy

Стоимость приватных мобильных прокси

Мы завершили настройку наших мобильных прокси. Теперь давайте подведем итоги, и подсчитаем стоимость оборудования, а также расходы на тарифы сотовых операторов.

Стоимость оборудования

Стоимость мобильного интернета

Исходя из результатов подсчета, общая сумма расходов на мобильный интернет составляет 2850 рублей в месяц, что сопоставимо с ценой одного арендного мобильного прокси, стоимость которого варьируется от 2500 до 3500 рублей в месяц. Благодаря самостоятельной настройки, мы экономим практически в 6 раз. Сучетом использования данной proxy фермы втечении 3-х месяцев оборудование полностью окупается.

Проверка работы, итоги

Для проверки мы будем использовать браузер FireFox и специальный плагин «FoxProxy» для подключения по протоколу SOCKS5. Прежде чем тестировать наши дейвасы, давайте расположим их на расстоянии 10см между каждым модемом (это минимальное расстояние для исключения помех и улучшения стабильности работы). Для этих целей я использовал профильную алюминиевую трубу, пластиковые уголки и хомуты (стяжки). Конструкция достаточно прочная и самое главное пожаробезопасная.

Небольшой видео-ролик результатов тестирования наших прокси

Если у вас не получилось реализовать свою прокси ферму, то наша компания оказывает консультационные услуги по поднятию мобильных прокси своими руками. Стоимость консультации 5000 руб.