Клиент VLESS/Reality#
Этот документ описывает клиент VLESS/Reality — плагин vless. Его архив лежит в пакете
steer-core (семя) и ставится без сети: steer plugin install vless (guide.md);
нужна ему и общая библиотека net1, она ставится вместе с ним. Выход — kind: tunnel, protocol: vless
(spec-v2.md); без плагина такой выход недоступен.
Зачем он вообще#
Клиент — программа плагина на C (bin/vless в каталоге плагина): код протокола собран в неё самой,
а стек TUN, транспорты, TLS и криптография — из общей библиотеки плагинов net1
(libs2p-net.so.1). Отдельной программы вроде Xray или sing-box он за собой не тянет. Клиент сам
создаёт TUN-устройство, сам делает рукопожатие TLS 1.3 (своя реализация протокола, примитивы —
wolfSSL за слоем src/lib/scrypto.h, внутри net1) и сам несёт трафик. Дальше это устройство ничем не отличается от wg0 для остальной части ядра: метки,
таблицы, каналы и failover работают с ним ровно так же.
Что поддерживается#
- Транспорты:
tcp,grpc,xhttp(два последних — через встроенный минимальный HTTP/2),wsиhttpupgrade(запрос Upgrade по HTTP/1.1 — см. ws и httpupgrade). - Безопасность:
reality,tls(с проверкой цепочки сертификата и имени),none. Любая из трёх сочетается с любым транспортом. - Поток:
xtls-rprx-visionили без него. Vision бывает только поверхtcp: уgrpc,xhttp,wsиhttpupgrade— только без него, как и у Xray (иначе тот отвечает «XTLS only supports TLS and REALITY directly for now», и выход перезапускался бы без конца); такой узел пропускается с причиной «vision поверх … не бывает», в любом формате подписки. - Постквантовая часть: гибрид X25519MLKEM768 в TLS 1.3 и REALITY, проверка подписи ML-DSA-65 у
REALITY (
pqv), шифрование VLESSmlkem768x25519plus— см. Постквантовая часть. - Трафик: TCP и UDP через TUN — см. UDP и QUIC.
- Идентификатор: UUID или короткая строка, из которой UUID выводится — см. Идентификатор пользователя.
ICMP не пересылается. Успешный ping через прокси не означал бы работающий путь — это
вводило бы в заблуждение, — поэтому всё, что не TCP и не UDP, получает ICMP «порт недостижим».
Идентификатор пользователя#
id в ссылке vless://id@host:port — это НЕ обязательно UUID. Правило то же, что в Xray
(common/uuid/uuid.go, ParseString), и оно смотрит на длину строки:
| Длина | Что делает клиент |
|---|---|
| 32-36 знаков | Разбирает как шестнадцатеричный UUID: группы 8-4-4-4-12, дефисы между группами необязательны, регистр любой |
| 1-30 знаков | Выводит UUID: sha1(16 нулевых байт ‖ строка), первые 16 байт, дальше версия 5 в старшей половине байта 6 и вариант RFC 4122 в байте 8 |
| 0, ровно 31, больше 36 | Отказ: такая строка не может стать 16 байтами ни одним из двух путей |
Панели выдают оба написания, и короткое имя вроде TMG_74317ba5f91 — законный узел, а не ошибка
подписки: сервер выводит из такой же строки те же 16 байт. Проверить вывод легко —
TMG_74317ba5f91 обязан давать dd4748e6-1f48-5b36-bbc6-656b42ccfd75.
Порядок правил важен именно в этом виде: строку из 15 шестнадцатеричных знаков Xray выводит, а не разбирает как обрезанный UUID. Клиент, решивший иначе, отправит другие 16 байт — сервер такого пользователя не найдёт и просто закроет соединение, ничего не сообщив.
Непригодный id называется при разборе подписки, а не при подключении: узел получает причину
(идентификатор пуст, идентификатор: 31 знак, нужен UUID, идентификатор длиннее UUID,
UUID с недопустимым знаком), в список кандидатов не попадает и попыток сторожа не тратит.
Формат подписки#
Форму определяет первый непробельный знак и наличие ключа proxies:; base64 раскодируется, если в тексте
нет :// и это не JSON и не Clash.
| Форма | Что читается |
|---|---|
список ссылок vless:// (обычный или base64) |
все параметры: type, security, sni, fp, pbk, sid, flow, path, host, serviceName, mode, extra, headerType, encryption, pqv; процентное кодирование, IPv6 в скобках, эмодзи в имени |
| конфиг Xray (массив или один объект) | outbounds с protocol: vless: vnext/users и упрощённая форма settings.{address,port,id,flow,encryption}; streamSettings (network, security, realitySettings с mldsa65Verify, tlsSettings, wsSettings, httpupgradeSettings, grpcSettings, xhttpSettings, tcpSettings.header) |
| конфиг sing-box | outbounds с type: vless: server, server_port, uuid, flow, tls (server_name, utls, reality), transport (ws, httpupgrade, grpc; max_early_data с early_data_header_name: Sec-WebSocket-Protocol дают ?ed=) |
| Clash / Mihomo YAML | proxies с type: vless, блоком и потоком {…}: network, tls, servername, client-fingerprint, flow, encryption, reality-opts, ws-opts (включая v2ray-http-upgrade), grpc-opts, xhttp-opts; якоря & отбрасываются, алиасы * пропускаются |
Узел, который клиент не умеет, но который сервер требует, получает причину при разборе:
tcp headerType=http, обфускация xhttp (downloadSettings, размещения sessionID/seq/данных,
xPaddingObfsMode), encryption вне mlkem768x25519plus, pqv не длиной 1952 байта. flow=xtls-rprx-vision-udp443 читается как xtls-rprx-vision. Длинные
значения (encryption, pqv) хранятся не в узле, а в общей таблице, которая растёт по числу значений
(одинаковые значения — один экземпляр); в списке узлов (vless-nodes) видны режим шифрования и признак
pqv, ключи не выводятся.
Какие из пригодных узлов брать в кандидаты, решает выход: nodes (номера), transport (транспорт
узла), exclude (страна по флагу-эмодзи в имени), only (брать только узлы этих стран) и exclude_name (кусок имени) —
spec-v2.md. Исключение номера не сдвигает; страну узла vless-nodes печатает полем cc.
Выбор по стране и по качеству узла#
exclude: RU и only: [NL, DE] оставляют в кандидатах узлы нужных стран, а pick: latency берёт среди
них лучший по оценке: по трём пробам считаются задержка, разброс и потери, поэтому быстрый, но
рвущийся узел проигрывает ровному (spec-v2.md, «Оценка узла»). Страна узла — по флагу в
имени, а после подъёма клиент ещё и проверяет, из какой страны выход виден на самом деле (geo_cc в
steer status, расхождение — geo_mismatch). Группа выходов тоже умеет only и exclude: «самый
быстрый член, кроме страны X» — по стране узла, на котором сейчас работает член-туннель.
Адрес узла: имя, IPv4, IPv6#
Узел — это имя, адрес IPv4 или адрес IPv6; в ссылке IPv6 пишется в квадратных скобках
(vless://id@[2001:db8::1]:443?…, адрес без скобок от порта не отличить — такая ссылка не
разбирается). Адрес link-local пишется с зоной: [fe80::1%25br-lan] (%25 — это «%» в ссылке).
То же у trojan://, ss://, socks://, http:// (с зоной) и hysteria2:// (без зоны); в конфиге Xray, sing-box и
Clash адрес пишется без скобок.
Имя разрешается системным резолвером в все адреса, обоих семейств, и соединение идёт по ним по
очереди: адрес, который отвечал в прошлый раз, — первым, дальше адреса чередуются по семействам
(IPv6, IPv4, IPv6…), следующая попытка стартует через 150 мс или сразу, если предыдущая отказала
(нет маршрута IPv6 у роутера без него — отказ мгновенный), до четырёх попыток одновременно, общий срок
— timeout проверки или соединения. Узел по имени только с AAAA работает так же, как по имени с A.
UDP к узлу (shadowsocks, SOCKS5 UDP ASSOCIATE) берёт адрес, по которому TCP к этому имени уже
соединялся, иначе первый из ответа; SOCKS5-сервер может назвать адрес ретранслятора и как IPv6.
С over/via — только IPv4. Метка сокета ведёт пакет в таблицу выхода-цели правилом ip rule,
а такого правила для IPv6 у цели без IPv6 нет: сокет по IPv6 ушёл бы мимо цели. Поэтому при over
адреса IPv6 не пробуются: имя с записью A идёт по IPv4, узел только по IPv6 не открывается, и причина
записана в журнал. Выход xsteer и обфускатор WireGuard по IPv6 к серверу не ходят вовсе.
Как работает Reality#
Reality аутентифицирует клиента внутри изменённого рукопожатия TLS 1.3:
- У сервера есть постоянная пара ключей X25519, публичная половина (
pbk) известна клиенту. - Клиент генерирует эфемерную пару и кладёт свою публичную половину в
key_shareвнутриClientHello. - Из эфемерного приватного ключа клиента и постоянного
pbkсервера считается общий секрет. Из него выводится аутентификатор, который прячется вsession_id. - Признал аутентификатор — сервер работает как прокси VLESS. Не признал — прозрачно проксирует маскировочный сайт, и клиент не может отличить это от обычного сайта.
Ключевой инвариант. ClientHello обязан быть неотличим от браузерного (Chrome) — вплоть до
порядка расширений, набора шифров и значений GREASE. Любое отклонение становится признаком, по
которому клиента опознают. Именно поэтому здесь свой сборщик Hello, а не то, что предлагает
библиотека: библиотечный Hello узнаваем.
Аппаратный AES используется, когда он есть; на MIPS и ARM без него выбирается ChaCha20: на таком
железе программный AES-GCM в разы медленнее, а потолок скорости задаёт именно шифрование
(STEER_CIPHER переопределяет выбор, src/proto/tls/reality.c).
Поток Vision#
xtls-rprx-vision скрывает признаки «TLS внутри TLS», подмешивая кадры набивки случайной длины.
- Кадры набивки скрывают длину соседних записей с данными.
- Заголовок VLESS вставляется в поток перед первым кадром Vision.
- Протокол симметричен: первый ответ сервера тоже начинается с UUID.
Разбор идёт потоком: кадр не обязан приехать целиком за одну запись TLS, и границы записи и кадра совпадать не должны. Начало потока и заголовок кадра копятся между вызовами — иначе запись, обрывающаяся на середине заголовка, теряла бы синхронизацию, и дальше клиенту как данные уезжали бы служебные байты.
ws и httpupgrade#
Оба начинаются одинаково: GET по HTTP/1.1 с Connection: Upgrade и Upgrade: websocket, ответ
101. Дальше у ws поток идёт кадрами WebSocket (RFC 6455), у httpupgrade — как есть, без кадров.
Параметры узла — как у Xray: в ссылке type=ws|httpupgrade, path и host; в конфиге Xray в
подписке — wsSettings/httpupgradeSettings с path, host и headers (network может быть и
websocket).
- Эталон — Xray-core. Где Xray и sing-box расходятся (заголовки, User-Agent, ALPN, ранние данные), делается как у Xray.
- Запрос — как у клиента Xray, до байта: тот же набор заголовков облика Chrome, тот же регистр
имён и порядок (порядок задаёт net/http Go —
Host,User-Agent, затем по алфавиту). СвойUser-Agentузла словомfirefox,safari,edge,curlилиgolangдаёт облик этого клиента, как у Xray. Отличие одно — номера версий браузеров: у Xray они считаются от даты, у нас зашиты (Chrome — тот же, что у xhttp). - Host —
hostузла, иначеsni, иначе адрес узла. - Путь проходит те же преобразования, что у Xray:
?ed=Nвырезается, оставшийся запрос пересобирается по алфавиту; уhttpupgrade?уходит как%3F. Путь, на котором Xray споткнулся бы (уws— битая%-последовательность), делает узел непригодным с причиной. - Ранние данные (
?ed=N) — как у Xray. Уwsзапрос Upgrade уходит первой записью: запись не длиннееNедет в самом запросе, вSec-WebSocket-Protocol(base64url без=), длиннее — кадрами после ответа 101; записи, сделанные до ответа, уходят сразу за ним. Уhttpupgradeповерхtlsиrealityданные идут вслед за запросом, не дожидаясь ответа; без TLS ответ ждём — сервер Xray теряет данные, приехавшие одним сегментом с запросом. Сервер sing-box принимает ранние данные ws, только если у него заданоearly_data_header_name: Sec-WebSocket-Protocol. - ALPN — только
http/1.1(уtlsи уreality), как у Xray: сh2в списке сервер за TLS вправе выбрать HTTP/2, и запрос HTTP/1.1 для него — мусор. Выбрал неhttp/1.1— отказ «сервер выбрал не HTTP/1.1». - Кадры отправки — по 4096 байт, как у Xray (буфер gorilla/websocket): запись длиннее режется на binary без FIN и continuation, каждый кадр — своя запись TLS, у каждого своя маска. На приёме — фрагменты, ping (ответ pong), close (ответный close и конец потока); нарушения RFC 6455 рвут соединение. При закрытии уходит close 1000, как у Xray.
- Отказы названы: ответ не 101 (с кодом: «сервер ответил 404 вместо 101 — проверьте path и
host»), 101 без
Upgrade, неверныйSec-WebSocket-Accept, нет ответа за срок соединения.
Проверка сертификата узла#
У security=tls подлинность узла доказывает сертификат. По умолчанию — цепочка до корней из
ca-certificates.crt, имя из sni (нет sni — адрес узла), срок и подпись CertificateVerify.
Правила Xray-core поверх этого:
pcs(pinnedPeerCertSha256) — SHA-256 сертификата (DER) в hex, через запятую; двоеточия OpenSSL и заглавные буквы допустимы. Совпал лист — узел принят без проверки цепочки, срока и имени. Совпал промежуточный сертификат или корень, присланный сервером и являющийся CA, — цепочка проверяется до него, а не до системных корней (имя —vcnилиsni). Не совпало ничего — отказ «отпечаток сертификата не закреплён (pcs)». Корень, которого сервер не присылает, закрепить нельзя — как у Xray.vcn(verifyPeerCertByName) — имена через запятую, против которых проверяется цепочка вместоsni; годится любое.- Подпись CertificateVerify проверяется во всех случаях, в том числе при закреплённом листе.
allowInsecure(ссылкаallowInsecure=1илиinsecure=1,allowInsecureвtlsSettingsконфига Xray,insecureвtlssing-box,skip-cert-verifyClash) подпиской не принимается: узел пропускается с причиной «allowInsecure: включите insecure у выхода явно». Отказ от проверки включается только ключомinsecure: trueу выхода (spec-v2.md); тогда цепочка, имя, срок и закрепления не проверяются (остаётся подпись CertificateVerify), аsteer diagпишет предупреждение,steer status—"insecure":true. Номера узлов считаются среди пригодных, поэтому у такого выхода они включают узлы сallowInsecure; перечень по файлу подписки с теми же номерами даётsteer vless-nodes /путь --insecure(иvless-probe /путь --insecure), а узел сallowInsecureнесёт в нём"insecure":true(contract-v1.md, раздел 6).
В подписках отпечаток читается из pcs ссылки, pinnedPeerCertSha256/verifyPeerCertByName в
tlsSettings конфига Xray, fingerprint Clash (SHA-256 сертификата) и certificate_public_key_sha256
sing-box (SHA-256 от SubjectPublicKeyInfo листа в base64; совпал — узел принят так же, как при
закреплённом листе). У reality эти поля ничего не значат.
ECH (Encrypted Client Hello)#
У узла security=tls с ECHConfigList в ссылке (ech=, echConfigList в tlsSettings конфига Xray,
ech-opts.config Clash, ech.config sing-box; значение — base64) настоящее имя сервера уходит
зашифрованным. По проводу идёт внешний ClientHello с именем public_name из ECHConfig, настоящий
(внутренний) лежит в его расширении, запечатанный HPKE ключом сервера: DHKEM(X25519, HKDF-SHA256),
HKDF-SHA256, AES-128-GCM или ChaCha20-Poly1305 — первый из этих наборов в списке; подходят записи
версии 0xfe0d без обязательных расширений. Внутренний Hello — тот же, что без ECH (облик Chrome,
гибридный ключ ML-KEM), без GREASE-расширения ECH и с supported_versions только от TLS 1.3; дополняется
нулями по maximum_name_length до кратного 32. Сжатия расширений (ech_outer_extensions) нет, поэтому
внешний Hello примерно вдвое больше обычного.
Принял ли сервер ECH, видно по восьми последним байтам ServerHello.random (подтверждение принятия). Принял —
ключи и Finished считаются по внутреннему Hello, сертификат проверяется по настоящему имени. Не принял (сервер
не знает ECH, ключ в ссылке устарел или чужой) — рукопожатие обрывается сразу с причиной «сервер не принял ECH»:
продолжать значило бы выдать имя открытым текстом. Значение вида домен+https://сервер (Xray сам спрашивает
запись из DNS) и испорченный список — узел пропускается с названной причиной, а не уходит без ECH. У
security=reality и none поле игнорируется.
Не поддержано: получение ECHConfigList из DNS (HTTPS-запись), HelloRetryRequest при ECH, GREASE-ECH без
конфигурации, ECH у DoT, DoH, DoQ и Reality. Сверено с Xray-core 26.9.9 (сервер на crypto/tls Go: оба
набора шифров, сервер без ECH, чужой ключ) и с Cloudflare (cloudflare-ech.com).
Постквантовая часть#
Гибрид X25519MLKEM768. ClientHello при security=tls и reality предлагает группу 0x11EC:
в key_share идут пустая GREASE-группа, гибридный ключ (ключ инкапсуляции ML-KEM-768, 1184 байта, и
открытый X25519, 32 байта) и отдельный X25519 с тем же эфемерным ключом; в supported_groups —
GREASE, 0x11EC, x25519, secp256r1, secp384r1. По составу это Chrome 133 (uTLS HelloChrome_Auto):
17 расширений, 1757 байт; порядок расширений перемешивается на каждом соединении. Если сервер
выбрал гибрид, ServerHello несёт шифротекст ML-KEM (1088 байт) и X25519 сервера (32), секрет
расписания ключей — ML-KEM ss ‖ X25519 ss (порядок draft-ietf-tls-ecdhe-mlkem). Если выбрал
обычный X25519 — расписание прежнее. Ключ аутентификатора REALITY считается по X25519-половине, как у
Xray. Сервер REALITY выпуска 26.9 (xtls/reality, tls.go) признаёт клиента, только если в Hello есть
гибридный share, причём перед необязательным X25519; Hello без него он отдаёт на маскировочный сайт
(проверено: такой клиент получает «узел не признал ключ»). Поэтому гибрид включён по умолчанию;
STEER_NOPQ=1 выключает его для разбора (посредник, роняющий Hello больше
одного сегмента). Замороженные байты обоих вариантов — tests/chello-frozen.h и
tests/chello-frozen-pq.h; состав против uTLS — tests/hellostruct.py, эталон снимает
tests/utls/hello.go.
Если длинный Hello не доходит. Часть посредников роняет или душит соединения, чей ClientHello
не умещается в один сегмент (с гибридом — около 1760 байт против 537): сервер Hello не видит, и
рукопожатие кончается таймаутом «узел не ответил на ClientHello». Ядро делает одну повторную попытку
на новом соединении с коротким Hello (без гибрида); удалась — узел (хост:порт) запоминается на час,
и следующие соединения идут коротким сразу, без таймаута; через час гибрид пробуется снова. В журнал
один раз на узел: узел … не ответил на длинный ClientHello — дальше короткий, без постквантового
обмена. Мёртвый узел молчит на любой Hello, поэтому он не запоминается, а повтор — один, не цикл
(мёртвому узлу таймаут оплачивается дважды за одно открытие). Сервер REALITY 26.9, требующий гибридный
share, на короткий Hello ответит маскировочным сайтом — тогда отказ остаётся таймаутом, как и был.
Настоящий гибрид предлагают только узлы VLESS с security=tls и reality (xsteer шлёт в Hello шум того же размера, его аварийный выключатель — STEER_XS_COMPAT); DoH, DoT, замер
по https:// и мост tgws его не предлагают и этим путём не затронуты.
pqv (mldsa65Verify). Открытый ключ ML-DSA-65 (1952 байта, base64url — 2603 знака) в ссылке,
mldsa65Verify или pqv в realitySettings конфига Xray и reality-opts Clash. Сервер REALITY с
mldsa65Seed кладёт в единственное расширение временного сертификата подпись (3309 байт) над
HMAC-SHA512(authkey, ed25519_pub ‖ ClientHello ‖ ServerHello) (оба сообщения — целиком, с заголовком
рукопожатия). Если у узла задан ключ, подпись обязана быть и сойтись, иначе узел не признан («подпись
ML-DSA-65 сервера не сошлась с pqv узла»). Без ключа подпись не проверяется — как у Xray. Сервер с
mldsa65Seed требует маскировочного сайта с большим сертификатом (его сообщение сертификата
подгоняется под размер настоящего).
VLESS encryption. Строка encryption узла (mlkem768x25519plus.<режим>.<1rtt|0rtt>.<набивка>.<ключ>…)
включает шифрование между транспортом и запросом VLESS (src/proto/transport/trvenc.c; для
транспорта оно невидимо, transport_write/transport_read идут через него). Правила разбора —
src/proto/transport/vencp.h, те же, что у Xray:
| Часть | Значение |
|---|---|
| режим | native — записи как есть; xorpub — открытые ключи рукопожатия замаскированы гаммой AES-CTR; random — сверх того замаскированы пятибайтные заголовки всех записей |
1rtt / 0rtt |
0rtt разрешает продолжать по билету сервера; билет — в таблице процесса (16 записей, ключ — хеш строки), срок задаёт сервер |
| набивка | токены короче 20 знаков вида 100-111-1111 (вероятность, от, до), чередуются: длина, пауза, длина…; нет — умолчание Xray |
| ключ | токен от 20 знаков, base64url: 32 байта — X25519, 1184 — ключ ML-KEM-768; несколько — цепочка реле |
Рукопожатие 1-RTT: iv(16) ‖ реле… ‖ AEAD(длина) ‖ AEAD(ML-KEM ek ‖ X25519 pub) ‖ набивка туда,
AEAD(ML-KEM ct ‖ X25519 pub) ‖ AEAD(билет) ‖ AEAD(длина набивки) ‖ набивка обратно. Ключи AEAD —
BLAKE3.derive_key(контекст, ключевой материал), для записей материал — pfsKey ‖ nfsKey, а контекст
своего направления — сообщение, которое его создало. Шифр записей — AES-256-GCM при аппаратном AES,
иначе ChaCha20-Poly1305 (STEER_CIPHER действует и здесь); сервер пробует оба. Записи: 23 3 3 <длина>,
до 8192 байт данных, nonce — счётчик. Билет 0-RTT сервер отклоняет шумом: клиент выбрасывает
билет и отвечает «сервер отклонил билет 0-RTT», следующее соединение идёт полным рукопожатием.
Отправка записи не сдвигает состояние, пока транспорт не принял байты (H2_EWINDOW повторяет те же
байты). Vision поверх шифрования работает потоком, без прямого копирования. Значение none, пустое и
отсутствие параметра — шифрования нет; всё, что не разобралось по правилу выше, делает узел
непригодным («encryption не поддержан»). Трасса: STEER_VENC_TRACE=1 (режим, шифр, билет или полное
рукопожатие), STEER_PQ_TRACE=1 (сервер выбрал гибрид).
TCP через ядро, UDP через TUN#
TCP клиентов по IPv4 и IPv6 завершает ядро Linux. Правило nat steer на dstnat - 1 — раньше подмены
fake-IP, своё у каждого семейства — перенаправляет новое соединение по метке выхода на порт слушателя плагина
(9480 плюс место выхода в реестре; слушатель — сокет двойного стека), программа плагина принимает его обычным сокетом,
берёт настоящее назначение у ядра (SO_ORIGINAL_DST у IPv4, IP6T_SO_ORIGINAL_DST у IPv6; поддельный
адрес разворачивает картой fake-IP ядра, запасной путь — файл состояния резолвера) и гонит поток узлу.
Через туннель идёт и IPv6 клиентов (ключ ipv6: off у выхода это отключает).
Пакеты такого соединения через TUN не идут вовсе: повторы, окна, порядок сегментов и SACK — у ядра.
Правило ставит демон вместе с маршрутом выхода и снимает, когда программа плагина вышла; в гостевой зоне fw4 с
input REJECT вход для перенаправленных соединений открывает файл пакета steer-core
/usr/share/nftables.d/chain-pre/input/30-steer.nft.
Через TUN идёт только UDP. TCP, попавший в устройство (перенаправления нет), получает сброс: своего TCP у туннеля больше нет.
Прежний TCP туннеля держал у клиента в пути не больше 64 КБ и не умел SACK — на линии с задержкой
2 мс в каждую сторону это было около 95 Мбит/с на соединение, с потерей 0,5 % — десятки Мбит/с; у
TCP ядра на той же линии — гигабиты (стенд tests/rcvwnd.sh).
- Многопоточность. Рабочих потоков по числу ядер, доступных процессу; соединение целиком у одного рабочего — таблица, связь с узлом и запись клиенту, — поэтому на пути данных нет блокировок. У каждого рабочего свой слушатель TCP, а принятое соединение раздаётся по кругу (хэш SO_REUSEPORT на замере сажал четыре выгрузки на одного рабочего из двух). Пакеты UDP раздаёт ядро Linux: на устройстве стоит маленькая программа eBPF, которая кладёт пакет в очередь рабочего по хэшу пятёрки, и каждый рабочий читает свою очередь сам. Если ядро так не умеет (нет bpf или нескольких очередей устройства), пакеты раздаёт отдельный поток-читатель через очереди по 256 пакетов (384 КБ на рабочего); какой путь выбран, видно в журнале при подъёме. Одно ядро — один поток, как раньше. Одно соединение всегда идёт одним рабочим, то есть скорость одного соединения упирается в одно ядро.
- Память по факту. Выделяется на соединение, предела числа соединений нет: таблица у каждого рабочего своя и растёт кусками по 64
слотов (адресное пространство резервируется один раз и ничего не стоит). Горячая часть состояния соединения умещается в две
кэш-линии, холодная лежит отдельно и берётся страницами по обращению. Живые соединения не вытесняются; единственный потолок —
резерв (миллион слотов на рабочего на 64-битной системе, меньше — если адресного пространства не хватило), и дойдя до него,
журнал называет число. Дескрипторов соединению нужно два-три, потоку UDP — один: у службы под root
предел
RLIMIT_NOFILEподнимается доfs.nr_openядра (procd даёт службам 4096, и выход, через который идёт весь дом, упирался в него), без прав — мягкий до жёсткого. Запись к узлу (VLESS, trojan, vmess, shadowsocks, http, SOCKS5 по TCP) не ждёт сокета: что узел не принял сразу, ждёт в очереди связи и дослается по событию записи, а когда в очереди набралось 256 КиБ, клиенту перестают брать данные (окно сужается само) — медленный узел или заполненная очередь устройства не останавливают остальные соединения потока. Датаграммы клиенту, которые устройство не приняло, ждут в очереди потока до 4 МиБ, дальше отбрасываются со счётчиком и строкой в журнале. Рукопожатия с узлом идут в потоках-установщиках: очередь заявок без предела, четыре постоянных потока и ещё до 64 по нагрузке (лишние уходят через 20 с простоя).
Узлы выхода: сколько сразу и как за ними следят#
Узел выхода выбирается при подъёме: nodes (или все пригодные узлы подписки), отфильтрованные
transport, проверяются — соединение, TLS/Reality, запрос через узел и первый байт ответа, до 8 секунд
на узел, — и первый ответивший становится узлом выхода (узел, названный одним номером, не проверяется).
Проверки идут наперегонки: первый кандидат стартует сразу, каждый следующий — через 250 мс, если никто
ещё не ответил (и сразу, если все прежние отказали), не больше восьми одновременно; порядок в nodes
остаётся порядком предпочтения, а мёртвые первые узлы не держат подъём по 8 секунд каждый. Так же,
наперегонки, ищется замена умершему узлу. Ключ active выхода (docs/spec-v2.md, «Пул узлов туннеля») держит
активными сразу несколько узлов: остальные active - 1 клиент находит среди кандидатов по порядку
сам, уже с поднятым устройством, так что подъём их проверок не ждёт. Новое соединение получает узел
по by (connection — случайный живой, поровну; site — по адресу назначения; site_client — по
клиенту и адресу) и остаётся на нём до конца; запасные сессии пула — к своему узлу, и при site
соединению достаётся только запасная его узла.
pick: latency выбирает не первых живых по порядку, а самых быстрых: раз в interval (180 с) клиент
меряет всех кандидатов той же проверкой, по четыре разом, и меняет активный узел на свободного
кандидата, который быстрее больше чем на tolerance (50 мс). Устройство и туннель те же, соединения к
неактивным узлам в покое не держатся; открытые соединения доживают на прежнем узле, новые идут на
быстрый. Мёртвый узел заменяется лучшим по последнему замеру.
Слежка — за каждым активным узлом, в том же процессе и под демоном, и без него:
- раз в
interval(60 с) — та же проверка, что при подъёме; неудача — повтор через 3 с, две подряд — узел мёртв (проверке, которую позвал обрыв соединения поsilence, хватает одной неудачи: узел и так молчал дольше порога); - раньше срока проверку зовут три несостоявшихся подряд соединения с узлом и обрыв живого
соединения: связь с узлом, по которой отправленное не подтверждено дольше
silence(20 с) или которая молчит дольшеsilenceи не отвечает на проверку TCP keepalive, ядро обрывает (TCP_USER_TIMEOUT,SO_KEEPALIVE). Это узел, умерший под закачкой, звонком или игрой, когда новых соединений нет; долгий опрос и простаивающее соединение не задеваются — живой узел подтверждает принятое и отвечает на keepalive сам; - узел, который отвечает на проверку, но не несёт соединения (сервер с ограничением соединений молчит на ClientHello, пока одиночный запрос проходит): проверка после трёх несостоявшихся соединений прошла, три новых несостоявшихся — и снова прошла, без единого удачного соединения между ними, — такой узел тоже мёртв. Ожив без удачных соединений, он мёртв после первой же серии отказов, а пауза круга не сбрасывается;
- мёртвый узел: его соединения сбрасываются (RST клиенту — приложение переподключается сразу), и его место занимает следующий свободный кандидат по порядку предпочтения, без перезапуска процесса; соединения живых узлов не трогаются. Свободного нет — круг через 15 с (сперва прежний узел, потом остальные), каждый пустой круг вдвое дольше, до 30 с;
- связь, оборванная ядром или сброшенная узлом, — RST клиенту, а не FIN: FIN значил бы «ответ кончился», и обрезанная закачка выглядела бы целой. Неудачная отправка узлу — тоже RST, а данные на соединение, которого в таблице нет (клиент выхода перезапущен), получают RST по правилу TCP — приложение не ждёт своего таймаута на соединении, которого больше нет. Пакеты клиента раздаются по хэшу соединения, поэтому «нет в таблице» у рабочего, которому они достались, значит «нет вообще».
Демону клиент говорит up с именем устройства, когда оно поднято, down с причиной последней
неудачной проверки — когда живых узлов не осталось, и снова up, когда живой нашёлся
(docs/ctl.md). Какие узлы активны — объект vless у выхода в steer status:
"vless": { "pid": 2716, "up": true, "node": "NL-1", "want": 2, "slots": 2, "by": "site",
"active": [ { "index": 3, "name": "NL-1" }, { "index": 7, "name": "DE-2" } ] }
index — номер узла среди пригодных (тот же, что у steer vless-nodes и в nodes), node — имя
первого активного, want — active спеки, slots — сколько держится (не больше кандидатов), up —
есть живой узел; при pick: latency — ещё pick и latency, последний замер кандидатов по номерам
(-1 — не ответил). Объекта нет — клиент не запущен. Те же номера — в поле active команды helper
демона; steer diag предупреждает (id nodes), пока активных меньше active.
UDP и QUIC#
UDP едет как команда VLESS 2: заголовок запроса называет один адресат, а дальше поток — это
последовательность датаграмм, каждая с двухбайтовой длиной в начале. Обе стороны используют одну
рамку. Именно это несёт QUIC (HTTP/3), WireGuard/WARP, игровой трафик и обычный DNS. У узла с
flow=xtls-rprx-vision UDP идёт иначе — Mux.Cool с рамками XUDP, см. ниже.
- Одна сессия к узлу на поток. Адресат живёт в заголовке запроса, то есть фиксирован на всё
время потока: сессия на пару
источник:порт → адресат:порт— это то, что диктует форма протокола. XUDP (Mux.Cool для UDP) у Xray умеет мультиплексировать несколько адресатов в один поток, и выигрывает это ровно там, где адресатов много, а датаграмм на каждого одна — то есть на DNS. Для того, ради чего UDP здесь нужен (QUIC, WireGuard, игры), адресат один, а поток живёт минутами, поэтому XUDP добавил бы свою рамку и ничего больше. - Узел без
flow: команда 2, Vision нет. Vision заменяет копирование потока после рукопожатия, для датаграмм это лишено смысла,flowв запросе не объявляется. Такой запрос принимают все серверы. - Узел с
flow=xtls-rprx-vision: Mux.Cool и XUDP, как у клиента Xray. Сервер не принимает UDP-запрос (команду 2) к учётной записи с vision: Xray-core отвечает «doesn't support UDP», sing-box сверяет flow записи с flow запроса для любой команды и отвергает и пустой («flow mismatch»), и vision («flow does not support UDP»). Собственный клиент Xray в этом случае (proxy/vless/outbound) заменяет команду на Mux (3), и здесь так же: заголовок запроса — команда 3 сflow, без порта и адреса (службаv1.mux.cool:666подразумевается командой); дальше поток обёрнут Vision, как у TCP, а внутри — рамки Mux.Cool (common/mux,common/xudp):[длина метаданных u16][сессия u16 = 0] [статус][опции]…[длина данных u16][данные]. Первая датаграмма — статус New с сетью UDP, портом и адресом назначения и восемью байтами GlobalID (по нему сервер Xray отдаёт тот же UDP-сокет новому потоку того же источника; берётся от адреса источника и случайного ключа процесса), остальные — Keep без адреса. В обратную сторону читаются Keep с данными (адрес отправителя в рамке пропускается), KeepAlive выбрасывается, End и любой другой статус — конец потока. Сверено с Xray-core 26.9.9 и sing-box 1.14.2 (сервер TLS + vision): пять датаграмм по одной, три склеенные одним вызовом и датаграмма 1400 байт возвращаются эхом. - Чего нет. Мультиплекса нескольких адресатов в одном потоке XUDP (адресат потока один, как и у
команды 2) и Mux для TCP (
concurrency): для TCP он экономит только рукопожатия, а их экономит пул запасных связей. - Стоимость рукопожатия спрятана. Первая датаграмма ждёт в буфере ранних данных, пока идёт рукопожатие к узлу, а пул запасных сессий обычно отдаёт готовый поток сразу. Без этого каждое новое соединение QUIC платило бы 100-400 мс.
- Размер датаграммы — предел протокола узла. От узла к клиенту до 65507 байт (предел UDP по IPv4) принимают
VLESS, hysteria2, trojan, shadowsocks и SOCKS5; клиент узлу — у VLESS около 14,8 КБ (датаграмма с обёртками
ложится в одну запись), у hysteria2, trojan — до 65507, у shadowsocks и SOCKS5 — пакет с обрамлением в 65507,
у vmess — один кусок тела, 16 367 байт. Недособранная датаграмма от узла держится между чтениями: у VLESS и
trojan до 4096 байт — в буфере сессии, крупнее — в куче, и только у потока, по которому такая пришла (64 КБ на
каждый поток заранее — это память, которой у роутера нет); у hysteria2, shadowsocks и SOCKS5 границы держит сокет.
Датаграмма клиента крупнее предела протокола отбрасывается со счётчиком и строкой в журнале раз в десять секунд
(«датаграмма UDP … байт больше предела протокола»).
Датаграмма больше предела протокола пропускается по её точной длине: потеря синхронизации потока
убила бы весь поток, а не одну датаграмму. Датаграмма, пришедшая раньше, чем готов поток к узлу,
держится в буфере ранних данных (8 КиБ на соединение). Первая датаграмма крупнее него получает буфер
по своему размеру (до 65 КиБ, одна на соединение, пока поток открывается); вторая крупная в это же
время, как и любая, не поместившаяся в буфер, теряется (счётчик
потеряно датаграмм). - Фрагментация в обе стороны. Датаграмма больше MTU приходит от клиента уже разрезанной его собственным стеком, и туннель собирает её прежде чем отдать узлу: фрагменты принимаются в любом порядке, точный повтор пропускается, наложение отбрасывает всю датаграмму; одновременно собираются до 16 датаграмм на рабочий поток (самая старая вытесняется), недособранная живёт 30 с. Потери называются в журнале. В обратную сторону датаграмма больше MTU режется на IP-фрагменты и собирается стеком клиента — без этого крупный ответ DNS молча пропадал бы.
- Срок простоя — те же 120 с, что у TCP, как у conntrack. Меньше означало бы смену исходящего порта на стороне узла для следующей датаграммы, и партнёр QUIC был бы вынужден заново подтверждать путь. Поток, которому узел не прислал ни одной датаграммы, живёт 30 с тишины клиента (как неотвеченный поток у conntrack): DHT торрента и QUIC без ответа открывают по потоку на каждый новый адрес, и по 120 с на каждый они съедали дескрипторы и память выхода.
- Потеря есть потеря. Если датаграмму нельзя отдать узлу прямо сейчас (закрылось окно HTTP/2 на
grpc/xhttp), она отбрасывается, а не встаёт в очередь: любой протокол поверх UDP переживает
потерянную датаграмму, но ни один не переживает переупорядочивания.
STEER_TUN_STATS=1показывает их какпотеряно датаграмм.
Задержка установления соединения#
Рукопожатие к узлу (TCP + TLS/Reality + при необходимости HTTP/2) стоит 100-400 мс. На критическом
пути каждого нового соединения оно лежало бы целиком: SYN-ACK клиенту ждал бы, пока готов поток
наверх, а клиент начинает свой TLS только после завершения рукопожатия. У обычной маршрутизации
через nftables такого шага нет.
С пути его убирают три механизма:
- Немедленный
SYN-ACK. Рукопожатие с клиентом завершается за локальный круг, ещё до существования потока к узлу: его отвечает ядро Linux (слушатель плагина). Адрес назначения VLESS едет в заголовке запроса, а не в момент соединения, поэтому знать про верхнюю сторону пока ничего не нужно. Если поток потом не откроется, клиент получитRST— тот же исход, что при отказе соединения, только позже. - Буфер ранних данных. Раз клиенту ответили сразу, его первые байты (
ClientHello, один-два КБ) приходят, пока рукопожатие к узлу ещё идёт. Они ждут в буфере приёма сокета ядра и отдаются узлу, как только поток готов; окно клиенту держит ядро. Порядок потока никогда не обменивается на скорость: свежие данные клиента ждут, пока не доставлен накопленный хвост. - Запасные сессии. Небольшой пул заранее установленных сессий к узлу (по умолчанию 4,
STEER_TUN_SPARES=0отключает, максимум 8). Пул пополняется только когда принято новое соединение, поэтому простаивающий роутер не делает никаких фоновых рукопожатий; браузер, открывающий соединения пачками, находит их готовыми. Запасные живут 2,5 с — Xray снимает сессию, не отправившую запрос VLESS в пределах своего таймаута рукопожатия (по умолчанию 4 с), — и просроченные закрываются проходом раз в секунду, чтобы простаивающий пул не держал сокеты и буферы TLS бесконечно.
Пропускной способности и процессора на мегабайт эти механизмы не касаются — только задержки.
Один клиент не кладёт выход остальным#
Туннель общий для всех клиентов выхода, и его ресурсы делятся так, чтобы один клиент — торрент, скан портов, зависшая программа — не забирал их целиком:
- Очередь рукопожатий. Новое соединение ждёт установщика (рукопожатие к узлу), и таких ожидающих у
процесса не больше 16 на установщика отдельно для TCP и для UDP (при 64 установщиках — по 1024), а у
одного адреса клиента (у IPv6 — его /64) — не больше четверти. Сверх этого соединение TCP получает
RST, а поток UDP — ICMP «порт недоступен» (QUIC сразу переходит на TCP); в журнале — адрес и оба предела. Соединения TCP установщики берут раньше потоков UDP (три к одному), поэтому поток датаграмм на тысячи адресов не задерживает открытие страниц. Заявка, прождавшая установщика дольше 8 с (TCP) или 5 с (UDP), и заявка клиента, уже закрывшего соединение, не исполняются. - Срок рукопожатия. Установление связи с узлом — TCP, TLS или Reality, ws/h2/grpc/xhttp, переговоры SOCKS и HTTP CONNECT — целиком укладывается в 16 с: сервер, отдающий ответ по байту, больше не держит установщика бесконечно.
- Память. Память туннеля (сессии соединений, буферы недописанного клиенту и ранних данных)
считается против бюджета — половины доступной системе памяти при запуске (
STEER_TUN_MEM_MBзадаёт его руками). Новые соединения принимаются, пока занято не больше трёх четвертей бюджета, одному адресу клиента достаётся не больше половины; на пределе новое соединение получаетRST(UDP — ICMP), а соединения, чей клиент не забирает данные, перестают читать у узла, пока клиент не разгребёт своё. - Ответы узлу. Узел, который шлёт PING (HTTP/2) или ping (ws) и не читает ответов, больше не раздувает очередь отправки: пока в ней больше 512 КиБ, у узла не читают, а сверх 1 МиБ связь закрывается.
Переменные окружения#
Для разбора неполадок, не для повседневной настройки.
| Переменная | Что делает |
|---|---|
STEER_TUN_STATS=1 |
Печатать статистику туннеля: пакеты, датаграммы, потери |
STEER_TUN_SPARES=N |
Размер пула запасных сессий (0 отключает, максимум 8) |
STEER_TUN_CONNECTORS=N |
Потолок потоков-установщиков рукопожатий с узлом (по умолчанию 64; четыре постоянных заводятся всегда, остальные — по нагрузке) |
STEER_TUN_MEM_MB=N |
Бюджет памяти туннеля в МБ (по умолчанию — половина доступной системе памяти при запуске, не меньше 16) |
STEER_TUN_THREADS=N |
Число рабочих потоков. По умолчанию — по числу ядер, доступных процессу (не больше, чем онлайн и разрешено маской процессора). 1 — один поток, прежний путь: так проверяют, что многопоточность быстрее на этом железе |
STEER_TUN_NOSTEER=1 |
Не ставить программу раздачи в ядро: пакеты раздаёт поток-читатель (так проверяют запасной путь) |
STEER_TUN_TCPPORT=N |
Порт слушателя TCP плагина вместо выведенного из метки выхода (9480 плюс место выхода). Для стендов без демона: на роутере порт сам ставит в правило перенаправления демон, и другой порт там разошёлся бы с правилом |
STEER_TUN_TRACE=1 |
Подробная трассировка пути пакета |
STEER_TUN_NOGSO=1 |
Отключить разгрузку GSO на TUN |
STEER_NOPQ=1 |
Не предлагать гибрид X25519MLKEM768 в ClientHello (и не делать запасную попытку без него) |
STEER_PQ_TRACE=1 |
Печатать, что сервер выбрал гибрид X25519MLKEM768 |
STEER_VENC_TRACE=1 |
Печатать режим VLESS encryption и то, идёт ли соединение по билету |
STEER_CIPHER=... |
Принудительно выбрать шифр вместо автовыбора по наличию AES |
STEER_FAILOVER_HYST=N |
Сколько подряд здоровых проверок обязано пройти более предпочтительное устройство пула, прежде чем сторож вернёт на него трафик с запасного (по умолчанию 3, 0 — возвращать сразу). Уход с упавшего устройства не задерживается никогда. Держит трафик от мелькания на флаки-узле, который подхватывается пробой на тик и снова падает |
STEER_EXPLAIN_TRACE=1 |
Трассировка в steer explain |
Коды возврата#
Программа туннеля (bin/vless vless <выход> --conf <файл> из каталога плагина; её поднимает демон) завершается
ненулевым кодом (1) всегда, когда процесс туннеля вообще возвращается, и печатает в журнал одну строку причины с префиксом steer[warn]. Ноль был бы здесь
неправдой: процесс заканчивается только тогда, когда туннель больше не несёт трафик. procd и
управляющий слой должны трактовать ненулевой код как «туннель упал» и читать строку причины.
Отказы до запуска туннеля отвечают кодом 2 — это отказ вызывающему, а не падение туннеля:
| Код | Строка причины | Что случилось |
|---|---|---|
2 |
steer[warn]: outputs.<имя>: ... |
Ключи выхода не сходятся (например, сочетание, которого вид не принимает) |
2 |
steer[warn]: выход <имя> не vless (kind <вид>) |
Выход есть, но он не kind: tunnel, protocol: vless |
2 |
steer[warn]: <файл> не читается |
Не читается файл подписки |
Отказы при подъёме и работе туннеля отвечают кодом 1:
| Код | Строка причины | Что случилось |
|---|---|---|
1 |
steer[warn]: в подписке нет пригодных узлов ... |
Подписка разобрана, но ни один узел не годится |
1 |
steer[warn]: выбранных узлов нет в подписке (пригодных всего M) — проверьте nodes |
Ни одного номера из nodes в подписке нет |
1 |
steer[warn]: среди N выбранных узлов нет ни одного с транспортом из transport ... |
Ключ transport выхода не оставил кандидатов |
1 |
steer[warn]: все N узлов-кандидатов исключены exclude, exclude_name или only ... |
Исключения выхода не оставили кандидатов |
1 |
steer[warn]: ни один узел подписки не отвечает |
Все узлы проверены, ни один не ответил |
1 |
steer[warn] tunnel: нет /dev/net/tun (...) — не установлен kmod-tun |
Нет /dev/net/tun: не стоит пакет kmod-tun (зависимость steer-core) |
1 |
steer[warn] tunnel: устройство <dev> не создалось: ... (отказал TUNSETIFF) |
Устройство TUN не создалось |
1 |
steer[warn] tunnel: <dev> не поднялся ни одной очередью из <N> |
Ни одна рабочая очередь не встала |
1 |
steer[warn] tunnel: <dev> больше не несёт трафик — все потоки (<N>) завершились |
Туннель работал, но все рабочие потоки закончились |
Управляющий слой, перезапускающий туннель на ненулевом коде, должен различать случаи: отсутствие
kmod-tun и отказ создания устройства — это проблема инфраструктуры, перезапуск не поможет;
«все потоки завершились» — состояние временное, перезапуск может помочь; код 2 означает ошибку в
спеке, и перезапускать бессмысленно до её правки.