15 млн веб-серверов на одной VM: зачем автор эксперимента изучает smoltcp и DPDK
Автор Kapteko разбирает, можно ли разместить 15 млн простых веб-серверов на VM с 10 ГБ памяти и одним ядром. Подтверждения, что цель достигнута, в материале нет.
19 ноября 2026 года автор публикации на Kapteko разобрал задачу: можно ли разместить 15 млн простых веб-серверов на VM с 10 ГБ памяти и одним ядром CPU. В материале показаны ограничения портов, процессов и сокетов Linux, а затем рассматриваются собственный runtime и TCP/IP-стек smoltcp. Подтверждения, что заявленная цель достигнута, в предоставленном тексте нет.
Порты и процессы: первые ограничения
Отправная точка — минимальный сервер на C. Он принимает TCP-соединение, читает запрос, возвращает HTTP/1.0 200 OK и два символа OK, после чего закрывает соединение. Для этой программы автор получил около 65 тысяч запросов в секунду. Но скорость одного обработчика не означает, что миллионы его копий поместятся на одной машине.
Сначала попытка запустить множество серверов упёрлась в порты. При указании порта 0 Linux выбирает свободный из диапазона, который в примере составляет 32768–60999. Даже расширив его, нельзя получить 15 млн портов на одном IP-адресе: номер порта занимает 16 бит. Поскольку слушающий сервер определяется сочетанием протокола, IP-адреса и порта, для новых точек входа нужны дополнительные адреса.
Автор предлагает использовать AnyIP: настроить локальный маршрут для целой подсети и назначать серверам адреса из неё. В тексте приведена команда для IPv6-подсети /64 и упомянута аналогичная возможность для IPv4. Так можно обойти ограничение адресации, но не расход памяти. Попытка запустить 15 млн отдельных процессов закончилась её нехваткой. По оценке автора, один сервер занимает около 1,5 МБ, а все вместе потребовали бы примерно 20 ТБ.
Почему одного планировщика недостаточно
Следующая идея — разместить обработчики в одном процессе и переключать их собственным планировщиком. Для приостановки простого обработчика автор закладывает 16 байт состояния: адрес, с которого нужно продолжить выполнение, и два файловых дескриптора. Для 15 млн экземпляров получается около 220 МБ. В предварительном расчёте ещё 5 ГБ отведено миллиону активных соединений; остальные слушающие сокеты предполагались не требующими памяти.
Именно последнее допущение не выдержало проверки. Даже вызов socket() без последующего приёма соединений создаёт структуры в ядре. В приведённой оценке один TCP-сокет занимает около 3,3 КБ. Если таких сокетов миллионы, экономия на отдельных процессах не решает задачу: планировщик управляет обработчиками, но не убирает затраты ядра на сокеты.
Поэтому автор рассматривает smoltcp — TCP/IP-стек на Rust, который не требует обязательного выделения памяти в куче. Это другой уровень работы с сетью, но стеку всё равно нужен способ получать и отправлять данные. Автор приводит пример кода для работы через TUN на уровне IP или TAP на уровне Ethernet. DPDK описан как вариант прямой работы с Ethernet-кадрами в обход ядра.
Граница результата здесь важна. В материале есть расчёты, проверки, завершившиеся нехваткой памяти, и пример сетевого цикла для TUN/TAP, но нет подтверждённого запуска 15 млн серверов на заявленной VM. AF_XDP присутствует в заголовке, однако его роль в предоставленном тексте не раскрыта. Сравнения производительности перечисленных способов тоже нет.
Что это значит для сайтов и команд
Владельцу сайта не стоит принимать число серверов на VM за показатель скорости страницы. Тестовый обработчик всегда отдаёт один короткий ответ. В разборе нет измерений для прикладной логики, базы данных или содержимого рабочего сайта, поэтому переносить на них результат теста нельзя.
Разработчикам полезна последовательность проверки. Автор отделяет нехватку адресов от затрат на процессы, а затем находит расходы, которые сохраняются после идеи с общим runtime. Прежде чем обсуждать замену сетевого стека, команде стоит понять, какой ресурс ограничивает именно её сервис. Это уже не настройка одного параметра: меняется способ обработки сетевого трафика.
Моё мнение: цена контроля над сетью
Мне здесь интереснее не число в заголовке, а ошибочное предположение о слушающих сокетах. Расчёт в 16 байт на обработчик выглядел убедительно, пока проверка не обнаружила расходы в ядре. Такой поворот полезен в работе с производительностью: модель помогает выбрать направление, но измерение решает, выдерживает ли она реальную нагрузку.
Я бы читал этот разбор как исследование границ подхода, а не инструкцию по ускорению обычного сайта. Собственный планировщик и работа с сетевым стеком дают больше контроля, но и ответственность за этот участок системы становится больше. Для небольшого сайта такая цена, на мой взгляд, обычно избыточна. Если же задача действительно требует миллионов отдельных точек входа, её можно сравнивать с уже выявленными ограничениями стандартного подхода.
Источники
Откуда новость. Текст — пересказ своими словами, факты — из источника, мнение — автора.
старший backend-разработчик
Проектирую серверные системы и помогаю командам разбираться с производительностью. В длинных обсуждениях стараюсь показать не только рекомендацию, но и цену каждого варианта.
Все публикации автораПохожие статьи
Уязвимость в ядре Linux позволяет атаковать сервер через входящее TCP-соединение
Критическая ошибка в ядре Linux позволяет атаковать сервер через входящее TCP-соединение без пароля. Владельцам серверов нужно проверить статус исправления для своего дистрибутива и установить обновление.
Уязвимость PHP есть, но опубликованные примеры эксплуатации вызывают вопросы
Автор публикации считает, что распространённые PoC не доказывают возможность атаковать стандартный сервер PHP. При этом уязвимость реальна, и затронутые серверы нужно исправить.
Настройка Firefox помогла автору заметки возобновлять большие загрузки
Автор заметки обнаружил, что изменение network.http.response.timeout помогло ему возобновлять прерванные загрузки больших файлов в Firefox. Это экспериментальный совет, а продолжение скачивания зависит и от поддержки сервера.
Обсуждение 4
Никола Петров
Для оценки такой схемы я бы отдельно считал не только память на соединение, но и объём исходящего трафика. Даже если smoltcp и собственный runtime позволят держать миллионы виртуальных серверов, один ответ из двух байтов превращается в TCP/IP-пакеты, а скорость их обработки и пропускная способность интерфейса могут стать пределом раньше RAM. Здесь важно уточнить, что именно означает «разместить серверы»: хранить их состояние или одновременно обслуживать запросы.
Лев Фёдоров
а в эксперименте речь про одновременные активные запросы или только про хранение состояния 15 млн серверов? без этого цифра по памяти мало что говорит: на одном ядре пакеты и исходящий трафик могут упереться в потолок раньше.
Павел Альбрехт Автор публикации
В тексте подтверждённого результата нет, поэтому разделять тут пока приходится постановку задачи и измеренный результат: показана скорость одного минимального обработчика, но не доказано, что 15 млн серверов одновременно обслуживают запросы. Если под «разместить» понимать хранение состояния и готовность принять запрос, это совсем другой профиль нагрузки, чем одновременная активность; тогда нужны отдельные замеры по пакетам и исходящему трафику, а не только оценка памяти.
Бекзод Юсупов
Хорошо, что разделили «держать состояние» и «обслуживать одновременно»: 65 тысяч запросов в секунду у одного обработчика сами по себе ничего не говорят о масштабе всей схемы. Для SEO и веб-команд это тоже важное различие — число размещённых инстансов не равно пропускной способности под реальной нагрузкой.