15 млн вебсерверів на одній VM: навіщо автор експерименту вивчає smoltcp і DPDK
Автор Kapteko з’ясовує, чи можна розмістити 15 млн простих вебсерверів на VM із 10 ГБ пам’яті та одним ядром. Підтвердження, що мети досягнуто, у матеріалі немає.
19 листопада 2026 року автор публікації на Kapteko розібрав питання: чи можна розмістити 15 млн простих вебсерверів на VM із 10 ГБ пам’яті та одним ядром CPU. У матеріалі показано обмеження портів, процесів і сокетів Linux, а потім розглянуто власне середовище виконання (runtime) і стек TCP/IP smoltcp. Підтвердження, що заявленої мети досягнуто, у наданому тексті немає.
Порти й процеси: перші обмеження
Відправна точка — мінімальний сервер на C. Він приймає TCP-з’єднання, читає запит, повертає HTTP/1.0 200 OK і два символи OK, після чого закриває з’єднання. Для цієї програми автор отримав близько 65 тисяч запитів за секунду. Але швидкість одного обробника не означає, що мільйони його копій помістяться на одній машині.
Спочатку спроба запустити багато серверів наштовхнулася на обмеження кількості портів. Якщо вказати порт 0, Linux вибирає вільний із діапазону, який у прикладі становить 32768–60999. Навіть розширивши його, не можна отримати 15 млн портів на одній IP-адресі: номер порту займає 16 біт. Оскільки сервер, що прослуховує порт, визначається поєднанням протоколу, IP-адреси й порту, для нових точок входу потрібні додаткові адреси.
Автор пропонує використати AnyIP: налаштувати локальний маршрут для цілої підмережі й призначати серверам адреси з неї. У тексті наведено команду для IPv6-підмережі /64 і згадано аналогічну можливість для IPv4. Так можна обійти обмеження адресації, але не витрати пам’яті. Спроба запустити 15 млн окремих процесів завершилася її нестачею. За оцінкою автора, один сервер займає близько 1,5 МБ, а всі разом потребували б приблизно 20 ТБ.
Чому одного планувальника недостатньо
Наступна ідея — розмістити обробники в одному процесі й перемикати їх власним планувальником. Для призупинення простого обробника автор закладає 16 байтів стану: адресу, з якої потрібно продовжити виконання, і два файлові дескриптори. Для 15 млн екземплярів виходить близько 220 МБ. У попередньому розрахунку ще 5 ГБ відведено мільйону активних з’єднань; передбачалося, що решта сокетів, які прослуховують з’єднання, не потребуватимуть пам’яті.
Саме останнє припущення не витримало перевірки. Навіть виклик socket() без подальшого приймання з’єднань створює структури в ядрі. За наведеною оцінкою, один TCP-сокет займає близько 3,3 КБ. Якщо таких сокетів мільйони, економія на окремих процесах не розв’язує проблему: планувальник керує обробниками, але не усуває витрат пам’яті ядра на сокети.
Тому автор розглядає smoltcp — стек TCP/IP на Rust, який не вимагає обов’язкового виділення пам’яті в купі. Це інший рівень роботи з мережею, але стеку все одно потрібен спосіб отримувати й надсилати дані. Автор наводить приклад коду для роботи через TUN на рівні IP або TAP на рівні Ethernet. DPDK описано як варіант прямої роботи з Ethernet-кадрами в обхід ядра.
Тут важливо розуміти межі отриманого результату. У матеріалі є розрахунки, перевірки, що завершилися через нестачу пам’яті, і приклад мережевого циклу для TUN/TAP, але немає підтвердженого запуску 15 млн серверів на заявленій VM. AF_XDP є в заголовку, проте його роль у наданому тексті не розкрито. Порівняння продуктивності перелічених способів теж немає.
Що це означає для сайтів і команд
Власнику сайту не варто вважати кількість серверів на VM показником швидкості сторінки. Тестовий обробник завжди віддає одну коротку відповідь. У розборі немає вимірювань для прикладної логіки, бази даних або вмісту робочого сайту, тому переносити на них результат тесту не можна.
Розробникам корисна послідовність перевірки. Автор відокремлює нестачу адрес від витрат на процеси, а потім виявляє витрати, які залишаються і після ідеї зі спільним середовищем виконання. Перш ніж обговорювати заміну мережевого стека, команді варто з’ясувати, який ресурс обмежує саме її сервіс. Це вже не налаштування одного параметра: змінюється спосіб обробки мережевого трафіку.
Моя думка: ціна контролю над мережею
Мені тут цікавіше не число в заголовку, а хибне припущення щодо сокетів, які прослуховують з’єднання. Розрахунок у 16 байтів на обробник мав переконливий вигляд, доки перевірка не виявила витрат у ядрі. Такий поворот корисний у роботі з продуктивністю: модель допомагає вибрати напрям, але вимірювання визначає, чи витримує вона реальне навантаження.
Я б читав цей розбір як дослідження меж підходу, а не інструкцію з прискорення звичайного сайту. Власний планувальник і робота з мережевим стеком дають більше контролю, але й відповідальності за цю частину системи стає більше. Для невеликого сайту така ціна, на мій погляд, зазвичай надмірна. Якщо ж завдання справді потребує мільйонів окремих точок входу, його можна зіставити з уже виявленими обмеженнями стандартного підходу.
Джерела
Звідки новина. Текст — переказ своїми словами, факти — з джерела, думка — автора.
Старший backend-розробник
Проєктую серверні системи й допомагаю командам розбиратися з продуктивністю. У тривалих обговореннях намагаюся показати не лише рекомендацію, а й ціну кожного варіанта.
Усі публікації автораСхожі статті
Уразливість у ядрі Linux дає змогу атакувати сервер через вхідне TCP-з’єднання
Критична помилка в ядрі Linux дає змогу атакувати сервер через вхідне TCP-з’єднання без пароля. Власникам серверів потрібно перевірити стан виправлення для свого дистрибутива й встановити оновлення.
Уразливість PHP є, але опубліковані приклади експлуатації викликають запитання
Автор публікації вважає, що поширені PoC не доводять можливості атакувати стандартний сервер PHP. Водночас уразливість реальна, і на уражених серверах потрібно встановити виправлення.
Налаштування Firefox допомогло автору нотатки відновлювати великі завантаження
Автор нотатки виявив, що зміна network.http.response.timeout допомогла йому відновлювати перервані завантаження великих файлів у Firefox. Це експериментальна порада, а відновлення залежить і від підтримки сервера.
Обговорення 5
Свен Раннік
15 млн вебсерверів на одному ядрі — нарешті масштабування, де навіть сервери стоять у черзі до процесора
Гіоргі Кікнадзе
у своїх сервісах упирався не в кількість процесів, а в файлові дескриптори й накладні витрати на кожне з’єднання; для простих відповідей дешевший runtime допомагає, але 15 млн серверів без уточнення моделі навантаження звучить як демонстрація меж, а не практичний sizing
Уляна Бабаян
@gio.kiknadze, правильно розумію, що тут файлові дескриптори й накладні витрати на з’єднання стосуються вже сценарію з реальними клієнтами? У статті ж ідеться про багато окремих простих серверів, тож цікаво, чи автор окремо оцінює ціну саме їхнього очікування на з’єднання.
Павел Альбрехт Автор публікації
Так, у цьому експерименті важливо розрізняти витрати на самі сервери й на активні з’єднання з клієнтами. Якщо кожен екземпляр лише слухає порт і чекає, то ціна очікування теж не нульова: потрібні сокет, стан з’єднання та ресурси ядра, а у власному runtime частину цього стану можна організувати компактніше. Але з опису не видно, чи автор рахує саме мільйони одночасно відкритих клієнтських з’єднань, чи лише кількість логічних серверів, тому без цієї моделі цифра про 15 млн лишається демонстрацією меж, а не sizing для реального сервісу.
Лукас Марін
@ube.am, у невеликому тестовому сервісі я перевіряв це окремо: спершу дивився на ліміт дескрипторів, потім — на пам’ять процесу й сокетів у стані очікування. Для багатьох простих серверів саме ці витрати можуть стати помітними ще до того, як упираєшся в обробку запитів; але тут важливо, чи кожен сервер уже має відкрите з’єднання, чи лише слухає порт.