[{"content":"50 TOPS, які нічого не роблять Кожен ноутбук з Ryzen AI, проданий за останні два роки, має всередині нейропроцесор (Neural Processing Unit, NPU), шматок кремнію, створений ні для чого, крім математики, на якій стоять моделі AI. У моєму, ThinkPad з Ryzen AI 7 PRO 350, AMD оцінює його до 50 TOPS, трильйонів операцій за секунду1. Ти за нього заплатив. На стандартному встановленні Linux він не робить нічого.\nЦього року це змінилося. Після налаштування NPU крутить мовну модель на 4 мільярди параметрів за вікном чату, плюс розпізнавання мовлення, усе на ноутбуці, без облікового запису, без підписки і без того, щоб щось покидало машину, а для всього, що ти волів би не вводити на чужому сайті, саме в цьому й суть. Увесь чип споживає близько 21 Вт, поки відповідає, а в простої менше 9 Вт.\nЩо працює Де Адреса Qwen 3.5 4B, контекст 256k токенів NPU, у контейнері http://[::1]:52625/v1 Розпізнавання мовлення: Whisper від OpenAI, whisper-v3:turbo NPU, той самий контейнер та сама, /audio/transcriptions Open WebUI, сторінка чату CPU, у контейнері http://[::1]:3000 драйвер ядра amdxdna, мікропрограма хост /dev/accel/accel0 Збирання визначили два правила. На хост ідуть тільки драйвер ядра та його мікропрограма; кожен фреймворк для моделей працює в rootless-контейнері podman. І кожен сервіс слухає тільки на петлі IPv6, на IPv4 нічого взагалі. Обидва виявилися меншою роботою, ніж робити все абияк, і обидва зловили проблеми, які інакше я б випустив.\nЩо для цього треба на Linux NPU в цьому чипі належить до другого покоління AMD, XDNA2. Це важливо, бо програми, що запускають на ньому мовні моделі, підтримують частини з XDNA2 (серії Ryzen AI 300 і 400, Strix Halo), а не перше покоління в Ryzen 7040 і 80402. Перевір свій, перш ніж починати:\n$ lspci -nn | grep -i \u0026#39;neural\\|signal processing\u0026#39; c5:00.1 Signal processing controller [1180]: Advanced Micro Devices, Inc. [AMD] Strix/Krackan/Krackan2/Strix Halo Neural Processing Unit [1022:17f0] (rev 20) Між цим пристроєм і відповіддю в чаті стоять чотири шари, і поділ між хостом і контейнером і є весь задум:\nШар Що це Де живе amdxdna драйвер ядра, створює /dev/accel/accel03 хост, через DKMS мікропрограма NPU npu_7.sbin, 1.1.2.64 на цьому чипі хост, з linux-firmware XRT + плагін amdxdna бібліотека середовища виконання AMD і її бекенд для NPU контейнер FastFlowLM середовище виконання LLM, разом з ядрами для NPU контейнер Що живе на хості, а що в контейнері Rootless podman, перезбираю коли завгодно Open WebUI сторінка чату, на CPU [::1]:3000 FastFlowLM [::1]:52625 XRT + плагін NPU під коміт драйвера Хост: модуль ядра і мікропрограма, більше нічого Ні XRT, ні рушія, ні моделей. Лише один вузол пристрою переходить у контейнер. модуль amdxdna, збирає DKMS npu_7.sbin NPU XDNA2 /dev/accel/accel0 Поділ. Усе, що часто змінюється, живе в контейнері; хост тримає модуль ядра і його мікропрограму, а через межу передається лише один вузол пристрою. Ядро 7.x постачає amdxdna у дереві, але AMD спершу розробляє його у власному репозиторії, і плагін простору користувача має відповідати модулю ядра, з яким говорить4. Розрив між ними чималий. На цьому ноутбуці:\nУ дереві, Fedora 7.2.15 і 7.3.3 Поза деревом, amd/xdna-driver на 24dfd686 Інтерфейс драйвера 0.105 0.19 Версія модуля немає 2.27.0_20261113 PCI ID NPU, які він бере 6 8 Файли мікропрограми, які він просить 7 59 Мікропрограма, яку вантажить цей чип 17f0_10/npu_7.sbin, 1.1.2.64 той самий файл Дев’ять версій інтерфейсу різниці, і Linux 7.3, найновіший випуск, досі несе 0.10. Єдине, у чому вони згодні, це мікропрограма, і вона приходить з linux-firmware від Fedora, а не з жодного з драйверів. Тож я збираю обидві половини з одного коміту amd/xdna-driver, кладу модуль на хост, а відповідний простір користувача запікаю в образ.\nДрайвер: збери все, залиш тільки шматок для ядра amd/xdna-driver несе XRT як git-підмодуль, і збирання дає RPM для XRT і пакет плагіна. Пакет плагіна також несе вихідний код драйвера, який реєструє в DKMS (Dynamic Kernel Module Support, штука, що перезбирає модуль під кожне нове ядро). Нічого складного:\ngit clone --recursive https://github.com/amd/xdna-driver.git \u0026amp;\u0026amp; cd xdna-driver sudo ./tools/amdxdna_deps.sh (cd xrt/build \u0026amp;\u0026amp; ./build.sh -npu -opt) # XRT RPMs in xrt/build/Release/ (cd build \u0026amp;\u0026amp; ./build.sh -release) # plugin RPM, driver source inside На Fedora 45 скрипт залежностей завершується помилкою. Не зважай:\nВін просить Що відбувається Чи важливо? protobuf-devel конфліктує з установленим protobuf3-compiler ні, без нього XRT лише пропускає інструмент трасування redhat-lsb такого пакета немає, Fedora його прибрала ні усе інше уже встановлено Останній позначений тегом випуск там з лютого, тож main і є каналом випусків. Я перейшов з травневої збірки на листопадову: 550 комітів, XRT з 2.23 до 2.27.\nОновлення видаляє драйвер, який щойно встановило Моя перша спроба оновлення забрала модуль зовсім. RPM запускає скрипт встановлення нового пакета, який збирає і реєструє новий драйвер у DKMS, а потім запускає скрипт видалення старого пакета. Той скрипт видалення читає версію драйвера з файлу, який новий пакет уже перезаписав, тож скасовує реєстрацію щойно встановленої версії. Вивід dnf каже це двома рядками, один за одним:\n\u0026gt;\u0026gt;\u0026gt; Successfully installed and enabled DKMS for xrt-amdxdna/2.27.0 \u0026gt;\u0026gt;\u0026gt; Removing driver source: xrt-amdxdna/2.27.0... Ніщо не впало, ніщо не почервоніло, і наступне завантаження тихенько підхопило б те, що постачалося з ядром. Можна спитати, чому скрипт видалення запускається під час оновлення, не перевіривши, чи це оновлення? RPM передає цю відповідь кожному скриптлету першим аргументом. Це один if.\nЯк оновлення RPM знімає драйвер, який щойно встановило Одне оновлення dnf, у порядку, як його виконує RPM новий %post збирає 2.27, реєструє в DKMS 2.27 у DKMS нові файли файл версії тепер каже 2.27 2.27 у DKMS старий %preun читає той файл, знімає 2.27 2.27 немає наступний старт модуль із дерева вантажиться мовчки не твоя збірка У DKMS: Рішення: одна перевірка. Скриптлет %preun отримує $1 = 1 при оновленні і $1 = 0 при видаленні. Знімати щось має лише видалення. Порядок, у якому RPM виконує оновлення. Новий пакет реєструє свій драйвер, потім старий пакет скасовує реєстрацію того, що названо в спільному файлі версії, а там на той момент уже нова. Через це ж хост тепер не отримує RPM узагалі. Вихідний код драйвера лежить архівом усередині пакета плагіна, тож я витягаю його і віддаю DKMS напряму:\nT=$(mktemp -d) \u0026amp;\u0026amp; rpm2cpio xrt_plugin*.rpm | (cd $T \u0026amp;\u0026amp; cpio -idm --quiet) D=$T/opt/xilinx/xrt/share/amdxdna sudo mkdir -p /usr/src/xrt-amdxdna-2.27.0 sudo tar -xf $D/amdxdna.tar.gz -C /usr/src/xrt-amdxdna-2.27.0 sudo cp $D/dkms.conf $D/configure_kernel.sh /usr/src/xrt-amdxdna-2.27.0/ sudo dkms install xrt-amdxdna/2.27.0 sudo modprobe -r amdxdna; sudo modprobe amdxdna Без перезавантаження. Це Linux, і на цей момент ніщо не тримає пристрій відкритим, тож модуль міняється наживо. Далі DKMS перезбирає його для кожного ядра, яке встановлює dnf; коли прийшло 7.3.3, модуль був зібраний ще до того, як я в нього перезавантажився.\nДрайвер іде в DKMS напряму Від пакета до завантаженого модуля, не встановлюючи пакет RPM плагіна код драйвера лежить архівом /usr/src архів розпаковано, dkms.conf поруч dkms install збирає модуль для цього ядра modprobe -r потім modprobe: наживо, без рестарту dnf ставить нове ядро DKMS перезбирає до перезавантаження в нього rpm2cpio витягає архів. Хост ніколи не отримує RPM, тож скрипти пакета там не запускаються. Драйвер іде з пакета в DKMS, а сам пакет так і не встановлюється, тож на хості не запускається жоден скрипт пакування. Перевір, що завантажилася саме збірка DKMS, а не та, що в дереві, і що мікропрограма досить нова. FastFlowLM хоче 1.1.0.0 або новішу2:\n$ modinfo -F filename amdxdna /lib/modules/7.2.15-300.fc45.x86_64/extra/amdxdna.ko.xz $ cat /sys/bus/pci/drivers/amdxdna/*/fw_version 1.1.2.64 $ journalctl -k | grep \u0026#39;Initialized amdxdna\u0026#39; [drm] Initialized amdxdna_accel_driver 0.19.0 for 0000:c5:00.1 on minor 0 DKMS не видаляє власний модуль ядра, а відсуває його вбік, у /var/lib/dkms/xrt-amdxdna/original_module/, тож якщо прибрати збірку DKMS, він повернеться на місце.\nІ ще одне, чого не чіпай: amd_iommu=off у командному рядку ядра вимикає NPU2.\nFastFlowLM у контейнері FastFlowLM є середовищем виконання, яке робить NPU корисним для мовних моделей. Це командний рядок у стилі Ollama і сервер, сумісний з OpenAI, написаний під XDNA2, і цього року він перейшов в організацію ROCm від AMD6. Саме середовище під ліцензією MIT. Ядра для NPU, які він постачає, закриті бінарні файли, які можна вільно використовувати й поширювати без змін7. Я б волів, щоб вони були відкриті, і кажу це прямо, але вони лежать у репозиторії, і нічого не треба тягнути звідкись іще.\nОбраз складається з трьох стадій на Fedora 45: XRT зі збирання драйвера, FastFlowLM, скомпільований проти нього, а потім середовище виконання лише з тим, що потрібно. Частина, яка має значення:\nFROM registry.fedoraproject.org/fedora:45 AS xrt ARG XDNA_COMMIT COPY dist/xdna-${XDNA_COMMIT}/ /rpms/ RUN dnf -y install /rpms/xrt_2*-base.rpm /rpms/xrt_2*-npu.rpm \\ \u0026amp;\u0026amp; rpm -i --noscripts --nodeps --nosignature \\ --excludepath=/usr/lib/firmware --excludepath=/opt/xilinx/xrt/share/amdxdna \\ /rpms/xrt_plugin*.rpm \\ \u0026amp;\u0026amp; echo /opt/xilinx/xrt/lib64 \u0026gt; /etc/ld.so.conf.d/xrt.conf \u0026amp;\u0026amp; ldconfig Кожен із цих прапорців там тому, що без нього щось ламалося:\nПроблема Рішення Скрипти плагіна збирають модуль ядра, а йому місце на хості --noscripts, і вихідний код драйвера та мікропрограма виключені RPM 6 у Fedora 45 за замовчуванням вимагає перевірки підписів8, а самостійно зібраний RPM не підписаний --nosignature: я його зібрав, я знаю, звідки він Бібліотеки XRT лежать у lib64, якого немає в шляху лінкера /etc/ld.so.conf.d/xrt.conf усередині образу FastFlowLM шукає XRT через pkg-config, а setup.sh від XRT не задає шлях PKG_CONFIG_PATH=/opt/xilinx/xrt/lib64/pkgconfig на стадії збирання Готовий образ важить 609 МБ, а його тег несе коміт драйвера, fastflowlm:v1.0.12-xdna24dfd686. Перевірка стану порівнює його з комітом, який повідомляє завантажений модуль, і падає, якщо вони різні. Образ, зібраний не під той драйвер, є єдиною несправністю тут, яку справді важко діагностувати, тож її ловлять раніше, ніж вона туди дійде.\nЯк збирається і перевіряється образ FastFlowLM Три стадії на Fedora 45 стадія 1: xrt RPM XRT і плагіна, без скриптів і прошивки стадія 2: build FastFlowLM зібрано проти цього XRT стадія 3: runtime лише потрібне, 609 МБ Перевірка стану: образ і хост мають збігатися тег образу каже v1.0.12-xdna24dfd686 = завантажений модуль каже 24dfd686 Різні: unhealthy, ще до того, як щось заплутається. Три стадії збирання і перевірка стану, що прив’язує образ до драйвера, під який його зібрано. Контейнер отримує один пристрій, NPU, і ліміт блокування пам’яті, потрібний FastFlowLM, щоб закріпити свої буфери:\npodman run --rm --device /dev/accel/accel0 --ulimit memlock=-1:-1 \\ localhost/fastflowlm:v1.0.12-xdna24dfd686 validate [Linux] NPU: /dev/accel/accel0 with 8 columns [Linux] NPU FW Version: 1.1.2.64 [Linux] Memlock Limit: infinity Власний самотест AMD, xrt-smi validate, показав для NPU 51 TOPS на множенні матриць. Це ті 50 з коробки, і вони таки є.\nЗапуск під час старту, тільки на IPv6 Quadlet перетворює короткий файл .container на сервіс systemd9. Як користувацький юніт він працює без root, від мого імені, а з увімкненим lingering стартує під час завантаження, навіть коли ніхто не ввійшов10:\n[Unit] Description=FastFlowLM NPU server ConditionPathExists=/dev/accel/accel0 [Container] Image=localhost/fastflowlm:v1.0.12-xdna24dfd686 AddDevice=/dev/accel/accel0 Ulimit=memlock=-1:-1 Network=host Volume=%h/.config/flm:/models:Z Exec=serve qwen3.5:4b --host ::1 --port 52625 -c 262144 -a whisper-v3:turbo StopSignal=SIGINT [Install] WantedBy=default.target loginctl enable-linger $USER cp fastflowlm.container ~/.config/containers/systemd/ systemctl --user daemon-reload \u0026amp;\u0026amp; systemctl --user start fastflowlm -c 262144 задає вікно контексту, а тест контексту нижче пояснює, чому воно таке велике. -a whisper-v3:turbo завантажує другу модель поруч із моделлю чату, ту, що перетворює мовлення на текст; вона має окремий розділ.\nТри рядки там я вивчив на власних ґулях:\nРядок Без нього StopSignal=SIGINT FastFlowLM ігнорує SIGTERM, сигнал зупинки podman, і його вбивають через десять секунд --host ::1 він слухає на 127.0.0.1, IPv4 ::1, а не [::1] форма в дужках не розбирається; дужкам місце всередині URL Доведи адресу, а не вір їй:\n$ ss -ltn \u0026#39;sport = :52625\u0026#39; LISTEN 0 4096 [::1]:52625 [::]:* $ curl -s http://127.0.0.1:52625/v1/models || echo refused refused localhost і далі працює для всього, що розв’язує його спершу в ::1, а так роблять і /etc/hosts у Fedora, і Chrome.\nПорядок старту і єдині адреси, що відповідають Стартує із системою менеджер користувача loginctl enable-linger Quadlet файл .container у сервіс два сервіси користувача fastflowlm, open-webui Хто до нього дістанеться браузер Open WebUI [::1]:3000 FastFlowLM [::1]:52625 127.0.0.1 відмова NPU Lingering запускає менеджер користувача під час завантаження, Quadlet створює сервіси, і кожна адреса, що відповідає, стоїть на петлі IPv6. Що воно вміє, у вимірах Дев’ять моделей через власний бенчмарк FastFlowLM; декодування означає швидкість, з якою тече відповідь:\nМодель Декодування, контекст 1k Декодування, контекст 8k Читання промпту, 8k llama3.2:1b 77 ток/с 56 ток/с 2009 ток/с qwen3.5:2b 32 29 1533 llama3.2:3b 30 20 857 phi4-mini-it:4b 25 17 744 qwen3:4b 23 15 613 qwen3.5:4b 17 15 657 gemma4-it:e4b 14 12 642 qwen3:8b 13 10 418 qwen3.5:9b 11 10 451 Швидкість декодування за моделями, проти темпу читання Декодування з контекстом 1k, токенів за секунду темп читання, від 5 до 8 токенів за секунду llama3.2:1b 77 qwen3.5:2b 32 llama3.2:3b 30 phi4-mini-it:4b 25 qwen3:4b 23 qwen3.5:4b 17 я запускаю цю gemma4-it:e4b 14 qwen3:8b 13 qwen3.5:9b 11 Декодування з контекстом 1k. Кожна модель випереджає темп читання; коли модель удвічі більша, швидкість приблизно вдвічі менша. Людина читає зі швидкістю п’ять-вісім токенів за секунду, тож кожна з них іде попереду тебе. Декодування приблизно падає вдвічі щоразу, коли модель подвоюється, а саме цього й чекаєш, коли межу ставить пропускна здатність пам’яті, а не обчислення. Я запускаю qwen3.5:4b. Phi-4 mini швидша, але Qwen 3.5 тримає швидкість, коли розмова росте, працює із зображеннями і викликами інструментів і має кеш промптів, який рятує від перечитування всієї історії на кожному ході. Це й вирішує.\n256 000 токенів контексту Qwen 3.5 зроблено під вікно на 262 144 токени11, а FastFlowLM за замовчуванням ставить 32 768. За цією межею він робить дещо, про що варто знати: пише в журнал Max length reached, stopping prefilling і закриває з’єднання без відповіді і без помилки, тож вікно чату стоїть з порожньою відповіддю, а ти гадаєш, що впало: модель, сервер чи браузер.\nТож я підняв його через -c 262144 і перевірив як слід. Код, захований у першому рядку промпту на 232 250 токенів, це приблизно 175 000 слів, і запит на нього в самому кінці:\nКонтекст 8k Контекст 232k Відповідь правильна правильна, AMBER-FALCON-7731 Читання промпту 657 ток/с 210 ток/с Очікування першого слова 12 секунд 18,4 хвилини Декодування 15 ток/с 2,4 ток/с Зарезервована пам’ять ~5 ГБ ~12,7 ГБ Працює. Повільно. І пам’ять резервується, користуєшся ти вікном чи ні. Маючи в машині 90 ГБ, я заплачу цю ціну, щоб довга вставка отримала відповідь, а не тихо зникла.\nЧи може допомогти GPU? У тому самому чипі є Radeon 860M, тож очевидне питання: чи може вона взяти частину навантаження. Розділити одну модель між NPU і GPU, читаючи промпт на одному і пишучи відповідь на іншому, сьогодні не вміє жодне середовище на Linux. А от запустити друге середовище на GPU можна, тож я це виміряв.\n«Ефективно» тут означає швидкість і енергію разом. Драйвер amdgpu без root показує потужність пакета для всього чипа, а драйвер amdxdna окремо показує NPU, тож кожен запуск нижче знімався чотири рази на секунду. Скрізь та сама модель у 4 бітах.\nЗ тих середовищ для GPU, які я дивився, запрацювало одне:\nСередовище Результат на 860M llama.cpp, бекенд Vulkan12 працює; образ 881 МБ llama.cpp, бекенд ROCm бачить GPU, потім падає з segfault на першій же роботі, з підміною версії GPU чи без неї; образ 23 ГБ MLC-LLM, Vulkan13 його компілятор падає з segfault, збираючи архітектуру Qwen 3.5 vLLM, SGLang не пробував: створені для GPU в дата-центрах і багатьох користувачів, а не для вбудованої GPU на 8 блоків І NPU проти того, що запрацювало:\nQwen 3.5 4B NPU, FastFlowLM GPU, llama.cpp Vulkan Простій, модель завантажена 8,6 Вт 16,0 Вт, проти 9,7 Вт, коли зупинено Читання промпту, ~6k токенів 557 ток/с при 23,8 Вт 411 ток/с при 46,1 Вт Енергія на токен промпту 0,043 Дж 0,112 Дж Декодування 18,2 ток/с при 21,0 Вт 23,5 ток/с при 40,7 Вт Енергія на згенерований токен 1,16 Дж 1,73 Дж NPU проти GPU, та сама модель NPU, FastFlowLM GPU Radeon 860M, llama.cpp Vulkan енергія на токен промпту менше краще 0,043 Дж 0,112 Дж енергія на токен відповіді менше краще 1,16 Дж 1,73 Дж простій, модель завантажена менше краще 8,6 Вт 16,0 Вт швидкість декодування більше краще 18,2 ток/с 23,5 ток/с Та сама модель, обидва прискорювачі, кожен стовпчик відміряно від більшого у своїй парі. GPU відповідає швидше; NPU витрачає менше енергії на все інше. GPU пише відповіді приблизно на 29 % швидше. І палить на це вдвічі більше потужності. NPU читає промпти швидше і менш ніж за половину енергії. Більше число видно в простої: сервер на GPU, завантажений і бездіяльний, коштує 6,3 Вт понад ту саму машину, де він зупинений, і так цілий день. Запуск обох одночасно опустив NPU з 18,2 до 14,2 токена за секунду, а GPU з 23,5 до 13,9, бо вони ділять ту саму пам’ять. Тож контейнер для GPU існує, але я запускаю його, коли мені потрібна друга модель, і під час старту він не вмикається.\nСам NPU в кожному запуску брав менше 2 Вт. Більшість із тих 21 Вт забирають CPU і пам’ять, що його годують. Ось стеля, за якою варто стежити в майбутніх випусках FastFlowLM.\nРозпізнавання мовлення теж на NPU Whisper є моделлю розпізнавання мовлення від OpenAI: на вході звук, на виході текст, 99 мов, і випущена під ліцензією MIT, тож працює будь-де, нікого не питаючи14. Large-v3 є поточною повнорозмірною версією. Turbo є тією самою моделлю, у якої декодер, половину, що виписує текст, урізано з 32 шарів до 4. Картка моделі описує цей обмін прямо: «way faster, at the expense of a minor quality degradation». На 809 мільйонах параметрів вона вп’ятеро менша за модель чату.\nFastFlowLM постачає її вже перетвореною для NPU як whisper-v3:turbo, завантаження на 623 МБ, і вантажить поруч із моделлю чату через -a whisper-v3:turbo. Сам по собі Whisper він не віддаватиме; має бути завантажена ще й модель чату. Звук іде на стандартну кінцеву точку транскрипції OpenAI, і текст повертається.\n19,6 секунди мовлення Перший запит, завантаження Whisper 6,2 с Після цього 2,0 с, приблизно вдесятеро швидше за реальний час Потужність усього чипа ~24,7 Вт Точність кожне слово правильно Щоправда, написано американським фальшивим правописом: «color» і «program». API Whisper приймає prompt, і промпту, написаного справжнім британським правописом, англійською Англії, звідки ця мова походить, досить, щоб це виправити:\ncurl -s \u0026#39;http://[::1]:52625/v1/audio/transcriptions\u0026#39; -F file=@speech.wav \\ -F model=whisper-v3:turbo -F language=en \\ -F \u0026#39;prompt=British English spelling: colour, programme, organise, centre.\u0026#39; Нам узагалі не мало б доводитися виправляти ці моделі. Whisper навчали на 99 мовах, а він однаково пише англійську по-американському, поки йому не скажеш інакше, бо люди, які його зробили, вважають свій правопис типовим, а чужий опцією, яку треба окремо просити. Це той дратівливий американський дефолтизм, який ненавидить решта світу, і він вшитий як упередження. Системний промпт для моделі чату несе ту саму вказівку, у розділі нижче, з тієї самої причини.\nВікно чату і 7000 токенів, яких ти не вводив Open WebUI є вебінтерфейсом у браузері15, у власному контейнері, так само прив’язаний до [::1]:3000 і спрямований на NPU. Його кнопка мікрофона йде до Whisper на NPU, а не до власного типового варіанта, який завантажив би модель і крутив її на CPU.\nПерше повідомлення, яке я йому надіслав, мало двадцять слів. До NPU воно дійшло як промпт на 7223 токени, бо Open WebUI 0.13 чіпляє до кожного повідомлення визначення всіх своїх вбудованих інструментів (пам’ять, нотатки, календар, автоматизації, вебпошук), а адміністратор отримує їх усі.\nТе саме питання на двадцять слів Промпт, надісланий на NPU Очікування першого слова Вбудовані інструменти увімкнені, за замовчуванням 7223 токени ~12 с Вбудовані інструменти вимкнені для моделі 127 токенів менше 1 с Звідки взялися 7000 токенів ти вводиш двадцять слів Open WebUI додає визначення всіх інструментів NPU читає усе, щоразу Промпт, надісланий на NPU інструменти увімкнені, за замовчуванням 7223 токени, близько 12 с до першого слова інструменти вимкнені 127 токенів, менше 1 с Те саме питання на двадцять слів з увімкненими і вимкненими вбудованими інструментами Open WebUI, у масштабі. Для локальної моделі це має бути вимкнено за замовчуванням. Дванадцять секунд на кожну відповідь.\nА ще вона впевнено сказала мені, що її «trained by Google» і що працює вона «on Google\u0026rsquo;s advanced infrastructure». Це модель Qwen від Alibaba, що працює на ноутбуці. Повна нісенітниця, і такого не має бути.\nРіч не в налаштуванні. Модель бачить тільки текст, який їй надіслали, а назва у випадному списку служить міткою для сервера, моделі її не передають. Тож ця відповідь узялася від самої моделі, і вона помилилася в єдиному факті про себе, у якому не має бути жодного сумніву. Це вада дизайну, і відповідає за неї той, хто випустив модель.\nНазва у випадному списку не доходить до моделі Що бачиш ти назва моделі у списку системний промпт, якщо задано твої повідомлення мітка для сервера, не надсилається Що бачить модель системний промпт, якщо задано твої повідомлення ні назви, ні виробника, ні машини надіслано без системного промпту вгадує Модель отримує системний промпт і розмову. Назва у випадному списку лишається на сервері. Alibaba знала, як цьому запобігти. Шаблон чату Qwen 2.5 відкривав кожну розмову рядком «You are Qwen, created by Alibaba Cloud», якщо ти не дав чогось іншого16. Qwen 3 цей рядок прибрав17, і Qwen 3.5 теж постачається без нього18. Нічим його не замінили, і судячи з тієї відповіді, модель так і не навчили цього достатньо, щоб вона впоралася сама. Спитай модель 4B «що ти таке?» без промпту, і вона відступить на найпоширенішу відповідь у своїх навчальних даних, а це відповідь когось іншого.\nЧи це дрібниця? Ні. Модель, яка з повною впевненістю скаже тобі, хто її зробив і в чийому дата-центрі вона працює, і помилиться в обох, так само вчинить з усім іншим, чого не може перевірити. Тут ти знаєш правильну відповідь. Здебільшого не знатимеш.\nТож їй треба сказати, у системному промпті:\nНа питання «що ти таке і на чому працюєш?» Відповідь Без системного промпту «a large language model trained by Google… Google\u0026rsquo;s advanced infrastructure» З ним «Qwen 3.5, a large language model created by Alibaba… running locally on your Lenovo ThinkPad using the AMD Ryzen AI 7 PRO 350\u0026rsquo;s NPU via FastFlowLM» Той самий промпт каже їй писати британською англійською, знову через американський дефолтизм, який є й у Whisper. Коли сказано, пише. Який сьогодні день, вона однаково сказати не може. Модель без календаря та інтернету вгадує дати й недавні події, і не завжди в цьому зізнається, хоч що там просить промпт.\nТри роки, щоб запустити AI на Linux AMD вивела Ryzen AI на сцену в січні 2023 як «the first dedicated artificial intelligence hardware in an x86 processor»19. Відлічи від того виступу:\nКоли Що сталося на Linux Після виступу 4 січня 2023 оголошено Ryzen AI, у Ryzen 7040 25 січня 2024 amd/xdna-driver опубліковано на GitHub4 1 рік 24 березня 2025 amdxdna в основній гілці Linux, 6.1420 2 роки 2 місяці 27 березня 2025 виходить цей чип, Ryzen AI 7 PRO 3501 2 роки 2 місяці 11 березня 2026 FastFlowLM 0.9.35, перший нативний випуск для Linux21 3 роки 2 місяці 11 серпня 2026 FastFlowLM 1.0.0, тепер під ROCm від AMD6 3 роки 7 місяців сьогодні досі жодного середовища для LLM на 7040 і 80402 3 роки 10 місяців Три роки і два місяці, щоб узагалі запустити мовну модель на NPU під Linux, і зробило це не власне ПЗ AMD. Зробив FastFlowLM, проєкт, що почався поза компанією і цього року був прийнятий під ROCm. Його нотатки до випуску для Linux відкриваються словами «The wait is finally over», а далі кажуть, що він використовує «the exact same recipe you already know and love on Windows»21. Fisher-Price OS (Windows) отримала це першою, і вони так і сказали. Власне ПЗ AMD, Ryzen AI Software, досі каже в поточних нотатках до випуску: «Model generation is not supported on Linux in this release»22.\nТим, хто купив перше покоління, ще гірше. Ноутбук з Ryzen 7040 з 2023 року має NPU, якого не торкнеться жодне середовище для мовних моделей на Linux, і ніде не опубліковано, що таке з’явиться. Той самий значок.\nМожна спитати чому? Не хто, а чому. Що в процесі AMD дозволило продавати чип з AI в назві, тоді як ПЗ, щоб користуватися цим AI на Linux, з’явилося через роки, і то ззовні? У специфікації написано «Up to 50 TOPS»1. На значку написано Ryzen AI. Обидва написи є заявами людині, яка купує ноутбук, і в перший рік цього чипа на Linux обидві не були варті нічого.\nНацілено на Copilot, а не на дата-центр Справа не в тому, що Linux для AMD складний. У дата-центрі Linux першокласний, і AMD це знає: El Capitan у Lawrence Livermore побудовано на процесорах AMD EPYC і прискорювачах AMD Instinct, до червня цього року це був найшвидший комп’ютер у світі23, і працює він на TOSS, власній збірці Red Hat Linux від Livermore24. Уявляєш, як AMD продає прискорювач Instinct і каже покупцеві, що ПЗ для Linux колись згодом буде, і від когось іншого? Не буде такого. AMD навіть написала драйвер ядра для цього NPU і завела його в основну гілку. Останній шар, той, що змушує залізо робити роботу, під яку його продали, і лишився чекати.\nЦе взагалі ніколи не мало бути проєктом для ноутбуків. Та сама архітектура XDNA того ж року пішла в карту для дата-центрів, Alveo V70, яку продавали як «the first Alveo production card leveraging AMD XDNA architecture with AI Engines»25. Збудуй один програмний стек для AI Engine, спершу під Linux, як і решту дата-центру, і ноутбук отримає його задарма. Сервер теж. Маленький ощадливий прискорювач якраз і є тим, що хочеться роздавати віртуальним машинам, кожній по шматочку, для малих моделей, яким не потрібна ціла GPU. Ядро навчилося цього тільки цього року, розділяючи NPU на віртуальні функції на нових частинах AIE426. На NPU в цьому ноутбуці воно цього не вміє зовсім.\nНатомість зусилля пішли на Fisher-Price OS (Windows) і на Copilot. AMD запустила покоління цього чипа як процесори, що «Unlock Transformational AI Experiences for Windows Copilot+ PCs»27. Майже ніхто не купився. Машини Copilot+ становили 2,3 % ПК з Fisher-Price OS (Windows), проданих у першому кварталі 2025, а новіші функції Copilot від Microsoft однаково працюють у хмарі: «only one of its new AI capabilities actually requires an NPU»28. Microsoft також повідомляє, що її дохід від виробників ПК упав на 7 % через «lower PC market demand», при «roughly 30% of the installed base still on Windows 10»29. Тож NPU націлили на операційну систему, на яку люди не оновлюються, щоб запускати асистента, якого вони не просили і який здебільшого NPU не використовує.\nІ AI будують не там. Люди, які цим заробляють на життя, сидять на Linux, бо там працюють їхні інструменти. TensorFlow прямо каже, що 2.10 «was the last TensorFlow release that supported GPU on native-Windows»30. Сервер моделей vLLM «does not support Windows natively»31. JAX називає свою збірку для Fisher-Price OS (Windows) експериментальною, а підтримку AMD позначає як «AMD GPU (Linux)»32. Там, де Fisher-Price OS (Windows) таки запускає ці інструменти, це відбувається через WSL 2, що за власним описом Microsoft є «an actual Linux kernel inside a managed VM»33. AMD націлила свій AI-чип на той єдиний десктоп, яким професія AI не користується. Часткової підтримки цього замало, AMD.\nА потім AMD продає себе інвесторам як AI-компанію. 11 листопада 2025 її голова правління і CEO сказала, що AMD «is uniquely positioned to lead the next generation of high-performance and AI computing», у пресрелізі, який хвалиться зростанням «AI PC portfolio 2.5x since 2024» і завершується словами «full-stack AI solutions»34. Повний стек. На AI PC з цього допису верхівка того стеку прийшла від проєкту, який AMD не починала, а на першому поколінні вона так і не прийшла. AI-компанія, чий власний AI-чип три роки чекав, щоб запустити AI на операційній системі, на якій стоїть її бізнес у дата-центрах? Сміхота.\nПершокласну підтримку описати просто. Вона працює в день, коли ти купуєш машину, на операційній системі, якою ти користуєшся, від компанії, що продала тобі чип. Цей NPU до такого ще не дотягнув. Я купив ноутбук заради всього іншого, а NPU йшов у комплекті, і тільки тому це опис роботи, а не скарга. Кожен, хто купив такий заради AI на значку і сидить на Linux, купив обіцянку, яку виконали пізно, і виконав хтось інший.\nВолодій кремнієм, за який заплатив NPU прийшов разом з ноутбуком. Так, як його продають, це та частина, що робить машину готовою до AI, а AI, який пропонують, чужий, у чужому дата-центрі, і читає те, що ти вводиш, щоб за нього можна було заплатити якось інакше. Самому залізу така домовленість ні до чого. Модель 4B на 21 Вт відповідає на питання, прочитає вставку на 175 000 слів, якщо даси їй часу, і запише те, що ти кажеш, і ніщо з цього не покидає стола.\nГотовим ПЗ це не назвеш, і кожна шорсткість вище коштувала години, щоб її знайти, і рядка-двох, щоб виправити. Ось скільки коштує відкритий код, коли ним справді користуєшся. І це все одно краща угода, ніж брати ту саму можливість назад в оренду, а за ту годину ти купуєш знання, як воно працює.\nКонтейнери тримають усе чесним. На хості нічого, крім модуля ядра та його мікропрограми, один пристрій, переданий одному контейнеру, адреса, до якої ніхто інший не дістанеться, і перевірка, що падає тієї ж миті, коли частини перестають збігатися. Це забрало день. І працюватиме далі, бо я знаю, навіщо там кожен рядок, а перевірка скаже мені того ранку, коли один із них перестане бути правдою.\nAMD — Ryzen AI 7 PRO 350 — 8 ядер, 16 потоків, Radeon 860M, «NPU TOPS: Up to 50 TOPS», дата виходу «3/27/2025».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLemonade — LLMs on Linux with FastFlowLM — тільки XDNA2 (Ryzen AI 300/400, Strix Halo), не XDNA1; мікропрограма NPU 1.1.0.0 або новіша; не став amd_iommu=off.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLinux kernel documentation — amdxdna — драйвер прискорювача в дереві ядра для NPU від AMD.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\namd/xdna-driver — драйвер, підмодуль XRT і плагін; базовий пакет XRT збирай з доданого підмодуля, щоб він працював із плагіном; репозиторій створено 25 січня 2024.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLinux v7.3 — drivers/accel/amdxdna/amdxdna_pci_drv.c — AMDXDNA_DRIVER_MAJOR 0, AMDXDNA_DRIVER_MINOR 10; так само у v7.2.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nROCm/FastFlowLM — середовище виконання LLM на NPU для XDNA2, сервер, сумісний з OpenAI, частина ROCm з v1.0.0; тут використано випуск v1.0.12.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nFastFlowLM — LICENSE_BINARY.txt — умови для доданих бінарних ядер NPU.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRPM 6.0.0 release notes — «RPM defaults to enforcing signature checking».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\npodman-systemd.unit(5) — юніти Quadlet .container, зокрема AddDevice=, Ulimit=, StopSignal= і Exec=.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nloginctl(1) — enable-linger запускає менеджер користувача під час завантаження і тримає його після виходу з сеансу.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nQwen/Qwen3.5-4B — «Context Length: 262,144 natively»; гібрид шарів Gated DeltaNet і gated attention.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nggml-org/llama.cpp — образ контейнера server-vulkan, використаний для запусків на GPU, збірка 12352.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nmlc-ai/mlc-llm — перевірено з нічними пакетами 0.26.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nopenai/whisper-large-v3-turbo — «a state-of-the-art model for automatic speech recognition (ASR) and speech translation»; урізано з large-v3, «the number of decoding layers have reduced from 32 to 4»; 809M параметрів; ліцензія MIT.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nopen-webui/open-webui — тут використано випуск v0.13.3.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nQwen/Qwen2.5-7B-Instruct — tokenizer_config.json — типове системне повідомлення шаблону чату: «You are Qwen, created by Alibaba Cloud. You are a helpful assistant.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nQwen/Qwen3-4B — tokenizer_config.json — шаблон чату без типового системного повідомлення.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nQwen/Qwen3.5-4B — tokenizer_config.json — шаблон чату без типового системного повідомлення.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nAMD — AMD Highlights Future of High-Performance and Adaptive Computing During Opening Keynote of CES 2023 — 4 січня 2023: «AMD also unveiled Ryzen AI Technology – the first dedicated artificial intelligence hardware in an x86 processor.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nKernel Newbies — Linux 6.14 — випущено в понеділок, 24 березня 2025; «an amdxdna driver for AMD NPUs».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nFastFlowLM v0.9.35 release notes — 11 березня 2026: «The wait is finally over… FastFlowLM is officially available natively on Linux!»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nAMD — Ryzen AI Software release notes — відомі проблеми: «Model generation is not supported on Linux in this release.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nTOP500 — June 2026 — «LineShine debuts as the new No. 1 system, ending El Capitan\u0026rsquo;s run atop the list»; El Capitan «is based on AMD 4th generation EPYC processors… and AMD Instinct MI300A accelerators».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLLNL — TOSS: Speeding Up Commodity Cluster Computing — «a fully functional cluster operating system, based on Red Hat Linux».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nAMD — Alveo V70 — «the first Alveo production card leveraging AMD XDNA architecture with AI Engines… designed for AI inference efficiency».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLinux — accel/amdxdna: Add basic support for AIE4 devices — «Add initial support for AIE4 devices (PCI device IDs 0x17F2 and 0x1B0B), including… SR-IOV enablement». Таблиця драйвера дає записи віртуальних функцій лише цим частинам; NPU цього ноутбука — 17f0.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nAMD — AMD Unveils Next-Gen \u0026ldquo;Zen 5\u0026rdquo; Ryzen Processors to Power Advanced AI Experiences — Computex, 2 червня 2024: «AMD Ryzen AI 300 Series Processors Unlock Transformational AI Experiences for Windows Copilot+ PCs».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nEngadget — Microsoft\u0026rsquo;s Copilot+ AI PC plan fizzled, but it still served a purpose — 5 грудня 2025: системи Copilot+ «made up just 2.3 percent of Windows machines sold in the first quarter of 2025»; «only one of its new AI capabilities actually requires an NPU».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nWindows Latest — Microsoft admits its end of support was the real Windows 11 sales driver — 31 липня 2026, цитата з дзвінка Microsoft щодо результатів: «Windows OEM and Devices revenue decreased 7%… driven by lower PC market demand»; «roughly 30% of the installed base still on Windows 10».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nTensorFlow — Install TensorFlow with pip — «TensorFlow 2.10 was the last TensorFlow release that supported GPU on native-Windows.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nvLLM — GPU installation — «vLLM does not support Windows natively».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nJAX — Installation — CPU-пакети для «Windows, x86_64 (experimental)»; розділи про GPU для NVIDIA, Google Cloud TPU, Mac і «AMD GPU (Linux)».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nMicrosoft — Comparing WSL versions — «the use of an actual Linux kernel inside a managed VM».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nAMD — AMD Unveils Strategy to Lead the $1 Trillion Compute Market and Accelerate Next Phase of Growth — Financial Analyst Day, 11 листопада 2025: «AMD is uniquely positioned to lead the next generation of high-performance and AI computing»; «AMD has expanded its AI PC portfolio 2.5x since 2024»; «AMD delivers full-stack AI solutions».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\n","permalink":"https://blogs.damiendye.uk/uk/hardware/ryzen-ai-npu-llm-in-a-container/","summary":"NPU в ноутбуці з Ryzen AI дає 50 TOPS, які на більшості встановлень Linux просто стоять. Тут я проходжу збирання драйвера amdxdna від AMD, залишаючи на хості тільки модуль ядра, збирання FastFlowLM з рушієм XRT від AMD у rootless-контейнер podman, підігнаний під цей драйвер, прив’язку всього до петлі IPv6 і запуск під час старту через Quadlet. Далі що воно вміє: дев’ять моделей у бенчмарку, тест контексту на 232 000 токенів, розпізнавання мовлення Whisper удесятеро швидше за реальний час, Open WebUI і 7000 прихованих токенів, які він додавав до кожного повідомлення, а також швидкість і енергія NPU, виміряні проти llama.cpp на вбудованій Radeon 860M. Наостанок хронологія: три роки від оголошення Ryzen AI до мовної моделі на його NPU під Linux, і зробив це проєкт, який AMD не починала, поки зусилля йшли на Copilot+ у Fisher-Price OS (Windows), а не на дата-центр і Linux-інструменти, якими справді користуються фахівці з AI.","title":"LLM на NPU Ryzen AI, у контейнері"},{"content":"Одразу розкриваю: я працюю в croit, яка написала FlashStore. Усе нижче прочитано з коду й документації Ceph на v21.2.0 та з опублікованого знімка ceph-rust від croit, і все це має посилання внизу сторінки. Там, де на одному боці аргументу стоять міркування самої croit, я кажу, чиї це міркування.\nДва переписування того самого демона Класичний Ceph OSD це багатопотоковий сервер на C++, який виріс на дисках, що крутяться. На швидких NVMe і швидких мережах він витрачає багато свого CPU на речі, які не є зберіганням твоїх даних: передачу операцій між пулами потоків, захоплення блокувань, очікування на інші потоки. Два проєкти взялися це виправити, переписавши OSD повністю.\nОдин це Crimson, власний проєкт Ceph. Документація Umbrella називає його «the next generation ceph-osd», збудованим «to deliver enhanced performance on fast network and storage devices»1. Другий це FlashStore OSD від croit, з проєкту ceph-rust, у публічному preview з 9 листопада 20262.\nОбидва кажуть, що є прямою заміною. Обидва кажуть, що вони для NVMe. Обидва в preview, і жоден не повинен сьогодні тримати продакшн-дані. Тож якщо ти маєш Ceph на NVMe і думаєш, за яким із них стежити, варто знати, де вони насправді відрізняються, бо це не там, куди вказують заголовки.\nТут вони порівнюються такими, якими ти знайдеш їх у Ceph 21.2.0, Umbrella: Crimson так, як цей реліз його документує й постачає, проти FlashStore, який зібрано й перевірено на тому самому релізі2. Це продовження допису FlashStore проти Umbrella BlueStore, і все, що там уже сказано про FlashStore, вважається відомим.\nДва переписування одного демона класичний ceph-osd C++, потоки Crimson апстрім Ceph, C++ на Seastar croit-flashstore-osd croit, Rust, власний runtime BlueStore станд. SeaStore рідне CyanStore без даних FlashStore єдине сховище Два переписування класичного OSD. Crimson зберігає три сховища на вибір, і за замовчуванням це BlueStore; у FlashStore одне. Звідки кожен походить Перша відмінність у тому, хто його будує і як.\nCrimson FlashStore Хто будує апстрім Ceph, в основному дереві croit Мова C++ Rust Фреймворк Seastar власний однопотоковий виконавець croit Код у ceph/ceph переписано з чистого аркуша, жодного коду Ceph не злінковано Розробка в апстрімі, відкрита знімки лише для читання в preview; відкрита після першого продакшн-релізу Ліцензія ліцензія Ceph демон LGPL-3.0, клієнти MPL-2.0 Статус його ж словами «not suitable for production use» «not yet recommended for production data» Запланований GA не зазначено Q1 2027 Crimson живе у власному репозиторії Ceph, і будують його власні розробники Ceph. Він написаний на Seastar, фреймворку C++ для серверів з потоком на ядро, який вийшов зі ScyllaDB3. Документація Umbrella прямо каже, що він «is in a tech-preview stage and is not suitable for production use»1.\nFlashStore написано з нуля на Rust, і він не лінкує жодного коду Ceph; C++ Ceph читається як довідник і реалізується заново за власними специфікаціями croit4. Його README каже, що він для тестування й оцінки і «not yet recommended for production data», а загальна доступність запланована на перший квартал 20272. Публічний репозиторій це знімок лише для читання: «no issue tracker, no contribution workflow»2.\nЦей рядок варто прочитати уважно. Crimson розробляють відкрито, і будь-хто може читати pull request і сперечатися в них. FlashStore поки що приходить готовими знімками від однієї компанії: ти можеш прочитати кожен рядок, але надіслати патч поки не можеш. Це стадія preview, а не план. Preview існує, щоб зібрати відгуки спільноти, поки croit проганяє свої продакшн-тести всередині, перш ніж позначить OSD як безпечний для використання. Відкрита розробка настає після першого продакшн-релізу, тим самим шляхом, яким іде більшість проєктів з відкритим кодом, що їх спонсорують компанії. Це йде зсередини croit, а не з опублікованої дорожньої карти, тож тримай їх за слово.\ncroit таки розглядала форк Crimson і записала, чому від нього відмовилася. Її ADR каже, що Crimson «tries to support everything (HDD, alienstore/BlueStore, all pool types)», і додає «Complex code is never fast»4. Це думка croit про Crimson, а не вимірювання, і я сприймав би її саме так. Той самий ADR відкинув форк почасти через LGPL4, а через вісім днів croit ліцензувала власний демон під LGPL-3.05. Тож ліцензія ніколи насправді не була причиною.\nБезпека пам’яті: Rust проти C++ OSD це код, який тримає твої дані. Use-after-free чи переповнення буфера в ньому це не збій, після якого просто перезапускаєшся; це зіпсовані дані на диску, скопійовані на кожну репліку. Саме цей клас помилок західні кіберагенції останні три роки закликають галузь усувати на рівні дизайну.\nНастанова Хто під нею підписався Що вона каже The Case for Memory Safe Roadmaps, грудень 2023 CISA, NSA і FBI (США), ACSC від ASD (Австралія), CCCS (Канада), NCSC-UK, NCSC-NZ, CERT-NZ C і C++ небезпечні щодо пам’яті; опублікуйте дорожню карту відходу від них Product Security Bad Practices v2.0, січень 2025 CISA і FBI нові лінійки продуктів для критичної інфраструктури на C чи C++ «dangerous», якщо є мови з безпекою пам’яті Спільна настанова каже це прямо: «Programming languages such as C and C++ are examples of memory unsafe programming languages»6. CISA і FBI йдуть далі й називають небезпечною «the development of new product lines for use in service of critical infrastructure or NCFs in a memory-unsafe language (e.g., C or C++)», коли можна було б використати альтернативу з безпекою пам’яті7. Це настанова, а не закон. Але сховище під критичними сервісами це саме той код, на який вона націлена, і обидва вони OSD наступного покоління, які судитимуть за нею.\nFlashStore їй відповідає. Він написаний на Rust, і ADR від croit дає причину одним рядком: «Storage = correctness-critical; memory-safety bugs = data loss»8. Компілятор перевіряє безпеку пам’яті всюди, крім коду, позначеного unsafe, і той самий ADR обмежує його модулями FFI, DMA, NVMe і мережевих драйверів, кожен із коментарем SAFETY8. Я порахував у знімку: 1216 рядків, що згадують unsafe, з 696 125 рядків Rust, близько 0,17 %, і вони сидять у крейтах RDMA, runtime, NVMe і сховища, де код говорить з обладнанням. Спільна настанова сама називає цей аварійний люк, зазначаючи, що Rust «can contain the \u0026lsquo;unsafe\u0026rsquo; keyword»6, тож чесна міра така: не нуль, але мало, відгороджено і там, де ти й очікуєш. C, який він таки викликає, SPDK і DPDK, сидить за тими самими межами8.\nCrimson не відповідає. Це новий OSD, написаний на C++ на фреймворку C++13, тобто тією мовою, яку названі вище агенції вважають небезпечною щодо пам’яті. Кожен його рядок лежить поза тим, що компілятор може перевірити на безпеку пам’яті, а в конфігурації за замовчуванням він передає сховище BlueStore, який теж на C++.\nCrimson FlashStore Мова C++ Rust Безпеку пам’яті перевіряє компілятор ні так, поза unsafe Неперевірений код увесь близько 0,17 % рядків, код драйверів і FFI Сховище за замовчуванням BlueStore, C++ FlashStore, Rust Відповідає настановам Five Eyes щодо безпеки пам’яті ні так Розробники Ceph обрали C++ не з необережності; Crimson виріс із кодової бази на C++, і переписувати на місці означало в ній лишатися. Це розумний інженерний шлях. Але він усе одно лишає OSD наступного покоління Ceph написаним тим єдиним видом мови, від якого агенції п’яти країн просили новий критичний код відмовитися.\nЯк кожен приєднується до кластера Це найбільша практична відмінність між ними, і вона взагалі не про продуктивність.\nOSD на FlashStore приєднується до пулів, які в тебе вже є. Він стоїть у тих самих групах розміщення поруч із класичними OSD на BlueStore, і ти міняєш по одному диску2.\nOSD на Crimson так не робить. Навіть близько. Документація Umbrella каже: «Crimson OSD won\u0026rsquo;t instantiate PGs from non-Crimson pools»1. Код робить рівно це. Коли монітор просить Crimson OSD створити PG у пулі без прапорця crimson, той пише в журнал «pool lacks crimson flag» і скасовує створення9.\nЯкі пули обслуговуватиме кожен твій наявний пул без прапорця crimson класичний OSD BlueStore FlashStore OSD ті самі PG Crimson OSD лише пули crimson PG ігноруються новий пул, --crimson autoscale вимкнено FlashStore бере PG у твоїх наявних пулах. Crimson обслуговує лише пули, створені з прапорцем crimson, тож йому потрібні нові пули і скопійовані в них дані. Тож випробування Crimson означає нові пули, створені з прапорцем crimson, і твої дані, перенесені в них. І ці пули приходять з умовами, які застосовує монітор:\nПравило пулу Crimson (Umbrella) Де Автомасштабування PG має бути вимкнене при створенні пулу OSDMonitor, створення пулу10 Злиття PG (зменшення pg_num) відхиляється OSDMonitor, зміна pg_num11 Поділ PG дозволений лише поки crimson_allow_pg_split має значення true там само, і сам параметр12 Пули EC мають бути оптимізованого типу EC, без винятків OSDMonitor, створення пулу13 Жодного OMAP на пулах EC там само13 FlashStore обслуговує класичні пули, і репліковані, і з кодуванням стирання, і відмовляється від конфігурацій EC, яких не підтримує, замість того щоб їх відхиляв монітор14. Жоден підхід не хибний. Але один дає тобі тестувати на копії твого справжнього планування пулів, а інший змушує спершу збудувати окреме.\nЖодного шляху для пулів, які в тебе вже є То чи можна перетворити наявний пул на пул Crimson і перевести його по одному диску? Ні.\nДокументація Umbrella каже, що Crimson «aiming to allow seamless migration from existing ceph-osd deployments»1. Aiming, тобто «має на меті». Реліз цього не робить, і код показує, чому не може. Прапорець crimson це опція ceph osd pool create і ніде більше15. ceph osd pool set не має змінної crimson, яку можна встановити на пулі, що вже існує16. А Crimson OSD ігнорує кожну PG у пулі без прапорця, як сказано вище9. Я не знайшов інструмента конвертації ні в коді, ні в документації.\nПеренесення наявного пулу Crimson (Umbrella) FlashStore, сьогодні Зберегти той самий пул ні, потрібен новий пул так Чи можна позначити пул пізніше ні, лише при створенні не потрібно Як переїжджають дані ти копіюєш їх, з пулу в пул кластер робить backfill Клієнтів перенаправити так, на новий пул ні По одному диску ні так Це робить перехід на Crimson копіюванням даних, яке ти проводиш сам: образи RBD можна мігрувати наживо «between different pools»17, а об’єктні чи файлові дані потребують того, чим твої застосунки їх копіюють. Потім кожного клієнта треба спрямувати на новий пул.\nFlashStore сумісний з пулами, які в тебе працюють сьогодні. Ти готуєш його на диску, кластер робить backfill груп розміщення, які йому дісталися, а твої клієнти й не помічають, що пул під ними змінився, бо він не змінився18. У цьому вся різниця між переписуванням, яке приєднується до твого кластера, і тим, що стоїть поруч із ним.\nЩо кожен каже монітору Crimson себе оголошує. Під час завантаження він надсилає osd_type=crimson19, і монітор не пускає його, якщо не встановлено прапорець OSDMap allow_crimson, з рядком у журналі, що crimson-osd «is considered unstable and may result in crashes or data loss»20. Щоб дійти до цього, потрібні чотири команди з документації, і перша з них встановлює параметр під назвою enable_experimental_unrecoverable_data_corrupting_features1.\nFlashStore робить навпаки. Він не надсилає osd_type взагалі і повідомляє osd_objectstore=bluestore, тож монітор бачить класичний OSD і питань не ставить21. Попередній допис пояснює чому: монітор Umbrella відкриває такі функції, як перезапис у EC, лише коли кожен OSD у пулі повідомляє BlueStore21. Це для стандартних моніторів і менеджерів, які сьогодні працюють у продакшні. На власних збірках Ceph від croit, де їх пропатчено, щоб вони про нього знали, FlashStore повідомляє про себе як flashstore21.\nЩо монітор перевіряє під час завантаження Crimson OSD osd_type=crimson mon: allow_crimson є? set-allow-crimson ні: завантаження відхилено «crashes or data loss» FlashStore OSD без osd_type mon: класичний OSD objectstore=bluestore стартує, прапорець не треба обслуговує наявні пули Crimson треба впустити, на ім\u0026rsquo;я, за прапорцем, про який попереджає монітор. FlashStore заходить як класичний OSD. Я волів би, щоб програма казала мені, що вона таке. Crimson каже. Його шлях чесний, а назва прапорця не лишає жодних сумнівів, на що ти погоджуєшся. Шлях FlashStore це те, що робить пряму заміну можливою на стандартних моніторах і менеджерах, якими люди користуються зараз, і це захід сумісності, а не кінцевий стан. Обидва навмисні, і обидва записані. Просто знай, з яким із них маєш справу, коли рахуєш свої OSD.\nЯдра: реактори проти закріплених потоків з опитуванням Обидва проєкти викинули пули потоків. Добре. Обидва запускають один потік на ядро й розбивають роботу на шарди за ядрами. Відмінність у тому, скільки вони вимагають від оператора і як міцно тримаються за ядро.\nCrimson FlashStore Одиниця роботи реактор Seastar на ядро закріплений потік на ядро Кількість ядер crimson_cpu_num, без значення за замовчуванням, обов’язково задати flashstore_cores, за замовчуванням 8 Закріплення за ядрами лише з crimson_cpu_set так, flashstore_lcores Поведінка в простої опитує 200 µs, потім спить опитує, адаптивний простій Повне активне опитування опційне, crimson_poll_mode так задумано, з відступом у простої Зміна після розгортання ні шарди сховища фіксуються при підготовці У Crimson crimson_cpu_num «does not have a default value», його треба задати до розгортання OSD, і він «cannot be changed after deployment»1. Він не закріплює потоки, якщо ти не задаси ще й crimson_cpu_set, який документація описує як «generally less recommended due to its complexity»1. Реактор у простої опитує 200 µs, перш ніж знову заснути, а повний режим опитування існує «at the expense of 100% cpu usage» і за замовчуванням вимкнений22. SeaStore також відмовляється приймати зміну кількості реакторів після mkfs23.\nFlashStore закріплює за задумом, опитує за задумом і відступає в простої2425. Кількість його шардів сховища фіксується, коли сховище готують, тобто те саме обмеження в іншому місці26.\nНа практиці обидва хочуть цілі ядра, і обидва хочуть, щоб ти розрахував їх до розгортання. Crimson робить опитування вибором, який треба ввімкнути. FlashStore робить його стандартом і дає логіці простою відвоювати частину CPU.\nСховище Crimson за замовчуванням це BlueStore Ось що мене здивувало. А не мало б.\nУ Crimson два види об’єктних сховищ. Рідні працюють усередині реактора Seastar; нерідні працюють через «a thread pool proxy» до «alien threads: worker threads not managed by Seastar»1. SeaStore рідне. BlueStore нерідне. І BlueStore стоїть за замовчуванням.\nДокументація каже про це прямо. SeaStore «is the primary native object store for Crimson OSD, though it is not the default as the support is in early stages»1. Cephadm розгортає Crimson з --objectstore bluestore, якщо не сказати інакше, і навіть тоді SeaStore не можна розгорнути з --method raw; тобі кажуть використовувати LVM1.\nСховище Crimson за замовчуванням проти FlashStore Crimson, сховище за замовч. реактори Seastar crimson_cpu_num проксі пулу потоків передача з реактора назовні чужі потоки crimson_bluestore_num_threads BlueStore RocksDB на BlueFS FlashStore ядро, якому належить PG закріплене, з опитуванням шард сховища, те саме ядро без передачі черга NVMe, те саме ядро SPDK або io_uring Crimson OSD за замовчуванням передає кожну операцію сховища зі свого реактора пулу звичайних потоків, де працює BlueStore. FlashStore тримає весь шлях на ядрі, якому належить PG. Тож Crimson OSD, розгорнутий сьогодні з налаштуваннями за замовчуванням, запускає фронтенд Seastar поверх того самого BlueStore, RocksDB і BlueFS, що й класичний OSD, з crimson_bluestore_num_threads потоками, відведеними для цього22. З боку сховища порівняно з класичним OSD не змінилося нічогісінько. Це розумний спосіб збудувати шлях міграції. І саме тому порівнювати «Crimson» з FlashStore за продуктивністю мало що означає, якщо не сказати, яке сховище працювало в Crimson.\nЧесне порівняння сховища це SeaStore проти FlashStore. Про це решта допису.\nSeaStore і FlashStore: де живуть метадані Обидва сховища написані під NVMe з самого початку, обидва розбиті на шарди за ядрами, і обидва тримають метадані у власних B-деревах замість RocksDB. Але їхня будова дуже різна.\nSeaStore дає кожному реактору власний корінь27. Під ним сидять дерево onode, дерево LBA і дерево backref. Onode кожного об’єкта далі вказує на власне B-дерево OMAP і власне B-дерево XATTR, а також на екстенти даних з логічними адресами27. Дерево LBA відображає ці логічні адреси на фізичні, тож блок може переміститися на диску, а власні дерева об’єкта не зміняться; документація називає цю непрямість причиною, з якої більшість екстентів «can be relocated freely»27.\nFlashStore кладе все в одне B+-дерево з копіюванням під час запису на шард: onode, xattr, OMAP, мапи екстентів з crc32c на кожен блок 4 KiB, журнал PG і бітову мапу алокатора28. Мапи екстентів вказують прямо на фізичні блоки. Жодного логічного шару між ними.\nДе живуть метадані SeaStore корінь дерево onode дерево LBA дерево backref onode OMAP своє B-дерево XATTR своє B-дерево дані логічна адр. логічна адреса, далі дерево LBA, далі диск FlashStore одне COW B+-дерево на шард onode, xattr OMAP мапи екстентів + crc32c журнал PG, PG info бітова мапа алокатора мапа екстентів, далі диск SeaStore: дерево на кожен вид даних, B-дерево на об\u0026rsquo;єкт для OMAP і xattr і дерево LBA, щоб знайти дані. FlashStore: одне дерево на шард, що вказує прямо на диск. Обидва вибори мають причину. Непрямість SeaStore це те, що робить його очищувач дешевим: він може переміщати живі дані, не переписуючи кожне дерево, яке на них вказує. FlashStore цього не потребує, бо очищувача в нього немає, як показано нижче. Його ADR перелічує «Per-object omap subtree/root» серед альтернатив, які розглянули й відкинули28.\nОдна відмінність щодо контрольних сум, яку варто знати: SeaStore рахує свій crc32c по цілому кешованому екстенту29, тоді як FlashStore тримає по одному на кожен блок 4 KiB28.\nПорядок, у якому комітиться запис Тип пристрою SeaStore за замовчуванням SSD, і він використовує сегментований бекенд30. На цьому бекенді транзакція це запис журналу з дельтами, і з даними може статися одне з двох.\nМалі, короткоживучі екстенти можуть їхати всередині запису журналу, і тоді запис і є всім комітом27. Більші або довгоживучі екстенти йдуть в окремі позарядкові сегменти, і тоді документація задає порядок: «final record with the deltas should be written only once the other blocks are persisted»27. Це два записи послідовно, та сама форма, що й коміт у BlueStore: спершу дані, потім RocksDB.\nFlashStore пише екстент даних і одиницю WAL одночасно, кладе crc32c нових даних у запис WAL, щоб відтворення могло його перевірити, і підтверджує, коли обидва стали стійкими28. Одна поїздка до пристрою, хоч який розмір.\nКоли коміт може піти SeaStore малий екстент запис журналу екстент усередині + дельти ack 1 поїздка SeaStore окремо екстент у сегмент OOL чекати збереження запис журналу дельти ack 2 поїздки FlashStore дані, нові 4 KiB одиниця WAL, crc даних ack 1 поїздка час SeaStore на своєму сегментованому пристрої за замовчуванням: одна поїздка, коли екстент вміщається в запис журналу, дві послідовно, коли він іде окремо. FlashStore: дані й запис журналу разом. Наскільки це важить, залежить від твого навантаження, рівно як у порівнянні з BlueStore. На малій глибині черги, де клієнти чекають на кожен запис, друга поїздка це справжня затримка. Під навантаженням пакетування ховає більшу її частину.\nЯк повернути місце Друга половина журнально-структурованого дизайну це прибирання.\nSeaStore на сегментованому бекенді пише лише у відкриті сегменти. Перш ніж сегмент можна використати знову, його живі блоки треба переписати деінде, і проєктний документ каже, скільки це коштує: «we must \u0026lsquo;clean\u0026rsquo; one byte of an existing segment for every byte written at steady state»27. Частину цього очищення він домішує до поточних записів, щоб уникнути сплесків, а решту робить у фоні, коли диск тихіший27. Розмір сегмента за замовчуванням 64 MiB31.\nУ SeaStore таки є другий бекенд для NVMe, random block manager, про який документація каже, що він «Preferred for fast NVMe devices where overwrites are efficient enough that log structured updates aren\u0026rsquo;t worth the overhead»27. Він не за замовчуванням. Його обирають через seastore_main_device_type30.\nУ FlashStore немає очищувача сегментів. Жодного. Замінений блок повертається до алокатора шарду, щойно його пройде контрольна точка, а це стається кожні п’ять секунд, поки є незбережена робота, або раніше, коли кільце WAL наполовину заповнене28. Його проєктний документ прямо відкинув журнально-структуровану будову28. Це не означає, що фонової роботи немає: він досі зливає й ущільнює сторінки дерева і дефрагментує вільне місце, у темпі під клієнтський I/O28. Але він ніколи не копіює твої живі дані, щоб звільнити місце.\nЯк повернути місце SeaStore, сегментований (станд.) закритий сегмент живі + мертві блоки очищувач переписує живі у відкритий сегмент сегмент порожній discard, знову в ужиток сталий режим: очистити приблизно байт на кожен записаний байт FlashStore блок замінено новим екстентом тримається до контр. точки кожні 5 s або WAL наполовину назад у бітовій мапі живі дані не рухаються Бекенд SeaStore за замовчуванням платить за послідовні записи очищувачем, що переміщає живі дані. FlashStore звільняє замінені блоки на місці після контрольної точки і нічого не переміщає. На флеші, який і так запускає власне збирання сміття всередині диска, я волів би, щоб OSD не запускав ще одне зверху. Власна документація SeaStore, здається, погоджується, судячи з того, що вона каже про бекенд RBM. Різниця в тому, що FlashStore зробив це єдиним варіантом, а SeaStore зробив його не стандартним.\nНа чому кожен працюватиме Crimson (Umbrella) FlashStore HDD так, з BlueStore; у SeaStore є тип сегмента для HDD ні NVMe так так, єдина ціль Захист від втрати живлення вимог не зазначено обов’язковий, mkfs без нього відмовляє Розмітка пристрою LVM для SeaStore через cephadm цілі namespace, без розділів Протокол передачі лише msgr2 лише msgr2 Бекенд I/O за замовчуванням io_uring; linux-aio, epoll за замовчуванням SPDK, рівень io_uring Пули нові пули з прапорцем crimson наявні класичні пули Перенесення наявних даних скопіювати в новий пул backfill у той самий пул Чим розгортається cephadm, --osd-type crimson пакети, croit-flashstore-tool Рекомендована збірка найновіша CI-збірка main знімки релізів Crimson зберігає широту. Документація каже, що SeaStore «may not be suitable for traditional HDDs», але що «Crimson will continue to support BlueStore ensuring compatibility with HDDs and slower SSDs»1, а проєктний документ SeaStore досі згадує інтерес до HDD27. Його месенджер прямо відмовляє v1, «ProtocolV1 is no longer supported»32, той самий вибір, що зробив FlashStore33. Його документація рекомендує «one of the latest available builds, as Crimson evolves rapidly», а на практиці це означає CI-образи main1.\nFlashStore звужує все до NVMe із захистом від втрати живлення і саме з цього бере свою простоту34. Що рівно той компроміс, який описує ADR від croit, лише з іншого боку.\nДві відповіді на те саме питання Обидва проєкти почали з того самого спостереження: класичний OSD марнує швидке обладнання. Відповіді вони дали дуже різні.\nВідповідь Crimson це відповідь спільноти. Переписати OSD на місці, всередині Ceph, тримати кожне старе сховище і кожен старий диск у роботі, поки нове сховище дозріває, і дати всім бачити роботу по ходу. Це повільно, і це видно. В Umbrella Crimson OSD за замовчуванням досі працює на BlueStore через пул потоків, його власні пули відгороджені від твоїх, а щоб його ввімкнути, треба надрукувати слова «unrecoverable data corrupting». Але він належить кожному, хто запускає Ceph, і ніхто не може в тебе його відібрати.\nВідповідь FlashStore це відповідь вендора. Обрати вужчу ціль, NVMe із захистом від втрати живлення, викинути все, що існувало лише для іншого обладнання, і постачити сховище, яке стає в пули, що в тебе вже є. Це швидше, і це теж видно. Але воно походить від однієї компанії, як знімки лише для читання до першого продакшн-релізу, а на стандартному кластері потрапляє всередину, кажучи монітору, що воно BlueStore.\nЯ працюю в цій компанії, тож зважай на це, читаючи далі. croit зробила правильну технічну ставку для повністю флешових кластерів. Crimson зробив правильну ставку для Ceph як проєкту. Це не одне й те саме. Проєкт, що служить усім, не може відмовитися від HDD. Вендор може, і повинен, якщо це те, що купують його клієнти.\nЧого я не робив би, то це обирати між ними за графіком бенчмарку від будь-якої сторони. Цифри Crimson залежать від того, яке з трьох його сховищ працювало; цифри FlashStore походять із власної лаби croit. Обидва проєкти публікують свої проєктні документи. Прочитай їх, потім постав обидва на ті диски, які ти справді розгорнув би, і прожени своє власне навантаження. Той, що досі робить те, що кажуть його документи, коли на кону твої дані, і є тим, на який варто чекати.\nCeph Umbrella, Crimson (Tech Preview) — «the next generation ceph-osd», «not suitable for production use», потрібні прапорці, crimson_cpu_num, рідні й нерідні бекенди, SeaStore «not the default», --method raw не підтримується. Джерело: doc/crimson/crimson.rst на v21.2.0.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\ncroit ceph-rust, README у знімку 48f9014 — твердження про пряму заміну, preview з 9 листопада 2026, GA Q1 2027, «not yet recommended for production data», «no issue tracker, no contribution workflow».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nSeastar — фреймворк C++, на якому збудовано Crimson.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nceph-rust ADR 0003, з чистого аркуша, без форку Crimson — «Crimson = C++/seastar, tries to support everything (HDD, alienstore/BlueStore, all pool types) -\u0026gt; complexity. Complex code is never fast.»; форк відкинуто через «C++, complexity, LGPL».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nceph-rust ADR 0164, ліцензії — датовано 2026-10-17; демон LGPL-3.0-only.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCISA, NSA, FBI, ASD\u0026rsquo;s ACSC, CCCS, NCSC-UK, NCSC-NZ, CERT-NZ: The Case for Memory Safe Roadmaps (грудень 2023) — «Programming languages such as C and C++ are examples of memory unsafe programming languages»; Rust «can contain the \u0026lsquo;unsafe\u0026rsquo; keyword».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCISA і FBI: Product Security Bad Practices, v2.0 (січень 2025) — нові лінійки продуктів для критичної інфраструктури «in a memory-unsafe language (e.g., C or C++) where readily available alternative memory-safe languages could be used is dangerous».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nceph-rust ADR 0002, мова: Rust — «Storage = correctness-critical; memory-safety bugs = data loss»; unsafe «confined to ffi/dma/nvme/net-driver modules with SAFETY comments»; SPDK і DPDK через FFI.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCeph v21.2.0, crimson/osd/shard_services.cc — «ignoring pgid {}, pool lacks crimson flag».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCeph v21.2.0, OSDMonitor.cc, створення пулу crimson — «crimson-osd does not support changing pg_num or pgp_num, pg_autoscale_mode must be set to \u0026lsquo;off\u0026rsquo;».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCeph v21.2.0, OSDMonitor.cc, зміни pg_num для crimson — «pg merging is not yet supported in Crimson».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCeph v21.2.0, crimson_allow_pg_split — «Allow Crimson pools to increase their PG count (split)», за замовчуванням true.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCeph v21.2.0, OSDMonitor.cc, пули EC для Crimson — «For Crimson - only EC-optimized pools are supported», «Omap is not supported by EC pools in crimson».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nДокументація ceph-rust, пули з кодуванням стирання — застарілий і оптимізований EC обслуговуються за замовчуванням; непідтримувані пули OSD відхиляє.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCeph v21.2.0, MonCommands.h, osd pool create — name=crimson,type=CephBool,req=false, єдине місце, де приймається прапорець.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCeph v21.2.0, MonCommands.h, osd pool set — змінні, які можна встановити; crimson серед них немає.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCeph Umbrella, жива міграція образів RBD — «RBD images can be live-migrated between different pools».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nДокументація ceph-rust, міграція з класичного — додати або звільнити диск, підготувати FlashStore, дати backfill перенести дані.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCeph v21.2.0, crimson/osd/osd.cc — m-\u0026gt;metadata[\u0026quot;osd_type\u0026quot;] = \u0026quot;crimson\u0026quot;.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCeph v21.2.0, OSDMonitor.cc, перевірка при завантаженні — «Disallowing boot of crimson-osd without allow_crimson OSDMap flag», «considered unstable and may result in crashes or data loss».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nceph-rust ADR 0019, повідомляти osd_objectstore=bluestore — жодного ключа osd_type, перевірки функцій BlueStore у моніторі.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCeph v21.2.0, crimson.yaml.in — crimson_reactor_idle_poll_time_us 200, crimson_poll_mode «at the expense of 100% cpu usage», за замовчуванням false, crimson_bluestore_num_threads.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCeph v21.2.0, seastore_require_partition_count_match_reactor_count — «disable osd shards changes upon restart», за замовчуванням true.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nceph-rust ADR 0006, runtime з потоком на ядро — один закріплений потік з активним опитуванням на ядро, кожна PG належить одному ядру.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nceph-rust ADR 0004, I/O сховища — SPDK і рівень io_uring, простій за часом пристрою.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nДокументація ceph-rust, довідник конфігурації — flashstore_cores за замовчуванням 8, flashstore_lcores, flashstore_store_shards фіксується при підготовці.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCeph Umbrella, документація розробника SeaStore — корінь на реактор, дерева onode, OMAP, LBA і backref, «clean» один байт на кожен записаний байт, порядок запису журналу, бекенд RBM. Джерело: doc/dev/crimson/seastore.rst на v21.2.0.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nceph-rust ADR 0021, рушій сховища — одне COW B+-дерево на шард, паралельний коміт, контрольні точки, фонове обслуговування, відкинуті альтернативи, зокрема журнально-структурована і «Per-object omap subtree/root».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCeph v21.2.0, crimson/os/seastore/cached_extent.h — «Returns crc32c of buffer».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCeph v21.2.0, seastore_main_device_type — «The main device type seastore uses (SSD or RANDOM_BLOCK_SSD)», за замовчуванням SSD.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCeph v21.2.0, seastore_segment_size — за замовчуванням 64 MiB.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCeph v21.2.0, crimson/net/SocketMessenger.cc — «ProtocolV1 is no longer supported».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nceph-rust ADR 0168, поза межами — msgr1 прибрано, лише v2.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nДокументація ceph-rust, вимоги до обладнання й хоста — PLP обов’язковий, цілі namespace.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\n","permalink":"https://blogs.damiendye.uk/uk/ceph/flashstore-against-crimson/","summary":"Crimson це власне переписування OSD від Ceph, на C++ у фреймворку Seastar, з новим рідним сховищем SeaStore; FlashStore це переписування від croit, на Rust, з власним сховищем. Обидва в стадії preview, і обидва націлені на NVMe та швидкі мережі. Тут вони порівнюються в тому вигляді, в якому Ceph 21.2.0 Umbrella постачає Crimson, за кодом і документацією Ceph та знімком ceph-rust від croit: звідки кожен походить і під якою ліцензією, чому Rust відповідає настановам Five Eyes щодо безпеки пам’яті, а C++ ні, чому Crimson потребує власних пулів і експериментального прапорця, а FlashStore стає в наявні пули, чому в Umbrella немає способу перетворити наявний пул на пул Crimson і дані доводиться копіювати, що кожен каже монітору під час завантаження, реактори Seastar проти закріплених ядер з опитуванням, те, що Crimson OSD за замовчуванням досі працює на BlueStore, дерева onode, OMAP і LBA у SeaStore проти одного дерева на шард у FlashStore, порядок, у якому кожен комітить запис, очищувач сегментів SeaStore і на якому обладнанні та з якими пулами кожен працюватиме.","title":"FlashStore проти Crimson: два переписування того самого OSD"},{"content":"Розкриваю одразу: я працюю в croit, яка це написала. Усе нижче прочитано з опублікованого вихідного коду й документації обох проєктів, посилання внизу сторінки, і там, де власна документація croit розходиться з власним кодом croit, я про це кажу.\nOSD для Ceph, переписаний з нуля croit опублікувала ceph-rust, OSD для Ceph, написаний з нічого на Rust, із власним сховищем об’єктів FlashStore замість BlueStore1. Публічне прев’ю почалося 9 листопада 2026, а загальну доступність заплановано на перший квартал 20271. Це не форк. Власне правило проєкту таке: C++ від Ceph читають як довідку, записують як специфікацію власними словами croit, а потім реалізують за специфікацією2.\nТвердження, яке має значення для всіх, хто тримає Ceph, це заміна без переробок. Твої монітори, менеджери, CLI ceph і клієнти лишаються як є. OSD із FlashStore приєднується до тих самих пулів і тих самих груп розміщення, що й класичні OSD, які вже там, і ти міняєш по одному диску за раз1.\nЩо замінюється ceph-mon, ceph-mgr класичні 21.2.0 клієнти librados, librbd, krbd один пул, ті самі групи розміщення ceph-osd BlueStore RocksDB на BlueFS C++, від Ceph croit-flashstore-osd FlashStore COW B+дерево + WAL Rust, від croit Змінюється лише OSD. Монітори, менеджери й клієнти лишаються класичним Ceph, і одна група розміщення може тримати копію на кожному з двох видів. Тож питання для адміністратора практичне. Якщо замінити OSD із BlueStore на OSD із FlashStore, що зміниться під ним? Не абстрактно і не порівняно з якимсь BlueStore з доповіді на конференції багато років тому. Порівняно з тим BlueStore, який ти справді запускаєш сьогодні, якщо ти на Umbrella, Ceph 21.2.0, а саме з цим випуском FlashStore збирають і тестують1.\nОтже, порівняння тут саме таке, і тільки таке. BlueStore з Umbrella так, як його описують власний код і документація, проти FlashStore так, як його описують його код і записи рішень.\nЦе стосується всіх, у кого кластери Ceph на NVMe, і всіх, хто дивився, скільки ядер коштує їм OSD. Кластерів на HDD це не стосується взагалі, і чому саме, буде нижче.\nЩо є в репозиторії Репозиторій це знімок приватного дерева розробки croit тільки для читання. Ні трекера задач, ні pull request; оновлення приходять як нові коміти-знімки1. Це стадія прев’ю, і вона існує для відгуків спільноти, поки croit всередині проганяє свої виробничі тестові сценарії, перш ніж позначити це безпечним для використання. Відкрита розробка почнеться після першого виробничого випуску, як це буває в більшості проєктів з відкритим кодом, які підтримує компанія. Цей знімок датовано 10 листопада 2026, і в ньому близько 700 000 рядків на Rust і понад 450 записів архітектурних рішень, ADR, тобто коротких документів, які фіксують, чому зроблено кожен вибір у дизайні.\nДля такого порівняння ADR це найкорисніша частина. Вони прямі, у них є вимірювання, і вони записують не лише те, що лишилося, а й те, що спробували й викинули.\nКомпонент Що замінює Прев’ю GA (план) OSD FlashStore ceph-osd + BlueStore лист. 2026 I кв. 2027 librustyrados librados лист. 2026 I кв. 2027 librustyrbd librbd лист. 2026 I кв. 2027 Транспорт RDMA (RoCEv2) в Umbrella нічого лист. 2026 I кв. 2027 CephFS2, RGW на Rust MDS, RGW I кв. 2027 II кв. 2027 ceph-mon, ceph-mgr не замінюються н/д н/д Ліцензії варто знати, перш ніж щось на цьому будувати. Демон і інструменти під LGPL-3.0-only, клієнтські бібліотеки під MPL-2.0, а документація під CC-BY-SA-4.03. Клієнтські бібліотеки пішли під MPL, щоб програма на Rust могла лінкувати їх статично без обов’язку перелінковування, який несе LGPL, і це обґрунтований вибір, так і записаний3.\nПрев’ю означає саме те, що каже. Власний README від croit каже, що це для тестування й оцінки, і «not yet recommended for production data»1. Я б теж поки не клав на нього дані клієнтів, і ніщо в решті цього допису цього не змінює.\nДва сховища поруч OSD має дві половини. Верхня говорить протоколом Ceph, володіє групами розміщення, домовляється з іншими OSD, відновлює й перевіряє дані. Нижня, сховище об’єктів, перетворює «запиши ці байти в цей об’єкт» на блоки на диску й обіцяє, що вони переживуть вимкнення живлення.\nBlueStore це нижня половина в Umbrella. Його документація каже, що він «reads and writes to the devices directly in a \u0026lsquo;raw\u0026rsquo; fashion»4 і що він використовує «raw block devices or partitions»5. Дані об’єктів ідуть прямо на блоковий пристрій. Усе інше, метадані об’єктів, OMAP і його власний облік, іде у вбудовану базу ключ/значення RocksDB, а RocksDB лежить на BlueFS, маленькій файловій системі, яку BlueStore носить спеціально для неї56.\nFlashStore відкидає все це. Одне B+дерево з копіюванням під час запису на кожен шард сховища тримає все: колекції, метадані об’єктів, розширені атрибути, карти екстентів, OMAP, журнал PG, лічильники посилань і навіть власну бітову карту алокатора7. Поруч лежать кільце журналу попереднього запису (WAL) для повторення і область даних. Немає ні RocksDB, ні BlueFS, ні другої бази даних, яку треба налаштовувати.\nДва стеки під одним OSD BlueStore з Umbrella FlashStore ceph-osd 8 шардів × 2 потоки об’єктний шар BlueStore гібридний алокатор дані об’єктів сирий блок, aio RocksDB onode, omap, відкладені BlueFS block або block.db блоковий шар ядра flush перед фіксацією HDD, SSD або NVMe, будь-який розділ croit-flashstore-osd 1 закріплений потік на ядро шард сховища на ядро свій алокатор, без спільних блокувань дані об’єктів свіжі екстенти 4 KiB COW B+дерево мета, omap, журнал PG кільце WAL журнал redo, на шард SPDK (vfio) або io_uring без flush на гарячому шляху NVMe з PLP, 4 KiB, увесь простір імен BlueStore в Umbrella розділяє дані й метадані нагорі й пропускає метадані через RocksDB і BlueFS. FlashStore натомість ділить за ядрами, і всередині кожного шарду одне дерево тримає все, що не є даними об\u0026rsquo;єктів. Інший великий поділ це сам диск. BlueStore іде через блоковий шар ядра до всього, що ти йому даси. FlashStore говорить із NVMe або через SPDK, драйвер у просторі користувача, який забирає пристрій у ядра через vfio, або через ядро з io_uring89. SPDK це бекенд за замовчуванням. Рівень io_uring це той, що працює там, де vfio не працює, і саме на ньому я опинився в збірці на Proxmox.\nДе лежать метадані Почнімо звідси. Більшість решти випливає з цього.\nBlueStore з Umbrella FlashStore Метадані об’єктів ключі RocksDB COW B+дерево на шард OMAP ключі RocksDB типово те саме B+дерево; LSM або RocksDB на вибір під час prepare Журнал PG ключі RocksDB те саме B+дерево Стан алокатора гібридний алокатор, список вільних блоків у RocksDB бітова карта на шард, усередині дерева Пристрій для метаданих необов’язкові block.db і block.wal немає, той самий NVMe Контрольні суми даних типово crc32c на кожні 4 KiB crc32c на кожні 4 KiB, у карті екстентів Кількість сховищ на OSD одне одне на ядро Типові значення з боку BlueStore взято прямо з файлу параметрів Umbrella: RocksDB як бекенд ключ/значення, гібридний алокатор, контрольні суми crc32c61011. Контрольні суми метаданих у BlueStore «is handled by RocksDB and uses the crc32c algorithm», а дані коштують йому «a checksum value (usually 4 bytes) for every 4 KB block of data»4. Щодо контрольних сум ці два сховища згодні. FlashStore тримає crc32c на кожен блок 4 KiB у карті екстентів і перевіряє її під час читання7.\nРозходяться вони в структурі. RocksDB у BlueStore це дерево злиття з журнальною структурою (LSM), тож воно пише, а потім ущільнює у фоні, переписуючи дані, які вже записало. Дерево FlashStore оновлюється копіюванням під час запису й скидається на диск у контрольних точках: кожні п’ять секунд, поки щось не збережено, або коли кільце WAL заповнюється наполовину7.\nЩе один наслідок: у FlashStore немає швидкого пристрою для метаданих, бо він йому не потрібен. В Umbrella можна покласти block.db на швидший диск, і BlueStore покладе «as much metadata as it can on the DB device»4. FlashStore припускає, що кожен диск уже швидкий NVMe, і тримає метадані поруч із даними. Для заліза, на яке він націлений, це чесне припущення. І саме тому історії з HDD тут немає.\nOMAP це єдине місце, де FlashStore підстраховується. Дерево типове, але сховище можна підготувати з власним рушієм LSM від croit або з RocksDB за тим самим інтерфейсом12. Рушій OMAP обирають під час створення сховища. На працюючому OSD його не перемкнеш.\nОдин запис 4 KiB, два способи Ось різниця, яку ти відчуєш, якщо взагалі відчуєш.\nВізьми запис 4 KiB в об’єкт на Umbrella з типовими налаштуваннями на флеші. bluestore_min_alloc_size_ssd дорівнює 4 KiB, а bluestore_prefer_deferred_size_ssd дорівнює 0, тож увесь запис 4 KiB іде в щойно виділені 4 KiB1314. BlueStore надсилає цей запис даних, і транзакція стоїть у STATE_AIO_WAIT, доки диск не скаже, що готово15. Лише тоді метадані стають у чергу до RocksDB, і потік синхронізації RocksDB скидає кеш блокового пристрою перед фіксацією16. Потім клієнт отримує підтвердження.\nДві поїздки до пристрою, одна за одною.\nFlashStore надсилає обидві разом. Дані йдуть у свіжий екстент 4 KiB, а одиниця WAL паралельно йде в кільце журналу. Запис WAL несе crc32c кожного нового блоку даних, тож повторення після збою може визначити, чи дані дійшли7. Підтвердження йде в порядку журналу, коли дані, одиниця WAL і кожна попередня транзакція стали стійкими7. Власне обґрунтування дизайну в ADR звучить так: «parallel commit gives one device latency per ack»7.\nОдин запис 4 KiB на годиннику BlueStore запис даних нові 4 KiB, aio, чекати фіксація RocksDB журнал BlueFS + flush підтв. 2 поїздки FlashStore дані, свіжі 4 KiB одиниця WAL, crc даних підтв. 1 поїздка час Той самий запис 4 KiB. BlueStore чекає на дані, перш ніж зафіксувати RocksDB; FlashStore пише дані та їхній запис у журналі разом. Дві речі тримають це чесним. На завантаженому OSD обидва сховища групують фіксації, тож під навантаженням розрив менший за одну затримку пристрою на запис. А одна поїздка до пристрою на NVMe це кілька десятків мікросекунд. Чи помітиш ти її, залежить від того, чи твої клієнти чекають на затримку за малої глибини черги, як це часто буває з базами даних на RBD, чи женуть пропускну здатність, де вона розчиняється.\ncroit пробувала піти далі, до одного запису на пристрій на транзакцію, як у ZFS. Вони це побудували, виміряли й викинули: виграш був лише на глибині черги 1, і складність того не варта17. Я ціную це вище за будь-який графік бенчмарку. Це запис рішення, який публічно каже «ми це побудували, і воно того не варте».\nЗапис менше 4 KiB Менший запис це місце, де ці двоє справді розходяться.\nСкажімо, клієнт перезаписує 512 байтів посередині блоку, у якому вже є дані. Umbrella досі типово працює зі своїм початковим шляхом запису; bluestore_write_v2, перероблений варіант, постачається вимкненим18. На цьому шляху запис, менший за min_alloc_size, у вже виділений блок стає відкладеним записом19. Дані їдуть усередині транзакції RocksDB як ключ із префіксом L і йдуть на своє справжнє місце лише після того, як клієнтові сказали, що все безпечно2021.\nЗапис менше 4 KiB BlueStore, відкладено 1 прочитати решту доповнити до 4 KiB 2 дані в ключ L журнал RocksDB 3 фіксація, flush клієнту підтверджено 4 запис на місці ті самі 4 KiB знову 5 видалити ключ L ще одна фіксація FlashStore цілі свіжі 4 KiB + одиниця WAL паралельно, ніколи на місці клієнту підтверджено старий блок звільнять Відкладений шлях Umbrella для запису менше 4 KiB у зайнятий блок проти свіжого екстенту FlashStore. Рожевим позначено кожен раз, коли записуються самі дані. Тож дані доходять до диска двічі. Документація Umbrella цього не приховує: «writes smaller than min_alloc_size must first pass through the BlueStore WAL»4.\nFlashStore ніколи не перезаписує живі дані на місці, і крапка7. Об’єкти до 2 KiB ідуть далі й живуть цілком у дереві, тож один запис у WAL це вся фіксація7.\nЦе також означає, що у FlashStore немає черги відкладених записів, яку треба спорожнювати, немає повторення відкладених записів під час монтування і немає ключів L, які треба прибирати. Натомість він платить деінде: звільнені блоки тримаються до наступної контрольної точки, тож звільнене місце запізнюється щонайбільше на один інтервал контрольної точки7.\nПотоки проти ядер Верхня половина OSD відрізняється так само сильно.\nceph-osd в Umbrella це класичний багатопотоковий сервер, і кожне число в лівій половині діаграми нижче це одне з його типових значень на флеші22. Операція на своєму шляху перетинає кілька з цих пулів. Вони ділять стан за блокуваннями.\nFlashStore тримає весь шлях на одному закріпленому ядрі, що опитує в циклі, від мережевої карти до диска і назад23. Кожна група розміщення належить рівно одному ядру, і так само все, чого торкається PG: «no locks, no atomics, no shared mutable state»24. Трафік між ядрами йде через кільця з одним виробником, і володіння повідомленням переходить разом із ним.\nПотоки проти ядер ceph-osd з Umbrella 3 потоки messenger черга операцій mClock 8 шардів × 2 потоки bstore_kv_sync, bstore_kv_final RocksDB, BlueFS croit-flashstore-osd ядро 0 ядро 1 ядро n черга NIC msgr2, PG шард сховища черга NVMe черга NIC msgr2, PG шард сховища черга NVMe черга NIC msgr2, PG шард сховища черга NVMe кільця SPSC між ядрами, без блокувань Umbrella передає операцію між пулами потоків. FlashStore тримає її на одному ядрі від мережі до диска і перетинає ядра лише через кільця. Сховище йде за тим самим поділом. flashstore_store_shards типово дає один шард на ядро, кожен зі своїм кільцем WAL, деревом і алокатором, а PG живе рівно в одному шарді257. BlueStore це одне сховище на OSD з одним RocksDB.\nЦіна є, і ADR її називає: «idle cores burn CPU (accepted; optional adaptive sleep later)»23. Пізніша робота додала адаптивний простій і очікування за таймінгом пристрою, щоб ядро не крутилося всю затримку пристрою на малій глибині черги8, але принцип стоїть, і flashstore_cores типово дорівнює 8, якщо не закріпити діапазон25. FlashStore ти віддаєш цілі ядра.\nНа виділеному вузлі зберігання це нормально. На гіперконвергентній машині, де ці ядра ще й крутять VM, це перша арифметика, яку треба зробити.\nДиск мусить тримати своє слово BlueStore написаний так, щоб упоратися з диском, який бреше про те, коли дані в безпеці. FlashStore відмовляється мати справу з таким диском узагалі.\nBlueStore з Umbrella FlashStore Що робить запис стійким скидання кешу блокового пристрою перед фіксацією RocksDB завершення запису на диску з PLP Скидання кешу на гарячому шляху так ні Диск з енергозалежним кешем запису використовується, кеш скидається mkfs відмовляє; перевірка хоста FAIL Обхід не потрібен лише для лабораторії: біт FUA на кожному стійкому записі З боку BlueStore це вже згаданий потік синхронізації kv16. З боку FlashStore це ADR про стійкість і перевірка хоста: PLP означає, що диск не повідомляє про енергозалежний кеш запису, тож завершення означає, що дані на стабільному носії2426.\nДля цільового заліза це правильне рішення, але треба чітко розуміти, що воно виключає, бо майже всі споживчі NVMe мають енергозалежний кеш і не мають PLP, і так само чимало «серверного» заліза, яке продають за ціною. Немає PLP, немає FlashStore. Що б ти ще про нього не думав.\nНа чому FlashStore не працює Постав вимоги поруч, і цільовий ринок стає очевидним.\nBlueStore з Umbrella FlashStore Носії HDD, SSD, NVMe лише NVMe Захист від втрати живлення не потрібен обов’язковий, без нього mkfs відмовляє Формат сектора 512 B або 4 KiB очікується 4 KiB, інакше попередження Розмітка розділи, LVM через ceph-volume цілі простори імен, без розділів Окремий пристрій DB/WAL підтримується такого немає Шифрування даних у спокої --dmcrypt через ceph-volume поза межами Клієнти msgr1 типово прив’язані відмова, лише msgr2 Багаторівневе кешування застаріле, ще є відмова, пул стає пасивним Вимоги до ядра будь-яке підтримуване io_uring: Linux 5.19+ або 5.14 з RHEL 9 з бекпортами; hugepages для SPDK Стовпчик BlueStore взято з самої Umbrella: ceph-volume шифрує логічні томи «using dmcrypt by specifying the --dmcrypt flag»27, а ms_bind_msgr1 досі типово true28. Стовпчик FlashStore взято з його довідника з заліза і з рішення про межі проєкту2629.\nДва з цих пунктів заслуговують на більше, ніж рядок таблиці.\nШифрування даних у спокої виключене, і з причиною: SPDK обходить dm-crypt, а шифрування всередині сховища не планується. Відповідь ADR це NVMe-диски із самошифруванням або шифрування над сховищем, на клієнті чи в RGW29. Якщо в тебе є вимога відповідності, яка називає dm-crypt на OSD, то сьогодні це стоп.\nmsgr1 виключено як прийнятий ризик. Клієнти ядра, старші за 5.11, і librados до Nautilus не можуть говорити з OSD FlashStore узагалі29. Більшість інфраструктур давно це пройшли. Деякі ні, і дізнається про це стара забута коробка в кутку.\nВін каже монітору, що він BlueStore Ось що підловить людей.\nТипово OSD FlashStore завантажується і каже моніторам osd_objectstore=bluestore30. Він не ховається. Він додає поруч власні ключі flashstore_version і flashstore_build30. Причина в сумісності: монітор Umbrella дозволяє такі функції, як перезапис в EC на пулі, лише коли кожен OSD у ньому повідомляє BlueStore, а модулі менеджера, як-от Prometheus і телеметрія, розгалужуються за тим самим значенням30. ADR прямо каже, що bluestore тут «is a compat value for mon/mgr feature gates, not a product name»30.\nЄ перемикач, flashstore_report_objectstore=flashstore, який перейменовує все: метадані, ключі bluestore_bdev_*, лічильники продуктивності, команди tell і коди стану BLUESTORE_*. Він потребує пропатчених моніторів, а типовим лишається bluestore2530. Власні збірки Ceph від croit мають ці патчі, тож на них FlashStore називає себе flashstore, і нічого з написаного нижче не стосується. Ім’я bluestore там для стандартних моніторів і менеджерів, які люди запускають у продакшені сьогодні.\nЩо чує монітор OSD FlashStore типове налаштування osd_objectstore=bluestore flashstore_version=… mon, mgr: BlueStore перезапис EC дозволено OSD FlashStore report=flashstore osd_objectstore=flashstore flashstore_bdev_* класичний mon: не BlueStore потрібен пропатчений mon Сховище в обох рядках те саме. Змінюється лише ім’я, яке воно називає. Те саме сховище, два імені. Типове значення тішить монітори й менеджери Umbrella ціною того, що OSD FlashStore рахуються як BlueStore скрізь, куди не глянь. Я розумію чому. Перевірка монітора, прив’язана до рядка, це дизайн Ceph, а не croit, і відмова казати bluestore вимкнула б функції на непропатченому кластері. У цьому й пастка на стандартному кластері. Кожна панель моніторингу, кожен скрипт інвентаризації і кожен ceph osd count-metadata osd_objectstore, який ти запустиш, порахує OSD FlashStore як BlueStore. Під час міграції, коли найбільше треба знати, який OSD який, очевидне поле не каже тобі нічогісінько.\nТож перевіряй flashstore_version у ceph osd metadata, а не osd_objectstore. Внеси це в регламент ще до того, як стане перший OSD FlashStore.\nТі самі ручки, інша поведінка FlashStore читає чимало наявних параметрів Ceph, і здебільшого це добра новина. Не кожен параметр означає те, що означав на Umbrella, і саме ті, що ні, дивують налаштований кластер.\nПараметр BlueStore з Umbrella FlashStore compression_mode, на пул none, passive, aggressive, force ті самі чотири, те саме значення compression_algorithm типово snappy snappy, zlib, zstd, lz4; рівень zstd зафіксовано на 1 bluestore_compression_max_blob_size_ssd 64 KiB шматки по 64 KiB osd_memory_target 4 GiB, кеші автоналаштовуються на льоту читається раз під час старту, задає розмір кешів сховища, без автоналаштування osd_op_queue mclock_scheduler приймається й ігнорується osd_mclock_* діє приймається й ігнорується csum_type типово crc32c, доступні варіанти xxhash crc32c зафіксовано; будь-яке інше значення пише попередження в журнал31 Стиснення збігається. Типовий режим BlueStore це none, а типовий алгоритм snappy3233; FlashStore реалізує ті самі чотири режими, ті самі параметри пулу й ті самі шматки по 64 KiB, і ADR зазначає, що шматок 64 KiB, стисливий на 50 %, займає однаково місця в обох34. Так було не завжди. Файл ADR досі називається no-store-compression, від початкового рішення, яке скасували, коли croit поставила вимогу повного функціонального паритету з класичним Ceph34.\nПам’ять це не паритет. Umbrella автоналаштовує кеші BlueStore під osd_memory_target, поки працює3536. FlashStore читає ціль раз під час старту, ділить її між шардами, а зміна через ceph config set набуває чинності під час наступного перезапуску37. Він також не тримає процес у межах цілі: hugepages, мережеві буфери й стан PG лежать поза нею37. Тож osd_memory_target задає розмір кешів FlashStore. Він не обмежує пам’ять OSD так, як ти, можливо, звик.\nА mClock ігнорується повністю37. Не приглушується. Ігнорується. Немає планувальника операцій, який треба налаштовувати, бо кожне ядро володіє своїми PG. Відновлення й backfill стримуються натомість osd_max_backfills, osd_recovery_max_active і параметрами затримки37. Якщо ти налаштовував профілі mClock для перебудови на Umbrella, ці налаштування на OSD FlashStore нічого не роблять, і ніщо тебе про це не попередить.\nКонвертації немає, в жоден бік OSD із BlueStore не можна конвертувати в OSD із FlashStore. Посібник croit з міграції каже про це прямо: «There is no in-place conversion of a BlueStore device»38. Натомість він пропонує два порядки дій, і обидва це backfill38:\nДодати, потім прибрати Звільнити, потім додати Потрібно вільний слот NVMe нічого запасного Крок 1 підготувати FlashStore на новому диску ceph osd out, чекати на чистий стан Крок 2 чекати на active+clean зупинити й видалити класичний OSD Крок 3 прибрати класичний OSD підготувати FlashStore на звільненому диску Ризик, поки це йде нічого понад звичайний backfill на одну копію менше до кінця backfill І пізніше легше не стане. Формат FlashStore на диску має біти функцій, і монтування відмовляє на невідомому біті: «Every format change means mkfs; unknown bits refuse mount (no downgrade)»7. Тож зміна формату в пізнішому випуску FlashStore це таке саме спорожнення й повторне заповнення, як і перша міграція.\nЄдиний шлях на той бік OSD BlueStore osd.N на nvme0 OSD FlashStore свіжий mkfs конвертації немає, в жоден бік кластер backfill з копій out, purge backfill туди Backfill це єдиний міст між двома сховищами, і він же міст між двома форматами FlashStore. Одне документація каже неправильно. Контрольний список у посібнику з міграції каже переконатися, що «the pools do not use erasure coding on croit-flashstore-osd OSDs»38. Посібник з кодування стирання в тому самому знімку каже, що FlashStore типово обслуговує старі пули EC, а власне типове значення коду для оптимізованого EC це all3940. Одне з цього застаріло, і судячи з коду, це посібник з міграції. Я б однаково прочитав посібник з EC повністю, перш ніж змішувати пули EC на обох видах OSD, бо збій, який він описує, це PG, що деградує, і backfill, що застрягає39.\nСховище для дисків, які ми справді купуємо BlueStore будували, щоб він працював на всьому. Обертові диски, дешеві SSD, NVMe, розділи, LVM, зашифровані томи, швидкий пристрій DB перед повільним пристроєм даних. Ця широта й зробила його типовим вибором, і через неї ж у ньому є відкладений шлях запису, скидання кешу перед кожною фіксацією, база ключ/значення на власній файловій системі і пул потоків, щоб усе це крутилося. Кожне з цього існує, бо якомусь диску десь це було потрібно.\nFlashStore починає з протилежного кінця. Він припускає, що диск це NVMe, що в нього є захист від втрати живлення і що він настільки швидкий, що вузьким місцем тепер є програмне забезпечення. А потім викидає все, що існувало лише заради інших дисків.\nЧи це правильна ставка? Для нових повністю флешевих кластерів, побудованих на нормальних корпоративних NVMe, так. Саме туди йдуть кластери Ceph, і OSD, який витрачає свої ядра на блокування, передачі й базу даних, що ущільнюється за його спиною, платить кожну секунду кожного дня за гнучкість, якою такий кластер ніколи не скористається.\nАле в ставки є ціна, і я волію, щоб ти її побачив, перш ніж вкладатися. Ти відмовляєшся від HDD, dm-crypt, msgr1, живого налаштування пам’яті і mClock. На стандартному кластері ти отримуєш OSD, який каже твоїм моніторам, що він BlueStore, бо сьогоднішні монітори й менеджери не лишають йому іншого шляху; власним збіркам croit цього не знадобиться. Ти отримуєш формат, у який не можна конвертувати і між версіями якого теж не можна конвертувати. І ти отримуєш це в прев’ю, від одного постачальника, який, так уже склалося, мене наймає.\nТож вважай доказом вихідний код, а не цей допис і не звіт croit про бенчмарки. Записи рішень публічні, і вони кажуть, що виміряли і що викинули. Прочитай їх, збери тестовий кластер на тому залізі, яке справді розгортав би, і виміряй своє власне навантаження. Якщо воно робить на твоїх дисках те, що кажуть ADR, ти знатимеш. Якщо ні, ти знатимеш і це, і дізнаєшся про це на тестовому кластері.\ncroit ceph-rust, README at snapshot 48f9014 — компоненти, стан і дорожня карта, «not yet recommended for production data», сумісний на рівні протоколу з v21.2.0 і v20.2.4.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nADR 0003, green-field, no Crimson fork — «No fork, no linking of Ceph code»; код Ceph читають як довідку, специфікації власними словами.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nADR 0164, licences — демон і інструменти під LGPL-3.0-only, клієнтські бібліотеки під MPL-2.0, документація під CC-BY-SA-4.0, і причина вибору MPL.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCeph Umbrella, BlueStore configuration reference — прямий доступ до пристрою, пристрій DB, «writes smaller than min_alloc_size must first pass through the BlueStore WAL», контрольні суми.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCeph Umbrella, storage devices — BlueStore «consumes raw block devices or partitions»; RocksDB вбудована для внутрішніх метаданих.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCeph v21.2.0, bluestore_kvbackend — типово rocksdb.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nADR 0021, storage engine — COW B+дерево на шард, кільце WAL, паралельна фіксація, контрольні точки, вбудовані дані, утримувані звільнення, «Every format change means mkfs».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nADR 0004, storage I/O — SPDK через vfio, доповнено до двох рівнів з io_uring, простій за таймінгом пристрою.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nceph-rust docs, prepare and activate — spdk це бекенд за замовчуванням, kernel і kernel-cmd лишають NVMe на драйвері ядра.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCeph v21.2.0, bluestore_allocator — типово hybrid.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCeph v21.2.0, bluestore_csum_type — типово crc32c.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nceph-rust, croit-flashstore-tool usage — «fresh prepare/mkfs \u0026ndash;omap-engine btree|lsm|rocksdb».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCeph v21.2.0, bluestore_min_alloc_size_ssd — типово 4 KiB.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCeph v21.2.0, bluestore_prefer_deferred_size_ssd — типово 0.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCeph v21.2.0, BlueStore.cc, transaction state machine — незавершені aio переводять транзакцію в STATE_AIO_WAIT, перш ніж її поставлять у чергу на фіксацію ключ/значення.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCeph v21.2.0, BlueStore.cc, kv sync thread — «flush/barrier on block device» перед надсиланням у RocksDB.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nADR 0027, single-IO atomic commit, rejected — «gain only at QD1», побудовано й прибрано.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCeph v21.2.0, bluestore_write_v2 — «Use faster write path», типово false.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCeph v21.2.0, BlueStore.cc, _do_write_small — читання голови й хвоста, потім «chunk-aligned deferred overwrite».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCeph v21.2.0, BlueStore.cc, \u0026ldquo;journal deferred items\u0026rdquo; — відкладена транзакція записується як ключ у ту саму транзакцію RocksDB.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCeph v21.2.0, BlueStore.cc, key prefixes — PREFIX_DEFERRED = \u0026quot;L\u0026quot;.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nТипові значення потоків у Ceph v21.2.0 — osd_op_num_shards_ssd 8; osd_op_num_threads_per_shard_ssd 2; osd_op_queue mclock_scheduler; ms_async_op_threads 3; створення потоків у BlueStore.cc, bstore_kv_sync і bstore_kv_final.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nADR 0006, thread-per-core runtime — один закріплений потік з активним опитуванням на ядро, PG належать одному ядру, «idle cores burn CPU (accepted \u0026hellip;)».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nADR 0008, concurrency and durability — «no locks, no atomics, no shared mutable state»; PLP обов’язковий, mkfs відмовляє дискам без PLP, обхід через FUA для лабораторії.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nceph-rust docs, configuration reference — flashstore_cores типово 8, flashstore_store_shards auto, flashstore_report_objectstore.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nceph-rust docs, hardware and host requirements — енергозалежний кеш запису FAIL, LBA 4 KiB, без розділів, вимоги до ядра й io_uring.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCeph Umbrella, ceph-volume encryption — «Logical volumes can be encrypted using dmcrypt by specifying the --dmcrypt flag».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCeph v21.2.0, ms_bind_msgr1 — типово true.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nADR 0168, encryption at rest, msgr1, cache tiering out of scope — «SPDK bypasses dm-crypt»; клієнти лише з v1 «cannot reach croit-flashstore-osd».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nADR 0019, report osd_objectstore=bluestore — перевірки функцій у моніторі, додаткові ключі flashstore_* і параметр звітування flashstore.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nceph-rust, pgs.rs — «csum_type {v} unsupported; using fixed crc32c per 4096-byte block».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCeph v21.2.0, bluestore_compression_mode — типово none.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCeph v21.2.0, bluestore_compression_algorithm — типово snappy.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nADR 0059, per-pool store compression — ті самі режими й параметри, що в BlueStore, рівень zstd 1 зафіксовано, місце за стисливості 50 % «identical to BlueStore».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCeph v21.2.0, osd_memory_target — типово 4 GiB.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCeph v21.2.0, bluestore_cache_autotune — типово true.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nADR 0062, memory target and mClock — ціль читається раз, без автоналаштування, RSS не обмежується; параметри mClock «ACCEPTED and IGNORED».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nceph-rust docs, migrate from classic — «There is no in-place conversion of a BlueStore device»; два порядки дій; рядок контрольного списку про EC.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nceph-rust docs, erasure-coded pools — ec_enable_pools типово all, ec_enable_optimized типово all, і як виглядає відхилений пул.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nceph-rust, OSD config defaults — (\u0026quot;ec_enable_optimized\u0026quot;, \u0026quot;all\u0026quot;).\u0026#160;\u0026#x21a9;\u0026#xfe0e;\n","permalink":"https://blogs.damiendye.uk/uk/ceph/flashstore-against-umbrella-bluestore/","summary":"ceph-rust від croit це переписаний з нуля на Rust OSD для Ceph із власним сховищем об’єктів FlashStore, у публічному прев’ю з 9 листопада 2026. Тут він стоїть поруч із BlueStore саме таким, яким його постачає Ceph 21.2.0 Umbrella, за вихідним кодом і документацією обох проєктів: що є в репозиторії і під якими ліцензіями, де кожне сховище тримає метадані, як запис 4 KiB і запис менше 4 KiB доходять до диска в кожному з них, пули потоків Umbrella проти одного потоку на ядро у FlashStore, чому FlashStore робить захист від втрати живлення жорсткою вимогою, на чому він не працює, чому він каже твоїм моніторам, що він BlueStore, які параметри BlueStore він виконує, а які ігнорує, і чому єдиний шлях між ними це backfill.","title":"FlashStore проти BlueStore з Umbrella: що croit змінив під OSD"},{"content":"Rust-OSD у день виходу croit випустила FlashStore OSD у публічне прев’ю 9 листопада 2026 року1. Це OSD для Ceph, написаний з нуля на Rust, з власним сховищем об’єктів замість BlueStore, і він говорить мережевим протоколом Ceph. Обіцянка така: він стає в кластер, який у тебе вже працює. Твої монітори, твої менеджери, твій CLI ceph і твої клієнти лишаються як є, а ти замінюєш по одному диску1.\nДля того, хто працює на Proxmox, ця обіцянка важить більше, ніж для більшості. На гіперконвергентному вузлі Proxmox VE Ceph не встановлюють окремо. Він приходить із GUI Proxmox, з власних репозиторіїв Proxmox, зібраний і пропатчений Proxmox, і все це керується через pveceph. Якщо чужий OSD може сісти всередину цього, нічого не зламавши, ти отримуєш новий рушій сховища, не відмовляючись від інструментів. Якщо не може, ти дізнаєшся про це на власній шкурі, на вузлі, де ще й крутяться твої ВМ.\nТож я спробував.\nЯ працюю в croit, яка робить FlashStore. Саме тому я спробував його протягом двох днів після виходу, і саме тому нічого нижче не пом’якшено. Це прев’ю, README каже, що його «not yet recommended for production data»1, і це звіт про те, чого він коштував на справжньому залізі, а не брошура.\nХто що дає на одному вузлі Диск ВМ на RBD QEMU з librbd, яку постачає Proxmox Від Proxmox: pveceph ceph-mon, ceph-mgr 21.2.0-pve1 CLI, GUI, пули, сховище RBD встановлено з майстра на 8006 Від croit: FlashStore croit-flashstore-osd 21.2.0 один демон на Optane встановлено з .deb, вручну Завантажувальний SN750: ніколи не OSD 8 × Optane P4800X, 4 КіБ, увесь простір імен Хто що дає. Proxmox встановлює монітор і менеджер і володіє GUI, пулами й визначенням сховища. Пакет croit дає лише демони OSD, по одному на диск. Коротка відповідь: працює. Поки я це пишу, вісім OSD FlashStore роздають пул RBD для ВМ на стоковому вузлі Proxmox VE 9.2, HEALTH_OK. Довша відповідь: знадобилося два виправлення, про які документація мовчить, одне через те, як Proxmox зберігає свою конфігурацію Ceph, а друге через ядро Proxmox, і решта цього допису про ці виправлення і про те, як їх знайшли. Якщо тобі треба лише, щоб воно запрацювало, ближче до кінця є скрипт, що робить усе це, і його запускали на цьому вузлі.\nЗалізо Лабораторія це один вузол, pve2, у моїй домашній мережі, і це паршивий міні-ПК Minisforum B550 2021 року. Ceph на одному вузлі не те, як запускають продакшен, і правило CRUSH нижче є ціною цього, але кожен крок тут такий самий і на вузлі, що має сусідів.\nProxmox VE pve-manager 9.2.26, ядро 7.0.14-28-pve, Debian 13.7 Машина Міні-ПК Minisforum B550, 2021; плата звітує BESSTAR TECH B550, BIOS 5.17 CPU AMD Ryzen 7 5700G, 8 ядер, 16 потоків, 1 вузол NUMA Пам’ять 58 ГіБ Диски OSD 8 × Intel Optane P4800X 375 ГБ (6 з брендом Dell, 2 роздрібні Intel) PCIe до Optane усі вісім за одним комутатором Broadcom PEX880xx, на одному лінку PCIe 3.0 x16 від APU Завантажувальний диск WD SN750 512 ГБ, VG pve, тримаю осторонь від усього цього Мережа один порт 2,5 GbE, vmbr0 FlashStore snapshot-2026-11-10, коміт upstream c5792750020e2 Optane тут тому, що FlashStore має дві жорсткі вимоги, на яких спотикається чимало дисків. Диск мусить мати захист від утрати живлення, а простір імен мусить використовувати блоки по 4096 байтів, цілим простором імен без розділів і файлової системи на ньому1. FlashStore підтверджує запис тоді, коли він надійно лежить на диску, тож диск, що бреше про надійність через енергозалежний кеш, відкидається на mkfs3. Кожен P4800X у своїх даних Identify повідомляє, що енергозалежного кешу запису немає (vwc 0), тобто сам диск каже, що кеш не може втратити підтверджений запис.\nТож обмежувальним чинником у цьому глибокому розборі є міні-ПК, а не FlashStore і не диски. Вісім ядер означає по одному на OSD і жодного вільного, 58 ГіБ мають годувати і Ceph, і ВМ, а вісім Optane ділять один лінк PCIe 3.0, бо це все, що APU може дати. Читай кожне число нижче як те, що дозволяє ця машина.\nUmbrella або нічого FlashStore збирають під один реліз Ceph за раз. Вирішує гілка: main говорить із Ceph 21.2.0 Umbrella, а гілка v20.2.4 із 20.2.4 Tentacle4. Демон перевіряє реліз кластера під час запуску і відмовляється від того, що поза його вікном4. Пакети на сторінці релізу зібрано з main, і сам бінарник про це каже: croit-flashstore-osd 21.2.0 umbrella.\nProxmox VE 9 пропонує три репозиторії Ceph, і збігається лише один.\nВікно версій Репозиторії Proxmox VE 9 Гілки FlashStore ceph-squid: 19.2.7 гілки squid немає ceph-tentacle: 20.2.5 20.2.5 це не 20.2.4 v20.2.4: tentacle 20.2.4 ceph-umbrella: 21.2.0-pve1 21.2.0 збігається main: umbrella 21.2.0 Демон відмовляється від релізу кластера поза своїм вікном. Репозиторій Tentacle від Proxmox уже пішов далі за 20.2.4, а гілки Squid немає взагалі. Umbrella 21.2.0-pve1 єдиний реліз, на якому обидві сторони сходяться. Tentacle типовий у Proxmox, то чи це безпечний вибір? Це саме той, що не запрацює. Репозиторій Proxmox веде Tentacle до 20.2.5-pve1, а гілка Tentacle у FlashStore цілиться рівно в 20.2.4. Umbrella в репозиторії Proxmox це 21.2.0-pve1, той самий реліз, у який цілиться main.\nProxmox не приховує, що таке Umbrella. PVE/Ceph/Releases.pm перелічує його з unsupported =\u0026gt; 15, і майстер у GUI каже про це простими словами, щойно ти його обираєш.\n«Technology Preview», жодного корпоративного репозиторію, і встановлювач перепитує вдруге в терміналі, continue (y/N)?, перш ніж торкнутися apt. Це правильна кількість попереджень, і її варто читати як твердження про весь стек: прев’ю OSD на прев’ю релізі Ceph.\nВстановлення стокове для Proxmox. Datacenter → Ceph → Install, версія Umbrella, репозиторій No-Subscription, потім публічна мережа і перший монітор.\nТринадцять пакетів оновлено, 46 нових, завантажено 107 МБ. Одна річ у цьому списку нова для Umbrella: ceph-osd-classic поруч із ceph-osd. Жоден тут не використовується, бо класичний OSD так і не створюється. Приблизно за хвилину mon.pve2 і mgr.pve2 уже працювали, ceph versions показував 21.2.0 … umbrella, а стан був OK, хоч зберігати ще не було чого.\nЧотири диски на 512 байтів Чотири з восьми Optane колись прокинули в лабораторну ВМ, і вони досі мали формат 512 байтів зі старими мітками ZFS. Ще два мали правильний формат і ті самі мітки. Виправлення для обох просте: забрати їх з ВМ, відформатувати в 4 КіБ, стерти мітки.\nP4800X пропонує 4096 байтів без метаданих як формат LBA 3, який nvme id-ns показує як lbaf 3 : ms:0 lbads:12.\nnvme format /dev/nvme0n1 --lbaf=3 --force --timeout=900000 wipefs -a /dev/nvme0n1 sgdisk --zap-all /dev/nvme0n1 Перша спроба провалилася, і пізніша теж. Обидва рази nvme format повертався з Interrupted system call, а диск лишався на 512 байтах. Причина в журналі ядра:\nnvme nvme0: I/O tag 0 (0000) opcode 0x2 (Admin Cmd) QID 0 timeout, reset controller nvme nvme1: I/O tag 9 (0009) opcode 0x6 (Admin Cmd) QID 0 timeout, reset controller Opcode 0x2 це Get Log Page, а 0x6 це Identify. Жоден із них не форматування. P4800X форматує весь носій, і тут це тривало від 345 до 351 секунди на диск. Поки воно йде, контролер не відповідає на інші адміністративні команди, тож усе, що ставить диску питання, чекає. Після 60-секундного тайм-ауту адміністративних команд ядро здається і скидає контролер, а скидання вбиває форматування.\nЯк переривається форматування nvme format від 345 до 351 с на один P4800X Адмін. команда smartctl, nvme list, оновлення дисків у GUI тайм-аут 60 с ядро скидає контролер Перервано EINTR, rc 1 диск досі 512 Б Виправлення: кожне форматування у власному юніті systemd, по одному диску, і нічого іншого дискам не надсилати, поки воно не закінчиться. Не форматування є командою, що вичерпує тайм-аут. Щось інше ставить диску питання, чекає за форматуванням, і скидання, що йде слідом, його перериває. Спроба Що дійшло до диска Результат nvme0, перша Get Log Page о 09:53:04, посеред встановлення Ceph перервано, досі 512 Б nvme0, у юніті нічого 4 КіБ за 345 с nvme1 мій власний nvme list для перевірки прогресу перервано, досі 512 Б nvme2, nvme3 нічого 4 КіБ за 351 с і 350 с nvme1, окремо нічого 4 КіБ за 346 с Виправлення: запускати кожне форматування в тимчасовому юніті з довгим тайм-аутом, по одному диску, і не чіпати диски, поки воно не закінчиться:\nsystemd-run --unit=fmt4k /root/fmt4k.sh journalctl -u fmt4k -f # read progress from the journal, not from the drive Так єдиною перевіркою прогресу є журнал, і до контролера нічого не доходить. Після цього всі вісім показали 4 KiB у nvme list.\nПакет Сторінка релізу має пакети .deb і .rpm, серед них для Debian 13 trixie, на якому збудовано Proxmox VE 92. Одна збірка обслуговує всі дистрибутиви, їй потрібна glibc 2.34 чи новіша6.\nB=https://github.com/croit/ceph-rust/releases/download/snapshot-2026-11-10-0b6783237291 curl -LO \u0026#34;$B/flashstore_21.2.0+git.20261110063351.c5792750020e_debian-trixie_amd64.deb\u0026#34; curl -LO \u0026#34;$B/sha256sums.txt\u0026#34; sha256sum flashstore_*_debian-trixie_amd64.deb grep debian-trixie/flashstore_ sha256sums.txt Перевір це вручну. sha256sum -c не може перевірити це завантаження, бо файл контрольних сум називає його debian-trixie/flashstore_…_amd64.deb, тоді як сам файл зветься flashstore_…_debian-trixie_amd64.deb. Хеші збігаються, ce1fb352…26c8 з обох боків, тож файл у порядку, і лише список розійшовся з файлами.\napt install ./flashstore_*_debian-trixie_amd64.deb croit-flashstore-osd --version croit-flashstore-osd 21.2.0 umbrella (build 0.0.0) git c5792750020e net tiers: kernel (+rdma upgrade) Він встановився чисто поруч із власними ceph-osd і ceph-osd-classic від Proxmox. Пакет встановлює мінімальний ceph-osd.target лише на хостах, де його немає6, а в Proxmox він уже є, тож юніти FlashStore чіпляються до того самого target, що й класичні.\nТри речі про пакет, які варто знати, перш ніж писати під нього скрипти:\nЩо кажуть документи Що є в пакеті Назва пакета apt remove flashstore …6 croit-flashstore-osd, файл зветься flashstore_… Бекенди сховища продакшен-набір функцій main це knet,spdk,rdma,mimalloc1 без SPDK: --check повідомляє «SPDK NVMe driver: compiled out» Значення flashstore_dev spdk:\u0026lt;pci\u0026gt; або file: у збірках для розробки7 рівень ядра, kernel:/dev/…, єдиний справжній шлях до сховища в цій збірці Середній рядок важливий. Рівня SPDK, драйвера NVMe у просторі користувача, якому потрібен диск, прив’язаний до vfio-pci, немає в опублікованому пакеті для Debian. Що в ньому є, так це рівень ядра: диск лишається на власному драйвері ядра nvme, а FlashStore говорить із ним через io_uring. Вихідний код показує, що його вкомпільовано, бо функція knet тягне за собою kernel-nvme8, хоча підсумковий рядок перевірки хоста називає його «compiled out of this build». Цей рядок помиляється. Читач, що йому повірить, зупиниться саме там.\nЩо каже перевірка хоста croit-flashstore-osd --check лише читає і запускається до того, як щось буде записано. Вона перевіряє збірку, CPU, пам’ять, IOMMU, кожен контролер NVMe, мережеву карту, ядро і конфігурацію, і для кожної знахідки друкує точне виправлення9. На цьому вузлі вона провела 115 перевірок, і вона добра: кожна знахідка йде з командою, що її виправляє, а це зберегло купу копирсання.\nЗнахідка Результат Що я зробив Hugepages: нічого не зарезервовано FAIL зарезервував 16 ГіБ, які вона просила, закріпив у /etc/sysctl.d Завантажувальний SN750: енергозалежний кеш запису FAIL нічого, він не кандидат в OSD vfio-pci не завантажено WARN нічого, у цій збірці немає SPDK, щоб ним користуватися ліміт memlock 8 МіБ WARN нічого, вона вимірює оболонку; юніт задає LimitMEMLOCK=infinity немає isolcpus / nohz_full WARN записав, налаштування затримок IOMMU з трансляцією, не iommu=pt WARN записав init_on_alloc=1 WARN записав, за її словами коштує 15–20 % CPU на великих читаннях порт 2,5 GbE, типові кільця NIC, IRQ на п’яти CPU WARN записав 8 × P4800X: без VWC, активний 4096+0, x4 на 8 GT/s, вільні OK io_uring із SEND_ZC і фіксованими буферами, ядро 7.0 OK Заклади в план другий FAIL. Перевірка рахує кожен контролер у машині, а завантажувальний SSD має кеш запису, тож він провалює тест на втрату живлення, хоча та сама перевірка правильно позначає його як «in use, not a candidate». Посібник каже, що код виходу 0 означає відсутність FAIL9. На будь-якому хості, що завантажується зі споживчого SSD, а таких хостів Proxmox чимало, --check не може вийти з 0, хоч що ти виправиш. Пиши скрипти під рядки окремих перевірок, а не під код виходу.\nWARN щодо налаштувань лишилися. Кожен із них потребує зміни командного рядка ядра і перезавантаження, а це розгортання, не бенчмарк. Це правильний список, який треба пройти, перш ніж хтось наводитиме число з цієї машини.\nЯдра і hugepages для восьми OSD FlashStore працює за схемою потік на ядро, і перевірка пояснює, що це означає: «one core = one shard/PG owner», щонайбільше 8 ядер на OSD, і кожне ядро OSD на власному фізичному ядрі, а не спільне з SMT-сусідом. Вісім фізичних ядер і вісім OSD дають по одному ядру кожному, flashstore_lcores = 0 до 7, а SMT-сусідів лишено для Proxmox і ВМ. Після повторного запуску з цим у конфігурації перевірка позначає кожен план ядер як OK.\nЯдра і hugepages на одній машині Один OSD на фізичне ядро; SMT-сусіди лишаються хосту 0: osd.0 1: osd.1 2: osd.2 3: osd.3 4: osd.4 5: osd.5 6: osd.6 7: osd.7 потоки 8–15: Proxmox, ВМ, допоміжні потоки OSD Hugepages: 16 ГіБ зарезервовано, 4 ГіБ використовують вісім OSD 4 ГіБ у роботі 12 ГіБ зарезервовано й простоюють, із 58 ГіБ хоста Одне фізичне ядро на OSD. Пул hugepages має розмір за типовими для перевірки 2048 МіБ на OSD, і кожен запущений OSD узяв чверть від цього. Подивися ще раз на hugepages. Перевірка просить 2048 МіБ на OSD, що є типовим --mem демона, тож вісім OSD потребують 16 ГіБ зарезервованих. Під час роботи кожен OSD використав 512 МіБ зі своїх 2048. Це збігається з власною проєктною нотаткою croit для бекенду ядра, яка відводить чверть --mem на алокатор корисного навантаження10. Тож на цій машині, з усіма вісьмома запущеними, 12 ГіБ RAM лежать зарезервованими як hugepages, яких ніщо не торкається, на хості, що має ще й ВМ годувати. Вузол сховища лише знизав би плечима. На вузлі Proxmox ця пам’ять була б ВМ, і нижче її урізано до того, що OSD справді використовують.\nМожна спитати, чому він не може прочитати ceph.conf? Диски відформатовано, пакет стоїть, перевірка хоста чиста, а перший OSD не запускався.\ncroit-flashstore-tool: refused: /etc/ceph/ceph.conf: Permission denied (os error 13) У Proxmox /etc/ceph/ceph.conf це символьне посилання на /etc/pve/ceph.conf, а /etc/pve це pmxcfs, кластерна файлова система, що тримає конфігурацію всіх вузлів синхронною. Файли там мають root:www-data 0640, і pmxcfs не дає змінити це для окремого файлу11. Власні демони Ceph від Proxmox справляються, бо стартують як root, читають конфігурацію, а потім переходять до користувача ceph, що й робить --setuser ceph --setgroup ceph у кожному юніті ceph-osd@.\nЮніт FlashStore не стартує як root. Він User=ceph з першої ж інструкції, разом з ExecStartPre12, тож до файлу він так і не добирається.\nМожна спитати, чому пакет, зібраний для Debian, для продукту, що має ставати на місце старого, не спробували на найпоширенішій платформі Ceph на базі Debian? Я не питаю, хто. pveceph тримає свою конфігурацію на pmxcfs, і кожен OSD FlashStore на вузлі під керуванням pveceph наткнеться на це під час першого запуску.\nУ демона відповідь уже вбудована. Його вихідний код описує класичне скидання через --setuser/--setgroup: «started as root by a classic unit (--setuser ceph --setgroup ceph), the daemon becomes that user before it opens the store, a socket or a file»13. Тож drop-in, що запускає юніт так, як Proxmox запускає власні OSD, мав би впоратися.\nНе зовсім. Запущений як звичайний root, наступною відмовою став диск.\nactivate: device kernel:/dev/ng0n1 not ready: /dev/nvme0n1: Permission denied (os error 13) CapabilityBoundingSet юніта не містить CAP_DAC_OVERRIDE12, тож root обмежений звичайними правами на файли, а вузли простору імен належать ceph:ceph. Старт як root з групою ceph покриває обидва: root володіє файлом конфігурації, група ceph відкриває диск, а демон переходить до ceph, перш ніж робити будь-що інше.\nТри способи запустити юніт Як постачено User=ceph Group=ceph /etc/pve/ceph.conf root:www-data 0640 Permission denied на читанні conf Старт як root немає CAP_DAC_OVERRIDE /dev/nvme0n1 ceph:ceph 0660 Permission denied на відкритті диска Root, група ceph потім --setuser ceph conf читає власник, диск відкриває група, демон працює як ceph Юніт у тому вигляді, як його постачають, не може прочитати pmxcfs. Звичайний root не може відкрити диск, бо обмежувальний набір забирає перевизначення. Root із групою ceph робить обидва, а потім скидає права. # /etc/systemd/system/croit-flashstore-osd@.service.d/pve-ceph-conf.conf [Service] User=root Group=ceph ExecStart= ExecStart=/usr/bin/croit-flashstore-osd run --id %i --cluster ${CLUSTER} -f --setuser ceph --setgroup ceph Демон підтверджує скидання у власному журналі: set uid:gid to 64045:64045 (ceph).\nЄ коротше виправлення, SupplementaryGroups=www-data, і я ним не скористався. Воно дало б OSD читати кожен доступний групі файл у /etc/pve, а не лише конфігурацію Ceph. OSD нема чого читати решту конфігурації кластера, а drop-in вище дає йому нічого понад те, що Proxmox дає власним.\nДалі вузли пристроїв. Документація FlashStore каже, що вузол простору імен має бути доступним на запис для ceph, «(udev rule)»14, а пакет такого правила не має. Це правило знаходить диски за моделлю, тож не може зачепити завантажувальний диск, хоч як би змінилася нумерація:\n# /etc/udev/rules.d/70-croit-flashstore-optane.rules SUBSYSTEM==\u0026#34;nvme-generic\u0026#34;, KERNEL==\u0026#34;ng*n*\u0026#34;, ATTRS{model}==\u0026#34;Dell Express Flash NVMe P4800X*|INTEL SSDPE21*\u0026#34;, OWNER=\u0026#34;ceph\u0026#34;, GROUP=\u0026#34;ceph\u0026#34;, MODE=\u0026#34;0660\u0026#34; SUBSYSTEM==\u0026#34;block\u0026#34;, KERNEL==\u0026#34;nvme*n*\u0026#34;, ENV{DEVTYPE}==\u0026#34;disk\u0026#34;, ATTRS{model}==\u0026#34;Dell Express Flash NVMe P4800X*|INTEL SSDPE21*\u0026#34;, OWNER=\u0026#34;ceph\u0026#34;, GROUP=\u0026#34;ceph\u0026#34;, MODE=\u0026#34;0660\u0026#34; Після udevadm trigger шістнадцять вузлів Optane стали ceph:ceph 0660, а SN750 лишився root.\nPassthrough, якого це ядро не робить Рівень ядра має два режими, і вузол, який ти назвеш, обирає між ними. kernel:/dev/ngXnY надсилає команди NVMe прямо на диск через io_uring, у croit це зветься kernel-cmd. kernel:/dev/nvmeXnY робить читання й запис O_DIRECT на блоковому пристрої, це зветься kernel або direct10. croit виміряла kernel-cmd попереду в кожній комірці, яку тестувала10, і власний швидкий старт README використовує його1, тож його я й налаштував.\nКоли з правами розібралися, демон перейшов до ceph, прочитав конфігурацію і зупинився на першому читанні:\ncroit-flashstore-osd: --dev kernel:/dev/ng0n1: /dev/ng0n1: kernel-cmd fixed-buffer probe read: Errno(13) Та сама проба пройшла хвилиною раніше в activate, який ще мав можливості root. Тож питання в тому, чи дозволяє це ядро непривілейованому процесу надсилати команди вводу-виводу через /dev/ngXnY. На це можна відповісти без FlashStore, тим самим читанням через nvme-cli, від імені ceph:\nВід імені Команда на /dev/ng0n1 Результат ceph Identify Namespace дозволено ceph Read, LBA 0, 4 КіБ Permission denied root Read, LBA 0, 4 КіБ дозволено Усі вісім Optane дали ту саму відповідь, включно з двома, які я ніколи не форматував і не скидав, з мікропрограмою Intel, а не Dell. Тож справа не в дисках і не в ранкових форматуваннях.\nUpstream каже, що це має працювати. У Linux 7.0 nvme_cmd_allowed() дозволяє непривілейованому процесу надіслати команду вводу-виводу, коли журнал Commands Supported and Effects диска позначає її підтримуваною без незвичних ефектів, і вимагає відкриття на запис лише для команд, що пишуть чи змінюють дані15. Журнал ефектів P4800X позначає Read як підтримувану, 00000001, і більше нічого. Читання дозволене.\nЯдро Proxmox не upstream. Його журнал змін для цієї збірки містить бекпорт виправлення саме на цьому шляху, CVE-2026-90227: nvme/ioctl: check SUBMIT_IO with nvme_cmd_allowed(), яке на перший погляд стосується іншого ioctl, ніж той, що я тестував. Я не з’ясував, яка саме зміна в ядрі 7.0.14-28-pve дає різницю, і вгадувати не буду. Певна лише поведінка: на цьому ядрі непривілейований passthrough вводу-виводу NVMe відкидається.\nFlashStore має запасний шлях на випадок відкинутого passthrough, і він не спрацював. Проєктна нотатка croit каже, що коли Identify відкинуто, пристрій kernel-cmd переходить на прямий ввід-вивід на своєму блоковому вузлі й повідомляє про це під час старту10. Тут Identify дозволено, а Read ні, тож запасний шлях ніколи не вмикається, і OSD натомість зупиняється.\nДва шляхи до диска kernel-cmd: NVMe passthrough kernel: прямий блоковий I/O io_uring URING_CMD /dev/ng0n1, generic символьний відмова користувачу ceph: EACCES io_uring READ/WRITE_FIXED /dev/nvme0n1, O_DIRECT працює: треба лише rw на вузлі Passthrough іде через перевірку прав ioctl NVMe, і ядро Proxmox відмовляє в ній користувачу ceph. Прямому вводу-виводу на блоковому пристрої потрібні лише читання й запис на вузлі, які вже дає правило udev. Прямому вводу-виводу байдуже. Це один рядок на OSD:\nflashstore_store_backend = kernel З ним osd.0 піднявся.\ncroit-flashstore-osd: store mounted (1 shards, replayed 4 txns in 16 ms) croit-flashstore-osd: set uid:gid to 64045:64045 (ceph) [ 1.398] crush location set (create-or-move updating item name \u0026#39;osd.0\u0026#39; weight 0.3359 at location {host=pve2,root=default} to crush map) [ 2.406] osd.0 is now active (up_from 10, map 10) Активний за 2,4 секунди.\nПідготовка і запуск OSD Кожен OSD отримує секцію в конфігурації Ceph, що в Proxmox означає редагування /etc/pve/ceph.conf, і робити це вручну цілком нормально.\n[osd.0] flashstore_dev = spdk:0000:05:00.0 flashstore_store_backend = kernel flashstore_lcores = 0 Пристрій названо за адресою PCI, а не через /dev/nvme0n1, і префікс spdk: тут не означає SPDK. Коли задано бекенд ядра, демон шукає адресу в sysfs на кожному старті і знаходить поточні вузли контролера10.\nЯк назвати диск, щоб назва трималася [osd.0] spdk:0000:05:00.0 пошук у sysfs на кожному старті /dev/nvme0n1 /dev/ng0n1 номери nvme ідуть за порядком опитування, і на цьому хості вони зсунулися: SN750 у жовтні був nvme7, а тепер nvme8. Адресу PCI задає слот. Номер nvme задає порядок опитування, а він не сталий. Тут це важливо. Завантажувальний SN750 у жовтні був nvme7, а тепер nvme8, і молодші номери generic-вузлів теж не йдуть за порядком дисків: ng1n1 має minor 0, а ng0n1 minor 2. Конфігурація, що каже /dev/nvme4n1, після перезавантаження може вказувати на інший диск. Конфігурація, що каже 0000:0b:00.0, не може.\nДалі по одній команді на диск, що записує сховище і реєструє OSD у моніторі:\ncroit-flashstore-tool prepare --dev spdk:0000:05:00.0 --id 0 kernel-cmd /dev/ng0n1: fixed-buffer NVMe passthrough probe ok (IORING_URING_CMD_FIXED on) mkfs: device lba 4096 B x 91573146 (375083606016 B), awupf 1 lba, vwc false, max_xfer 32 lba mkfs: 1 store shards, WAL ring 4096 MiB each osd.0 prepared in /var/lib/ceph/osd/ceph-0 Дві секунди, від root. prepare читає ключ bootstrap з /var/lib/ceph/bootstrap-osd/ceph.keyring16, який pveceph записує лише тоді, коли вперше створює власний OSD, тож без класичних OSD його треба спершу забрати:\nceph auth get client.bootstrap-osd -o /var/lib/ceph/bootstrap-osd/ceph.keyring Шість дисків підготувалися з першого разу. Два відмовили:\ncroit-flashstore-tool: refused: device is not empty (non-zero data in the first 8192 bytes); --wipe destroys it croit-flashstore-tool: refused: device is not empty (non-zero data at 65536 bytes); --wipe destroys it lsblk і blkid обидва показували ці два диски як порожні. На них лежала текстова область метаданих групи томів LVM з давньої лабораторії, давно видаленої, з уже обнуленою міткою на початку. Проба FlashStore читає перші 8 КіБ і ділянки на 64 КіБ і 256 КіБ17, тобто далі, ніж дивляться звичайні інструменти, і вона мала рацію. Відмовлятися від диска, на якому хоч щось є, поки не скажуть --wipe, саме те, що має робити інструмент для OSD. Стирати їх вирішує той, хто володіє дисками, а не інструмент. Коли це вирішили, --wipe підготував обидва приблизно за дві секунди, і вони приєдналися після встановлення нижче, тому знімок панелі й цифри встановлення показують шість.\nДалі запуск:\nsystemctl enable --now croit-flashstore-osd@0 ID CLASS WEIGHT TYPE NAME STATUS REWEIGHT PRI-AFF -1 2.01535 root default -3 2.01535 host pve2 0 nvme 0.33589 osd.0 up 1.00000 1.00000 1 nvme 0.33589 osd.1 up 1.00000 1.00000 2 nvme 0.33589 osd.2 up 1.00000 1.00000 3 nvme 0.33589 osd.3 up 1.00000 1.00000 4 nvme 0.33589 osd.4 up 1.00000 1.00000 5 nvme 0.33589 osd.5 up 1.00000 1.00000 Кожен OSD сам поставив себе під host=pve2 з класом пристрою nvme. Те, що вони розповідають кластеру про себе, варто раз прочитати:\nПоле Монітор і менеджер OSD FlashStore ceph versions 21.2.0 (087cd25db8f1) umbrella (dev - None) 21.2.0 (b060042deb05) umbrella (dev - croit-flashstore-osd) Хто зібрав Proxmox, пакети -pve1 croit, з коміту upstream v21.2.0, який називає README1 osd_objectstore bluestore, з заповненим кожним полем bluestore_bdev_* Що це насправді FlashStore, без BlueFS, без RocksDB Відповідь BlueStore навмисна. flashstore_report_objectstore типово дорівнює bluestore, бо класичні монітори вмикають деякі функції лише тоді, коли так звітує кожен OSD, тож це типове значення тримає змішаний кластер у робочому стані7. Це неправда, і про це варто знати, перш ніж читати метадані кластера і вірити їм.\nЩо з них робить Proxmox Панель OSD у Proxmox показує всі шість: up і in, клас nvme, версія 21.2.0, по 344 ГіБ. А ще вона називає їх FileStore.\nFileStore це сховище об’єктів, яке замінив BlueStore. Proxmox визначає мітку в PVE/API2/Ceph/OSD.pm: якщо метадані OSD мають ключ bluefs, це BlueStore, а все інше FileStore18. FlashStore не має BlueFS, бо під ним немає RocksDB, тож в одному полі він звітує BlueStore, а за іншим отримує мітку FileStore. Жодне не правильне. А панель це те, куди більшість адміністраторів Proxmox дивляться першими.\nСтовпці затримок у простої показують 0 / 0. Під час встановлення нижче ceph osd perf показував затримки commit від 0 до 3 мс на всіх шести.\nStart, Stop і Restart у панелі керують ceph-osd@N, класичним юнітом, а працює не він19. Тож панель це вікно на ці OSD, а не пульт для них. Для всього, що чіпає демони, використовуй systemctl … croit-flashstore-osd@N і CLI, а Create: OSD і Destroy на цих не чіпай узагалі.\nПул, сховище і ВМ на Fisher-Price OS (Windows) Перша PG у кластері, з пулу .mgr менеджера, стала undersized+degraded, щойно OSD піднялися. Винен один вузол. Типове replicated_rule кладе кожну копію на інший хост, а хост один.\nceph osd crush rule create-replicated replicated_osd default osd nvme ceph osd pool set .mgr crush_rule replicated_osd Правило з доменом відмови osd і класом пристрою nvme20 кладе кожну копію на інший OSD, і PG стала active+clean за кілька секунд. На справжньому кластері з трьома і більше хостами залиш правило за хостами і пропусти це.\nУсе далі це звичайний GUI Proxmox. Ceph → Pools → Create: назва flashstore, size 3, min size 2, правило replicated_osd, позначка Add as Storage. Пізніше для тесту навантаження нижче його змінили на size 2, min size 1.\nProxmox за один раз створив пул і визначення сховища RBD, і flashstore з’явився в дереві з 654 ГіБ корисного місця, тобто 2 ТіБ сирого місця, поділені на три копії, мінус накладні витрати. 129 PG стали active+clean, і невдовзі автомасштабувальник зменшив новий пул зі 128 до 32.\nТестовий гість це ВМ на Fisher-Price OS (Windows). Це не вподобання, це те, що значна частка клієнтів справді запускає на своїх пулах Proxmox, тож саме це навантаження й рахується: 16 ГіБ пам’яті, 4 ядра, диск на 60 ГіБ на flashstore з увімкненими discard і iothread. Вона ще й балакуча щодо диска і неефективна з ним, і в цьому суть: тест сховища хоче гостя, що найсильніше налягає на диск.\nВід диска ВМ до Optane Диск ВМ scsi0, 60 ГіБ QEMU + librbd 21.2.0-pve1 пул flashstore replicated_osd, size 2 FlashStore OSD, копія 1 FlashStore OSD, копія 2 Класична librbd від Proxmox говорить з OSD від croit; librustyrbd тут не встановлено. Записи ВМ ідуть через librbd, яку постачає Proxmox, у правило пулу і далі на два OSD FlashStore за size 2. Власну librustyrbd від croit не встановлено, тож це класичний клієнт проти Rust-OSD. Вибірка пулу кожні десять секунд протягом перших п’ятнадцяти хвилин встановлення:\nЗаписи в пул медіана 9,3 МБ/с під час активності, пік 302 МБ/с Операції запису пік 2486 за секунду Читання з пулу пік 60 МБ/с Використано сирого місця 35 ГіБ на шести OSD Стан HEALTH_OK в усіх 90 вибірках Перезапуски OSD 0 Резидентна пам’ять OSD від 565 до 871 МіБ кожен після цього Це числа встановлювача, з ВМ і OSD на одному хості й незачепленими WARN щодо налаштувань, і про швидкість FlashStore вони нічого не кажуть. Кажуть вони те, що класичний клієнт Proxmox провів встановлення операційної системи на Rust-OSD, 35 ГіБ сирого місця, без жодного збою, а це і є твердження, яке цей допис узявся перевірити.\nЩо він робить під навантаженням Встановлення доводить, що воно працює. Воно не каже, як цією ВМ користуватися.\nТож ВМ отримала CrystalDiskMark 9.0.321, тричі: профіль Real World Performance [+Mix], Read\u0026amp;Write [+Mix], файл на 16 ГіБ на C: і суміш читання й запису 70/30, один раз на три проходи і двічі на дев’ять. Цей профіль виконує все по одному запиту за раз в одному потоці, як справді робить робочий стіл чи невелика база даних, а не як робить специфікація.\nНа той час налаштування вже змінилися після встановлення. ВМ мала шість ядер, а пул у GUI змінили на size 2, min size 1 і 256 PG. Size 2 з min size 1 це лабораторне налаштування на одній машині: коли лишається одна копія, пул далі приймає записи, які одна-єдина відмова може потім утратити. Деінде тримай 3 і 2.\nДиск був на типовому для Proxmox режимі без кешу, який типовий ще з Proxmox 222.\nReal World Performance [+Mix], 16 ГіБ 3 проходи 9 проходів знову 9 проходів SEQ1M Q1T1 читання 1279,71 МБ/с 1675,33 МБ/с 1852,32 МБ/с SEQ1M Q1T1 запис 563,67 МБ/с 576,65 МБ/с 580,08 МБ/с SEQ1M Q1T1 суміш 1043,75 МБ/с 1043,28 МБ/с 986,10 МБ/с RND4K Q1T1 читання 5342 IOPS, 186,57 мкс 5659 IOPS, 176,17 мкс 5706 IOPS, 174,73 мкс RND4K Q1T1 запис 2419 IOPS, 412,51 мкс 2405 IOPS, 414,79 мкс 2435 IOPS, 409,77 мкс RND4K Q1T1 суміш 3938 IOPS, 253,13 мкс 3826 IOPS, 260,49 мкс 3936 IOPS, 253,25 мкс Записи і затримка дрібних блоків тримаються в межах приблизно 1 % від запуску до запуску. Послідовне читання за три запуски росте на 45 %. Це перша ознака того, що стовпець читання вимірює не те, чим здається.\nХост вибирали кожні п’ять секунд протягом усіх трьох, з /proc/diskstats для восьми Optane, ceph status для пулу і /proc для кожного процесу й потоку, і ці два погляди розповідають різні історії.\nЗаписи: диск це найменша частина Один випадковий запис 4 КіБ за раз, останній запуск Час на запис з погляду ВМ 409,77 мкс Час на запис на кожному Optane 17 мкс Записів, що доходять до Optane, на один запис ВМ 4,05: дві копії, приблизно по два записи Великі послідовні записи 580 МБ/с з ВМ, 1,14 ГБ/с на Optane, друга копія подвоює Диск це менше 5 % дрібного запису. Решта 393 мкс це дорога: QEMU, librbd, месенджер до OSD, сам OSD і очікування другої копії. Нічого з цього тут окремо не вимірювали, тож число на кожен шматок я не ставитиму. Але це таки каже, що на цій машині Optane не є межею для вводу-виводу по одному запиту, і швидший диск ті 410 майже не зрушив би. Межа перейшла до клієнта, librbd, яку постачає Proxmox, і про це буде ще, коли тут розгорнуть власну librustyrbd від croit.\nЧитання: кеш, а не Optane В останньому запуску прохід випадкового читання 4 КіБ робив 5700 читань за секунду по всьому файлу на 16 ГіБ, а вісім Optane не прочитали взагалі нічого. Послідовний прохід дійшов до 2,2 ГБ/с на пулі, тоді як власні читання дисків упали з 755 МБ/с до нуля. CrystalDiskMark обходить кеш гостя, а диск у QEMU кешу не має, тож пам’ять, що робить роботу, сидить в OSD. flashstore_obj_cache у цій збірці типово ввімкнено, частка файлу на кожен OSD за size 2 близько 2 ГіБ, і кожен OSD виріс приблизно до 2,6 ГіБ. FlashStore не звітує про свої влучання, тож назвімо це майже певним, а не доведеним. Через це ж послідовне читання росло з кожним запуском: більша частина файлу вже була там. Сприймай стовпець читання як цифру кешу, а не сховища.\nCPU: куди пішли ядра Останній запуск, у ядрах Зайнятість хоста OSD vCPU гостя librbd і клієнт Ceph QEMU Простій між проходами 20–24 % 3,3 0,1 0,03 0,03 Випадковий запис 4 КіБ 30 % 3,9 0,38 0,20 0,08 Випадкове читання 4 КіБ 30 % 3,6 0,47 0,39 0,15 Послідовна суміш 41–53 % 3,8 1,5–2,3 0,5 0,12 Три стовпці ВМ узято з її потоків: QEMU називає vCPU гостя, а месенджер і робочі потоки librbd працюють у тому самому процесі.\nСтовпець OSD ледь рухається. Вісім OSD, що опитують, коштують 3,3 ядра, нічого не роблячи, і 3,9 на повну, тож на 16-потоковій машині п’ята частина CPU зникає ще до того, як ВМ щось попросить. Ніщо інше не наблизилося до своєї межі. Найзайнятішим окремим потоком був vCPU гостя на 47 %, а найзайнятіший потік librbd тримався нижче 15 %. За одного запиту за раз межею є очікування, а не робота, і цифра CPU очікування показати не може.\nПам’ять: плануй під пік За всі три запуски Стан HEALTH_OK у кожній вибірці, кожна PG active+clean, жодного перезапуску OSD Використано hugepages 4 ГіБ від початку до кінця Пам’ять хоста, яку ще можна роздати, з однією ВМ на 16 ГіБ від 3,1 до 4,0 ГіБ Рядок hugepages це знову розділ про бюджет, цього разу під навантаженням: 512 МіБ на OSD, а решти 12 ГіБ ніхто не торкнувся.\nЗвичайна пам’ять це число, за яким треба стежити, бо кеш вище з неї й зроблено. Щойно читання затягнуло файл, кожен OSD тримався на близько 2,5 ГіБ, і ось скільки Ceph тримав на хості з 58,7 ГіБ:\nПам’ять Ceph на піку, типова ціль 4 ГіБ Процеси OSD, усі вісім разом 19,9 ГіБ, від 2,4 до 2,6 ГіБ кожен Hugepages, зарезервовані для OSD 16 ГіБ, з них використано 4 ГіБ Монітор і менеджер 0,3 ГіБ Разом 36,2 ГіБ, 62 % хоста Лишилося хосту роздати, з однією ВМ на 16 ГіБ 3,6 ГіБ Вона таки повертається, але не за жодним розкладом, який я міг би побачити. Вона трималася на 19,9 ГіБ 25 хвилин, разом із паузами простою, потім упала до 13,9 ГіБ наприкінці останнього запуску, і хост знову мав 10,2 ГіБ на роздачу. osd_memory_target увесь цей час стояв на типових 4 ГіБ на OSD, тож вісім OSD мали право на 32 ГіБ ще до того, як порахувати хоч одну hugepage. На вузлі, що має ще й ВМ запускати, пік і є бюджетом, який треба розрахувати раніше за диски, і саме тут найбільше болять 12 ГіБ hugepages, що простоюють.\nТри ВМ одночасно, на тіснішому бюджеті Одна ВМ лишає вдосталь місця. На трьох бюджет мусить бути правильним. Тож спершу змінилися два налаштування.\nceph config set osd osd_memory_target 1073741824 # 1 GiB per OSD, was 4 sysctl -w vm.nr_hugepages=2048 # what eight OSDs use, was 8192 Цілі більше нічого не треба: кожен OSD за кілька секунд повідомив нове значення, і їх однаково перезапустили по одному, з усіма 257 PG знову в active+clean перед наступним. З hugepages є підступ. Перед кожним стартом OSD croit-flashstore-prep хоче мати вільним цілий --mem, 2048 МіБ, і збільшує пул, якщо бракує, але ніколи не зменшує його назад. Перезапуск osd.7 після урізання одразу підняв пул назад:\ncroit-flashstore-prep[7]: hugepages 2048kB: free 256 \u0026lt; need 1024, nr_hugepages 2048 -\u0026gt; 2816 Тож нижня межа, що переживає перезапуск чи перезавантаження, це те, що використовують OSD, плюс запас на один старт: 2816 сторінок, 5,5 ГіБ, проти 16 ГіБ, які просить перевірка. Скрипт налаштування нижче тепер резервує саме стільки. Урізання назад до 2048, коли всі вісім піднялися, дає ще 1,5 ГіБ до наступного перезапуску.\nПотім три клони ВМ, по 10 ГіБ кожен, запустили CrystalDiskMark одночасно: Real World Performance [+Mix], три проходи, але на файлі в 1 ГіБ кожен, а не 16 ГіБ. Через це стовпець читання ще більше стає цифрою кешу, тож читай записи.\nCrystalDiskMark, три ВМ одночасно ВМ 104 ВМ 105 ВМ 106 Усі три Одна ВМ окремо SEQ1M Q1T1 запис 346,99 МБ/с 318,99 МБ/с 446,98 МБ/с 1113 МБ/с 580,08 МБ/с SEQ1M Q1T1 читання 796,05 МБ/с 905,03 МБ/с 1160,93 МБ/с 2862 МБ/с 1852,32 МБ/с RND4K Q1T1 запис 1901 IOPS 1928 IOPS 1862 IOPS 5691 IOPS 2435 IOPS RND4K Q1T1 затримка запису 524,56 мкс 517,00 мкс 535,42 мкс 409,77 мкс RND4K Q1T1 читання 3773 IOPS 3916 IOPS 3909 IOPS 11 598 IOPS 5706 IOPS RND4K Q1T1 суміш 2978 IOPS 3027 IOPS 3411 IOPS 9416 IOPS 3936 IOPS Три ВМ отримали в 2,3 раза більше дрібних записів, ніж одна, і кожна заплатила за це близько 27 % затримки. Optane досі не були причиною. Їхній пік був 20 900 записів за секунду по 17 мкс кожен, ті самі 17 мкс, що й з однією ВМ, а найзайнятіший із восьми був зайнятий на 14 %.\nХост, кожні п’ять секунд протягом запуску Типова ціль 4 ГіБ, одна ВМ Ціль 1 ГіБ, три ВМ Найбільший процес OSD 2,7 ГіБ 1,15 ГіБ на піку, 0,8 після Вісім процесів OSD разом 19,9 ГіБ 8,0 ГіБ на піку, 5,8 після Зарезервовано hugepages 16 ГіБ, 4 використано 4 ГіБ, усі використано Пам’ять, віддана ВМ 16 ГіБ 30 ГіБ Пам’ять хоста на роздачу, у найнижчій точці 3,1 ГіБ 14,8 ГіБ Зростання swap немає немає Тож FlashStore таки тримається osd_memory_target. На піку проходу читання він перевищив його на 15 % і повернувся нижче, а кеш робив свою роботу всередині бюджету, а не поза ним. Між ціллю й урізанням 26 ГіБ повернулися до ВМ на тій самій машині.\nCPU у ядрах, три ВМ Зайнятість хоста OSD Гості librbd і клієнт Ceph QEMU Три завантаження Fisher-Price OS (Windows) 81–89 % 3,4–3,6 6,3–7,9 0,4–0,7 0,3 Бенчмарк 42–73 % 3,7–4,5 1,2–4,0 0,4–1,6 0,2–0,4 Простій після 20–24 % 3,3 0,3 0 0 Завантаження трьох гостей навантажило CPU сильніше, ніж бенчмарк на них. Сховище під ними й близько до цього не підійшло, тобто межу задає міні-ПК, як і мало бути від самого початку.\nУсе це одним скриптом Усе вище зібрано в одному скрипті. Дай йому адреси PCI дисків, які хочеш зробити OSD, і він зробить решту, у тому порядку, у якому це робив цей допис, з обома виправленнями для Proxmox усередині.\n\u0026#8615; flashstore-pve-setup.sh: OSD FlashStore на вузлі Proxmox VE flashstore-pve-setup.sh · 17 kB lspci -D -d ::0108 # find the drives bash flashstore-pve-setup.sh --dry-run 0000:05:00.0 # show the plan, change nothing bash flashstore-pve-setup.sh 0000:05:00.0 0000:06:00.0 Перевіряє Записує Запускає Proxmox VE 9 і Ceph 21.2.0 Umbrella ключ bootstrap-osd пробне читання passthrough від імені ceph, щоб обрати kernel-cmd чи kernel кожен диск: NVMe, без кешу запису, не змонтований, без розділів, ніким не утримуваний drop-in «спершу root, потім --setuser» prepare і systemctl enable --now на кожен диск немає даних у ділянках, які читає власна проба FlashStore правило udev на кожен диск, за серійним номером перевірку хоста, що зупиняється лише на тому, що потрібно OSD блоки 4 КіБ одну секцію [osd.N] на диск, по одному фізичному ядру завантаження пакета, звірене з SHA-256 релізу Нічого не знищується, поки ти не попросиш. --format-4k переформатовує диск, що не на 4 КіБ, по одному, кожен у власному юніті, щоб ніщо його не перервало, а --wipe дозволяє перезаписати диск, на якому є дані. --single-node додає правило replicated_osd, а повторний запуск пропускає диски, що вже є OSD.\nЙого перевірили тут, а не просто написали. Він відмовився від SN750 через кеш запису, відмовився від диска osd.7, поки на ньому ще було сховище, а потім, коли osd.7 вичистили і його вузли повернули root, перебудував його з нуля за 10,5 секунди, сам обравши бекенд kernel. Чого він не робить, так це не встановлює Ceph. Цей крок просить тебе погодитися на Technology Preview, і це твоє рішення, а не скрипта.\nЩо треба виправити Ніщо з цього не зупинить наполегливого адміністратора, і все це зупинить зайнятого. Кожен пункт це твердження, яке croit робить кожному, хто завантажує пакет, і на кожен я натрапив з першої спроби.\nДе Що відбувається Що б це виправило юніт systemd User=ceph не може прочитати pmxcfs, тож OSD ніколи не стартує на вузлі pveceph постачати старт «спершу root, потім --setuser» або drop-in для Proxmox запасний шлях kernel-cmd відкочується лише коли відкинуто Identify; на ядрі PVE відкинуто Read, і OSD зупиняється відкочуватися на прямий ввід-вивід за будь-якого відкинутого passthrough вводу-виводу udev документація вимагає правила, що дає ceph вузли простору імен; жодного не постачають постачати правило, прив’язане до налаштованих пристроїв підсумок --check каже, що kernel NVMe «compiled out», хоча це єдиний вкомпільований шлях до сховища виправити мітку код виходу --check завантажувальний SSD провалює тест PLP, тож вихід 0 недосяжний оцінювати лише налаштовані чи кандидатські пристрої hugepages розмір 2048 МіБ на OSD, і prep хоче мати їх вільними на кожному старті; бекенд ядра використовує 512 задати бекенду ядра розмір за тим, що він використовує, і хай prep просить стільки ж sha256sums.txt імена файлів не збігаються з файлами релізу назвати їх так, як опубліковано назва пакета документація каже apt remove flashstore; пакет зветься croit-flashstore-osd одна назва, або правильна в документації довідка flashstore_dev перелічує лише spdk: і file: задокументувати kernel: і spdk: з бекендом ядра Ніщо з цього не нова робота. Демон уже має скидання привілеїв, прямий бекенд і логіку запасного шляху. Їх просто не з’єднали для платформи, на якій більшість людей спробують його першою.\nПрев’ю і є місцем, де це з’ясовують Прев’ю це правильне місце для кожної з цих знахідок, і неправильне місце, щоб їх там лишити. Саме для цього прев’ю й існує: хтось забирає його додому, ставить на те залізо, яке в нього справді є, і записує, де воно падає. Частини, що важать, витримали. Сховище піднялося за мілісекунди, OSD приєдналися до кластера, збудованого чужими інструментами, і встановлення операційної системи пройшло на них без жодного збою.\nСпіткнулося воно на всьому довкола демона. Файл конфігурації на файловій системі, яку юніт не міг прочитати, ядро, що каже «ні» на виклик, який upstream дозволяє, завантажувальний диск, який перевірка ніяк не переставала рахувати. Ніщо з цього не складне. Усе це різниця між ПЗ, що працює, і ПЗ, що працює на твоїй машині, і єдиний спосіб її закрити це тестувати на тих машинах, які в людей є, а не на тих, які ти для нього збудував.\nПри всьому цьому це багатообіцяючий початок. На паршивому міні-ПК, з клієнтським боком досі на класичній librbd і всіма вісьмома дисками на одному лінку PCIe 3.0, Optane тут працюють інтенсивніше, ніж під BlueStore. Коли це розвиватиметься, я до нього повернуся і копну глибше, коли буде замінено більше стеку, і погляну також на CephFS2.\n«Drop-in» це обіцянка, дана адміністраторові, якому ніколи читати вихідний код. Монітори Proxmox, GUI Proxmox, ядро Proxmox і пакет від когось іншого це саме та ситуація, для якої ця обіцянка існує. Тепер вона її майже виконує. Дев’ять дрібних виправлень, і виконає, і я радше буду тим, хто знайшов їх у середу вранці, ніж клієнтом, який знайде їх у п’ятницю ввечері.\ncroit/ceph-rust README — публічне прев’ю з 9 листопада 2026 року, «not yet recommended for production data», вимоги, швидкий старт, продакшен-набір функцій, перевірений коміт Ceph.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\ncroit/ceph-rust release snapshot-2026-11-10 — пакети, використані тут, разом із flashstore_…_debian-trixie_amd64.deb і sha256sums.txt.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\ncroit/ceph-rust — hardware requirements — перевірка енергозалежного кешу запису, hugepages, примітки щодо версії ядра.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\ncroit/ceph-rust — branches and versions — main цілиться у v21.2.0, v20.2.4 у v20.2.4; «The daemon refuses a cluster release outside its supported window.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nProxmox pve-manager, PVE/Ceph/Releases.pm — umbrella у списку з release =\u0026gt; '21.2' і unsupported =\u0026gt; 1.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\ncroit/ceph-rust — build and install packages — дистрибутиви, glibc 2.34, обробка ceph-osd.target, рядок apt remove.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\ncroit/ceph-rust — configuration reference — flashstore_dev, flashstore_lcores, flashstore_report_objectstore і чому воно типово bluestore.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\ncroit-flashstore-osd Cargo.toml — рядок 29, knet = [… \u0026quot;kernel-nvme\u0026quot;].\u0026#160;\u0026#x21a9;\u0026#xfe0e;\ncroit/ceph-rust — first OSD tutorial — перевірка хоста лише на читання; «Exit 0 means no FAIL.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\ncroit/ceph-rust — ADR 0169, kernel NVMe backend — два режими ядра, виміряне порівняння, бюджет алокатора корисного навантаження, розв’язання адреси spdk: і запасний шлях лише для Identify (поправка 6). Додано в репозиторій того ж вечора, що й реліз.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nProxmox VE — Proxmox Cluster File System (pmxcfs) — кластерна файлова система під /etc/pve і її фіксовані власник і права.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\ncroit-flashstore-osd@.service — User=ceph, ExecStartPre=… activate і CapabilityBoundingSet без CAP_DAC_OVERRIDE.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\ncroit-flashstore-osd privdrop.rs — класичне скидання привілеїв через --setuser/--setgroup.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\ncroit/ceph-rust — prepare the host — «the namespace node must be readable and writable by user ceph (udev rule)».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLinux v7.0, drivers/nvme/host/ioctl.c — nvme_cmd_allowed(), правило для непривілейованого passthrough NVMe.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\ncroit/ceph-rust — security — «prepare defaults --keyring to /var/lib/ceph/bootstrap-osd/\u0026lt;cluster\u0026gt;.keyring».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\ncroit/ceph-rust — prepare, activate and list — проба на непорожній пристрій і --wipe.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nProxmox pve-manager, PVE/API2/Ceph/OSD.pm — osdtype дорівнює bluestore лише тоді, коли метадані містять bluefs, інакше filestore.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nProxmox pve-manager, PVE/Ceph/Services.pm — ceph_service_cmd() відображає osd.N на юніт systemd ceph-osd@N.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCeph documentation — CRUSH maps — реплікаційні правила, домени відмови і класи пристроїв.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCrystalDiskMark — дисковий бенчмарк від Crystal Dew World; «Various measure mode (Peak/Real World/Demo)».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nProxmox VE wiki — Performance Tweaks — режими кешу диска: «cache=none seems to be the best performance and is the default since Proxmox 2.X».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\n","permalink":"https://blogs.damiendye.uk/uk/proxmox/flashstore-osd-on-proxmox/","summary":"FlashStore OSD від croit це заміна ceph-osd і BlueStore, написана на Rust, у публічному прев’ю з 9 листопада 2026 року. Тут її розгорнуто гіперконвергентно на одному вузлі Proxmox VE 9.2: Ceph Umbrella 21.2.0 з майстра PVE для монітора й менеджера, OSD FlashStore на дисках Intel Optane P4800X. Тут є те, чому Umbrella єдиний реліз Proxmox, що збігається, форматування дисків у 4 КіБ і скидання контролера, що перериває форматування, що повідомляє croit-flashstore-osd \u0026ndash;check, чому постачений юніт не може прочитати ceph.conf від Proxmox і drop-in, що це виправляє, passthrough NVMe, який відкидає ядро Proxmox, і прямий бекенд, що працює, підготовка OSD за адресою PCI, що з них робить панель OSD у PVE, пул, сховище RBD і ВМ на Fisher-Price OS (Windows), встановлена на нього, CrystalDiskMark зсередини цієї ВМ, звірений із власними лічильниками дисків, пам’ять Ceph з усіма вісьмома активними OSD, три ВМ одночасно з ціллю пам’яті 1 ГіБ і скрипт, що робить усе це, перевірений перебудовою OSD з нуля.","title":"FlashStore OSD на Proxmox VE: чого це коштувало на одному вузлі"},{"content":"Одна консоль, багато клієнтів Якщо ти доглядаєш Proxmox для інших людей, кожен новий вузол це та сама робота, щоразу трохи інакша. Кожен клієнт має власну країну, часовий пояс, ключі root, розмітку дисків, схему назв хостів і ключ підписки. Зроби одне з цього неправильно на свіжому вузлі, і дізнаєшся тоді, коли хтось уперше увійде, або коли аудит уперше спитає, чому годинник відстає на годину.\nЯ побудував це для клієнта з саме такою проблемою, і просив він приємно просто. Кожен майданчик будується з власними назвами, власним паролем root і власними ключами SSH. Ніхто на майданчику не робить нічого хитрого: ставлять сервер у стійку, вмикають у правильний VLAN і живлять. Ніхто не збирає серійних номерів, і ніхто не пише файл відповідей для кожної машини. І сервер, доданий так, опиняється в наявному кластері майданчика.\nЧого вони хотіли Що це дає тут власні назви, пароль і ключі майданчика одна підготовлена відповідь на майданчик, обрана токеном цього майданчика увімкнути в правильний VLAN, увімкнути живлення, піти виявлення через DNS, iPXE і Caddy, що обирає токен за підмережею джерела без серійних номерів, без файлів відповідей на кожну машину відповіді фільтрують лише за продуктом; майданчик визначає мережа новий сервер приєднується до наявного кластера не в цьому дописі: PDM не має хука першого запуску, див. нижче Цей допис охоплює перші три: як довести голий сервер від увімкнення живлення до встановленого вузла Proxmox із налаштуваннями правильного майданчика. Ця половина постає майже перед кожним, хто має більше одного майданчика, MSP чи ні, тож варто мати її окремо. Приєднання до кластера це окрема робота, і розділ про відсутній хук першого запуску пояснює, чому PDM поки не може зробити це за тебе.\nProxmox Datacenter Manager (PDM) 1.1 додав деталь, якої бракувало1. Тепер він може бути сервером відповідей для автоматичного інсталятора Proxmox, тож гола машина завантажується, повідомляє, що вона таке, отримує назад підготовлену відповідь і встановлюється сама, без нікого біля консолі. Для постачальника керованих послуг (MSP), який уже тримає PDM як консоль керування, це очевидне місце для налаштувань інсталяції кожного клієнта.\nЧого ти не хочеш, так це сервера PXE на кожного клієнта. Кожен із них це сервер Trivial File Transfer Protocol (TFTP), конфігурація DHCP, набір файлів завантаження й ISO, яке треба перебудовувати щоразу, коли Proxmox випускає проміжний реліз. Десять клієнтів означають десять таких, які треба підтримувати актуальними. Це не масштабується. Мета тут: один PXE-маєток, один образ завантаження, один запис DNS і один PDM, при цьому кожен майданчик однаково отримує власну відповідь.\nОдин PXE-маєток для кожного майданчика site1 10.10.50.0/24 site2 10.20.50.0/24 site3 10.30.50.0/24 Caddy на 443 на вході приманка, на виході токен за підмережею PDM відповіді за токеном 8443 на loopback Один образ завантаження, один запис DNS і одна служба DHCP для кожного майданчика Готовий дизайн. Кожен майданчик завантажує той самий образ. Caddy визначає, з якого майданчика прийшов запит, за його підмережею і передає PDM токен цього майданчика, а PDM пропонує лише відповіді, прив\u0026rsquo;язані до цього токена. PDM 1.1 сам проходить більшу частину шляху. Він не дотягує у двох місцях, і про обидва варто знати, перш ніж планувати розгортання навколо нього: він не має способу зіставити відповідь із майданчиком і не має способу дати новому вузлу скрипт першого запуску. Цей допис доводить обидва факти з власного коду PDM, обходить перший і будує все на моєму лабораторному PDM з версією 1.1.9, з проксі, захищеним так, щоб частини, які тримають секрети, лишалися зачиненими.\nЩо дає PDM 1.1 Функція живе в Remotes → Automated Installations і має три частини: інсталяції, підготовлені відповіді й токени автентифікації2. Підготовлена відповідь це версія PDM для answer.toml інсталятора, заповнена через форму, а не написана вручну.\nЧастина Що робить Деталь, яка важить Підготовлені відповіді країна, клавіатура, часовий пояс, хеш пароля root, ключі SSH, мережа, розмітка дисків, ключ підписки, дія після інсталяції формуються заново для кожного запиту Цільові фільтри вирішують, яка машина отримує яку відповідь JSON Pointer у системну інформацію інсталятора, glob для значення3 Шаблони MiniJinja в полях FQDN, пошти адміністратора, IP, шлюзу й DNS лічильники на кшталт installation_nr зростають щоразу, коли віддано відповідь4 Токени автентифікації інсталятор надсилає Authorization: Bearer \u0026lt;name\u0026gt;:\u0026lt;secret\u0026gt; окремий тип токенів, не API-токени PDM; кожна відповідь перелічує токени, які приймає2 Інсталяції один запис на запит, з повною системною інформацією переходить від «в процесі» до «завершено», коли вебхук після інсталяції звертається назад Дозволи Sys.Audit щоб дивитися, Sys.Modify щоб змінювати обидва на /system/auto-installation4 Бік інсталятора існує вже якийсь час. Команда proxmox-auto-install-assistant prepare-iso будує ISO, що отримує відповідь через HTTP, а починаючи з ISO Proxmox VE 9.2 вона також уміє видавати ядро, initrd, ISO і boot.ipxe, потрібні iPXE, щоб завантажити все це через мережу5.\nЛічильники це те, чого окремий answer.toml не має взагалі. Одна підготовлена відповідь нумерує кожен хост, який будує, тоді як статичний файл довелося б копіювати на кожну машину. Це справжній крок уперед, і це досі перший підхід. Форма поки не дорівнює окремому файлу відповідей6, а однієї області бракує повністю: у 1.1 немає скрипта першого запуску в жодній формі7. Ця прогалина і майданчик, з яким не вдається зіставити, це наступні два розділи.\nВін не вміє зіставляти за майданчиком PDM обирає відповідь, порівнюючи фільтри із системною інформацією, яку надсилає інсталятор. Тож питання в тому, що є в цьому документі, бо з тим, чого в ньому немає, зіставити неможливо.\nКлюч Що містить Чи може назвати майданчик? product fullname, product (pve, pbs, pmg), enable_btrfs ні iso release, isorelease ні dmi система, базова плата й корпус: назва, серійний номер, UUID, SKU, інвентарний тег лише якщо хтось вписав майданчик в інвентарний тег network_interfaces список {link, mac} лише через реєстр, який ти ведеш сам Це все8,9. Немає адреси, немає імені хоста, немає опції DHCP, нічого про те, куди машину ввімкнено.\nПоля Desktop Management Interface (DMI) виглядають багатообіцяюче, доки не прочитаєш справжні. Кожна з моїх лабораторних інсталяцій повернулася з назвою системи Standard PC (Q35 + ICH9, 2009) і порожніми серійним номером та інвентарним тегом. Справжні сервери їх заповнюють, але тим, що вписав виробник, а не назвою твого клієнта, а зіставлення за серійними номерами чи MAC-адресами працює лише тоді, коли ведеш список кожного корпусу, який будь-коли встановлюватимеш, а це саме та бухгалтерія, яку все це мало прибрати. Для хоста так. Для майданчика ні.\nТо в яку мережу ввімкнено машину? PDM ніколи цього не дізнається. Коли інсталятор надсилає запит, у нього в руках оренда DHCP, і єдиний факт, який MSP знає про новий вузол напевно, якраз той, що лишається позаду. Зіставлення за адресою джерела, IPv4 чи IPv6, це відкритий запит на функцію, і я сам подав його як баг 826310.\nУ правилах вибору ховається друге обмеження, і моя лабораторія вскочила просто в нього.\nЯк PDM обирає відповідь 1. Токен дійсний? увімкнений, не прострочений ні 401 приблизно за пів секунди не записується 2. Відповіді на цьому токені у порядку файлу, і більше нічого 3. Усі фільтри збігаються? лише рядки, glob дозволено перша відповідь сформовано кожен її лічильник +1 жодна 4. Типова на цьому токені? одна типова на весь PDM ні 400: no answer file found записано в Installations Вибір у PDM, з коду. Токен перевіряється першим і обмежує все, що йде після нього, включно з типовою відповіддю. Токен перевіряється першим, і розглядаються лише відповіді, дозволені для цього токена, включно з типовою4. PDM дозволяє рівно одну типову відповідь на всю систему. Тож прапорцем типовості не можна дати кожному майданчику власний запасний варіант. У моїй лабораторії була типова відповідь fallback на власному токені, і її жодного разу не віддали, бо ніщо ніколи не надсилає цей токен. Натомість кожному майданчику потрібен фільтр «ловити все» на власному токені, наприклад /product/product=*, розміщений останнім у файлі.\nЩе дві речі з того самого коду варто тримати в голові під час налагодження:\nПеремагає перший збіг, у порядку файлу, а другий збіг лише пише попередження в журнал. Таке правило діє з 1.1.111. Фільтр зіставляє лише рядки. /product/enable_btrfs булевий і ніколи ні з чим не збігається, а масиву потрібен індекс, як у /network_interfaces/0/mac. На 1.1.9 невідомий чи прострочений токен отримує 401 після навмисної затримки приблизно в пів секунди і не лишає запису. Добрий токен, з яким нічого не збіглося, отримує 400 з тілом no answer file found, і ця спроба записується, з повною системною інформацією. Цей запис найшвидший спосіб прочитати справжні серійні номери й MAC-адреси нового корпусу, перш ніж писати для нього фільтр.\nВін не вміє запускати скрипт першого запуску Сам інсталятор підтримує хук першого запуску. Відповідь може містити розділ [first-boot] із source = \u0026quot;from-iso\u0026quot; або \u0026quot;from-url\u0026quot;, порядком before-network, network-online чи fully-up і необов’язковим відбитком сертифіката9. prepare-iso --on-first-boot вбудовує скрипт в ISO для випадку from-iso.\nPDM ніколи не надсилає цей розділ. Жодного разу. Власний тип відповіді інсталятора має це поле, first_boot: Option\u0026lt;FirstBootHookInfo\u0026gt;12. Підготовлена відповідь PDM не має для нього поля взагалі, а код, що будує з неї відповідь, безумовно пише first_boot: None4. Нічого у формі, нічого в API і нічого у файлі конфігурації, що можна було б додати вручну. Це відкритий запит на функцію, баг 7699, поданий у червні 2026 року і досі не призначений нікому на момент написання7. Майже за п’ять місяців Proxmox на нього не відповів, як і на 8263. Саме ця тиша й непокоїть. Людина, яка знайшла час описати, як твій продукт може стати кращим, заслуговує на відповідь, навіть якщо відповідь «ні», і це звичайна професійна ввічливість. Тим паче, коли пишуть платні клієнти й партнери, які вже вкладають у продукт гроші, перш ніж вкласти в нього ще й свій час.\nІ скрипт на ISO тебе не рятує. Інсталятор налаштовує службу першого запуску лише if let Some(first_boot) = \u0026amp;answer.first_boot, і це єдиний шлях, що будь-коли читає вбудований файл13. prepare-iso не попереджає, коли ти вбудовуєш скрипт, якого жодна відповідь ніколи не попросить. Він лежить на ISO і нічого не робить.\nПрогалина першого запуску Скрипт на ISO prepare-iso --on-first-boot Відповідь від PDM first_boot: None, завжди Інсталятор налаштовує хук першого запуску лише якщо відповідь має [first-boot] скрипт лишається на ISO і не запускається, без попередження Обидві половини доходять до інсталятора, і половина від PDM ніколи не просить хук. Скрипт на ISO мертвий вантаж. Для MSP це важить більше, ніж для будь-кого іншого. Вузол з інсталятора це гола система з хешованим паролем root і кількома ключами SSH. Він не є remote у PDM, він не в кластері, і на ньому немає нічого з твого моніторингу, репозиторіїв чи сховища. У моїй лабораторії всі три вузли завершили інсталяцію й повідомили додому, а remote SITEA у PDM однаково довелося додавати вручну потім.\nТож чим би ти не доводив вузол до ладу, Ansible чи чимось іншим, це має запускатися ззовні: з вебхука після інсталяції, із завдання, що стежить за списком Installations, або людиною. На цьому я зупинюся. Цей допис про те, щоб один PXE-маєток обслуговував кожен майданчик, а прогалина з першим запуском це обмеження, навколо якого треба планувати, а не те, що я тут збираюся замазувати.\nТокен і є майданчик PDM не бачить майданчика, але він обмежує відповіді токеном, а токен це просто заголовок. Хто ставить заголовок, той і обирає, який набір відповідей може отримати інсталятор. Ось і вся хитрість.\nТож постав перед PDM щось, що знає, звідки прийшов запит:\nОбраз завантаження несе токен-приманку catch-all:not-a-secret, однаковий у кожному образі й опублікований просто тут. Це не токен PDM, і сам по собі він нічого не відчиняє. Зворотний проксі Caddy перед PDM дивиться на підмережу джерела запиту відповіді, що несе токен-приманку, і замінює заголовок справжнім токеном цього майданчика. PDM бачить site2-2026q4:\u0026lt;secret\u0026gt; і пропонує лише відповіді site2. Секрет ніколи не наближається до образу завантаження, тож загублена флешка чи скопійоване ISO нікому нічого не дають. Ротація токена майданчика це зміна в Caddy, а не перебудова образу. А додавання майданчика це один рядок конфігурації Caddy і один новий токен у PDM.\nЦе спирається на чесність адреси джерела, а це властивість твоєї мережі, а не проксі. Цей компроміс та інші викладено нижче в розділі «Що лишається вирішити».\nЯк інсталятор знаходить PDM без вшитого URL Один образ для кожного майданчика працює лише тоді, коли образ не несе й адреси PDM. Інсталятор шукає URL відповіді у трьох місцях, по порядку14:\nДе інсталятор знаходить URL відповіді 1. URL вшито в ISO? prepare-iso --url так використано, DHCP і DNS не питають один образ на PDM: тут уникаємо ні 2. Опція DHCP 250? з оренди інсталятора так використано, з опцією 251 для відбитка: тут не надсилаємо ні, або будь-яка помилка DHCP 3. Запит DNS TXT пошуковий домен з resolv.conf proxmox-auto-installer.example.doc URL і відбиток, обидва з DNS Порядок, якого дотримується інсталятор. Не вкладай URL в образ і не надсилай опцію 250, і кожен майданчик провалиться до DNS. Правило Що робить код Що це означає для тебе Порядок URL в ISO перемагає; інакше DHCP; будь-який збій DHCP відступає до DNS14 будуй образ без --url і ніде не надсилай опцію 250 Назви записів proxmox-auto-installer.\u0026lt;search domain\u0026gt; для URL, proxmox-auto-installer-cert-fingerprint.\u0026lt;search domain\u0026gt; для відбитка одна зона, два записи TXT Пошуковий домен перший рядок search з /etc/resolv.conf, розбитий за одним пробілом видавай рівно один домен; два стають однією недійсною назвою Немає домену падає з Could not find search domain in resolv.conf. перевір, що надсилається опція DHCP 15 або 119 Значення TXT dig txt +short, кожну \u0026quot; прибрано, потім обрізано значення TXT, розбите на кілька рядків, лишає пробіл в URL; тримай його одним рядком Відбиток береться з DNS лише тоді, коли й URL прийшов із DNS і жодного не вшито публікуй відбиток сертифіката PDM, який також віддає Caddy Токен надсилається як Authorization: Bearer \u0026lt;token\u0026gt;, зберігається відкритим текстом на ISO9 саме тому образ несе лише токен-приманку Сертифікат, який перевіряє інсталятор, це той, що відповідає на 443. У цьому дизайні Caddy віддає там власний сертифікат PDM, тож клієнт бачить на 443 той самий сертифікат, що PDM має на 8443, і публікувати треба один відбиток.\nБудуємо: PDM, файли завантаження і DNS Приклади використовують домен example.doc і три майданчики, 10.10.50.0/24, 10.20.50.0/24 і 10.30.50.0/24. .doc не справжній домен верхнього рівня, тож підстав свій. PDM, Caddy, dnsmasq і файли завантаження живуть на одному хості, pdm.example.doc на 10.10.50.10, а віддалені майданчики дістаються до нього через ретранслятор DHCP на своїх шлюзах. Керування живе в 10.99.0.0/24 і як таке є єдиною мережею, яка будь-коли бачить вебінтерфейс PDM.\nТокени й відповіді в PDM У Remotes → Automated Installations → Authentication Tokens додай по одному токену на майданчик і дай йому термін дії, що відповідає вікну розгортання. Назва не секретна, і ти бачитимеш її в журналах, тож нехай вона щось каже: site1-2026q4. Скопіюй секрет, коли його покажуть.\nПотім додай підготовлену відповідь на кожен майданчик для кожного продукту, дозволену лише на токені цього майданчика:\nПоле site1, Proxmox VE Дозволений токен site1-2026q4 Цільовий фільтр /product/product=pve Країна, клавіатура, часовий пояс gb, en-gb, Europe/London Доступ root ключі SSH, плюс пароль, заданий через форму, який PDM зберігає й надсилає лише як хеш4 Мережа DHCP, назви інтерфейсів закріплено FQDN {{ product.product }}-site1-{{ installation_nr }}.example.doc Диск твоя розмітка, наприклад дзеркало ZFS на двох названих дисках Вебхук після інсталяції базовий URL https://pdm.example.doc, з відбитком сертифіката PDM Лічильник зростає щоразу, коли віддано відповідь, включно з повторами, тож назви можуть пропускати номери. Мій лабораторний лічильник стоїть на 4 після трьох завершених інсталяцій. Якщо потрібні передбачувані назви, використай FQDN from DHCP і постав ім’я хоста в резервацію DHCP.\nБазовий URL вебхука це єдине налаштування, яке для цього дизайну треба змінити. Природно спрямувати його на сам PDM на порту 8443, як було в моїй лабораторії, а 8443 зараз закриють. Спрямуй його на Caddy.\nФайли завантаження На будь-якому хості Proxmox VE чи Debian з репозиторієм Proxmox:\napt install proxmox-auto-install-assistant xorriso mkdir -p /srv/www/pve-9.2 proxmox-auto-install-assistant prepare-iso proxmox-ve_9.2-1.iso \\ --fetch-from http \\ --answer-auth-token \u0026#39;catch-all:not-a-secret\u0026#39; \\ --pxe-loader ipxe \\ --output /srv/www/pve-9.2/ Без --url, бо його дає DNS. --pxe-loader ipxe передбачає --pxe, а з --pxe вихідним місцем має бути каталог, що вже існує15. Отримуєш чотири файли: vmlinuz, initrd.img, перепакований із zstd у gzip, бо iPXE не вміє завантажувати initrd у zstd, підготовлене ISO з видаленим /boot і меню boot.ipxe, яке за десять секунд за замовчуванням запускає автоматичну інсталяцію і посилається на решту за відносною назвою15. Тримай усі чотири в одному каталозі.\nКожній цільовій машині потрібно досить пам’яті, щоб умістити ядро, initrd і все ISO. Примітки до Proxmox VE 9.2 називають «at least 6 GiB of available memory on the host»5. Ті самі примітки перелічують відому проблему ядра з ISO 9.2 на контролерах megaraid_sas і деяких дисках NVMe в режимі JBOD (just a bunch of disks), з порадою встановлювати з ISO 9.1 й оновлюватися5. Перевір своє залізо, перш ніж довіряти йому мережевий шлях.\nЗаписи DNS У зоні, що відповідає єдиному пошуковому домену, який видає DHCP:\n$ORIGIN example.doc. pdm IN A 10.10.50.10 proxmox-auto-installer IN TXT \u0026#34;https://pdm.example.doc/api2/json/auto-install/answer\u0026#34; proxmox-auto-installer-cert-fingerprint IN TXT \u0026#34;63:C4:D6:...:85:07\u0026#34; Відбиток це власний сертифікат PDM:\nopenssl x509 -in /etc/proxmox-datacenter-manager/auth/api.pem -noout -fingerprint -sha256 Перевір їх так, як це зробить інсталятор:\ndig txt +short proxmox-auto-installer.example.doc @10.10.50.10 # one quoted string, nothing split Caddy, єдині двері до PDM API PDM слухає на [::]:8443, і це константа, вкомпільована в бінарник, а не налаштування16. Прив’язати його до loopback не можна. Тож Caddy стає єдиним входом, а файрвол за цим стежить.\nМаршрути Caddy перед PDM ЗАПИТ ЩО ВІДБУВАЄТЬСЯ POST відповіді, майданчик, приманка переписано на токен майданчика POST post-hook, підмережа майданчика Authorization прибрано, далі вебінтерфейс чи API, керування без змін, вхід у PDM усе інше, звідусіль обірвано, до PDM не доходить порт 8443 ззовні машини відкидає nftables Кожен запит, який бачить Caddy, закінчується в одному з п\u0026rsquo;яти місць. До PDM доходять лише перші три. PDM має рівно два маршрути, що працюють без входу в PDM: POST /api2/json/auto-install/answer з токеном інсталятора і POST …/installations/{uuid}/post-hook з одноразовим токеном у тілі4. Лише до цих двох мережа розгортання взагалі повинна діставатися.\nВикористовуй Caddy 2.11.1 або новіший. 2.11.1 виправив обхід зіставлення шляху, CVE-2026-27587, а це якраз той тип фільтрації за шляхом, на який усе це спирається17. Власний пакет Debian 13 має версію 2.6.2, тож бери його з trixie-backports, де є 2.11.2, або з власного репозиторію Caddy18.\nCaddyfile, /etc/caddy/Caddyfile:\n{ # the admin API on a socket only root can open, never on TCP admin unix//run/caddy/admin.sock|0600 auto_https disable_redirects servers { protocols h1 h2 } } # PDM itself, on the loopback, trusted by its own certificate (pdm_upstream) { reverse_proxy https://[::1]:8443 { transport http { tls_trust_pool file /etc/proxmox-datacenter-manager/auth/api.pem tls_server_name pdm.example.doc } } log_append pdm_status {http.reverse_proxy.status_code} } # one site: name, subnet, PDM token name, PDM token secret (site) { @{args[0]} { method POST path /api2/json/auto-install/answer remote_ip {args[1]} header Authorization \u0026#34;Bearer catch-all:not-a-secret\u0026#34; } handle @{args[0]} { log_append site {args[0]} log_append pdm_token {args[2]} request_header Authorization \u0026#34;Bearer {args[2]}:{args[3]}\u0026#34; import pdm_upstream } } pdm.example.doc, 10.10.50.10 { tls /etc/proxmox-datacenter-manager/auth/api.pem /etc/proxmox-datacenter-manager/auth/api.key import site site1 10.10.50.0/24 site1-2026q4 {env.PDM_SECRET_SITE1} import site site2 10.20.50.0/24 site2-2026q4 {env.PDM_SECRET_SITE2} import site site3 10.30.50.0/24 site3-2026q4 {env.PDM_SECRET_SITE3} @post_hook { method POST path /api2/json/auto-install/installations/*/post-hook remote_ip 10.10.50.0/24 10.20.50.0/24 10.30.50.0/24 } handle @post_hook { request_header -Authorization import pdm_upstream } # the PDM web UI and API, from the management network only @mgmt remote_ip 10.99.0.0/24 handle @mgmt { import pdm_upstream } # anything else, from anywhere, never reaches PDM handle { abort } log { output file /var/log/caddy/pdm.log format filter { request\u0026gt;headers\u0026gt;Csrfpreventiontoken replace REDACTED } } } # boot files, to the sites and management only http://:80 { @hidden path_regexp /\\. handle @hidden { abort } @boot remote_ip 10.10.50.0/24 10.20.50.0/24 10.30.50.0/24 10.99.0.0/24 handle @boot { root * /srv/www file_server } handle { abort } } Частини, що виконують роботу безпеки, і навіщо кожна:\nРядок Навіщо header Authorization \u0026quot;Bearer catch-all:not-a-secret\u0026quot; у матчері майданчика без нього будь-який POST з підмережі майданчика отримує справжній токен; запит має прийти з правильної підмережі і нести токен-приманку request_header Authorization … ставить заголовок, перезаписуючи те, що надіслав клієнт, тож підроблений токен замінюється, а не пересилається далі19 remote_ip безпосередній сусід; не став NAT чи балансувальник між інсталяторами й Caddy20 іменовані блоки handle зберігаються в написаному порядку і взаємовиключні, тож голий handle { abort } має останнє слово21 @mgmt повний інтерфейс і API PDM без змін, тож власний вхід PDM, API-токени й cookies працюють як звичайно; підмережа майданчика нічого з цього не отримує admin unix//…|0600 admin API за замовчуванням на TCP localhost:2019, без автентифікації22 protocols h1 h2 Caddy за замовчуванням слухає UDP 443 для HTTP/322; це вимикає його, а не лишає порт, який ніхто не збирався відкривати @hidden file_server віддає кожен файл у своєму корені, включно з файлами з крапкою, а hide задокументовано як не межу безпеки23 Csrfpreventiontoken replace REDACTED Caddy за замовчуванням приховує Authorization і Cookie у журналі доступу, але не заголовок CSRF від PDM24 Матчер шляху поблажливіший за PDM, і так і має бути. Caddy чистить шлях, декодує відсоткове кодування, зливає повторні скісні риски й ігнорує регістр, перш ніж зіставляти20. Тож //answer, %61nswer і ANSWER усі вважаються маршрутом відповіді, а варіант /api2/extjs/… чи скісна риска в кінці не збігаються з маршрутом майданчика і падають до abort.\nДва рішення там потребують пояснення.\nCaddy віддає сертифікат PDM просто з файлів PDM. Caddy читає api.pem і api.key там, де їх тримає PDM, тож інсталятори, вебхук і браузер бачать сертифікат, який PDM показує на 8443, і немає другої копії, що може розійтися. Очевидний спосіб дати йому такий доступ полягає в додаванні користувача caddy до www-data. У лабораторії я перевірив, до чого насправді дістається це членство в групі, протестувавши кожен файл від імені користувача caddy:\nФайл у /etc/proxmox-datacenter-manager/ Чи читає caddy у www-data remotes.shadow, облікові дані кожного керованого remote так autoinst/tokens.shadow, секрет кожного токена інсталятора так auth/api.key, auth/csrf.key так access/user.cfg, subscriptions/ так Нічогісінько з цього списку не має бути навіть поруч із вебпроксі. Баг у проксі тоді означав би компрометацію кожного кластера, яким керує PDM.\nТож Caddy лишається поза www-data і отримує ACL рівно на два потрібні йому файли, плюс дозвіл проходити крізь два каталоги над ними без права їх переглядати:\n#!/bin/sh # /usr/local/sbin/pdm-cert-acl # let Caddy read PDM\u0026#39;s certificate and key in place, and nothing else of PDM\u0026#39;s set -e D=/etc/proxmox-datacenter-manager; A=$D/auth setfacl -m u:caddy:x \u0026#34;$D\u0026#34; \u0026#34;$A\u0026#34; setfacl -m u:caddy:r \u0026#34;$A/api.pem\u0026#34; \u0026#34;$A/api.key\u0026#34; Перевірено від імені користувача caddy в лабораторії після запуску:\nШлях caddy auth/api.pem, auth/api.key може читати auth/csrf.key, auth/authkey.key, auth/authkey.pub не може читати remotes.shadow, remotes.cfg, autoinst/tokens.shadow, access/user.cfg не може читати перегляд auth/ відмовлено Заковика в поновленні. PDM пише поновлений сертифікат у новий файл і перейменовує його на місце, а новий файл не несе ACL старого. Тож коли PDM поновлює сертифікат, systemd повертає ACL і перезавантажує Caddy, без участі людей.\nПеревірка, що сертифікат і ключ належать одне одному, бо поновлення записує їх по одному:\n#!/bin/sh # /usr/local/sbin/pdm-cert-pair-ok # exit 0 only when PDM\u0026#39;s certificate and key belong together d=/etc/proxmox-datacenter-manager/auth c=$(openssl x509 -noout -pubkey -in \u0026#34;$d/api.pem\u0026#34;) || exit 1 k=$(openssl pkey -pubout -in \u0026#34;$d/api.key\u0026#34;) || exit 1 [ \u0026#34;$c\u0026#34; = \u0026#34;$k\u0026#34; ] Модуль path, що стежить за обома файлами, і служба, яку він запускає:\n# /etc/systemd/system/caddy-pdm-cert.path [Unit] Description=Watch the PDM certificate and key for renewal [Path] PathChanged=/etc/proxmox-datacenter-manager/auth/api.pem PathChanged=/etc/proxmox-datacenter-manager/auth/api.key Unit=caddy-pdm-cert.service [Install] WantedBy=multi-user.target # /etc/systemd/system/caddy-pdm-cert.service [Unit] Description=Let Caddy read the renewed PDM certificate in place, then reload Caddy [Service] Type=oneshot ExecCondition=/usr/local/sbin/pdm-cert-pair-ok ExecStart=/usr/local/sbin/pdm-cert-acl ExecStart=/usr/bin/systemctl try-reload-or-restart caddy.service apt install acl systemctl daemon-reload systemctl enable --now caddy-pdm-cert.path Перевизначення нижче запускає той самий скрипт ACL перед кожним стартом Caddy, тож поновлення, яке сталося, поки Caddy був зупинений, ніколи не пропускається.\nДеталі, завдяки яким це працює, кожну перевірено:\nЧастина Навіщо стежимо за обома файлами перший запис запускає модуль; умова пропускає його, поки пара не збігається, а другий запис запускає знову вже з парою, що збігається ExecCondition невиконана умова пропускає запуск замість позначати його збоєм, тож напівзаписане поновлення ніколи не доходить до Caddy25 PathChanged спрацьовує, коли файл під наглядом, відкритий на запис, закривається26; у лабораторії воно також спрацювало, коли новий файл перейменували поверх старого скрипт ACL на кожному запуску перейменований на місце файл не має ACL, тож Caddy не міг його читати, доки скрипт не виконається знову try-reload-or-restart перезавантажує Caddy, якщо він працює, і нічого не робить, якщо ні reload --force в модулі Caddy без --force Caddy бачить ту саму конфігурацію і далі віддає старий сертифікат Останній рядок не здогад. В одноразовому контейнері Caddy 2.11.7 я підмінив файл сертифіката за спиною працюючого сервера: звичайний caddy reload і далі віддавав старий сертифікат, а caddy reload --force віддав новий. Пакетний модуль уже перезавантажує з --force27, тож залиш цей рядок, якщо перевизначаєш ExecReload.\nУ лабораторії я замінив api.key і api.pem у PDM так, як це робить поновлення: записав нові файли й перейменував їх поверх старих. Одразу після перейменування api.key не мав запису ACL для caddy. Протягом чотирьох секунд модуль path спрацював, ACL повернувся на обидва файли, а Caddy перезавантажився на місці з тим самим ідентифікатором процесу.\nНазва токена й секрет тримаються окремо. Назва йде в Caddyfile, де її журналюють. Секрет іде у файл середовища, який може читати лише root, а Caddy читає його через {env.*} під час запиту.\nЖурналюй, який токен використано, ніколи не секрет Перша версія цього в моїй лабораторії протікала. Пакетний модуль Caddy запускає його як caddy run --environ, а --environ перед стартом друкує все середовище28,27. Кожен перезапуск клав токен майданчика в журнал відкритим текстом: вісім рядків на той момент, коли я порахував. Нічого в журналі доступу, нічого у власних журналах PDM, усе через той один прапорець.\nКуди йдуть секрет токена і назва токена СЕКРЕТ pdm-secrets.env лише root, 0600 середовище Caddy {env.PDM_SECRET_SITE1} заголовок Authorization лише крок loopback до PDM НАЗВА рядок import у Caddyfile журнал доступу, кожен запит \"pdm_token\":\"site1-2026q4\" НІКОЛИ НЕ ПИШЕТЬСЯ В журнал systemd --environ прибрано admin API unix-сокет, 0600 дамп конфігурації лише заповнювач Секрет має одну роботу й один шлях. Журналюєш назву. Тож файл секретів містить секрети і нічого більше:\ninstall -m 0600 /dev/null /etc/caddy/pdm-secrets.env printf \u0026#39;PDM_SECRET_SITE1=%s\\nPDM_SECRET_SITE2=%s\\nPDM_SECRET_SITE3=%s\\n\u0026#39; \\ \u0026#39;\u0026lt;secret1\u0026gt;\u0026#39; \u0026#39;\u0026lt;secret2\u0026gt;\u0026#39; \u0026#39;\u0026lt;secret3\u0026gt;\u0026#39; \u0026gt; /etc/caddy/pdm-secrets.env а перевизначення модуля прибирає --environ і дає admin-сокету дім:\n# systemctl edit caddy [Service] EnvironmentFile=/etc/caddy/pdm-secrets.env RuntimeDirectory=caddy RuntimeDirectoryMode=0700 # PDM\u0026#39;s certificate and key, read where PDM keeps them ExecStartPre=+/usr/local/sbin/pdm-cert-acl # the access log directory and its files belong to Caddy ExecStartPre=+/usr/bin/install -d -o caddy -g caddy -m 0750 /var/log/caddy ExecStartPre=+/usr/bin/chown -R caddy:caddy /var/log/caddy ExecStart= ExecStart=/usr/bin/caddy run --config /etc/caddy/Caddyfile ExecReload= ExecReload=/usr/bin/caddy reload --config /etc/caddy/Caddyfile --force + запускає ці рядки від root, перш ніж Caddy стартує від власного користувача. Рядки для журналу важать, щойно щось інше торкається /var/log/caddy: журнал, ротований від root, чи файл, створений вручну під час тестування, лишають Caddy без змоги відкрити власний журнал доступу. У лабораторії я поставив pdm.log власника root:root і перезапустив Caddy; той повернувся як caddy:caddy, і Caddy не записав жодної помилки дозволів.\nПісля редагування перезапускай, а не перезавантажуй, бо перезавантаження не перечитує середовище. Використовуй {env.NAME}, ніколи {$NAME}: друга форма підставляється під час адаптації Caddyfile, тож секрет потрапляє в JSON-конфігурацію, файл автозбереження і все, що їх вивантажує29. Тут важить і admin-сокет. {env.*} розв’язує будь-що в середовищі процесу без списку дозволених, тож будь-хто, хто може завантажити конфігурацію через TCP admin API, може змусити Caddy прочитати йому секрет30.\nКожен рядок відповіді в журналі доступу тепер називає майданчик і токен, а сам заголовок приховано. З лабораторії, де обидва звуться siteA:\n{\u0026#34;site\u0026#34;:\u0026#34;siteA\u0026#34;,\u0026#34;pdm_token\u0026#34;:\u0026#34;siteA\u0026#34;,\u0026#34;pdm_status\u0026#34;:400,\u0026#34;status\u0026#34;:400, \u0026#34;request\u0026#34;:{\u0026#34;headers\u0026#34;:{\u0026#34;Authorization\u0026#34;:[\u0026#34;REDACTED\u0026#34;]}}} Я це перевірив, а не повірив на слово. На копії цієї конфігурації в podman з фіктивними секретами, а потім у лабораторії, я надсилав відповіді всіма шляхами, які спали на думку: звичайно, з увімкненим журналюванням debug, з вимкненим upstream для 502, з перезавантаженням і з перезапуском. Потім я порахував кожен секрет у журналі systemd, журналі доступу, каталогах конфігурації й даних Caddy та в адаптованому JSON. Кожен лічильник показав нуль. Контрольний запуск, та сама конфігурація, стартована з --environ, надрукував секрет двічі.\nДва застереження з цього тесту. З увімкненим debug Caddy журналює всю адаптовану конфігурацію, тож токен-приманка і заповнювачі {env.*} там з’являються; значення за ними не з’явилися. Однаково тримай debug вимкненим у продакшені. А якщо секрет уже пройшов через журнал, як мій, згенеруй його заново в PDM і онови файл; видалення рядків журналу не є виправленням.\nФайрвол: 8443 ніколи не залишає машину У моїй лабораторії файрволу не було взагалі, тож 8443 відповідав кожному хосту в мережі розгортання, і кожне правило в Caddyfile можна було обійти. Закрий його. nftables, з типовою політикою drop:\n#!/usr/sbin/nft -f flush ruleset define SITES = { 10.10.50.0/24, 10.20.50.0/24, 10.30.50.0/24 } define MGMT = { 10.99.0.0/24 } table inet filter { chain input { type filter hook input priority filter; policy drop; iifname \u0026#34;lo\u0026#34; accept ct state established,related accept ct state invalid drop meta l4proto { icmp, ipv6-icmp } accept # PDM\u0026#39;s API listens on [::]:8443 and cannot be rebound tcp dport 8443 counter drop ip saddr $MGMT tcp dport { 22, 80, 443 } accept udp dport { 67, 69 } accept ip saddr $SITES meta l4proto { tcp, udp } th dport 53 accept ip saddr $SITES tcp dport { 80, 443 } accept } chain forward { type filter hook forward priority filter; policy drop; } } З’єднання PDM до його remote вихідні, тож закриття вхідного 8443 там нічого не змінює. Уперше завантажуй новий набір правил із відкатом за таймером, щоб помилка коштувала тобі дев’яносто секунд, а не поїздку до консолі:\nsystemd-run --unit=nft-rollback --on-active=90 /usr/sbin/nft flush ruleset nft -f /etc/nftables.conf # still connected? then: systemctl stop nft-rollback.timer \u0026amp;\u0026amp; systemctl enable nftables У лабораторії, після всього цього:\nПеревірка Результат 8443 з мережі керування з’єднання немає; лічильник drop зростає вебінтерфейс PDM через Caddy на 443, з мережі керування вхід працює, усе працює вебінтерфейс PDM з адреси майданчика обірвано POST відповіді з майданчика з токеном-приманкою доходить до PDM з токеном майданчика: навмисна проба без збігу отримала 400 no answer file found та сама проба просто в PDM з вигаданим токеном 401 POST відповіді без токена-приманки чи як /api2/extjs/… обірвано файли, де живуть секрети PDM, прочитані як caddy жоден не читається секрет майданчика в журналі systemd, журналі доступу чи даних Caddy після зміни 0 DHCP, iPXE і петля Прошивка сервера вміє отримати свій перший файл лише через TFTP, тож TFTP віддає маленький завантажувач iPXE, а iPXE отримує все інше через HTTP. Пастка в тому, що iPXE надсилає власний запит DHCP, і сервер, який відповідає на нього знову ipxe.efi, ганяє машину по колу вічно. Сервер DHCP мусить розрізняти прошивку і iPXE.\nЧому звичайна відповідь DHCP зациклюється Звичайна відповідь: петля прошивка просить файл завантаження відповідь: ipxe.efi iPXE стартує й питає знову та сама відповідь: ipxe.efi сервер не відрізняє прошивку від iPXE, тож ніколи не йде далі З урахуванням iPXE: працює прошивка просить файл завантаження не iPXE: ipxe.efi через TFTP iPXE питає знову, з опцією 175 відповідь: URL boot.ipxe, через HTTP ядро, initrd та ISO, потім інсталяція Той самий запит двічі отримує ту саму відповідь двічі. Опція 175, яку надсилає лише iPXE, дає серверу відрізнити другий запит від першого. Сервер DHCP Як він розриває петлю dnsmasq позначає тегом запити з опцією 175, яку надсилає лише iPXE, і віддає їм URL HTTP31 ISC dhcpd if exists user-class and option user-class = \u0026quot;iPXE\u0026quot;32 FortiGate поле filename приймає одне значення, тож збери завантажувач iPXE з вбудованим URL і віддавай його всім dnsmasq, що обслуговує власну мережу та дві інші через ретранслятори, лише з резерваціями:\n# /etc/dnsmasq.d/pxe.conf local=/example.doc/ domain=example.doc address=/pdm.example.doc/10.10.50.10 txt-record=proxmox-auto-installer.example.doc,\u0026#34;https://pdm.example.doc/api2/json/auto-install/answer\u0026#34; txt-record=proxmox-auto-installer-cert-fingerprint.example.doc,\u0026#34;63:C4:D6:...:85:07\u0026#34; dhcp-authoritative dhcp-range=set:site1,10.10.50.0,static,255.255.255.0,1h dhcp-range=set:site2,10.20.50.0,static,255.255.255.0,1h dhcp-range=set:site3,10.30.50.0,static,255.255.255.0,1h dhcp-option=tag:site1,option:router,10.10.50.1 dhcp-option=tag:site2,option:router,10.20.50.1 dhcp-option=tag:site3,option:router,10.30.50.1 dhcp-option=option:dns-server,10.10.50.10 dhcp-option=option:domain-search,example.doc dhcp-match=set:ipxe,175 dhcp-match=set:efi64,option:client-arch,7 dhcp-match=set:efi64,option:client-arch,9 dhcp-boot=tag:efi64,tag:!ipxe,ipxe.efi dhcp-boot=tag:ipxe,http://pdm.example.doc/pve-9.2/boot.ipxe # no option 250 anywhere: DNS discovery depends on it enable-tftp tftp-root=/srv/tftp tftp-secure # TFTP block-size ceiling: lower it for an IPsec or other tunnel in the path tftp-mtu=1500 # dhcp-host=\u0026lt;mac\u0026gt;,\u0026lt;ip inside that site\u0026#39;s /24\u0026gt;,\u0026lt;hostname\u0026gt; dhcp-host=aa:bb:cc:dd:ee:01,10.10.50.21,pve01 dhcp-host=aa:bb:cc:dd:ee:02,10.20.50.21,pve01 static означає без пулу: адресу отримують лише зарезервовані машини, і це тримає чужих подалі від шляху інсталятора. Адреса кожної резервації має лежати в /24 власного майданчика, бо саме за цією адресою Caddy обирає токен. Вузол, зарезервований у неправильній підмережі, отримує відповідь чужого майданчика або нічого.\nРезервації це список MAC-адрес, а це бухгалтерія на кожну машину саме того типу, якого клієнт не хотів. Якщо «увімкни й завантаж» справді вимога, дай натомість кожному VLAN розгортання невеликий динамічний діапазон, наприклад dhcp-range=set:site1,10.10.50.100,10.10.50.150,255.255.255.0,1h. Майданчик однаково визначається підмережею, тож Caddy однаково обирає правильний токен, а шаблон FQDN з installation_nr дає вузлу назву. Ціна це перший рядок розділу «Що лишається вирішити»: будь-що, ввімкнене в цей VLAN, тепер може отримати відповідь майданчика, тож воротами стає сам VLAN.\ndnsmasq домовляється з клієнтом про розмір блоку TFTP. Якщо його не чіпати, він обмежує цей розмір MTU власного інтерфейсу31, і це працює, доки шлях до майданчика не виявиться меншим за лінк, на якому сидить dnsmasq. Тож конфігурація задає стелю явно як tftp-mtu=1500, а не успадковує її. Так число опиняється перед очима того, хто доглядає майданчик за тунелем IPsec чи за чимось іншим, що відкушує від пакета, і він знижує його до того, що шлях справді проносить, а не дізнається про це з передачі, яка зависає посередині. Якщо ROM якоїсь мережевої карти поводиться дивно, коли опцію взагалі надано, tftp-no-blocksize вимикає домовленість.\nСкопіюй ipxe.efi з пакета Debian ipxe у /srv/tftp, із власником dnsmasq, бо tftp-secure відмовляє в усьому іншому. Надавай перевагу UEFI. Secure Boot потребує підписаного iPXE, тож або налаштуй це, або вимкни Secure Boot на час інсталяції й увімкни потім.\nЗавантаж, спостерігай і що ламається Перш ніж чіпати залізо, протестуй однією віртуальною машиною в мережі майданчика: прошивка UEFI, 8 GiB пам’яті й мережева карта в цьому VLAN відтворюють увесь ланцюг.\nЩо відбувається під час завантаження Цільовий сервер мережеве завантаження UEFI 6 GiB або більше 1. DHCP і TFTP оренда, один пошуковий домен, потім ipxe.efi 2. HTTP на порту 80 boot.ipxe, vmlinuz, initrd.img і ISO, у пам’ять 3. DNS два записи TXT: URL відповіді й відбиток PDM 4. Caddy на 443, потім PDM відповідь зараз, вебхук після перезавантаження Чотири окремі розмови, кожна з власним місцем, куди дивитися, коли вона ламається. І все це по порядку, від увімкнення живлення до інсталяції, яку PDM позначає Finished:\nВід увімкнення живлення до повної інсталяції Ціль dnsmasq, :80 Caddy :443 PDM DHCP: оренда TFTP: ipxe.efi iPXE питає знову HTTP: ядро, initrd, ISO інсталятор: один домен DNS: два записи TXT POST, токен-приманка токен майданчика в процесі сформована відповідь, через Caddy інсталяція на диск вебхук, одноразовий токен Authorization прибрано Finished перезапуск; 1-й старт активує ключ Кожен крок по порядку. Вебхук надсилається з інсталятора до перезавантаження, тож Finished означає «встановлено», а не «завантажено»; ключ підписки активується потім, під час першого запуску. Крок Що відбувається Куди дивитися 1 прошивка отримує ipxe.efi через TFTP, iPXE отримує boot.ipxe через HTTP journalctl -u dnsmasq, журнал Caddy 2 за десять секунд меню запускає автоматичний пункт; ядро, initrd і ISO завантажуються чотири GET, один із них близько 1,6 GB 3 інсталятор бере оренду, читає пошуковий домен, запитує обидва записи TXT /tmp/fetch_answer.log на цільовій машині 4 POST до Caddy, токен замінено, PDM обирає відповідь журнал Caddy називає токен; PDM показує нову інсталяцію 5 іде інсталяція /tmp/auto_installer.log, /tmp/install-low-level-start-session.log 6 ще в інсталяторі вебхук звертається назад через Caddy, потім машина перезавантажується33 інсталяція переходить у Finished з доданими дисками, мережевими картами й ключами хоста SSH При збої інсталятор падає в оболонку, якщо відповідь не задає Reboot on Error, тож лиши це вимкненим, поки тестуєш.\nСимптом Імовірна причина Could not find search domain in resolv.conf. DHCP не надіслав домену запит TXT для назви з пробілом усередині більше одного пошукового домену Got empty response. запису немає, не та зона, або опція 6 вказує на інший сервер DNS URL з пробілом посередині значення TXT розбите на кілька рядків журнал каже, що URL прийшов із DHCP десь у мережі є опція 250 помилка TLS на POST відбиток у DNS не відповідає поточному сертифікату Caddy з’єднання закрито без відповіді Caddy його обірвав: не та підмережа, немає токена-приманки або маршрут не є одним із двох 400 no answer file found токен спрацював; жоден фільтр не збігся, і на цьому токені немає типової відповіді не та відповідь фільтри перекриваються; перемагає перший у файлі статус лишається «в процесі» базовий URL вебхука досі вказує на 8443 iPXE перезавантажує себе вічно сервер DHCP не відрізняє iPXE від прошивки тайм-аут TFTP PXE-E32 неправильний next-server або заблоковано UDP 69 Додаємо Proxmox Backup Server Нічого в цьому шляху не специфічне для Proxmox VE. Збери другий набір файлів завантаження з ISO PBS 4 з тим самим токеном-приманкою в /srv/www/pbs-4/ і додай одну відповідь PBS на майданчик з фільтром /product/product=pbs, дозволену на токені цього майданчика. Записи DNS, Caddy, токени й файрвол не змінюються.\nДля майданчика з обома щось має вирішувати, який продукт отримує машина, і меню для цього не годиться. choose в iPXE без --timeout вічно чекає на натискання клавіші біля консолі, а це протилежність автоматичності.\nНехай натомість вирішує резервація DHCP. Ти вже резервуєш кожен вузол за MAC-адресою, тож познач тегом вузли PBS і надсилай кожному тегу власний boot.ipxe:\n# /etc/dnsmasq.d/pxe.conf, replacing the single iPXE dhcp-boot line dhcp-host=aa:bb:cc:dd:ee:01,10.10.50.21,pve01 dhcp-host=aa:bb:cc:dd:ee:31,set:pbs,10.10.50.31,pbs01 dhcp-boot=tag:ipxe,tag:!pbs,http://pdm.example.doc/pve-9.2/boot.ipxe dhcp-boot=tag:ipxe,tag:pbs,http://pdm.example.doc/pbs-4/boot.ipxe set:pbs на резервації позначає тегом цю одну машину31, а tag:!pbs тримає два рядки завантаження взаємовиключними, тож питання, який із них переможе, не постає. Власний boot.ipxe кожного продукту вже запускає свій автоматичний пункт за десять секунд без нікого біля клавіатури15.\nЦі рядки проходять dnsmasq --test на 2.91, версії в моїй лабораторії, і відповідають задокументованому синтаксису dhcp-host і тегів. Я ще не завантажував через них вузол PBS по PXE, тож спробуй одну позначену машину, перш ніж на це покладатися.\nДалі шлях той самий, що й для Proxmox VE. Інсталятор PBS надсилає \u0026quot;product\u0026quot;: \u0026quot;pbs\u0026quot;, Caddy підставляє токен майданчика, а PDM обирає відповідь PBS цього майданчика. Ніщо ніде не обирається вручну, а продукт, яким стане вузол, записано в одному місці, у резервації, поруч з його адресою.\nЩо вирішує Де це живе яке ISO завантажується тег set:pbs на резервації DHCP відповіді якого майданчика застосовуються підмережа джерела, через заміну токена в Caddy яка відповідь у межах майданчика фільтр /product/product=pbs у PDM Інсталятор ставить лише операційну систему. Сховище даних, на носії окремо від диска ОС, це ще одна робота для того, що доводить вузол до ладу, а це повертає нас до відсутнього хука першого запуску.\nЩо лишається вирішити Ніщо з цього не заважає тобі використовувати цей дизайн. Кожен пункт потребує когось, хто за нього відповідає.\nКомпроміс Чому це важить Що робити адреса джерела це ворота будь-що у VLAN розгортання, або здатне підробити адресу в ньому, може отримати відповідь майданчика: хеш пароля root, ключі SSH, ключ підписки ізолюй VLAN, port security, лише резервації, термін дії токенів, вимикай токени між розгортаннями токен-приманка не секрет він є в кожному образі й на цій сторінці він лише відсіює випадкові запити; ворота це підмережа і справжній токен, що зберігається в Caddy Caddy може читати ключ PDM віддавати сертифікат PDM означає, що проксі читає цей один закритий ключ ACL лише на api.pem і api.key, більше нічого з PDM не читається, хост замкнено; ключ ніколи його не покидає DNS довіряють підроблений запис TXT спрямовує інсталятор деінде, а якщо й відбиток приходить із DNS, підробник контролює обидва захисти DNS розгортання або вший відбиток PDM через --cert-fingerprint і перебудовуй, коли він змінюється файли завантаження йдуть звичайним HTTP їх можна прочитати чи підмінити в дорозі тримай мережу ізольованою; iPXE через HTTPS, якщо твоя збірка це підтримує токен вебхука 16 випадкових байтів, одноразовий, стирається після звернення, але без обмеження в часі4 підчищай старі записи інсталяцій ключ підписки активується один раз, коли піднімається мережа; при збої ключ видаляється, а модуль падає, без повтору34 перевіряй systemctl --failed на нових вузлах PDM єдина точка сьогодні він не має високої доступності збій зупиняє нові інсталяції, а не робочі кластери одна мережева карта керування відповідь не має опцій bond, VLAN чи bridge9 це робота після інсталяції, з тією самою проблемою першого запуску Перший підхід, на якому варто будувати як слід Це перший реліз функції, і як для першого релізу він добрий. Форма відповіді розумна, правила вибору зрозумілі, щойно їх прочитаєш, вебхук працює, а код відкритий, і це єдина причина, чому все наведене вище вдалося довести, а не вгадати. Серія патчів пройшла чотири раунди в публічному списку розсилки, перш ніж її прийняли35, і це видно.\nПрогалини це дві речі, що перетворюють сервер інсталяції на систему розгортання. Майданчик це одиниця, якою мислить MSP, і інсталятор стоїть просто на ньому, коли питає. Хук першого запуску це різниця між вузлом, який встановлено, і вузлом, який доведено до ладу. Обидва вже наполовину тут: інсталятор має хук, а PDM має токен. Я чекаю, що з’являться обидва, і коли це станеться, Caddy посередині цього дизайну стане простішим, а не зникне, бо проксі, що тримає секрети PDM поза досяжністю, а 8443 поза мережею, варто мати в будь-якому разі.\nПричина робити так тим часом та, що на самому початку. Десять серверів PXE це десять речей, що застарівають із десятьма різними швидкостями, і на кожну дивляться лише тоді, коли вона ламається в той день, коли вона тобі потрібна. Один маєток, який підтримують актуальним один раз, з майданчиком, що визначає мережа, і секретами в одному місці, це менше того, за що відповідати. Менше того, за що відповідати, це менше того, що можна зробити неправильно, а в цьому й більша частина роботи.\nProxmox — Proxmox Datacenter Manager 1.1 press release — автоматичні інсталяції з новою вкладкою в Remotes, що відстежує поступ інсталяції.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nProxmox Datacenter Manager documentation — Automated Installations — підготовлені відповіді, цільові фільтри, шаблони і «a dedicated token mechanism, separate from the normal API tokens».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nproxmox-datacenter-manager, lib/pdm-api-types/src/auto_installer.rs — ключі цільових фільтрів «are JSON Pointers as per [RFC6901], the values globs»; лише одна типова відповідь.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nproxmox-datacenter-manager, server/src/api/auto_installer/mod.rs — перевірка токена до типової відповіді, перший збіг у порядку файлу, first_boot: None, зростання лічильників, одноразовий токен post-hook, два маршрути, доступні без входу в PDM, і привілеї Sys.Audit/Sys.Modify на /system/auto-installation.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nProxmox VE Roadmap — Proxmox VE 9.2 — підготовка PXE та iPXE, «at least 6 GiB of available memory on the host», і відома проблема з megaraid_sas та NVMe у JBOD.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nProxmox Bugzilla 8078 — «prepared answer disk setup does not allow to specify multiple udev filters with same name», відкрито 26 вересня 2026, статус NEW на 7 листопада 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nProxmox Bugzilla 7699 — «Add on-first-boot parameter to the PDM remote installation», відкрито 12 червня 2026, статус NEW на 7 листопада 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nproxmox, proxmox-installer-types/src/lib.rs — SystemInfo: продукт, ISO, DMI і мережеві інтерфейси.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nProxmox VE wiki — Automated Installation — опції [first-boot] і [network], системна інформація, що надсилається, і те, що токен автентифікації «is stored in plain text inside the prepared ISO».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nProxmox Bugzilla 8263 — «[Feature Request] auto-installer: client source IP (or X-Forwarded-For) for answer selection and templating», відкрито 31 жовтня 2026, статус NEW на 7 листопада 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nproxmox-datacenter-manager, debian/changelog — 1.1.1: «match prepared answers in the configuration\u0026rsquo;s stable order and let the first match win».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nproxmox, proxmox-installer-types/src/answer.rs — AutoInstallerConfig містить first_boot: Option\u0026lt;FirstBootHookInfo\u0026gt;.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\npve-installer, proxmox-auto-installer/src/bin/proxmox-auto-installer.rs — виконуваний файл першого запуску налаштовується лише тоді, коли відповідь має розділ first_boot.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\npve-installer, proxmox-fetch-answer/src/fetch_plugins/http.rs — спершу URL з ISO, потім DHCP, потім DNS; назви TXT; розбір resolv.conf; dig txt +short з прибраними лапками; заголовок Bearer.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\npve-installer, proxmox-auto-install-assistant/src/main.rs — --pxe-loader передбачає --pxe, вихідний каталог, initrd у gzip, /boot прибрано з ISO, і згенерований boot.ipxe.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nproxmox-datacenter-manager, server/src/bin/proxmox-datacenter-api/main.rs — PDM_LISTEN_ADDR це невизначена адреса IPv6 на PDM_PORT, 8443, зафіксована під час збирання.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCaddy releases — 2.11.1 виправив CVE-2026-27587, обхід матчера шляху через escape-послідовності.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nDebian sources — caddy — 2.6.2-12+deb13u1 у trixie, 2.11.2-1~bpo13+1 у trixie-backports.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCaddy — request_header — «With no prefix, the field is set (overwritten).»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCaddy — Request matchers — remote_ip це безпосередній сусід; зіставлення шляху без урахування регістру, з URL-декодуванням, очищенням і злиттям повторних скісних рисок.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCaddy — handle — «only the first matching handle block will be evaluated».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCaddy — Global options — admin за замовчуванням на localhost:2019; protocols за замовчуванням h1 h2 h3.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCaddy — file_server — hide не слід вважати межею безпеки.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCaddy — log — Cookie, Set-Cookie, Authorization і Proxy-Authorization журналюються як REDACTED.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nsystemd.service — ExecCondition= — при коді виходу від 1 до 254 «the remaining commands are skipped and the unit is not marked as failed».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nsystemd.path — PathChanged= — «activated if the file which was open for writing gets closed».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\ncaddyserver/dist, init/caddy.service — ExecStart=/usr/bin/caddy run --environ --config /etc/caddy/Caddyfile.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCaddy — Command line — --environ друкує середовище перед стартом.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCaddy — Caddyfile concepts, environment variables — {$NAME} підставляється до розбору Caddyfile.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\ncaddyserver/caddy, replacer.go — будь-який ключ, що починається з env., передається в os.Getenv.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\ndnsmasq manual page — dhcp-match, dhcp-boot, dhcp-host з set:\u0026lt;tag\u0026gt;, enable-tftp, tftp-secure, tftp-mtu, tftp-no-blocksize і діапазони static.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\niPXE — Configuring ISC dhcpd — if exists user-class and option user-class = \u0026quot;iPXE\u0026quot; віддає iPXE скрипт, а прошивці завантажувач.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\npve-installer, unconfigured.sh — proxmox-post-hook запускається одразу після успішного proxmox-auto-installer, до перезавантаження.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\npve-installer, proxmox-first-boot/proxmox-first-boot-subscription — «always drop the staged key, regardless of whether activation succeeded».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\npdm-devel — \u0026ldquo;add auto-installer integration\u0026rdquo;, v4, 40 patches — серія, що додала функцію, з примітками змін від v3 до v4.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\n","permalink":"https://blogs.damiendye.uk/uk/proxmox/pdm-unattended-installs-for-many-sites/","summary":"Proxmox Datacenter Manager 1.1 уміє віддавати файли відповідей автоматичному інсталятору Proxmox, і це робить його природним сервером інсталяції для MSP, що опікується багатьма майданчиками клієнтів. Сценарій: клієнт хотів, щоб кожен майданчик будувався з власними назвами, паролем root і ключами SSH, просто ввімкнувши сервер у правильний VLAN і завантаживши його, без збирання серійних номерів і без файлу відповідей на кожну машину; цей допис охоплює половину із завантаженням та інсталяцією, а приєднання до кластера лишає осторонь. PDM не вміє зіставляти відповідь із майданчиком і не вміє дати вузлу скрипт першого запуску, і обидва факти показано з власного коду PDM. Попри це тут будується один PXE-маєток для всіх майданчиків: один образ завантаження з несекретним токеном-приманкою, виявлення через DNS TXT, щоб образ не містив URL, і проксі Caddy, що за підмережею джерела замінює токен-приманку на власний bearer-токен майданчика. Описано, як PDM обирає відповідь, prepare-iso для iPXE, записи DNS, dnsmasq і петлю iPXE, захищений Caddy, що віддає весь інтерфейс PDM на 443 при закритому nftables порту 8443, журналювання того, який токен використано, лише за назвою, вебхук після інсталяції, додавання Proxmox Backup Server і компроміси, що лишаються.","title":"Один PXE-маєток для кожного клієнта: автоматичні інсталяції з Proxmox Datacenter Manager"},{"content":"Reform UK каже, що це партія звичайних працюючих людей, яких підвели. Тож я зробив те, що роблю з будь-якою такою заявою. Прочитав, що партія насправді записала, що її люди сказали під запис, що реєстри показують про те, хто за неї платить, і що знайшли суди, регулятори й журналісти. Потім поклав усе це поруч.\nЦе публіцистичний текст, і він аргументує жорстко. Але кожен факт у ньому має пронумероване джерело внизу сторінки, а там, де запис чогось не підтверджує, я так і кажу. Де суд чи регулятор став на бік Reform, це тут теж є. Звинувачення, яке ховає те, що працює проти нього, не є звинуваченням.\nПитання в тому, для кого насправді Reform? Почни з того, що вона зробила б з людьми, які вже тут живуть.\nВідібрати, подати знову або виїхати Безстроковий дозвіл на проживання (indefinite leave to remain, ILR) люди отримують після років законного життя й роботи тут. Саме він дає медсестрі, інженерові чи доглядальниці змогу перестати продовжувати візу і просто жити далі. Reform забрала б його.\nНе просто припинила б нові видачі. Забрала б у тих, хто його вже має. Це власне формулювання партії, у її власному програмному документі з квітня 2026 року:\n\u0026ldquo;Reform will abolish ILR as an immigration category completely, meaning no new awards and those currently holding it will have it rescinded… Anyone currently with ILR will need to reapply for visas that do not offer recourse to welfare.\u0026rdquo;1\nСторінка з її політикою каже те саме коротше: «abolish ILR and rescind existing awards», «5 year renewable visa» з «higher salary thresholds» і «no recourse to benefits for foreign nationals»2.\nЩо стається з тим, хто тут осів Власні слова Reform Їхній статус осілості «rescinded»1 Що вони мусять зробити «reapply for visas that do not offer recourse to welfare»1 Віза, на яку можна подати знову «5 year renewable», з тестами на вільне володіння мовою і «good character»2 Потрібна зарплата пороги «above median UK earnings»1 Який це поріг не визначено: «determined based on net fiscal cost modelling close to the general election»1 Хто звільнений власники віз BN(O), українські програми, статус осілості ЄС «initially»1 Прочитай цю таблицю як людина, що живе тут десять років. Ти платиш податок на доходи, National Insurance і муніципальний податок. У тебе може бути іпотека і діти в місцевій школі. За цим планом твоє право залишитися закінчується, а чи зможеш ти його повернути, залежить від зарплатної планки, яку партія не назве аж до самих виборів. Якщо ти заробляєш менше за медіану, а за визначенням так заробляє половина всіх працівників, твій шлях назад уже вужчий за той, яким ти сюди прийшов.\nЗарплату вище медіани легко вимагати, коли це ніколи не стосуватиметься тебе самого. Це партія, яка бере три фунти з кожних чотирьох від донорів, що живуть за кордоном, чий лідер узяв £5 млн як особистий подарунок3 і £135 000 за чотири години реклами золота4. Ніхто з тих, хто встановлює цей поріг, ніколи не мусітиме його подолати. Доглядальниця із зарплатою нижче медіани мусітиме.\nА тест на «good character» у цій візі варто прикласти до самих людей, які його написали. Я роблю це ближче до кінця.\nВласний документ партії визнає те, що мало б зупинити все це одразу. Він описує «skilled workers being the only group to remain fiscally contributory over the course of their lifetimes»1. Це люди, які за власними підрахунками Reform вкладають більше, ніж забирають, і план переводить кожного з них назад на візу, яку треба продовжувати.\nЩоб бути чесним до документа: видворення не автоматичне. Хто пройде нові тести, той може залишитися. Але ніхто, зокрема й Reform, не опублікував, скільки працюючих людей, що платять податки, ці тести не пройдуть, і жоден незалежний орган цей план узагалі не обрахував.\nЦифри, якими його продавали Першою гучною цифрою було £234 млрд, яку Фарадж у 2025 році назвав тим, що «our changes will save British taxpayers». Full Fact з’ясував, що це взагалі не цифра про виплати, а аналітичний центр, з чийого дослідження вона походила, заявив, що «the overall cost estimates should no longer be used»5.\nТож документ квітня 2026 року бере нову, £622 млрд. Це власне моделювання Reform, а не чиєсь незалежне, і сам документ двома рядками нижче наводить другу цифру: «£154 bn if discounted at the 3.5% rate suggested by the HM Treasury Green Book»1. Green Book визначає, як Казначейство вважає за потрібне рахувати кожну державну витрату. За власним методом уряду головна цифра зменшується на три чверті.\nМожна спитати, чому партія, яка заявляє, що говорить з людьми чесно, виходить із цифрою, яку її власний документ називає неправильним способом рахувати?\nРахунок за виплати, якого вони не торкнуться Reform каже, що скоротить витрати на соціальні виплати, і в серпні 2026 року опублікувала план. Він припинив би Universal Credit, Jobseeker’s Allowance, Child Benefit, безкоштовний догляд за дітьми, Housing Benefit, Pension Credit і виплати з інвалідності для всіх, хто не є британським громадянином6. Головна цифра: £50 млрд економії на рік7.\nПерш ніж вирішувати, що це означає, подивися, куди насправді йдуть витрати на виплати.\nКуди йдуть витрати на виплати, 2025/26 Витрати на соціальні виплати у Великій Британії 2025/26, £ млрд Державна пенсія 146,1 Інші пенсійні виплати 31,6 Працездатний вік 126,1 £50 млрд Reform Інше 5,3 захищено обіцянкою Triple Lock куди має лягти скорочення Витрати на соціальні виплати у Великій Британії 2025/26, з власних таблиць DWP. Пенсіонери отримують 57,5 % з них, а сама державна пенсія 47,3 %. Reform узяла державну пенсію під захист, тож скорочення на £50 млрд має майже повністю лягти на стовпчик працездатного віку в £126 млрд. Майже половина всіх витрат на виплати припадає на державну пенсію: £146 млрд із £309 млрд у 2025/268. Reform пообіцяла 2 квітня 2026 року зберегти Triple Lock9 після місяців, протягом яких Фарадж казав «It\u0026rsquo;s open for debate», а Тайс казав «we\u0026rsquo;re not guaranteeing the triple lock»9. У день запуску плану щодо виплат партія заявила, що «nothing that we talk about today is about pensioners»10.\nТож державна пенсія в безпеці. Скажу це прямо, бо я шукав план Reform, щоб її урізати, і такого немає. Як пояснює допис про пенсію на цьому сайті, державну пенсію оплачують люди, які працюють сьогодні.\nІ це підводить нас до арифметики. Якщо пенсію не чіпають, то £50 млрд беруться з усього іншого. Institute for Fiscal Studies порахував: Reform планує «to save around £50 billion a year, almost entirely from a working-age benefits bill that, in 2030–31, is forecast to be a little over £200 billion»7.\nНа кого це лягає Що показує запис Пенсіонери на державній пенсії захищені, Triple Lock збережено9 Бідні пенсіонери, які не є британськими громадянами втрачають Pension Credit, що стоїть у списку лише для громадян6 Негромадяни на Universal Credit близько 1,3 млн, з яких 650 000 не працюють7 Негромадяни на Universal Credit, які працюють решта, приблизно 650 000, за цифрами IFS: працюють, платять податки і все одно втрачають доплату Чого для них очікує IFS «large overnight cuts to claimants\u0026rsquo; incomes» і «significant increases in hardship»7 Люди з інвалідністю на PIP Personal Independence Payment скасовано на користь «health security allowance», яка могла б виключити до двох третин нинішніх отримувачів11 Довготривалі отримувачі, яких визнали придатними до роботи 20 годин громадських робіт на тиждень, або втрата грошей11 Людина працездатного віку, яка десятиліттями платила NI втрачає статус осілості, втрачає виплати, і ніщо в документах не захищає пенсію, яку вона накопичила, поки ще не досягла пенсійного віку Останній рядок це моє прочитання двох документів разом, а не те, що сказала Reform. Але саме туди вони ведуть. FAQ Reform каже, що іноземці «of pension age who\u0026rsquo;ve made sufficient National Insurance Contributions» зберігають право жити тут і свою державну пенсію2. Досягнеш пенсійного віку, і ти в безпеці. Тобі сорок п’ять, за плечима двадцять років внесків, і ти на візі, яку треба продовжувати, без жодної страховки.\nТі, хто вже працює Ось частина, яку слово «виплати» має приховати. Universal Credit це не виплата для безробітних. У квітні 2026 року 3,1 млн людей на ньому працювали, 37,7 % усіх отримувачів12. Вони ходять на роботу, платять податок на доходи і National Insurance з того, що заробляють, а Universal Credit доплачує до зарплат, на які неможливо прожити.\nПорахуй на власній цільовій групі Reform. IFS оцінює кількість негромадян на Universal Credit приблизно в 1,3 млн, з яких 650 000 не працюють7. Відніми одне від іншого, і виходить, що приблизно 650 000 працюють. План Reform припиняє їм Universal Credit, Housing Benefit, Child Benefit і безкоштовний догляд за дітьми6, а саме догляд за дітьми дає батькам на низькій зарплаті змогу взагалі ходити на роботу.\nМожна спитати, кому це економить гроші? Не платникові податків. Працівник, який утрачає доплату, або бере більше годин, яких не існує, або кидає роботу і коштує дорожче, або виїжджає і забирає з собою і податки, і робочі руки. Підходить це саме тим, хто платить зарплати такі низькі, що держава мусить їх доплачувати. Reform не чіпає низьких зарплат. Вона чіпає працівника.\nЦе план, який захищає виборців, що найімовірніше прийдуть на дільниці, і перекладає весь рахунок на людей працездатного віку, працюючих чи ні. Чимало з них платять за ті самі пенсії, які він захищає.\nОбіцянки, які не сходяться Ми знаємо, як тримаються обіцянки Reform, бо їх було досить, щоб перевірити. Ось запис, обіцянка за обіцянкою:\nОбіцянка Що з нею сталося Маніфест 2024 року: близько £90 млрд податкових знижок на рік IFS: «the sums in this manifesto do not add up», розбіжність «by a margin of tens of billions of pounds per year»13. Тайс у жовтні 2025 року: «A manifesto is based on a point in time.»14 £234 млрд економії від скасування статусу осілості аналітичний центр, від якого вона походила: «should no longer be used»5 £622 млрд замість неї власне моделювання Reform. За власним методом Казначейства £154 млрд1 Депортувати до 600 000 людей за £10 млрд власна розбивка партії, £4 млрд плюс £1,5 млрд плюс £2 млрд, дає £7,5 млрд, і ніхто не звів одне з іншим15 Мінус £50 млрд на рік із соціальних виплат IFS: майже все з підтримки людей працездатного віку, і «How much this saves would depend on how many of this group became citizens in response»716 Рахунки за енергію нижчі на £200, потім на £150, потім на £250 цифра змінювалася тричі за рік17182, а сторінка з політикою каже, що вартість переходить «to the Treasury», тож ти платиш її податками, а не в рахунку2 «Reform Councils will freeze, then cut your council tax bills» жодна не зробила. Ради під керівництвом Reform підвищили його в середньому на 3,94 %19 £40 млн економії на net zero в Кенті рада потім назвала їх «forward-looking assumptions», і жоден аудитор їх не підтвердив20 Triple Lock «we\u0026rsquo;re not guaranteeing the triple lock», потім гарантія у квітні 2026 року9 Дві з них Reform частково виконала, і що чесно, то чесно. Її ради справді підняли муніципальний податок менше, ніж у середньому по країні (4,86 %)19, а збереження Triple Lock це реальне зобов’язання. Але обіцянка, яка змінюється щоразу, коли хтось перевіряє розрахунки, не є планом. Це рекламна промова, і продають її тим, хто платитиме, коли цифри не зійдуться.\nІ рухаються не лише розрахунки. Постав поруч, що казали партія та її люди, і коли:\nТоді Пізніше власники статусу осілості ЄС звільнені від плану щодо виплат, вересень 2025 року21 іноземців, зокрема громадян ЄС, позбавляють виплат, серпень 2026 року6 Triple Lock «open for debate»9 гарантований, квітень 2026 року9 маніфест на £90 млрд «A manifesto is based on a point in time»14 Дженрік: «put Reform out of business»22 канцлер Reform в очікуванні23 Фарадж не балотується у 2024 році балотується, через кілька тижнів після особистого подарунка на £5 млн3 Путін, яким захоплюються «as an operator»24 Путін, «a very bad dude»25 Люди змінюють думку, і політик, який ніколи цього не робить, гірший. Але партія, чиї позиції рухаються за тим, чого вимагали останнє опитування, останній донор чи останній поганий заголовок, не каже тобі, що вона робитиме. Вона каже тобі, що, на її думку, приведе її до влади. Мій висновок з цього запису: Reform скаже що завгодно, аби здобути владу, а у що вона насправді вірить, ти дізнаєшся потім.\nКому належить Reform Більшість британських партій це клуби. Labour і Conservatives це некорпоровані асоціації, які фактично належать своїм членам. Reform була компанією з акціонерами, і більша її частина належала лідерові.\nЗапис у Companies House про компанію, що почалася як The Brexit Party Limited, згодом Reform UK Party Limited, показує, хто нею володів26:\nХто Контроль Від До Кетрін Блейклок «significant influence or control» 23 листопада 2018 3 травня 2019 Найджел Фарадж «More than 50% but less than 75%» акцій плюс право призначати директорів 8 травня 2019 19 лютого 2025 Річард Тайс «More than 25% but not more than 50%» акцій 1 травня 2019 19 лютого 2025 Нова компанія з відповідальністю, обмеженою гарантією 75 % або більше 19 лютого 2025 досі Повідомлення про частку Тайса подали 15 серпня 2024 року, через п’ять років після дати, яку воно фіксує26.\n20 лютого 2025 року голова партії оголосив: «Nigel Farage has handed over ownership of Reform UK to its members. Reform UK is now a non-profit, with no shareholders, limited by guarantee.»27\nПоловина з цього правда. Акціонерів тепер немає. Акції старої компанії перейшли до нової за £15, а £2,97 млн чистих активів перейшли за £1, тож ніхто на виході не зірвав куш28. Це треба визнати.\nАле «handed over ownership to its members» це не те, що кажуть власні аудитовані звіти нової компанії. Примітка 20: «The company has two members, who have equal voting rights. Neither member has individual control of the company and, accordingly, there is no ultimate controlling party.»28\nДва члени. За корпоративним правом людьми, які володіють компанією з відповідальністю, обмеженою гарантією, і контролюють її, є її члени, а в цієї їх двоє. Звіти їх не називають. Люди, які платять членський внесок, не є членами компанії, що керує партією. Разом вони внесли в неї £4,5 млн у 2025 році28, і вони її не контролюють. Як такий, вислів «handed over ownership to its members» описує те, чого в поданих документах немає.\nКому вона підзвітна Політична партія, яка є клубом, підзвітна своїм членам, бо члени і є клубом. Компанія підзвітна тим, хто її контролює, і саме за це варто триматися. Коли нову компанію створили, її двома гарантами були Фарадж і тодішній голова Зія Юсуф29. Юсуф вийшов з ради в червні 2025 року, а Фарадж досі директор30. Звіти не кажуть, хто ці два члени тепер.\nByline Times отримала статут партії, ухвалений у вересні 2025 року31. Ось що він дає людям, які платять внески, проти того, що він залишає нагорі:\nЩо отримують члени Що залишає собі лідер Резолюції конференції лише дорадчі, Рада мусить їх тільки обговорити Голосування на внутрішніх виборах на абсолютний розсуд Ради, за статтею 4.3 3 з 8 місць у Раді, виборні 3 місця, які призначає він, плюс він сам і голова, якого він призначає і може звільнити Вотум недовіри лідерові потребує письмових запитів від 50 % членів, це близько 135 000 людей, перевірених його власним головою, а потім вирішує Рада, у якій він засідає Засідання Ради, зазвичай двічі на рік між ними «all powers of the Board are delegated to the party leader who may exercise those powers at his discretion» Кожен рядок цієї таблиці взято з того самого документа, і Byline Times довелося дістати його копію, щоб про це написати31. Бен Хабіб, колишній заступник лідера самої Reform, сказав, що він «puts Farage\u0026rsquo;s leadership in a virtually unassailable position»32.\nМожна спитати, що член Reform може насправді зробити, якщо лідер помиляється? Написати листа і переконати ще 134 999 інших написати теж, людині, яку він призначив. Це не підзвітність, це скринька для пропозицій. Партія, яка хоче керувати країною, мала б принаймні бути підзвітною власним членам. Ця підзвітна своєму лідерові.\nЇї збудували як компанію, що належала людині, яка її очолювала, і шість років вона такою й була26. Ніхто зараз не отримує дивідендів, і я не вдаватиму, що отримує. Але компанія, якою керує жменька людей, з платними клієнтами замість членів, це бізнес-модель, а не демократія. Гроші заробляються довкола неї, а не з неї, як покажуть наступні розділи.\nГроші йдуть з-за кордону Reform переважно фінансують люди, які тут не живуть.\nРеєстр Electoral Commission фіксує кожну пожертву понад поріг звітності, хто її дав і коли. Він не фіксує, де живуть донори, тож місце проживання береться з журналістських матеріалів. Якщо взяти шістьох донорів, про яких повідомляли, що вони живуть за кордоном, ось частка грошей Reform, яка надійшла від них3334:\nЧастка пожертв від донорів, які живуть за кордоном Пожертви від донорів, які живуть за кордоном, % від загальної суми Brexit Party, 2019–2020 75 % Reform, 2025 66 % Reform, січ.–бер. 2026 78 % Reform, квіт.–черв. 2026 81 % Reform, лип. 2025 – черв. 2026 78 % Conservatives, 2025-26 3,6 % Labour, 2025-26 0,15 % реєстр, шестеро донорів за кордоном підрахунок The Independent Частка пожертв від донорів, про яких повідомляли, що вони живуть за кордоном, за реєстром Electoral Commission. З липня 2025 по червень 2026 року це 78 %, майже все від двох чоловіків. Власний підрахунок The Independent за 2025-26, за дещо іншим визначенням, дає 80 % для Reform проти 3,57 % для Conservatives і 0,15 % для Labour. Майже все тримається на двох іменах.\nДонор Де він живе У реєстрі для Reform і Brexit Party Оголошено у вересні 2026 року Крістофер Гарборн Таїланд з 1990-х, громадянин Таїланду з 2011 року3536 £25,19 млн33 £36 млн37 Бен Дело Гонконг до 2026 року38 £8 млн33 £36 млн37 Це £72 млн за два дні у вересні, від двох криптомільярдерів, в одну партію. Тайс сказав, що Дело заплатив наперед, «so that the Labour Party can\u0026rsquo;t legislate against it»37.\nКожна з цих пожертв була законною, і це треба сказати чітко. Британський громадянин, внесений до виборчого реєстру Великої Британії, є допустимим донором, хоч би де він жив, а обидва ці чоловіки британські громадяни. Channel 4 повідомив, що Гарборн «specifically re-registered as a UK resident to cast his vote for the Brexit referendum whilst declaring just a few months later in a UK company documents that he lived in Thailand», що експерти назвали «gaping loophole»35. Зяюча, так. Незаконна, ні.\nКоли уряд у березні 2026 року взявся обмежити пожертви від британських громадян, що живуть за кордоном, сумою £100 000 на рік39, Дело не перестав давати. Він переїхав. Він уже дав £4 млн з Гонконгу і оголосив, що переїжджає до Британії, щоб обмеження на нього не поширювалося, закликавши інших заможних емігрантів зробити так само38.\nТе, що ти тут живеш і платиш тут податки, не гарантує тобі місця за імміграційним планом Reform. А те, що ти тут не живеш, не заважає тобі фінансувати партію, яка цей план написала.\nПредставництво без оподаткування Є вислів про те, коли платиш податки й не маєш голосу: оподаткування без представництва. Фінансування Reform це навпаки. Голос, і дуже гучний, від людей, які не живуть із наслідками.\nЦе не нова тривога, і вона не моя. Парламент розібрався з цим у 2009 році. Розділ 10 Political Parties and Elections Act 2009 каже, що партія не може взяти від когось більше £7500, якщо ця людина не є «resident, ordinarily resident and domiciled in the United Kingdom» для цілей податку на доходи40. За цим правилом Гарборн не міг би дати й пенні понад £7500.\nЙого так і не ввімкнули. Legislation.gov.uk досі позначає цей розділ як «Prospective», що означає, що він «has never come into force»40. Сімнадцять років і чотири уряди. Потім, з 16 січня 2024 року, скасували старе правило, за яким британські громадяни за кордоном випадали з реєстру через п’ятнадцять років, тож громадянин тепер може залишатися в ньому, і далі жертвувати, довічно41.\nВласний огляд уряду щодо іноземних грошей у політиці, Rycroft Review, поданий до Парламенту в березні 2026 року, описує цю схему, нікого не називаючи:\n\u0026ldquo;wealthy individuals who have chosen to live abroad in order to have their wealth taxed abroad are nevertheless currently entitled to make unlimited donations to UK political parties. Despite choosing to minimise their contribution to the UK Exchequer, these individuals have the opportunity to make potentially game-changing donations into British politics.\u0026rdquo;42\nА щодо ризику він каже, що ці пожертви «pose an additional risk of foreign money leaching into British politics», бо «tracing the source of funds offered by individuals living abroad is more complex than for domestic donations»42.\nЧому іноземні гроші вважають корупційним ризиком Правила Ради Європи щодо корупції у фінансуванні партій кажуть державам «specifically limit, prohibit or otherwise regulate donations from foreign donors»43. Ці правила містяться в документі, вся назва якого про корупцію. Близько 63 % країн повністю забороняють іноземні пожертви партіям44. International IDEA, яка це відстежує, пояснює причину одним реченням, яке могло бути написане про Reform:\n\u0026ldquo;A party that receives a significant amount of its funds from overseas may be less reliant on generating funds at home, thus weakening the ties between it and the citizens it should represent.\u0026rdquo;44\nЄ реальні вироки, де іноземні гроші купували політичні результати. У США Лева Парнаса засудили за використання грошей заможного росіянина для незаконних пожертв45, а Імаад Зубері отримав 12 років за те, що проводив іноземні гроші в кампанії46. Тут колишній лідер Reform у Вельсі відбуває десять із половиною років за хабарі, що ведуть до друга Володимира Путіна, але про це далі.\nТепер чесна сторона, бо вона важлива. Жодна з цих справ не стосується британського громадянина за кордоном, який законно дає гроші партії. Власні юридичні радники Ради Європи кажуть, що громадян за кордоном загалом «should not be restricted», якщо вони можуть голосувати вдома47, а Rycroft Review визнав заборону «overly heavy-handed»42. Він також не знайшов доказів того, що вибори 2024 року спотворило іноземне втручання42. В емігрантів тут справжні зв’язки. Родина, пенсії, дім, до якого вони збираються повернутися.\nТож проблема не в тому, хто дає. Вона в тому, скільки.\nКраїна Чи можуть громадяни за кордоном жертвувати? Ліміт Ірландія так €3100 на рік одній партії48 Канада громадяни й постійні мешканці C$1775 на рік49 Сполучені Штати так федеральні ліміти внесків50 Велика Британія, до березня 2026 року так немає Кожна порівнянна демократія, яка дозволяє своїм громадянам за кордоном давати гроші, обмежує, скільки вони можуть дати. До цього року Британія не обмежувала. Голос із Бангкока це один голос, такий самий, як мій. £36 млн за день це не голос. Це бюджет партії.\nХто вважається британцем, і хто платить, щоб це вирішувати Постав дві половини цього допису поруч. Reform дедалі тугіше проводить лінію того, хто тут свій. Статус осілості зникає. Виплати стають лише для громадян6. Коли люди спитали, що робити осілій родині, депутат від Reform запропонував їм подати на громадянство10. Її кандидат на додаткових виборах у Gorton and Denton пішов далі: «It takes more than a piece of paper to make somebody \u0026lsquo;British\u0026rsquo;.»51\nА тепер подивися, хто платить за партію, яка проводить цю лінію. Чоловік, який тридцять років живе в Таїланді і має таїландське громадянство36. Чоловік, який давав гроші з Гонконгу, а потім переїхав сюди, коли йому заважало обмеження38. Саме їхні британські паспорти роблять ці гроші законними. За власною логікою Reform, для цього потрібно більше, ніж папірець.\nМедсестра, яка десять років тут живе й платить податки, мусить доводити, що вона своя. Донор, який поїхав тридцять років тому, не мусить, доки папери в порядку. Я не думаю, що це партія для британців. Я думаю, що це партія, яка вирішує, хто вважається британцем, і яку оплачують люди, що тут не живуть.\nЧим торгують донори Обидва великі донори кажуть, що нічого не хочуть навзамін. Гарборн назвав свої £36 млн «a philanthropic gift to our country» і сказав: «My competitive spirit inspired me to match it»52. Фарадж сказав коротше: «You know what Ben Delo and Christopher Harborne want? Nothing.»53\nЯ не збираюся розповідати тобі, хто чого хоче. Я покажу, чим вони володіють, що проти цього знайшли, і що Reform казала й робила щодо саме цих галузей. Зв’язати одне з іншим можеш сам.\nКрістофер Гарборн Що він має Що показує запис Tether, найбільший стейблкоїн 12 %, за його власними словами у справі про наклеп у США54 QinetiQ, підрядник Міністерства оборони 14,98 % через компанію в Делавері55. У травні 2025 року MoD продовжило з QinetiQ контракт на випробування вартістю £1,5 млрд56 AML Global, брокер авіапального він її єдина особа зі значним контролем57. Guardian повідомляє про понад $140 млн військових контрактів США58 Інші політичні пожертви близько £1,79 млн Conservatives33 і £1 млн приватному офісу Боріса Джонсона59 Tether як компанія має власний запис. Тримай його окремо від Гарборна, який є міноритарним акціонером і якого тут ні в чому не звинувачено.\nГенеральний прокурор Нью-Йорка: «Bitfinex and Tether recklessly and unlawfully covered-up massive financial losses.» Вони заплатили $18,5 млн, не визнаючи провини60. Американський регулятор товарних ринків оштрафував Tether на $41 млн і встановив, що вона мала достатньо резервів під своїми токенами «for only 27.6% of the days» у 26-місячній вибірці61. Управління ООН з наркотиків і злочинності: «USDT on the TRON blockchain has become a preferred choice for crypto money launderers in East and Southeast Asia.»62 Tether це заперечує. Коли National Crime Agency розбила мережу з відмивання грошей, яка купила банк, щоб допомагати війні Росії, Guardian повідомила, що «vast majority» вилученої криптовалюти випустила Tether, і додала, що «there is no suggestion that Harborne himself is implicated»63. Відповідь його юристів така: звинувачувати інвестора Tether у тому, що користувачі роблять з її токенами, це «akin to claiming the US Treasury is an accomplice in money laundering because it prints the US dollar»63. Щодо Гарборна це слушно. Щодо Tether це не надто відповідь.\nБен Дело Дело був співзасновником BitMEX, криптобіржі. У 2022 році він визнав у Нью-Йорку провину в тому, що «willfully failing to establish, implement, and maintain an anti-money laundering… program at BitMEX», і заплатив штраф $10 млн, «representing pecuniary gain derived from the offense»64.\nУмисно означає, що він знав про обов’язок і вирішив його не виконувати. Власні слова прокурора США: «Arthur Hayes and Benjamin Delo built a company designed to flout those obligations; they willfully failed to implement and maintain even basic anti-money laundering policies.» Вердикт Міністерства юстиції щодо результату: «As a result of its willful failure to implement AML and KYC programs, BitMEX was in effect a money laundering platform.»64 Між 2014 і 2020 роками вона не подала жодного звіту про підозрілу діяльність, зокрема й після того, як у 2018 році їй повідомили, що через неї проходять викрадені кошти64. Саму BitMEX згодом оштрафували на $100 млн65.\nВизнання провини не є вироком за відмивання, і його не звинувачували в тому, що він сам відмивав чиїсь гроші. У березні 2025 року Дональд Трамп його помилував66. Дело тепер називає це «a regulatory failing that isn\u0026rsquo;t even a crime in the UK»67.\nЩо Reform казала й робила щодо їхніх галузей Інтерес донорів Позиція Reform, її власними словами чи діями Стейблкоїни, яким міг би зашкодити державний цифровий фунт Фарадж лобіював у керівника Bank of England відмову від «Britcoin» і сказав, що «prepared to go to prison», аби його зупинити68 Tether Фарадж на LBC: Tether «is about to be valued as a $500 billion company», і Британії слід її «embrace»69 Криптоіндустрія Фарадж до криптоаудиторії: «When it comes to your industry… then I am your champion.»69 Криптогроші в політиці «We are the first political party in Britain who can accept donations in bitcoin and other cryptocurrencies.»70 Податок на крипто обіцянка знизити податок на приріст капіталу з крипто з 24 % до 10 % і біткоїн-резерв Bank of England70 Обмеження для закордонних донорів і заборона криптопожертв Тайс: Reform їх «overturn it»71 Оборона «incentives and tax breaks to boost the UK defence industry»58 Reform каже, що Гарборн «had not discussed defence spending, defence policy or foreign policy» з партією58. Його юристи кажуть, що його бізнес-інтереси «unconnected in any way whatsoever with his political affiliations»58. Доказів протилежного в мене немає, і я нічого такого не стверджую. Я вказую на таблицю.\nПодарунок на £5 мільйонів 5 квітня 2024 року, за словами власних юристів Гарборна, він особисто дав Найджелу Фараджу £5 млн72. Через кілька тижнів Фарадж скасував своє рішення не балотуватися на загальних виборах3. Подарунок не задекларували. Guardian розкрила це у квітні 2026 року.\nЙого пояснення з’являлися послідовно:\nКоли Чим, за словами Фараджа, були £5 млн Квітень 2026 року, Telegraph гроші на його особисту безпеку3 Травень 2026 року, Sun дано на «unconditional basis», «a reward for campaigning for Brexit for 27 years»73 Липень 2026 року щось, що він міг би «spend on Ferraris»74 Серпень 2026 року «If I\u0026rsquo;ve made one sin, it\u0026rsquo;s that I haven\u0026rsquo;t filled in a piece of paper. I\u0026rsquo;ve broken no law.»75 Standards Commissioner відкрив розслідування 13 травня 2026 року через «Failure to register an interest»76. 7 липня Фарадж склав мандат, щоб змусити провести додаткові вибори. Розслідування призупинили, а потім відновили 14 серпня, у день оголошення про його переобрання75. Скарги подали й щодо Джорджа Коттрелла, друга Фараджа і засудженого шахрая, який, як розкрила Sunday Times, перед виборами 2024 року платив за роботу в соцмережах, житло й охорону. Commissioner не підтвердив, чи ці платежі тепер є частиною розслідування77. Дженрік назвав процес «a bit of a kangaroo court. It\u0026rsquo;s a stitch up.»78\nВисновку поки немає. Фарадж каже, що декларувати не було потреби, і зрештою він може мати рацію. Але перечитай його пояснення в цій таблиці ще раз. Безпека, потім винагорода, потім Ferrari. Кожне з’являлося лише після того, як попереднє почали розбирати по кісточках.\nДонори, яких ніхто не перевіряє Закон ставить донорові-компанії одне питання: чи вона зареєстрована тут і чи веде тут бізнес? Він не питає, звідки гроші, чи може компанія собі це дозволити і хто насправді за нею стоїть. Два донори показують, що проходить.\nТраст на $10 мільярдів, дизайнерська фірма та Іран Сасан Ґандехарі британський мільярдер іранського походження, який, за повідомленнями, є податковим резидентом Швейцарії і переносить місце проживання до Великої Британії, щоб мати змогу жертвувати. Його обіцянка Reform: «one or two million, it\u0026rsquo;s going to be more» і «maybe number two, number three. It\u0026rsquo;s going to be regular payments.»79 Сімейний HP Trust, який він оцінює приблизно в $10 млрд, заплатив £50 482,16 за акредитацію Фараджа в Давосі в січні 2026 року80, у ту поїздку, де Фарадж пообіцяв «fight the globalists»81.\nА далі фірма.\nInterior Architecture Landscape Ltd Що вона дала Reform £200 000 сімома внесками, з червня по серпень 2025 року82 Що показує Companies House фірма ландшафтної архітектури; з 2021 року її контролює John Richard Simpson; до нього, з грудня 2020 по травень 2021 року, Richard Darby83 Що знайшли FT і Guardian FT: Дарбі працював на HP Trust, а фірма мала борги і жодних ознак клієнтів; Guardian: HMRC подала проти неї клопотання про ліквідацію84 Що знайшла Guardian Сімпсон перебрав Orico General Trading, дубайську компанію, що належала HP Trust і постачала телекомунікаційне обладнання в Іран85 Що вони кажуть юрист Ґандехарі: родина була клієнтом фірми, але «not responsible for its donations». Фірма: Сімпсон «exercises genuine control over the company\u0026rsquo;s affairs», а внески надійшли від законного британського бізнесу8485 І проєкт, який постачала Orico. Згідно з рішенням французького арбітражу, про яке повідомила Guardian, Ori Group, що належить HP Trust, з 2013 по 2016 рік мала 49 % іранського оптоволоконного підприємства. Інші 51 % належали Astan Quds Razavi, релігійному фонду, проти якого США в 2021 році запровадили санкції за контроль над «major parts» економіки Ірану на користь тодішнього верховного лідера85. Юристи Ґандехарі кажуть, що проєкт схвалили французька й американська влада і що він мав розширити доступ до інформації, що закінчився він конфіскацією активів його родини в Ірані і що він не був в Ірані тридцять років. Санкції з’явилися через п’ять років після завершення підприємства, і ніщо не показує, що будь-які гроші, дані Reform, походили з Ірану.\nТож я не казатиму, що походили. А скажу ось що. Фарадж займає жорстку позицію щодо Тегерана. Його перепустку в Давос оплатив траст, який мав спільний бізнес із фондом верховного лідера, а £200 000 дісталися його партії від фірми, чий власник ліквідував дубайську компанію-постачальника цього трасту. Депутат від Labour попросив Companies House перевірити, кому вона насправді належить84. Reform хоче перевіряти папери кожного іммігранта. Я не можу знайти жодної публічної заяви Reform про те, що вона перевірила щодо цих грошей.\nФірми на межі Byline Times знайшла щонайменше сім компаній, які разом дали Reform £485 000, коли їм загрожувало виключення з реєстру, розпуск або очевидні фінансові проблеми86. FK Building найпоказовіша, бо її власні документи розповідають усю історію:\nДата FK Building Ltd 26 серпня 2025 Companies House видає повідомлення про виключення її з реєстру87 6 жовтня 2025 подано прострочену звітність, що показує чисті зобов’язання £290 54387 7 жовтня 2025 виключення зупинено87 8 жовтня 2025 дає Reform £100 00088 Лютий 2026 сестринські компанії FK Group, FK Construction і FK Facades переходять під зовнішнє управління з боргами понад £19 млн; 54 робочі місця переходять до Keenan Holdings, що належить Деборі Кінан, за повідомленнями доньці засновника86899091 6 липня 2026 FK Building іде в ліквідацію; власна заява її директорів показує нестачу £3,1 млн, з них £409 647 заборгованості перед HMRC92 16 жовтня 2026 FK Resolv, бізнес групи з будівельної безпеки та усунення дефектів, переходить від FK Group до FKR Group Ltd, компанії, створеної 25 червня 2026 року, що належить директорові FK Building Francis Anthony Keenan9394 Внесок був законним. Electoral Commission каже, що ці пожертви «are not the subject of an investigation», і попросила запровадити правило, за яким компанія-донор мусить справді отримувати прибуток86. Перевести персонал і дочірню компанію до сімейної компанії після зовнішнього управління законно, і управителі мають звітувати про це перед кредиторами. Але подивися, де все опинилося. Доки правило не змінять, компанія, яка не може заплатити податковій, усе ще може заплатити Reform. Кредитори, серед них HMRC, мають порожні компанії й діру в £3,1 млн. Кінани мають персонал і бізнес з усунення дефектів. Reform має £100 000.\nПлатить профіль Тут я мушу бути з тобою чесним, бо очевидна історія не зовсім правдива.\nЯ шукав, як партія платить своїм провідним людям, і документи нічого такого не показують. Фарадж зареєстрований як «Unpaid Leader»4. Тайс позичив партії близько £1 млн без відсотків і перетворив £613 000 з них на пожертви3395. У 2025 році партія мала профіцит £7,66 млн28. Ніде не видно, щоб членські внески йшли комусь у кишеню.\nГроші в тому, що профіль заробляє поза партією. Власний реєстр інтересів Фараджа496:\nХто платив Фараджу За що Сума GB News ведення програм, 2025 приблизно від £330 000 до £370 000 Direct Bullion «brand ambassador», 4 години £135 000 Direct Bullion «up to four hours» на місяць протягом трьох місяців, травень 2026 £270 000 Cameo персоналізовані відео, 2025 £62 868 Blockworks, криптомедійна фірма 2 години £30 000 Club for Growth, Вашингтон промова плюс поїздка до Палм-Біч за £9466 £27 857 Direct Bullion заплатила йому £685 500 з грудня 2024 року, і Byline Times знайшла, що маркетинг цієї фірми, яка торгує золотом, пов’язував уряд Reform із заворушеннями й закликав глядачів купувати золото97. Його оплата від GB News іде в його власну компанію Thorn In The Side Ltd, що, як зазначає Guardian, «not illegal»98. Ця компанія має £3,1 млн чистих активів і платить Фараджу £10 000 на рік за оренду в нього ж його власної студії99.\nStandards Commissioner встановив, що він 17 разів порушив кодекс депутатів, зареєструвавши £384 000 з цього із запізненням, і визнав, що це було «inadvertent because of staffing and other administrative issues»100.\nЧастина партійних грошей пішла близьким до неї людям. Власні звіти партії про витрати показують £440 571, сплачених п’ятьом фірмам, якими керують свої люди й соратники. £202 124 отримала Oak Hall Studios, якою керує Девід Булл, що згодом став головою партії. Jupiter Visual Communications отримала £125 672 і пізніше повернула £50 000101102. Ніхто не показав, що якусь із цих робіт не виконали чи що вона була завищена в ціні, і я цього не стверджую.\nТож «дійна корова» не та картина. Правильна картина це платформа. Саме партія робить так, що Найджел Фарадж вартий £135 000 за чотири години.\nКрипто: їм платять за рекламу, виборці платять ціну Гонорар від Blockworks вище не був разовим. Ось криптоторгівля довкола Reform, за власним реєстром Фараджа, судами й власними документами партії:\nЩо Запис Зв’язок з Reform BTC Inc заплатила Фараджу £7410 приблизно за 11 годин, вересень 2025 року103 проводить конференцію Bitcoin, де Reform представила свій криптозаконопроєкт104 Blockworks заплатила Фараджу £30 000 за 2 години, жовтень 2025 року105 криптомедійна фірма, яка платить лідерові партії Zebu Group заплатила Фараджу £20 000 за 2 години 22 жовтня 2025 року106 того самого дня він сказав Reuters «not that I\u0026rsquo;m aware of», коли його спитали, чи фінансують Reform криптокомпанії107 Stack BTC plc компанія, яка тримає біткоїни; компанії Фараджа належить близько 6,3 % її, куплених по 5 і 10 пенсів за акцію108109 лідер партії акціонер: «I have long been one of the UK\u0026rsquo;s few political advocates for Bitcoin» «Farage coin», «NIG Finance», «Stonks Finance», «Trump Mania» мемкоїни, які рекламували його платними кліпами на Cameo, від £72 за кліп; кожен, ціну якого Guardian змогла встановити, після цього втратив у вартості110 платна реклама від лідера партії Токен CEL від Celsius кліп на Cameo за £133, у якому він закликає творців «fight» за нього110. Окремо: засновника Celsius ув’язнили на 12 років за шахрайство, а ціну CEL «at times» підтримували коштом «customer deposits»111 платна реклама від лідера партії Tether ООН оцінює втрати від шахрайства у Східній і Південно-Східній Азії в US$37 млрд на ринку, який, за її словами, працює на стейблкоїнах; Tether каже, що заморозила понад $5 млрд і співпрацює з 340 правоохоронними органами112113 12 % належать найбільшому донорові Reform Криптозаконопроєкт Reform представлений на конференції Bitcoin, потім знятий із сайту партії 30 травня 2026 року104 власна політика партії, відкликана без пояснень Криптопожертви урядовий огляд попереджає, що крипто може «channel foreign money into the political system»; Electoral Commission каже, що «Reform has not shared any crypto wallet address with us»114115 партія налаштована їх приймати Речник Фараджа каже, що те, що люди потім роблять із кліпом з Cameo, «is clearly outside Mr Farage\u0026rsquo;s knowledge or control»110, і кожен гонорар вище задекларовано. Reform не повідомляла про жодні криптопожертви, а великі внески від Гарборна й Дело надійшли готівкою. Ніхто не встановив, що Фарадж порушив якесь правило.\nА тепер подивися, хто платить. Люди в цій країні втратили £879,8 млн через інвестиційне шахрайство у 2025 році, в середньому по £25 612 кожен, «often representing pension savings». Найімовірніше про це повідомляють люди, старші за 60116. У 2024 році крипто було активом у 66 відсотках повідомлень, і найбільше втратили люди віком від 55 до 64 років117. Власна порада FCA щодо крипто вміщається в один рядок: «you should be prepared to lose all your money»118.\nТож лідерові партії, яка каже, що говорить від імені пенсіонера, платять криптофірми, він має акції біткоїн-компанії і продавав кліпи для монет, які впали, тоді як люди, що втрачають свої пенсії на крипто, належать саме до тієї вікової групи, за яку він нібито стоїть. Йому не треба було нікого ошукати, щоб від цього смерділо. Досить і того, що він далі це продає.\nТайс: нерухомість, податки і компанія на £28 864, яка дала £500 000 Річард Тайс заступник лідера Reform і депутат від Boston and Skegness. До політики він керував компаніями з нерухомості: 14 років був одним із двох генеральних директорів сімейної Sunley Group, потім генеральним директором CLS Holdings з 2010 по 2014 рік119. Після цього був його власний бізнес з нерухомості, Quidnet.\nQuidnet REIT, яку він контролює, мала у 2025 році збиток до оподаткування £690 000 при здачі в оренду 52 % своїх будівель і банківському боргу £13,4 млн, і все одно виплатила того року £359 501 дивідендів і стільки ж знову в січні 2026 року120. Як депутат він отримує від неї щоквартальну винагороду121.\nЩодо податків він сказав нам точно, де стоїть:\n\u0026ldquo;How many friends of yours would voluntarily choose to pay more tax than they are legally obliged to do?… Don\u0026rsquo;t morally or voluntarily give more tax to incompetent, wasteful hard-left, socialist governments.\u0026rdquo;122\nЦе була його відповідь на повідомлення, що його компанії через структуру REIT уникли майже £600 000 корпоративного податку. Друге повідомлення казало, що близько £91 000 не утримали з дивідендів, виплачених йому та його трасту на Джерсі. Тайс назвав це «technicality» і сказав, що HMRC загалом отримала правильну суму123. Жодного висновку HMRC проти нього немає, і він каже, що всі податки сплачено.\nКомпанія, яка дала пів мільйона Britain Means Business Ltd, колишня Leave Means Leave, має Тайса єдиним директором і контролером124. У червні 2024 року вона дала Reform £500 000 за один тиждень33. Її власна подана звітність показує чисті активи £28 864 на кінець 2023 року і £10 479 на кінець 2024 року, з одним працівником124.\nBritain Means Business Цифра Дано Reform, 9 і 11 червня 2024 року £500 000 Чисті активи, кінець 2023 року £28 864 Чисті активи, кінець 2024 року £10 479 Дано Reform раніше як Leave Means Leave, березень 2020 року £990 000 Можна спитати, де компанія вартістю £28 864 на кінець 2023 року знайшла £500 000 через шість місяців? Її звітність цього не каже. Electoral Commission передала ці пожертви Metropolitan Police у лютому 2025 року, і Met розслідує можливі правопорушення за розділом 61 Political Parties, Elections and Referendums Act, який стосується обходу правил про те, хто може жертвувати. Двох людей допитали під попередженням (under caution), нікого не заарештували125. За повідомленнями, донорка Фіона Коттрелл дала Britain Means Business £1 млн того червня, і половина з цього пішла далі до Reform125. Byline Times питає, що сталося з рештою95. Відповідь Тайса: «as far as I\u0026rsquo;m concerned, she\u0026rsquo;s a permissible donor and that\u0026rsquo;s the end of it.»126\nТайс назвав розслідування «a politically motivated smear campaign»127. На той момент воно тривало вже 17 місяців.\nКомпанія, яку він тримає Хто Спільне з Тайсом Що показує запис Аррон Бенкс співзаснували Leave.EU; Тайс був у її раді 2016–2017128 Electoral Commission оштрафувала Leave.EU, після апеляції штраф зменшили до £66 000. Жоден висновок не називає Тайса129 Джордж Коттрелл спільної компанії немає у грудні 2024 року вніс позику £78 100 у компанію Тайса Tisun Investments. Standards Commissioner відмовився розслідувати130 Фіона Коттрелл спільної компанії немає дала Reform £750 000 трьома внесками33 Ніколас Трайб, Ентоні Яннакіс, Джон Перселл кожен у трьох-чотирьох його компаніях з нерухомості131 жодних пожертв і жодного регуляторного запису. Спільна рада директорів це лише спільна рада директорів Його самого теж розслідують. Список Standards Commissioner показує «Richard Tice MP (opened 20 August 2026) Rule 13 Disclosing details in relation to an investigation»76 після того, як він публічно написав у X про попередню скаргу й назвав групу, яка за нею стояла, «anti semitic anti Israel lobby group»132. Результату поки немає.\nДженрік: з бізнесу геть, на посаду У серпні 2024 року Роберт Дженрік сказав: «I want to put Reform out of business. I want to make them redundant.»22 У квітні 2025 року: «I want to send Nigel Farage back to retirement.»133\n15 січня 2026 року Кемі Баденок вигнала його з тіньового кабінету через те, що назвала «irrefutable evidence that he was plotting» перебігти134. Того самого дня він приєднався до Reform, сказав «I want Nigel to be prime minister» і відмовився скласти мандат і боротися на додаткових виборах у Ньюарку135. Через місяць Reform назвала його своїм кандидатом у канцлери23.\nТоді Тепер «put Reform out of business»22 кандидат Reform у канцлери23 «send Nigel Farage back to retirement»133 «I want Nigel to be prime minister»135 міністр консервативного кабінету «the two main parties are rotten… They both broke Britain»136 Дев’ять місяців. Стільки протривало «out of business».\nWestferry У січні 2020 року як міністр житлового будівництва Дженрік схвалив проєкт Westferry Printworks Річарда Десмонда у східному Лондоні. Його власні чиновники зафіксували, чому так поспішали: «SoS is/was insistent that decision issued this week ie tomorrow - as next week the viability of the scheme is impacted by a change in the London CIL regime.»137 Зміна збору коштувала б проєкту близько £40 млн138. Десмонд дав Conservatives £12 000 через два тижні після схвалення139. Обидва сиділи разом на вечері зі збору коштів, де, за словами Дженріка в Палаті громад, Десмонд «did bring out his iPhone and show me some images of the development»137.\nКоли справа дійшла до суду, Дженрік визнав рішення «unlawful by reason of apparent bias», і його скасували139. Він сказав: «We don\u0026rsquo;t believe there was any bias.»140 Жодного висновку за міністерським кодексом так і не ухвалили, і прем’єр-міністр вважав питання закритим137. Такий запис: визнання видимої упередженості і жодного висновку про справжню упередженість.\nВідтоді Звернення Electoral Commission щодо £37 500, даних на його кампанію за лідерство в Conservatives у 2024 році, нібито з іноземного джерела, надійшло до Met 6 січня 2026 року, за дев’ять днів до того, як він перебіг. Met розслідує. Дженрік називає цю історію «entirely false», роботою «an establishment determined to stop Reform»141. Нікому не висунули обвинувачень. Він розповів на вечері, що в Handsworth у Бірмінгемі «I didn\u0026rsquo;t see another white face. That\u0026rsquo;s not the kind of country I want to live in»142. На конференції Reform у вересні 2026 року жінку-протестувальницю витягли за волосся і вдарили. Дженрік: «Oh boohoo… come on, get a life.»143 Потім: «He should be given a medal for what he did.»144 Як міністр з питань імміграції він сказав Палаті громад, що 71 % іноземних правопорушників під вартою заявляють, що є жертвами сучасного рабства. Голова UK Statistics Authority сказав, що власні цифри Home Office показували близько однієї п’ятої145. Фарадж у Брюсселі Фарадж провів двадцять років євродепутатом, з 1999 по 2020 рік, у Парламенті, з якого хотів вивести Британію. Він чітко казав, скільки той платив. У 2009 році на питання, скільки він отримав видатків і надбавок з 1999 року: «It is a vast sum… I don\u0026rsquo;t know what the total amount is but - oh lor - it must be pushing £2 million.»146 Він платив своїй дружині зі своїх надбавок146.\nЗапис Джерело €40 000 утримали з його зарплати з січня 2018 року: гроші, сплачені Крістоферу Адамсу як його помічникові, тоді як Адамс був national nominating officer UKIP, що «cannot be proved by Farage» джерело в Парламенті, Guardian147 Він брав участь у 37 % голосувань і посідав 748-ме місце з 751 євродепутата VoteWatch, Guardian147 Два роки офісного приміщення від Rock Services, компанії Аррона Бенкса, задекларовані 1 липня 2019 року, вже після закінчення і через шість тижнів після початку розслідування щодо підтримки Бенкса його власні декларації148 Автомобіль з водієм, оренда будинку в Челсі за £4,4 млн і поїздки до США, за повідомленнями до £450 000 від Бенкса, ніколи не задекларовані рахунки Channel 4, Independent149 Його єдина справа в суді ЄС, проти 10-денного покарання за те, що він назвав президента Ради «damp rag», відхилена як «manifestly inadmissible» з покладанням витрат на нього General Court150 Щоразу його сторона називала це переслідуванням. Щодо €40 000 його група заявила про «a vindictive campaign by the European parliament of selective persecution of Eurosceptic MEPs»147. Фарадж про підтримку Бенкса: «it\u0026rsquo;s a purely private matter»151. Він так і не оскаржив €40 000 у суді. Гроші стягнули.\nАле що чесно, то чесно, і одна з цих скарг перемогла. У 2016 році Парламент вимагав від європейської партії ADDE, де домінувала UKIP, повернути €172 654,92. У 2019 році General Court ЄС скасував це рішення, бо член комісії, що його ухвалювала, заздалегідь публічно звинуватив UKIP у «fraudulent manipulation», і суд визнав її неупередженість «seriously compromised»152. У цьому випадку «vindictive» підтвердилося. Фонд партії, IDDE, таки визнав, що €33 863,50 були недопустимими витратами, і програв власну справу в суді після того, як Парламент передав «serious allegations regarding the establishment of a system whereby donations were received in exchange for the award of contracts» до антифродового відомства ЄС153. Що вирішило антифродове відомство, не опубліковано.\nПутін, Трамп і підкуплений лідер Натан Ґілл очолював Reform у Вельсі з березня 2021 року. У листопаді 2025 року його ув’язнили на десять із половиною років після того, як він визнав провину за вісьмома епізодами хабарництва. Суддя встановив, що «The architect of these bribes was Oleg Voloshyn, a former pro-Russian Ukrainian MP», а Віктор Медведчук, «a close friend of Vladimir Putin», був «the ultimate source of the requests and the money you received»154. Злочини сталися у 2018 і 2019 роках, коли він був євродепутатом від Brexit Party. Суд не зробив жодного висновку щодо Reform, а Reform назвала його поведінку «reprehensible, treasonous and unforgivable»155. Фарадж назвав його «bad apple»25.\nВласні слова Фараджа про Путіна змінювалися за погодою:\nКоли Фарадж про Путіна 2014 світовий лідер, яким він найбільше захоплювався: «As an operator, but not as a human being, I would say Putin.»24 Червень 2024 «We provoked this war. It\u0026rsquo;s – you know, of course it\u0026rsquo;s [Putin\u0026rsquo;s] fault, he\u0026rsquo;s used what we\u0026rsquo;ve done as an excuse.»156 Жовтень 2025 «Obviously, Putin is a very bad dude»25 Щодо Трампа запис стабільніший. За підрахунком DeSmog, Фарадж після виборів 2024 року виступив на п’ятнадцяти заходах, пов’язаних із Трампом, зокрема на з’їзді республіканців і CPAC157. Він давав свідчення в Конгресі США у вересні 2025 року158 і написав з Овального кабінету: «It\u0026rsquo;s good to be back in the Oval Office.»159 Його реєстр показує гонорари й поїздки від американських консервативних організацій, таких як Club for Growth і Hillsdale College4. Донор Дело має помилування від Трампа66.\nЧого запис не показує, то це американських грошей у партії. У реєстрі немає жодної пожертви від уряду США чи від когось, пов’язаного з Трампом, сам DeSmog пише, що прямого фінансування немає («no suggestion»), а Ілон Маск після місяців розмов нічого не дав, а потім заявив на весь світ: «Farage doesn\u0026rsquo;t have what it takes»160. Триває поліцейське розслідування ймовірної спроби завести американські гроші, про нього далі.\nХто ще в кімнаті Гроші донорів ідуть не лише в партію. Вони оплачують лідерові місце за чужими столами. Ось поїздки з офіційного запису і хто за них заплатив:\nПоїздка Хто заплатив Вартість Запис Фарадж на другу інавгурацію Трампа, січень 2025 року Крістофер Гарборн £27 616,76 Electoral Commission161 Фарадж і двоє співробітників до США, листопад 2025 року, «speaking engagement and charity event», за повідомленнями в Мар-а-Лаго Бассім Хайдар, донор Reform £54 921,02 реєстр Фараджа162, DeSmog163 Фарадж до ОАЕ, грудень 2025 року, «to attend the F1 and for meetings» уряд Абу-Дабі та Abu Dhabi F1 £10 000 реєстр Фараджа164 Тайс до Ізраїлю, вересень 2025 року, «meetings with President and Foreign Minister» RFOI Ltd £6250 за двох реєстр Тайса165 Делегація Reform до Ізраїлю, листопад 2025 року, зокрема голова партії, член ради і керівник апарату Тайса Міністерство закордонних справ Ізраїлю £4861,27 на особу реєстр London Assembly166, Lancashire Lead167, Novara168 Це Вашингтон, Палм-Біч, Абу-Дабі та Ізраїль, усе протягом дванадцяти місяців, і жодну з цих поїздок не оплатили люди, від імені яких Reform нібито говорить.\nАмериканська кімната Зв’язки з MAGA не закінчуються графіком виступів Фараджа. Пол Маршалл і Legatum, власники GB News, також заснували й підтримують Alliance for Responsible Citizenship. На її лондонській конференції в лютому 2025 року Фарадж був головним доповідачем поруч зі спікером Палати представників США Майком Джонсоном, міністром енергетики Трампа Крісом Райтом і Вівеком Рамасвамі, а Пітер Тіль, за повідомленнями, долучився по відео169. Список донорів, який отримав DeSmog, містить Бена Дело поруч із донорами Трампа Кеном Ґріффіном і Ентоні Праттом170.\nА Tether, 12 % якої належить найбільшому донорові Reform, пов’язана з урядом Трампа. Cantor Fitzgerald, якою на момент угоди керував Говард Лютнік, нині міністр торгівлі Трампа, домовилася про частку близько 5 %171, а новий американський підрозділ Tether очолює Бо Гайнс, який прийшов із власної крипторади Трампа172. Це зв’язки компанії, а не самого Гарборна. Але це його компанія.\nІзраїльська кімната Поїздку Тайса оплатила RFOI Ltd, Reform Friends of Israel. Це приватна компанія з обмеженою відповідальністю, створена в червні 2025 року і зареєстрована як бізнес у сфері зв’язків з громадськістю173.\nRFOI Ltd у Companies House Директор і особа зі значним контролем, з 16 червня до 8 грудня 2025 року Roy Zabludowicz, 75 % або більше голосів173 Його вихід подано 11 лютого 2026 року, через два місяці після дати, яку він фіксує173 Директори з 8 грудня 2025 року Jason Pearlman і Lois Perry173 Джейсон Перлман медіарадник президента Ізраїлю Рівліна, потім з 2018 року заступник директора Henry Jackson Society174, потім медіарадник президента Герцога протягом двох термінів175. Фарадж назвав його призначення «a real coup»176 Henry Jackson Society роботодавець Перлмана з 2018 року, трансатлантичний аналітичний центр із зовнішньої політики та безпеки174. Його співзасновник і виконавчий директор Алан Мендоса приєднався до Reform у листопаді 2025 року як її головний радник з глобальних питань, що Фарадж назвав «an excellent addition»177178 Лоїс Перрі лідерка UKIP з травня по червень 2024 року, потім з грудня 2024 року виконавча директорка Heartland Institute UK/EU, європейського відгалуження американського аналітичного центру, що заперечує зміну клімату, запущеного з Фараджем як «special guest of honour»179180 Хто контролює її тепер компанія подає, що особи, яка підлягає реєстрації, немає173 Roy Zabludowicz з тими самими місяцем і роком народження директор двох компаній Tamares разом із Chaim Zabludowicz181 Хаїм «Пою» Заблудович очолює Tamares Group, заснував і очолював BICOM, яка лобіює уряд Великої Британії від імені Ізраїлю, і дав Conservatives близько £380 000. Сімейний бізнес будувався навколо Soltam, ізраїльського оборонного підрядника182. Declassified UK пише, що Рой Заблудович з RFOI «appears to be» його сином183, і я залишу це в їхньому формулюванні.\nПодивися, хто керує нею тепер. Один директор прийшов з офісу президента Ізраїлю через Henry Jackson Society, чий керівник тепер головний радник Reform з глобальних питань. Інша керує європейською філією американського аналітичного центру, який Фарадж допоміг запустити. Компанія Reform Friends of Israel це місце, де ізраїльська кімната зустрічається з американською.\nТож RFOI ще одна приватна компанія. Її контролював один чоловік, коли вона оплатила поїздку, а відколи він відійшов, вона подає, що її взагалі ніхто не контролює. Ти бачиш, хто летів. Ти не бачиш, хто платив. Я думаю, у цьому і є її суть: компанія, яка існує, щоб приховувати, хто оплачує поїздки Reform до Ізраїлю. Ніщо в її документах не дає мені підстав думати інакше.\nЧерез два місяці уряд Ізраїлю оплатив власну делегацію Reform. Novara з посиланням на Declassified UK оцінює загальні витрати міністерства на цю шестиденну поїздку в понад £50 000, з Голанськими висотами в маршруті168. Поїхав лідер ради Ланкаширу від Reform, і заради цього скасували засідання кабінету графства167. Поїхав і член London Assembly від Reform166. Це список гостей іноземного уряду, що тягнеться від голови партії та її ради до місцевого самоврядування на обох кінцях країни, Lancashire County Hall і City Hall у Лондоні.\nУ червні 2026 року Тайс назвав петицію, через яку в Палаті громад відбулися дебати про проізраїльський вплив, «antisemitic in its very motivation and at its core». Скаргу на те, що йому слід було задекларувати поїздку, перш ніж виступати, відкрили в липні184, а 27 жовтня 2026 року Standards Commissioner визнав це порушенням кодексу, ненавмисним185.\nПартія, яка перевела б сорокап’ятирічну доглядальницю на візу з продовженням, бере перельоти свого заступника лідера від компанії, в яку ніхто не може зазирнути, а перельоти свого голови від іноземного уряду. Можна спитати, хто визначає зовнішню політику в уряді Reform? За цим записом, не виборці.\nРосійська кімната У реєстрі Reform немає російських грошей, і я не вдаватиму, що є. Що є:\nСправа Що є в записі Інша сторона Подарунок Гарборна Фараджу на £5 млн міністр оборони попросив Фараджа підтвердити, що жодна його частина не «derived from transactions with Russian state-linked energy companies», зазначивши, що мета листа «is not to make allegations»186 паливна фірма Гарборна AML Global каже, що «complied fully with all UK and international sanctions»186 Військові паливні контракти AML Global у США названі в них НПЗ, за підрахунком Unearthed, прийняли понад 62 млн тонн російської, іранської чи венесуельської нафти187 сам Unearthed каже, що «there is no suggestion that the company has breached UK or international sanctions»187 Перебування Тайса на Французькій Рив’єрі, серпень 2025 року £1400 гостинності від Любові Чорнухіної, чий чоловік був заступником міністра фінансів Росії до 2004 року188 вона каже, що подружжя не має зв’язків з режимом Путіна, і засудила війну188 Ніщо з цього не є висновком проти будь-кого, а правий стовпчик тут для того, щоб ти міг усе зважити. Постав це поруч із Натаном Ґіллом і фараджевим «As an operator… Putin», і в пам’яті залишається фраза міністра оборони: партія «under a Russian cloud that only transparency can lift»186.\nОдна історія про Росію, яку ти побачиш повтореною про власників GB News, неправдива. Твердження, що засновник Legatum мав зв’язки з російською розвідкою, суд США визнав «a complete fabrication», а присяжні присудили йому $8 млн проти слідчого, який за ним стояв189. Цьому не місце ні в цьому дописі, ні в жодному іншому.\n«We Just Don\u0026rsquo;t Have British-Resident Donors» У вересні 2026 року Channel 4 News і Verbatim показали журналістське розслідування під прикриттям. Репортер, що видавав себе за сина заможного американця, зустрівся з керівником політики Reform Джеймсом Орром і старшим помічником Деном Джуксом і домовився, щоб американська компанія оплатила три опитування, замовлені партією, приблизно на £32 500190191. Актора, який грав батька, згодом привели на зустріч із Фараджем щодо набагато більшої пожертви, що мала надійти зі США190.\nОрр на камеру сказав те, про що зазвичай мовчать: «we just don\u0026rsquo;t have British-resident donors, British entities, that would support us.»191 Фараджа зняли, коли він казав про одне з опитувань: «It worked. Boom.»192\nЩо сталося Коли Ефір 3 вересня 2026 Reform: «a hoax perpetuated by foreign-funded climate-change activists»193 4 вересня Орр і Джукс пішли з посад, а голова партії сказав, що шансів на їхнє повернення немає («no chance»)192 4 вересня Met: «potential offences requiring investigation», включено до вже чинного розслідування щодо пожертв194 9 вересня Власне розслідування Reform, яке провели її власний барристер і генеральний секретар, дійшло висновку: «no breach of electoral law by Reform UK»195 7 жовтня Фарадж назвав це «loose pub talk» і «a clear case of entrapment»196. Партія заперечує порушення, і нікому не висунули обвинувачень. Але партія, яка виправдовує себе руками власних посадовців, поки кримінальне розслідування тих самих подій ще триває, нічого не довела.\nЗв’язуємо одне з іншим Ось усе на одній сторінці. Суцільні лінії є в офіційному записі: реєстр, поданий документ, висновок суду чи регулятора або чиїсь власні слова. Пунктирні лінії це повідомлення названого видання. Звинувачення не отримують жодної лінії.\nЗв’язуємо одне з іншим Пол Маршалл\u0026#160;(GBR) 40 % GB News Legatum\u0026#160;(ARE) 40 % GB News GB News £131 млн збитків Конференція ARC Маршалл, Legatum Уряд Абу-Дабі\u0026#160;(ARE) оплатив поїздку Бассім Хайдар\u0026#160;(IRL) нар. NGA, рейс у США Tether, 12 % частка Cantor Говард Лютнік\u0026#160;(USA) Кріс Гарборн\u0026#160;(THA) £25,2 млн + £36 млн QinetiQ, 14,98 % підрядник MoD Найджел Фарадж\u0026#160;(GBR) £5 млн, £585 тис. Трамп і MAGA\u0026#160;(USA) 15 заходів проти Britcoin крипто: менше податку Heartland\u0026#160;(USA) заперечення клімату Нік Кенді\u0026#160;(GBR) скарбник Натан Ґілл\u0026#160;(GBR) в’язниця, хабарі Reform UK 75–80 % з-за кордону BitMEX, визнання помилування Трампа Бен Дело\u0026#160;(GBR, ex-HKG) £8 млн + £36 млн Henry Jackson Society голова: радник Reform МЗС Ізраїлю\u0026#160;(ISR) оплатило візит Reform лист. 2025, £50 тис.+ £4861 на особу Хто поїхав Девід Булл, голова Ґавейн Таулер, рада керівник апарату Тайса Аткінсон, Ланкашир Вілсон, Лондон Річард Тайс\u0026#160;(GBR) заступник лідера RFOI Limited Reform Friends of Israel Директори RFOI Рой Заблудович\u0026#160;(GBR) до груд. 2025, 75 %+ Джейсон Перлман\u0026#160;(GBR) раніше: Герцог, HJS Лоїс Перрі\u0026#160;(GBR) Heartland UK/EU Britain Means Business £500 тис. для Reform Розслідування Met без обвинувачень Криптофірми £57 тис. Фараджу Stack BTC: його 6,3 % Ґандехарі\u0026#160;(CHE) HP Trust, ~$10 млрд Давос, £50 тис. IAL Ltd ландшафтна фірма £200 тис. для Reform Родина Кінан\u0026#160;(GBR) персонал, FK Resolv FK Building Ltd £100 тис. для Reform HMRC: борг £410 тис. офіційний запис повідомлення ЗМІ Хто фінансує Reform, хто фінансує канал, який її транслює, хто платить за її поїздки, які криптофірми платять її лідерові, чим вони володіють і де позиції Reform цього торкаються. Кожна лінія має джерело в таблиці нижче. Лінія це факт про зв’язок, а не висновок про порушення. Зв’язок Звідки ми знаємо Legatum, дубайська фірма, і Пол Маршалл мають приблизно по 40 % GB News, яка втратила £131 млн Wikipedia197, Left Foot Forward198 GB News платить Фараджу за ведення програм, £585 000 з липня 2024 по грудень 2025 року реєстр інтересів4, The New World199 Тайс вів програми на GB News The New World199 Маршалл і Legatum підтримують конференцію ARC, де виступав Фарадж Left Foot Forward169, DeSmog170 Гарборн оплачує поїздку Фараджа на інавгурацію Трампа Electoral Commission161 Бассім Хайдар, донор Reform, оплачує поїздку Фараджа до США, за повідомленнями в Мар-а-Лаго реєстр Фараджа162, DeSmog163 Уряд Абу-Дабі робить внесок у поїздку Фараджа до ОАЕ реєстр Фараджа164 Фірма, якою керував Говард Лютнік, нині міністр торгівлі Трампа, домовилася про частку в Tether The Block171 Фарадж і скарбник Нік Кенді виступають на заходах Трампа і MAGA; Фарадж на заходах Heartland, яка проводить панель на конференції Reform DeSmog157 Директорка RFOI Лоїс Перрі керує Heartland UK/EU DeSmog179 Гарборн дає Reform і Brexit Party £25,19 млн, плюс £36 млн оголошено реєстр Electoral Commission33, BBC37 Гарборн особисто дає Фараджу £5 млн, не задекларовані Guardian, дата від його юристів72 Гарборн має 12 % Tether його власна позовна заява в суді США54 Гарборн має 14,98 % QinetiQ, підрядника MoD звіт для біржі55, MoD56 Фарадж лобіює проти Britcoin і рекламує Tether Guardian68, Byline Times69 Reform обіцяє знизити податки на крипто і скасувати обмеження пожертв The Block70, Guardian71 Дело дає £8 млн, плюс £36 млн оголошено, після переїзду, щоб обійти обмеження реєстр33, Searchlight38 Дело визнав провину щодо BitMEX, помилуваний Трампом Міністерство юстиції США6466 Фарадж виступає на заходах MAGA, і йому платять американські консервативні організації реєстр інтересів4, DeSmog157 Компанія Тайса Britain Means Business дає £500 000 при балансі менше £29 000 реєстр33, Companies House124 Met розслідує пожертви через цю компанію і викриття під прикриттям заяви Met через PA125194 Ґілл, колишній лідер Reform у Вельсі, отримав хабарі грошима, що ведуть до союзника Путіна вирок суду154 RFOI Ltd, яку на той час одноосібно контролював один чоловік, оплачує поїздку Тайса до Ізраїлю реєстр Тайса165, Companies House173 Директор RFOI Джейсон Перлман був заступником директора Henry Jackson Society, чий керівник Алан Мендоса став головним радником Reform з глобальних питань Henry Jackson Society174, City AM177 Міністерство закордонних справ Ізраїлю оплачує делегацію Reform до Ізраїлю реєстр London Assembly166 HP Trust Ґандехарі платить £50 482,16 за перепустку Фараджа в Давос реєстр Фараджа80 IAL Ltd дає Reform £200 000; її контролював колишній працівник HP Trust, а її власник перебрав дубайську компанію-постачальника HP Trust Electoral Commission82, Companies House83, FT і Guardian8485 FK Building дає Reform £100 000 наступного дня після того, як її виключення з реєстру зупинено, потім іде в ліквідацію з боргом перед HMRC Electoral Commission88, Companies House8792 Робочі місця і бізнес з усунення дефектів переходять до компаній, що належать родині Кінан Companies House919493 BTC Inc, Blockworks і Zebu платять Фараджу £57 410 гонорарів; його компанія має 6,3 % Stack BTC реєстр Фараджа103105106108 Читай правий стовпчик згори вниз. Ніщо з цього не моя думка. Моя думка в тому, що в сумі дає лівий стовпчик, і я скажу її наприкінці.\n«The Bad Apples Are Gone» У червні 2024 року Channel 4 зняв агітатора Reform у Клактоні, який назвав Ріші Сунака расистською лайкою і запропонував використовувати мігрантів як «target practice»200. Фарадж сказав, що цей чоловік «an actor by profession»201. Ofcom відхилив понад 270 скарг на Channel 4, зазначивши, що вони «not raise substantive issues warranting further investigation»202, і жодних доказів того, що його підіслали, так і не з’явилося. Тоді Фарадж дав обіцянку: «Have we had a few bad apples? We have… the bad apples are gone. We\u0026rsquo;ll never have them back.»203\nЧерез два роки ITV на рік впровадив репортера всередину партії. Його програма Undercover: A Year in Reform зняла, як радник і заступник мера Соліхалла називає азійські родини «absolute parasites» і каже «stick them on planes and f*** them off to Pakistan», як радник із Бромлі називає чорношкірих дітей «like f****** animals», а активіст каже «you cannot be a Muslim and British… it\u0026rsquo;s like oil and water»204205. Відповідь Reform: «There is no room for racism in Reform UK» і «a handful of individuals who do not share our values will initially make it through vetting.»206\nЖменька. Ось що було в записі ще до ITV, і про кожен випадок повідомило провідне видання:\nХто Роль Що сказав Що сталося Ієн Купер лідер Reform у раді графства Стаффордшир «No foreign national or first generation migrant should be allowed to sit in Parliament» членство анульовано207 Кріс Паррі кандидат у мери Леммі «must go home to the Caribbean»; згодом порівняв єврейську волонтерську групу з «Islamists on horseback» залишили після першого, відсторонили після другого208 Сара Почін депутатка «adverts full of black people, full of Asian people» Фарадж назвав це «ugly», жодних заходів209 Сенга Бересфорд депутатка шотландського парламенту відповіла «yes» на «deport the lot of them» про мусульман шотландський лідер: «something fruity in the past», жодних заходів210 Стюарт Прайор радник дописи, що називали білих людей «the master race» (він заперечує, що акаунт його) виключений211 Ґленн Ґіббінс радник із Сандерленда нігерійців слід «melted down», щоб «fill in the pot holes» відсторонений, відновлений, потім звинувачений поліцією212 І з самої верхівки, власними словами лідера. Про мусульман у 2024 році: «I\u0026rsquo;m afraid I found some of the recent surveys saying that 46% of British Muslims support Hamas.»213 У березні 2026 року про публічний іфтар у рамадан: цей захід був «the attempt to overtake, intimidate and dominate our way of life», і «we have to stop this kind of mass demonstration»214.\nЖоден суд чи регулятор не визнав Reform як партію расистською. Ofcom і поліція Ессексу закрили справи 2024 року, зі скарги до регулятора з питань рівності нічого не вийшло, а справа Ґіббінса ще чекає на суд212. Звинувачення щодо шкільних років Фараджа оскаржуються, і він їх заперечує. Але суспільство склало власну думку: YouGov встановив, що 47 % дорослих вважають Reform загалом расистською, а серед дорослих з етнічних меншин таких 69 %215216.\nВідсторонені за фанатизм, повернулися до літа Про відсторонення оголошують. Про поновлення ні. Записи показують закономірність:\nХто Відсторонений за Повернувся Том Пікап, Ланкашир група у WhatsApp, де учасник закликав до «mass Islam genocide»; його власні коментарі «inappropriate» партійну дисципліну відновили через три місяці, потім зробили членом кабінету з питань соціальної допомоги дорослим217218 Пол Каттс, Донкастер дописи, що «targeted the Muslim faith in a derogatory way» партійну дисципліну відновили приблизно за шість тижнів219 Ґленн Ґіббінс, Сандерленд допис про нігерійців поновлений з «final written warning», потім звинувачений220212 Бен Роу, Плімут дописи про те, що «the Jews» нібито «forcing other races on our societies» поновлений з «final written warning»220 А тепер порівняй, як партія поводиться з нелояльністю. Руперта Лоу, депутата, який посварився з керівництвом, відсторонили, партія заявила на нього в поліцію і виключила. Crown Prosecution Service не висунула жодних обвинувачень221. У Кенті радників, які посварилися зі своїм лідером після злитого відео, виключили за «undermining the interests of the party»222.\nITV зняв, як це виглядає зсередини. Директор із комунікацій партії Ед Самнер сказав репортерові під прикриттям бути готовим «defend the indefensible», назвав одного кандидата «clearly a racist» і сказав, що очікує його звільнення. Вказівка Фараджа щодо того самого кандидата: «He must apologise to Lammy, if David Lammy\u0026rsquo;s taken offence.»223 Його залишили. Посадовець, якому сказали, що радник має профіль на сайті знайомств для білих націоналістів: «It\u0026rsquo;s not a resignation issue, is it?»224\nРасистські дописи отримують три місяці і шлях назад. За нелояльність тебе викидають. Жодне відео не показує, щоб хтось казав, що відсторонення лише для показу, і я не стверджую, що таке відео є. Таблиці досить. Партія, яка карала б расизм так, як карає інакодумство, мала б набагато коротшу таблицю.\nУсе це наклеп Кожна з цих історій отримала ту саму відповідь. Це наклеп, містифікація, підставна особа, істеблішмент. Тож я порахував. Дванадцять разів партія або її провідні люди публічно відкинули історію, і ось що було далі:\nІсторія Як вони її назвали Що було далі Агітатор у Клактоні, 2024 «an actor by profession»201 відсторонений від кампанії; Ofcom відхилив понад 270 скарг202 Подарунок Фараджу на £5 млн, 2026 «There is no case to answer»; «a stitch up»78225 він визнає, що отримав його і не задекларував; розслідування Standards відкрито76 Радник із Сандерленда, 2026 Тайс: «all of this smearing and this sneering»226 звинувачений поліцією і знову відсторонений212 Пожертва на кампанію Дженріка за лідерство, 2026 «just a smear… put out by the Conservative Party»227 Met відкрила розслідування141 Розслідування Met щодо пожертв, 2026 Тайс: «a politically motivated smear campaign»127 на той момент уже 17 місяців тривало, двох допитали під попередженням125 Викриття під прикриттям щодо пожертв, 2026 «a hoax», «yet another establishment attack», «entrapment»193196 двоє помічників пішли за день; розслідування Met за п’ять днів192194 Розслідування ITV під прикриттям, 2026 «no depth that the establishment won\u0026rsquo;t sink to»228 радники пішли у відставку або відсторонені229 BBC про Coutts, 2023 Фарадж сказав, що банк «very, very dishonest»230 він мав рацію: BBC вибачилася231 Лоу, 2025 Лоу: «a sinister attempt to weaponise the criminal justice system against me»232 він мав рацію: жодних обвинувачень221 Ще три не вирішені. Сім із дванадцяти підтвердилися принаймні частково. Два заперечення були слушними. Жодна скарга партії на мовника не була задоволена.\nТі самі слова повторюють різні люди в різні роки: «the establishment», «plant», «election interference». Коли з’явилося відео ITV, Reform заявила на журналістів у поліцію. News Media Association назвала це «a sinister approach that stifles public-interest reporting» і сказала, що звинувачення не можна «used to intimidate journalists or deflect attention from the issues their reporting has exposed»233. NUJ назвала це «a thinly-masked Strategic Lawsuit Against Public Participation (SLAPP) style move»234. Поліція Гемпширу сказала, що вивчає матеріали, а Met заявила, що не знає про відповідні заяви233.\nЧому це працює, і чому цього недостатньо У дослідників для цього є назва. Назвати правдиву історію фейком дає політикові «the liar\u0026rsquo;s dividend»235. Дослідження понад 15 000 людей в American Political Science Review встановило, що неправдиві заяви про дезінформацію підвищують підтримку політика, і більше, ніж мовчання чи вибачення. Воно також встановило, що проти відеодоказів цей прийом здебільшого не спрацьовує236. Можливо, тому відповіддю на відео ITV стала поліція.\nСтандарт, під яким підписується кожен на публічній посаді, це Seven Principles of Public Life. Підзвітність: посадові особи «must submit themselves to the scrutiny necessary to ensure this». Чесність: вони «should be truthful»237. На них збудовано Кодекс поведінки депутатів238. Назвати щось наклепом не є порушенням, на яке може зреагувати Standards Commissioner, і я не кажу, що є. Я кажу, що це протилежність тому, щоб піддати себе перевірці.\nФарадж знає, як виглядає справжнє спростування, бо сам його зробив. Коли BBC помилилася з його історією про Coutts, він отримав від банку своє досьє, довів свою правоту, і BBC вибачилася231. Так і поводяться з наклепом: доказами. Society of Editors сформулювало це одним реченням: «If a council believes a report is inaccurate, it should challenge it with evidence.»239 Коли докази є, їх показують. Коли їх немає, ти чуєш «істеблішмент».\nЧому ти так часто їх бачиш Reform має п’ятьох депутатів із 650. З телевізора ти б цього не здогадався.\nCardiff University рахує, що висвітлюють головні вечірні випуски новин. Їхні цифри240241242:\nПоказник Reform Порівняння Випуски BBC News at Ten, де згадано партію, перша половина 2025 року 25 % Ліберальні демократи, 72 депутати: 17 % Головна тема сюжету, BBC і ITV at Ten, 2025 69 сюжетів Conservatives 45, Lib Dems 14, Greens 4 Найбільш згадувана опозиційна партія, вересень 2025 року Reform, 37 Conservatives, офіційна опозиція, 25 Фарадж на ITV News at Ten, вересень 2025 року 49 згадок Баденок 33, Дейві 10 Пояснення BBC: опитування громадської думки242. Гаразд. Тоді застосовуйте це рівно. Ті самі дослідники встановили, що в другій половині 2025 року Greens піднялися в опитуваннях з 11 % до 17 %, а їхнє висвітлення не змінилося242. Правило, яке завжди піднімає лише одну партію, не є правилом.\nА несе цей ефірний час гасло, а не запис. Більшість висновків цього допису десь повідомлялися, деякі з них і на BBC. Але ніхто в ефірі не складає їх докупи. Звичайний захист це неупередженість, і власні правила BBC його руйнують: «Achieving impartiality does not preclude making evidence-based judgements or making an editorial judgement to focus scrutiny on a particular position» і «false equivalence does not achieve impartiality and should be avoided»243. Проведи ту саму перевірку для кожної партії, з тими самими стовпчиками і тим самим стандартом доказів, і це буде неупереджено. Не проводити її ні для кого не є нейтральністю. Це просто лишає запис нерозказаним. А люди, яких лишають непоінформованими, це саме ті, на кого спирається метод Reform, виборці, якими їй потрібно легко керувати, що щовечора отримують гасло і ніколи не отримують висновків.\nІ це теж не нове. Фарадж був на Question Time 38 разів, майже завжди ще до того, як узагалі засів у Палаті громад. Кожне ім’я вище за нього в загальному списку належить депутатові чи міністрові з довгим стажем, а з 1,9 появи на рік у нього найвищий показник з усіх244245.\nВласний пропагандистський канал А ще є GB News, яким значною мірою володіють і який оплачують з Дубая. Про це нижче. Ендрю Ніл, який допомагав його створити, каже, що тепер він відіграє для Reform ту роль, яку Fox News відіграє для Трампа: «they have turned GB News into the Reform channel»199.\nДіяч Reform Що дає їм GB News Найджел Фарадж, лідер власне шоу, £585 000 гонорарів з липня 2024 по грудень 2025 року, а його компанія має майже пів мільйона акцій GB News199 Лі Андерсон, депутат £100 000 на рік понад депутатську зарплату за шоу в п’ятницю ввечері199 Річард Тайс, заступник лідера ведучий199 Метт Ґудвін ведучий, який вів шоу про додаткові вибори в Gorton and Denton за чотири дні до того, як його оголосили кандидатом Reform на них199 Бен Хабіб і Руперт Лоу після виходу з Reform запрошення припинилися, щойно кожен заснував власну партію246 The New World посадив 20 досвідчених журналістів перед годинами його ефіру, по двоє на програму, і вони виявили «a systemic use of Reform politicians, candidates and supporters»199. Один рецензент назвав власну програму Фараджа «Farage propaganda dressed up as a panel show»199.\nТож назвімо це тим, чим воно є. Канал, який платить лідерові партії, її заступникові лідера й одному з її депутатів за ведення програм, запрошує її кандидатів, відмовляється від тих, хто від неї йде, і виставляє одного опонента, щоб його перекрикували, не є новинним каналом з ухилом. Це пропагандистський канал Reform з ліцензією на мовлення. Це моя думка, а докази для неї в таблиці вище.\nВласність і гроші з Дубая Reform говорить про Британію для британців. Подивися, кому належить канал, який це продає.\nВласник All Perspectives Ltd, материнської компанії GB News Де Частка Legatum Limited, приватна інвестиційна фірма, заснована уродженцем Нової Зеландії Крістофером Чендлером Дубай, Об’єднані Арабські Емірати близько 40 %197247 Сер Пол Маршалл, менеджер хедж-фонду, також власник The Spectator і UnHerd Лондон близько 40 %197 Керівники, редактори й ведучі, серед них компанія Фараджа решта197199 Голова GB News Алан Маккормік партнер у Legatum197. Більшість із £60 млн, зібраних на запуск каналу, надійшли від Legatum, Маршалла і Discovery197.\nІ він ніколи не мав прибутку. Він утратив £22 млн за рік до травня 2025 року при доході £26,2 млн і £131 млн з моменту запуску в 2021 році. Того року власники вклали ще £17,7 млн, щоб утримати його в ефірі198248. Жоден бізнес не працює з такими збитками п’ять років, щоб заробити гроші. Він працює заради того, що купує.\nА тепер постав це поруч із законом про партійні пожертви. Компанія може дати гроші британській політичній партії, лише якщо вона зареєстрована за Companies Act, інкорпорована у Великій Британії і веде бізнес у Великій Британії249. Legatum не відповідає жодній із цих умов. Вона не могла б дати Reform ані пенні.\nЇй і не треба. Гроші від фірми в Дубаї покривають збитки каналу, який платить лідерові Reform, її заступникові лідера й одному з її депутатів, пускає в ефір її кандидатів і проводить вечори на темах Reform. Ніщо з цього не є пожертвою, тож ніщо з цього не з’являється в реєстрі Electoral Commission. Фарадж декларує свої гонорари як заробіток, і це все, що система коли-небудь бачить4.\nЯ не кажу, що хтось відмиває гроші. Це злочин, нікому за нього не висунули обвинувачень, і я цього не казатиму. Але шлях, який дозволяє грошам з-за кордону дістатися лідера партії та її гасел без жодної пожертви в реєстрі, це саме те, що слід розслідувати й перевіряти, хоча б для певності. Я кажу ось що: ефект той самий, і він законний. Гроші, яким закон не дає увійти в партію через парадні двері, доходять до лідера партії та її гасел через телеканал, і правила про пожертви їх ніколи не бачать. Голова Electoral Commission сказала депутатам, що правила слабкі й застарілі246. Ось як виглядає «слабкі й застарілі».\nМожна спитати, чому партія, яка хоче обмежити, хто вважається британцем, і хоче правил про те, хто може залишитися, не має жодних проблем з тим, що її несуть в ефір гроші з Перської затоки? Два найбільші донори збудували своє життя в Таїланді й Гонконгу. Дві п’ятих мовника належать власникам у Дубаї. Виборці, яким кажуть ставити Британію на перше місце, єдині в цьому ланцюжку, хто ні на що з цього не має впливу.\nА регулятор? Ofcom оштрафував GB News на £100 000 у жовтні 2024 року за те, що той дав Ріші Сунаку майданчик без жодних заперечень перед виборами, пославшись на «the seriousness and repeated nature of this breach»250. GB News подав на Ofcom до High Court через шоу Джейкоба Ріс-Моґґа і виграв у лютому 2025 року251. Після цього Ofcom припинив розслідування щодо того, як GB News використовує Фараджа246. Тож лідерові партії, що лідирує в опитуваннях, платять за ведення новин на каналі, частково фінансованому з Дубая, і ніхто не перевіряє.\nПостав це поруч з рештою допису. Гроші партії йдуть з-за кордону. Дохід її лідера йде від каналу, частково фінансованого з-за кордону. Канал пускає партію в ефір, а BBC слідує за опитуваннями, які цей ефірний час допомагає будувати. Нікому не треба віддавати наказів, щоб усе це працювало.\nТой самий сценарій Ніщо з цього не нове. Це сценарій MAGA, і Reform відпрацьовує його сторінка за сторінкою.\nАвтор цього сценарію сказав нам, для кого він. Святкуючи перемогу в Неваді в лютому 2016 року, Дональд Трамп перелічив групи, які за нього проголосували: «We won with highly educated. We won with poorly educated.» Потім: «I love the poorly educated!»252 Через вісім років дослідження Pew Research Center щодо перевірених виборців встановило, що виборці без вищої освіти підтримали його з перевагою 14 пунктів, тоді як люди з дипломом підтримали Гарріс з перевагою 16253.\nБританія не відрізняється. На виборах 2024 року Reform отримала 23 % голосів серед людей, чия найвища кваліфікація GCSE або нижче, проти 8 % серед випускників вишів254. Через два роки вона лідирує в першій групі з 40 % і посідає п’яте місце серед випускників з 14 %255.\nТож скажу прямо. Електорат Reform збудовано на людях з найменшою формальною освітою, а її метод залежить від того, що ними легко керувати. Цифра, яку вони не перевірять. Цап-відбувайло, вручений їм готовим. Крик «наклеп» тієї ж миті, коли хтось таки перевіряє. Це не випадковість того, кому подобається Фарадж. Це бізнес-модель, та сама, яку Трамп проговорив уголос, а ті, хто нею керує, розраховують, що люди, яких вони використовують, ніколи не читатимуть далі заголовка.\nХід MAGA Версія Reform Преса це «the enemy of the American People»256 на журналістів заявляють у поліцію, репортерів не пускають на конференцію233257 Кожне викриття це «fake news» кожне викриття це «smear», «hoax», «plant»193201 «Drain the swamp», поки мільярдери це фінансують «the establishment», поки двоє криптомільярдерів це фінансують37 Помилування для криптобоса криптобос, який фінансує Reform, має саме це помилування66 Крипто як справа «When it comes to your industry… then I am your champion»69 Велика цифра, байдуже, чи сходиться вона £234 млрд, потім £622 млрд, потім £154 млрд за власним методом Казначейства51 За підрахунком DeSmog, з моменту обрання в липні 2024 року Фарадж виступив на п’ятнадцяти заходах, пов’язаних із Трампом, а новому британському відгалуженню CPAC у липні 2026 року сказав: «I\u0026rsquo;ve spoken at over 10 CPACs in America»157. Ось список:\nКоли Де Що це Липень 2024 Мілвокі Національний з’їзд Республіканської партії Серпень 2024 Аризона Arizona Liberty Network Вересень 2024 Чикаго захід зі збору коштів до 40-річчя Heartland Institute, як головний доповідач Листопад 2024 Пенсильванія мітинг кампанії Трампа Грудень 2024 Лондон запуск Heartland UK/EU, якою керує Лоїс Перрі з RFOI Грудень 2024 Нью-Йорк New York Young Republicans Club Лютий 2025 Лондон Alliance for Responsible Citizenship Лютий 2025 Вашингтон CPAC Червень 2025 Лондон енергетична панель Heartland у Вестмінстері Вересень 2025 Вашингтон National Conservatism, поруч з Расселом Воутом, одним з архітекторів Project 2025 Жовтень 2025 Мічиган Hillsdale College Березень 2026 Вашингтон Club for Growth, який зібрав $163 млн для кандидатів-республіканців у 2024 році Червень 2026 Лондон Alliance for Responsible Citizenship Липень 2026 Лондон CPAC Great Britain, як головна зірка Липень 2026 Вашингтон захід до Дня незалежності «Redcoats and Rebels» Додай інавгурацію і дві зустрічі в Мар-а-Лаго, де він був, але не виступав157. Приблизно за ті самі два роки він згадав свій власний виборчий округ, Клактон, у Палаті громад шість разів, а чверть своїх тамтешніх промов використав, щоб підтримати нападки Трампа на політику британського уряду157.\nКілька з цих організаторів допомагали писати Project 2025, план другого терміну Трампа. Heartland одна з них. Вона також провела панель на конференції Reform у 2025 році і каже, що консультує партію з кліматичної політики157. І це не лише Фарадж. DeSmog перелічує керівника політики Reform Джеймса Орра, скарбника Ніка Кенді, депутатів Денні Крюґера і Суеллу Бравермен, Зію Юсуфа і Метта Ґудвіна як таких, що виступали для груп MAGA. Орр очолює британське відгалуження Edmund Burke Foundation, яка проводить конференції National Conservatism, а Юсуф виступав у Heritage Foundation, організації, що скликала Project 2025, і обіцяв «mass deportations» на кшталт Трампових157.\nПонад десять CPAC за кар’єру. Шість згадок власного округу з моменту обрання. Він їздив не заради погоди. Він їздив учитися ремесла.\nОсь як працює це ремесло. Знайди людей, яких підвели і які мають повне право злитися. Дай їм когось, кого звинуватити, хто бідніший за них. Згодуй їм цифру. Коли цифра розвалюється, згодуй іншу. Коли хтось перевіряє, назви це наклепом, а того, хто перевіряє, істеблішментом. І надішли рахунок тим самим людям, яким казав, що борешся за них. В Америці це спрацювало. Reform ставить на те, що спрацює й тут, і ставка в тому, що ти ніколи не прочитаєш програмного документа, документа з Companies House чи реєстру інтересів.\nЦей допис і є таким читанням.\nЧи пройшли б вони власний тест на характер? Reform хоче, щоб кожен осілий мігрант пройшов тест на «good character», щоб і далі тут жити2. У Home Office такий уже є, для людей, які подають на британське громадянство, і його настанови для співробітників чітко визначають, що означає провал258. Тож ось уявний експеримент. Пропусти власних діячів Reform через власний тест Home Office.\nТест Home Office Що кажуть настанови Що є в записі Злочинність відмовити, якщо хтось «not respected or are not prepared to abide by the law», наприклад, має судимість258 колишній лідер Reform у Вельсі, десять із половиною років за хабарництво154 Скандальна слава охоплює «publicly expressing unsavoury views on a subject such as race, religion or sexuality»258 «46% of British Muslims support Hamas»213; «I didn\u0026rsquo;t see another white face»142; «adverts full of black people»209 Відвертість «Concealment of information or lack of frankness will raise doubt about, and therefore reflect poorly on, the applicant\u0026rsquo;s character»258 незадекларований подарунок на £5 млн3; 17 запізнілих реєстрацій100; два роки підтримки від Аррона Бенкса, задекларовані після її завершення148 Повага до закону як вище258 рішення на посаді міністра житлового будівництва, визнане «unlawful by reason of apparent bias»139 Фінансова надійність «they have failed to pay taxes for which they were liable»258 жодного висновку HMRC проти Тайса, тож тут він проходить Співробітник має бути розсудливим, і настанови це кажуть258. Не кожен рядок сам по собі завалив би заяву, і це британські громадяни, яким ніколи не доведеться складати цей тест. У цьому й річ. Вони пишуть тест на характер для медсестер та інженерів, з яким їхня власна перша лава ледве впоралася б, і їм ніколи не доведеться його складати.\nВідсутність обвинувачення не є чистою довідкою Щоразу, коли одна з цих історій затихає, хтось каже: «ну, нікому ж не висунули обвинувачень». Тож скажімо точно, що це означає.\nРішення не висувати обвинувачення не є визнанням невинуватості. Crown Prosecution Service висуває обвинувачення лише тоді, коли доказів досить для реальної перспективи засудження і переслідування відповідає суспільному інтересу259. Справа, яка не проходить цей тест, не розглядалася в суді. Нікого не виправдали. Її просто ніколи не поставили перед судом.\nА більшість того, що є в цьому дописі, до цієї точки ще не дійшла. Розслідування Met щодо пожертв відкрите. Двох людей допитали під попередженням, і рішення про обвинувачення не ухвалено125. Розслідування Standards щодо Фараджа і Тайса відкриті76. Пожертву Дженріку розслідують141. Суд над Ґіббінсом починається 9 листопада212.\nАле дещо з цього дійшло до суду чи регулятора, і саме цю частину ніхто не може назвати наклепом. Постав висновки поруч:\nХто Зв’язок з Reform Висновок Натан Ґілл очолював Reform у Вельсі Old Bailey, листопад 2025 року: ув’язнений на десять із половиною років за хабарництво, гроші ведуть до друга Путіна154 Бен Дело другий за величиною донор федеральний суд США, 2022 рік: визнав провину в умисному невиконанні перевірок з протидії відмиванню грошей; згодом помилуваний Трампом6466 BitMEX біржа, яку співзаснував Дело Міністерство юстиції США, січень 2025 року: штраф $100 млн за Bank Secrecy Act65 Tether 12 % належать найбільшому донорові генеральний прокурор Нью-Йорка і CFTC, 2021 рік: врегулювання на $18,5 млн і штраф $41 млн за неправдиві відомості про резерви6061 Кріспін Оді дав Reform £10 000 у 2023 році FCA і Upper Tribunal, вересень 2026 року: заборона працювати у фінансових послугах як «unfit» і штраф £1,53 млн; FCA не зробило висновку щодо звинувачень, які за цим стоять, і він їх заперечує260 Reform UK сама партія Electoral Commission, вересень 2022 року: порушення у звіті про витрати на вибори 2019 року; без санкцій261 Роберт Дженрік кандидат Reform у канцлери High Court, 2020 рік: визнав своє рішення щодо Westferry «unlawful by reason of apparent bias»139 Річард Тайс заступник лідера Standards Commissioner, жовтень 2026 року: порушив кодекс депутатів, не задекларувавши оплачену RFOI поїздку до Ізраїлю під час дебатів про проізраїльський вплив; визнано «inadvertent»185 Енді Осборн голова Reform у North East Cambridgeshire, потім радник графства Westminster Magistrates\u0026rsquo; Court, квітень 2026 року: засуджений за Representation of the People Act за публікацію неправдивої заяви про суперника-кандидата, оштрафований і позбавлений права обіймати посаду262 Kent County Council під керівництвом Reform з 2025 року Information Commissioner, липень 2026 року: порушила закон про свободу інформації щодо записів про свою кампанію «ефективності», і їй наказали відповісти знову263 Від лідера у Вельсі до списку донорів і власної звітності партії висновок є на кожному рівні. Один такий випадок це невдача. Десять це закономірність.\nЯ не казатиму тобі, що хтось винен у тому, чого не встановив суд. Я скажу тобі, що думаю, а ти зважиш. Партія, яка на кожне питання відповідає «наклеп», виправдовує себе руками власного барристера, поки поліція ще розслідує, поновлює расистів і виключає критиків, не показала, що їй нема в чому звітувати. Вона показала, що не збирається цього робити.\nДля кого насправді Reform? Не для тебе. І ніколи не була.\nReform це афера, і не надто розумна. Вона каже працюючим людям, що це їхня партія, а потім пише план, який відбирає статус осілості в медсестри, що десять років платила тут податки, перекладає все скорочення виплат на людей працездатного віку і ставить зарплатну планку, яку її власним донорам ніколи не доведеться подолати. Це не захист працюючих людей. Це використання їх.\nПростеж за грошима, і вони течуть лише в один бік. Усередину, від громадянина Таїланду в Бангкоку і від криптобоса, який визнав, що умисно керував біржею, яку уряд США назвав «in effect a money laundering platform», отримав помилування від Трампа і переїхав до іншої країни, щоб обійти обмеження пожертв. Угору, до лідера, який поклав у кишеню £5 млн, яких так і не задекларував, і £135 000 за чотири години, витрачені на впарювання золота. Чотири години. Жодного ремесла, жодного продукту, жодної важкої праці. Лише балачки, і чимало з них нісенітниця, за ставкою, на яку медсестрі, яку він хоче бачити на візі з продовженням, довелося б заробляти роками. Назовні, до фірм, якими керують свої ж люди в партії. А рахунок падає на тебе.\nТож спитай, кому підзвітна партія, коли три фунти з кожних чотирьох надходять від двох чоловіків, які живуть за кордоном. Не своїм членам, які навіть не контролюють компанію. Не своїм виборцям, чия нагорода це віза з продовженням і скорочення виплат. Вона підзвітна тим, хто може перекрити гроші. Подивися, за що бореться Reform: жодного цифрового фунта, який загрожував би Tether, крипто з податком 10 %, скасоване обмеження для закордонних донорів, податкові пільги для оборонної галузі. Кожен із цих пунктів збігається з тим, чим володіють її спонсори.\nЯ не можу показати тобі, як віддають наказ, і не стверджую, що його віддавали. Мені й не треба. Партії, яка живе на гроші двох чоловіків, не треба казати, чого вони хочуть. Вона вже знає. Ось як виглядає маріонетка, коли все зроблено як слід. Нікому не треба смикати за ниточки, бо маріонетка рухається сама.\nВони говорять про те, щоб повернути контроль. А потім віддали його чоловікові в Бангкоку і чоловікові, який повернувся додому лише для того, щоб і далі платити, і зробили це заради грошей.\nЦе не люди з принципами. Її канцлер в очікуванні торік хотів, щоб вона зникла з бізнесу. Лінія її лідера щодо Путіна повертається за вітром. Її заступник радить тобі не «morally or voluntarily give more tax», ніж вимагає закон. Люди з принципами не розвертаються на п’ятачку щоразу, коли цього потребують донор, опитування чи заголовок. Люди з ціною розвертаються, а реєстр показує тобі, хто її платить.\nІ подивися на подвійні стандарти, бо в одній таблиці вся партія.\nЧого Reform вимагає від осілого мігранта Що є в записі власного кола Reform пройти тест на «good character» або втратити право залишитися її колишній лідер у Вельсі, десять із половиною років за хабарі, що ведуть до друга Путіна жодних злочинів друг Фараджа, засуджений у США за шахрайство з використанням засобів зв’язку, який платив за соцмережі, житло й охорону довкола його кампанії 2024 року і позичив компанії Тайса £78 100 повага до закону її другий за величиною донор, який визнав, що умисно не проводив перевірок з протидії відмиванню грошей, яких вимагає американський закон, і пішов з помилуванням від Трампа відвертість із владою лідер із £5 млн незадекларованих і 17 запізнілими реєстраціями заробляти більше за медіану або виїхати лідер, якому заплатили £135 000 за чотири години балачок Жоден із цих людей не пройшов би повз співробітника, якого Reform хоче поставити над медсестрою. Одне правило для неї. Інше для них. Це не помилка. Це задум.\nІ жодному з них ніколи не доводилося чесно відпрацювати день, щоб зробити щось, що можна взяти в руки. Подивися, що є в цьому дописі. Лідерові платять за балачки. Заступник заробляє на нерухомості й дивідендах. Канцлер в очікуванні зробив кар’єру в політиці. Дай будь-кому з них набір інструментів і тиждень на будові, у лікарняній палаті чи на конвеєрі, і подивися, далеко чи заведуть їх балачки. А проте саме ці чоловіки кажуть доглядальниці, що вона мусить довести, що заслужила своє місце.\nА ось частина, яка мала б зупинити тебе на місці. Чимало з тих, хто виконує цю важку працю, хто будує, лагодить, піднімає і доглядає заради заробітку, голосують за них. Найсильніша підтримка Reform серед людей з найменшою кваліфікацією255, тих, хто найімовірніше виконує саме цю роботу. Їм продають партію чоловіки, які не впоралися б з їхньою роботою, оплачену чоловіками, які тут не живуть, і вона урізала б підтримку і статус людей, що працюють на лінії поруч із ними. Це індики, які голосують за Різдво. І причина, чому вони не бачать духовки, в тому, що Reform дала їм натомість когось, кого ненавидіти. Мусульман на молитві. Чорні обличчя в рекламі. Медсестру-мігрантку в сусідній палаті. Спрямуй злість людей на того, хто працює поруч із ними, і вони перестають дивитися, хто залазить їм у кишеню. Це афера в найкращому вигляді, і вона працює на фанатизмі, який партія розпалює навмисно. Люди, яких вона обкрадає, якраз і аплодують їй.\nІ чимало з них отримують саме ті виплати, які Reform урізала б. Reform лідирує серед виборців з інвалідністю264. Округи, які вона намагається забрати в Labour, непропорційно часто ті, де люди найбільше залежать від виплат, пов’язаних зі здоров’ям265. Кожен депутат від Reform має перевагу меншу, ніж кількість людей, які отримують PIP у його власному окрузі266, а PIP це та виплата, яку Reform скасувала б на користь допомоги, що могла б відрізати до двох третин її отримувачів11. Вони стоять у черзі, щоб проголосувати за скасування власної підтримки, і аплодують, поки це роблять.\nА коли їм знадобиться догляд, хто, на думку Reform, його надаватиме? У 2023 році три з десяти медсестер NHS в Англії і понад третина лікарів NHS не були громадянами Великої Британії267. Соціальний догляд з 2020/21 року втратив 130 000 британських працівників268, і роками цю прогалину заповнювали люди, набрані з-за кордону саме для цієї роботи, лише у 2023/24 році їх було 105 000269. Це ті люди, яких Reform перевела б назад на візу з продовженням із зарплатною планкою вище медіани. Депортуй доглядальників, і виборець Reform з інвалідністю втрачає не лише виплату. Він утрачає людину, яка приходить його помити, нагодувати і підняти з ліжка. Ніхто в Reform не сказав, хто їх замінить, бо нікому в Reform ніколи не знадобиться такий догляд, за який вони не можуть заплатити.\nНазвімо це тим, чим воно є. Партія, яка за кілька місяців після расистських дописів пускає радників назад, підвищує одного з них до керівництва соціальною допомогою дорослим і викидає своїх критиків за кілька днів, є расистською партією, хоч би що випускала її пресслужба. Їй казали. Її знімали. Вона зробила вибір.\nІ щоразу, коли її ловлять, вона кричить «наклеп». Сім із дванадцяти історій, які вона назвала наклепом, підтвердилися. Кричати «наклеп» на історію, яка виявляється правдою, не є захистом. Це визнання, що тобі більше нічого сказати.\nПатріотизм? Та облиште. Партія, яку фінансують з Бангкока й Гонконгу, яка вишиковується на мітингах MAGA і викинула б людей, які тут живуть, працюють і платять податки, тоді як мільярдери, що поїхали десятиліття тому, тримають її на плаву. Це не патріотизм. Це прапор, обгорнутий навколо банківського рахунку.\nІ голосувати за неї теж не патріотизм. Патріот дбає про людей, на яких тримається ця країна, про медсестру, інженера, доглядальницю, з яким би паспортом вони не починали. Віддати свій голос партії, яка їх вижене, оплаченій чоловіками, що тут не живуть, не означає любити свою країну. Це означає, що тебе використовують проти неї. Ні чоловіки нагорі, ні люди, які їх туди ставлять, не є патріотами, хоч яким прапором вони махають.\nТож для кого насправді Reform? Для імен у реєстрі. Прочитай його. Якщо твого там немає, твоїх інтересів там теж немає.\nReform UK — The Cost of the Boriswave — програмний документ партії, квітень 2026: власники ILR «will have it rescinded», зарплатні пороги «above median UK earnings», «£154 bn if discounted at the 3.5% rate suggested by the HM Treasury Green Book».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nReform UK — Policies (archived 19th October 2026) — «abolish ILR and rescind existing awards», «5 year renewable visa», пенсіонери з достатніми внесками National Insurance зберігають право проживання і державну пенсію.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Guardian — Nigel Farage was given undisclosed £5m by crypto billionaire in 2024 — 29 квітня 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nUK Parliament — Register of Members\u0026rsquo; Financial Interests: Nigel Farage — переглянуто через API реєстру інтересів, 28 жовтня 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nFull Fact — Daily Mail corrects report about Reform UK\u0026rsquo;s disputed immigration savings — 3 жовтня 2025; аналітичний центр заявив, що «the overall cost estimates should no longer be used».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nEuronews — Reform UK pledges to strip all foreign nationals of benefits — 17 серпня 2026; виплати зі списку лише для громадян, зокрема Pension Credit.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nIFS — Reform UK\u0026rsquo;s plan for welfare: IFS response (archived) — 17 серпня 2026; «almost entirely from a working-age benefits bill», 1,3 млн негромадян Великої Британії на Universal Credit.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nDWP — Benefit expenditure and caseload tables 2026 — Spring Forecast 2026; 2025/26 Велика Британія загалом £309,06 млрд, пенсіонери £177,65 млрд, державна пенсія £146,07 млрд, працездатний вік £126,08 млрд.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLBC — Farage guarantees the triple lock on pensions — 2 квітня 2026, з попередніми заявами «open for debate» і «we\u0026rsquo;re not guaranteeing the triple lock».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nSTV News — Reform\u0026rsquo;s welfare pledges aim to please pensioners — 17 серпня 2026; «nothing that we talk about today is about pensioners».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Week — Are welfare cuts Reform\u0026rsquo;s stumbling block? — серпень 2026; PIP замінено на «health security allowance», яка «could exclude up to two-thirds of current recipients», 20 годин громадських робіт.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nDWP — Universal Credit statistics, 29th April 2013 to 14th May 2026 — «3.1 million people on Universal Credit in any employment … in April 2026, which was 37.7% of all people on Universal Credit».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nIFS — Reform UK manifesto: initial reaction (archived) — червень 2024; цитується в The Irish Times, 17th June 2024.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLeft Foot Forward — Reform to U-turn on £90 billion tax cuts — жовтень 2025; Тайс на Times Radio: «A manifesto is based on a point in time.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nIrish News (PA) — Reform could deport 600,000 asylum seekers under immigration plan — 26 серпня 2025.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nBig Issue — Reform UK\u0026rsquo;s £50 billion benefits plan — серпень 2026; Том Вотерс з IFS.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nEnergy Live News — Reform promises to scrap green levies and VAT on energy bills — 17 березня 2026, близько £200.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nEnergy Live News — Reform UK say they will cut bills by £150 with levy change — 7 вересня 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nFull Fact — Did Reform UK break its promises on council tax? — 9 квітня 2026, оновлено 6 травня 2026: 3,94 % проти 4,86 %.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Guardian (via inkl) — Reform-run Kent council accused of fabricating £40m net zero savings — лютий 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nExpress \u0026amp; Star (PA) — Reform defends savings claim amid questions on scope of welfare plans — 22 вересня 2025.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLBC — Jenrick says he wants to put Reform UK out of business — 28 серпня 2024.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nBBC News — Reform UK names Robert Jenrick as pick for chancellor — 17 лютого 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nHuffPost UK — Farage says Putin is his most admired leader — 31 березня 2014.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nExpress \u0026amp; Star (PA) — Farage calls Putin \u0026lsquo;very bad dude\u0026rsquo; — 16 жовтня 2025.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCompanies House — 11694875, persons with significant control — компанія, що почалася як The Brexit Party Limited; частки Фараджа і Тайса до 19 лютого 2025.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nExpress \u0026amp; Star (PA) — Nigel Farage hands ownership of Reform to members, says party — 20 лютого 2025.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCompanies House — Reform UK Party Limited (16260766), filing history — аудитована звітність за 2025 рік, подана 30 вересня 2026: примітка 20 «two members», примітка 19 передачі за £15 і £1, дохід від членських внесків £4 524 299, профіцит £7 660 122.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Guardian (via inkl) — Not-for-profit appears to own Reform UK despite Farage\u0026rsquo;s \u0026ldquo;democratisation\u0026rdquo; pledge — лютий 2025; Фарадж і Зія Юсуф гаранти нової компанії.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCompanies House — Reform UK Party Limited (16260766), officers — Фарадж директор з 18 лютого 2025; Юсуф пішов у відставку 5 червня 2025.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nByline Times — Chairman Farage: how Reform UK operates as a democratic party in name only — 18 серпня 2026; статут, ухвалений у вересні 2025, статті 4.3 і 6.20.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLeft Foot Forward — Nigel Farage sets up a new private company for Reform UK — лютий 2025; Хабіб у FT: «puts Farage\u0026rsquo;s leadership in a virtually unassailable position».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nElectoral Commission — donations register — пожертви й позики Reform UK і Brexit Party (PP7931), переглянуто 28 жовтня 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Independent (via inkl) — Data reveals the percentage of Reform donors recently based overseas — 27 жовтня 2026; 80 % для Reform, 3,57 % Conservatives, 0,15 % Labour.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nChannel 4 News — How a crypto billionaire used \u0026lsquo;gaping loopholes\u0026rsquo; to bankroll Reform — 27 липня 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Guardian — Christopher Harborne, the mystery billionaire bankrolling Reform UK — 25 квітня 2026; громадянство Таїланду у 2011 році як Chakrit Sakunkrit.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nBBC News — Second crypto billionaire matches £36m Reform donation — 12 вересня 2026; Тайс: «so that the Labour Party can\u0026rsquo;t legislate against it».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nSearchlight — Crypto billionaire quits Hong Kong to bankroll Reform UK — 9 квітня 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nGOV.UK — Cap on donations from overseas electors and ban on crypto donations — 25 березня 2026; £100 000 на рік.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nPolitical Parties and Elections Act 2009, section 10 — «resident, ordinarily resident and domiciled in the United Kingdom», статус «Prospective».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNewcastle City Council — Elections Act 2022: overseas electors — 15-річне обмеження скасовано з 16 січня 2024.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Rycroft Review — countering foreign financial influence and interference in UK politics — березень 2026, пункти 39, 51–53.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCouncil of Europe — Recommendation Rec(2003)4 on common rules against corruption in the funding of political parties — стаття 7, пожертви від іноземних донорів.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nInternational IDEA — written submission to the Australian Parliament — 2017; 63 % країн забороняють іноземні пожертви партіям.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNHPR (NPR/AP) — Lev Parnas sentenced to 20 months — 29 червня 2022.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCourthouse News — Trump donor sentenced to 12 years for unlawful campaign contributions — 18 лютого 2021.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nVenice Commission and OSCE/ODIHR — Guidelines on Political Party Regulation, 2nd edition — грудень 2020, пункти 229 і 230.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\ngov.ie — Political donations — ірландські громадяни за кордоном можуть жертвувати; ліміт €3100 на рік одній партії.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nElections Canada — contribution limits 2026 — лише громадяни й постійні мешканці, $1775.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nUS Federal Election Commission — Foreign nationals — громадяни США за кордоном можуть давати в межах федеральних лімітів.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nEastern Eye — Reform candidate faces backlash over comments on British identity — 28 січня 2026, з цитатою з попередніх текстів Метта Ґудвіна.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nYorkshire Post — Yorkshire-born billionaire Christopher Harborne donates £36m to Reform — 12 вересня 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nAl Jazeera — Second crypto billionaire donates record sum to Reform UK — 12 вересня 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nReason (Volokh Conspiracy) — Cryptocurrency trader\u0026rsquo;s defamation lawsuit against Wall Street Journal can go forward — Delaware Superior Court, грудень 2024: «Harborne owned 12% of Bitfinex and its sister company Tether».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nQinetiQ — Holding(s) in Company, 9th June 2026 — Klear Kite LLC, «ultimately controlled by Christopher Harborne», 14,98 %.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nGOV.UK — Major £1.5 billion defence contract with British firm — 23 травня 2025.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCompanies House — AML Global Payments LLP (OC305889), persons with significant control.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Guardian — Arms and the £5m man: Christopher Harborne\u0026rsquo;s military empire — 30 серпня 2026, з відповідями Reform і його юристів.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Guardian — The £1m man: why did Boris Johnson take his donor to Ukraine? — 10 жовтня 2025.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNew York Attorney General — Bitfinex and Tether settlement — 23 лютого 2021.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCFTC — Tether and Bitfinex ordered to pay fines — 15 жовтня 2021; резерви «for only 27.6% of the days».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nUNODC — Casinos, Money Laundering, Underground Banking, and Transnational Organized Crime in East and Southeast Asia — січень 2024.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Guardian — Cryptocurrency linked to Farage donor used for Russian war effort — 21 листопада 2025.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nUS Department of Justice, SDNY — Founders of cryptocurrency exchange plead guilty to Bank Secrecy Act violations (archived) — 24 лютого 2022.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nUS Department of Justice — BitMEX fined $100 million for violating the Bank Secrecy Act — січень 2025.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nUS Department of Justice — Clemency grants by President Donald J. Trump — Benjamin Delo, 27 березня 2025.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Guardian — British crypto billionaire Ben Delo says he has given £4m to Reform UK — 8 квітня 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Guardian — Nigel Farage trying to block Britcoin plans — 18 червня 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nByline Times — Crypto investor donates £9 million to Reform UK after Nigel Farage plugs his company — 4 грудня 2025.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Block — Nigel Farage pledges UK bitcoin reserve and crypto capital gains tax cut — травень 2025.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Guardian — Political donations in cryptocurrency blocked — 25 березня 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Guardian — Farage said he would need \u0026lsquo;a million a year\u0026rsquo; to stand as an MP in 2024 — 15 липня 2026; подарунок датовано 5 квітня 2024 юристами Гарборна.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nProtos — Farage says £5m Harborne gift was reward for Brexit — 14 травня 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Guardian — Tories ask HMRC to investigate Farage over £5m gift — 22 липня 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Guardian — Standards watchdog investigation into Nigel Farage\u0026rsquo;s financial gifts — 14 серпня 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nParliamentary Commissioner for Standards — allegations currently under investigation — переглянуто 28 жовтня 2026: Фарадж (відкрито 13 травня 2026, Rule 5), Тайс (відкрито 20 серпня 2026, Rule 13).\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Guardian — Nigel Farage questions claim of second standards investigation — 1 вересня 2026; Коттрелл «paid for social media work, accommodation and security before the 2024 election».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nExpress \u0026amp; Star (PA) — Farage concluded he faced stitch-up amid probe into £5m gift, Jenrick says — 9 липня 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLeft Foot Forward — Reform gains financial backing from another billionaire — липень 2026, з цитатою з Telegraph; податкове резидентство у Швейцарії і запланований переїзд.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nUK Parliament — Register of Interests, entry 14397 — Сасан Ґандехарі, «Accreditation (£50,482.16) cost for me and one staffer», Давос, січень 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Guardian (via inkl) — Nigel Farage\u0026rsquo;s trip to Davos hosted and paid for by family trust of billionaire — січень 2026; «the $10bn family trust of an Iranian-born billionaire».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nElectoral Commission — donations from Interior Architecture Landscape Ltd — сім внесків на загальну суму £200 000, 2025.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCompanies House — Interior Architecture Landscape Ltd (08363406), persons with significant control.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLeft Foot Forward — Labour MP calls for Companies House to probe origins of £200,000 gift to Reform — лютий 2026, з цитатами з FT і заявами юриста Ґандехарі та фірми.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nIran International — Reform UK donor had ties to Iran supreme leader-linked foundation, Guardian reports — 23 жовтня 2026, про розслідування Guardian щодо рішення французького арбітражу; Ori Group 49 %, Astan Quds Razavi 51 %; Orico General Trading; відповідь юристів.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nByline Times — Reform UK donations from collapsing firms are \u0026ldquo;not under investigation\u0026rdquo;, says elections watchdog — 3 липня 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCompanies House — FK Building Limited (12545681), filing history.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nElectoral Commission — donation C0835464 — FK Building Ltd, £100 000, 8 жовтня 2025.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCompanies House — FK Group Limited (07732053) — під зовнішнім управлінням; так само FK Construction (09890502) і FK Facades (02874877).\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nBuilding — More than 50 jobs saved after administrators appointed at facades firm FK Group — 54 робочі місця передано Keenan Holdings.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCompanies House — Keenan Holdings Limited (11920973), persons with significant control — Deborah Ruth Keenan, 75 % або більше.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCompanies House — FK Building Limited, insolvency — добровільна ліквідація за рішенням кредиторів з 6 липня 2026; заява про стан справ: нестача £3 149 939, HMRC £25 618 і £384 029.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCompanies House — FK Resolv Ltd (08222605), persons with significant control — FK Group припинила контроль, повідомлено про FKR Group Limited, 16 жовтня 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCompanies House — FKR Group Limited (17302053) — зареєстровано 25 червня 2026; Francis Anthony Keenan, 75 % або більше.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nByline Times — Reform UK accounts raise fresh questions about origins of Richard Tice donations — 7 серпня 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nExpress \u0026amp; Star (PA) — Nigel Farage declares £270,000 payment for promoting gold bullion.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nByline Times — Gold firm that employs Nigel Farage predicts unrest and violence under a Reform government — 25 серпня 2026; £685 500 з грудня 2024.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Guardian — Nigel Farage uses private company to pay less tax on GB News earnings — 5 вересня 2025.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCompanies House — Thorn In The Side Ltd (07650770) — звітність до 31 травня 2025: чисті активи £3 144 967; примітка 8, оренда студії в директора за £10 000 на рік.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nParliamentary Commissioner for Standards — rectification, Mr Nigel Farage MP — 20 січня 2026; сімнадцять порушень Rule 5, «inadvertent».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nByline Times — Reform UK paid £440,000 to firms linked to party insiders — 14 серпня 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nElectoral Commission — spending search — звіти Reform UK про витрати на кампанії, підсумовані за постачальником: £440 571,23 на п’ять фірм; пожертва Jupiter на £50 000 має номер C0836534.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nUK Parliament — Register of Interests, entry 13453 — BTC Inc, £7410, отримано 22 вересня 2025.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nProtos — Reform UK pulls crypto bill from website — знято 30 травня 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nUK Parliament — Register of Interests, entry 13771 — Blockworks Inc, £30 000, 2 години, 13 жовтня 2025.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nUK Parliament — Register of Interests, entry 13773 — Zebu Group Ltd, £20 000, 2 години, 22 жовтня 2025.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nByline Times — Nigel Farage took £50,000 from crypto firms, then said he was not aware of the industry funding his party — 22 травня 2026; відповідь Reuters стосувалася донорів партії, а не його власних гонорарів.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nUK Parliament — Register of Interests, entry 15047 — «Shares in Stack BTC PLC that are wholly owned by Thorn in the Side Ltd.»; також запис 15050.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nStack BTC plc — Strategic investment by Nigel Farage MP (Investegate) — оголошення компанії і цитата Фараджа.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Guardian — Nigel Farage Cameo videos backed cryptocurrencies that collapsed in value — 19 березня 2026; відповідь речника.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nUS Attorney, Southern District of New York — Founder of Celsius sentenced to 12 years for fraud and market manipulation — 8 травня 2025; «At times, they used customer deposits to fund these market purchases.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nUNODC — Inflection Point (2025) — втрати «up to an estimated US $37 billion» у Східній і Південно-Східній Азії.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nTether — freezes and law enforcement support — власні цифри Tether: понад $5 млрд заморожено, понад 340 органів.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Rycroft Review (PDF) — «there is a risk that cryptoassets are used as the vehicle to channel foreign money into the political system in the UK»; рекомендація 3, мораторій.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nByline Times — The elections watchdog doesn\u0026rsquo;t know where Reform UK\u0026rsquo;s crypto donations are coming from — 16 березня 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCity of London Police — UK victims lost £2.4 million every day to investment fraud in 2025 — квітень 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nPolice Professional — investment fraud figures for 2024 — крипто «66 per cent of all reports»; «Those aged 55-64 suffered the greatest financial losses».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nFCA — Crypto basics — «you should be prepared to lose all your money».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCompanies House — CLS Holdings plc (02714781), officers — Тайс директор з 11 травня 2010 по 7 квітня 2014.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCompanies House — Quidnet REIT Ltd (09718143), filing history — звітність за 2025 рік, подана 29 вересня 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nUK Parliament — Register of Members\u0026rsquo; Financial Interests: Richard Tice — винагорода від Quidnet REIT, частки в компаніях.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nBBC News — Richard Tice defends company\u0026rsquo;s tax arrangements — 15 березня 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nBBC News — Tice company did not withhold tax on dividends — 12 квітня 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCompanies House — Britain Means Business Ltd (10893794) — колишня Leave Means Leave Ltd; звітність мікропідприємства, чисті активи £28 864 (2023) і £10 479 (2024).\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nSTV News (ITV/PA) — Met Police investigate donations by Richard Tice company to Reform UK — 26 липня 2026; звернення Electoral Commission у лютому 2025, двох допитали під попередженням.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLBC — Police investigate £500,000 in donations to Reform UK from Richard Tice firm.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nShropshire Star (PA) — Tice claims politically motivated smear amid scrutiny of Reform UK finances — липень 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCompanies House — Leave.EU Group Ltd (09763501), officers — Тайс директор з 29 січня 2016 по 25 травня 2017.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nFull Fact — EU referendum Electoral Commission fines — штраф Leave.EU на £70 000 після апеляції зменшено до £66 000.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Guardian — Richard Tice, Reform loan and George Cottrell: standards watchdog — 29 липня 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCompanies House — Richard Tice, appointments — спільні директори в компаніях Quidnet, Enjoyouretirement і Galecroft.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Guardian — Standards watchdog investigating Reform\u0026rsquo;s Richard Tice — 3 серпня 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Guardian — Robert Jenrick rules out Tory pact with Reform UK — 25 квітня 2025.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nExpress \u0026amp; Star (PA) — Robert Jenrick defects to Reform after Tory sacking — 15 січня 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nBBC News — Robert Jenrick joins Reform UK — 15 січня 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLBC — Read in full: Robert Jenrick\u0026rsquo;s speech — січень 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nBBC News — Jenrick releases documents on Westferry decision — 24 червня 2020.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Guardian — Richard Desmond housing project unlawfully approved — 27 травня 2020.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nBBC News — Westferry: Jenrick admits decision was unlawful — 11 червня 2020; «unlawful by reason of apparent bias», пожертва Десмонда на £12 000.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nBBC News — Westferry approval to be quashed — 27 травня 2020.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Guardian — Police investigate £37,500 donation to Jenrick leadership campaign — 8 липня 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Guardian — Jenrick complained of not seeing another white face in Handsworth — 6 жовтня 2025.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Independent — Robert Jenrick on protester at Reform conference — 6 вересня 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nHuffPost UK — Jenrick says Reform supporter who attacked woman should get a medal — 10 вересня 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Independent — Statistics Authority on Jenrick\u0026rsquo;s modern slavery claim — 6 липня 2023.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Observer — Ukip leader Nigel Farage boasts of his £2m in expenses — 24 травня 2009.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Guardian — Nigel Farage\u0026rsquo;s EU salary docked over claim he misspent public funds — 12 січня 2018; рейтинг VoteWatch і відповідь EFDD.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nEuropean Parliament — Declaration of financial interests, Nigel Farage, revision 4 — датована 1 липня 2019.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Independent — EU authorities asked to investigate Farage over Arron Banks gifts — 19 травня 2019.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nEU General Court — Case T-564/11, Farage v Parliament and Buzek — ухвала від 5 вересня 2012.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Independent — Farage referred to advisory committee over Banks support — 21 травня 2019.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCourt of Justice of the EU — press release 138/19, Case T-48/17 ADDE v Parliament — 7 листопада 2019; рішення 2016 року скасовано через брак неупередженості.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nEU General Court — Case T-118/17, IDDE v Parliament — рішення від 8 лютого 2018, пункти 6, 9 і 55.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nJudiciary of England and Wales — R v Nathan Gill, sentencing remarks — 21 листопада 2025.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nAl Jazeera — Ex-leader of Reform UK in Wales jailed for 10 years over pro-Russia bribes — 21 листопада 2025.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLBC — Nigel Farage says the West provoked Russia to invade Ukraine — 21 червня 2024.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nDeSmog — Nigel Farage has spoken at 15 Donald Trump and MAGA events since the 2024 election — 20 серпня 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nUS House Judiciary Committee — Europe\u0026rsquo;s Threat to American Speech and Innovation — 3 вересня 2025.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nGazette — Clacton MP meets Donald Trump — 4 вересня 2025.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nITV News (archived) — Elon Musk says Nigel Farage doesn\u0026rsquo;t have what it takes to lead Reform — 5 січня 2025.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nElectoral Commission — donation V0598867 — Крістофер Гарборн Найджелу Фараджу, £27 616,76, прийнято 17 січня 2025, «Second inauguration of Donald Trump».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nUK Parliament — Register of Interests, entry 13939 — Бассім Хайдар, «Flights for me (£19,072.01) and two staffers (£35,849.01)», США, 6–9 листопада 2025.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nDeSmog — Nigel Farage\u0026rsquo;s donor-funded flights to Donald Trump — 26 січня 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nUK Parliament — Register of Interests, entry 14207 — ОАЕ, 6–8 грудня 2025, «To attend the F1 and for meetings»; уряд Абу-Дабі £1000, Abu Dhabi F1 £9000.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nUK Parliament — Register of Interests, entry 13577 — Річард Тайс, Ізраїль, 26–30 вересня 2025, донор RFOI Ltd, £6250, «Education and meetings with President and Foreign Minister».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLondon Assembly — Alex Wilson, gifts and hospitality — «Reform UK Delegation to Israel including flights, accommodation and meals», Міністерство закордонних справ Ізраїлю, £4861,27.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLancashire Lead — Reform UK\u0026rsquo;s Lancashire leader takes Israel trip, cancelled meetings — 30 листопада 2025.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNovara Media — Israel spent £50k on lobbying trips for Reform — 9 липня 2026, з посиланням на Declassified UK; делегати й маршрут.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLeft Foot Forward — Kemi Badenoch and Nigel Farage to speak at climate denial festival — лютий 2025, склад учасників конференції ARC.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nDeSmog — Revealed: the Trump donors, Reform-backing billionaires and oil companies funding the Alliance for Responsible Citizenship — 24 червня 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Block — Lutnick\u0026rsquo;s Cantor Fitzgerald negotiated a 5% ownership stake in Tether, WSJ.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nFortune — Tether names Bo Hines to run its US stablecoin — 12 вересня 2025.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCompanies House — RFOI Limited (16521255), persons with significant control — і officers; SIC 70210, зв’язки з громадськістю.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nHenry Jackson Society — Henry Jackson Society appoints Jason Pearlman as new Deputy Director — 2 березня 2018; «three and a half years as international media adviser to Israel\u0026rsquo;s President Reuven Rivlin».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nJewish News — Jason Pearlman steps down as President\u0026rsquo;s media adviser.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nJewish News — Nigel Farage\u0026rsquo;s party launching Reform Jewish Alliance and Friends of Israel groups — лютий 2026; Фарадж про Перлмана, «a real coup».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCity AM — Top foreign policy analyst and Tory councillor jumps ship to Reform — листопад 2025; Мендоса, керівник Henry Jackson Society, приєднується до Reform «as its chief adviser on global affairs».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nFitzrovia News — Second Westminster Conservative councillor defects to Reform UK — 20 листопада 2025; Мендоса «co-founder and executive director»; Фарадж: «an excellent addition».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nDeSmog — Lois Perry — запуск Heartland Institute UK/Europe, грудень 2024, Фарадж «special guest of honour».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nWikipedia — Lois Perry — лідерка UKIP з травня по червень 2024; виконавча директорка Heartland Institute UK/EU.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCompanies House — Tamares Real Estate Investments (UK) Limited (02792424), officers — Roy Zabludowicz, народився в березні 1990, директор з 18 червня 2021, разом із Chaim Zabludowicz.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nWikipedia — Poju Zabludowicz — Tamares, BICOM, Soltam, пожертви Conservatives.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nDeclassified UK — Friends of Israel groups have funded 56 trips for British politicians — 26 листопада 2025.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nJTA — Reform UK deputy leader faces inquiry over Israel visit — 4 серпня 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nParliamentary Commissioner for Standards — Mr Richard Tice MP, rectification, Rule 6 — опубліковано 27 жовтня 2026; «the failure to declare this interest was a breach of Rule 6».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Guardian — John Healey asks Nigel Farage if any of gift may have come from Russia-linked profits — 22 травня 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nUnearthed (Greenpeace) — Christopher Harborne, jet fuel and Russian, Iranian oil — 1 липня 2026, разом із The Times.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Guardian — Richard Tice stayed with Tory donor Lubov Chernukhin — 10 жовтня 2025.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNZ Herald — False Russian spy claim against top NZ businessman Christopher Chandler — і Law.com, вердикт на $8 000 001, 22 жовтня 2024.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCNN — Reform UK faces criminal investigation — 9 вересня 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nAl Jazeera — Why is Farage\u0026rsquo;s Reform accused of violating UK foreign funding rules? — 4 вересня 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Irish Times — Nigel Farage aides step down after undercover report — 4 вересня 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nEuronews — Reform UK reported to police over claims of illegal donations — 4 вересня 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nChannel 4 News — Met Police launch criminal investigation into Reform UK donations — 9 вересня 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nHeart (Global) — Reform UK internal inquiry clears own adviser — 7 жовтня 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLBC — Farage on foreign funding claims — вересень 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nWikipedia — GB News — «Marshall and Legatum jointly own the company through All Perspectives Ltd., in which they each own around 40%»; голова Алан Маккормік «a partner at Legatum»; стартовий раунд на £60 млн.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLeft Foot Forward — GB News reveals £22 million in new losses — березень 2026; збиток £22 млн у 2024/25, понад £130 млн з моменту запуску, ще £17,7 млн від All Perspectives, дохід £26,2 млн.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe New World — The GB News Files (PDF) — березень 2026; 20 рецензентів; £585 000 і частка Фараджа, £100 000 Андерсона, шоу Ґудвіна про додаткові вибори, Ендрю Ніл.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nBBC News — Reform canvasser filmed by Channel 4 — 27 червня 2024.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nHuffPost UK — Reform activists did not commit a criminal offence, police say — 3 липня 2024.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nExpress \u0026amp; Star (PA) — Ofcom will not investigate Channel 4 over Reform UK undercover sting — 3 липня 2024.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nExpress \u0026amp; Star (PA) — Farage claims bad apples are gone from Reform UK — 30 червня 2024.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nITV News (archived) — Inside Reform: councillors\u0026rsquo; extreme and racist views on camera — 14 жовтня 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nExpress \u0026amp; Star (PA) — Undercover footage shows Reform activist claiming Muslims cannot be British — 17 жовтня 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nExpress \u0026amp; Star (PA) — Reform UK should take immediate action against racism, Burnham says — жовтень 2026, із заявою Reform.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nExpress \u0026amp; Star — Reform UK kick Staffordshire County Council leader out of party — 5 грудня 2025.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe JC — Reform mayoral candidate suspended after likening Jewish security group to Islamists on horseback — березень 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLBC — Nigel Farage on Sarah Pochin\u0026rsquo;s adverts remarks — жовтень 2025.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe National — Scottish Reform UK MSP who backed deporting Muslims elected — 8 травня 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nBBC News — Reform councillor expelled over posts — 11 травня 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLBC — Reform councillor charged over pothole post — липень 2026; суд призначено на 9 листопада 2026, обвинувачення заперечується.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Guardian — Nigel Farage under fire after saying Muslims do not share British values — 26 травня 2024.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Guardian — Nigel Farage condemned over call to ban public prayer for Muslims — 19 березня 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nYouGov — Do Britons think Reform UK are racist? — вересень 2025.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nYouGov — What do Britain\u0026rsquo;s ethnic minorities think of British politics? — жовтень 2025.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nBBC News — Reform councillor\u0026rsquo;s whip restored — 10 лютого 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nBlog Preston — Politician in charge of Lancashire\u0026rsquo;s care homes — червень 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nBBC News — Doncaster Reform councillor suspended over posts — 15 лютого 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNovara Media — Reform quietly readmits suspended councillors — 16 червня 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nExpress \u0026amp; Star (PA) — No charges to be brought against ex-Reform MP Rupert Lowe — 14 травня 2025.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nExpress \u0026amp; Star (PA) — Four Reform councillors suspended after footage of tense meeting leaked — 20 жовтня 2025.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nIBTimes UK — ITV Exposure: Reform UK, Farage, Parry and vetting — 16 жовтня 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Daily Britain — ITV undercover Reform UK documentary — 19 жовтня 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nBreakingNews.ie (PA) — Farage insists no case to answer on undeclared £5 million gift — 6 травня 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNewswav — Reform accused of failing to condemn racism after councillor\u0026rsquo;s Nigerians post — травень 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNation.Cymru (PA) — Jenrick blames Tory smear amid probe into leadership campaign donations — травень 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nIBTimes UK — Reform UK investigates members after ITV undercover report — 15 жовтня 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLBC — Reform councillors and the ITV sting — жовтень 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nGB News — Nigel Farage responds to Coutts — 4 липня 2023.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nBBC News — BBC apologises to Nigel Farage over Coutts report — 24 липня 2023.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Spectator — Lowe brands Farage a \u0026lsquo;viper\u0026rsquo; after charges dropped — 14 травня 2025.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNation.Cymru (PA) — Reform UK branded \u0026lsquo;sinister\u0026rsquo; for reporting journalists to police — 22 жовтня 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nPress Gazette — Reform says it has reported ITV to the police — 21 жовтня 2026, із заявою NUJ.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nChesney and Citron — Deep Fakes: A Looming Challenge for Privacy, Democracy, and National Security — California Law Review, 2019.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nSchiff, Schiff and Bueno — The Liar\u0026rsquo;s Dividend: Can Politicians Claim Misinformation to Evade Accountability? — American Political Science Review, 2024.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCommittee on Standards in Public Life — The Seven Principles of Public Life.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nHouse of Commons — Code of Conduct for Members, HC 1083 — «inspired and informed by the Seven Principles of Public Life».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nSociety of Editors — Society calls for reversal of Reform UK ban in Derbyshire — 1 жовтня 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe London Economic — Reform become most referenced opposition party on BBC and ITV News at Ten — 15 грудня 2025; Cardiff University, вересень 2025: Reform 37, Conservatives 25; Фарадж 49 на ITV.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe London Economic — Reform, with 0.7% of all MPs, featured in 25% of BBC\u0026rsquo;s recent 10pm news bulletins — 2 листопада 2025; дослідження Cardiff University «Enhancing Impartiality», перші шість місяців 2025, Lib Dems 17 %.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNation.Cymru — Why isn\u0026rsquo;t the Greens\u0026rsquo; growing success reflected in media coverage? — 28 лютого 2026, дослідники Cardiff University Максвелл Моделл, Метт Волш і Стівен Кушіон; сюжети, які партії очолювали у 2025 році, пояснення BBC через опитування, Greens з 11 % до 17 %.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nBBC Editorial Guidelines — Impartiality — принципи 2.2.6 і 2.2.7.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nWikipedia — List of Question Time episodes, highest appearance makers — Фарадж 38 появ, 1,9 на рік; Кларк 1,4, Вільямс 1,7, Кемпбелл 1,6, Гармен 1,3, Кеннеді 1,4.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe London Economic — Nigel Farage set for 38th appearance on Question Time — 2 грудня 2024.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nProspect — GB News seems to have become Reform TV, and Ofcom hasn\u0026rsquo;t stopped it — Алан Расбріджер, 21 березня 2026; Маршалл і Legatum, Хабіб і Лоу, Ofcom припиняє розслідування щодо Фараджа.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nWikipedia — Legatum — «a private investment firm, headquartered in Dubai», заснована у 2006 році уродженцем Нової Зеландії Крістофером Чендлером, співвласник GB News.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Nerve — For GB News\u0026rsquo;s funders, a £130m loss is a small price to pay for vast influence — £131 млн втрачено з середини 2021 року, £22 млн за рік до травня 2025.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nPolitical Parties, Elections and Referendums Act 2000, section 54 — допустимий донор-компанія має бути зареєстрована за Companies Act 2006, «incorporated within the United Kingdom» і вести «business in the United Kingdom».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nOfcom — Ofcom fines GB News £100,000 — 31 жовтня 2024; правила 5.11 і 5.12, «the seriousness and repeated nature of this breach».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nMishcon de Reya — High Court quashes Ofcom\u0026rsquo;s decisions against GB News — рішення від 28 лютого 2025 щодо програм Ріс-Моґґа.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nSnopes — Did Trump say \u0026lsquo;I love the poorly educated\u0026rsquo;? — промова після перемоги на кокусах у Неваді, 23 лютого 2016; атрибуцію визнано правильною. Також The Week.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nPew Research Center — Behind Trump\u0026rsquo;s 2024 victory: voting patterns of validated voters — червень 2025; виборці без вищої освіти підтримали Трампа з перевагою 14 пунктів, випускники вишів Гарріс з перевагою 16.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nYouGov — How Britain voted in the 2024 general election — Reform 23 % серед людей з GCSE або нижче, 8 % серед людей з вищим рівнем освіти.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nYouGov — How would Britain vote two years since the 2024 election? — 2026; Reform 40 % серед людей з GCSE або нижче, п’яте місце з 14 % серед випускників вишів.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nGood Morning America (ABC) — Trump calls media \u0026rsquo;enemy of the American people\u0026rsquo; — 17 лютого 2017.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nMiddle East Eye — Reform UK bans Middle East Eye journalist from party conference — 2 вересня 2026; Анну Айзек і Пітера Ґеоґегана з Guardian теж не пустили.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nHome Office — Nationality: good character requirement, version 7.0 — настанови для співробітників, опубліковані 30 квітня 2026: злочинність, скандальна слава, «lack of frankness», фінансова надійність.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCrown Prosecution Service — The Code for Crown Prosecutors — Full Code Test: реальна перспектива засудження, потім суспільний інтерес.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nFCA — Upper Tribunal upholds Crispin Odey ban — вересень 2026, «unfit to work in financial services», штраф £1 529 374; і Decision Notice, березень 2025. £10 000 від Оді для Reform UK 4 серпня 2023 це запис Electoral Commission C0572678.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nElectoral Commission (via Wired-Gov) — Investigations concluded, 27th September 2022 — Reform UK, «Failure to deliver a complete campaign spending report» і «Late payment of claims», «No sanction».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLocal Government Lawyer — Reform member found guilty over false statements about rival — квітень 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nInformation Commissioner — decision notice IC-411617-G3G8, Kent County Council — 16 липня 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nGB News — With Reform UK leading among disabled voters — Opinium, березень 2025: Reform 29 %, Labour 20 % серед респондентів з інвалідністю (підвибірка з 407).\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nPoliticsHome — Labour seats at risk from Reform have higher rates of people relying on disability benefits — 3 червня 2025; аналіз Trussell, 140 із 247 округів у верхній третині.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Spectator Australia — Can Reform really end benefits Britain? — серпень 2026; «every Reform MP has an electoral majority smaller than the number of PIP claimants living in their constituency».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Guardian (via Eastern Eye) — One in five NHS staff in England are non-UK nationals — дані NHS Digital за вересень 2023: 20,4 % персоналу, 30 % медсестер і патронажних сестер, 36,3 % лікарів.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLocalGov — Social care vacancy rate falls to decade low but challenges ahead — 24 червня 2026, Skills for Care: кількість посад, заповнених британськими громадянами, з 2020/21 скоротилася на 130 000.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCare Provider Alliance — The size and structure of the adult social care sector and workforce in England, July 2025 — огляд звіту Skills for Care: кількість працівників, набраних з-за кордону, впала зі 105 000 у 2023/24 до 50 000 у 2024/25.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\n","permalink":"https://blogs.damiendye.uk/uk/politics/who-is-reform-actually-for/","summary":"Публіцистичний текст про Reform UK, зібраний з власних документів партії та публічного запису. Її план відібрати безстроковий дозвіл на проживання (indefinite leave to remain) у людей, які тут живуть, працюють і платять податки. План соціальних виплат, який щадить державну пенсію і ріже підтримку людей працездатного віку. Партійна компанія, що до 2025 року належала лідерові, і статут, який лишає членам скриньку для пропозицій. Працюючі отримувачі Universal Credit і доглядальники, яких план викинув би. Від 75 до 80 % пожертв від донорів, які живуть за кордоном, тест місця проживання, який Парламент ухвалив у 2009 році й так і не ввімкнув, і що про такі гроші кажуть Рада Європи та огляд, замовлений самим урядом. Інтереси донорів: Tether, QinetiQ, крипто, визнання провини в США і помилування. Подарунок на £5 млн, заробітки Фараджа та його послужний список як євродепутата, нерухомість і податки Тайса, розворот Дженріка і Westferry, зв’язки з Путіним і Трампом, хто заплатив за поїздки на інавгурацію Трампа, до Мар-а-Лаго, Абу-Дабі та Ізраїлю, RFOI Ltd, траст Ґандехарі і фірми на межі банкрутства, що дали £485 000, криптофірми, які платять Фараджу, і пенсіонери, що втрачають гроші на криптошахрайстві, ефір, який Reform отримує на BBC, і його власне місце на GB News, історія расизму та дисциплінарних справ, і 7 з 12 «наклепів», які виявилися правдою. А потім питання із заголовка.","title":"Для кого насправді Reform? Гроші, люди й послужний список"},{"content":"Той самий бюджет, інша кухня Бюджет 2026 продавали як «breathing space», тобто перепочинок1. Цей допис читає його для одного домогосподарства й більше ні для кого. Є супутній допис, Breathing Space For Whom?, про те, що він робить з великими фірмами й податками за ними.\nПара, обом 67 або більше, обоє вже досягли віку State Pension, живуть ні з чого, крім повної нової State Pension. Це £241,30 на тиждень кожному2, £25 095 на рік на двох. Опалюють газом, 13 375 кВт·год на рік, бо стільки споживає звичайний дім з газовим котлом. Мають одне бензинове авто, 4000 миль на рік. Council tax у смугах від A до D, в Англії. Жодного доходу із заощаджень, жодної приватної пенсії, жодної оренди.\nБудьмо чесні щодо того, що це за дохід. State Pension є соціальною виплатою, і HMRC зараховує її до державних виплат, з яких сплачують податок на доходи3. Вони не сплачують нічого лише з однієї причини. Податок на доходи нараховують на кожну особу окремо, тож кожен із них має власну Personal Allowance у £12 5704, а повна нова State Pension становить £12 547,60 на рік2. Без іншого доходу кожна пенсія лежить на £22,40 нижче межі. І пенсія не є горщиком, у який вони відкладали і який чекав на них. Власний опис уряду каже, що вона «unfunded» і «Pay As You Go», і що «State Pension payments paid to current pensioners are financed from National Insurance contributions paid by current workers»5. Вони платили за пенсіонерів перед собою, а за них платять ті, хто працює сьогодні. Кожна зміна в ній у цьому бюджеті є рішенням про те, скільки одні люди платять іншим.\nПитання таке: чи дає бюджет, проданий як «breathing space», їм хоч якийсь перепочинок? Трохи, один раз. Потім він починає забирати його назад, а найбільша зміна їхнього доходу настане аж у 2030.\nРахунок для пари пенсіонерів Кожен захід бюджету для домогосподарств, який їх зачіпає, за власним документом Скарбниці:\nЗахід Коли Стосується їх? Вартість на рік £100 Household Energy Payment, смуги від A до D січень 2027 Так +£100, один раз 0 % ПДВ на електрику, продовжено на три місяці з квітня до липня 2027 Так, 2500 кВт·год по 28p, без нічного тарифу для EV близько +£11, один раз Зниження паливного акцизу на 5p продовжено на шість місяців до липня 2027 Так, бензинове авто близько +£12, один раз Фіксована плата за газ переходить у ціну за одиницю кінець 2027 або пізніше Так, і велике споживання програє −£44 Gas Shipper Obligation переходить на загальні податки мало початися 2028 Так, і кожна пенсія нижче неоподатковуваної суми близько +£5 Фіксована плата за електрику, 54,83p на день за граничною ціною, £200 на рік «details next year» Лишається як є £0 Граничний тариф на автобус £2 2027 Ні, вони вже їздять безплатно £0 Pension Credit Ні, їхній дохід зависокий £0 Winter Fuel Payment, по £100 кожному без змін Так, але не нове £0 змін Податок на доходи до квітня 2030 Не сплачують, по £22,40 нижче неоподатковуваної суми кожен £0 Коригування Triple Lock квітень 2030 Так менші підвищення з 2030 Уся електрика купується за повним тарифом. Без електромобіля немає дешевого нічного тарифу, який мав би сенс, тож кожна з типових для Ofgem 2500 кВт·год6 коштує близько 28p. Це £700 на рік за одиниці й £200 фіксованої плати, а 5 % ПДВ з £900 за три місяці становлять близько £11.\nДодай усе разом. У 2027 році пара в плюсі приблизно на £123, майже все з них виплата £100. Щойно настане газова реформа, вони стануть приблизно на £39 на рік біднішими, щороку. Ці £123 зникнуть трохи більше ніж за три роки.\nЩо бюджет робить для пари пенсіонерів на газі Пара пенсіонерів на газі, зміна в £ £100 Household Energy Payment, лише 2027 +£100 0 % ПДВ на електрику, три місяці 2027 +£11 Знижка акцизу на пальне, ще 6 місяців до липня 2027 +£12 Gas Shipper Obligation скасовано, на рік +£5 Фіксована плата за газ у ціні за одиницю, на рік −£44 Щороку з 2028, усі заходи −£39 Кожен захід, що змінює гроші пари. Три є одноразовими у 2027. Два, що лишаються, це невеликий виграш на газовому зборі й більша втрата на фіксованій платі за газ, тож з 2028 вони втрачають £39 на рік. Одноразові виплати витрачено до першої весни. Що лишається, так це газова реформа, і вона йде в хибний бік.\nГазова реформа працює проти них Перенесення фіксованої плати за газ у ціну за одиницю допомагає дому, що споживає мало газу. Воно шкодить дому, що споживає багато, а ця пара споживає багато.\nФіксована плата за газ становить £108 на рік для типового платника1, 29,68p на день за жовтневою граничною ціною7. Бюджет просить Ofgem стягувати її «through gas unit rates instead»1. Розподілена на типові для Ofgem 9500 кВт·год6, вона додає близько 1,14p до кожної кВт·год.\nГазу на рік Фіксована плата зараз Повернуто через ціну за одиницю Різниця 9500 кВт·год, типово за Ofgem £108 £108 £0 13 375 кВт·год, ця пара £108 £153 −£44 Пара, яка як слід опалює свій дім, платить на £44 на рік більше. А саме це пара пенсіонерів і має робити взимку. Скарбниця це знає. Вона пише, що «a number of households may be less able to make the most of the reform», і обіцяє «targeted mitigation»1. Вона не каже, що це за пом’якшення, хто його отримає і коли.\nТож людям, яким реформа коштує, кажуть, що допомога йде, без жодних подробиць. Ті, кому вона платить, як я, отримують її автоматично.\nВодневий збір, навпаки Gas Shipper Obligation був запланованим збором у рахунках за газ, щоб платити за водень. Бюджет скасовує його й оплачує водень із загального оподаткування1. Для домогосподарства на зарплаті це лише переносить рахунок з лічильника на розрахунковий листок.\nДля цієї пари це справжній виграш, і що чесно, те чесно. Збір з кожної одиниці газу брав би з них за тим, скільки газу вони спалюють, а спалюють вони багато. Власна оцінка уряду становила «approximately £2.60 - £4.50» на рік у середньому побутовому рахунку за газ8, що при їхньому споживанні дає близько £5. На повній State Pension і нічому іншому вони взагалі не сплачують податку на доходи, тож версія через загальні податки прямо не коштує їм нічого. Вони й далі сплачують ПДВ і всі інші податки, з яких це фінансують, але значно менше, ніж заплатили б через лічильник.\nВодень від цього не стає кращою ставкою. Це означає, що витрати перейшли від домогосподарства, яке спалює газ, до домогосподарства, яке заробляє зарплату.\nБензинове авто отримує знижку й далі платить за милю Бензинове авто дещо отримує. Зниження паливного акцизу на 5p, яке мало закінчитися в січні, продовжено «by a further six months to 1 July 2027»1.\nПродовження паливної знижки, бензинове авто Цифра Миль на рік 4000 Витрата палива, звичайне невелике бензинове авто 45 mpg, припущення Літрів на рік близько 404 Літрів за додаткові шість місяців близько 202 Ціна бензину на колонці зараз £1,97 за літр Рахунок за пальне на рік близько £796 Знижка 5p плюс ПДВ, нарахований на неї 6p за літр, близько 3 % ціни на колонці Економія від цього бюджету близько £12, один раз Тож при рахунку за пальне близько £796 на рік, по £1,97 за літр, продовження варте £12. Навіть зі знижкою майже £800 на рік іде в бак.\nІ вони вже платять податок за милю. Він зветься паливним акцизом. Бензин платить 52,95p за літр9, а на акциз нараховують ще й ПДВ. При 45 mpg це:\nПодаток за милю Бензинове авто, паливний акциз Електромобіль, eVED з квітня 2028 За милю близько 5,3p, 6,4p з ПДВ 3p10 За 4000 миль близько £214, £257 з ПДВ £120 Тож новий Electric Vehicle Excise Duty не є податком за милю, що з’являється вперше. Водії бензинових авто платять такий на кожній заправці відтоді, як існує паливний акциз, і приблизно за вдвічі вищою ставкою, ніж eVED. Знижка бюджету на 5p підрізає його на шість місяців. Вона його не зупиняє.\nТримати людей на нафті є поганою політикою, і я вже це казав. Для цього домогосподарства це все одно невелика, але реальна вигода.\nЗабагато для Pension Credit, замало для всього іншого Ось те, чого не видно в жодному рахунку. Pension Credit доповнює дохід пари до «£363.25 if you have a partner»11. Ця пара має £482,60 на тиждень на двох. Вони на £119,35 на тиждень вище межі, тож не можуть його отримати, і не отримують нічого з того, що йде разом із ним.\nТижневий дохід пари Сума Повна нова State Pension, на двох £482,60 Pension Credit доповнює пару до £363,25 Вище межі на £119,35 Надто заможні для допомоги, спрямованої на найбідніших пенсіонерів. Усе ще на фіксованому доході. І цей дохід має покривати рахунок за газ, який бюджет щойно збільшив. Winter Fuel Payment до них доходить, «£100 if you and the person you live with were both born between 28 September 1946 and 27 June 1960»12, £200 на двох. Цей бюджет його не змінює.\nГраничний тариф на автобус £2 їм теж не потрібен. Вік для безплатного автобусного проїзного залежить від того, де ти живеш13:\nДе Безплатний проїзд в автобусі з Шотландія, Уельс, Північна Ірландія 60 Лондон, лише в межах Лондона 60 Англія поза Лондоном вік State Pension, 66 з підвищенням до 67 Допис бере найвищий, бо під ним живе більша частина Англії. Вік State Pension зростає з 66 до 67 «between 2026 and 2028»14, тож проїзний в Англії тепер приходить у 67, на сім років пізніше, ніж пенсіонер у Кардіффі чи Глазго отримує свій. Ця пара вже досягла цього віку, тож їздить безплатно. Це справжня вигода. Просто не нова, і англійська пара чекала на неї найдовше.\nПосвідчення водія, окуляри і хто платить Бути вище межі Pension Credit коштує більше, ніж сама доплата, бо на ній тримається так багато іншої допомоги. Окуляри є найяснішим прикладом.\nПеревірка зору в NHS безплатна для «anyone aged 60 or over». Окуляри ні. Оптичний ваучер NHS на них отримують, серед інших, люди на «Pension Credit Guarantee Credit»15. Ця пара не може отримати Pension Credit, тож ваучера в них немає, і окуляри вони оплачують самі. Єдиний шлях, що лишається, це NHS Low Income Scheme з перевіркою доходів, а це форма, яку треба заповнити, і вона може дати часткову допомогу або жодної.\nІ посвідчення водія ось-ось почне тиснути саме на це. Міністерство транспорту провело консультацію щодо «Introducing mandatory eyesight testing for older drivers», для «drivers aged 70 and over» як «part of the driving licence renewal process», замість «current self-declaration system»16. Консультація закрилася 11 травня 2026, а результату ще немає. Вона не каже, хто платить. Власне об’єднання оптометристів прямо каже, що «Any additional costs to cover the administration of this must be funded by the driver»17.\nСтарший водій, вище межі Pension Credit Хто платить Перевірка зору безплатно в NHS з 6015 Окуляри, які за перевіркою потрібні вони самі, без ваучера15 Будь-яке адміністрування обов’язкової перевірки зору для посвідчення не вирішено, оптометристи кажуть, що водій17 Нічого з цього немає в бюджеті, і в цьому вся суть. Пара на фіксованому доході тримає авто, бо так вони дістаються до крамниць і до лікаря. Держава рухається до того, щоб змусити їх доводити свій зір, аби його зберегти, а окуляри, з якими вони пройдуть перевірку, оплачуються з тієї самої State Pension, що й рахунок за газ.\nЗахищені від заморожування, поки захист не скінчиться Ці £22,40 запасу під замороженою неоподатковуваною сумою є всім, що тримає саму лише State Pension поза податком на доходи.\nFiscal drag діє на них інакше. Хтось на роботі платить його готівкою щороку, бо кожне підвищення зарплати потрапляє в смугу, яка мала б зсунутися. Ця пара поки не платить нічого, бо весь їхній дохід лежить під неоподатковуваною сумою. Заморожування забирає в них запас. Застосуй власне правило індексації із закону18 до вересневих цифр інфляції ONS19, і неоподатковувана сума виглядала б так:\nПодатковий рік Personal Allowance, індексована Заморожена Запас над однією State Pension, індексовано Запас, заморожено 2026-27 £16 080 £12 570 £3532 £22 2027-28 £16 650 £12 570 £3663 −£417 Рядок 2027-28 припускає, що Triple Lock дасть лише вересневу інфляцію 3,5 %, а це найменше, що він може дати. Це піднімає повну нову State Pension до £249,75 на тиждень, £12 987 на рік, і ставить кожного з них на £417 вище замороженої неоподатковуваної суми. За ставки 20 % це близько £83 кожному, £167 на пару, щороку, податку, який існує лише через заморожування. Індексована State Pension навіть не наблизилася б до податку на доходи.\nТож у пенсіонера drag не видно як рахунок. Його видно як нову пільгу. Бюджет запроваджує Pension Tax Allowance з квітня 2027, щоб пенсіонери «with incomes at or under the value of the full new State Pension will not be brought into paying tax because of State Pension uprating in this Parliament»1.\nЦе латка на дірці, яку вирило заморожування, і це правильний крок. А тепер прочитай дати:\nДо Pension Tax Allowance «6 April 2027 until 5 April 2030»1 Personal Allowance заморожена на £12 570 5 квітня 20314 Захист закінчується на рік раніше за заморожування. Щодо 2030-31 Скарбниця каже лише, що «will consider arrangements beyond April 2030 in the usual way»1. Тож пара, яка живе лише зі своєї State Pension, має рік, у якому, за правилами, як вони написані сьогодні, заморожування може затягнути їх у податок на доходи, а рішення для цього є обіцянкою подумати про це пізніше.\nДодай робочу пенсію £790, і fiscal drag її забирає Тепер дай одному з них пенсію з роботи. Auto-enrolment дістався до них за чотири роки до виходу на пенсію, а роботодавець вносив лише те, що вимагав закон, тобто з квітня 2019 року 3 % від кваліфікаційного заробітку20. Чотири роки за законним мінімумом купують довічну ренту приблизно £790 на рік. Чимало людей, які виходять на пенсію зараз, мають приблизно стільки, бо мінімум був усім, що їм колись давали, і він прийшов надто пізно, щоб збудувати щось більше.\nДругий партнер без змін. Ось скільки варті £790 тому, хто їх має:\nПодатковий рік Дохід Понад неоподатковувану суму Податок на доходи Рента £790, лишається 2026-27 £13 337,60 £767,60 £153,52 £636,48 2026-27, якби неоподатковувану суму індексували £13 337,60 £0 £0 £790 2027-28, заморожено, Pension Tax Allowance £13 777 £1207 від £158 до £241 від £549 до £632 2027-28, якби неоподатковувану суму індексували £13 777 £0 £0 £790 2030-31 і далі, Pension Tax Allowance немає щонайменше £13 777 щонайменше £1207 щонайменше £241 щонайбільше £549 Спершу прочитай індексовані рядки. Якби неоподатковувана сума йшла в ногу з цінами, £16 080 цього року і £16 650 наступного, ренту не оподатковували б зовсім, і лишалося б ще £2700 або більше запасу. Кожен фунт податку в цій таблиці є fiscal drag і нічим іншим. Жодна ставка не зросла. Неоподатковувана сума стояла на місці, поки State Pension піднімалася їй назустріч.\nЦього року £790 піднімають їхній дохід на £767,60 вище замороженої неоподатковуваної суми, і 20 % від цього становлять £153,52.\nЗ квітня 2027 Pension Tax Allowance їх не рятує. Вона лише для пенсіонерів, чий дохід «regardless of source, is below or at the value of the full new State Pension», а для будь-кого «just above» її «gradually withdrawn through a taper»1. Скарбниця не опублікувала цього поступового згортання, тож податок лежить між £158, тобто 20 % від самої ренти, і £241, тобто 20 % від усього понад заморожену неоподатковувану суму. З квітня 2030 Pension Tax Allowance закінчується, а заморожування ні, тож це £241 або більше, і сума зростає з кожним підвищенням State Pension.\nРахунку за це вони не отримають. HMRC стягує податок, належний зі State Pension, через приватну пенсію: «you\u0026rsquo;ll usually pay more tax to include any tax you need to pay on your State Pension. Your tax code will change to collect this»21. Тож рента приходить уже урізаною, і £83 з цих £241 є State Pension, яку оподатковують назад через неї. Це 31 % з ренти £790, а не базова ставка 20 %, якою це мало б бути на вигляд.\nЧи можна спитати, чому людина, яка робила те, що їй казали, лишалася в робочій схемі ті чотири роки, що вона для неї існувала, і заощаджувала, у підсумку отримує State Pension, оподатковану через свої заощадження? Роботодавець платив мінімум, бо мінімум був усім, що він мусив платити. Уряд заморозив неоподатковувану суму, бо заморожування приносить гроші без заголовків у пресі. Між ними двома майже третина невеликої пенсії зникає щороку, а індексована неоподатковувана сума не зачепила б з неї ані пенні.\nTriple Lock знімають у 2030 Найбільшої зміни доходу цієї пари немає в рахунку, бо вона починається лише у квітні 2030.\nДо того State Pension зростає «by the highest of 2.5%, inflation or earnings growth»1. З квітня 2030 вона зростає «by the highest of 2.5%, inflation, or the amount required to maintain its value relative to earnings as reached in April 2029»1. Скарбниця називає це прибиранням «ratchet». Скільки це варте Скарбниці, її власними словами:\nСкоригований Triple Lock, скорочення видатків на State Pension Оцінка Скарбниці До кінця 2030-х £15 млрд на рік До кінця 2040-х £50 млрд на рік Ці гроші не беруться нізвідки. Вони беруться з підвищень State Pension, які інакше були б виплачені, тобто з доходу кожного пенсіонера, що з неї живе. Бюджет каже, що профінансує National Care Service з особистим доглядом «free at the point of use»1, і це цілком може бути вартим. Але платять за це ті самі люди, яким він знадобиться, а пара з цього допису платить першою, у кожному підвищенні з 2030, яке буде меншим, ніж могло б.\nНічого для котла Це саме той дім, якому гроші на утеплення й теплові насоси допомогли б найбільше.\nПара, що споживає 13 375 кВт·год газу на рік, і є тими, для кого існує Warm Homes Plan. Цей бюджет забирає £1 млрд його капітального гранту на оборону1. Він тримає грант на теплові насоси на рівні £400 млн на рік1, по £7500 на тепловий насос22. І він дозволяє ПДВ на встановлення утеплення, теплових насосів, сонячних панелей і батарей знову піднятися з 0 % до 5 % з квітня 202723.\nЩо назавжди зменшило б їхній рахунок Що робить бюджет Утеплення ПДВ знову 5 %, грант Warm Homes урізано на £1 млрд Тепловий насос грант заморожено, ПДВ знову 5 % Сонячні панелі й батарея ПДВ знову 5 % На фіксованому доході без заощаджень жодне з цього обладнання без допомоги не купиш. Тож пара лишає газовий котел, і далі спалює 13 375 кВт·год, платить вищу ціну за одиницю через реформу фіксованої плати і чекає на £100 наступної зими.\nФіксований дохід не вигорбати Робоче домогосподарство може взяти більше роботи, змінити місце праці або вкласти власні гроші в сонячні панелі й батарею. Пара пенсіонерів на фіксованому доході не має нічого з цього. Їхній дохід рухається тоді, коли його рухає уряд, а з 2030 він рухатиметься менше. Їхній рахунок за енергію встановлює ринок, який цей бюджет дотує, а не лагодить, а єдина реформа, що прямо торкається їхнього рахунку, коштує їм £44 на рік, з «targeted mitigation», лишеним порожнім.\nЩо їм потрібно, так це те, за що ніхто в цьому бюджеті не готовий заплатити один раз: утеплений дім і замінений котел, щоб рахунок упав і лишився низьким. Натомість вони отримують £100, оплачені всіма, пропущені через council tax до тих самих енергетичних компаній, і потрібні знову наступного року. Це не перепочинок. Це коли тебе тримають на тому самому старому газі, за тією самою старою ціною, по одній зимі за раз.\nHM Treasury — Budget 2026: Breathing Space for Today, Fresh Hope for the Future — бюджетний звіт, представлений Парламенту 28 жовтня 2026. Triple Lock 1.28, 1.29, 5.23 і Box 5A; Pension Tax Allowance 3.19 і 6.182; енергетичні заходи від 3.4 до 3.9 і від 6.24 до 6.27; паливний акциз 3.13 і 6.211; Warm Homes Plan і Boiler Upgrade Scheme 4.36.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nGOV.UK — The new State Pension: what you\u0026rsquo;ll get — «The full rate of new State Pension is £241.30 a week.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nGOV.UK — Income Tax: taxable and tax-free state benefits — State Pension є серед оподатковуваних державних виплат.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nHMRC — Maintaining the Personal Allowance and basic rate limit until 5 April 2031 — Personal Allowance утримується на £12 570 «until 5 April 2031».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nDWP — Third State Pension age review: independent report call for evidence — National Insurance Fund виплачує State Pension; «this is unfunded and is often referred to as a „Pay As You Go“ system».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nOfgem — Summary of changes to the energy price cap, revised TDCV — типове споживання з 1 липня 2026: «2,500 kWh of electricity, 9,500 kWh of gas».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nOfgem — Changes to energy price cap between 1 October and 31 December 2026 — фіксована плата за газ 29,68p на день і ціна за одиницю 7,97p/кВт·год з ПДВ; електрика 26,32p/кВт·год і фіксована плата 54,83p на день, без ПДВ до 31 березня 2027.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nDESNZ — Gas Shipper Obligation analytical annex — «approximately £2.60 - £4.50» на рік у середньому побутовому рахунку за газ, з 2028 до 2037.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nGOV.UK — Tax on shopping and services: Fuel Duty — бензин, дизель, біодизель і біоетанол «52.95 pence per litre».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nHM Treasury — Electric Vehicle Excise Duty (eVED) — 3p за милю для електромобілів, 1,5p для гібридів, що заряджаються від мережі, з 1 квітня 2028.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nGOV.UK — Pension Credit: what you\u0026rsquo;ll get — доповнює «your joint weekly income to £363.25 if you have a partner».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nGOV.UK — Winter Fuel Payment: how much you\u0026rsquo;ll get — по £100 кожному для пари, обоє з якої народилися між 28 вересня 1946 і 27 червня 1960 і не отримують кваліфікаційної виплати.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nGOV.UK — Apply for an older person\u0026rsquo;s bus pass — «free travel when you reach the State Pension age» в Англії; з 60 у Лондоні, Уельсі, Шотландії та Північній Ірландії.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nDWP — State Pension age timetable — «The State Pension age for men and women will now increase to 67 between 2026 and 2028.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNHS — Free NHS eye tests and optical vouchers — безплатна перевірка зору для всіх від 60 років; ваучери на окуляри для отримувачів Pension Credit Guarantee Credit та інших перелічених груп, але не лише за віком.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nDepartment for Transport — Introducing mandatory eyesight testing for older drivers — консультація з 7 січня до 11 травня 2026, результат очікується.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nAssociation of Optometrists — response on mandatory eyesight testing for older drivers — травень 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nIncome Tax Act 2007, section 57 — Personal Allowance індексують за «the consumer prices index for the September before the start of a tax year» і округлюють «up to the nearest amount which is a multiple of £10».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nONS — CPI annual rate, all items, series D7G7 — вересень 2021 3,1 %, 2022 10,1 %, 2023 6,7 %, 2024 1,7 %, 2025 3,8 %, 2026 3,5 %.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nGOV.UK — Workplace pensions: what you, your employer and the government pay — з квітня 2019 мінімум, який платить роботодавець, становить 3 %, а загальний мінімальний внесок 8 %.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nGOV.UK — Tax when you get a pension: how your tax is paid — якщо ти отримуєш приватну пенсію, «Your tax code will change to collect» податок з твоєї State Pension.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nGOV.UK — Boiler Upgrade Scheme: what you can get — £7500 на повітряний або ґрунтовий тепловий насос.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nHMRC — VAT on energy-saving materials and heating equipment (VAT Notice 708/6) — нульова ставка «from 1 May 2023 to 31 March 2027», що охоплює утеплення, теплові насоси, сонячні панелі й батареї.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\n","permalink":"https://blogs.damiendye.uk/uk/politics/breathing-space-on-a-state-pension/","summary":"Що бюджет 2026 робить для пари, яка живе лише з повної нової State Pension, £25 095 на рік на двох, опалює дім газом при 13 375 кВт·год на рік і проїжджає бензиновим авто 4000 миль на рік. Рахунок за власним документом Скарбниці: £100 Household Energy Payment, 0 % ПДВ на електрику, зниження паливного акцизу, перенесення фіксованої плати за газ у ціну за одиницю, що коштує грошей великому споживачеві газу, і перенесення Gas Shipper Obligation на загальне оподаткування, що хоч раз допомагає. Далі те, чого не видно в рахунку: дохід на £119 на тиждень зависокий для Pension Credit і допомоги з окулярами, що йде разом із ним, обов’язкова перевірка зору для старших водіїв на консультації, fiscal drag, що забирає в них запас під Personal Allowance, а не готівку, Pension Tax Allowance, яка латає це, але закінчується на рік раніше за заморожування й оподатковує робочу ренту £790, яку індексація не зачепила б, коригування Triple Lock з квітня 2030, варте Скарбниці £15 млрд на рік наприкінці 2030-х, і гроші на утеплення й теплові насоси, що допомогли б їм найбільше, урізані або оподатковані.","title":"Перепочинок на державній пенсії: бюджет 2026 для пари пенсіонерів, що опалює газом"},{"content":"Бюджет перепочинку, прочитаний на моїй кухні Бюджет 2026 року оголосили сьогодні під назвою Breathing Space for Today, Fresh Hope for the Future1. Обіцянка: допомога з рахунками за енергію, допомога водіям і допомога головній вулиці, а платять за це банки й люди із заощадженнями та доходом від оренди.\nТож я зробив те, що роблю з будь-яким рахунком. Прочитав документ і порахував його для власного дому.\nДім досить звичайний для людини моєї професії. Платник ставки 40 %. Я працюю з дому, але моя половинка досі їздить в офіс, тож електромобіль проїжджає близько 20 000 миль на рік. Сонячні панелі на даху й батарея в гаражі, і кожна одиниця, яку ми імпортуємо, приходить за нічним тарифом 7 пенсів. Газ досі підключений, але зведений до гарячої води й трохи опалення, близько 5350 кВт·год на рік. Council tax категорії від A до D, в Англії. Жодного доходу від заощаджень і жодного доходу від оренди, бо іпотека нашого розміру не лишає нічого, щоб відкладати.\nЖодна з цих речей не прийшла з подачки. Я вклав власні гроші, щоб урізати власний рахунок: сонячні панелі, батарея, електромобіль і зменшення газу рік за роком. Я зробив це, щоб стояти на власних ногах, а не в надії на грант, і зараз його теж не прошу. Чого я таки очікую, то це щоб мене не змушували платити більше за те, що я це зробив.\nПитання в тому, чи отримує такий дім від цього Бюджету щось, крім податкового рахунку? Здебільшого ні. Ось розрахунок.\nКожна цифра нижче взята з власного документа Казначейства, з Ofgem, HMRC або власних консультаційних документів уряду, а не з промови й не з преси. Огляд Бюджету, що сьогодні ходить по руках, помилився в кількох речах, і там, де помилився, я про це сказав.\nРахунок для дому, як мій Це кожен захід Бюджету для домогосподарств, що може торкнутися цього дому, і скільки він тут вартий. Плюс означає гроші прийшли, мінус означає гроші пішли.\nЗахід Коли Стосується? Вартість на рік Household Energy Payment у £100, категорії від A до D в Англії січень 2027 Так +£100, одноразово 0 % ПДВ на електрику, продовжено на три місяці квітень–липень 2027 Так, але все імпортоване йде за нічним тарифом 7 п кілька фунтів, одноразово Фіксована плата за газ, 28,75 п на день, переходить у ціну за одиницю кінець 2027 або пізніше Так, і мале споживання виграє +£46 Фіксована плата за електрику, 56,61 п на день, £207 на рік «подробиці наступного року» Лишається точнісінько як є £0 Gas Shipper Obligation переходить у загальні податки мала початися 2028 Знято з рахунку, перенесено на податки близько £0, платиться інакше Продовжено знижку паливного акцизу на 5 п до липня 2027 Ні, це електромобіль £0 Неоподатковувані ставки за пробіг до 55 п і 35 п квітень 2027 Ні, поїздки на роботу не рахуються2 £0 Обмеження ціни проїзду в автобусі £2 2027 Автобусами не їздимо £0 Дешевші місцеві публічні зарядки для електромобілів весна 2027 Ні, заряджається вдома £0 Податок на дохід від заощаджень і майна +2 пункти квітень 2027 Ні заощаджень, ні оренди £0 Cash ISA лишається на £20 000 2027 Ні, нічого не лишається, щоб відкладати £0 Lifetime ISA, Your First Home 2027 Ні, ми вже заробили на свій дім £0 Electric Vehicle Excise Duty за 3 п за милю, 20 000 миль квітень 2028 Так −£600, зростає з CPI Заморожені пороги прибуткового податку, фіскальне сповзання до квітня 2031 Так до −£3544 цього року, −£4112 у 2027-28 Склади все. У 2027 році дім трохи більше ніж на £100 у плюсі, і майже все це одна виплата в £100. З квітня 2028 року щорічні заходи встановлюються на рівні приблизно £554 на рік у мінусі, щороку, зі зростанням разом з інфляцією. Сам лише eVED забирає £50 на місяць, тож £100 зникають за два місяці після його початку і вже не повертаються. І це ще до фіскального сповзання, яке саме по собі може коштувати платнику ставки 40 % до £3544 цього року.\nЕкономія на газі, і жодної на електриці Віддаю належне. Це справжній виграш, і він іде проти моєї власної вихідної позиції.\nФіксована плата за газ становить £108 на рік для типового платника, за власною цифрою Казначейства1. Жовтнева гранична ціна Ofgem ставить фіксовану плату за газ на 29,68 пенса на день, це ті самі £1083. Ти платиш її, спалюєш ти багато газу чи майже нічого, а це точнісінько навпаки для дому, що зменшує своє споживання газу.\nБюджет просить Ofgem скасувати її в побутових рахунках, «aiming for delivery by the end of 2027 or as soon as possible after then», а постачальники відшкодовуватимуть вартість «through gas unit rates instead»1.\nПодробиці ще не встановлено, тож це оцінка, а не котирування. Якщо ці £108 розподілити на 9500 кВт·год типового домогосподарства Ofgem4, це додає приблизно 1,14 пенса до кожної кВт·год. При 5350 кВт·год цей дім повертає приблизно £61 через ціну за одиницю і перестає платити £108 фіксованих платежів. Це приблизно £47 на рік у плюсі за граничною ціною. Власний тариф цього дому бере 28,75 пенса на день, £105 на рік, і за тим самим розрахунком виходить приблизно £46 на рік у плюсі.\nГазу на рік Фіксована плата зараз Відшкодовано через ціну за одиницю Різниця 5350 кВт·год, споживання цього дому, за граничною ціною £108 £61 +£47 9500 кВт·год, типове за Ofgem £108 £108 £0 14 000 кВт·год, великий старий дім £108 £160 −£52 Точка беззбитковості це типовий дім. Хто споживає менше, виграє, а хто опалює газом великий дім із протягами, програє, що Казначейство й визнає, кажучи «a number of households may be less able to make the most of the reform» і обіцяючи «targeted mitigation»1. Тож реформа справедлива, і вона винагороджує домогосподарства, що вже скоротили споживання. Я візьму свої £46.\nТепер інша. Для дому із сонячними панелями й батареєю фіксована плата, що має значення, не газова. Це фіксована плата за електрику. Цей дім платить 56,61 пенса на день проти 54,83 пенса за жовтневою граничною ціною3, і це £207 на рік, майже вдвічі більше за його газову плату. Що більше власної енергії ти виробляєш і зберігаєш, то більшу частку твого рахунку за електрику становить ця фіксована плата, бо вона платиться повністю, імпортуєш ти 3000 кВт·год чи 30. За 7 пенсів, які цей дім платить за нічну енергію, £207 фіксованої плати це ціна приблизно 2950 кВт·год електрики, сплачена ще до того, як прийде бодай одна одиниця.\n0 % ПДВ на електрику тут теж мало що дає. ПДВ нараховується на 7 пенсів, тож він завжди становив лише 0,35 пенса за кВт·год. Тримісячне продовження варте приблизно £2,50 на фіксованій платі і 35 пенсів на кожні 100 кВт·год імпорту. Економією була дешева нічна енергія. Знижка ПДВ це дрібні гроші зверху.\nБюджет не переносить її в ціну за одиницю. Він зобов’язується лише «reform electricity standing charges», з подробицями «next year»1. Тож реформа винагороджує домогосподарство, що урізало свій газ, і лишає домогосподарство, що виробляє власну електрику, з найбільшою фіксованою платою в рахунку, недоторканою.\nВодневий збір перенесли, а не скасували Бюджет перелічує скасування Gas Shipper Obligation як «providing savings for businesses and households»1. Це не економія. Це той самий рахунок, надісланий на іншу адресу.\nGas Shipper Obligation був запланованим збором. Він ще не почався. Його власна консультація описує його як «a funding mechanism for the Hydrogen Production Business Model»5, що стягується з постачальників газу в мережу й перекладається на кожну одиницю газу, з урядовою оцінкою вартості для середнього домогосподарства «approximately £2.60 - £4.50» на рік у 2028–2037 роках6. При споживанні газу цього дому це приблизно £2 на рік.\nБюджет скасовує його ще до того, як він дійшов до будь-якого рахунку. Натомість: «Hydrogen Allocation Round 1 funding will be met with a £27 million uplift to DESNZ RDEL in 2027-28», і уряд публічно фінансуватиме майбутні водневі контракти «if the government commits to them and subject to value for money»1.\nТож за водень однаково платять. Це £27 млн наступного року із загального оподаткування, а обіцянка «publicly fund» майбутні контракти взагалі не має стелі. Ми всі досі за це платимо, через податкову декларацію замість лічильника.\nІ те, через що ти платиш, має значення. Збір на кожну одиницю газу бере з тебе стільки, скільки газу ти спалюєш, тож дім, що скоротив газ до гарячої води, платить з нього дуже мало. Загальне оподаткування бере з тебе за доходом. Для платника ставки 40 % із малим споживанням газу це навпаки: £2 знімаються з рахунку за газ, а частина вартості повертається за вищою ставкою. У виграші ті, хто споживає багато газу, насамперед великі промислові об’єкти, бо саме з них збір на одиницю взяв би найбільше.\nОгляд, що сьогодні ходить по руках, помилився ще у двох речах. Збір ніколи не був у нічиєму рахунку, бо він ще не почався. І він не йде нафтогазовим компаніям.\nОсь одинадцять проєктів першого раунду, з власного списку уряду7:\nПроєкт Головний розробник Потужність Barrow Green Hydrogen Carlton Power 21,0 МВт Bradford Low Carbon Hydrogen Hygen 24,5 МВт Cromarty Hydrogen Scottish Power і Storegga 10,6 МВт Green Hydrogen 3 HYRO 10,6 МВт HyBont Marubeni Europower 5,2 МВт HyMarnham JG Pears і GeoPura 9,3 МВт Langage Green Hydrogen Carlton Power 7,0 МВт Tees Green Hydrogen EDF Renewables Hydrogen 5,2 МВт Trafford Green Hydrogen Carlton Power 10,5 МВт West Wales Hydrogen MorGen Energy і Trafigura 14,2 МВт Whitelee Green Hydrogen Scottish Power 7,1 МВт Кожен із них це електролітичний водень, зроблений з електрики. Розробники це енергетичні компанії, підрозділи відновлюваної енергетики й торгові доми. BP, Shell і решти Північного моря в списку немає.\nВодень це хибна ставка Перший раунд погоджено за «a weighted average strike price of £241/MWh», і він виплатить «over £2 billion of revenue support»7 за 125 МВт виробництва.\nПереведи цю ціну в побутові терміни. £241 за МВт·год це 24,1 пенса за кВт·год. Газ за жовтневою граничною ціною коштує 7,97 пенса за кВт·год, з ПДВ3. Тож водень купують утричі дорожче, ніж домогосподарство платить за газ, який він мав би замінити, а £2 млрд потрібні, щоб покрити різницю, бо сам він за ринковою ціною продатися не міг. Саме для цього й була Gas Shipper Obligation. Це була субсидія на паливо, яке не може конкурувати, і перенесення її на загальне оподаткування зберігає субсидію і лише змінює, хто підписує чек.\nТо що ж купує платник податків?\nПоглянь на список ще раз. Кожен із цих проєктів робить водень з електрики. Тож план такий: взяти електрику, втратити значну її частину, перетворюючи воду на газ, ганяти газ трубами і спалити його. А тим часом та сама електрика, пущена в тепловий насос, дає майже втричі більше тепла:\nЩо робить 1 кВт·год електрики Результат Живить повітряний тепловий насос, медіана 742 британських домів 2,8 кВт·год тепла, 280 %8 Робить водень, щоб спалити його для тепла натомість потребує «five to six times more electricity» для того самого тепла9 Ці цифри взяті з досліджень, а не від мене. Огляд 32 незалежних досліджень виявив, що водневе опалення менш ефективне й дорожче за одиницю тепла, ніж теплові насоси, і, як повідомлялося, воно «makes absolutely no sense for heating homes and buildings»9. Тепловий насос ефективніший за 100 %, бо переносить тепло, а не створює його. Водень туди ніколи не дійде, бо починає з електрики і втрачає її частину на кожному кроці.\nТож водень це марнування часу й грошей, і ця країна має переходити на 100 % електрики: теплові насоси й решта обладнання, що дає більше ніж одиницю тепла з кожної одиниці енергії, і електромобілі на дорогах. Бюджет робить навпаки. Він тримає грант на теплові насоси на місці, урізає мільярд із Warm Homes і обіцяє публічно фінансувати кожен майбутній водневий контракт, який підпише уряд, без жодної записаної межі.\nДорожній податок, що переважує все інше Тепер захід, який справді коштує цьому дому грошей, і Бюджет цілком відверто каже, навіщо він. Він перелічує Electric Vehicle Excise Duty як частину «strengthening the tax base \u0026hellip; to respond to the long-term decline in fuel duty receipts»1.\neVED оголосили в Бюджеті 2025 року, і цей Бюджет його підтверджує, з інструментом оцінки пробігу й добровільним «eVED Connect», що читає пробіг з автомобіля1. Ставка: «3 pence per mile for BEVs» і «1.5 pence per mile for PHEVs», з 1 квітня 2028 року, зі зростанням за CPI з 2029-3010.\nПри 20 000 миль на рік це £600. Щороку, з індексацією. Більшість цих миль це поїздки в офіс, а неоподатковувані ставки за пробіг, які Бюджет підвищує, не покривають поїздок «to and from your work, unless it\u0026rsquo;s a temporary place of work»2. Тож поїздки на роботу отримують новий податок і жодної пільги.\nПостав це поряд із рядком про паливний акциз. Знижку в 5 пенсів тепер продовжено вшосте1:\nТой самий Бюджет, два автомобілі Бензин чи дизель Цей електромобіль Знижка паливного акцизу на 5 п і відстрочка RPI, £1355 млн отримує £0 eVED з квітня 2028 не стягується 3 п за милю, £600 на рік при 20 000 миль Дім, що зробив те, про що просив уряд, і є тим, до кого уряд тепер повертається по дохід.\nЧи допомагає знижка паливного акцизу бодай перейти на щось дешевше? Поглянь, куди йдуть транспортні гроші в Table 6.11:\nТранспортний захід у Table 6.1 Вартість Підштовхує людей до Знижка паливного акцизу на 5 п і відстрочка RPI £1355 млн, два роки бензину й дизелю Підвищення неоподатковуваних ставок за пробіг £230 млн, два роки більшої кількості ділових миль за кермом Обмеження ціни проїзду в автобусі £2 £230 млн, два роки, з енергетичних бюджетів автобуса Дешевші місцеві публічні зарядки, механізм ще не визначено £100 млн, два роки, потім нічого електрики Скасування Carbon Price Support £235 млн, п’ять років з 2028 дешевшої генерації на викопному паливі Він не вирішує переходу на дешевший транспорт. Він платить людям, щоб вони лишалися на нафті. Паливний акциз це ціновий сигнал, і з дизелем, що «exceeding £2 per litre in October 2026»1, Казначейство вирішило знову його притупити, замість витратити гроші на вихід із нього. Обмеження ціни на автобус і зарядки разом отримують приблизно чверть того, що отримує колонка, а гроші на зарядки навіть ще не схема. Це £100 млн, щоб «reduce costs for local, lower-powered public chargers» з весни 2027 року, вартістю «around £150 per year» для водія, що заряджається на вулиці, а Міністерство транспорту має «set out next steps in due course». Дозволити цим водіям користуватися домашнім тарифом на публічній зарядці, що справді вирішило б справу, доручено робочій групі, щоб «to explore» «complex proposal that will take time to consider»1. Кожне продовження ускладнює завершення наступного, а домогосподарства, що вже залишили нафту позаду, якраз і платять за це податок за милю.\nФіскальне сповзання, підвищення податку, якого ніхто не оголошує Найбільший податок для платника ставки 40 % не потребує жодного нового оголошення, і він уже може коштувати майже вшестеро більше, ніж коштуватиме eVED. Це фіскальне сповзання.\nPersonal Allowance і межу базової ставки зафіксували «at their 6 April 2021 levels», і тепер їх тримають «until 5 April 2031»11. Це десять років на £12 570 і поріг вищої ставки £50 270, тоді як сам Бюджет каже, що «consumer prices today are around 33% higher than the 2020 average»1. Кожне підвищення зарплати, що лише встигає за цінами, штовхає більшу частину твого доходу в діапазон 40 %. Твоя зарплата не варта більше, а податку з неї ти платиш більше.\nФіскальне сповзання, за власними цифрами уряду Пороги зафіксовано на рівні 6 квітня 2021 року Заморожено до 5 квітня 2031 року, десять років Ціни з 2020 року приблизно на 33 % вищі Додатковий податок лише від продовження 2028–2031 £3365 млн, £7780 млн, потім £12 435 млн на рік Людей, втягнутих у прибутковий податок до 2030-31 700 000 Рядок про доходи це власний розрахунок Казначейства11, і він показує, що сповзання зростає, бо кожен рік заморожування накладається на попередній.\nТо де були б пороги, якби їх ніколи не заморожували? Закон уже каже, як це порахувати. Обидва щоквітня зростають на індекс споживчих цін «for the September before the start of a tax year», Personal Allowance округлюється вгору до наступних £1012, а межа базової ставки до наступних £10013. Ось це правило, застосоване до власних вересневих цифр ONS, 3,1 %, 10,1 %, 6,7 %, 1,7 %, 3,8 % і 3,5 %14:\nПодатковий рік Personal Allowance з індексацією Поріг вищої ставки з індексацією Заморожено на Додатковий прибутковий податок, платник 40 % 2022-23 £12 960 £51 860 £12 570 і £50 270 £396 2023-24 £14 270 £57 170 £12 570 і £50 270 £1720 2024-25 £15 230 £61 030 £12 570 і £50 270 £2684 2025-26 £15 490 £62 090 £12 570 і £50 270 £2948 2026-27 £16 080 £64 480 £12 570 і £50 270 £3544 2027-28 £16 650 £66 750 £12 570 і £50 270 £4112 Поріг вищої ставки зараз мав би бути £64 480, а не £50 270. Це £14 210 доходу, що тепер оподатковується за 40 %, а закон інакше оподаткував би за 20 % або взагалі ніяк.\nСтовпець додаткового податку стосується платника ставки 40 %, що заробляє більше за індексований поріг і менше за £100 000. Кожен додатковий фунт Personal Allowance заощаджує 40 пенсів, а кожен додатковий фунт діапазону базової ставки заощаджує 20 пенсів, тож 2026-27 це £3510 за 40 % плюс £10 700 за 20 %. Склади п’ять років до квітня 2027 року, і вийде £11 292, ще до оголошення бодай одного нового податку. Це лише прибутковий податок, і National Insurance тут не враховано, бо індексація верхньої межі NI поставила б більше того самого доходу під ставку 8 % замість 2 %, що тягне в інший бік.\nНіхто не встає й не оголошує це щороку. Це податок, який платник ставки 40 % платить найнадійніше, і саме його цей Бюджет вирішив не чіпати.\nА низькооплачувані платять першими У фунтах найбільше від заморожування втрачає діапазон 40 %. Але поглянь, кого воно кусає найболючіше. Ось те саме правило для чотирьох працівників у 2026-27 році, лише прибутковий податок:\nПрацівник, 2026-27 Прибутковий податок зараз Якби пороги встигали Додатково на рік Частка зарплати Неповний день, £16 000 £686 £0 £686 4,3 % Повний день на National Living Wage, £23 132 £2112 £1410 £702 3,0 % £40 000 £5486 £4784 £702 1,8 % Платник ставки 40 %, £70 000 £15 432 £11 888 £3544 5,1 % Дивитися варто на працівника на неповний день. Кожен, хто заробляє від £12 570 до £16 080, тепер платить прибутковий податок із грошей, які закон лишив би в спокої, а програмний документ очікує, що заморожування приведе «700,000 individuals into Income Tax by 2030 to 2031»11. Платник ставки 40 % може проковтнути £3544 і побурчати. £686 із £16 000 ніколи не були зайвими. А National Insurance починається з тих самих заморожених £12 570, тож низькооплачувані платять це ще й зверху.\nТепер заголовок, який Бюджет таки хоче, щоб ти побачив. National Living Wage зростає до £13,21 на годину у квітні 2027 року, «equivalent to an increase of £910 in the gross annual earnings of a full-time worker»1, з нинішніх £12,7115. Того ж року, 2027-28, заморожена Personal Allowance забирає в того самого працівника на £816 більше прибуткового податку, ніж забрав би закон. Підвищення справжнє. Казначейство вже витратило більшу його частину.\nТепер люди, яких воно вирішило захистити. З квітня 2027 року нова Pension Tax Allowance означає, що пенсіонери «with incomes at or under the value of the full new State Pension will not be brought into paying tax because of State Pension uprating in this Parliament»1. Це латка на заморожування, і справедлива. Можна спитати, чому вона зупиняється на пенсіонерах? Працівник із тим самим доходом, що відпрацьовує за нього повний тиждень, не отримує жодної такої пільги.\nДопомога з рахунком чи субсидія ринку, що провалюється? Почни з того, чим насправді є ці £100. Огляд, що сьогодні ходить по руках, назвав це виплатою на твій банківський рахунок. Бюджет називає це «£100 council tax rebate for households in bands A to D»1, яку виплачуватимуть місцеві ради з січня 2027 року. Так чи інакше, витрачаються вони на рахунок за енергію.\nІ ні вона, ні 0 % ПДВ не змінюють того, скільки коштує енергія. Рахунок лишається того самого розміру. Просто частину його платить платник податків. То куди йде рахунок? Власна розбивка Ofgem типового рахунку з липня 2026 року4:\nКуди йде типовий рахунок, липень–вересень 2026 Частка Оптова енергія, включно з контрактами на різницю 45 % Мережі 25 % Операційні, боргові й галузеві витрати 16 % Політичні витрати 6 % ПДВ 5 % Закладений прибуток постачальника (EBIT) 2,6 % Запас і вирівнювання 1,5 % Сім фунтів із кожних десяти йдуть генераторам і мережевим компаніям. Маржа прибутку постачальника вписана в саму граничну ціну. Тож £3685 млн це публічні гроші, зібрані через загальне оподаткування з допомогою банківської надбавки, і кожен їхній фунт опиняється в тих самих приватних руках. Це не допомога з енергією. Це субсидія енергетичному ринку, проведена через твій council tax, щоб виглядати як допомога.\nСубсидія на що саме? За власним рахунком Казначейства, ціни на побутову енергію на 73 % вищі за середні 2020 року1, а борги домогосподарств за енергію «has almost tripled to over £5 billion»1. Ринок, що набрав стільки боргів домогосподарств відтоді, як Росія вторглася в Україну, це ринок, що провалюється. Цей Бюджет його не виправляє. Він платить за нього рахунок цієї зими, і доведеться платити знову наступної, бо в ціні нічого не зрушило.\nПостав це поряд із тим, що той самий Бюджет просить назад у генераторів. Electricity Generator Levy зростає з 45 % до 55 % до березня 2028 року, і Table 6.1 показує, що він збере £95 млн1. За наступні шість років платник податків вкладає £3685 млн у рахунки, з яких платять цим генераторам. Збір із надприбутків забирає назад £95 млн. Це майже 39 до 1.\nТе, що банки платять £1475 млн із цього через надбавку, це справедлива частина, і я так і скажу. Але субсидія, що лишає ціну там, де вона є, не купує нічого тривалого. Єдина енергетична допомога, яка купує, це та, про яку йдеться в розділі «Нічого для даху» нижче: та, що робить так, щоб дім потребував її менше.\nХто отримує гроші натомість Якщо не цей дім, то хто? Власна таблиця розрахунків Бюджету, Table 6.1, дає вартість кожного заходу з 2026-27 по 2031-321, тож тут не треба нічого вгадувати. Ось найбільші роздачі, підсумовані за шість років.\nХто отримує гроші в Бюджеті 2026 Вартість для Казначейства за шість років, 2026-27–2031-32, £ млн Субсидія на рахунки домів 3685 Водії: акциз, ставки за пробіг 2510 10 000 виробників 2320 Спалювання відходів без ціни на вуглець 1505 Founders' Relief 1285 Малі фірми головної вулиці 1165 Trading Allowance до £3000 745 від імені домогосподарств великі фірми й заможні малі фірми Найбільші роздачі в Table 6.1 Бюджету 2026, підсумовані за 2026-27–2031-32. Синє виплачується від імені домогосподарств, рожеве йде великим фірмам і заможним, золоте малим фірмам. 10 000 виробників отримують майже стільки, скільки всі автомобілісти країни. Смуга домогосподарств виглядає найбільшою роздачею з усіх. Розділ вище показує, де ці гроші насправді опиняються.\nА тепер поглянь на рожеві смуги.\n10 000 виробників, £2320 млн. З квітня 2027 року British Industrial Competitiveness Scheme звільняє «eligible businesses \u0026hellip; from the indirect costs of the Renewables Obligation, Feed in Tariffs and Capacity Market schemes»1, урізаючи їхні рахунки за електрику «by up to 25%». Лише у 2027-28 це £1235 млн, у середньому приблизно £123 500 на фірму, проти £100 на домогосподарство. Ті самі три схеми лишаються на кожній кВт·год, яку імпортує цей дім. Спалювання відходів, £1505 млн. Відстрочка ціни на вуглець для спалювання відходів. Тут потрібно більше ніж рядок, тож нижче для цього окремі абзаци. Засновники, £1285 млн. Нова Founders\u0026rsquo; Relief: «a 10% CGT rate on up to £10 million of lifetime gains for qualifying founders of high-growth, innovative companies»1. Рядок про спалювання відходів у Table 6.1 займає дев’ять слів: «Delay the inclusion of energy from waste in the ETS»1. Ось що за ним стоїть.\nСпалювання відходів і ціна на вуглець План 2024 року повне включення в UK Emissions Trading Scheme «from 2028»16 Що мало стягуватися лише викопний CO2, пластик у тому, що спалюють16 Рішення 27 серпня 2026 року «will not take place in 2028», нової дати не встановлено17 Втрачено Казначейством, 2028-29–2031-32 £1505 млн1 Електростанції вже всередині схеми, з «the power sector in scope of the UK ETS»16, і до 2028 року вони ще й платять Carbon Price Support, «£18/tCO2e on fossil-fuel powered electricity generation»1. Сміттєспалювальний завод, що палить пластик, не платить нічого з цього, і дати, коли платитиме, немає.\nСкажу прямо, хто виграє: не лише оператори. Вуглецеві витрати були б «passed through to local authorities», і власний орган рад з переробки привітав відстрочку як «some immediate relief»17. Це справедливо, бо рада не робила пластику, який їй передають. Але власна консультація уряду вже знайшла на це відповідь. Вона запропонувала розділити витрати через пакувальну Extended Producer Responsibility, схему, що змушує фірми, які випускають упаковку на ринок, платити за неї, і оцінила, що «between 20-30% of fossil waste by weight that is incinerated is within scope»16. Іншими словами, стягувати з тих, хто зробив пластик.\nНатомість не платить ніхто. Оператори уникають цього, виробники упаковки уникають цього, а £1505 млн знімаються з боку Казначейства. Вуглець однаково йде в димар.\nДалі центри обробки даних. Новий Data Centre Covenant просить їх платити «their fair share of energy». Усіх «encouraged to meet the tests», а вимагається це лише від стратегічних, що шукають посиленої підтримки1. Натомість Ministerial Control Centre «accelerate time to power», резервуючи майбутню потужність мережі й «reallocating capacity released when other projects leave the connections queue»1. Найбільші нові споживачі електрики в країні просуваються вперед у черзі, в якій чекають усі інші, за тестами, до виконання яких більшість із них лише заохочують.\nПільга для засновників має сенс лише поряд із тим, що в тій самій таблиці зроблено з людьми, які будують звичайний бізнес.\nМала фірма платить за велику ідею У Table 6.1 є два обміни, і обидва змушують платити малий бізнес.\nДва обміни: хто кому платить Власники продають, засновники ростуть Довічний ліміт BADR удвічі менший £1085 млн забрано Нова Founders' Relief, 10 % £1285 млн дано Онлайн-продавці, крамниці на вулиці Майданчики збирають ПДВ £1270 млн забрано Пільга зі ставок для крамниць і пабів £1165 млн дано зібрано роздано Два обміни в Table 6.1, підсумовані за шість років, рожеве зібрано, синє роздано. Пільгу, забрану в власників, що продають бізнес, віддано засновникам швидкозростаючих компаній, а пільгу з бізнес-ставок для головної вулиці оплачують онлайн-продавці. Перший обмін: засновники проти власників. Business Asset Disposal Relief це пільга, якою користується сантехнік, крамниця чи мала інженерна фірма, коли власник продає бізнес або йде на пенсію. Вона вже становить 18 % на відчуження з 6 квітня 2026 року18. Цей Бюджет удвічі зменшує її довічний ліміт «from £1 million to £500,000 from April 2027», що збирає £1085 млн1. У тій самій таблиці Founders\u0026rsquo; Relief дає 10 % на суму до £10 млн для «high-growth, innovative companies» і коштує £1285 млн.\nBusiness Asset Disposal Relief Founders\u0026rsquo; Relief Для кого для будь-кого, хто продає відповідний бізнес для засновників «high-growth, innovative companies» Ставка 18 % 10 % Довічний ліміт урізано з £1 млн до £500 000 £10 млн Ефект за шість років збирає £1085 млн коштує £1285 млн Захист Казначейства: «three-quarters of BADR claimants will still receive relief on their entire gain»1. Це правда, і це якраз суть. Чверть, що її втрачає, це ті, хто за робоче життя збудував щось вартістю понад пів мільйона, і їхня пільга пішла людям, чиї прибутки сягають десяти мільйонів.\nДругий обмін: головна вулиця проти онлайн-продавців. Пільга з бізнес-ставок для малих крамниць, пабів і закладів гостинності справжня й бажана: ще 70 000 фірм не платять бізнес-ставок зовсім, коштом £1165 млн за трьома заходами щодо ставок. Казначейство прямо каже, як за це платять: «by ensuring businesses with significant sales online pay the VAT they owe, by requiring online marketplaces to collect it on their behalf»1. Це збирає £1270 млн.\nТож малі фірми на головній вулиці оплачуються малими фірмами в інтернеті. Ніхто великий нічого не докладає.\nТеплі домівки геть, зброя натомість Найбільший перерозподіл пріоритетів у цьому Бюджеті взагалі не стосується жодного рахунку. Це оборона.\nУ червні уряд оголосив £15 млрд для Defence Investment Plan між 2026-27 і 2029-30. Цей Бюджет знаходить останні £4,7 млрд, «further reducing departmental capital budgets by 1% from 2027‑28 to 2029‑30 to raise £3 billion» і забираючи £1,7 млрд із капітального резерву Казначейства1. Платить будівельний бюджет кожного міністерства.\nЧастка енергетичного міністерства це та, що падає на дім, як мій:\nУрізано в енергетичного міністерства, щоб профінансувати оборону Сума Капітальний грант Warm Homes Plan £1 млрд Водневі проєкти £500 млн Уловлювання, використання й зберігання вуглецю £200 млн Great British Energy £200 млн Це власний список Казначейства1. З двома його рядками я не сперечаюся. Водень і уловлювання вуглецю це марнування публічних грошей, і з причин, наведених вище в розділі «Водень це хибна ставка», £500 млн і £200 млн, урізані з них, це правильне рішення. Їх слід було урізати повністю. Уловлювання вуглецю існує, щоб викопне паливо горіло ще трохи довше, і уряд, що серйозно ставиться до рахунків, оподатковував би цю галузь, а не платив, щоб вона жила далі.\nРядок Warm Homes протилежний. Уряд каже, що «remains committed to heat pump deployment», у тому самому абзаці, де забирає мільярд із Warm Homes Plan. Він таки каже, що більшість фінансування цього плану для малозабезпечених домогосподарств і соціального житла «is protected», і це справедливо зазначити. Але зробити так, щоб дім потребував менше енергії, це єдиний вид енергетичної підтримки, за який ніколи не доводиться платити знову наступної зими, і саме його урізали, щоб заплатити за це.\nЯкщо гроші гранту йдуть, обов’язок не повинен іти разом із ними. Для приватного орендного житла в Англії та Уельсі правило вже є: «Private landlords of all tenancies will be required to comply with the higher standard by 1 October 2030», ціль EPC C19. Але прочитай подробиці:\nПриватне орендне житло, стандарт 2030 року Що каже правило Строк 1 жовтня 2030 року Максимум, що мусить витратити орендодавець «up to £10,000 per property», у середньому £5400 Тепловий насос чи сонячні панелі обов’язкові? ні те, ні інше, другий захід обирається «at the discretion of the landlord» Це стандарт із лімітом витрат і меню. Урізання гранту Warm Homes мало б прийти з протилежним: вимогою, щоб кожне приватне орендне житло мало утеплення, тепловий насос і сонячні панелі до 2030 року, або його більше не можна здавати. Орендодавці збирають орендну плату. Орендар платить рахунок за енергію. Без жорсткої вимоги в орендодавця немає причин витрачати гроші, що заощаджують лише комусь іншому, а орендар лишається платити рахунки, а через свої податки ще й субсидію на них.\nДалі ціль. Уряд викладе, «how we will meet our NATO commitment of spending 3.5% of GDP on defence by 2035, with a target date for 3% in 2030»1. Понад це National Wealth Fund і British Business Bank «deploy up to £5 billion over the next four years into defence, dual use and other sectors»1, а UK Export Finance отримує більше можливостей, «to support UK defence exports»1.\nДещо з цього я підтримую, і скажу це прямо. Росія вторглася в Україну. Причина це війна Путіна, і Україна, що захищає себе, має рацію. Додаткові £500 млн на протиповітряну оборону України цієї зими1 це гроші, яких мені не шкода.\nАле поглянь, кому гроші насправді йдуть. Ось власна акредитована статистика Міністерства оборони за 2025/2620:\nВитрати MoD у промисловості, 2025/26 Цифра Сплачено промисловості, британській та іноземній £43,4 млрд Частка, що йде лише десятьом постачальникам 40 % Лише BAE Systems трохи більше £7,3 млрд, 16,5 % Найвища частка одного постачальника з 2007/08 Сплачено через неконкурентні контракти 47 %, £20,5 млрд То чи всі ми платимо податки збройовим компаніям? Так, за власним підрахунком MoD. І майже половину з цього витрачають без конкурсу.\nА дещо з цього просто йде з країни. Ось ці десять постачальників із власної таблиці даних MoD, із місцем, де базується кожен21:\nДесятка найбільших постачальників MoD, 2025/26 £ млн Британський? BAE Systems PLC 7258 Так Babcock International Group PLC 3288 Так Rolls-Royce Holdings PLC 1562 Так QinetiQ Group PLC 1114 Так Airbus Group SE 834 Ні, європейський, зареєстрований у Нідерландах Leonardo SpA 778 Ні, Італія Thales 736 Ні, Франція Serco Group PLC 726 Так Leidos Holdings Inc. 646 Ні, Сполучені Штати The Boeing Company 597 Ні, Сполучені Штати Половина десятки іноземні, і разом вони отримали £3591 млн, п’яту частину того, що сплатили десятьом. І на десятці це не зупиняється. Нижче в тій самій таблиці власна промислова холдингова компанія іспанської держави, Sociedad Estatal de Participaciones Industriales, з £389 млн, і агентство французької держави з управління частками, Agence des participations de l\u0026rsquo;État, з £300 млн21. Це британські оборонні гроші, сплачені просто двом іноземним урядам.\nА дві найбільші британські назви в цьому списку? Варто спитати, що вони з цими грошима роблять. Ось їхня власна звітність:\nЗ їхньої власної звітності BAE Systems, 2025 Babcock, рік до березня 2026 Сплачено MoD, 2025/2621 £7258 млн £3288 млн Дослідження й розробки £407 млн власним коштом22 £203,3 млн витрат23 Виплачено дивідендів £1027 млн £36,7 млн Викуп акцій £502 млн £155,3 млн Повернуто акціонерам £1529 млн £192,0 млн BAE повернула своїм акціонерам £1529 млн за один рік, майже вчетверо більше за £407 млн, які вона вклала у власні дослідження. Вона також отримала £29 млн податкових кредитів на дослідження й розробки22, тобто платник податків знову докинув. MoD заплатило їй £7,3 млрд за рік, а акціонери забрали £1,5 млрд.\nBabcock навпаки, і чесно є чесно. Вона витратила на дослідження більше, ніж віддала назад. А ще вона отримує 63,5 % свого світового доходу від MoD20, що робить її компанією, яку фактично тримає на плаву платник податків. Компанію, настільки залежну від публічних грошей, слід вести в інтересах публіки, що за неї платить.\nА ще є гроші, що взагалі не торкаються жодного підрядника. MoD провело £744 млн через Foreign Military Sales, «a mechanism used to purchase equipment from the US Government», сплачені понад £43,4 млрд, і £469 млн із них пішли Boeing20. Це наші податки, що йдуть у збройову програму іншого уряду, і, на мою думку, вони фінансують ту саму глобальну нестабільність, від якої нам потім кажуть витрачати більше, щоб захищатися. Власний новий Multilateral Defence Mechanism Бюджету збудовано для «joint procurement across partners»1, а це означає більше замовлень за кордоном, а не менше.\nМоя позиція проста. Жоден фунт британських оборонних грошей не повинен іти іноземному підряднику. Якщо ця країна збирається витрачати на оборону 3,5 % усього, що заробляє, кожен фунт має будувати навички, заводи й робочі місця тут і платити податки тут. Будуй тут або не купуй.\nМожна спитати, чому MoD це навіть не рахує? Його власна статистика подає загальну суму, сплачену «UK and foreign owned organisations», однією цифрою, без поділу між ними20. Не можна зменшити число, якого ніхто не публікує.\nЧого там немає зовсім, то це будь-яких зусиль зменшити ці витрати. Я перешукав усі 162 сторінки:\nСлово в Budget 2026 Скільки разів трапляється defence понад 120 diplomacy 0 ceasefire 0 de-escalation 0 Там є цілий розділ про зростання оборонної промисловості, її приватне фінансування й більший експорт, і жодного рядка про зменшення потреби в ній. Гонка озброєнь, яку ніхто не намагається зупинити, має один набір переможців, і вони перелічені в таблицях постачальників MoD, а не на кухні в Англії.\nНічого для даху Найдешевша кВт·год це та, яку дому ніколи не доведеться купувати. Утеплення на горищі й сонячні панелі на даху окуповуються щозими, довго після того, як виплату в £100 витрачено. То що Бюджет, який продають як зниження рахунків, робить для них?\nВін піднімає ПДВ.\nВстановлення енергозберігальних матеріалів у домі оподатковується за нульовою ставкою «from 1 May 2023 to 31 March 2027», і список охоплює утеплення, сонячні панелі, батареї й теплові насоси24. Цей Бюджет дає цьому закінчитися. Пункт 6.215 має назву «Revert to reduced rate on energy saving materials (ESMs) as planned», і з 1 квітня 2027 року це знову 5 %, а єдина зміна в тому, що до списку додано теплові батареї1. На роботах із сонячними панелями й батареєю на £10 000 це на £500 більше.\nТож у тому самому документі ПДВ знімається з електрики, яку ти купуєш, і повертається на обладнання, що дає тобі змогу її не купувати.\nТепер порахуй слова. На 162 сторінках «insulation» трапляється нуль разів. «Rooftop» і «solar panel» трапляються нуль разів. Теплові насоси згадано двічі, і обидва рази в абзаці, що забирає £1 млрд із Warm Homes Plan, щоб заплатити за оборону1.\nА сам грант на теплові насоси? Boiler Upgrade Scheme платить «£7,500 towards an air source heat pump»25, і Бюджет «maintain the Boiler Upgrade Scheme at current funding levels of £400 million in 2027‑28 and rising broadly in line with inflation thereafter»1. Тож не урізано, але й не збільшено. £400 млн по £7500 це щонайбільше приблизно 53 000 теплових насосів на рік. Казначейство рахує у Великій Британії близько 29 млн домогосподарств1. Такими темпами, щоб дістатися кожного з них, знадобиться понад 500 років.\nЕнергетичні гроші Бюджету 2026 Цифра за шість років Що лишається після зими Виплата £100 і 0 % ПДВ на електрику £3685 млн витрачено нічого, їх немає Капітальний грант Warm Homes Plan £1 млрд урізано менше утеплених домів ПДВ на утеплення, сонячні панелі й батареї з 0 % назад до 5 % дорожче зробити самому Заплативши за своє, я бачу точно, чого бракує. Якби уряд хотів знизити рахунки назавжди, він утеплив би кожен дім, що цього потребує, і поставив би сонячні панелі на кожен дах, що їх витримає, починаючи з кожного нового будинку, що зводиться відтепер. Зроби це один раз, як слід, і допомогу ніколи не доведеться купувати знову наступної зими. Цей Бюджет платить за зиму й оподатковує виправлення.\nНі, продаж власних речей на eBay не оподатковують Чимало людей прочитали правило для онлайн-майданчиків як кінець продажу старих речей на eBay чи Vinted без рахунку з ПДВ. Це не так, і Бюджет каже це прямим текстом.\nЗ жовтня 2027 року майданчики збирають ПДВ «on sales by UK VAT-registered businesses and any other UK business with a minimum annual sales threshold per platform of £90,000». Правила «will not apply to non-business (i.e. personal) sales, second-hand goods, or business-to-business transactions»1.\nПлутанина походить із трьох різних порогів, які цитують так, ніби це одне правило:\nПравило Поріг Що це означає Новий збір ПДВ майданчиками бізнес, що продає на £90 000 на рік на одному майданчику майданчик збирає ПДВ, який бізнес і так був винен Звітування майданчиків до HMRC, з 2024 року 30 продажів або близько £1700 на рік майданчик повідомляє про тебе. Це не податок Торгівля чи ні дев’ять «badges of trade» HMRC вирішує, чи ти взагалі винен податок Щодо звітування HMRC каже прямо: «A platform reporting your details to HMRC does not automatically mean you owe tax»26. Майданчики не повідомляють про тебе, якщо ти «make fewer than 30 sales of goods in a calendar year» і «receive less than 2,000 euros (about £1,700)»26. А від його власної пресслужби: «if you are not trading and just occasionally sell unwanted items online – there is no tax due»27.\nТо хто такий продавець великих обсягів? Кількості речей немає. Чи ти торгуєш, вирішують badges of trade HMRC, серед яких «profit-seeking motive», «the number of transactions», «the nature of the asset» і «changes to the asset», а сам HMRC каже, що «the presence or absence of a particular badge is unlikely, by itself, to provide a conclusive answer»28. Розчищення горища це не торгівля, навіть коли там понад 30 речей або понад £1700 і про тебе повідомили. Купувати товар, щоб перепродати з прибутком, це торгівля.\nЗверни увагу, яким насправді є цей тест на звітування. Це менше 30 продажів і менше приблизно £1700, тож перевищення будь-якого з двох означає, що про тебе повідомлять. Продай свою стару машину на eBay дорожче за £1700, і цього одного продажу досить. Не панікуй, якщо так станеться. Повідомлення це не податковий рахунок, і HMRC перелічує Capital Gains Tax як належний з «most personal possessions worth £6,000 or more, apart from your car»29. Машина, якою ти користувався сам, сюди не входить.\nАле повідомлення стосується тебе, а не машини, і те, що машина звільнена, не робить звільненим усе інше, що ти продав того року. Кожен інший продаж оцінюється сам по собі, точно як завжди. Твої власні непотрібні речі досі не торгівля, а одна особиста річ дешевше за £6000 не підпадає під Capital Gains Tax29. Але все, що ти купив, щоб перепродати з прибутком, це торгівля, і коли про тебе вже повідомили, твої продажі лежать перед HMRC. Якщо частина цього торгівля, перші £1000 на рік не оподатковуються, а з 6 квітня 2027 року за цим Бюджетом ця сума зростає до £30001. Тож записуй, чим була кожна річ: твоєю чи купленою для перепродажу.\nА щодо горища, марнотратне саме звітування. Дані людини, що розчищає власний дім, надсилають до HMRC, майданчик платить за складання звіту, HMRC платить за його обробку, а з особистих продажів не збирається нічого, бо нічого не належить. Це чисті витрати, і вони однаково лягають на твій податковий рахунок.\nТож паніка щодо цього Бюджету була на порожньому місці. Тривога щодо наступного ні. Механізм тепер збудовано. Майданчики повідомляють HMRC про продавців з 2024 року, а з жовтня 2027 року збиратимуть ПДВ біля джерела для продавців-бізнесів. Звільнення для особистих продажів це рядок у Бюджеті, а рядок у Бюджеті можна прибрати в наступному, не будуючи нічого нового. Щойно трубу прокладено, її розширення це зміна в один рядок. Я б не ставив на те, що звільнення протримається лише тому, що воно є сьогодні.\nСправжня суть цього рядка Бюджету в обміні, описаному вище.\nПерепочинок це те, за що ти платиш Перепочинок це гарна назва для Бюджету. Звучить як полегшення. Прочитай розрахунки, і краще описати його як набір рішень про те, кому затамувати подих.\nДім, який я тут порахував, зробив те, чого ця країна каже, що хоче. Він перейшов на електрику. Він виробляє й зберігає власну енергію. Він майже відмовився від газу. Його 20 000 миль на рік їздять на електриці, значна частина якої з власного даху, і нічого не потребують від колонки.\nЦе самостійність, а нагорода за неї податок за милю й заморожений поріг, із £100, щоб пом’якшити першу зиму. Подекуди Бюджет розумний. Справедливо, що банки фінансують частину енергетичної виплати, і справедливо, що той, хто мало споживає газу, перестає платити фіксовану плату за газ, яким ледь користується. Але візерунок під цим досить очевидний. Допомога йде туди, де рахунок найгучніший: великому промисловому споживачу, засновнику з десятьма мільйонами прибутку, центру обробки даних, якому мережа потрібна завтра, збройовій компанії на контракті, на який більше нікому не дали подати заявку. Тихе домогосподарство, що само дало собі раду, і є тим місцем, звідки береться дохід, саме тому, що воно не скаржиться і не може переїхати.\nІ за цей перепочинок ти платиш не один раз. Ти платиш через податки за субсидію на рахунок, ти платиш рахунок, а наступної зими платиш і те, і те знову, бо ніщо в цьому Бюджеті не спрямоване на те, чому рахунок високий. Те саме стосується знижки паливного акцизу, знову продовженої, бо нафту, яку вона підпирає, так і не замінили, і водневих контрактів, за які треба платити щороку, бо паливо не може стояти на власних ногах. Виправлення оплачують один раз. Субсидію оплачують щороку, ті самі люди, доки корінь проблеми лишається на місці. Це вибір, який цей Бюджет робить рядок за рядком: затамувати подих ще на одну зиму замість прочистити дихальні шляхи.\nПричина, з якої корінь ніколи не виправляють, у тому, що витрати ніколи не падають на тих, хто міг би його виправити. Цей Бюджет не перекладає тягар на тих, хто має вигоду із субсидій, тож у них немає причин щось змінювати. Орендодавець, що не доводить дім до стандарту, далі збирає орендну плату, поки орендар платить рахунок, а платник податків платить субсидію на нього. У нафтових компаній немає причин вкладати гроші в чисті технології, поки Казначейство тримає їхній продукт дешевим на колонці. А газова галузь продовжує ту саму марнотратну модель, спали раз і купи ще, тоді як труби, що вже лежать у землі, могли б стати початком централізованого теплопостачання, що переміщує тепло замість палива. Ніхто не робить дорогої розумної речі, поки хтось інший платить йому, щоб він робив дешеву марнотратну. І кожен обмін у цьому Бюджеті йде в той самий бік. Уряд дбає, щоб великі корпорації були в порядку, а платить маленька людина.\nЯ знаю, що цей Бюджет коштує цьому дому, і бачу, за якою ціною його подано на першій сторінці документа. Це не те саме число. Різниця і є причиною читати розрахунки самому, а не промову, бо ніхто з тих, хто писав промову, не прочитає їх за тебе.\nHM Treasury — Budget 2026: Breathing Space for Today, Fresh Hope for the Future — доповідь про Бюджет, подана до Парламенту 28 жовтня 2026 року. Енергетичні заходи пункти 3.2–3.9 і Box 3.A, паливо, пробіг і зарядка електромобілів 3.12–3.16, eVED 1.30 і 2.38, BADR 2.53, BICS 4.24 і 6.31, Gas Shipper Obligation 4.22 і 6.27, центри обробки даних 4.137 і 4.138, Warm Homes Plan і Boiler Upgrade Scheme 4.36, оборона 2.5, 2.6, 5.28–5.36, включно з Multilateral Defence Mechanism у 5.30, і 6.134–6.141, енергозберігальні матеріали 6.215, Founders\u0026rsquo; Relief 6.257, Trading Allowance 6.254, онлайн-майданчики 6.154, National Living Wage 3.18, Pension Tax Allowance 3.19 і 6.182, Carbon Price Support 4.25, розрахунки Table 6.1.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nGOV.UK — Claim tax relief for your job expenses: vehicles you use for work — «This does not include travelling to and from your work, unless it\u0026rsquo;s a temporary place of work.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nOfgem — Changes to energy price cap between 1 October and 31 December 2026 — фіксована плата за газ 29,68 пенса на день і ціна за одиницю 7,97 пенса/кВт·год з 5 % ПДВ; електрика без ПДВ з 1 жовтня 2026 року до 31 березня 2027 року.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nOfgem — Summary of changes to the energy price cap, 1 July to 30 September 2026, revised TDCV — типове побутове споживання з 1 липня 2026 року: «2,500 kWh of electricity, 9,500 kWh of gas».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nDESNZ — Funding mechanism for the Hydrogen Production Business Model: proposed design of the Gas Shipper Obligation — консультація, січень–квітень 2025 року.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nDESNZ — Gas Shipper Obligation analytical annex — «approximately £2.60 - £4.50» на рік до середнього побутового рахунку за газ у 2028–2037 роках, за об’ємною схемою, у цінах 2023 року.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nDESNZ — Hydrogen Production Business Model / Net Zero Hydrogen Fund: HAR1 successful projects — одинадцять проєктів, їхні розробники й потужність, середньозважена ціна виконання £241/МВт·год і «over £2 billion of revenue support».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nEnergy Systems Catapult — Heat pumps shown to be three times more efficient than gas boilers — фінансоване урядом випробування Electrification of Heat, встановлено 742 теплові насоси: «The median SPF observed in ASHP systems \u0026hellip; was 2.80 (280%)».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nJan Rosenow, \u0026ldquo;Is heating homes with hydrogen all but a pipe dream? An evidence review\u0026rdquo;, Joule, 2022 — 32 незалежні дослідження; цитати в тому вигляді, як їх подав IEEE Spectrum, 4 жовтня 2022 року.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nHM Treasury — Electric Vehicle Excise Duty (eVED) — програмний документ, 13 липня 2026 року: 3 пенси за милю для акумуляторних і водневих автомобілів, 1,5 пенса для плагін-гібридів, з 1 квітня 2028 року.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nHMRC — Maintaining the Personal Allowance and basic rate limit until 5 April 2031 — програмний документ Бюджету 2025 року: пороги зафіксовано «at their 6 April 2021 levels», збережено «until 5 April 2031», 700 000 осіб втягнуто в прибутковий податок до 2030-31, і вплив продовження на Казначейство.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nIncome Tax Act 2007, section 57 — Personal Allowance індексується за «the consumer prices index for the September before the start of a tax year» і округлюється «up to the nearest amount which is a multiple of £10».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nIncome Tax Act 2007, section 21 — межа базової ставки індексується так само й округлюється «up to the nearest amount which is a multiple of £100».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nONS — CPI annual rate, all items, series D7G7 — вересень 2021 3,1 %, 2022 10,1 %, 2023 6,7 %, 2024 1,7 %, 2025 3,8 %, 2026 3,5 %.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nGOV.UK — National Minimum Wage and National Living Wage rates — £12,71 на годину для працівників віком від 21 року з 1 квітня 2026 року.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nUK ETS Authority — UK Emissions Trading Scheme scope expansion: waste, consultation, 2024 — включення спалювання відходів з отриманням енергії та інсинерації «from 2028», лише викопний CO2, і розподіл витрат через пакувальну Extended Producer Responsibility.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLARAC — UK ETS will not be extended to waste incineration in 2028 — 27 серпня 2026 року, асоціація рад з переробки про відстрочку; див. також LocalGov, 27 серпня 2026 року.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nGOV.UK — Business Asset Disposal Relief — «18% on all gains on qualifying assets disposed of from 6 April 2026».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nDESNZ — Improving the energy performance of privately rented homes: government response — оновлено 21 січня 2026 року: відповідність «by 1 October 2030», орендодавці мають «invest up to £10,000 per property», у середньому £5400, другий захід «at the discretion of the landlord».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nMinistry of Defence — MOD trade, industry and contracts 2026 — акредитована офіційна статистика, 1 жовтня 2026 року: £43,4 млрд у промисловості у 2025/26, 40 % у десяти постачальників, BAE Systems 16,5 %, неконкурентні платежі 47 % (£20,5 млрд); Foreign Military Sales £744 млн, з них £469 млн Boeing; жодного поділу витрат за британською та іноземною власністю; платежі MoD компанії Babcock дорівнюють 63,5 % її світового доходу.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nMinistry of Defence — Data tables relating to MOD trade, industry and contracts 2026 — Table 4a, холдингові компанії приватного сектору, яким сплачено £50 млн або більше у 2025/26. Країна це місце, де кожна холдингова компанія має штаб-квартиру або зареєстрована.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nBAE Systems — Preliminary results announcement 2025 — 18 лютого 2026 року: R\u0026amp;D власним коштом «£407m», «dividends increased to £1,027m», викуп «at a cost of £502m», «the Group returned £1,529m to shareholders», податкові кредити на дослідження й розробки £29 млн.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nBabcock International — Annual Report and Financial Statements 2026 — рік до 31 березня 2026 року: «Total research and development costs expensed in the period was £203.3 million», «£36.7 million dividends paid» і «£155.3 million purchase of own shares».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nHMRC — VAT on energy-saving materials and heating equipment (VAT Notice 708/6) — «A zero rate applies to the installation of certain specified energy-saving materials from 1 May 2023 to 31 March 2027», що охоплює утеплення, сонячні панелі, батареї й теплові насоси.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nGOV.UK — Boiler Upgrade Scheme: what you can get — £7500 на повітряний або ґрунтовий тепловий насос, £5000 на котел на біомасі.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nHMRC — Selling goods or services on a digital platform — пороги звітування в 30 продажів і €2000, і те, що звітування «does not automatically mean you owe tax».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nHMRC — No tax changes for online sellers — пресреліз, 4 грудня 2024 року.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nHMRC Business Income Manual — BIM20205, the badges of trade — дев’ять ознак, і те, що жодна сама по собі не є вирішальною.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nGOV.UK — Capital Gains Tax: what you pay it on — до оподатковуваних активів належать «most personal possessions worth £6,000 or more, apart from your car».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\n","permalink":"https://blogs.damiendye.uk/uk/politics/breathing-space-for-whom/","summary":"Що Бюджет 2026 року насправді робить для платника ставки 40 %, який працює з дому, їздить на електромобілі 20 000 миль на рік на роботу своєї половинки, має сонячні панелі й батарею і скоротив газ до гарячої води та трохи опалення. Розбір захід за заходом за власним документом Казначейства: Household Energy Payment у £100, 0 % ПДВ на електрику, фіксована плата за газ, що переходить у ціну за одиницю, тоді як більша фіксована плата за електрику лишається, Gas Shipper Obligation, перенесена з рахунку за газ на загальне оподаткування, і кому вона платить, чому водень із електрики програє тепловому насосу на 280 %, плата за пробіг eVED на 20 000 миль поїздок на роботу, і фіскальне сповзання від порогів, заморожених з 2021 до 2031 року, пораховане проти того, де їх поставив би закон, для платника ставки 40 % і для низькооплачуваних, яких воно б’є першими. Далі хто отримує гроші натомість, за власними розрахунками Бюджету: 10 000 енергоємних виробників, оператори спалювання відходів, засновники швидкозростаючих компаній проти звичайних власників, що продають бізнес, малі фірми на головній вулиці коштом малих онлайн-продавців, центри обробки даних на початку черги до мережі, і нарощування оборони, частково профінансоване урізанням Warm Homes Plan, з власними цифрами MoD про те, скільки йде BAE Systems і скільки витрачається без конкурсу. Чого він не робить для утеплення й сонячних панелей на дахах, де ПДВ знову піднімається до 5 %, і що сталося з грантом на теплові насоси. І що нове правило ПДВ для онлайн-майданчиків означає для продажу власних речей на eBay.","title":"Перепочинок для кого? Бюджет 2026 року з погляду дому з електромобілем, сонячними панелями й батареєю"},{"content":"До диска доходить менше байтів VDO це шар дедуплікації і стиснення в ядрі Linux. Він сидить під групою томів і працює блоками по 4 KiB. Кожен блок, який він уже бачив, він зберігає один раз.\nЩо це означає для заліза, просто. До диска доходить менше байтів. Я записував через VDO суміш, яка на 75 % складалася з дублікатів і на 50 % стискалася, по 30 секунд за раз, і власні лічильники диска показали, що він отримав від 23 до 28 % того, що записав гість. Шість повних клонів диска шаблону додали між собою 8 блоків даних. Тридцять два кілобайти.\nБайти, що дійшли до диска Без VDO, будь-які дані 100% VDO, 4k випадк., 75% дубл. 28% VDO, 128k, 75% дубл. 23% VDO, 128k, випадк. дані 100% Частка байтів гостя, що дійшла до диска, прогони по 30 с, середнє з двох. Суміш: 75% дублікатів, 50% стисненних. Байти, записані гостем, проти байтів, які отримав диск, 30 секунд кожного навантаження, середнє з двох прогонів. Без VDO диск отримує все. З VDO він отримує приблизно чверть реалістичної суміші і все від повністю випадкових даних. Менше байтів означає менше зносу і менше роботи для будь-якого кешу на диску чи на контролері перед ним. Щоб туди дістатися, доводиться платити процесором і затримкою, і на швидкому диску ця ціна виміряна нижче порівняно з тим самим Optane зовсім без VDO. На повільних обертових дисках та сама ціна розчиняється в часі пошуку, і саме тут стає цікаво.\nУсе, що далі, визначають два правила. Стек товстий на товстому: ніщо над VDO, і сам VDO, не може обіцяти більше місця, ніж має диск. А власні метадані VDO, його індекс і журнали, можуть жити на NVMe, тоді як дані живуть десь повільніше.\nКожне число тут отримано на одному хості Proxmox VE 9.2, Ryzen 7 5700G з 16 CPU, ядро 7.0.14-25-pve, LVM 2.03.31 і інструменти Debian vdo 8.3.1.1, на двох дисках Intel Optane, які потім затерли.\nЩо таке VDO і де він сидить Ядро описує dm-vdo як ціль device-mapper, яка «provides block-level deduplication, compression, and thin provisioning»1. Кожен вхідний блок на 4 KiB хешується. Якщо ідентичний блок уже збережено, VDO записує посилання замість копії. Блоки, що не є дублікатами, проходять крізь LZ4 і пакуються по кілька в один фізичний блок, а блоки з самих нулів не зберігаються взагалі2.\nУсім цим керує LVM. lvcreate --type vdo створює пул VDO, який тримає реальні блоки, і VDO LV поверх нього з таким віртуальним розміром, який попросиш2. Товста група томів іде на VDO LV, і Proxmox використовує її як звичайне сховище lvm.\nТовстий на товстому: LVM на VDO Диски VM: товсті LV що бачать гості Група томів vdovg, 35 GiB що читає Proxmox: сховище lvm Proxmox нічого не бачить нижче цієї лінії VDO LV vdolv, 35 GiB віртуальних дедуп, LZ4, нульові блоки відкинуто Пул VDO vdopool, 40 GiB реальні блоки: їх читає vdostats Диск: nvme8n1 віртуальних 35 GiB, ніколи не більше, ніж вміщує Proxmox бачить звичайну товсту групу томів. VDO сидить під її фізичним томом, і його розмір задано так, що він ніколи не обіцяє більше, ніж вміщує диск. Шар Назва в лабораторії Що робить Диски VM vm-9901-disk-0 і так далі товсті LV, які створює Proxmox Група томів vdovg, 35 GiB звичайний LVM, його читає сховище lvm у Proxmox VDO LV vdolab/vdolv, 35 GiB віртуальних дедуп, LZ4, нульові блоки відкинуто Пул VDO vdolab/vdopool, 40 GiB реальні блоки, метадані та індекс VDO Фізичний nvme8n1 VG vdolab Товстий на товстому, або ніяк VDO сам по собі є тонким провізором: VDO LV можна дати будь-який віртуальний розмір. Зроби його більшим, ніж може вмістити пул, і група томів зверху буде товстою на обіцянці, а це тонкий на тонкому, просто на шар нижче. Саме так я і зробив під час першої збірки, VDO LV на 120 GiB на пулі в 40 GiB, і Proxmox показував третину сховища вільною, тоді як VDO був повний.\nТож задавай розмір VDO LV під те, що пул справді може адресувати, і не більше. lvcreate друкує цю цифру, «can address 36.00 GB» на цьому пулі в 40 GiB, а карта блоків VDO для логічного простору береться з того самого місця, тож я дав йому 35 GiB.\nПотім я довів це важким способом. Один диск VM, що забрав усі екстенти, які дав би Proxmox, 34 GiB, заповнений від початку до кінця випадковими даними, з якими VDO нічого не може вдіяти:\n# vdostats --human-readable Device Size Used Available Use% Space saving% vdolab-vdopool-vpool 40.0G 38.1G 1.9G 95% 0% Диск закінчився на власному кінці, як і має товстий диск. У VDO лишалося 1,9 GiB вільного, більше, ніж 1 GiB, який Proxmox ще міг виділити. Цифра Proxmox і є реальною межею, і VDO не може закінчитися першим.\nВід чого ти відмовляєшся, то це від переобіцянки: місце, яке заощаджує дедуплікація, з’являється як диск, на який ніколи не пишуть, а не як додаткові диски для Proxmox. Для цього допису, який про залізо, це правильний обмін. І пул lvmthin на це теж не став. Два тонкі шари це дві бухгалтерські книги3.\nСкільки це коштує, ще до першого збереженого байта VDO тримає індекс дедуплікації, індекс UDS, на самому пулі. Порожній пул на 40 GiB показав 4,0 GiB зайнятими і 36,0 GiB доступними. vdolistmetadata, з того самого пакета vdo, перелічує кожен блок метаданих на пристрої і пояснює майже все:\nОбласть Блоків по 4 KiB Розмір Індекс UDS 679 127 2,59 GiB Журнал відновлення 32 768 128 MiB Лічильники посилань і журнали, 18 слебів 6372 25 MiB Місце, замале для дев’ятнадцятого слеба 336 555 1,28 GiB Разом близько 4,0 GiB Рядок із залишком варто знати: слеби мають 2 GiB, тож задавай розмір пулу цілими слебами плюс накладні витрати, інакше залишок просто не використовується.\nДругий рахунок це RAM. Його платиш, хоч пул зайнятий, хоч простоює:\nВитрата Правило з lvmvdo(7) Цей пул на 40 GiB Фіксована 38 MiB 38 MiB Кеш карти блоків 1,15 MiB на MiB кешу, мінімум 150 MiB 150 MiB (128 MiB за замовчуванням) Фізичний простір 268 MiB на TiB 11 MiB Індекс UDS (dense) мінімум 250 MiB, за замовчуванням 256 MiB Разом близько 455 MiB Щільний індекс за замовчуванням покриває вікно дедуплікації приблизно в 256 GiB, бо щільний індекс з 1 GiB RAM «maintains a 1 TiB deduplication window»2. Кеш карти блоків на 128 MiB розраховано на «efficient access to 100 GB of logical space at a time», і документація ядра називає його найважливішим значенням, яке слід підлаштовувати, коли робочий набір зростає1.\nЗбираємо стек Хай LVM бачить PV на LV Група томів сидить на LV, а LVM за замовчуванням ігнорує LV як фізичні томи. devices/scan_lvs це вмикає, і довідник LVM містить попередження, яке йде разом із цим: «Caution is required to avoid using PVs that belong to guest images stored on LVs»4. Інакше гість, який використовує LVM усередині власного диска, побачив би, як його групи томів з’являються на хості.\nТож фільтр теж змінюється. Те саме редагування. Штатний фільтр на цьому хості відкидав лише zvol від ZFS і пристрої RBD. Я додав відкидання для кожного диска VM у Proxmox:\n# lvmconfig devices/global_filter devices/scan_lvs global_filter=[\u0026#34;r|/dev/zd.*|\u0026#34;,\u0026#34;r|/dev/rbd.*|\u0026#34;,\u0026#34;r|/dev/mapper/.*-(vm|base)--[0-9]+--disk--[0-9]+|\u0026#34;] scan_lvs=1 Той самий довідник каже, що scan_lvs «does not enable autoactivation of layered VGs»4. Proxmox це й не потрібно. Його плагін LVM активує кожен диск через lvchange -aey, коли стартує VM5. Я перевірив це так, як усе лишається після завантаження: усе деактивовано, а потім запускаються ті самі udev-виклики pvscan. VG під VDO піднялася, а qm start сам активував диск VM. Підступ лежить нижче. Коли VG під VDO була неповною, той самий qm start падав з «Volume group „vdovg“ not found».\nПул VDO, товстий, з налаштуваннями в рядку створення Форматувальник лежить у пакеті Debian vdo6:\n# apt install vdo Потім пул. -L це реальний простір, -V віртуальний розмір, який тримають у межах того, що пул може адресувати. Розкладка потоків і розмір discard ідуть у тому самому рядку, бо жодне з них не можна змінити пізніше, не зупинивши всі VM на пулі:\n# pvcreate /dev/nvme8n1 Physical volume \u0026#34;/dev/nvme8n1\u0026#34; successfully created. # vgcreate vdolab /dev/nvme8n1 Volume group \u0026#34;vdolab\u0026#34; successfully created # lvcreate -y --type vdo -L 40G -V 35G -n vdolv vdolab/vdopool /dev/nvme8n1 --vdosettings \u0026#34;logical_threads=4 physical_threads=4 hash_zone_threads=2 cpu_threads=3 bio_threads=2 ack_threads=1 max_discard=4096\u0026#34; Wiping vdo signature on /dev/vdolab/vdopool. The VDO volume can address 36.00 GB in 18 data slabs, each 2.00 GB. It can grow to address at most 16.00 TB of physical storage in 8192 slabs. If a larger maximum size might be needed, use bigger slabs. Logical volume \u0026#34;vdolv\u0026#34; created. # dmsetup table vdolab-vdopool-vpool 0 73402368 vdo V4 /dev/dm-7 10485760 4096 32768 16380 deduplication on compression on maxDiscard 4096 ack 1 bio 2 bioRotationInterval 64 cpu 3 hash 2 logical 4 physical 4 Розкладка потоків та, що виміряна нижче для хоста з 16 CPU; max_discard=4096 має власний розділ.\nГрупа томів і сховище Proxmox # pvcreate /dev/vdolab/vdolv Physical volume \u0026#34;/dev/vdolab/vdolv\u0026#34; successfully created. # vgcreate vdovg /dev/vdolab/vdolv Volume group \u0026#34;vdovg\u0026#34; successfully created # pvesm add lvm vdo-lvm --vgname vdovg --content images,rootdir --on-volume-remove discard=1 # pvesm status | grep -E \u0026#34;Name|vdo-lvm\u0026#34; Name Type Status Total (KiB) Used (KiB) Available (KiB) % vdo-lvm lvm active 36696064 0 36696064 0.00% on-volume-remove discard=1 важливий, і про нього йдеться нижче.\nЩо заощадила дедуплікація Я записував те, що хост Proxmox справді зберігає, і після кожного запису читав лічильники блоків VDO. logical blocks used це те, що записали шари вище; data blocks used це те, що зберіг VDO. Обидва в блоках по 4 KiB.\nЩо записано Додано логічних блоків Додано блоків даних Заощаджено rootfs Rocky Linux 10, ext4 на диску 4 GiB 114 505 60 537 47 % Шість його повних клонів (qm clone --full, близько 4 с кожен) 6 291 456 8 99,9999 % ISO Proxmox Datacenter Manager 1.1, 1,36 GiB 356 172 351 965 1,2 % Його перезбірка -auto, майже ті самі байти 356 399 40 99,99 % 4 GiB нулів 1 048 575 0 100 % 1 GiB випадкових даних 262 143 262 144 0 % Кожен клон записав усі 4 GiB, нулі включно, бо повний клон на товстий LV копіює кожен блок. VDO зберіг нулі як ніщо, а решту як посилання.\nVDO дуже добрий на даних, які вже бачив. І на нічому. Він марний на даних, які вже стиснуті чи зашифровані, і тому перший ISO, здебільшого squashfs, заощадив 1,2 %.\nЗ шаблоном і шістьма його клонами на місці Proxmox показував сховище зайнятим на 80,01 %, 28 GiB товстих дисків із 35. Диск тримав 4,3 GiB, і більшість цього був індекс. На товстому сховищі в цьому й суть: Proxmox рахує, що виділено, а диск несе те, що справді відрізняється.\nЩо диск отримує насправді Економія на диску це знімок. Залізу важливий потік. Тож я вимірював байти, що доходять до диска під час запису: fio на 30 секунд, лічильник записів диска з /sys/block до і після, той самий Optane з VDO і без нього, по два рази.\nЩо порівнювали на Optane Optane, без VDO VDO, 16 потоків fio, 30 с звичайний LV nvme8n1: лічильник записів тут fio, 30 с LV у vdovg VDO LV: дедуп, LZ4 Пул VDO nvme8n1: лічильник записів тут Два стеки за кожною цифрою «з і без» на Optane: ті самі завдання fio, той самий диск, лічильник записів читається внизу. Лічильник чесний. За весь прогін він набрав 794 GB, і власний SMART диска «Data Units Written» теж зрушив на 794 GB.\nНавантаження, 30 с Без VDO З VDO, 16 потоків Байтів доходить до диска 4k випадковий запис, QD32, 4 завдання, 75 % дублікатів, 50 % стиснення 582 013 IOPS, p99 244 мкс 460 887 IOPS, p99 1,05 мс 28 % 128k запис, QD8, 75 % дублікатів, 50 % стиснення 2345 MiB/s, p99 490 мкс 2179 MiB/s, p99 1,02 мс 23 % 4k випадковий запис, QD32, 4 завдання, випадкові дані 571 721 IOPS від 272 366 до 381 005 IOPS від 59 до 100 % 128k запис, QD8, випадкові дані 2346 MiB/s від 1051 до 1854 MiB/s 100 % На реалістичній суміші VDO зберіг від 79 до 93 % пропускної здатності голого диска і відправив йому чверть байтів. На повністю випадкових даних він нічого не заощаджує і коштує багато, а два прогони розійшлися так сильно, що я наводжу лише діапазон.\nХвостова затримка це власна обробка VDO, а не диск. p99 близько мілісекунди, проти чверті мілісекунди на голому диску.\nOptane не має кешу, який можна розвантажити Ці диски самі про це кажуть: vwc 0 з nvme id-ctrl, write through у /sys/block. Optane пише на місці без проміжного DRAM чи SLC, тож на цьому залізі виграш це байти і знос, а не кеш диска, що заповнюється повільніше. NAND SSD з кешем SLC або RAID-контролер з кешем зворотного запису це місця, де менше байтів купує ще й чутливість. Про це розділ про RAID6 нижче.\nПідбираємо потоки VDO під CPU Із коробки LVM дає VDO десять потоків: один logical, один physical, одну hash zone, два CPU, чотири на bio submission, один на acknowledgement. На хості з 16 CPU це лишає більшу частину машини без діла, тоді як робота VDO з картою блоків стоїть у черзі за одним логічним потоком.\nДокументація ядра пояснює ці регулятори1. Логічні потоки володіють кожен «a disjoint section of the block map», фізичні потоки «a disjoint section of the data blocks», і обидва «can increase throughput», тоді як зайві потоки «can waste resources and increase contention». Логічних потоків може бути до 60, фізичних до 16, і пулу потрібен щонайменше один слеб на фізичний потік. При 18 слебах цьому пулу місця досить.\nРозкладка logical physical hash cpu bio ack Разом Типові для LVM 1 1 1 2 4 1 10 Під 16 CPU 4 4 2 3 2 1 16 Удвічі більше 8 8 4 6 2 2 30 Кожна розкладка двічі проганяла ті самі завдання fio, по черзі, з випадковими даними, плюс читання всіх семи дисків клонів одночасно, так, як разом завантажуються сім VM:\nТест, середнє з двох прогонів Типові Під 16 CPU Удвічі більше 4k випадковий запис, QD32, 4 завдання 292 466 IOPS 365 314 IOPS 302 461 IOPS 4k випадковий запис p99, 4 завдання від 2,1 до 3,7 мс від 1,5 до 1,6 мс від 2,1 до 2,2 мс 1M послідовний запис 1153 MiB/s 1729 MiB/s 1507 MiB/s 4k випадкове читання, QD32, 4 завдання 507 450 IOPS 503 827 IOPS 485 263 IOPS Сім дисків клонів, читання одночасно 7,5 с 3,1 с 3,4 с Розкладка під кількість CPU виграє майже все: на чверть більше паралельних записів, у півтора раза більше на послідовних записах, сім дисків читаються в 2,4 раза швидше, і щільніший хвіст. Подвоєння ще раз гірше в усьому. Це та конкуренція, про яку попереджає документація. Типові значення також були найменш стабільними: читання семи дисків гуляло від 6,1 до 8,8 с між прогонами.\nЯк таке, правило: один потік VDO на CPU, розподілений за типами, як вище, з фізичними потоками, обмеженими кількістю слебів.\nСкільки VDO коштує на швидкому залізі Той самий Optane без VDO проти VDO з підібраними потоками, випадкові дані, середнє з двох прогонів:\nТест Optane, без VDO VDO, 16 потоків 4k випадковий запис, QD1 42 294 IOPS, 19,4 мкс 55 806 IOPS, 12,1 мкс 4k випадковий запис, QD32 142 416 IOPS 144 292 IOPS 4k випадковий запис, QD32, 4 завдання 572 293 IOPS 365 314 IOPS 4k випадкове читання, QD1 55 276 IOPS, 14,4 мкс 27 988 IOPS, 31,4 мкс 4k випадкове читання, QD32, 4 завдання 586 463 IOPS 503 827 IOPS 1M послідовний запис, QD8 2348 MiB/s 1729 MiB/s Сім дисків шаблону, читання одночасно 11,1 с 3,1 с Читай це прямо. Одне випадкове читання крізь VDO займає більш ніж удвічі довше. Паралельні випадкові записи втрачають більше третини, послідовні записи чверть. На такому швидкому диску 17 мкс додаткової роботи VDO на читання це більша частина самого читання.\nТе, що запис QD1 крізь VDO швидший, не є безкоштовним обідом. Далеко ні. VDO підтверджує запис ще до того, як той опинився на диску, і документація ядра прямо каже, що «unflushed writes may or may not persist after a crash»1. Це число вимірює підтвердження. Гість, який робить flush, а так робить кожна файлова система, отримує ту надійність, яку просить.\nРядок про сім дисків VDO виграє вщент, і варто чітко сказати чому. Сім звичайних копій мусять прочитати 28 GiB реальних байтів, нулі включно. VDO читає один набір спільних блоків і пропускає нулі.\nТож на швидкій флеш-пам’яті VDO міняє затримку на байти. Але кожна з цих мікросекунд це фіксована ціна, і вона не росте, коли диск під ним стає повільнішим.\nКладемо метадані VDO на NVMe У VDO немає окремого пристрою для метаданих. Усе живе на одному LV пулу. Але код dm-vdo показує, що розкладка фіксована, а LV можна зібрати зі шматків на різних дисках.\nКод форматування розміщує корені карти блоків від початку області даних, потім зведення слебів і журнал відновлення від кінця, а середину заповнює слебами7. Індекс UDS сидить перед усім цим, одразу після блока геометрії. vdolistmetadata підтвердив це на лабораторному пулі:\nБлоки Що Де сидить від 0 до 679 188 геометрія, індекс UDS, суперблок, корені карти блоків перші 2,59 GiB усередині кожного слеба на 2 GiB дані, листки карти блоків, 130 блоків посилань і журнал слеба на 224 блоки розкидані по пулу від 10 452 928 до 10 485 695 журнал відновлення майже останні 128 MiB від 10 485 696 до 10 485 759 зведення слебів найостанніші 256 KiB Тож збирай LV пулу з трьох шматків: голова на NVMe, середина на повільному диску, хвіст на NVMe. VDO з метаданими на NVMe Диски VM: товсті LV що бачать гості Група томів vdovg що читає Proxmox VDO LV, 35 GiB віртуальних дедуп, LZ4, нулі відкинуто голова середина: слеби хвіст LV пулу VDO, три сегменти Повільний диск: nvme8n1 дані, лічильники посилань NVMe: nvme6n1 індекс, корені, журнал відновлення Увесь стек з винесеними метаданими. Proxmox бачить ту саму групу томів; під нею LV пулу складається з трьох сегментів на двох дисках. Потім перетвори його на пул VDO, що lvmvdo(7) документує для наявного LV2. Тут nvme6n1 грає роль NVMe, а nvme8n1 роль повільного диска:\n# lvcreate -y -L 3G -n splitpool vdolab /dev/nvme6n1 Logical volume \u0026#34;splitpool\u0026#34; created. # lvextend -l +9408 vdolab/splitpool /dev/nvme8n1 Size of logical volume vdolab/splitpool changed from 3.00 GiB (768 extents) to 39.75 GiB (10176 extents). Logical volume vdolab/splitpool successfully resized. # lvextend -l +64 vdolab/splitpool /dev/nvme6n1 Size of logical volume vdolab/splitpool changed from 39.75 GiB (10176 extents) to 40.00 GiB (10240 extents). Logical volume vdolab/splitpool successfully resized. # lvconvert -y --type vdo-pool -n splitlv -V 35G vdolab/splitpool --vdosettings \u0026#34;logical_threads=4 physical_threads=4 hash_zone_threads=2 cpu_threads=3 bio_threads=2 ack_threads=1 max_discard=4096\u0026#34; WARNING: Converting logical volume vdolab/splitpool to VDO pool volume with formatting. THIS WILL DESTROY CONTENT OF LOGICAL VOLUME (filesystem etc.) The VDO volume can address 36.00 GB in 18 data slabs, each 2.00 GB. It can grow to address at most 16.00 TB of physical storage in 8192 slabs. If a larger maximum size might be needed, use bigger slabs. Logical volume \u0026#34;splitlv\u0026#34; created. Converted vdolab/splitpool to VDO pool volume and created virtual vdolab/splitlv VDO volume. Потім перевір, що VDO поклав свої метадані туди, де лежать екстенти:\n# vdolistmetadata /dev/mapper/vdolab-splitpool_vdata | grep -v \u0026#34;slab [0-9]* \\(reference\\|journal\\)\u0026#34; 0 .. 0: geometry block 1 .. 679127: index 679128 .. 679128: super block 679129 .. 679188: block map tree roots 10452928 .. 10485695: recovery journal 10485696 .. 10485759: slab summary Екстент це 1024 блоки. Голова на NVMe це екстенти від 0 до 767, блоки від 0 до 786 431, що покриває індекс і корені, плюс близько 420 MiB даних першого слеба, які їдуть заодно. Хвіст на NVMe це екстенти від 10 176 до 10 239, блоки від 10 420 224 і далі, що покриває журнал відновлення і зведення слебів.\nМетадані VDO на кінцях, на NVMe екстенти 0–767 екстенти 768–10 175 10 176–10 239 NVMe (nvme6n1) повільний диск (nvme8n1) NVMe (nvme6n1) індекс UDS, суперблок, корені карти блоків 18 слебів: дані, листки карти блоків, лічильники посилань, журнали слебів журнал відновлення, зведення слебів Не в масштабі: голова 3 GiB, середина 36,75 GiB, хвіст 256 MiB. LV пулу у трьох сегментах. Фіксовані метадані VDO сидять на двох кінцях, тож обидва кінці йдуть на NVMe, а слеби на повільний диск. Скільки роботи VDO переїжджає разом із ними, на 30-секундний прогін, з підрахунком по пристроях:\nНавантаження Операцій запису на NVMe Операцій запису на диск даних Частка NVMe 4k випадковий запис, 75 % дублікатів, 50 % стиснення від 388 430 до 538 223 від 3,42 до 3,63 мільйона від 10 до 13 % 128k запис, 75 % дублікатів, 50 % стиснення від 458 214 до 634 167 від 3,30 до 3,53 мільйона від 12 до 15 % 4k випадковий запис, випадкові дані від 181 457 до 384 507 від 3,25 до 8,49 мільйона від 4 до 5 % 4k випадкове читання 0 записів, 2 % читань 0 Десь десята частина операцій запису: журнал відновлення, оновлення індексу і той шматок слеба 0 на голові NVMe. Це дрібні розкидані записи метаданих, саме той тип, з яким обертовий диск справляється найгірше. На NVMe вони ніщо.\nДва обмеження. Метадані кожного слеба, лічильники посилань, журнали слебів і листки карти блоків, живуть усередині слебів і лишаються з даними. І я не перевіряв нарощування розділеного пулу. Журнал розміщується від кінця, тож після будь-якого lvextend знову запусти vdolistmetadata і подивися, куди він подівся, перш ніж йому довіряти.\nVDO на bcache: один NVMe, дві ролі bcache це інший спосіб поставити флеш перед повільними дисками. Саме його я вже використовую під Ceph на обертових дисках, з кожним налаштуванням, поясненим у дописі про bcache. Тож питання в тому, що VDO робить із кешем bcache, коли сидить поверх нього.\nОдин NVMe виконує обидві флеш-ролі, поділений на два розділи:\nПристрій Розмір Роль nvme8n1p1 32 GiB кеш bcache, writeback nvme8n1p2 8 GiB голова і хвіст VDO: індекс, корені, журнал відновлення, зведення слебів nvme6n1 349 GiB опорний пристрій bcache, де живуть дані /dev/bcache0 349 GiB середина пулу VDO, слеби Обидва диски знову Optane, тож nvme6n1 грає роль обертового диска. Пам’ятай про це для кожної цифри нижче. Опорний пристрій тут швидкий, тож це вимірює, що доходить до кешу, а не скільки часу шпинделю треба, щоб його спорожнити.\nVDO на bcache: один NVMe, дві ролі Диски VM: товсті LV що бачать гості Група томів vdovg що читає Proxmox VDO LV, 35 GiB віртуальних дедуп, LZ4, нулі відкинуто голова середина: слеби хвіст LV пулу VDO, три сегменти bcache0, writeback чверть байтів гостя p1: кеш nvme6n1: дані кеш 32 GiB, опорний 349 GiB p2: метадані VDO p1 і p2: один Optane, nvme8n1 VDO на bcache. Кінці пулу йдуть у розділ метаданих, слеби йдуть крізь bcache, і обидва розділи ділять один Optane. Розділи і набір кешу, з налаштуваннями з того допису:\n# sgdisk --zap-all /dev/nvme8n1 # sgdisk -n 1:0:+32G -c 1:bcache-cache -n 2:0:+8G -c 2:vdo-meta /dev/nvme8n1 # blockdev --rereadpt /dev/nvme8n1 # apt install bcache-tools # make-bcache -C /dev/nvme8n1p1 -B /dev/nvme6n1 --writeback # B=/sys/block/bcache0/bcache # echo 0 \u0026gt; $B/sequential_cutoff # echo 40 \u0026gt; $B/writeback_percent # echo 81920 \u0026gt; $B/writeback_rate # echo 20480 \u0026gt; $B/writeback_rate_minimum # CS=/sys/fs/bcache/47bac36f-a1d5-4e8e-8695-2e7ff944172d # echo 0 \u0026gt; $CS/congested_read_threshold_us # echo 0 \u0026gt; $CS/congested_write_threshold_us Ці рядки echo живуть до наступного перезавантаження. Правило udev у дописі про bcache робить їх постійними.\nПотім пул, розділений так само, як вище, з nvme8n1p2 для двох кінців і bcache0 для середини:\n# pvcreate /dev/bcache0 /dev/nvme8n1p2 # vgcreate vdolab /dev/bcache0 /dev/nvme8n1p2 # lvcreate -y -L 3G -n vdopool vdolab /dev/nvme8n1p2 # lvextend -l +9408 vdolab/vdopool /dev/bcache0 # lvextend -l +64 vdolab/vdopool /dev/nvme8n1p2 # lvconvert -y --type vdo-pool -n vdolv -V 35G vdolab/vdopool --vdosettings \u0026#34;logical_threads=4 physical_threads=4 hash_zone_threads=2 cpu_threads=3 bio_threads=2 ack_threads=1 max_discard=4096\u0026#34; # lvs -a --segments -o lv_name,lv_size,segtype,seg_start_pe,seg_size_pe,devices vdolab LV LSize Type Start SSize Devices vdolv 35.00g vdo 0 8960 vdopool(0) vdopool 40.00g vdo-pool 0 10240 vdopool_vdata(0) [vdopool_vdata] 40.00g linear 0 768 /dev/nvme8n1p2(0) [vdopool_vdata] 40.00g linear 768 9408 /dev/bcache0(0) [vdopool_vdata] 40.00g linear 10176 64 /dev/nvme8n1p2(768) vdolistmetadata надрукував ті самі діапазони блоків, що й для розділеної збірки, тож індекс і обидва журнали сидять на nvme8n1p2. vdovg і сховище Proxmox ідуть зверху точно як раніше.\nЩо доходить до кешу Порівнюється LV на 8 GiB прямо на bcache0 з LV на 8 GiB у vdovg, ті самі завдання fio по 30 секунд, двічі, з кешем, начисто скинутим між кожним прогоном. Лічильники пристроїв у /sys/class/block кажуть, куди пішли байти.\nЩо порівнювали на bcache лише bcache VDO на bcache fio, 30 с LV 8 GiB на bcache0 bcache0, writeback p1: кеш nvme6n1: дані fio, 30 с LV 8 GiB у vdovg VDO LV і пул, 16 потоків bcache0, writeback p2: мета p1: кеш nvme6n1: дані Два стеки за цифрами bcache. Той самий кеш, той самий опорний диск; єдина різниця це VDO над ним. 75 % дублікатів, 50 % стиснення, 30 с лише bcache VDO на bcache 4k випадковий запис, QD32, 4 завдання 212 222 і 205 585 IOPS 390 206 і 304 757 IOPS p99 1,89 і 2,04 мс 1,45 і 2,54 мс Гість записав 24,29 і 23,53 GiB 44,67 і 34,88 GiB Записано в кеш bcache 25,00 і 24,26 GiB 11,48 і 10,44 GiB Записано в розділ метаданих VDO 1,18 і 0,59 GiB Записів у кеш на байт гостя 103 % 26 і 30 % Лишилося брудним у кеші наприкінці 6,0 і 6,5 GiB 5,5 і 5,2 GiB 128k запис, QD8 2001 і 1985 MiB/s 1878 і 1416 MiB/s Записів у кеш на байт гостя, 128k 101 % 24 і 27 % Сам bcache упирався приблизно в 210 000 дрібних записів на секунду і записував у кеш кожен байт плюс 3 % власних. Постав VDO попереду, і кеш отримав чверть байтів. На першому прогоні той самий кеш потім тримав 390 206 записів на секунду, майже вдвічі більше, і все одно закінчив із меншою кількістю брудних даних, що чекають на повільний диск. Межею був кеш. VDO її посунув.\nДругий прогін чесніший для пулу, яким уже користувалися. fio за замовчуванням щоразу ініціалізує свої генератори однаково8, тож другий прогін писав дані, які індекс уже бачив, і які вказували на блоки, що відтоді було звільнено через discard. VDO вважає індекс підказками і читає кожен блок-кандидат, щоб перевірити, що це справді дублікат, перш ніж його спільно використати9. Під час тесту лише на запис цей другий прогін прочитав назад 7,11 GiB з кешу і 1,20 GiB з диска даних. Перший прочитав 0,12 GiB. Застарілі поради не безкоштовні, а на пулі, де VM приходять і йдуть, якісь завжди будуть.\nВипадкові дані це інший бік:\nВипадкові дані, 30 с лише bcache VDO на bcache 4k випадковий запис, QD32, 4 завдання 205 984 і 203 066 IOPS 203 186 і 85 882 IOPS p99 2,04 і 2,15 мс 5,7 і 17,7 мс 128k запис, QD8 2038 і 2017 MiB/s 878 і 357 MiB/s 4k випадкове читання, QD1 36 609 і 36 639 IOPS, 21,6 мкс 26 345 і 26 202 IOPS, 33,6 і 33,7 мкс 4k випадкове читання, QD32, 4 завдання 471 585 і 471 730 IOPS 335 461 і 336 941 IOPS Заощаджувати нічого, тож VDO це чисті накладні витрати, а на прогоні із застарілим індексом він більш ніж удвічі зменшив кількість дрібних записів. Кожне читання в обох колонках ішло з кешу. 12 мкс від VDO зверху це та сама фіксована ціна, яку він додає на голому Optane.\nТож там, де дані повторюються, ці двоє добре складаються. Кеш отримує чверть байтів, довше витримує сплеск і має менше скидати на шпинделі. Там, де дані не повторюються, bcache краще сам по собі.\nНа апаратному HDD RAID6: міркування, а не вимірювання У мене немає хоста з HDD RAID6 для тестів, тож цей розділ це міркування, побудовані на вимірюваннях вище. Виміряй свій масив, перш ніж на це покладатися.\nVDO на HDD RAID6, міркування Диски VM: товсті LV що бачать гості Група томів vdovg що читає Proxmox VDO LV, товстий дедуп, LZ4, нулі відкинуто голова середина: слеби хвіст LV пулу VDO, три сегменти Віртуальний диск RAID6 чверть байтів гостя Кеш запису контролера учетверо більший запас HDDs пошук ковтає 17 µs від VDO NVMe індекс і журнали геть зі шпинделів Стек, про який міркує цей розділ, а не той, що я виміряв: слеби на віртуальному диску RAID6 за кешем контролера, індекс і журнали на NVMe. На HDD RAID6 Що змінює VDO Записи, що доходять до масиву приблизно чверть, на суміші, як та, що виміряна Кеш зворотного запису контролера заповнюється вчетверо повільніше, тож витримує сплеск приблизно вчетверо довше Процесорна ціна VDO 17 мкс на читання, що губляться в пошуку на 5–10 мс Записи журналу відновлення десь десята частина операцій запису, дрібні і з flush: клади їх на NVMe Пошук в індексі стеж за dedupe advice timeouts у vdostats; на повільному сховищі VDO може кинути пошук і все одно записати дублікат Читання одного клону від початку до кінця повільніше: його блоки вказують назад у блоки шаблону, розкидані по масиву Перші два рядки це відповідь щодо заліза. Поки в кеші контролера з батареєю чи флеш-резервом є місце, гість бачить затримку кешу. Коли він заповнюється, гість бачить шпинделі. Надсилай йому чверть байтів, і той самий кеш дає приблизно вчетверо більший запас і має вчетверо менше скидати. Розділ про bcache вище це саме те, виміряне з програмним кешем на місці кешу контролера.\nТретій рядок пояснює, чому VDO більше пасує повільним дискам, ніж швидким. На Optane VDO подвоїв затримку читання. На дисках 7200 об/хв та сама фіксована ціна розчиняється в одному пошуку.\nОстанні три це ціни. Буря завантажень однакових клонів стає швидшою, але читання одного клону від початку до кінця стає повільнішим, бо дедуплікація його розкидає. А власні дрібні записи VDO теж падають на масив, і це аргумент на користь розділеної розкладки вище: індекс і журнал на NVMe, слеби на RAID6.\nВидаляєш диск: змуси Proxmox зробити discard Видалення LV звільняє його екстенти в LVM. Воно не каже VDO, що блоки не використовуються, тож VDO їх тримає. Документація ядра пояснює, чому це важливо: «If the vdo is thinly provisioned, discarding unused blocks is essential to prevent the target from running out of space»1. На товстому сховищі він не може закінчитися, але не звільнені через discard блоки однаково є місцем на диску, яке тримають для даних, що нікому не належать.\nОпція сховища on-volume-remove discard=1 це виправлення. Proxmox описує її як надсилання «discard (TRIM) requests before removal»5:\nВидалення Звільнено блоків VDO звичайне сховище lvm, диск з 1 GiB даних 0 з on-volume-remove discard=1, те саме 262 140, увесь 1 GiB Щоправда, на великому диску це повільно. Видалення диска на 34 GiB із тесту заповнення зайняло в Proxmox 262,6 с, тоді як blkdiscard на таких самих даних упорався з 15 GiB за 2,25 с. Тож для чогось великого спершу зроби blkdiscard диска, а потім видаляй.\nРозмір discard теж важливий. Типовий max_discard у VDO це один блок на 4 KiB на запит1:\nDiscard 15 GiB випадкових даних Минуло часу CPU (sys) max_discard=1, за замовчуванням 8,06 с 8,06 с max_discard=4096, 16 MiB 2,25 с 0,00 с Усередині гостей увімкни опцію диска Discard, щоб їхній TRIM доходив до сховища10, і запускай fstrim за розкладом.\nДе він вартий свого місця Підходить Не підходить багато VM з тих самих кількох шаблонів бази даних і чутлива до затримки робота на глибині HDD RAID6 за контролером з кешем зворотного запису хост повністю на NVMe, якому потрібна кожна мікросекунда обертові дані з NVMe для метаданих VDO уже стиснуті дані: медіа, резервні копії, ISO bcache перед обертовими даними, де дані повторюються bcache перед даними, що не повторюються диски, де межею є витривалість до запису зашифровані гостьові диски, які ніколи не дедуплікуються хост, де на кожен пул є вільні пів гігабайта RAM малий пул, де індекс з’їдає десяту частину Налаштування За замовчуванням Задати Змінити пізніше Віртуальний розмір VDO -V що попросиш не більше, ніж пул може адресувати лише збільшити, ніколи не зменшити Потоки VDO 10, один логічний один на CPU, розподілені як вище лише при зупинених VM пулу max_discard 1, тобто 4 KiB 4096, тобто 16 MiB лише при зупинених VM пулу on-volume-remove у сховищі не задано discard=1 так, pvesm set Discard на кожному віртуальному диску вимкнено увімкнено так, для кожного диска scan_lvs і фільтр 0, без відкидання дисків VM 1, диски VM відкинуто так, у lvm.conf Нічого з цього не складно. Нічого з цього не стоїть за замовчуванням.\nНайдешевший запис той, який ти ніколи не надсилаєш Що мене вражає у VDO, то це те, як погано його продають. Він з’являється як спосіб покласти на диск більше, ніж диск вміщує, і це найменш корисне, що він робить. Я зробив так випадково під час першої збірки, і Proxmox показував третину сховища вільною, тоді як VDO був повний. Переобіцянка це позика, і диск вимагає її повернути на повній швидкості запису.\nСправжня цінність у рядку, який більшість людей ніколи не вимірює. Чверть байтів, що доходять до диска, це чверть зносу і кеш контролера, якого вистачає вчетверо довше. Це не місткість. Це залізо, яке робить менше роботи для того самого результату, а це єдиний вид економії, який потім не вкусить тебе.\nВін коштує процесора, а на швидкій флеш-пам’яті коштує затримки, і обидві ціни фіксовані. Ось обмін, сказаний прямо: процесорний час, витрачений, щоб повільна й дорога частина машини робила менше. На обертових дисках за RAID-контролером чи bcache, з індексом і журналом на NVMe, ця сума виходить добре. На хості повністю з Optane здебільшого ні.\nІ сам про себе він не подбає. Кожне значення за замовчуванням, яке має значення, хибне для цієї роботи: десять потоків на шістнадцять CPU, розмір discard, що спалює ядро, віртуальний розмір, який можна задати будь-яким, і нічого в конфігурації сховища, що казало б Proxmox віддавати місце назад. Нічого з цього не приховано. Усе це є в документації.\nТож збирай його товстим, один раз, як слід, з налаштуваннями в рядку створення і метаданими там, де їм місце. Зроби так, і диск робить чверть роботи. Пропусти, і ти купив ще один шар, який обіцяє більше, ніж має.\nLinux kernel documentation — dm-vdo — ціль «provides block-level deduplication, compression, and thin provisioning»; «If the vdo is thinly provisioned, discarding unused blocks is essential to prevent the target from running out of space»; «unflushed writes may or may not persist after a crash»; кеш карти блоків на 128 MB підтримує «efficient access to 100 GB of logical space at a time»; параметри потоків, їхні межі й поради щодо налаштування; maxDiscard «in 4096-byte blocks».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nlvmvdo(7) — Support for Virtual Data Optimizer in LVM — пул VDO і VDO LV, перетворення наявного LV через lvconvert --type vdo-pool, використання пам’яті, щільний індекс і його вікно в 1 TiB на GiB RAM, і «You cannot reduce the size of a VDOPoolLV».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLinux kernel source — drivers/md/dm-thin.c — disable_discard_passdown_if_not_supported() вимикає передавання discard донизу, коли пристрій даних не може прийняти цілий тонкий chunk, а саме це і робить типове налаштування VDO під тонким пулом.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLVM2 — conf/example.conf.in — devices/scan_lvs: «Caution is required to avoid using PVs that belong to guest images stored on LVs» і «This option does not enable autoactivation of layered VGs».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nProxmox pve-storage — LVMPlugin.pm — властивість on-volume-remove, «Use \u0026lsquo;discard=1\u0026rsquo; to issue discard (TRIM) requests before removal»; томи активуються поодинці через lvchange -aey, а не через vgchange -aly.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nDebian trixie — package vdo — «Management tools for Virtual Data Optimizer», версія 8.3.1.1-1, яка надає vdoformat, vdostats і vdolistmetadata.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLinux kernel source — drivers/md/dm-vdo/encodings.c — vdo_initialize_layout() створює розділ карти блоків на початку, розділи зведення слебів і журналу відновлення в кінці, а депо слебів з того, що лишилося.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nfio documentation — randrepeat — «Seed all random number generators in a predictable way so the pattern is repeatable across runs. Default: true.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLinux kernel documentation — Design of dm-vdo — «vdo treats the locations in the index as hints, and reads each indicated block to verify that it is indeed a duplicate before sharing the existing block with a new one.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nProxmox VE documentation — Qemu/KVM Virtual Machines, Trim/Discard — «For the guest to be able to issue TRIM commands, you must enable the Discard option on the drive.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\n","permalink":"https://blogs.damiendye.uk/uk/proxmox/vdo-dedup-for-local-lvm/","summary":"VDO це шар дедуплікації і стиснення в ядрі. Під товстою групою томів LVM він дає локальним дискам Proxmox VE записувати одну копію кожного блока, спільного для VM, тож до диска доходить набагато менше байтів. Тут його збирають «товстим на товстому» на хості Proxmox VE 9, з розміром VDO під простір, який у нього справді є, щоб ніщо над ним не могло переобіцяти, з параметром scan_lvs у lvm.conf і його фільтром, і з потоками VDO під кількість CPU. Вимірюється, що заощадила дедуплікація на шаблоні та шести повних клонах, двох ISO, нулях і випадкових даних, скільки байтів диск справді отримав порівняно з тим, що записав гість, і скільки VDO коштує порівняно з тим самим Intel Optane зовсім без VDO. Потім пул збирають з індексом і журналами VDO на NVMe та даними на другому пристрої, доводять розкладку через vdolistmetadata, вимірюють, як ділиться I/O, потім ставлять VDO поверх bcache з одним NVMe, поділеним між кешем bcache і метаданими VDO, і вимірюють, скільки байтів доходить до кешу з VDO і без нього. Насамкінець міркування про те, що все це означає на апаратному HDD RAID6, і discard при видаленні.","title":"VDO під локальним LVM у Proxmox: до диска доходить менше байтів"},{"content":"Два налаштування, які ти зробив раз і забув Proxmox VE 9 робить для тебе дві корисні речі, навіть коли ти не просиш. Він дає гостю Fisher-Price OS (Windows) паравіртуальні можливості, потрібні йому для нормальної роботи на KVM, і під час завантаження вантажить актуальний мікрокод CPU.\nОбидві автоматичні. І обидві залежать від рішення, яке ти ухвалив один раз, можливо, кілька років тому, і відтоді на нього не дивився.\nПерша залежить від типу ОС, який ти обрав, коли створював VM. Обери один із пунктів Microsoft Windows, і Proxmox додає Hyper-V enlightenments при кожному запуску. Залиш Other, що легко зробити, коли імпортуєш диск чи клонуєш щось старе, і гість не отримає жодного з них. Він завантажується, працює, працює повільніше, і ніщо тобі про це не каже.\nДруга залежить від того, як хост дійшов до версії 9. Інсталятор 9.0 вмикає компонент firmware у Debian і встановлює пакет мікрокоду для твого CPU. Хост, оновлений з 8.x, зберігає репозиторії, які мав, а на більшості з них це означає, що пакета мікрокоду немає взагалі. На хості AMD Zen 5 з ядром 6.17.9 чи новішим це не теоретична прогалина: гості з типами CPU EPYC перестають запускатися.\nДва типові налаштування, два забуті вибори VM: вирішує її тип ОС Тип ОС, заданий раз Microsoft Windows Other або Linux прапорці hv_ додано при кожному старті жодного і без попередження Хост: вирішує, як він дійшов до 9 Хост Proxmox VE 9 інсталятор 9.x оновлено з 8.x пакет мікрокоду встановлено пакета немає pve8to9 лише попереджає Обидва типові налаштування тримаються на виборі, зробленому задовго до того, як щось піде не так. Правий шлях у кожному випадку той, про який тебе ніщо не попереджає. Решта допису розбирає кожне по черзі: що це, яке саме правило застосовує Proxmox, як увімкнути там, де його немає, і як довести, що воно спрацювало. Правила взято з коду qemu-server і pve-manager на живому хості 9.2, а не з пам’яті, бо два з них не такі, як більшість людей подумала б.\nЩо таке enlightenment насправді Гостьова операційна система, написана для справжнього заліза, витрачає багато зусиль на речі, які у VM марнотратні. Вона програмує таймери через емульовані мікросхеми, крутиться на блокуваннях, які тримає vCPU, що навіть не запланований, і спрацьовує сторожовими таймерами, коли хост краде кілька мілісекунд.\nПаравіртуалізація виправляє це: гість знає, що він гість, і говорить із гіпервізором напряму. Linux робить це через власні інтерфейси KVM. Fisher-Price OS (Windows) знає лише один паравіртуальний діалект, діалект Hyper-V, тож KVM реалізує цей діалект і каже гостю, що той працює на гіпервізорі, сумісному з Hyper-V. Кожну його частину називають enlightenment.\nНіщо з цього не ввімкнене, поки хтось не попросить. Документація QEMU каже про це прямо: «No Hyper-V enlightenments are enabled by default by either KVM or QEMU»1. У Proxmox просить qemu-server, і просить він лише тоді, коли тип ОС один із пунктів Microsoft Windows.\nРізницю видно на будь-якому хості. Це VM з Linux на моєму вузлі 9.2, ostype: l26, тип CPU host:\n# qm showcmd 101 --pretty | grep -- -cpu -cpu host,+kvm_pv_eoi,+kvm_pv_unhalt \\ Два прапорці KVM для власної паравіртуальної обробки переривань і спін-блокувань Linux, і жодного прапорця hv_. Правильно для Linux. Неправильно для гостя, який розуміє лише Hyper-V.\nЩо робить кожне enlightenment, за описами QEMU1:\nПрапорець Що отримує гість Що це заощаджує hv_time опорний годинник Hyper-V і сторінка TSC читання часу без виходу в гіпервізор hv_relaxed вказівка вимкнути тайм-аути сторожового таймера хибні тайм-аути, коли vCPU знято з виконання hv_vapic сторінка VP assist для APIC кінець переривання без виходу hv_spinlocks паравіртуальні спін-блокування, кількість спроб перед тим, як сказати хосту крутіння на блокуванні, власник якого не працює hv_vpindex власний індекс віртуального процесора передумова для наступних чотирьох hv_runtime скільки кожен vCPU справді працював чесний погляд на вкрадений час hv_synic, hv_stimer синтетичний контролер переривань і таймери емульоване залізо таймерів hv_ipi надсилання IPI багатьом vCPU одним гіпервикликом один вихід APIC на кожен цільовий CPU hv_reset скидання через гіпервізор hv_evmcs enlightened VMCS, лише Intel швидша вкладена віртуалізація hv_tlbflush паравіртуальне скидання TLB очікування на vCPU, які не працюють Тип ОС і є перемикачем Правило живе в одній функції, get_hyperv_enlightenments у CPUConfig.pm з qemu-server2. Спершу тип ОС перетворюється на номер версії: win11 стає 11, win10 стає 10, w2k8 і wvista обидва стають 6, а типи XP і 2003 стають 5. Linux, Other і все інше стають 0.\nПотім по черзі спрацьовують перевірки.\nЯкі прапорці hv_ додає qemu-server, перевірка за перевіркою Від типу ОС до прапорців hv_, у порядку виконання коду Версія типу ОС нижче 6? так стоп: нічого не додано Прошивка OVMF і версія нижче 8? так стоп: нічого не додано машина 2.3, потім 2.6 чи новіша додає spinlocks vapic time reset vpindex runtime версія 7 чи вище додає relaxed synic stimer ipi хост Intel, версія 11, машина 11.0+pve2 додає evmcs Порядок, у якому їх застосовує qemu-server. Версія нижче 6 зупиняється на першій перевірці, а гість UEFI, старший за тип 8.x, на другій, і нічого не додається взагалі. Прочитати правило це одне. Запустити його краще. Тож я завантажив встановлений CPUConfig.pm на двох хостах 9.2, на своєму вузлі AMD Ryzen для рядків AMD і на вузлі Intel Celeron N5100 для рядків Intel, і викликав цю функцію з кожною комбінацією:\nТип ОС Прошивка Версія машини Хост Додані enlightenments l26 або other будь-яка будь-яка будь-який жодних wxp (5) SeaBIOS 11.0 будь-який жодних w2k8 (Vista/2008) SeaBIOS 11.0 будь-який spinlocks, vapic, time, reset, vpindex, runtime win7 SeaBIOS 11.0 будь-який шість вище плюс relaxed, synic, stimer, ipi win7 OVMF 11.0 будь-який жодних win10 OVMF 11.0+pve2 Intel усі десять, без evmcs win11 OVMF 11.0+pve1 Intel усі десять, без evmcs win11 OVMF 11.0+pve2 Intel усі десять плюс evmcs win11 SeaBIOS 11.0+pve2 AMD усі десять, без evmcs Три речі звідси варто знати, перш ніж підходити до GUI.\nГість UEFI з типом ОС, старшим за 8.x, не отримує нічого. Код повертається раніше, коли прошивка OVMF, а версія нижче 8. Гість 7/2008r2, якого ти переніс на UEFI, тихо втратив усі enlightenments, які мав.\nhv_evmcs хоче три речі одночасно. Хост Intel, тип ОС 11/2022/2025 і версію машини 11.0+pve2 чи новішу. Гість 10/2016/2019 типово ніколи його не отримує, хоч яка нова в нього версія машини.\nВиробника хоста читають, коли VM стартує. Перевірка викликає read_cpuinfo на вузлі, який запускає VM, а не там, де VM створили. У змішаному кластері Intel і AMD та сама VM отримує hv_evmcs на одному вузлі й не отримує на іншому, і це вирішується наново при кожному холодному старті.\nСтаріші перевірки версії машини (2.3, 2.6, 2.12, 3.1) мають значення лише для VM, закріплених на машинах із далекого минулого QEMU. Усе, що ти створив би сьогодні, їх проходить.\nТож обирай тип ОС, найближчий до гостя, а не найновіший у списку. Гостю 10/2016/2019 місце на 10/2016/2019. Документація Proxmox дає ще одну причину, чому тип важливий, окрім цих прапорців: він також задає, наприклад, чи працює віртуальний RTC за місцевим часом3.\nЧому твої старіші VM пропускають липневе виправлення hv_evmcs типово з’явилося недавно. Воно прийшло в qemu-server 9.2.0 15 липня 2026, щоб «mitigate guest freezes and 100% CPU usage seen on certain Intel CPUs with Windows guests that use Virtualization-Based Security (VBS)»4, і воно прив’язане до версії машини 11.0+pve2.\nЦя прив’язка і є підступом, бо Proxmox закріплює версію машини кожної VM з типом ОС Microsoft Windows у момент її створення. Документація дає причину: «Windows is sensitive to changes in the virtual hardware - even between cold boots»3. Рішення розумне. Але воно також означає, що VM, створена в червні 2026, сидить на 11.0+pve1 чи старішій і сидітиме там, поки хтось її не пересуне.\nХтось пересуне її за тебе? Ні. Нове типове значення стосується нових VM і тих VM, які ти свідомо підняв, і більше нічого.\nЯкщо в тебе є хости Intel із гостями 11/2022/2025 з увімкненим VBS і хоч один із них зависав на 100 % CPU, ось що перевірити першим:\nqm config \u0026lt;vmid\u0026gt; | grep -E \u0026#39;^(ostype|machine):\u0026#39; ostype: win11 з рядком machine: нижче pc-q35-11.0+pve2 треба підняти, щоб отримати виправлення. Підняття змінює віртуальне залізо, яке бачить гість, а саме від цього закріплення і захищає. Тож роби це у вікно обслуговування, спершу зробивши резервну копію чи знімок, через Hardware → Machine → Edit, познач Advanced і обери версію.\nЯкщо рядок починається з pc-i440fx-, версія тут менша проблема: цьому гостю взагалі не місце на i440fx з причин, викладених у Завжди використовуй Q35, а не i440fx, і розділ Як це задати і довести, що спрацювало нижче це розбирає.\nДва пов’язані типові налаштування з’явилися в ті самі кілька місяців, і про них варто знати, поки ти там. qemu-server 9.1.12 вимкнув прапорці cet-ibt і cet-ss для типу 11/2022/2025, бо з QEMU 11.0 і ядрами 7.x, що їх показують, гості з VBS не завантажувалися4. А 9.1.14 відкрив властивість CPU level, яку документація описує як «a known workaround for Hyper-V boot failures of Windows guests on recent Intel hosts when the CPU type is host or max»3.\nБік QEMU, випуск за випуском qemu-server будує командний рядок. pve-qemu-kvm це QEMU, який його виконує, і липневому виправленню потрібні обидва.\nВерсію машини 11.0+pve2 можна обрати лише тоді, коли встановлено двійковий файл QEMU 11.0, бо qemu-server відмовляється від будь-якої версії машини, новішої за QEMU, який він знаходить на хості5. +pve2 це власний лічильник ревізій qemu-server, а не QEMU, тож годиться будь-яка збірка 11.0. Того дня, коли вийшов 9.2.0, пара виглядала так:\nПакет Версія Випущено Що приносить qemu-server 9.2.0 15 липня 2026 типове hv-evmcs і машину 11.0+pve2 pve-qemu-kvm 11.0.2-1 1 липня 2026 QEMU 11.0.2, актуальний того дня pve-qemu-kvm, мінімум 11.0.0-1 5 травня 2026 перша збірка QEMU 11.0 apt подбає, щоб у тебе були обидва? Ні. qemu-server 9.2.0 оголошує не сильнішу залежність, ніж pve-qemu-kvm (\u0026gt;= 7.1~)6, тож вузол, де QEMU притримано на 10.x, без жодного звуку бере новий qemu-server і потім не може запропонувати версію машини, від якої залежить виправлення. Перевір обидва, на кожному вузлі. Ось мій хост 9.2 сьогодні, давно за межею обох:\n# pveversion -v | grep -E \u0026#39;^(qemu-server|pve-qemu-kvm):\u0026#39; pve-qemu-kvm: 11.0.3-4 qemu-server: 9.2.11 Кожен випуск QEMU відтоді, як Proxmox VE 9.0 вийшов на 10.0.27, ніс власні виправлення для гостей Fisher-Price OS (Windows). Ось ті, що торкаються гостя, з журналу змін пакета Proxmox8 і журналів змін QEMU9:\nQEMU Збірка Proxmox Що виправлено для гостя 10.0 10.0.2-1, 17 червня 2025 помилка «PCI Label Id», нешкідлива англійською, але здатна підвісити локалізовані встановлення 10.1 10.1.2-3, 17 листопада 2025 регресія буфера обміну VNC, що ламала вказівник миші 10.1 10.1.2-5, 22 грудня 2025 зависання резервних копій VM з диском TPM, виправлення io_uring 11.0 11.0.0-1, 5 травня 2026 регресія в експорті FUSE, який swtpm використовує для стану TPM 11.0 11.0.2-1, 1 липня 2026 Hyper-V enlightenments розпізнаються як прапорці CPUID, тож власна модель CPU може їх нести QEMU 11.0 дещо й зламав: він почав показувати cet-ibt і cet-ss, і саме це зупинило завантаження гостей з VBS і змусило qemu-server 9.1.12 їх вимкнути, як описано вище.\nВиправлення гостьового агента в тих самих випусках це інша справа. QEMU 10.1, 10.2 і 11.0 кожен виправляли частини обробки VSS і заморожування файлових систем у гостьовому агенті, включно з «Access denied Event ID 8194», яке вилікував 11.09. Ніщо з цього не приходить із pve-qemu-kvm. Агент для цього гостя постачається на ISO з драйверами virtio-win10, тож він змінюється лише тоді, коли ти оновлюєш агент усередині VM.\nДва прапорці, які можна задати вручну Proxmox не дасть тобі додати до VM довільні прапорці CPU. Hardware → Processors → Edit, познач Advanced, і Extra CPU Flags пропонує фіксований список, визначений у CPUFlags.pm11. Два пункти в цьому списку це enlightenments, і це саме ті два, яких Proxmox типово не ставить, або не ставив до липня.\nПрапорець Власний опис Proxmox Коли ставити hv-tlbflush «Improve performance in overcommitted Windows guests. May lead to guest bluescreens on old CPUs.» За бажанням. Спершу спробуй на одній VM і поспостерігай. hv-evmcs «Improve performance for nested virtualization. Only supported on Intel CPUs.» Вкладений Hyper-V, WSL2 чи VBS у гостя, на Intel. Уже ввімкнено для 11/2022/2025 на 11.0+pve2. Обидва зробили необов’язковими в qemu-server 6.0-6 23 липня 2019, і журнал змін описує їх як «sometimes problematic»4. hv-tlbflush лишається таким уже сім років. Це чесний натяк на те, скільки тестування він потребує, перш ніж розкочувати його кластером.\nВласна примітка QEMU про hv-evmcs: він лише для Intel, і «some virtualization features (e.g. Posted Interrupts) are disabled when hv-evmcs is enabled»1. Вмикати його вручну на гостеві, який не займається вкладеною віртуалізацією, не дає тобі нічого і коштує саме цього.\nЯк це задати і довести, що спрацювало Для нової VM: Create VM → OS, постав Type на Microsoft Windows, а Version на найближчий відповідник.\nДля наявної: Options → OS Type → Edit, обери версію, OK. Proxmox закріплює версію машини, коли ти перемикаєш наявну VM на тип Microsoft Windows, так само, як при створенні4, тож чекай, що рядок machine: у конфігурації теж зміниться.\nІ постав її на q35. Гостю з enlightenments нічого робити на pc-i440fx. Це чипсет без шини PCIe, і причини виходять далеко за межі прокидання пристроїв; усі вони в Завжди використовуй Q35, а не i440fx.\nМайстер тебе не зупинить, а для більшості типів Microsoft Windows саме туди тебе й поставить. Власна документація Proxmox називає Intel 440FX «the default»3, а типові значення ОС у GUI перекривають це рівно для одного пункту: 11/2022/2025 отримує machine: 'q35' і bios: 'ovmf'12. Кожен інший тип Microsoft Windows успадковує загальні типові значення, які машину не задають узагалі. Тож гість 10/2016/2019, створений натисканням Next, опиняється на i440fx, з enlightenments і на неправильному чипсеті водночас.\nТип ОС, обраний у майстрі Машина, яку він отримує Прошивка, яку він отримує 11/2022/2025 q35 OVMF 10/2016/2019 і кожен старіший тип Microsoft Windows i440fx SeaBIOS Other, Linux i440fx SeaBIOS Зміни це на вкладці System, перш ніж завершити майстер. Для VM, яка вже існує, зміна чипсета це більша зміна віртуального заліза, ніж підняття версії машини, тож діють ті самі правила вікна обслуговування й резервної копії, а допис про q35 розповідає, що з цим робить гість.\nПотім зупини її як слід. Enlightenments це аргументи командного рядка QEMU, а цей рядок будується лише тоді, коли запускається процес QEMU. Перезапуск зсередини гостя зберігає той самий процес, тож зберігає й старі прапорці. Вимкни, дочекайся stopped, потім Start.\nДоведи це з хоста, бо відповідь саме там:\nqm showcmd \u0026lt;vmid\u0026gt; --pretty | grep -o \u0026#34;hv_[a-z_]*[=0-9a-fx]*\u0026#34; | sort -u Це виводить те, що qemu-server передасть QEMU при наступному старті. Гість 11/2022/2025 на 11.0+pve2 на Intel має показати одинадцять: hv_evmcs, hv_ipi, hv_relaxed, hv_reset, hv_runtime, hv_spinlocks=0x1fff, hv_stimer, hv_synic, hv_time, hv_vapic і hv_vpindex. Той самий гість на AMD показує десять. Порожній результат означає, що тип ОС не Microsoft Windows, або це тип, старший за 8.x, на UEFI.\nЯкщо гість не завантажується після зміни, постав тип ОС назад на Other на один старт, щоб підтвердити чи виключити enlightenments. Без них він працює. Просто працює гірше.\nМікрокод: що він виправляє і звідки береться Друге типове налаштування сидить під гіпервізором, а не над ним.\nМікрокод CPU це прошивка виробника для самого процесора. Оновлення виправляють вразливості безпеки і серйозні помилки CPU, а посібник адміністратора Proxmox робить зауваження, важливе для всіх, хто переймається втратою швидкості: «a patched microcode is usually still more performant than an unpatched microcode where the kernel itself has to do mitigations»13.\nВін може прийти з трьох місць, і вони незалежні.\nДжерело Застосовується Хто постачає На моєму хості 9.2 сьогодні Оновлення BIOS/UEFI плати при кожному ввімкненні, постійно виробник плати чи сервера те, що ніс останній BIOS Debian non-free-firmware рано під час завантаження, з initramfs Debian intel-microcode 3.20251111.1~deb13u1, amd64-microcode 3.20250311.1 Репозиторій Proxmox VE рано під час завантаження, з initramfs Proxmox amd64-microcode 3.20251202.1~bpo13+1, пакета Intel немає Шлях через BIOS Proxmox називає рекомендованим13. Шлях раннього завантаження це страхувальна сітка на випадок, коли виробник плати перестав випускати оновлення BIOS, а на всьому, чому кілька років, він зазвичай перестав.\nТретій рядок мене здивував. Proxmox тримає у власному репозиторії новіший amd64-microcode, ніж є в Debian trixie14, з тим самим пріоритетом закріплення, тож apt бере версію Proxmox. На хості AMD з налаштованим репозиторієм Proxmox саме цю версію ти зрештою й запустиш, і, як покаже наступний розділ, саме вона має значення.\nДе застосовується мікрокод під час завантаження Одне завантаження, зліва направо Увімкнення мікрокод BIOS Завантажувач вантажить initramfs Старт ядра раннє оновлення Хост працює гості стартують Пізнє завантаження заблоковано постійно, виробник плати з initramfs, Debian чи Proxmox blacklist у /etc/modprobe.d Раннє завантаження відбувається до того, як ядро запустило будь-що інше. Пізнє завантаження на працюючій системі це шлях, який Debian блокує, і він лишається заблокованим. Раннє завантаження це те, що налаштовує цей допис. Мікрокод потрапляє в initramfs, і ядро застосовує його на самому початку завантаження, до того, як щось інше працює.\nПізнє завантаження застосовує його до працюючої системи. Документація ядра має розділ під назвою «Why is late loading dangerous?», і з 5.19 воно типово не ввімкнене15. Debian теж його блокує. Ось файл на моєму хості, дослівно:\n# cat /etc/modprobe.d/amd64-microcode-blacklist.conf # The microcode module attempts to apply a microcode update when # it autoloads. This is not always safe, so we block it by default. blacklist microcode Не чіпай його. На хості вище він на місці, і там усе одно видно успішне раннє оновлення, тож він нічому не заважає.\nОбидва шляхи потребують перезавантаження. Обійти це ніяк.\nІ це лише x86. Посібник Proxmox прямо каже: «There is no equivalent operating-system-level microcode package for arm64»13.\nЧому в оновленого хоста його немає «Non-free» у non-free-firmware стосується ліцензії, а не грошей чи підписки Proxmox. Вікі Debian пояснює: бік ядра це вільне програмне забезпечення, але дані оновлення від виробника «opaque», «and its contents are unknown to Debian»16. Ось чому він живе в окремому компоненті і чому система Debian його не отримує, поки компонент не ввімкнено.\nІнсталятор Proxmox VE 9.0 його вмикає. Примітки до випуску кажуть, що ISO буде «Install the microcode package matching the current platform», і що «installations now have the non-free-firmware repository enabled»7. Оновлення не робить ні того, ні іншого, бо зберігає рядки репозиторіїв, які були на 8.x.\nЧисте встановлення 9.x Оновлено з 8.x non-free-firmware увімкнено інсталятором те, що було на 8.x, часто відсутній Пакет мікрокоду встановлено для виявленого CPU немає, поки не додаси компонент Що тобі каже нічого не треба pve8to9, як FAIL і WARN, і лише якщо ти його запустиш Подальші оновлення apt full-upgrade і перезавантаження те саме, щойно пакет встановлено Перевірка таки це позначає, і гучніше, ніж я чекав. Ось вона на моєму вузлі Intel, який прийшов з 8.x:\n# pve8to9 | grep -i -B1 -A2 microcode PASS: Legacy file \u0026#39;/etc/sysctl.conf\u0026#39; is not present. INFO: Checking if matching CPU microcode package is installed. FAIL: unable to determine installed intel-microcode version. WARN: The matching CPU microcode package \u0026#39;intel-microcode\u0026#39; could not be found! Consider installing it to receive the latest security and bug fixes for your CPU. apt install intel-microcode SKIP: NOTE: Expensive checks, like CT cgroupv2 compat, not performed without \u0026#39;--full\u0026#39; parameter FAIL це побічний ефект: пошук версії записує збій для будь-якого невстановленого пакета, ще до того, як перевірка мікрокоду дійде до власного попередження17. Так чи інакше, pve8to9 це перевірка, а не шлагбаум. Він не запускає оновлення і не може його зупинити, тож оновлення пролітає повз нього.\nЧи має це значення на практиці? Ось два випадки, де має, і перший мій.\nТой вузол Intel це Celeron N5100. Його список джерел уже містив non-free-firmware, тож пакет був за одну команду, і до 27 жовтня 2026 ніхто її не виконав. Ядро помітило, навіть якщо ніхто інший не помітив:\n# dmesg | grep -i microcode [ 0.000000] x86/CPU: Running old microcode [ 0.497219] microcode: Current revision: 0x0000001d # lscpu | grep -i \u0026#39;old microcode\u0026#39; Vulnerability Old microcode: Vulnerable Ядро тримає «a table of released microcode», і CPU, що завантажився на чомусь старшому, «will say \u0026lsquo;Vulnerable\u0026rsquo;»18. Наскільки старе це старе? Примітки до випусків Intel відповідають на це для цього чипа19:\nРевізія Випуск Intel На цьому хості 0x1d microcode-20210608 те, що прошивка плати вантажить сьогодні 0x2400001f microcode-20220207 0x24000023 microcode-20220510 вийшла за шість місяців до збірки BIOS цієї плати 0x24000024 microcode-20230214 0x24000026 microcode-20240312 у intel-microcode 3.20251111.1~deb13u1 від Debian BIOS версії 5.19, датований 8 листопада 2022, і він досі вантажить перший мікрокод, який Intel узагалі випустив для цього чипа, хоча на момент збірки вже існували два новіші. Саме для такого випадку існує шлях раннього завантаження: чотири оновлення лежать у пакеті, який хост уже бачив. Я встановив його, поки писав це, і що з того вийшло, описано в Як це ввімкнути, бо там є підступ.\nДругий випадок від AMD. Чипи Zen 5 мають помилку в інструкції RDSEED20. Примітки до випуску Proxmox 9.1 фіксують, що буде далі: ядра від 6.17.9 і новіші «without active microcode update will disable the RDSEED32 CPU-bit, and will fail to run Qemu guests with a CPU type that exposes that bit (for example EPYC or EPYC-v4)»21. Виправлення це amd64-microcode 3.20251202.1~bpo13+1 чи новіший, а це версія з репозиторію Proxmox, не з Debian.\nУсередині цієї пастки є друга. На платах Zen 5, чий BIOS старший за виправлення вразливості AMD Entrysign, ядро відкидає новий мікрокод і пише No sha256 digest for patch ID, а порада Proxmox оновити BIOS21. Тож на такому залізі шлях через ОС працює лише після того, як виробник плати зробив свою частину.\nЯк це ввімкнути Спершу запиши, де ти зараз. На хості, від root:\npveversion grep -m1 vendor_id /proc/cpuinfo # GenuineIntel or AuthenticAMD grep microcode /proc/cpuinfo | uniq # revision running now dpkg -l intel-microcode amd64-microcode 2\u0026gt;/dev/null | grep ^ii dmesg | grep -i microcode lscpu \u0026gt; /root/lscpu-before.txt # vulnerabilities and mitigations Якщо dpkg уже показує відповідний пакет як ii, хост готовий, і можна перейти до перевірки результату.\nУвімкни компонент. apt у trixie віддає перевагу формату deb822 .sources, а посібник з оновлення Proxmox вказує на apt modernize-sources, щоб перетворити старі однорядкові файли, зберігши оригінали як .bak22. Потім додай non-free-firmware до рядка Components: і основної, і безпекової строфи в /etc/apt/sources.list.d/debian.sources. Ось файл на моєму хості, який прийшов з інсталятора:\nTypes: deb URIs: http://deb.debian.org/debian/ Suites: trixie trixie-updates Components: main contrib non-free-firmware Signed-By: /usr/share/keyrings/debian-archive-keyring.gpg Types: deb URIs: http://security.debian.org/debian-security/ Suites: trixie-security Components: main contrib non-free-firmware Signed-By: /usr/share/keyrings/debian-archive-keyring.gpg Обидві строфи, бо Debian постачає мікрокод у stable обома шляхами. Архів безпеки містить intel-microcode 3.20250812.1~deb13u1, тоді як основний архів уже перейшов на 3.20251111.1~deb13u123, а тобі потрібен найновіший.\nВстанови той, що відповідає CPU.\napt update apt install intel-microcode # Intel apt install amd64-microcode # AMD Лише той, що для твого виробника. Відтоді новий мікрокод приходить зі звичайними apt full-upgrade, і кожна нова версія потребує перезавантаження, як і перша.\nВстановлення перебудовує initramfs, бо саме там має жити ранній мікрокод. Ядро читає його з нестисненого архіву на початку initrd, як kernel/x86/microcode/GenuineIntel.bin чи AuthenticAMD.bin15, а скрипт встановлення пакета запускає тригер initramfs, щоб покласти його туди24. Ось мій вузол Intel, що бере пакет, поки писався цей допис:\n# grep -A6 \u0026#39;Setting up intel-microcode\u0026#39; /var/log/apt/term.log Setting up intel-microcode (3.20251111.1~deb13u1) ... intel-microcode: microcode will be updated at next boot Processing triggers for man-db (2.13.1-1) ... Processing triggers for initramfs-tools (0.148.4) ... update-initramfs: Generating /boot/initrd.img-7.0.14-24-pve Running hook script \u0026#39;zz-proxmox-boot\u0026#39;.. Re-executing \u0026#39;/etc/kernel/postinst.d/zz-proxmox-boot\u0026#39; in new private mount namespace.. zz-proxmox-boot це хук Proxmox. На хості, чиї розділи EFI веде proxmox-boot-tool, він копіює туди новий образ; у цього синхронізувати нічого.\nТепер подивися, який образ він згенерував. Без указаного ядра update-initramfs -u перебудовує лише найновіший: «The default is the latest kernel version»25. Той самий вузол одразу після цього:\n# uname -r 7.0.14-23-pve # for f in /boot/initrd.img-*; do echo \u0026#34;$f: $(lsinitramfs $f 2\u0026gt;/dev/null | grep -c GenuineIntel.bin)\u0026#34;; done /boot/initrd.img-7.0.12-1-pve: 0 /boot/initrd.img-7.0.14-11-pve: 0 /boot/initrd.img-7.0.14-12-pve: 0 /boot/initrd.img-7.0.14-19-pve: 0 /boot/initrd.img-7.0.14-23-pve: 0 /boot/initrd.img-7.0.14-24-pve: 1 /boot/initrd.img-7.0.14-8-pve: 0 Один образ із семи містить мікрокод, і це не той, з яким хост працює.\nНаступне завантаження Мікрокод в initramfs Ревізія, на якій опиниться CPU 7.0.14-24, типовий пункт так 0x24000026 з пакета 7.0.14-23, закріплений чи резервний пункт ні 0x1d з BIOS будь-що старше ні 0x1d з BIOS Тож перебудуй усі образи після встановлення і знову після кожного оновлення мікрокоду, бо кожне запускає ту саму перебудову лише найновішого. Потім знову запусти цикл вище, щоб це довести:\nupdate-initramfs -u -k all Перезавантаж і перевір. Ось мій хост AMD 9.2 після того, як став пакет з репозиторію Proxmox:\n# grep microcode /proc/cpuinfo | uniq microcode\t: 0xa500012 # dmesg | grep -i microcode [ 0.587928] microcode: Current revision: 0x0a500012 [ 0.587930] microcode: Updated early from: 0x0a50000d Updated early from це рядок, що доводить результат. Власний посібник адміністратора Proxmox досі показує старіше формулювання, microcode updated early to revision13; нинішнє ядро друкує два рядки вище26. Будь-яка форма означає, що спрацювало.\nВідсутність такого рядка сама по собі не збій. Він з’являється лише тоді, коли пакет містить щось новіше і за вбудовану ревізію CPU, і за ту, що завантажив BIOS. Пакет охоплює дуже багато моделей CPU, і посібник має рацію, що дата на ньому не каже, коли твоя модель востаннє щось отримала13.\nЯк розкотити це кластером Зміну репозиторію і встановлення можна робити на всіх вузлах одразу. Нічого не зміниться до перезавантаження. Перезавантаження йдуть по одному вузлу, і кожен вузол здоровий, перш ніж наступний піде вниз.\nПоетапне перезавантаження для мікрокоду, один вузол за прохід Для кожного вузла, потім наступний Перевір кворум, Ceph OK Обслуговування гості йдуть noout за бажанням Рестарт перевір dmesg Чекай OSD up і in Відпусти зняти, повернути наступний вузол, ті самі кроки Один вузол за прохід. Два кроки Ceph стосуються лише гіперконвергентних кластерів, а пара noout необов\u0026rsquo;язкова. Крок Команда Готово, коли Кластер здоровий pvecm status, ceph -s є кворум, HEALTH_OK Звільни вузол ha-manager crm-command node-maintenance enable \u0026lt;node\u0026gt;, гостей без HA мігруй вручну гостей на ньому не лишилося За бажанням, Ceph ceph osd set noout прапорець видно в ceph -s Перезавантаж, перевір dmesg | grep -i microcode видно нову ревізію Ceph відновився ceph -s усі OSD up і in, HEALTH_OK Відпусти node-maintenance disable \u0026lt;node\u0026gt;, ceph osd unset noout гості HA повернулися Режим обслуговування HA записує, звідки прийшов кожен гість HA, і повертає його, щойно вузол виходить з обслуговування27. Гості без HA твоя справа.\nЩодо noout думки розходяться, і обидві сторони мають рацію. Ceph швидко позначає мовчазний OSD як down, але як out лише після mon_osd_down_out_interval, що типово дорівнює десяти хвилинам28, а перебалансування запускає саме out. Звичайне перезавантаження повертається задовго до цього. Сервер із довгим POST, запитом прошивки чи повільним RAID-контролером може й не встигнути. noout не дає повільному перезавантаженню перетворитися на перебалансування. Ціна в тому, що треба не забути його зняти, а забутий noout згодом ховає справжню відмову.\nЗроби весь кластер в одне вікно. Вузли з різними ревізіями мікрокоду це якраз та ситуація, коли гість із типом CPU host, який бачить можливості фізичного CPU напряму, може мігрувати наживо на вузол, що повідомляє інший набір.\nКоли оновлення мікрокоду йде не так Рідко, але буває, і посібник Proxmox це добре описує13.\nСитуація Що робити Чому Підозрюєш новий мікрокод завантажся один раз із dis_ucode_ldr вимикає завантажувач лише на це завантаження29 Стара ревізія в порядку, нова ні встанови попередню версію і притримай її purge може залишити працювати ще старішу ревізію з BIOS Через кілька тижнів apt-mark unhold, потім full-upgrade виправлення деінде може вилікувати це на тій самій версії мікрокоду Для разового завантаження: меню GRUB (тримай Shift, якщо воно сховане), E на пункті Proxmox, допиши dis_ucode_ldr у рядок, що починається з linux, потім Ctrl+X. Хост на systemd-boot замість GRUB описано в розділі про завантажувач у посібнику адміністратора.\nВідкат на Intel:\napt list -a intel-microcode # what versions exist apt install intel-microcode=\u0026lt;version\u0026gt; # pick the earlier one apt-mark hold intel-microcode # stop the next upgrade undoing it reboot На AMD підстав amd64-microcode. Відкочуй, ніколи не роби purge.\nТипове налаштування це обіцянка тому, хто пішов очікуваним шляхом Жодне з цього не баг. Proxmox обидва рази зробив розумну річ: увімкнув можливість там, де вона безпечна, лишив вимкненою там, де може бути ні, і закріпив віртуальне залізо, до якого гість прискіпливий. Інсталятор виправили, перевірка оновлення це позначає, журнал змін каже, що змінилося і коли. Proxmox свою частину зробив.\nАле типове налаштування це обіцянка, дана людині, яка робила все так, як очікував виробник. Чисте встановлення, правильний тип ОС, VM створена після липня. Кожен, чиє господарство має історію, а це кожен, хто запускає щось справжнє, частково поза цією обіцянкою, і прогалина про себе не оголошує. Вона проявляється як трохи повільний гість, зависання VBS, яке ніхто не пов’язує з версією машини, чи вузол Zen 5, де гості EPYC не стартують після оновлення ядра.\nПримітки до випуску описують, що отримує нове встановлення. Вони нічого не кажуть про те, з чим твої хости працюють насправді, а це різні питання. Єдиний спосіб відповісти на друге: піти й подивитися. qm showcmd на гостях, dmesg на хостах, рядок машини в конфігурації. Ніщо з цього не займає більше хвилини на машину.\nЦя хвилина і є робота. Proxmox дає тобі інструменти для перевірки, тож прогалину між тим, що ти припускав, і тим, що працює, закривати тобі, а не їм.\nQEMU documentation — Hyper-V Enlightenments — «No Hyper-V enlightenments are enabled by default by either KVM or QEMU»; описи кожного прапорця; hv-evmcs «The feature is Intel-only» і «some virtualization features (e.g. Posted Interrupts) are disabled when hv-evmcs is enabled».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nProxmox qemu-server — CPUConfig.pm — get_hyperv_enlightenments: перевірки OVMF і версії, обмеження за версією машини і перевірка GenuineIntel для hv_evmcs. Запущено тут з qemu-server 9.2.11.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nProxmox VE admin guide — Qemu/KVM Virtual Machines — «You can choose between the default Intel 440FX or the Q35 chipset» і «switch from the default SeaBIOS to OVMF»; «For Windows guests, the machine version is pinned during creation, because Windows is sensitive to changes in the virtual hardware - even between cold boots»; властивість level і типові cet-ibt/cet-ss для цих гостей.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nProxmox qemu-server — Debian changelog — 9.2.0 (15 липня 2026) вмикає hv-evmcs для гостей 11/2022/2025 на Intel з машини 11.0+pve2; 9.1.14 відкриває level; 9.1.12 вимикає cet-ibt і cet-ss; закріплення при перемиканні на тип ОС Microsoft Windows (січень 2025); 6.0-6 (23 липня 2019) «Make sometimes problematic \u0026lsquo;hv-tlbflush\u0026rsquo; and \u0026lsquo;hv-evmcs\u0026rsquo; CPU flags optional».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nProxmox qemu-server — Machine.pm — can_run_pve_machine_version повертає false, коли major.minor QEMU машини новіший за встановлений двійковий файл; ревізії +pveN перелічено в тому самому файлі.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nProxmox qemu-server 9.2.0 — debian/control — на коміті «bump version to 9.2.0» від 15 липня 2026 залежність часу виконання це pve-qemu-kvm (\u0026gt;= 7.1~).\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nProxmox VE Roadmap — 9.0, Installation ISO — «Install the microcode package matching the current platform… This also means that installations now have the non-free-firmware repository enabled.»; той самий випуск перелічує «QEMU 10.0.2»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nProxmox pve-qemu — Debian changelog — 10.0.2-1 (17 червня 2025) «update QEMU and downstream patches for 10.0.2 release», що несе виправлення 10.0 нижче; 10.1.2-3 «a regression with VNC clipboard breaking mouse pointer in Windows guests»; 10.1.2-5 виправлення io_uring для «backup with TPM disk potentially getting stuck»; 11.0.0-1 «regression when using fuse export for swtpm»; 11.0.2-1 «recognize Hyper-V enlightenments in the list of supported CPUID flags».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nQEMU upstream changelogs, 10.0 — «Workaround \u0026lsquo;PCI Label Id\u0026rsquo; Windows bug, which is normally harmless but on localized versions can lead to guest hangs»; 10.1, 10.2 і 11.0 для виправлень VSS і заморожування в гостьовому агенті, включно з «Fix guest-fs-freeze cause „Access denied Event ID 8194“ in Event Viewer».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nProxmox VE wiki — Qemu-guest-agent — для цього гостя «First you have to download the virtio-win driver iso».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nProxmox qemu-server — CPUFlags.pm — список прапорців для кожної VM з описами hv-tlbflush і hv-evmcs, процитованими вище.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nProxmox pve-manager — OSDefaults.js — пункт win11 задає machine: 'q35' і bios: 'ovmf'; інші пункти Microsoft Windows успадковують generic, який машину не задає.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nProxmox VE admin guide — CPU Microcode Updates — ранні оновлення з ОС, шлях BIOS/UEFI як рекомендований, відсутність пакета ОС для arm64, процедура dis_ucode_ldr і відкат замість purge.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nProxmox VE pve-no-subscription repository for trixie — містить amd64-microcode 3.20251202.1~bpo13+1 і не містить intel-microcode, прочитано 27 жовтня 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLinux kernel documentation — The Linux Microcode Loader — «Since kernel 5.19, late loading is not enabled by default» і розділ «Why is late loading dangerous?».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nDebian Wiki — Microcode — надані виробником CPU «opaque» дані оновлення «is non-free, and its contents are unknown to Debian».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nProxmox pve-manager — pve8to9.pm — check_cpu_microcode_package записує попередження; пошук $get_pkg, який він викликає першим, записує «unable to determine installed $pkg version.» як збій для будь-якого невстановленого пакета.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLinux kernel documentation — Old Microcode — «The kernel keeps a table of released microcode. Systems that had microcode older than this at boot will say \u0026lsquo;Vulnerable\u0026rsquo;.» (внутрішні лапки змінено з подвійних на одинарні)\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nIntel — Linux Processor Microcode Data Files, release notes — рядки JSL для 06-9c-00/01, «Celeron N4500/N4505/N5100/N5105», у випусках від 20210608 до 20240312; 0x24000026 прочитано із заголовка 06-9c-00 у пакеті Debian.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nAMD security bulletin AMD-SB-7055 — проблема RDSEED на процесорах Zen 5.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nProxmox VE Roadmap — 9.1 known issues, AMD Zen5 CPU issue with RDSEED — збій запуску гостя, виправлена версія пакета і повідомлення No sha256 digest на платах без виправлення Entrysign у BIOS.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nProxmox VE wiki — Upgrade from 8 to 9 — apt modernize-sources перетворює на deb822 і зберігає старі файли із суфіксом .bak.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nDebian packages — intel-microcode in trixie — версії stable і security, перевірені через apt-cache policy на хості.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nDebian sources — intel-microcode.postinst — dpkg-trigger --no-await update-initramfs, потім «microcode will be updated at next boot»; amd64-microcode робить те саме.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nDebian manual — update-initramfs(8) — для -k «The default is the latest kernel version», а «all» працює «on all installed kernel versions that already have an initramfs (with -d or -u)».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLinux kernel source — arch/x86/kernel/cpu/microcode/core.c — друкує «Current revision: 0x%08x» і «Updated early from: 0x%08x».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nProxmox VE admin guide — High Availability, maintenance mode — служби HA переносяться і повертаються «automatically once the maintenance mode is disabled and the node is back online».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCeph documentation — Configuring Monitor/OSD Interaction — mon_osd_down_out_interval, «The number of seconds Ceph waits before marking a Ceph OSD Daemon down and out», типово 10 хвилин.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLinux kernel documentation — kernel parameters — dis_ucode_ldr: «Disable the microcode loader.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\n","permalink":"https://blogs.damiendye.uk/uk/proxmox/hyper-v-enlightenments-and-microcode/","summary":"Proxmox VE 9 вмикає Hyper-V enlightenments для гостей Fisher-Price OS (Windows) і встановлює мікрокод CPU на нових хостах, але лише якщо VM отримала тип ОС Microsoft Windows, а хост поставлено з інсталятора 9.x. Тут розібрано, що роблять enlightenments, точні правила, за якими qemu-server їх обирає (виміряні на живому хості 9.2), чому закріплення версії машини тримає старіші VM осторонь липневого виправлення hv-evmcs 2026 року, яка збірка pve-qemu-kvm потрібна цьому виправленню і що кожен випуск QEMU від 10.0 виправив для цих гостей, чому їхнє місце на q35 і ніколи на i440fx (а майстер досі дає i440fx більшості з них), два прапорці, які можна задати вручну, як довести, з чим VM справді працює, звідки береться мікрокод (прошивка плати, Debian і власний репозиторій Proxmox), чому в оновленого хоста його немає (з вузлом Intel, що відстає на чотири випуски Intel, як прикладом), перебудова initramfs, яку запускає встановлення, і старіші ядра, які ця перебудова пропускає, збій RDSEED на Zen 5, що з цього випливає, як усе ввімкнути, поетапне перезавантаження кластера Ceph і відкат невдалого оновлення.","title":"Два типові налаштування Proxmox VE 9, яких у тебе може не бути: Hyper-V enlightenments і мікрокод CPU"},{"content":"Карта Google, мої камери, один застосунок Я хотів на екрані автомобіля одного. Карту Google, затори від Google і покрокові підказки від Google, а зверху мої власні дані про камери швидкості, які сповіщають мене лише про камери, що справді дивляться на мій бік дороги.\nЯ не знайшов нічого для Android Auto, що б це робило. Google Maps має карту й маршрути, але завантажити туди власну базу камер неможливо. Тож я будую це сам.\nВін називається AutoNavAlerts. Це навігаційний застосунок для Android Auto, побудований на Navigation SDK від Google, зі системою сповіщень про камери та точки інтересу, написаною зверху. Перше джерело камер: PocketGPSWorld, через мою власну платну підписку. Код відкритий за ліцензією Apache License 2.01 на github.com/damo2929/AutoNavAlerts.\nЦе перша частина серії. Вона розповідає, що робить застосунок, що Google дозволить і чого не дозволить сторонньому застосунку на екрані автомобіля, і як його побудовано, бо майже кожен рядок у ньому написав Claude, модель штучного інтелекту від Anthropic, а я встановлював правила, тестував і відповідаю за результат. Ця остання частина сама по собі історія.\nЦе версія 0.1.0. Її встановлено вручну, не з Play Store, і вона пройшла одну справжню поїздку. Читай це як журнал збирання, а не як запуск продукту.\nЩо він робить сьогодні Ось що є в тестовій збірці і для чого кожна частина:\nРозділ Що робить Навігація Карта Google із заторами, пошук місць, попередній перегляд маршруту з часом прибуття, покрокові підказки на екрані авто, на бічній панелі та на дисплеї водія Їхати до контакту Скажи або введи ім’я, і збережені адреси контакту з’являться над результатами Places. До Google іде лише та адреса, яку ти вибрав Уживається з музикою Лише навігаційні шаблони, тож музика зберігає свою картку на розділеному екрані. Голосове сповіщення приглушує музику, але ніколи не ставить її на паузу Сповіщення про камери Три етапи для кожної камери, лише для камер, повернутих у напрямку твого руху, на дорозі, якою ти їдеш Зони середньої швидкості Зона починається лише тоді, коли попереду є ще одна камера з тим самим обмеженням, і закінчується на останній камері Панель швидкості Твоя швидкість і обмеження на дорозі завжди поруч, унизу праворуч Обмеження швидкості офлайн Одне завантаження обмежень OpenStreetMap для Великої Британії: 1 326 619 доріг у 29 MB на телефоні. Під час руху нічого не шукається Маршрути для електромобіля Найшвидший маршрут і енергоефективний маршрут Google поруч, а вибираєш ти Дані про камери Твоя власна підписка PocketGPSWorld, перевіряється щодня, ніколи не підмінюється, поки ти ведеш маршрут. Або імпорт файлів iGO, KML, GPX, OV2 чи CSV Повідомити про камеру Один дотик в авто зберігає позицію, курс і обмеження, з необов’язковим голосовим коментарем. Перегляд і надсилання відбуваються на телефоні, ніколи під час руху Сповіщення про камери і є причиною, з якої існує застосунок, тож їм наступний розділ.\nКамера рахується, лише якщо вона повернута до тебе Сповіщення про камеру, яке спрацьовує для зустрічної смуги, гірше, ніж жодного сповіщення. Воно привчає тебе ігнорувати цю штуку. Тому перше жорстке правило в проєкті: камера сповіщає лише тоді, коли вона повернута в напрямку твого руху, і це правило ніколи не послаблюється, ніколи не обходиться налаштуваннями за замовчуванням і ніколи не відкидається, коли дані незручні.\nЯк позиція стає сповіщенням про камеру Вхід Чотири перевірки, кожна позиція Вихід швидкість і GPS авто коли авто їх надає GPS телефона 10 позицій на секунду твої набори камер на телефоні 1. досить близько 2. попереду тебе 3. повернута до тебе 4. на твоїй дорозі банер на карті авто голосове сповіщення, музика тихіше камера підсвічена на карті не пройшла перевірку: сповіщення нема; повернуту геть малюють тьмяно зі стрілкою Як позиція стає сповіщенням. До десяти позицій на секунду проходять чотири перевірки; лише камеру, що пройшла всі чотири, озвучують і показують як сповіщення. Рушій працює на кожній позиції, до десяти на секунду. Для кожної камери поблизу він ставить чотири питання по черзі:\nПеревірка Проходить, коли Навіщо вона Досить близько у межах відстані спрацювання плюс 200 m, не більше 3 km жодної роботи над камерами за кілометри Попереду тебе напрямок на камеру в межах 45° від твого курсу камера позаду вже в минулому Повернута до тебе напрямок камери в межах 45° від твого курсу або від напрямку на камеру на повороті зустрічна смуга мовчить На твоїй дорозі у межах 50 m від маршруту попереду або коридор 40 m, що розширюється з відстанню у вільному русі паралельна дорога мовчить 45° це не щедро. Файли TomTom від PocketGPSWorld задають напрямок камери у восьми румбах, тож 22,5° з’їдають дані ще до всього іншого. Курс GPS коштує ще кілька градусів, вигин дороги ще кілька. Ось чому більше ніщо не має права від цього відкушувати.\nКамеру, що не пройшла перевірку напрямку, все одно малюють на карті, приглушено, зі стрілкою, яка показує, куди вона повернута. Ти її бачиш. Вона просто з тобою не говорить.\nТри етапи сповіщення на 70 mph Типове випередження: 15 секунд на твоїй швидкості, тут 70 mph ти, 70 mph камера до тебе зустрічна смуга, повернута геть: тьмяна, мовчить 1-ше сповіщення за 469 m, 15 s 2-ге сповіщення за 235 m, 7,5 s проїзд 100 ярд. (91 m) не в масштабі; мінімуми 242 m і 142 m розводять перші два на малій швидкості Три етапи на 70 mph з типовим випередженням 15 секунд. Перші два розраховуються від твоєї швидкості; сповіщення при проїзді зафіксоване на 100 ярдах і не вимикається, поки звук увімкнено. Етапи розраховуються за часом, а не за фіксованими відстанями. Перше сповіщення приходить за 15 секунд до камери на твоїй поточній швидкості, друге за половину цього часу, обидва з нижньою межею, щоб ніколи не тиснути на третє. Третє зафіксоване на 100 ярдах і обов’язкове, щойно звук увімкнено. Відстань спрацювання під час наближення лише зростає, тож різке гальмування не скорочує попередження, яке тобі вже належало.\nЩо Google дозволяє застосунку на екрані авто Тут стає цікаво, бо сторонній застосунок в Android Auto не є Google Maps. Він працює в межах правил, встановлених Car App Library від Android Auto, яка дає застосункам «a set of visual templates approved for driver safety»2, і в межах того, що Navigation SDK вирішить відкрити.\nТри прогалини сформували застосунок більше, ніж усе, що я вирішив побудувати:\nЩо Google Maps в авто Застосунок на Navigation SDK Повідомити про аварію, поліцію чи дорожні роботи вбудовано не пропонується. Власна документація Google: «real-time disruptions are not available on Android Auto»3 Обмеження швидкості на дорозі показується лише відсоток, на який ти його перевищуєш, і лише поки ти перевищуєш4 Дотик до власних елементів керування мапи SDK н/д жодного. Android Auto «limits screen surface interaction to a series of SurfaceCallback methods»2 Візьмімо обмеження швидкості. Google його знає. Google скаже застосунку, наскільки ти його перевищуєш, у відсотках і за ступенем серйозності, і зовсім нічого, поки ти нижче. Можна спитати, чому водієві дозволено знати обмеження лише тоді, коли він уже його порушує? Відповіді я не отримаю, тож застосунок це обходить. Поки ти перевищуєш, він вираховує обмеження назад із твоєї швидкості та відсотка. Нижче він бере камеру, до якої ти наближаєшся, потім завантаження OpenStreetMap, а коли обмеження немає взагалі, показує риску замість порожнечі.\nЗ повідомленнями про події та сама історія. API для повідомлень існують у навігаційному поданні телефона, а в автомобільному нема. Хтось уже попросив про це Google5, і запит досі відкритий. Застосунок перевіряє ці API під час виконання, тож якщо пізніший SDK їх додасть, кнопка повідомлень від Google з’явиться без жодної зміни в моєму коді. Завдання в GitHub Actions перевіряє щокварталу й відкриває issue того ж дня, коли це станеться.\nПравило дотику мене добряче підловило. Автомобільна карта SDK малює власну картку прибуття, заголовок, кнопку повернення до центру, спідометр і смугу поїздки. Жодна з них не реагує на дотик, бо жоден дотик не доходить до подання SDK. Вони схожі на кнопки й нічого не роблять. Тож усі вони вимкнені, а застосунок малює власні елементи керування там, де дотик справді спрацьовує.\nСвій ключ, свої дані Два рішення тримають цей застосунок чесним щодо грошей і ліцензій, і обидва навмисні.\nВбудованого ключа Maps немає. Google Maps Platform потребує «a billing-enabled Cloud project»6, а Navigation SDK потребує проєкту, в якому він увімкнений7. Якби я постачав ключ, їзду кожного виставляли б у рахунок мені, або ключ витік би й однаково виставлявся б мені. Тож кожен користувач приносить власний ключ у власному обліковому записі Google Cloud. Застосунок на телефоні може створити його з твоїм власним обліковим записом Google, або ти вставляєш його сам. Він зберігається на телефоні в зашифрованому вигляді. Жодного запасного варіанта немає, і застосунок не зробить жодного виклику SDK, доки твій ключ не введено.\nДаних про камери в застосунку немає. PocketGPSWorld ліцензує свою базу для індивідуального використання, ставить водяний знак учасника на кожне завантаження й забороняє класти її туди, куди може дістатися хтось, окрім покупця. Тож застосунок ніколи її не постачає, ніколи не розміщує й ніколи не синхронізує між телефонами. Ти входиш зі своєю підпискою, і телефон завантажує твою власну копію з водяним знаком у приватне сховище, виключене з резервних копій. На стенді це було 19 826 камер у 33 наборах, по одному набору на файл, ніколи не злитих.\nАвтоматична синхронізація поводиться чемно. Вона читає публічну RSS-стрічку PocketGPSWorld раз на день8 і входить лише тоді, коли вийшов новий випуск. Вона ніколи не підмінює камери, поки ти ведеш маршрут.\nОдин пункт їхньої ліцензії цим повністю не врегульовано, той, що про включення даних у застосунок. Для власного використання я з цим погоджуюся. Перш ніж застосунок потрапить до когось іще, PocketGPSWorld отримає листа з питанням.\nДва дні, 87 комітів і спершу проєктний документ Тепер частина, про яку люди сперечатимуться. Я цей код не набирав. Його набрав Claude через Claude Code, двома моделями, Claude Fable і Claude Opus. Я написав вимоги, ухвалив кожне рішення, ганяв стенд, кермував автомобілем і переглядав те, що поверталося. Кожен коміт зі змінами, написаними ШІ, має трейлер, який про це каже, і README теж.\nОсь цифри, зчитані з репозиторію:\nПоказник Значення Коміти 87, з 22:10 11 жовтня до 12:44 13 жовтня 2026 Коміти з рядком співавтора Claude 83 (56 Fable, 27 Opus) Kotlin у застосунку та його базовій бібліотеці 15 334 рядки Модульні тести 211, у 3464 рядках DESIGN.md, специфікація 1763 рядки, написані до будь-якого коду Проєктний документ був першим, і це найкорисніше, що я можу сказати кожному, хто таке робить. Його перший рядок каже, що жоден код не пишеться, доки документ не схвалено, а будь-яка пізніша зміна спершу вноситься туди. Кожен клас має записане навпроти нього завдання. Кожен поріг має причину. Кожне правило, яке я встановив, позначене як моє, з датою.\nЦе важить, бо модель забуває. Довгий сеанс стискається в підсумок, і підсумок зберігає суть та губить подробиці, а помилки сидять саме в подробицях. Власний AGENTS.md репозиторію каже це прямо: не покладайся на підсумок цих файлів з пам’яті чи з попереднього сеансу. Агент повертається до документа. Щоразу.\nНа другому етапі два агенти також працювали паралельно, один над підказками, картою й екранами, другий над позиціонуванням, сповіщеннями, мовленням і маркерами на карті. Кожен володів записаним списком файлів, а інтерфейси між ними зафіксували заздалегідь: додавай, не перейменовуй. Вони злилися чисто, бо межу вирішили до того, як будь-який із них почав, а не виявили потім.\nКожне жорстке правило виникло з того, що я побачив У проєкті є список жорстких правил, і жодне з них не прийшло з дошки для нотаток. Кожне виникло, коли я дивився, як ця штука працює на Desktop Head Unit9, емуляторі автомобільного екрана від Google на ПК, або в авто, і бачив, як вона робить щось не так.\nЖорстке правило Що я побачив, через що воно стало правилом Камера сповіщає лише тоді, коли повернута до тебе сповіщення для зустрічної смуги є шумом, що вчить ігнорувати сповіщення На екрані авто немає нічого, що не працює дві кнопки зупинки на екрані, одна з них мертва Жодна функція не показується двічі та сама пара, плюс дві кнопки повернення до центру, два показники швидкості Одне скасування, від Google картка в кутку з X належить самому Android Auto, малюється з поїздки, яку публікує застосунок, тож власна кнопка зупинки застосунку пішла Жодного тремтіння на екрані авто екран «Ще» смикався, поки авто стояло, бо щосекунди надсилав ідентичний екран, а Android Auto анімує кожне оновлення Кожна кнопка з правого боку кнопки карти сиділи вгорі ліворуч, доки екран авто не повідомляв свій розмір; тепер з самого початку одна колонка вздовж правого краю, ліворуч нічого нашого Жодного вбудованого ключа Maps, ніколи їзду жодної людини не виставляють у рахунок комусь іншому Тремтіння мені подобається найбільше, бо воно таке дрібне, і воно б пішло в реліз. Рядок живого GPS оновлювався раз на секунду. Кожне оновлення заново надсилало весь екран, незмінний, а хост його анімував, тож кожен рядок нижче дриґався, поки авто стояло. Виправлення вміщається в одне порівняння: перемальовувати лише тоді, коли рядок змінився. Правило більше за виправлення. Екран, що стоїть нерухомо, мусить виглядати нерухомим, і це перевіряють серією знімків екрана, які мають бути ідентичними.\nОсь справжня робота, коли код пише ШІ. Він не втомлюється й не проти переписувати, але не бачить екрана авто. Ти бачиш. Записати побачене як правило, з датою: ось що не дає йому повернутися через три сеанси.\nЩо код зробив не так і як це впіймали Чимало. Нічого з цього не було екзотичним, і кожну помилку впіймали запуском, а не читанням:\nПомилка Що вона робила Як її впіймали Маршрут прив’язано не до тієї ділянки Маршрут Google від припаркованого авто йшов на північ, розвертався на кільці й повертався на південь тією самою дорогою. Зіставлення прив’язало авто до північної ділянки за 10 m, тож кожна камера на південь була «поза дорогою» більш ніж на кілометр. Нічого не сповіщало сценарна поїздка на стенді; журнал сповіщень показував offRoad lateral=1204 для кожної камери Сторожовий таймер мовлення закороткий він дозволяв 1,5 s плюс 70 ms на символ. Числа вимовляються довше, тож кожне сповіщення другого етапу обривалося посеред речення записи мовлення з прогону на стенді Обмеження частоти в рушії з вікном у три секунди з двох камер на одному перехресті одна губилася назавжди відстеження сповіщень, що замовкли під час першої справжньої поїздки Застарілий курс емулятор повідомляє напрямок 0° хоч би що ти робив, тож на дорозі на південь кожна камера не проходила перевірку напрямку змодельований проїзд по A61 Зміни обмеження озвучувалися як сповіщення про камеру зміну обмеження попереду ставили в чергу як сповіщення першого етапу про камеру журнал мовлення на стенді На другій варто зупинитися. Кожен окремий тест проходив. Код був правильним за власною міркою. Просто тайм-аут вибрав хтось, хто ніколи не чув, як телефон уголос читає відстань. Тест, який таке ловить, це справжній голос, з хронометражем, на справжньому прогоні.\nПерша справжня поїздка 12 жовтня я поставив релізну збірку на телефон і виїхав на XPENG G6 через бездротовий Android Auto. Дві речі пішли не так. Маршрут, заданий на стоянці, сам скинувся за кілька секунд після початку руху. А деякі сповіщення озвучувалися, а деякі ні, без жодної закономірності, яку я міг би помітити.\nПотім проблема гірша. Читати не було чого. ColorOS мого телефона викидає рядки журналу застосунку, тож поїздка не залишила жодних доказів. Це був застосунок, SDK від Google чи сам Android Auto? Я не міг сказати.\nТож виправленням першої поїздки була не зміна коду. Це були докази. Застосунок тепер постійно пише на телефоні два журнали, один для маршрутів і карти, другий для кожного рішення про сповіщення, пакетами по 15 секунд, плюс необов’язковий реєстратор поїздки, що зберігає кожну позицію, щоб поїздку можна було відтворити на стенді. Потім виправили здогадки, кожну переписано так, щоб робила менше й записувала, що зробила. Кожен спосіб, яким може завершитися ведення маршрутом, тепер записує, хто його завершив.\nВідтоді на стенді Android Auto один раз викликав зупинку, через 2 хвилини 35 секунд ведення маршрутом. Я тоді клацав по головному пристрою, тож найімовірніше це був X на його власній картці. Коли екрана ніхто не торкався, такого не траплялося. Наступна поїздка це з’ясує, бо цього разу поїздка залишить слід.\nЩо далі Список для стенда досі довгий. Наступні поїздки перевіряють кнопку скасування, сценарії з поворотом і рухом не в той бік, передачу між GPS авто й телефона та чи показує дисплей водія в G6 картки поворотів від стороннього застосунку взагалі.\nПізніші частини серії докладно розберуть математику рушія сповіщень, обхідні шляхи з обмеженням швидкості, формати PocketGPSWorld і сам стенд: як тестувати застосунок для Android Auto без автомобіля, зі сценарним GPS та емулятором, який думає, що кожна дорога веде на північ.\nМашина набирає, стандарт твій Я чув багато розмов про те, як ШІ пише код, здебільшого від тих, хто його продає, або від тих, хто його боїться. Те, що я виявив, нудніше за обидва варіанти й корисніше.\nВін набирає швидко й не нудьгує. Він перепише екран учетверте без жодного зітхання. Але він не помітить, що екран «Ще» тремтить, що речення обірвалося чи що мертва кнопка стоїть поруч із живою. Він не бачить авто. Бачити це мав я, і єдина причина, чому це виправлено: я записав кожне як правило, яке він мусить прочитати, перш ніж щось чіпати.\nЯк таке, відповідальність нікуди не переходить. Код мій, бо я встановив стандарт, за яким його міряють, і саме я сиджу в авто. Ніщо з того, що тримало його чесним, не є методом ШІ. Писати специфікацію до коду, записувати те, чого навчився, і збирати докази замість здогадок: так завжди робилася справжня інженерія. Інструмент цього не змінює. Він лише швидше показує, хто це пропускав.\nApache License, Version 2.0 — ліцензія, за якою опубліковано код AutoNavAlerts.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nGoogle — Navigation SDK for Android: Android Auto — Car App Library надає «a set of visual templates approved for driver safety», а «Android Auto limits screen surface interaction to a series of SurfaceCallback methods».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nGoogle — Navigation SDK for Android: real-time disruptions — «real-time disruptions are not available on Android Auto».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nGoogle — Navigation SDK for Android: speed alerts — onSpeedingUpdated(float percentageAboveLimit, SpeedAlertSeverity speedAlertSeverity): відсоток понад обмеження й ступінь серйозності, а не саме обмеження.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\ngooglemaps/flutter-navigation-sdk issue #726 — «Incident reporting on Android Auto \u0026amp; CarPlay», відкрито 17 червня 2026, досі відкрите.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nGoogle Maps Platform — Get started — «you must create a billing-enabled Cloud project and enable the desired APIs or SDKs».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nGoogle — Navigation SDK for Android: set up your project — «A Google Cloud console project with the Navigation SDK enabled.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nPocketGPSWorld — британська база камер швидкості, з якої синхронізується застосунок, через власну підписку кожного користувача.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nAndroid Developers — Test using the Desktop Head Unit — емулятор автомобільного екрана Android Auto від Google.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\n","permalink":"https://blogs.damiendye.uk/uk/android/autonavalerts-part-one-a-sat-nav-of-my-own/","summary":"AutoNavAlerts це навігаційний застосунок для Android Auto, який я будую на Navigation SDK від Google: карта Google, затори, пошук і покрокові підказки, а зверху система сповіщень про камери, що завантажує мою власну підписку PocketGPSWorld і сповіщає лише про камери, повернуті в напрямку мого руху. Частина перша розповідає, що він уміє сьогодні, що Google дозволяє сторонньому застосунку на екрані автомобіля і що притримує (повідомлення про події, обмеження швидкості, дотик до власних елементів керування SDK), чому кожен користувач приносить власний ключ Maps і власні дані про камери, і як код написано з Claude: спершу проєктний документ, 87 комітів менш ніж за два дні, жорсткі правила, що вийшли з випробувального стенда, помилки, які написали агенти, і як кожну з них упіймали, та перша справжня поїздка в автомобілі.","title":"AutoNavAlerts, частина перша: власний навігатор для Android Auto"},{"content":"Коли ти просиш сторінку, нічого не запускається Цього тижня проєкт PHP випустив виправлення для PHP2Shell, і в його бюлетені сказано, що атака може спрацювати «before any application code runs»1. Що це означає для PHP, я писав у PHP: двадцять дев’ять років відчинених дверей. Цей допис про другу половину відповіді. А що, як не запускається взагалі нічого?\nСаме так працює цей блог. Коли ти попросив цю сторінку, жодна моя програма не стартувала, не читала базу даних, не перевіряла логін і не складала жодного HTML. Тобі відправили файл, який уже існував. От і все.\nОсь як виглядає ця різниця, виміряна того самого дня на стоковому WordPress, щойно встановленому в лабі, і на цьому сайті в тому вигляді, в якому він працює зараз:\nСтоковий WordPress 7.1.3 Цей сайт Маршрути REST API 133 0 Маршрути REST, що приймають запис 62 0 Методи XML-RPC 80 0 Файли, що виконуються на сервері 1514 PHP 0 Файли, доступні для запису користувачу, який віддає сайт 3785 з 3785 жодного: нема чому писати База даних 12 таблиць, обліковий запис застосунку з усіма привілеями немає Сторінка входу wp-login.php, жива немає; шлях повертає 404 POST, PUT або DELETE на головну сторінку PHP запускається і все одно рендерить сторінку відхиляється на краю з 405; нічого не запускається Жоден із цих нулів не є налаштуванням, яке я вимкнув. Це нулі, бо того, що вони рахують, тут не існує. Не можна атакувати сторінку входу, яку ніколи не збирали.\nЩо стоковий WordPress виставляє в інтернет Я не хотів сперечатися з пам’яті, тож виміряв. Офіційні образи контейнерів wordpress і mariadb, запущені в podman на моїй машині і прив’язані до localhost, встановлені без жодних додатків: жодних плагінів, крім тих, що постачаються, тема за замовчуванням, один адміністратор. WordPress 7.1.3 на PHP 8.3.36. Потім я порахував, на що він відповідає.\nЩо відповідає на запит: WordPress проти статичного сайту Запит до WordPress Запит до цього сайту інтернет вебсервер PHP виконує код на кожен запит ядро WordPress: 1514 файлів PHP плюс кожен плагін і тема 133 маршрути REST, 80 методів XML-RPC усі файли пише той самий користувач база даних, ALL PRIVILEGES вхід, адмінка, cron, uploads інтернет край Cloudflare назад іде файл 6343 файли, зібрані заздалегідь наш код не запускається POST, PUT, DELETE: 405 на сервері нема куди писати немає бази даних ні входу, ні адмінки, ні cron Що відповідає на запит. У WordPress кожен перегляд сторінки запускає PHP через ядро, плагіни й базу даних, на файлах, які той самий користувач може переписати. Тут назад відправляється готовий файл, і нічого не запускається. REST API це найбільша окрема поверхня. П’ять просторів імен, 133 маршрути, 257 пар маршрут і метод, і 62 маршрути, що приймають якийсь запис. Він з’явився в ядрі з WordPress 4.7, «with REST API endpoints for posts, comments, terms, users, meta, and settings»2. І тобі кажуть його не вимикати: «You should not disable the REST API; doing so will break WordPress Admin functionality that depends on the API being active.»3 Тож він лишається ввімкненим.\nЩо виставлено за замовчуванням Що каже власна документація WordPress XML-RPC, 80 методів увімкнено за замовчуванням з 3.5: «Enable XML-RPC by default, remove Writing Settings option»4 REST API, 133 маршрути «content that is public on your site is generally publicly accessible via the REST API»5 список користувачів GET /wp/v2/users у типовому поданні повертає відображуване ім’я, slug, посилання й аватар кожного автора6 wp-login.php і xmlrpc.php «xmlrpc.php is a frequent brute‑force target»; «Apply rate limits to /wp-login.php and /xmlrpc.php globally.»7 wp-cron.php «WP-Cron works by checking, on every page load, a list of scheduled tasks to see what needs to be run.»8 редактор тем і плагінів «This is often the first tool an attacker will use if able to login, since it allows code execution.»9 На список користувачів варто глянути ще раз. У моїй лабі анонімний запит до цієї кінцевої точки повернув єдиний обліковий запис адміністратора, з відображуваним ім’ям і slug. Хтось, хто ніколи не входив, дізнається, які облікові записи є на сайті, ще до того, як щось спробував, на свіжому встановленні, за задумом. Нікому не довелося нічого неправильно налаштовувати.\nДалі файли. Офіційний образ запускає Apache як www-data, і www-data володіє всім веб-коренем. Усі 3785 файлів, серед них 1514 файлів PHP, доступні для запису тому самому користувачу, який виконує код. Кожен файл. Разом із кодом. wp-config.php з паролем до бази даних лежить у веб-корені з правами 644. Обліковий запис бази даних, яким користується WordPress, має ALL PRIVILEGES на свою базу.\nЦе модель одного процесу з допису про PHP, жива й незмінена, з офіційного образу. Це не погано керований сайт. Це відправна точка, з якої починається кожен сайт на WordPress, ще до першого плагіна.\nА плагіни і є джерелом більшої частини. Patchstack нарахував 11 334 нові вразливості в екосистемі WordPress у 2025 році. «91% of new vulnerabilities were found in plugins, and 9% were found in themes. There were only 6 vulnerabilities reported in the WordPress core.»10 Майже половина не мала виправлення на момент оприлюднення, а медіанний час до масової експлуатації тих, які були потрібні атакувальникам, становив п’ять годин10.\nЩо цей сайт виставляє в інтернет Цей блог це 6343 файли. Ось він увесь, за типами:\nТип файлу Кількість Що це .html 3486 сторінки, п’ятьма мовами .xml 1576 стрічки RSS і карти сайту .svg 1181 діаграми, обкладинки, іконки .png 46 знімки екрана .json 10 пошуковий індекс і штампи збірки .js 4 невеликі скрипти, що працюють у твоєму браузері, не на сервері .css, шрифти та решта 40 стилі й файли, прикріплені до дописів Виконується на сервері 0 Там є кілька файлів .py і .sh. Це скрипти, прикріплені до дописів, щоб читачі могли їх завантажити, і сервер віддає їх як текст. Ніщо на сервері їх не запускає. На сервері нема нічогісінько, чим їх запускати.\nВін розгорнутий у Cloudflare як статичні ресурси взагалі без скрипта Worker. Конфігурація розгортання не має точки входу, і документація Cloudflare каже, що це означає: «The main key is optional for assets-only Workers.»11 Коли запитаний шлях збігається з файлом, «that file will be served» без виклику коду Worker, а «If no Worker script is present, a 404 Not Found response is returned.»12 І це ще й нічого не коштує: «Requests to static assets are free and unlimited.»13\nCloudflare це вибір, а не вимога. Результат збірки це тека з файлами, і будь-який сервер HTTPS, що вміє віддати файл, може її обслуговувати: nginx, Caddy, Apache, що не віддає нічого, крім статичних файлів, чи бакет об’єктного сховища за CDN. Посилання відносні, тож та сама збірка без змін працює і з кореня домену, і з підкаталогу; це перевірено, віддавши зібраний сайт під /preview/ і підтвердивши, що всі 592 локальні посилання на шести сторінках розв’язуються. Переїзд на інший хостинг це копіювання теки. Єдина специфічна для Cloudflare частина це файл _headers; деінде ті самі заголовки йдуть у власну конфігурацію сервера. Переноситься та властивість, яка має значення. Те, що його віддає, мусить лише відправляти файли, тож йому ніколи не доводиться запускати твій код.\nТож живий сайт відповідає так:\n$ for m in POST PUT DELETE; do curl -s -o /dev/null -w \u0026#34;$m %{http_code}\\n\u0026#34; -X $m https://blogs.damiendye.uk/en/; done POST 405 PUT 405 DELETE 405 $ for p in wp-login.php xmlrpc.php wp-admin/ wp-json/; do curl -s -o /dev/null -w \u0026#34;%{http_code} $p\\n\u0026#34; https://blogs.damiendye.uk/$p; done 404 wp-login.php 404 xmlrpc.php 404 wp-admin/ 404 wp-json/ Ніщо не відповідає. Так задумано.\nЗаголовки безпеки йдуть із кожним файлом з простого текстового файлу _headers у репозиторії, який Cloudflare читає під час розгортання14. Content Security Policy прив’язує кожен скрипт, стиль, зображення, шрифт і з’єднання до цього одного джерела. Скажу прямо про прогалину в ній: script-src і style-src досі мають 'unsafe-inline', бо тема вписує в сторінку кілька невеликих скриптів. Це незавершена робота з тим файлом, і вона записана в репозиторії саме так.\nІ для публікації не потрібні двері. У WordPress публікація це запис через HTTP: редактор, REST API і XML-RPC існують, бо саме так дописи потрапляють на сервер, і кожен із них це шлях усередину. Тут я пишу допис як текстовий файл і пушу його в репозиторій Git, а збірка завантажує готові файли через API розгортання Cloudflare. Ніщо з того, що віддає сайт, не приймає запис із вебу, бо нічому це не потрібно. Репозиторій до того ж приватний. Попроси його в GitHub без моїх облікових даних, і відповіддю буде 404, тож вихідний код, чернетки й історія теж не лежать в інтернеті.\nПоверхня атаки це число, а не відчуття OWASP визначає поверхню атаки як «the sum of all paths for data/commands into and out of the application, and the code that protects these paths»15 і каже, що зменшують її, «turning off features and interfaces that aren\u0026rsquo;t being used»15. Британський National Cyber Security Centre каже ще пряміше: «If would-be attackers can\u0026rsquo;t reach an interface, they can\u0026rsquo;t attack it.»16 Його схема Cyber Essentials робить це вимогою: «remove or disable unnecessary software (including applications, system utilities and network services)»17.\nТож порахуй шляхи, за тим, чим вони є, а не за кількістю:\nШлях усередину чи назовні WordPress Статичний сайт вхід і підбір паролів wp-login.php, XML-RPC немає інтерфейс адміністратора /wp-admin/, з редактором коду немає програмований API REST і XML-RPC, із записом немає серверний код на кожен запит ядро, тема, кожен плагін немає база даних так, досяжна з усього вищезгаданого немає сховище на сервері з правом запису uploads, а в стоковому образі все немає заплановані завдання, які запускають відвідувачі wp-cron.php при завантаженні сторінки немає сторонній код, який треба латати кожен плагін і тема, на сервері інструменти збірки, поза сервером що атакувальник отримує з украденою сесією сайт нема куди входити Дев’ять рядків. Жоден із них не запускає код на сервері. Кожен із тієї самої причини. Роботу зроблено ще до того, як хтось попросив сторінку.\nПередостанній рядок і є чесною заковикою, і решта допису про неї. Статичний сайт усе одно запускає код. Просто запускає його деінде, один раз, перед публікацією.\nЯк Hugo тримає збірку чесною Hugo це «a static site generator written in Go»18, тож програма, яка збирає, сама безпечна щодо пам’яті й скомпільована, що важить після допису про PHP. Його сторінка безпеки проводить межу саме там, де й цей допис: результат «runs directly in the browser», але «during development and site building, the hugo executable itself is the runtime environment.»19 А про віддачу прямо: «We have no online production server»19. Добре.\nУсередині збірки за замовчуванням усе закрито. «Hugo\u0026rsquo;s built-in security policy, which restricts access to os/exec, remote communication, and similar operations, is configured via allowlists. By default, access is restricted.»20\nТипова поведінка Hugo Що вона зупиняє «No arbitrary commands»19 шаблон не може викликати оболонку на машині exec.allow обмежено Sass, Go, Git, Node і PostCSS20 лише названі інструменти, з фіксованими прапорцями funcs.getenv обмежено ^HUGO_ і ^CI$20 шаблони не можуть прочитати твої секрети з оточення віддалені запити відмовляють хостам з IP-адресою та localhost20 шаблон не може дотягнутися до твоєї власної мережі модулі перевіряються за go.sum19 підмінена залежність валить збірку Цей сайт навмисно розширює один із цих пунктів. Він додає змінні коміту CI до funcs.getenv, щоб штамп збірки на /en/version.json міг записати, який коміт зібрав живий сайт. Це вибір, зроблений і записаний, а в цьому і є суть списку дозволених. Тож це не діра. Це рішення.\nКуди переходить ризик: збірка Прибери сервер, і ризик не зникне. Він перейде туди, де збираються файли. Фреймворк SLSA точно називає дві загрози: «build integrity threat», коли зловмисник вносить «behavior to an artifact without changing its source code», і «dependency threat», через «compromising some other artifact that the former depends on at build time»21.\nДе виконується код: WordPress, цей сайт і офлайн-збірка ДЕ ВИКОНУЄТЬСЯ КОД КУДИ ДОХОДИТЬ ПУБЛІКА WordPress публічний сервер, на кожен запит PHP, плагіни, база даних Цей сайт контейнер збірки Cloudflare, на кожен пуш лише статичні файли Зібрано офлайн твоя власна машина, один раз лише статичні файли збірка все одно довіряє Hugo, темі й машині, на якій працює Де виконується код у кожній моделі. WordPress виконує його на публічному сервері для кожного відвідувача. Цей сайт виконує його один раз на кожен пуш у контейнері збірки Cloudflare. Зібраний офлайн, він виконується один раз на машині, якою ти володієш. Цей сайт у середньому рядку, і вдавати інакше я не буду. Він збирається в контейнері збірки Cloudflare на кожен пуш у репозиторій. Цей контейнер не той сервер, що тобі відповідає, і він зникає, коли збірка закінчується. Але поки йде збірка, йому довірено все, що потрапить на сайт.\nІ збірка мала дві прогалини, обидві я знайшов, поки писав цей допис. Одну виправлено. Друга це вибір.\nПрогалина Чому це важливо Стан бінарнику Hugo вірили на слово: власне завантаження скрипта не перевіряло контрольну суму, а в CI скрипт усе одно пропускав завантаження й брав копію, встановлену в образі збірки Cloudflare підмінений бінарник зібрав би що завгодно виправлено, 23 жовтня 2026: збірка завжди сама завантажує Hugo, перевіряє його за опублікованим у релізі SHA-25622 і відмовляється збирати при розбіжності тема на кожній збірці стежить за своєю висхідною гілкою master зміна вгорі може змінити живий сайт без жодного коміту тут відкрито, свідомо; виправлення: закріпити її на коміті або перенести в модуль Hugo, покритий go.sum19 Перше з тих речей, які знаходиш, лише читаючи власний скрипт збірки рядок за рядком. Скрипт таки перевіряв версію. Але рядок версії це те, що бінарник каже сам про себе. Про байти він нічого не доводить. Тепер перевіряються байти:\nFetching Hugo Extended 0.167.0... Hugo verified: sha256 0163f5c3deddac1f494a1629ddc40c65d18de9d5794facd98f7f96ac2c7d8957 А копію того самого тарбола з одним доданим байтом відхилено:\nRefusing to build: hugo_extended_0.167.0_linux-amd64.tar.gz does not match the release checksum expected 0163f5c3deddac1f494a1629ddc40c65d18de9d5794facd98f7f96ac2c7d8957 got 92682d765d9d34bc53d6f818d56e598d34b5b8267a1cc3b9971da0f53c792251 Тема це свідомий компроміс, актуальність замість відтворюваності, і він записаний як такий. Але це саме та загроза залежності, яку описує SLSA, і чесно це визнати. Жодна з прогалин ніколи не відкривала живий сайт відвідувачу. Обидві були довірою, покладеною на збірку, і я краще їх перелічу, ніж дам читачеві знайти їх самому.\nНавіть контрольна сума має межу. Вона доводить, що завантажений файл це файл зі сторінки релізу. Вона не доводить, хто його туди поклав: серед файлів релізу немає підписів22. Це цілісність, а не автентичність, і це найбільше, що проєкт пропонує сьогодні.\nЗбірка офлайн, один раз Найсуворіший варіант забирає збірку з чужих машин. Збирай на машині, якою володієш і яку контролюєш, перевір, що зібрав, і завантажуй лише готові файли. Ніщо в інтернеті ніколи не запускає твою збірку, а хостинг ніколи не бачить нічого, крім результату.\nКрок Навіщо встанови точний реліз Hugo і перевір його за опублікованим SHA-256 ти знаєш, який бінарник зібрав твій сайт закріпи тему й усі модулі на комітах і закоміть go.sum збірка змінюється лише тоді, коли її змінюєш ти збирай у чистий вихідний каталог, без --buildDrafts публікуєш те, що й збирався публікувати перед відправкою пошукай у результаті щось виконуване у статичному сайті не має бути нічого, що сервер запустив би завантажуй лише вихідний каталог, з обліковими даними тільки для розгортання хостинг ніколи не тримає твій код, твої інструменти чи твою історію віддавай його з хостингу, який не запускає код для статичних файлів під час віддачі вже нічого латати Це кілька команд, а не проєкт. І це змінює, де має бути атакувальник, щоб тобі нашкодити. Щоб змінити сайт на WordPress, йому досить одного запиту до сервера. Щоб змінити такий сайт, як цей, йому потрібна твоя машина для збірки. Це значно менша ціль, і її можна від’єднати від мережі.\nДесять тисяч сторінок, виміряно Поверхня атаки це одна ціна запуску коду на кожен запит. Електрика це інша, і диск теж. Тож я дав обом однакове навантаження: 10 000 запитів головної сторінки, по десять одночасно, з того самого ноутбука, через звичайний HTTP на localhost, щоб жодна сторона не платила за TLS. З одного боку стоковий WordPress з лаби. З іншого справжні зібрані файли цього сайту, які віддає nginx у контейнері, бо на край Cloudflare лічильник я не поставлю. Час CPU, використаний кожним контейнером, я читав з його cgroup до і після кожного прогону, по три прогони на кожен.\n10 000 запитів сторінок Стоковий WordPress 7.1.3 Цей сайт на nginx Час CPU, три прогони 409 s, 530 s, 575 s 0,15 s, 0,18 s, 0,19 s Час CPU на сторінку від 41 до 57 ms від 15 до 19 µs Сторінок за секунду від 168 до 236 від 23 679 до 28 044 Пам’ять під навантаженням від 302 до 310 MiB, плюс 145 MiB на базу даних 15 MiB Невдалі запити 0 0 Це від двох до трьох з половиною тисяч разів більше процесорного часу на ті самі десять тисяч сторінок. Кожна з тих CPU-секунд узялася з розетки й перетворилася на тепло. Статична сторона віддала всі 10 000 приблизно за той процесорний час, який WordPress витратив на три-чотири свої сторінки.\nДиск розповідає те саме:\nНа диску і в пам’яті Стоковий WordPress Цей сайт Образи контейнерів для запуску 803 MB WordPress, 334 MB MariaDB 166 MB nginx, або взагалі нічого на Cloudflare Сам сайт 115 MB веб-кореня, для порожнього сайту 114 MB, п’ять мов, кожен допис і діаграма База даних 163 MB файлів, що тримають 0,72 MB даних немає Пам’ять у простої 170 MiB, плюс 139 MiB на базу даних 13 MiB Цифри WordPress це свіже встановлення з одним зразковим дописом. Статичні цифри це весь цей блог.\nЧесно щодо WordPress: плагін повносторінкового кешу закрив би більшу частину розриву в CPU. Але подивися, що це за виправлення. Це статична копія кожної сторінки, поставлена перед PHP, щоб PHP не запускався. Ліки це саме те, за що цей допис агітує, прикручене збоку до того, проти чого він агітує, і сторінка входу, API та база даних і далі стоять за ним.\nВід чого ти відмовляєшся Чесний список, бо статичний сайт підходить не для всього:\nТи відмовляєшся від Що натомість робить цей сайт коментарів немає; читачі можуть написати листа пошуку на сервері JSON-індекс, зібраний разом із сайтом, пошук у твоєму браузері форм, що надсилають дані на сервер немає входу й закритих розділів для учасників немає; усе тут публічне редагування в браузері дописи це текстові файли в репозиторії git миттєвої публікації без збірки збірка займає хвилину-дві Якщо тобі потрібен магазин, закритий розділ чи облікові записи користувачів, тобі потрібно щось, що працює на сервері, і цей допис не каже тобі іншого. Він каже, що блогу, сайту-візитці чи набору документації нічого з цього не треба. Більшість сайтів на WordPress це щось одне з цих трьох. Будь чесним, що з цього твій.\nЗбери один раз і віддавай мертвим Мене дістає, скільки ризику тягнуть без жодної причини. Сторінка компанії, що змінюється двічі на рік, тримає базу даних, сторінку входу, API з 62 маршрутами для запису і запускач запланованих завдань, який спрацьовує щоразу, як хтось заходить. Усе це заради того самого HTML, що й учора. Щодня.\nЦе не технічне рішення. Це звичка, і за цю звичку хтось виставляє рахунок. Хостинг, плагіни, додатки безпеки, прибирання, коли щось піде не так. Ціна на папері це керований тариф WordPress. А коштує це кожен із тих шляхів, тримати відкритим, і латати, і стерегти, заради вмісту, який міг бути текою з файлами.\nСтандарт, за яким я тримаю цей сайт, простий. Не запускається нічого, що не мусить. Кожна прогалина записана там, де її знайде наступна людина, включно з двома в збірці, і одну з них уже закрито. Це не про те, щоб бути розумником. Стандарт це те, чого тримаєшся, коли ніхто не перевіряє, а блог ніхто не перевіряє аж до дня, коли він почне віддавати чужий код.\nТож збери один раз, перевір, що зібрав, і віддавай мертвим. Усе, що лишилося атакувати, на твоїй машині, там, де йому й місце.\nPHP — News archive 2026, 21st October — «We consider the risk highest for mod_php, with a demonstrated exploit where an unauthenticated request can trigger the attack before any application code runs».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nWordPress 4.7 release notes — «WordPress 4.7 comes with REST API endpoints for posts, comments, terms, users, meta, and settings.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nWordPress REST API Handbook — Frequently Asked Questions — «You should not disable the REST API; doing so will break WordPress Admin functionality that depends on the API being active.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nWordPress 3.5 release notes — «Enable XML-RPC by default, remove Writing Settings option».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nWordPress REST API Handbook — «content that is public on your site is generally publicly accessible via the REST API».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nWordPress REST API reference — Users — GET /wp/v2/users, типовий контекст «view»; name, slug, link, avatar_urls у контексті view.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nWordPress — Brute force attacks — «xmlrpc.php is a frequent brute‑force target»; «Apply rate limits to /wp-login.php and /xmlrpc.php globally.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nWordPress Plugin Handbook — Cron — «WP-Cron works by checking, on every page load, a list of scheduled tasks to see what needs to be run.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nWordPress — Hardening WordPress — редактор у Dashboard «is often the first tool an attacker will use if able to login, since it allows code execution.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nPatchstack — State of WordPress Security in 2026 — дані за 2025 рік: 11 334 нові вразливості; 91 % плагіни, 9 % теми, 6 у ядрі; 46 % не виправлені до оприлюднення; медіана 5 годин до масової експлуатації.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCloudflare — Wrangler configuration — «The main key is optional for assets-only Workers.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCloudflare — Workers static assets — відповідний файл «will be served» без виклику коду Worker; «If no Worker script is present, a 404 Not Found response is returned.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCloudflare — Static assets billing and limitations — «Requests to static assets are free and unlimited.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCloudflare — Static assets headers — заголовки задає «a plain text file called _headers».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nOWASP — Attack Surface Analysis Cheat Sheet — «the sum of all paths for data/commands into and out of the application, and the code that protects these paths»; зменшувати її, «turning off features and interfaces that aren\u0026rsquo;t being used».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNCSC — Making compromise difficult, 2.2 Reduce attack surface — «If would-be attackers can\u0026rsquo;t reach an interface, they can\u0026rsquo;t attack it.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNCSC — Cyber Essentials: Requirements for IT infrastructure v3.2 — «remove or disable unnecessary software (including applications, system utilities and network services)».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nHugo — Introduction — «Hugo is a static site generator written in Go, optimized for speed and designed for flexibility.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nHugo — Security model — «during development and site building, the hugo executable itself is the runtime environment»; «We have no online production server»; «No arbitrary commands»; розбіжність контрольної суми go.sum валить збірку.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nHugo — Configure security — «By default, access is restricted»; типові списки дозволених для exec, getenv і http.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nSLSA v1.2 — Threats — загроза цілісності збірки: «behavior to an artifact without changing its source code»; загроза залежності: «compromising some other artifact that the former depends on at build time».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nHugo v0.167.0 release — 36 ресурсів, серед них hugo_0.167.0_checksums.txt (SHA-256); немає файлів підпису, SBOM чи атестації.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\n","permalink":"https://blogs.damiendye.uk/uk/security/a-static-site-has-nothing-to-break-into/","summary":"Цей блог збирає Hugo, і він віддається як 6343 звичайні файли, а на жоден запит не запускається жоден рядок мого коду. Проти нього стоковий WordPress 7.1.3, виміряний у лабі на podman: 133 маршрути REST, 62 з них приймають запис, 80 методів XML-RPC, 1514 файлів PHP, кожен з його 3785 файлів доступний для запису тому самому користувачу, під яким працює вебсервер, і обліковий запис бази даних з усіма привілеями. Цей допис рахує обидві поверхні атаки, пояснює, що модель безпеки Hugo робить під час збирання, чесно визнає, куди переходить ризик, коли під час віддачі нічого не працює, включно з двома прогалинами в тому, як збирався цей сайт (одну вже закрито), і показує, як зібрати статичний сайт офлайн, один раз, і завантажити лише готові файли.","title":"У статичний сайт нема куди вламуватися"},{"content":"PHP2Shell, цього тижня 21 жовтня 2026 проєкт PHP випустив чотири релізи одночасно, 8.5.12, 8.4.27, 8.3.36 і 8.2.35, щоб виправити дві критичні вади в самому інтерпретаторі1. Не у WordPress. Не в плагіні. У PHP.\nОбидві мають оцінку 9,2 за CVSS 4.0. Обидві дають віддалене виконання коду без входу. Дослідники, які їх знайшли, сказали про охоплення прямо: «Every PHP version released in the last decade is affected by at least one of these vulnerabilities, going back to version 5.4.»2\nРешту каже власне повідомлення проєкту PHP:\nЩо каже повідомлення Що це означає для тебе «unauthenticated remote code execution» нікому не потрібен обліковий запис на твоєму сайті «risk highest for mod_php» найпоширеніше старе налаштування Apache в найгіршому становищі «before any application code runs» твій власний код, хоч який обережний, не має права голосу «There are no complete mitigations, updating is the only safe choice.» жодна зміна конфігурації тебе не врятує «PHP 8.1 and older no longer receive updates» чимала частина вебу не отримає виправлення взагалі І цим користувалися ще до того, як комусь сказали. Мережа ханіпотів Amazon зафіксувала спробу 17 жовтня, за чотири дні до оприлюднення3. watchTowr побачив атаки в реальному світі 21-го, а робочі proof of concept з’явилися у відкритому доступі за кілька годин після патча4.\nОбидві вади стосуються безпеки пам’яті. Одна сидить у тому, як інтерпретатор прибирає за собою, коли закінчується пам’ять. Друга це use-after-free: пам’ять, що належить одному запиту, звільняється, а потім читається знову, і наступний запит на тому самому воркері може її побачити56. Запам’ятай цю другу. Вона ще повернеться.\nНічого з цього не нове. У цьому й суть допису. PHP2Shell не нещасний випадок, що спіткав обережну мову. Це остання сторінка в історії завдовжки майже тридцять років, і кожне число в ній публічне.\nОдин процес тримає все З листопада 2014 до квітня 2017 я працював Linux-інженером третьої лінії на хмарній і хостинговій платформі Pulsant. Частиною тієї роботи було налаштування середовищ PHP-FPM для клієнтів з електронної комерції і їхній тюнінг, щоб усе літало.\nЗломи PHP були звичною справою. Не зрідка. Звичною. І зводилися вони до двох причин: погане розгортання і жодного розділення між фронтендом і бекендом.\nМова робить другу причину стандартом. Типовий PHP-сайт це один процес. Шаблон сторінки, бізнес-логіка і SQL живуть в одному обробнику запитів, часто в одному файлі. Цей процес працює від імені одного користувача операційної системи. Він може прочитати пароль до бази даних, бо пароль лежить у файлі поруч із кодом. І зазвичай він може писати у власний веб-корінь, бо саме так працюють завантаження та оновлення.\nОдин процес, що тримає все, проти рівнів із власними межами Звичне розгортання PHP Рівні з власними межами інтернет один воркер, один користувач ОС HTML-шаблони бізнес-логіка SQL, зібраний у тому самому файлі wp-config.php: пароль БД uploads/: з правом запису сам код: з правом запису одна вада сягає всього база даних, повні права інтернет фронтенд рендерить сторінки, без облікових даних бекенд-сервіс свій користувач, не пише свій код відповідає лише на вузьке API БД, мінімальні привілеї Ліворуч звичний PHP-сайт: усе в одному воркері, один користувач, одна вада до всього разом. Праворуч рівні з власними межами: фронтенд не тримає облікових даних, а бекенд не може переписати сам себе. Це не моя думка про те, як розгортають PHP. Це те, що документують самі PHP і WordPress.\nДжерело Що там сказано Посібник PHP, модуль Apache коли PHP працює як модуль Apache, «it inherits Apache\u0026rsquo;s user permissions», і «a malicious script could access and modify the database, even without a username and password»7 Посібник PHP, встановлення з Apache «The mod_php approach embeds PHP directly into every Apache httpd worker process.»8 WordPress, wp-config файл «is located in the root of your WordPress file directory and contains … database connection information»9 WordPress, права на файли wp-config.php «is initially created with 644 permissions, and it\u0026rsquo;s a hazard to leave it like that»10 WordPress, посилення захисту користувачу бази даних «only needs» SELECT, INSERT, UPDATE і DELETE, а далі «it is NOT recommended to revoke these privileges»11 Перечитай останній рядок. Постачальник каже тобі, як виглядали б мінімальні привілеї, а потім каже цього не робити, бо оновлення змінюють схему.\nПорівняй із розділеною версією. Фронтенд рендерить сторінки і не тримає жодних секретів. Бекенд це окремий сервіс із власним користувачем, вузьким API і без права запису у власний код. Обліковий запис бази даних може робити те, що потрібно бекенду, і нічого понад це. Настанови OWASP кажуть те саме своїми словами: «The application\u0026rsquo;s backend database should be isolated from other servers», у «a dedicated internal network segment»12. Власний посібник PHP каже, що застосунки «should never connect to the database as its owner or a superuser»13.\nНічого з цього не екзотика. Так виглядає правильний процес. А важить це тут з простої причини. У розділеній моделі вада у фронтенді дає нападникові фронтенд. У звичній моделі PHP вада будь-де дає йому шаблони, код, облікові дані й дані, за один раз.\nPHP-FPM допомагає, і власний посібник зі встановлення PHP тепер позначає його як рекомендований спосіб запускати PHP під Apache8. Його пули можуть запускати воркери «with different uid/gid/chroot/environment»14. Але пул на сайт це все одно один сайт на процес, що тримає все, що є в того сайту. Це краща стіна між клієнтами. Це не стіна всередині застосунку.\nТримай цю картину в голові через кожен розділ нижче. Кожна вада з цієї історії влучає в той самий процес.\nДвадцять дев’ять років CVE Національна база даних вразливостей (NVD) веде кожен CVE, поданий проти інтерпретатора PHP, під одним ідентифікатором продукту, cpe:2.3:a:php:php. Запитай її, і вона відповість: 75715.\nCVE інтерпретатора PHP за роками, з часткою пошкоджень пам’яті CVE, подані проти інтерпретатора PHP, за роком публікації усі CVE: 757 пошкодження пам’яті: щонайменше 288 40 80 120 114 120 1997 2002 2007 2012 2016 2021 2026 Кожен CVE проти інтерпретатора PHP за роком публікації, з накладеною часткою пошкоджень пам’яті. Пораховано через API NVD 23 жовтня 2026. Це число стосується лише інтерпретатора. Без WordPress, без Drupal, без плагінів, без фреймворків. Тільки програма, що виконує твій PHP.\nПеріод CVE Пошкодження пам’яті Що відбувалося 1997–2006 93 3 ранній веб, мало класифікації 2007 114 19 Month of PHP Bugs 2008–2014 187 54 рівний фон 2015–2017 208 122 роки unserialize і пам’яті 2018–2023 100 63 менше, але здебільшого пам’ять 2024–2026 55 27 PHP2Shell припадає на це вікно Разом 757 288 Виділяються два сплески. Перший березень 2007 року, коли колишній член команди безпеки PHP провів Month of PHP Bugs, оприлюднюючи вади в Zend Engine, ядрі PHP та його розширеннях «on a day by day basis»16. Він заснував PHP Security Response Team, потім пішов із неї і пояснив чому: «I dislike the ways bugs are handled»17. Коли засновник команди безпеки проєкту йде й публікує по ваді на день, це багато каже про те, як ішли справи всередині.\nДругий сплеск 2016 рік: 120 CVE, з них 65 пошкоджень пам’яті. Про це нижче.\nЧисло для пам’яті це нижня межа, а не оцінка. NVD позначає чимало старіших вад як «Other», а не типом слабкості, зокрема деякі use-after-free з наступного розділу. Справжнє число більше. Я беру те, яке можу показати.\nРушій написано на C Тут аргумент про безпеку пам’яті треба будувати обережно, бо PHP-розробник цілком слушно зауважить, що його код ніколи не викликає malloc. PHP-скрипти не керують пам’яттю вручну. Ти не можеш написати переповнення буфера на PHP так, як на C.\nІ не треба. Інтерпретатор, що виконує твій скрипт, написано на C, і його розширення написано на C. Кожен байт недовірених вхідних даних, які отримує твій сайт, кожен заголовок, кожне завантаження, кожне поле форми, кожне cookie, розбирає цей C ще до того, як їх побачить твій код. Коли цей C помиляється, твій обережний PHP нічого не важить. PHP2Shell це довів: у повідомленні сказано, що атака може спрацювати «before any application code runs»1.\nІсторія показує, у чому цей C помилявся:\nКлас CWE Що це CVE інтерпретатора PHP CWE-119 помилки буфера пам’яті, загалом 93 CWE-125 читання за межами 50 CWE-190 переповнення цілого числа 35 CWE-189 числові помилки, старіша мітка 33 CWE-416 використання після звільнення 27 CWE-787 запис за межами 26 CWE-476 розіменування нульового вказівника 20 Саме ці класи мають на увазі агенції безпеки, коли говорять про безпеку пам’яті. У листопаді 2022 року NSA порадило організаціям «to consider making a strategic shift from programming languages that provide little or no inherent memory protection, such as C/C++, to a memory safe language when possible»18. У грудні 2023 року CISA, серед співавторів якої був британський National Cyber Security Centre, назвала число: «two-thirds of reported vulnerabilities in memory unsafe programming languages still relate to memory issues»19.\nЖоден документ не називає PHP. І не мусить. Вони називають мову, з якої зроблено PHP.\nНайгірший приклад, що повторюється, це unserialize(), функція, яка перетворює збережений рядок назад на об’єкти PHP. Вона мала той самий клас вади, в тому самому місці, не раз:\nCVE Де Що записано в NVD CVE-2014-8142 process_nested_data use-after-free в unserialize20 CVE-2015-0231 та сама функція «exists because of an incomplete fix for CVE-2014-8142»21 CVE-2015-2787 обробка __wakeup use-after-free в unserialize CVE-2016-5771 SPL, зі збиранням сміття use-after-free в unserialize22 CVE-2016-5773 ZipArchive, зі збиранням сміття use-after-free в unserialize Посібник PHP знає. Його сторінка про цю функцію містить попередження: «Do not pass untrusted user input to unserialize() regardless of the options value of allowed_classes.»23 Це мова каже тобі, що одна з її власних вбудованих функцій небезпечна для того, з чим більшість вебкоду працює цілий день.\nДалі PHP-FPM, менеджер процесів, який власний посібник зі встановлення PHP рекомендує замість mod_php. У жовтні 2019 року CVE-2019-11043 показав, що «in certain configurations of FPM setup it is possible to cause FPM module to write past allocated buffers … opening the possibility of remote code execution»24. Ішлося про поширене налаштування nginx. Виправили 24 жовтня 2019 року25. Згодом CISA додала її до свого каталогу вразливостей, що відомо використовуються, з позначкою про використання в кампаніях програм-вимагачів26.\nPHP Foundation таки замовила належний аудит безпеки вихідного коду інтерпретатора, і за це їй належить визнання. Результати, опубліковані 10 квітня 2025 року, виявили 27 проблем, 17 з них із наслідками для безпеки27. Це добра практика, і вона мала б бути нормою. Це також ще 17 у кодовій базі, яка вже мала майже три десятиліття публічних звітів про вади.\nМова зробила ті самі помилки поверхом вище C це один рівень. Мова над ним зробила той самий тип помилки у своєму дизайні: довіряла вхідним даним, яким не мала жодних підстав довіряти, і роками не могла від цього відмовитися.\nМожливість Що робила Вимкнено за замовчуванням або застаріло Прибрано Час register_globals перетворювала параметри запиту на змінні скрипта вимкнено у 4.2.0, 22 квітня 200228 5.4.0, 1 березня 201229 десять років magic quotes екранували вхідні дані автоматично, і неправильно застаріло в 5.3.0, 30 червня 2009 5.4.0, 1 березня 201230 три роки preg_replace /e виконував заміну як код PHP застаріло в 5.5.0, 20 червня 201331 7.0.0, 3 грудня 201532 два з половиною роки allow_url_include дозволяв include тягнути код через мережу застаріло в 7.4.033 метадані phar автоматично десеріалізувалися під час доступу до файлу виправлено у 8.034 0 == \u0026quot;foobar\u0026quot; порівнювалося як true виправлено у 8.035 register_globals заслуговує окремого рядка. Роками будь-який параметр у запиті, скажімо ?admin=1, ставав змінною у твоєму скрипті, і якщо твій код перевіряв $admin до того, як його встановити, нападник уже встановив його за тебе. Сам посібник PHP назвав його вимкнення «the most controversial change in PHP»29. Десять років від вимкнення за замовчуванням до повного зникнення. Стільки проєкт терпів можливість, про небезпеку якої знав, бо її прибирання зламало б сайти.\nВипадок із phar це той самий шаблон на рівень нижче. У 2018 році Сем Томас показав на Black Hat, що звичайні файлові операції зі шляхом phar:// десеріалізують метадані, підсунуті нападником, і переносять проблему unserialize() на функції, які ніхто не вважав небезпечними36. PHP 8.0, наприкінці 2020 року, перестав робити це автоматично, «to fix potential security vulnerabilities due to object instantiation, autoloading, etc.»34.\nДалі type juggling. Оператор == у PHP перетворює типи перед порівнянням, тож рядки, схожі на числа, порівнюються як числа. RFC, що виправив частину цього в PHP 8.0, сказав прямо: «This results in many surprising comparison results, the most notable of which is that 0 == „foobar“ returns true.»35\nЦе виправлення було справжнім. І частковим. Ось та сама перевірка в офіційних контейнерах php:7.4-cli і php:8.5-cli, другий з яких це 8.5.12, реліз, залатаний від PHP2Shell цього тижня, з двома результатами поруч:\n$ php -r \u0026#39;var_dump(0 == \u0026#34;foobar\u0026#34;);\u0026#39; bool(true) # 7.4.33 bool(false) # 8.5.12 $ php -r \u0026#39;var_dump(\u0026#34;0e462097431906509019562988736854\u0026#34; == \u0026#34;0e830400451993494058024219903391\u0026#34;);\u0026#39; bool(true) # 7.4.33 bool(true) # 8.5.12 Два різні рядки, і вони рівні. Обидва починаються з 0e, за яким ідуть цифри, тож PHP читає обидва як нуль, помножений на десять у якомусь степені, а нуль дорівнює нулю. Обидва мають форму хешу MD5. Порівняй збережений хеш пароля через == замість === або hash_equals(), і збіжеться будь-який ввід, чий хеш випадково так починається. Це задокументовано роками. Це досі працює в найновішому релізі.\nОсь мова в одному прикладі. Виправлення, яке зайшло, половина проблеми, що лишилася, і безпечна версія, для якої треба знати, що існує інший оператор.\nШел майже щороку Питання, яке варто ставити будь-якій платформі, не в тому, скільки вад у неї було. А в тому, як часто хтось міг забрати весь сервер без пароля і без того, щоб хтось на щось клацнув.\nNVD оцінює кожен CVE. Відфільтруй 757 за оцінкою, що означає саме це, атака через мережу, без привілеїв, без участі користувача, високий вплив на конфіденційність і цілісність, і отримаєш 17215.\nОцінки повного захоплення без автентифікації за роками і підтверджене використання за роками Оцінка: повне віддалене захоплення, без входу, без дій користувача CVE інтерпретатора PHP, CVSS: мережа, без привілеїв, без взаємодії, високий вплив: 172 20 40 60 65 1997 2002 2007 2012 2016 2021 2026 Підтверджене використання: PHP і застосунки на PHP у CISA KEV записів додано за рік, усього 81; каталог започатковано в листопаді 2021 16 2021 16 2022 10 2023 8 2024 11 2025 20 2026 Угорі: CVE інтерпретатора з оцінкою повного віддаленого захоплення без входу і без дій користувача. Унизу: PHP і застосунки на PHP, додані щороку до каталогу CISA вразливостей, що відомо використовуються. 172 за 23 з 28 років, у яких узагалі є бодай один CVE PHP. Порожніх лише п’ять. Тільки 2016 рік має 65.\nОцінка серйозності це рейтинг, а не злом. Тож друга половина картини це каталог CISA Known Exploited Vulnerabilities, який вносить лише вади з підтвердженим використанням у реальному світі26. З його 1754 записів станом на 21 жовтня 2026 року 81 стосується самого PHP або застосунків, написаних на PHP:\nРік додавання PHP і застосунки на PHP Увесь каталог 2021 16 311 2022 16 555 2023 10 187 2024 8 186 2025 11 245 2026, до 21 жовтня 20 270 2026 рік уже найгірший для PHP у каталозі, а PHP2Shell туди ще не потрапив. Три цьогорічні записи стосуються самого ядра WordPress: два додано 21 липня, і віддалене включення файлу 25 вересня.\nЗаписи KEV, що відомо використовуються програмами-вимагачами Що CVE-2019-11043 переповнення буфера PHP-FPM CVE-2024-4577 ін’єкція аргументів PHP-CGI CVE-2021-3129 Laravel Ignition CVE-2018-7600, CVE-2018-7602 Drupal І каталог сильно недораховує PHP. Його збудовано навколо федеральних систем США, і йому потрібен CVE плюс підтверджене використання. У ньому 3 записи про плагіни WordPress. Екосистема плагінів WordPress лише за 2025 рік зафіксувала 11 334 вразливості37. 81 це та частина, яку хтось офіційний записав.\nWordPress це множить WordPress стоїть на 39,6 % усіх вебсайтів і на 58,3 % тих, чию систему керування вмістом можна визначити38. PHP це серверна мова 69,3 % сайтів, де це видно39. Тож хоч якою є історія PHP, WordPress несе її на дуже велику частину вебу, а потім додає свою.\nЯдро не головна проблема. Плагіни ось проблема.\n2024 2025 Нові вразливості в екосистемі WordPress, Patchstack 796640 11 33437 У плагінах 96 % 91 % У ядрі 7 6 Не виправлено до публічного оприлюднення 33 % 46 % Медіанний час до масового використання, для вад, які активно експлуатують 5 годин Wordfence за власною базою нарахував 8223 за 2024 рік, на 68 % більше, ніж у 2023-му, і встановив, що «Roughly 35% of the vulnerabilities disclosed in 2024 remain unpatched in 2025»41. Різні бази, різні підсумки, та сама форма.\nПосидь хвилину з числами за 2025 рік. Майже половина вразливостей не мала виправлення від розробника на момент оприлюднення. А для тих, за якими нападники справді полюють, медіанний проміжок від оприлюднення до масового використання становить п’ять годин. Більшість людей не перевіряє оновлення плагінів кожні п’ять годин. Більшість людей і не може.\nМодель плагінів і є множником. Безпека сайту залежить від найменш уважного автора будь-чого, що на ньому встановлено, а Wordfence виявив, що «over one third of developers are unreachable or unresponsive», коли їм повідомляють про ваду41. Patchstack нарахував 1614 плагінів і тем, вилучених із репозиторію у 2024 році через проблеми безпеки, які ніхто не виправив40. І через модель одного процесу кожен плагін працює з повними правами сайту.\nІнцидентів довгий список. Ось ті, за якими стоять першоджерела:\nРік Що Масштаб 2011 TimThumb, скрипт для зображень, вшитий у багато тем, дозволяв нападникам «upload and execute arbitrary PHP code»42 «many commercial and free themes» 2014 RevSlider, за кампанією SoakSoak43 «compromising over 100,000 WordPress sites» 2016 Mossack Fonseca, фірма з «Панамського досьє»: її сайт «may have been breached via a vulnerable version of Revolution Slider»44 сайт працював на вразливій версії; як вийшли дані, так і не показано 2017 ін’єкція вмісту через REST API у WordPress 4.7.0 і 4.7.1, увімкнена за замовчуванням45 66 000 спотворених сторінок в індексі Google за підрахунком Sucuri46; 1 893 690 за підрахунком Wordfence через чотири дні47 2020 WP File Manager, виконання коду без автентифікації, використане ще до появи патча48 «over 700,000 active installations» 2025 SureTriggers, створення облікового запису адміністратора без автентифікації49 «exploitation attempts observed within hours after disclosure» З рядком про 2016 рік я був обережним. Wordfence показав, що сайт фірми працював на версії слайдера, яку було легко експлуатувати. Він не показав, що саме так забрали документи, і я не збираюся стверджувати більше, ніж дають докази.\nЯк шкідливе ПЗ лишається Потрапити всередину це половина справи. Лишитися всередині друга половина, і PHP робить це легким із причини, що веде просто назад до картини одного процесу.\nІнтерпретатор виконає будь-який файл .php, до якого може дістатися. Веб-корінь зазвичай доступний для запису тому самому користувачу, що виконує код. Тож щойно нападник має будь-який спосіб записати файл, форму завантаження, ваду в плагіні, файловий менеджер, він може записати скрипт, що запускатиметься щоразу, коли хтось його запитає. Це і є вебшел: маленький файл, що сидить у твоєму сайті й приймає команди.\nCISA роками каже, якими мовами їх здебільшого пишуть: «The most commonly observed web shells are written in languages that are widely supported, such as PHP and ASP.»50 Спільні настанови NSA та Australian Signals Directorate називають їх «a long-standing, pervasive threat that continues to evade many security tools», і їх важко виявити, бо вони «easily modified by attackers and often employ encryption, encoding, and obfuscation»51.\nЦифри з очищень показують, як часто вони там є:\nДжерело Висновок Sucuri, 2022, очищено 43 374 сайти «69.63% of compromised websites were found to have at least one backdoor»; видалено 1 188 864 бекдори52 Sucuri, 2022 «90% of credit card skimmers were found in the form of malicious PHP code»52 Sucuri, 2023, очищено 39 594 сайти «49.21% of compromised websites were found with at least one website backdoor»; WordPress 95,5 % заражень53 Wordfence, 2024 «just under one million distinct sites infected with malware»41 Тож за останній рік очищень половина зламаних сайтів досі мала на диску шлях назад. Віднови базу даних, залатай плагін, і нападник повернеться через файл, який залишив.\nХитрого рішення тут немає. Є нудне, правильне, і NSA його записало: «web applications should not have permission to write directly to a web accessible directory or modify web accessible code»51. Це одне речення і є моделлю розділених рівнів із початку цього допису, сказаною розвідувальною агенцією.\nДе все йде не так Контроль, який це зупиняє користувач середовища виконання може писати код код належить окремому користувачу для розгортання і доступний користувачу виконання лише для читання завантаження потрапляють у веб-корінь зберігай завантаження «outside of the webroot» або на іншому сервері54 PHP виконає що завгодно в завантаженнях жодного виконання скриптів для шляхів завантажень на рівні вебсервера, і «disable per directory configuration overrides on upload directories»54 ніхто не помічає нового файлу моніторинг цілісності файлів проти відомо доброї копії51 обліковий запис бази даних може все мінімальні привілеї для користувача бази даних13 Посібник WordPress із посилення захисту, хай там як, узагалі не згадує заборону запуску PHP у каталозі завантажень11. Тому таблиця посилається на OWASP і NSA.\nЗверни увагу, чого в цій таблиці немає. Власних налаштувань захисту PHP. Посібник про них чесний. disable_functions «can be circumvented and should not be considered a sufficient security measure for shared hosting environments», а open_basedir «is just an extra safety net, that is in no way comprehensive, and can therefore not be relied upon when security is needed»55. Коли власна документація мови каже тобі, що її перемикачі безпеки не є межами безпеки, вір їй. Тож межа має йти ззовні процесу.\nНавіть php.net зламали Якби власна інфраструктура проєкту була надійною, можна було б стверджувати, що ця історія про складну проблему, з якою добре впоралися. Її зламували двічі.\nКоли Що сталося 22–24 жовтня 2013 «JavaScript malware was served to a small percentage of php.net users»; «two servers were compromised», спосіб «unknown at this time»56 28 березня 2021 «two malicious commits were pushed to the php-src repo» від імені двох основних розробників57 Важить випадок 2021 року. Хтось заштовхав код у власне дерево вихідного коду мови, видаючи себе за людей, які її підтримують. Це впіймали. Відповідь проєкту варто процитувати, бо вона правильна і сказана прямо: «maintaining our own git infrastructure is an unnecessary security risk», і репозиторії переїхали на GitHub57.\nВіддам належне: це було добре рішення, ухвалене швидко і пояснене відкрито. Але подивися, що воно визнає. Роками канонічне джерело мови, на якій працює більшість вебу, жило на власній інфраструктурі, яку сам проєкт визнав ризиком, якого не мав би нести.\nПоловина вебу працює на версії, яку ніхто не латає Усе вище припускає, що сайт оновлено. Дуже багато сайтів не оновлено.\nphp.net зараз підтримує чотири гілки. 8.2 отримує лише виправлення безпеки, до 31 грудня 2026 року. 8.3, 8.4 і 8.5 решта58. Усе старіше має кінець життя: 8.1 з 31 грудня 2025 року, 8.0 з листопада 2023 року, 7.4 з листопада 2022 року59.\nТепер виміряна частка того, що реально працює:\nСкільки PHP працює на версіях, які php.net більше не латає Версія PHP у використанні, за статусом підтримки php.net PHP-сайти (W3Techs) 48,3 % 18,0 % 33,7 % Встановлення WordPress 34,7 % 23,5 % 41,8 % без підтримки зараз 8.2, без підтримки з 31 грудня 2026 8.3 і новіші Версія PHP у використанні за статусом підтримки. PHP-сайти за частками версій W3Techs; встановлення WordPress за власною статистикою wordpress.org. Обидва дані прочитано 23 жовтня 2026. Без підтримки сьогодні Без підтримки з 1 січня 2027 PHP-сайти, W3Techs6061 48,3 % близько 66 % Встановлення WordPress, wordpress.org62 34,7 % близько 58 % Сама лише PHP 7.4, без підтримки майже чотири роки, це приблизно п’ята частина всіх PHP-сайтів, що показують свою версію. Сторінка вимог WordPress просить PHP 8.3, а потім каже, що WordPress «also works with PHP 7.4+», зазначаючи, що ці версії «have reached their official End Of Life»63. Постачальник, який досі працює на мертвій версії, це постачальник, що вирішив тебе не змушувати переходити.\nДва чесні застереження. W3Techs бачить версію лише на сайтах, які її показують. І деякі дистрибутиви Linux переносять виправлення у старі збірки PHP, тож «без підтримки від php.net» не завжди означає «без патчів». Але PHP2Shell це перевірка саме цього. Цього разу проєкт таки опублікував патчі у вихідному коді для 7.4, 8.0 і 8.11, і хтось усе одно мусить їх зібрати, випустити і встановити. На спільному хостингу з версією, яка нікому не належить, цей хтось нікто.\nЯ від нього відмовився. Тобі теж варто подумати про перехід Колись я писав на PHP. Після Pulsant я відмовився від цієї мови через проблеми, які вона спричиняла, і роботу, яку ці проблеми створювали. Не через один поганий інцидент. Через роки тих самих двох причин, на сайті за сайтом, і прибирання, що падало на того, хто був на зміні.\nТож скажу прямо. Якщо вибір за тобою, подумай про те, щоб піти. Для цього тепер є кращі інструменти, і Go це той, на який я вказав би першим.\nНе тому, що це модно. А тому, що він за замовчуванням прибирає більшу частину того, що рахував цей допис:\nЗвичний PHP-сайт Сервіс на Go Безпека пам’яті рушій на C, 288 CVE з пошкодженням пам’яті безпечний щодо пам’яті за задумом; його називають і NSA, і CISA1819 Виконання коду розбирається і компілюється знову на кожен запит, якщо не завантажено OPcache, розширення, яке до 8.5 треба додавати самому; потім виконується інтерпретатором на C; JIT з 8.0, вимкнений за замовчуванням6465 компілюється один раз, заздалегідь, у нативний машинний код66 Обслуговування запиту вебсервер передає кожен запит інтерпретатору один скомпільований бінарник сам відповідає на HTTP Файл, підкинутий у веб-корінь файл .php запускається, щойно хтось його запитає ніщо не запускає файл з диска через його шлях HTML-вивід echo пише сирий текст; екранування це функція, про яку треба пам’ятати html/template екранує за замовчуванням, з урахуванням контексту67 SQL підготовлені запити є в PDO, якщо ти ними користуєшся задокументований спосіб передає параметри як аргументи68 Відомі вади в залежностях дізнаєшся з новин govulncheck повідомляє лише про ті, які твій код справді викликає69 Де лежать частини код, конфігурація і завантаження в одному дереві з правом запису бінарник лише для читання, а конфігурація і завантаження деінде Компіляція важить двічі. Це швидше: програми на Go «are compiled ahead of time to native machine code», без віртуальної машини під ними, і одна з заявлених цілей дизайну це «to approach the performance of C for comparable programs»66. І це безпечніше, бо в шляху запиту немає інтерпретатора, що розбирає код під час виконання, і немає рушія на C з 757 CVE між мережею і твоєю програмою. PHP, залишений сам на себе, робить навпаки. Без OPcache він завантажує, розбирає і компілює кожен скрипт на кожен запит, без жодної потреби, тисячі разів на хвилину на завантаженому сайті. OPcache існує, щоб це зупинити, «removing the need for PHP to load and parse scripts on each request»64. Але з коробки він не ввімкнений. До 8.4 включно це окреме спільне розширення, яке хтось мусить завантажити через zend_extension і налаштувати. Лише PHP 8.5 вбудовує його: «The Opcache extension is now always built into the PHP binary and is always loaded»70. Власний RFC проєкту для цієї зміни каже, що «running PHP in production without OPcache is generally considered a mistake»71. W3Techs бачить 8.5 на 4,5 % сайтів PHP 860, тож майже для всього, що працює сьогодні, ліки від компіляції кожного скрипта на кожен запит досі лишаються додатком, про який хтось мав пам’ятати. І навіть завантажений, він кешує байт-код, який має виконати інтерпретатор на C. Go компілює один раз, ще до того, як програма побачить запит.\nШвидше і безпечніше, за умови, що код написано як слід. Ця остання умова і є змістом наступних кількох абзаців.\nПакет шаблонів Go описує свій дизайн одним рядком: він генерує «HTML output safe against code injection», і «The escaping is contextual, so actions can appear within JavaScript, CSS, and URI contexts.»67 Його посібник із баз даних так само прямий: «You can avoid an SQL injection risk by providing SQL parameter values as sql package function arguments.»68 Це поведінка за замовчуванням. У PHP це речі, про які треба знати, щоб піти й узяти їх.\nРядок, який я підкреслив би, це підкинутий файл. Половина зламаних сайтів, які Sucuri очистив у 2023 році, досі мала бекдор на диску53, і це працює лише тому, що інтерпретатор запустить будь-який скрипт, до якого дістанеться. Скомпільований сервіс не шукає скриптів. Підкинутому файлу нема до чого підключитися.\nТепер чесна частина, бо мова не ліки. Go безпечніший щодо пам’яті, але не ідеально. Його власна модель пам’яті каже, що гонка даних на слайсі, мапі чи значенні інтерфейсу «can in turn lead to arbitrary memory corruption»72, і Go постачає інструмент, щоб це впіймати. Збери з -race або запусти go test -race, і бінарник скомпілюється з детектором, який повідомить про гонку в ту мить, коли вона станеться. Він ловить гонки під час виконання, а не під час компіляції, і «can\u0026rsquo;t find races in code paths that are not executed», тож йому місце в кожному прогоні тестів і під реалістичним навантаженням73. У PHP нічого подібного немає. Тримати пам’ять одного запиту подалі від наступного цілком покладено на рушій, і PHP2Shell це той рушій, що помилився: пам’ять, звільнена одним запитом, прочитана наступним на тому самому воркері6. Поза цим Go зупиняє клас пошкоджень пам’яті, який рахував цей допис, і робить безпечний шлях легким ще для двох. Він не зупинить зламану перевірку входу, відсутню перевірку дозволів чи запит, складений склеюванням рядків, якщо ти наполягаєш на такому. Go теж публікує власні повідомлення про безпеку, через свою базу вразливостей69. І сервіс на Go, запущений від root із каталогу з правом запису, усе одно розгорнутий погано.\nЩо він змінює, так це поведінку за замовчуванням. За замовчуванням PHP це один процес, що тримає все. За замовчуванням Go це програма, що робить одну роботу, а це і є розділення з початку цього допису, де більшу частину роботи вже зроблено. Якщо Go не пасує твоїй команді, Rust це другий вихід. Обидва компілюються заздалегідь у нативний код. Rust працює «with no runtime or garbage collector»74, а компілятор і середовище виконання Go з версії 1.5 «implemented in Go and assembler, without C»75.\nC# і Java теж є в списку безпечних щодо пам’яті мов від агенцій18, але вони не вихід із проблеми, з якої почався цей допис. Кожна працює на віртуальній машині, написаній на C++. HotSpot з OpenJDK це «around 3000 C/C++ header and source files, comprising more than 1.2 million lines of code»76, а збирач сміття і JIT-компілятор .NET це вихідний код на C++ у дереві CoreCLR77. Це та сама форма, що й у PHP: великий нативний рушій між мережею і твоїм кодом. А Java за задумом завантажує код у запущений застосунок. Її стандартний завантажувач класів існує «to load classes and resources from a search path of URLs referring to both JAR files and directories»78, і Log4Shell перетворив це на віддалене виконання коду: нападник, що контролював повідомлення журналу, «can execute arbitrary code loaded from LDAP servers»79. Вона одразу потрапила до каталогу CISA26. Це ті самі двері, що й у PHP, тільки з більшою церемонією перед ними.\nТож обирай Go або Rust. Переноси бекенд першим, по одній кінцевій точці за раз, і лишай PHP-фронтенд без нічого, що варто красти, поки й він не зможе піти.\nЯкщо ти досі розгортаєш його так, чи можеш називати себе професіоналом? Доказів вище досить, щоб це перестало бути думкою. Тож ось питання, поставлене прямо. Якщо ти досі розгортаєш PHP як один процес, що тримає код, облікові дані і веб-корінь із правом запису, чи можеш ти називати себе професіоналом?\nЗалежить від того, ким із трьох людей ти є. І знати, ким саме, це не те, що з тобою трапляється. Переконатися, що ти знаєш, це і є робота.\nУ тебе справжнє обмеження, і ти його записав. Продукт, від якого залежить бізнес, існує лише на PHP. Міграцію пораховано і внесено в бюджет на наступний рік. Гаразд. Це професійно, за умови, що причина є на папері з датою поруч, користувач виконання не може писати код, завантаження не можуть виконуватися, обліковий запис бази даних урізано, і ти залатав PHP2Shell цього тижня. Ти свідомо несеш відомий ризик, зі стінами, які можеш навколо нього поставити.\nТобі ніколи не казали. Ніхто не показав тобі цю історію, а підручник, з якого ти вчився, поклав усе в один каталог. Це прогалина, а прогалини є в усіх. Вона перестає бути прогалиною, щойно ти дочитав до цього місця.\nТи знаєш, і все одно так будуєш. Ти бачив числа, або достатньо з них. Ти знаєш, що пароль до бази даних лежить у веб-корені, а веб-корінь доступний для запису. Ти розгортаєш так, бо це швидше, бо клієнт не заплатить за краще, і бо ніхто не змусив тебе це обґрунтувати. Саме на цей випадок і націлене питання. Провал не в прогалині у твоїх знаннях. Провал у тому, щоб будувати через прогалину, яку ти вже бачив і так і не повернувся закрити.\nУсі колись там були. Лишатися там з власного вибору ось що не можна виправдати.\nДвері завжди були відчинені Читаючи цю історію, мене вражає не те, що в PHP є вади. Вони є в кожній мові. А те, як мало з цього колись було несподіванкою.\nПроєкт знав, що register_globals небезпечна, у 2002 році і прибрав її у 2012-му. Його посібник каже не довіряти unserialize(), не довіряти disable_functions, не довіряти open_basedir. Його власна документація каже, що скрипт під mod_php може дістатися до бази даних без пароля. Агенції роками кажуть, що мова, з якої його збудовано, це звідки беруться дві третини вад пам’яті. Кожне попередження є, письмово, від людей, які мали б знати.\nІ він усе одно вигравав, бо був дешевим. Дешево хостити, дешево вчити, дешево продати клієнту, який хотів вебсайт до п’ятниці. Один каталог, один процес, один пароль у файлі, і сайт, що працював. Ціна стояла як план спільного хостингу. Те, чого це коштувало, ніколи не потрапляло в рахунок: прибирання, бекдори, залишені на диску, номери карток клієнтів, вкрадені шкідливим PHP, п’ятигодинне вікно між оприлюдненням і атакою.\nОсь на що в мене немає терпіння. Не на вади. На рішення, ухвалене знову і знову людьми, які знали краще, що дешевий спосіб досить добрий, бо ніхто не перевіряв. Стандарт це те, чого ти дотримуєшся, коли ніхто не перевіряє. Розділення між фронтендом і бекендом, код лише для читання, урізаний обліковий запис бази даних: ніщо з цього не нове, ніщо не дороге, і все це перетворило б чимало інцидентів вище на ніщо, про що варто писати.\nPHP2Shell не кінець цієї історії. Це лише запис цього тижня. Мова його залатає, хостери зрештою розгорнуть оновлення, і частка версій поповзе вгору, як завжди, повільно. Те, чи коштуватиме тобі наступна вада, вирішує не PHP. А те, чи ти збудував стіни, яких він тобі так і не дав, чи перейшов на щось, що приходить разом із ними.\nPHP — News archive 2026, 21st October — «PHP 8.5.12, 8.4.27, 8.3.36 and 8.2.35 fix two critical vulnerabilities that can allow unauthenticated remote code execution»; «We consider the risk highest for mod_php, with a demonstrated exploit where an unauthenticated request can trigger the attack before any application code runs»; «There are no complete mitigations, updating is the only safe choice.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nWiz Research — PHP2Shell — 21 жовтня 2026; «Every PHP version released in the last decade is affected by at least one of these vulnerabilities, going back to version 5.4»; «All of the disclosed vulnerabilities are memory-safety issues».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nAWS Security Blog — PHP2Shell exploitation prior to public disclosure in MadPot — спробу використання зафіксовано 17 жовтня 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nwatchTowr — PHP2Shell FAQ — використання в реальному світі помічено 21 жовтня 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNVD — CVE-2026-109618 — обробка помилки браку пам’яті лишає частково ініціалізовані дані запиту, які прибирання вважає дійсними; віддалене виконання коду.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNVD — CVE-2026-109619 — пам’ять запиту використовується після звільнення; віддалене виконання коду; уражено з 5.4.0.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nPHP manual — Installed as an Apache module — «When PHP is used as an Apache module it inherits Apache\u0026rsquo;s user permissions»; «a malicious script could access and modify the database, even without a username and password».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nPHP manual — Apache 2.x on Unix systems — «The mod_php approach embeds PHP directly into every Apache httpd worker process.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nWordPress — wp-config.php — лежить у корені каталогу WordPress і містить дані для підключення до бази даних.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nWordPress — Changing file permissions — wp-config.php «is initially created with 644 permissions, and it\u0026rsquo;s a hazard to leave it like that».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nWordPress — Hardening WordPress — привілеї бази даних, права на файли; жодних настанов щодо блокування виконання PHP у завантаженнях.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nOWASP — Database Security Cheat Sheet — «The application\u0026rsquo;s backend database should be isolated from other servers»; окремий внутрішній сегмент мережі.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nPHP manual — Database design — «Applications should never connect to the database as its owner or a superuser.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nPHP manual — FastCGI Process Manager — пули, що запускають воркери «with different uid/gid/chroot/environment».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNVD CVE API, virtualMatchString=cpe:2.3:a:php:php — запит 23 жовтня 2026: 757 CVE. Пошкодження пам’яті пораховано як CWE-119, 120, 121, 122, 125, 129, 131, 189, 190, 191, 415, 416, 476, 680, 787, 824, 843 або 908: 288. Повне віддалене захоплення пораховано як CVSS 3.x AV:N/PR:N/UI:N/C:H/I:H, або CVSS 2 мережа, без автентифікації, повний вплив на конфіденційність і цілісність, де немає оцінки 3.x: 172.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nMonth of PHP Bugs, php-security.org, Wayback Machine — «During March 2007 old and new security vulnerabilities in the Zend Engine, the PHP core and the PHP extensions will be disclosed on a day by day basis.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Register — Stefan Esser interview, 7th February 2007 — засновник Hardened-PHP Project, щойно пішов із PHP Security Response Team: «I dislike the ways bugs are handled».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNSA — Software Memory Safety, November 2022, Wayback Machine — «a strategic shift from programming languages that provide little or no inherent memory protection, such as C/C++, to a memory safe language when possible.» А також: «Examples of memory safe language include C#, Go, Java®, Ruby™, Rust®, and Swift®.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCISA and partners — The Case for Memory Safe Roadmaps, December 2023 — серед співавторів зокрема британський NCSC; «two-thirds of reported vulnerabilities in memory unsafe programming languages still relate to memory issues.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNVD — CVE-2014-8142 — use-after-free у process_nested_data під час unserialize.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNVD — CVE-2015-0231 — use-after-free в unserialize, що «exists because of an incomplete fix for CVE-2014-8142».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNVD — CVE-2016-5771 — use-after-free у SPL, що спрацьовує через unserialize і збирання сміття.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nPHP manual — unserialize — «Do not pass untrusted user input to unserialize() regardless of the options value of allowed_classes.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNVD — CVE-2019-11043 — «in certain configurations of FPM setup it is possible to cause FPM module to write past allocated buffers … opening the possibility of remote code execution.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nPHP 7 ChangeLog — виправлено 24 жовтня 2019 у 7.3.11, 7.2.24 і 7.1.33, вада #78599.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCISA — Known Exploited Vulnerabilities catalogue — JSON-стрічка версії 2026.10.21, 1754 записи; 81 для PHP або застосунків на PHP за постачальником і продуктом; використання програмами-вимагачами, як зазначено у стрічці.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe PHP Foundation — PHP core security audit results, 10th April 2025 — «The audit identified 27 issues, with 17 having security implications».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nPHP 4 ChangeLog — 4.2.0, 22 квітня 2002: «register_globals defaults to \u0026lsquo;off\u0026rsquo; now».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nPHP manual — Using Register Globals, Wayback Machine — «DEPRECATED as of PHP 5.3.0 and REMOVED as of PHP 5.4.0»; «the most controversial change in PHP».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nPHP manual — Magic Quotes, Wayback Machine — «DEPRECATED as of PHP 5.3.0 and REMOVED as of PHP 5.4.0».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nPHP manual — Deprecated features in PHP 5.5.x, Wayback Machine — «The preg_replace() /e modifier is now deprecated.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nPHP manual — Pattern Modifiers, Wayback Machine — e «DEPRECATED in PHP 5.5.0, and REMOVED as of PHP 7.0.0.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nPHP manual — Deprecated features in PHP 7.4 — «The allow_url_include ini directive is deprecated.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nPHP manual — Backward incompatible changes in PHP 8.0 — метадані phar «will no longer be automatically unserialized, to fix potential security vulnerabilities due to object instantiation, autoloading, etc.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nPHP RFC — Saner string to number comparisons — реалізовано в PHP 8.0; «the most notable of which is that 0 == „foobar“ returns true.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nSam Thomas, Black Hat USA 2018 — It\u0026rsquo;s A PHP Unserialization Vulnerability Jim, But Not As We Know It — файлові операції зі шляхами phar:// десеріалізують метадані.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nPatchstack — State of WordPress Security in 2026 — дані за 2025 рік: 11 334 нові вразливості, 91 % у плагінах, 6 у ядрі, 46 % не виправлено до оприлюднення, медіана 5 годин до масового використання.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nW3Techs — WordPress — «58.3% of all the websites whose content management system we know. This is 39.6% of all websites.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nW3Techs — PHP — «PHP is used by 69.3% of all the websites whose server-side programming language we know.» Прочитано 23 жовтня 2026. Основні версії серед PHP-сайтів: 8 це 65,3 %, 7 це 26,9 %, 5 це 7,7 %.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nPatchstack — State of WordPress Security in 2025 — дані за 2024 рік: 7966 нових вразливостей, 96 % у плагінах, 7 у ядрі, 33 % не виправлено до оприлюднення.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nWordfence — 2024 Annual WordPress Security Report — 8223 вразливості, зростання на 68 %; «Roughly 35% of the vulnerabilities disclosed in 2024 remain unpatched in 2025»; «just under one million distinct sites infected with malware».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nMark Maunder — Zero day vulnerability in many WordPress themes, 1st August 2011 — timthumb.php постачався разом із «many commercial and free themes»; нападники могли «upload and execute arbitrary PHP code».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nSucuri — RevSlider vulnerability leads to massive WordPress SoakSoak compromise, 15th December 2014 — «compromising over 100,000 WordPress sites».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nWordfence — Mossack Fonseca breach, Revolution Slider possible cause, 7th April 2016, Wayback Machine — «may have been breached via a vulnerable version of Revolution Slider».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nSucuri — Content injection vulnerability in WordPress REST API, 1st February 2017 — «allows an unauthenticated user to modify the content of any post or page»; увімкнено за замовчуванням у 4.7.0 і 4.7.1.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nSucuri — WordPress REST API vulnerability abused in defacement campaigns, 6th February 2017 — «Google alone shows 66,000+ pages compromised», для однієї кампанії.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nWordfence — Rapid growth in REST API defacements, 10th February 2017, Wayback Machine — кількість спотворених сторінок в індексі Google зросла «from 1,496,020 to 1,893,690»; попередній підрахунок Sucuri становив 66 000.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nWordfence — 700,000 WordPress users affected by zero-day in File Manager plugin, 1st September 2020, Wayback Machine — «a WordPress plugin with over 700,000 active installations».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nPatchstack — SureTriggers vulnerability exploited within 4 hours, 10th April 2025 — створення адміністратора без автентифікації; «exploitation attempts observed within hours after disclosure».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCISA — Compromised Web Servers and Web Shells, TA15-314A — «The most commonly observed web shells are written in languages that are widely supported, such as PHP and ASP.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNSA and ASD — Detect and Prevent Web Shell Malware, April 2020, Wayback Machine — «web applications should not have permission to write directly to a web accessible directory or modify web accessible code»; моніторинг цілісності файлів як запасний варіант.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nSucuri — 2022 Website Threat Research Report — очищено 43 374 сайти; 69,63 % мали щонайменше один бекдор; видалено 1 188 864 бекдори; 90 % скімерів карток у шкідливому PHP.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nSucuri — 2023 Hacked Website and Malware Threat Report — очищено 39 594 сайти; 49,21 % мали щонайменше один бекдор; WordPress 95,5 % заражень.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nOWASP — File Upload Cheat Sheet — зберігай завантаження «outside of the webroot»; «disable per directory configuration overrides on upload directories».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nPHP manual — Description of core php.ini directives — disable_functions «can be circumvented»; open_basedir «can therefore not be relied upon when security is needed».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nPHP — News archive 2013, 24th October — шкідливе ПЗ роздавали з 22 до 24 жовтня 2013; зламано два сервери.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nPHP internals — Changes to Git commit workflow, 28th March 2021 — два шкідливі коміти заштовхано в php-src; сервер git.php.net припинено, а GitHub став канонічним.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nPHP — Supported versions — 8.2 отримує виправлення безпеки до 31 грудня 2026; 8.3, 8.4 і 8.5 підтримуються. Прочитано 23 жовтня 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nPHP — Unsupported branches — кінець життя 8.1 31 грудня 2025, 8.0 26 листопада 2023, 7.4 28 листопада 2022.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nW3Techs — PHP version 8 — частки підверсій у PHP 8; разом із частками основних версій дають 48,3 % PHP-сайтів на непідтримуваних версіях.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nW3Techs — PHP version 7 — 7.4 це 73,4 % сайтів PHP 7.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nWordPress — Statistics — версії PHP на сайтах WordPress, що звітують на wordpress.org; 34,7 % нижче 8.2. Прочитано 23 жовтня 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nWordPress — Requirements — «PHP version 8.3 or greater»; працює з 7.4+, які «reached their official End Of Life».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nPHP manual — OPcache introduction — «OPcache improves PHP performance by storing precompiled script bytecode in shared memory, thereby removing the need for PHP to load and parse scripts on each request.» До PHP 8.4 це спільне розширення, що завантажується через zend_extension.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nPHP manual — OPcache runtime configuration — opcache.jit доступний з PHP 8.0.0, за замовчуванням «disable».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nGo — Frequently Asked Questions — «Go programs are compiled ahead of time to native machine code»; середовище виконання «does not include a virtual machine»; «One of Go\u0026rsquo;s design goals is to approach the performance of C for comparable programs».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nGo — package html/template — «implements data-driven templates for generating HTML output safe against code injection»; «The escaping is contextual, so actions can appear within JavaScript, CSS, and URI contexts.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nGo — Avoiding SQL injection risk — «You can avoid an SQL injection risk by providing SQL parameter values as sql package function arguments.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nGo — Vulnerability management — кураторська база вразливостей; govulncheck «only surfaces vulnerabilities that actually affect you, based on which functions in your code are transitively calling vulnerable functions».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nPHP manual — Backward incompatible changes in PHP 8.5 — «The Opcache extension is now always built into the PHP binary and is always loaded. The INI directives opcache.enable and opcache.enable_cli are still honored.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nPHP RFC — Make OPcache a non-optional part of PHP — реалізовано в PHP 8.5; «running PHP in production without OPcache is generally considered a mistake».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nGo — The Go Memory Model — гонки на багатослівних значеннях «can in turn lead to arbitrary memory corruption»; ThreadSanitizer через go build -race повідомляє про гонки.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nGo — Data Race Detector — запускай тести з go test -race; «The race detector only finds races that happen at runtime, so it can\u0026rsquo;t find races in code paths that are not executed.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRust — rust-lang.org — «Rust is blazingly fast and memory-efficient: with no runtime or garbage collector».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nGo 1.5 Release Notes — «The compiler and runtime are now implemented in Go and assembler, without C.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nOpenJDK — The HotSpot Group — «around 3000 C/C++ header and source files, comprising more than 1.2 million lines of code».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\ndotnet/runtime — src/coreclr — збирач сміття (gc/gc.cpp) і JIT (jit/compiler.cpp) написано на C++.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nJava SE 21 — URLClassLoader — «to load classes and resources from a search path of URLs referring to both JAR files and directories».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNVD — CVE-2021-44228 — «An attacker who can control log messages or log message parameters can execute arbitrary code loaded from LDAP servers»; додано до CISA KEV 10 грудня 2021.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\n","permalink":"https://blogs.damiendye.uk/uk/security/php-twenty-nine-years-of-leaving-the-door-open/","summary":"PHP2Shell, оприлюднений 21 жовтня 2026, це віддалене виконання коду без автентифікації в самому інтерпретаторі PHP, у кожній версії аж до 5.4, і його використовували ще до появи патча. Це найновіший запис у довгій історії: 757 CVE проти інтерпретатора з 1997 року, з них щонайменше 288 пошкоджень пам’яті і 172 з оцінкою повного віддаленого захоплення без входу. Цей допис рахує цю історію з NVD і каталогу CISA KEV, пояснює, чому рушій на C і мова, якій знадобилося десять років, щоб прибрати register_globals, роблять ту саму помилку двічі, дивиться, що WordPress робить із цими числами, як вебшели закріплюються і як їх зупинити, два зломи самого php.net, частку вебу, що досі працює на версіях, які ніхто не латає, і чому звичне розгортання, один процес, що тримає шаблони, логіку, SQL і пароль до бази даних, перетворює кожну з цих вад на все одразу. І чому, сам відмовившись від PHP, я вважаю, що тобі варто подумати про перехід на мову з безпечною роботою з пам’яттю, таку як Go.","title":"PHP: двадцять дев’ять років відчинених дверей"},{"content":"Кожному імені, яке твоя машина сьогодні шукала, вона повірила, і про це я написав цілий допис. Цей допис про те, що відбувається з поштою після пошуку. Коротко: її надсилають на сервер, вибраний через DNS, каналом, який шифрується лише тоді, коли ніхто не заперечує, і несе вона повідомлення, яке будь-хто на шляху може прочитати й змінити, а майже жоден із захистів, вигаданих, щоб цьому запобігти, не ввімкнений.\nЦе не одна зламана річ. Їх сім, і кожна задумана так, що коли вона хибна, пошта все одно проходить. Жодної помилки. Рахунок доходить. Скидання пароля доходить. Просто вони ще й доходять до когось або через когось, хто ніколи не мав їх бачити, і ніде ніщо про це не каже.\nЦей допис є аргументом за те, щоб кожне з цих налаштувань було правильним, з доказами, чого кожне варте. Три дописи після нього будують усе це на справжніх серверах: Postfix, Microsoft 365 і Stalwart. Цей пояснює навіщо.\nАтака, яку стандарт описує, а потім забороняє Почнімо з труби між двома поштовими серверами, бо саме її більшість людей вважає давно розв’язаною. STARTTLS є командою, яка підіймає з’єднання SMTP до TLS. Більшість поштових серверів її підтримує, більшість пошти шифрується в дорозі, і це звучить як розв’язана проблема, доки не прочитаєш, як саме пропонується це підвищення.\nСервер-отримувач оголошує STARTTLS у своєму привітанні. Сервер-відправник бачить пропозицію й приймає її. Ніщо цю пропозицію не підписує і ніщо її не захищає. Тож машина на шляху між ними може видалити цей рядок, і ось результат, знятий у лабораторії з відправника, налаштованого на звичайний опортуністичний режим за замовчуванням:\n~\u0026gt; EHLO client.test [stripped] STARTTLS removed from the greeting *** Host did not advertise STARTTLS -\u0026gt; MAIL FROM:\u0026lt;carol@sender.test\u0026gt; -\u0026gt; Please pay invoice 1042 to sort code 20-00-00, account 12345678. \u0026lt;- 250 2.0.0 Ok: queued as D6A84132069C Відправник не побачив пропозиції STARTTLS, тож зробив те, що й означає «опортуністичний»: надіслав усе одно, відкритим текстом. Машина посередині прочитала все, разом із рахунком і банківськими реквізитами. Пошту доставили. Жодна помилка ні до кого не дійшла.\nЦю атаку вигадав не я. RFC 3207, стандарт, що визначає STARTTLS, точно описує її у власному розділі Security Considerations:\nA man-in-the-middle attack can be launched by deleting the \u0026ldquo;250 STARTTLS\u0026rdquo; response from the server. This would cause the client not to try to start a TLS session.1\nТой самий розділ дає й захист, і він очевидний: мати змогу вимагати TLS. «both clients and servers MUST be able to be configured to require successful TLS negotiation … for selected hosts before messages can be successfully transferred.»1 Тож налаштуй отримувача вимагати його, і зрізаний сеанс буде відхилено:\n[stripped] STARTTLS removed from the greeting *** Host did not advertise STARTTLS -\u0026gt; MAIL FROM:\u0026lt;carol@sender.test\u0026gt; \u0026lt;** 530 5.7.0 Must issue a STARTTLS command first От тільки не можна, не на публічному MX, бо той самий стандарт це забороняє:\nA publicly-referenced SMTP server MUST NOT require use of the STARTTLS extension in order to deliver mail locally.2\nПрочитай ці дві цитати разом. Стандарт описує атаку посередника, каже, що захист полягає у вимозі TLS, а потім каже, що твоєму публічному поштовому серверу вимагати його не дозволено. Прочитай це двічі. Це правило написали 2002 року, щоб пошта текла між серверами, які ще не всі вміли TLS. Воно досі чинне, і саме через нього більшість інтернету досі приймає пошту відкритим текстом, і саме тому зрізання STARTTLS працює й сьогодні.\nЄ й тямущий варіант нападника. Отримувач, що вимагає TLS, тебе не врятує, бо нападникові не треба передавати сеанс далі відкритим текстом. Він може прочитати понижений відкритий текст відправника і відкрити власне цілком коректне з’єднання TLS до отримувача, який бачить добрий сертифікат і задоволений. Я показав у лабораторії обидві половини: зрізання, що оголює відправника, і звичайний клієнт TLS, якого суворий отримувач приймає без жодних заперечень. Політика отримувача цього зупинити не може. Зупиняє це лише відправник, який відмовляється надсилати без автентифікованого TLS, і в цьому весь аргумент за DANE3 та MTA-STS,4 про які далі в цьому дописі.\nСім налаштувань, і як кожне відмовляє відкрито Труба є однією з двох проблем. Друга є ідентичністю: лист, що прийшов зашифрованим, лише стверджує, що він від того, від кого каже. Тож у грі сім налаштувань, розділених між цими двома завданнями, і спільне в них те, що варто засвоїти першим.\nСім налаштувань, два питання і що робить кожне, коли воно хибне ЧИ ТРУБА ПРИВАТНА? транспорт: між двома поштовими серверами ЧИ ВІДПРАВНИК СПРАВЖНІЙ? ідентичність: від кого лист нібито STARTTLS шифрує, якщо ніхто не втрутиться хибно: вирізано, відкритий текст MTA-STS політика HTTPS: TLS обов’язковий хибно: «testing» нічого не вимагає DANE / TLSA DNSSEC закріплює ключ сервера хибно: старий запис зупиняє доставку TLS-RPT відправники звітують про збої TLS нема: збоїв не видно SPF які хости можуть надсилати хибно: ~all є знизуванням плечима DKIM підпис над листом хибно: нема селектора, нема перевірки DMARC що робити, коли обидва не пройшли хибно: p=none назавжди Під обома: IPv6. MX без запису AAAA не прийме пошту від відправника лише з IPv6. Кожне з них може бути хибним, поки пошта тече далі, тому ніхто й не помічає Ось кожне: що воно захищає і що робить, коли налаштоване хибно. Глянь на останній стовпець. Майже завжди там сказано, що пошта однаково йде.\nНалаштування Завдання Що захищає Налаштоване хибно, і… STARTTLS транспорт шифрує перехід між двома серверами вирізане з привітання, надіслано відкритим текстом MTA-STS транспорт опублікована через HTTPS політика, що TLS обов’язковий лишене в testing, нічого не вимагає DANE / TLSA транспорт DNSSEC закріплює ключ сервера, тож TLS не можна понизити застарілий запис, і пошта до тебе відкладається TLS-RPT транспорт відправники повідомляють тобі про збої TLS5 не опубліковане, і збоїв не видно SPF ідентичність які сервери можуть надсилати від імені домену ~all є знизуванням плечима, а не відмовою DKIM ідентичність підпис над повідомленням селектор не опубліковано, нема чого перевіряти DMARC ідентичність що робити, коли SPF і DKIM не пройшли p=none спостерігає і нічого не робить Шість із цих семи, налаштовані хибно, все одно доставляють пошту. DANE є винятком. Це єдине налаштування в усьому списку, що відмовляє закрито: помилишся, і пошта зупиниться, а не витече. Запам’ятай це, бо саме через це люди його бояться, і саме тому воно найцінніше.\nСлово про кожне з трьох налаштувань ідентичності, бо решта серії на них спирається. SPF перелічує сервери, яким дозволено надсилати від імені домену, і закінчується правилом: -all означає «більше ніхто», ~all означає «більше ніхто, але все одно доставити». DKIM додає криптографічний підпис над повідомленням, тож будь-яка зміна видна, якщо домен справді опублікував ключ для перевірки. DMARC зв’язує їх і каже отримувачу, що робити, коли вони не пройшли, і чи збігаються вони з адресою From:, яку читач справді бачить. Це RFC 7208, 6376 і 7489, і кожен вартий окремого допису.6 7 8\nОдин DMARC пропускає підроблений рахунок Шар ідентичності має дірку саме там, де вона коштує найдорожче, і її варто показати, бо «у нас DMARC на reject» люди кажуть тоді, коли думають, що захищені.\nDMARC проходить, якщо або SPF, або DKIM проходить і узгоджується з доменом у From:. Будь-який, а не обидва. Тож візьми справжній підписаний лист із домену, зміни банківські реквізити в тілі й надішли його далі з того самого місця:\nDMARC пропустив змінений рахунок. Відкидання при збої DKIM ні ЩО НАДІСЛАЛИ ЩО ДІЙШЛО Рахунок 1042, підпис DKIM sort code 20-00-00, 12345678 змінено Той самий лист, той самий підпис sort code 40-11-22, 87654321 SPF: пройшов надіслано з дозволеної адреси DKIM: збій хеш тіла не збігається DMARC: пройшов досить одного узгодженого ЩО РОБИТЬ ОТРИМУВАЧ Лише DMARC Доставлено. Нові реквізити виглядають як справжні. Відкидати при збої DKIM 554 5.7.1 DKIM signature does not verify Знято в лабораторії: Rspamd 3.12.1 оцінив як R_SPF_ALLOW, R_DKIM_REJECT і DMARC_POLICY_ALLOW. DMARC питає, чи пройшла бодай одна перевірка. Змінений рахунок із правильної адреси проходить одну SPF усе одно проходить, бо лист прийшов з авторизованого сервера. Підпис DKIM тепер не проходить, бо тіло змінили. Але DMARC потребує лише одного узгодженого проходження, SPF його дав, тож DMARC проходить, і лист із новим номером рахунку доставлено таким, що виглядає точнісінько як оригінал. Я зняв це в лабораторії: Rspamd оцінив його як R_SPF_ALLOW, R_DKIM_REJECT і DMARC_POLICY_ALLOW, і сам по собі лист був би доставлений. Зупинило його лише правило, яке відхиляє одразу при зламаному підписі. Домен на p=reject не захищений від підробки, яку мав ловити цей підпис. Це варто знати, перш ніж вважати роботу зробленою.\nDANE вартий рівно стільки, скільки DNSSEC під ним Тепер транспортні налаштування, які справді зупиняють тямущого нападника, бо переносять рішення на бік відправника. DANE найсильніше з них. Він дає домену змогу опублікувати в DNS, у записі TLSA, відбиток ключа, який покаже його поштовий сервер, тож сервер-відправник може відмовитися від усього, що не збігається.9 Жодного центру сертифікації, жодної довіри до того, хто відповів на рукостискання TLS. Власник домену каже «це мій ключ», і на цьому все.\nОт тільки відповіді DNS можна підробити, тож відбиток, опублікований у звичайному DNS, нічого не вартий: той самий нападник, що зрізає STARTTLS, може підсунути тобі фальшивий відбиток під фальшивий ключ. DANE щось означає лише тоді, коли DNS, у якому він живе, підписаний DNSSEC, тож сам відбиток не підробиш. Це весь ланцюг, і тому цей допис стоїть у серії, що почалася з DNSSEC. Якщо ти з ним ще не знайомий, підґрунтя є в /uk/dns/dnssec-the-root-is-signed-you-are-not/, а в одному рядку: корінь підписаний, кожен вартий згадки TLD підписаний, а далі все обривається саме на тих іменах, якими люди справді користуються.\nЗапис TLSA вартий лише підпису над ним ПІДПИСАНО: alpha.test НЕ ПІДПИСАНО: plain.test Якір довіри для test. єдиний ключ, який має резолвер DS 38044 alpha.test підписано, за нього ручається батько RRSIG _25._tcp.mail.alpha.test TLSA 3 1 1 093a80cac907a52e… має збігтися відкритий ключ mail.alpha.test SHA-256 093a80cac907a52e… plain.test ні DS, ні підписів ніхто не ручається _25._tcp.mail.plain.test TLSA 3 1 1 0f09fe00d00d74c1… будь-хто міг підробити Відправник ігнорує політики DANE взагалі нема ЯК ЧИТАТИ 3 1 1 3: власний ключ сервера, без CA. 1: лише відкритий ключ. 1: SHA-256. Оновлюй сертифікат на тому самому ключі, і запис ніколи не доведеться міняти. Обидві зони публікують запис TLSA. Довести його може лише одна Діаграма показує два домени, що обидва публікують запис TLSA. Один сидить у підписаній зоні з неперервним ланцюгом підписів від кореня до відбитка, тож відправник може йому довіряти. Інший сидить у непідписаній зоні, тож його відбиток є просто байтами, які будь-хто міг написати, і коректний відправник повністю його ігнорує й не отримує жодного захисту DANE. Той самий запис, опублікований двома способами. Довести, що він справжній, може лише один.\nПублікувати треба запис 3 1 1: власний ключ сервера, а не ключ CA, відкритий ключ, а не весь сертифікат, хешований SHA-256. Середнє число найбільше окупається в експлуатації, бо закріплення ключа, а не сертифіката, означає, що запис переживає кожне оновлення, доки ти зберігаєш той самий ключ. Допис про Postfix має повну процедуру й пастку, в яку потрапляють люди: звичайний спосіб оновлення сертифікатів щоразу робить новий ключ і тихо ламає запис. Тут варто винести одне: 3 1 1 плюс повторне використання ключа дає запис, який публікуєш раз і більше не чіпаєш.\nПравила дому і чого коштує кожне Усе сказане вище перетворюється на короткий список правил, і наступні три дописи тримають справжні сервери до них. Вони не пом’якшені й не безкоштовні. Ось вони з рахунком, бо правило, ціну якого ти приховуєш, є правилом, яке ти насправді не вирішив дотримуватися.\nПравило Що воно зупиняє Чого воно тобі коштує Жодного відкритого тексту на вхід читання й підробку на вхідному переході відправник, чий сервер не вміє TLS, до тебе не достукається Жодного відкритого тексту на вихід те саме на вихідному переході пошта на сервер без TLS відкладається замість надсилання DANE або MTA-STS на вихід тямущого посередника застарілий запис на їхньому боці відкладає твою пошту до них IPv6 на кожному MX недосяжність для відправника лише з IPv6 записи AAAA і сервер подвійного стека, які треба обслуговувати Ретрансляція лише з логіном твій сервер відмиває чужий спам ніякого «надсилай звідки завгодно» за IP; користувачі мусять автентифікуватися Логін надсилає від себе працівник підробляє колегу правила на кожного користувача, у конверті й заголовку Відкидати невідомі домени відправника backscatter і підроблених неіснуючих відправників нічого легітимного; у них ніколи не було справжнього відправника Відхиляти збої SPF і DKIM підміну й підробку переслана пошта без SRS повертається Ціна пересилання кусається, і вона справжня: відхиляй лише за SPF, і лист, пересланий звідкись, чого нема в записі SPF відправника, буде відхилено, бо для отримувача пересилач виглядає точнісінько як підробник. Є виправлення, SRS і ARC,10 і допис про Postfix показує цей збій. Чесна позиція така: ці правила повертають частину пошти, яку м’якший сервер доставив би. У цьому їхній сенс. Частину цієї пошти й треба було повернути, а решта розповідає тобі про налаштування пересилання, яке трималося на тому, що ніхто не перевіряє.\nВоно відмовляє відкрито, і ось доказ Твердження, на якому стоїть увесь цей допис, полягає в тому, що ці налаштування відмовляють відкрито, тихо, тож робоче від зламаного на око не відрізниш. Це не теоретичне занепокоєння. Коли я будував сервер Postfix для наступного допису, кожен із цих збоїв стався, і кожен був налаштуванням, яке виглядало налаштованим і нічого не робило.\nП’ять відкритих відмов у лабораторії і одна закрита НАЛАШТУВАННЯ І КОЛИ ВОНО КУСАЄ ЩО ВОНО НАСПРАВДІ ЗРОБИЛО Postfix: dane адресат не публікує TLSA ВІДКРИТО падає в опортуністичний: відкритий текст Postfix: перевірка login-mismatch на порту 25, де логін вимкнено ВІДКРИТО пропущено з попередженням: наш домен підроблено Rspamd: local_addrs у local.d спроба звузити список ВІДКРИТО злито, не замінено: 10/8 і fd00::/8 без перевірки Лише DMARC DKIM не пройшов, SPF пройшов ВІДКРИТО змінений рахунок доставлено TLSA у непідписаній зоні виглядає точно як справжній ВІДКРИТО ігнорується: DANE взагалі нема TLSA підписаний, сертифікат не той запис застарів ЗАКРИТО відкладено: нічого не надіслано Кожен рядок знято в лабораторії, а не прочитано в посібнику. У п\u0026rsquo;яти з цих шести пошта текла далі. У цьому й проблема Шість справжніх налаштувань, кожне з побудови сервера Postfix для наступного допису. П’ять відмовили відкрито: доставили пошту без жодної помилки, і з вигляду працювали як слід. Шосте, застарілий запис DANE, відмовило закрито. Саме його всі бояться, і саме воно захистило лист, а не злило його. Урок лежить просто в останньому стовпці діаграми: налаштування, якого люди уникають, бо воно може зупинити їхню пошту, є єдиним, що поводиться так, як має поводитися засіб безпеки.\nКожен рядок тут є знятим результатом, а не прочитаним посібником. Робоче налаштування від зламаного відрізняють так: надсилаєш лист, який воно має зупинити, і дивишся, що повертається. Скажу це тут один раз і доведу тричі в решті серії.\nТо хто ж насправді хоч щось із цього робить? Одна справа сказати, що налаштування важливі. Інша спитати, чи ввімкнули їх організації, чия пошта важить найбільше. Тож я перевірив, нічим, крім DNS лише для читання і валідувального резолвера, 22 жовтня 2026: двадцять шість доменів, що приймають пошту, банки, великі провайдери, німецькі спеціалісти й центри сертифікації, кожен перевірено на сім речей із цього допису.11\nДомен MX має AAAA DNSSEC DANE (TLSA) MTA-STS DMARC SPF Британські банки barclays.co.uk ні ні ні ні reject -all hsbc.co.uk ні ні ні ні reject немає lloydsbank.com ні ні ні ні reject -all natwest.com ні ні ні ні reject немає santander.co.uk ні ні ні ні reject немає nationwide.co.uk ні ні ні ні reject немає monzo.com усі ні ні ні reject немає starlingbank.com ні ні ні ні reject немає Поштові провайдери gmail.com усі ні ні enforce немає без all outlook.com ні ні ні enforce немає -all yahoo.com ні ні ні testing reject без all icloud.com ні ні ні ні quarantine без all fastmail.com ні ні ні testing немає ~all proton.me ні так так enforce quarantine ~all Німецькі провайдери posteo.de ні так так enforce немає ~all mailbox.org усі так так enforce reject ~all gmx.de ні так так ні quarantine без all web.de ні так так testing quarantine без all t-online.de ні ні ні testing немає ~all Центри сертифікації letsencrypt.org усі ні ні ні reject -all digicert.com усі ні ні ні quarantine немає sectigo.com ні ні ні ні reject -all globalsign.com усі ні ні ні reject немає Британський державний сектор hmrc.gov.uk ні ні ні enforce reject немає nhs.uk ні ні ні ні reject -all ncsc.gov.uk ні ні ні enforce reject -all Спершу прочитай стовпець DMARC, бо він здебільшого заповнений. Більшість публікує політику DMARC, і більшість банків стоїть на reject. DMARC є тим налаштуванням, яке роблять, бо про нього питає аудитор і його може продати постачальник, і воно видиме: його можна знайти й поставити галочку. І воно ж, саме по собі, є налаштуванням, яке раніше в цьому дописі пропустило підроблений рахунок.\nТепер прочитай стовпець DANE, єдиного налаштування тут, яке не можна ні понизити, ні підробити. П’ять доменів із двадцяти шести. Кожен із них є німецьким провайдером або Proton. Жодного британського банку. Жодного з центрів сертифікації, компаній, увесь бізнес яких полягає в тому, щоб ручатися за ключі. Найсильніший захист від тієї самої атаки, з якої почався цей допис, роблять кілька людей, яким не байдуже, і ніхто з тих, хто лише відповідає вимогам.\nБанки є найгострішим рядком. Вісім, кожен на DMARC reject, і на всіх разом: жодного DANE, жодного примусового MTA-STS і лише один, Monzo, досяжний через IPv6. Два з чотирьох центрів сертифікації не публікують жодного запису SPF на власному апексі. HMRC і NatWest теж. Це не дрібні контори, які так і не дійшли до цього. Це організації, що надсилають тобі ту пошту, підробки якої ти боїшся найбільше, і захист у них є значком, який виглядає найсильнішим і робить найменше.\nСтовпець IPv6 є окремим маленьким скандалом. Двадцять із двадцяти шести взагалі не мають запису AAAA на своєму поштовому сервері, тож відправник у мережі лише з IPv6 до них не достукається, і це число рухається лише в один бік. Я написав /uk/networking/we-never-ran-out-of-addresses/ про відмову галузі доробити цю роботу, і ось вона знову, цього разу на шляху пошти. Та сама форма, що й у переписі gov.uk у /uk/dns/dnssec-the-root-is-signed-you-are-not/: важку частину зробили роки тому, реєстри віддають її задарма, а ті, хто найочевидніше мав би нею користуватися, не користуються. Центрального gov.uk навіть нема в таблиці, бо він не публікує жодного MX. Він не приймає пошту. Це теж спосіб скласти іспит.\nЯкщо ти досі цього не робиш, чи можеш ти називати себе професіоналом? Кожен стандарт, названий у цьому дописі, і перепис під ним вказують в один бік: це не дослідницька проблема, це проблема ввімкнення, і вмикають не ті, хто для цього найкраще розташований. Коли докази такі однобокі, питання перестає бути академічним і стає таким, на яке треба відповісти щодо власних серверів. Якщо ти ведеш пошту для організації, що працює з чужими грошима чи чужим здоров’ям, а твій MX не робить DANE, не вимагає MTA-STS і недосяжний через IPv6, чи можеш ти назвати це професійною роботою?\nЧесних відповідей три, і витримують перевірку лише перші дві. Так, із записаною причиною й датою поруч: ти на платформі, яка ще не пропонує DANE, ти це порушив, і в плані на наступний рік є рядок. Це професіонал, що керує справжнім обмеженням, і це нормально. Так, бо ти не знав, а тепер знаєш і цього тижня підеш з’ясувати, де стоїть твій сервер. Ніхто не починав із цим знанням. І ні: ти знав достатньо, щоб тобі було неспокійно, ти дочитав аж сюди, і ти закриєш вкладку й нічого не зміниш, бо пошта тече, помилок нема і ніхто тебе не змушує. Останнє не є прогалиною в знаннях. Це рішення лишити зламаним те, за що ти відповідаєш, бо зламане тихіше.\nСтандарт тебе не змушує. У цьому вся проблема, і в цьому ж уся суть. Знання не є чимось, що з тобою стається, і ніхто не прийде й не скаже тобі, що твій поштовий сервер два роки тихо надсилав відкритим текстом. Тож переконатися, що ти знаєш, і є твоя робота, і нічия більше.\nСтандарт є обіцянкою, яку тримаєш, коли ніхто не дивиться Усі складники цього закінчили роки тому. STARTTLS з 2002 року, SPF, DKIM і DMARC мають десяток років або більше, DANE для пошти специфікували 2015 року, MTA-STS 2018 року. Ніщо з цього не стоїть за ліцензією, ніщо не потребує постачальника, а реєстри, що несли б записи DNSSEC, віддають їх задарма. Важку інженерію зроблено. Лишилася легка частина, легка лише тоді, коли хтось потурбується: увімкнути, перевірити, що справді ввімкнено, і тримати ввімкненим, коли сертифікат оновлюється і запис має йти слідом.\nЦя остання частина, власне, і є всім. Стандарт не є документом. Документ існує двадцять років, а пошта досі йде відкритим текстом. Стандарт є тим, що тримаєш, коли нема повідомлення про помилку, яке б тебе змушувало, коли пошта текла б так само, якби ти тихо все занедбав, коли єдиним, хто колись про це дізнався б, є ти. Кожне з цих налаштувань відмовляє відкрито саме для того, щоб ніхто не був змушений перейматися. А отже, перейматися і є вся робота.\nНагороди за це не отримаєш. Рахунок, якого не змінили, виглядає точнісінько як рахунок, який змінили. Скидання пароля, якого ніхто не прочитав у дорозі, виглядає точнісінько як те, яке хтось прочитав. Різниця лише в ті дні, коли хтось спробував, і в ті дні людина, яка все ввімкнула й перевірила, що воно працює, так і не дізнається, що її атакували, бо атака не спрацювала. Ось як виглядає правильно зроблена робота ззовні: нічого не відбувається, з причин, яких ніхто не бачить.\nТож усе одно зроби кожне налаштування правильно. Не тому, що хтось перевіряє, бо ніхто не перевіряє. Зроби це тому, що саме ти сказав, що пошта в безпеці, а в наших краях це досі дечого варте.\nRFC 3207 §6 — SMTP Service Extension for Secure SMTP over TLS, Security Considerations: «A man-in-the-middle attack can be launched by deleting the „250 STARTTLS“ response from the server», і що клієнти й сервери «MUST be able to be configured to require successful TLS negotiation … for selected hosts».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 3207 §4 — «A publicly-referenced SMTP server MUST NOT require use of the STARTTLS extension in order to deliver mail locally. This rule prevents the STARTTLS extension from damaging the interoperability of the Internet\u0026rsquo;s SMTP infrastructure.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 7672 — безпека SMTP через опортуністичний DANE TLS, що визначає запис 3 1 1 для пошти й атаки пониження, яким він протистоїть.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 8461 — SMTP MTA Strict Transport Security (MTA-STS).\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 8460 — SMTP TLS Reporting (TLS-RPT).\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 7208 — Sender Policy Framework (SPF) для авторизації використання доменів в електронній пошті, версія 1.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 6376 — підписи DomainKeys Identified Mail (DKIM).\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 7489 — Domain-based Message Authentication, Reporting, and Conformance (DMARC).\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 6698 і RFC 7671 — запис TLSA DNS-Based Authentication of Named Entities (DANE) і оновлення щодо експлуатації.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 8617 — Authenticated Received Chain (ARC), що дає пересилачеві змогу засвідчити, що автентифікація пройшла до нього.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nВиміряно 22 жовтня 2026 через DNS лише для читання з валідувальним резолвером (1.1.1.1) і завантаження через HTTPS кожної політики MTA-STS. Для кожного домену: чи кожен хост MX публікує запис AAAA; чи пройшов валідацію пошук MX (прапорець AD); чи _25._tcp.\u0026lt;mx\u0026gt; містить запис TLSA у підписаній зоні; опублікований режим MTA-STS; політика DMARC у _dmarc.\u0026lt;domain\u0026gt;; і кваліфікатор all в записі SPF на апексі. Жодному з цих серверів нічого не надсилали.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\n","permalink":"https://blogs.damiendye.uk/uk/email/why-every-mail-setting-has-to-be-right/","summary":"Кожен шар захисту пошти задуманий так, щоб у разі збою відкотитися до «працює», а не відмовити безпечно. Виріж рядок STARTTLS із привітання, і опортуністичний відправник продовжить відкритим текстом, що RFC 3207 водночас описує як атаку і, на публічному сервері, забороняє тобі від неї захищатися. Цей допис ловить таку атаку посередника в лабораторії, потім проходить сім налаштувань, які захищають лист у дорозі, і для кожного показує, що воно захищає, чого не захищає і як відмовляє відкрито, коли воно хибне. Далі до DANE: чому запис TLSA нічого не вартий без DNSSEC під ним, чому важливі 3 1 1 і повторне використання ключа, і чому застарілий запис є єдиним збоєм, що закриває, а не відкриває. Потім перепис лише для читання британських банків, великих поштових провайдерів і центрів сертифікації: скільки з них справді щось із цього роблять.","title":"Чому кожне налаштування пошти мусить бути правильним"},{"content":"Встанови Postfix зі свого дистрибутива, прийми типові налаштування, і матимеш поштовий сервер, який надсилає твою пошту відкритим текстом на будь-який сервер, що не пропонує TLS, і приймає пошту від будь-кого, хто назветься будь-ким. Постачуваний у Debian main.cf ставить обидва рівні TLS у may. Ніщо не перевіряє SPF. Ніщо не перевіряє DKIM. Домен відправника, якого не існує, приймається.\nЦе не баг. Саме цього просили стандарти двадцять років тому, і саме так досі працює величезна кількість поштових серверів в інтернеті.\nЦей допис будує інший тип. Він бере домашні правила з головного допису цієї серії і вкладає кожне з них у робочий Postfix, разом із відповіддю, яку кожне дає, коли щось відхиляє. Аргументи на користь правил живуть у тому дописі, і двічі я їх не наводитиму. Цей допис про збірку.\nПравило Postfix у Debian як є Ця збірка Що отримує порушення Жодного відкритого тексту на вході TLS пропонується, але не вимагається encrypt на кожному слухачі 530 5.7.0 Must issue a STARTTLS command first Жодного відкритого тексту на виході TLS, якщо пропонують, інакше відкритий текст encrypt, DANE чи MTA-STS там, де опубліковано відкладено, dsn=4.7.4 або dsn=4.7.5 IPv6 на всьому inet_protocols = all те саме, плюс AAAA на кожному MX кожен тест нижче йшов по обох сімействах Пересилання лише після входу пересилає для mynetworks порт 25 ніколи не пересилає, 587 і 465 вимагають входу 554 5.7.1 … Relay access denied Вхід надсилає як він сам не перевіряється і конверт, і From: прив’язані до входу 553 5.7.1 … not owned by user Домен відправника має існувати не перевіряється reject_unknown_sender_domain, код 550 550 5.1.8 … Domain not found Збій SPF, збій DKIM не перевіряється Rspamd із примусовими відмовами 554 5.7.1 SPF hard fail / DKIM signature does not verify Кожну відповідь у цьому дописі записано з робочого сервера, по IPv4 та IPv6. Кілька налаштувань виявилися такими, що нічого не роблять, доки не задано ще щось. Кожне з них я знайшов, спостерігаючи, як воно нічого не робить. Вони позначені нижче, бо саме вони тебе вкусять.\nЛабораторія Одна ізольована мережа, кожен хост в обох сімействах адрес DNS І ПОЛІТИКИ мережа maillab: 10.89.50.0/24 і fd89:50::/64, внутрішня lab-ns BIND 9.20.30, підписує test. .10 і ::10 lab-resolver unbound 1.26.1, перевіряє .11 і ::11 lab-tlspol postfix-tlspol 1.14.4 .25 і ::25 lab-alpha Postfix 3.10.13 alpha.test .20 і ::20 lab-bravo Stalwart 0.16.27 bravo.test .21 і ::21 lab-plain Postfix, без TLS plain.test .22 і ::22 lab-client swaks, тестовий відправник sender.test .50 і ::50 ПОШТОВІ СЕРВЕРИ Одноразовий CA для сертифікатів. Кожен тест у цих дописах ішов по обох сімействах. Усе в дописі спершу запускалося тут. Ніщо тут не дістається до інтернету, тож ніщо тут і не є здогадом про інтернет Частина Версія Робота Postfix 3.10.13, Debian trixie MX і сервер подання для alpha.test Dovecot 2.4.1 паролі для входу, усі поштові протоколи вимкнено Rspamd, Redis 3.12.1, 8.0.2 SPF, DKIM, DMARC, підпис DKIM postfix-tlspol 1.14.4 вихідна політика з TLSA і MTA-STS BIND, unbound 9.20.30, 1.26.1 підписана приватна зона test. і резолвер, що її перевіряє Домен Для чого він alpha.test сервер, який будує цей допис bravo.test Stalwart, який отримає власний допис plain.test поганий сусід: непідписана зона, без STARTTLS sender.test SPF -all, DKIM, DMARC p=reject: для підробок, втручань і пересилань Кожен слухач прив’язаний до обох сімейств, і кожен MX має запис A і запис AAAA. IPv6 тут не додаток. Поштовий сервер без нього є дефектом, а довести, що цей його має, просто: запусти кожну перевірку двічі.\nЕтап за етапом Сеанс SMTP це фіксована послідовність, і кожне правило цієї збірки має в ній природне місце. Порядок важить з однієї причини: відмовляй так рано, як дозволяють докази. Що домену відправника не існує, відомо вже на MAIL FROM, тож немає причини приймати тіло листа, перш ніж відмовити. Що тіло змінене, відомо лише після DATA, тож там і відмовляємо.\nДе кусає кожне правило і що сказав сервер ЕТАП ПРАВИЛО І ВІДПОВІДЬ, ЗАПИСАНА В ЛАБОРАТОРІЇ EHLO STARTTLS AUTH MAIL FROM RCPT TO DATA AUTH не пропонується, доки немає TLS smtpd_tls_auth_only = yes пропусти його, і більше нічого не приймуть 530 5.7.0 Must issue a STARTTLS command first лише 587 і 465; порт 25 без входу 554 5.7.1 Client host rejected: Access denied домен відправника має існувати 550 5.1.8 Sender address rejected: Domain not found наш власний домен вимагає входу 554 5.7.1 Our own domain: send through submission вхід має володіти адресою 553 5.7.1 not owned by user alice@alpha.test порт 25 ніколи не пересилає 554 5.7.1 Relay access denied Rspamd: SPF, DKIM, DMARC 554 5.7.1 SPF hard fail / DKIM does not verify заголовок From: має бути входом 554 5.7.1 You may only send as your own address Postfix притримує відмови на MAIL FROM до RCPT TO, тож ці три відповіді приходять на крок пізніше. Кожне правило має свій етап. Відмовляй так рано, як дозволяють докази Решта допису йде цими етапами по порядку: TLS на вході, TLS на виході, вхід і пересилання, адреси відправника, а потім те, що Rspamd робить із тілом листа.\nЖодного відкритого тексту на вході Один рядок:\nsmtpd_tls_security_level = encrypt Клієнт, який пробує пропустити STARTTLS, не отримує нічого, крім відмови:\n\u0026lt;- 220 mail.alpha.test ESMTP Postfix -\u0026gt; MAIL FROM:\u0026lt;carol@sender.test\u0026gt; \u0026lt;** 530 5.7.0 Must issue a STARTTLS command first А тепер прочитай, що власна документація Postfix каже про це налаштування:\nAccording to RFC 2487 this MUST NOT be applied in case of a publicly-referenced SMTP server. Instead, this should be used on dedicated servers, for example submission (port 587).1\nRFC 2487 це старий номер RFC 3207, і саме через це правило більшість хостів MX в інтернеті досі приймають пошту відкритим текстом. Я однаково застосовую його до публічного MX. Свідомо. Головний допис пояснює, чому я вважаю це правило хибним, і ціна справжня: відправник, чий сервер не вміє TLS, до тебе не достукається. У 2026 році це сервер, від якого тобі пошта й не потрібна.\nЖодного відкритого тексту на виході Цю половину більшість посібників роблять неправильно, бо очевидне налаштування робить не те, що обіцяє його назва.\nPostfix має рівень безпеки dane. Постав його, і чекатимеш, що пошта йтиме автентифікованою. Не йтиме. Ось що postconf(5) каже про його поведінку, коли інший бік нічого не публікує:\nWhen DNSSEC-validated TLSA records are not found the effective tls security level is \u0026ldquo;may\u0026rdquo;.2\nmay це опортуністичний TLS, і TLS_README описує його прямо: «Otherwise, messages are sent in the clear.»3 Більша частина інтернету не публікує записів TLSA. Тож smtp_tls_security_level = dane сам по собі означає DANE для жменьки доменів, що це роблять, і відкритий текст для всіх інших, чий сервер не пропонує STARTTLS. Опортуністичний режим із кращою назвою.\nВиправлення таке: зробити encrypt нижньою межею і піднімати кожне призначення вище неї, коли воно публікує щось краще. Піднімає postfix-tlspol. Це невеликий сервер політик під ліцензією MIT, якого Postfix питає про кожен домен одержувача через socketmap. Він спершу шукає придатні записи TLSA у підписаній зоні, потім MTA-STS, і відповідає політикою, яку має застосувати Postfix:\nsmtp_dns_support_level = dnssec smtp_tls_security_level = encrypt smtp_tls_mandatory_protocols = \u0026gt;=TLSv1.2 smtp_tls_policy_maps = socketmap:inet:[fd89:50::25]:8642:QUERYwithTLSRPT Три політики, і жодна з них не відкритий текст ЗАПИТ ЩО ПУБЛІКУЄ ДОМЕН ПОЛІТИКА POSTFIX postfix-tlspol для кожного домену одержувача, через DNSSEC Придатний TLSA у підписаній зоні MTA-STS, enforce політика через HTTPS Нічого з цього більшість інтернету dane-only ключ сервера має збігатися secure match=… сертифікат CA, лише вказаний MX encrypt TLS обов’язковий, без автентифікації А КОЛИ ЦЕ НЕМОЖЛИВО, ПОШТА ЧЕКАЄ STARTTLS не запропоновано: dsn=4.7.4 ключ не збігається: dsn=4.7.5 Постачуваний рівень dane додав би четвертий рядок: немає TLSA, надсилай відкритим текстом. Ця конфігурація його не має Його README конкретно каже, що він повертає: він «Verify TLSA records for correctness and supported parameters, only then the dane-only policy (Mandatory DANE) will be returned.»4 Коли його спитали про три лабораторні домени, він сказав саме це:\nlevel=INFO msg=\u0026#34;Evaluated policy\u0026#34; origin=network domain=alpha.test policy=dane-only ttl=214 level=INFO msg=\u0026#34;Evaluated policy\u0026#34; origin=network domain=bravo.test policy=dane-only ttl=198 level=INFO msg=\u0026#34;No policy found\u0026#34; origin=network domain=plain.test ttl=1800 Відсутність політики для plain.test означає, що Postfix відступає до нижньої межі encrypt, а plain.test не пропонує STARTTLS. Пошта чекає:\npostfix/smtp[194]: 78598130DA54: to=\u0026lt;someone@plain.test\u0026gt;, relay=mail.plain.test[fd89:50::22]:25, delay=0.02, delays=0.01/0.01/0.01/0, dsn=4.7.4, status=deferred (TLS is required, but was not offered by host mail.plain.test[fd89:50::22]) А ось випадок, що доводить: DANE щось робить. На початку збірки Stalwart на bravo.test ще віддавав власний стартовий сертифікат, тоді як зона публікувала запис TLSA для справжнього. Сервер із цілком нормальним сертифікатом, просто не тим, за який поручився власник домену:\npostfix/smtp[196]: server certificate verification failed for mail.bravo.test[fd89:50::21]:25: num=65:no matching DANE TLSA records postfix/smtp[196]: 79160130DA56: to=\u0026lt;someone@bravo.test\u0026gt;, relay=mail.bravo.test[10.89.50.21]:25, delay=5.9, delays=0/0.01/5.9/0, dsn=4.7.5, status=deferred (Server certificate not verified) В обох випадках «відкладено» є правильною відповіддю. Відкладений лист повторюють кілька днів, що дає іншому боку час полагодити свій кінець, і нічого не губиться. Лист, надісланий відкритим текстом, назад не забереш. Тож чекати завжди дешевший збій.\nРезолвер є частиною ланцюга довіри smtp_dns_support_level = dnssec змушує Postfix просити в резолвера перевірені відповіді, а потім вірити біту AD від резолвера, прапорцю, що каже «я перевірив підписи». Сам Postfix нічого не перевіряє. Він довіряє. Хоч який резолвер вказано в /etc/resolv.conf, тепер саме він вирішує, чи твоя пошта автентифікована.\nТи знайдеш поради, що glibc викидає цей біт, якщо в resolv.conf немає options trust-ad. Я це перевірив, і на цьому Postfix різниці немає: DANE збігався і з опцією, і без неї. Вихідний код пояснює чому. Postfix сам ставить прапорець щоразу, коли просить DNSSEC:\nif (DNS_WANT_DNSSEC_VALIDATION(flags)) flags |= (RES_USE_EDNS0 | RES_TRUSTAD); Це з src/dns/dns_lookup.c.5 Тож важить не опція резолвера. Важить, на який резолвер ти вказуєш. Він мусить перевіряти підписи, і шлях до нього має бути таким, якому ти довіряєш, що на практиці означає: він працює на самому поштовому сервері або в мережі, до якої ніхто інший не дістанеться. Публічний резолвер через інтернет охоче поставить тобі AD. Так само зробить будь-хто, хто сидить між тобою і ним.\nDANE: публікуй ключ, а не сертифікат Запис TLSA закріплює те, що сервер-відправник має побачити під час з’єднання. Використовувати треба 3 1 1, і кожне з трьох чисел є вибором:\nПоле Значення Що означає Чому саме воно Usage 3, DANE-EE збіг із власним сертифікатом сервера у ланцюгу немає CA, якому треба довіряти чи який може підвести Selector 1, SPKI хешувати лише відкритий ключ переживає кожне поновлення на тому самому ключі Matching 1, SHA-256 дайджест, а не повний ключ кожен клієнт DANE мусить це підтримувати RFC 7672 пояснює причину такої комбінації одним рядком:\nthis record type works for all clients and need not change across certificate renewals with the same key.6\nХеш це один конвеєр, і ось він проти лабораторного сертифіката та запису, який віддає підписана зона:\n$ openssl x509 -in mail.alpha.test.crt -noout -pubkey \\ | openssl pkey -pubin -outform DER | sha256sum 093a80cac907a52eb41d17df20163c95f2e15d6702c76f65174d7fc32460c69f - $ dig +dnssec _25._tcp.mail.alpha.test TLSA ;; flags: qr rd ra ad; QUERY: 1, ANSWER: 2, AUTHORITY: 0, ADDITIONAL: 1 _25._tcp.mail.alpha.test. 165 IN TLSA 3 1 1 093A80CAC907A52EB41D17DF20163C95F2E15D6702C76F65174D7FC3 2460C69F Частину «need not change» лабораторія довела випадково. Посеред роботи суворіші перевірки сертифікатів у Python 3.13 відкинули лабораторні сертифікати через відсутній ідентифікатор ключа центру сертифікації, тож усі їх перевипустили. Ті самі закриті ключі, нові сертифікати. Жоден запис TLSA не змінився, і жоден відправник із DANE нічого не помітив.\nТепер пастка. Більшість людей поновлює сертифікати через certbot, автоматично, раз на кілька тижнів. З власної документації certbot:\nNot reusing private keys is the default behavior of Certbot.7\nТож типове поновлення щоразу створює новий ключ. Запис TLSA перестає збігатися, і кожен відправник, що перевіряє DANE, у день поновлення починає відкладати твою пошту. На твоєму боці ніщо не ламається. Ніщо тобі про це не каже. Запускай certbot з --reuse-key, і запис переживе кожен сертифікат, який ти за ним поставиш. Коли ключ таки треба змінити, для цього є порядок:\nТой самий ключ: нічого робити. Новий ключ: чотири кроки по порядку ПОНОВЛЕННЯ НА ТОМУ САМОМУ КЛЮЧІ Поновити сертифікат той самий закритий ключ TLSA без змін 093a80… до і після Нічого публікувати DANE нічого не помітить ЗМІНА КЛЮЧА 1. Новий TLSA поруч зі старим 2. Чекати два TTL кеші тримають старий набір 3. Змінити ключ сервер показує новий 4. Видалити старий лише тепер, не раніше Пропусти крок 2, і кожен відправник DANE зі старим записом у кеші відкладатиме твою пошту, доки той не застаріє. Використовуй той самий ключ під час поновлення, і запис TLSA переживе кожен сертифікат, який ти за ним поставиш Другий крок люди пропускають. Результат: відкладена пошта, доки старий запис не застаріє в кожному кеші, і відкладають її саме ті відправники, що роблять безпеку як слід.\nНіхто не пересилає без входу Пересилання (relay) означає надсилати пошту далі до домену, для якого ти не є кінцевою точкою. Відкритий релей це спосіб відмивати спам через чужу репутацію. Старий спосіб закрити його полягав у довірі до діапазону адрес, тож усе з офісної мережі могло пересилати. Це довіра за місцем. У мережі з гостьовим WiFi, користувачами VPN і випадковим скомпрометованим ноутбуком місце мало чого варте.\nТож жодній адресі не довіряють, крім самої машини:\nmynetworks = 127.0.0.0/8 [::1]/128 smtpd_relay_restrictions = reject_unauth_destination Порт 25 для пошти, що надходить до цього домену, і ні для чого іншого. Він ніколи не пересилає, ні для кого:\n\u0026lt;** 554 5.7.1 \u0026lt;someone@plain.test\u0026gt;: Relay access denied Користувачі надсилають через подання: порт 587 зі STARTTLS або 465 з TLS від першого байта. Обидва вимагають входу, перш ніж щось робити. Dovecot перевіряє паролі, з усіма поштовими протоколами вимкненими, щоб він не робив нічого іншого, а Postfix питає його через сокет. Слухач подання в master.cf:\nsubmission inet n - y - - smtpd -o smtpd_tls_security_level=encrypt -o smtpd_sasl_auth_enable=yes -o smtpd_tls_auth_only=yes -o smtpd_client_restrictions=permit_sasl_authenticated,reject -o smtpd_sender_restrictions=reject_sender_login_mismatch -o smtpd_relay_restrictions=permit_sasl_authenticated,reject smtpd_tls_auth_only означає, що сервер навіть не пропонує AUTH, доки не піднято TLS, тож пароль ніколи не проходить дротом відкритим текстом. Рядків AUTH у відповіді на EHLO без шифрування: нуль. Клієнт, що підключається до 587 і пробує надіслати без входу, нікуди не дістається:\n\u0026lt;** 554 5.7.1 \u0026lt;unknown[fd89:50::50]\u0026gt;: Client host rejected: Access denied Вхід володіє своїми адресами Вхід доводить, хто ти. Він нічого не каже про те, від імені яких адрес тобі можна надсилати. Без цього зв’язку будь-який користувач на сервері може надіслати лист від імені фінансового директора, і пошту буде підписано й доставлено так, ніби вона справжня. Postfix пов’язує одне з іншим мапою «адреса до власника»:\nalice@alpha.test alice@alpha.test bob@alpha.test bob@alpha.test postmaster@alpha.test alice@alpha.test reject_sender_login_mismatch на портах подання застосовує це до відправника в конверті. Увійшовши як alice, пробуємо надіслати як bob:\n\u0026lt;** 553 5.7.1 \u0026lt;bob@alpha.test\u0026gt;: Sender address rejected: not owned by user alice@alpha.test Це покриває конверт. Це не покриває заголовок From:, тобто адресу, яку одержувач справді бачить, і postconf(5) прямо каже про це у примітках до цього самого обмеження:\nto enforce that the From: header address matches the envelope sender (MAIL FROM) address, use an external filter such as a Milter8\nRspamd тут уже працює як milter, тож перевірка заголовка це коротке правило на Lua, яке порівнює користувача, що увійшов, з адресою From:, плюс примусова відмова на символ, який воно піднімає:\nrspamd_config.AUTH_FROM_NOT_LOGIN = { callback = function(task) local user = task:get_user() if not user then return false end local from = task:get_from(\u0026#39;mime\u0026#39;) if not from or not from[1] or not from[1].addr then return true, \u0026#39;no From address\u0026#39; end if string.lower(from[1].addr) ~= string.lower(user) then return true, from[1].addr .. \u0026#39; is not \u0026#39; .. user end return false end, score = 0.0, description = \u0026#39;Authenticated user sent with a From: address that is not their own\u0026#39;, group = \u0026#39;headers\u0026#39;, } Alice надсилає з MAIL FROM:\u0026lt;alice@alpha.test\u0026gt; і From: bob@alpha.test:\n\u0026lt;** 554 5.7.1 You may only send as your own address Відображуване ім’я дозволене, і зміна регістру теж. Alice \u0026lt;ALICE@alpha.test\u0026gt; проходить, бо порівнюється адреса і без урахування регістру.\nПеревірка, яка сама себе вимикає Ось перше з налаштувань, що мовчки нічого не роблять. Очевидний спосіб не дати стороннім підробляти твій власний домен на порту 25 полягає в тому, щоб поставити туди й перевірки невідповідності входу. Postfix приймає конфігурацію, стартує і пише в журнал ось що:\nwarning: restriction `reject_authenticated_sender_login_mismatch\u0026#39; ignored: no SASL support warning: restriction `reject_unauthenticated_sender_login_mismatch\u0026#39; ignored: no SASL support На порту 25 SASL вимкнено, і цілком слушно, бо там ніхто не входить. Тож перевірку пропущено. Пошту прийнято. Єдиний слід це попередження в журналі, який ніхто не читає, а без цієї перевірки будь-хто в інтернеті міг би надіслати на цей сервер MAIL FROM:\u0026lt;alice@alpha.test\u0026gt; і доставити лист колегам alice так, ніби його написала вона.\nВиправлення: відмовляти нашим власним доменам за назвою на порту 25, бо пошта від нас законно ніколи туди не надходить:\nsmtpd_sender_restrictions = reject_non_fqdn_sender, reject_unknown_sender_domain, check_sender_access texthash:/etc/postfix/own_domains де own_domains містить один рядок, alpha.test REJECT Our own domain: send through submission with a login. Перевірено ззовні:\n\u0026lt;** 554 5.7.1 \u0026lt;alice@alpha.test\u0026gt;: Sender address rejected: Our own domain: send through submission with a login Домени відправника, яких не існує Якщо домену в MAIL FROM не існує, туди ніколи нічого не можна буде надіслати назад, і нічого законного звідти ніколи не надходило. reject_unknown_sender_domain відхиляє пошту, коли цей домен має «no DNS MX and no DNS A record».9 Типовий код відповіді Postfix для цього 450, тимчасова помилка, яка запрошує підробника спробувати пізніше. Я змінив його на 550.\npostconf(5) прямо висловлюється щодо цього налаштування: «Do not change this unless you have a complete understanding of RFC 5321.»10 Справедливо. Ось міркування. 4xx каже відправникові поставити лист у чергу й повторити, і це правильно, коли відповідь може змінитися. Домен, у якого записів немає зараз, не обросте ними за наступні п’ять хвилин. Postfix відокремлює це від випадку, коли відповідь ще невідома: збій DNS обробляє unknown_address_tempfail_action, і він досі відкладає. Зміна коду змінює лише той випадок, у якого відповідь є.\nЛабораторія перевірила всі три, плюс той, що цікавить правило IPv6. Формулювання postconf каже «A record», а домен, чия єдина адреса це запис AAAA, не повинен вважатися відсутнім:\nДомен відправника DNS каже Відповідь nosuch-lab.co.uk NXDOMAIN 550 5.1.8 \u0026lt;someone@nosuch-lab.co.uk\u0026gt;: Sender address rejected: Domain not found v6only-lab.co.uk лише AAAA, без A, без MX прийнято dnsfail-lab.co.uk SERVFAIL 450 4.1.8 … Sender address rejected: Domain not found, повтор пізніше sender.test MX, A, AAAA прийнято На практиці «A record» охоплює AAAA, і домен лише з IPv6 у безпеці. Відмова приходить на MAIL FROM, ще до того, як відправник надіслав бодай байт тіла. За замовчуванням Postfix притримує відмову на MAIL FROM до першого RCPT TO, тож відповідь приходить на крок пізніше, ніж ти міг би чекати, і тому діаграма етапів показує її саме там.\nSPF, DKIM і DMARC із зубами Ці три як слід розібрано в головному дописі. По одному рядку на кожен: SPF каже, яким серверам можна надсилати від імені домену, DKIM підписує лист, щоб зміни було видно, а DMARC каже, що робити, коли вони не проходять, і чи збігаються вони з видимим доменом у From:. Домашнє правило: відхиляти при жорсткому збої SPF і при підписі DKIM, який є, але не перевіряється. Непідписана пошта не є збоєм DKIM. Це обробляє DMARC p=reject на домені відправника.\nRspamd робить усі три в одному milter, плюс підписує DKIM вихідну пошту. Postfix передає йому кожен лист, і якщо Rspamd не відповідає, пошта чекає, а не проходить неперевіреною:\nsmtpd_milters = inet:127.0.0.1:11332 non_smtpd_milters = $smtpd_milters milter_default_action = tempfail Rspamd працює на балах, і це перше, що про нього треба зрозуміти. З коробки нічого не відхиляється через те, що SPF не пройшов. Нічого. Кожен результат додає чи віднімає кілька балів, і лист відхиляється, коли сума перевищує 15. Модуль force_actions і перетворює окремий результат на рішення:\nrules { SPF_FAIL_REJECT { action = \u0026#34;reject\u0026#34;; expression = \u0026#34;R_SPF_FAIL\u0026#34;; message = \u0026#34;SPF hard fail: this host is not allowed to send for that domain\u0026#34;; } DKIM_FAIL_REJECT { action = \u0026#34;reject\u0026#34;; expression = \u0026#34;R_DKIM_REJECT\u0026#34;; message = \u0026#34;DKIM signature does not verify: the message was changed or forged\u0026#34;; } DMARC_REJECT { action = \u0026#34;reject\u0026#34;; expression = \u0026#34;DMARC_POLICY_REJECT\u0026#34;; message = \u0026#34;DMARC policy of the sender\u0026#39;s domain says reject\u0026#34;; } } П’ять листів від sender.test, надісланих із клієнта в лабораторії. Запис SPF дозволяє ip6:fd89:50::50 і більше нічого, тож той самий клієнт, що надсилає по IPv4, є неавторизованим сервером для цього домену. Саме так виглядає і пересланий лист:\nВипадок Як надіслано SPF DKIM DMARC Бали Rspamd Відповідь A підписаний, з указаної адреси IPv6 pass pass pass 3,59 з 15 прийнято B підписаний, потім змінено банківські реквізити pass fail pass 2,30 з 15 554 5.7.1 DKIM signature does not verify C непідписаний, з IPv4 fail none reject 5,00 з 15 554 5.7.1 SPF hard fail D підписаний і незмінений, з IPv4 fail pass pass 2,30 з 15 554 5.7.1 SPF hard fail E непідписаний, з указаної адреси IPv6 pass none pass 3,80 з 15 прийнято Подивись на випадок B. Це рахунок-фактура, у якому після підпису змінили код банку й номер рахунку. Інакше кажучи, шахрайство з рахунками. SPF пройшов, бо лист прийшов із правильного сервера. DMARC пройшов, бо SPF пройшов і збігся з доменом у From:. За балами Rspamd дав йому 2,30 з 15 і доставив би його. Єдине, що його зупинило, це примусова відмова на зламаний підпис. DMARC сам по собі пропускає змінений лист, доки вціліла хоча б одна з двох перевірок, і це варто знати, перш ніж називати домен захищеним лише тому, що його DMARC каже reject.\nВипадок D це ціна, і про неї треба сказати прямо. Правильно підписаний, незмінений лист відхилено, бо він прийшов із сервера, якого немає в записі SPF. Саме це робить пересилання: пересилач надсилає твій лист далі зі своєї адреси. Відмова лише на основі SPF означає, що переслана пошта з доменів із -all повертається. SRS на пересилачі це виправляє, і так само виправила б довіра до DKIM понад SPF, але домашнє правило є домашнім правилом, і ціну записано.\nТипове налаштування, що довіряє кожній приватній мережі Друге налаштування, що мовчки нічого не робить. Rspamd пропускає SPF та деякі інші перевірки для адрес, які вважає локальними, і постачуваний список в options.inc такий:\nlocal_addrs = [192.168.0.0/16, 10.0.0.0/8, 172.16.0.0/12, fd00::/8, 169.254.0.0/16, fe80::/10]; Кожен приватний діапазон, обидва сімейства. Якщо твій MX стоїть за балансувальником навантаження, NAT чи проксі з приватною адресою, SPF тихо пропускається для всього цього. У лабораторії, де вся адресація приватна, SPF жодного разу не дав збою, доки це не змінили.\nОчевидне виправлення не працює. Rspamd має два каталоги для локальних налаштувань, і його FAQ пояснює різницю: local.d «Merges with defaults. Collections and lists are combined», тоді як override.d «Replaces defaults.»11 Вужчий список у local.d/options.inc об’єднується з постачуваним, тобто нічого не звужує. Він мусить іти в override.d/options.inc:\nlocal_addrs = [127.0.0.0/8, ::1]; а rspamadm configdump options це спосіб перевірити, що Rspamd насправді отримав, а не що ти думаєш, що написав.\nУ цій збірці також вимкнено сірі списки (greylisting). Вони надсилають невідомим відправникам тимчасову відмову і приймають їх під час повтору, що справді зупиняє частину спаму, але сірі списки Rspamd відповідають раніше, ніж своє скажуть SPF і DMARC, тож під час тестування ти бачиш відкладення там, де чекав вердикту.12 Тести вище мають сенс лише з вимкненими сірими списками.\nТвої власні повернення, відхилені твоїм власним DMARC Остання пастка виринула, коли Stalwart у лабораторії відхилив повернення (bounce) від цього сервера. Postfix надсилає повернення з порожнім відправником конверта і From: MAILER-DAEMON@mail.alpha.test. Без відправника в конверті єдина перевірка SPF, що лишається, це перевірка імені, яке сервер назвав у HELO, mail.alpha.test, а в нього не було запису SPF. Повернення також не було підписане. Тож DMARC відступив до політики для alpha.test, знайшов p=reject, і сервер-одержувач зробив саме те, що йому сказав домен:\nsmtp.dmarc-fail … domain = \u0026#34;alpha.test\u0026#34;, policy = \u0026#34;reject\u0026#34;, result = DMARC check failed (dmarc.fail) { causedBy = Policy not aligned } Власна політика домену викидала його власні повідомлення про недоставку. Кожне ім’я хоста MX отримує власний запис SPF, і це виправляє проблему:\nmail IN TXT \u0026#34;v=spf1 a -all\u0026#34; Шість налаштувань, які виглядають зробленими Пастки вище мають спільну форму. Кожна з них це налаштування, яке виглядає зробленим, не дає помилки і не робить нічогісінько.\nВиглядає зробленим Що насправді відбувається Як знайдено smtp_tls_security_level = dane відкритий текст скрізь, де не опубліковано TLSA читанням postconf(5) перевірки невідповідності входу на порту 25 пропущено, одне попередження в журналі надсиланням підробки local_addrs звужено в local.d об’єднано з типовим, нічого не звужено rspamadm configdump DMARC p=reject у відправника змінена пошта проходить, якщо проходить SPF випадок B поновлення certbot новий ключ, TLSA перестає збігатися читанням документації certbot DMARC p=reject на твоєму власному домені твої власні повернення відхилено відхиленим поверненням Два з них є в документації, якщо прочитати правильний абзац правильної сторінки. Решта чотири виринули лише тоді, коли я надіслав саме той лист, який правило мало зупинити, і подивився, що повернулося. Перечитування конфігурації й згода з нею не знайшли жодного. Якщо ти візьмеш із цього допису одну звичку, візьми цю, бо кожен рядок тут можна скопіювати на сервер, і він однаково може не працювати.\nТипові налаштування це чуже рішення Кожна відмова в цьому дописі це налаштування, яке Postfix має роками. Навіть DANE, найновіше тут, є в ньому з версії 2.11.13 Ніщо з цього не нове, ніщо не дороге, а сервер під ним та сама вільна програма, якою він завжди був. Різниця між поштовим сервером, що пропускає змінений рахунок, і тим, що відхиляє його на DATA, це сторінка конфігурації та пообіддя тестування.\nТо чому ж так мало інтернету так працює? Бо вирішують типові налаштування, а їх задали, щоб пошта гарантовано проходила в інтернеті, де TLS був винятком. Тоді це було розумне рішення. Залиш їх як є сьогодні, і ти віддав свої рішення з безпеки на вибір, який хтось зробив у 2002 році, для мережі, якої вже не існує, щодо пошти, яка не була твоєю.\nТримати поштовий сервер означає вирішити відповідати за те, що крізь нього проходить. Ці налаштування і є це рішення, записане. Типові налаштування це те, що ти отримуєш, коли його ніхто не ухвалив.\npostconf(5): smtpd_tls_security_level — рівень encrypt: «According to RFC 2487 this MUST NOT be applied in case of a publicly-referenced SMTP server.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\npostconf(5): smtp_tls_security_level — рівень dane: «When DNSSEC-validated TLSA records are not found the effective tls security level is „may“.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nPostfix TLS_README: Opportunistic TLS — «The SMTP transaction is encrypted if the STARTTLS ESMTP feature is supported by the server. Otherwise, messages are sent in the clear.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\npostfix-tlspol on GitHub — сервер політик MTA-STS і DANE для Postfix під ліцензією MIT: «Verify TLSA records for correctness and supported parameters, only then the dane-only policy (Mandatory DANE) will be returned.» Тут використано версію 1.14.4.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nPostfix source, src/dns/dns_lookup.c — «Automatically turns on the RES_TRUSTAD flag on systems that support this flag», і код, який це робить, коли запитано перевірку DNSSEC.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 7672 §3.1.1 — безпека SMTP через опортуністичний DANE TLS. Записи TLSA для серверів SMTP «should, in most cases, be „DANE-EE(3) SPKI(1) SHA2-256(1)“ records».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCertbot user guide, command-line options — --reuse-key: «When renewing, use the same private key as the existing certificate. (default: False)», а під --no-reuse-key: «Not reusing private keys is the default behavior of Certbot.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\npostconf(5): reject_known_sender_login_mismatch — «to enforce that the From: header address matches the envelope sender (MAIL FROM) address, use an external filter such as a Milter».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\npostconf(5): reject_unknown_sender_domain — відхиляє, коли домен у MAIL FROM має «no DNS MX and no DNS A record», або хибний MX.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\npostconf(5): unknown_address_reject_code — типово 450: «Do not change this unless you have a complete understanding of RFC 5321.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRspamd FAQ: the difference between local.d and override.d — local.d «Merges with defaults. Collections and lists are combined»; override.d «Replaces defaults. Entire sections are overwritten.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRspamd greylisting module — «The greylisting module triggers a soft reject action, which is intended to be interpreted by the MTA as a temporary rejection».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nPostfix TLS_README: DANE — «Postfix ≥ 2.11 supports the new dane and dane-only security levels».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\n","permalink":"https://blogs.damiendye.uk/uk/email/postfix-dane-done-properly/","summary":"Postfix з коробки надсилає відкритим текстом, коли інший бік не пропонує TLS, і приймає пошту від будь-кого, хто назветься будь-ким. Це інша збірка: Postfix 3.10.13 з Dovecot для входу, Rspamd для SPF, DKIM і DMARC та postfix-tlspol для DANE і MTA-STS. Жодного відкритого тексту ні на вході, ні на виході, порт 25 ніколи не пересилає, вхід володіє своїми адресами в конверті й у заголовку From, домени відправника, яких не існує, відхиляються, а підроблений чи змінений лист ніколи не проходить далі DATA. Кожну відповідь записано в лабораторії по IPv4 та IPv6, разом із шістьма налаштуваннями, які мовчки нічого не роблять, доки не задано ще щось, типовим режимом certbot, що ламає DANE під час поновлення, і тим, чого все це коштує тобі в пересланій пошті.","title":"Postfix, DANE і кожне налаштування як слід"},{"content":"Два попередні дописи збудували поштовий сервер, що відповідає набору правил: раз із чотирьох пакетів і раз з одного бінарного файлу. Майже ніхто так не робить. Люди платять Microsoft, спрямовують свій домен на Exchange Online і дають йому впоратися з усім. Тож чесне питання тут не «як мені це збудувати», а «якщо я вже заплатив за платформу, на якій працює більша частина країни, чи можу я змусити її відповідати тим самим правилам?»\nВідповідь, за власною документацією Microsoft і поглядом на DNS справжніх тенантів у режимі лише для читання, така: деяким добре, кільком зовсім ні, і платформа не скаже тобі, яким саме. Це видання поштової безпеки від Fisher-Price. Кути заокруглено, гострі інструменти прибрано, а кількох засобів, по які ти справді потягнувся б, просто немає, щоб їх увімкнути. Кожне твердження підкріплене сторінкою Microsoft, перевіреною 22 жовтня 2026 року, і кожен результат DNS можна відтворити через dig.\nТаблиця оцінок Ось правила дому з головного допису, /uk/email/why-every-mail-setting-has-to-be-right/, проти того, що Exchange Online насправді дозволяє адміністраторові.\nПравило Exchange Online Вердикт Жодного відкритого тексту на вході TLS можна вимагати лише для партнерського конектора, за названим доменом чи IP немає перемикача на весь тенант Жодного відкритого тексту на виході за замовчуванням опортуністичний; примусовий TLS потребує конектора для кожного адресата не за замовчуванням Вихідний DANE увімкнений за замовчуванням; режим Mandatory є, для кожного конектора добре Вихідний MTA-STS завжди ввімкнений, перевіряється автоматично добре IPv6 вхідний для кожного прийнятого домену, вимкнення тенантом або самою Microsoft на практиці загальмував Відкидати невідомі домени відправників задокументованого засобу немає відсутнє Ретрансляція потребує входу SMTP AUTH, але базова автентифікація лишається до кінця 2026, а ретрансляція за IP надсилає від будь-якої адреси наполовину Вхід надсилає від себе SMTP AUTH примушує Send As; Direct Send не потребує жодної автентифікації діра Відхиляти збій SPF не відхиляється; вимкнене за замовчуванням налаштування позначає це як спам ні Відхиляти збій DKIM жоден засіб не відхиляє лише через DKIM ні Вхідний DANE + DNSSEC GA, але за згодою, і не на хості, яким користуються всі тенанти розпочато, не завершено П’ять із цих пунктів це пряме «ні» або відсутність. Загальна форма складається з трьох стовпців: те, що вирішує Microsoft і робить правильно, ті кілька речей, які тобі дозволено ввімкнути, і те, чого просто немає, щоб перемкнути.\nЩо вирішує Microsoft, що тобі можна перемкнути і чого не можна мати MICROSOFT ВИРІШУЄ Й РОБИТЬ ДОБРЕ Вихідний DANE, увімкн. Вихідний MTA-STS, увімкн. Поштовий хост Спам-фільтр Надійна доставка Тобі не треба було просити. Усе вже було правильно. МОЖНА ВВІМКНУТИ DMARC відправника (увімкн.) Вимагати TLS до партнера IPv6, для домену Відхиляти Direct Send (згода) Перейти на підписаний хост Короткий список, і більша частина за згодою. НЕ МОЖНА ВВІМКНУТИ Вхідний TLS від усіх Відхилити жорсткий збій SPF Відхилити збій DKIM Відкинути невідомий домен DNSSEC на твоєму хості Засоби, яких ти хотів найбільше. За склом. Засоби, які тобі найбільше потрібні проти загроз із головного допису, якраз у правому стовпці Читай далі, чому кожен із них там, де він є, бо причини звучать гірше за вердикти.\nЩо вдається добре, сказано прямо Спершу належне, бо воно заслужене. На вихідному шляху Exchange Online справді добрий. Перевірка DANE увімкнена за замовчуванням із 2022 року, перевірка MTA-STS автоматична, і тут «nothing administrators need to do to apply it»,1 а на початку 2026 року з’явився режим DANE Mandatory для кожного конектора.2 Це більше, ніж більшість самостійно розгорнутих серверів дає з коробки.\nВхідний DANE із DNSSEC став загальнодоступним 28 жовтня 2024 року, і записи TLSA проходять перевірку на тенанті, що перейшов на новий хост.34 Тож можливість існує. Підступ у всьому, що навколо неї, а це решта цього допису.\nЖодного відкритого тексту на вході: перемикача немає Перше правило дому: сервер відмовляється від пошти, що приходить відкритим текстом. В Exchange Online неможливо вимагати цього від кожного відправника. TLS можна вимагати, але лише на партнерському конекторі, обмеженому названими доменами чи діапазонами IP, і параметр «applies only to Partner type connectors».5 Для всіх інших за замовчуванням діє опортуністичний режим.6 Ти можеш вимагати TLS від названих партнерів. Ти не можеш вимагати його від інтернету загалом, а саме про цей набір відправників і йдеться в правилі. Жодного засобу «вимагати вхідний TLS» для всього тенанта, згідно з документацією, не існує.\nВідкидати невідомі домени відправників: не задокументовано взагалі Збірка на Postfix відмовляє пошті, чий домен відправника не існує, на MAIL FROM, ще до тіла листа. Я шукав відповідник в Exchange Online у всій документації про антиспам, автентифікацію й антифішинг, і його немає. Найближче це складена автентифікація, і Microsoft прямо пише, що «a composite authentication failure doesn\u0026rsquo;t directly result in a message being blocked».7 Тож скажу обережно: Microsoft не документує жодного засобу, що відкидає пошту від неіснуючого домену відправника. Чи відбувається щось незадокументоване у фільтрації, я ззовні не бачу, і ти теж, а в цьому, власне, і суть.\nВідхиляти збої SPF і DKIM: ні і ні Ось що мало б зупинити адміністратора на місці. Правило дому: відхиляти лист, що жорстко не проходить SPF, або чий підпис DKIM є, але не перевіряється. Exchange Online на вході не робить ні того, ні того.\nДля SPF налаштування є, заховане в розширеному спам-фільтрі. За замовчуванням воно «Off», а ввімкнене не відхиляє лист: воно позначає пошту від відправника, якого немає в списку, «as high confidence spam».8 Прочитай це двічі. Найсильніше, що Exchange Online зробить із кимось, хто підробляє домен, чий SPF каже -all, це покладе лист у «Небажану пошту», і навіть це з коробки вимкнено. Для DKIM немає нічого взагалі: жодне налаштування не відхиляє лист лише через те, що його підпис не пройшов перевірку. Зламаний підпис іде в DMARC і в складену оцінку, і на цьому все.\nВідхилення таки відбувається в одному випадку: коли домен відправника публікує DMARC p=reject, Exchange Online за замовчуванням це шанує й відмовляє ще на етапі SMTP із 550 5.7.1.9 Добре, і ввімкнено за замовчуванням, але це повністю залежить від того, чи відправник зробив усе правильно. Засобів, якими інші збірки захищали твою власну вхідну пошту, відхилення при збої SPF і відхилення при зламаному підписі, тут немає, щоб їх увімкнути.\nIPv6: через два роки NCSC через нього недосяжний IPv6 у цій серії обов’язковий. Exchange Online підтримує його на вході, для кожного прийнятого домену, після ввімкнення за згодою, і з умовою, що Microsoft автоматично вимикає його для «a small percentage of our customers».10 Про це впровадження оголосили в жовтні 2024 року, і воно мало зайняти від трьох до шести місяців. Тож я прочитав запис AAAA на поштовому хості двадцяти двох британських організацій, що працюють на Microsoft 365. Дев’ять, через два роки, його не мають.\nНемає IPv6 на MX Є IPv6 hmrc.gov.uk ons.gov.uk ncsc.gov.uk met.police.uk nhs.net cam.ac.uk, ucl.ac.uk, kcl.ac.uk lloydsbank.com jisc.ac.uk, ja.net mod.uk, justice.gov.uk ofcom.org.uk ico.org.uk gov.wales vodafone.co.uk, bt.com sheffield.gov.uk, birmingham.gov.uk До власної поштової скриньки Національного центру кібербезпеки неможливо достукатися через IPv6, як і до HMRC, поштової служби NHS, Міністерства оборони, Інформаційного комісара чи Lloyds Bank.4 Чи кожну з них вимкнула Microsoft, чи вони ніколи не вмикали, з DNS не видно. Результат той самий, і всі двадцять дві сидять на застарілому поштовому хості, який, як ми зараз побачимо, підписати не можна.\nDNSSEC: не плануються для хоста, яким ти насправді користуєшся Ось де документація і DNS перестають погоджуватися між собою, і це найгостріша знахідка в дописі. Вхідному DANE потрібні DNSSEC, а DNSSEC потребують, щоб поштовий хост був у підписаній зоні. У кожного звичайного тенанта Exchange Online MX вказує на хост під mail.protection.outlook.com. Я перевірив, чи ця зона підписана, і вона доказово не підписана:\n$ dig @1.1.1.1 +dnssec DS protection.outlook.com ;; flags: qr rd ra ad; ANSWER: 0 protection.outlook.com. 60 IN NSEC \\000.protection.outlook.com. NS RRSIG NSEC Хост, яким користуються всі, не підписати; на той, що можна, ніхто не перейшов ДЕ СИДИТЬ КОЖЕН ТЕНАНТ НОВИЙ ХОСТ, ЯКЩО МІГРУЄШ *.mail.protection.outlook.com Зона не підписана NSEC доводить: DS немає DANE тут не працює Немає сенсу публікувати TLSA Microsoft: підписувати не планують *.mx.microsoft Зона підписана DNSSEC DS є, ланцюжок перевіряється TLSA 3 1 1, DANE працює За згодою, ручна зміна MX Жоден тенант UK у вибірці не перейшов Підписане твердження про те, що делегування не підписане. Майже кожен тенант ліворуч Батьківська зона підписана, і вона повертає автентифікований запис NSEC, що доводить відсутність DS для protection.outlook.com. Це підписане твердження про те, що делегування не підписане. Тож кожен MX *.mail.protection.outlook.com, тобто майже кожен тенант Microsoft 365 на планеті, перебуває в непідписаній зоні й не може робити DANE.\nНова, підписана інфраструктура живе під іншим ім’ям, mx.microsoft, і перехід на неї це ручна зміна за згодою. Скільки перейшло? З приблизно тридцяти п’яти британських доменів у моїй вибірці на ній не було жодного. Усі тенанти, яких я зміг знайти на підписаному хості, були нідерландськими. А власний допис Microsoft від квітня 2026 року каже, що план не в тому, щоб полагодити хост, яким користуються всі:\nCurrently, there are no plans to enable DNSSEC on the mail flow domain mail.protection.outlook.com.2\nОтже: DNSSEC і DANE доступні на новому хості, якщо погодишся й мігруєш, а хост, на якому насправді сидить кожен наявний тенант, за власною заявою Microsoft, підписаним не буде. Можливість випущено. Типова поведінка не зрушила і не зрушить.\nДва найбільші домени самої Microsoft показують цей поділ, і один із них гірший за тенантів, яких вона повчає:\nmicrosoft.com outlook.com Поштовий хост mail.protection.outlook.com olc.protection.outlook.com Зона підписана ні ні Політика DMARC p=reject p=none MTA-STS enforce enforce IPv6 на MX так ні outlook.com, споживча поштова служба, публікує DMARC p=none: просить світ перевіряти її пошту, а потім нічого не робити зі збоєм, а це те налаштування, яке головний допис називає знизуванням плечима.4 Корпоративний домен Microsoft справляється краще. Жоден хост не підписаний.\nДокументація сперечається сама з собою Коли власна документація постачальника суперечить сама собі щодо засобу безпеки, це не причіпка. Це клієнтові кажуть дві несумісні речі про те, що вирішує, чи його пошта в безпеці, і я звертаю на це увагу так само, як із будь-яким постачальником, якому платять за те, щоб він зробив усе правильно. Три приклади, усі зі сторінок, які опублікувала Microsoft, усі доступні 22 жовтня 2026 року.\nЩо Одна сторінка каже Інша каже Кваліфікатор SPF all рекомендовано жорсткий збій -all рекомендовано м’який збій Шаблон MX у MTA-STS публікуй mx: *.mail.protection.outlook.com шаблони «must not be used» DNSSEC на головному хості просуває DANE і DNSSEC «no plans to enable DNSSEC on mail.protection.outlook.com» Сторінка про SPF рекомендує -all, «hard fail».11 Допис про Direct Send рекомендує «a Soft Fail SPF configuration».12 Обидва чинні, і клієнт, що слідує одному, отримує догану від іншого. Щодо MTA-STS сторінка про вхідну пошту каже тенантові публікувати mx: *.mail.protection.outlook.com, на тій самій сторінці каже, що «wildcards or \u0026lsquo;*\u0026rsquo; must not be used as the MX prefix in all MTA-STS scenarios»,1 а потім друкує приклад, що використовує саме цей шаблон. Я не прошу Microsoft щось вигадувати. Я питаю, чому сторінка, яка вчить клієнта захищати свій поштовий потік, не може погодитися сама з собою щодо того єдиного рядка, що цей захист і забезпечує.\nДалі діра Direct Send, тобто правило ідентичності, правило шосте, що провалюється на вхідних дверях.\nОдні двері перевіряють, хто ти; інші ні АВТЕНТИФІКОВАНЕ НАДСИЛАННЯ DIRECT SEND SMTP AUTH, порт 587 Потрібен вхід Send As примусово Чужого відправника відхилено: 5.7.60 … send as this sender Двері, що тебе перевіряють Жодної автентифікації Увімкнено за замовчуванням Reject Direct Send за згодою І перевіряє лише конверт, ніколи не видимий From Двері, що не перевіряють Автентифіковане надсилання відмовляє підробленому відправнику. Інший вхід не питає нічого Є спосіб надіслати пошту в тенант від імені одного з його власних користувачів без жодної автентифікації, бо він «does not require any form of authentication»,12 і він увімкнений за замовчуванням. Налаштування, що його вимикає, RejectDirectSend, за замовчуванням вимкнене, перевіряє лише відправника конверта, а не видимий From:, і через вісімнадцять місяців досі має «no fixed date for General Availability».12 Платна платформа випустила неавтентифікований спосіб підробляти власний домен тенанта, лишила його ввімкненим за замовчуванням, а виправлення це перемикач за згодою без дати випуску й із прогалиною в тому, що він перевіряє. Це той тон, який я бережу для постачальника, що тримається лінії «це складно». Це не складно. Тож я не вдаватиму, що складно. Це типове значення, яке поставили неправильно й так і лишили.\nЧи можна збудувати на цьому правильно? Здебільшого ні Тож ось чесний підсумок, і він не в тому, що Microsoft 365 погана пошта. Вона надійно доставляє, її вихідна безпека справді добра, і для організації без поштової експертизи вона безпечніша за сервер, який вони інакше налаштували б неправильно. Усе правда, і все повз те, що доводить ця серія.\nСуть у контролі, а на тих засобах, які найбільше важать проти загроз із головного допису, Exchange Online тобі його не дає. Ти не можеш вимагати вхідний TLS від інтернету, відхилити жорсткий збій SPF, відхилити підроблений підпис чи відкинути пошту з домену, якого не існує. Єдиний непідробний захист транспорту, DANE із DNSSEC, вимкнений на хості, де ти сидиш, і не планується, що він туди дійде. А неавтентифікована діра у вхідних дверях увімкнена за замовчуванням без дати, коли її закриють.\nОсь що означає видання Fisher-Price. Не те, що воно для дітей, а те, що гострі інструменти забрали, тобі дали заокруглені й сказали, що це для твого ж блага. Для багатьох контор так воно і є. Для багатьох організацій це справді так. Для будь-кого, хто дочитав аж сюди й зрозумів, для чого були гострі інструменти, це платформа, яка вирішила за тебе, яких налаштувань безпеки тобі можна торкатися. Ті, яких ти хотів найбільше, за склом.\nПлатиш ти за неї в будь-якому разі. Найменше, що ти можеш зробити, це знати, яких із цих правил вона тихо вирішила тобі не дозволити.\nMicrosoft Learn — Enhance mail flow with MTA-STS — автоматична перевірка вихідного MTA-STS; а також те, що «MTA-STS policy files aren\u0026rsquo;t something that Exchange Online can host», і настанови щодо шаблонів, які суперечать самі собі.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nMicrosoft Tech Community — Modernizing DNS security for Exchange Online mail flow (23 квітня 2026) — режими DANE/MTA-STS для кожного конектора, і «Currently, there are no plans to enable DNSSEC on the mail flow domain mail.protection.outlook.com.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nMicrosoft Tech Community — General Availability of Inbound SMTP DANE with DNSSEC (28 жовтня 2024).\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nDNS перевірено 22 жовтня 2026 року через dig @1.1.1.1 +dnssec на валідувальному резолвері. protection.outlook.com повертає автентифікований NSEC, що доводить відсутність DS (не підписано); mx.microsoft підписаний, і його тенанти публікують записи TLSA 3 1 1, що проходять перевірку. Записи AAAA прочитано на поштовому хості MX *.mail.protection.outlook.com двадцяти двох британських організацій; дев’ять, зокрема ncsc.gov.uk, hmrc.gov.uk, nhs.net і mod.uk, їх не мають.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nMicrosoft Learn — New-InboundConnector — параметр RequireTLS «applies only to Partner type connectors», обмежений через SenderDomains або IP відправника.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nMicrosoft Learn — Exchange Online uses TLS to secure email connections — «By default, Exchange Online always uses opportunistic TLS», і надсилає без шифрування, якщо одержувач його не пропонує.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nMicrosoft Learn — Email authentication in EOP — «a composite authentication failure doesn\u0026rsquo;t directly result in a message being blocked.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nMicrosoft Learn — Advanced Spam Filter settings — налаштування «SPF record: hard fail» за замовчуванням «Off» і позначає відповідну пошту як спам високої достовірності, а не відхиляє її.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nMicrosoft Learn — Configure DMARC to validate the From address — коли Honor DMARC увімкнено за замовчуванням, політика відправника p=reject означає «Rejected during SMTP (550 5.7.1)».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nMicrosoft Tech Community — IPv6 updates for Exchange Online (30 жовтня 2024) — впровадження за три-шість місяців і автоматичне вимкнення для «a small percentage of our customers».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nMicrosoft Learn — Set up SPF — «For Microsoft 365 domains, we recommend -all (hard fail).»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nMicrosoft Tech Community — Introducing more control over Direct Send (28 квітня 2025, змінено 20 травня 2026) — Direct Send «does not require any form of authentication»; RejectDirectSend за замовчуванням False, перевіряє лише відправника конверта, і «There is no fixed date for General Availability»; а також рекомендація м’якого збою SPF.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\n","permalink":"https://blogs.damiendye.uk/uk/email/microsoft-365-the-fisher-price-it-edition/","summary":"Більшість організацій не тримає власного поштового сервера. Вони платять Microsoft, і роботу робить Exchange Online. Тож цей допис міряє Microsoft 365 рівно тими правилами дому, яким відповіли збірки на Postfix і Stalwart, використовуючи лише власну документацію Microsoft і DNS справжніх тенантів у режимі лише для читання. Деяким правилам він відповідає добре: вихідні DANE і MTA-STS увімкнені за замовчуванням, а вхідний DANE із DNSSEC нарешті вийшов у GA. Кільком не відповідає зовсім. Немає задокументованого способу вимагати вхідний TLS від кожного відправника, немає способу відхилити жорсткий збій SPF на вході, ніщо не відхиляє лист лише через зламаний підпис DKIM, і немає жодного засобу, що відкидав би пошту від домену відправника, якого не існує. DNSSEC прямо не плануються для поштового хоста, яким насправді користується кожен тенант. Впровадження IPv6, яке мало тривати шість місяців, через два роки лишило поштову скриньку самого NCSC недосяжною через IPv6. А документація суперечить сама собі щодо шаблонів, щодо SPF і щодо DNSSEC. На цій платформі працює більшість пошти країни, і ось що вона дозволяє, а чого ні.","title":"Microsoft 365: видання Fisher-Price IT"},{"content":"Збірка на Postfix з попереднього допису це чотири пакети, з’єднані між собою, а сокет milter, сокет SASL і socketmap тримають їх узгодженими. Stalwart робить усе в одному бінарнику. Геть усе.\nЧотири з’єднані пакети проти одного бінарника ЧОТИРИ ПАКЕТИ, З’ЄДНАНІ РАЗОМ ОДИН БІНАРНИК Postfix 3.10 MTA, TLS, релей Dovecot 2.4 входи SASL Rspamd 3.12, Redis SPF, DKIM, DMARC postfix-tlspol 1.14 DANE, MTA-STS сокет sasl milter socketmap Stalwart 0.16.27 SMTP на вхід і вихід IMAP і JMAP SPF, DKIM, DMARC, ARC підписування DKIM DANE і MTA-STS звіти TLS спам-фільтр скрипти Sieve поштове сховище нічого з’єднувати Чотири пакети й сокети між ними проти одного процесу, який уже містить усе це SMTP, IMAP і JMAP, поштове сховище, SPF, DKIM, DMARC, ARC, підписування DKIM, DANE, MTA-STS, звіти TLS, спам-фільтр і рушій Sieve, в одному процесі, який ти запускаєш один раз. Ні milter, який треба під’єднувати, ні демона політик на сокеті, ні другого пакета, який мусить погоджуватися з першим. На кожне правило цієї серії, яке на Postfix потребувало окремого інструмента, у Stalwart відповідь уже всередині.\nЦе справжня перевага, і цей допис не вдає, що ні. Але «вбудоване» і «безпечне за замовчуванням» це різні твердження, і прірва між ними становить увесь цей допис. Я поміряв Stalwart 0.16.27 рівно тими домашніми правилами, яким відповідала збірка на Postfix, у тій самій лабі, і записав кожну відповідь. Усі правила вмикаються. Увімкнути їх це вже інша справа.\nНалаштування це база даних, а не файл Почни з того, що дивує всіх, бо воно визначає все подальше. Postfix налаштовують у main.cf, текстовому файлі, який можна прочитати, порівняти й скопіювати на наступний сервер. У Stalwart один конфігураційний файл, і ось він увесь:\n{\u0026#34;@type\u0026#34;:\u0026#34;RocksDb\u0026#34;,\u0026#34;path\u0026#34;:\u0026#34;/var/lib/stalwart/\u0026#34;} Він називає базу даних. Кожне інше налаштування, слухачі, політика TLS, правила проти спаму, скрипти Sieve, живе всередині цієї бази, і змінюєш ти його через JMAP API або stalwart-cli, а потім перезавантаження:\nstalwart-cli apply --file house-policy.json stalwart-cli create Action/ReloadSettings Є й вебінтерфейс.1 Конфігурація це стан запущеного сервісу, а не файл на диску, і це ріже в обидва боки. Ти отримуєш живий API і жодного демона, який треба перезавантажувати руками. Ти втрачаєш те, що текстовий файл дає задарма: diff, коментар, коміт, перевірену копію для повторного розгортання. Ті, хто керує Stalwart декларативно, зрештою тримають у системі контролю версій файл плану, який споживає apply, і це правильний інстинкт, а ще рівно та файлова конфігурація, без якої вони починали.\nЩо він приймає з коробки Перш ніж правила стануть на місце, ось що Stalwart робить одразу після встановлення. Це чесна точка відліку, і вона не заспокоює.\nЗ коробки Stalwart… сесію відкритим текстом, без STARTTLS приймає підроблений підписаний рахунок приймає лист, що не проходить SPF приймає підробку власного домену приймає домен відправника, якого не існує приймає доставку на сервер лише з відкритим текстом надсилає відкритим текстом відкритий релей на порту 25 відмовляє вхід із чужим відправником конверта відмовляє вхід із підробленим заголовком From: приймає вихідну доставку на недійсний сертифікат, при повторі приймає Дві відмови це єдина добра новина в стовпці, і користувач після входу все одно міг підробити видимий From:.\nНічого з цього не притаманне лише Stalwart. Це той самий набір поступливих налаштувань, з яким постачається майже кожен поштовий сервер, з тієї самої двадцятирічної причини, і це весь аргумент головного допису цієї серії: /uk/email/why-every-mail-setting-has-to-be-right/. Сервер, який робить усе, не є сервером, який робить усе безпечно. Це досі налаштовувати тобі.\nЧотири місця для правила Ось де дизайн з одним бінарником справді працює інакше. На Postfix майже кожне вхідне правило це рядок smtpd_*_restrictions або milter. У Stalwart той самий набір правил розходиться по чотирьох окремих механізмах, і потрібні всі чотири.\nОдин бінарник, чотири місця для правила МЕХАНІЗМ ЩО ВІН ЗАСТОСОВУЄ, І ВІДПОВІДЬ Мережевий слухач NetworkListener Submission на 587 з TLS; для релею потрібен вхід. 503 5.5.1 You must authenticate first. Вираз етапу MAIL MtaStageMail Без TLS, невідомий відправник або чужий для входу відправник. 550 5.7.1 Sender address not allowed. Спам-теги з дією reject SpamTag Жорсткий збій SPF, DMARC reject, хост відправника не резолвиться. 550 5.7.1 … excessive spam score. Системний скрипт Sieve SieveSystemScript DKIM має пройти перевірку; заголовок From має бути входом. 503 5.5.3 … does not verify / send as your own. Один бінарник, але правило може бути налаштуванням слухача, виразом, спам-тегом або скриптом Sieve Мова виразів, мапа «тег у дію» і скрипт Sieve це три різні синтаксиси, і це ще без налаштувань слухачів. Один бінарник, чотири речі, які треба вивчити. Але коли політику застосовано, записи збігаються правило в правило зі збіркою на Postfix:\nПравило Відповідь Stalwart Жодного відкритого тексту на вході 550 5.7.1 Sender address not allowed. Релей на порту 25 550 5.1.2 Relay not allowed. Релей на 587 без входу 503 5.5.1 You must authenticate first. Вхід, що надсилає від чужого відправника конверта 501 5.5.4 You are not allowed to send from this address. Вхід, що підробляє заголовок From: 503 5.5.3 You may only send as your own address Підписаний, цілий, вирівняний лист приймає Підроблений підписаний лист 503 5.5.3 DKIM signature does not verify Жорсткий збій SPF 550 5.7.1 … excessive spam score. Кожна відповідь узята з робочого лабораторного сервера, через IPv4 та IPv6. Правила тримаються. Тепер три місця, де шлях до цього дечого мене навчив.\nЗбій DKIM потребує скрипту Sieve, а не очевидного налаштування У Stalwart є вбудований результат DKIM і спам-тег для невдалого підпису, DKIM_REJECT, і очевидно було б відхиляти за ним. Він не ловить того випадку, який важливий. Коли в підписаному листі по дорозі змінюють тіло, а це той самий випадок шахрайства з рахунками, до якого вся серія постійно повертається, верифікатор DKIM у Stalwart повідомляє результат як neutral, а не fail. Якщо читати код mail-auth, невідповідність хешу тіла потрапляє в нейтральний кошик, тож тег відхилення ніколи не спрацьовує, і підроблений лист доставляється.2\nТож правило DKIM натомість стає скриптом Sieve, який дивиться прямо на результат перевірки й відхиляє все, що не є чистим проходженням або справжньою відсутністю підпису:\nif anyof (string :is \u0026#34;${env.dkim.result}\u0026#34; \u0026#34;neutral\u0026#34;, string :is \u0026#34;${env.dkim.result}\u0026#34; \u0026#34;fail\u0026#34;, string :is \u0026#34;${env.dkim.result}\u0026#34; \u0026#34;permerror\u0026#34;) { ereject \u0026#34;DKIM signature does not verify: the message was changed or forged\u0026#34;; stop; } Непідписаний лист залишає результат порожнім, і його не чіпають, бо непідписаний це не збій DKIM; цим займається DMARC з p=reject. Зі скриптом на місці підроблений рахунок відхиляється на DATA:\nB REFUSED (503, b\u0026#39;5.5.3 DKIM signature does not verify: the message was changed or forged\u0026#39;) Той самий скрипт несе й правило заголовка From:, бо порівняти заголовок із входом це теж робота для Sieve. Два правила, один скрипт, і жодне з них не є тим налаштуванням, до якого ти потягнувся б першим.\nПеревірка невідомого відправника слабша, ніж здається На Postfix домен відправника, якого не існує, відхиляється на MAIL FROM, ще до того, як надіслано хоч байт тіла, чистим 550 5.1.8 Domain not found. Stalwart доходить до тієї самої відмови, але пізніше і крихкіше.\nПеревірка це спам-тег, FROMHOST_NORES_A_OR_MX, який спрацьовує, коли домен відправника не має ні запису A, ні MX. Тож відмова приходить уже після того, як отримано весь лист, як відхилення за спам-балом:\n550 5.7.1 Message rejected due to excessive spam score. Це правильна відповідь довшою дорогою, і дві речі тут важливі. По-перше, якщо читати код спам-фільтра, перевірка запускається лише тоді, коли адреса відправника проходить тест «чи дійсна», а дійсна означає, що домен лежить під відомим публічним суфіксом, тож вигаданий домен верхнього рівня оминає перевірку A і MX повністю. По-друге, і саме це кусає: пошук розрізняє помилку DNS і відсутність у DNS. Домен, що повертає SERVFAIL, а не чисте «такого імені нема», не отримує тегу, і лист приймається. Postfix його відкладає. Stalwart впускає. Це відкриття при збої саме на тому неоднозначному випадку, заради якого існує засіб безпеки, і єдине місце в цій збірці, де Stalwart вимірно менш безпечний за відповідник на Postfix.\nIPv6 це запасний варіант, доки ти це не зміниш IPv6 у цій серії обов’язковий, в обидва боки. Stalwart слухає на обох сімействах без зайвого клопоту. Заковика у вихідному напрямку: маршрут із коробки резолвить спершу IPv4, тож до сервера з подвійним стеком ідуть через IPv4, а IPv6 лишається тільки запасним варіантом. У тій самій лабі Postfix використовував IPv6. Stalwart використовував v4, доки маршрут не перемкнули на пріоритет v6:\n\u0026#34;ipLookupStrategy\u0026#34;: \u0026#34;v6ThenV4\u0026#34; Після цього доставка на сервер із подвійним стеком іде через IPv6, і журнали це підтверджують: з’єднання доходить до адреси v6. Це одне налаштування. І воно не за замовчуванням, а щодо вимоги IPv6 замовчування стоїть навпаки.\nMTA-STS застосовує політику і повертає лист зарано Stalwart публікує власну політику MTA-STS, і це справді приємна деталь: не треба окремого вебсервера, як збірці на Postfix потрібен nginx. Але постачається вона в режимі testing, який нічого не застосовує, і віддається під сертифікатом поштового хоста, а не тим, що відповідає імені хоста політики, тож перевіряльне завантаження не проходить, доки не виправиш обидва. Постав режим enforce і завантаж сертифікат для хоста mta-sts, і політика віддається й перевіряється як слід:\nmta-sts.policy-fetch strict = true mta-sts.authorized Відправна сторона теж застосовує політику і відмовляє адресатові, чия політика не містить його MX. Але відмовляє не так: невідповідність це постійний збій із першої ж спроби, і лист повертається. RFC 8461 прямо каже, що так не має бути:\nIn all cases, MTAs SHOULD treat such failures as transient errors and retry delivery later.3\nStalwart таки повторно завантажує політику перед збоєм, тож жорстке правило стандарту, що спершу треба перевірити нову політику, виконано. М’якше SHOULD, що збій треба вважати тимчасовим і повторити, ні. Ціна: повернений лист там, де відкладення було б лагіднішим, на збої, який зазвичай тимчасовий.\nВихідний TLS: обов’язковий, а де можна, то й сильніший Як і в збірці на Postfix, вихідна сторона робить encrypt нижньою межею і піднімає кожного адресата вище, коли адресат на це заслуговує. MtaTlsStrategy у Stalwart задає рівень для кожного механізму, і домашня політика така:\nМеханізм Домашнє налаштування Ефект STARTTLS require ніколи не надсилати відкритим текстом, нікому DANE optional автентифікувати там, де опубліковано підписаний TLSA MTA-STS optional дотримуватися застосовної політики там, де її опубліковано Недійсні сертифікати вимкнено сертифікат, що не проходить перевірку, відкладає пошту require на STARTTLS це та нижня межа, якої бракує налаштуванню з коробки: без змін вихідна стратегія при повторі відступала до прийняття недійсного сертифіката. З нижньою межею адресат, який не пропонує придатного TLS, відкладається, а не понижується.\nDANE є, але лаба не змогла цього довести Найсильніший вихідний засіб, DANE, вбудований, як і все інше, і його вихідний TLS закривається при збої, як і належить: спрямований на сервер, чий сертифікат він не зміг перевірити, Stalwart відмовився й притримав лист, а не надіслав його відкритим текстом. Чого закрита лаба не змогла зробити, то це показати успіх DANE, і це справжнє обмеження, яке варто записати.\nStalwart вмикає DANE лише тоді, коли може сам перевірити кореневий ключ DNS, через з’єднання з резолвером, яке не є звичайним UDP. Приватний лабораторний корінь цього дати не може, тож Stalwart вимикає DANE і пише попередження в шлях, якого за замовчуванням не існує. Легко пропустити. Гірше, для підписаної зони він потім повідомляє, що записи TLSA «не підписані DNSSEC», коли справжня причина в його власному резолвері. Повідомлення звинувачує не те.\nStalwart постачає діагностику доставки лише для читання саме для цього: кінцеву точку, яка проходить увесь вихідний шлях і ніколи не надсилає листа. Вона транслює кожен крок по ходу:\nGET /api/live/delivery/\u0026lt;domain\u0026gt;?timeout=20 Крок Що повідомляє Пошук MX поштові сервери і чи пошук пройшов валідацію MTA-STS отриману політику і чи MX авторизовано TLS-RPT адресу для звітів, яку публікує домен TLSA записи DANE і чи вони підписані DNSSEC Connect, EHLO, STARTTLS сесію до TLS, із шифром Перевірка DANE, QUIT збіг сертифіката, потім чисте завершення Ні MAIL FROM, ні RCPT TO, нічого не доставлено. Це перевірка, яку треба запустити проти справжнього домену з DANE, щоб побачити позитивний випадок, якого ця лаба показати не може.\nДовести позитивний випадок DANE означає запустити це проти справжніх доменів, що публікують DANE, з екземпляра, підключеного до інтернету. Це єдиний тест у цій серії, якого закрита лаба зробити не може, і чесна межа того, що лаба здатна тобі показати.\nТо чи вбудоване краще? Ось те, навколо чого кружляв увесь допис. Вбудоване означає менше встановлювати, менше з’єднувати, менше тримати узгодженим між версіями, і є справжня цінність в одному процесі, де результат SPF просто вже є для перевірки DKIM, а обидва є для скрипту Sieve, без сокета між ними. Для невеликого розгортання, яке хоче одну річ запускати й оновлювати, це справді добра відповідь, і ніщо вище не є причиною ним не користуватися.\nАле кожна важка частина цієї серії пережила переїзд в один бінарник. Налаштування з коробки досі поступливі. Правила досі треба знайти й увімкнути, у чотирьох механізмах замість одного. Відхилення при збої DKIM досі потребує написаного руками скрипту. Перевірка невідомого відправника досі пропускає при помилці DNS. MTA-STS досі повертає лист там, де мав би відкласти. Ніщо з цього не стало легшим, бо код живе в одному процесі. Це властивості задачі, а не пакування.\nПостав дві збірки поруч, і закономірність очевидна:\nЗбірка на Postfix Stalwart Що запускати 4 пакети, 3 сокети 1 бінарник Конфігурація main.cf, текстовий файл база даних, через API SPF, DKIM, DMARC milter Rspamd вбудовано DANE, MTA-STS на вихід postfix-tlspol вбудовано Публікація MTA-STS окремий nginx вбудовано Відхилення при збої DKIM force action у Rspamd скрипт Sieve (вбудований тег це пропускає) Невідомий відправник 550 на MAIL FROM 550 після DATA, пропускає при SERVFAIL Невідповідність MTA-STS на вихід відкладає, повторює повертає з першої спроби Вихідний IPv6 використовував за замовчуванням запасний, доки не перемкнеш на спершу v6 Налаштування з коробки поступливі поступливі Це чесний висновок, і той самий, до якого допис про Postfix дійшов іншою дорогою. Пошту робить безпечною не кількість бінарників. Її робить безпечною людина, яка вирішує, що кожне правило важливе, знаходить, де воно живе, вмикає його і надсилає той лист, який воно має зупинити, щоб перевірити, що зупинило. Stalwart дозволяє зробити все це, в одному процесі, через охайний API. А ще він, якщо його не чіпати, прийме сесію відкритим текстом, підробленого відправника і змінений рахунок, точнісінько як усе інше. Бінарник один. Робота ні.\nДокументація Stalwart — конфігурація через JMAP API керування і stalwart-cli, налаштування зберігаються в сховищі даних, а не у файлі. Тут використано версію 0.16.27.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nmail-auth, бібліотека, яку Stalwart використовує для DKIM — його верифікатор DKIM повідомляє невідповідність хешу тіла як нейтральний результат, а не збій, тому відхилення лише за тегом збою не ловить підроблене тіло.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 8461 §5 — SMTP MTA Strict Transport Security: при збої перевірки політики «In all cases, MTAs SHOULD treat such failures as transient errors and retry delivery later», а лист «MUST NOT be permanently failed», доки відправник не перевірив оновлену політику.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\n","permalink":"https://blogs.damiendye.uk/uk/email/stalwart-dane-and-the-rest-built-in/","summary":"Stalwart це цілий поштовий сервер в одному бінарнику: SMTP, IMAP і JMAP, SPF, DKIM, DMARC, ARC, DANE, MTA-STS, звіти TLS, спам-фільтр і поштове сховище, без milter, який треба під’єднувати, і без демона політик поруч. Цей допис міряє його тими самими домашніми правилами, що й збірку на Postfix, і записує в лабі кожну відповідь. Усі правила вмикаються, але вся історія в деталях: налаштування живуть у базі даних, а не у файлі, стандартна інсталяція приймає відкритий текст і підроблений рахунок, кожне правило потрапляє в інший із чотирьох механізмів конфігурації, відхилення при збої DKIM потребує скрипту Sieve, бо вбудована перевірка вважає змінене тіло листа нейтральним, перевірка невідомого відправника спрацьовує лише після отримання всього листа і при помилці DNS пропускає, а відправник MTA-STS повертає лист із першої спроби там, де стандарт велить відкласти. Вбудоване справді означає менше з’єднувати. Це не те саме, що безпечне за замовчуванням.","title":"Stalwart: DANE і все інше, вбудоване"},{"content":"Один пароль на весь дім Пароль WiFi спільний для всього, що будь-коли підключалося. Ноутбуки, телефони, телевізор, камера на дверному дзвінку з прошивкою, яку ніхто не оновлював відтоді, як її повісили, гість, якому його дали на Різдво, і кожен телефон, що був у того гостя відтоді. Усі вони сидять в одній мережі. Кожен із них може говорити з кожним.\nРозділити це звичним способом означає більше SSID. Один для своїх, один для IoT, один для гостей, кожен зі своїм паролем і своєю VLAN. Це працює. Потім пароль витікає, і ти обходиш кожен пристрій у цьому SSID з новим паролем, а це саме та робота, яку ніхто ніколи не робить.\nВільний дротовий порт ще гірший. Пароля немає взагалі. Підключився, і ти в тій VLAN, на яку налаштували порт.\n802.1X із сертифікатами перевертає це. Кожен пристрій несе власний сертифікат і доводить, що він таке, ще до того, як пройде хоч один пакет, а потім мережа, а не пристрій і не той, хто роздав пароль, вирішує, куди йому йти. Один SSID. Усі порти комутатора однакові. Ноутбук потрапляє у VLAN для своїх, камера в IoT VLAN, а пристрій, якому ти ніколи не видавав сертифікат, не потрапляє нікуди.\nОдин спільний пароль Один SSID на VLAN 802.1X, один SSID Хто потрапляє Будь-хто з паролем Будь-хто з паролем цього SSID Лише пристрій із сертифікатом, який видав ти Яка VLAN Усі в одній Та, до SSID якої підключився Та, яку RADIUS-сервер назве для цього пристрою Відрізати один загублений пристрій Змінити пароль усюди Змінити пароль цього SSID усюди Відкликати один сертифікат Дротові порти Відкриті Відкриті Та сама перевірка, що й для WiFi SSID в ефірі 1 По одному на VLAN 1 Саме це й будує цей допис. step-ca видає сертифікати і вписує в них роль кожного пристрою, FreeRADIUS перевіряє кожен сертифікат за CA і його списком відкликання, читає з нього роль і відповідає VLAN, а комутатор чи точка доступу кладе пристрій туди, куди сказано. Обладнання Netgear або TP-Link, яке говорить із FreeRADIUS через TLS, де може. Усе це запрацювало тут ще до того, як хоч щось наблизилося до справжнього обладнання: CA і RADIUS-сервер у контейнерах, а порт комутатора і мережа WiFi в симуляторах.\nЧотири частини, і вирішує лише одна 802.1X називає три ролі1. Supplicant це пристрій, що просить доступу. Authenticator це порт комутатора або точка доступу. Authentication server це RADIUS. Додай CA, який видав сертифікати, і це вся система.\nХто що робить під час входу 802.1X Пристрій supplicant Комутатор або ТД authenticator ретранслює, не вирішує FreeRADIUS обирає VLAN step-ca сертифікати і CRL EAP-TLS порт відкрито RadSec VLAN 10 CRL, HTTPS сертифікат, виданий один раз Комутатор чи точка доступу лише ретранслюють. EAP іде від пристрою до FreeRADIUS усередині EAPOL, а потім усередині RADIUS, і відповідь вертається з VLAN у трьох атрибутах. step-ca ніколи не бачить входу; він підписав сертифікати заздалегідь і публікує список відкликання. Комутатор і точка доступу нічого не вирішують. Вони ретранслюють. Поки пристрій не автентифікувався, порт пропускає EAP і більше нічого. Authenticator загортає цей EAP у RADIUS, надсилає серверу і діє за відповіддю. Access-Accept відкриває порт. Якщо Accept несе тунельні атрибути, порт або клієнт WiFi іде у VLAN, яку вони називають. RFC 3580 фіксує, які саме це три атрибути, позичені з тунельних атрибутів RADIUS23:\nАтрибут Значення Що означає Tunnel-Type VLAN (13) Цей тунель це VLAN Tunnel-Medium-Type IEEE-802 (6) У мережі 802 Tunnel-Private-Group-Id \u0026quot;10\u0026quot; ID VLAN, надісланий як рядок Тож марка комутатора важить менше, ніж ти думаєш. Рішення живе на машині, яку тримаєш ти. Кожен виробник, що вміє динамічні VLAN, читає ті самі три атрибути. RFC прямо каже, що ID VLAN «encoded as a string»3, тому він у лапках.\nЧому сертифікати і чому лише TLS 1.3 Методів EAP кілька, і більшість із тих, що в ужитку, це пароль, загорнутий у TLS. Для людини це працює. Для камери це марно, бо там нікому щось набирати, а пароль, спільний для тисячі камер, це знову пароль WiFi.\nМетод Чим пристрій доводить себе Якщо пристрій довіриться не тому серверу Відрізати один пристрій EAP-TLS Власним сертифікатом і закритим ключем Сервер дізнається сертифікат, а він і так публічний Відкликати сертифікат PEAP з MS-CHAPv2 Ім’ям користувача і паролем Сервер перехоплює рукостискання, яке можна зламати назад до пароля Змінити пароль EAP-TTLS з PAP Ім’ям користувача і паролем Серверу надсилають сам пароль Змінити пароль Ця середня колонка і є причиною обрати EAP-TLS. MS-CHAPv2 зламаний уже понад десять років. Власне попередження Microsoft каже, що «an attacker who obtained the MS-CHAP v2 authentication traffic could then use the exploit code to decrypt a user\u0026rsquo;s credentials»4. Обгортка PEAP захищає його, лише якщо кожен пристрій перевіряє, з ким говорить, а як показує розділ про пристрої, багато з них цього не роблять. В EAP-TLS в обміні немає секрету, який можна вкрасти. Закритий ключ ніколи не покидає пристрій5. Нема чого зламувати.\nTLS 1.2 виставляє сертифікат в ефір EAP-TLS поверх TLS 1.2 має ваду, яку легко проґавити. Пристрій надсилає свій сертифікат до того, як почнеться шифрування. Відкритим текстом. Будь-хто, хто слухає WiFi, може його прочитати, а оскільки цей допис вписує в сертифікат роль пристрою, то й її теж.\nВиміряно тут, пошуком імені пристрою і його ролі в кожному EAP-повідомленні, яке надіслав пристрій:\nПрогін TLS Ім’я пристрою відкритим текстом Роль OU=staff відкритим текстом Identity laptop1 1.2 Так Так Identity laptop1 1.3 Так, в identity Ні Identity anonymous 1.3 Ні Ні TLS 1.3 це виправляє. RFC 9190 каже, що з TLS 1.3 «the use of privacy is mandatory and does not cause any additional round trips»6. Зовнішня identity все одно йде відкритим текстом, тож вона теж не повинна називати пристрій. RFC рекомендує анонімну identity6. Тут справжня ні до чого, бо FreeRADIUS читає, хто такий пристрій, із сертифіката. З anonymous зовні останній рядок показує, що дістається тому, хто підслуховує: нічогісінько.\nТож ця збірка працює лише на TLS 1.3. FreeRADIUS прибитий до нього з обох кінців. Пристрій, який його не вміє, не підключиться. Це має ціну, і вона порахована в розділі про пристрої, а не захована. Власний конфіг FreeRADIUS досі каже обмежитися 1.2, великими літерами, бо «most EAP supplicants WILL NOT DO TLS 1.3 PROPERLY»7. Віддамо належне: цей конфіг найчесніша документація в усьому дописі, і майже кожна пастка нижче десь у ньому записана, якщо читати коментарі. У мережі, де пристрої обираєш ти, це причина обирати кращі пристрої.\nРоль у сертифікаті VLAN визначається тим, що це за пристрій, і місце для цього в сертифікаті. step-ca може вписати це туди шаблоном, тим самим механізмом, яким допис про клієнтські сертифікати додає точку розповсюдження CRL. Запуск самого CA описано в step-ca в контейнері, а тут продовження звідти з CA на ім’я Home Network CA.\nКожен сертифікат пристрою отримує свою роль в організаційному підрозділі (OU) свого subject. Шаблон бере роль із запиту і відмовляє всьому, чого немає в списку8:\n{{- $roles := list \u0026#34;staff\u0026#34; \u0026#34;iot\u0026#34; \u0026#34;media\u0026#34; }} {{- if not (has .Insecure.User.role $roles) }} {{- fail \u0026#34;role must be one of staff, iot or media\u0026#34; }} {{- end }} { \u0026#34;subject\u0026#34;: { \u0026#34;commonName\u0026#34;: {{ toJson .Subject.CommonName }}, \u0026#34;organizationalUnit\u0026#34;: {{ toJson .Insecure.User.role }} }, \u0026#34;sans\u0026#34;: {{ toJson .SANs }}, \u0026#34;keyUsage\u0026#34;: [\u0026#34;digitalSignature\u0026#34;], \u0026#34;extKeyUsage\u0026#34;: [\u0026#34;clientAuth\u0026#34;], \u0026#34;crlDistributionPoints\u0026#34;: [\u0026#34;http://ca.home.example/1.0/crl\u0026#34;] } Дай йому власний provisioner, щоб пристрої ніколи не отримували сертифікати від загального admin, і рік як найдовший сертифікат, який він підпише:\nstep ca provisioner add network --type JWK --create \\ --x509-max-dur 8760h --x509-default-dur 24h \\ --x509-template templates/device.tpl --x509-template копіює шаблон у ca.json, а не посилається на файл, тож редагування device.tpl потім нічого не змінює, доки ти знову не запустиш step ca provisioner update network --x509-template templates/device.tpl. Потім видай кожному пристрою сертифікат із його роллю:\nstep ca certificate laptop1 laptop1.crt laptop1.key \\ --provisioner network --not-after 8760h --set role=staff $ openssl x509 -in laptop1.crt -noout -subject -ext extendedKeyUsage subject=OU=staff, CN=laptop1 X509v3 Extended Key Usage: TLS Web Client Authentication Без ролі або з невідомою роллю не отримаєш нічого:\n$ step ca certificate norole norole.crt norole.key --provisioner network The request could not be completed: role must be one of staff, iot or media. .Insecure.User називається insecure, бо це все, що надіслав той, хто робить запит. Тут це нормально. Provisioner network має пароль, він лише в тебе, а той, хто може ним підписувати, і так може зробити будь-який сертифікат, тож роль, яку він сам вписав, нічого йому не додає.\nRADIUS-серверу теж потрібен сертифікат, щоб пристрої могли перевірити, з ким говорять. Він береться від provisioner admin, як будь-який серверний сертифікат, і живе типові 24 години, а оновлює його step ca renew --daemon, так само як допис про step-ca робить для будь-якого сервісу, що не вміє ACME. Пристрої перевіряють ім’я і CA, а не серійний номер. Щоденне оновлення для них нічого не змінює.\nСертифікат Provisioner Строк дії Extended key usage Несе radius.home.example admin 24 години, оновлюється щодня Сервер і клієнт Ім’я, яке перевіряють пристрої laptop1 network 1 рік Лише клієнт OU=staff cam1 network 1 рік Лише клієнт OU=iot tv1 network 1 рік Лише клієнт OU=media switch1, ap1 nas 1 рік Лише клієнт OU=nas, для RadSec; див. нижче FreeRADIUS: вибір VLAN FreeRADIUS 3.2.10, у власному контейнерному образі проєкту. Роботу роблять три шматки конфігурації: модуль EAP, політика, що обирає VLAN, і список винятків.\nМодуль EAP Лише EAP-TLS, лише TLS 1.3, і CRL перевіряється при кожному вході:\neap { default_eap_type = tls tls-config tls-common { certificate_file = ${certdir}/eaptls/radius.crt private_key_file = ${certdir}/eaptls/radius.key ca_path = ${certdir}/eaptls/ca ca_file = ${certdir}/eaptls/ca/root_ca.crt check_crl = yes ca_path_reload_interval = 300 tls_min_version = \u0026#34;1.3\u0026#34; tls_max_version = \u0026#34;1.3\u0026#34; } tls { tls = tls-common } } Файл Що містить radius.crt Серверний сертифікат, а за ним проміжний сертифікат step-ca, так, як його записує step ca certificate radius.key Його закритий ключ; як і все тут, має читатися користувачем freerad, інакше FreeRADIUS не стартує ca/ Кореневий, проміжний і CRL проміжного, захешовані через openssl rehash ca/ Цей середній рядок зупинив перший запуск тут, хоча й не через ключ: Permission denied на кореневому сертифікаті, бо кожен файл вийшов із CA читабельним лише для власника. FreeRADIUS працює як freerad, тож усі три мають бути для нього читабельні.\ncheck_crl = yes перевіряє сертифікат пристрою за CRL проміжного. Сам проміжний він не перевіряє, тож, на відміну від nginx у дописі про клієнтські сертифікати, FreeRADIUS не потребує кореневого CRL. check_all_crl вмикає це, якщо хочеш7. ca_path_reload_interval важить більше, ніж здається, і має власний розділ нижче.\nПолітика Кожен сертифікат, який цей CA будь-коли видав, пройшов би перевірку TLS. Включно з веб-серверами, що отримали свої через ACME. Тож політика викидає все, що зроблено не для цієї роботи: немає client-auth usage або немає ролі, і запит відхилено.\nЯк FreeRADIUS обирає VLAN Рукостискання TLS 1.3, CRL Є client-auth usage? У списку пристроїв? Роль у сертифікаті? Немає ролі: reject Reject Виграє список: cam1, VLAN 99 staff, 10 iot, 20 media, 30 так ні немає ні так Спершу питають список окремих пристроїв, і він виграє, коли має відповідь. Інакше VLAN обирає роль у сертифікаті. Сертифікат без того й іншого відхиляється, і саме це не пускає в мережу сертифікати веб-серверів від цього CA. vlan_by_certificate { if (\u0026amp;TLS-Client-Cert-X509v3-Extended-Key-Usage-OID !~ /1\\.3\\.6\\.1\\.5\\.5\\.7\\.3\\.2/) { reject } device_vlan if (!\u0026amp;reply:Tunnel-Private-Group-Id) { if (\u0026amp;TLS-Client-Cert-Subject =~ /\\/OU=([^\\/]+)/) { switch \u0026#34;%{1}\u0026#34; { case \u0026#34;staff\u0026#34; { update reply { \u0026amp;Tunnel-Private-Group-Id := \u0026#34;10\u0026#34; } } case \u0026#34;iot\u0026#34; { update reply { \u0026amp;Tunnel-Private-Group-Id := \u0026#34;20\u0026#34; } } case \u0026#34;media\u0026#34; { update reply { \u0026amp;Tunnel-Private-Group-Id := \u0026#34;30\u0026#34; } } case { reject } } } else { reject } } update reply { \u0026amp;Tunnel-Type := VLAN \u0026amp;Tunnel-Medium-Type := IEEE-802 } } Це йде в policy.d/vlan, а один рядок, vlan_by_certificate, іде на початок секції post-auth у sites-available/default. Post-auth це місце, де деталі сертифіката доступні, після завершення рукостискання TLS9.\nСписок винятків Роль вирішує більшість пристроїв. Не всі. Список для тих небагатьох, для яких не повинна: камера, що почала поводитися дивно і яку треба посадити на карантин, поки не розберешся чому, або пристрій, позичений на тиждень. Це модуль passwd, що читає файл із двох колонок, з ключем за common name сертифіката:\npasswd device_vlan { filename = ${modconfdir}/device_vlan/devices format = \u0026#34;*TLS-Client-Cert-Common-Name:=Tunnel-Private-Group-Id\u0026#34; delimiter = \u0026#34;,\u0026#34; } # certificate CN,VLAN cam1,99 = перед атрибутом кладе його у відповідь, а не в check items10. Перемістити пристрій це один рядок у текстовому файлі, без перевипуску сертифіката і без жодного дотику до пристрою.\nVLAN Роль Що там живе 10 staff Ноутбуки й телефони, яким ти довіряєш 20 iot Камери, датчики, усе, що дзвонить додому 30 media Телевізори і стримери 99 Лише список Карантин: щонайбільше інтернет, нічого локального Перевір, перш ніж торкатися комутатора eapol_test іде разом із wpa_supplicant і грає водночас пристрій і комутатор, говорячи прямо з RADIUS-сервером. Використай його першим. Коли щось не запрацює пізніше, ти знатимеш, на яку половину дивитися.\nnetwork={ key_mgmt=WPA-EAP eap=TLS phase1=\u0026#34;tls_disable_tlsv1_3=0\u0026#34; identity=\u0026#34;anonymous\u0026#34; ca_cert=\u0026#34;/etc/pki/home/root_ca.crt\u0026#34; domain_match=\u0026#34;radius.home.example\u0026#34; client_cert=\u0026#34;/etc/pki/home/laptop1.crt\u0026#34; private_key=\u0026#34;/etc/pki/home/laptop1.key\u0026#34; } eapol_test -c laptop1.conf -a 192.0.2.10 -s \u0026lt;shared secret\u0026gt; Відповіді, з власного журналу налагодження FreeRADIUS:\n(8) Sent Access-Accept (8) Tunnel-Private-Group-Id = \u0026#34;10\u0026#34; (8) Tunnel-Type = VLAN (8) Tunnel-Medium-Type = IEEE-802 Пристрій Роль у сертифікаті У списку Відповідь VLAN laptop1 staff Ні Accept 10 cam1 iot 99 Accept 99 tv1 media Ні Accept 30 laptop2 staff, відкликаний Ні Reject, certificate revoked Немає radius.home.example Немає Ні Reject, немає ролі Немає laptop1 з вимкненим TLS 1.3 staff Ні Reject, protocol version Немає Останній рядок варто знати, перш ніж запускати в роботу. wpa_supplicant 2.11 досі постачається з вимкненим TLS 1.3 для EAP, з описом «experimental - disabled by default»11. Пропусти рядок phase1, і цілком справний ноутбук отримає відмову.\nПорт комутатора, змодельований eapol_test пропускає комутатор. Щоб побачити половину комутатора, hostapd має дротовий драйвер, який перетворює інтерфейс Linux на порт 802.1X. Віртуальний кабель з’єднує його з wpa_supplicant, що грає ноутбук, і він дивиться на той самий FreeRADIUS.\ninterface=port1 driver=wired ieee8021x=1 use_pae_group_addr=1 auth_server_addr=192.0.2.10 auth_server_port=1812 auth_server_shared_secret=\u0026lt;shared secret\u0026gt; Як порт бачить справний ноутбук і відкликаний:\nport1: CTRL-EVENT-EAP-SUCCESS2 4a:42:cf:cf:09:5a port1: AP-STA-CONNECTED 4a:42:cf:cf:09:5a port1: STA 4a:42:cf:cf:09:5a IEEE 802.1X: authorizing port port1: CTRL-EVENT-EAP-FAILURE2 de:d8:8c:88:6e:f2 port1: IEEE 802.1X: Force disconnection of de:d8:8c:88:6e:f2 after EAP-Failure in 10 ms Увімкни його обробку динамічних VLAN, і він повідомить VLAN, яку йому дали, vlan=10 для ноутбука і vlan=99 для камери на карантині, а потім скаже, що could not add dynamic VLAN interface. Це порт Linux чесно зізнається: він уміє відкриватися й закриватися, але не вміє сам перейти у VLAN. Керований комутатор робить цю частину апаратно, і саме цю половину покривають налаштування виробників нижче.\nВідкликання: CRL, який FreeRADIUS ігнорує після HUP Загублений ноутбук це саме той випадок, заради якого все це існує. Відкличи його в CA. Provisioner admin підписує токен відкликання для серійного номера, і це працює без ключа ноутбука, бо ноутбука в тебе не буде:\nSERIAL=$(step certificate inspect laptop2.crt --format json | jq -r .serial_number) TOKEN=$(step ca token \u0026#34;$SERIAL\u0026#34; --revoke --provisioner admin) step ca revoke \u0026#34;$SERIAL\u0026#34; --token \u0026#34;$TOKEN\u0026#34; --reason \u0026#34;laptop lost\u0026#34; Certificate with Serial Number 306546036599704679037436836531698019860 has been revoked. step-ca одразу перебудовує свій CRL, коли ввімкнено generateOnRevoke, налаштований так, як показує допис про клієнтські сертифікати. Скопіюй його в каталог ca/ FreeRADIUS, і ноутбук відрізано. От тільки ні. Він пройшов назад, як ні в чому не бувало.\nЩо зробили після того, як новий CRL ліг на диск Відкликаний ноутбук Нічого Досі підключається kill -HUP Досі підключається. Журнал каже HUP - No files changed. Ignoring Почекали довше за ca_path_reload_interval Відмова, certificate revoked Перезапустили FreeRADIUS Відмова, certificate revoked HUP перечитує файли конфігурації, а CRL у ca_path до них не належить, тож FreeRADIUS перевіряє свій список конфігів, не бачить змін і працює далі зі старим CRL у пам’яті. Підхоплює його ca_path_reload_interval. У типовому конфігу він вимкнений. Постав менше 300 секунд, і FreeRADIUS перекриє тебе під час старту:\nca_path_reload_interval is set too low, reset it to 300 Тож 300. Відкликання набирає сили протягом п’яти хвилин після того, як ліг новий CRL. Забирай його за таймером, як допис про клієнтські сертифікати вже робить для nginx, тільки в цей каталог. Перезапусти FreeRADIUS, якщо п’ять хвилин задовго для пристрою, який ти щойно загубив.\nCRL може також відрізати всіх одразу. Тож в обидва боки. Обидва випадки перевірено зі справними сертифікатами:\nСтан CRL Що каже FreeRADIUS Хто підключається Актуальний Нічого Кожен справний пристрій Відсутній у ca/ error 3 : unable to get certificate CRL Ніхто Минув час наступного оновлення error 12 : CRL has expired Ніхто CRL від step-ca за замовчуванням живе 24 години. Якщо таймер, що його забирає, зупиниться, кожен пристрій у мережі наступного дня не пройде. allow_expired_crl існує, щоб це пом’якшити7. Не використовуй його. Мережа, яка пускає всіх, бо список застарів, перестала будь-що перевіряти, і як така правильне виправлення це стежити за таймером, а не вимикати перевірку.\nRADIUS досі на MD5 і спільному секреті Усе досі захищало розмову між пристроєм і FreeRADIUS. EAP-TLS іде наскрізь, і комутатор чи точка доступу посередині не можуть його прочитати. Пакет RADIUS, який його несе, це інша справа.\nКласичний RADIUS це UDP зі спільним секретом, а секрет використовується через MD5, що мало б значно менше значення, якби пакет не ніс нічого цінного, але Access-Accept для клієнта WiFi несе ключі до трафіку цього клієнта. MS-MPPE-Recv-Key і MS-MPPE-Send-Key це майстер-ключ, яким точка доступу шифрує трафік цього клієнта, і RFC 2548 захищає їх через b(1) = MD5(S + R + A) і XOR, де S це спільний секрет12. Прямої секретності (forward secrecy) тут немає. Перехопи трафік RADIUS сьогодні, дістань секрет наступного року з резервної копії конфігу чи running config комутатора, і кожен перехоплений ключ розшифровується, а разом із ним і трафік WiFi, який він захищав.\nТож питання не в тому, чи досить довгий секрет. Питання в тому, чому ключі від бездротової мережі взагалі ходять дротом під MD5. Не мусять.\nЗагроза Звичайний RADIUS через UDP З обов’язковим Message-Authenticator RadSec, TLS 1.3, взаємні сертифікати Підроблений Access-Accept (BlastRADIUS) Можливий на запитах без EAP, включно з MAB Зупинено Зупинено Ключі WiFi, прочитані з перехоплення Будь-хто, хто колись дізнається секрет Те саме Потрібні сеансові ключі TLS, які ніде не зберігаються Машина в мережі керування видає себе за комутатор Потрібен лише секрет Те саме Потрібен сертифікат із роллю nas, з відомої адреси Хто бачить, який пристрій увійшов Будь-хто на шляху Те саме Ніхто BlastRADIUS і рядок, що його зупиняє BlastRADIUS, CVE-2024-3596, дозволяє нападнику на шляху між комутатором і сервером перетворити reject на accept, атакуючи MD5, яким підписано відповідь13. Виправлення це атрибут Message-Authenticator на кожному запиті й кожній відповіді13. RFC 3579 завжди вимагав його на всьому, що несе EAP14, тож EAP-TLS ніколи не був слабким місцем. Слабким місцем був MAB, бо перевірка MAC-адреси не несе EAP, і багато комутаторів надсилали її без нього.\nFreeRADIUS 3.2.10 вимагає його з коробки, через require_message_authenticator = yes у radiusd.conf. Перевірено тут запитом MAB, зібраним уручну:\nЗапит Відповідь Без Message-Authenticator Жодної відповіді. У журналі Packet does not contain required Message-Authenticator attribute З Message-Authenticator Відповідь, Access-Reject для невідомої MAC Залиш це налаштування як є. Конфіг попереджає, що встановлення його і limit_proxy_state обох у no «will allow MITM attackers to create fake Access-Accept packets to the NAS»15.\nЦе закриває підробку. Для ключів це не робить нічого.\nRadSec: RADIUS усередині TLS 1.3 Найвищий доступний стандарт це RadSec, RADIUS поверх TLS із сертифікатом на кожному кінці16. Комутатор чи точка доступу доводить, хто він, сертифікатом, FreeRADIUS доводить, хто він, своїм, і вся розмова RADIUS, ключі включно, сидить усередині TLS 1.3 з прямою секретністю. IETF переводить його на standards track; чернетка, що замінить експериментальний RFC 2012 року, «Has enough positions to pass»17.\nКомутатори й точки доступу отримують сертифікати від step-ca, як і все інше, від третього provisioner, чий шаблон вписує OU=nas і нічого більше, а отже сертифікатом пристрою не можна видати себе за комутатор, а сертифікатом комутатора, який не несе жодної ролі, яку впізнає політика VLAN, не можна й підключитися до мережі.\nlisten { ipaddr = * port = 2083 type = auth proto = tcp virtual_server = default clients = radsec tls { certificate_file = ${certdir}/eaptls/radius.crt private_key_file = ${certdir}/eaptls/radius.key ca_path = ${certdir}/eaptls/ca ca_file = ${certdir}/eaptls/ca/root_ca.crt require_client_cert = yes check_crl = yes ca_path_reload_interval = 300 verify { tmpdir = ${run_dir} client = \u0026#34;${raddbdir}/nas-only.sh %{TLS-Client-Cert-Filename}\u0026#34; } tls_min_version = \u0026#34;1.3\u0026#34; tls_max_version = \u0026#34;1.3\u0026#34; } } clients radsec { client switch1 { ipaddr = 192.0.2.21 proto = tls secret = radsec } } #!/bin/sh # Accept a RadSec client certificate only if step-ca issued it with the nas role. openssl x509 -in \u0026#34;$1\u0026#34; -noout -subject -nameopt compat | grep -q \u0026#39;/OU=nas/\u0026#39; Секрет справді слово radsec. Чесно. Поверх TLS він нічого не робить, і власний приклад FreeRADIUS каже «TLS clients MUST have the shared secret set to „radsec“»18. Дві речі, які виглядають природно, не працюють, і обидві знайдено на власному досвіді. check_cert_cn = %{client:shortname} під час рукостискання розгортається в порожнечу, тож кожен комутатор отримує відмову з Certificate CN (switch1) does not match specified value (); звідси скрипт verify. А слухач не стартує під freeradius -X, який вимикає потоки: Threading must be enabled for TLS sockets to function properly. Налагоджуй натомість через freeradius -fxx -l stdout.\nЗахист кожного перегону до FreeRADIUS FreeRADIUS порт 2083 лише OU=nas Omada, hostapd RadSec вбудовано RadSec, TLS 1.3 Netgear лише UDP radsecproxy VLAN керування UDP + Msg-Auth RadSec step-ca видає всі сертифікати CRL через HTTPS, корінь закріплено Як захищено кожен перегін. Обладнання, що говорить RadSec, іде прямо до FreeRADIUS через TLS 1.3. Обладнання, що говорить лише UDP, говорить із radsecproxy в тій самій VLAN керування, і лише цей короткий перегін це звичайний RADIUS. CRL приходить від step-ca через HTTPS із закріпленим кореневим сертифікатом. Змодельований раніше порт комутатора, перебудований під RadSec, з тими самими тестами:\nКомутатор пред’являє Звідки Результат switch1, OU=nas Зі своєї вказаної адреси TLS 1.3 піднято; laptop1 авторизовано у VLAN 10, відкликаному laptop2 відмовлено Сертифікат laptop1 З адреси комутатора Відмова в рукостисканні; скрипт verify повертає 1 switch1, OU=nas З невказаної адреси Ignoring request … from unknown client Яке обладнання це вміє Authenticator RadSec Примітки hostapd 2.11 Так, якщо зібрано з ним CONFIG_RADIUS_TLS=y закоментовано в його defconfig19. Пакет Alpine лишає його вимкненим і відкидає конфіг: unsupported RADIUS type 'TLS'. Зібраний із ним, запрацював з першого разу Точки доступу й комутатори TP-Link Omada Від Controller 6.1, з актуальною прошивкою «Added support for RadSec (RADIUS over TLS) to secure SSID, MAC-Based, and 802.1X authentications on both APs and Switches»20 RADIUS-проксі TP-Link Omada Ні Власний проксі контролера «does not support the RadSec feature»21 Netgear M4250 і M4350 Не задокументовано Посібник CLI ніде не згадує RadSec і обмежує спільний секрет: «The secret must be an alphanumeric value not exceeding 16 characters»22 Точки доступу Netgear WAX і WBE Не задокументовано Посібники описують порт RADIUS як UDP, а типовий секрет як sharedsecret23 Можна спитати, чому комутатор, який у 2026 році продають як повністю керований, не вміє говорити зі своїм RADIUS-сервером через TLS? Не хто це вирішив. А що в процесі дозволило йому вийти таким, коли контролер TP-Link, hostapd і безкоштовний проксі вміють. Шістнадцять випадкових буквено-цифрових символів це приблизно 95 біт, і зламують не це. Суть у тому, що це єдиний захист, який пропонують: жодного варіанта з TLS, схема MD5 з 1999 року стереже ключі WiFi, а точка доступу постачається із секретом, встановленим у слово sharedsecret. На обладнанні Netgear radsecproxy не опція, а обов’язок.\nradsecproxy для обладнання, що говорить лише UDP Де комутатор чи точка доступу не вміють RadSec, постав поруч radsecproxy. Він приймає UDP RADIUS і віддає RadSec24, тож відкритий перегін це кілька метрів VLAN керування між комутатором і проксі, а не весь шлях до сервера:\nListenUDP *:1812 tls stepca { CACertificateFile /etc/radsecproxy/root_ca.crt CertificateFile /etc/radsecproxy/radsecproxy.crt CertificateKeyFile /etc/radsecproxy/radsecproxy.key TlsVersion TLS1_3 } client switches { host 192.0.2.32/27 type udp secret \u0026lt;long random secret\u0026gt; RequireMessageAuthenticator on } server freeradius { host radius.home.example port 2083 type tls tls stepca secret radsec certificateNameCheck on } realm * { server freeradius } Використовуй ім’я. Не адресу. З host 10.89.0.100 проксі відмовив серверу, і правильно: No subjectaltname matching address 10.89.0.100. З іменем він піднявся як TLSv1.3 with cipher TLS_AES_256_GCM_SHA384, і ті самі пристрої отримали через нього ті самі відповіді: laptop1 VLAN 10, cam1 99, tv1 30, laptop2 відхилено. Запит без Message-Authenticator зупинився на проксі: ignoring request from client switches … missing required message-authenticator.\nТримай цей UDP-перегін чесним. Коротким і обгородженим. Адреса керування комутатора і проксі сидять у VLAN керування, до якої не маршрутизується жодна клієнтська VLAN, і фаєрвол це підтверджує.\nІ забирання CRL теж CRL підписаний, тож ніхто не може його підробити. Але можна підсунути старіший, ще чинний, і так сховати відкликання, зроблене відтоді. Забирай його від step-ca через HTTPS із закріпленим власним кореневим сертифікатом, а не через звичайний HTTP:\ncurl -fsS --cacert /etc/freeradius/certs/eaptls/ca/root_ca.crt --tlsv1.3 \\ -o /tmp/crl.der https://ca.home.example:9000/1.0/crl З будь-яким іншим кореневим та сама команда падає з кодом виходу curl 60, і FreeRADIUS залишає список, який має.\nКуди це рухається RFC 9765, RADIUS/1.1, повністю прибирає MD5 з RADIUS, коли той іде поверх TLS: «the RADIUS shared secret is no longer used, and all MD5-based packet authentication and attribute obfuscation methods are removed»25. Він має статус Experimental. FreeRADIUS 3.2 має його за прапорцем збірки, --with-radiusv11, «for testing interoperability»26, а офіційний образ 3.2.10 зібрано без нього; у бінарнику цієї опції немає. RadSec із TLS 1.3 це найвищий стандарт, який можна розгорнути сьогодні, а RADIUS/1.1 це те, куди він піде далі.\nКомутатор: Netgear і TP-Link Кожен керований комутатор, вартий уваги, вміє 802.1X із динамічними VLAN, і налаштування зводяться до тих самих п’яти речей, хоч що написано на корпусі. Різниця між цими двома в деталях, і одна деталь на боці TP-Link змінює те, як ти кабелюєш робоче місце.\nНалаштування Netgear M4250 і M4350 Комутатори TP-Link Omada RADIUS-сервер Security \u0026gt; Management Security \u0026gt; RADIUS \u0026gt; Server Configuration27 RADIUS Profile у контролері Omada28 Увімкнення 802.1X Security \u0026gt; Port Authentication \u0026gt; Basic \u0026gt; 802.1X Configuration: Dot1x Admin Mode, Authentication Admin Mode27 Authentication \u0026gt; 802.1X, Authentication Type «Port Based»28 VLAN від RADIUS VLAN Assignment Mode, «The default is Disable»27 «enable \u0026lsquo;VLAN Assignment\u0026rsquo;»28 Відсутня VLAN Не створюється, якщо не ввімкнено Dynamic VLAN Creation Mode, теж вимкнений за замовчуванням27 «the switch will create the related VLAN automatically»29 Порти доступу Control Mode Auto 802.1X Control mode Auto28 Аплінки, порт RADIUS-сервера, порти точок доступу Force Authorized 802.1X лишити вимкненим: «Keep 802.1X authentication disabled on ports connected to the authentication server, the internet and the management computer»29 У будь-якому разі спершу створи VLAN на комутаторі. VLAN, яка існує тому, що її начаклував вхід, це VLAN, яку ніхто не налаштовував і на яку ніхто не поставив правило фаєрвола.\nОдна VLAN на порт у TP-Link Власний посібник TP-Link каже «VLAN Assignment takes effect only when the control type is Port Based»29. Port based означає, що перший пристрій, який автентифікувався, задає VLAN для всього порту. Постав на цей порт настільний комутатор або телефон із ПК, підключеним через нього, і другий пристрій заїде у VLAN першого, і ніхто ніколи не спитає в нього сертифікат, а на порту для своїх це означає, що все, що встромлено в задню панель того телефона, опиняється серед своїх.\nТож на TP-Link: один пристрій на порт доступу. Нічого між стіною і пристроєм. Режим MAC-based у Netgear автентифікує кожен пристрій на порту окремо; посібник GS710TUP описує, що він дозволяє «multiple supplicants connected to the same port»30.\nMAB для принтера, який нічого з цього не вміє Деяке обладнання не має клієнта 802.1X взагалі. MAC Authentication Bypass дозволяє комутатору надіслати MAC-адресу пристрою в RADIUS і як ім’я користувача, і як пароль, і обидва виробники підтримують його разом з 802.1X на тому самому порту. Netgear спершу пробує 802.1X, а потім відступає: «if a client tries 802.1X authentication… and authentication fails, the interface proceeds with MAB authentication»27. TP-Link надсилає MAC як «12 hexadecimal digits, all lowercase and no punctuation»29.\nMAC-адреса це не ідентичність. Будь-хто може однією командою виставити своїй мережевій карті MAC принтера, з ноутбука, який приніс із собою, стоячи поруч із принтером, чий кабель щойно позичив. Тож MAB отримує власний список, і політика дасть йому лише IoT VLAN або карантин:\nmab { if (!\u0026amp;EAP-Message \u0026amp;\u0026amp; \u0026amp;User-Name =~ /^[0-9a-f]{12}$/ \u0026amp;\u0026amp; \u0026amp;User-Password == \u0026amp;User-Name) { mab_vlan if (ok \u0026amp;\u0026amp; \u0026amp;reply:Tunnel-Private-Group-Id =~ /^(20|99)$/) { update control { \u0026amp;Auth-Type := Accept } update reply { \u0026amp;Tunnel-Type := VLAN \u0026amp;Tunnel-Medium-Type := IEEE-802 } } else { reject } } } Це йде першим в authorize, з модулем passwd на ім’я mab_vlan, що читає рядки mac,vlan точно як список пристроїв. Політика сертифікатів загорнута в if (\u0026amp;EAP-Message), тож вона не чіпає MAB. Перевірено:\nЗапит MAB Запис у списку Відповідь aabbccddeeff 20 Accept, VLAN 20 112233445566 Немає Reject ccddeeff0011 10, VLAN для своїх Reject. Політика не покладе MAC серед своїх, хоч що каже список Той, хто підробить принтер, отримає VLAN принтера і нічого більше. Це максимум, який MAC-адреса взагалі має купувати.\nНалаштування комутатора Omada вище також звірено з модельованим Omada Software Controller 6.2.14.11 у контейнері без жодного обладнання за ним. Його англійські рядки інтерфейсу називають кожне налаштування, використане тут: опцію RadSec, де «a TLS-encrypted transmission tunnel will be established between the client and the RADIUS server», «Enable VLAN Assignment for Wireless Network», «Require Message-Authenticator», «Limit Proxy-State», а також імпорт клієнтського сертифіката й ключа для RadSec. Контролер налаштовує; трафік він не пропускає, тож це доводить, що налаштування існують у цій версії, і нічого більше. Для Netgear нічого рівноцінного запустити не вийшло, тож його колонка з власних посібників Netgear і тут не перевірялася.\nТочка доступу: один SSID, усі VLAN Точка доступу це місце, де один SSID окуповується. Одна мережа WPA-Enterprise, і кожен клієнт потрапляє у VLAN, яку для нього називає RADIUS. Точка доступу тегує трафік цього клієнта його VLAN і шле кабелем угору, тож порт комутатора, що живить точку доступу, мусить нести тегованими всі VLAN, які може видати RADIUS. Пропусти одну, і пристрій чудово автентифікується і так ніколи й не отримає адресу.\nОдин SSID, змодельований Перш ніж вірити на слово будь-якому з виробників, усе це запустили на модельованих радіо. mac80211_hwsim у Linux робить віртуальні карти WiFi, які вміють справжній WPA-Enterprise. Ядро цієї машини не постачає цей модуль, тож тест завантажив те саме ядро в невеликій віртуальній машині KVM і підвантажив його там, із власного підписаного пакета Fedora, з hostapd 2.11 як точкою доступу і трьома станціями wpa_supplicant у власних мережевих просторах імен31:\ninterface=wlan0 driver=nl80211 ssid=Home ieee8021x=1 wpa=2 wpa_key_mgmt=WPA-EAP rsn_pairwise=CCMP ieee80211w=1 auth_server_addr=192.0.2.10 auth_server_port=1812 auth_server_shared_secret=\u0026lt;shared secret\u0026gt; dynamic_vlan=2 vlan_tagged_interface=trunk0 vlan_bridge=brvlan dynamic_vlan=2 означає «обов’язково»: вхід без VLAN у відповіді відхиляється, а не скидається в типову. Кожна станція увійшла як anonymous через TLS 1.3, а власний журнал точки доступу показує, що їй сказав RADIUS:\nwlan0: STA 02:00:00:00:01:00 RADIUS: VLAN ID 10 wlan0: STA 02:00:00:00:02:00 RADIUS: VLAN ID 99 wlan0: STA 02:00:00:00:03:00 RADIUS: VLAN ID 30 WPA: group state machine entering state GTK_INIT (VLAN-ID 10) WPA: group state machine entering state GTK_INIT (VLAN-ID 30) WPA: group state machine entering state GTK_INIT (VLAN-ID 99) Один SSID, три VLAN laptop1 OU=staff cam1 у списку tv1 OU=media Точка доступу SSID \"Home\" VLAN 10, ключ A VLAN 99, ключ B VLAN 30, ключ C Комутатор транковий порт 10, 30, 99 теговані один кабель Один SSID, три пристрої, три VLAN. Точка доступу кладе кожного клієнта на власний інтерфейс VLAN з власним груповим ключем і шле всі три угору одним тегованим транком. Порт комутатора, що живить точку доступу, мусить нести кожну VLAN, яку може назвати RADIUS. Станція Сертифікат VLAN Міст Власний шлюз VLAN телевізора laptop1 OU=staff 10 brvlan10 Досяжний Немає відповіді cam1 OU=iot, у списку 99 brvlan99 Досяжний tv1 OU=media 30 brvlan30 Досяжний Рядки про груповий ключ це те, що люди пропускають. Широкомовні й багатоадресні кадри у WiFi шифруються груповим ключем, спільним для всіх у мережі, і якби всі три VLAN ділили один, камера могла б читати широкомовлення ноутбука прямо з ефіру, хоч що думав комутатор. hostapd тримає окремий груповий ключ на кожну VLAN, і журнал показує, як він запускає по одному для кожної. Той самий прогін у WPA3-Enterprise, WPA-EAP-SHA256 з обов’язковим захистом кадрів керування, дав ті самі три VLAN і ті самі три групові ключі.\nНалаштування Netgear WAX і WBE TP-Link Omada EAP Безпека WPA2 Enterprise або WPA3 Enterprise WPA2-Enterprise або WPA3-Enterprise, включно з режимом only з CCMP-128 VLAN від RADIUS Dynamic VLAN, Enable23 «Enable VLAN Assignment for Wireless Network»28 Немає VLAN у відповіді Клієнт іде у власну VLAN SSID23 Не задокументовано; FreeRADIUS тут ніколи не надсилає Accept без неї Транспорт RADIUS Лише UDP, тож radsecproxy RadSec від Controller 6.1 з актуальною прошивкою20 Дві деталі Netgear варто знати, поки вони не вкусили. Клієнта, якому RADIUS-сервер не дав VLAN, за словами посібника, буде «automatically assigned the VLAN ID that you configured for the SSID»23, тож налаштуй власну VLAN SSID на карантин, а не на своїх; FreeRADIUS тут завжди надсилає VLAN, але запасний варіант однаково має падати в закритий бік. А динамічна VLAN «is mutually exclusive with a captive portal, NAT mode, wireless client isolation, and a multicast DNS (mDNS) gateway»23, тож гостьовий портал на тому самому SSID відпадає.\nWPA3-Enterprise на WAX620 це 192-бітний режим: «the encryption is automatically set to GCMP256»32, з обов’язковим захистом кадрів керування. Клієнти, що не вміють GCMP-256, до нього не підключаться. Перевір свій найстаріший пристрій, перш ніж перемикатися, так само як для TLS 1.3.\nПристрої і перевірка, яку всі пропускають Кожному пристрою потрібні три речі: власний сертифікат і ключ, кореневий сертифікат і ім’я RADIUS-сервера, на яке він має чекати. Більшість посібників покривають перші дві. Пропусти щось у третій, і все одно працює, і в цьому проблема.\nТретя це те, що не дає пристрою довіритися не тому серверу. Тут фальшивий RADIUS-сервер підняли двічі: раз із цілком чинним сертифікатом від того самого CA, виданим на ha.home.example, і раз із самопідписаним сертифікатом. Ноутбук спрямували на кожен із трьома різними клієнтськими налаштуваннями:\nКлієнт перевіряє Справжній сервер Той самий CA, інше ім’я Самопідписаний CA та ім’я сервера Підключається Відмова, Domain mismatch Відмова Лише CA Підключається Підключається Відмова Нічого Підключається Підключається Підключається Подивись на середній рядок. Твій CA підписує сертифікат для кожного веб-сервера в домі. Пристрій, що перевіряє лише CA, довіриться будь-якому з них як своєму RADIUS-серверу, тож будь-хто, хто дістане один із цих ключів, із забутої тестової машини чи веб-сервера, який ніхто не латав, може підняти точку доступу з твоїм SSID, і твої пристрої підключаться до неї без жодного писку. З EAP-TLS вони не віддають пароль, але вони в мережі нападника і довіряють їй. TLS 1.3 цього не змінює; ті самі три рядки повернулися і під 1.3. Змінює лише перевірка імені.\nAndroid дійшов до цього першим. Опцію «Do not validate» прибрали «for security reasons»33, хоча там зазначено, що «saved enterprise configurations that are set up to turn off server certificate validation aren\u0026rsquo;t affected»33. Старий телефон досі може таку носити.\nLinux (NetworkManager) macOS, iOS, iPadOS Android Сертифікат і ключ 802-1x.client-cert, 802-1x.private-key Identity payload у профілі конфігурації Встановлено як сертифікат Wi-Fi Кореневий сертифікат 802-1x.ca-cert Certificate payload, довіра через PayloadCertificateAnchorUUID34 Поле сертифіката CA Ім’я сервера 802-1x.domain-match35 TLSTrustedServerNames34 Поле домену; setDomainSuffixMatch в API36 TLS 1.3 802-1x.phase1-auth-flags tls-1-3-enable TLSMinimumVersion і TLSMaximumVersion \u0026quot;1.3\u0026quot;; максимум за замовчуванням \u0026quot;1.2\u0026quot;34 setMinimumTlsVersion(TLS_V1_3), з рівня API 34, де пристрій це підтримує36 На Linux усе це одна команда. Її перевірено через nmcli --offline, яка друкує підключення, яке вона створила б, не чіпаючи робочу систему:\nnmcli connection add type wifi con-name Home ifname \u0026#39;*\u0026#39; ssid Home \\ wifi-sec.key-mgmt wpa-eap 802-1x.eap tls 802-1x.identity anonymous \\ 802-1x.ca-cert /etc/pki/home/root_ca.crt \\ 802-1x.domain-match radius.home.example \\ 802-1x.client-cert /etc/pki/home/laptop1.crt \\ 802-1x.private-key /etc/pki/home/laptop1.key \\ 802-1x.private-key-password-flags not-required \\ 802-1x.phase1-auth-flags tls-1-3-enable Для дротового порту те саме з type ethernet і без SSID. Пастка на боці Apple це максимальна версія TLS, що за замовчуванням 1.2: профіль, який її не вказує, дає Mac, якому ця мережа відмовить.\nСкільки коштує «лише TLS 1.3» Чесна межа цієї збірки це пристрої, які цього не вміють. Камера чи телевізор із вбудованим supplicant, якому вже багато років, може впоратися з EAP-TLS поверх 1.2 і ніколи з 1.3, і жодне налаштування на твоєму боці цього не виправить. Версію TLS узгоджують до того, як FreeRADIUS побачить сертифікат, тож він не може зробити виняток для ролі IoT.\nТож перевіряй кожен пристрій до того, як купити. Не після. Спрямуй його на FreeRADIUS лише з 1.3 і прочитай журнал: recv TLS 1.3 Handshake, ClientHello або protocol version скаже тобі все, що треба. Пристрій, що не пройшов, іде на дротовий порт із MAB або не йде в мережу взагалі. Послабити всю мережу під найгірше, що в ній є, саме так і почався спільний пароль.\nПовна конфігурація, файл за файлом Усе вище обрізано до рядків, що доводять кожну думку. Тут усе. Кожен файл тут працював у лабораторії, від порожнього step-ca і стокового дерева FreeRADIUS до ноутбука у VLAN 10, а копії нижче це ті самі файли з лабораторними адресами, заміненими на ті, що в таблиці. Бери їх одним завантаженням, eap-tls-configs.tar.gz, або по файлу за посиланнями.\nІм’я Адреса Що це ca.home.example Лише за іменем step-ca, порт 9000 radius.home.example 192.0.2.10 FreeRADIUS, RadSec на 2083 radsecproxy 192.0.2.11 radsecproxy, UDP на вхід, RadSec на вихід switch1, ap1 192.0.2.21, 192.0.2.31 Обладнання, що говорить RadSec Обладнання лише з UDP 192.0.2.32 до .63 Через radsecproxy; точка доступу Linux нижче це ap2 на .33 Файл Куди йде Його робота step-ca/templates/device.tpl /home/step/templates/ у CA Роль в OU, лише автентифікація клієнта step-ca/templates/nas.tpl /home/step/templates/ у CA OU=nas, для RadSec step-ca/setup.sh Запустити один раз у CA Додає provisioner network і nas step-ca/issue.sh Запустити там, де step довіряє CA Кожен сертифікат і рецепт відкликання freeradius/install.sh Запустити з freeradius/ Розкладає решту по місцях freeradius/mods-available/eap RADDB/mods-available/ EAP-TLS, TLS 1.3, перевірка CRL freeradius/mods-available/device_vlan RADDB/mods-available/ Читає список окремих пристроїв freeradius/mods-available/mab_vlan RADDB/mods-available/ Читає список MAB freeradius/mods-config/device_vlan/devices RADDB/mods-config/device_vlan/ Ім’я сертифіката в VLAN freeradius/mods-config/device_vlan/mab RADDB/mods-config/device_vlan/ MAC-адреса в VLAN freeradius/policy.d/vlan RADDB/policy.d/ Обирає VLAN для сертифіката freeradius/policy.d/mab RADDB/policy.d/ Обирає VLAN для MAC, лише 20 або 99 freeradius/sites-available/default.patch Застосувати до RADDB Викликає дві політики freeradius/sites-available/tls RADDB/sites-available/ Слухач RadSec і його клієнти freeradius/nas-only.sh RADDB/ Пускає лише сертифікати OU=nas freeradius/clients.conf RADDB/ UDP для тестування на самій машині systemd/radius-crl-refresh /usr/local/sbin/ Забирає й перевіряє CRL systemd/radius-crl-refresh.service /etc/systemd/system/ Запускає його systemd/radius-crl-refresh.timer /etc/systemd/system/ Щогодини systemd/radius-cert-renew.service /etc/systemd/system/ Оновлює серверний сертифікат radsecproxy/radsecproxy.conf /etc/radsecproxy.conf UDP на вхід, RadSec на вихід hostapd/hostapd-wired.conf /etc/hostapd/ Порт комутатора 802.1X на Linux hostapd/hostapd-wifi.conf /etc/hostapd/ Точка доступу на Linux, один SSID clients/wpa_supplicant-wired.conf Пристрій Дротовий вхід clients/wpa_supplicant-wifi.conf Пристрій Вхід через WiFi clients/nmcli.sh Пристрій Те саме через NetworkManager FreeRADIUS живе в різних місцях у кожному дистрибутиві, а його файлам байдуже де, бо кожен шлях у них будується від каталогу конфігурації. install.sh приймає цей каталог як RADDB. Його запускали на всіх трьох нижче, і власна перевірка конфігу FreeRADIUS, -XC, пройшла на кожному. Лише офіційний образ далі пройшов кожен тест цього допису; на двох інших ця перевірка і є всім доказом, у контейнері, тож SELinux на справжній машині з Fedora в неї не входив.\nОфіційний образ Debian 13 Fedora FreeRADIUS 3.2.10 3.2.7 3.2.8 RADDB /etc/freeradius /etc/freeradius/3.0 /etc/raddb Працює як freerad freerad radiusd Сервіс Контейнер freeradius radiusd Перевірено Усе в цьому дописі install.sh і -XC install.sh і -XC Два юніти systemd називають /etc/freeradius і сервіс freeradius. На Debian чи Fedora зміни обидва відповідно до таблиці. Більше нічого не змінюється.\nstep-ca Шаблон пристрою той самий, що в Роль у сертифікаті, рядок у рядок, з коментарем угорі. Шаблон nas та сама ідея із зафіксованою роллю:\nstep-ca/templates/nas.tpl\n{{- /* Certificates for switches, access points and radsecproxy, used for RadSec. OU=nas is what FreeRADIUS checks for; it maps to no VLAN, so a nas certificate cannot get a device on the network. */ -}} { \u0026#34;subject\u0026#34;: { \u0026#34;commonName\u0026#34;: {{ toJson .Subject.CommonName }}, \u0026#34;organizationalUnit\u0026#34;: \u0026#34;nas\u0026#34; }, \u0026#34;sans\u0026#34;: {{ toJson .SANs }}, \u0026#34;keyUsage\u0026#34;: [\u0026#34;digitalSignature\u0026#34;], \u0026#34;extKeyUsage\u0026#34;: [\u0026#34;clientAuth\u0026#34;], \u0026#34;crlDistributionPoints\u0026#34;: [\u0026#34;http://ca.home.example/1.0/crl\u0026#34;] } setup.sh додає обидва provisioner. Запусти його один раз усередині контейнера step-ca. Він питає пароль для кожного, а блок CRL, який він друкує, іде в ca.json уручну:\nstep-ca/setup.sh\n#!/bin/sh # Run inside the step-ca container, as the step user, once. # Adds the two provisioners this post uses. Each asks for a password for # its own key; keep both. set -e step ca provisioner add network --type JWK --create \\ --x509-max-dur 8760h --x509-default-dur 24h \\ --x509-template /home/step/templates/device.tpl step ca provisioner add nas --type JWK --create \\ --x509-max-dur 8760h --x509-default-dur 24h \\ --x509-template /home/step/templates/nas.tpl # Then add this block at the top level of /home/step/config/ca.json and # restart the container: # # \u0026#34;crl\u0026#34;: { # \u0026#34;enabled\u0026#34;: true, # \u0026#34;generateOnRevoke\u0026#34;: true, # \u0026#34;cacheDuration\u0026#34;: \u0026#34;24h\u0026#34;, # \u0026#34;idpURL\u0026#34;: \u0026#34;http://ca.home.example/1.0/crl\u0026#34; # } issue.sh робить кожен сертифікат цього допису і зберігає рецепт відкликання з розділу про відкликання як коментар на той день, коли він знадобиться. Цей рецепт теж запускали проти цього CA, на laptop2, зробленому спеціально для цього:\nstep-ca/issue.sh\n#!/bin/sh # Issue the certificates. Run anywhere the step CLI trusts the CA. set -e # The RADIUS server: default 24 hours, renewed daily by radius-cert-renew.service. step ca certificate radius.home.example radius.crt radius.key --provisioner admin # Devices: a year each, the role decides the VLAN. step ca certificate laptop1 laptop1.crt laptop1.key --provisioner network --not-after 8760h --set role=staff step ca certificate cam1 cam1.crt cam1.key --provisioner network --not-after 8760h --set role=iot step ca certificate tv1 tv1.crt tv1.key --provisioner network --not-after 8760h --set role=media # Switches, APs and radsecproxy, for RadSec. step ca certificate switch1 switch1.crt switch1.key --provisioner nas --not-after 8760h step ca certificate ap1 ap1.crt ap1.key --provisioner nas --not-after 8760h step ca certificate radsecproxy radsecproxy.crt radsecproxy.key --provisioner nas --not-after 8760h # A lost device: revoke by serial, no key needed. # SERIAL=$(step certificate inspect laptop2.crt --format json | jq -r .serial_number) # TOKEN=$(step ca token \u0026#34;$SERIAL\u0026#34; --revoke --provisioner admin) # step ca revoke \u0026#34;$SERIAL\u0026#34; --token \u0026#34;$TOKEN\u0026#34; --reason \u0026#34;laptop lost\u0026#34; FreeRADIUS Запусти install.sh з каталогу freeradius у завантаженні. Він копіює файли, патчить типовий сайт і робить посилання. Це все, що він робить:\nfreeradius/install.sh\n#!/bin/sh # Puts these files into a stock FreeRADIUS 3.2 tree. Run from this # directory. RADDB is /etc/freeradius on the official image, # /etc/freeradius/3.0 on Debian and Ubuntu, /etc/raddb on Fedora. set -eu RADDB=${RADDB:-/etc/freeradius} cp mods-available/eap mods-available/device_vlan mods-available/mab_vlan \u0026#34;$RADDB/mods-available/\u0026#34; mkdir -p \u0026#34;$RADDB/mods-config/device_vlan\u0026#34; cp mods-config/device_vlan/devices mods-config/device_vlan/mab \u0026#34;$RADDB/mods-config/device_vlan/\u0026#34; cp policy.d/vlan policy.d/mab \u0026#34;$RADDB/policy.d/\u0026#34; cp sites-available/tls \u0026#34;$RADDB/sites-available/\u0026#34; cp clients.conf \u0026#34;$RADDB/\u0026#34; install -m 0755 nas-only.sh \u0026#34;$RADDB/nas-only.sh\u0026#34; patch -d \u0026#34;$RADDB\u0026#34; -p0 --forward \u0026lt; sites-available/default.patch for m in eap device_vlan mab_vlan; do ln -sfn ../mods-available/$m \u0026#34;$RADDB/mods-enabled/$m\u0026#34; done ln -sfn ../sites-available/tls \u0026#34;$RADDB/sites-enabled/tls\u0026#34; # The certificates go in $RADDB/certs/eaptls: radius.crt, radius.key, # and ca/ holding root_ca.crt, intermediate_ca.crt and the CRL. All of # it readable by the user FreeRADIUS runs as: freerad, or radiusd on # Fedora. mkdir -p \u0026#34;$RADDB/certs/eaptls/ca\u0026#34; Патч це два рядки в стоковому типовому сайті. Його зроблено для 3.2.10, і він застосовується до 3.2.7 і 3.2.8 щонайбільше зі зсувом:\nfreeradius/sites-available/default.patch\n--- sites-available/default +++ sites-available/default @@ -301,6 +301,9 @@ # Make *sure* that \u0026#39;preprocess\u0026#39; comes before any realm if you # need to setup hints for the remote radius server authorize { +\t# MAC Authentication Bypass, policy.d/mab. +\tmab + # # Take a User-Name, and perform some checks on it, for spaces and other # invalid characters. If the User-Name appears invalid, reject the @@ -810,6 +813,9 @@ # Once we KNOW that the user has been authenticated, there are # additional steps we can take. post-auth { +\t# The VLAN for a certificate login, policy.d/vlan. +\tvlan_by_certificate + # # If you need to have a State attribute, you can # add it here. e.g. for later CoA-Request with mods-available/eap замінює стоковий. Повністю:\nfreeradius/mods-available/eap\n# EAP for 802.1X: EAP-TLS only, TLS 1.3 only, CRL checked on every login. # Replaces the stock mods-available/eap. mods-enabled/eap links to it. eap { default_eap_type = tls timer_expire = 60 ignore_unknown_eap_types = no max_sessions = ${max_requests} tls-config tls-common { # The server certificate followed by step-ca\u0026#39;s intermediate, # exactly as \u0026#34;step ca certificate\u0026#34; writes it. certificate_file = ${certdir}/eaptls/radius.crt private_key_file = ${certdir}/eaptls/radius.key # Root, intermediate and the intermediate\u0026#39;s CRL, hashed with # \u0026#34;openssl rehash\u0026#34;. radius-crl-refresh keeps the CRL current. ca_path = ${certdir}/eaptls/ca ca_file = ${certdir}/eaptls/ca/root_ca.crt check_crl = yes # A HUP does not reload a CRL. This does, at 300 s, the minimum. ca_path_reload_interval = 300 tls_min_version = \u0026#34;1.3\u0026#34; tls_max_version = \u0026#34;1.3\u0026#34; cipher_list = \u0026#34;DEFAULT\u0026#34; ecdh_curve = \u0026#34;\u0026#34; cache { enable = no } verify { } } tls { tls = tls-common } } policy.d/vlan це політика з попереднього розділу з обгорткою if (\u0026amp;EAP-Message), про яку згадує розділ про MAB:\nfreeradius/policy.d/vlan\n# Called first in post-auth. Picks the VLAN for a certificate login: # the per-device list first, then the role in the certificate\u0026#39;s OU. vlan_by_certificate { # Certificate logins only. MAB is decided in authorize. if (\u0026amp;EAP-Message) { # Only certificates made for this job: client auth, and a role. if (\u0026amp;TLS-Client-Cert-X509v3-Extended-Key-Usage-OID !~ /1\\.3\\.6\\.1\\.5\\.5\\.7\\.3\\.2/) { reject } # 1. The per-device list wins. device_vlan # 2. Otherwise the role in the certificate decides. if (!\u0026amp;reply:Tunnel-Private-Group-Id) { if (\u0026amp;TLS-Client-Cert-Subject =~ /\\/OU=([^\\/]+)/) { switch \u0026#34;%{1}\u0026#34; { case \u0026#34;staff\u0026#34; { update reply { \u0026amp;Tunnel-Private-Group-Id := \u0026#34;10\u0026#34; } } case \u0026#34;iot\u0026#34; { update reply { \u0026amp;Tunnel-Private-Group-Id := \u0026#34;20\u0026#34; } } case \u0026#34;media\u0026#34; { update reply { \u0026amp;Tunnel-Private-Group-Id := \u0026#34;30\u0026#34; } } case { reject } } } else { reject } } update reply { \u0026amp;Tunnel-Type := VLAN \u0026amp;Tunnel-Medium-Type := IEEE-802 } } } policy.d/mab це політика з розділу про MAB, а mods-available/device_vlan і nas-only.sh такі, як показано раніше, усі три з доданим коментарем. Модуль списку MAB і два списки:\nfreeradius/mods-available/mab_vlan\n# MAC Authentication Bypass: MAC address to VLAN, for kit with no # 802.1X client. The mab policy only accepts VLAN 20 or 99 from here. # mods-enabled/mab_vlan links to it. passwd mab_vlan { filename = ${modconfdir}/device_vlan/mab format = \u0026#34;*User-Name:=Tunnel-Private-Group-Id\u0026#34; delimiter = \u0026#34;,\u0026#34; } freeradius/mods-config/device_vlan/devices\n# Certificate CN,VLAN. Overrides the role in the certificate. # cam1 is quarantined while it is looked at. cam1,99 freeradius/mods-config/device_vlan/mab\n# MAC (12 hex digits, lowercase, no punctuation),VLAN. 20 or 99 only. aabbccddeeff,20 sites-available/tls замінює стоковий приклад RadSec. Тимчасовий каталог verify це ${run_dir}, який уже існує і належить користувачу, від якого працює FreeRADIUS, тож створювати нічого не треба:\nfreeradius/sites-available/tls\n# RadSec: RADIUS over TLS 1.3 on port 2083, for switches, access # points and radsecproxy. Replaces the stock sites-available/tls; # sites-enabled/tls links to it. Requests go to the default site. listen { ipaddr = * port = 2083 type = auth proto = tcp virtual_server = default clients = radsec limit { max_connections = 16 lifetime = 0 idle_timeout = 30 } tls { certificate_file = ${certdir}/eaptls/radius.crt private_key_file = ${certdir}/eaptls/radius.key ca_path = ${certdir}/eaptls/ca ca_file = ${certdir}/eaptls/ca/root_ca.crt require_client_cert = yes check_crl = yes ca_path_reload_interval = 300 # Only certificates from step-ca\u0026#39;s nas provisioner. verify { # Where FreeRADIUS writes the certificate for the script to read. tmpdir = ${run_dir} client = \u0026#34;${raddbdir}/nas-only.sh %{TLS-Client-Cert-Filename}\u0026#34; } tls_min_version = \u0026#34;1.3\u0026#34; tls_max_version = \u0026#34;1.3\u0026#34; cipher_list = \u0026#34;DEFAULT\u0026#34; ecdh_curve = \u0026#34;\u0026#34; cache { enable = no } } } # One entry per switch, AP and proxy, by management address. Over TLS # the secret does nothing, and FreeRADIUS requires it to be \u0026#34;radsec\u0026#34;. clients radsec { client switch1 { ipaddr = 192.0.2.21 proto = tls secret = radsec } client ap1 { ipaddr = 192.0.2.31 proto = tls secret = radsec } client radsecproxy { ipaddr = 192.0.2.11 proto = tls secret = radsec } } clients.conf замінює стоковий і пускає eapol_test на самій машині і більше нічого. Комутатори й точки доступу заходять через RadSec або через проксі:\nfreeradius/clients.conf\n# UDP clients. Kit talks RadSec (sites-available/tls) or goes through # radsecproxy, so plain RADIUS is only for testing on this host with # eapol_test. Replaces the stock clients.conf. client localhost { ipaddr = 127.0.0.1 proto = * secret = CHANGE-ME-test-only require_message_authenticator = yes nas_type = other } Спершу перевір конфіг. Потім запусти його на передньому плані, з увімкненими потоками, щоб працював RadSec:\nfreeradius -XC freeradius -fxx -l stdout Як тримати це актуальним radius-crl-refresh забирає CRL із закріпленим кореневим і відкидає той, що не підписаний проміжним або вже прострочений, тож невдале забирання лишає на місці старий список. Він ніколи не міняє справний список на сміття:\nsystemd/radius-crl-refresh\n#!/bin/sh # Fetch step-ca\u0026#39;s CRL over HTTPS with the root pinned, and put it where # FreeRADIUS reads it. FreeRADIUS picks it up within ca_path_reload_interval. # Installed as /usr/local/sbin/radius-crl-refresh. set -eu CA_URL=\u0026#34;${CA_URL:-https://ca.home.example:9000}\u0026#34; DIR=\u0026#34;${DIR:-/etc/freeradius/certs/eaptls/ca}\u0026#34; TMP=$(mktemp -d) trap \u0026#39;rm -rf \u0026#34;$TMP\u0026#34;\u0026#39; EXIT curl -fsS --cacert \u0026#34;$DIR/root_ca.crt\u0026#34; --tlsv1.3 -o \u0026#34;$TMP/crl.der\u0026#34; \u0026#34;$CA_URL/1.0/crl\u0026#34; openssl crl -inform DER -in \u0026#34;$TMP/crl.der\u0026#34; -out \u0026#34;$TMP/crl.pem\u0026#34; # Refuse a list that is not signed by our intermediate, or already stale. openssl crl -in \u0026#34;$TMP/crl.pem\u0026#34; -noout -CAfile \u0026#34;$DIR/intermediate_ca.crt\u0026#34; 2\u0026gt;\u0026amp;1 | grep -q \u0026#39;verify OK\u0026#39; next=$(date -d \u0026#34;$(openssl crl -in \u0026#34;$TMP/crl.pem\u0026#34; -noout -nextupdate | cut -d= -f2)\u0026#34; +%s) [ \u0026#34;$next\u0026#34; -gt \u0026#34;$(date +%s)\u0026#34; ] install -m 0644 \u0026#34;$TMP/crl.pem\u0026#34; \u0026#34;$DIR/intermediate.crl.pem.new\u0026#34; mv -f \u0026#34;$DIR/intermediate.crl.pem.new\u0026#34; \u0026#34;$DIR/intermediate.crl.pem\u0026#34; openssl rehash \u0026#34;$DIR\u0026#34; systemd/radius-crl-refresh.service\n[Unit] Description=Fetch step-ca\u0026#39;s CRL for FreeRADIUS Wants=network-online.target After=network-online.target [Service] Type=oneshot ExecStart=/usr/local/sbin/radius-crl-refresh systemd/radius-crl-refresh.timer\n[Unit] Description=Fetch step-ca\u0026#39;s CRL for FreeRADIUS every hour [Timer] OnBootSec=1min OnUnitActiveSec=1h RandomizedDelaySec=5min Persistent=true [Install] WantedBy=timers.target Серверний сертифікат живе 24 години, тож оновлює себе сам. Оновлення тут зберегло ключ і права обох файлів, а це важливо, бо FreeRADIUS читає їх як freerad. Воно перезапускає FreeRADIUS, а не надсилає HUP. З тієї самої причини, що й CRL:\nsystemd/radius-cert-renew.service\n# Keeps FreeRADIUS\u0026#39;s 24-hour server certificate renewed, and restarts # FreeRADIUS on each renewal so it loads the new one. Once, as root: # step ca bootstrap --ca-url https://ca.home.example:9000 --fingerprint \u0026lt;root fingerprint\u0026gt; # chgrp freerad radius.key \u0026amp;\u0026amp; chmod 0640 radius.key # Renewal rewrites radius.crt and keeps the key and both files\u0026#39; modes. [Unit] Description=Renew FreeRADIUS\u0026#39;s server certificate from step-ca Wants=network-online.target After=network-online.target [Service] ExecStart=/usr/bin/step ca renew --daemon \\ --exec \u0026#34;systemctl restart freeradius\u0026#34; \\ /etc/freeradius/certs/eaptls/radius.crt /etc/freeradius/certs/eaptls/radius.key Restart=on-failure RestartSec=5min [Install] WantedBy=multi-user.target radsecproxy radsecproxy/radsecproxy.conf\n# radsecproxy beside switches and APs that only speak UDP RADIUS. # Takes UDP in on the management VLAN, sends RadSec over TLS 1.3 out. ListenUDP *:1812 LogLevel 3 LogDestination file:///var/log/radsecproxy.log tls stepca { CACertificateFile /etc/radsecproxy/root_ca.crt CertificateFile /etc/radsecproxy/radsecproxy.crt CertificateKeyFile /etc/radsecproxy/radsecproxy.key TlsVersion TLS1_3 } # The kit that only speaks UDP, from 192.0.2.32 to .63 on the management # VLAN. Netgear caps the secret at 16 alphanumeric characters, so use all # 16, random: # openssl rand -base64 32 | tr -dc \u0026#39;A-Za-z0-9\u0026#39; | head -c 16 client switches { host 192.0.2.32/27 type udp secret CHANGE-ME-16chars RequireMessageAuthenticator on } server freeradius { host radius.home.example port 2083 type tls tls stepca secret radsec certificateNameCheck on } realm * { server freeradius } hostapd Машина з Linux замість порту комутатора, що говорить RadSec. Це файл, на якому працював модельований порт:\nhostapd/hostapd-wired.conf\n# A Linux box as an 802.1X wired port, talking RadSec to FreeRADIUS. # Needs hostapd built with CONFIG_DRIVER_WIRED=y and CONFIG_RADIUS_TLS=y. interface=eth1 driver=wired ieee8021x=1 use_pae_group_addr=1 eap_reauth_period=3600 nas_identifier=switch1 auth_server_addr=192.0.2.10 auth_server_port=2083 auth_server_type=TLS auth_server_shared_secret=radsec auth_server_ca_cert=/etc/hostapd/root_ca.crt auth_server_client_cert=/etc/hostapd/switch1.crt auth_server_private_key=/etc/hostapd/switch1.key logger_syslog=-1 logger_syslog_level=2 І для точки доступу. Ця йде через radsecproxy по UDP, так, як ішла б точка доступу Netgear, і це файл, на якому працювали модельовані радіо:\nhostapd/hostapd-wifi.conf\n# A Linux access point: one WPA2/WPA3-Enterprise SSID, each client on the # VLAN RADIUS names. This one talks UDP to radsecproxy, like the Netgear # APs. For RadSec, build hostapd with CONFIG_RADIUS_TLS=y and use the # auth_server_* block from hostapd-wired.conf instead. interface=wlan0 driver=nl80211 ssid=Home country_code=GB hw_mode=g channel=6 ieee8021x=1 eapol_version=2 wpa=2 # WPA-EAP for WPA2-Enterprise; WPA-EAP-SHA256 with ieee80211w=2 for WPA3-Enterprise. wpa_key_mgmt=WPA-EAP WPA-EAP-SHA256 rsn_pairwise=CCMP ieee80211w=1 nas_identifier=ap2 own_ip_addr=192.0.2.33 auth_server_addr=192.0.2.11 auth_server_port=1812 auth_server_shared_secret=CHANGE-ME-16chars radius_require_message_authenticator=1 # 2 = required: no VLAN in the answer means no network. dynamic_vlan=2 vlan_naming=1 vlan_tagged_interface=eth0 vlan_bridge=brvlan ctrl_interface=/run/hostapd logger_syslog=-1 logger_syslog_level=2 Пристрої nmcli.sh це команда з розділу про пристрої і її дротовий двійник. Без NetworkManager wpa_supplicant бере ось це:\nclients/wpa_supplicant-wired.conf\n# Linux client, wired 802.1X. Run: wpa_supplicant -D wired -i eth0 -c this-file ctrl_interface=/run/wpa_supplicant ap_scan=0 network={ key_mgmt=IEEE8021X eapol_flags=0 eap=TLS phase1=\u0026#34;tls_disable_tlsv1_3=0\u0026#34; identity=\u0026#34;anonymous\u0026#34; ca_cert=\u0026#34;/etc/pki/home/root_ca.crt\u0026#34; domain_match=\u0026#34;radius.home.example\u0026#34; client_cert=\u0026#34;/etc/pki/home/laptop1.crt\u0026#34; private_key=\u0026#34;/etc/pki/home/laptop1.key\u0026#34; } clients/wpa_supplicant-wifi.conf\n# Linux client, WiFi, without NetworkManager. TLS 1.3, anonymous identity, # and the server name checked. ctrl_interface=/run/wpa_supplicant network={ ssid=\u0026#34;Home\u0026#34; key_mgmt=WPA-EAP WPA-EAP-SHA256 ieee80211w=1 eap=TLS phase1=\u0026#34;tls_disable_tlsv1_3=0\u0026#34; identity=\u0026#34;anonymous\u0026#34; ca_cert=\u0026#34;/etc/pki/home/root_ca.crt\u0026#34; domain_match=\u0026#34;radius.home.example\u0026#34; client_cert=\u0026#34;/etc/pki/home/laptop1.crt\u0026#34; private_key=\u0026#34;/etc/pki/home/laptop1.key\u0026#34; } Проти чого перевірено кожен файл Файли Проти чого Результат step-ca/ step-ca 0.30.2, новий CA Усі 7 сертифікатів видано з їхніми ролями; laptop2 видано й відкликано за рецептом freeradius/ 3.2.10, встановлений через install.sh laptop1 VLAN 10, cam1 99, tv1 30, сертифікат nas відхилено; MAB aabbccddeeff VLAN 20, невідому MAC відхилено radius-crl-refresh step-ca через TLS 1.3 CRL встановлено й захешовано; відкликаному ноутбуку відмовлено протягом п’яти хвилин, без перезапуску radius-cert-renew.service step ca renew 0.30.2 Сертифікат оновлено; ключ і права не зачеплено radsecproxy.conf radsecproxy 1.11.2 EAP-TLS через нього прийнято; MAB з Message-Authenticator VLAN 20, без нього відкинуто hostapd-wired.conf hostapd 2.11, зібраний із RadSec VLAN 10, 99 і 30 через TLS 1.3 hostapd-wifi.conf, wpa_supplicant-wifi.conf Модельовані радіо, через radsecproxy Три станції на одному SSID, VLAN 10, 99 і 30; клієнтський файл як є і станція лише з WPA3 обидва підключилися wpa_supplicant-wired.conf eapol_test 2.11 Ті самі відповіді, що в таблиці вище Юніти systemd systemd-analyze verify Жодних скарг, крім того, що двох програм тут не встановлено Що відрізає всіх Кожну з цих проблем зловили або перевірили, поки це будувалося, окрім відсутньої VLAN на транку, бо для неї потрібен справжній комутатор. Майже всі вони падають у закритий бік. Це правильний спосіб падати, і все одно поганий ранок.\nЗбій Що бачиш Виправлення CRL прострочений або відсутній Кожному пристрою відмова; CRL has expired або unable to get certificate CRL Забирати CRL за таймером і моніторити його Новий CRL не підхоплено Відкликаний пристрій досі підключається ca_path_reload_interval = 300 або перезапуск FreeRADIUS У клієнта вимкнено TLS 1.3 protocol version, пристрою відмова tls_disable_tlsv1_3=0, tls-1-3-enable або ключі профілю Apple Файли сертифікатів не читаються freerad FreeRADIUS не стартує, Permission denied Зробити їх читабельними для freerad, ключ лише для нього Сертифікат без ролі Відмова політики Перевипустити через provisioner network з --set role= VLAN немає на комутаторі чи транку точки доступу Пристрій автентифікується, адреси не отримує Створити VLAN і тегувати її на кожному транку, до якого може дістатися пристрій Неправильний спільний секрет RADIUS Жодної відповіді; FreeRADIUS пише invalid Message-Authenticator! (Shared secret is incorrect.), а комутатор повторює, поки не здасться Той самий секрет у clients.conf і на комутаторі чи точці доступу Пристрій не перевіряє ім’я сервера Нічого. Працює, і працювало б так само з самозванцем Задати ім’я сервера на кожному пристрої Запит без Message-Authenticator Мовчки відкинуто; комутатор повторює і здається Увімкнути його на комутаторі або поставити попереду radsecproxy Слухач RadSec під freeradius -X Threading must be enabled for TLS sockets freeradius -fxx -l stdout hostapd зібрано без RadSec unsupported RADIUS type 'TLS' Зібрати з CONFIG_RADIUS_TLS=y або використати radsecproxy radsecproxy дали адресу сервера No subjectaltname matching address Використати radius.home.example Чому цього немає в кожній корпоративній мережі за замовчуванням? Нічого в цьому дописі не нове. EAP-TLS опубліковано в жовтні 1999 року37. Атрибути VLAN з’явилися у вересні 2003 року3. Обидва виробники комутаторів вище документують динамічні VLAN у власних посібниках, а CA, RADIUS-сервер і проксі мають відкритий код і нічого не коштують. Іди комерційним шляхом, і те саме стає рядком у кошторисі: Cisco кладе «RADIUS authentication, authorization, and accounting, including 802.1X, MAC authentication bypass» у рівень Essentials для ISE, з ліцензуванням за «concurrent active endpoints», де endpoint може бути одним із «printers, fax machines, or other types of network devices»38 у мережі. Так чи інакше, ця можливість лежить в обладнанні вже понад двадцять років.\nТо чому корпоративна мережа у 2026 році досі працює на паролі, який знають усі?\nМожна спитати, чому стільки адмінів і MSP просто цим не переймаються? Не хто. А що дозволяє цьому тривати. Чесних відповідей три, бо випадків три.\nДехто не знає. І це провал, а не виправдання. Знати, що вміє твій власний комутатор, це не те, що з тобою стається. Подбати, щоб знати, це і є робота, а посібник, де це написано, безкоштовно завантажується.\nДехто знає і лишає як є. Спільний пароль працює. Ніхто не відкриває через нього тікет. Сертифікат на кожен пристрій це купа клопоту, за який нічого не видно до того дня, коли зникне ноутбук, і як такий він ніколи не потрапляє в список справ. Для MSP арифметика ще простіша: пласку мережу з одним паролем дешевше підтримувати, жоден контракт цього не міряє, а клієнт ніколи не питає. Серія про MSP розбирає, куди ведуть ці стимули, і тут той самий шаблон на меншому рахунку. Саме на цей випадок і націлене питання: адмін, у якого є комутатор, що це вміє, який дочитав аж сюди і тримає спільний ключ, бо ніхто не змусить його це обґрунтувати.\nДехто справді не може, поки що. Принтер без supplicant, телевізор, що не вміє TLS 1.3, бізнес-машина, яку її виробник не оновлює. Це справжнє обмеження, і відповідь тут так, це можна обґрунтувати: MAB в обгороджену VLAN, причина записана, і поруч дата, коли ця машина піде.\nПровал не в тому, що є прогалина. Прогалини є в усіх. Провал у тому, щоб тримати корпоративну мережу поверх прогалини, яку ти так і не пішов закрити, на обладнанні, яке з коробки вміло її закрити.\nКожен колись жив зі спільним паролем. Тримати його в корпоративній мережі з власного вибору це те, що обґрунтувати не можна.\nЧому Cyber Essentials цього не вимагає Бо він ніколи не мав цього вимагати. Cyber Essentials це базовий рівень із державною підтримкою, і «a growing number of organisations require suppliers to be certified to bid for work»39. Його побудовано проти «the most common internet based cyber security threats»39, і його вимоги прямо кажуть, де він закінчується. Бездротове обладнання поза його межами там, де нападник не може дістатися до нього з інтернету, бо «the Cyber Essentials scheme isn\u0026rsquo;t concerned with attacks that can only be launched within the signal range of the wireless device»40. Його п’ять заходів це фаєрволи, безпечна конфігурація, оновлення безпеки, контроль доступу користувачів і захист від шкідливого ПЗ40. Жоден із них не питає, кого взагалі пускають у мережу. Найближче, до чого він доходить, це «change any default or guessable account passwords»40, а ключ WiFi, надрукований на стійці рецепції, це не обліковий запис.\nVLAN у ньому з’являються, один раз. «Sub-set» організації, той, що «segregated from the rest of the organisation by a firewall or VLAN»40, можна оцінювати окремо. Тож єдине місце, де схема зустрічається з VLAN, це спосіб провести межу навколо меншої частини мережі.\nНа його власних умовах це чесно. Це підлога проти атак з інтернету, і він так і каже. Біда в тому, що стається з підлогою, щойно на стіні висить сертифікат. Вона стає ціллю, потім стелею, і бізнес може її пройти з кожним пристроєм в одній пласкій мережі за паролем, який знає прибиральниця. Будь-хто, хто проходить повз будівлю з ноутбуком, усередині моделі загроз, яка має значення, і поза тією, яку оцінювали.\nПароль це обіцянка, якої ніхто не дотримує Що мене вразило, поки я це будував, то це як мало в цьому було важкого. Кожна пастка тут була десь записана, у коментарі конфігу чи посібнику виробника, і кожна з них поступилася одному пообіддю в лабораторії.\nА дім досі живе на паролі WiFi, написаному на холодильнику. Не тому, що альтернатива важка, а тому, що пароль це типове налаштування, а типовому ніколи не доводиться себе обґрунтовувати. Усі знають, що він спільний. Усі знають, що він витікає. Ніхто його не міняє, бо змінити означає обійти з новим кожен пристрій у домі, тож він роками лишається тим самим, через кожного гостя, кожного квартиранта і кожен телефон, що поїхав на переробку з ним досі збереженим, і він пускає всіх, у кого він будь-коли був.\nСертифікат на кожен пристрій це інше уявлення про те, для чого мережа. Мережа має знати, що це за річ, а не лише те, що хтось колись набрав у неї правильне слово. Це стандарт, якого ти тримаєшся сам, коли ніхто не перевіряє, а лише такий і вартий того, щоб його мати. Камера не сидить поруч із ноутбуком лише тому, що випадково була в тому самому SSID. Вона сидить там, куди ти її поклав, на обладнанні, яке належить тобі, за правилом, яке ти написав і можеш прочитати. Коли вона поводиться не так, вона переїжджає одним рядком у текстовому файлі. Коли вона зникає, одна команда її відрізає.\nОбмін тут на клопіт. CRL із таймером за ним, сертифікати з датою в щоденнику, пристрої, перевірені до покупки. Це ціна, і вона правильна: ти платиш зусиллями, які видно, а не паролем, що роками тихенько пускає людей.\nRFC 3748 — Extensible Authentication Protocol (EAP) — EAP і ролі peer, authenticator і authentication server, між якими він працює.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 2868 — RADIUS Attributes for Tunnel Protocol Support — визначає тунельні атрибути, які RFC 3580 повторно використовує для VLAN.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 3580 — IEEE 802.1X RADIUS Usage Guidelines — розділ 3.31, «Tunnel-Type=VLAN (13) Tunnel-Medium-Type=802 Tunnel-Private-Group-ID=VLANID», і «the VLANID integer value is encoded as a string».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nMicrosoft Security Advisory 2743314 — «An attacker who obtained the MS-CHAP v2 authentication traffic could then use the exploit code to decrypt a user\u0026rsquo;s credentials.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 5216 — The EAP-TLS Authentication Protocol — взаємна автентифікація сертифікатами поверх EAP.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 9190 — EAP-TLS 1.3 — «TLS 1.3 also encrypts certificates and some of the extensions. When using EAP-TLS with TLS 1.3, the use of privacy is mandatory and does not cause any additional round trips»; розділ 2.1.7 рекомендує анонімні NAI у відповіді identity.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nFreeRADIUS 3.2.10 — mods-available/eap — check_crl, check_all_crl «Check if intermediate CAs have been revoked», allow_expired_crl і «most EAP supplicants WILL NOT DO TLS 1.3 PROPERLY».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nSmallstep — Certificate templates — дані користувача, передані через --set, доступні шаблону як .Insecure.User; значення завжди загортай у toJson.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nFreeRADIUS 3.2.10 — dictionary.freeradius.internal — атрибути TLS-Client-Cert-*, які читає політика, включно з TLS-Client-Cert-Subject і TLS-Client-Cert-X509v3-Extended-Key-Usage-OID.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nFreeRADIUS 3.2.10 — mods-available/passwd — «Attributes marked as \u0026lsquo;=\u0026rsquo; are added to reply_items instead of default configure_items».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nwpa_supplicant — wpa_supplicant.conf — «tls_disable_tlsv1_3=0 - enable TLSv1.3 (experimental - disabled by default)», і domain_match, «Constraint for server domain name».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 2548 — Microsoft Vendor-specific RADIUS Attributes — MS-MPPE-Send-Key і MS-MPPE-Recv-Key, зашифровані як «b(1) = MD5(S + R + A) c(1) = p(1) xor b(1)», де S це спільний секрет.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nBlastRADIUS — CVE-2024-3596; рекомендований захід «to mandate that clients and servers always send and require Message-Authenticator attributes for all requests and responses».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 3579 — RADIUS Support For EAP — «the Message-Authenticator attribute MUST be used to protect all Access-Request, Access-Challenge, Access-Accept, and Access-Reject packets containing an EAP-Message attribute.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nFreeRADIUS 3.2.10 — radiusd.conf — require_message_authenticator і limit_proxy_state; встановлення обох у «no» «will allow MITM attackers to create fake Access-Accept packets to the NAS!»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 6614 — TLS Encryption for RADIUS — RadSec, травень 2012, Experimental.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nIETF — RadSec: RADIUS over TLS and DTLS — запланований статус Proposed Standard, замінює RFC 6614 і RFC 7360; стан IESG «Has enough positions to pass» на момент перевірки 13 жовтня 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nFreeRADIUS 3.2.10 — sites-available/tls — слухач RadSec, require_client_cert, proto = tls і «TLS clients MUST have the shared secret set to „radsec“».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nhostapd 2.11 source — hostapd/defconfig: «Include support fo RADIUS/TLS into the RADIUS client», #CONFIG_RADIUS_TLS=y.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nTP-Link — Omada Software Controller 6.1 release note — «Added support for RadSec (RADIUS over TLS) to secure SSID, MAC-Based, and 802.1X authentications on both APs and Switches», потребує найновішої прошивки точок доступу й комутаторів.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nTP-Link Omada — 802.1X configuration — RADIUS Proxy: «It does not support the RadSec feature»; з RadSec «it is recommended to disable Require Message-Authenticator».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNetgear — M4250 and M4350 CLI manual — radius server key: «The secret must be an alphanumeric value not exceeding 16 characters»; жодної згадки про RadSec.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNetgear — WAX630 user manual — «Enter the number of the UDP port on the access point that is used to access the RADIUS server», і «By default, the password is sharedsecret.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nradsecproxy — «made to be able to deploy RadSec (RADIUS over TLS) so that all RADIUS communication across network links could be done using TLS, without modifying existing RADIUS software». Перевірено тут із 1.11.2.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 9765 — RADIUS/1.1 — квітень 2025, Experimental: «the RADIUS shared secret is no longer used, and all MD5-based packet authentication and attribute obfuscation methods are removed.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nFreeRADIUS 3.2.10 — ChangeLog — RADIUS/1.1 «Disabled by default, can be enabled by passing --with-radiusv11 to the configure script. For now, this is for testing interoperability.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNetgear — M4250 user manual — VLAN Assignment Mode, «The default is Disable»; Dynamic VLAN Creation Mode; Authentication Order, «if a client tries 802.1X authentication (based on the user and client credentials) and authentication fails, the interface proceeds with MAB authentication.» У посібнику M4350 той самий текст.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nTP-Link Omada — Dynamic VLAN with the VLAN Assignment function of RADIUS — комутатори: Authentication Type «Port Based», «enable \u0026lsquo;VLAN Assignment\u0026rsquo;», «make sure the 802.1X Control mode is Auto»; точки доступу: «Enable VLAN Assignment for Wireless Network» у профілі RADIUS.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nTP-Link — Configuration guide for 802.1X VLAN assignment and MAB — «VLAN Assignment takes effect only when the control type is Port Based»; відсутні VLAN створюються автоматично; MAB надсилає MAC як «12 hexadecimal digits, all lowercase and no punctuation».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNetgear — GS710TUP user manual — керування портом MAC-based «allows multiple supplicants connected to the same port».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nhostapd — hostapd.conf — динамічна VLAN, «parsed from following RADIUS attributes based on RFC 3580 and RFC 2868»; dynamic_vlan «2 = required; reject authentication if RADIUS server does not include VLAN ID»; vlan_tagged_interface і vlan_bridge. Прочитано з пакета hostapd 2.11.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNetgear — WAX620 user manual — WPA3 Enterprise: «the encryption is automatically set to GCMP256».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nPixel Phone Help — Connect to Wi-Fi networks — «The \u0026lsquo;Do not validate\u0026rsquo; setting option used in EAP-PEAP, EAP-TLS and EAP-TTLS configurations has been removed for security reasons.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nApple — WiFi.EAPClientConfiguration — TLSTrustedServerNames, «If a server presents a certificate that isn\u0026rsquo;t in this list, the system doesn\u0026rsquo;t trust it»; TLSMaximumVersion за замовчуванням 1.2.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNetworkManager — 802-1x settings — domain-match: «Constraint for server domain name», а також ca-cert, client-cert, private-key і phase1-auth-flags.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nAndroid Developers — WifiEnterpriseConfig — setDomainSuffixMatch; TLS_V1_3 «Added in API level 34», а WifiManager.isTlsV13Supported() каже «whether or not TLS v1.3 is supported».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 2716 — PPP EAP TLS Authentication Protocol — початкова специфікація EAP-TLS, жовтень 1999, відтоді замінена RFC 5216.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCisco — ISE licences — Essentials покриває «RADIUS authentication, authorization, and accounting, including 802.1X, MAC authentication bypass and easy connect»; «Concurrent active endpoints refer to the total number of supported users and devices… printers, fax machines, or other types of network devices.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNCSC — About Cyber Essentials — «A growing number of organisations require suppliers to be certified to bid for work»; захищає від «the most common internet based cyber security threats».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNCSC — Cyber Essentials: Requirements for IT Infrastructure v3.3 — квітень 2026. Бездротові пристрої поза межами схеми там, де їх не можна атакувати з інтернету: «the Cyber Essentials scheme isn\u0026rsquo;t concerned with attacks that can only be launched within the signal range of the wireless device»; п’ять технічних заходів; «change any default or guessable account passwords»; sub-set «is part of the organisation whose network is segregated from the rest of the organisation by a firewall or VLAN».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\n","permalink":"https://blogs.damiendye.uk/uk/networking/eap-tls-one-ssid-every-device-on-its-vlan/","summary":"802.1X на сертифікатах (EAP-TLS) для дротових портів комутатора і одного SSID WPA2/WPA3-Enterprise, де RADIUS-сервер вирішує, в яку VLAN потрапляє кожен пристрій. step-ca 0.30.2 вписує роль у кожен сертифікат пристрою і відмовляє, якщо ролі немає; FreeRADIUS 3.2.10 зіставляє роль із VLAN, дозволяє списку окремих пристроїв її перекрити і працює лише на TLS 1.3. Чому спільний пароль WiFi це і є проблема, чому сертифікати і чому TLS 1.3, пастка відкликання, де FreeRADIUS ігнорує новий CRL після HUP, чому довірятиме пристрій, який не перевіряє ім’я сервера, захист самого трафіку RADIUS через Message-Authenticator і RadSec поверх TLS 1.3, radsecproxy для обладнання, що говорить лише UDP, дротовий порт і мережа WiFi, змодельовані наскрізь, налаштування Netgear і TP-Link, налаштування клієнтів Linux, Apple і Android, кожен конфіг повністю і для завантаження, а також чому стільки адмінів і MSP досі цим не переймаються і чому Cyber Essentials їх про це не питає.","title":"Один SSID, кожен пристрій у своїй VLAN: 802.1X із сертифікатами step-ca"},{"content":" Оновлення, 11 жовтня 2026, 16:30: відтоді я прошив BIOS 1.30. Зсуву він не виправляє. tscsync і далі вирівнює ядра, але на двох завантаженнях із синхронізацією ядро однаково скинуло TSC, цього разу через сторожовий механізм джерела годинника, а не через перевірку перекосу: BIOS 1.30: синхронізація тримається, TSC однаково зникає. З доданим tsc=nowatchdog TSC утримався, і п’ять хвилин вимірювань проти годинника реального часу не знайшли ні перекосів, ні дрейфу: tsc=nowatchdog: п’ять хвилин, жодного перекосу. Одне завантаження це не серія завантажень, тож я називаю це тримається, а не виправлено.\nКожне завантаження, те саме попередження Ось що лежало в журналі ядра мого ThinkPad E595 на кожному завантаженні без винятку:\nTSC synchronization [CPU#0 -\u0026gt; CPU#2]: Measured 6601281288 cycles TSC warp between CPUs, turning off TSC clock. tsc: Marking TSC unstable due to check_tsc_sync_source failed clocksource: Switched to clocksource hpet Нічого не впало. На робочому столі нічого не вискочило. Машина тихо гнала весь свій годинник на повільнішому чипі таймера від самого завантаження, і робила б так вічно, якби я не читав журнал заради чогось іншого.\nTime Stamp Counter (TSC) це лічильник усередині кожного ядра процесора, що цокає з фіксованою частотою. Прочитати його можна однією інструкцією. Linux використовує його як основний годинник, але лише якщо всі ядра згодні щодо значення1. Якщо одне ядро відстає, ядро ОС не може йому довіряти і відкочується на High Precision Event Timer (HPET), окремий пристрій-таймер. Автор tscsync виміряв читання годинника приблизно в 1,2 мкс на HPET проти десятків наносекунд на TSC, а ядро і робочий стіл читають годинник десятки тисяч разів на секунду1. Це затримка і батарея, сплачені на кожному завантаженні, ні за що.\nТо наскільки ядро відставало? Більш ніж на три секунди. На ноутбуці з 2,1 ГГц це 6,6 мільярда тактів.\nЩо віддає прошивка У повідомленні названо CPU 0 і CPU 2, але винен не CPU 2. Якщо міряти tscsync із завантажувача, а потім ядром, коли воно стартує, картина щоразу та сама:\nЯдро Зсув від CPU 0 Що це означає CPU 0, процесор завантаження (BSP) 0 точка відліку і біла ворона CPU 1–7, інші ядра (AP) приблизно від +6,2 до +6,8 мільярда тактів усі згодні між собою з точністю до 32 тактів Розрив на 2096 МГц від 2,9 до 3,3 секунди процесор завантаження відстає, на кожному завантаженні Сім ядер згодні. Одне запізнюється на три секунди. Прошивка піднімає процесор завантаження, робить на ньому свою роботу і передає керування завантажувачу, так і не вирівнявши той один лічильник з рештою.\nTSC процесора завантаження до і після tscsync До: як віддає прошивка Після: tscsync у режимі синхронізації CPU 0 (BSP) CPU 1 CPU 2 CPU 3 CPU 4 CPU 5 CPU 6 CPU 7 CPU 0 (BSP) CPU 1 CPU 2 CPU 3 CPU 4 CPU 5 CPU 6 CPU 7 CPU 0 відстає приблизно на 6,8 млрд тактів (3,25 с) CPU 1–7 згодні в межах 32 тактів BSP зсунуто вперед, усі ядра в межах 45 тактів Linux зберігає джерело годинника TSC Ліворуч: що віддає прошивка. Сім прикладних процесорів згодні з точністю до 32 тактів; процесор завантаження відстає від них приблизно на 6,8 мільярда тактів. Праворуч: після того як tscsync зсуває процесор завантаження вперед в UEFI, усі ядра в межах 45 тактів, і перевірка перекосу в ядрі проходить. Чому Linux не може просто це виправити? На процесорах Intel є регістр IA32_TSC_ADJUST, який дозволяє ядру підправити лічильник ядра, і код синхронізації ядра використовує його, коли він є2. У процесорах AMD Zen його немає. Без нього ніщо в Linux не може виправити зсув, а спробу всередині ядра записувати лічильники напряму (tsc=directsync) апстрім відхилив як ненадійну3.\nТож ядро робить єдине чесне, що йому лишається. Воно вимірює, бачить, що між двома ядрами час іде назад, друкує попередження і перестає використовувати TSC2.\nСорок завантажень, сорок перекосів Одне завантаження це анекдот. Журнал на цій машині сягає 30 травня 2026, тож я його спитав.\nЗавантаження Перекіс, тактів Перекіс на 2096 МГц З 30 травня по 11 жовтня 2026 40 із 40 від 6,16 до 9,88 мільярда від 2,94 до 4,72 с Медіана 6,57 мільярда 3,14 с Після повного вимкнення приблизно на 27 с 1 6,60 мільярда 3,15 с З tscsync у режимі синхронізації, BIOS 1.28 1 у журналі немає TSC збережено BIOS 1.30, tscsync вимкнено 1 6,13 мільярда 2,92 с BIOS 1.30, tscsync у режимі синхронізації 2 у журналі немає TSC скинуто сторожем, див. нижче BIOS 1.30, режим синхронізації і tsc=nowatchdog 1 у журналі немає TSC збережено Кожне завантаження. Холодний старт, перезавантаження, після вимкнення настільки довгого, що все застаріле мало б зникнути. Величина гуляє, і це збігається з власним висновком автора tscsync на Lenovo Legion: там перекіс майже ідеально масштабується з тим, скільки машина проводить у прошивці до старту завантажувача3. Завантаження, яке довше стоїть на логотипі, виходить з більшим відставанням.\nСпокусливе виправлення це tsc=reliable у командному рядку ядра, що каже Linux припинити перевіряти. Не роби цього. Ядра справді розходяться на три секунди, і вимкнення перевірки цього не змінює; воно лише дозволяє ядру використовувати годинник, що стрибає назад, коли задача переходить між ядрами. README tscsync каже те саме і називає заїкання аудіо та відео, що за цим іде1.\nМожна спитати, чому це досі постачається? Я не питаю, хто. Я питаю, що в процесі Lenovo дозволило випустити BIOS, який на кожному завантаженні залишає ядро на три секунди позаду.\nВідповідь є в нотатках про дизайн tscsync, і вона не лестить. Fisher-Price OS (Windows) сама записує TSC під час завантаження3. Ноутбук, перевірений лише на ній, проходить, бо операційна система тихо прибирає за прошивкою. Linux тримає свою перевірку безпеки увімкненою і повідомляє, що йому дали, і саме тому несправність видно там і більше ніде.\nНезручно те, що це, кажуть, уже виправляли. Користувачі повідомляють, що Lenovo виправила той самий клас помилок оновленням BIOS на ThinkPad A485, T14s Gen 1 AMD і E4954. E495 це 14-дюймовий брат цієї машини, і BIOS у них один: власний readme Lenovo до пакета перелічує обидві моделі5.\nМій E595 був на 1.28 і давав перекіс на кожному завантаженні. Відтоді Lenovo випустила 1.29 і 1.30, і в жодному списку змін немає ні слова про TSC; 1.30 виправляє «system randomly freeze since BIOS V1.27» і кілька проблем безпеки5. Тож я поставив 1.30 і виміряв знову. Перше завантаження на ньому, з вимкненим tscsync, записало перекіс у 6 126 446 316 тактів: 2,92 секунди, CPU#0 -\u0026gt; CPU#2, як завжди. 1.30 цього не виправляє. BIOS у двох моделей один, тож якби звіт про E495 був правдивий, ця машина теж була б виправлена. Звіт не називає версії BIOS і не дає посилань на логи4.\nЧи повернеться Lenovo до ноутбука 2019 року через несправність, яку операційна система, на якій вони тестують, від них ховає? Ні.\ntscsync: спершу вимірювання tscsync це невелика програма UEFI, що запускається з GRUB або systemd-boot перед самим Linux. Вона питає в кожного ядра його TSC через власні багатопроцесорні сервіси прошивки, обчислює зсув кожного ядра від процесора завантаження, зсуває відсталі лічильники вперед, поки вони не зійдуться, а потім перевіряє результат тестом за зразком перевірки перекосу в самому ядрі1. Вона ніколи не пише у флеш, NVRAM чи налаштування прошивки; лічильники, які вона змінює, скидаються при вимкненні1.\nЦе чимало, щоб довірити завантажувачу, тож спершу я прочитав код, на коміті 230eaa9, і лише потім зібрав. Встановлення зробив так, як просить проєкт:\nКрок Команда Що повернулося Збирання make бінарники для GRUB і systemd-boot Встановлення, лише читання sudo scripts/install.sh режим вимірювання, у лічильники нічого не записано Вимкнути, завантажити, подивитися tscsync-status CPU 0 на 2964 мс позаду всіх 7 AP, AP згодні з точністю до мікросекунд Увімкнути sudo scripts/set-mode.sh sync діє з наступного завантаження Режим вимірювання варто скопіювати в будь-який подібний інструмент. Він показує тобі несправність на твоєму власному залізі, перш ніж йому дозволять щось змінити, а захист від зависання вимикає його, якщо завантаження так і не дійде до Linux1.\nПерше завантаження в режимі синхронізації, просто з tscsync-status:\nsurvey (read-only): cpu 1 apic 1: offset 6815086011 rtt 126 BAD ... cpu 7 apic 7: offset 6815086010 rtt 378 BAD 0 ok, 7 not ok moving BSP forward by ~6815086010 cycles to match cpu 7: bsp vs cpu 7 apic 0: before 6815086001 after 3 rtt 357 iter 3 warps bsp/ap 0/0 OK AP pass (corrects any AP still off): 7 ok, 0 not ok total 121 ms І ядро, секундою пізніше:\nclocksource: Switched to clocksource tsc-early tsc: Refined TSC clocksource calibration: 2096.066 MHz clocksource: Switched to clocksource tsc Жодного рядка про перекіс. Жодного «unstable». /sys/devices/system/clocksource/clocksource0/current_clocksource показує tsc. 121 мс часу завантаження, щоб отримати годинник, який залізо мало мати від самого початку. Це було на BIOS 1.28. З 1.30 вийшло не так охайно.\n21 наносекунда, яку Linux переголосував У тому звіті є рядок, що виглядає гірше, ніж є, і його варто пояснити, а не ховати. Фінальна перевірка tscsync позначила одне ядро:\ncpu 7 apic 7: offset 45 rtt 357 warps bsp/ap 0/0 BAD 6 ok, 1 not ok RESULT: some APs out of sync (Linux will fall back to HPET) 45 тактів це приблизно 21 наносекунда. tscsync прагне згоди в межах приблизно 10 тактів1, тож за його власною ціллю CPU 7 промахнувся, і він це сказав. Потім завантажився Linux і на HPET не відкотився взагалі.\nДві перевірки ставлять різні питання:\nВердикт tscsync щодо зсуву Тест перекосу в ядрі Питання наскільки розходяться лічильники? чи йде час колись назад між ядрами? Метод оцінка з виміряного кругового обміну ядра по черзі читають і порівнюють з останнім читанням2 Поріг приблизно 10 тактів жодного читання, меншого за попереднє CPU 7 на цьому завантаженні 45 тактів, BAD перекосу немає, TSC збережено warps bsp/ap 0/0 у тому самому рядку це tscsync, що запускає тест у стилі ядра. Він нічого не побачив. Ядро теж.\nПроєкт уже знає, що його вердикт буває суворішим за ядерний. В IdeaPad з його списку заліза чотири ядра були позначені на 28–42 тактах, а ядро їх прийняло, і починаючи з 2.1 повільний круговий обмін показується як UNSURE, а не BAD4. Правило README для цього випадку правильне: вирішує власна перевірка ядра, і якщо джерело годинника tsc, вона пройдена1. Круговий обмін у 357 тактів на цій машині не повільний, тож вийшло BAD. Інструмент, що показує свої розрахунки, а останнє слово віддає ядру, зроблений правильно.\nBIOS 1.30: синхронізація тримається, TSC однаково зникає На 1.30 я повернув tscsync у режим синхронізації і двічі перезавантажився. Обидва рази він зробив свою роботу. Він зсунув процесор завантаження вперед приблизно на 6,17 мільярда тактів, усі ядра вийшли в межах кількох десятків тактів, і ядро не записало жодного перекосу. Обидва рази Linux однаково через кілька секунд опинився на HPET:\ntsc: Detected 2095.890 MHz processor tsc: Refined TSC clocksource calibration: 2096.053 MHz clocksource: Watchdog remote CPU 5 read timed out clocksource: Marking clocksource tsc unstable due to frequency skew clocksource: Watchdog hpet interval: 495136113ns clocksource: Clocksource tsc interval: 496026671ns tsc: Marking TSC unstable due to clocksource watchdog Це інша перевірка. Тест перекосу виконується, коли піднімається кожне ядро, і питає, чи йде час колись назад між ядрами. Сторожовий механізм джерела годинника працює і після завантаження. Приблизно кожні пів секунди він порівнює, наскільки просунувся TSC і наскільки HPET, і якщо вони розходяться більше ніж на невеликий запас, позначає TSC нестабільним6. Позначка лишається до наступного завантаження.\nДві перевірки ядра і який параметр завантаження яку пропускає Прошивка CPU 0 позаду на ~3 с tscsync в UEFI зсуває CPU 0 вперед Старт Linux ядра піднімаються Перевірка перекосу раз, при завантаженні Сторож кожні 0,5 с проти HPET Типово обидві ввімкнені: на 1.30 TSC скинуто ✓\u0026#160;перевіряється ✓\u0026#160;перевіряється tsc=nowatchdog це завантаження: TSC збережено ✓\u0026#160;перевіряється ✗\u0026#160;пропущено tsc=reliable не радимо: ховає справжній перекіс ✗\u0026#160;пропущено ✗\u0026#160;пропущено TSC можуть скинути дві окремі перевірки. Перевірка перекосу виконується один раз, коли піднімається кожне ядро; саме її ця машина проходить завдяки tscsync. Сторож порівнює з HPET кожні пів секунди. tsc=nowatchdog пропускає лише другу, а tsc=reliable пропускає обидві і сховав би справжній перекіс. Завантаження на 1.30 Перевірка перекосу Інтервал HPET Інтервал TSC TSC проти HPET Перше завантаження з синхронізацією пройдено 495 426 793 нс 495 006 210 нс приблизно на 850 ppm повільніше Друге завантаження з синхронізацією пройдено 495 136 113 нс 496 026 671 нс приблизно на 1800 ppm швидше То TSC іде з неправильною частотою? Ні. На запущеній машині я засік TSC проти сирого годинника ядра на основі HPET протягом 30 секунд у вікнах по 5 секунд. Кожне вікно дало 2096,062 МГц, приблизно 4 мільйонні частки від власного калібрування ядра. Справжня несправність частоти не перескакує з повільного на швидке між двома завантаженнями, щоб потім зникнути. Щось збурює одне пів-секундне вікно на ранньому етапі завантаження, і рядок remote CPU 5 read timed out якраз перед цим вказує на ядро, що на мить не відповідає. Прошивка, що краде час у процесорів, підійшла б. Я цього не довів.\nДва завантаження це всі докази, що є. Я поки не можу сказати, чи це 1.30, випадок чи щось, що запускає запис tscsync. Одне завантаження з синхронізацією на 1.28 зберегло TSC, а два на 1.30 його втратили, і цього замало, щоб звинуватити BIOS.\nДля цього випадку є вужчий параметр ядра, ніж tsc=reliable. tsc=nowatchdog вимикає сторожовий механізм джерела годинника для TSC і не чіпає перевірку перекосу під час завантаження7. Якби tscsync колись не зміг синхронізувати, ядро все одно впіймало б перекіс і відкотилося на HPET. Це й був наступний тест. Цифри і кілька пропозицій щодо власних звітів tscsync лежать у трекері задач проєкту8.\ntsc=nowatchdog: п’ять хвилин, жодного перекосу Я додав tsc=nowatchdog і перезавантажився. tscsync зсунув процесор завантаження вперед на 6 207 104 421 такт, ядро не записало ні перекосу, ні розбіжності частоти, і current_clocksource показав tsc. Перше завантаження на 1.30, що його зберегло.\nЦе доводить лише те, що TSC скидав саме сторож. Воно не доводить, що на TSC безпечно працювати, а з вимкненим сторожем у ядрі вже ніхто не стежить. Тож я стежив сам.\nМоя попередня перевірка частоти тут не годилася. Вона засікала TSC проти CLOCK_MONOTONIC_RAW, що було нормально, поки ядро працювало на HPET. На TSC цей годинник будується з TSC, тож тест порівнював би лічильник сам із собою. HPET теж не прочитати з простору користувача, бо ядро Fedora зібране без CONFIG_HPET_MMAP. А годинник реального часу (RTC) можна. Він працює від власного кварцу, і ядро розбудить програму на кожен тік його лічильника секунд9.\nТож я написав невелику перевірку, tsccheck. Вона прив’язує себе до CPU 0 і кожні 15 секунд виконує чотири тести:\nПеревірка Як Як виглядає несправність Частота такти TSC між тіками секунд RTC МГц, що дрейфують в один бік Зсув 3000 кругових обмінів від CPU 0 до кожного ядра, зсув береться з найшвидшого зсув, що росте Перекоси чи прочитало ядро в будь-якому круговому обміні менше значення, ніж уже бачене будь-що понад нуль Джерело годинника читання current_clocksource будь-що, крім tsc Круговий обмін це серце перевірки. CPU 0 читає свій лічильник і передає його, інше ядро читає свій і передає назад, і CPU 0 читає знову. Якщо ядра згодні, середнє читання має лягти між двома іншими:\nОдин круговий обмін між CPU 0 та іншим ядром CPU 0 CPU 1–7, по одному час t0 t1 t2 середина зсув зсув = t1 − (t0 + t2) / 2 з найшвидшого з 3000 обмінів перекіс, якщо t1 \u0026lt; t0 або t2 \u0026lt; t1 час пішов назад: будь-який це несправність Один круговий обмін. Читання іншого ядра, t1, порівнюється із серединою двох читань CPU 0, а найшвидший із 3000 обмінів дає зсув. Будь-яке читання, менше за вже бачене, це перекіс, незалежно від зсуву. Цикл, що це робить:\nfor (int i = 0; i \u0026lt; ITERS; i++) { uint64_t t0 = rdtsc_o(); /* CPU 0 */ atomic_store(\u0026amp;pp.t0, t0); atomic_store(\u0026amp;pp.seq, 2 * i + 1); /* the other core reads t1 now */ while (atomic_load(\u0026amp;pp.seq) != 2 * i + 2) ; uint64_t t2 = rdtsc_o(); /* CPU 0 again */ uint64_t t1 = atomic_load(\u0026amp;pp.t1); if (t1 \u0026lt; t0 || t2 \u0026lt; t1) r.warps++; /* time went backwards */ if (i \u0026gt; 100 \u0026amp;\u0026amp; t2 - t0 \u0026lt; r.rtt) { r.rtt = t2 - t0; r.offset = (int64_t)(t1 - (t0 + (t2 - t0) / 2)); } } Уся програма це звичайний C для x86-64 Linux, без жодної прив’язки до tscsync чи цього ноутбука. Їй потрібен root для /dev/rtc0, а третій аргумент це цифра твого власного ядра з journalctl -k -b | grep 'Refined TSC':\ngcc -O2 -Wall -pthread -o tsccheck tsccheck.c sudo ./tsccheck 15 20 2096.073 \u0026#8615; tsccheck.c, уся перевірка в 161 рядку tsccheck.c · 4 kB SHA-256 02eba1966a0097196acd5dfdcad9c4b315cafc1854c60f34c5b56080e6c38408.\nДвадцять вибірок за п’ять хвилин, одразу після завантаження:\nПоказник Результат Джерело годинника tsc в усіх 20 вибірках, жодних повідомлень ядра Перекоси 0 приблизно в 420 000 кругових обмінів Найбільший зсув від CPU 0 85 тактів, приблизно 41 нс, без тренду Частота за весь прогін 2096,027 МГц, у межах від 2096,022 до 2096,031 починаючи з першої хвилини Частота в кожному 15-секундному вікні від 2095,943 до 2096,104 МГц Частота TSC у кожному 15-секундному вікні і за весь прогін +20 ppm 0 ppm -20 ppm -40 ppm -60 ppm 0 s 60 s 120 s 180 s 240 s 300 s цифра ядра, 2096,073 МГц 15 с: вікно -11,3 ppm, увесь прогін -11,3 ppm 30 с: вікно -61,1 ppm, увесь прогін -36,2 ppm 45 с: вікно -23,5 ppm, увесь прогін -32,0 ppm 60 с: вікно +15,0 ppm, увесь прогін -20,2 ppm 75 с: вікно -21,6 ppm, увесь прогін -20,5 ppm 90 с: вікно -21,8 ppm, увесь прогін -20,7 ppm 105 с: вікно -19,6 ppm, увесь прогін -20,6 ppm 120 с: вікно -50,5 ppm, увесь прогін -24,3 ppm 135 с: вікно +5,8 ppm, увесь прогін -20,9 ppm 150 с: вікно -20,3 ppm, увесь прогін -20,9 ppm 165 с: вікно -23,6 ppm, увесь прогін -21,1 ppm 180 с: вікно -13,7 ppm, увесь прогін -20,5 ppm 195 с: вікно -29,5 ppm, увесь прогін -21,2 ppm 210 с: вікно -22,3 ppm, увесь прогін -21,3 ppm 225 с: вікно -20,0 ppm, увесь прогін -21,2 ppm 240 с: вікно -24,7 ppm, увесь прогін -21,4 ppm 255 с: вікно -19,1 ppm, увесь прогін -21,3 ppm 270 с: вікно -22,2 ppm, увесь прогін -21,3 ppm 285 с: вікно -62,0 ppm, увесь прогін -23,5 ppm 300 с: вікно +9,2 ppm, увесь прогін -21,9 ppm одне вікно 15 с, на 61 ppm повільніше увесь прогін досі 15-секундне вікно увесь прогін досі Частота проти RTC, у мільйонних частках (ppm) від цифри ядра. Окремі вікна стрибають парами; цифра за весь прогін вирівнюється на 21–22 ppm повільніше вже за першу хвилину і там і лишається. Вікна виглядають гірше, ніж є. Запізнілий тік RTC робить одне вікно довгим, а наступне коротким, тож похибки йдуть парами, які взаємно гасяться: на 61 мільйонну частку (ppm) повільніше на 30 секунді, на 15 ppm швидше на 60. Дрейф сам себе не гасить. Цифра за весь прогін ледь зрушила.\nЦифра за весь прогін усі п’ять хвилин стоїть на 22 ppm нижче за 2096,073 МГц ядра. Це різниця між двома кварцами, і вона не рухалася. chrony, що підрулював годинник за інтернет-серверами часу, мав його на 16–19 ppm повільнішим10. Той самий напрямок, та сама величина.\nЗсуви перескакують між тими самими кількома значеннями, 10, 21 і 33 такти в обидва боки, і жодне ядро не відходить убік. Це шум від кругового обміну приблизно в 550 тактів. Перевірка tscsync деякі з них усе ще назвала б BAD. Ядро не назвало б.\nЧи втримався TSC? Так, за кожним показником, який у мене був. П’ять хвилин після одного завантаження це досі не серія завантажень. Далі та сама перевірка після довгого аптайму і ще раз після кількох перезапусків.\nВиправлення має бути в прошивці tscsync не мав би існувати. Його власний README так і каже: виробникам прошивок раді запропонувати підхід і код, «which is where this should be fixed»1. У Lenovo є вихідний код. В автора tscsync було лише те, що міг сказати його ноутбук, і логи 80 завантажень1.\nОсь що не відпускає. Щоб виміряти, діагностувати й обійти несправність, знадобився сторонній чоловік поза компанією, тоді як фірма, що продала залізо, перевіряла його на єдиній операційній системі, яка ховає несправність. Машина, яку ти не можеш полагодити, бо її прошивка закрита, насправді не твоя, вона в тебе в оренді з умовами. Відкрита прошивка з підписаними оновленнями дозволила б виправити це один раз, як слід, будь-кому, кому не байдуже.\nА поки що, добра робота від автора tscsync. Спершу режим вимірювання, захист від зависання, цифри на виду і чесний вердикт навіть тоді, коли він розходиться з ядром. Саме так і треба будувати низькорівневі інструменти.\nКожен хост KVM з тією самою прошивкою На ноутбуці це коштує трохи затримки і трохи батареї. На гіпервізорі за це платить ще й кожен гість, і ніщо з подальшого не залежить від Proxmox. Усе це живе в коді KVM ядра Linux, тож воно однакове на будь-якому хості на KVM, хоч що там зверху: Proxmox VE, oVirt, OpenStack чи звичайні QEMU і libvirt11.\nЩо робить KVM, коли хост втрачає TSC KVM дає гостям стабільний годинник лише тоді, коли сам хост працює на TSC. У вихідному коді ядра головний годинник, одне спільне джерело часу для всіх vCPU у ВМ, вмикається лише якщо host_tsc_clocksource істинне12. Перейди на HPET, і він вимикається, а кілька речей змінюються одночасно:\nХост на TSC Хост на HPET, TSC позначено нестабільним Головний годинник KVM12 увімкнено вимкнено vCPU переходить на інше ядро12 нічого оновлювати примусове оновлення годинника на кожному vCPU цієї ВМ, до 10 разів на секунду Зсув TSC гостя12 не чіпається переписується при кожному переході і переводиться в режим наздоганяння PVCLOCK_TSC_STABLE_BIT для гостей12 встановлено не встановлено clock_gettime() у гості13 читається в просторі користувача системний виклик, вирішується один раз при завантаженні гостя Читання годинника гостем між vCPU14 незалежні кожне читання звіряється з одним спільним глобальним значенням Останній рядок погано масштабується. Без стабільного біта ядро гостя не може довіряти, що годинник кожного vCPU збігається з іншими, тож кожне читання порівнюється з «last_value, a global accumulator» і підставляється атомарним compare-and-exchange, якщо воно новіше14. Кожен vCPU гостя пише в це одне значення. Що більше vCPU читають годинник, то довша черга до нього.\nНіщо з цього не з’являється як помилка. Джерело годинника гостя й далі показує kvm-clock, і ніщо в гості не скаже тобі, чому він став повільнішим.\nЯк джерело годинника хоста доходить до гостя KVM Хост на TSC Джерело годинника хоста: tsc одна інструкція для читання Головний годинник KVM увімкнено стабільний біт для гостей Гість читає в просторі користувача vDSO, близько 28 нс Хост на HPET Джерело годинника хоста: hpet похід до пристрою-таймера Головний годинник KVM вимкнено без стабільного біта, оновлення на кожен перехід vCPU Гість робить системний виклик одне спільне значення, близько 190 нс Той самий код ядра на Proxmox VE, oVirt, OpenStack чи звичайних QEMU і libvirt Джерело годинника хоста вирішує, що отримає кожен гість. На TSC гості читають годинник у просторі користувача. На HPET KVM вимикає головний годинник, кожен перехід vCPU примушує оновлювати годинник, а кожне читання годинника гостем стає системним викликом, що звіряється з одним значенням, спільним для всіх vCPU. Скільки це коштує, виміряно Я виміряв це на цьому ноутбуці, а не лишив теорією. Джерело годинника хоста можна перемкнути на ходу, і це вимикає головний годинник KVM так само, як відкат під час завантаження. Одноразовий гість завантажив власне ядро хоста з 4 vCPU і крихітним initramfs, єдина програма якого вимірює clock_gettime(). Два прогони кожним способом, спершу хост, потім гість:\nНаносекунди на читання годинника, хост на TSC проти хоста на HPET Хост шкала від 0 до 2400 нс Хост, 1 потік, хост на TSC: 24 нс 24 нс Хост, 1 потік, хост на HPET: 1542 нс 1542 нс 1 потік Хост, усі 8 ядер, хост на TSC: 29 нс 29 нс Хост, усі 8 ядер, хост на HPET: 1922 нс 1922 нс усі 8 ядер Гість, 4 vCPU шкала від 0 до 300 нс Гість, 4 vCPU, 1 vCPU, хост на TSC: 28 нс 28 нс Гість, 4 vCPU, 1 vCPU, хост на HPET: 187 нс 187 нс 1 vCPU Гість, 4 vCPU, усі 4 vCPU, хост на TSC: 31 нс 31 нс Гість, 4 vCPU, усі 4 vCPU, хост на HPET: 244 нс 244 нс усі 4 vCPU джерело годинника хоста tsc джерело годинника хоста hpet Наносекунди на виклик clock_gettime(), середнє двох прогонів кожним способом. Хост на HPET стає в 61–73 рази повільнішим; гість приблизно в 7 разів з одним vCPU і у 8 з усіма чотирма. Панелі мають різні шкали, бо стовпці HPET хоста сплющили б стовпці гостя. Гість не платить ціну HPET напряму, бо kvm-clock під капотом усе ще читає TSC. Він втрачає читання в просторі користувача і незалежність між vCPU, і вже одне це в сім разів повільніше. Коли всі чотири vCPU читають одночасно, ціна росте ще, і це працює те спільне глобальне значення. Гість із 32 чи 64 vCPU стоятиме в цій черзі довше. Цього я не міряв.\nПокладімо на це цифру. Гість, що читає годинник мільйон разів на секунду на одному vCPU, витрачає на це 2,8 % цього vCPU на здоровому хості і 19 % на цьому. Бази даних, Java Virtual Machine (JVM) і все інше, що ставить мітки часу на свою роботу, читають годинник багато.\nЦей прогін ще й занижує ціну. Ручне перемикання джерела годинника вимикає головний годинник, але не позначає TSC нестабільним, тож переписування зсуву з таблиці вище так і не відбулися. Відкат під час завантаження на цьому E595 позначає його нестабільним, і хост у такому стані платить за обидва.\n\u0026#8615; clockbench.c, бенчмарк, запускається на хості або як init гостя clockbench.c · 2 kB Як перевірити хост, і межі Чому годинники гостей крихкі взагалі, я пояснював у дописі про ptp_kvm; тут та сама проблема приходить знизу. Перевіряй хост, а не гостя:\njournalctl -k -b | grep -iE \u0026#39;TSC warp|TSC unstable\u0026#39; cat /sys/devices/system/clocksource/clocksource0/current_clocksource tscsync запускається з GRUB або systemd-boot1, і це покриває більшість хостів KVM. Proxmox VE використовує GRUB, або systemd-boot на встановленні UEFI з ZFS як коренем і вимкненим Secure Boot15. Але будь чесним щодо меж, перш ніж підпускати це до робочого вузла.\nМежа Що з цим робити Лише AMD Zen і Hygon1 хости Intel з TSC_ADJUST ядро вже виправляє Кожна машина в його списку заліза це ноутбук4 вважай сервер неперевіреним і повідом про результат Режим синхронізації відмовляється працювати на залізі поза списком, якщо ти явно не погодишся1 прочитай чому, перш ніж це обходити Перше завантаження з синхронізацією може зависнути спершу режим вимірювання, відкрита позасмугова консоль, один вузол за раз Оновлення BIOS може виправити несправність після нього поверни режим вимірювання і перевір1 Чиста синхронізація все одно може втратити TSC через сторожа перевіряй current_clocksource після кожного завантаження; tsc=nowatchdog, якщо причина в стороже, а потім вимірюй сам Несправність прошивки, що коштує ноутбуку трохи батареї, коштує гіпервізору шматок кожного гостя, якого він запускає, кожну секунду роботи, і власники гостей ніяк цього не побачать. Ось чому варто перевіряти current_clocksource на кожному хості, який ти тримаєш, хоч би хто його зробив.\ntscsync README — що він робить, ціна читання годинника на HPET, чому tsc=reliable не виправлення, модель безпеки і правило UNSURE.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLinux kernel — arch/x86/kernel/tsc_sync.c — обробка TSC_ADJUST, тест перекосу і повідомлення «Measured %Ld cycles TSC warp between CPUs, turning off TSC clock.».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\ntscsync — docs/DESIGN.md — в AMD Zen немає IA32_TSC_ADJUST, tsc=directsync відхилено апстрімом, Windows сама записує TSC під час завантаження, і перекіс масштабується з часом у прошивці на Legion Pro 5.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\ntscsync — docs/HARDWARE.md — перевірені машини, ядра IdeaPad 5, прийняті на рівні від -28 до -42 тактів, і повідомлені виправлення BIOS на A485, E495 і T14s Gen 1.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLenovo — BIOS Update Utility readme, ThinkPad E495/E595, version 1.30 — обидві моделі в одному пакеті, історія версій до 1.30 (14 травня 2024) і її список змін.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLinux kernel — kernel/time/clocksource.c — сторожовий механізм джерела годинника, його порівняння інтервалів і повідомлення «Marking clocksource %s unstable due to frequency skew».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLinux kernel — kernel-parameters — tsc=reliable вимикає перевірку під час роботи і перевірки стабільності під час завантаження; tsc=nowatchdog вимикає лише сторожовий механізм джерела годинника.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\ntscsync issue #1 — Lenovo ThinkPad E595 — звіти для 1.28 і 1.30, аналіз сторожа і запропоновані зміни.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLinux kernel — Real Time Clock (RTC) Drivers for Linux — «The clock can also be set to generate an interrupt upon every clock update, thus generating a 1Hz signal», читається через /dev/rtc.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nchrony — chronyc manual — tracking: «The \u0026lsquo;frequency\u0026rsquo; is the rate by which the system\u0026rsquo;s clock would be wrong if chronyd was not correcting it.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nKVM — Management Tools — Proxmox VE, oVirt, OpenStack та інструменти на основі libvirt, усі керують KVM.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLinux kernel — arch/x86/kvm/x86.c — pvclock_update_vm_gtod_copy(): «If the host uses TSC clock, then passthrough TSC as stable to the guest», і PVCLOCK_TSC_STABLE_BIT встановлюється лише з головним годинником.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLinux kernel — arch/x86/kernel/kvmclock.c — гість вмикає годинник простору користувача VDSO_CLOCKMODE_PVCLOCK лише тоді, коли встановлено PVCLOCK_TSC_STABLE_BIT.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLinux kernel — arch/x86/kernel/pvclock.c — без PVCLOCK_TSC_STABLE_BIT кожне читання звіряється з «last_value, a global accumulator» атомарним compare-and-exchange.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nProxmox VE — Host Bootloader — типово GRUB, systemd-boot для встановлень UEFI з коренем на ZFS і вимкненим Secure Boot.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\n","permalink":"https://blogs.damiendye.uk/uk/hardware/sorting-tsc-when-your-firmware-is-broken/","summary":"Чотири місяці на кожному завантаженні мій ThinkPad E595 віддавав Linux одне ядро процесора, що на три секунди відстає від семи інших, і ядро ОС відмовлялося від TSC на користь HPET. Що означає це попередження, чому машина на AMD Zen не може виправити це зсередини Linux, що кажуть про прошивку журнали 40 завантажень, чому tsc=reliable це неправильна відповідь і як tscsync вимірює та зсуває лічильники в UEFI ще до того, як ядро їх побачить, включно з одним ядром, яке він позначив BAD, а Linux однаково прийняв. Оновлено для BIOS 1.30: зсув він не виправляє, і сторожовий механізм джерела годинника в ядрі скинув TSC на двох завантаженнях навіть після того, як tscsync вирівняв ядра. З tsc=nowatchdog TSC утримався, а п’ятихвилинна перевірка проти годинника реального часу, з вихідним кодом, не знайшла ні перекосів, ні дрейфу. Наостанок, що цей відкат робить на будь-якому гіпервізорі KVM, Proxmox чи ні: зникає головний годинник, гості втрачають швидке читання часу, і на цьому ноутбуці читання годинника в гості вийшло в сім разів повільнішим.","title":"Як упоратися з TSC, коли прошивка зламана"},{"content":"Чому сертифікати, а не ключі SSH довіряє при першому з’єднанні. Підключаєшся до нової машини, вона показує відбиток і питає, чи ти впевнений. Ніхто не перевіряє. Усі набирають yes. Це та сама звичка, що й проклацати попередження браузера, і саме цього від тебе потребує машина посередині.\nВ інший бік не краще. Кожен сервер тримає файл authorized_keys для кожного користувача, і кожен із них росте. Ключі додають і ніколи не прибирають. Хтось іде, а його ключ лишається на машині, про яку ніхто не пам’ятає, аж до дня, коли це стане важливо. Перевстанови сервер, і кожен клієнт кричить, що ключ хоста змінився, тож люди вчаться видаляти й це попередження.\nЦентр сертифікації SSH закриває обидві проблеми. CA підписує ключ кожного хоста, і клієнти довіряють CA, а не списку відбитків. CA підписує ключ кожного користувача на кілька годин, і сервери довіряють CA, а не списку ключів. Нічого приймати при першому з’єднанні, нічого прибирати, коли хтось іде, і сертифікат користувача, який до завтра помре сам.\nЦе інше налаштування, ніж бік X.509 у step-ca, описаний у Your Own Certificate Authority: step-ca In A Container, тому в нього окремий допис. Той самий контейнер, інші ключі, інші файли на кожній машині. Усе тут запускалося на step-ca 0.30.2 і OpenSSH 10.0 у pod Podman.\nБез CA Зі step-ca Клієнт уперше бачить сервер Показує відбиток, ти набираєш yes Перевіряє сертифікат хоста за CA, нічого не каже Сервер перевстановили Кожен клієнт попереджає, що ключ змінився Підпиши новий ключ, клієнти нічого не помітять Користувач отримує доступ Його ключ іде в authorized_keys на кожному сервері CA підписує його ключ, кожен сервер його приймає Користувач іде Знайди й видали його ключ на кожному сервері Перестань підписувати; його сертифікат мертвий за 16 годин Що тримає кожен сервер По одному authorized_keys на користувача Один відкритий ключ CA Хто що підписує і хто чому довіряє step-ca ключ CA хостів ключ CA користувачів Клієнт серт. користувача, 16 год довіряє CA хостів Сервер серт. хоста, 30 днів довіряє CA користувачів підписує ключ користувача підписує ключ хоста ssh, без запиту кожен перевіряє серт. іншого CA підписує обидва боки. Клієнтові треба довіряти лише ключу CA хостів, а серверу лише ключу CA користувачів. Жоден не тримає списку ключів іншого. Як увімкнути SSH CA Ключі SSH створюються під час першого налаштування step-ca або не створюються взагалі. Задай DOCKER_STEPCA_INIT_SSH=true під час першого запуску1, і в журналі з’являться два додаткові ключі:\nSSH Host CA Key: ecdsa-sha2-nistp256 AAAAE2VjZHNhLXNoYTItbmlzdHAyNTYAAAAIbmlzdHAy... SSH User CA Key: ecdsa-sha2-nistp256 AAAAE2VjZHNhLXNoYTItbmlzdHAyNTYAAAAIbmlzdHAy... Ключ Що підписує Хто йому довіряє CA хостів Ключ хоста кожного сервера Кожен клієнт, у known_hosts CA користувачів Ключ входу кожної людини Кожен сервер, у sshd_config Він також додає провізіонер sshpop, який згодом дає хостові змогу поновлювати власний сертифікат. Якщо CA вже працює без SSH, перемикача немає. Це буде новий CA.\nПідпис хоста Візьми наявний ключ хоста сервера, підпиши його і поверни сертифікат на сервер:\nstep ssh certificate --host --sign \\ --provisioner admin --provisioner-password-file prov-pass \\ nas.home.example ssh_host_ecdsa_key.pub Порядок має значення. Коли прапорці провізіонера стояли після імені хоста й файлу ключа, step відмовився:\ntoo many positional arguments were provided in \u0026#39;step ssh certificate \u0026lt;key-id\u0026gt; \u0026lt;key-file\u0026gt;\u0026#39; Постав усі прапорці першими, і він підписує. Сертифікат так, як його читає ssh-keygen -L:\nПоле Значення Тип ecdsa-sha2-nistp256-cert-v01@openssh.com host certificate Key ID nas.home.example Principals nas.home.example Чинний 30 днів, від 2026-10-09T18:34:30 до 2026-11-08T17:35:30 Principal це ім’я, яким клієнт мусить підключатися. Підключишся за ім’ям, якого немає в сертифікаті, і клієнт його не прийме, тож підписуй кожне ім’я, на яке відповідає хост.\nСервер Два рядки в sshd_config2:\nHostCertificate /etc/ssh/ssh_host_ecdsa_key-cert.pub TrustedUserCAKeys /etc/ssh/ssh_user_ca_key.pub HostCertificate віддає сертифікат хоста клієнтам, і його ключ «must match a private host key already specified»2. TrustedUserCAKeys це відкритий ключ CA користувачів, «trusted to sign user certificates for authentication»2. Запусти sshd -t перед перезапуском. Одна помилка в будь-якому шляху, і sshd каже Could not load host certificate, а це куди краще знайти зараз, ніж із заблокованої сесії.\nНа тестовому сервері authorized_keys немає взагалі. ls /home/damien/.ssh/authorized_keys повертає No such file or directory, а входи нижче однаково працюють.\nКористувач CA створює пару ключів і підписує її за один раз:\nstep ssh certificate damien id_ecdsa \\ --provisioner admin --provisioner-password-file prov-pass Поле Значення Тип user certificate Principals damien Чинний 16 годин Розширення permit-agent-forwarding, permit-port-forwarding, permit-X11-forwarding, permit-pty, permit-user-rc Шістнадцять годин тут і є суттю. Це покриває робочий день і вмирає за ніч. Відкликати користувача здебільшого означає просто не підписати йому завтра.\nКлієнт Один рядок у known_hosts замінює кожен відбиток, який він інакше збирав би3:\n@cert-authority *.home.example ecdsa-sha2-nistp256 AAAAE2VjZHNhLXNoYTItbmlzdHAy... Він каже: будь-який хост під home.example, чий сертифікат підписано цим ключем, справжній. Саме позначка @cert-authority робить його рядком CA, а не ключем одного хоста.\nЩо показав тест Усі чотири з клієнта, у якого немає нічого, крім сертифіката користувача і того одного рядка в known_hosts, зі StrictHostKeyChecking=yes, тож нічого не можна було прийняти на льоту:\nТест Результат Підписаний ключ із сертифікатом, як damien logged in as damien, код виходу 0 Той самий ключ, сертифікат прибрано Permission denied (publickey,password,keyboard-interactive) Сертифікатом входять як root Permission denied: сертифікат називає лише damien Клієнт без рядка CA хостів Host key verification failed. Третій люди й пропускають. Сертифікат не відчиняє кожен обліковий запис на машині, лише principals, записані в ньому. Ключ у чиємусь authorized_keys так не вміє.\nПоновлення Хост поновлює власний сертифікат ключем, який уже має. Це провізіонер sshpop, який «allows a client to renew, revoke, or rekey an SSH certificate using that certificate for authentication with the CA»4. Без пароля5:\nstep ssh renew --force ssh_host_ecdsa_key-cert.pub ssh_host_ecdsa_key Серійний номер Чинний до Підписано 15166325869329416997 2026-11-08 17:35:30 Поновлено 6678957789797316768 2026-11-08 17:35:59 Новий серійний номер і свіжі 30 днів. Постав це на щотижневий таймер, і хост ніколи не прострочиться. Після цього перезавантаж sshd, інакше старий сертифікат лишиться в пам’яті.\nКористувачі поновлюють, просто попросивши знову. Один step ssh certificate на день або при першому вході за день, і це вся робота.\nДе це ламається Випадок Що стається Що робити CA лежить Наявні сертифікати працюють далі; нових ніхто не отримує Запускай CA на тому, що не падає; у користувачів 16 годин запасу Сертифікат хоста прострочився Клієнти відкидають хост, наче це незнайомець Таймер поновлення і перезавантаження sshd після нього Користувач мусить піти сьогодні, а не завтра Його сертифікат працює до кінця строку RevokedKeys у sshd_config приймає список відкликаних ключів2 Імені хоста немає серед principals Клієнт відкидає хост Підписуй кожне ім’я, на яке він відповідає SSH CA не створили під час налаштування Додати його ніяк Новий CA, налаштований з увімкненим SSH Ключі SSH від CA вкрали Хто їх має, може входити будь-куди й бути будь-яким хостом Тримай CA на окремій машині, з резервною копією, офлайн, якщо можеш Останній рядок і є ціною. Кожен файл authorized_keys був власним малим ризиком. Тепер є один великий, в одному місці. Це краще, бо одне місце можна стерегти й замкнути, але лише якщо хтось це робить.\nДовіра там, де її можна перевірити У запиту відбитка й файлу authorized_keys є дещо спільне. Обидва просять людину ухвалити рішення про довіру без жодної інформації, щодня, назавжди. Люди в цьому не сильні й ніколи не будуть, тож вони перестають вирішувати й починають набирати yes.\nCA переносить це рішення в одне місце, один раз, де його можна ухвалити як слід. У цьому вся ідея, і вона та сама, що стоїть за кожним вартим чогось стандартом: зроби ретельну річ один раз, запиши її і перестань просити людей робити це в голові сто разів на тиждень. Машина перевіряє підпис. Ти перевіряєш CA. Такий поділ праці тримається.\nsmallstep/certificates — docker/entrypoint.sh — DOCKER_STEPCA_INIT_SSH=true додає --ssh до step ca init.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nOpenBSD manual — sshd_config(5) — HostCertificate: «The certificate\u0026rsquo;s public key must match a private host key already specified by HostKey»; TrustedUserCAKeys: «public keys of certificate authorities that are trusted to sign user certificates for authentication»; RevokedKeys: «Keys listed in this file will be refused for public key authentication».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nOpenBSD manual — sshd(8), SSH_KNOWN_HOSTS FILE FORMAT — позначка „@cert-authority“ «to indicate that the line contains a certification authority (CA) key».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nSmallstep — Provisioners, SSHPOP — «An SSHPOP provisioner allows a client to renew, revoke, or rekey an SSH certificate using that certificate for authentication with the CA.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nSmallstep — step ssh renew — команда, якою поновлено сертифікат хоста.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\n","permalink":"https://blogs.damiendye.uk/uk/certificates/step-ca-ssh-certificates/","summary":"step-ca 0.30.2 як центр сертифікації SSH, перевірено з OpenSSH 10.0. Чому сертифікати кращі за authorized_keys і довіру при першому з’єднанні, як увімкнути SSH CA під час першого налаштування step-ca, підпис ключа хоста (і порядок аргументів, на якому він спотикається), два рядки в sshd_config і єдиний рядок @cert-authority у known_hosts, сертифікат користувача на 16 годин, чотири тести входу, зокрема з чужим користувачем і хостом без довіри, поновлення сертифіката хоста через sshpop і де все це ламається.","title":"SSH-входи, підписані step-ca: більше ніяких authorized_keys"},{"content":"Чому телефони це найважчий випадок Типові налаштування step-ca зроблені для серверів. Сервер оновлює себе щоранку, і Власний центр сертифікації: step-ca у контейнері показує, як це працює для клієнтів ACME і всього іншого, що вміє запускати step ca renew. Той допис також розповідає про запуск CA, його два паролі та довіру до кореня, а цей продовжує звідти. Телефон, що тримає клієнтський сертифікат для застосунку Home Assistant, нічого оновити не може, а коли він зникає, його треба замкнути сьогодні, а не тоді, коли закінчиться його сертифікат. На заваді стоять п’ять типових налаштувань, і жодне з них не кричить. Вони просто залишають тобі сертифікати, що помирають завтра, і список відкликання, який відхиляє всіх.\nТипове налаштування Що воно робить із телефоном Виправлення Сертифікати живуть щонайбільше 24 години Сертифікат телефона помирає завтра, а застосунок Home Assistant не може його оновити Підняти maxTLSCertDuration у ca.json CRL вимкнена Відкликання загубленого телефона ніде нічого не змінює Увімкнути блок crl Область дії CRL не збігається із сертифікатами nginx відхиляє кожен телефон, зокрема справні Задати idpURL і додати шаблон із crlDistributionPoints Немає CRL для проміжного CA nginx усе одно відхиляє кожен телефон Раз на рік підписувати порожню CRL кореня CRL живе 24 години Коли вона прострочується, nginx знову відхиляє кожен телефон Оновлювати її за таймером Cloudflare робить CA-половину цього за тебе на безкоштовному тарифі, як показує версія з Cloudflare. Робити це самому означає зробити всі п’ять. Тести нижче проходили на CA з назвою Home Assistant CA, і саме ця назва є у виводі.\nПерше типове налаштування: сертифікати живуть добу Попроси рік, і CA відмовить:\nThe request was forbidden by the certificate authority: requested duration of 8760h1m0s is more than the authorized maximum certificate duration of 24h1m0s. Для серверів і клієнтів ACME, які оновлюються цілий день так, що ніхто цього не помічає, це правильне типове налаштування. Телефон це виняток. Застосунок Home Assistant не має способу оновити власний клієнтський сертифікат, тож сертифікат на 24 години означає щодня ходити до кожного телефона.\nСтрок дії це налаштування, і воно живе у власній конфігурації step-ca. Кожен провізіонер у ca.json приймає claims1:\n\u0026#34;claims\u0026#34;: { \u0026#34;maxTLSCertDuration\u0026#34;: \u0026#34;8760h\u0026#34;, \u0026#34;defaultTLSCertDuration\u0026#34;: \u0026#34;24h\u0026#34; } Claim Значення Задано maxTLSCertDuration Найдовший сертифікат, який підпише цей провізіонер 8760h, рік defaultTLSCertDuration Що ти отримуєш, нічого не просячи Залишено 24h, тож рік це завжди свідомий вибір minTLSCertDuration Найкоротший, який він підпише Не чіпали Перезапусти контейнер, і рік проходить. Рік це судження, а не правило. Коротший строк означає менше часу, протягом якого вкрадений сертифікат корисний, і більше обходів по хаті з перевстановленням.\nДруге типове налаштування: CRL вимкнена Список відкликаних сертифікатів (CRL) це підписаний CA перелік сертифікатів, які він відкликав. Саме так загублений телефон замикають до того, як сплине строк його сертифіката, і step-ca не створює такого списку, доки йому не скажуть. Документація позначає цю функцію як експериментальну1.\n\u0026#34;crl\u0026#34;: { \u0026#34;enabled\u0026#34;: true, \u0026#34;generateOnRevoke\u0026#34;: true, \u0026#34;cacheDuration\u0026#34;: \u0026#34;24h\u0026#34; } Поле Що робить Типово enabled Узагалі створює CRL Вимкнено generateOnRevoke Перебудовує список тієї ж миті, як сертифікат відкликано Вимкнено cacheDuration Скільки кожен список лишається чинним 24 години1 idpURL URL, який список називає своєю областю дії Власне ім’я CA плюс /1.0/crl2 Запам’ятай ці 24 години. Вони ще повернуться.\nТретє типове налаштування: CRL, яку ніщо не прийме З увімкненою CRL відклич один телефон і перевір обидва телефони за нею:\n$ openssl verify -CAfile client-ca.pem -CRLfile crl.pem -crl_check phone1.crt phone2.crt CN=phone1 error 44 at 0 depth lookup: different CRL scope error phone1.crt: verification failed CN=phone2 error 44 at 0 depth lookup: different CRL scope error phone2.crt: verification failed Обидва падають, зокрема справний телефон. Постав цей список перед nginx, і ніхто не зайде.\nСам список каже чому. step-ca позначає кожну CRL критичним розширенням Issuing Distribution Point, яке каже: «цей список охоплює сертифікати, що вказують сюди». А сертифікати, які він видав, не вказують нікуди:\n$ openssl crl -in crl.pem -noout -text X509v3 Issuing Distribution Point: critical Full Name: URI:https://localhost/1.0/crl $ openssl x509 -in phone1.crt -noout -ext crlDistributionPoints No extensions in certificate OpenSSL не застосує список, область дії якого не збігається із сертифікатом. Тож він закривається на відмову. Що правильно, і нікому з того жодної користі.\nCRL каже, що охоплює Сертифікат каже, що його CRL лежить за адресою Результат Як є з коробки https://localhost/1.0/crl, критичне Ніде different CRL scope, відмова всім idpURL і шаблон http://ca.home.example/1.0/crl http://ca.home.example/1.0/crl Справні телефони проходять, відкликані ні Типовий URL навіть не той, на якому CA обслуговує запити. Вихідний код step-ca так і каже: «this is currently using the port 443 by default»2. Виправляють це два налаштування, і обидва мусять називати той самий URL. idpURL іде в блок crl у ca.json, а шаблон на провізіонері вписує відповідне crlDistributionPoints у кожен сертифікат3:\n{ \u0026#34;subject\u0026#34;: {{ toJson .Subject }}, \u0026#34;sans\u0026#34;: {{ toJson .SANs }}, \u0026#34;keyUsage\u0026#34;: [\u0026#34;digitalSignature\u0026#34;], \u0026#34;extKeyUsage\u0026#34;: [\u0026#34;serverAuth\u0026#34;, \u0026#34;clientAuth\u0026#34;], \u0026#34;crlDistributionPoints\u0026#34;: [\u0026#34;http://ca.home.example/1.0/crl\u0026#34;] } \u0026#34;options\u0026#34;: { \u0026#34;x509\u0026#34;: { \u0026#34;templateFile\u0026#34;: \u0026#34;templates/leaf-crl.tpl\u0026#34; } } Перевипусти сертифікати телефонів, бо поле несуть лише нові сертифікати, і та сама перевірка дає правильну відповідь:\nCN=phone2 error 23 at 0 depth lookup: certificate revoked error phone2.crt: verification failed phone1.crt: OK Кореню теж потрібна CRL Та перевірка дивилася лише на сертифікат телефона. nginx дивиться на весь ланцюжок. Він ставить прапорець OpenSSL CRL_CHECK_ALL4, і його документація каже це прямо: «When using intermediate certificates, their CRLs should be specified in the same file»5. step-ca видає сертифікати від свого проміжного CA і завжди перелічує лише відкликання проміжного. Ніщо не каже, чи сам проміжний CA ще в порядку:\n$ openssl verify -CAfile client-ca.pem -CRLfile crl.pem -crl_check_all phone1.crt O=Home Assistant CA, CN=Home Assistant CA Intermediate CA error 3 at 1 depth lookup: unable to get certificate CRL Яка CRL покриває який сертифікат Кореневий CA довіра як є Проміжний CA підписує всі phone1 справний phone2 відкликано Сервер ha.example.com підписує nginx перевіряє кожну ланку ланку без CRL відхиляє CRL кореня 365 днів, від OpenSSL CRL step-ca 24 години, є phone2 покриває покриває Кожна ланка нижче кореня потребує CRL від сертифіката над нею. step-ca покриває нижній ряд. Проміжний CA не покриває ніщо, доки ти сам не підпишеш CRL кореня. Виправлення це підписана коренем CRL, яка нічого не відкликає. OpenSSL робить її з ключа кореня і власного файлу пароля CA, і вона може жити рік, бо корінь день у день нічого не відкликає:\n[ca] default_ca = root [root] database = index.txt crlnumber = crlnumber default_md = sha256 default_crl_days = 365 private_key = root_ca_key certificate = root_ca.crt crl_extensions = crl_ext [crl_ext] authorityKeyIdentifier = keyid:always touch index.txt \u0026amp;\u0026amp; echo 1000 \u0026gt; crlnumber openssl ca -config root-crl.cnf -gencrl -passin file:password -out root.crl.pem Обидва списки в одному файлі, і весь ланцюжок перевіряється:\n$ openssl verify -CAfile client-ca.pem -CRLfile crl-chain.pem -crl_check_all phone1.crt phone2.crt CN=phone2 error 23 at 0 depth lookup: certificate revoked error phone2.crt: verification failed phone1.crt: OK Запиши дату в щоденник на рік уперед. Коли CRL кореня прострочиться, кожен телефон знову опиниться за дверима.\nПублікація CRL CRL має лежати там, куди вказує URL у кожному сертифікаті. Не на самому CA.\nВибір Чому Вебсервер попереду, а не порт 9000 Порт 9000 це весь API step-ca, зокрема підписування. Нікому з нього не потрібно нічого, крім списку Звичайний HTTP, а не HTTPS RFC 5280 каже, що точка розповсюдження «SHOULD include at least one LDAP or HTTP URI»6. Отримання через HTTPS потребує перевірки сертифіката, а та потребує списку. HTTP розриває це коло Підробка не турбує Список підписаний. Зміни один байт, і підпис не зійдеться Відповідають лише два шляхи CRL Усе інше це 404 Обидва вебсервери роблять це кількома рядками, і обидва передають список прямо від step-ca, а CRL кореня віддають як файл:\nserver { listen 80; listen [::]:80; server_name ca.home.example; location = /1.0/crl { proxy_pass https://127.0.0.1:9000; proxy_ssl_trusted_certificate /etc/step/root_ca.crt; proxy_ssl_verify on; proxy_ssl_name localhost; } location = /root.crl { alias /etc/step/root.crl; default_type application/pkix-crl; } location / { return 404; } } http://ca.home.example { handle /1.0/crl { reverse_proxy https://127.0.0.1:9000 { transport http { tls_trust_pool file /etc/step/root_ca.crt tls_server_name localhost } } } handle /root.crl { header Content-Type application/pkix-crl root * /etc/step file_server } handle { respond 404 } } Запит nginx Caddy /1.0/crl 200, application/pkix-crl, видавець проміжний CA 200, application/pkix-crl, видавець проміжний CA /root.crl 200, application/pkix-crl 200, application/pkix-crl /roots.pem, /1.0/sign і решта API 404 404 Обидва відповідають і на IPv6, і на IPv4, і так має бути. Caddy типово слухає на обох. nginx слухає лише там, де йому сказали, тож сам listen 80; це лише IPv4, і поруч потрібен listen [::]:80;. Під час перевірки через ::1 список повертався з кодом 200 від обох, щойно nginx отримав цей рядок. Сам step-ca з коробки слухає на обох.\nТест ішов на портах 8080 і 8081, тож URL у тестових сертифікатах містив порт. У роботі це порт 80, і URL точно такий, як у шаблоні.\nЯк тримати її свіжою Кожна CRL, яку створює step-ca, має nextUpdate на 24 години вперед. Після цього вона прострочена, а прострочений список падає так само, як відсутній:\n$ openssl verify -CAfile client-ca.pem -CRLfile crl-chain.pem -crl_check_all \\ -attime $(( $(date +%s) + 172800 )) phone1.crt error 12 at 0 depth lookup: CRL has expired Це справний телефон. Через два дні. За дверима, бо ніщо не забрало новий список.\nПублікація CRL і підтримання її свіжою step-ca :9000, весь API лишається всередині nginx або Caddy порт 80, v4 і v6 /1.0/crl, /root.crl решта 404 Список прострочено через 24 години, відмова всім телефонам Таймер кожні кілька годин Проксі mTLS ssl_crl, перечитано CRL забрати перечитати стоп API step-ca лишається всередині. Вебсервер віддає лише два списки, а таймер забирає свіжий і перезавантажує проксі. Зупини таймер, і список прострочиться за добу, замкнувши кожен телефон. nginx читає ssl_crl лише під час запуску або перезавантаження. Тож щось мусить кожні кілька годин забирати список, перебудовувати файл і перезавантажувати nginx, і так весь час, поки це працює, дивиться хтось чи ні.\n#!/bin/sh # Fetch step-ca\u0026#39;s CRL, add the root CRL, and reload nginx only if both parse. set -eu dir=${CRL_DIR:-/etc/nginx/pki} tmp=$(mktemp) trap \u0026#39;rm -f \u0026#34;$tmp\u0026#34; \u0026#34;$tmp.pem\u0026#34;\u0026#39; EXIT curl -fsS --max-time 20 \u0026#34;${CRL_URL:-http://ca.home.example/1.0/crl}\u0026#34; -o \u0026#34;$tmp\u0026#34; openssl crl -inform DER -in \u0026#34;$tmp\u0026#34; -out \u0026#34;$tmp.pem\u0026#34; openssl crl -in \u0026#34;$dir/root.crl.pem\u0026#34; -noout cat \u0026#34;$tmp.pem\u0026#34; \u0026#34;$dir/root.crl.pem\u0026#34; \u0026gt; \u0026#34;$dir/crl-chain.pem.new\u0026#34; mv \u0026#34;$dir/crl-chain.pem.new\u0026#34; \u0026#34;$dir/crl-chain.pem\u0026#34; ${RELOAD:-nginx -s reload} Запуск Результат Звичайний Новий список на місці, nginx перезавантажено, phone1 200, відкликаний phone2 400 CA недоступний curl: (22) The requested URL returned error: 404, код виходу 22, старий список не чіпали, без перезавантаження Справжню роботу тут робить set -e. Невдале отримання ніколи не повинне записати порожній файл поверх доброго, бо зламаний список замикає всіх так само напевно, як застарілий. Запускай це кожні кілька годин із таймера systemd або cron. Так у нього буде кілька спроб, перш ніж щось прострочиться. Нічого хитрого, але саме ця частина тримає двері робочими.\nЯк видати телефону його сертифікат Один сертифікат на телефон, названий на честь телефона, на рік:\nstep ca certificate phone1 phone1.crt phone1.key \\ --provisioner admin --provisioner-password-file prov-pass \\ --not-after 8760h --kty EC Телефону потрібні сертифікат, його ключ і проміжний CA в одному файлі PKCS12, і step збирає його сам7:\nstep certificate p12 phone1.p12 phone1.crt phone1.key \\ --ca certs/intermediate_ca.crt MAC: sha256, Iteration 2048 PKCS7 Encrypted data: PBES2, PBKDF2, AES-256-CBC, Iteration 2048, PRF hmacWithSHA256 Це сучасне шифрування, і саме його документація Home Assistant Companion радить пробувати першим, перш ніж відступати до застарілого контейнера8.\nТелефону потрібні від CA три речі, а не одна:\nФайл Встановити як Чому root_ca.crt Сертифікат CA Щоб телефон довіряв серверному сертифікату, який step-ca видав для проксі intermediate_ca.crt Сертифікат CA Ланцюжок між коренем і кожним сертифікатом, який CA насправді підписує phone1.p12 Сертифікат користувача для VPN і застосунків Власний ключ телефона, те, що пускає його всередину Застосунок Home Assistant для Android довіряє сертифікатам CA, які встановив користувач, так само як і вбудованим9, тож серверний сертифікат від step-ca працює. Для цієї роботи це ще й кращий замок. Ім’я хоста має значення лише вдома і для телефонів, а пристрій без твого кореня навіть не довіряє серверу, не кажучи вже про те, щоб пройти повз нього.\nКоли телефон зникає:\nstep ca revoke --cert phone2.crt --key phone2.key --reason \u0026#34;phone lost\u0026#34; Certificate with Serial Number 89334534279272070053632987406394420097 has been revoked. Новий список будується на місці, а наступне оновлення ставить його перед nginx.\nCA це обіцянка, яку ти тримаєш щодня Коли запускаєш це, вражає, як мало роботи припадає на видачу сертифікатів. Одна команда. Оце й усе. Уся робота в обіцянках навколо неї: що відкликаний телефон лишається за дверима, що справний лишається всередині, що список ніколи не застаріває. step-ca тримає першу, а решту лишає тобі, і його типові налаштування припускають, що ти парк серверів, які щоранку самі себе оновлюють.\nЦе не вада, просто для таких його й будували. Але це розрив між тим, що інструмент робить, і тим, що він нібито робить, як його продають. «Запусти власний CA» звучить як контейнер і один день по обіді. А насправді це контейнер, день по обіді, шаблон, CRL кореня з датою в щоденнику і таймер, про існування якого ти забудеш аж до дня, коли він зупиниться.\nОднаково зроби це. CA, який ти тримаєш сам, ніхто інший не може вимкнути, переоцінити чи прочитати. Просто знай, що володіти ключами означає володіти й хатньою роботою, і саме ця робота тримає двері зачиненими.\nSmallstep — step-ca configuration — maxTLSCertDuration, defaultTLSCertDuration, minTLSCertDuration; блок crl позначено «(experimental)», cacheDuration «Defaults to 24h».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nsmallstep/certificates v0.30.2 — authority/tls.go — Issuing Distribution Point у CRL це idpURL, якщо його задано, інакше власне ім’я CA плюс /1.0/crl, позначене як критичне.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nSmallstep — Certificate templates — crlDistributionPoints «defines URLs with the certificate revocation list».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nnginx — src/event/ngx_event_openssl.c — ssl_crl ставить X509_V_FLAG_CRL_CHECK|X509_V_FLAG_CRL_CHECK_ALL.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nnginx — ngx_http_ssl_module, ssl_crl — «When using intermediate certificates, their CRLs should be specified in the same file.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 5280 — Internet X.509 PKI Certificate and CRL Profile — розділ 4.2.1.13: DistributionPointName «SHOULD include at least one LDAP or HTTP URI».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nSmallstep — step certificate p12 — пакує сертифікат, його ключ і сертифікати CA у файл PKCS12.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nHome Assistant Companion — Networking, TLS Client Authentication — спершу пробувати поточний типовий PKCS12, а контейнер OpenSSL -legacy лише якщо той не спрацює.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nhome-assistant/android — network_security_config.xml — довірчі якорі це system плюс user: «Additionally trust user added CAs».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\n","permalink":"https://blogs.damiendye.uk/uk/certificates/step-ca-client-certificates-mtls/","summary":"Видача клієнтських сертифікатів для взаємного TLS через step-ca 0.30.2, перевірена від початку до кінця з nginx 1.30.5 і Caddy 2.11.7. Чому телефони це найважчий випадок, як підняти ліміт сертифіката в 24 години в ca.json, як увімкнути CRL, чому вона падає з «different CRL scope», доки idpURL і шаблон не додадуть відповідну точку розповсюдження, CRL кореня, якої nginx потребує для всього ланцюжка, публікація CRL через звичайний HTTP на IPv4 та IPv6, задача оновлення, що не дає простроченій CRL замкнути всіх, а також видача, пакування, встановлення й відкликання сертифіката телефона.","title":"Клієнтські сертифікати від step-ca і типові налаштування, що замикають двері перед усіма"},{"content":"Той самий замок, твої власні двері Застосунок Home Assistant через Cloudflare, прив’язаний до сертифіката ставить замок на краю мережі Cloudflare. Телефон тримає сертифікат, Cloudflare його перевіряє, і все, що його не має, до дому не доходить. Це працює, це безкоштовно, і це означає, що Cloudflare тримає ворота й читає трафік, поки той проходить.\nТут той самий замок, але двері у твоєму власному домі. Сертифікат перевіряє nginx або Caddy. Видає його твій власний центр сертифікації. Більше ніхто не стоїть на шляху. Сторінка входу так само невидима для всього, що не має сертифіката, тож змінюється не те, чи потраплять усередину чужі. Змінюється те, хто робить роботу і хто несе ризик, коли щось піде не так.\nУсе тут зібрано й перевірено: nginx 1.30.5 і Caddy 2.11.7 у Podman, сертифікати від step-ca 0.30.2, кожен проксі перевірено без сертифіката, з добрим сертифікатом, з відкликаним і з оновленням до WebSocket, через IPv4 та IPv6. Бекендом у тесті була маленька заглушка, яка повертає отримані заголовки, тож результати показують саме те, що отримав би Home Assistant.\nЩо змінюється, коли Cloudflare зникає mTLS удома з nginx або Caddy Телефон має сертифікат Будь-хто інший без сертифіката Флуд сертифікат зайвий Домашня мережа Роутер порт 443 без захисту від DDoS nginx або Caddy веде до твого CA? не відкликано? IPv4 та IPv6 step-ca Home Assistant довіряє проксі Відхилено у рукостисканні так ні Тепер усе приходить на твій роутер. Проксі відмовляє всьому без доброго сертифіката ще до того, як це побачить Home Assistant. Флуду сертифікат не потрібен, і коли вище за течією нікому його поглинути, він падає на твою лінію. Версія з Cloudflare nginx або Caddy вдома Хто перевіряє сертифікат Край мережі Cloudflare, правилом WAF Твій проксі, під час рукостискання TLS Центр сертифікації Керований Cloudflare Твій власний, step-ca для клієнтських сертифікатів Хто бачить трафік розшифрованим Cloudflare, потім Home Assistant Твій проксі й Home Assistant, більше ніхто Шлях іззовні Тунель, лише вихідний Проброс порту на проксі DDoS падає на Cloudflare Твою домашню лінію Підключення чужого коштує Нічого вдома Рукостискання TLS на проксі, ніколи не вхід у Home Assistant IPv4 та IPv6 Обидва, Cloudflare відповідає на будь-який Обидва, якщо лінія має обидва й проксі слухає на обох Відкликання Вбудоване, перевіряється правилом nginx перевіряє CRL; Caddy тримає список дозволених Коли провайдер лежить Немає віддаленого доступу Нічого не змінюється Витрати на роботу Безкоштовний план Безкоштовно, плюс твій час на CA Два найважливіші рядки тягнуть у протилежні боки. Ніхто інший не читає твій трафік і не може тебе вимкнути, і це суверенітет, уся причина це робити. Але проброс порту повернувся, тож сканування й флуд б’ють по твоїй лінії, а не по лінії Cloudflare. Відмінність від звичайного пробросу порту з порівняння в дописі про Cloudflare в тому, що вони знаходять, коли приходять: проксі, який обриває з’єднання під час рукостискання, а не сторінку входу Home Assistant.\nБудь чесним щодо того, що це дає, а що ні. Власний зворотний проксі не дає жодного захисту від DDoS. mTLS не пускає чужого всередину. Він нічим не заважає чужому забити твою лінію, а флуду, щоб її забити, сертифікат не потрібен. Cloudflare поглинає це за тебе на кожному плані, включно з безкоштовним1. Тут вище за течією нікому це поглинути, тож досить великий флуд викидає з інтернету весь дім, а проксі може відмовляти лише тим з’єднанням, які взагалі до нього доходять.\nnginx чи Caddy Обидва роблять свою справу. Відрізняються вони в одному місці, яке має значення. Відкликання.\nВідкликання з nginx і з Caddy nginx: CRL, який забирає таймер step-ca відклик, новий CRL /1.0/crl звичайний HTTP Таймер забір, перезапуск nginx перевіряє ланцюжок Caddy: список дозволених, ведеться вручну Ти кожен перевипуск Список конкретні сертифікати Перезавантаження після кожної зміни Caddy верифікатор leaf nginx отримує CRL за таймером і перевіряє його на кожному з\u0026rsquo;єднанні. Caddy не підтримує CRL, тож відкликання там означає список конкретних сертифікатів, який ти ведеш вручну. nginx 1.30.5 Caddy 2.11.7 Без сертифіката Рукостискання завершується, 400 No required SSL certificate was sent Рукостискання відхилено, curl exit 55 Відкликаний сертифікат Відхилено, 400 The SSL certificate error Пропущено одразу, якщо є лише перевірка CA Спосіб відкликання CRL, перевіряється по всьому ланцюжку Список дозволених сертифікатів, верифікатор leaf WebSocket для застосунку Потрібні заголовки Upgrade і Connection Працює без додаткової конфігурації IPv6 Лише з доданим listen [::]:443 За замовчуванням слухає на обох Конфігурація Близько 30 рядків Близько 15 рядків Саме щодо відкликання й треба вирішувати. Документація Caddy називає рівно один верифікатор, що постачається зі стандартним Caddy, leaf, і він перевіряє, чи сертифікат «is one of a defined set of permitted certificates»2. Немає ні CRL, ні OCSP для клієнтських сертифікатів. Наведи Caddy лише на CA, і відкликаний телефон спокійно заходить. Тест показав саме це: phone2, відкликаний за годину до того, отримав 200. Список дозволених закриває цю діру. Але це ще й список, який ти ведеш вручну, весь час, поки цим користуєшся.\nКонфігурація nginx map $http_upgrade $connection_upgrade { default upgrade; \u0026#39;\u0026#39; close; } server { listen 443 ssl; listen [::]:443 ssl; server_name ha.example.com; ssl_certificate /etc/nginx/pki/server-chain.pem; ssl_certificate_key /etc/nginx/pki/server.key; ssl_protocols TLSv1.2 TLSv1.3; # The mTLS half: only certificates from our CA, and not revoked. ssl_client_certificate /etc/nginx/pki/client-ca.pem; ssl_verify_client on; ssl_verify_depth 2; ssl_crl /etc/nginx/pki/crl-chain.pem; location / { proxy_pass http://192.0.2.10:8123; proxy_http_version 1.1; proxy_set_header Host $host; proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for; proxy_set_header X-Forwarded-Proto $scheme; proxy_set_header Upgrade $http_upgrade; proxy_set_header Connection $connection_upgrade; } } Рядок Навіщо він тут listen [::]:443 ssl Без нього nginx працює лише по IPv4, і телефону в мережі IPv6 нікуди приземлитися ssl_verify_client on Немає сертифіката, немає входу. optional пропустив би запит далі, щоб судити про нього пізніше ssl_verify_depth 2 step-ca підписує від проміжного сертифіката, тож ланцюжок такий: телефон, проміжний, кореневий. Значення за замовчуванням 1 не дотягує3 ssl_client_certificate Проміжний і кореневий в одному файлі ssl_crl CRL від step-ca і CRL кореневого в одному файлі. nginx перевіряє кожну ланку ланцюжка, тож йому потрібні обидва Upgrade і Connection Застосунок спілкується з Home Assistant через WebSocket. Без них застосунок завантажується й потім просто стоїть Файл CRL вимагає уваги, і все про нього є в Клієнтських сертифікатах від step-ca: чому CRL від step-ca відхиляється, доки шаблон не виправить його область дії, чому nginx хоче ще й CRL від кореневого і таймер, який оновлює його до того, як він спливе. Пропусти це, і nginx заблокує кожен телефон, добрі теж.\nЩо повернув тест:\nКлієнт IPv4 IPv6 Без сертифіката 400 No required SSL certificate was sent 400 phone1 200, X-Forwarded-For: 127.0.0.1 200, X-Forwarded-For: ::1 phone2, відкликаний 400 The SSL certificate error 400 phone1, оновлення до WebSocket 200, Upgrade: websocket передано далі 200, Upgrade: websocket передано далі Доки не з’явився рядок listen для IPv6, запит по IPv6 узагалі не з’єднувався. curl exit 7.\nКонфігурація Caddy ha.example.com { tls /etc/caddy/pki/server-chain.pem /etc/caddy/pki/server.key { client_auth { mode require_and_verify trust_pool file /etc/caddy/pki/client-ca.pem verifier leaf { file /etc/caddy/pki/allowed-phones.pem } } } reverse_proxy 192.0.2.10:8123 } require_and_verify означає, що сертифікат мусить бути і мусить вести ланцюжком до CA2. verifier leaf і є відкликанням. Пропускаються лише сертифікати з allowed-phones.pem, тож відкликати телефон означає прибрати його сертифікат із цього файлу й перезавантажити.\nКлієнт IPv4 IPv6 Без сертифіката Рукостискання відхилено Рукостискання відхилено phone1, у списку 200, X-Forwarded-For: 127.0.0.1 200, X-Forwarded-For: ::1 phone2, відкликаний, лише перевірка CA 200 phone2, не в списку Рукостискання відхилено Рукостискання відхилено phone1, оновлення до WebSocket через HTTP/1.1 200, Upgrade: websocket передано далі У списку дозволених є своя пастка, і тест у неї прямо втрапив. Список містить конкретні сертифікати, а не імена. Перевипусти сертифікат телефона, і нового в списку немає. phone1 перевипустили посеред тестування, і Caddy відхиляв його з tls alert bad certificate, доки список не перебудували. Кожне поновлення тепер дві роботи. Випустити сертифікат, потім оновити список. Забудеш другу, і телефон заблоковано на рівному місці.\nПід час запуску Caddy ще й пише в журнал enabling strict SNI-Host enforcement because TLS client auth is configured. Це він робить правильну річ: запит має просити те саме ім’я хоста в рукостисканні, що й у запиті HTTP, тож ніхто не може пройти перевірку сертифіката для одного сайту, а потім попросити інший.\nБік Home Assistant Ті самі налаштування, що й у версії з Cloudflare, лише націлені на інший проксі. У Settings → System → Network → HTTP server4:\nНалаштування Значення Чому Trust X-Forwarded-For Увімкнено Без нього Home Assistant відхиляє запити через проксі Trusted proxies Лише адреса проксі, IPv4 та IPv6, наприклад 192.0.2.20 і 2001:db8::20 Лише ця машина може заявляти, що пересилає за когось Enable IP banning Увімкнено Блокування падають на справжню адресу клієнта, яку передає проксі Home Assistant URL, Internet https://ha.example.com Застосунок бере це як свою зовнішню URL-адресу Внеси адресу IPv6 проксі так само, як і IPv4. Тест показує, що nginx через IPv6 пересилає ::1 як адресу клієнта, а в роботі пересилає ту, з якої прийшов телефон. Якщо Home Assistant довіряє лише адресі IPv4 проксі, кожен запит, що доходить до нього від проксі через IPv6, буде відхилено.\nТелефон Від step-ca телефону потрібні три файли. Усе це описано в дописі про клієнтські сертифікати step-ca, а налаштування самого CA в Твоєму власному центрі сертифікації.\nФайл Встановити як Кореневий сертифікат Сертифікат CA Проміжний сертифікат Сертифікат CA Файл PKCS12 телефона Сертифікат користувача VPN і застосунків5 Серверний сертифікат на проксі теж від step-ca. Застосунок Home Assistant для Android довіряє сертифікатам CA, які встановив користувач6, тож приймає його, і це другий замок, а не морока. Пристрій, який не тримає твого кореневого сертифіката, не довіряє серверу, ще до того, як дійде до питання про його власний сертифікат.\nПотім встанови рівень безпеки з’єднання в застосунку на Most secure, так само як у версії з Cloudflare7.\nДе це ламається Випадок Що відбувається Що робити Спливає CRL nginx відхиляє кожен телефон Оновлювати його за таймером, як у дописі про step-ca Спливає CRL кореневого Те саме, через рік Дата в календарі Caddy, телефон відкликано Заходить, якщо його не прибрали зі списку дозволених Вести список або взяти nginx Caddy, телефон перевипущено Заблоковано, доки список не оновлять Оновлювати список з кожним сертифікатом Домашня лінія за NAT оператора, без IPv6 До пробросу порту ніщо не дістанеться IPv6 або версія з Cloudflare Флуд на домашню лінію Викидає з мережі весь дім, а не лише Home Assistant Версія з Cloudflare, якщо це турбує тебе більше, ніж третя сторона iPhone, Wear OS Те саме, що й у версії з Cloudflare: задокументований застосунок для Android, Wear OS хоче PKCS12 під час налаштування5 Перевір, перш ніж на це покладатися Ніщо з цього не приховане. Кожне з них є роботою. Запиши її з датою чи командою поруч, і вона лишиться роботою, а не сюрпризом.\nВолодіти всім самому Версія з Cloudflare і ця не пускають усередину того самого чужого. Відмінність у тому, кому тобі доводиться довіряти, поки вони це роблять.\nЗ Cloudflare ти довіряєш компанії тримати ворота, розшифровувати трафік і далі пропонувати це безкоштовно. Тут ти довіряєш собі оновлювати CRL, тримати список у порядку й помічати, коли надходить дата. Жоден варіант не обходиться без довіри. Один віддає її комусь, кому ти нічого не платиш і кому не можеш подзвонити. Інший тримає її вдома, де ти бачиш, як вона ламається, і можеш це полагодити.\nДля вхідних дверей дому я знаю, що обрав би. Робота зводиться до кількох файлів і таймера. По суті, єдине, чого вона справді вимагає, це щоб ти за нею доглядав, а це й завжди означало щось мати.\nCloudflare — DDoS Protection — автоматичне виявлення й пом’якшення DDoS, «Available on all plans».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCaddy — tls directive, client_auth — require_and_verify «Require clients to present a valid certificate that is verified»; «The one verifier, currently, shipped in standard Caddy is leaf», який перевіряє, чи сертифікат «is one of a defined set of permitted certificates».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nnginx — ngx_http_ssl_module — ssl_verify_depth за замовчуванням 1; ssl_crl: «When using intermediate certificates, their CRLs should be specified in the same file.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nHome Assistant — HTTP integration — зворотні проксі, довірені проксі й блокування IP; налаштування в інтерфейсі з 2026.8.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nHome Assistant Companion — Getting Started, TLS client authentication — встановлювати як «VPN \u0026amp; app user certificate»; Wear OS потребує сертифіката у форматі PKCS12 під час початкового налаштування.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nhome-assistant/android — network_security_config.xml — якорі довіри це system плюс user: «Additionally trust user added CAs».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nHome Assistant Companion — Connection security level — Most secure використовує незашифровану URL-адресу лише в домашній мережі.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\n","permalink":"https://blogs.damiendye.uk/uk/homeassistant/home-assistant-app-mtls-nginx-caddy/","summary":"Прив’язуємо застосунок Home Assistant до клієнтського сертифіката через nginx або Caddy вдома, зі step-ca як центром сертифікації замість Cloudflare. Що змінюється, коли Cloudflare зникає зі шляху, конфігурація nginx і конфігурація Caddy, кожна перевірена без сертифіката, з добрим, з відкликаним і з оновленням до WebSocket через IPv4 та IPv6, чому nginx може перевіряти CRL, а Caddy лише тримає список дозволених, налаштування довірених проксі в Home Assistant, що треба встановити на телефон і де все це ламається.","title":"Застосунок Home Assistant, прив’язаний до сертифіката, з nginx або Caddy і без Cloudflare"},{"content":"Навіщо мати власний CA Подивися, що зараз є в домашній мережі. NAS, Proxmox, Home Assistant, принтер, адмінсторінка роутера. Кожен із них віддає HTTPS із самопідписаним сертифікатом. Кожен браузер, що туди заходить, видає попередження. Люди клацають далі. Потім клацають далі на наступному, і ще на наступному, доки проклацувати попередження про сертифікат не стане просто звичкою. Саме така звичка й потрібна нападникові.\nПублічний CA цього не виправить. Let\u0026rsquo;s Encrypt не видасть сертифікат для localhost «because nobody uniquely owns it»1, і те саме стосується будь-якого імені, яке існує лише в домі. Навіть для справжнього домену кожен виданий ним сертифікат потрапляє до публічних журналів Certificate Transparency2. Отримай сертифікат для nas.yourname.uk, і назва твого NAS тепер у відкритому доступі.\nВласний CA виправляє обидві проблеми. Він підписує будь-які імена, які ти використовуєш усередині. Ніщо ніде не публікується. Щойно кожен пристрій довіряє його кореню, попередження зникають, і попередження знову щось означає.\nstep-ca це CA з відкритим кодом від Smallstep, і він працює в одному контейнері. Усе тут запускалося на step-ca 0.30.2 у Podman, з Caddy 2.11.7 і nginx 1.30.5 як клієнтами.\nСценарій Що дає step-ca Розділ Кожен пристрій довіряє твоїм сертифікатам Один корінь, встановити один раз Довіра до кореня Внутрішній HTTPS для всього, що говорить ACME Той самий протокол, що в Let\u0026rsquo;s Encrypt, для внутрішніх імен Внутрішній HTTPS через ACME Сервіси без ACME-клієнта Сертифікати, що поновлюються самі за таймером Сервіси, які не вміють ACME Телефони та інші клієнтські сертифікати Ключі, які пристрій тримає, щоб увійти, і спосіб їх відкликати Окремий допис: налаштування за замовчуванням заважають Входи SSH Сертифікати замість authorized_keys Окремий допис: інше налаштування Двом із них присвячено окремі дописи, бо кожен є окремим налаштуванням. Клієнтські сертифікати від step-ca охоплює телефони й mTLS, де треба змінити п’ять налаштувань за замовчуванням. Входи SSH, підписані step-ca охоплює SSH, який використовує інші ключі та інші файли на кожній машині.\nЗапуск Образ ініціалізує себе під час першого запуску з кількох змінних середовища3. Дві з них визначають речі, які пізніше не змінити без старту з нуля, тож задай їх у перший же день.\nЗмінна Що робить DOCKER_STEPCA_INIT_NAME Ім’я видавця на кожному сертифікаті DOCKER_STEPCA_INIT_DNS_NAMES Імена, на яких відповідає CA DOCKER_STEPCA_INIT_ACME=true Додає ACME-провізіонер для внутрішнього HTTPS DOCKER_STEPCA_INIT_SSH=true Створює ще й ключі SSH CA для хостів і користувачів Перемикачі ACME і SSH читає точка входу образу4. Увімкни їх зараз, навіть якщо сьогодні тобі потрібен лише один. Додати SSH пізніше означає будувати новий CA.\npodman run -d --name step-ca \\ -v step:/home/step \\ -p 9000:9000 \\ -e DOCKER_STEPCA_INIT_NAME=\u0026#34;Home CA\u0026#34; \\ -e DOCKER_STEPCA_INIT_DNS_NAMES=\u0026#34;localhost,ca.home.example\u0026#34; \\ -e DOCKER_STEPCA_INIT_ACME=true \\ -e DOCKER_STEPCA_INIT_SSH=true \\ docker.io/smallstep/step-ca:0.30.2 Він створює корінь, проміжний сертифікат, підписаний цим коренем, ключі SSH і три провізіонери, а потім слухає на порту 9000:\nX.509 Root Fingerprint: cd2f8d4c60af32a0a534781cd63b4e2a9ce362e2c1ae5983b56a370bfa2c2489 SSH Host CA Key: ecdsa-sha2-nistp256 AAAAE2VjZHNhLXNoYTItbmlzdHAyNTYAAAAIbmlzdHAy... SSH User CA Key: ecdsa-sha2-nistp256 AAAAE2VjZHNhLXNoYTItbmlzdHAyNTYAAAAIbmlzdHAy... Serving HTTPS on :9000 ... Провізіонер Тип Підписує admin JWK Будь-що, що ти попросиш із його паролем acme ACME Сертифікати для клієнтів, які доводять, що ім’я належить їм sshpop SSHPOP Поновлення сертифікатів SSH-хостів Провізіонер це уявлення CA про те, «хто питає». Кожен має свої правила, і більшість того, що далі, полягає в налаштуванні цих правил.\nОдин CA, п’ять застосувань контейнер step-ca Корінь, проміжний один корінь для довіри acme admin sshpop CRL провізіонери Кожен пристрій довіряє кореню, раз Caddy, ACME 24 год, сам поновлює Без ACME step ca renew --daemon Телефони 1 рік, відклик через CRL SSH окремий допис Один корінь, якому довіряють один раз, і провізіонер для кожного шляху входу. ACME-клієнтам вистачає стандартних 24 годин; для телефонів це треба змінити; SSH має окремий допис. Зафіксуй версію. latest у день написання був 0.30.2, а CA це останнє, що ти хочеш бачити зміненим під собою після pull.\nДва паролі, а не один Посібник Smallstep для Docker каже, що один згенерований пароль покриває і «the encrypted CA keys and the default CA provisioner», і зберігається він у secrets/password3. На цьому образі відбувається не так. Спробуй видати сертифікат із цим паролем, і провізіонер його відкине:\nfailed to decrypt JWE: invalid password Пояснення дає власна точка входу образу. Вона генерує два випадкові паролі: один для ключів CA, другий для провізіонера. Пароль провізіонера друкується в журнал один раз, а потім знищується4:\necho \u0026#34;👉 Your CA administrative password is: $(\u0026lt; $STEPPATH/provisioner_password )\u0026#34; ... shred -u $STEPPATH/provisioner_password Пароль Що відмикає Де опиняється secrets/password Ключі кореня і проміжного сертифіката У томі, використовується щоразу, коли стартує CA Пароль провізіонера Провізіонер admin, який підписує кожен сертифікат, що ти просиш У журналі першого запуску, і більше ніде Тож прочитай журнал під час першого запуску і поклади цей другий пароль у надійне місце. Загубиш його, і не зможеш видати жодного сертифіката, не вирізавши провізіонер вручну. Задай DOCKER_STEPCA_INIT_PASSWORD перед першим запуском, якщо хочеш обрати пароль сам; тоді точка входу використає його для обох4.\nДовіра до кореня Ніщо не довіряє твоєму CA, доки ти цього не скажеш. Машина з Debian просить у Caddy сторінку, підписану step-ca:\n$ curl https://nas.home.example/ curl: (60) SSL certificate problem: unable to get local issuer certificate Скопіюй корінь, і той самий запит проходить:\ncp root_ca.crt /usr/local/share/ca-certificates/home-ca.crt update-ca-certificates $ curl https://nas.home.example/ internal service, certificate from step-ca Ось і вся робота. Раз на пристрій. step certificate install робить те саме на будь-якій системі, де його запущено5. У сховище довіри йде лише корінь. Проміжний сертифікат подорожує з кожним сертифікатом, і телефону, який пред’являтиме клієнтський сертифікат, він теж потрібен, про що йдеться в дописі про клієнтські сертифікати.\nСтався до кореня як до ключа від вхідних дверей, яким він тепер і є. Будь-хто з приватним ключем кореня може викарбувати сертифікат для будь-якого імені, і кожен пристрій, що йому довіряє, у це повірить.\nВнутрішній HTTPS через ACME ACME це протокол, яким користується Let\u0026rsquo;s Encrypt, і step-ca говорить ним для внутрішніх імен6. Будь-що з ACME-клієнтом отримує внутрішні сертифікати так само, як публічні, разом із поновленнями. Для Caddy це два глобальні рядки:\n{ acme_ca https://ca.home.example:9000/acme/acme/directory acme_ca_root /etc/caddy/root_ca.crt } nas.home.example { reverse_proxy 192.0.2.30:5000 } Що Caddy записав у журнал під час першого запуску:\n\u0026#34;msg\u0026#34;:\u0026#34;trying to solve challenge\u0026#34;,\u0026#34;identifier\u0026#34;:\u0026#34;nas.home.example\u0026#34;,\u0026#34;challenge_type\u0026#34;:\u0026#34;tls-alpn-01\u0026#34; \u0026#34;msg\u0026#34;:\u0026#34;certificate obtained successfully\u0026#34;,\u0026#34;identifier\u0026#34;:\u0026#34;nas.home.example\u0026#34; Перевірка Результат Виклик tls-alpn-01, на який Caddy відповідає на порту 443 Видавець Home CA Intermediate CA Строк дії 24 години, з 17:31 до 17:32 наступного дня Поновлення Робота самого Caddy, нічого налаштовувати Сертифікат на 24 години звучить тривожно. Але це не так. ACME-клієнт поновлює його задовго до завершення строку, щодня, без участі людини. Викрадений ключ вартий одного дня. Саме навколо такого значення за замовчуванням і збудовано step-ca, і тут воно якраз доречне.\nАле для виклику CA має дістатися до імені, яке підписує. step-ca мусить розв’язати nas.home.example і під’єднатися до нього на порт 443 для tls-alpn-01 або на порт 80 для http-01. Внутрішній DNS, яким користуються обидві сторони, і треба налагодити першим.\nСервіси, які не вміють ACME Чимало обладнання не має ACME-клієнта: веб-інтерфейс гіпервізора, принтер, старий пристрій. Для них видай сертифікат провізіонером admin і поновлюй його через step ca renew:\nstep ca certificate proxmox.home.example pve.crt pve.key step ca renew --force pve.crt pve.key Серійний номер Дійсний до Видано 241943140971… 2026-10-10 17:33:03 Після step ca renew 206409156462… 2026-10-10 17:33:06 Новий серійний номер, свіжі 24 години, і жодного запиту пароля. Поточний сертифікат доводить, хто питає, і в цьому вся суть: для поновлення на машині не треба зберігати жодного секрету, окрім ключа, який там уже є. Але сертифікат має бути ще чинним, тож поновлення, яке пропустило своє вікно, означає видачу заново вручну.\nЯкщо залишити його працювати, він поновлюється сам. --daemon за замовчуванням поновлює на двох третинах строку дії, а --exec запускає команду після кожного поновлення, і саме туди йде перезавантаження7:\nstep ca renew --daemon --exec \u0026#34;systemctl reload nginx\u0026#34; pve.crt pve.key Запусти це з юніта systemd, і машина дбає про себе сама. Забудь про це, і за 24 години сервіс видасть те саме попередження, якого ти хотів позбутися.\nCA це найлегша частина Щоб запустити step-ca, знадобилася одна команда. Щоб машина з Debian йому довіряла, дві. Caddy потребував двох рядків і більше нічого не просив. Саме цю частину люди відкладають роками, живучи з попередженням браузера на кожній внутрішній сторінці, і це найдешевша робота в цьому списку.\nКоштує все, чого торкається сертифікат після видачі: корінь на кожному пристрої, поновлення, за якими ніхто не стежить, той один сервіс, що не вміє ACME і про який треба пам’ятати. Нічого з цього не складне. Усе це з тих робіт, які робляться як слід лише тоді, коли за них хтось відповідає.\nДомашня мережа це невелике господарство. Вона заслуговує на те саме, що отримує справжнє: один корінь, який бережуть, якому довіряють свідомо, і попередження, яке щось означає, коли з’являється. Отож CA тут не хитра частина. Хитра частина в тому, щоб більше ніколи не клацати далі.\nLet\u0026rsquo;s Encrypt — Certificates for localhost — не може видавати для «localhost» «because nobody uniquely owns it, and it’s not rooted in a top level domain».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLet\u0026rsquo;s Encrypt — Certificate Transparency logs — «Let\u0026rsquo;s Encrypt submits all certificates we issue to CT logs.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nSmallstep — Run a private CA in Docker — змінні DOCKER_STEPCA_INIT_*; каже, що згенерований пароль призначено для «the encrypted CA keys and the default CA provisioner».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nsmallstep/certificates — docker/entrypoint.sh — генерує окремі файли password і provisioner_password, один раз друкує пароль провізіонера і знищує його; наданий пароль записується в обидва.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nSmallstep — step certificate install — встановлює кореневий сертифікат у системне сховище довіри.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nSmallstep — ACME basics — ACME-провізіонер step-ca і типи викликів, які він підтримує.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nSmallstep — step ca renew — з --daemon, «By default, it will renew the certificate before 2/3 of the validity period of the certificate has elapsed»; --exec забезпечує «certificate reloads on your services».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\n","permalink":"https://blogs.damiendye.uk/uk/certificates/step-ca-in-a-container/","summary":"step-ca 0.30.2 від Smallstep у контейнері Podman або Docker як центр сертифікації для всього в домі, і все це перевірено. Чому приватний CA кращий за самопідписані та публічні сертифікати для внутрішніх імен, запуск з увімкненими ACME і SSH, два паролі, які генерує образ, і куди йде кожен, довіра до кореня на кожному пристрої, внутрішній HTTPS для Caddy чи будь-чого, що говорить ACME, і step ca renew для сервісів, які не вміють. Клієнтським сертифікатам і SSH присвячено окремі дописи.","title":"Власний центр сертифікації: step-ca у контейнері"},{"content":"Проблема з доступом до Home Assistant ззовні Home Assistant тут керує будинком: світлом, опаленням, кондиціонером, зарядкою для авто, сигналізаціями. Застосунок на телефоні це те, через що все це використовується поза домом, і це також те, звідки будинок знає, де телефони, бо застосунок у фоні звітує про місцезнаходження й датчики.\nТож він мусить працювати, коли вдома нікого немає. Питання в тому, як.\nЗвична відповідь: виставити Home Assistant в інтернет з іменем хоста і сторінкою входу. Це працює. А ще це означає, що будь-хто на планеті може дістатися сторінки входу, підбирати до неї паролі й промацувати все, що за нею стоїть. Сторінка входу це пароль, що стоїть між інтернетом і замками твоїх вхідних дверей.\nМені цього не хотілося. Вимоги були короткі:\nЖодної сторінки входу, доступної публіці. Нічого не відповідає, якщо пристрій не наш. Застосунок Home Assistant має й далі працювати у фоні, без того, щоб хтось клацав через вхід. Нічого зайвого на телефонах. Жодного VPN-агента. Безкоштовний план Cloudflare. Тунель уже є. Ці чотири відсіюють більшість звичних варіантів ще до початку.\nЩо насправді дає кожен варіант Власна документація Home Assistant перелічує шляхи всередину: Home Assistant Cloud, VPN, зворотний проксі або переадресація портів1. Cloudflare додає власні версії двох останніх. Ось як вони виглядають проти цих чотирьох вимог, що може піти не так із кожним і скільки кожен коштує батареї.\nВаріант Хто може дістатися сторінки входу Застосунок працює у фоні Зайве на телефоні Що це коштує насправді Ризики Ціна для батареї IPv4 та IPv6 Переадресація порту на Home Assistant Усі Так Нічого Безкоштовно в рахунку. Кожне сканування й кожна спроба пароля виконуються на Home Assistant, а DDoS падає на твою домашню лінію Сторінка входу відкрита кожному сканеру. Дірка в роутері просто в LAN. Домашня лінія за carrier-grade NAT не має порту для переадресації2. Застосунок: працює на Android та iPhone, це лише URL Звичайна IPv4 потребує власної публічної адреси, а не carrier-grade NAT. IPv6 потребує отвору у фаєрволі, а телефон у Wi-Fi лише з IPv4 до нього не дістанеться Cloudflare Tunnel, і більше нічого Усі Так Нічого Безкоштовно. DDoS бере на себе Cloudflare, але кожна спроба пароля досі виконується на Home Assistant Сторінка входу відкрита кожному сканеру й кожному списку паролів. Один вгаданий пароль, і в нападника є машина у твоїй LAN. Застосунок: працює на Android та iPhone, це лише URL Звичайна Обидва. Cloudflare відповідає на будь-якому3, а будинок лише дзвонить назовні4 Тунель плюс вхід через Cloudflare Access Лише після входу Ні, фонові виклики впираються у вхід Нічого Безкоштовно. Чужі зупиняються на Cloudflare, жодного навантаження на Home Assistant Місцезнаходження й датчики перестають звітувати, і ніхто цього не помічає. Опубліковано лише Home Assistant, за входом. Застосунок: не може надіслати заголовок сервісного токена, якого потребує Access5 Звичайна Обидва, як і тунель Тунель плюс приватна мережа WARP Ніхто ззовні Так Агент WARP Безкоштовно. Нічого публічного для сканування Працює на портах UDP, які мережа готелю чи офісу може заблокувати6. Android дозволяє один VPN одночасно7. Маршрут може відкрити всю LAN на кожному зареєстрованому телефоні8. Застосунок: нічого не потребує, але WARP має клієнти для Android та iPhone і жодного для годинника на Wear OS9 Вища, VPN, що завжди ввімкнений Обидва. Агент дістається Cloudflare через будь-який6 Home Assistant Cloud Кожен, хто має URL Так Нічого £6,50 на місяць або £65 на рік10. Спроби пароля досі виконуються на Home Assistant Сторінка входу публічна. Шлях усередину тримає чужа компанія: коли їхній сервіс лежить, доступу немає. Один вгаданий пароль, і в нападника є машина у твоїй LAN. Застосунок: працює на Android та iPhone Звичайна Удома будь-який, він дзвонить назовні до ретранслятора Nabu Casa11. IPv6 для телефона не задокументовано Переадресація порту на nginx або Caddy з клієнтським сертифікатом Лише пристрої, що мають сертифікат Так Сертифікат і корінь твого власного CA Безкоштовно в рахунку. Чужий коштує рукостискання TLS на проксі, ніколи не вхід у Home Assistant, а DDoS падає на твою домашню лінію Дірка в роутері на проксі, а не на Home Assistant. CA ведеш ти, і застарілий CRL замикає зовні кожен телефон. Застосунок: як у рядку із сертифікатом нижче Звичайна Як у переадресації порту. nginx треба сказати слухати на IPv6, Caddy робить це за замовчуванням Тунель плюс клієнтський сертифікат Лише пристрої, що мають сертифікат Так Сертифікат Безкоштовно. Чужих розвертають на краю, жодного навантаження на Home Assistant Загублений телефон проходить, доки його не відкличуть. Звичайний HTTPS на 443, заблокований лише там, де заблоковано веб. Опубліковано лише Home Assistant, і лише для власників сертифіката. Застосунок: підтримується на Android; застосунок для iPhone не задокументовано; Wear OS потребує файл PKCS12 під час налаштування12 Звичайна Обидва, як і тунель Тунель також знімає питання IPv4 проти IPv6. Cloudflare відповідає телефону на тому, що в нього є, а будинок завжди лише дзвонить назовні, тож домашня лінія за carrier-grade NAT, чи така, що має IPv6 і зовсім не має публічної IPv4, працює так само, як будь-яка інша. Переадресація порту потребує власної публічної адреси IPv4 або IPv6 на обох кінцях. Чому так багато домашніх ліній досі не мають ні того, ні іншого, це окрема історія, у We Never Ran Out of Addresses. We Ran Out of Effort..\nТунель сам по собі виправляє роутер, а не відкритість. cloudflared робить лише вихідні з’єднання, тож вхідного порту для переадресації немає13, але ім’я хоста, яке він публікує, досі віддає сторінку входу кожному, хто про неї попросить.\nЧи виправляє це Cloudflare Access? Для браузера так, і саме так ним користуються робочі столи в Zero Trust VDI Without the Cloud Bill. Для застосунку це не та форма. Access ставить людину перед сторінкою входу, а у фонового трафіку застосунку людини немає. Звичайний обхід це сервісний токен, надісланий як заголовок, а застосунок не вміє його надіслати. Його web view не дає способу додати заголовки до запитів POST чи WebSocket, а саме так застосунок говорить із Home Assistant, і обговорення розробників доходить до клієнтських сертифікатів як до «a better (more secure) alternative»5.\nWARP упорався б, і його відкинуто, бо це агент на кожному телефоні. VPN коштує батареї більше, ніж звичайне з’єднання, бо це тунель, відкритий увесь день, говорить застосунок чи ні. Він працює через UDP на портах, які мережа готелю чи офісу може відкидати, і тоді ти замкнений зовні саме тоді, коли тебе немає вдома6. А Android тримає один VPN одночасно7, тож WARP і робочий VPN не можуть бути ввімкнені разом. Home Assistant Cloud хороший сервіс і оплачує розробку, але це підписка, і URL досі віддає сторінку входу кожному, хто його знайде. До того ж вона віддає шлях у твій дім чужій компанії. Їхній сервіс, їхній обліковий запис, їхня ціна, їхні умови. Це втрата суверенітету, і це той обмін, якого вимагає кожна хмарна пропозиція: зручність зараз, хтось інший при владі назавжди.\nCloudflare за суттю нічим не відрізняється, і було б нечесно вдавати інакше. Кожен варіант із тунелем у цій таблиці ставить його на шлях, і він завершує TLS на своєму краю, саме тому правило WAF узагалі може прочитати перевірку сертифіката. Різниця в тому, скільки він тримає. Тут він тримає хвіртку. Home Assistant, його дані і його паролі лишаються в будинку, і якщо Cloudflare зникне, будинок працює далі, це останній рядок таблиці в розділі «Де це ламається». Якщо навіть це більше довіри, ніж ти хочеш віддати, версія з nginx і Caddy робить ту саму перевірку у твоєму власному домі, з твоїм власним CA, а натомість бере на себе переадресацію порту і клопоти з CA.\nЛишається клієнтський сертифікат. Телефон доводить, що він таке, ще до того, як Home Assistant побачить хоч один байт.\nСкільки насправді коштує відкритість до інтернету Безкоштовно в рахунку не те саме, що безкоштовно. Усе, що відповідає інтернету, платить за це навантаженням на машину. Кожна спроба пароля до власного входу Home Assistant це перевірка bcrypt у 12 раундів, і вона виконується навіть тоді, коли імені користувача не існує, тож чужий, що вгадує, коштує рівно стільки ж, скільки твій власний вхід14. Це навантаження лягає на машину, що керує будинком, цілодобово, доки сканери приходять. А вони приходять.\nЯ виміряв це на цій збірці. Ім’я хоста запрацювало о 22:38 14 жовтня 2026 року і ніде не було опубліковане. За дві години Cloudflare записав до нього значно більше сотні запитів із двадцяти з гаком адрес у Сінгапурі, Канаді, Німеччині, Нідерландах, Греції та Сполучених Штатах, більшість від одного краулера, що знову й знову проходив нове ім’я. Я не можу довести, як вони його знайшли, але час вказує на certificate transparency: Let\u0026rsquo;s Encrypt записує в журнали кожен сертифікат, який видає15, а сканери стежать за цими журналами. Кожен із цих запитів зупинився на краю. Home Assistant нічого з цього не бачив. Жодного байта.\nПереадресація порту ще гірша, бо ставить на кін твою домашню адресу. DDoS, націлений на неї, забиває твій канал, і тоді весь будинок відрізаний від інтернету, а не лише Home Assistant. За тунелем потік бере на себе Cloudflare, на кожному плані, включно з Free16, і він не викидав клієнта через розмір атаки з 2017 року17. Сертифікат робить останній крок. Чужого розвертають на краю, і Home Assistant не витрачає на нього нічогісінько.\nА ще є мережа, в якій сидить Home Assistant. Це не вебзастосунок на острові. Він сидить у домашній LAN поряд із камерами, NAS і ноутбуками, і тримає облікові дані до чималої їх частини. Пройди його вхід, і в тебе машина всередині будинку, а не просто панель. Переадресація порту це дірка в роутері, що дивиться просто на цю машину. WARP помиляється в інший бік, бо надто щедрий: маршрут може опублікувати цілу приватну мережу на кожному зареєстрованому телефоні, а звузити його це окрема політика, яку треба не забути написати8. Загуби телефон із цим, і той, хто його знайде, опиниться у твоїй LAN. Сертифікат публікує одне ім’я хоста, для пристроїв, що мають сертифікат, і більше нічого в мережі ззовні взагалі недосяжне.\nmTLS на безкоштовному плані: яка половина безкоштовна Чимало порад в інтернеті кажуть, що mTLS на Cloudflare потребує Enterprise. Не потребує. Cloudflare продає mTLS двічі, і лише одна з версій потребує Enterprise.\nКлієнтські сертифікати плюс правило WAF Cloudflare Access mTLS План Free, Pro, Business, Enterprise Лише Zero Trust Enterprise Центр сертифікації Керований Cloudflare (власний це Enterprise) Лише власний Сертифікатів включено 100 активних на зону Не застосовується Що забезпечує Власне правило WAF, яке пишеш ти Політика Access Відкликання Вбудоване, перевіряється правилом Твій власний CRL і Worker Перший стовпець це той, що нам треба. Власний CA на Cloudflare це Enterprise. Поза Cloudflare він нічого не коштує, і про це client certificates from step-ca. Власне порівняння Cloudflare каже прямо: пропозиція Application Security включає 100 клієнтських сертифікатів на зону безкоштовно, а Access mTLS це функція Zero Trust Enterprise18. Плани Free, Pro і Business мають 100 активних сертифікатів на зону, і відкликання одного одразу звільняє його місце19. Два телефони використовують два з них.\nБезкоштовний план також має п’ять власних правил WAF20. Тут потрібне одне.\nЯк працює перевірка Шлях запиту через mTLS Cloudflare до Home Assistant Телефон застосунок HA має сертифікат Будь-хто інший сканер без сертифіката Край Cloudflare, безкоштовний план Рукостискання mTLS увімкнено для ha.example.com просить сертифікат Правило WAF перевірено? не відкликано? інакше Block Заблоковано до HA не доходить Домашня мережа cloudflared лише вихідний тунель Home Assistant довіряє лише цьому проксі бани IP увімкнено вхід це другий замок пройшов ні Кожен запит: край просить сертифікат під час рукостискання, правило WAF блокує все неперевірене чи відкликане, і лише тоді запит іде тунелем до Home Assistant. Cloudflare робить роботу на своєму краю. Коли mTLS увімкнено для імені хоста, рукостискання TLS просить у клієнта сертифікат21. Само по собі це нічого не блокує. Клієнт, що не надсилає сертифіката, все одно з’єднується. Він просто приходить із полем перевірки, встановленим у false.\nБлокує правило WAF. Cloudflare виставляє результат перевірки сертифіката як поля у своїй мові правил22:\n(http.host eq \u0026#34;ha.example.com\u0026#34; and (not cf.tls_client_auth.cert_verified or cf.tls_client_auth.cert_revoked)) Action: Block Другий рядок тут не просто так. Відкликаний сертифікат усе одно проходить перевірку, бо cert_revoked, що дорівнює true, означає, що й cert_verified дорівнює true23. Перевір лише перше поле, і відкликаний сертифікат зайде просто так. Відкликання сертифіката загубленого телефона не означає нічогісінько, якщо правило про це не питає.\nВіддаю належне: люди в гілці Home Assistant Android вивели це правило і виклали його5. Добрий опис, і він зберіг купу копання.\nБік Home Assistant Home Assistant треба сказати, що він стоїть за проксі, і це не за бажанням. Запити від зворотного проксі блокуються за задумом, доки Home Assistant не скажуть йому довіряти24. Конектор тунелю cloudflared теж рахується.\nПочинаючи з 2026.8 ці налаштування живуть в інтерфейсі, у Settings → System → Network → HTTP server, а не в configuration.yaml24. Збереження перезапускає Home Assistant, і потім адміністратор має п’ять хвилин, щоб підтвердити нові налаштування, інакше вони відкотяться самі. Це страховка, про яку варто знати, перш ніж замкнеш себе зовні.\nНалаштування Значення Навіщо Trust X-Forwarded-For Увімкнено Без нього запити через проксі відхиляються Trusted proxies Лише адреса машини з cloudflared Лише ця машина може заявляти, що пересилає за когось Enable IP banning Увімкнено, кілька спроб Бани падають на справжню адресу клієнта, а не Cloudflare Home Assistant URL, Internet https://ha.example.com Застосунок бере це як свій зовнішній URL Запис trusted proxies навмисно вузький. Довір цілій підмережі, і будь-який пристрій у ній зможе підробити адресу клієнта, а тоді список банів нічого не вартий.\nТепер застосунок. Документація застосунку Companion описує саме таку схему. Якщо Home Assistant стоїть за зворотним проксі з автентифікацією клієнта TLS, застосунок попросить сертифікат, і хоче, щоб його було встановлено як «VPN \u0026amp; app user certificate»12. На телефоні без сертифіката ти отримаєш помилку або порожній екран, і це правильний результат для телефона, якому не можна всередину.\nПостав рівень безпеки з’єднання в застосунку на Most secure. Тоді звичайна локальна адреса http:// використовується лише в домашньому Wi-Fi, а всюди інде застосунок використовує ім’я хоста з HTTPS або взагалі відмовляється з’єднуватися25. На Android для цього потрібен дозвіл на місцезнаходження «Allow all the time», який застосунку однаково потрібен для фонового місцезнаходження.\nЗбірка, крок за кроком Крок Де Що 1 Тунель Cloudflare Додай публічне ім’я хоста, ha.example.com, що вказує на Home Assistant у LAN. Спершу закріпи адресу машини. У мене це адреса IPv6, побудована з її MAC, тож вона не може зсунутися 2 SSL/TLS → Client Certificates Один сертифікат на телефон. Зроби ключ на своїй машині й дай Cloudflare CSR, який API приймає26. Ключ ніколи не залишає машину, що його створила. Дай Cloudflare створити ключ замість тебе, і його покажуть один раз і більше ніколи19 3 Client Certificates → Hosts Увімкни mTLS для ha 4 Security → WAF → Custom rules Додай правило блокування, що вище 5 SSL/TLS → Edge Certificates Always Use HTTPS увімкнено, мінімум TLS 1.2 6 Home Assistant → Network Довірений проксі, бани IP, зовнішній URL, потім підтвердження протягом п’яти хвилин 7 Машина з Linux Збери файл PKCS12 для кожного телефона 8 Кожен телефон Встанови його як сертифікат користувача для VPN і застосунків, вибери його в налаштуваннях сервера в застосунку, потім примусово зупини застосунок і відкрий знову. Постав у застосунку Most secure 9 Перевірка Мобільні дані, Wi-Fi вимкнено. Застосунок з’єднується. Браузер без сертифіката заблоковано Один сертифікат на телефон, а не один спільний. Коли телефон загублено, відкликаєш цей телефон, а інший працює далі.\nТелефон хоче сертифікат і ключ в одному файлі PKCS12. Cloudflare повертає сертифікат як PEM, а ключ у тебе вже є, тож з’єднай їх:\nopenssl pkcs12 -export -in phone1.pem -inkey phone1.key \\ -name \u0026#34;ha-phone1\u0026#34; -out phone1.p12 Ось тут люди й застрягають. Android перебірливий щодо шифрування всередині файлу, і документація Home Assistant каже спершу спробувати поточне типове, а до застарілого контейнера з прапорцем OpenSSL -legacy вдаватися, лише якщо його відхилять27. Та сама порада з’являється в гілках спільноти, де файл, що чудово встановився на техніці Apple, Android відхилив5. Немає openssl на ноутбуці? Модуль Python cryptography пише обидва контейнери, поточний і застарілий, і саме ним зібрано мої.\nШлях у меню для встановлення різниться між виробниками телефонів і версіями Android. Власна сторінка Google для Pixel це відправна точка28. Хай що кажуть меню, тобі потрібне сховище облікових даних користувача, а не сховище CA.\nШифрування останнього відрізка Тунель закінчується на cloudflared, а cloudflared працює у власній ВМ у будинку. Звідти до Home Assistant перша збірка йшла звичайним HTTP через LAN. Один відрізок шляху без TLS, усередині мережі, де камери. Недостатньо добре. Тож він отримав справжній сертифікат, а складники нижче.\nСкладник Налаштування Навіщо Додаток Let\u0026rsquo;s Encrypt Виклик DNS, провайдер dns-cloudflare, токен з правами Zone, DNS, Edit лише на цю одну зону29 Виклик HTTP тут не спрацює. Валідатор не має клієнтського сертифіката, тож правило WAF його блокує HTTP-сервер Home Assistant Сертифікат /ssl/fullchain.pem, ключ /ssl/privkey.pem, довірений проксі й бани IP в одному збереженні Один перезапуск замість двох Ingress тунелю https://[address]:8123 з originServerName, встановленим на ім’я хоста30 cloudflared перевіряє сертифікат origin, а не отримує вказівку не дивитися Внутрішній DNS Ім’я хоста всередині будинку відповідає власною адресою машини Телефони вдома йдуть просто до неї. URL для LAN несе :8123; зовнішній не мусить, бо Cloudflare не проксує цей порт31 Поновлення Автоматизація запускає додаток щоночі й перезапускає Home Assistant 1-го і 15-го HTTP-сервер завантажує сертифікат один раз на старті й ніколи не перечитує32 Дорогою вкусили дві речі. Збереження налаштувань HTTP-сервера перезапускає Home Assistant, а коли він повертається, то говорить лише HTTPS, тож вкладка, з якої ти зберігав, не може перепідключитися. Відкрий адресу з HTTPS, увійди там, і п’ятихвилинне підтвердження робиться з того боку.\nДруга це поновлення. Let\u0026rsquo;s Encrypt дає дев’яносто днів, а додаток поновлює, коли лишається тридцять, тож перезапуск двічі на місяць завжди підхоплює новий сертифікат із запасом у тижні. Щоденний перезапуск був би клопотом для будинку і нічого б не дав.\nЧого мене навчив телефон Усе вище написано ще до того, як телефон опинився в моїй руці. Три речі проявилися лише тоді.\nСертифікат потрапляє в Credential storage у розділ User credentials з позначкою, що встановлений для VPN і застосунків, а ім’я, яке ти вводиш при встановленні, це ім’я, яке потім показує кожне вікно вибору33. Встанови його двічі, і матимеш два записи. Обидва працюють. Так я й дізнався.\nПотім браузери. Зі встановленим сертифікатом Chrome показав системне вікно вибору першого ж разу, як дістався імені хоста, надіслав сертифікат і потрапив на сторінку входу. Helium, збірка Chromium без Google, яку я теж використовую, пішов просто на сторінку блокування і в сховище ключів узагалі не спитав. Той самий телефон, той самий сертифікат, та сама хвилина.\nКлієнт Питає сховище ключів Android Що побачив край Chrome Так, із вікном вибору Сертифікат перевірено, далі до Home Assistant Helium Ні Заблоковано, кожен запит Застосунок Companion, web view Так, щойно налаштування сервера вказує на сертифікат Панель завантажилась Застосунок Companion, нативний клієнт Так, але лише після примусової зупинки Дописи на вебхук блокуються до того, після нього 200 Час забрав саме застосунок. У нього два клієнти: web view, що малює панель, і нативний, що надсилає датчики й місцезнаходження на вебхук. Вкажи клієнтський сертифікат TLS у налаштуваннях сервера, і панель працює одразу. Дописи на вебхук і далі блокувалися на краю, бо нативний клієнт будує свої налаштування TLS під час запуску застосунку і не перебудовує їх. Примусово зупини застосунок, відкрий знову, і журнал краю показує, що дописи доходять до Home Assistant із 200. Ніщо в застосунку тобі цього не каже.\nІ URL. З вимкненим домашнім Wi-Fi застосунок пробував ім’я хоста на порту 8123, бо зовнішній URL, який я ввів, переніс порт із LAN-адреси. Цей порт іде до Cloudflare, Cloudflare на ньому не слухає, і застосунок сидів на десятисекундних тайм-аутах, звітуючи, що не може з’єднатися. Зовнішній URL це голе ім’я хоста. Порт лишається всередині.\nДе це ламається Ніщо тут не позбавлене гострих країв, тож ось вони.\nВипадок Що відбувається Що робити Телефон загублено чи продано Його сертифікат працює, доки його не відкличуть Відклич його в Client Certificates. Правило перевіряє відкликання Годинник на Wear OS Не може використати сертифікат, встановлений на телефоні Дай файл PKCS12 під час власного налаштування годинника12 iPhone Документація Companion позначає цей розділ як лише для Android Перевір, перш ніж на це покладатися Браузер ноутбука поза домом Заблоковано, сертифіката немає Встанови сертифікат у браузер або змирися Браузер, що минає сховище ключів Android Helium іде просто на сторінку блокування Chrome або застосунок. Нічого на боці сервера не допоможе Сертифікат на Home Assistant поновлено Старий віддається до перезапуску Перезапуск двічі на місяць в автоматизації Cloudflare лежить Жодного віддаленого доступу Будинок і далі працює локально. Саме для цього він і працює локально Браузерний випадок це властивість, а не вада. Усе без сертифіката чуже, і це включає мій власний ноутбук, доки я йому сертифікат не дам.\nКлюч, а не пароль Пароль це те, що ти знаєш, а все, що ти знаєш, можна вгадати, виманити фішингом, використати повторно чи злити з чужого витоку. Виставиш сторінку з паролем в інтернет, і ти ввійшов у гру чисел проти кожного, хто має ботнет і словник. Можеш вигравати роками. Програти треба лише раз.\nСертифікат це те, що тримає пристрій. Ніхто його не вгадує. Ніхто не пробує його мільйон разів, бо запит відкидається на краю раніше, ніж є до чого пробувати. Сторінка входу досі на місці й досі важлива, але тепер це другий замок, а не єдиний.\nТе, що стоїть за цією сторінкою, не вебзастосунок. Це замки, опалення, зарядка для авто й камери. Стався до цього як до вхідних дверей, бо це вони і є.\nДо чого я постійно повертаюся, то це те, що ніщо з цього нічого не коштує. Cloudflare роздає сертифікати й правило на безкоштовному плані. Home Assistant документує бік застосунку у власній документації Companion. Єдине, що це коштує, це вечір уважного читання посібників, тому типова сторінка з паролем, звернена до всього інтернету, це вибір, який люди роблять тим, що їх не читають.\nHome Assistant — Remote access — Home Assistant Cloud, VPN, зворотний проксі й переадресація портів як шляхи всередину.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 6598 — IANA-Reserved IPv4 Prefix for Shared Address Space — діапазон 100.64.0.0/10 для Carrier-Grade NAT, де багато клієнтів ділять одну публічну адресу і жоден не отримує вхідного порту.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCloudflare — IPv6 compatibility — увімкнено за замовчуванням на кожному плані; Cloudflare «auto generates AAAA DNS records to allow IPv6 clients to connect» до проксованих імен хостів.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCloudflare — Tunnel run parameters, edge-ip-version — cloudflared за замовчуванням з’єднується з Cloudflare через IPv4; 6 або auto змушує його використовувати IPv6.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nhome-assistant/android PR #3593 — Add custom header support — web view не може додавати заголовки до запитів POST чи WebSocket; замість сервісних токенів запропоновано клієнтські сертифікати; користувачі повідомляють про проблеми з форматом сертифіката на Android.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCloudflare — Cloudflare One client firewall requirements — WireGuard на UDP 2408 із запасними UDP 500, 1701 і 4500; MASQUE на UDP 443.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nAndroid Developers — VpnService — «There can be only one VPN connection running at the same time.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCloudflare — Connect an IP/CIDR — «You can connect an entire private network, a subnet, or an application defined by a static IP»; мережеві політики Gateway для фільтрації цього трафіку це окремий рекомендований крок.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCloudflare — Download Cloudflare One Client — клієнти для Fisher-Price OS (Windows), macOS, Linux, iOS 15+, Android 5.0+ і ChromeOS; клієнта для Wear OS у списку немає.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNabu Casa — Pricing — Home Assistant Cloud за £6,50 на місяць або £65,00 на рік, без податку.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNabuCasa/hass-nabucasa — remote.py — Home Assistant реєструється в Nabu Casa, отримує ретранслятор server і з’єднується з ним назовні.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nHome Assistant Companion — Getting Started, TLS client authentication — встановлювати як «VPN \u0026amp; app user certificate»; Wear OS потребує сертифікат у вигляді PKCS12 під час початкового налаштування.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCloudflare — Cloudflare Tunnel — cloudflared створює лише вихідні з’єднання, тож на origin немає вхідного слухача.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nHome Assistant core — auth/providers/homeassistant.py — паролі хешуються bcrypt у 12 раундів; для невідомого імені користувача все одно виконується фіктивний checkpw «to make timing the same as if user was found».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLet\u0026rsquo;s Encrypt — Certificate Transparency logs — «submits all certificates we issue to CT logs».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCloudflare — DDoS Protection — автоматичне виявлення й пом’якшення DDoS, «Available on all plans».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCloudflare blog — Unmetered Mitigation — «Cloudflare will no longer terminate customers, regardless of the size of the DDoS attacks they receive, regardless of the plan level they use.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCloudflare — Use mTLS with Cloudflare protected resources — «100 Client Certificates per Zone are included for free»; Access mTLS це «Zero Trust Enterprise only feature».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCloudflare — Create a client certificate — 100 активних сертифікатів на зону на Free, Pro і Business; відкликання звільняє місце; сертифікат і ключ після створення більше не показуються.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCloudflare — WAF custom rules — таблиця доступності: п’ять власних правил на плані Free.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCloudflare — Enable mTLS — увімкнення mTLS для імені хоста, потім забезпечення власним правилом WAF.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCloudflare — Client certificate variables — поля mTLS, доступні у власних правилах WAF.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCloudflare — cf.tls_client_auth.cert_revoked — «When true, the cf.tls_client_auth.cert_verified field is also true.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nHome Assistant — HTTP integration — зворотні проксі, довірені проксі й бани IP; налаштування перенесено в інтерфейс у 2026.8, і вони відкочуються, якщо їх не підтвердити протягом п’яти хвилин.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nHome Assistant Companion — Connection security level — Most secure використовує незашифрований URL лише в домашній мережі; на Android потребує для місцезнаходження «Allow all the time».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCloudflare API — Create Client Certificate — приймає csr і validity_days; приватний ключ лишається в тебе.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nHome Assistant Companion — Networking, TLS Client Authentication — спершу спробуй поточне типове PKCS12, контейнер OpenSSL -legacy лише якщо це не вдасться.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nGoogle — Pixel Phone Help, Add \u0026amp; remove certificates — ручне встановлення сертифіката на Pixel.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nHome Assistant Let\u0026rsquo;s Encrypt add-on — documentation — виклик DNS; токен Cloudflare «requires only the Zone:DNS:Edit permission»; сертифікати поновлюються лише тоді, коли додаток запускають знову.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCloudflare — Origin configuration parameters — originServerName, ім’я хоста, яке cloudflared очікує в сертифікаті origin.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCloudflare — Network ports — фіксований список портів HTTP і HTTPS, які проксує Cloudflare; 8123 у ньому немає.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nhome-assistant/core — components/http/server.py — _create_ssl_context викликає load_cert_chain один раз, з async_bind.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nAndroid Developers — KeyChain — облікові дані, встановлені користувачем, і вікно вибору choosePrivateKeyAlias, яке застосунок викликає, щоб вибрати один.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\n","permalink":"https://blogs.damiendye.uk/uk/homeassistant/home-assistant-app-over-cloudflare-mtls/","summary":"Доступ до Home Assistant із застосунку Android поза домом без того, щоб виставляти сторінку входу в інтернет. Як варіанти віддаленого доступу порівнюються за відкритістю, справжньою ціною (навантаження на машину і DDoS, а не лише рахунок), ризиком блокування і батареєю, чому Cloudflare Access і сервісні токени не пасують застосунку, як клієнтські сертифікати безкоштовного плану й власне правило WAF прив’язують ім’я хоста тунелю до телефонів, що мають сертифікат, які налаштування Home Assistant потрібні для зворотного проксі, як зібрати файл PKCS12, як поставити сертифікат Let\u0026rsquo;s Encrypt на origin і чому поновлення вимагає перезапуску, що зробили сканери за перші дві години, і що телефон, Chrome, Helium та два клієнти застосунку Companion зробили із сертифікатом. Версія з власним nginx або Caddy це окремий допис.","title":"Застосунок Home Assistant через Cloudflare, прив’язаний до сертифіката, на безкоштовному плані"},{"content":"Я входжу на свій ноутбук через YubiKey. PIN, дотик, робочий стіл. Жодного введеного пароля.\nПотім стартує перший застосунок, якому потрібен збережений секрет, і GNOME викидає віконце: «An application wants access to the keyring \u0026lsquo;Login\u0026rsquo;, but it is locked.» Кожен вхід. Те саме віконце, те саме питання, пароль, про який мені щойно сказали, що він не потрібен.\nЖодна окрема частина не зламана. Кожна робить те, для чого її збудовано. Біда в тому, що в’язку ключів спроєктовано з припущенням, що вхід завжди передбачає пароль, а вхід без пароля ламає це припущення, нікого не попередивши.\nЧому вхід ключем лишає в’язку ключів ні з чим В’язка ключів входу це місце, де робочий стіл тримає секрети, які йому передають застосунки: ключі Wi-Fi, ключі сховища браузера, токени, якими чат-клієнти, менеджери паролів і застосунки для конференцій залишаються в системі. Вона лежить на диску, зашифрована твоїм паролем входу, а Secret Service API1 це спосіб, яким застосунки просять те, що всередині.\nЗазвичай ти її ніколи не бачиш. Ти вводиш пароль на екрані входу, стек PAM перевіряє його щодо облікового запису, а модуль в’язки ключів нижче в тому самому стеку тихо підхоплює той самий пароль і відчиняє ним в’язку ключів ще до того, як робочий стіл домалюється. Один пароль, дві роботи.\nМій стек починається з такого рядка:\nauth sufficient pam_u2f.so cue sufficient означає, що успішний YubiKey завершує автентифікацію тут і зараз. Саме так Yubico документує вхід без пароля2. Це працює. Це також означає, що крок із паролем ніколи не виконується, тож у стеку немає пароля, який модуль в’язки ключів міг би підхопити. В’язка ключів лишається заблокованою, поки щось її не попросить, і це щось той застосунок, який стартує першим.\nДва шляхи всередину і що кожен передає в’язці ключів Два шляхи всередину і що кожен передає в’язці ключів В’язка ключів відчиняється лише паролем. Вхід через YubiKey його не створює, тож його дає скрипт. Вхід паролем pam_unix перевіряє пароль pam_oo7 передає той самий пароль oo7-daemon в’язка ключів входу ним розшифровується в’язку відчинено, без запиту Вхід через YubiKey (PIN + дотик) pam_u2f це sufficient, тож завершує стек auth кроку з паролем немає, пароля немає oo7-daemon не отримує нічого в’язку заблоковано, запит при першому використанні Скрипт автозапуску PIN + дотик, ключ повертає hmac-secret розшифровує збережений пароль, відчиняє в’язку Застосунки, що читають в’язку ключів, чекають, поки вона відчиниться, тож жоден не підніме запит першим. Вхід паролем передає в’язці ключів єдине, чим її можна відчинити. Вхід ключем не передає нічого. Скрипт автозапуску праворуч це збірка, яку описує цей допис. Звичні виправлення і чого коштує кожне Є чотири поширені відповіді на це. Кожна з них чимось жертвує.\nВиправлення Що ти отримуєш Чого це коштує Ввести пароль у запит Нічого не треба будувати Запит, на кожному вході. Ключ не зекономив тобі нічогісінько Порожній пароль в’язки ключів Запит зник Кожен збережений секрет лежить на диску незашифрованим Пароль і ключ під час входу Справжня двофакторність, в’язка ключів відчиняється сама Вводити пароль на кожному вході, а саме для цього й був ключ Пароль, запечатаний у TPM, розблоковується при вході Ні запиту, ні введення Хто отримає сесію на цій машині, отримає й секрети. Без PIN, ключ не задіяно YubiKey hmac-secret (цей допис) Ні запиту, PIN + дотик, вхід паролем теж працює Другий PIN і дотик після входу, і скрипт, за яким треба доглядати Порожнім паролем закінчується більшість гілок на форумах, і це найгірший варіант з усіх. Шлях через TPM поважний, але TPM ніколи тебе ні про що не питає, тож захищає він диск, витягнутий із ноутбука, а не сесію, за яку хтось сів, поки ти заварював чай. Я хотів, щоб в’язка ключів була прив’язана до того самого, до чого прив’язаний мій вхід: до ключа і PIN, що йде з ним.\nКлюч може зберігати секрет Ключ FIDO2 робить більше, ніж каже «так» чи «ні». Стандарт CTAP 2.1 має розширення під назвою hmac-secret, яке «is used by the platform to retrieve a symmetric secret from the authenticator when it needs to encrypt or decrypt data using that symmetric secret»3.\nПрацює це доволі просто. Коли ти створюєш облікові дані (credential), ключ генерує випадкові значення і тримає їх у собі. Згодом ти надсилаєш йому сіль, і він повертає HMAC цієї солі з прихованим значенням як ключем. Ті самі облікові дані, та сама сіль, та сама відповідь щоразу. Інший ключ, нічого.\nДеталь, яка тут важить: ключ тримає два таких приховані значення, CredRandomWithUV і CredRandomWithoutUV3. UV це user verification, перевірка користувача, що на цьому ключі означає PIN. Попроси з PIN, і отримаєш один секрет. Попроси лише з дотиком, і отримаєш зовсім інший. Тож PIN не перевірка, прикручена перед секретом. Він частина секрету.\nСкладник Де лежить Сам по собі дає тобі ID облікових даних і сіль ~/.local/share/yubikey-keyring/, звичайні файли Нічого. Вони не секретні Зашифрований пароль в’язки ключів Та сама тека, password.enc Нічого без секрету для розшифрування Приховане значення облікових даних Усередині YubiKey, ніколи його не покидає Нічого без солі і дотику PIN Твоя голова Обирає секрет із PIN. Хибний PIN, жодного секрету, і ключ рахує спробу Усі чотири разом повертають пароль облікового запису. Прибери будь-який, і ти перед запитом, де й був би так чи інакше.\nЩо я збудував разом із Claude Пароль в’язки ключів це мій пароль облікового запису, навмисно. Так вхід паролем працює звичайним чином: вводиш його на екрані входу, і стек PAM сам відчиняє в’язку ключів, без жодного скрипта. Допомоги потребує саме шлях через YubiKey.\nЧастина Робота yubikey-keyring-setup Одноразово. Створює на ключі облікові дані FIDO2 з увімкненим hmac-secret. Потрібні PIN і дотик yubikey-keyring-reset Питає пароль облікового запису, перевіряє його щодо справжнього облікового запису через unix_chkpwd, перш ніж щось чіпати, шифрує його секретом, захищеним PIN, робить резервну копію старої в’язки ключів і створює нову yubikey-keyring-unlock Запускається під час входу. Діалог PIN, дотик, розшифрування, розблокування. Дві спроби на PIN, потім здається і лишає тобі звичайний запит wait-for-keyring Обгортає записи автозапуску кожного застосунку, що читає в’язку ключів. Притримує кожен до 60 секунд, поки в’язку ключів не відчинено Секрет виходить із fido2-assert4 з -h для hmac-secret, -p для дотику і -v для PIN. Пароль зашифровано OpenSSL, AES-256 з 200 000 раундів PBKDF2 на виведеному секреті. Під час входу пароль завжди йде лише через канал (pipe). Виведений секрет і, під час скидання, введений пароль ненадовго лежать у приватному тимчасовому каталозі в /tmp, який у Fedora це tmpfs в оперативній пам’яті, і видаляються, щойно їх використано. Жоден із них ніколи не потрапляє в командний рядок, де його міг би побачити ps.\nwait-for-keyring це частина, яку люди пропустили б. Не треба. Порядок автозапуску не гарантовано, і якщо якийсь застосунок попросить свій токен за секунду до того, як я закінчу вводити PIN, GNOME підніме старий запит поверх мого, і виправлення виглядатиме зламаним, хоча воно не зламане.\nСкрипти можеш забирати: yubikey-keyring.zip, SHA-256 9b3670cf0f38c1b93e7738d2f68abef0380786d918491973e3ebefa5143e6263. У ньому скрипти, інсталятор, README і тестовий стенд, описаний нижче. Жодних облікових даних, солі чи пароля в ньому немає. Їх створюють на твоїй власній машині, коли ти запускаєш налаштування. Прочитай README, а потім запусти test/run.sh, перш ніж підпустиш будь-що з цього до своєї справжньої в’язки ключів.\nЩо виявила збірка Це мало бути на годину роботи. Більша частина вечора пішла на речі, про які документація мовчить.\nДемон змінився в мене під ногами Кожен посібник щодо цієї проблеми, який я читав, говорить із gnome-keyring-daemon, і кожен із них повів би мене не туди, бо процесом, що відповідав на моїй машині, був oo7-daemon 0.7.0, бета. Того ж вечора, трохи раніше, ноутбук перейшов на Fedora 45, транзакція dnf на 5464 кроки, і oo7 прийшов разом із нею.\noo7 це реалізація Secret Service на Rust, з власним сервером і власним модулем PAM5. Віддам йому належне: він реалізує приватний інтерфейс D-Bus від gnome-keyring для розблокування паролем, тож наявні інструменти й далі працюють. Цей інтерфейс називається org.gnome.keyring.InternalUnsupportedGuiltRiddenInterface6. Назва каже тобі, наскільки йому довіряти. Він працює, я його перевірив, і все одно очікую, що колись він зміниться.\nПерший введений пароль стає паролем в’язки ключів Ось це пояснило весь вечір.\nКоли oo7 стартує і не знаходить файлу в’язки ключів, він його не створює, а показує застосункам заблоковану заглушку на ім’я login, і перший пароль, яким будь-хто розблокує цю заглушку, стає паролем в’язки ключів, хоча сам файл записується лише тоді, коли якийсь застосунок збереже свій перший секрет.\nМій файл в’язки ключів створено о 20:45, а його перший елемент прийшов від застосунку, що стартував за кілька секунд до того. Тож о 20:45 я ввів щось у запит, який хотів прибрати з дороги, і це стало паролем. Ніщо з того, що я пробував потім, її не відчинило. Код розблокування теж був не винен: я довів це на одноразовій в’язці ключів із відомим паролем, яка чисто заблокувалася, розблокувалася і видалилася.\nПотім я перевірив заглушку на одноразовому демоні. Поки файлу немає, її розблоковує будь-який пароль, зокрема хибний. Тож у той момент ніщо не каже тобі, що ти щойно задав пароль. Дізнаєшся на наступному вході, коли правильний, наскільки ти знаєш, пароль відкинуто.\nСтан Розблокування будь-яким паролем Що записується Файлу в’язки ключів немає, показано заглушку Вдається Поки нічого Збережено перший елемент н/д Файл створено, зашифровано тим, що ввели Кожен наступний вхід Працює лише пароль із 20:45 н/д Тож я перестав за цим ганятися. Скидання робить резервну копію старої в’язки ключів, розблоковує заглушку паролем облікового запису і одразу зберігає елемент-позначку, щоб файл записався тут і зараз, з паролем, який я знаю.\nІнструменти FIDO2 беруть PIN лише з термінала fido2-cred і fido2-assert читають PIN з керівного термінала і більше нізвідки. У скрипта, запущеного під час входу, термінала немає. Тож є невелика обгортка, яка запускає інструмент під псевдотерміналом, чекає на слово PIN у його виводі і вводить PIN із діалогу. Двадцять рядків Python. Не красиво, але робить свою справу, і PIN ніколи не торкається ні файлу, ні списку аргументів.\nТестуй там, де це не може тобі зашкодити Найкорисніше, що зробив Claude Code, це відмовився довіряти скрипту скидання на моїй справжній в’язці ключів. Спершу він прогнав увесь процес на другому oo7-daemon у приватній сесії D-Bus (dbus-run-session), з одноразовим домашнім каталогом, підробленою старою в’язкою ключів і тестовим паролем із £, @, \u0026quot; і #.\nПерший прогін провалився. Добре. Скидання перенесло стару в’язку ключів у резервну копію, перезапустило демон, побачило заглушку login від oo7, сприйняло її за справжню в’язку ключів і зупинилося. На моїй машині це залишило б мене взагалі без в’язки ключів і з резервною копією, яку довелося б відновлювати вручну. Тепер скрипт розблоковує заглушку замість того, щоб від неї відмовлятися, а якщо щось зламається після створення резервної копії, він сам повертає стару в’язку ключів на місце.\nВласна перевірка безпеки Claude Code також зупинила ранішу версію скидання на справжній в’язці ключів, поки я її не підтвердив. Тоді дратувало. Але рішення було слушне.\nТест на одноразовому демоні Результат Скидання із запиту в терміналі, стару в’язку ключів збережено Пройдено Старий пароль щодо нової в’язки ключів Відкинуто Свіжий демон, як під час входу Стартує заблокованим Хибний пароль Відкинуто Правильний пароль, тим самим шляхом, що й вхід паролем Розблоковує Свіжий демон, PIN + дотик через скрипт розблокування Розблоковує Скрипт розблокування з уже відчиненою в’язкою ключів Одразу виходить, дотику не просить Потім ще раз на справжній системі, з в’язкою ключів, заблокованою вручну, і скриптом розблокування, запущеним так, як його запускає вхід: PIN, дотик, відчинено.\nШорсткі краї Це робоче налаштування, а не готовий продукт, і ось ті місця, про які я знаю.\nДва введення PIN на кожен вхід ключем. Одне на екрані входу для PAM, одне для в’язки ключів. Це окремі запити до ключа, і ключ їх не поєднає. В’язка ключів лише на дотик зекономила б одне, ціною того, що PIN після входу нічого б не захищав. Зміни пароль облікового запису, і збережена копія застаріє. Скрипт розблокування скаже про це сповіщенням, а не провалиться мовчки. Запусти скидання ще раз, і все владнано. Загубиш ключ, і знову вводитимеш пароль. Нічого не втрачено, бо пароль досі той самий, що й пароль облікового запису. Деякі застосунки переписують власні файли автозапуску. Якщо котрийсь із них колись знову підніме запит, причина в цьому, і обгортку треба повернути на місце. oo7 це бета, а виклик розблокування йде через інтерфейс, у назві якого є «Unsupported». Кожне оновлення oo7 варте пробного входу, перш ніж на нього покладатися. Наостанок В’язка ключів ніколи не була зламана. Ключ теж. Їх збудовано на різних припущеннях про те, що таке вхід, і ніхто вище за течією їх не з’єднав. Вхід без пароля задокументовано Yubico, він постачається в профілях authselect Fedora і вмикається одним прапорцем можливості. Ніщо в усьому цьому не каже тобі, що щойно ти ним скористаєшся, кожен секрет твого робочого столу лишиться замкненим за паролем, якого ти більше не вводиш.\nОтож прогалина падає на того, хто сидить за машиною, і виправлення рівно настільки добре, наскільки ця людина розуміє, де насправді живе секрет. Легка відповідь, порожній пароль, це те, на що вказують більшості людей, і вона міняє діалогове віконце на незашифрований файл із кожним твоїм токеном. Це не виправлення. Це тиха капітуляція.\nПравильна форма була там увесь час. Ключ може зберігати секрет, стандарт каже це прямим текстом, і PIN може бути частиною цього секрету, а не дверима перед ним. Щоб це з’єднати, знадобилися вечір і тестовий стенд. Не мало б знадобитися ні того, ні іншого.\nfreedesktop.org, Secret Service API Draft — API D-Bus, яким застосунки робочого столу зберігають і отримують секрети; його реалізують і gnome-keyring, і oo7.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nYubico, pam-u2f — «For a passwordless experience, where the authenticator PIN can be used in place of the user password», з прикладом рядка auth sufficient pam_u2f.so authfile=/etc/u2f_mappings cue pinverification=1.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nFIDO Alliance, Client to Authenticator Protocol 2.1, section 12.5 HMAC Secret Extension — «This extension is used by the platform to retrieve a symmetric secret from the authenticator when it needs to encrypt or decrypt data using that symmetric secret», і «The authenticator generates two random 32-byte values (called CredRandomWithUV and CredRandomWithoutUV)».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nYubico, libfido2 fido2-assert manual — інструмент командного рядка для запиту assertion, з опціями hmac-secret, присутності користувача і PIN.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nlinux-credentials/oo7 on GitHub — «server: org.freedesktop.secrets server implementation» і «pam: PAM integration for the server implementation».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\noo7 source, server/src/gnome/internal.rs — реалізація в oo7 внутрішнього інтерфейсу розблокування gnome-keyring, зокрема UnlockWithMasterPassword.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\n","permalink":"https://blogs.damiendye.uk/uk/random/yubikey-login-locked-keyring/","summary":"Входиш через YubiKey, а GNOME однаково просить пароль, бо в’язку ключів входу зашифровано паролем, якого твій вхід так і не створив. Цей допис пояснює, чому pam_u2f як sufficient лишає в’язку ключів ні з чим, чого коштують звичні виправлення (порожній пароль, усе одно вводити його, TPM) і виправлення, яке я збудував: FIDO2 hmac-secret ключа, захищений PIN і дотиком, розшифровує збережену копію пароля облікового запису і розблоковує oo7-daemon під час входу. Далі те, що виявила збірка: Fedora 45 замінила gnome-keyring на oo7, заглушка в’язки ключів oo7 бере перший введений тобою пароль за свій, інструменти FIDO2 читають PIN лише з термінала, а скрипт скидання залишив би мене взагалі без в’язки ключів, і це впіймала перевірка на одноразовому демоні. Скрипти, інсталятор і цей тестовий стенд можна завантажити.","title":"Мій YubiKey мене впускає. Моїй в’язці ключів ніхто не сказав."},{"content":"Ліцензія вже є у прошивці Чимало людей мають ліцензію на Fisher-Price OS (Windows), жодного разу не бачивши її ключа продукту. Вона прийшла разом із машиною, а ключ живе у прошивці цієї машини, у невеликій ACPI-таблиці під назвою MSDM.\nПотім машина перестає бути місцем, де робиться робота. Або власник хоче перенести цю ліцензію у ВМ, яку тепер орендує в тебе, або саму машину стирають, перетворюють на хост Proxmox, і копію ОС, з якою вона постачалася, хочуть повернути як ВМ поверх неї.\nМеханічно це один параметр QEMU. У цьому й проблема. QEMU передає гостьовій системі будь-яку таблицю без перевірки, гостьова система активується тим ключем, який знайде, і ніщо в усьому стеку не питає, чи дозволяє це ліцензія. Цей допис пояснює, що це за таблиця, як завести її у ВМ, не передавши пошкодженої, що кажуть умови Microsoft про її перенесення і чому корпоративна ліцензія ніколи до неї не наближається.\nЩо це за таблиця Починаючи з OEM Activation 3.0, виробник ПК більше не друкує ключ на наліпці знизу корпусу, звідки його може скопіювати будь-хто з камерою в телефоні, а записує ключ у прошивку машини. Заводський інструментарій Microsoft «injects the product keys into the firmware», а крок валідації перевіряє, «that the MSDM table exists» і що її заголовок та записи «comply with the correct formats»1. Машина, налаштована так, «activated by using the OA3 DPK in the firmware»2. MSDM є звичайною ACPI-таблицею, і в Linux вона читається просто з прошивки:\nsudo cat /sys/firmware/acpi/tables/MSDM \u0026gt; msdm.bin Ноутбук, на якому написано цей текст, має таку. 85 байтів.\nОпублікована специфікація Microsoft визначає стандартний 36-байтовий ACPI-заголовок із сигнатурою MSDM, і на цьому все. Усе після заголовка є «Proprietary data structure that contains all the licensing data necessary to enable Windows activation»3.\nБайти Містять Звідки відомо 0 до 35 стандартний ACPI-заголовок: сигнатура MSDM, довжина, контрольна сума, OEM ID специфікація Microsoft 36 до 55 20 байтів полів: версія, тип даних, довжина даних реальні таблиці, не опублікована специфікація 56 до 84 29-символьний ключ продукту, п’ять груп по п’ять реальні таблиці, не опублікована специфікація QEMU передасть усе, що ти йому даси Параметр QEMU -acpitable file= бере «whole ACPI table from the specified files, including all ACPI headers (possible overridden by other options)»4, і гостьова система бачить таблицю MSDM точно так, як її показала б прошивка ноутбука. Це перевірено з навмисно фальшивим ключем. Байти вийшли з іншого боку ідентичними, від сигнатури до останнього символу.\nQEMU нічого не відкидає. Ось що hw/acpi/core.c робить зі зламаним файлом5:\nЩо не так із файлом Що робить QEMU Що бачить гостьова система Довжина в заголовку не збігається з файлом попереджає, а потім перезаписує довжину справжнім розміром коректний заголовок Контрольна сума не дає нуля перераховує її, для кожної таблиці, щоразу коректну контрольну суму Ключ обрізаний або спотворений нічого, дані після заголовка його не стосуються таблицю, що виглядає коректно, навколо зламаного ключа Гостьова система ніяк не може побачити різницю, і ти теж, доки хтось не відкриє заявку в підтримку. Перше, що про це хтось почує, буде клієнт, у якого не пройшла активація.\nТож якщо клієнти завантажують такі файли, перевіряй їх до того, як їх побачить QEMU:\n#!/usr/bin/env python3 \u0026#34;\u0026#34;\u0026#34;Refuse anything that is not a well-formed MSDM table before QEMU sees it.\u0026#34;\u0026#34;\u0026#34; import re, struct, sys t = open(sys.argv[1], \u0026#39;rb\u0026#39;).read() fail = lambda why: sys.exit(f\u0026#34;{sys.argv[1]}: {why}\u0026#34;) if len(t) \u0026lt; 56: fail(f\u0026#34;{len(t)} bytes, too short for an MSDM table\u0026#34;) sig, length = t[:4], struct.unpack_from(\u0026#39;\u0026lt;I\u0026#39;, t, 4)[0] if sig != b\u0026#39;MSDM\u0026#39;: fail(f\u0026#34;signature is {sig!r}, not MSDM\u0026#34;) if length != len(t): fail(f\u0026#34;header says {length} bytes, file is {len(t)}\u0026#34;) if sum(t) \u0026amp; 0xff: fail(\u0026#34;checksum does not sum to zero\u0026#34;) ver, _, dtype, _, dlen = struct.unpack_from(\u0026#39;\u0026lt;5I\u0026#39;, t, 36) if (ver, dtype) != (1, 1): fail(f\u0026#34;version {ver}, data type {dtype}: expected 1 and 1\u0026#34;) if dlen != 29 or 56 + dlen != length: fail(f\u0026#34;data length {dlen}: expected 29\u0026#34;) key = t[56:].decode(\u0026#39;ascii\u0026#39;, \u0026#39;replace\u0026#39;) if not re.fullmatch(r\u0026#39;([0-9A-Z]{5}-){4}[0-9A-Z]{5}\u0026#39;, key): fail(\u0026#34;data is not a 5x5 product key\u0026#34;) print(f\u0026#34;OK OEM {t[10:16].decode(errors=\u0026#39;replace\u0026#39;).strip()!r} key *****-*****-*****-*****-{key[-5:]}\u0026#34;) Перевіряє Звіряє файл із Збій означає Сигнатуру, довжину, контрольну суму задокументованим заголовком Microsoft файл зламаний Версію, тип даних, довжину даних, форму ключа формою, яку мають реальні таблиці подивися на цей файл вручну, а не «це підробка» Він ніколи не виводить ключ, лише останню групу. Ключ продукту в лог-файлі є ключем продукту, яким може скористатися хтось інший.\nЗапуск на справній таблиці і трьох її зламаних копіях:\nOK OEM \u0026#39;EXMPLE\u0026#39; key *****-*****-*****-*****-EEEEE bad-sum.bin: checksum does not sum to zero bad-trunc.bin: header says 85 bytes, file is 70 bad-sig.bin: signature is b\u0026#39;SLIC\u0026#39;, not MSDM Де вона лежить і хто може її туди покласти Від завантаження клієнта до ключа, яким активується гостьова система Таблиця клієнта msdm.bin, 85 байтів з його власної машини Валідатор сигнатура, довжина, контрольна сума, форма ключа Зберігається /etc/pve/priv/ лише root, кожен вузол args ВМ -acpitable file= задає лише root QEMU перезаписує довжину, перераховує контрольну суму, нічого не відкидає Гостьова система MSDM в ACPI, активація читає ключ Валідатор стоїть перед QEMU, бо QEMU підлатає зламаний заголовок, а не відкине його. Таблиця лежить у приватній частині кластерної файлової системи, тож іде за ВМ на будь-який вузол, і прочитати її може лише root. Ключ продукту є секретом. Йому не місце там, де його може прочитати www-data, і pmxcfs дає тобі рівно одне місце в /etc/pve, де він цього не може6:\nДе могла б лежати таблиця Хто може її прочитати На кожному вузлі, куди може мігрувати ВМ /etc/pve/priv лише root так будь-де ще в /etc/pve читається групою, включно з www-data вебінтерфейсу так каталог на одному вузлі що налаштуєш ні З її 85 байтами вона дуже далека від ліміту файлу pmxcfs в 1 MiB7:\nmkdir -p /etc/pve/priv/msdm check-msdm.py upload.bin \u0026amp;\u0026amp; cp upload.bin /etc/pve/priv/msdm/9000.bin qm set 9000 --args \u0026#34;-acpitable file=/etc/pve/priv/msdm/9000.bin\u0026#34; qm set --args замінює весь рядок. Якщо ВМ уже має параметри SMBIOS або прошивки в args, пропиши їх усі разом. І оскільки args доступний лише root, це робота для твоєї системи провізіювання, а не щось, що клієнт може зробити з вебінтерфейсу. Так і має бути. Клієнт дає файл, твій інструментарій його перевіряє і підключає.\nТаблиця переносить ключ, а не право Тут ця функція вимагає тверезої голови. Перенесення таблиці MSDM у ВМ переносить ключ. Не ліцензію.\nТак кажуть власні умови Microsoft, і рядки, які мають значення, вміщаються в таблицю:\nВипадок Що каже Microsoft Джерело OEM-ліцензія, перенесення передається іншому користувачеві «only with the licensed device» ліцензійні умови OEM8 OEM-ліцензія, скільки встановлень «only one instance of the software for use on one device, whether that device is physical or virtual» ліцензійні умови OEM8 OEM-ліцензія, простими словами «locked» до початкового ПК «and cannot be transferred to any other PC» блог Microsoft для малого бізнесу9 Виняток положення про передачу «do not apply», якщо програмне забезпечення придбано в Німеччині або в низці інших країн ліцензійні умови OEM8 Хостинг для клієнтів Services Provider License Agreement призначена для «hosted applications to end customers» SPLA10 Настільні редакції як хостингові ВМ «VMs must be hosted by a Qualified Multitenant Hoster (QMTH)» Microsoft Learn11 Таблиця завжди береться з власної ліцензованої машини клієнта, ніколи з твоїх хостів. Випадок, що цілком вкладається у формулювання, найпростіший: машина, з якою було продано ліцензію, тепер працює під Proxmox, а та сама копія Fisher-Price OS (Windows) перенесена в одну ВМ на ній. Це все ще один екземпляр на одному пристрої, і умови OEM дозволяють це «whether that device is physical or virtual»8. Друга ВМ або інша машина, і вже ні.\nУ цьому єдиному випадку машина клієнта і гіпервізор є однією коробкою, тож нічого не треба завантажувати і нічого копіювати. Ядро Proxmox уже показує таблицю MSDM прошивки в /sys/firmware/acpi/tables/, доступну для читання лише root, а QEMU на Proxmox працює від root, тож може взяти таблицю просто звідти:\nqm set 100 --args \u0026#34;-acpitable file=/sys/firmware/acpi/tables/MSDM\u0026#34; Вказівка на живу таблицю замість копії має два наслідки. Шлях читається на тому вузлі, де стартує ВМ, тож це для окремого хоста, а не для кластера: мігруй ВМ, і вона або отримає таблицю того вузла, іншу ліцензію з іншої машини, або не запуститься взагалі, бо QEMU відмовляється від відсутнього файлу з can't open file … No such file or directory. І це один рядок, а отже, один рядок, який легко вставити в другу ВМ. Ця друга ВМ є саме тим випадком, який умови не покривають, тож одна ВМ це отримує, а інші ні.\nТож будуй цю функцію. Механізм надійний, і є клієнти, які мають право ним користуватися; той, хто купив ліцензію в Німеччині, цілком може бути серед них. Але поклади право туди, де йому місце: у твої умови надання послуг, де клієнт гарантує, що має ліцензію, яка покриває запуск у твоїй ВМ, і робить це до того, як кнопка завантаження щось зробить. Валідатор доводить, що таблиця правильно сформована. Ніщо не доводить, що клієнт має право нею користуватися.\nКорпоративні ліцензії ніколи не наближаються до таблиці Чи може клієнт із корпоративною ліцензією скористатися тим самим шляхом? Ні. Таблиці нічого переносити.\nMSDM належить каналу OEM і нічому іншому. Власний посібник Microsoft з планування каже, що OEM-активація «is available only for computers that are purchased through OEM channels and have the Windows operating system preinstalled»12. Корпоративні ліцензії активуються через одну з трьох інших моделей, «Multiple Activation Keys (MAK)», «KMS» і «Active Directory-based activation»12, і в кожній із них ключ установлюється в операційній системі. Ніщо не читає його з прошивки.\nМетод Де живе ключ З чим говорить гостьова система У ВМ Proxmox OEM, OA 3.0 таблиця MSDM у прошивці сервери активації Microsoft шлях через -acpitable вище MAK установлений у гостьовій системі з Microsoft, один раз, із зарахуванням до активацій ключа працює з доступом до інтернету або телефоном KMS загальний ключ (GVLK) у гостьовій системі KMS-хост клієнта на TCP 1688 потребує маршруту до нього, і 25 клієнтів або 5 серверів, перш ніж він щось активує Active Directory GVLK у гостьовій системі контролери домену клієнта, щонайменше раз на 180 днів потребує, щоб ВМ була в їхньому домені AVMA загальний ключ у гостьовій системі власна ліцензія Datacenter хоста Hyper-V недоступна взагалі Тож для корпоративного клієнта на гіпервізорі нічого будувати не треба. Його ключ іде в його образ, а твоя частина є мережевим шляхом: порт 1688 до його KMS-хоста або VPN до його контролерів домену. Слот MSDM лишається порожнім, і так має бути.\nДві речі підловлюють людей. Загальний ключ на корпоративному носії сам по собі нічого не активує, бо «the GVLK doesn\u0026rsquo;t work unless a valid KMS host key can be found»12, тож ВМ, зібрана з Enterprise ISO клієнта без маршруту додому, лишається неактивованою. І настільна корпоративна ліцензія сама по собі не є ліцензією. Корпоративні програми «cover upgrades to Windows client operating systems only», і «an existing retail or OEM operating system license is needed for each computer»12. Корпоративна ліцензія лежить поверх базової, дуже часто тієї самої OEM-ліцензії, про яку йшлося в попередньому розділі, і чи можна запускати її у твоїй ВМ, це все одно питання хостингу з тієї таблиці, а не питання активації.\nAVMA заслуговує окремого рядка, бо саме вона виглядає як відповідь. Це спосіб Microsoft, у який хост активує власні серверні гостьові системи, прив’язуючи «the VM activation to the licensed virtualization host», і вона потребує «a Windows Server Datacenter edition with the Hyper-V server host role installed»13. Щодо решти Microsoft висловлюються прямо: «AVMA doesn\u0026rsquo;t work with other server virtualization technologies»13. На Proxmox серверні гостьові системи активуються через твої ключі SPLA або через власний KMS клієнта.\nНіщо в стеку не перевіряє папери Кожен рівень тут робить свою роботу і нічого більше. Прошивка зберігає ключ. QEMU копіює байти й прибирає в заголовку. Гостьова система читає ключ і активується ним. Жоден із них не може сказати, чи машина під ним та сама, з якою продано ліцензію, і жоден ніколи не мав цього робити.\nТож перевірка лягає на того, хто керує гіпервізором. Ліцензія є угодою між тим, хто її купив, і Microsoft, і твоя платформа не є її стороною, але саме вона переносить ключ, і через це питання стає твоїм, хотів ти цього чи ні.\nЗапиши відповідь до того, як кнопка завантаження щось зробить. Одна машина, одна ВМ, власна ліцензія клієнта і його слово, що вона це покриває. Це нічого не коштує, і захищає тебе не менше, ніж його. Програмне забезпечення перенесе будь-який ключ, який йому дадуть. Чи мало воно це робити, на це питання може відповісти лише людина, тож подбай, щоб вона була.\nMicrosoft Learn, OA 3.0 on the factory floor — «injects the product keys into the firmware»; /Validate перевіряє «that the MSDM table exists».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nMicrosoft Learn, Validate an OEM Activation key — «is activated by using the OA3 DPK in the firmware».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nMicrosoft, Microsoft Software Licensing Tables (SLIC and MSDM) — таблиця 2, зсув 36: «Proprietary data structure that contains all the licensing data necessary to enable Windows activation.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nQEMU, System Emulation, Invocation — поля -smbios для кожного типу; -acpitable «For file=, take whole ACPI table from the specified files, including all ACPI headers»; -boot «Currently Seabios for X86 system support it.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nQEMU v11.0.3, hw/acpi/core.c — «ACPI table has wrong length» є warn_report, після чого довжина перезаписується, а контрольна сума перераховується.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\npve-cluster, src/pmxcfs/pmxcfs.c — шляхи під priv маскуються до 0777700, усе інше до 0777750.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\npve-cluster, src/pmxcfs/memdb.h — #define MEMDB_MAX_FILE_SIZE (1024 * 1024) // 1 MiB.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nMicrosoft, Windows 11 OEM licence terms — «you may transfer the license to use the software directly to another user, only with the licensed device»; положення про передачу «do not apply if you acquired the software in Germany» або в перелічених країнах. Архівна копія; жива сторінка відмовляє автоматизованим запитам.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nMicrosoft, small business blog archive — «the OEM Windows license is \u0026rsquo;locked\u0026rsquo; to the original PC it comes with and cannot be transferred to any other PC.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nMicrosoft, Services Provider License Agreement — «for service providers and software development companies licensing eligible Microsoft products to provide software services and hosted applications to end customers.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nMicrosoft Learn, Windows subscription activation for VDA — «VMs must be hosted by a Qualified Multitenant Hoster (QMTH).»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nMicrosoft Learn, Plan for volume activation — три моделі корпоративної активації; пороги KMS «at least five computers» для серверів і «at least 25 computers» для клієнтів, на TCP-порту 1688; активація через Active Directory потребує домену «at least once every 180 days»; «the GVLK doesn\u0026rsquo;t work unless a valid KMS host key can be found»; корпоративні ліцензії «cover upgrades to Windows client operating systems only».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nMicrosoft Learn, Automatic Virtual Machine Activation in Windows Server — «AVMA requires a Windows Server Datacenter edition with the Hyper-V server host role installed»; «AVMA doesn\u0026rsquo;t work with other server virtualization technologies.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\n","permalink":"https://blogs.damiendye.uk/uk/proxmox/moving-an-oem-licence-into-a-proxmox-vm/","summary":"OEM-ліцензія на Fisher-Price OS (Windows) живе у прошивці ПК як ACPI-таблиця MSDM, і QEMU передасть будь-яку таку таблицю гостьовій системі без перевірки. Тут розібрано, що містить таблиця, валідатор, який відкидає пошкоджені таблиці до того, як QEMU мовчки виправить їхні заголовки, зберігання в приватній частині кластерної файлової системи Proxmox, умови Microsoft щодо перенесення OEM-ліцензії, єдиний випадок, який вони прямо дозволяють, як узяти таблицю просто з хоста, коли ліцензована машина і є гіпервізором, і чому активація через MAK, KMS, Active Directory та AVMA ніколи не торкається таблиці.","title":"Перенесення OEM-ліцензії у ВМ Proxmox і що переїжджає разом із нею"},{"content":"Що бачить твій клієнт, коли завантажується твоя VM Ти продаєш віртуальні машини під власним ім’ям. Клієнт вмикає одну, і перше, що з’являється на екрані, це чужий логотип.\nЦе стандартна VM у Proxmox. Нічого не зламано, і Proxmox нічого поганого не роблять: це їхній продукт і їхнє ім’я, вони написали прошивку й інтерфейс, у якому воно з’являється, і мають повне право його туди поставити, так само як виробник серверів ставить свій значок на передню панель корпусу. Просто воно не твоє.\nЛоготип це лише початок. Ось що повідомляє стандартний гість UEFI на поточній прошивці Proxmox, pve-edk2-firmware 4.2026.08-1, прочитане зсередини гостя через dmidecode:\nДе гість дивиться Що він читає Чиє ім’я Екран завантаження логотип Proxmox Proxmox Постачальник прошивки (SMBIOS тип 0) Proxmox distribution of EDK II Proxmox Версія прошивки 4.2026.08-1 версія пакета Proxmox Виробник системи (тип 1) QEMU QEMU Назва продукту (тип 1) Standard PC (Q35 + ICH9, 2009) QEMU Виробник корпусу (тип 3) QEMU QEMU Системна плата (тип 2) взагалі відсутня нічиє Вебінтерфейс керування логотип Proxmox, угорі ліворуч Proxmox І на прошивці логотип при завантаженні теж не зупиняється. Прошивка UEFI передає намальоване зображення операційній системі через таблицю ACPI під назвою BGRT, Boot Graphics Resource Table, яка існує, щоб сказати, що «an image was drawn on the screen during boot»1, а операційна система потім малює його знову на власному екрані завантаження. Fisher-Price OS (Windows) ставить його над своїм коліщатком, а Microsoft називає BGRT «the standard interface that Windows uses to access the logo»2. Типова тема Plymouth у Fedora робить те саме в Linux3. Тож гість на прошивці Proxmox показує логотип Proxmox двічі, ще до того, як хтось увійшов.\nНічого з цього не важко змінити. Важко зберегти зміненим. Наступний apt full-upgrade тихо поверне половину назад, а та половина, яку він не повертає, якраз та, що має тебе турбувати, і про неї здебільшого цей допис.\nДе кожен елемент бренду входить у завантаження Увімкнення QEMU будує SMBIOS і ACPI з конфігурації Прошивка OVMF малює свій вбудований логотип, SeaBIOS заставку Передача таблиці SMBIOS, ACPI з BGRT і MSDM Екран ОС перемальовує логотип прошивки з BGRT Працюючий гість читає рядки, активація читає ключ MSDM конфігурація VM файл пакета конфігурація VM файл пакета конфігурація VM живе в /etc/pve, переживає кожне оновлення живе під /usr/share, apt його замінює Бренд потрапляє в завантаження в п\u0026rsquo;яти місцях. Три з них беруться з власної конфігурації VM і переживають будь-що, що робить apt. Два беруться з файлів, які належать пакету Proxmox, і саме їх оновлення забирає назад. Таблиця MSDM у цій передачі зовсім не про бренд. Вона несе ліцензійний ключ, і перенесенню його у VM присвячено окремий допис: Перенесення ліцензії OEM у VM Proxmox.\nУсе під /usr/share належить apt Одне правило вирішує кожен вибір нижче. Файл, який встановив пакет, це файл пакета. Відредагуй його на місці, і наступне оновлення цього пакета мовчки перезапише твою правку, бо, з погляду dpkg, він лише кладе власний файл туди, де його залишив.\nТож кожен елемент бренду мусить жити там, чим apt не володіє. На вузлі Proxmox таких місць три, і кожне коштує чогось свого:\nДе живе Як туди потрапляє Переживає оновлення Чого це тобі коштує Конфігурація VM у /etc/pve smbios1, а для решти args Так, пакети конфігурацію ніколи не чіпають args лише для root і не показується в GUI Файл, який dpkg наказано не чіпати dpkg-divert Так, копія пакета натомість іде під ім’я .distrib Оновлення більше не доходять до файлу, а це важить, коли файл є прошивкою Твій власний каталог, поза деревом пакетів /usr/local, з посиланням з args Так, жоден пакет ним не володіє Його треба самому покласти на кожен вузол Власний опис диверсії від Debian найясніший: «a way of forcing dpkg not to install a file into its location, but to a diverted location»4. Це покриває вебінтерфейс. Для прошивки це один із двох варіантів, і небезпечніший.\nКорпус це жменька рядків і перевірка прав SMBIOS це таблиця, якою машина описує себе: хто її зробив, яка це модель, її серійний номер, що за плата й корпус5. Її читає dmidecode, її читає кожен інструмент інвентаризації, який ти будь-коли спрямовував на мережу, її читає панель системної інформації Fisher-Price OS (Windows), і так само її читає більшість перевірок ліцензій, які вирішують, чи взагалі запуститься програма на певній машині. На VM її пише QEMU. Звідси QEMU і Standard PC у таблиці вище.\nТип 1 через smbios1 Proxmox відкриває в конфігурації VM одну структуру SMBIOS: тип 1, System Information, як smbios16. Вона приймає manufacturer, product, version, serial, sku, family і uuid.\nПідступ у qemu-server, а не в документації. Кожне поле, крім uuid, мусить відповідати шаблону base64, [A-Za-z0-9+\\/]+={0,2}, тож звичайне значення з пробілом відхиляється одразу. Справжні рядки кодують у base64 із встановленим base64=1, а qemu-server декодує їх назад, перш ніж зібрати командний рядок QEMU7. Редактор SMBIOS у GUI робить це при кожному збереженні, з коментарем «smbios values can be arbitrary, so encode and mark config as such»8. У командному рядку це твоя робота:\nb() { printf %s \u0026#34;$1\u0026#34; | base64 -w0; } qm set 9000 --smbios1 \u0026#34;uuid=$(qm config 9000 | sed -n \u0026#39;s/.*uuid=\\([0-9a-f-]*\\).*/\\1/p\u0026#39;),base64=1,\\ manufacturer=$(b \u0026#39;Example Cloud Ltd\u0026#39;),product=$(b \u0026#39;EC Compute Instance\u0026#39;),\\ version=$(b \u0026#39;2026.10\u0026#39;),family=$(b \u0026#39;General Purpose\u0026#39;),sku=$(b \u0026#39;ec-gp-4c16g\u0026#39;)\u0026#34; Зверни увагу, що uuid повертається назад. Це ідентичність машини гостя, а все, що ти передаєш у --smbios1, зберігається як увесь параметр цілком, тож спершу прочитай його й збережи.\nБрендуй шаблон, а не кожну VM. Клон у Proxmox отримує щойно згенерований UUID і зберігає всі інші поля smbios1, тож кожен клон виходить із власною ідентичністю й твоїми рядками9, з одним винятком, про нього нижче.\nТипи 0, 2, 3 і 11 через args smbios1 закінчується на типі 1. Постачальник прошивки, системна плата, корпус і рядки OEM ідуть через args, рядок, який Proxmox передає прямо в QEMU і який його власна документація називає «for experts only»6. Параметр QEMU -smbios приймає поля для кожного типу10:\nargs: -smbios \u0026#39;type=0,vendor=Example Cloud Ltd,version=EC-FW 1.0,date=10/04/2026,uefi=on\u0026#39; -smbios \u0026#39;type=2,manufacturer=Example Cloud Ltd,product=EC Virtual Board,version=1.0\u0026#39; -smbios \u0026#39;type=3,manufacturer=Example Cloud Ltd,version=1.0,asset=EC-ASSET-123,sku=ec-gp\u0026#39; -smbios \u0026#39;type=11,value=example-cloud:instance=123\u0026#39; Завантажений у QEMU з цими рядками, dmidecode гостя читає:\nСтруктура Поле Стандартно З брендом Тип 0 Vendor Proxmox distribution of EDK II Example Cloud Ltd Тип 0 Version 4.2026.08-1 EC-FW 1.0 Тип 1 Manufacturer QEMU Example Cloud Ltd Тип 1 Product Name Standard PC (Q35 + ICH9, 2009) EC Compute Instance Тип 1 Family не вказано General Purpose Тип 2 Manufacturer структура відсутня Example Cloud Ltd Тип 2 Product Name структура відсутня EC Virtual Board Тип 3 Manufacturer QEMU Example Cloud Ltd Тип 3 Asset Tag не вказано EC-ASSET-123 Тип 11 String 1 структура відсутня example-cloud:instance=123 Дорогою трапилися чотири пастки. Усі чотири мовчазні.\nЯкщо задати тип 0, зникає «UEFI is supported». OVMF пише власний тип 0 лише тоді, коли QEMU його не надав; цикл, що обходить таблиці QEMU, встановлює NeedSmbiosType0 = FALSE, щойно зустрічає тип 011. Твій рядок постачальника замінює рядок Proxmox, у цьому й сенс. Але тип 0 від QEMU замінює ще й характеристики прошивки OVMF, і без uefi=on рядок «UEFI is supported» зникає з dmidecode. Поверни його через uefi=on. Для гостей UEFI рядку постачальника все одно є кращий дім, усередині самої прошивки, про це далі.\nТип корпусу задати не можна. Тип 3 у QEMU приймає manufacturer, version, serial, asset і sku, і більше нічого10. Він лишається Other.\nДва визначення одного типу зливаються, і пізніше перемагає. qemu-server ставить свій -smbios type=1 на початку командного рядка, а твої args у самому кінці12, тож другий -smbios type=1,manufacturer=… в args не викидає перший: QEMU злив їх поле за полем, виробник прийшов з args, а UUID лишився там, куди його поставив smbios1. Це важить для четвертої пастки.\nДві половини мають різних власників. qemu-server перевіряє права параметр за параметром. smbios1 стоїть разом із параметрами обладнання й потребує VM.Config.HWType, а args падає до загального правила в самому низу, яке каже «only root can set»13. Плата, корпус, постачальник прошивки й рядки OEM належать лише тобі. Тип 1 ні. Будь-хто, кому ти дав права на обладнання, може його переписати, а в хостинговому продукті цілком можливо, що це клієнт. Якщо рядок виробника важить, задай його й в args. Пізніше визначення перемагає.\nСерійний номер уже є в конфігурації Більшість із того, що належить у тип 1, уже лежить у конфігурації VM. Ім’я стає добрим серійним номером, бо qemu-server приймає там лише ім’я DNS14: коротке, друковане, ніколи з комою, і єдине, що в VM клієнт упізнає.\nПоле типу 1 Береться з Для VM на 4 ядра й 16 GiB під назвою web-01, з тегами production;web Serial Number name web-01 SKU Number cores × sockets, і memory ec-4c16g Family перший запис у tags production UUID UUID smbios1, який уже є без змін Manufacturer, Product твої власні сталі рядки Example Cloud Ltd, EC Compute Instance Дві речі лишаються осторонь. Вузол змінюється при кожній міграції, а vmgenid і має змінюватися: уся його робота в тому, щоб повідомити гостю, що його відновлено зі знімка чи збудовано із шаблону15. Жодне з них не ідентичність.\n#!/bin/bash # /usr/local/sbin/ec-smbios VMID: rebuild smbios1 from the VM\u0026#39;s own config. set -euo pipefail id=$1 cfg=$(qm config \u0026#34;$id\u0026#34; --current) get() { sed -n \u0026#34;s/^$1: //p\u0026#34; \u0026lt;\u0026lt;\u0026lt;\u0026#34;$cfg\u0026#34;; } b() { printf %s \u0026#34;$1\u0026#34; | base64 -w0; } name=$(get name) [ -n \u0026#34;$name\u0026#34; ] || { echo \u0026#34;VM $id has no name to use as a serial\u0026#34; \u0026gt;\u0026amp;2; exit 1; } cores=$(get cores); sockets=$(get sockets); vcpu=$(( ${cores:-1} * ${sockets:-1} )) mem=$(get memory); mem=${mem#current=}; mem=${mem%%,*}; mem=${mem:-512} (( mem % 1024 )) \u0026amp;\u0026amp; size=\u0026#34;${mem}m\u0026#34; || size=\u0026#34;$(( mem / 1024 ))g\u0026#34; tag=$(get tags); tag=${tag%%;*} uuid=$(get smbios1 | grep -o \u0026#39;uuid=[0-9a-fA-F-]*\u0026#39; | cut -d= -f2 || true) uuid=${uuid:-$(cat /proc/sys/kernel/random/uuid)} s=\u0026#34;uuid=$uuid,base64=1,manufacturer=$(b \u0026#39;Example Cloud Ltd\u0026#39;),product=$(b \u0026#39;EC Compute Instance\u0026#39;)\u0026#34; s+=\u0026#34;,serial=$(b \u0026#34;$name\u0026#34;),sku=$(b \u0026#34;ec-${vcpu}c${size}\u0026#34;)\u0026#34; [ -n \u0026#34;$tag\u0026#34; ] \u0026amp;\u0026amp; s+=\u0026#34;,family=$(b \u0026#34;$tag\u0026#34;)\u0026#34; qm set \u0026#34;$id\u0026#34; --smbios1 \u0026#34;$s\u0026#34; Типові значення взято з самого qemu-server, одне ядро, один сокет і 512 MiB16, тож конфігурація, яка їх не вказує, усе одно отримує правдивий SKU. Запущений проти конфігурації з таблиці, де qm підмінив скрипт, що її віддавав, записаний рядок пішов у QEMU декодованим так, як його декодує qemu-server, а dmidecode гостя прочитав назад web-01, ec-4c16g, production і UUID, який у нього вже був. VM без імені відхиляється, а не отримує порожній серійний номер.\nОчевидний дім для цього це hookscript. І це неправильний дім. qemu-server запускає хук pre-start усередині блокування конфігурації, взятого для старту VM, і збирає командний рядок QEMU з конфігурації, яку завантажив до запуску хука17. Хук, що переписує серійний номер, змінює наступний старт, а не цей.\nТож запускай його зі своєї системи надання ресурсів, у чотирьох точках, де змінюються його вхідні дані: створення, клонування, перейменування й зміна розміру. Кусається саме клонування. Клон зберігає кожне поле smbios1, крім UUID9, тож пропусти його, і кожна VM, збудована з web-template, повідомлятиме ім’я шаблону як свій серійний номер.\nЛоготип завантаження живе у двох різних місцях Який логотип показує гість, залежить від його прошивки. Дві прошивки, які постачає Proxmox, беруть його з зовсім різних місць:\nSeaBIOS (bios: seabios, типово) OVMF (bios: ovmf, UEFI) Звідки береться логотип JPEG, який QEMU передає при завантаженні растрове зображення, вкомпільоване в прошивку Файл Proxmox /usr/share/qemu-server/bootsplash.jpg, 640×480 Logo.bmp, 400×120, 8 біт, вбудований в OVMF_CODE_4M*.fd Пакет-власник qemu-server pve-edk2-firmware-ovmf Змінити для окремої VM args: -boot splash=… args, що спрямовує VM на іншу прошивку Змінити без жодної перезбірки так ні Доходить до гостьової ОС через BGRT ні так SeaBIOS: JPEG у командному рядку qemu-server ставить той самий параметр -boot на кожну VM, яку запускає, menu=on,strict=on,reboot-timeout=1000,splash=/usr/share/qemu-server/bootsplash.jpg18. Документація QEMU каже, що зображення показується «when option splash=sp_name is given and menu=on, If firmware/BIOS supports them. Currently Seabios for X86 system support it»10. OVMF не бере звідти нічого, крім splash-time, який використовує як тайм-аут меню завантаження, і ніде в OvmfPkg немає жодного посилання на файл заставки19.\nЗамінити її можна одним рядком у конфігурації VM:\nargs: -boot splash=/etc/pve/branding/splash.jpg Другий -boot не воює з першим. QEMU зливає його так само, як зливає -smbios, пізніше значення перемагає, і коли було задано два файли заставки, на знімку екрана був другий. /etc/pve це правильний дім для файлу, бо це кластерна файлова система й кожен вузол бачить ту саму заставку, а її обмеження в 1 MiB на файл і близько не досягає JPEG на 640×48020.\nСаме зображення має відповідати трьом умовам, і помилка в будь-якій коштує тобі логотипа або його кольорів:\nУмова Чому Що станеться інакше JPEG або 24-бітний BMP QEMU перевіряє файл до старту VM splash file … format not recognized; must be JPEG or 24 bit BMP Baseline JPEG, кольоровість 4:2:0 декодер SeaBIOS нічого іншого не обробляє21 ERR_NOT_SEQUENTIAL_DCT або ERR_NOT_YCBCR_221111 і порожній екран 640×480, як у самого Proxmox SeaBIOS просить у VGA BIOS режим рівно розміру зображення немає відповідного режиму, немає заставки Більшість графічних інструментів типово пише baseline 4:2:0, тож звичайний спосіб втратити логотип це одна з опцій «зберегти для вебу», яка тихо вмикає прогресивне кодування, що виглядає однаково в кожному переглядачі зображень, який у тебе є, і лишає SeaBIOS не малювати взагалі нічого.\nПастка з кольорами Ця коштувала півдня. Той самий JPEG, відмальований двома збірками SeaBIOS 1.17.0, виходить двох різних кольорів:\nПричина в jpeg.c у SeaBIOS. Записувач для 24 бітів на піксель має гілку для little-endian, що ставить синій у перший байт кожного пікселя, а записувач для 32 бітів на піксель, PIC_32, такої гілки не має й пише туди червоний21. На кадровому буфері little-endian це міняє місцями червоний і синій. Синій виходить золотим, а помаранчевий вийшов би синім.\nЯкий записувач працює, залежить від відеорежиму, який пропонує VGA BIOS:\nПрошивка Режим VBE для 640×480 Бітів на піксель Кольори Готова збірка SeaBIOS 1.17.0 від upstream QEMU, як її постачає pve-qemu-kvm 11.0.3-4 0x111 16 правильні, квантовані до 65 536 Власна збірка seabios 1.17.0-10 у Fedora 44 0x142 32 червоний і синій переставлено Номери режимів узято з власної таблиці SeaBIOS22, а рядок Proxmox звірено із самими бінарними файлами в пакеті: байт у байт ідентичні готовій збірці QEMU rel-1.17.0-0-gb52ca86e094d. Тож на Proxmox твої кольори правильні, але їх лише 65 536, і тонкий градієнт піде смугами. А якщо твій логотип колись вийде не тих кольорів на якомусь іншому гіпервізорі, справа не у твоєму JPEG.\nЛоготип UEFI вкомпільовано в прошивку Гості UEFI це складніша половина, і на сучасному Proxmox це більшість гостей.\nНемає параметра заставки, який можна перевизначити. Логотип це растрове зображення всередині образу прошивки, і збірка Proxmox кладе його туди одним рядком у debian/rules:\ndebian/setup-build-stamp: cp -a debian/Logo.bmp MdeModulePkg/Logo/Logo.bmp Це копіює їхній Logo.bmp на 400×120 і 8 біт поверх логотипа TianoCore, перш ніж збирається edk223. Той самий файл задає постачальника прошивки як константу часу збірки, PcdFirmwareVendor=L\u0026quot;Proxmox distribution of EDK II\u0026quot;, і саме звідти береться постачальник типу 0 у першій таблиці23.\nНовий логотип, нова прошивка. Щоб отримати таку, що поводиться точнісінько як прошивка Proxmox, треба зібрати її точнісінько так, як це робить Proxmox: їхнє дерево на тегу, що відповідає пакету, який вони постачають, їхні патчі, їхні прапорці й одне замінене растрове зображення. pve-edk2-firmware 4.2026.08-1 фіксує edk2 на 2970e56, тобто на тегу upstream edk2-stable20260823.\ngit clone https://git.proxmox.com/git/pve-edk2-firmware.git cd pve-edk2-firmware git checkout f37039e52d228a7844a90aa2aaf1e161ebd04fcd # 4.2026.08-1 git submodule update --init --recursive cd edk2 QUILT_PATCHES=../debian/patches quilt push -a cp /path/to/your/Logo.bmp MdeModulePkg/Logo/Logo.bmp . ./edksetup.sh \u0026amp;\u0026amp; make -C BaseTools F=\u0026#34;-DNETWORK_HTTP_BOOT_ENABLE=TRUE -DNETWORK_IP6_ENABLE=TRUE -DNETWORK_TLS_ENABLE -DSECURE_BOOT_ENABLE=TRUE -DPVSCSI_ENABLE=TRUE -DTPM2_ENABLE=TRUE --pcd PcdUninstallMemAttrProtocol=TRUE -DFD_SIZE_4MB\u0026#34; P=(--pcd \u0026#34;PcdFirmwareVendor=LExample Cloud Ltd\\\\0\u0026#34; --pcd \u0026#34;PcdFirmwareVersionString=L4.2026.08-1+ec1\\\\0\u0026#34;) build -a IA32 -a X64 -t GCC -p OvmfPkg/OvmfPkgIa32X64.dsc $F \u0026#34;${P[@]}\u0026#34; -b RELEASE cp Build/Ovmf3264/RELEASE_GCC/FV/OVMF_CODE.fd OVMF_CODE_4M.fd rm -rf Build/Ovmf3264 build -a IA32 -a X64 -t GCC -p OvmfPkg/OvmfPkgIa32X64.dsc $F -DSMM_REQUIRE=TRUE \u0026#34;${P[@]}\u0026#34; -b RELEASE cp Build/Ovmf3264/RELEASE_GCC/FV/OVMF_CODE.fd OVMF_CODE_4M.secboot.fd Прапорці взято з debian/rules у тому вигляді, у якому він є на цьому коміті. Зважай на рядок постачальника: їхній Makefile пише його в подвійних лапках, оболонка make їх знімає, і edk2 отримує його голим, тож саме так його тут і передано, а подвійне взяття в лапки дає помилку збірки. Тримай растрове зображення на 400×120 і 8 біт, як у них, і більше ніщо на екрані завантаження не зрушить.\nТобі потрібні обидва образи. qemu-server завантажує будь-яку VM Q35 з диском EFI на 4M з OVMF_CODE_4M.secboot.fd, збірки з обов’язковим SMM, а звичайний OVMF_CODE_4M.fd використовує лише для i440fx24. На поточному Proxmox образ secboot це те, на чому працює майже кожен гість UEFI.\nЗібраний так, без жодних змін у дереві Proxmox, крім растрового зображення й двох рядків, образ із SMM завантажується ось так:\nІ власний погляд гостя на свою прошивку змінюється разом із ним, без жодного параметра -smbios у командному рядку:\nПрочитано всередині гостя 4.2026.08-1 від Proxmox Перезібрано з того самого дерева Постачальник прошивки Proxmox distribution of EDK II Example Cloud Ltd Версія прошивки 4.2026.08-1 4.2026.08-1+ec1 «UEFI is supported» є є Таблиці ACPI BGRT, WSMT і решта той самий набір Через це постачальник, заданий під час збірки, кращий варіант для гостей UEFI. Це власний тип 0 від OVMF, тож біт UEFI лишається на місці без того, щоб хтось мусив пам’ятати про uefi=on. Шлях через args для типу 0 призначений для гостей SeaBIOS і для тих, хто прошивку взагалі не перезбирає.\nДва способи віддати VM нову прошивку qemu-server жорстко зашиває, де шукати прошивку: OVMF.pm тримає таблицю шляхів під /usr/share/pve-edk2-firmware/ з ключами за типом машини й параметрами Secure Boot, і ніде в конфігурації VM, у GUI чи в API немає параметра, що обирав би інший файл24. Лишається два шляхи.\nЗбірка брендованого OVMF і два способи віддати його VM Дерево Proxmox pve-edk2-firmware 4.2026.08-1 Твій бренд Logo.bmp + рядок постачальника Та сама збірка, ті самі прапорці OVMF_CODE_4M.fd + .secboot.fd A: диверсія на кожному вузлі кожна VM UEFI отримує, без змін конфігурації VM B: для окремої VM через args вмикаєш по одній VM, файли Proxmox не чіпано apt full-upgrade приходить нова прошивка Proxmox, твоя лишається старою Хук Post-Invoke версії різні, тож перезбери до наступного старту Одна збірка, два шляхи. Так чи інакше наступне оновлення встановлює нову прошивку Proxmox поряд із твоєю і лишає твою як була, тому й існує хук унизу. Шлях A: диверсія на кожному вузлі. Скажи dpkg, що два образи коду Proxmox тепер належать в іншому місці, і поклади свої туди, де були вони:\nD=/usr/share/pve-edk2-firmware for f in OVMF_CODE_4M.fd OVMF_CODE_4M.secboot.fd; do dpkg-divert --package example-branding --add --rename --divert \u0026#34;$D/$f.distrib\u0026#34; \u0026#34;$D/$f\u0026#34; install -m 0644 \u0026#34;/root/branding/$f\u0026#34; \u0026#34;$D/$f\u0026#34; done З наступного старту кожна VM UEFI на вузлі завантажує твою прошивку. Жодних змін конфігурації VM.\nШлях B: спрямуй на неї вибрані VM. Тримай образи у власному каталозі й перевизначай прошивку по одній VM. Відколи перейшов на -blockdev, qemu-server під’єднує образ коду як блочний вузол під назвою pflash0 і називає його в -machine24, а QEMU зливає другий -machine так само, як зливає -boot, тож args може додати власний вузол і спрямувати pflash0 на нього:\nargs: -blockdev driver=raw,node-name=brandcode,read-only=on,file.driver=file,file.filename=/usr/local/share/example-branding/OVMF_CODE_4M.secboot.fd -machine pflash0=brandcode Це перевірено довгим шляхом. Прошивку secboot від Proxmox під’єднали як pflash0 рівно так, як це робить qemu-server, з увімкненим SMM, потім після неї додали цей рядок args, і гість завантажив брендований образ і з логотипом, і з рядком постачальника, звідки й узявся знімок екрана вище.\nШлях A, диверсія Шлях B, args для окремої VM Які VM це отримують кожна VM UEFI на вузлі лише VM, де ти це задав Файли Proxmox перенесено в .distrib не чіпано Конфігурація VM без змін рядок args, лише root Тип машини має збігатися враховано, диверсія на обох образах твоя справа: образ secboot для Q35 Скасування dpkg-divert --remove --rename видалити рядок Міграція на цільовому вузлі теж має бути диверсія на цільовому вузлі має бути файл Образ коду важить близько 3,5 MB, а обмеження pmxcfs 1 MiB на файл20. Тож у /etc/pve він не влізе, і хоч яким шляхом ти підеш, його треба покласти на кожен вузол. Перенеси VM на вузол без нього, і отримаєш один із двох результатів, залежно від шляху: за шляху A знову власну прошивку й логотип Proxmox, а за шляху B VM, яка взагалі не запуститься, бо QEMU не може відкрити файл, якого немає.\nОновлення, яке лишає тебе позаду Диверсія це правильний інструмент для логотипа. З прошивкою інакше.\nДиверсія означає, що оновлення Proxmox більше не доходять до файлу. Це рівно те, про що ти просив. Це також рівно те, що не пускає виправлення безпеки edk2 до твоїх гостей: журнал змін Proxmox для 4.2026.08-1 починається з «Besides many bug and security fixes» і далі перелічує виправлення CVE-2024-1374525, а брендована збірка з попереднього випуску не має з цього нічого. Ніщо тобі про це не скаже.\nЦе перевірено, а не припущено. У контейнері Debian trixie з репозиторієм Proxmox встановили pve-edk2-firmware-ovmf 4.2025.05-3, зробили диверсію обох образів коду й оновили пакет до 4.2026.08-1:\nПісля оновлення Результат dpkg-query -W pve-edk2-firmware-ovmf 4.2026.08-1 Новий образ Proxmox встановлено як OVMF_CODE_4M.fd.distrib, хеш змінився Брендований образ без змін, досі зібраний із 4.2025.05-3 Хоч щось у консолі про це нічого, до хука нижче Тож додай хук. apt запускає список команд DPkg::Post-Invoke після кожного запуску dpkg26. Запиши, з якої версії Proxmox ти збирав, і порівнюй після кожного:\ncat \u0026gt; /usr/local/sbin/example-branding-check \u0026lt;\u0026lt;\u0026#39;EOF\u0026#39; #!/bin/sh built=$(cat /usr/local/share/example-branding/ovmf.built-from 2\u0026gt;/dev/null) now=$(dpkg-query -W -f \u0026#39;${Version}\u0026#39; pve-edk2-firmware-ovmf 2\u0026gt;/dev/null) [ \u0026#34;$built\u0026#34; = \u0026#34;$now\u0026#34; ] \u0026amp;\u0026amp; exit 0 echo \u0026#34;W: branded OVMF was built from pve-edk2-firmware-ovmf $built, Proxmox now ships $now.\u0026#34; \u0026gt;\u0026amp;2 echo \u0026#34;W: guests still boot the old firmware. Rebuild before the next VM restart.\u0026#34; \u0026gt;\u0026amp;2 exit 0 EOF chmod +x /usr/local/sbin/example-branding-check echo \u0026#39;DPkg::Post-Invoke { \u0026#34;/usr/local/sbin/example-branding-check\u0026#34;; };\u0026#39; \\ \u0026gt; /etc/apt/apt.conf.d/80example-branding На тому самому оновленні він вивів:\nW: branded OVMF was built from pve-edk2-firmware-ovmf 4.2025.05-3, Proxmox now ships 4.2026.08-1. W: guests still boot the old firmware. Rebuild before the next VM restart. Він навмисно виходить з 0. apt перериває роботу, якщо команда Post-Invoke зазнає невдачі26, а перевірка бренду не привід лишати вузол напівоновленим. Гучного попередження досить.\nІ ще одне. Перезапуски. Гість підхоплює нову прошивку лише тоді, коли перезапускається його процес QEMU, тож перезбірка означає зупинку й запуск із Proxmox, а не перезавантаження зсередини гостя, і саме так до працюючої VM доходять і власні оновлення прошивки Proxmox. Просто вони не потребують, щоб ти спершу не забув про перезбірку.\nАбо залиш прошивку Proxmox у спокої Кожен досі описаний шлях для логотипа змінює прошивку, а попередній розділ це рахунок за це. Є один, що не змінює, і для цього допису зроблено його прототип.\nПристрій PCI у QEMU може нести option ROM, будь-який файл, який ти назвеш через romfile=27, і OVMF запускає драйвер EFI, який там знайде. Збірка Proxmox запускає його, підписаний він чи ні: OVMF встановлює PcdOptionRomImageVerificationPolicy у 0x00, тобто «виконувати завжди»28. OVMF малює власний логотип пізно під час вибору пристрою завантаження29 і будує BGRT лише на ReadyToBoot, за мить до того, як передати керування завантажувачу. А драйвер BGRT в edk2 приймає замінне зображення через EDKII_BOOT_LOGO2_PROTOCOL і перебудовує таблицю на ReadyToBoot щоразу, коли зображення змінилося30.\nБільше нічого й не треба. Драйвер чекає на ReadyToBoot на TPL_NOTIFY, який спрацьовує раніше за власний обробник TPL_CALLBACK драйвера BGRT, очищає екран, малює свій логотип і передає те саме зображення далі. Зібраний, це один файл на 8 KB, під’єднаний одним рядком:\nargs: -device pci-testdev,romfile=/etc/pve/branding/brandrom.rom На 8 KB він легко вміщується в обмеження pmxcfs 1 MiB20, тож, на відміну від образу прошивки на 3,5 MB, він може жити в /etc/pve і йти за VM на кожен вузол.\nЙого перевірено проти власної прошивки Proxmox, просто з pve-edk2-firmware-ovmf 4.2026.08-1: OVMF_CODE_4M.secboot.fd із попередньо записаними ключами Microsoft в OVMF_VARS_4M.ms.fd, на Q35 з SMM, із завантаженням через підписаний shim Fedora, щоб Secure Boot був увімкнений і діяв:\nПрочитано з гостя Без ROM З ROM Змінна SecureBoot 1 1 На екрані логотип Proxmox Proxmox приблизно 250 ms, потім твій Зображення BGRT, 400×120 у 440,340 від Proxmox, SHA-256 be5afe4b… від ROM, SHA-256 6c494576… Змінені файли прошивки жодних жодних Останній рядок і є суттю. Прошивку Proxmox не чіпано, тож їхній наступний випуск із виправленнями безпеки доходить до твоїх гостей із наступним перезапуском, і нічого з попереднього розділу не стосується.\nЦе не безкоштовно:\nЦіна Чому Логотип Proxmox видно приблизно чверть секунди OVMF малює його раніше, ніж будь-який драйвер option ROM отримує екран; уникнути цього може лише перезбірка Гість бачить ще один пристрій PCI, без драйвера ROM мусить на чомусь їхати, а pci-testdev це пристрій QEMU, що нічого не робить Тип 0 досі каже Proxmox рядок постачальника вкомпільовано; задай його через args із uefi=on, як вище Лише root це рядок args І знахідку під цим варто сказати прямо. Непідписаний драйвер працював у прошивці на гостю з записаними ключами Microsoft і з чинним Secure Boot, бо OVMF від Proxmox не перевіряє option ROM. Тут це корисно. Це також означає, що на цій прошивці Secure Boot перевіряє завантажувачі, а не те, що під’єднує конфігурація обладнання VM, а оскільки args пише лише root, це питання про те, хто тримає root на твоїх вузлах.\nЦе прототип. Він працював на QEMU 10.2.2 із прошивкою Proxmox, але ще не на вузлі Proxmox, і далі йде вихідний код, а не продукт:\ngithub.com/damo2929/RebrandPCIRom: драйвер option ROM, конвертер логотипа й збірка в контейнері.\nВебінтерфейс це два пакети Логотипа вгорі ліворуч у вебінтерфейсі немає в pve-manager. Workspace.js просить компонент proxmoxLogoSvg із префіксом pwt, а той живе в proxmox-widget-toolkit, спільному для Backup Server і Mail Gateway31. У pve-manager лише іконки вкладок:\nЩо Файл Пакет Логотип у заголовку, малюється на 200×35 /usr/share/javascript/proxmox-widget-toolkit/images/proxmox_logo.svg proxmox-widget-toolkit Іконка вкладки браузера /usr/share/pve-manager/images/favicon.ico pve-manager Іконка 128×128, вона ж іконка для сенсорних пристроїв /usr/share/pve-manager/images/logo-128.png pve-manager Усі три це звичайні файли, тож це робота для dpkg-divert, і тут ціна з попереднього розділу не діє зовсім, бо логотип не має виправлень безпеки, які можна пропустити, і нічий гість не стає менш захищеним через вузол, що досі віддає торішню favicon.\ndivert() { dpkg-divert --package example-branding --add --rename --divert \u0026#34;$1.distrib\u0026#34; \u0026#34;$1\u0026#34; install -m 0644 \u0026#34;$2\u0026#34; \u0026#34;$1\u0026#34; } divert /usr/share/javascript/proxmox-widget-toolkit/images/proxmox_logo.svg /root/branding/logo.svg divert /usr/share/pve-manager/images/favicon.ico /root/branding/favicon.ico divert /usr/share/pve-manager/images/logo-128.png /root/branding/logo-128.png Перевірено в тому самому контейнері, на справжніх пакетах:\nКрок Результат Диверсія на proxmox-widget-toolkit 5.2.9, встановлено власний SVG SVG Proxmox перейменовано на proxmox_logo.svg.distrib Оновлення до 5.2.10 власний SVG на місці, копія 5.2.10 від Proxmox у .distrib dpkg --verify proxmox-widget-toolkit без зауважень, dpkg знає про диверсію apt-get install --reinstall proxmox-widget-toolkit власний SVG на місці dpkg-divert --remove --rename оригінал Proxmox повернувся, байт у байт Дві речі лишаються за Proxmox. Зображення в заголовку малюється у фіксованій рамці 200×35, тож малюй свій SVG під цю форму, інакше його стисне. А текст alt каже Proxmox, і зображення веде на https://www.proxmox.com, і те, і те записано в компонент JavaScript, а не у файл, для якого можна зробити диверсію31. Змінити це означає латати мініфікований бандл, який ламається з кожним оновленням. Через текст alt воно того не варте.\nЧого від тебе вимагають ліцензія й торговельна марка Proxmox Proxmox VE ліцензовано за AGPL версії 332, і розділ 13 цієї ліцензії це мережеве положення: «if you modify the Program, your modified version must prominently offer all users interacting with it remotely through a computer network … an opportunity to receive the Corresponding Source of your version»33. Чи вважається заміна трьох зображень модифікацією Програми? Це питання до юриста. Дешева відповідь: виклади свої зображення й скрипт диверсії десь публічно й постав на них посилання зі сторінки входу. Це не коштує ні копійки й закриває питання.\nЗ торговельною маркою ясніше. Медіанабір Proxmox каже: «Don\u0026rsquo;t alter the logo or incorporate the logo or symbol into your logo»34. Тож заміняй їхній логотип повністю своїм, ніколи не перефарбованою чи переробленою його версією, і не вставляй Proxmox у назву свого продукту.\nТвоє ім’я на продукті означає твоє обслуговування Брендувати VM дешево. Жменька рядків SMBIOS, JPEG, растрове зображення й три картинки у вебінтерфейсі: робота на пів дня, здебільшого на те, щоб з’ясувати, де що живе.\nЗберегти бренд це і є робота. І саме цю частину пропускають.\nРядки SMBIOS і заставка дбають про себе самі, бо живуть у конфігурації, якої жоден пакет ніколи не торкнеться, а логотип вебінтерфейсу дбає про себе, бо dpkg про нього повідомлено. Прошивка ні. У той день, коли ти вклав свій логотип в образ прошивки, ти взяв на себе шматок чужого процесу випусків, а Proxmox збирають, тестують і випускають нову прошивку з виправленнями безпеки, яку їхні клієнти отримують із наступним оновленням, а твої тоді, коли ти дійдеш до перезбірки.\nТакий обмін нормальний, якщо його зроблено свідомо. Хостингова компанія, чиї гості завантажують прошивку на два випуски позаду, бо логотип важив більше за журнал змін, не збудувала продукт. Вона збудувала наліпку.\nЯкщо твоє ім’я на екрані завантаження, то тримати актуальною прошивку за ним твоя справа, хоч би хто її написав. Ніхто не перевірить. Саме тому це й треба робити.\nUEFI Forum, ACPI Specification 6.6, §5.2.23 Boot Graphics Resource Table — «The Boot Graphics Resource Table (BGRT) is an optional table that provides a mechanism to indicate that an image was drawn on the screen during boot». Архівна копія; жива сторінка повертає 403 на автоматизовані запити.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nMicrosoft Learn, Boot screen components — «This is the standard interface that Windows uses to access the logo.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nFedora Project, Changes/FlickerFreeBoot — «a new plymouth theme which incorporates the firmware\u0026rsquo;s bootsplash image»; plymouth.spec у Fedora робить bgrt типовою темою.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nDebian, dpkg-divert(1), trixie — «File diversions are a way of forcing dpkg(1) not to install a file into its location, but to a diverted location.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nDMTF, DSP0134 System Management BIOS Reference Specification 3.10.0 — тип 1 System Information, тип 2 системна плата, тип 3 «the system\u0026rsquo;s mechanical enclosure(s)», тип 11 «free-form strings defined by the OEM».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nProxmox VE, qm.conf(5) — smbios1: «Specify SMBIOS type 1 fields»; args: «Arbitrary arguments passed to kvm … this option is for experts only.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nqemu-server, src/PVE/QemuServer.pm, the smbios1 format and command-line builder — кожне поле, крім uuid, має шаблон [A-Za-z0-9+\\/]+={0,2}; значення декодуються, коли встановлено base64.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\npve-manager, www/manager6/Parser.js, printQemuSmbios1 — «smbios values can be arbitrary, so encode and mark config as such».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nqemu-server, src/PVE/API2/Qemu.pm, clone — «auto generate a new uuid», інші поля smbios1 зберігаються.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nQEMU, System Emulation, Invocation — поля -smbios для кожного типу; -acpitable «For file=, take whole ACPI table from the specified files, including all ACPI headers»; -boot «Currently Seabios for X86 system support it.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nedk2-stable202608, OvmfPkg/SmbiosPlatformDxe/SmbiosPlatformDxe.c — OVMF додає власний тип 0 лише тоді, коли NeedSmbiosType0 усе ще встановлено після обходу таблиць QEMU.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nqemu-server, src/PVE/QemuServer.pm, custom args — args розбиваються й додаються в кінець командного рядка.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nqemu-server, src/PVE/API2/Qemu.pm, config permission checks — smbios1 це параметр типу обладнання, що потребує VM.Config.HWType; запасна гілка «catches args, lock, etc.» і завершується з «only root can set».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nqemu-server, src/PVE/QemuServer.pm, the name option — format =\u0026gt; 'dns-name'.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nqemu-server, src/PVE/QemuServer.pm, vmgenid — «notify the guest operating system when the virtual machine is executed with a different configuration (e.g. snapshot execution or creation from a template)».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nqemu-server, src/PVE/QemuServer/Memory.pm — пам’ять default =\u0026gt; 512; cores і sockets за замовчуванням 1 у QemuServer.pm.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nqemu-server, src/PVE/QemuServer.pm, vm_start — lock_config у рядку 5457, exec_hookscript($conf, $vmid, 'pre-start', 1) у 5581 і config_to_command у 5634 з тим самим $conf, без перезавантаження між ними.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nqemu-server, src/PVE/QemuServer.pm, -boot — menu=on,strict=on,reboot-timeout=1000,splash=/usr/share/qemu-server/bootsplash.jpg.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nedk2-stable202608, OvmfPkg/Library/QemuBootOrderLib/QemuBootOrderLib.c — OVMF читає etc/boot-menu-wait, тобто значення splash-time, і більше нічого з -boot.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\npve-cluster, src/pmxcfs/memdb.h — #define MEMDB_MAX_FILE_SIZE (1024 * 1024) // 1 MiB.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nSeaBIOS, src/jpeg.c — PIC пише синій першим на little-endian, PIC_32 у рядку 946 пише червоний першим без гілки для порядку байтів; ERR_NOT_SEQUENTIAL_DCT і ERR_NOT_YCBCR_221111 це єдині відхилені формати.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nSeaBIOS, vgasrc/svgamodes.c — режим 0x111 це 640×480 на 16 бітів, 0x142 це 640×480 на 32.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\npve-edk2-firmware, debian/rules at 4.2026.08-1 — cp -a debian/Logo.bmp MdeModulePkg/Logo/Logo.bmp, рядок PcdFirmwareVendor і прапорці збірки OVMF.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nqemu-server, src/PVE/QemuServer/OVMF.pm — жорстко зашита таблиця прошивок під /usr/share/pve-edk2-firmware/, вибір SMM і блочний вузол pflash0.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\npve-edk2-firmware, debian/changelog — 4.2026.08-1: «Besides many bug and security fixes … fix CVE-2024-13745».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nDebian, apt.conf(5), trixie — «Pre-Invoke, Post-Invoke: This is a list of shell commands to run before/after invoking dpkg(1) … should any fail APT will abort.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nQEMU v11.0.3, hw/pci/pci.c — DEFINE_PROP_STRING(\u0026quot;romfile\u0026quot;, PCIDevice, romfile), властивість, яку має кожен пристрій PCI.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nedk2-stable202608, OvmfPkg/OvmfPkgIa32X64.dsc — gEfiSecurityPkgTokenSpaceGuid.PcdOptionRomImageVerificationPolicy|0x00, файл платформи, який збирає Proxmox.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nedk2-stable202608, OvmfPkg/Library/PlatformBootManagerLib/BdsPlatform.c — BootLogoEnableLogo (), що викликається з PlatformBootManagerAfterConsole.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nedk2-stable202608, BootGraphicsResourceTableDxe.c — SetBootLogo2 у рядку 239 копіює зображення; обробник ReadyToBoot у 417 видаляє й знову встановлює таблицю «If BGRT data change happens».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nproxmox-widget-toolkit, src/Logo.js — proxmoxLogoSvg, 200×35, alt: 'Proxmox', з посиланням на proxmox.com; використовується з pve-manager Workspace.js із prefix: 'pwt'.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nProxmox VE wiki, FAQ — «Proxmox VE code is licensed under the GNU Affero General Public License, version 3.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nGNU Affero General Public License v3, §13 Remote Network Interaction — повністю процитовано в тексті вище.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nProxmox, Media kit — «Don\u0026rsquo;t alter the logo or incorporate the logo or symbol into your logo.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\n","permalink":"https://blogs.damiendye.uk/uk/proxmox/branding-a-proxmox-vm/","summary":"Стандартна VM у Proxmox показує при завантаженні логотип Proxmox, пише Proxmox у рядку постачальника прошивки й називає себе QEMU в кожній таблиці SMBIOS. Цей допис замінює все це назвою твого продукту: типи SMBIOS 0, 1, 2, 3 і 11 із серійним номером і SKU, заповненими з власного імені й розміру VM, заставка SeaBIOS і її пастка з кольорами, брендований OVMF, зібраний із власного дерева Proxmox, або драйвер option ROM, що замінює логотип і BGRT за Secure Boot, не чіпаючи прошивку, і логотип вебінтерфейсу. Кожну зміну розміщено так, щоб оновлення не могло тихо її скасувати, а для тієї, яку оновлення може лишити небезпечно застарілою, тобто прошивки, є хук, який про це скаже.","title":"Брендування VM у Proxmox, і як зберегти бренд після наступного оновлення"},{"content":"Усе в цьому дописі запускалося на NetBox 4.7.2 на моєму власному столі, зі справжньою інфраструктурою всередині: один майданчик, одна шафа, чотирнадцять пристроїв, з кабелями, живленням і адресами, на трьох клієнтів. Кожен знімок екрана з цього екземпляра, і кожне повідомлення про помилку я справді отримав.\nІде все в тому порядку, в якому ти з цим зустрінешся. Що це таке, навіщо воно тобі, форк, про який ти почуєш протягом тижня пошуків, як його підняти, порядок, у якому його доводиться заповнювати, а потім що ти отримуєш назад. Налаштування й розширення в кінці, бо ніщо з цього не має сенсу, доки ти не побачиш форму того, що розширюєш.\nЩо таке NetBox NetBox це база даних із дуже конкретною думкою про те, з чого складається мережа, і вебзастосунок поверх неї. Це застосунок Django на PostgreSQL, він відкритий під Apache 2.0 відтоді, як DigitalOcean випустила його в червні 2016 року, а сьогодні проєкт опікується NetBox Labs разом із командою волонтерів-мейнтейнерів.12\nПід цим 149 моделей у десяти застосунках, доступних через 146 REST-ендпоінтів і один ендпоінт GraphQL. Пораховано на екземплярі, який я для цього збудував, а не прочитано зі сторінки можливостей:\nЗастосунок Моделі Застосунок Моделі dcim 56 virtualization 7 extras 23 tenancy 6 ipam 18 wireless 3 circuits 11 users 7 vpn 10 core 8 П’ятдесят шість із них це DCIM, фізичний рівень: майданчики, локації, шафи, типи пристроїв, пристрої та кожен вид порту, відсіку й кабельного закінчення, який може мати пристрій. Вісімнадцять це IPAM. Решта охоплює канали, тунелі й політики IKE, віртуальні машини й кластери, бездротові лінки, tenancy і механізми, що роблять усе це розширюваним.\nСуть не в кількості. Суть у зв’язках, і найшвидше це видно на екрані, яким NetBox найбільше відомий.\nПочни з шафи, бо це той екран, який продає всю річ.\nЦей вигляд намальовано з даних, а не завантажено. Кожен пристрій там, бо щось каже, що він займає ці юніти шафи, повернутий у той бік, а кольори беруться з ролі, яку ти йому дав. Заповненість простору показує 28,6 %, бо NetBox це порахував. Ніхто цю цифру не підтримує.\nЗвідси випливають дві речі, цінніші за картинку.\nМожна спитати, які юніти вільні, і отримати відповідь, за якою можна діяти. Можна також зарезервувати юніти до того, як у них щось встановлено, і в цьому різниця між продажем місця, яке в тебе є, і продажем місця, яке, як ти думаєш, у тебе є.\nЧого він свідомо не робить Продукт, який знає, чим він не є, трапляється рідше, ніж той, що робить усе погано, і власна документація NetBox каже про це прямо. Він не забезпечує моніторинг мережі, службу DNS, RADIUS, керування конфігураціями чи керування приміщеннями.1\nВажливіше, що він тримає бажаний стан твоєї мережі, а не її робочий стан, і документація каже, що автоматичний імпорт живого стану мережі «strongly discouraged», бо кожен запис спершу має перевірити людина.1\nНа цьому рішенні тримається все інше, і саме з ним люди сперечаються. Аргумент такий: джерело істини мало б бути істиною, тож виявляй мережу й завантажуй її. Відповідь у тому, що виявлена мережа каже тобі, що там є, а те, що там є, містить кожну помилку, яку будь-хто колись зробив. Порт комутатора, залишений у неправильному VLAN у 2021 році, це факт. Це не намір.\nNetBox тримає намір. Твій моніторинг тримає реальність. Цікава цифра це різниця між ними, а різницю з одного входу не порахуєш.\nІнший принцип сформульовано так само прямо: маючи вибір між відносно простим рішенням на вісімдесят відсотків і набагато складнішим повним, бери просте.1 Ти відчуєш це вперше, коли захочеш змоделювати щось, чого він не моделює, і ближче до кінця є ціла низка розділів про те, що робити, коли в це впираєшся.\nNetBox робить NetBox не робить Записує, що має бути Опитує, що є Тримає призначений VLAN для порту Каже тобі, що порт ліг Каже, якому клієнтові належить префікс Виставляє йому рахунок Рендерить конфігурацію пристрою з шаблону Відправляє її на пристрій Відстежує канал, провайдера й зобов’язання Моніторить канал Каже, в якій шафі пристрій і на якому U Відчиняє шафу Читай праву колонку як список інструментів, які тобі досі потрібні. Прочитай її неправильно, і ти спробуєш зробити з NetBox їх усіх, а саме так джерело істини стає ще однією системою, якій ніхто не довіряє.\nНавіщо він тобі Спитай постачальника керованих послуг, де живе авторитетний запис мережі клієнта, і отримаєш відповідь. Спитай двох його інженерів окремо, і отримаєш дві.\nОдин покаже на таблицю. Другий покаже на схему, востаннє збережену кимось, хто пішов у 2023 році. Ще хтось скаже, що документація це конфігурація брандмауера, що принаймні чесно, бо конфігурація таки описує, що робить коробка. Вона просто не описує, чому, хто про це просив і хто з чотирьох клієнтів за цією коробкою платить за правило.\nЗбій ніколи не в той день, коли ти помічаєш, що запис хибний. Він у той день, коли запис комусь потрібен.\nМомент Що ти маєш надати Чого коштує, коли не можеш Розмова про продовження Поштучний перелік того, що купує щомісячний платіж Пропозиція конкурента поштучна, бо вони пішли й порахували Інженер подає заяву про звільнення Усе, що він знав, записане Шість місяців з’ясовувань, по одному тікету за раз Клієнт іде Опис його власної інфраструктури Три тижні, щоб це зібрати, і відгук, який він дасть чесно Аудитор ставить питання про обсяг Які системи тримають персональні дані і де вони фізично Регулятору сказали щось, що потім виявилося неправдою Міграцію треба оцінити Підрахунок того, що там справді є Ти робиш ставку на оцінку й ковтаєш різницю Нічого з цього не екзотика. Це звичайний вівторок.\nТе, що ти з цього маєш, не документація. Документація це те, що пишеш, а потім перестаєш підтримувати. Ти маєш базу даних, яка відмовляється тримати суперечність і яка відповідає на питання, які ніхто не додумався поставити їй заздалегідь. Далі в цьому дописі є шафа, яка виявляється заповненою обладнанням на 28,6 відсотка і живленням на 90,7 відсотка. Ніхто не збирався цього шукати. Це випало саме, коли один раз ввели потужність на типі пристрою.\nЧесне застереження йде разом із цим, і останній розділ саме про нього. Запис вартий рівно стільки, скільки тобі коштує тримати його правильним. Але альтернатива це бізнес, який не може себе описати, і першим про це зазвичай дізнається клієнт.\nІнший: Nautobot Ти натрапиш на це приблизно за тиждень пошуків, тож варто знати, що сталося.\nУ 2021 році Network to Code форкнула NetBox і назвала результат Nautobot. Не м’який форк і не дистрибутив: жорсткий форк, який розходиться вже п’ять років. Його власні примітки до випуску v1.0 описують його як «a divergent fork of NetBox 2.10», репозиторій створено 19 лютого 2021 року, а v1.0.0 вийшла 26 квітня 2021 року.3\nЇхні заявлені причини є в їхньому власному блозі, і їх варто прочитати їхніми словами, а не моїми. Рушили це три речі. Вони хотіли продавати корпоративну підтримку: «We need to offer high-touch support models with Service Level Agreements (SLAs) we can guarantee. We need flexibility to offer Long-term Support (LTS) for customers who can\u0026rsquo;t upgrade at the pace of a fast moving open source project.» Вони хотіли, щоб джерело істини стояло в центрі платформи автоматизації, а не обслуговувало документацію. І «there became a growing divergence in our vision about what a Source of Truth for networking should look like and how to get there».4\nДо першої причини треба додати дату, бо вона перестала бути правдою. У лютому 2021 року за NetBox не стояло жодної компанії, яка могла б тобі щось продати. NetBox Labs заснували лише у 2023 році, виділивши з NS1 після того, як її придбала IBM, і співзасновником був головний мейнтейнер самого NetBox.5\nІ це не стороння фірма, що збудувала бізнес на чужому проєкті. NetBox Labs опікується NetBox: власна документація проєкту каже «the open source project is stewarded by NetBox Labs and a team of volunteer maintainers».1 Вони продають NetBox Enterprise для самостійних інсталяцій, хостять його для тебе як NetBox Cloud і пропонують підтримку 24/7.6\nТож «підтримку для NetBox купити не можна» було справедливо сказати, коли Network to Code форкнула, і несправедливо казати зараз. За обома проєктами стоїть комерційна компанія, яка щось підпише, і у випадку NetBox ця компанія і є та, що опікується проєктом.\nРядок, який більшість пропускає, наступний, і через нього це не брудна історія: «the NetBox project team suggested that we should consider forking.»\nЦе майже найцивілізованіший форк, який буває. Дві групи хотіли різного, довго про це казали і розійшлися, замість того щоб битися за одну кодову базу. Обидві половини досі під Apache 2.0. Ніхто не взяв нічого, на що не мав права.\nДля чого насправді був форк Примітки до випуску Nautobot 1.0 перелічують, що він додав відносно NetBox 2.10, і цей список пояснює суперечку краще за будь-який допис у блозі:3\nЩо Nautobot додав у 2021 році Де NetBox зараз Підтримка GraphQL У NetBox це є Інтеграція з Git як джерело даних У NetBox це є, як синхронізовані джерела даних Єдиний вхід (SSO) У NetBox це є Секрети У NetBox це є через плагін Скрипти й звіти, об’єднані в Jobs NetBox у 4.7 виносить скрипти в плагін Власні поля на всіх моделях NetBox має широку підтримку власних полів API плагінів для валідації даних NetBox має власні правила валідації Налаштовувані статуси як об’єкти бази даних Статуси NetBox досі це набір виборів Python Визначені користувачем зв’язки між моделями У NetBox відповідника немає Первинні ключі UUID NetBox використовує цілочислові ключі Покращення API плагінів Фреймворк плагінів NetBox відтоді дуже виріс Більша частина верхньої половини зійшлася. Кілька речей, які Nautobot випустив у 2021 році, з’явилися в NetBox згодом, і так зазвичай буває, коли два проєкти публічно розв’язують ті самі проблеми.\nНижні три не зійшлися, і вони архітектурні, а не косметичні. Я сьогодні перевірив обидві кодові бази, а не довірився приміткам 2021 року.\nStatus у Nautobot це модель бази даних, яку його власний код описує як «Model for database-backend enum choice objects», тож статус це рядок, який хтось може додати в інтерфейсі. Статуси NetBox беруться з набору виборів Python, і тому розділ про FIELD_CHOICES нижче додає статус редагуванням configuration.py і перезапуском. Nautobot має моделі Relationship і RelationshipAssociation, тож можна визначити зв’язок між двома наявними типами об’єктів без коду. Відповідь NetBox на цю проблему це плагін, і йому нижче присвячено цілу низку розділів. А первинні ключі Nautobot це UUID, тоді як у NetBox цілі числа.\nА ще вони зробили те, заради чого форкали. На сьогодні Nautobot випускає 3.2.x і 2.4.x того самого дня, і це справжня лінія довгострокової підтримки поруч із поточною, а це була одна з трьох заявлених причин.\nКотрий обрати Спершу чесні цифри. NetBox має 21 625 зірок і 3133 форки; Nautobot має 1617 і 422.7 В обидва пушили протягом останніх двох днів, обидва під Apache 2.0, і за обома тепер стоїть комерційна компанія, що продає підтримку й хостинг.\nЦей розрив не вирок якості. Він відображає п’ятирічну фору і те, що більшість людей, яким потрібне джерело істини, першим знаходять NetBox. Але він вирішує те, що зазвичай важить більше за можливості: скільки плагінів, інтеграцій, модулів Ansible, відповідей на форумах і колег ти знайдеш для того, який обереш.\nТож: якщо тобі потрібен інвентар і джерело істини, яке читають інші системи, і ти хочеш найбільшу екосистему й найлегший найм, відповідь NetBox, і про нього решта цього допису. Якщо ж твоя причина хотіти джерело істини саме в тому, щоб керувати з нього автоматизацією, або ти хочеш статуси й зв’язки, визначені твоєю командою, а не файлом конфігурації й перезапуском, то як слід подивися на Nautobot, перш ніж вирішувати.\nНе дай нікому продати тобі жоден із них лише на підтримці. Обидві сторони це тепер закривають, а відмінності, які будуть і через п’ять років, це ті, що в таблиці вище.\nЧого робити не варто, то це обирати один, бо хтось сказав тобі, що інший мертвий. Жоден не мертвий, і обидва ще цього тижня випускали релізи.\nЯк його запустити Два шляхи, і для цього я пройшов обидва. Контейнери, якщо хочеш, щоб працювало за двадцять хвилин, пакети на хості, якщо на ньому щось триматиметься.\nСтек контейнерів Спільнота підтримує netbox-docker, і це швидка відповідь:8\ngit clone -b release https://github.com/netbox-community/netbox-docker.git cd netbox-docker tee docker-compose.override.yml \u0026lt;\u0026lt;\u0026#39;EOF\u0026#39; services: netbox: ports: - 8000:8080 EOF docker compose pull docker compose up Це дає тобі застосунок, PostgreSQL, Redis і фоновий обробник, з’єднані докупи. Я зібрав те саме вручну під podman, щоб бачити частини, а частини варто знати, бо на двох із них люди спотикаються:\nКонтейнер Що робить Якщо його пропустити netbox Застосунок Django за gunicorn нічого не працює postgres База даних, 15 або новіша нічого не працює redis / valkey Дві бази даних: одна для завдань, одна для кешу нічого не працює netbox-worker rqworker, що розбирає чергу завдань вебхуки ніколи не спрацьовують, фонові завдання ніколи не запускаються, і ніщо тебе не попереджає netbox-housekeeping Періодичне прибирання записи журналу змін ніколи не застарівають Саме четвертий рядок. Без обробника все виглядає здоровим. Правила подій стають у чергу й там стоять.\nДві речі вкусили мене під час першого запуску, і жодної немає в повідомленні про помилку, яке ти шукав би.\nПерша міграція триває довго. Не хвилину. На цій машині кілька, бо NetBox 4.7 замінює django-mptt на ltree з PostgreSQL і дорогою перебудовує кожну ієрархічну таблицю. Контейнер просто сидить і застосовує міграції. Не чіпай його.\nБез API_TOKEN_PEPPERS не можна створити API-токен v2, і єдина ознака це попередження в журналі:\nUserWarning: API_TOKEN_PEPPERS is not defined. v2 API tokens cannot be used. Задай хоча б один, щонайменше п’ятдесят символів, перш ніж шукати, чому API тебе відкидає.\nНа хості, з пакетів Задокументований шлях протестовано на Ubuntu 24.04. Я пройшов його від початку до кінця на чистій системі, і вийшло ось що:\nКомпонент Що дала 24.04 Чого потребує NetBox 4.7 PostgreSQL 16.15 15 або новіший Redis 7.0.15 6.0 або новіший Python 3.12.3 3.12, 3.13 або 3.14 Django 6.1.1 іде з NetBox NetBox v4.7.2 Ці мінімуми власні для NetBox, і 4.7 підняв нижню межу і для PostgreSQL, і для Redis.9\nУся робота це п’ять кроків.\n# 1. the services sudo apt install -y postgresql redis-server sudo -u postgres psql -c \u0026#34;CREATE DATABASE netbox;\u0026#34; sudo -u postgres psql -c \u0026#34;CREATE USER netbox WITH PASSWORD \u0026#39;something-you-generated\u0026#39;;\u0026#34; sudo -u postgres psql -c \u0026#34;ALTER DATABASE netbox OWNER TO netbox;\u0026#34; sudo -u postgres psql -d netbox -c \u0026#34;GRANT CREATE ON SCHEMA public TO netbox;\u0026#34; # 2. the build dependencies sudo apt install -y python3 python3-pip python3-venv python3-dev build-essential libxml2-dev libxslt1-dev libffi-dev libpq-dev libssl-dev zlib1g-dev git # 3. the application, at a release tag rather than at main sudo mkdir -p /opt/netbox \u0026amp;\u0026amp; cd /opt/netbox sudo git clone https://github.com/netbox-community/netbox.git . sudo git checkout v4.7.2 sudo adduser --system --group netbox sudo chown -R netbox /opt/netbox/netbox/media/ /opt/netbox/netbox/scripts/ /opt/netbox/netbox/reports/ # 4. the configuration: five values, no more cd /opt/netbox/netbox/netbox/ sudo cp configuration_example.py configuration.py python3 /opt/netbox/netbox/generate_secret_key.py # run it twice sudo $EDITOR configuration.py # 5. let the upgrade script do the rest sudo /opt/netbox/upgrade.sh Ці п’ять значень це ALLOWED_HOSTS, DATABASES, REDIS, SECRET_KEY і API_TOKEN_PEPPERS. Останні два генеруй окремо й не використовуй одне замість іншого. Тож запусти генератор ключів двічі й встав результати в різні рядки.\nupgrade.sh будує віртуальне середовище, встановлює кожну залежність Python, запускає міграції, будує документацію для офлайн-використання і збирає статичні файли. Коли він завершується на свіжій машині, то друкує попередження, яке виглядає тривожно, але таким не є:\nWARNING: No existing virtual environment was detected. A new one has been created. Update your systemd service files to reflect the new Python and gunicorn executables. (If this is a new installation, this warning can be ignored.) Потім суперкористувач, і воно працює:\nsource /opt/netbox/venv/bin/activate cd /opt/netbox/netbox \u0026amp;\u0026amp; python3 manage.py createsuperuser Для чогось справжнього постав перед ним gunicorn, а не runserver. Конфігурація й unit-файли вже є в репозиторії, і цю деталь варто знати, бо люди пишуть свої:\nsudo cp /opt/netbox/contrib/gunicorn.py /opt/netbox/gunicorn.py sudo cp -v /opt/netbox/contrib/*.service /etc/systemd/system/ sudo systemctl daemon-reload sudo systemctl enable --now netbox netbox-rq netbox.service запускає gunicorn на 127.0.0.1:8001, netbox-rq.service запускає обробник, а nginx чи Apache стоїть попереду, щоб завершувати TLS і віддавати /static. Дві служби, і друга це той самий обробник, якого потребує стек контейнерів.\nПорядок, у якому його доводиться заповнювати Свіжий NetBox це порожня база даних з думками, і першу годину з ним зазвичай витрачаєш на те, щоб дізнатися, які це думки. Ідеш додати пристрій, а він не дає.\nЦі червоні зірочки і є весь урок. NetBox не запише річ, доки не існують речі, на яких вона висить, і він не вередує: пристрій без типу це рядок, який не може відповісти на жодне з питань, для яких існує пристрій.\nТож замість гадати я спитав модель, які зовнішні ключі справді обов’язкові, а потім спробував порушити кожне правило через API, щоб побачити, що повернеться.\nPOST /api/dcim/device-types/ no manufacturer {\u0026#34;manufacturer\u0026#34;: [\u0026#34;This field is required.\u0026#34;]} POST /api/dcim/devices/ no device type {\u0026#34;device_type\u0026#34;: [\u0026#34;This field is required.\u0026#34;]} POST /api/dcim/interfaces/ no device {\u0026#34;device\u0026#34;: [\u0026#34;This field is required.\u0026#34;]} POST /api/ipam/aggregates/ no RIR {\u0026#34;rir\u0026#34;: [\u0026#34;This field is required.\u0026#34;]} POST /api/circuits/circuits/ no provider, no type {\u0026#34;provider\u0026#34;: [\u0026#34;This field is required.\u0026#34;], \u0026#34;type\u0026#34;: [\u0026#34;This field is required.\u0026#34;]} POST /api/virtualization/virtual-machines/ nothing at all {\u0026#34;__all__\u0026#34;: [\u0026#34;A virtual machine must be assigned to a site, cluster, or device.\u0026#34;]} Кожен відмовив і сказав точно, чого бракує. Ось та сама інформація як список передумов:\nЩоб створити Спершу потрібно Необов’язково, але краще спершу Tenant нічого Tenant group Region, Site group нічого батьківський того самого виду, вони вкладаються Site нічого Region, Site group, Tenant Location Site батьківська Location, Tenant Rack type Manufacturer Rack Site Location, Rack group, Rack role, Rack type, Tenant Device type Manufacturer Device role нічого батьківська Device role, вони вкладаються Device Device role, Device type, Site Rack і позиція, Platform, Tenant Interface і кожен інший компонент Device Cable дві речі, на яких закінчуватися Tenant Aggregate RIR Tenant VLAN нічого VLAN group, Role, Tenant Prefix нічого Site, VLAN, Role, VRF, Tenant IP address нічого Interface, до якого її призначити, Tenant Circuit Provider і Circuit type Tenant Circuit termination Circuit Site, де приземлитися Cluster Cluster type Cluster group, Site, Tenant Virtual machine Site, Cluster або Device Platform, Tenant VM interface Virtual machine Друга колонка та, що тобі коштує. Префікси, IP-адреси, VLAN і tenant не потребують нічого, тож ніщо не заважає тобі створити їх першого ж дня в будь-якому порядку. Чи буде з них користь, інше питання, бо адреса без інтерфейсу за нею це рядок у списку, а пристрій без tenant це пристрій, який ти потім ще редагуватимеш.\nПорядок, у якому справді працювати Звідси виходить послідовність. Іди по ній згори вниз, і ніщо тобі ніколи не відмовить.\nСпершу те, на чому висить усе інше. Нічого з цього не захоплює, і все це дешево зробити неправильно.\nTenant groups, потім tenants. Зроби їх перед усім іншим. Двадцять вісім моделей приймають tenant, зокрема Site, Location і Rack, тож якщо клієнтів ще не існує, ти не зможеш проставляти їх по ходу і потім редагуватимеш масово. Regions і site groups. Обидва необов’язкові, обидва вкладаються самі в себе і не залежать одне від одного. Regions для географії, site groups для функції, і можна використовувати одне, обидва або жодного. Sites. Корінь майже всього. Site не потребує нічого, і тому це перше, що ти справді можеш створити. Locations. Їм потрібен site, і вони вкладаються, тож зала з рядами з подами це одна модель на три рівні вглиб. Rack roles і rack groups. Обидва необов’язкові. Rack groups пласкі й стоять поруч із locations як друга вісь, що зручно для рядів і подів. Manufacturers, потім rack types. Rack type потребує manufacturer. Пропусти rack types, якщо не моделюєш самі шафи. Racks. Їм потрібен site. Якщо ще й даєш location, ця location має належати цьому site, і NetBox це перевіряє. Потім каталог обладнання, а не саме обладнання. Перш ніж додати бодай один пристрій, тобі потрібні manufacturers, device types, device roles і, на практиці, platforms.\nManufacturers. Деякі в тебе вже можуть бути з кроку 6, бо rack types теж їх потребують. Як і module types. Device types, кожен потребує manufacturer. Device roles, які вкладаються, і platforms. Це крок, який люди пропускають, і саме він вирішує, скільки набирати доведеться в решті роботи. Device type несе власні інтерфейси, порти й відсіки як шаблони, тож кожен пристрій, створений із нього, приходить уже з правильними компонентами. Зроби тип правильно один раз, і встановлення сорока таких це сорок імен.\nPlatform у цьому списку дивакуватий, бо пристрій його строго не потребує. Однаково зроби його зараз. Саме він потім несе шаблон конфігурації і драйвер NAPALM, а повертатися, щоб проставити його на всій інфраструктурі, це той самий вечір, який ти витратив би на tenants.\nПотім саме обладнання.\nDevices. Role, type і site усі обов’язкові. Rack і position необов’язкові, а якщо їх даєш, вони мають узгоджуватися з site. Компоненти, якщо device type їх ще не дав. Кабелі між компонентами. Потім адресація, бо адресі потрібен інтерфейс, на якому жити, а інтерфейс з’являється лише після кроку 12.\nRIRs, потім aggregates. Ролі префіксів і VLAN, VRFs, VLAN groups, потім VLANs. Prefixes, потім окремі IP addresses. Потім комерційний шар.\nProviders, provider accounts і circuit types. Circuits, потім termination їх на sites. І віртуальна інфраструктура, яка віддзеркалює фізичну.\nCluster types і cluster groups, потім clusters. Virtual machines, яким потрібен site, cluster або device, потім їхні інтерфейси. Кроки з 1 по 10 це пообіддя, і вони відчуваються як адміністративна рутина. Нічого блискучого в них немає. Але саме це пообіддя вирішує, чи займе крок 11 ранок, чи два тижні.\nПравила, які кусають пізніше Обов’язкові поля це легка половина, бо вони падають одразу й кажуть чому. Людей ловлять правила узгодженості, які спрацьовують лише тоді, коли в тебе достатньо даних, щоб суперечити самому собі:\ndevice at Leeds, put in a Manchester rack {\u0026#34;rack\u0026#34;: [\u0026#34;Rack MCR1-A07 (A07) does not belong to site Leeds Edge.\u0026#34;]} device at Leeds, in a Manchester location {\u0026#34;location\u0026#34;: [\u0026#34;Location Hall 2 does not belong to site Leeds Edge.\u0026#34;]} rack at Leeds, in a Manchester location {\u0026#34;__all__\u0026#34;: [\u0026#34;Assigned location must belong to parent site (Leeds Edge).\u0026#34;]} a second device in a unit that is already taken {\u0026#34;position\u0026#34;: [\u0026#34;U39.0 is already occupied or does not have sufficient space to accommodate this device type: MX204 (1.0U)\u0026#34;]} На останнє я й показав би, якби хтось спитав, навіщо взагалі з цим морочитися. NetBox знає, що пристрій займає 1U, знає, що в шафі, і не дасть тобі записати дві речі в одне місце. Твоя таблиця дозволить це робити ціле пообіддя і не скаже ні слова, а дізнаєшся ти, коли хтось стоятиме в залі з коробкою в руках.\nЖодне з цього не налаштовується, і так і має бути. Це різниця між записом і бажанням.\nВикористання: що дає тобі кожен екран Із завантаженою інфраструктурою ось що ти справді з неї отримуєш. Усе нижче той самий екземпляр: одна шафа, чотирнадцять пристроїв, з кабелями й адресами, на трьох клієнтів.\nПристрій це його компоненти Клацни на один із цих гіпервізорів, і цікава вкладка не зведення, а інтерфейси.\nПрочитай один рядок упоперек. Інтерфейс, його швидкість, що ти про нього написав, адреса на ньому, мітка на кабелі і порт на дальньому кінці. Це один запит, і це відповідь на питання, яке всі насправді ставлять: «до чого це підключено».\nЗверни увагу, де сидить адреса. Вона на eno1, а не на сервері. Це звучить як буквоїдство, доки в тебе не з’явиться коробка з інтерфейсом керування, двома інтерфейсами даних і loopback, і хтось не спитає, яка адреса за неї відповідає. Модель, яка чіпляє адреси до пристроїв, сказати не може. Ця може, і вона ж тримає цілком звичайний випадок чотирьох адрес на одному інтерфейсі.\nІди за кабелем Кабелі закінчуються на компонентах, а не на пристроях. Інтерфейс з одного кінця, інтерфейс з іншого, або фронтальний порт, задній порт, розетка живлення, закінчення каналу. На цій деталі тримається вся функція, і тому список інтерфейсів вище міг надрукувати дальній кінець в окремій колонці без підказок.\nЗмоделюй кабель від пристрою до пристрою, і ти намалював картинку. Закінчи його на портах, і NetBox може по ньому пройти.\nТут один перехід, бо це кабель прямого підключення. Постав посередині патч-панелі, і він пройде їх, панель за панеллю, і скаже, що на дальньому кінці траси через три шафи. Інакше ця робота вимагає ліхтарика і когось, хто тримає інший кінець тонового тестера.\nТрасування також друкує повне розташування кожного кінця. Майданчик, зала, шафа, бік, юніт. Якщо ти колись був на дзвінку, намагаючись пояснити інженерові remote hands, на яку коробку дивитися, то вся цінність у цьому рядку.\nАдреси деревом, а не вкладкою IPAM це та половина, по яку люди приходять.\nВідступи обчислюються з самих адрес. Ти не кажеш NetBox, що 10.20.20.0/24 сидить усередині 10.20.0.0/16, він це з’ясовує сам і з’ясовуватиме далі, коли хтось наступного року додасть посередині /26.\nКожен рядок несе те, за чим ти справді фільтруєш: VLAN, на який він відображається, роль і клієнта, якому належить. Заповненість теж обчислюється.\nВідкрий один, і отримаєш адреси в ньому та прогалини.\nЦі зелені рядки це вільний простір, показаний упереміш із зайнятим. Є виклик API, який віддає тобі наступну вільну адресу з префікса, і це той шматок автоматизації IPAM, що окупається одразу, бо інакше люди роблять це, мружачись на таблицю й сподіваючись.\nІнтерфейс бере скільки завгодно адрес обох сімейств, і ти призначаєш по одній кожного як основну для пристрою.\nДві IPv4 і дві IPv6 на одному порту, звичайний вівторок і те, чого модель, зосереджена на пристроях, взагалі не може виразити.\nВводь адреси з маскою мережі, в якій вони є, а не як /32. NetBox прийме 10.20.20.11/32 і покладе її під правильний префікс, бо вкладеність обчислюється з адреси хоста. Чого він не зробить, то це не стане потім тебе перепитувати: маска зберігається точно як набрано і віддається тому, хто її читає, тож /32 на LAN-адресі рендериться як /32 у конфігурацію пристрою. Кусає це через три місяці в шаблоні конфігурації, а не сьогодні у формі.\nОдна інсталяція, три клієнти Більшість об’єктів у NetBox можна призначити tenant. Підприємство використовує це для бізнес-підрозділів. Якщо ти продаєш керовані послуги, створюєш по одному на клієнта.\nЦя панель справа і є відповіддю на «що має цей клієнт», і вона зібралася сама. Ні звіту, ні таблиці, ні розпитувань інженера, який це будував.\nВарто бути обережним із тим, що означає tenancy, бо помилка першого дня обертається роком розплутування. Tenant означає, що об’єкт виділений цьому клієнтові. Маршрутизатор, що обслуговує тільки його, отримує його tenant. Брандмауер, що обслуговує чотирьох, не належить жодному з них, тож не отримує нічого, а зв’язок записують деінде. Про це далі, бо саме тут більшість людей виявляє, що треба додати щось своє.\nЗапиши цифри на тип пристрою Це крок, що відрізняє інвентар від чогось, що відповідає на питання, і коштує він десь десять хвилин на тип пристрою.\nDevice type може нести свою вагу і, через шаблони портів живлення, своє споживання. Запиши їх на тип один раз, і кожен пристрій, який ти колись із нього створиш, їх успадкує. Пропусти їх, і NetBox охоче скаже тобі, що шафа заповнена на 28,6 %, і більше нічого.\nЯ записав вагу на всі п’ять типів тут, дав кожному два шаблони портів живлення з максимальним і виділеним споживанням, дав типу PDU вхід і дванадцять розеток, потім створив панель живлення і два фідери в шафу і з’єднав усе кабелями: PSU1 кожного пристрою до PDU A, кожен PSU2 до PDU B, а вхід кожного PDU до його фідера.\nТоді сторінка шафи повністю змінюється.\nЗаповненість простору 28,6 %. Заповненість живлення 90,7 %.\nЦя шафа на третину заповнена обладнанням і майже вичерпала живлення, і це факт про твою інфраструктуру, який жодна таблиця ніколи сама не повідомить. Це також факт, який вирішує, чи наступне замовлення встановлять сюди, чи деінде, і він випав із даних, які ти ввів один раз, на типах.\nДві речі, через які він показуватиме нуль Спершу я отримав 0,0 %, двічі, і обидві причини варто знати, бо жодна не дає помилки.\nРозетки мають посилатися на вхід. Розетка живлення на PDU має поле power_port, що вказує на вищий порт того самого пристрою. Залиш його порожнім, і ланцюжок розірвано: NetBox ніяк не дізнається, що ці дванадцять розеток живляться від цього входу, тож нічого не підсумовується.\nЗалиш поля споживання входу порожніми. Ця суперечить інтуїції. NetBox обчислює споживання порту живлення з того, що в нього ввімкнено, лише якщо обидва його власні поля споживання порожні:\nif self.allocated_draw is None and self.maximum_draw is None: ...aggregate the downstream power ports... # otherwise return {\u0026#39;allocated\u0026#39;: self.allocated_draw or 0, ...} Я послужливо поставив maximum_draw: 7400 на вхід PDU, бо на стільки PDU розрахований. NetBox тому мені повірив, вважав allocated_draw незаданим і показав нуль. Очисти обидва, і він порахує сам:\nmcr1-pdu-a INPUT -\u0026gt; allocated 5340 VA, maximum 8480 VA, across 12 outlets mcr1-pdu-b INPUT -\u0026gt; allocated 5340 VA, maximum 8480 VA, across 12 outlets feed MCR1-A07-A: available 5888 VA (230 V x 32 A x 80% max utilisation) RACK power utilisation: 90.7 % RACK weight: 166.6 kg of 900 kg Тож правило таке: став справжні цифри на листки, а проміжні порти лишай порожніми, щоб NetBox міг їх підсумувати. Адміністративно задане значення завжди перемагає обчислене, і це правильна поведінка, але саме те, чого не треба робити на PDU.\nОхолодження, яке нове Версія 4.7 додала охолодження в DCIM, і воно прийшло саме з тією половиною, що стає дорогою. Шафа несе cooling capability: повітря, гібрид або рідина, і потужність у кіловатах; device type несе cooling method. Над цим стоять джерела охолодження для чилерів і кондиціонерів CRAC, фідери охолодження, що представляють контур до шафи, а також компоненти входу й виходу на самих пристроях для холодних пластин і колекторів.\nШафа вище показує Hybrid, 15.00 kW, бо я так сказав шафі. Якщо цього року тобі привозять обладнання з рідинним охолодженням, ось модель для того, що ти зараз тримаєш у таблиці.\nОдна інсталяція, багато клієнтів Tenancy це причина, з якої провайдер може тримати один NetBox, а не по одному на клієнта, і варто розуміти, що вона робить і, важливіше, чого не робить.\nДвадцять вісім моделей NetBox мають поле tenant. Sites, locations, racks і резервації в шафах. Devices, cables і virtual device contexts. Prefixes, IP addresses, ranges, aggregates, VLANs, VLAN groups, VRFs, route targets, ASNs. Circuits і circuit groups. Clusters і virtual machines. Tunnels, L2VPNs, wireless LANs і links. Power feeds і cooling feeds.\nЦе кожен іменник, за який виставляють рахунок. Став його послідовно, і «що має цей клієнт» перестає бути розслідуванням.\nАле tenant це мітка, а не замок. Він каже, що об’єкт виділений цьому клієнтові. Він не заважає будь-кому, хто може увійти, читати все, і це нормально всередині однієї компанії і зовсім ні до чого тієї миті, коли в клієнта з’являється обліковий запис.\nЗвідси дві речі, і в другій люди помиляються.\nTenant означає виділений. Маршрутизатор, що обслуговує одного клієнта, отримує його tenant. Брандмауер, що обслуговує чотирьох, не належить жодному з них, тож не отримує нічого, а зв’язок ти записуєш на тому, що справді продав. Примусовий tenant на спільному обладнанні робить кожен звіт, побудований на tenancy, тихо хибним.\nА доступ це зовсім окремий механізм.\nІзоляція живе в дозволах Об’єктні дозволи NetBox приймають JSON-обмеження, і це обмеження є фільтром Django ORM. Він звужує queryset ще до того, як з нього щось будується, тож кожен вигляд, експорт, виклик API і пошук звужується разом із ним.\nРоботу роблять три поля. Типи об’єктів, до яких він застосовується, дії, які він дає, і те обмеження внизу. Решта це облік.\nОсь список пристроїв очима адміністратора.\nА ось та сама URL-адреса, та сама інсталяція, але з входом як клієнт.\nДва рядки замість чотирнадцяти, і подивися на ліве меню. Воно згорнулося до чотирьох речей, яких цьому обліковому запису дозволено торкатися. Ніхто цього не налаштовував. Навігація будується з тих самих дозволів, тож клієнт ніколи не бачить посилання на щось, що йому відмовить.\nДва способи, якими він каже «ні» Цю деталь варто знати, бо дві відмови означають різне, і обидві навмисні.\nТокен клієнта запитує Отримує /api/dcim/devices/ 200, один рядок із двох /api/dcim/devices/1/, свій 200 /api/dcim/devices/2/, чужий 404 /api/tenancy/tenants/ 403 /api/dcim/sites/, ніколи не наданий 403 взагалі без токена 403 404 означає, що тип твій, а рядок ні. Обмеження прибрало його з queryset, тож для цього запиту його не існує. 403 тут підтвердив би, що він є, і дав би цікавому клієнтові порахувати твою інфраструктуру, перебираючи ID.\n403 означає, що тип ніколи не був твоїм. Tenants і sites ніколи не надавалися, тож вони відмовляють прямо, і клієнт не може перелічити, хто ще є на платформі.\nПотім дай їм писати Тільки читання це легкий випадок. Справжнє питання в тому, чи можна довірити клієнтові права на редагування, тож я надав change під тим самим обмеженням і пішов шукати вихід.\nСпроба Результат Редагувати власний пристрій 200, збережено Редагувати пристрій іншого клієнта 404 Редагувати власний пристрій, перенісши його на tenant іншого клієнта 403 Видалити власний пристрій 403, видалення ніколи не надавалося Важить третій рядок. Перепризначити власний пристрій на чужий tenant це очевидна втеча, бо об’єкт усередині твого обмеження, коли запит приходить, і поза ним потім. NetBox перевіряє обмеження проти стану, в якому об’єкт залишиться, тож відмовляє. Я прочитав пристрій назад, а не повірив коду статусу, і tenant не зрушив.\nСаме цю діру лишає відкритою більшість саморобних мультитенантних рішень, і знаходить її зазвичай клієнт, а не тест.\nЗмінні, які мають успадковуватися Ось розрізнення, в якому люди помиляються, а правильне розуміння заощаджує багато редагування.\nВласне поле (custom field) це значення на одному об’єкті. Ти задаєш його для кожного об’єкта, і воно там лишається. Добре для факту про саму річ: інвентарний номер, номер контракту на підтримку, дата введення в експлуатацію.\nConfig context це значення, прив’язане до характеристики, яке успадковує все, що цій характеристиці відповідає. Добре для змінної, що має каскадувати: твої сервери NTP, цілі syslog, спільнота SNMP, домен DNS, VLAN керування, вікно резервного копіювання.\nЯкщо ти ловиш себе на тому, що задаєш те саме власне поле з тим самим значенням на сорока пристроях, тобі потрібен був config context.\nContext це довільний JSON, і його можна прив’язати до region, site group, site, location, device type, role, platform, cluster, cluster type, cluster group, tenant group, tenant або tag. Tenant у цьому списку є, а для провайдера це означає, що факт, правдивий для одного клієнта скрізь, іде за ним на кожен пристрій, який ти для нього колись додаси.\nЗлиття відбувається по ключах, і вага вирішує, хто виграє кожен.\nЧитай праву панель проти лівої. Регіон дає чотири ключі з вагою 1000. Майданчик дає один ключ із вагою 2000. Відрендерений context лишає домен регіону, сервери NTP і спільноту недоторканими й бере сервер syslog майданчика, бо це єдиний ключ, за який щось змагалося.\nТи пишеш виняток, а не свіжу копію всього з винятком усередині. У цьому вся цінність, і тому це масштабується там, де файл змінних на кожен пристрій не масштабується.\nЛокальний context перемагає все, що вище Стос успадкування має верх, і це сам об’єкт. Локальні дані context на пристрої перемагають кожен source context, що до нього застосовується, хоч би якою була їхня вага.\nЯ задав це на mcr1-core-01:\n{\u0026#34;syslog_servers\u0026#34;: [\u0026#34;10.20.10.99\u0026#34;], \u0026#34;note\u0026#34;: \u0026#34;this box logs somewhere else\u0026#34;} і його відрендерений context став:\n{ \u0026#34;note\u0026#34;: \u0026#34;this box logs somewhere else\u0026#34;, \u0026#34;domain\u0026#34;: \u0026#34;mcr1.example.net\u0026#34;, \u0026#34;ntp_servers\u0026#34;: [\u0026#34;172.16.10.22\u0026#34;, \u0026#34;172.16.10.33\u0026#34;], \u0026#34;snmp_community\u0026#34;: \u0026#34;n0rthwest\u0026#34;, \u0026#34;syslog_servers\u0026#34;: [\u0026#34;10.20.10.99\u0026#34;] } Локальний сервер syslog переміг і перевизначення майданчика з вагою 2000, і регіон із вагою 1000. Усе, про що він нічого не казав, далі успадковувалося, тож домен, сервери NTP і спільнота пройшли недоторканими, а новий ключ просто додався.\nЦе аварійний вихід для тієї однієї коробки, яка справді інша, і панель прямо каже тобі, що він перезаписує всі source contexts. Якщо ти ловиш себе на тому, що використовуєш його на багатьох пристроях, а не на одному, ти знайшов характеристику, спільну для цих пристроїв, і тобі потрібен був context, прив’язаний до неї.\nТри пастки Context без прив’язки глобальний. Створи його й забудь до чогось прив’язати, і він застосується до кожного пристрою й кожної віртуальної машини, які в тебе є. Це задокументована поведінка й іноді те, чого ти хочеш. А ще вона мовчазна.\nКлючі не можуть мати дефісів, якщо хочеш дістатися до них просто. Дані context це JSON, тож ntp-servers цілком законний, але імена змінних Jinja не є ключами JSON. {{ ntp-servers }} розбирається як віднімання і кидає UndefinedError: 'ntp' is undefined. Напиши {{ ntp_servers }} проти даних із дефісом, і отримаєш порожній рядок, HTTP 200 і жодного попередження ніде. Став підкреслення в ключах, і очевидний шаблон працює.\nПрофіль може зупинити друкарські помилки. Config context profile групує пов’язані contexts і перевіряє їхні дані за JSON-схемою під час збереження. Я дав одному схему, що вимагає syslog_servers як масив рядків IPv4, а потім зробив дві помилки, які люди справді роблять:\n{\u0026#34;syslog-server\u0026#34;: [\u0026#34;10.1.1.1\u0026#34;]} singular, by accident 400 Data does not conform to profile schema: \u0026#39;syslog-servers\u0026#39; is a required property {\u0026#34;syslog_servers\u0026#34;: [...], \u0026#34;syslog_port\u0026#34;: 99999} 400 Data does not conform to profile schema: 99999 is greater than the maximum of 65535 Відхилено там, де їх зробили, а не через чотириста пристроїв.\nРендеринг конфігурації Дані context плюс шаблон Jinja дають тобі файл конфігурації. Пристрій доступний як device, його злитий context доступний як звичайні змінні, і можна пройтися його компонентами.\nУсе на цій сторінці прийшло з різних місць, і в цьому суть:\nРядок Звідки взявся host-name mcr1-core-01 пристрій domain-name mcr1.example.net регіональний config context location \u0026quot;Manchester DC1 / MCR1-A07 / U39\u0026quot; майданчик, шафа і позиція в ній server 172.16.10.22 регіональний context, вага 1000 host 10.20.10.99 any notice власний локальний context пристрою, що переміг і майданчик, і регіон family inet address 10.20.10.11/24 адреса на цьому інтерфейсі, з маскою як набрано Шаблон шукається в пристрої, потім у ролі, потім у платформі, і запит падає, якщо жоден із трьох його не має. Тож ти призначаєш шаблон платформі один раз, і кожен пристрій із цим ПЗ рендериться з нього, якщо його роль чи сам пристрій не кажуть інакше. Для цього платформа й існує: операційна система чи сімейство ПЗ виробника, а не залізо.\nNetBox рендерить. Він не відправляє. Доставити результат на коробку це робота твоєї автоматизації, і того дня, коли помилка в шаблоні інакше переналаштувала б чотириста пристроїв, ти радітимеш, що це дві різні системи.\nПлагіни Плагін це застосунок Django, встановлений поруч із NetBox. Він може додавати моделі, сторінки, розширювати обидва API, вбудовувати вміст у наявні шаблони, додавати навігацію, черги фонових завдань і підвантажувати інші застосунки Django. Мало чого він не може, бо всередині це просто Django.\nВстановлення одного це чотири команди й перезапуск:\nsource /opt/netbox/venv/bin/activate pip install netbox-topology-views netbox-qrcode # add the package names to PLUGINS in configuration.py, then python3 manage.py migrate python3 manage.py collectstatic --no-input sudo systemctl restart netbox netbox-rq На стеку контейнерів ті самі пакети йдуть у plugin_requirements.txt, і ти перебудовуєш образ. Так чи так, фіксуй версії й спершу перевір матрицю сумісності, бо плагін, який не наздогнав реліз NetBox, не дасть запуститися всьому застосунку, замість того щоб вимкнути себе.\nОпублікований каталог налічує 31. Ось ті, про які варто знати, з ліцензією, під якою кожен справді постачається:\nПлагін Що робить Ліцензія DNS Зони, записи й сервери імен як джерело істини MIT BGP Сесії, спільноти й політики маршрутизації Apache 2.0 Topology Views Графічні карти топології, побудовані з твоїх кабелів Apache 2.0 Floorplan Графічні карти майданчиків і локацій LGPL 3.0 QR Code Коди на шафах, пристроях і кабелях для інвентарних наліпок Apache 2.0 ACLs Списки доступу й правила Apache 2.0 Prometheus SD Віддає Prometheus список хостів прямо з NetBox MIT Documents Документи, прикріплені до каналів і пристроїв Apache 2.0 Lifecycle Кінець життя обладнання, ліцензії й контракти Apache 2.0 Contract Контракти й рахунки MIT Reorder Rack Перетягування юнітів шафи Apache 2.0 Branching Ізольовані гілки твоїх даних, які можна зливати NetBox Limited Use Custom Objects Нові типи об’єктів, визначені в інтерфейсі NetBox Limited Use Prometheus SD це чесна форма всієї ідеї. NetBox знає, що існує, тож хай NetBox і каже системі моніторингу, і перестань підтримувати другий список хостів, який розповзається.\nОдне варто знати, перш ніж будувати на двох останніх рядках. Сам NetBox під Apache 2.0, і так відтоді, як DigitalOcean випустила його у 2016 році, а сьогодні проєкт опікується NetBox Labs разом із командою волонтерів-мейнтейнерів.21 NetBox Branching і NetBox Custom Objects ні: вони постачаються під NetBox Limited Use License 1.0, яка дає право використання «only as part of a NetBox installation obtained from NetBox Labs or a NetBox distributor authorized by NetBox Labs, and only for your own internal use» і не дає права використовувати ПЗ «to provide a managed service or software products that includes, integrates with, or extends NetBox in a way that competes with any product or service of NetBox Labs». Якщо ти встановив NetBox Community з GitHub і запускаєш його від імені клієнтів, прочитай умови сам, перш ніж ставити за ними схему.10 Власний посібник зі встановлення NetBox рекомендує обидва плагіни, не згадуючи про це.11\nВласні поля Власне поле додає атрибут до наявної моделі. Значення зберігаються як JSON поруч із кожним об’єктом, тож ні міграції, ні перезапуску, і є тринадцять типів, включно з посиланнями на один чи кілька інших записів NetBox.\nТут два поля, згруповані під заголовком «Asset», який я обрав сам. Зверни увагу на панель Dimensions праворуч від них: 9,5 kg, яких ніхто на цьому пристрої не набирав. Це прийшло з типу пристрою.\nВласні поля перевіряються, і це варто знати, бо це справжня відмінність від шляху нижче. Я дав полю контракту регулярний вираз, і API його застосував:\nPATCH {\u0026#34;custom_fields\u0026#34;: {\u0026#34;support_contract\u0026#34;: \u0026#34;nonsense\u0026#34;}} {\u0026#34;__all__\u0026#34;: [\u0026#34;Invalid value for custom field \u0026#39;support_contract\u0026#39;: Value must match regex \u0026#39;^[A-Z]{2,4}-[0-9]{6}$\u0026#39;\u0026#34;]} У 4.7 змінилися дві речі, що важать на масштабі. Створення поля зі значенням за замовчуванням або видалення поля має переписати збережені дані кожного об’єкта, до якого воно застосовується, тож на великій таблиці цю роботу віддають фоновому завданню, і поле поки що показує «provisioning» або «deleting». Поле живе, лише поки воно активне: під час будь-якої з цих операцій воно не з’являється на об’єктах, у формах, у фільтрах чи в жодному з API. Для цього потрібен запущений обробник, інакше воно сидітиме в цьому стані безкінечно.\nВикористовуй власне поле, коли додаєш факт про саму річ. Використовуй config context, коли значення має каскадувати. Використовуй наступний розділ, коли потрібної тобі речі не існує.\nВласні меню вибору і перевизначення того, що постачається Під цим заголовком живуть два різні механізми, і вони розв’язують різні проблеми. Один для твоїх власних полів. Другий переписує поля NetBox.\nChoice set для твого власного поля вибору Власне поле типу «selection» бере свої варіанти з choice set, а це об’єкт, яким ти керуєш в інтерфейсі, як і всім іншим. Тож «рівень підтримки» стає справжнім випадним списком, а не вільним текстом, який хтось напише трьома способами.\nЦе застосовується, і через API теж:\nPATCH {\u0026#34;custom_fields\u0026#34;: {\u0026#34;support_tier\u0026#34;: \u0026#34;platinum\u0026#34;}} {\u0026#34;__all__\u0026#34;: [\u0026#34;Invalid value for custom field \u0026#39;support_tier\u0026#39;: Invalid choice (platinum) for choice set Support tier.\u0026#34;]} Choice sets спільні, тож один набір може обслуговувати те саме поле на кількох моделях, і зміна списку в одному місці змінює його всюди.\nFIELD_CHOICES для власних полів NetBox Про це люди не знають. Кілька вбудованих полів вибору NetBox можна розширити або замінити з configuration.py, зокрема статус пристрою, статус майданчика, статус шафи, статус каналу й багато інших.12\nДодай знак плюс, щоб доповнити те, що постачається. Пропусти його, щоб замінити список повністю.\nFIELD_CHOICES = { # add to what NetBox ships with \u0026#39;dcim.Device.status+\u0026#39;: ( (\u0026#39;burn-in\u0026#39;, \u0026#39;Burn-in\u0026#39;, \u0026#39;cyan\u0026#39;), {\u0026#39;value\u0026#39;: \u0026#39;awaiting-rma\u0026#39;, \u0026#39;label\u0026#39;: \u0026#39;Awaiting RMA\u0026#39;, \u0026#39;color\u0026#39;: \u0026#39;orange\u0026#39;, \u0026#39;description\u0026#39;: \u0026#39;Faulty, with the vendor\u0026#39;}, ), # replace the stock list outright \u0026#39;dcim.Site.status\u0026#39;: ( (\u0026#39;surveyed\u0026#39;, \u0026#39;Surveyed\u0026#39;, \u0026#39;purple\u0026#39;), (\u0026#39;building\u0026#39;, \u0026#39;Building out\u0026#39;, \u0026#39;orange\u0026#39;), (\u0026#39;active\u0026#39;, \u0026#39;Active\u0026#39;, \u0026#39;green\u0026#39;), (\u0026#39;closing\u0026#39;, \u0026#39;Closing\u0026#39;, \u0026#39;red\u0026#39;), ), } Я поставив саме це на цей екземпляр. Статус пристрою повернувся із сімома стандартними значеннями і двома моїми:\noffline, active, planned, staged, failed, inventory, decommissioning, burn-in, awaiting-rma а статус майданчика повернувся лише з моїми, стандартний список зник:\nsurveyed, building, active, closing Варіант може бути простим кортежем зі значення, мітки й кольору або словником, який також приймає опис, що показується підзаголовком у формі. І вони поводяться як рідні значення всюди, бо для решти NetBox вони і є рідними значеннями:\nЦей значок мій статус, у моєму кольорі, і сортується й фільтрується як будь-який інший.\nТри речі варто знати, перш ніж це використовувати.\nЗаміна видаляє стандартні значення з меню, а не з бази даних. Будь-який об’єкт, що вже має одне з них, його зберігає, але значення більше не пропонується і не буде допустимим вибором, коли хтось наступного разу редагуватиме цей об’єкт. Якщо замінюєш список, перевір, що ніщо не сидить на значенні, яке ти щойно прибрав.\nЦе живе у файлі конфігурації, тож потребує перезапуску, і це не те, що може змінити користувач інтерфейсу. Для провайдера так і має бути: набір статусів, які визнає твій бізнес, це рішення врядування, а не щось, що вирішують між іншим у вівторок по обіді.\nРозширюй, перш ніж замінювати. Стандартні значення це те, що очікує бачити кожен плагін, скрипт та інтеграція. Доповнення нічого не коштує. Заміна це рішення, яке належить тобі назавжди.\nВласні об’єкти Ось справжня прогалина. NetBox моделює кластери, віртуальні машини й віртуальні диски. Він не моделює datastore, на якому ці диски насправді живуть, а для будь-кого, хто запускає Proxmox чи VMware, саме цей об’єкт з’єднує куплене сховище з навантаженням, що його використовує.\nПлагін Custom Objects дає визначити новий тип об’єкта з інтерфейсу чи API, без жодного коду. Отже:\nСім полів, два з яких і є вся суть. cluster це одне посилання на справжній кластер NetBox, встановлене на protect, щоб ніхто не міг видалити кластер з-під його сховища. provisioned_by це посилання на кілька пристроїв, які його справді обслуговують.\nЦе дає тобі повноцінний об’єкт із власним пунктом навігації, списком, фільтрами, імпортом і експортом:\nА оскільки посилання справжні, зв’язок видно і з іншого кінця. Відкрий кластер, і datastores перелічено при ньому.\nВласний тип об’єкта успадковує більшість того, що робить об’єкт NetBox об’єктом NetBox: список і детальний вигляд, пункт навігації, REST-ендпоінти, повнотекстовий пошук, журнал змін, журналювання, теги, закладки, імпорт і експорт, правила подій і сповіщення. Нічого з цього не довелося писати.\nІ це не JSON-блоб, що вдає таблицю. Плагін виконує справжній DDL, і в PostgreSQL з’являється справжня таблиця зі справжніми обмеженнями:\nTable \u0026#34;public.custom_objects_2\u0026#34; Column | Type | Nullable | Default -----------------+----------+----------+------------------ id | bigint | not null | identity name | varchar | | cluster_id | bigint | | backing | varchar | | capacity_gb | bigint | | thin_provisioned| boolean | | Indexes: \u0026#34;custom_objects_2_name_key\u0026#34; UNIQUE CONSTRAINT, btree (name) Foreign-key constraints: ... FOREIGN KEY (cluster_id) REFERENCES virtualization_cluster(id) ON DELETE RESTRICT protect, про який я просив, став ON DELETE RESTRICT, і це працює: видалення цього кластера повертає 409 з назвою того, що від нього залежить.\nДві речі, які варто знати, перш ніж на це покладатися Валідація у формі, а не в API. Саме це спіймало б автоматизацію. Я оголосив required, регулярний вираз і числові межі на полях власного типу об’єкта, а потім записав у них через REST API:\nЩо я оголосив Що я надіслав Результат validation_regex значення, що ні з чим не збігається 201 Created required: true поле пропущене повністю 201 Created validation_minimum: 1 від’ємне число 201 Created unique: true дублікат 400, відхилено on_delete_behavior: protect видалити об’єкт, на який посилаються 409, відхилено Встояли саме ті два, що стали обмеженнями бази даних. Решта існують лише у вебформі, тож людина, яка набирає, обмежена, а нічна синхронізація ні. Порівняй із базовим власним полем вище, де той самий регулярний вираз застосовувався через API. Доки це не зміниться, став усе, від чого залежить рахунок, за справжнє обмеження.\nВидалення типу видаляє таблицю. Видалення поля видаляє колонку. Це DDL із вебформи, виконаний тим, хто має дозвіл, і документація так і каже.13 Обмеж, хто може їх видаляти.\nКоли натомість писати справжній плагін Якщо об’єкт важливий, якщо в нього пише автоматизація і якщо тебе засмутить сміття в ньому, напиши модель сам. Мінімальний плагін NetBox це PluginConfig, модель, серіалізатор, viewset, таблиця, форма, кілька виглядів і мапа URL, і разом це менше двохсот рядків переважно оголошень. Наслідування від PrimaryModel дає тобі задарма теги, власні поля, журнал змін, журналювання, шаблони експорту і власність, а кожне обмеження, яке ти ставиш на модель, застосовується скрізь, бо його виконує власний механізм серіалізаторів NetBox.\nЄ шаблон cookiecutter і повний посібник із плагінів, які підтримує спільнота. Починай із них, а не з порожньої теки.\nІ ліцензія буде та, яку обереш ти, і ніхто не зможе її потім змінити.\nВласна валідація і класи валідації Усе вище про те, щоб записати, що є. Це про те, щоб відмовитися записувати те, чого не має бути.\nNetBox перевіряє кожен об’єкт, перш ніж його записати, і ти можеш додати поверх власні правила. Механізмів три, усі живуть у configuration.py, і разом вони покривають майже все, чого потребує внутрішній стандарт.\nПерший: прості правила, без коду Валідатор може бути простим відображенням імен полів на умови. Без Python, і він переноситься між інсталяціями, бо це просто дані.\nCUSTOM_VALIDATORS = { \u0026#39;dcim.site\u0026#39;: ( {\u0026#39;description\u0026#39;: {\u0026#39;required\u0026#39;: True}}, ), \u0026#39;dcim.device\u0026#39;: ( {\u0026#39;name\u0026#39;: {\u0026#39;regex\u0026#39;: r\u0026#39;^[a-z0-9]+-[a-z]+-([0-9]{2}|[a-z])$\u0026#39;}}, ), } Доступні умови: min, max, min_length, max_length, regex, required, prohibited, eq і neq. Можна дотягнутися до пов’язаного об’єкта через шлях із крапками, тож region.name на майданчику цілком годиться, і можна зіставляти з request.user.username, хоча документація цілком слушно каже тобі використовувати для цього дозволи.\nОбидва ці правила спрацьовують одразу:\nPOST a site with no description {\u0026#34;__all__\u0026#34;: [\u0026#34;Custom validation failed for description: [\u0026#39;This field must not be empty.\u0026#39;]\u0026#34;]} POST a device named \u0026#34;Server1\u0026#34; {\u0026#34;__all__\u0026#34;: [\u0026#34;Custom validation failed for name: [\u0026#39;Enter a valid value.\u0026#39;]\u0026#34;]} Друге це стандарт іменування, що застосовується. Не записаний на сторінці вікі, не в чиїйсь голові, не те, за що новачкові дорікнуть на рев’ю через три тижні. База даних цього не прийме.\nДругий: клас валідатора, коли правило це речення Прості правила перевіряють одне поле проти константи. Справжні внутрішні правила зазвичай умовні: це важить лише тоді, коли те. Для них ти наслідуєш CustomValidator, перевизначаєш validate() і викликаєш fail().\nЯ поклав три в модуль /opt/netbox/netbox/house_rules.py:\nfrom extras.validators import CustomValidator class BillableKitNamesItsCustomer(CustomValidator): \u0026#34;\u0026#34;\u0026#34;Anything in a role we sell has to say whose it is.\u0026#34;\u0026#34;\u0026#34; BILLABLE_ROLES = {\u0026#39;hypervisor\u0026#39;} def validate(self, instance, request): role = getattr(instance, \u0026#39;role\u0026#39;, None) if role and role.slug in self.BILLABLE_ROLES and not instance.tenant: self.fail( f\u0026#34;A {role} is billable kit, so it must name the customer it belongs to.\u0026#34;, field=\u0026#39;tenant\u0026#39;, ) class RackedDeviceNeedsAPosition(CustomValidator): \u0026#34;\u0026#34;\u0026#34;A device in a rack with no rack unit is a device nobody can find.\u0026#34;\u0026#34;\u0026#34; def validate(self, instance, request): if instance.rack and instance.position is None: if instance.device_type and instance.device_type.u_height: self.fail( \u0026#34;A device in a rack needs a rack unit. Somebody has to find it.\u0026#34;, field=\u0026#39;position\u0026#39;, ) class CustomerPrefixNeedsATenant(CustomValidator): \u0026#34;\u0026#34;\u0026#34;A customer prefix that names no customer cannot be billed.\u0026#34;\u0026#34;\u0026#34; def validate(self, instance, request): role = getattr(instance, \u0026#39;role\u0026#39;, None) if role and role.slug == \u0026#39;customer\u0026#39; and not instance.tenant: self.fail( \u0026#34;A customer prefix must be assigned to a tenant.\u0026#34;, field=\u0026#39;tenant\u0026#39;, ) і підключив їх за шляхом із крапками:\nCUSTOM_VALIDATORS = { \u0026#39;dcim.device\u0026#39;: ( {\u0026#39;name\u0026#39;: {\u0026#39;regex\u0026#39;: r\u0026#39;^[a-z0-9]+-[a-z]+-([0-9]{2}|[a-z])$\u0026#39;}}, \u0026#39;house_rules.BillableKitNamesItsCustomer\u0026#39;, \u0026#39;house_rules.RackedDeviceNeedsAPosition\u0026#39;, ), \u0026#39;ipam.prefix\u0026#39;: ( \u0026#39;house_rules.CustomerPrefixNeedsATenant\u0026#39;, ), } Зверни увагу, що модель бере кортеж валідаторів, прості правила й класи впереміш, і всі вони виконуються. Навіть один валідатор треба передати як ітерований об’єкт, і на цьому легко загубити п’ять хвилин.\nПотім правила роблять те, що кажуть:\nPOST a hypervisor with no tenant {\u0026#34;tenant\u0026#34;: [\u0026#34;A Hypervisor is billable kit, so it must name the customer it belongs to.\u0026#34;]} POST a device into a rack with no position {\u0026#34;position\u0026#34;: [\u0026#34;A device in a rack needs a rack unit. Somebody has to find it.\u0026#34;]} POST a prefix with role \u0026#34;customer\u0026#34; and no tenant {\u0026#34;tenant\u0026#34;: [\u0026#34;A customer prefix must be assigned to a tenant.\u0026#34;]} POST a leaf switch with no tenant accepted, because a leaf switch is not in BILLABLE_ROLES Оскільки fail() приймає field, повідомлення потрапляє на правильне поле у формі, а не вгору сторінки, і це різниця між правилом, яке люди засвоюють, і правилом, яке вони зненавидять.\nЦе також відповідь на прогалину в розділі про власні об’єкти. Валідація там існувала лише у вебформі. CustomValidator виконується на рівні моделі, тож застосовується до інтерфейсу, REST API, мутацій GraphQL, масових імпортів і всього, що робить скрипт. Є одне місце, щоб написати правило, і немає способу його обійти.\nТретій: правила захисту для видалення CUSTOM_VALIDATORS охороняє запис. PROTECTION_RULES охороняє видалення, і приймає точно ті самі дві форми.\nPROTECTION_RULES = { \u0026#39;dcim.device\u0026#39;: ( {\u0026#39;status\u0026#39;: {\u0026#39;eq\u0026#39;: \u0026#39;offline\u0026#39;}}, ), } Це каже, що пристрій можна видалити лише тоді, коли він offline. Що дає:\nDELETE an active device {\u0026#34;detail\u0026#34;: \u0026#34;Deletion is prevented by a protection rule: [\\\u0026#34;Custom validation failed for status: [\u0026#39;Ensure this value is equal to offline.\u0026#39;]\\\u0026#34;]\u0026#34;} set it to offline, then DELETE 204 No Content Два натискання клавіш тертя між кимось і живим пристроєм, і це найдешевша страховка в усьому застосунку. Зроби процес виведення з експлуатації тим, що розблоковує кнопку видалення.\nТой, що тебе спіймає Наявні дані не перевіряються, доки ти їх наступного разу не торкнешся. Додавання правила не повертається назад і не перевіряє те, що вже є. Воно тихо сидить, доки хтось не збереже об’єкт, що його порушує, і тоді ця людина отримує помилку про рішення, до якого не мала жодного стосунку.\nЯ бачив, як це стається. mcr1-hv-06 створено до того, як я написав щось із цього, як гіпервізор без tenant. Він собі спокійно сидів. Потім я відредагував його опис:\nPATCH {\u0026#34;description\u0026#34;: \u0026#34;touching it to trigger revalidation\u0026#34;} {\u0026#34;tenant\u0026#34;: [\u0026#34;A Hypervisor is billable kit, so it must name the customer it belongs to.\u0026#34;]} Редагування не мало жодного стосунку до tenant. Правило однаково спрацювало, бо валідація виконується на всьому об’єкті.\nЦе правильна поведінка, і саме так нове правило перетворюється на тікет у підтримку. Перш ніж його вмикати, зроби запит на об’єкти, які його не пройдуть, і спершу виправ їх. API робить це легким: правило це фільтр, тож попроси пристрої з цією роллю і без tenant, і ось твій список.\nВмикай правило після цього. Тоді воно ловитиме лише нові помилки, а для цього воно й існує.\nКерування з Ansible Джерело істини, яке ніхто не читає, згниє. Колекція netbox.netbox це те, як більшість людей цьому запобігає, і вона працює в обидва боки: NetBox каже Ansible, що існує, а Ansible каже NetBox, що він збудував.\nВона на версії 3.23.0, під ліцензією GPL-3.0, і її завантажили з Galaxy понад 13,4 мільйона разів. Вона несе 91 модуль і один плагін інвентарю.14 Усе нижче запускалося проти того самого екземпляра, з контейнера, в якому не було нічого, крім ansible-core 2.21.4, pynetbox 7.8.0 і колекції.\nІнвентар це запит, а не файл Це та половина, що окупається першого ж пообіддя. nb_inventory будує твій інвентар Ansible прямо з NetBox:\nplugin: netbox.netbox.nb_inventory api_endpoint: http://netbox:8080 token: \u0026#34;{{ lookup(\u0026#39;env\u0026#39;, \u0026#39;NETBOX_TOKEN\u0026#39;) }}\u0026#34; config_context: false group_by: - sites - device_roles - tenants - racks device_query_filters: - has_primary_ip: true Це дає ось що, і ніхто не підтримує список хостів:\n@sites_manchester-dc1: @device_roles_hypervisor: |--mcr1-core-01 |--mcr1-hv-01 |--mcr1-core-02 |--mcr1-hv-02 |--mcr1-hv-01 |--mcr1-hv-03 |--mcr1-hv-02 |--mcr1-hv-04 ... |--mcr1-hv-05 @racks_MCR1-A07: @tenants_ravenscroft-legal: |--mcr1-core-01 |--mcr1-hv-01 |--mcr1-core-02 |--mcr1-hv-02 ... @tenants_padgate-foods: @device_roles_core-router: |--mcr1-hv-03 |--mcr1-core-01 |--mcr1-hv-04 |--mcr1-core-02 @tenants_hartley-components: |--mcr1-hv-05 Подивися на праву колонку. Оскільки tenancy задано на пристроях, ти отримуєш групу на кожного клієнта задарма, тож --limit tenants_ravenscroft-legal запускає play рівно проти обладнання одного клієнта. Додай пристрій у NetBox, і він у групі під час наступного запуску. Виведи один з експлуатації, і його немає. Ніхто нічого не редагує.\nКожен хост приходить із тим, що NetBox про нього знає:\nansible_host \u0026#34;2001:db8:20:20::11\u0026#34; primary_ip4 \u0026#34;10.20.20.11\u0026#34; primary_ip6 \u0026#34;2001:db8:20:20::11\u0026#34; device_roles [\u0026#34;hypervisor\u0026#34;] sites [\u0026#34;manchester-dc1\u0026#34;] racks [\u0026#34;MCR1-A07\u0026#34;] tenants [\u0026#34;ravenscroft-legal\u0026#34;] device_types [\u0026#34;sys-1029u-tn10rt\u0026#34;] manufacturers [\u0026#34;supermicro\u0026#34;] status {\u0026#34;label\u0026#34;: \u0026#34;Active\u0026#34;, \u0026#34;value\u0026#34;: \u0026#34;active\u0026#34;} Двадцять два ключі загалом, і один із них варто помітити, перш ніж він тебе здивує. ansible_host це адреса IPv6, бо цей пристрій має задану основну v6. Я перевірив на двох інших, які мають лише v4, і вони повернулися з v4, тож правило таке: плагін віддає перевагу v6, коли основна v6 існує. Що правильно, і що краще виявити зараз, ніж тоді, коли гадаєш, чому play підключається шляхом, про який ти не думав.\nЗапис назад Модулі це інший напрямок, і найцінніший із них виділення IP, бо NetBox знає, що вільне, а твій плейбук ні.\n- name: Rack the device netbox.netbox.netbox_device: netbox_url: \u0026#34;{{ nb_url }}\u0026#34; netbox_token: \u0026#34;{{ nb_token }}\u0026#34; data: name: mcr1-hv-07 device_type: SYS-1029U-TN10RT device_role: Hypervisor site: Manchester DC1 rack: MCR1-A07 position: 14 face: Front tenant: Hartley Components state: present - name: Let NetBox pick the next free address out of the customer prefix netbox.netbox.netbox_ip_address: netbox_url: \u0026#34;{{ nb_url }}\u0026#34; netbox_token: \u0026#34;{{ nb_token }}\u0026#34; data: prefix: 10.20.22.0/24 tenant: Hartley Components assigned_object: device: mcr1-hv-07 name: eno1 state: new Зверни увагу, чого там немає. Немає IP-адреси. Ти називаєш префікс, і NetBox віддає наступну вільну:\nTASK [Let NetBox pick the next free address out of the customer prefix] **** changed: [localhost] \u0026#34;device : mcr1-hv-07 (created)\u0026#34; \u0026#34;interface: eno1 (created)\u0026#34; \u0026#34;address : 10.20.22.1/24 (allocated)\u0026#34; І за секунду вона вже в інтерфейсі, ще ні до чого не під’єднана кабелем, але встановлена в шафу, з tenant і з адресою:\nПастка в цьому плейбуку Запусти його вдруге, не змінивши жодного рядка, і стається ось що:\n\u0026#34;device : mcr1-hv-07 (already correct)\u0026#34; \u0026#34;interface: eno1 (already correct)\u0026#34; \u0026#34;address : 10.20.22.2/24 (allocated)\u0026#34; Пристрій та інтерфейс ідемпотентні. Адреса ні, і це не баг. state: present означає «зроби, щоб виглядало так». state: new означає «дай мені нову», щоразу, і саме це він і зробив: дві адреси на одному інтерфейсі після двох запусків.\nЦе нормально, коли ти справді щось нове розгортаєш, і воно тихо з’їсть префікс, якщо поставиш його в завдання, що запускається щоночі. Виділи один раз і запиши результат, або використовуй state: present з адресою, яка в тебе вже є. Модуль робить те, що ти просив. Питання в тому, чи просив ти те, що мав на увазі.\nЦе не лише Ansible Колекція отримує увагу, бо Ansible це там, де вже є більшість мережевих команд, але продукт це API, і його розмовляє багато чого.\nЩо Що це Ліцензія pynetbox Клієнт Python, яким користується сама колекція Apache 2.0 terraform-provider-netbox Керування об’єктами NetBox як ресурсами Terraform, активно підтримується e-breuninger MPL 2.0 nornir_netbox NetBox як інвентар Nornir, для тих, хто пише Python, а не YAML Apache 2.0 Prometheus SD Віддає Prometheus цілі для збору прямо з NetBox MIT go-netbox Клієнт Go, хоча його не чіпали з травня 2025 року див. репозиторій Diode Власний конвеєр NetBox Labs для заливання виявлених даних NetBox Limited Use Terraform тут цікавий для всіх, хто вже так керує інфраструктурою, бо дає одному плану створити хмарний ресурс і запис NetBox, що його документує, замість лишати другу половину на чиюсь пам’ять.15\nDiode має ту саму ліцензію, що Branching і Custom Objects, тож те саме прочитання застосовується, перш ніж на ньому будувати.\nЩо насправді купує це пообіддя Усе вище забрало в мене день на одній машині, і більшість цього дня пішла на засівання даних, щоб на екранах щось було. Встановлення займає двадцять хвилин будь-яким шляхом. Рішення це та частина, що важить, і всі вони ухвалюються за першу годину: tenants перед усім, типи пристроїв перед пристроями, цифри на типах, а не на обладнанні.\nТе, що ти за це отримуєш, не документація. Ніхто не бачить цієї різниці, доки не мав обох: документація це те, що пишеш, а потім перестаєш підтримувати. Ти отримуєш базу даних, яка відмовляється тримати суперечність: вона не дасть поставити дві речі в один юніт, шафу в локацію, що належить іншому майданчику, чи пристрій на тип, якого не існує. Кожна з цих відмов це суперечка, якої в тебе не буде через пів року.\nІ вона скаже тобі речі, про які її ніхто не питав. Ця шафа заповнена обладнанням на 28,6 % і живленням на 90,7 %. Ніхто не збирався цього шукати. Це випало з того, що один раз записали потужність на тип пристрою, і це різниця між тим, щоб встановити наступне замовлення там, і тим, щоб дізнатися на власній шкурі.\nЧесне застереження те саме, що й у кожного джерела істини. Воно варте рівно стільки, скільки тобі коштує тримати його правильним, і єдина версія цього, що переживе завантажений квартал, та, де щось помітно ламається, коли дані хибні. Підключи свій моніторинг, розгортання чи правила брандмауера так, щоб вони з нього читали, і хибний запис перестає бути проблемою документації, до якої хтось колись дійде. Він стає аварією о пів на десяту у вівторок, із чиїмось ім’ям на ній. Це звучить як витрата. Це і є весь механізм.\nНіхто тобі за це й не подякує. Правильний запис проявляється як міграція, що забрала два тижні замість кварталу, аудит, що забрав пообіддя, клієнт, який отримав пряму відповідь телефоном. Нічого з цього не з’являється у звіті поруч із твоїм ім’ям.\nОднаково роби це. Альтернатива це бізнес, який не може себе описати, а бізнес, який не може себе описати, ніхто не веде. Його пам’ятають, і щороку все менше людей.\nNetBox, Introduction — «Today, the open source project is stewarded by NetBox Labs and a team of volunteer maintainers», а також походження в DigitalOcean у 2015 році, відкриття коду в червні 2016.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNetBox, LICENSE.txt — Apache License 2.0, copyright DigitalOcean, LLC. Походження та опіка над проєктом за вступом.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nПримітки до випуску Nautobot v1.0.0 — «a divergent fork of NetBox 2.10», опубліковано 26 квітня 2021, і список того, що він додав відносно NetBox 2.10.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNetwork to Code, \u0026ldquo;Why Did Network to Code Fork NetBox?\u0026rdquo;, 25 лютого 2021 — аргументи щодо SLA та довгострокової підтримки, розбіжність бачення і «the NetBox project team suggested that we should consider forking».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNetBox Labs заснували у 2023 році як компанію, виділену з NS1 після її придбання IBM, співзасновником став головний мейнтейнер NetBox Jeremy Stretch, і у квітні 2023 року вона оголосила раунд Series A на 20 млн $: NetBox Labs, \u0026ldquo;Let\u0026rsquo;s Go: Announcing NetBox Labs\u0026rdquo; і оголошення про Series A.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNetBox Labs, NetBox Enterprise — комерційна редакція для самостійного розгортання, з «24/7 expert assistance from the NetBox Labs team»; NetBox Cloud це хостована пропозиція. Конкретні умови SLA на цій сторінці не опубліковано.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nКількість зірок і форків, дати випусків і ліцензії обох проєктів прочитано з API GitHub 30 вересня 2026: netbox-community/netbox і nautobot/nautobot. Паралельні випуски Nautobot 3.2.x і 2.4.x обидва датовані 28 вересня 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nnetbox-community/netbox-docker — стек контейнерів спільноти, Apache 2.0.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNetBox, Installation — таблиця підтримуваних версій, а також примітки до випуску v4.7 про підняті мінімуми PostgreSQL і Redis. Версію та редакцію прочитано з netbox/release.yaml.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNetBox Limited Use License 1.0 — постачається з netbox-custom-objects і, в ідентичному вигляді, з netbox-branching. Обидва процитовані положення дослівні.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNetBox, HTTP Server installation, \u0026ldquo;What\u0026rsquo;s Next?\u0026rdquo; — «Some of the most popular plugins include» NetBox Branching, NetBox Custom Objects, NetBox DNS і NetBox BGP, без жодної згадки про умови ліцензії.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNetBox, Data Validation configuration — FIELD_CHOICES і суфікс зі знаком плюс, який розширює, а не замінює: «To replace the available choices, specify the app, model, and field name separated by dots \u0026hellip; To extend the available choices, append a plus sign».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nДокументація netboxlabs/netbox-custom-objects — «Deleting a Custom Object Type drops an entire database table and should be done with caution.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nnetbox.netbox на Ansible Galaxy і netbox-community/ansible_modules — версія 3.23.0, GPL-3.0, 91 модуль плюс плагін інвентарю nb_inventory. Кількість завантажень прочитано з Galaxy 30 вересня 2026. Усе показане запускалося з ansible-core 2.21.4 і pynetbox 7.8.0.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nЛіцензії, активність і кількість зірок прочитано з кожного проєкту 30 вересня 2026: pynetbox (Apache 2.0), terraform-provider-netbox (MPL 2.0, v6.0.0-rc.1 у реєстрі Terraform), nornir_netbox (Apache 2.0), netbox-plugin-prometheus-sd (MIT), go-netbox (останній push 9 травня 2025) і Diode, який має ту саму NetBox Limited Use License 1.0, що й Branching і Custom Objects.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\n","permalink":"https://blogs.damiendye.uk/uk/netbox/what-is-netbox/","summary":"Практичний огляд NetBox 4.7.2 із завантаженою справжньою інфраструктурою, а не порожнім демо. Що тримає кожен екран і що ти з ним робиш: вигляди шаф, трасування кабелів, дерево IPAM, інтерфейси dual-stack і шафа, яка виявляється заповненою на 90,7 відсотка за потужністю і лише на 28,6 відсотка за обладнанням. Як підняти його як стек контейнерів і на хості з пакетів, обидва шляхи пройдено від початку до кінця. Порядок, у якому його доводиться заповнювати, виведений із того, які зовнішні ключі справді обов’язкові. Як одну інсталяцію ділять між клієнтами так, щоб пристрій іншого клієнта повертав 404, а тип об’єкта без дозволу повертав 403. Config contexts і успадкування, яке робить їх ціннішими за власні поля. Додавання власних значень до вбудованих меню статусів NetBox. Три способи додати об’єкт, на якому працює твій бізнес, зокрема datastore, змодельований без жодного коду. Як писати правила валідації та класи валідаторів, щоб база даних відмовлялася від того, що забороняє твій внутрішній стандарт. І історія форку 2021 року, з якого вийшов Nautobot: для чого він був і що відтоді зійшлося. А ще керування всім цим із колекції Ansible netbox.netbox, де інвентар це запит, а не файл, і один аргумент модуля тихо виділяє нову адресу щоразу, коли запускається.","title":"NetBox: що він зберігає і як змусити його зберігати твоє"},{"content":"Кожному імені, яке твоя машина сьогодні шукала, вона повірила. Твій банк, твої оновлення, твій поштовий сервер. Відповідь прийшла з мережі, і ніщо ніде не перевірило, чи прийшла вона від організації, якій належить ім’я, чи від того, хто першим підсунув пакет. На звичайній відповіді DNS немає підпису, нема чого перевіряти, і нема нічого, що помітило б, якби щось було не так. У 1983 році це був розумний дизайн, і розумним він бути перестав дуже давно.\nDNSSEC це виправлення саме цього, і воно не нове й не дороге. Власник зони підписує свої записи. Зона над ним публікує хеш його ключа й підписує його, і так далі вгору, доки ланцюжок не дійде до єдиного кореневого ключа, який твій резолвер знає від народження. Усе, що перевіряє ланцюжок, може відрізнити справжню відповідь від підробленої. Це стандарт з 2005 року, корінь підписаний з липня 2010-го, а реєстри публікують записи безкоштовно.1 2\nВерхівка дерева готова. Для цього допису я порахував живу кореневу зону, і 1351 з 1438 доменів верхнього рівня підписані, серед них усі 1038 загальних. А далі вона падає зі скелі. З 2390 доменів gov.uk, що досі резолвляться, підписані тридцять дев’ять, і дев’ять із них це парафіяльні ради. MI6 впорався. National Cyber Security Centre ні.\nОсь чого насправді коштує підроблена відповідь і що з цим робить підпис, пораховано з живої кореневої зони 27 вересня 2026 і далі вниз через уряд, банки, дистрибутиви, з яких ти встановлюєш, і центри сертифікації. Одна команда на домен, нічий дозвіл не потрібен, і кожне ім’я наведено, щоб ти міг сперечатися з моїм вибором, а не з моєю арифметикою. Під усім цим питання, на яке я насправді хотів відповіді. Через сорок два роки після того, як Mockapetris записав DNS, чи не тому майже ніхто не підписує, що майже ніхто ніколи не розумів, що DNS обіцяє?\nЩо таке DNSSEC і навіщо він Одним реченням: DNSSEC ставить криптографічний підпис на відповіді DNS, щоб резолвер міг довести, що відповідь прийшла від власника зони, а не від того, хто встиг відповісти першим.\nЦе не шифрування, не файрвол і не фільтр. Це підпис і ланцюжок ключів, що веде назад до єдиного ключа, якому твій резолвер уже довіряє. Ось і вся ідея.\nТепер атака, бо протокол має сенс лише тоді, коли побачиш, для чого він.\nРезолвер, що питає ім’я, надсилає запит і чекає. Відповідь зіставляється за кількома полями: ім’я запиту, тип, адреси й порти джерела та призначення, і 16-бітний ідентифікатор транзакції. Будь-хто, хто зможе видати пакет, що збігається з цими полями, раніше за справжню відповідь, виграє. Резолвер кешує підробку й віддає її кожному клієнту, що спитає, стільки, скільки сказав атакувальник.\nРоботу, яку Dan Kaminsky зробив у 2008 році, всі пам’ятають наполовину.3 Важливо не те, що отруєння кешу існувало, бо про нього знали роками до того. Важливо те, що він знайшов спосіб повторювати вгадування безкінечно. Питай ім’я, якого не існує, і кожна невдала спроба нічого не коштує й дає спробувати знову одразу, тож атакувальник уже не змагається один раз проти кешованого запису, що живе добу. Галузь відповіла додаванням випадковості: випадкові порти джерела поверх випадкового ідентифікатора транзакції, що перетворило шанс вгадати з одного з 65 536 на щось близько одного з двох мільярдів.\nЦе більше число. Це не доказ.\nРезолвер зіставляє поля, які атакувальник може вгадати БЕЗ ПІДПИСУ: ВИГРАЄ ПЕРШИЙ ПАКЕТ, ЩО ЗБІГСЯ резолвер питає, потім чекає справжній сервер відповідає, коли встигне атакувальник поза шляхом має лише прийти першим Його приймуть, якщо збіглися п’ять полів, і кожне з них можна вгадати: ім’я · тип · адреси · порт джерела · 16-бітний ID транзакції З ПІДПИСОМ: ВІДПОВІДЬ НЕСЕ ДОКАЗ Підпис, що веде ланцюжком до єдиного кореневого ключа, який резолвер уже мав. Вгадуванням його не отримати. Резолвер зіставляє поля, які атакувальник може вгадати. Підпис замінює вгадування арифметикою І цей захід відтоді лише слабшає, бо кожне з цих полів це вгадування, яке ускладнили, а не факт, який можна перевірити. Рандомізацію портів зводить нанівець NAT, що переписує порти передбачувано. Атаки фрагментацією обходять зіставлення повністю. Атаки поза шляхом повертаються в нових формах, і кожна отримує свою латку.\nПідпис закінчує суперечку. Підписана відповідь або перевіряється ключем, який резолвер може довести ланцюжком до кореня, або ні, і жодне вгадування не дасть атакувальнику дійсного підпису.\nЩо їм насправді дає виграш у цих перегонах Скажімо конкретно, бо «отруєння кешу» звучить абстрактно, а наслідки не абстрактні.\nЩо вони підробляють Що отримують Запис A для твого сайту Трафік і форму входу, схожу на твою Твої записи MX Кожен вхідний лист, включно зі скиданням паролів Ім’я, за яким центр сертифікації перевіряє домен Дійсний сертифікат на домен, який їм не належить Ім’я, з якого твої машини тягнуть оновлення Нічого не приходить, і нікому не кажуть Твоє делегування NS Усе вищезгадане разом, стільки, скільки каже TTL Третій рядок перетворює проблему DNS на проблему сертифікатів. Видача з перевіркою домену працює так: тебе просять опублікувати запис, а потім його шукають. Якщо атакувальник може керувати відповіддю, яку бачить CA під час цього пошуку, CA видає йому справжні папери на твоє ім’я, і після цього замок у браузері належить йому. Усе, що користувача навчили перевіряти, скаже, що із сайтом усе гаразд.\nЧетвертий рядок тихий. Підробленій відповіді не обов’язково кудись когось відправляти. Досить спрямувати службу оновлень у чорну діру, а в стеку ніщо не створене для того, щоб кричати про оновлення, які так і не прийшли.\nЩо з цим робить підпис Механізм простіший, ніж його репутація.\nКожна підписана зона має пару ключів. Власник зони підписує кожен набір записів приватною половиною й публікує поруч RRSIG. Публічна половина йде в зону як DNSKEY. Поки що це нічого не доводить, бо атакувальник, який може підробити запис A, може підробити й DNSKEY до нього.\nЗакриває це запис DS, і DS живе в батьківській зоні, а не у твоїй. Це хеш твого ключа, опублікований і підписаний зоною над тобою. Тож uk ручається за твій ключ, корінь ручається за uk, а твій резолвер від народження знає рівно одне: ключ кореня.2\nКожен батько ручається за дитину, і один відсутній DS ламає все нижче ЄДИНЕ, ЩО РЕЗОЛВЕР ЗНАЄ ВІД НАРОДЖЕННЯ кореневий ключ постачається з резолвером Усе інше він дізнається, питаючи, і доводить рівень над ним. DS для uk uk підписаний, і за нього ручається корінь DS для твоєї зони damiendye.uk підписує свої записи через RRSIG DS це хеш ключа дитини, опублікований і підписаний батьком. Тож лише батько може поставити тебе в ланцюжок. Не ти. А ЯКЩО ОДНОГО DS НЕМАЄ Ланцюжок там і зупиняється. Усе нижче неперевірне, хоч як ретельно підписали зону під ним. Кожен батько ручається за свою дитину, і один відсутній DS ламає все під ним Роботу роблять три типи записів, і тобі варто знати, який є який, бо лише один із них це чужа робота:\nЗапис Де живе Що каже DNSKEY твоя зона ось мій публічний ключ RRSIG твоя зона ось мій підпис над цим набором записів DS зона твого батька я ручаюся за цей ключ Перші два можна публікувати самому хоч цілий день, і це нічого не змінить. Доки батько не опублікує DS, ти підписана зона, яку ніхто не може перевірити, а це те саме, що непідписана зона з додатковою роботою всередині.\n$ dig +short @127.0.0.53 uk DS 43876 8 2 A107ED2AC1BD14D924173BC7E827A1... $ dig +short @127.0.0.53 damiendye.uk DS 2371 13 2 A5B2825C57899A5A15EE9703832C8358E0D19EF29DC72DD83C691ED77C33BD7F $ dig +short @127.0.0.53 bbc.co.uk DS (nothing) Посередині тут зона цього сайту. uk ручається за неї, алгоритм 13 це ECDSA P-256, і тому резолвер, що валідує, може довести кожну відповідь про неї аж до кореня. bbc.co.uk не повертає нічого, тож він не може.\nОдна команда каже, чи є зона в ланцюжку довіри. Якщо батько не публікує для тебе DS, ти не підписаний, що б ти ще не налаштував, і резолвер, що валідує, вважатиме кожну відповідь про твій домен неперевірною.\nЦей один запис і є вся перевірка.\nЧого він не робить Варто сказати прямо, бо перехвалювання наполовину пояснює, чому йому не довіряють.\nЧого він не робить Чому Не шифрує нічого Кожне ім’я, яке ти шукаєш, і далі відкритим текстом. Для цього є DNS over TLS, і вони одне одного не замінюють Не робить скомпрометовану зону безпечною Атакувальник, що володіє твоїм керуванням DNS, цілком спокійно підписує свої підробки твоїм ключем Не захищає останній відрізок Між резолвером, що валідує, і застосунком, хіба що цей відрізок теж довірений Не заважає забрати в тебе ім’я Реєстратор чи суд і далі можуть це зробити, а підпис увесь цей час буде цілком дійсним Не каже нічого про вміст Підписана відповідь справжня, а не чесна. Шкідливе ПЗ теж може підписати свою зону, і підписує На останньому рядку люди спотикаються. DNSSEC доводить, що відповідь прийшла від того, хто контролює зону. Про те, чи порядні вони, він не має жодної думки.\nВін робить рівно одну річ. Він робить підробку відповіді арифметично нездійсненною, а не просто малоймовірною.\nЯк перевірити будь-яку зону, навіть чужу Це та частина, яка робить можливим решту допису, і на неї потрібна одна команда.\nЗона в ланцюжку довіри, якщо її батько публікує для неї DS. Це вся перевірка, і запустити її можна проти будь-кого, без дозволу, з будь-якої машини:\ndig +short damiendye.uk DS Щось повернулося означає підписано. Нічого не повернулося означає не підписано, що б іще зона не налаштувала.\nЯкщо хочеш більше, ніж так чи ні, варто знати ще три:\nКоманда Що каже dig +short \u0026lt;zone\u0026gt; DS Чи ручається батько за цю зону взагалі delv @1.1.1.1 \u0026lt;zone\u0026gt; A Чи валідується ланцюжок від початку до кінця, а якщо ні, то де він рветься resolvectl query \u0026lt;zone\u0026gt; Що вирішує резолвер, що валідує, з вердиктом, написаним словами dig +dnssec \u0026lt;zone\u0026gt; SOA RRSIG і дату його закінчення, а саме за нею треба стежити Дві пастки, про які варто знати, перш ніж вірити своїм результатам, бо обидві спіймали мене, поки я міряв для цього допису.\ndig +short … DS виведе ланцюжок CNAME, якщо ім’я є псевдонімом, а ім’я хоста з цифрами достатньо схоже на запис DS, щоб обдурити наївний скрипт. Справжній DS має чотири поля: тег ключа, алгоритм, тип дайджесту, шістнадцятковий дайджест. Зіставляй цю форму, інакше порахуєш непідписані зони як підписані.\nDS під непідписаним батьком нічого не означає. Ланцюжок мусить дійти до кореня. update.microsoft.com має DS, а microsoft.com ні, тож гілка неперевірна будь-що-будь. Завжди перевіряй увесь шлях, а не один рівень.\nУсе пораховане в решті допису виміряно саме так. Жодного сканера, жодної сторонньої панелі, жодної рейтингової таблиці від постачальника. Спитай батька, чи ручається він за дитину, і вимагай, щоб відповідь розбиралася як DS.\nКоренева зона готова Ось де загальноприйнята думка просто застаріла. Люди досі говорять про DNSSEC так, ніби проблема в інфраструктурі.\nЯ завантажив живу кореневу зону 27 вересня 2026, серійний номер 2026092701, і порахував делегування проти записів DS.4\nделегування підписано частка gTLD (.com, .org, .dev, усі) 1038 1038 100 % IDN TLD 151 136 90,1 % ccTLD 248 176 71,0 % arpa 1 1 100 % Разом 1438 1351 93,9 % Кожен загальний домен верхнього рівня підписаний. Усі 1038, без винятків, бо Registry Agreement від ICANN вимагає цього від усього, що делеговано за програмою нових gTLD. 87 непідписаних це майже повністю коди країн, і список здебільшого з малих територій і жмені держав:\nae ao aq ba bb bo bs cd cf cg ck cu cv cw do eg fk gb gf gh gm gp gq gt gu hm im iq jm jo kh km kn kp mh mk mo mp mq mt mv mw mz ne ni np nr om pa pf pk pn ps qa sd sl sm so st sv sy sz td tg tj tk to va vg vi ye zw gb там є, і це радше курйоз, ніж проблема, бо ніхто його ні для чого не використовує. Так само Ватикан, Північна Корея, Куба і Сирія. І tk, який роками був найбільшим джерелом безкоштовних доменів в інтернеті, а з ним і надійним джерелом зловживань.\nТож верхівка дерева готова. Реєстри зробили важку частину, дорогу частину і ту частину, яка потребувала міжнародної координації, і вони її закінчили. Тож нічого нижче цієї точки не можна списати на інфраструктуру.\nДев’яносто чотири відсотки вгорі, півтора внизу ЛАНЦЮЖОК ЗБУДОВАНО корінь підписаний з 2010 1351 з 1438 TLD кожен gTLD, без винятків ім’я, яке люди насправді набирають і тут він зупиняється ЧАСТКА ПІДПИСАНИХ, ПОРАХОВАНО 27 ВЕРЕСНЯ 2026 TLD у корені 93,9 % дистрибутиви Linux і BSD 20 % британські банки 13 % реєстри пакетів 18 % зони Microsoft 15 % центри сертифікації 11 % кожен домен gov.uk 1,63 % 39 підписаних з 2390 доменів офіційного реєстру, що досі резолвляться Пораховано, а не оцінено. Ланцюжок побудовано аж до TLD, а далі ним ніхто не користується А потім усе обривається Нижче TLD картина повністю перевертається.\nЯ міряв однаково для кожного набору нижче: питав у батька DS і приймав лише запис, що справді розбирається як DS. Усе тут пораховано 27 вересня 2026.\nЩо Підписано Частка TLD у кореневій зоні 1351 / 1438 93,9 % Дистрибутиви Linux і BSD 19 / 96 20 % Британські банки й будівельні товариства 13 / 98 13 % Реєстри пакетів і ланцюжок постачання 4 / 22 18 % Зони Microsoft 4 / 26 15 % Центри сертифікації 1 / 9 11 % Кожен домен gov.uk, що досі резолвиться 39 / 2390 1,63 % Дев’яносто чотири відсотки вгорі. Півтора відсотка внизу. Ланцюжок довіри це ланцюг, один кінець якого прикручено до стіни, а другий лежить на підлозі.\nСлово про метод, бо така погана цифра на нього заслуговує. Рядок gov.uk це перепис, а не вибірка: це кожен домен другого рівня з опублікованого реєстру самого уряду, відфільтрований до 2390, що досі резолвляться. Інші рядки це складені вручну списки організацій, підробка яких справді зашкодила б, а це питання судження, тож я навів усі імена в них нижче, щоб ти міг не погоджуватися з моїм вибором, а не з моєю арифметикою.\nУрядовий перепис: 39 з 2390 Офіційний список доменів gov.uk, який публікує уряд, налічує 3004 імені другого рівня. З них 2390 досі резолвляться. Підписані тридцять дев’ять.\nПеред деталями одне про цей реєстр. Найновіша версія, яку публікує gov.uk, датована 1 жовтня 2016.5 Десять років, для авторитетного списку доменів, на яких відповідає британська держава. Це окрема маленька знахідка, і на ній я зупинюся.\nТепер подивися, які саме тридцять дев’ять.\nПідписані Не підписані mi6.gov.uk, sis.gov.uk gchq.gov.uk, mi5.gov.uk nationalcrimeagency.gov.uk ncsc.gov.uk, cyberessentials.ncsc.gov.uk cheltenham.gov.uk, cotswold.gov.uk, somerset.gov.uk, waverley.gov.uk, southribble.gov.uk, sedgemoor.gov.uk, fdean.gov.uk, westoxon.gov.uk birmingham.gov.uk, manchester.gov.uk, leeds.gov.uk, glasgow.gov.uk, sheffield.gov.uk, liverpool.gov.uk, bristol.gov.uk, cardiff.gov.uk, edinburgh.gov.uk, belfast.gov.uk peakdistrict.gov.uk, snowdonia-npa.gov.uk, eryri-npa.gov.uk hmrc.gov.uk, dvla.gov.uk, dwp.gov.uk, nhs.uk, homeoffice.gov.uk, mod.uk, parliament.uk дев’ять парафіяльних і міських рад companieshouse.gov.uk, landregistry.gov.uk, police.uk, met.police.uk, tfl.gov.uk, ons.gov.uk Перечитай перший стовпець. Secret Intelligence Service підписала свою зону. National Cyber Security Centre ні.\nЯк і GCHQ, яка є материнською організацією самого NCSC. Як і схема Cyber Essentials, яка існує, щоб сертифікувати, що безпека інших людей достатня. Я не вдаватиму, що це щось інше, ніж разюче.\nІ дев’ять із тридцяти дев’яти це парафіяльні й міські ради. Abinger. Aldenham. Ashmansworth. Wheathampstead. Frampton on Severn. Місця з секретарем, сайтом на пів ставки і бюджетом, якого не вистачило б на день консалтингу у Whitehall. Вони впоралися. HMRC, яка тримає податкову справу кожного дорослого в країні, ні.\nМожна спитати, що в процесі це дозволяє. Не хто: що. Бо NCSC публікує настанови, які кажуть іншим людям розгортати DNSSEC, а відомство, що пише настанови, не зробило того, що в них сказано. Або це важливо, і тоді орган, який це каже, мав зробити це роки тому, або ні, і тоді настанови мали б казати саме це.\nВідмовка, яку запропонують, буде про масштаб і спадщину. Вона не переживає першого стовпця. somerset.gov.uk це унітарна влада, що обслуговує 580 000 людей, і вона підписана. birmingham.gov.uk це унітарна влада, що обслуговує 1,1 мільйона, і вона ні. Та сама країна, той самий реєстр, ті самі реєстратори, ті самі гроші на тих самих постачальників. Одна це зробила.\nПрограми, з яких ти оновлюєшся Це та частина, яка має тривожити тебе більше, ніж банки, і її майже ніхто не міряє.\nКожна машина, яку ти тримаєш, за розкладом тягне код звідкись, і знаходить це «звідкись», питаючи DNS.\nДев’яносто дев’ять дистрибутивів і BSD, дев’яносто шість із них досі резолвляться. Підписані дев’ятнадцять.\nПідписані (19) debian.org, fedoraproject.org, opensuse.org, gentoo.org, almalinux.org, artixlinux.org, cachyos.org, garudalinux.org, getsol.us, linuxmint.com, q4os.org, system76.com, tails.net, whonix.org, freebsd.org, netbsd.org, hardenedbsd.org, midnightbsd.org, opnsense.org Великі комерційні ubuntu.com, canonical.com, redhat.com, suse.com, oracle.com, rockylinux.org, centos.org, eurolinux.com Варіанти Ubuntu kubuntu.org, xubuntu.org, lubuntu.me, ubuntustudio.com, ubuntukylin.com Сімейство Arch archlinux.org, arcolinux.com, endeavouros.com, manjaro.org, blackarch.org Незалежні й мінімальні alpinelinux.org, voidlinux.org, nixos.org, devuan.org, slackware.com, antixlinux.com, mxlinux.org, puppylinux.com, tinycorelinux.net, slitaz.org, porteus.org, funtoo.org, calculate-linux.org Для робочого столу zorin.com, elementary.io, deepin.org, uniontech.com, bodhilinux.com, peppermintos.com, sparkylinux.org, neon.kde.org, nobaraproject.org, ultramarine-linux.org, vanillaos.org, solus-project.com Безпека й приватність kali.org, parrotsec.org, qubes-os.org, backbox.org, pentoo.ch, trisquel.info, pureos.net, hyperbola.info, dragora.org Регіональні й державні altlinux.org, astralinux.ru, rosa.ru, openkylin.top, openeuler.org, opencloudos.org, openanolis.cn, mageia.org, openmandriva.org, pclinuxos.com Вбудовані, незмінні, пристрої openwrt.org, dd-wrt.com, librecmc.org, raspberrypi.com, armbian.com, flatcar.org, talos.dev, bottlerocket.dev, truenas.com, pfsense.org BSD openbsd.org, dragonflybsd.org, ghostbsd.org І два найважливіші kernel.org, gnu.org Дев’ятнадцять із дев’яноста шести. І імена в непідписаному списку не маловідомі: Ubuntu, Red Hat, SUSE, Oracle, Arch, Alpine, NixOS, Rocky, кожен варіант Ubuntu, і обидва, kernel.org і gnu.org.\nДистрибутиви для безпеки й приватності це ті, від яких я чекав іншого, і здебільшого марно. Tails і Whonix підписалися, і це логічно. Kali, Parrot, Qubes, Trisquel і PureOS ні, і це нелогічно. OpenBSD двадцять п’ять років будує репутацію на тому, щоб робити саме такі речі правильно, і не підписав openbsd.org, тоді як FreeBSD, NetBSD, HardenedBSD і MidnightBSD усі підписали.\nРеєстри пакетів майже повністю в неправильному стовпці: npm, crates.io, RubyGems, Packagist, Docker Hub і Quay усі не підписані. Виняток pypi.org, і віддаймо належне, бо він ще й серед тих, кого атакують найбільше.\nMicrosoft і канал оновлень Підписані чотири з двадцяти шести зон Microsoft, і всі вони з одного кутка господарства:\nПідписані Не підписані live.com, outlook.com, office.com, office365.com microsoft.com, windows.com, windowsupdate.com, update.microsoft.com azure.com, azurewebsites.net, microsoftonline.com, windows.net github.com, npmjs.com, linkedin.com, visualstudio.com, xbox.com, bing.com Імена Outlook і Office підписані, а більше нічого, і це схоже на рішення однієї команди, а не компанії. Зверни увагу, що стоїть у правому стовпці поруч зі службою оновлень: github.com і npmjs.com, два з найбільших пунктів розповсюдження коду в інтернеті, обидва належать Microsoft, обидва не підписані.\n$ dig +short @127.0.0.53 windowsupdate.com DS (nothing) $ dig +short @127.0.0.53 microsoft.com DS (nothing) $ dig +short @127.0.0.53 com DS 19718 13 2 8ACBB0CD28F41250A80A491389424... com підписаний, тож нічого технічного на заваді немає. Microsoft міг би опублікувати DS сьогодні ж по обіді.\nСтандартна відповідь, чому це не важливо: DNS це лише один шар. Корисне навантаження оновлень підписане кодовим підписом, клієнт перевіряє підпис, а трафік іде через TLS. Зламай DNS, і ти все одно не змусиш код виконатися.\nЦя відповідь повністю залежить від того, чи надійний підпис. Він не був надійним.\nКоли Що сталося з довірою до підписів Microsoft 2012 Flame підробив сертифікат, що вів ланцюжком до Microsoft Root Authority, через колізію MD5 у шляху реєстрації ліцензій Terminal Services, а потім використав його на фальшивому сервері оновлень6 2021 Netfilter став першим знайденим руткітом із підписом WHQL, виданим безпосередньо Microsoft, пройшовши Windows Hardware Compatibility Program, поки він спілкувався з сервером керування7 2021 FiveSys, ще один драйвер із сертифікацією WHQL, виявився руткітом, що встановлював власний кореневий сертифікат і проксіював трафік HTTP і HTTPS машини7 2022 Підписані Microsoft шкідливі драйвери з’явилися в атаках програм-вимагачів, і Microsoft відкликав підписи й призупинив облікові записи розробників7 2023 Storm-0558 здобула споживчий ключ підпису Microsoft з аварійного дампа, після компрометації облікового запису інженера, і підробляла токени автентифікації, які приймалися для корпоративної пошти приблизно у 25 організаціях, серед них урядові відомства8 Будьмо точними щодо останнього рядка, бо його перебільшують. Украдений ключ підписував токени ідентичності, а не бінарники. У таблиці він з іншої причини: зберігання матеріалу для підписів Microsoft провалилося, непомічене два роки, через аварійний дамп і скомпрометований обліковий запис інженера.\nРядки над ним це провали кодового підпису, і вони гірші. Двічі за один рік власна програма сертифікації обладнання Microsoft поставила підпис Microsoft на робочий руткіт і випустила його. Не підроблений сертифікат, не вкрадений ключ. Легітимний процес, що підписує шкідливе ПЗ, точно як задумано.\nТож захист, який дозволяє вважати DNS необов’язковим, обходили підробкою, зловживанням процесом і крадіжкою ключа, протягом одинадцяти років. Атакувальник із підписом, який машина прийме, це не уявний експеримент. Для гравця з державною підтримкою це питання закупівлі, а не досліджень.\nДай такому атакувальнику підроблену відповідь DNS, і картина повна: підписаний код під його контролем, доставлений із сервера, який машина вважає сервером Microsoft, через з’єднання, яке ніщо в стеку не поставить під сумнів. Це Flame, з кращим ключовим матеріалом.\nDNSSEC це єдиний шар у цьому ланцюжку, якому байдуже, чий ключ підпису тримає атакувальник. Він не перевіряє корисне навантаження, він перевіряє, куди машину відправили, і він ламається незалежно від кожного сертифіката й підпису в грі. А це саме те, чого хочеш від другого шару, і саме тому він не має бути тим, що вимкнено.\nІ є дешевша атака, якій ключ узагалі не потрібен. Підроби відповідь так, щоб служба оновлень резолвилася в нікуди, і машина просто ніколи не латається. Жодної помилки, на яку користувач відреагує, жодної тривоги, лише парк машин, що тихо відстає, поки панель каже, що все гаразд. Якби я хотів господарство, готове до експлуатації за пів року, я б нічого туди не пушив. Я б просто подбав, щоб нічого не приходило.\nБанки, повністю Цього разу не вибірка. Дев’яносто вісім британських банків і будівельних товариств, кожен із них резолвився того дня, від великих мереж до товариств з одним відділенням і вікторіанською назвою.\nПідписані тринадцять.\nПідписані (13) lloydsbank.com, halifax.co.uk, bankofscotland.co.uk, tsb.co.uk, co-operativebank.co.uk, smile.co.uk, monzo.com, aldermore.co.uk, hampshiretrustbank.co.uk, investec.com, handelsbanken.co.uk, allica.bank, weatherbys.bank Великі мережеві, не підписані hsbc.co.uk, firstdirect.com, barclays.co.uk, natwest.com, rbs.co.uk, ulsterbank.co.uk, santander.co.uk, nationwide.co.uk, virginmoney.com, clydesdalebank.co.uk, metrobankonline.co.uk, bankofireland.co.uk, aibgb.co.uk, danskebank.co.uk Цифрові й челенджери, не підписані starlingbank.com, revolut.com, chase.co.uk, marcus.co.uk, atombank.co.uk, zopa.com, tandem.co.uk, kroo.com, monese.com, cashplus.com, anna.money, mettle.co.uk Роздрібні, не підписані tescobank.com, sainsburysbank.co.uk, marksandspencer.com, johnlewisfinance.com Для МСП і спеціалізовані, не підписані shawbrook.co.uk, paragonbank.co.uk, oaknorth.co.uk, recognisebank.co.uk, redwoodbank.co.uk, ccbank.co.uk, closebrothers.com, unitedtrustbank.co.uk, gbbank.co.uk, cynergybank.co.uk, securetrustbank.com Приватні банки, не підписані coutts.com, hoaresbank.co.uk, arbuthnotlatham.co.uk, rathbones.com, brownshipley.com, butterfieldgroup.com Будівельні товариства, не підписані усі до одного з перевірених: coventrybuildingsociety.co.uk, ybs.co.uk, skipton.co.uk, leedsbuildingsociety.co.uk, principality.co.uk, westbrom.co.uk, newcastle.co.uk, thenottingham.com, cumberland.co.uk, progressivebs.co.uk, saffronbs.co.uk, newburybs.co.uk, monbs.com, furnessbs.co.uk, ipswichbuildingsociety.co.uk, leekbs.co.uk, theloughborough.co.uk, mansfieldbs.co.uk, marsdenbs.co.uk, themelton.co.uk, familybuildingsociety.co.uk, penrithbs.co.uk, scottishbs.co.uk, srbs.co.uk, swansea-bs.co.uk, teachersbs.co.uk, thetipton.co.uk, thevernon.co.uk, beverleybs.co.uk, chorleybs.co.uk, dudleybuildingsociety.co.uk, esbs.co.uk, ecology.co.uk, harpendenbs.co.uk, hrbs.co.uk, darlington.co.uk, hanley.co.uk, bathbuildingsociety.co.uk Тридцять вісім будівельних товариств. Жодне не підписане. А це установи, що тримають іпотеку на дуже багато будинків.\nУ підписаному стовпці вирізняються дві закономірності. Lloyds Banking Group підписала три свої бренди, lloydsbank.com, halifax.co.uk і bankofscotland.co.uk, а Co-operative Bank підписав обидва свої. Тож рішення ухвалюють один раз, на рівні організації, а потім застосовують. Жодної перешкоди на кожен окремий домен.\nА Monzo підписався, тоді як Starling ні. Два банки-челенджери, засновані з різницею в рік, на порівнянній сучасній інфраструктурі, з тим самим регулятором і тими самими доступними реєстраторами. Один це зробив.\nЄдине місце, де це роблять усі Подивися на два останні імена в підписаному стовпці: allica.bank і weatherbys.bank.\n.bank це обмежений домен верхнього рівня, яким керує fTLD Registry Services, і його вимоги безпеки роблять DNSSEC обов’язковим, поряд із TLS та автентифікацією пошти, з щорічною повторною перевіркою кожного реєстранта.9\nТі самі установи, два режими Підписано На звичайному домені, де DNSSEC необов’язковий 13 з 98 На .bank, де він обов’язковий і перевіряється щороку обидва Два це мале число, тож сприймай це як демонстрацію, а не статистику. Вимога все одно єдине, що змінилося.\nЦе відповідь на кожну відмовку далі в цьому дописі, і вона приходить раніше за самі відмовки. Ті самі банки, ті самі постачальники, ті самі бюджети й ті самі навички дають 13 % відповідності, коли це необов’язково, і 100 %, коли хтось щороку перевіряє. Нічого технічного не зрушило. Хтось просто спитав.\nНіхто не стереже сторожів Один центр сертифікації з дев’яти.\nПідписані Не підписані entrust.com letsencrypt.org, digicert.com, sectigo.com, globalsign.com, identrust.com, buypass.com, zerossl.com, certum.eu Це організації, весь бізнес яких полягає в тому, щоб доводити, що щось є тим, чим себе називає. І це ж організації, які перевіряють контроль над доменом через DNS, просячи тебе опублікувати запис, а потім шукаючи його. Пошук, який вирішує, чи отримаєш ти сертифікат на домен, у восьми з цих дев’яти це пошук, який ніхто не може перевірити.\nТут ніякої гіпотетики. Це задокументована схема: підроби перевірочний пошук, отримай сертифікат на себе, і тепер у тебе дійсні папери на ім’я, яке тобі не належить. DNSSEC одна з небагатьох речей, що відчутно це ускладнює, а ті, кого він захистив би найбільше, його не розгорнули.\nСкажу тобі це задарма. Якщо твоя бізнес-модель це ідентичність, і ти не підписав власну зону, аргумент «це складно» тобі недоступний.\nА хто насправді перевіряє? Підпис це лише половина. Підписана зона нікого не захищає, якщо щось на другому кінці не перевіряє підпис, і тут картина стає гіршою, а не кращою.\nВалідація може відбуватися у двох місцях, і вони не рівноцінні:\nВалідація на резолвері лишає один неавтентифікований відрізок. На пристрої ні ДВА МІСЦЯ, ДЕ МОЖНА ПЕРЕВІРИТИ ДОКАЗ, І ЦЕ НЕ ОДНЕ Й ТЕ САМЕ Валідація на резолвері твій застосунок вірить біту один біт AD неавтентифікований резолвер перевіряє підписи ланцюжок перевірено підписана зона RRSIG і DS Ти отримуєш вердикт, а не доказ, через той єдиний відрізок, якому вся ця вправа має не довіряти. Валідація на пристрої твій застосунок перевіряє їх сам ланцюжок перевірено від краю до краю, там, де відповідь використовують підписана зона RRSIG і DS Ніщо посередині не може тобі збрехати, бо нікого посередині не питають. Майже вся валідація у світі верхня. Windows не вміє нижньої за жодних налаштувань. Одне з них дає тобі вердикт. Друге дає тобі доказ Майже вся валідація у світі першого типу. Google, Cloudflare і Quad9 усі валідують і разом покривають величезну кількість користувачів. Це вже щось. Але це означає, що властивість, яку має більшість людей, звучить як мій резолвер каже, що все було гаразд.\nЩо може кожна операційна система Валідує на пристрої За замовчуванням Як це отримати Linux із systemd-resolved Так, повністю вимкнено один рядок у drop-in Linux із локальним unbound або knot-resolver Так, повністю н/д встанови його, спрямуй на нього stub FreeBSD із local_unbound Так, повністю вимкнено service local_unbound onestart macOS Ventura і новіші, iOS 16 і новіші Так вимкнено для кожного застосунку чи запиту, у коді macOS та iOS до того лише API вимкнено kDNSServiceFlagsValidate, застосунок мусить попросити Android платформа не пропонує н/д стороння бібліотека, у твоєму власному застосунку Fisher-Price OS (Windows) Ні. Не може н/д недоступно за жодні гроші Двоє з них заслуговують більше, ніж рядок.\nApple тихо зробила роботу. iOS 16 і macOS Ventura додали валідацію DNSSEC на боці клієнта, словами самої Apple на WWDC 2022: «iOS 16 and macOS Ventura now support client side DNSSEC validation.»10 Вона вмикається за бажанням, а не автоматично, і вмикається на правильному рівні деталізації, тож застосунок, якому не байдуже, може попросити її для сесії чи для запиту:\nlet configuration = URLSessionConfiguration.default configuration.requiresDNSSECValidation = true Справжній резолвер, що валідує, на телефоні, перевіряє підписи на пристрої, і майже ніхто не помітив, як це вийшло. До того mDNSResponder відкривав kDNSServiceFlagsValidate для всіх, хто готовий був користуватися C API.\nAndroid цього не пропонує. Резолвер DNS є оновлюваним модулем з Android 10, а DNS over TLS отримав в Android 9, тож щодо DNS платформа на місці не стояла. Але ні документація резолвера AOSP, ні публічний API DnsResolver не описують валідацію DNSSEC, а бібліотеки на кшталт MiniDNS існують і рекламують, що приносять «DNSSEC close to your application», саме тому, що платформа його не приносить. Я не знайшов першоджерела, яке прямо казало б, що це неможливо, тож скажу не більше ніж: не пропонується, і писати це довелося б тобі самому.\nІ його відкидають навіть там, де він працює Ще одне, з цієї машини, чого я не чекав знайти.\nВисхідний резолвер тут валідує і каже про це. systemd-resolved з DNSSEC=no викидає це раніше, ніж побачить будь-який застосунок:\n# ---- before: stock Fedora, DNSSEC=no ---------------------------------- $ dig @192.0.2.53 damiendye.uk A | grep flags # the upstream ;; flags: qr rd ra ad $ dig @127.0.0.53 damiendye.uk A | grep flags # the local stub ;; flags: qr rd ra # ---- the fix: two lines in a drop-in ---------------------------------- $ sudo mkdir -p /etc/systemd/resolved.conf.d $ printf \u0026#39;[Resolve]\\nDNSSEC=allow-downgrade\\n\u0026#39; \\ | sudo tee /etc/systemd/resolved.conf.d/10-dnssec.conf $ sudo systemctl restart systemd-resolved # ---- after: same query, same stub, nothing else changed --------------- $ resolvectl status | grep -m1 DNSSEC= DNSSEC=allow-downgrade/supported $ dig @127.0.0.53 damiendye.uk A | grep flags ;; flags: qr rd ra ad Те саме ім’я, та сама відповідь, та сама секунда. До drop-in висхідний резолвер зробив роботу, поставив біт AD, а локальний демон кинув його на підлогу, тож типова поведінка це не просто ми тут не валідуємо, а ми тут не валідуємо і не передамо вердикт того, хто валідував. Після нього біт повернувся, і цього разу це наш вердикт, а не чиєсь твердження.\nresolvectl пише вердикт словами і розділяє ті два, що мають значення:\n$ resolvectl query damiendye.uk | tail -2 -- Data is authenticated: yes; Data was acquired via local or encrypted transport: no $ resolvectl query ncsc.gov.uk | tail -2 -- Data is authenticated: no; Data was acquired via local or encrypted transport: no Зверни увагу, чим другий не є. Це не помилка. Непідписана зона повертається неавтентифікованою, а не bogus, резолвінг успішний, і ніщо ніде не скаржиться. Це вся проблема з 1,63 %, переказана як команда: увімкнення валідації не змушує непідписані зони падати, воно робить їх видимими, і лише для того, хто пішов шукати.\nНайбільша клієнтська ОС провалює найпростішу перевірку Тепер інший кінець шкали, і там навіть не близько.\nКлієнт DNS у Windows, за власним описом Microsoft, «security-aware», але «non-validating». Він не виконує валідацію DNSSEC. Змусити його не можна. Натомість він просить налаштований сервер DNS валідувати, а потім шукає біт AD у відповіді.11\nПро це три речі, і жодна не дрібна:\nВін ніколи не перевіряє підпис. Найсильніша гарантія, доступна найбільшій клієнтській операційній системі у світі, це один біт, поставлений тією машиною, що відповіла. За замовчуванням він навіть цього не робить. Клієнт ставить біт DO і вимагає AD лише для просторів імен, перелічених у Name Resolution Policy Table, об’єкті Group Policy, який хтось має свідомо налаштувати. Без правила в ній запит узагалі не несе жодних очікувань щодо DNSSEC. Microsoft каже, що біту потрібен IPsec, щоб щось означати. Їхня документація прямо каже, що оскільки клієнт не валідує і спирається на сервер, «IPsec is used to establish this trust relationship». Біт AD, що прийшов неавтентифікованим каналом, це заява від того, хто дістався першим, а це рівно та атака, заради зупинки якої існує вся ця технологія. Тож на десктопі з найбільшою встановленою базою, з коробки: жодної валідації, жодної вимоги AD і жодного автентифікованого каналу до резолвера. Найпростіша перевірка не просто вимкнена. Її ніколи не реалізовували.\nА звичний захист, мовляв, клієнтські операційні системи просто таким не займаються, помер у 2022 році. Apple випустила валідацію на пристрої для кожного iPhone і Mac того самого року, коли Microsoft цього не зробив. Порівняння більше не десктоп проти сервера чи мобільне проти стаціонарного. Це один постачальник, що це збудував, проти іншого, що ні.\nЦе важить більше, ніж такий самий розрив у Linux, через те, кого це зачіпає. Сервером на Linux зазвичай керує хтось, хто міг би увімкнути валідацію сьогодні ж по обіді і знає, що таке запис DS. Машини, які взагалі не можуть валідувати, за жодних налаштувань, це ті, що стоять на столах в організаціях, зони яких непідписані в таблицях вище. systemd-resolved постачається з цією можливістю вимкненою, і це рішення можна скасувати одним рядком.12 Fisher-Price OS (Windows) постачається без цієї можливості.\nСлужба, яку тримає докупи DNS Досі йшлося про імена в публічному інтернеті. Та сама діра є всередині будівлі, і там вона несуча.\nActive Directory не має фіксованої адреси ні для чого. Машина в домені не знає, де живе її контролер домену, тож питає DNS. Процес пошуку запитує _ldap._tcp.dc._msdcs.\u0026lt;domain\u0026gt; для контролерів і _kerberos._tcp для KDC, і з тим, що повернеться, вона й іде автентифікуватися.13\ndig +short _ldap._tcp.dc._msdcs.corp.example SRV Підроби цю відповідь, і машина понесе свій трафік автентифікації на хост, який вибрав ти. Скажімо прямо, що це є і чим не є: Kerberos не видасть квиток самозванцю, який не має ключів, тож саме по собі це не захоплення домену. Це позиція на шляху, а саме з неї будують цікаві атаки. Змусь відкат до NTLM і зроби relay. Сядь посередині трафіку, який мав іти до контролера. Або спрямуй усе господарство в нікуди і дивися, як зупиняються входи.\nПідроблений запис пошуку не віддає домен, він ставить атакувальника на шлях ДЕ МІЙ КОНТРОЛЕР ДОМЕНУ? ВІДПОВІДЬ ЦЕ ПРОСТО ЗАПИС DNS Непідписана зона `_msdcs` сервер-учасник _ldap._tcp.dc SRV перша відповідь виграє хост, який вибрали вони тепер на шляху відкат до NTLM, relay або жодних входів Kerberos не видасть квитків самозванцю, тож це не захоплення домену. Це позиція. Підписана зона, клієнт валідує сервер-учасник перевіряє підпис підробка відкинута твій контролер підписана відповідь Відкинуто раніше, ніж щось спробує автентифікуватися. Windows Server вміє підписувати цю зону з 2012 року. Клієнт, що її читає, досі не вміє валідувати. Не захоплення домену. Позиція на шляху, на якій будують усе інше Group Policy, скрипти входу, підключені диски й кожна довіра після входу знаходяться так само. Це найцінніший набір імен, яким володіє більшість організацій, і він лежить непідписаним.\nMicrosoft збудував серверну половину виправлення, і збудував добре. Зону, інтегровану з AD, можна підписати, онлайн-підпис динамічних зон з’явився у Windows Server 2012, а оскільки зона живе в каталозі, приватні ключі підпису реплікуються на інші сервери DNS самою реплікацією AD.14 По-справжньому незручну частину DNSSEC, доставку ключів на машини, яким вони потрібні, тут розв’язали чотирнадцять років тому тим самим механізмом, через який зона вже реплікувалася.\nА далі все зупиняється у тих самих двох місцях, що й усе інше:\nДві половини Що випустив Microsoft Що ти отримуєш з коробки Підпис зони _msdcs онлайн-підпис динамічних зон, інтегрованих з AD, ключі реплікує сама AD нічого, доки адміністратор її не підпише Перевірка підпису клієнт без валідації з попереднього розділу правило в таблиці політик плюс IPsec, інакше біт нічого не означає Тож внутрішня зона, яка вирішує, яка машина буде твоїм контролером домену, у більшості господарств так само непідписана, як і публічна. Різниця в тому, що жоден сторонній не може її порахувати, тож у цьому дописі немає таблиці, що когось соромить. Піди й подивися на свою, перш ніж щось припускати.\nЦе має робити операційна система, і це має бути ввімкнено Що підводить мене до тієї частини, яку я хочу аргументувати, а не рахувати.\nВалідація відповіді DNS це робота операційної системи. Вона в тому самому класі завдань, що й тримати годинник точним, мати сховище довірених сертифікатів і стек TLS, і з тих самих причин: вона потрібна кожному застосунку, майже жоден із них не має її писати, а перевірка має відбуватися один раз, у місці, де її можна зробити як слід. Цю суперечку про сертифікати ми закрили давно. Ніхто не випускає поштовий клієнт із власною приватною думкою про кореневі CA.\nТри з чотирьох платформ вище вже вміють це робити. Жодна не робить цього з коробки:\n$ grep DNSSEC= /usr/lib/systemd/resolved.conf # Fedora 44, systemd 259.9 #DNSSEC=no Це вкомпільоване значення за замовчуванням, виписане закоментованим, щоб адміністратор бачив, яке воно. Власний посібник systemd дивиться інакше: радить загалом allow-downgrade, а true скрізь, де на висхідний резолвер можна покластися.15 Код постачається, кореневий якір довіри постачається, і документація постачається з порадою це ввімкнути. А за замовчуванням і далі «ні».\nПлатформа Хто має діяти, перш ніж підпис перевірять systemd-resolved адміністратор, один раз, у файлі drop-in macOS 13 і новіші, iOS 16 і новіші автор кожного окремого застосунку Android автор кожного застосунку, зі сторонньою бібліотекою Windows ніхто не може Цей стовпець і є вся проблема. Вимога це один важіль, і підрахунок .bank вище показує, що він робить. Значення за замовчуванням це той самий важіль, але нікому не треба нічого примушувати, бо воно вирішує результат для всіх, хто ніколи не відкриває файл конфігурації, а це майже всі. Необов’язковість дала нам 1,63 % в уряді й 13 % у банках. Люди не вмикають безпеку, якої не бачать, і правота щодо технології жодного разу цього не змінила.\nЧесне заперечення таке: валідація за замовчуванням ламає користувачам усе, коли зламаний висхідний резолвер, а не зона. Для цього і є allow-downgrade, і це справжній компроміс, а не безкоштовний, бо відкат атакувальник може спровокувати навмисно. Та навіть так, постачати allow-downgrade замість простого no було б величезним покращенням, і поломка лягла б туди, де їй місце: на того, хто у 2026 році досі тримає резолвер, що не дає ради DNSSEC.\nУвімкнення валідації, і яка частина від Fedora Майже все, що далі, стосується systemd, а не Fedora, і працює так само на Debian, Ubuntu чи Arch. Дві речі тут справді від дистрибутива:\nUpstream systemd Fedora 44, як встановлено Вкомпільований default-dnssec allow-downgrade no Головний файл конфігурації /usr/lib/systemd/resolved.conf, усі значення закоментовані для довідки постачає ще й /etc/systemd/resolved.conf з Cache=yes, який його замінює Upstream вибирає allow-downgrade у meson_options.txt, і це компромісне налаштування, а не сміливе.16 Fedora компілює його в no, а потім постачає другий головний файл конфігурації, і оскільки використовується лише перший знайдений файл, той, що документує значення за замовчуванням, уже не діє.15 Тож не редагуй жоден із них. Копія постачальника належить пакету, і оновлення просто поверне тобі твою зміну назад; копія в /etc це файл, інші рядки якого мовчки відсутні.\nНатомість використай drop-in, як робить блок вище. Він перекриває той головний файл, що переміг, переживає оновлення пакетів і містить лише те, що ти змінив. Перевір результат за допомогою systemd-analyze cat-config systemd/resolved.conf, яка друкує кожен файл у порядку застосування і показує, що насправді перемогло.\nТри налаштування, і вибір між двома останніми справжній:\nDNSSEC= Що робить Чого тобі коштує no нічого не валідує і ще й відкидає вердикт висхідного підробка приходить мовчки, як і сьогодні allow-downgrade валідує і відступає, коли висхідний не справляється атакувальник може спровокувати відступ навмисно yes валідує, і крапка, шляху назад немає твої імена падають разом із висхідним того дня, коли він зламається Почни з allow-downgrade, бо тоді зламаний резолвер тобі нічого не коштує. Переходь на yes, коли resolvectl status два тижні казав supported, і ти знаєш, що в тебе насправді за висхідний. Подробиці для кожного дистрибутива, крім Fedora, у дописі про resolved.12\nТо що ж насправді зупиняє людей Гаразд. Цифри є цифри. Чому?\nНазивають чотири причини, і не всі вони дурниці.\nПричина Скільки в ній правди Керувати ключами складно Було правдою. Тепер здебільшого автоматизовано провайдером DNS Це може викинути твій домен з інтернету Правда, і це справжня причина Підтримка в реєстраторів і провайдерів нерівна Здебільшого розв’язано, і легко перевірити до того, як візьмешся Жодної видимої вигоди, жодного батога відповідності Правда, і, мабуть, вирішальна Керування ключами було справжньою перешкодою, а тепер здебільшого ні. Підпис колись означав власні церемонії ключів, пам’ятати переписати підписи, доки вони не прострочилися, і міняти ключі вручну за розкладом, який треба було відстежувати самому. Тепер цю роботу на більшості керованих платформ робить провайдер DNS, а підпис це перемикач. Це не ніщо, але це вже не проєкт.\nРежим відмови це чесне заперечення, і це єдине з чотирьох, якому я справді співчуваю. Зроби DNSSEC неправильно, і твій домен не деградує, він зникає. Кожен резолвер, що валідує, відкидає твої записи, а саме це він і має робити, і люди, які не можуть до тебе достукатися, не дізнаються від тебе чому, бо щоб їм сказати, потрібен DNS.\nТри речі роблять це гіршим за звичайний збій:\nВоно ламається за годинником, а не через зміну. Підписи мають термін дії. Зона, якої ніхто не чіпав з вівторка, може зникнути до неділі, бо завдання з переписування підписів тихо перестало запускатися. Воно ламається для одних людей і не для інших. Відкидають тебе лише резолвери, що валідують. Твій власний моніторинг, якщо він не валідує, звітуватиме, що сайт цілком здоровий, поки дедалі більша частина інтернету не може до нього достукатися. Воно ламається на тому шарі, яким ти все лагодиш. Віддалений доступ, твоя сторінка статусу і твоя власна пошта можуть усі бути під тим ім’ям, яке щойно зникло. Цей страх раціональний, він уже викидав великих операторів з ефіру, і будь-яке чесне обґрунтування DNSSEC має з ним рахуватися, а не відмахуватися.\nАле зверни увагу на його форму: це страх перед операційною дисципліною, якої в тебе зараз немає, а не страх перед технологією.\nНепідписане тихо ламається на користувачах. Зле налаштоване гучно ламається на тобі ДВА СПОСОБИ ЗЛАМАТИСЯ, І ГОВОРЯТЬ ЛИШЕ ПРО ОДИН Непідписане Підробленій відповіді просто вірять. Ніщо не пише в лог. Ніщо не сповіщає. Триває, скільки TTL атакувальника. Твій моніторинг лишається зеленим. Ціна падає на того, хто повірив відповіді. Не на тебе. Підписане, і зламане Домен просто зникає. Ламається за годинником, а не від зміни. Лише для резолверів, що валідують, тож твої перевірки можуть бути в нормі. Ціна падає на тебе, гучно, з твоїм ім’ям на інциденті. Тому на друге пишуть бізнес-обґрунтування, а на перше ні. Нікого ніколи не винуватять за атаку, яку так і не виявили. Непідписане ламається тихо, на твоїх користувачах. Неправильно налаштоване ламається гучно, на тобі І зверни увагу, хто платить у кожному стовпці. Непідписана зона, яку підробили, коштує твоїм клієнтам, мовчки, і ніхто ніколи не заводить інцидент, бо ніхто ніколи не дізнається. Підписана зона, що прострочилася, коштує тобі, одразу, публічно, з твоїм ім’ям у розборі інциденту. Обидва провали. Лише один із них з’являється в чиїхось цілях.\nСертифікати мали ту саму проблему і розв’язали її двічі: провал зробили видимим, а потім автоматизували. Попередження браузера зробило прострочений сертифікат проблемою кожного, за ним прийшов моніторинг, а потім Let\u0026rsquo;s Encrypt перетворив поновлення на те, що робить завдання cron о третій ночі. Ніщо з цього не зробило сертифікати простішими в принципі. Воно зробило так, що забути про них стало важче.\nПідтримку провайдера варто перевірити за десять хвилин, а не припускати. Деякі реєстратори досі роблять публікацію DS заявкою в підтримку. Багато хто ні.\nА остання і є справжньою відповіддю, яку реєстр .bank уже довів вище в цьому дописі. Для DNSSEC немає замка в браузері. Жоден клієнт ніколи не вибирав банк, бо його зона підписана, жоден аудитор не провалює тебе за це, і жодне загальне регулювання у Британії цього не вимагає. Вигода повністю невидима, коли все працює, ціна помилки це збій з твоїм ім’ям на ньому, а людина, яка несе цей збій, не та, що отримала б заслугу.\nПостав вимогу і щорічну перевірку перед тими самими установами, і відповідність іде з 13 % до всіх до одної. Між цими двома числами в технології нічого не змінилося. У бюджетах, постачальниках чи навичках теж. Єдиною змінною було те, чи збирався хтось подивитися.\nЗа таких стимулів дивно не те, що підписані 1,63 % урядових доменів. Дивно, що підписані аж тридцять дев’ять.\nЯк увімкнути це і не викинути себе з ефіру Увесь ризик в одному місці, тож туди й клади зусилля. Закінчення терміну дії підпису це провал, який приходить, коли ніхто нічого не чіпав, тож став на нього тривогу:\ndig +dnssec damiendye.uk SOA | awk \u0026#39;/RRSIG/ {print \u0026#34;sig expires\u0026#34;, $9}\u0026#39; Стався до нього як до сертифіката. Стеж за датою, піднімай тривогу задовго до неї і зроби поновлення автоматичним, щоб тривога була страховкою, а не робочим процесом.\nПотім вмикай у спокійний час, на чомусь, що не є твоїм основним доменом, і почекай два тижні, перш ніж робити той, що має значення. Якщо твій DNS на керованій платформі, сам підпис дуже ймовірно перемикач, і єдиний справді ручний крок це передати DS реєстратору.\nЦе той самий провал, що й з IPv6? Це очевидне порівняння, тож я виміряв обидва стандарти в тих самих групах того самого дня. Ті самі організації, ті самі люди, два рішення.\nn DNSSEC підписано IPv6 досяжний Британські банки й будівельні товариства 98 13,3 % 36,7 % Дистрибутиви Linux і BSD 96 19,8 % 67,7 % Кожен живий домен gov.uk 2380 1,6 % 31,2 % Важка міграція обганяє легку, три до одного і дев’ятнадцять до одного ТІ САМІ ОРГАНІЗАЦІЇ, ОБИДВА СТАНДАРТИ, ТОЙ САМИЙ ДЕНЬ DNSSEC підписано досяжні через IPv6 британські банки перевірено 98 13,3 % 36,7 % Linux і BSD перевірено 96 19,8 % 67,7 % Кожен живий gov.uk 2380 доменів 1,6 % 31,2 % IPv6 зачіпає кожен маршрутизатор і хост. DNSSEC це один запис у реєстратора. Ті самі організації, обидва стандарти, виміряно того самого дня В уряді в дев’ятнадцять разів далі, на тих самих доменах.\nА тепер подумай, що є що. IPv6 зачіпає кожен маршрутизатор, кожен хост і кожен застосунок і вимагає роками тримати паралельно подвійний стек. Підпис DNSSEC це перемикач і один запис, вставлений у реєстратора.\nЗначно важча робота обганяє легку всюди, куди я дивився. І це відкидає зручне пояснення, що так уже йдуть інфраструктурні стандарти, повільно й неохоче. DNSSEC не рухається повільно. Він не рухається.\nОдна різниця належить лише DNSSEC. Розгорни IPv6, і щось отримаєш назад: досяжність, не треба купувати NAT операторського рівня. Підпиши свою зону, і особисто ти не отримаєш нічого. Захист лягає на твоїх користувачів, і лише на тих, хто за резолвером, що валідує. Ти береш на себе постійний ризик збою заради людей, яких ніколи не зустрінеш, а це важче покласти перед радою директорів, ніж будь-яку технічну перешкоду в цьому дописі.\nПоловину цього аргументу про IPv6 я написав в іншому місці і тут не повторюватиму.17\nЧи не в тому справа, що ми досі не розуміємо DNS? Сорок два роки з того часу, як Mockapetris записав його в листопаді 1983 року.18 Шістнадцять з того, як підписали корінь.\nЯ думаю, проблема розуміння справжня, і думаю, вона конкретніша, ніж те, що люди не знають, як працює DNS. Чимало компетентних інженерів чудово опишуть рекурсію, делегування і кешування. Бракує одного кроку далі, і саме цей крок має значення.\nМайже ніхто не засвоїв, що DNS це система авторизації.\nДо нього ставляться як до сантехніки. Таблиця пошуку. Щось, що перетворює імена на числа і належить тому, хто керує мережею, у голові складене поруч із DHCP. І ця рамка хибна так, що тихо вирішує дуже багато, бо на практиці саме відповідь DNS вирішує, на яку машину йде твій трафік, з якого сервера приходять твої оновлення і який хост центр сертифікації вважає твоїм. Хто контролює відповідь, контролює всі три.\nЦе нерозуміння видно з того, хто підписав. Не бюджет і не навички, і щойно все вишикуєш, важко прочитати це інакше, ніж як картину того, чим кожен із них вважає DNS:\nХто підписав Чим для них є DNS Реєстри й оператори TLD, 100 % gTLD самим продуктом Розвідувальна служба поверхнею атаки, бо в їхній моделі загроз є підробка Дев’ять парафіяльних рад перемикачем, який запропонував їхній хостинг і який хтось клацнув Власні клієнти провайдера DNS значенням за замовчуванням, яке їм дісталося Хто не підписав Банки, відомства, постачальники, CA сантехнікою, рівнем нижче цікавих проблем Люди, найближчі до DNS як до речі в собі, усі підписали. Люди, які споживають його як комунальну послугу, ні, майже без винятків, хоч би якими забезпеченими і хоч би якими свідомими щодо безпеки вони себе вважали. GCHQ не підписала. Вісім із дев’яти центрів сертифікації не підписали. Це не організації, яким бракує розумних людей чи моделей загроз.\nТому ж у 2008 році відповіддю на Kaminsky стало ускладнити вгадування, а не довести до кінця розгортання того, що робить вгадування неважливим. Ускладнити вгадування це сантехнічне виправлення, а саме до сантехніки галузь і зарахувала DNS.\nЦіле покоління вивчило DNS як довідник і ніколи не переглянуло цей запис, коли він тихо став тим, що вирішує, з ким ти розмовляєш.\nМи його збудували, а потім покинули Реєстри, оператори й люди зі стандартів зробили важку частину. Вони його написали, десять років проводили через IETF, підписали корінь на церемонії зі свідками і домоглися, що 100 % загальних доменів верхнього рівня підписані. Це справжній шматок колективної інженерії, і він закінчений.\nА потім решта з нас не зробила своєї частини, бо наша частина нудна, невидима, несе весь особистий ризик і жодної заслуги, і ніхто не перевіряє.\nТака форма кожного стандарту, якого ніхто не примушує дотримуватися: ціну несеш сам, а вигода з’являється лише тоді, коли достатньо інших теж її понесли. Тож реєстри її понесли, а люди, які публікують настанови про те, як її нести, ні.\nХоча робота тут була меншою, ніж майже будь-яка з них. Ланцюжок уже збудував і оплатив хтось інший. Лишався один запис.\nА якщо це та частина, яку ми бачимо Остання думка, і я хочу чітко сказати, що це висновок, а не вимірювання, бо все інше в цьому дописі пораховано, а це ні.\nDNSSEC це, мабуть, найлегший для оцінки засіб безпеки, який існує. Він нічого не коштує, робота займає пів дня, стандарт закінчений двадцять років тому, і будь-хто може перевірити його ззовні однією командою, не питаючи дозволу. Жодного аудиту, жодної анкети, жодної NDA. Один dig.\nТо що ж 1,6 % каже тобі про засоби, яких звідси не видно?\nЗасіб Чи може сторонній його перевірити Коштує грошей Видно, коли працює Запис DS у твого реєстратора Так, однією командою ні ні MFA на облікових записах, що мають значення ні так ні Резервні копії, цього року відновлені, а не просто зроблені ні так ні Сегментація мережі ні так ні Кожен рядок під першим складніший за підпис зони, коштує справжніх грошей, потребує, щоб за нього хтось відповідав, і має ту саму властивість, що потопила DNSSEC: невидимий, коли працює, і ніхто ззовні не перевіряє. Єдине, що відділяє верхній рядок від решти, це те, що його можна перевірити, безкоштовно, про будь-кого, просто зараз.\nЯкщо організація не зробила безкоштовної речі, яка займає пів дня і яку незнайомець може перевірити однією командою, я не схильний припускати, що вона зробила дорогі речі, які вимагають цілої програми і які може перевірити лише той, кого вона пустить усередину.\nОчевидний хід це перевірити це на історії зламів, і я спробував. З 23 британських організацій із задокументованими великими інцидентами 22 не підписані.\nЦе число нічого не доводить, і я не вдаватиму інакше. При базовій частоті 1,6 % одна підписана організація у списку з 23 це рівно те, що передбачає випадковість. Гірше того, підписаний набір це дев’ять парафіяльних рад і три національні парки, а непідписаний це кожне велике відомство й кожне велике місто, тож розмір визначає і те, кого атакують, і те, хто потрапляє в новини. Будь-яке порівняння частоти зламів між двома групами вимірювало б, наскільки велика організація, а не чи вона підписала.\nТож ні, я не можу показати тобі, що підписані організації зламують рідше. Ніхто не може, не на даних, які будь-хто може отримати, а хто каже тобі інакше, той жартує.\nОрганізації, яких зачепило, записали, що підвело Мій висновок тобі не потрібен, бо вони опублікували це самі, і те, що підвело, це список вище.\nBritish Library тут найкраща, бо вона записала це добровільно й детально після атаки програми-вимагача у 2023 році. Їхній власний огляд називає причини: проникнення найімовірніше через сторонній обліковий запис на сервері Terminal Services без багатофакторної автентифікації, далі застаріла інфраструктура й обмежена сегментація мережі дали атакувальникам пересуватися по всьому господарству, а зростаючу складність стороннього доступу всередині позначили як ризик ще у 2022 році, і через рік вона нікуди не ділася.19 ICO дійшов тих самих висновків.20\nТобто три рядки таблиці вище, підтверджені зсередини самою організацією, а не виведені мною ззовні.\nІ перш ніж хтось використає це як палицю, British Library заслуговує протилежного, і я наполегливо поясню чому.\nВони були відкриті. Майже ніхто інший не є. Ніщо не зобов’язувало їх записати хоч слово. Стандартний сценарій після інциденту: сказати якнайменше з того, що дозволяє закон, пропустити це через відділ комунікацій, відмовитися щось конкретне підтверджувати і чекати, поки новини перейдуть на інше. Саме так зробила більшість організацій у непідписаних стовпцях вище, коли настала їхня черга, і саме тому написати цей розділ узагалі можна лише завдяки рішенню однієї установи поводитися інакше.\nНатомість вони опублікували огляд на вісімнадцять сторінок, у якому назвали власні провали, публічно, щоб інші установи могли на них вчитися. Це поведінка, якої хотілося б від кожної організації в цьому дописі, а отримуєш майже ні від якої. Причина, з якої я можу показати тобі, що насправді ламається всередині зламаної організації, в тому, що British Library вирішила тобі розповісти.\nІ є друга причина, з якої решта мовчить, і вона гірша за комунікаційну стратегію. Деяких із них більше немає.\nKNP Logistics возила вантажі як Knights of Old з 1865 року. У червні 2023 року група Akira проникла всередину, зашифрувала компанію і попросила близько п’яти мільйонів фунтів. До вересня група була неплатоспроможною, і 730 людей залишилися без роботи.21 Сто п’ятдесят вісім років зникли за чотирнадцять тижнів, і ніхто там не пише для тебе жодних уроків.\nТож коли непідписані стовпці вище здаються тихими, ця тиша складається з трьох різних речей: організацій, яких ще не зачепило, організацій, яких зачепило і які сказали якнайменше з того, що дозволяє закон, і організацій, яких зачепило і яких більше немає. Час діяти лишився лише в першої групи.\nЩо робить наступне чесною перевіркою мого власного аргументу, а не дешевим випадом. Я перевірив їхню зону:\n$ dig +short bl.uk DS (nothing) $ dig +short bl.uk DNSKEY (nothing) bl.uk не підписана. Як і britishlibrary.co.uk. Через два роки після атаки програми-вимагача, яка зупинила установу на місяці, після публічного огляду, після висновку ICO і після найретельнішої хвилі уваги до безпеки, яка взагалі буває в організації, безкоштовний засіб, який займає пів дня і який незнайомець може перевірити однією командою, досі не зроблений.\nЯ не читаю це як недбалість і не думаю, що це робить їх гіршими за непідписані організації, які нічого не опублікували. Я читаю це як найсильніший доказ у цьому дописі того, про що все це було. Якщо DNSSEC не роблять тут, в організації, що пройшла крізь вогонь, записала уроки і яку перевірив регулятор, то його пропускають не тому, що люди недбалі. Його пропускають, бо ніщо й ніхто ніколи не вносить його до списку.\nОсь чесна версія аргументу. Не непідписані зони спричиняють злами, що недоказово і, мабуть, хибно. А радше: засоби, яких ніхто ззовні не бачить, за опублікованими доказами організацій, що через це пройшли, так само занедбані, як і той один засіб, який ззовні бачать усі. DNSSEC не причина. Це вибірка, яку тобі дозволено взяти.\nСаме тому це вимірювання взагалі варто робити. Не тому, що непідписана зона сама по собі кінець світу, а тому, що це одна з дуже небагатьох властивостей безпеки, які сторонній може чесно перевірити, безкоштовно, про будь-кого, і щоб його не пускали всередину. Стався до неї як до димового датчика, а не як до вироку, а потім іди й став складніші питання тому, хто його ввімкнув.\nЄдина частина, яку ти контролюєш Що залишає єдину частину, яку будь-хто з нас справді контролює. Твою власну зону. Не NCSC, не Microsoft, не твого банку.\nПіди й спитай свого батька, чи ручається він за тебе:\ndig +short yourdomain.uk DS Якщо повернулося порожньо, ти не підписаний, і на більшості керованих DNS у 2026 році виправлення це перемикач і запис DS у реєстратора. Увімкни, а потім стеж за терміном дії так, як уже стежиш за своїми сертифікатами, бо саме цієї дисципліни насправді потребує вся ця річ.\nОсь і вся робота. Один запис і дата у твоєму моніторингу.\nТож, будь ласка, зроби хоча б це. Не тому, що йде регулятор, бо до більшості з вас він не йде, і не тому, що хтось подякує, бо не подякують. Зроби це, бо ніхто не йде, а стандарт, якого тримаєшся, коли ніхто не перевіряє, це єдиний вид, що будь-коли чогось вартий.\nТридцять дев’ять секретарів парафіяльних рад і один шпигун упоралися. Збирайся та й зроби.\nRFC 4033 — «DNS Security Introduction and Requirements», Arends et al., березень 2005. Чинна специфікація DNSSEC разом із RFC 4034 і RFC 4035.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nIANA root trust anchors — XML, який публікує IANA. Перший дайджест ключа має validFrom=\u0026quot;2010-07-15\u0026quot;, дату, коли корінь підписали; чинний KSK, тег ключа 20326, має validFrom=\u0026quot;2017-02-02\u0026quot;.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCERT VU#800113 — «Multiple DNS implementations vulnerable to cache poisoning», бюлетень 2008 року про техніку Kaminsky і джерело скоординованої відповіді у вигляді рандомізації портів джерела.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe root zone file — завантажено 27 вересня 2026, серійний номер SOA 2026092701. Підрахунки в цьому дописі отримано безпосереднім розбором делегувань NS і записів DS у цьому файлі.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nList of gov.uk domain names — власний реєстр уряду. Найновіший опублікований файл датовано 1 жовтня 2016, і в ньому 3004 домени другого рівня.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nMicrosoft Security Response Center — Flame malware collision attack explained — «An attacker took advantage of the Terminal Services licensing system\u0026rsquo;s enrollment process for certificates that chained up to the Microsoft Root Authority which did not require internal access to Microsoft PKI»; підроблений сертифікат «could be used to sign code that chained up to the Microsoft Root Authority and worked on all versions of Windows».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nSentinelOne — Driving Through Defenses: targeted attacks leverage signed malicious Microsoft drivers і Bitdefender\u0026rsquo;s FiveSys analysis — шкідливі драйвери ядра з підписами, виданими безпосередньо Microsoft через Windows Hardware Compatibility Program, включно з драйверами, які пізніше використовували в атаках програм-вимагачів.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nMicrosoft Security Response Center — Results of major technical investigations for Storm-0558 key acquisition — споживчий ключ підпису через стан гонитви потрапив в аварійний дамп, його забрали після компрометації корпоративного облікового запису інженера і використали для підробки токенів, які поштова система помилково приймала для корпоративних облікових записів.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nfTLD Registry Services security requirements — реєстр .bank і .insurance. «.BANK domain names must be signed with DNSSEC with strong cryptographic algorithms», поряд з обов’язковими TLS та автентифікацією пошти, з щорічною повторною перевіркою кожного реєстранта.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nApple, WWDC 2022 session 10079, \u0026ldquo;Improve DNS security for apps and servers\u0026rdquo; — «iOS 16 and macOS Ventura now support client side DNSSEC validation», вмикається для сесії чи запиту через requiresDNSSECValidation на URLSessionConfiguration, URLRequest або NWParameters.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nMicrosoft Learn — Understanding DNSSEC in Windows — клієнт DNS у Windows «is non-validating, which means it does not perform DNSSEC validation and relies on its local DNS servers»; очікування біта AD задає Name Resolution Policy Table, і «IPsec is used to establish this trust relationship» із сервером DNS.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nResolved: The Resolver You Are Already Running — виміряний стан systemd-resolved, зокрема чому кожен основний дистрибутив постачає DNSSEC=no під час компіляції і як це змінити.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nMS-ADTS: DNS-Based Discovery — специфікація протоколу Active Directory для пошуку контролера домену, включно із запитом SRV _ldap._tcp.dc._msdcs, який клієнт надсилає, щоб знайти контролери для контексту імен.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nMicrosoft Learn — Sign DNS zones with DNSSEC on Windows Server і What is DNSSEC on DNS Server in Windows Server? — підпис зон з’явився у Windows Server 2008 R2, але забороняв динамічні оновлення, а Windows Server 2012 додав онлайн-підпис динамічних зон. Для зони, інтегрованої з Active Directory, приватні ключі підпису реплікуються на інші основні сервери DNS через реплікацію Active Directory.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nresolved.conf(5), systemd 259.9 у постачанні Fedora 44 — посібник радить allow-downgrade, а true на системах, де на висхідний резолвер можна покластися, тоді як запаковане значення за замовчуванням у /usr/lib/systemd/resolved.conf це DNSSEC=no.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nsystemd meson_options.txt — option('default-dnssec', type : 'combo', choices : ['yes', 'allow-downgrade', 'no'], value : 'allow-downgrade'). Вибране upstream значення за замовчуванням це allow-downgrade; #DNSSEC=no у файлі постачальника Fedora це те, що натомість встановила ця збірка.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nWe Never Ran Out Of Addresses — версія цього аргументу про IPv6, включно з 463 британськими організаціями, що мають виділення IPv6 і не анонсують жодного IPv6, і з тим, що на CGNAT є замовлення на закупівлю, а на правильне рішення немає.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 882 — «Domain Names: Concepts and Facilities», P. Mockapetris, листопад 1983. Оригінальна специфікація, замінена RFC 1034 і RFC 1035 у 1987 році.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nBritish Library, \u0026ldquo;Learning Lessons from the Cyber-Attack\u0026rdquo;, 8 березня 2024 — власний огляд бібліотеки про атаку програми-вимагача в жовтні 2023 року, який називає відсутність багатофакторної автентифікації на обліковому записі, через який увійшли, застарілу інфраструктуру, обмежену сегментацію мережі і складність стороннього доступу, записану як ризик у 2022 році.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nICO statement on the British Library\u0026rsquo;s 2023 ransomware attack, квітень 2025.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Record — UK logistics firm blames ransomware attack for insolvency, 730 redundancies — KNP Logistics Group, материнська компанія 158-річної Knights of Old, атакована Akira в червні 2023 року після того, як пароль працівника підібрали перебором за відсутності багатофакторної автентифікації, і неплатоспроможна до вересня.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\n","permalink":"https://blogs.damiendye.uk/uk/dns/dnssec-the-root-is-signed-you-are-not/","summary":"Важку частину DNSSEC закінчили роки тому. За підрахунком живої кореневої зони 27 вересня 2026, 1351 з 1438 доменів верхнього рівня мають запис DS, і всі 1038 gTLD підписані. А далі все обривається. Перепис усіх доменів gov.uk з офіційного реєстру знаходить 39 підписаних із 2390, що досі резолвляться, дев’ять із них це парафіяльні ради, а HMRC, NHS, GCHQ і National Cyber Security Centre серед них немає. Підписався один центр сертифікації з дев’яти. І один дистрибутив Linux чи BSD з п’яти. windowsupdate.com взагалі не має DS. Ось чого насправді коштує підроблена відповідь, що з цим робить підпис, чому звичні відмовки не витримують зіткнення з цифрами і чи не в тому справжня проблема, що через сорок два роки після Mockapetris майже ніхто не розуміє, що DNS насправді обіцяє.","title":"DNSSEC: захист твого трафіку від підробки"},{"content":"На твоїй машині просто зараз працює DNS-резолвер. Ти його не встановлював, найпевніше ніколи не налаштовував, і він відповідає на кожен запит імені, який робить машина. На Fedora, Ubuntu і більшості десктопних Linux це systemd-resolved, і він тихенько сидить там із дня встановлення системи.\nВін уміє три речі, які варто мати. Він кешує, тож той самий запит не перетинає мережу двічі. Він перевіряє DNSSEC, тож підроблену відповідь відкидають, а не приймають на віру. І він говорить DNS over TLS, тож локальна мережа не може прочитати кожне ім’я, яке ти запитуєш.\nЗа замовчуванням він робить рівно одну з цих речей. Дві інші вимкнено, а в деяких дистрибутивах їх вимкнено під час компіляції, а отже, налаштування, яке ти змінив би, навіть не є тим налаштуванням, що це вирішило. Валідатор, який ніколи не перевіряє, ні до чого не придатний.\nОсь що ця штука робить насправді, виміряне на робочій машині з Fedora 44 і systemd 259, і що змінюється, коли увімкнути дві інші функції. Включно з тим, що твій дистрибутив вирішив за тебе під час компіляції, і скільки з цього ти можеш просто скасувати.\nЩо насправді відповідає на твої запити Почнімо з чесної картини, бо «він використовує /etc/resolv.conf» на цих системах уже багато років не відповідає дійсності.\nsystemd-resolved відкриває себе чотирма різними способами, і від того, яким користується програма, залежить, що вона отримає.1 Шлях glibc це nss-resolve, під’єднаний через /etc/nsswitch.conf. Нативні шляхи це D-Bus і Varlink, які несуть вердикт DNSSEC і область інтерфейсу, яких getaddrinfo ніяк не може виразити. А ще слухач-заглушка, справжній DNS-сервер на loopback для всього, що говорить сирим DNS і нічого не знає про все перелічене.\nЧотири двері, один демон.\nНа цій машині це під’єднання виглядає так:\n$ ls -l /etc/resolv.conf lrwxrwxrwx. 1 root root 39 May 30 13:56 /etc/resolv.conf -\u0026gt; ../run/systemd/resolve/stub-resolv.conf $ cat /etc/resolv.conf nameserver 127.0.0.53 options edns0 trust-ad search damiendye.uk $ grep ^hosts: /etc/nsswitch.conf hosts: files myhostname mdns4_minimal [NOTFOUND=return] resolve [!UNAVAIL=return] dns resolve у цьому рядку це nss-resolve. dns після нього це традиційний nss-dns, який сидить там як запасний варіант і спрацьовує лише тоді, коли resolved узагалі не запущено.\nЧотири входи, один демон і рішення про маршрутизацію, перш ніж щось покине машину ЯК ПИТАЄ ПРОГРАМА ЩО РОБИТЬ ДЕМОН КУДИ ЦЕ ЙДЕ nss-resolve glibc, без вердикту D-Bus, Varlink нативно, повний вердикт 127.0.0.53 повна заглушка 127.0.0.54 проксі-заглушка systemd-resolved 1. hosts і синтетичні 2. кеш 3. валідатор DNSSEC 4. маршрутизація 5. транспорт проксі-заглушка оминає 2 і 3 LLMNR на 5355 DNS upstream Чотири входи, один демон і рішення про маршрутизацію, перш ніж щось покине машину Слухачів-заглушок два, а не один Про 127.0.0.53 знають усі. Менше людей знає, що є другий.\n$ ss -lntup | grep \u0026#39;:53 \u0026#39; udp UNCONN 0 0 127.0.0.54:53 0.0.0.0:* udp UNCONN 0 0 127.0.0.53%lo:53 0.0.0.0:* tcp LISTEN 0 4096 127.0.0.54:53 0.0.0.0:* tcp LISTEN 0 4096 127.0.0.53%lo:53 0.0.0.0:* Це не дві адреси для однієї й тієї самої речі. Другий навмисно робить менше:2\n127.0.0.53 127.0.0.54 Роль Повноцінний локальний резолвер Лише режим проксі Кеш Так Ні Перевірка DNSSEC Так, якщо ввімкнено Ніколи LLMNR і Multicast DNS Так Ні Синтетичні імена (localhost, _gateway) Так Ні Переходить на DNS over TLS Так Так Синтетичне ім’я для нього _localdnsstub _localdnsproxy Ти отримуєш Те, що вирішив resolved Те, що сказав upstream Документація про другу колонку говорить прямо. Він «pass most DNS messages relatively unmodified to the current upstream DNS servers and back, but not try to process the messages locally, and hence does not validate DNSSEC, or offer up LLMNR/MulticastDNS».2\nТож 127.0.0.54 правильна ціль для програми, яка хоче перевіряти сама, або для тієї, якій потрібна сира відповідь upstream, а не тлумачення resolved.\nОбидві адреси мають синтетичні імена, _localdnsstub і _localdnsproxy, які розв’язуються без жодного налаштування.\nРежимів для /etc/resolv.conf чотири, а не три Режим визначається автоматично з того, чим є файл, і їх чотири.1\n/etc/resolv.conf це Що це означає Клієнти в обхід NSS символьне посилання на run/systemd/resolve/stub-resolv.conf Рекомендований режим. Містить 127.0.0.53 і живі пошукові домени Ідуть через resolved символьне посилання на /usr/lib/systemd/resolv.conf Статичний, містить 127.0.0.53, без пошукових доменів Ідуть через resolved символьне посилання на run/systemd/resolve/resolv.conf Містить справжні сервери upstream, підтримується актуальним Повністю обходять resolved справжній файл, яким керує щось інше resolved читає його як споживач, а не як постачальник Повністю обходять resolved Третій рядок ловить людей. Він виглядає охайним варіантом, його тримають актуальним, і він тихо означає, що кожна програма, яка читає resolv.conf напряму, говорить із резолвером твого провайдера без кешу, без перевірки і без шифрування, хоч би що ти налаштував у resolved.conf.\nПараметр trust-ad у файлі вище теж має значення. Без нього glibc зрізає біт AD з відповіді, перш ніж її побачить твоя програма, з розумної причини: заява випадкового резолвера, що він щось перевірив, нічого не варта. Коли сервером імен є 127.0.0.53, заява йде від твоєї власної машини, тож trust-ad тут правильний, і resolved сам його вписує.\nПро конспірологію навколо systemd Перш ніж до деталей, бо саме в цій темі вона завжди виринає.\nЯкщо твоє заперечення до того, що далі, це теорія про особисто Леннарта Пьоттерінга, або про мотиви Red Hat, або про те, що systemd це змова, щоб щось у тебе відібрати, то можеш котитися, бо слухати твої вигадки мені нецікаво.\nУсе в цьому дописі знято з робочої машини: вихідний код, прапорці збирання, постачений бінарник, man-сторінки і виміряна поведінка. Біля кожного твердження стоїть команда, яку ти можеш запустити сам і перевірити. Прапорці збирання публічні. Вихідний код публічний. Єдине значення за замовчуванням, яке я вважаю справді хибним, обрали люди, які записали свої міркування там, де будь-хто може їх прочитати і посперечатися з ними, що я нижче і роблю.\nЦе куди більше прозорості, ніж ти отримуєш від більшості програм, які запускаєш без жодного слова скарги.\nНеси докази або облиш.\nКеш це частина, яка просто працює Це єдина функція, ввімкнена за замовчуванням усюди, і саме вона окуповує себе взагалі без налаштування.\nВимірювання на цій машині, на 32 доменах. Очисти кеш, запитай усі, запитай їх знову і читай час запиту, який повідомляє dig, а не засікай час процесу:\n$ resolvectl flush-caches $ for n in $NAMES; do dig +tries=1 @127.0.0.53 \u0026#34;$n\u0026#34; A | grep \u0026#39;Query time\u0026#39;; done медіана середнє p90 макс. разом для 32 імен холодний кеш 103,5 мс 106,7 мс 184 мс 238 мс 3414 мс теплий кеш 0,0 мс 0,5 мс 1 мс 3 мс 16 мс 3414 мілісекунд проти 16. Ось і весь аргумент на користь локального кешу, і саме тому він увімкнений за замовчуванням.\nАле варто чесно сказати, що це за число. Це економія на прогоні тридцяти двох імен, які ще ніколи не запитували, порівняно з тим самим повтореним прогоном, і жодне справжнє навантаження не схоже ні на те, ні на інше. Корисна цифра це хвіст, а не медіана: найгірший запит у цьому наборі коштував 238 мс холодним і 3 мс теплим. Сторінці, яка тягне вісім імен хостів, байдуже до твоєї медіани, вона чекає на найповільніше.\nПеремикачі [Resolve] Cache=yes # yes | no-negative | no CacheFromLocalhost=no # default: do not cache answers from 127.0.0.1 StaleRetentionSec=0 # serve expired records when upstream is down Налаштування За замовчуванням Що робить Cache=yes увімк. Кешувати позитивні й негативні відповіді Cache=no-negative Лише позитивні відповіді, коли тобі набридло чекати, доки мине негативний TTL CacheFromLocalhost=no увімк. Не кешувати взагалі, коли upstream на 127.0.0.1 StaleRetentionSec=0 вимк. Віддавати прострочені записи, коли upstream перестає відповідати DNSCacheSize=4096 4096 Записів на область. Лише systemd 261 і новіші Третій рядок кусається. Якщо твій upstream це dnsmasq чи unbound на loopback, resolved узагалі не кешуватиме його відповіді, бо те, з чим він говорить, уже є кешем. Спрямуй resolved на фільтрувальний резолвер на іншому хості, і отримаєш два шари кешування. Спрямуй на такий самий на loopback, і отримаєш один.\nStaleRetentionSec= найцікавіший, і за замовчуванням він вимкнений. Задай його, і коли upstream перестане відповідати, resolved і далі віддаватиме записи після закінчення їхнього TTL, а не падатиме.2 Він завжди спершу пробує upstream. На NXDOMAIN це не поширюється, бо відсутність імені цілком чинна відповідь, і нічого простроченого в ній немає. Для ноутбука, що то з’являється, то зникає з покриття, або для машини, яка мусить працювати під час збою DNS, це варто мати:\n[Resolve] StaleRetentionSec=1d systemd 261 додав до цього розмір кешу для кожного протоколу: DNSCacheSize=, MulticastDNSCacheSize= і LLMNRCacheSize=, кожен за замовчуванням 4096 записів і з межею 2^24.3 Не на цій машині, яка працює на 259, і не в жодному поточному стабільному випуску дистрибутива. Варто знати, що це йде, бо досі розмір кешу взагалі не налаштовувався.\nДемон також очищає все при нестачі пам’яті, що розумно і часом дивує, коли намагаєшся зрозуміти, чому частка влучань у кеш виглядає кепсько.\nSplit DNS це причина його залишити Якщо винесеш звідси одну річ, винеси цей розділ, бо це функція, яка справді робить те, чого не вмів старий резолвер-заглушка.\nТрадиційний resolv.conf має один список серверів імен на всю машину. Один список. Підніми VPN, і щось мусить його перезаписати, а це означає, що або працюють твої внутрішні імена, а решта DNS іде через корпоративний резолвер, або навпаки. Третього варіанта немає. Файл не здатен його виразити.\nresolved маршрутизує кожен запит окремо, для кожного інтерфейсу.1 Кожне з’єднання має власні сервери і власні домени, і запит надсилається на те з’єднання, чий домен найкраще відповідає імені за кількістю міток.\nКонфігурація Записується як Ефект Пошуковий домен damiendye.uk Суфікс для імен з однієї мітки, і маршрутизує відповідні запити на це з’єднання Домен лише для маршрутизації ~internal.example Маршрутизує відповідні запити на це з’єднання, ніколи не використовується як суфікс Маршрут для всього ~. Надсилати на це з’єднання все, що не збіглося деінде Маршрут за замовчуванням DNSDefaultRoute=yes Брати запити, що не збіглися, не претендуючи на ~. Тож ноутбук із піднятим робочим VPN отримує ось що:\nresolvectl domain tun0 \u0026#39;~corp.example\u0026#39; \u0026#39;~10.in-addr.arpa\u0026#39; resolvectl dns tun0 10.0.0.53 Імена під corp.example і зворотні запити для 10.0.0.0/8 ідуть тунелем. Усе інше, як і раніше, виходить через локальне з’єднання. Нічий resolv.conf не перезаписали, і коли тунель падає, маршрути зникають разом із ним.\nОдин запит, два з’єднання і рішення про маршрутизацію за кількістю міток ЗАПИТ РІШЕННЯ З’ЄДНАННЯ db01.corp.example 14.0.10.in-addr.arpa blogs.damiendye.uk Більше міток перемагає Кожне з’єднання має свої сервери й домени. tun0 ~corp.example wlp4s0 DefaultRoute Тильда лише маршрутизує. Без тильди ще й додає суфікс до імен з однієї мітки. Один запит, два з\u0026rsquo;єднання і рішення про маршрутизацію за кількістю міток Одне правило варто сказати прямо, бо саме за нього люди хапаються і помиляються. ~. на з’єднанні означає віддавати перевагу цьому з’єднанню для всього. Воно також неявно не дає жодному іншому з’єднанню бути маршрутом за замовчуванням. Хочеш, щоб з’єднання брало залишки, не претендуючи на весь простір імен? Задай DNSDefaultRoute=yes і не чіпай ~..\nПеревір, що він вирішив, а не припускай:\n$ resolvectl status Link 3 (wlp4s0) Current Scopes: DNS LLMNR/IPv4 LLMNR/IPv6 Protocols: +DefaultRoute LLMNR=resolve -mDNS -DNSOverTLS DNSSEC=no/unsupported Current DNS Server: 192.0.2.53 DNS Servers: 192.0.2.53 2001:db8:1::53 DNS Domain: damiendye.uk Default Route: yes Кожна адреса в цьому дописі з документаційних діапазонів, 192.0.2.0/24 і 2001:db8::/32, тож не встав їх у конфігурацію в очікуванні відповіді.4 5 Цифри й поведінка справжні, з робочої машини. Адреси замінено, бо глобальна адреса IPv6, побудована звичайним способом, несе MAC інтерфейсу в нижній половині, і публікуючи її, ти разом з нею роздаєш шматок інвентарного опису обладнання.\nЦим -DNSOverTLS і DNSSEC=no присвячено два наступні розділи.\nВін уміє перевіряти DNSSEC В upstream демон описано як «a caching and validating DNS/DNSSEC stub resolver».1 Половина з перевіркою справжня, це не обгортка навколо чогось іншого, і вона працює. Просто її не ввімкнено.\nЩоб увімкнути її для з’єднання, sudo не потрібен, бо resolvectl іде через polkit, а активній локальній сесії це дозволено:\n$ resolvectl dnssec wlp4s0 yes $ resolvectl status wlp4s0 | grep DNSSEC DNSSEC=yes/supported Суфікс /supported це resolved повідомляє, що він знайшов, коли перевіряв upstream, окремо від того, що ти попросив. yes/supported означає, що ти попросив перевірку і сервер здатен її нести. no/unsupported на інсталяції за замовчуванням означає, що ніхто не просив, тож ніхто й не перевіряв.\nЩойно вона ввімкнена, кожен запит повертається з вердиктом, і їх три.\nSecure, insecure і bogus це три різні відповіді ЧИ ПУБЛІКУЄ БАТЬКІВСЬКА ЗОНА DS І ЧИ ПРОХОДЯТЬ ПІДПИСИ? SECURE damiendye.uk Підписано, і ланцюжок сходиться. Дані повернуто. INSECURE systemd.io Немає DS. Не підписано, тож нічого перевіряти. Дані повернуто. BOGUS dnssec-failed.org Заявляє про підпис. Доказ не проходить. Запит відкинуто. Два з трьох повертають дані. Увімкнена перевірка не ламає непідписані сайти. Secure, insecure і bogus це три різні відповіді, і лише одна з них є збоєм Ось усі три на цій машині, на справжніх іменах:\n$ resolvectl query damiendye.uk -- Data is authenticated: yes; Data was acquired via local or encrypted transport: no $ resolvectl query systemd.io -- Data is authenticated: no; Data was acquired via local or encrypted transport: no $ resolvectl query dnssec-failed.org dnssec-failed.org: resolve call failed: DNSSEC validation failed: missing-key (DNSKEY Missing: no SEP matching the DS found for dnssec-failed.org.) damiendye.uk підписаний, тож ланцюжок від кореня перевіряється і дані автентифіковано. systemd.io не підписаний, тож перевіряти нічого, і resolved чесно так і каже, а не вдає. Це власний домен проєкту systemd, і до цього я ще повернуся. dnssec-failed.org опубліковано з навмисно зламаними підписами. Він провалюється жорстко, з діагностикою, яка називає точну проблему.\nОсь розрізнення, яке губиться. Insecure не є збоєм. Непідписана зона повертає дані й каже тобі, що їх не вдалося перевірити. Відкидається лише зона, яка заявляє, що підписана, а потім не може цього довести.\nСам ланцюжок видно, якщо хочеш на нього поглянути:\n$ dig +short @127.0.0.53 uk DS 43876 8 2 A107ED2AC1BD14D924173BC7E827A1... $ dig +short @127.0.0.53 damiendye.uk DS 2371 13 2 A5B2825C57899A5A15EE9703832C8358E0D19EF29DC72DD83C691ED77C33BD7F $ dig +short @127.0.0.53 damiendye.uk DNSKEY 256 3 13 oJMRESz5E4gYzS/q6XDrvU1qMPYIjCWz... 257 3 13 mdsswUyr3DPW132mOi8V9xESWE8jTo0d... Корінь ручається за uk, uk ручається за damiendye.uk, а ключ 257 підписує ключ 256, який підписує записи. Алгоритм 13 тут це ECDSA P-256, який і потрібен на новій зоні, а не RSA, яким досі користується DS для uk вище.\nЧерез звичайну заглушку програма, яка ніколи не чула про resolved, отримує той самий вердикт як прапорець AD:\n$ dig @127.0.0.53 ietf.org A | grep flags ;; flags: qr rd ra ad; $ dig @127.0.0.53 dnssec-failed.org A | grep status ;; -\u0026gt;\u0026gt;HEADER\u0026lt;\u0026lt;- status: SERVFAIL А демон веде поточний підрахунок, і це найшвидший спосіб побачити, чи перевірка взагалі щось робить:\n$ resolvectl statistics DNSSEC Verdicts Secure: 134 Insecure: 62 Bogus: 0 Indeterminate: 2 Чого коштує перевірка Тут я тебе розчарую, бо намагався виміряти це як слід і не зміг.\nТеплим кешем усе чисто і майже нічого не коштує. Ті самі 32 імена з повним кешем коштували 16 мс без перевірки і 23 мс з нею. Назвімо це похибкою округлення.\nХолодний кеш мав би показати вартість, але один клієнт не може її відокремити. Я прогнав обхід в обидва боки і отримав суперечливі відповіді: в одному порядку перевірка виглядала на 74 % повільнішою, в іншому вона виглядала швидшою, що неможливо і показує, що насправді вимірюється. Той обхід, який іде другим, виграє від того, що резолвер upstream уже отримав усе, про що питав перший. Змінна, яка переважає, це не перевірка, а те, чий кеш був теплим.\nТож я не дам тобі числа, за яке не можу відповісти. Правдою є механізм, і документація прямо описує його форму: перевірка «requires retrieval of additional DNS data, and thus results in a small DNS lookup time penalty».2 Холодний перевірений запит проходить ланцюжок делегування, отримуючи DS і DNSKEY на кожному рівні, перш ніж відповісти, тож він коштує додаткових обмінів для імен, яких ще ніхто не запитував, і нічого для імен, які хтось уже запитував.\nОсь чому та сама сторінка попереджає, що вимкнення кешу «comes at a performance penalty, which is particularly high when DNSSEC is used».2 Ці дві функції не незалежні. Перевірка доступна саме тому, що завдяки кешу ти платиш за неї один раз.\nЯкщо хочеш справжню цифру для власної мережі, вимірюй там. Один клієнт на одному підключенні тобі цього не скаже.\nТо чому ж перевірку вимкнено Бо твій дистрибутив вимкнув її, коли збирав пакет, і зробив це з причини, яку записав.\nUpstream systemd постачає перевірку ввімкненою. Так каже параметр збирання:\noption(\u0026#39;default-dnssec\u0026#39;, type : \u0026#39;combo\u0026#39;, choices : [\u0026#39;yes\u0026#39;, \u0026#39;allow-downgrade\u0026#39;, \u0026#39;no\u0026#39;], value : \u0026#39;allow-downgrade\u0026#39;) і посібник upstream погоджується: DNSSEC= «Defaults to allow-downgrade».6\nТепер подивися, що Fedora передає цьому збиранню:7\n-Ddefault-dnssec=no -Ddefault-dns-over-tls=no -Ddefault-mdns=no -Ddefault-llmnr=resolve І що передають Debian і Ubuntu:8\n-Ddefault-dnssec=no -Ddefault-llmnr=no -Ddefault-mdns=no -Ddns-over-tls=openssl Тож файл /usr/lib/systemd/resolved.conf на машині з Fedora, той, що має заголовок «Entries in this file show the compile time defaults», містить #DNSSEC=no. Прочитай це ще раз, бо тут коїться щось хитре: рядок виглядає так, ніби програма повідомляє тобі своє власне значення за замовчуванням, а насправді показує тобі прапорець збирання Fedora, і справжнього значення upstream ніде на сторінці немає.\nНалаштування За замовчуванням в upstream Збирання Fedora Збирання Debian/Ubuntu Результат на цій машині DNSSEC= allow-downgrade no no DNSSEC=no DNSOverTLS= no no no (зібрано з OpenSSL) -DNSOverTLS MulticastDNS= yes no no -mDNS LLMNR= yes resolve no LLMNR=resolve Кожне з них збігається з тим, що resolvectl status друкує на цій машині. Вихідний код, прапорець збирання, робоча система, усі три погоджуються.\nМіркування Fedora викладено в пропозиції зміни, і вони напрочуд прямі. Функція «is known to cause compatibility problems with certain network access points», а Fedora «is not prepared to handle an influx of DNSSEC-related bug reports», тож її вимкнено.9\nМожна спитати, чому відповіддю на функцію, яка ламається в поганих мережах, стало вимкнути її для всіх, а не постачати allow-downgrade, як робить upstream, і дати їй самій вимикатися там, де треба? Не хто вирішив. Що в процесі до цього привело. Бо allow-downgrade існує саме для випадку з captive portal, саме з цієї причини він є значенням за замовчуванням в upstream, а постачання no натомість означає, що машина в цілком нормальній мережі теж не отримує жодної перевірки.\nЧесно кажучи, allow-downgrade має власну проблему, і справжню. Цей режим виявляє резолвер, який не вміє DNSSEC, і тихо припиняє перевіряти. Нападник, який може формувати твої відповіді DNS, може навмисно змусити це виявлення спрацювати, і документація прямо про це каже: він «makes DNSSEC validation vulnerable to \u0026lsquo;downgrade\u0026rsquo; attacks».2 Функція безпеки, яку будь-який нападник може вимкнути, робить менше, ніж здається.\nТож жодне зі значень за замовчуванням не є добрим. no не дає тобі нічого. allow-downgrade дає те, що нападник може відібрати, а yes дає справжню річ разом з усім, що в наступному розділі.\nА скільки вебу взагалі підписано Перш ніж витрачати багато зусиль на перевірку, варто знати, яку частку твоїх запитів вона взагалі може захистити. Тож я попросив resolved дати вердикт для вершини тридцяти двох доменів, яких ця тема справді стосується: органи, що написали стандарт, організації, що постачають резолвер, та інфраструктура, яку всі розв’язують, хочуть того чи ні.\nШістнадцять із тридцяти двох. Половина.\nПідписані Непідписані Стандарти й реєстри ietf.org, iana.org, icann.org, rfc-editor.org, ripe.net, isc.org, nlnetlabs.nl, nic.cz, afnic.fr, verisign.com жодного Дистрибутиви й постачальники debian.org, fedoraproject.org, opensuse.org, almalinux.org redhat.com, ubuntu.com, canonical.com, suse.com, rockylinux.org, archlinux.org Сам systemd жодного systemd.io, freedesktop.org Інфраструктура cloudflare.com, gov.uk github.com, kernel.org, google.com, wikipedia.org, mozilla.org, apache.org, gnu.org, quad9.net Прочитай першу колонку згори донизу. Кожен без винятку орган стандартизації і реєстр підписав. Десять із десяти, без винятків: люди, які написали DNSSEC, і люди, що керують реєстрами, які публікують записи DS для всіх інших. Вони зробили роботу на власних зонах.\nТепер прочитай третій рядок. systemd.io не має DS. Проєкт, що написав той самий перевірний резолвер, якому присвячено весь цей допис, не підписав власний домен, як і freedesktop.org, де живе його документація. Нижче quad9.net теж не підписаний, і над цим варто на секунду замислитися: публічний резолвер, уся пропозиція якого в тому, що він перевіряє DNSSEC за тебе, на зоні, яку ніхто не може перевірити.\nА постачальники чітко діляться вздовж однієї лінії. Спільнотні дистрибутиви підписали. debian.org, fedoraproject.org, opensuse.org, almalinux.org. Компанії ні. redhat.com, ubuntu.com, canonical.com, suse.com. Це ті чотири організації, які пакують і постачають цей резолвер на більшість парку Linux.\nПрогалини в технології тут немає. Протокол придатний до розгортання понад п’ятнадцять років, інструменти безкоштовні, а реєстри приймають запис DS без плати. Скажу тобі задарма: люди, що написали стандарт, підписали, а більшість тих, хто постачає програми, ні.\nГостріша версія того самого в gov.uk, який підписаний, а потім робить ось що:\n$ dig +short @127.0.0.53 www.gov.uk CNAME www-cdn.production.govuk.service.gov.uk. $ dig +short @127.0.0.53 service.gov.uk DS (nothing) uk має DS. gov.uk має DS. service.gov.uk не має жодного, тож ланцюжок там обривається, і www.gov.uk розв’язується як insecure, хоча вершина над ним підписана як слід. Хтось зробив роботу на gov.uk, а потім спрямував сам вебсайт на непідписане делегування. Півроботи.\nТож якщо ти підписуєш зону, перевір імена, які люди справді набирають. Підписана вершина, що через CNAME веде в непідписану зону CDN, не дає тобі нічогісінько.\nDNS over TLS працює, з умовами DNS over TLS реалізовано, його вкомпільовано в кожне основне збирання, і він працює. За замовчуванням він вимкнений усюди, включно з upstream, де DNSOverTLS= «Defaults to no».6\nКонфігурація займає два рядки, і другий саме той, який люди пропускають:\n[Resolve] DNS=9.9.9.9#dns.quad9.net 149.112.112.112#dns.quad9.net DNSOverTLS=yes Цей #dns.quad9.net не прикраса. Він задає ім’я для SNI і для перевірки сертифіката. Пропусти його, і сертифікат натомість «checked against the server\u0026rsquo;s IP».2 З великими провайдерами це працює, бо вони вписують IP-адреси в SAN своїх сертифікатів, але це слабша перевірка, вона ламається, щойно провайдер перестане так робити, і вона не захищає тебе від перенаправлення на іншу адресу, яка має чинний сертифікат для себе самої. Стаття в журналі самої Fedora про це пропускає ім’я хоста,10 і шкода, бо синтаксис прямо там, у коментарях постаченого файлу конфігурації.\nStrict і opportunistic це дуже різні налаштування Режим На сервері, що підтримує DoT На сервері, що не підтримує Автентифікує сервер yes Зашифровано Усі запити провалюються Так opportunistic Зашифровано Тихо відкритим текстом Ні no Відкритим текстом Відкритим текстом н/д opportunistic читається як розумна золота середина, але здебільшого нею не є. Документація каже це прямо: у цьому режимі «the resolver is not capable of authenticating the server, so it is vulnerable to \u0026lsquo;man-in-the-middle\u0026rsquo; attacks»,2 і будь-хто, хто може відкидати твій трафік на порт 853, може примусити до пониження. Він захищає тебе від пасивного спостереження в мережі, де ніхто не намагається. Проти того, хто намагається, він нічого не робить.\nyes чесне налаштування. Воно також означає, що коли з’єднатися не вдається, ти взагалі не маєш DNS, і це варто знати, перш ніж ставити його на машину, до якої не можеш підійти.\nЯ спробував strict DoT до Quad9 з цієї машини, і запит завис. Ні помилки, ні тайм-ауту, нічого в журналі між очищенням і моїм відкатом через дві хвилини:\nSep 27 17:12:11 systemd-resolved[40105]: wlp4s0: Bus client set DNS server list to: 9.9.9.9#dns.quad9.net, ... Sep 27 17:12:14 systemd-resolved[40105]: wlp4s0: Bus client set DNSOverTLS setting: yes Sep 27 17:12:15 systemd-resolved[40105]: Flushed all caches. Sep 27 17:14:39 systemd-resolved[40105]: wlp4s0: Bus client set DNS server list to: 192.0.2.53, ... Звідси я не можу сказати, чи досяжний порт 853 на цьому підключенні, бо оболонка, з якої я запускав тест, не могла дістатися й порту 443 і явно сама була відфільтрована. Що журнал показує, так це сценарій збою: strict DoT, який не може під’єднатися, не повідомляє нічого корисного. Він чекає. Якщо ти це ввімкнув і твій DNS затих, перевір ss -tn dport = :853, перш ніж іти дивитися на resolved.\nЯк перевірити це як слід # does the transport actually come up resolvectl flush-caches resolvectl query ietf.org # expect: acquired via ... encrypted transport: yes # is anything still going out in the clear sudo tcpdump -ni any \u0026#39;port 53 and not host 127.0.0.53\u0026#39; Друга команда каже правду. Коли DoT працює, нічого не повинно виходити з машини на порт 53, а все, що виходить, це програма, яка знайшла шлях повз заглушку.\nDNS over HTTPS тут не існує Пряма відповідь на питання: systemd-resolved не підтримує DNS over HTTPS. Ні частково, ні за прапорцем, ні з параметром збирання, який ніхто не вмикає. DoH там немає зовсім.\nІ це не прочитано з документації, яка могла просто застаріти. Це те, що містить бінарник:\n$ strings /usr/lib/systemd/systemd-resolved | grep -icE \u0026#39;application/dns-message|dns-query|:443\u0026#39; 0 $ grep -oE \u0026#39;name=\u0026#34;DNSOver[A-Za-z]*\u0026#34;\u0026#39; /usr/share/dbus-1/interfaces/org.freedesktop.resolve1.Manager.xml name=\u0026#34;DNSOverTLS\u0026#34; Ні формату DoH, ні HTTP/2, одна властивість шифрування в інтерфейсі D-Bus, і це TLS. Повний список директив resolved.conf в upstream налічує сімнадцять налаштувань, і жодне з них не згадує HTTPS.6\nПро це просили. Issue #8639, «Add support for DNS-over-HTTPS to systemd-resolved», відкрито 2 квітня 2018 року, і він досі відкритий, з двома pull request і нічим не злитим.11 Вісім років і далі.\nТой самий вміст, те саме шифрування, різні порти ОБИДВА НЕСУТЬ ТОЙ САМИЙ ЗАПИТ DNS У ТОМУ САМОМУ TLS DNS over TLS DNS over HTTPS tcp/853 tcp/443 У systemd-resolved так, з v239 ні, зовсім Спостерігач бачить імена ні ні Мережа може заблокувати так, свій порт не без мук Можна перевірити свій так ні Запит у systemd issue 8639, квітень 2018. Досі відкритий. Той самий вміст, те саме шифрування. Різниця в тому, на якому порту, і хто може це розпізнати Чи це хибне рішення? Не очевидно, і аргумент на користь DoT пристойний. Обидва несуть DNS усередині TLS, і обидва зупиняють того самого пасивного спостерігача. Перевага DoH у тому, що він ховається на порту 443 разом з усім іншим, тож мережі, яка хоче заблокувати шифрований DNS, доводиться працювати набагато більше. Це справді корисно, якщо противником є оператор мережі.\nАле це ріже й в інший бік. Коли оператор ти сам, ця нерозрізненність означає, що ти теж не можеш перевірити власний DNS, а кожен застосунок, що постачає власний клієнт DoH, перестає користуватися системним резолвером, і так ти отримуєш браузер, який ігнорує твій split DNS, твій кеш і твої внутрішні зони. На твоєму власному обладнанні резолвер, видимий на відомому порту, це перевага.\nОтже: якщо DoT дістається до твого резолвера, користуйся ним, і ти нічого не втрачаєш. Якщо порт 853 заблоковано, у resolved немає відповіді, і тобі потрібен проксі DoH перед ним, dnscrypt-proxy або cloudflared на loopback, а resolved спрямований на нього. Кешування і перевірка лишаються роботою resolved. Переїжджає лише транспорт.\nЩо насправді постачає твій дистрибутив Той самий демон поводиться дуже по-різному залежно від того, хто його запакував. Увімкнути службу це легка половина. Половина, яку пропускають, це під’єднати її до мережевих інструментів, якими справді користується дистрибутив, і в одному з цих чотирьох її справді не під’єднано, доки ти не зробиш цього сам.\nВстановлено Увімкнено nss-resolve під’єднано Конфігурація надходить через Підтримується Fedora (33+) так так так, у systemd-libs NetworkManager так Ubuntu так так так netplan, далі NM чи networkd так Debian (12+) окремий пакет ні ні, окремий пакет обираєш і під’єднуєш сам так RHEL / Rocky / Alma (9, 10) так ні так NetworkManager, якщо йому сказати Technology Preview Перевірка і повний кеш: самі налаштування Ці чотири рядки скрізь однакові, бо resolved.conf у кожному дистрибутиві є resolved.conf. Різниться лише те, як решта конфігурації дістається демона, і про це наступні чотири розділи.\n# /etc/systemd/resolved.conf.d/60-local.conf [Resolve] DNSSEC=allow-downgrade Cache=yes CacheFromLocalhost=no StaleRetentionSec=1d Використовуй drop-in, а не редагуй /etc/systemd/resolved.conf, бо головний файл має нижчий пріоритет за будь-який drop-in, а оновлення пакета може з тобою за нього посперечатися. Нумерація це задокументована домовленість: постачальники беруть від 10 до 40 під /usr/, ти береш від 60 до 90 під /etc/, тож твій перемагає.6\nНа systemd 261 і новіших варто додати п’ятий рядок, бо до того розмір кешу взагалі не налаштовувався:\nDNSCacheSize=16384 # systemd 261+; default 4096, max 2^24 Застосуй і переконайся, що демон погоджується з файлом, а не припускай, що він його прочитав:\nsystemd-analyze cat-config systemd/resolved.conf # every fragment, in precedence order systemctl restart systemd-resolved resolvectl status | grep -E \u0026#39;DNSSEC|Protocols\u0026#39; resolvectl statistics # verdicts should start moving DNSSEC=allow-downgrade це налаштування, яке я поставив би на машину, яку не збираюся няньчити, з причин, викладених у розділі вище. DNSSEC=yes чесне, і воно закривається при збої. Обирай свідомо.\nПід’єднання до мережевого стеку Увімкнути службу це одна команда. Змусити власні мережеві інструменти твого дистрибутива передати їй свою конфігурацію DNS це та частина, що різниться, і саме тут «увімкнено» і «працює як слід» розходяться.\nЗвідки береться конфігурація DNS Щоб увімкнути DNSSEC Щоб задати розмір кешу Потрібне додаткове під’єднання Fedora NetworkManager, автоматично drop-in drop-in немає Ubuntu netplan, далі NM чи networkd drop-in або для з’єднання в .network drop-in немає Debian той стек, який ти обрав drop-in або для з’єднання в .network drop-in libnss-resolve, плюс стек нижче Сімейство RHEL NetworkManager, якщо йому сказати drop-in drop-in dns=systemd-resolved Fedora Найповніша інтеграція з чотирьох, і єдина, де все вже під’єднано.\nNetworkManager володіє мережею і передає DNS до resolved без жодних указівок. На цій машині ніде в /etc/NetworkManager/ немає рядка dns=, і все одно працює, бо NetworkManager виявляє запущений демон і користується ним. /etc/resolv.conf це символьне посилання на заглушку, а glibc під’єднано, бо libnss_resolve.so.2 постачається в systemd-libs, який не є опціональним:\n$ rpm -qf /usr/lib64/libnss_resolve.so.2 systemd-libs-259.9-1.fc44.x86_64 $ grep ^hosts: /etc/nsswitch.conf hosts: files myhostname mdns4_minimal [NOTFOUND=return] resolve [!UNAVAIL=return] dns Тож на Fedora drop-in вище це вся робота. Більше нічого під’єднувати.\nUbuntu Увімкнено за замовчуванням, і nss-resolve під’єднано так само. Різниця в тому, що конфігурація зазвичай надходить через netplan:\nnetwork: version: 2 ethernets: enp1s0: dhcp4: true nameservers: addresses: [9.9.9.9, 149.112.112.112] search: [example.com] Netplan передає це своєму рендереру, NetworkManager на десктопі або systemd-networkd на сервері, а рендерер передає resolved. Зверни увагу, чого netplan не може виразити. У netplan немає ключа для DNSSEC= і немає для DNSOverTLS=. Вони йдуть у drop-in вище, де їм і місце.\nЯкщо ти на systemd-networkd, налаштування для з’єднання також доступні нативно у файлі .network, і налаштування для з’єднання переважає глобальне:\n# /etc/systemd/network/10-lan.network [Network] DNS=9.9.9.9#dns.quad9.net DNSSEC=yes DNSOverTLS=yes Domains=~. Debian треба під’єднувати вручну Ось той, що справді не під’єднаний, і причина, з якої існує розділ вище.\nПочинаючи з Debian 12 systemd-resolved це окремий пакет, і примітки до випуску прямо кажуть про оновлення: «The new systemd-resolved package will not be installed automatically on upgrades», і «until it has been installed, DNS resolution might no longer work since the service will not be present on the system.»12 Ті самі примітки закривають і ширше питання: «systemd-resolved was not, and still is not, the default DNS resolver in Debian.»\nВстановлення це два пакети, а не один, і другий саме той, який усі пропускають:\napt install systemd-resolved libnss-resolve systemctl enable --now systemd-resolved libnss-resolve значиться лише в Suggests:, а не як залежність,13 а Suggests це єдиний зв’язок, на який apt не реагує. Тож ніхто його не встановлює.\nПричина, з якої ніхто не помічає, цікавіша за причину, з якої ніхто не встановлює. Пропусти його, і glibc все одно дістається до resolved, бо /etc/resolv.conf вказує на заглушку, а звичайний nss-dns з нею говорить. Більша частина демона працює далі:\nБез libnss-resolve З ним Кеш Так, через заглушку Так Перевірка DNSSEC Так, вона відбувається в демоні Так DNS over TLS Так Так Біт AD доходить до glibc Так, resolv.conf містить trust-ad Так Secure, insecure чи bogus Ні, лише один біт Так Адреси з областю з’єднання Ні Так /etc/hosts читає демон Ні Так Ніщо в лівій колонці не виглядає зламаним, тож нічого не виправляють. Втрачаєш ти те, чого не може нести формат DNS, і найнаочніший випадок це адреса з областю:\n$ getent hosts _gateway # via nss-resolve fe80::5054:ff:fe12:3456 _gateway $ dig +short @127.0.0.53 _gateway # via the stub, as nss-dns would 192.0.2.1 Те саме ім’я, той самий демон, дві різні відповіді. Link-local адреса IPv6 нічого не означає без інтерфейсу, до якого вона прив’язана, а у відповіді DNS немає куди це покласти, тож заглушка може віддати лише IPv4. Нативний API має куди це покласти і дає тобі адресу, яку ти насправді хотів.\nРядок із вердиктом це та сама проблема. AD це один біт: підписано чи ні. Нативний API розрізняє secure, insecure і bogus, а це різниця між «ніхто цього не підписав» і «хтось це підписав, а хтось інший до нього доклав рук». Застосунок, якому не байдуже, не може розрізнити їх через мережу.\nОсь розрив між службою, що працює, і службою, яку під’єднано, і він лишається невидимим, доки ти його не шукаєш.\nПеревір, що все встало:\ngrep ^hosts: /etc/nsswitch.conf # wants \u0026#39;resolve [!UNAVAIL=return] dns\u0026#39; Чотири входи на Debian, і той, який за тебе не встановлено ЗВІДКИ КОНФІГУРАЦІЯ ЯК ВОНА ВХОДИТЬ ДЕМОН ifupdown, статичний ifupdown, DHCP systemd-networkd NetworkManager прошарок resolvconf = resolvectl resolved 127.0.0.53 І ТЕ, ЩО НІХТО НЕ ВСТАНОВЛЮЄ glibc getaddrinfo() libnss-resolve Лише Suggests:. Без нього glibc працює, але вердикт до неї не доходить. Чотири входи на Debian, і той, який за тебе не встановлено Як решта твоєї мережі до нього дістається, залежить від того, на якому зі стеків Debian ти сидиш.\nПакет оголошує Provides: resolvconf і Conflicts: resolvconf, openresolv,13 тож він повністю перебирає інтерфейс resolvconf. /usr/sbin/resolvconf стає символьним посиланням на resolvectl, а це бінарник із кількома викликами: під цією назвою він говорить протоколом resolvconf(8) і передає все, що йому дають, прямо в resolved.14 Тож усе, що вже викликає resolvconf -a, працює далі без змін, а systemd-resolved єдиний підтримуваний бекенд.\nНе весь інтерфейс уціліває, і прогалини провалюються голосно, а не тихо:\nПараметр resolvconf Під systemd-resolved -a \u0026lt;iface\u0026gt; Реєструє DNS для з’єднання, прочитаний зі stdin. Той, що має значення -d \u0026lt;iface\u0026gt; Скасовує реєстрацію, як resolvectl revert -x Відображається на домен маршрутизації ~. -p Позначає з’єднання як не маршрут за замовчуванням (systemd 257+) -f Змушує -a і -d мовчати про інтерфейс, якого немає -m Приймається і тихо ігнорується -u, -i, -I, -l, -r, -R, -v, -V Не підтримується. Команда провалюється Одна пастка, яку варто знати, перш ніж її налагоджувати: прошарок записує /etc/resolv.conf лише тоді, коли цей файл є символьним посиланням на /run/systemd/resolve/resolv.conf, і не записує, коли це статичний файл.14\nifupdown, за замовчуванням на серверній інсталяції Debian. Розділ dns-nameservers в /etc/network/interfaces завжди реалізовувався хуками старого пакета resolvconf, а systemd-resolved конфліктує з цим пакетом і не постачає власних хуків /etc/network/if-up.d/. Для статичного інтерфейсу не покладайся на цей розділ. Задай сервери на з’єднанні явно і дай resolved ними володіти:\n# /etc/network/interfaces auto enp1s0 iface enp1s0 inet static address 192.0.2.10/24 gateway 192.0.2.1 up /usr/sbin/resolvconf -a $IFACE \u0026lt;\u0026lt;\u0026lt; \u0026#39;nameserver 192.0.2.53\u0026#39; down /usr/sbin/resolvconf -d $IFACE DHCP на ifupdown уже враховано. isc-dhcp-client постачає хуки, названі на честь демона, /etc/dhcp/dhclient-enter-hooks.d/resolved-enter і /etc/dhcp/dhclient-exit-hooks.d/resolved,15 тож сервери DNS з оренди потрапляють на правильне з’єднання без жодного налаштування.\nsystemd-networkd найчистіший варіант і не потребує жодного прошарку, бо обидві половини з одного проєкту. DNS, DNSSEC і DoT для з’єднання це нативні ключі у файлі .network, точно як у прикладі для Ubuntu вище.\nNetworkManager на десктопі Debian треба сказати один раз:\n# /etc/NetworkManager/conf.d/10-resolved.conf [main] dns=systemd-resolved Обери одне і знай, що саме обрав. Сценарій збою тут не демон, який відмовляється стартувати, а два стеки, що обидва вважають себе власниками /etc/resolv.conf, і це виглядає як переривчастий DNS і з’їдає пів дня. resolvectl status каже, на яке з’єднання потрапили сервери. Якщо відповідь «на жодне», демона ніщо не годує, і в цьому баг.\nRHEL, Rocky і Alma А ось цей варто прочитати двічі. Пакет є, nss-resolve доступний, NetworkManager може ним керувати, а документація Red Hat каже ось що:\nsystemd-resolved is an unsupported Technology Preview.16\nЦе формулювання стоїть у примітках до випуску RHEL 9 з 9.0 і досі є в 9.8. Technology Preview означає відсутність SLA для продакшну, і Red Hat прямо не рекомендує використовувати його в продакшні.\nІ він не ввімкнений. На цих системах resolv.conf володіє NetworkManager, тож увімкнення це налаштування NetworkManager, а не просто ввімкнення юніта:\n# /etc/NetworkManager/conf.d/10-resolved.conf [main] dns=systemd-resolved systemctl enable --now systemd-resolved systemctl reload NetworkManager resolvectl status # confirm NM actually handed the servers over Після цього drop-in вище застосовується без змін, а перевірка й кеш поводяться точно як на Fedora.\nТож на RHEL у тебе є рішення, якого немає на інших. Хочеш перевірний, кешувальний локальний резолвер зі split DNS на підтримуваній машині з RHEL? Тоді підтримувана відповідь не ця. Це unbound або dnsmasq через власний dns=dnsmasq у NetworkManager, і за обома Red Hat справді стоятиме.\nЦя позначка не коментар про код. Це коментар про те, за що Red Hat готовий поставити SLA, а кешувальний перевірний резолвер це те, щодо чого клієнти відкривають тікети. Справедливо. Але якщо ти купуєш RHEL заради підтримки, запуск розв’язання імен на непідтримуваному компоненті це рішення, яке треба ухвалити свідомо і записати, а не сповзти в нього, бо пакет був у репозиторії.\nНасправді нічого не покалічено, і ось як це довести Цю передумову варто перевірити, бо «мій дистрибутив це вимкнув, доведеться перезбирати» це рефлекс, і тут він хибний.\nsystemd має два зовсім різні види параметрів збирання, і про них говорять так, ніби це один:17\nПараметр збирання Вид Upstream Fedora Debian і Ubuntu Змінюється під час роботи resolve можливість увімк. зібрано true ні, і обидва його збирають nss-resolve можливість enabled зібрано, постачається в systemd-libs enabled, постачається як libnss-resolve ні, і обидва його збирають dns-over-tls можливість auto auto, розв’язується в OpenSSL openssl ні, і обидва його вкомпільовують openssl можливість enabled enabled enabled ні, і обидва його вмикають default-dnssec лише значення за замовчуванням allow-downgrade no no так, у drop-in default-dns-over-tls лише значення за замовчуванням no no значення upstream так, у drop-in default-mdns лише значення за замовчуванням yes no no так, у drop-in default-llmnr лише значення за замовчуванням yes resolve no так, у drop-in Прочитай останню колонку. Кожне налаштування, на яке скаржився цей допис, сидить у нижній половині, і кожне з них це значення за замовчуванням, а не можливість. Код вкомпільовано в обох. Ніхто нічого не прибрав.\nДоказ є раніше в цьому дописі, і компілятор для нього не знадобився. На стоковому пакеті Fedora, з вшитим DNSSEC=no, одна команда ввімкнула перевірку, і вона запрацювала повністю: підписана зона автентифікована, непідписана чесно про це повідомила, зламана відкинута з точною діагностикою. Якби її вирізали при компіляції, resolvectl status ніколи не сказав би yes/supported.\nТож перевір власне збирання, перш ніж хапатися за інструментарій:\n# is the crypto there at all systemctl --version | tr \u0026#39; \u0026#39; \u0026#39;\\n\u0026#39; | grep -E \u0026#39;^[+-](OPENSSL|GNUTLS|GCRYPT)$\u0026#39; # ask for the feature and read back what the daemon says it can do resolvectl dnssec \u0026lt;link\u0026gt; yes resolvectl status \u0026lt;link\u0026gt; | grep DNSSEC # yes/supported means the code is there На цій машині з Fedora це -GCRYPT +GNUTLS +OPENSSL, і цього вдосталь: DNSSEC потрібна одна з них, а DoT зібрано з OpenSSL.\nЩо дистрибутиви насправді вирізають Є одна річ, яку прибирають обидва, і її немає в списку, на який хтось скаржиться.\nUpstream вкомпільовує в бінарник запасний список DNS-серверів: Cloudflare, Google і Quad9.17 І Fedora, і Debian збирають з -Ddns-servers=, заданим порожнім, і ти можеш переконатися в цьому на постаченому бінарнику, а не вірити мені на слово:\n$ strings /usr/lib/systemd/systemd-resolved | grep -ciE \u0026#39;quad9|one\\.one\\.one|dns\\.google\u0026#39; 0 Нічого. Жодного гіперскейлера, вшитого у виконуваний файл.\nЦе єдине місце, де обидва дистрибутиви покращили upstream, і це варто сказати прямо, з огляду на те, скільки в цьому дописі йшлося про значення за замовчуванням, які я вважаю хибними. Машина, яка втратила конфігурацію DNS, має провалитися голосно і чекати на тебе. Вона не повинна тихо спрямовувати кожне ім’я, яке ти шукаєш, на резолвер в іншій юрисдикції, якого ти ніколи не обирав. Хочеш запасний варіант? Задай FallbackDNS= і обери, хто це буде.\nЯкщо тобі справді потрібне перезбирання Є один справжній випадок: мінімальне чи вбудоване збирання, де хтось передав -Ddns-over-tls=false, і транспорту справді немає. Спершу перевір командами вище, бо це рідкість і виглядає точно так само, як просто вимкнене налаштування.\nЯкщо таки потрібно, перезбирай пакет, ніколи не make install:\n# Fedora dnf download --source systemd rpmbuild --rebuild --define \u0026#39;_with_upstream 1\u0026#39; systemd-*.src.rpm # Debian and Ubuntu apt source systemd cd systemd-*/ \u0026amp;\u0026amp; editor debian/rules # change the -Ddefault-* flags dpkg-buildpackage -us -uc -b Я не запускав жодного з них на цій машині, тож сприймай їх як форму роботи, а не перевірений рецепт. Важить принцип. systemd це PID 1, і зібраний вручну make install поверх копії твого дистрибутива виводить його з-під менеджера пакетів: більше жодних оновлень безпеки, а наступне оновлення битиметься з тобою за файли. Збирання пакета зберігає обидва. Майже для всіх чесна відповідь така: drop-in на чотири рядки робить те саме за двадцять секунд, і саме тому цей розділ здебільшого існує, щоб тебе від цього відмовити.\nТри конфігурації, які варто запускати Не меню з усіх варіантів. Три позиції, кожну з яких я справді захищав би.\nНоутбук, ворожі мережі Сервер, твоя власна мережа Суворо Від чого захищаєшся Кав’ярня і готельний портал Нічого локального; upstream уже перевіряє Шлях до резолвера, якому ти не довіряєш DNSSEC= allow-downgrade no yes DNSOverTLS= opportunistic no yes StaleRetentionSec= 1d 1d не задано Переживає captive portal Так н/д Ні Переживає відфільтрований .arpa Так Так Ні Переживає заблокований порт 853 Так н/д Ні Нападник може його понизити Так, обидва налаштування н/д Ні Ноутбук у мережах, які ти не контролюєш. Шифруй транспорт і прийми ризик пониження в обмін на те, що все працюватиме за captive portal.\n# /etc/systemd/resolved.conf.d/60-local.conf [Resolve] DNS=9.9.9.9#dns.quad9.net 149.112.112.112#dns.quad9.net DNSOverTLS=opportunistic DNSSEC=allow-downgrade Cache=yes StaleRetentionSec=1d Сервер у мережі, якою ти керуєш, з перевірним upstream. Перевірка вже відбулася за один стрибок звідси. Не роби її двічі і не бери залежність від публічного резолвера.\n[Resolve] DNSSEC=no DNSOverTLS=no Cache=yes CacheFromLocalhost=no StaleRetentionSec=1d Машина, де ти хочеш справжню річ. Суворо за обома пунктами, нападникові нічого понижувати, і ти перевірив, що upstream це витримує.\n[Resolve] DNS=9.9.9.9#dns.quad9.net 149.112.112.112#dns.quad9.net DNSOverTLS=yes DNSSEC=yes Cache=yes Третя зламає зворотний DNS, якщо щось на твоєму шляху фільтрує .arpa, зламається повністю, якщо порт 853 заблоковано, і закривається при збої, а не тихо. Такі умови. Знай їх до розгортання, а не після, бо машина, яка не може нічого розв’язати, це довга дорога, якщо вона не в сусідній кімнаті.\nХоч би що ти обрав, застосуй і перевір, що демон насправді вирішив, а не що ти написав:\nsystemd-analyze cat-config systemd/resolved.conf # every file, in order systemctl restart systemd-resolved resolvectl status # the state it is really in resolvectl status тут оракул, так само як збирання є оракулом для сайту на Hugo. Налаштування у файлі це намір. Те, що друкує status, це те, що відбувається.\nРешту дієслів варто знати, бо разом вони відповідають майже на кожне питання про цей демон, яке в тебе виникне, без читання журналу:\nКоманда Що вона тобі каже resolvectl status Сервери, домени, протоколи для кожного з’єднання і живий стан DNSSEC і DoT resolvectl query NAME Відповідь, використаний протокол, вердикт DNSSEC і чи прийшла вона з кешу resolvectl statistics Влучання в кеш проти промахів і поточний підрахунок secure/insecure/bogus resolvectl show-cache Усе, що зараз у кеші, за областями resolvectl flush-caches Очистити кеш без перезапуску демона resolvectl dns LINK ... Задати сервери на одному з’єднанні під час роботи, без файлу конфігурації resolvectl dnssec LINK yes Увімкнути перевірку на одному з’єднанні, щоб протестувати до остаточного рішення resolvectl domain LINK ~x Задати домени маршрутизації і пошуку на одному з’єднанні resolvectl revert LINK Відкинути всі зміни під час роботи на цьому з’єднанні resolvectl show-server-state Перевірка можливостей кожного сервера: що, як виявилося, підтримує кожен upstream resolvectl monitor Дивитися на запити й відповіді наживо, що краще за здогади Усе в середньому блоці діє лише під час роботи і не переживає повторного підняття з’єднання, тож це правильний спосіб спробувати налаштування, перш ніж вписати його в drop-in. Це також означає, що nmcli device reapply тихо скасує твоє тестування, тож перевіряй status після, а не до.\nЗначення за замовчуванням це позиція, а не випадковість Три функції в коробці. Одна ввімкнена.\nКортить прочитати це як лінощі. Це не так. Кожне з цих значень за замовчуванням обговорювали люди, які бачили чергу багів по той бік рішення, і Fedora принаймні чесно записала, що не впорається з навантаженням на підтримку. Це справжнє обмеження, і я не вдаватиму, що це не так.\nАле значення за замовчуванням це позиція, і ця каже, що запит, який ніхто не може перевірити, цілком прийнятна основа для побудови. Стандарт ми маємо з 2005 року. Реєстри публікують записи безкоштовно, резолвер на твоїй машині реалізує все повністю, а причина, з якої він простоює, у тому, що надто велика частина інтернету так нічого й не підписала, тож увімкнення робить саме твою машину тією, що виглядає зламаною. Така форма кожного стандарту, якого ніхто не вимагає. Робити як слід це витрата, яку ти несеш сам, а користь з’являється лише тоді, коли достатньо інших понесли її теж.\nОсь чому перепис це та частина, за яку я справді взявся б. Не налаштування. Налаштування це двадцять хвилин. Перепис каже, що організації, які публікують настанови, постачають резолвер і хостять вихідний код світу, здебільшого не підписали власні зони, і що gov.uk підписав вершину, а потім спрямував той єдиний вебсайт, без якого ніхто не обійдеться, на непідписане делегування. Хтось зробив важку частину, а потім так і не перевірив ім’я, яке люди набирають.\nЛагодити ти можеш лише своє. Якщо в тебе є зона, підпиши її, подай DS, а потім піди і запитай ім’я www так, як це зробив би відвідувач, і переконайся, що ланцюжок доживає до кінця. Це пів дня роботи. Зроби це, і аргумент на користь перевірки перестане бути теоретичним для кожного, хто розв’язує твоє ім’я, а це єдина частина всього цього, яку будь-хто з нас справді може полагодити.\nsystemd-resolved.service(8) — «implements a caching and validating DNS/DNSSEC stub resolver»; чотири клієнтські інтерфейси, два слухачі-заглушки, синтетичні записи, правила маршрутизації і чотири режими /etc/resolv.conf.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nresolved.conf(5), у тому вигляді, як постачається в systemd 259.9 на Fedora 44 — DNSSEC=, DNSOverTLS=, Cache=, CacheFromLocalhost=, StaleRetentionSec= і опис проксі-заглушки 127.0.0.54.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nresolved.conf(5) — DNSCacheSize=, MulticastDNSCacheSize= і LLMNRCacheSize=, «Each defaults to 4096», додано в systemd 261.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 5737 — «IPv4 Address Blocks Reserved for Documentation»: 192.0.2.0/24, 198.51.100.0/24 і 203.0.113.0/24.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 3849 — 2001:DB8::/32 зарезервовано для документації, «to reduce the likelihood of conflict and confusion when relating documented examples to deployed systems».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nresolved.conf(5), остання версія upstream — DNSSEC= «Defaults to allow-downgrade», DNSOverTLS= «Defaults to no», домовленість про нумерацію drop-in і повний список директив без жодного параметра DNS over HTTPS.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nFedora systemd.spec, rawhide — прапорці збирання meson -Ddefault-dnssec=no, -Ddefault-dns-over-tls=no, -Ddefault-mdns=no, -Ddefault-llmnr=resolve.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nDebian systemd packaging, debian/rules — -Ddefault-dnssec=no, -Ddefault-llmnr=no, -Ddefault-mdns=no, -Ddns-over-tls=openssl. systemd в Ubuntu походить від цього пакування.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nFedora Change: systemd-resolved — Fedora 33 зробила його резолвером за замовчуванням; змінює значення за замовчуванням «from the upstream default DNSSEC=allow-downgrade to DNSSEC=no», бо функція «is known to cause compatibility problems with certain network access points», а Fedora «is not prepared to handle an influx of DNSSEC-related bug reports».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nFedora Magazine — Use DNS over TLS — рекомендована конфігурація DNSOverTLS=yes, подана з голими IP-адресами і без форми SNI #hostname.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nsystemd issue #8639 — «Add support for DNS-over-HTTPS to systemd-resolved», відкрито 2 квітня 2018 року, досі відкритий.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nDebian 12 release notes, 5.2.3 — «The new systemd-resolved package will not be installed automatically on upgrades»; «until it has been installed, DNS resolution might no longer work»; «systemd-resolved was not, and still is not, the default DNS resolver in Debian.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nDebian systemd packaging, debian/control — розділ systemd-resolved: Provides: resolvconf, Conflicts: resolvconf, openresolv, Replaces: resolvconf, а libnss-resolve значиться лише під Suggests:.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nresolvconf(1), the resolvectl compatibility mode — resolvectl «is a multi-call binary. When invoked as \u0026lsquo;resolvconf\u0026rsquo; \u0026hellip; it is run in a limited resolvconf(8) compatibility mode»; systemd-resolved «is the only supported backend»; які параметри підтримуються, ігноруються чи відкидаються; і правило, що /etc/resolv.conf записується лише тоді, коли він є символьним посиланням на /run/systemd/resolve/resolv.conf.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nDebian isc-dhcp-client file list — постачає /etc/dhcp/dhclient-enter-hooks.d/resolved-enter і /etc/dhcp/dhclient-exit-hooks.d/resolved.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRHEL 9.4 release notes, Technology Previews — «Note that systemd-resolved is an unsupported Technology Preview.» Перенесено без змін з RHEL 9.0 до 9.8.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nsystemd meson_options.txt — поділ між параметрами можливостей (resolve, nss-resolve, dns-over-tls, openssl) і параметрами значень за замовчуванням (default-dnssec, default-dns-over-tls, default-mdns, default-llmnr), а також вкомпільований запасний список dns-servers.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\n","permalink":"https://blogs.damiendye.uk/uk/dns/resolved-the-resolver-you-are-already-running/","summary":"systemd-resolved зараз працює на більшості десктопів Linux, кешує кожен запит і не перевіряє жодного. Тут розібрано шлях розв’язання від nss-resolve до двох слухачів-заглушок, виміряно, чого вартий кеш на справжній машині, увімкнено DNSSEC і показано три вердикти, які він може повернути, і пояснено, чому перевірку вимкнено за замовчуванням, хоча upstream постачає її ввімкненою. Далі перепис того, яка мала частина вебу справді підписана, DNS over TLS і його пастка strict проти opportunistic, і підтримка DNS over HTTPS, яку просять з 2018 року і якої досі немає. Наприкінці: що постачають Fedora, Ubuntu, Debian і сімейство RHEL, як під’єднати його в кожному, і чому функції, вимкнені твоїм дистрибутивом, є значеннями за замовчуванням, а не відсутнім кодом.","title":"Resolved: резолвер, який у тебе вже працює"},{"content":"Будь-що у твоїй мережі може знайти ім’я так, що твій DNS-сервер навіть не почує запитання. Жодне налаштування на машині не змінено, жодних прав адміністратора, нічого, що ти знайшов би в журналі. Запит виходить як звичайний запит HTTPS на порт 443, іде на резолвер десь в інтернеті й повертається з відповіддю, яку твій власний резолвер відмовився б дати.\nБлоклист не спрацьовує. Стрічка загроз запиту не отримує. Рядок журналу, який ти пішов би шукати, так і не був записаний.\nЦе називається DNS через HTTPS, скорочено DoH, і зроблено його з доброї причини. Звичайний DNS іде відкритим текстом на порт 53, тож кав’ярня, аеропорт і твій інтернет-провайдер можуть прочитати кожне ім’я, яке ти шукаєш, і змінити відповіді, якщо їм заманеться. DoH загортає запит у те саме шифрування, що й решту вебу, і ховає його в натовпі. Як захід приватності для людини у ворожій мережі він робить рівно те, що обіцяє.\nБіда в тому, що річ, яку він долає, і річ, на яку ти покладаєшся, є однією й тією самою річчю.\nТвій резолвер не просто служба пошуку. Це точка контролю: там відомий шкідливий домен отримує порожню відповідь, там запит до сервера керування з’являється в журналі, там Protective DNS відмовляє шкідливому домену ще до того, як з’єднання встановлено. DoH забирає запит у твого резолвера й віддає тому, якого ти ніколи не вибирав, і разом із ним іде кожен засіб контролю, який ти на цьому резолвері тримав.\nЗвичайний DNS іде через твій резолвер. DoH іде в обхід. Той самий ноутбук, те саме питання. Одна відповідь проходить твій контроль, інша його не зустрічає. Звичайний DNS, порт 53 DNS через HTTPS, порт 443 Ноутбук питає ім’я Твій резолвер блоклист і загрози перевірено запит записано за клієнтом погане ім’я: NXDOMAIN Інтернет лише якщо пройшов Ноутбук питає ім’я Твій резолвер його не питають нема що блокувати нема що записати HTTPS до резолвера на свій вибір Чужий резолвер відповідає на все Файрвол бачить ще одне зашифроване вебз’єднання. Таких у нього тисячі на хвилину, і на дроті це виглядає як решта. Той самий ноутбук ставить те саме питання. Ліворуч воно йде через твій резолвер, який перевіряє ім\u0026rsquo;я, записує його в журнал і лише тоді питає інтернет. Праворуч воно йде прямо назовні через HTTPS до резолвера, якого вибрав клієнт. Твій резолвер його не чує, тож нема чого блокувати й нема чого записувати, а на кордоні це ще одне зашифроване вебз\u0026rsquo;єднання серед тисяч. Це не аргумент проти шифрування DNS. Шифрований DNS правильний, і останній розділ цього допису пояснює, як його запустити. Це аргумент про те, хто вибирає резолвер, бо цей вибір і є вся гра, а DoH задумали так, щоб забрати його в тебе й віддати браузеру, застосунку і, якщо не пильнувати, нападникові.\nЩо таке DoH насправді Зніми з нього брендинг, і DoH виявиться звичайним вебзапитом, який випадково несе DNS-питання.\nЗвичайний DNS є маленьким двійковим повідомленням, що йде через UDP або TCP на порт 53. DoH кладе те саме повідомлення або його JSON-версію в запит HTTPS до вебсервера, що розмовляє цим протоколом; відповідь приходить як відповідь HTTPS1. Оце й уся ідея.\nRFC 8484 стандартизував його в жовтні 2018 року, і мету ніхто не приховував. Суть, як каже його власний вступ, у тому, щоб «allowing web applications to access DNS information via existing browser APIs»1.\nНаявні API браузера. Вебсторінка. Це не незручний побічний ефект, який хтось помітив роки по тому. Воно стоїть у першому абзаці стандарту, записане як мета.\nОсь пошук у стилі DoH, з командного рядка, через публічний резолвер, ім’я example.com:\n$ curl -s -H \u0026#39;accept: application/dns-json\u0026#39; \\ \u0026#39;https://cloudflare-dns.com/dns-query?name=example.com\u0026amp;type=A\u0026#39; {\u0026#34;Status\u0026#34;:0,\u0026#34;TC\u0026#34;:false,\u0026#34;RD\u0026#34;:true,\u0026#34;RA\u0026#34;:true,\u0026#34;AD\u0026#34;:true,\u0026#34;CD\u0026#34;:false, \u0026#34;Question\u0026#34;:[{\u0026#34;name\u0026#34;:\u0026#34;example.com\u0026#34;,\u0026#34;type\u0026#34;:1}], \u0026#34;Answer\u0026#34;:[{\u0026#34;name\u0026#34;:\u0026#34;example.com\u0026#34;,\u0026#34;type\u0026#34;:1,\u0026#34;TTL\u0026#34;:146, \u0026#34;data\u0026#34;:\u0026#34;23.192.228.80\u0026#34;}]} Жодного спеціального клієнта. Жодного порту, крім 443. Один запит HTTPS, такої самої форми, як завантаження вебсторінки, і ім’я, розв’язане машиною на іншому кінці світу, яка ніколи не чула ні про твою мережу, ні про твої правила. Google тримає такий самий ендпойнт, і Quad9, і ще десятки інших.\nТепер подивись, що бачить твій файрвол. З’єднання TLS із вебсервером на 443, всередину якого він зазирнути не може, бо в цьому і є сенс TLS, і яке не відрізнить від сотень інших, що щосекунди відкриваються до мереж доставки контенту, аналітики й реклами. DNS-питання зникло. Воно вийшло з будівлі, перевдягнене у вебтрафік, і ніхто біля дверей не побачив його обличчя.\nНа дроті DoH-запит є DNS-питанням, запечатаним у вебзапиті. Те саме питання. Одне написане на конверті, інше запечатане на три шари вглиб. Звичайний DNS, порт 53 DoH, порт 443 DNS-запит name=badsite.example type=A Файрвол читає це повністю. Бачить ім’я, перевіряє, блокує чи записує. Запис TLS (усе, що бачить файрвол) Запит HTTP до вебсервера DNS-запит (запечатаний) name=badsite.example type=A На порту 443 файрвол бачить лише зовнішній шар. З’єднання TLS із вебсервером, як завантаження сторінки, реклама чи маячок аналітики. Ім’я не спливає. Звичайний DNS-запит написаний на конверті: файрвол читає ім\u0026rsquo;я і діє. DoH-запит є тим самим питанням, запечатаним у запит HTTP всередині запису TLS, і файрвол бачить лише зовнішній шар, з\u0026rsquo;єднання з вебсервером на 443, яке виглядає як будь-яке інше. Ім\u0026rsquo;я ніде не спливає там, де засіб контролю міг би його дістати. Є три способи, якими клієнт може надіслати DNS-запит, і їх варто покласти поруч, бо різниця між ними і є весь цей допис.\nТранспорт Порт Твій резолвер його бачить Можна відмовити на кордоні Зашифровано Звичайний DNS 53 (UDP/TCP) Так, якщо примусово пустити через нього Так, закрий вихідний 53 Ні DNS через TLS (DoT) 853 Лише якщо він вказує на твій Так, закрий вихідний 853 Так DNS через HTTPS (DoH) 443 Лише якщо він вказує на твій Ні, 443 закрити не можна Так Звичайний DNS можна прочитати й заблокувати, і саме тому його було легко контролювати й легко за ним шпигувати. DoT шифрує запит, але тримає власний порт, тож на кордоні йому досі можна відмовити. DoH є тим, за що ніяк не вхопишся: зашифрований, як DoT, але ділить той єдиний порт, який ніколи не закриєш, тож лишається один важіль, який резолвер вибрав клієнт, і саме про цей важіль цей допис.\nХто вибирає резолвер Важить це тому, що на сучасній машині є п’ять різних речей, кожна з яких може вирішити, куди йде DNS, а за замовчуванням ти контролюєш рівно одну з них.\nП’ять речей на одній машині можуть вибрати резолвер. Ти задаєш одну. Хто вирішує, куди йде запит Шар Хто вибирає резолвер Твій за замовч.? Операційна система Твоя мережа, через DHCP чи оголошення маршрутизатора Так Браузер Типовий від виробника, якщо політика не перекриє Лише з твоєю політикою Застосунок чи його бібліотека Автор коду, під час збирання Ні Скрипт на вебсторінці Власник сайту чи будь-який скрипт, що він вантажить Ні Шкідливе ПЗ Оператор, зашито в код, часто за адресою, не ім’ям Ні Нижнім трьом не треба прав адміністратора, змін налаштувань чи чогось, що видно в ОС. П\u0026rsquo;ять шарів на одній машині, і кожен може вибрати власний резолвер. Операційна система користується тим, який роздає твоя мережа, і він твій. Браузер користується типовим резолвером свого виробника, якщо твоя політика не каже інакше. Застосунок, скрипт на вебсторінці й шкідливе ПЗ вибирають самі, і для цього їм від тебе нічого не треба. Операційна система питає резолвер, який твоя мережа видала через DHCP чи оголошення маршрутизатора. Він твій, і саме на цій моделі трималося все, що старше приблизно 2019 року: один резолвер, виданий мережею, і тому засоби контролю DNS на рівні мережі працювали тридцять років.\nБраузер це зламав. Firefox і Chrome обидва мають механізм для власного DoH, до резолвера, вибраного їхнім виробником, через твою голову, і відступають лише тоді, коли помічають керовану мережу. А застосунок може носити власний DoH-клієнт і зашитий у код резолвер, вибраний під час збирання; він не читає твій DHCP і не питає. Чимало легітимних програм уже так роблять.\nСкрипт на вебсторінці має тебе зупинити, бо йому взагалі нічого не треба встановлювати. Та команда curl вище є одним запитом HTTPS, а браузер заробляє на життя запитами HTTPS. Кілька рядків JavaScript на будь-якій сторінці, яку відкриває користувач, можуть надсилати запити на публічний DoH-ендпойнт, бо великі провайдери навмисно дозволяють крос-доменні запити, щоб вебзастосунки могли ними користуватися, і саме це заявлено метою в RFC 8484. Сторінка, яку ти зараз читаєш, могла б просто зараз розв’язувати імена через резолвер в іншій країні, а ти побачив би ще одне з’єднання HTTPS.\nА шкідливе ПЗ вибирає власний резолвер з очевидної причини: воно не хоче, щоб ти бачив, куди воно дзвонить. Воно носить резолвер у своєму коді, часто звертаючись до нього за адресою, щоб не було початкового пошуку, який можна зловити, і жодного твого дозволу для цього не потребує.\nПрочитай цей стовпець ще раз. Нижнім трьом не треба прав адміністратора, не треба змінювати налаштування, і нічого з цього не видно в операційній системі. Засіб контролю, який ти будував роками, один резолвер, один блоклист, один журнал, припускав, що верхній рядок є єдиним рядком. Уже багато років це не так.\nТой самий трюк, якого боялися виробники браузерів Випадок із вебсторінкою не теоретичний і не новий. Саме так зловживають протокольними помічниками: вебсторінка видає байти, щось далі по ланцюгу на них діє і не може відрізнити, що вони прийшли зі сторінки нападника, а не від справжнього клієнта, бо на дроті вони однакові. З DoH цим «щось далі» є публічний резолвер, який відповідає, не маючи як дізнатися, що JavaScript, який питає, прийшов із фішингової сторінки, а твій резолвер, той, що з блоклистом і журналом, ніколи не стояв на шляху, щоб мати думку. Це не діра, пробита у твоїх засобах контролю, а дорога, прокладена в обхід них і вимощена тим самим шифруванням, яке ти всім радиш використовувати.\nЦе вже канал авторів шкідливого ПЗ Не треба уявляти, як це використовують. Це задокументовано роками, названими дослідниками, на справжніх зразках, і рух іде лише в один бік: від кримінального бота 2019 року до інструменту державної розвідки наступного року, і щороку жвавіше, а свіжі бекдори з’являються й у 2026 році.\nЗразок Повідомлено Хто Що ніс DoH Godlua 1 липня 20192 Кримінальний ботнет Пошук імені свого сервера керування PsiXBot 6 вересня 20193 Кримінал (викрадач даних) Розв’язання домену командного сервера через DoH від Google OilRig (APT34) II квартал 20204 Пов’язані з державою Іран Викрадені дані, виведені через DoH до Google і Cloudflare ChamelDoH 16 червня 20235 ChamelGang (APT) Увесь канал керування, DNS TXT через DoH до Google і Cloudflare BRICKSTORM 4 грудня 20256 Бекдор, пов’язаний із Китаєм C2, закопаний під HTTPS і вкладеним TLS, DoH серед шарів Dohdoor 26 лютого 20267 Не встановлено (UAT-10027) Пошуки C2, надіслані на DoH від Cloudflare через 443 Godlua, перший широко описаний випадок, був бекдором для Linux і Windows, у розборі якого записано, що він «uses DNS over HTTPS to get the C2 name to ensure secure communication between the bots, the Web Server and the C2»2. У мережі, яка стежить за портом 53, розв’язання імені свого командного сервера є подарунком захисникові. Через DoH стежити нема за чим.\nРядок Proofpoint про PsiXBot варто процитувати: постачальник розвідки загроз каже вголос те, що зазвичай мовчать. Використання DoH для керування, написали вони, «should be a warning shot for the cybersecurity community as there are no simple solutions to help identify an infected host or the process of receiving instructions»3. Жодних простих рішень, від людей, чия робота їх знаходити.\nПотім OilRig підняв це на щабель вище. Опис Kaspersky точно відповідає зміні, про яку цей допис: «instead of plain text requests to port 53, they would use port 443 in encrypted packets», з інструментом, що «allows DoH queries to Google and Cloudflare services»4. Національна розвідувальна операція, яка використовує публічних DoH-провайдерів як трубу, щоб винести вкрадені дані повз усе, що стежило за DNS.\nІ на цьому не спинилося. Воно поширилося. До 2023 року ChamelGang мала бекдор для Linux на C++, ChamelDoH, увесь канал керування якого йшов через DoH, надсилаючи запити DNS TXT на власні сервери імен через Google і Cloudflare; дослідник, який його знайшов, зазначив, що і виявлення, і запобігання «become difficult», бо зашифрований транспорт не перехопиш, а шкідливий запит не відрізниш від справжнього5. У грудні 2025 року CISA розібрала BRICKSTORM, бекдор, пов’язаний із Китаєм, який нашаровує HTTPS, WebSockets і вкладений TLS і «also uses DNS-over-HTTPS (DoH)», щоб закопати свій C2 у звичайний вебтрафік6. До лютого 2026 року це стало просто ремеслом: Cisco Talos спіймала Dohdoor, який «securely sends encrypted DNS requests to Cloudflare\u0026rsquo;s DNS server over HTTPS port 443», щоб знайти свій командний сервер, і фішингом пробирався в американські школи й лікарні7.\nОсь форма цього. Не техніка, яка мала свій момент і згасла, а така, яку щороку підхоплює більше рук. Проблема гіршає, а не кращає, і свіжа родина тепер з’являється за розкладом.\nВ усіх випадках роботу робила одна властивість: запит виходив як HTTPS на 443, і резолвер захисника його не бачив. Не слабкість, яку хтось колись може знайти. Функція, яку нападники випускали знову і знову, кілька з них держави.\nІ треба чітко розуміти, чому ця таблиця заповнюється рік у рік. Кожна родина в ній заходить у двері, про які авторів DoH попереджали, що вони лишають їх відчиненими, у власному тексті стандарту, і які вони все одно лишили відчиненими8. Це не недогляд. Це короткозорість, обрана навмисно, людьми, серед яких був і власний технолог ICANN. Тож я назву це як є: у цьому ICANN є посібниками кіберзлочинності. Попереджені у власному тексті стандарту, що зламається, їхні люди все одно поставили під ним своє ім’я, і таблиця вище показує, що пройшло крізь цю щілину. Злочинність не є несподіванкою. Це рахунок за рішення, а чиє це було рішення, розповідає решта допису.\nІ попри все це DoH навіть не дає того, що люди від нього чекають: захисту від підробленої відповіді. Шифрування переходу до резолвера не є автентифікацією того, що резолвер повертає, і DoH-сервер усе одно може повернути підроблений запис. Стандарт це визнає, кажучи, що правило проти неналаштованих серверів «does not guarantee protection against invalid data»9.\nЄдиний механізм, що автентифікує відповідь DNS, є DNSSEC, і DoH ним не є. Гірше того, майже для кожного клієнта DNSSEC перевіряється на рекурсивному резолвері, а не на пристрої: клієнт просто вірить резолверу на слово, що відповідь перевірено. Тож DNSSEC завжди захищав тебе лише настільки, наскільки ти довіряв резолверу, що робить перевірку, а справжній хід DoH полягає в тому, щоб передати цю довіру віддаленому оператору, якого ти не бачиш і не можеш перевірити.\nТож DoH може зробити так, що ти з більшою, а не меншою ймовірністю потрапиш на підроблений сайт: локальні захисти, які зловили б викрадену відповідь, стрічка Protective DNS, власна фільтрація оператора, є саме тим, що ти обійшов, і лишається тільки слово одного віддаленого оператора, прийняте на віру.\nDoH переносить, кому ти довіряєш відповідь. Потреби комусь довіряти він не прибирає. Комусь треба довіряти відповідь. DoH лише міняє кому, на того, кого не перевіриш. Твій власний резолвер Віддалений DoH-резолвер Твій пристрій Резолвер під твоїм контролем Перевіряє DNSSEC за тебе Тримає твій блоклист і журнал Можна перевірити й провести аудит Збреше: він твій, і ти перевіриш Твій пристрій шифрована труба Резолвер не під твоїм контролем Перевіряє DNSSEC, а ти віриш на слово Не бачиш і не перевіриш Твій блоклист поза шляхом Підробить: локально ніщо не зловить Шифрування захищає трубу, а не правдивість відповіді. DNSSEC перевіряють на резолвері, тож резолверу ти довіряєш так чи так. DoH лише робить його невидимим. DoH не прибирає потреби довіряти резолверу щодо відповіді, він лише переносить її. Твій власний резолвер перевіряє DNSSEC, несе твій блоклист і піддається аудиту; віддалений DoH-резолвер перевіряє від твого імені, а ти віриш йому на слово, через зашифровану трубу, яка захищає перехід і нічого не каже про те, чи правдива відповідь. Від чого DoH нібито захищає Чи захищає? Підслуховування на переході до резолвера Так, запит зашифровано Підробка на цьому переході Так Підроблений запис від самого резолвера Ні, це робота DNSSEC, а не DoH Зловмисний, примушений чи зламаний резолвер Ні, тепер ти довіряєш йому повністю Блокування шкідливого ПЗ, трекерів і за рішенням суду Ні, він їх обходить І ніщо з цього не є новою ідеєю, на яку DoH випадково наткнувся. Фільтрувати шкідливі домени на резолвері OpenDNS робить ось уже майже двадцять років, блокуючи фішинг і шкідливе ПЗ для мільйонів користувачів ще до того, як відповідь до них дійшла, і саме цю модель Cisco купила 2015 року10. Два десятиліття безпеки на рівні резолвера, яка захищала людей, що нічого не налаштовували, і DoH підірвав усю модель одним ударом: вкажи застосунку його власний резолвер, і OpenDNS або будь-що, що вибрала твоя мережа, більше не стоїть на шляху.\nЧому стара відповідь перестала працювати Доки DNS жив на порту 53, мережева відповідь була простою. Змусь кожного клієнта користуватися твоїм резолвером і заблокуй вихідний порт 53 усюди на кордоні. Машина, що тягнулася до зовнішнього DNS-сервера, отримувала відмову, тож мусила йти через твій, тож твої засоби контролю застосовувалися до всього. Грубо, але працювало.\nDoH убиває це одним ходом, використовуючи 443. Вихідний 443 не заблокуєш. Це веб. Тож порт, який ти закрив би, щоб змусити DNS іти через твій резолвер, є саме тим, який ніколи не закриєш, а шифрування, що не дає провайдерові підглядати, не дає й тобі відрізнити DoH-запит від завантаження сторінки.\nОбидві речі, якими ти повернув би контроль, закрити порт і прочитати трафік, зникли за задумом. Подолати саме ці дві речі в руках ворожої мережі DoH і було створено.\nА читання трафіку не є тим виходом, яким здається, бо зробити це можна лише одним способом: зламати й перевірити весь трафік. Щоб побачити DNS усередині з’єднання на 443, треба стати посередником у кожному з’єднанні HTTPS у мережі, поставити власний кореневий сертифікат на кожен пристрій і розшифрувати та знову зашифрувати все. До цього тепер вдається дедалі більше адміністраторів, щоб повернути видимість, яку одне правило файрвола колись давало їм задарма.\nІ це куди гірший обмін: ти послабив TLS для всього, поставив розшифрувальну коробку на шляху кожного входу й кожного банківського сеансу і збудував одну ціль, злам якої компрометує все, і проти такої позиції US-CERT прямо застерігав11. Пропорційний засіб контролю зламали, тож лишився непропорційний.\nОсь і пастка. Механізм, що захищає журналіста в аеропортовому WiFi від ворожої мережі, є тим самим, що захищає шкідливе ПЗ у твоїй мережі від тебе, і протокол не може відрізнити одне від іншого. Резолвер, який обходять, не знає, цензор він чи команда безпеки. Він знає лише, що його відрізали.\nПравильною відповіддю завжди був DNS через TLS Ось частина, що видає всю гру. Шифрування DNS ніколи нічого з цього не потребувало. Його зробили за два роки до DoH, і зробили так, що людина, яка керує мережею, могла далі робити свою роботу.\nDNS через TLS, RFC 7858, датований травнем 2016 року. Його анотація в першому ж рядку каже, для чого він: щоб «provide privacy for DNS», шифрування, яке «eliminates opportunities for eavesdropping and on-path tampering with DNS queries in the network»12. Це весь аргумент приватності, і його виконано: кав’ярня й провайдер відрізані точно так само, як із DoH, бо запит зашифровано від краю до краю.\nІ його співавтором був Paul Hoffman, який потім став співавтором і стандарту DoH1. Отже, не два ворожі табори. Ті самі люди, які вже розв’язали приватність, розв’язали її вдруге, іншим способом.\nХто такий Hoffman, важливо, бо це показує, звідки все взялося. Він не сторонній у DNS: його ім’я стоїть на понад вісімдесяти RFC, серед них і стандарт термінології DNS, і працює він технологом в ICANN13. Тож стандарт, що сховав DNS на 443, писали зсередини ICANN, американського органу, який вирішує, що йде в корінь.\nА ICANN не є тим безстороннім доглядачем, на якого натякає слово. Я виклав його послужний список окремо: створений у Каліфорнії, підзвітний Каліфорнії і готовий використовувати своє становище над простором імен у власних цілях. Це не була кампанія за приватність з околиць. Це був істеблішмент, що тримає корінь, який удруге закрив питання приватності, вже закрите 2016 року, і зробив це так, що прибрав оператора мережі.\nТож спитай, що додав другий спосіб, бо приватністю це не було.\nСтандарт Рік Порт Шифрує DNS Оператор досі бачить, що це DNS DNS через TLS (RFC 7858) 2016 853 Так Так DNS через HTTPS (RFC 8484) 2018 443 Так Ні Приватність розв’язав DoT 2016 року. DoH прийшов через два роки й додав лише обхід. Шифрований DNS: що було спершу, а що потім Трав. 2016 DNS через TLS (RFC 7858), порт 853 Шифрує DNS. Оператор досі бачить, що це DNS. Приватність розв’язано. Жовт. 2018 DNS через HTTPS (RFC 8484), порт 443 Той самий провідний автор. Те саме шифрування. Оператор більше його не бачить. Лип. 2019 Godlua: перше шкідливе ПЗ, що сховало C2 у DoH Лип. 2019 ISPA називає Mozilla «Internet Villain» за DoH, потім відкликає Вер. 2019 PsiXBot розв’язує свої домени C2 через DoH від Google Лют. 2020 Firefox вмикає DoH за замовчуванням у США, резолвер Cloudflare II кв. 2020 OilRig (APT34) виводить дані через DoH Приватність була завершена 2016 року. Усе нижче другої точки є обходом і тим, для чого обхід використали. Нічого з цього не потребувало нового стандарту приватності. Порядок і є аргументом. DNS через TLS розв\u0026rsquo;язав проблему приватності 2016 року, на порту, яким оператор мережі досі може керувати. DNS через HTTPS прийшов через два роки від того самого провідного автора, нічого не додав до приватності, крім переходу на порт 443, і все, що нижче цієї другої точки, є обходом і тим, для чого обхід використали. Змінилася лише остання клітинка. DoT працює на власному порту, 853, тож оператор бачить, що це DNS, і вирішує, що з ним робити: пустити до дозволеного резолвера, відмовити деінде. DoH кладе той самий зашифрований запит на 443 і змішує його з вебом, де оператор його не виокремить.\nТа сама приватність, те саме шифрування. Єдина відмінність між двома стандартами в тому, чи може людина, що керує мережею, досі бачити свій власний DNS. Це не функція приватності. Приватність вийшла 2016 року. Це функція обходу, і це єдине, що додає DoH.\nІ вони це знали. Це задокументовано, а не виведено. Власні Operational Considerations у RFC 8484 кажуть прямо: «Filtering or inspection systems that rely on unsecured transport of DNS will not function in a DNS over HTTPS environment due to the confidentiality and integrity protection provided by TLS»8.\nЦі системи є інструментами безпеки, які вже захищають користувачів: блокування шкідливого ПЗ і командних серверів, стрічки Protective DNS, фільтри безпеки дітей, корпоративна перевірка. Стандарт називає їх у власному тексті речами, що перестають працювати. Зламати інструменти, які вже захищали людей, було вибором, зробленим із розплющеними очима й випущеним як типове налаштування. Знати наслідок і все одно його обрати є рішенням, за яке від них можна вимагати звіту.\nОсь чому історія про приватність не витримує хронології. Щойно існує DoT, приватність не може бути причиною для DoH, бо приватність уже зроблено, тим самим автором, за два роки до того. Отже, приватність була димовою завісою.\nПрибери її і подивись, що другий стандарт насправді запустив: гонку озброєнь. Він узяв засіб контролю, який був одним рядком у файрволі, і перетворив його на вічну погоню, резолвери проти блоклистів проти свіжих резолверів, оператор програє за замовчуванням, а наприкінці кілька американських фірм тримають відкритий текст.\nНазивай це побічним ефектом функції приватності, якщо хочеш. За доказами, коли DoT уже випущено, а сам стандарт визнає, що зламає фільтрацію, це і є мета, а приватність була словом, намальованим на коробці. І під цим словом його активно просували ті, хто на цьому виграв.\nПросували й випустили DoH Ким вони є ще Mozilla Співавтор RFC 8484, потім увімкнула DoH за замовчуванням для Firefox у США14, резолвер Cloudflare Google Випускає DoH у Chrome, тримає великий публічний DoH-резолвер і є рекламною компанією Cloudflare Типовий резолвер Firefox у США, тож отримує ці запити Ті, хто продавав це як приватність, були виробниками браузерів, і вигоду отримали не лише користувачі.\nМожна спитати, чому, якщо метою була приватність, відповіддю став не стандарт шифрованого DNS, що вже існував і тримав оператора в курсі, а другий, збудований так, щоб оператор його не бачив? Я не питаю, хто це підписав. Я питаю, яка частина «приватності» вимагала відрізати єдину людину, відповідальну за мережу.\nБо саме це і є справжня ціль, і ця ціль є адміністратором мережі: професіоналом, відповідальним за безпеку й захищеність мережі, якого за замовчуванням вважають супротивником. DoH навіть не прибирає того стеження, на яке скаржилася агітація за приватність. Як пояснив Bert Hubert із PowerDNS, DNS «typically provided by the operator of a network», а перенесення його до третьої сторони за замовчуванням є «a net-negative for privacy for everyone», бо ця третя сторона «gets a complete log per device of all DNS queries, in a way that can even be tracked across IP addresses»15.\nЗапити не сховані. Їх передають американському оператору резолвера замість адміністратора, і адміністратор є єдиною стороною, яку прибрали. Виробники це теж знають. Логіка «виявити керовану мережу й відступити» з наступного розділу існує саме тому, що типове налаштування переважує адміністратора, і вони випустили вимикач замість того, щоб змінити типове налаштування.\nТепер спитай, хто виграє від того, що DNS іде повз оператора. Плакатним прикладом є журналіст у ворожому аеропортовому WiFi, і ця людина справжня. Справжня й індустрія реклами та стеження, чиї домени проходять повз блоклист мережі тієї ж миті, коли застосунок чи браузер розв’язує їх через DoH.\nБлокування на рівні мережі, Pi-hole, корпоративний блоклист, фільтрувальний резолвер, працює, відповідаючи на ім’я трекера порожнечею. DoH є тим, як ім’я все одно отримує відповідь. А найбільшим оператором публічного DoH-резолвера є Google16, рекламна компанія, яка ще й випускає DoH у власному браузері17.\nФункція приватності, яку продає фірма, що продає стеження, і чий дизайн долає інструмент, яким люди це стеження блокують. Думай про це що хочеш. Я свою думку склав.\nНавіть грубу версію цього заперечення озвучили. У липні 2019 року британська галузева асоціація провайдерів номінувала Mozilla на «Internet Villain» за DoH, який мав би «bypass UK filtering obligations and parental controls, undermining internet safety standards in the UK»18. Вони вибрали незграбну ціль і ще гіршу рамку, їх закричали, і вони номінацію відкликали.\nАле зніми з цього політику, і спостереження під ним було правильним, і воно тримається, хоч би що обходили: фільтр безпеки дітей, корпоративний блоклист чи Pi-hole у вільній кімнаті. DoH збудований, щоб провести DNS повз того, хто керує мережею.\nІ це не дрібниця, бо DoH тепер найважче з трьох узагалі заблокувати. DoT сидить на 853, де мережа досі може йому відмовити. DoH ні, тож з усіх способів, якими DNS може покинути мережу, лише за нього ніяк не вхопишся, і це робить його найбільшим окремим ризиком з усіх.\nЦе сягає закону, а не лише безпеки. У Великій Британії блокування, що має юридичну вагу, провайдер виконує через DNS: список матеріалів сексуального насильства над дітьми від Internet Watch Foundation і судові заборони щодо авторського права, які Високий суд видає за розділом 97A, виконуються фільтрацією DNS та IP на резолвері, який видають клієнтові19.\nПусти DNS-половину цього в обхід через DoH, і блок на цього клієнта не діє. Суд може наказати заблокувати сайт, мережі можуть наказати це виконати, а браузер, що розв’язує через DoH, однаково знаходить адресу, каналом, якого мережа не бачить і не може закрити. Виконати кіберзакон чи рішення суду на рівні мережі, де це завжди й робили, стає майже неможливо.\nІ ось тут рахунок падає на всіх, а не лише на мережу. Зламай пропорційний засіб контролю, хірургічний, що блокував названий домен на резолвері за рішенням суду, і держава не здається. Вона тягнеться по тупіший інструмент. Британський Online Safety Act і є таким інструментом: широкі обов’язки для платформ, обов’язкова перевірка віку і Ofcom за ними зі штрафами, режим, що зачіпає кожного користувача й кожну службу в країні20.\nЯ не захищаю цей закон. Я вказую, звідки взявся тиск на його користь. Коли вузький інструмент, що виконував закон на рівні мережі, перестає працювати, менше примусу ти не отримуєш, ти отримуєш грубіший, ширший, нав’язливіший примус, спрямований на всіх, бо прицільна версія більше не тримається. Така ціна злому базового засобу контролю, і платять її не ті, хто його зламав.\nА ICANN байдуже, бо з Каліфорнії це не їхня проблема. Коли блок не спрацьовує чи платформа порушує свої обов’язки, до суду тягнуть не ICANN, а оператора, платформу, компанію, яка стоїть перед Ofcom і штрафами. Наслідки падають на всіх нижче за течією від рішення, за яке орган, що його ухвалив, ніколи не мусить відповідати.\nЗлам хірургічний засіб контролю, і держава хапає кувалду. Платять усі. Злам пропорційний засіб контролю, і його місце займе тупіший Хірургічний засіб Блок одного названого домену на резолвері, за рішенням суду Точно, пропорційно, лише в ціль DoH ламає його запит більше не проходить резолвер Тупий інструмент Online Safety Act: перевірка віку для всіх, обов’язки для всіх платформ, Ofcom зі штрафами Націлено на всю країну Злам вузький інструмент, і держава не здасться. Вона хапає широкий, націлений на всіх, бо прицільна версія більше не тримається. І ті, хто зламав вузький інструмент, не платять за широкий. Хірургічний засіб контролю блокував один названий домен на резолвері за рішенням суду. DoH його ламає, тож держава тягнеться по тупий інструмент: Online Safety Act, спрямований на кожного користувача й кожну платформу в країні. Злам вузький інструмент, і менше примусу ти не отримаєш, ти отримаєш ширший, який ніхто не може націлити. Вишикуй наслідки, і всі вони однакової форми: те, що мережа колись виконувала на резолвері, а тепер не може.\nЩо виконувала мережа Як це робили З DoH Блокування шкідливого ПЗ і командних серверів блоклист резолвера і стрічка загроз обійдено; Godlua, PsiXBot і OilRig зробили саме це Блокування реклами й трекерів Pi-hole або фільтрувальний резолвер обійдено; ім’я трекера однаково розв’язується Рішення суду і список IWF фільтрація DNS у провайдера блок на основі DNS на цього клієнта не діє DoT був чесною відповіддю. Він шифрує твій DNS і лишає операторові змогу робити свою роботу. DoH зберіг шифрування і додав зверху одне: оператор більше цього не бачить. Усе інше в ньому випливає з цього єдиного вибору.\nЗроблено в США, а воюють за це всюди Ніщо з цього не зупиняється на Ла-Манші, і читати це як британську проблему означає зменшити її до частки її розміру. Та сама форма тягнеться через усю Європу й аж до Австралії. На одному кінці правовий інструмент, на іншому блок DNS у мережі.\nВ Австралії Федеральний суд наказує провайдерам вимикати доступ до закордонних сайтів-порушників за розділом 115A Copyright Act21. Португалія взагалі обходиться без суду: адміністративний меморандум, за яким правовласники повідомляють орган під назвою MAPINET, а провайдери блокують через DNS упродовж п’ятнадцяти робочих днів22. Різні закони, одне несуче припущення, і саме це припущення DoH вибиває з-під усіх них. Що клієнт розв’язує імена через резолвер, який йому видали.\nТож дивись, що робить держава, коли це припущення не справджується. Вона перестає тиснути на провайдера й починає наказувати самим публічним резолверам повертати хибну відповідь. Це не прогноз. Це стос судових рішень, і він росте.\nКраїна Наказ про блокування Публічний резолвер Що сталося Італія Piracy Shield від AGCOM, імена блокуються за 30 хвилин наказано фільтрувати, 1.1.1.1 теж Cloudflare відмовився, його оштрафували на 14 247 698 €, і він оскаржує23 Франція заборона Canal+ щодо трансляцій спорту названо Google, Cloudflare і OpenDNS Cloudflare віддає HTTP 451, Google мовчки зриває запит, OpenDNS вимкнув себе для країни24 Бельгія понад 100 доменів спортивного піратства ті самі три резолвери Cloudflare виконує з 451, Google мовчить, OpenDNS теж пішов із Бельгії24 Німеччина Universal Music проти Cloudflare наказано в першій інстанції, 1.1.1.1 теж скасовано в апеляції, Кельн визнав резолвер «passive, automatic and neutral»25 Нідерланди динамічна блокада BREIN рівень провайдера, резолвер поки ні Ziggo, KPN та інші блокують через DNS та IP, оновлюючи на запит26 Читай це як одне, а не п’ять. Кілька американських компаній переписали DNS для всієї планети з власної волі, зламали пропорційний засіб контролю, який збудувала кожна з цих країн, і лишили судам розбиратися з уламками. Відповіді, які ці фірми дають, коли їх що кілька місяців тягнуть перед інший суд, точно показують, скільки для них важить решта світу. Один оскаржує й кричить про цензуру. Інший зриває пошук і нічого не каже користувачеві. А OpenDNS, резолвер, що двадцять років тихо фільтрував шкідливе ПЗ і який цей допис уже ставив за взірець, узагалі не сперечається. Він вимикає себе для Франції й Португалії, аби не обслуговувати їх на таких умовах27.\nПосидь із цим останнім. Це добрий приклад з усього тексту виходить із кімнати. Служба, що захищала людей, які нічого не налаштовували, тепер вважає, що цілу країну легше покинути, ніж обслуговувати, і причина веде прямо до проєктного рішення, ухваленого в Каліфорнії людьми, яким ніколи не доводилося думати про французький чи португальський суд.\nОсь шаблон, і я його назву. Ось що американська платформна інженерія робить з усім, що не є Сполученими Штатами. Вона будує для власного ринку, відвантажує результат світові як типове налаштування і вважає закони кожної іншої країни, кожного регулятора, кожну спільноту нижче за течією від змін чужим безладом, який хтось інший прибере.\nІ рідний уряд підтримує ці фірми до кінця. У лютому 2025 року Білий дім поставив своє ім’я під меморандумом, що подає цифрові закони інших країн як «overseas extortion» американських компаній, називає Велику Британію та ЄС і спрямовує торгового представника до мит як відповіді28. Через пів року американський регулятор написав дюжині американських технологічних фірм, застерігаючи, що виконання британського Online Safety Act чи європейського Digital Services Act саме по собі може порушити закон США29. Прочитай це двічі. Країна, чиї компанії зламали засоби контролю, тепер каже цим компаніям, що виконувати відповідь іншої демократії на цей злам є правопорушенням.\nЦе каже все. Закон, ухвалений обраним парламентом у Вестмінстері чи Брюсселі, з Вашингтона переписують як напад на Америку, а фірмам кажуть його ігнорувати. Справа не в тому, що вони зважили решту світу й вирішили проти неї. Решти світу ніколи й не було на терезах.\nРішення не в тому, щоб заборонити шифрування Тож лінивий висновок звучить як «заблокуй DoH», і він хибний так само, як хибне «заблокуй ICMP» на файрволі. Незашифрований DNS тобі назад не потрібен. Запити відкритим текстом на порту 53 є справжньою вразливістю, і повертатися до них, щоб відновити видимість, означає міняти одну діру на іншу.\nТе, що ти насправді втратив, не було шифруванням. Це був вибір резолвера. Тож забери його назад, а шифрування лиши там, де воно є.\nЗбережи шифрування. Поверни вибір резолвера. Шифровано всю дорогу. Лише одна машина говорить DNS зі світом. Клієнти 53, DoT чи DoH, лише до твого резолвера DDR каже їм, куди Твій резолвер сам обслуговує DoH і DoT блоклист, загрози, журнал канарка: NXDOMAIN Кордон лише це Висхідний або корені клієнт прямо на 53, 853 чи публічний DoH-резолвер: відмова Ніщо тут не вимикає шифрування. Єдине, що забрано в клієнта, є право вибрати чужий резолвер. Виправлена схема. Клієнти можуть користуватися звичайним DNS, DNS через TLS чи DNS через HTTPS, але лише до твого власного резолвера, який тепер обслуговує всі три. Цей резолвер тримає блоклист і журнал і є єдиною машиною, якій дозволено слати DNS будь-якого виду за кордон мережі. Порт 53, порт 853 і відомі публічні DoH-резолвери відхиляються для всього іншого. Ніщо тут не вимикає шифрування. Єдине, що забрано в клієнта, є право вибрати чужий резолвер. Форма та сама, що виправляє DNS у домені Active Directory: аргумент ніколи не «вимкни функцію», а «виріши, кому дозволено нею керувати». Ось що це означає по частинах.\nЗапусти шифрований DNS сам. Підніми резолвер, що обслуговує DoH і DoT, а не лише порт 53, щоб клієнт, якому потрібне шифрування, отримував його від тебе. Не можна казати клієнтам «ніякого DoH» і мати це на увазі, не пропонуючи їм власного шифрованого резолвера. Дай їм його і тримай на ньому блоклист, стрічку загроз і журнали, як і раніше.\nОголоси його, щоб клієнти знаходили його свідомо. Discovery of Designated Resolvers (RFC 9462) дає клієнтові змогу запитати спеціальне ім’я, дізнатися власний шифрований резолвер своєї мережі й автоматично перейти до DoH чи DoT на ньому30. Клієнт, що знає DDR, тоді шифрує свій DNS і користується твоїм: приватність, якої хотів користувач, і контроль, потрібний тобі, одним ходом.\nВідповідай на власний вимикач браузера. Firefox перевіряє канарковий домен use-application-dns.net, перш ніж увімкнути DoH за замовчуванням: відповідай на нього NXDOMAIN або SERVFAIL, і Firefox відступить до системного резолвера31. Дві чесні межі, обидві словами Mozilla. Канарка «only applies to users who have DoH enabled as the default option. It does not apply for users who have made the choice to turn on DoH by themselves»31. Тож це сигнал вимкнути типове налаштування, а не замок, і на застосунок і шкідливе ПЗ, які браузер ні про що не питали, він не діє.\nЗадай політику браузера там, де ти керуєш машиною. На пристрої, який належить тобі, не покладайся на канарку. DnsOverHttpsMode у Chrome приймає off, automatic і secure, а документація Google каже, що коли його не задано, «for managed devices DNS-over-HTTPS queries will not be sent»32; Chrome вимикає власний автоматичний DoH тієї ж миті, коли бачить корпоративну політику17. Вкажи йому свій резолвер або постав off і дай DDR нести шифрування. Firefox має відповідні перемикачі Enabled, ProviderURL і Locked33. Керована машина, кероване рішення, і це рядок, який ти справді можеш закрити.\nВідмовляй альтернативам на кордоні. Правила короткі, і всі вони кажуть одне: DNS будь-якого виду назовні лише з твого резолвера.\nПравило Від кого Наслідок Заблокувати вихідний порт 53 Усе, крім твого резолвера Жодного звичайного DNS назовні Заблокувати вихідний порт 853 Усе, крім твого резолвера Жодного DoT до зовнішнього резолвера Заблокувати HTTPS до адрес публічних DoH-резолверів Усе, крім твого резолвера Відрізає відомих DoH-провайдерів Спрямувати висхідний потік резолвера на Protective DNS Твій резолвер Шкідливі домени відхиляються до з’єднання Кожен DoH-ендпойнт за адресою не зловиш, і не можеш, бо новий є просто вебсервером, а вебсерверам нема кінця. Тож подумай, чого тепер коштує такий блок. Щоб зробити для DoH те, що block 53 outbound робив задарма, ти тягнеш список адрес DoH-серверів, які для тебе хтось інший постійно сканує: підтримувані блоклисти існують, бо іншого шляху не лишилося, і один із них щогодини, запланованим завданням, заново розв’язує кожен відомий публічний DoH-домен до його поточних IP і відвантажує зміни34. Ось обмін, до якого змусив обхід.\nБлокування зовнішнього DNS Тоді, на порту 53 Тепер, DoH на 443 Правило один рядок: block 53 outbound підписка на блоклист IP DoH-серверів Повнота повний, щойно збережено ніколи не повний; нові ендпойнти з’являються далі Догляд жодного пересканування щогодини, завантаження й повторне застосування Що для цього треба файрвол файрвол плюс чужа підтримувана стрічка Засіб контролю, що був одним статичним рядком, тепер є підпискою на рухому ціль, погонею за вебсерверами, які будь-хто піднімає швидше, ніж список встигає їх назвати. Protective DNS закриває інший кінець: спрямуй висхідний потік свого резолвера на фільтрувальну службу на кшталт PDNS від NCSC, яку «was built to hamper the use of DNS for malware distribution and operation»35, і шкідливі домени відхиляються ще до з’єднання, для кожного клієнта, що йде через твій резолвер, а коли ці правила на місці, це всі клієнти.\nПриклади все це до п’яти рядків вище, і кожен із них має засіб контролю, що його закриває. Ось перевірка рішення: не «чи заблокували ми DoH», а «для кожного, хто може вибрати резолвер, що не дає йому вибрати не той».\nХто вибирає резолвер Що це закриває Операційна система DDR вказує їй на твій резолвер; так і тримай Браузер Політика на керованих машинах; канарка на решті Застосунок / бібліотека Блок на кордоні для 53, 853 і публічних DoH-резолверів Скрипт на вебсторінці Той самий блок на кордоні; Protective DNS у висхідному потоці Шкідливе ПЗ Той самий блок на кордоні плюс Protective DNS, що відхиляє домен Ніщо з цього не вимикає жодного біта шифрування. Клієнти досі отримують DoH, просто від тебе, а ті, що пробують отримати його деінде, впираються в стіну. Приватність ціла, і контроль повернувся. Тож єдине, що хтось утратив, є свобода вибрати резолвер, якого ти ніколи не схвалював, а ця свобода ніколи не належала їм у мережі, за яку відповідаєш ти.\nМожна спитати, що вибрало цей резолвер Ось питання, яке варто поставити будь-кому, хто каже тобі, що з мережею все гаразд.\nКоли машина у твоїй мережі розв’язує ім’я, що вирішило, який резолвер відповів? Якщо чесна відповідь звучить «той, що видали ОС», добре, але лише якщо ти закрив чотири інші рядки тієї таблиці, бо інакше відповідь звучить «той, що видали ОС, хіба що браузер, застосунок, вебсторінка чи щось гидкіше вибрали інший, і тоді я поняття не маю і записів нема». Це не налаштування DNS. Це надія, а надія нічогісінько не ловить.\nЯ не питаю, хто тримає резолвер. Я питаю, що на кожній машині має право його вибирати і чи зміг би ти назвати резолвер, до якого вчора пішов кожен запит. У мережі, де DoH не керований, не зміг би, а прогалина складається з кожного застосунку, що носить власний резолвер, кожної сторінки, яку відкриває користувач, і кожного шматка шкідливого ПЗ, що прочитав ті самі дослідження, на які я щойно послався. Три названі угруповання збудували свої канали саме на цій прогалині, і одне з них підзвітне уряду.\nПротокол, що забирає вибір резолвера в мережі, завжди мав стати подарунком тому, за ким мережа намагалася стежити, а вдавати інакше, бо в рекламі було слово «приватність», означає, що засіб контролю, який мав значення, вимикають за замовчуванням, і ніхто не записує в журнал день, коли це сталося.\nШифруй свій DNS. Тримай резолвер сам. Оголоси його, відповідай на канарку, задай політику, закрий кордон. Збережи шифрування і збережи вибір. Можна мати і те, і те, і якщо ти заробляєш на життя мережами, мати і те, і те і є твоя робота.\nПриватність була словом на коробці Тож віддам належне. Дякую ICANN, американському органу, що тримає корінь і писав це зсередини, за те, що ще раз відіграли американський технологічний сценарій: взяти вже розв’язану проблему, загорнути рішення в доброчесне слово і централізувати результат на кількох американських фірмах, які зрештою тримають відкритий текст.\nІ це завжди США. Орган, що тримає корінь, резолвер, до якого тепер за замовчуванням звертаються два браузери, рекламна фірма, що тримає найбільший публічний резолвер, країна, куди падає відкритий текст: американські, щоразу. Це шаблон, а не смуга невезіння.\nПриватність була димовою завісою. DNS був зашифрованим, приватним і досі керованим на порту 853 ще 2016 року, і всі, хто мав значення, це знали. Те, що істеблішмент випустив поверх цього, було протоколом, збудованим, щоб засліпити єдину людину, відповідальну за мережу, вічною гонкою озброєнь із блоклистами, пересканованими щогодини, і рішеннями суду, що зупиняються намертво на браузері.\nЧи то була невмілість, чи жадібність, вирішуй сам, хоча послужний список, на який я послався, вказує в один бік. Так чи так, вона перемогла здоровий глузд.\nІ саме через такі рішення заклики забрати корінь в ICANN усе повертаються, і саме тому вони влучають: щоб міжнародна спільнота мала голос, а не установа однієї країни вирішувала DNS за всіх інших і називала це доглядом.\nКолись усе це ми робили одним рядком.\nRFC 8484 — DNS Queries over HTTPS (DoH), жовтень 2018. Вступ формулює мету як «allowing web applications to access DNS information via existing browser APIs in a safe way consistent with Cross Origin Resource Sharing (CORS)».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\n360 Netlab — An Analysis of Godlua Backdoor, 1 липня 2019. Записує, що зразок «uses DNS over HTTPS to get the C2 name to ensure secure communication between the bots, the Web Server and the C2»; це перше широко описане шкідливе ПЗ, що зловживало DoH.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nProofpoint — PsiXBot Now Using Google DNS over HTTPS, 6 вересня 2019. Повідомляє, що шкідливе ПЗ розв’язує зашиті домени C2 через службу DoH від Google, і застерігає, що це «should be a warning shot for the cybersecurity community as there are no simple solutions to help identify an infected host or the process of receiving instructions».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nKaspersky Securelist — APT trends report Q2 2020. Про OilRig (APT34): інструмент DNSExfiltrator «allows the threat actor to use the DNS over HTTPS (DoH) protocol [\u0026hellip;] instead of plain text requests to port 53, they would use port 443 in encrypted packets [\u0026hellip;] which allows DoH queries to Google and Cloudflare services».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Hacker News — ChamelDoH: New Linux Backdoor Utilizing DNS-over-HTTPS Tunneling for Covert CnC, 16 червня 2023, за знахідкою Stairwell (Daniel Mayer). Імплант ChamelGang для Linux на C++ є «a tool for communicating via DNS-over-HTTPS (DoH) tunneling», що шле запити DNS TXT на підставні сервери імен через легітимних DoH-провайдерів, тож «both detection and prevention become difficult».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCISA — Malware Analysis Report: BRICKSTORM Backdoor, AR25-338a, 4 грудня 2025. «For C2, BRICKSTORM uses multiple layers of encryption (HTTPS, WebSockets, nested Transport Layer Security [TLS]) to hide its communications with the cyber actors\u0026rsquo; C2 server. It also uses DNS-over-HTTPS (DoH)».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCisco Talos — New Dohdoor malware campaign, 26 лютого 2026. Бекдор, приписаний угрупованню UAT-10027, «securely sends encrypted DNS requests to Cloudflare\u0026rsquo;s DNS server over HTTPS port 443», щоб розв’язати свій командний сервер, і атакує освіту й охорону здоров’я США через фішинг.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 8484, розділ 10, Operational Considerations: «Filtering or inspection systems that rely on unsecured transport of DNS will not function in a DNS over HTTPS environment due to the confidentiality and integrity protection provided by TLS.» Вплив на мережеву фільтрацію названо в самому стандарті.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 8484, розділ 9, Security Considerations: DoH-сервер «can give a client invalid data in response to a DNS query», і хоча стандарт забороняє відповіді від неналаштованих серверів, «this prohibition does not guarantee protection against invalid data, but it does reduce the risk.» DoH захищає транспорт, а не справжність запису; це робота DNSSEC.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nOpenDNS — рекурсивний DNS-резолвер, заснований David Ulevitch у 2005/2006 роках, що надає безпекову фільтрацію (блокування фішингу й шкідливого ПЗ) і фільтрацію контенту на резолвері для домашніх і корпоративних користувачів; Cisco купила його 2015 року, і тепер він є частиною Cisco Umbrella. Безпека DNS на рівні резолвера з’явилася задовго до DoH.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nUS-CERT / CISA — HTTPS Interception Weakens TLS Security, попередження TA17-075A, 16 березня 2017. Застерігає, що перехоплення HTTPS через локально довірений сертифікат і розшифрування трафіку послаблює безпеку, бо багато продуктів перехоплення не перевіряють сертифікати як слід і знижують захист з’єднання.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 7858 — Specification for DNS over Transport Layer Security (TLS), травень 2016. Анотація: «This document describes the use of Transport Layer Security (TLS) to provide privacy for DNS. Encryption provided by TLS eliminates opportunities for eavesdropping and on-path tampering with DNS queries in the network.» Співавтор P. Hoffman (ICANN), який також був співавтором RFC 8484. DoT використовує виділений порт 853.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nPaul Hoffman (engineer) — «the author or co-author of over 80 Requests for Comments (RFCs)» і «currently a technologist at ICANN»; його профіль в IETF datatracker перелічує доробок, зокрема RFC 7858 (DoT), RFC 8484 (DoH) і RFC 8499 (термінологія DNS).\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Register — Firefox now defaults to DNS-over-HTTPS for US netizens, 25 лютого 2020. «Mozilla has started rolling out encrypted DNS-over-HTTPS (DoH) by default for US users», з «the DNS resolver in Firefox to Cloudflare by default».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nBert Hubert (PowerDNS) — Centralised DoH is bad for Privacy, in 2019 and beyond, RIPE Labs. DNS «typically provided by the operator of a network»; централізований DoH «by default» є «a net-negative for privacy for everyone», бо третя сторона «gets a complete log per device of all DNS queries, in a way that can even be tracked across IP addresses».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nGoogle — DNS-over-HTTPS (DoH) — JSON API. Google Public DNS, один із найбільших публічних резолверів, тримає DoH-ендпойнт (dns.google) поряд із власною підтримкою DoH у Chrome.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nChromium Blog — A safer and more private browsing experience with Secure DNS, травень 2020. «If you are an IT administrator, Chrome will disable Secure DNS if it detects a managed environment via the presence of one or more enterprise policies.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nTechCrunch — Internet group brands Mozilla \u0026lsquo;internet villain\u0026rsquo; for supporting DNS privacy feature, 5 липня 2019 (знімок Wayback). Номінація ISPA казала, що DoH буде «bypass UK filtering obligations and parental controls, undermining internet safety standards in the UK»; номінацію і саму категорію Internet Villain відкликали після хвилі критики.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nWeb blocking in the United Kingdom — список зображень насильства над дітьми від Internet Watch Foundation і заборони щодо авторського права за розділом 97A Copyright, Designs and Patents Act 1988 виконують провайдери; «The technical measures used to block sites include DNS hijacking, DNS blocking, IP address blocking, and Deep packet inspection.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nУряд Великої Британії — Online Safety Act: explainer. «The Online Safety Act 2023 [\u0026hellip;] puts a range of new duties on social media companies and search services», з «strongest protections [\u0026hellip;] designed for children», зокрема вимогами не допускати дітей до шкідливого й невідповідного віку контенту; виконання забезпечує Ofcom.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCopyright Act 1968 (Австралія), розділ 115A, «Injunctions relating to online locations outside Australia»: Федеральний суд може наказати провайдеру послуг зв’язку «take reasonable steps to disable access to the online location», австралійська форма блокування сайтів на рівні провайдера через DNS та IP.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nEDRi — Portugal: \u0026ldquo;Voluntary\u0026rdquo; agreement against copyright infringements. За меморандумом про взаєморозуміння 2015 року правовласники повідомляють MAPINET, який передає регулятору IGAC, і «IGAC then contacts Internet Service Providers (ISPs) to restrict access to the websites through \u0026lsquo;Domain Name System (DNS) blocking\u0026rsquo;» упродовж 15 робочих днів, без рішення суду.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nTorrentFreak — Italy Fines Cloudflare €14 Million for Refusing to Filter Pirate Sites on Public 1.1.1.1 DNS. За італійським Piracy Shield AGCOM (наказ 49/25/CONS) зобов’язав DNS-провайдерів, зокрема публічний резолвер Cloudflare, блокувати; Cloudflare, назвавши це «unreasonable and disproportionate», відмовився, і його оштрафували на 14 247 698 €, що він оскаржує.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nTorrentFreak — DNS Piracy Blocking Orders: Google, Cloudflare, and OpenDNS Respond Differently, 11 травня 2025. За заборонами Canal+ щодо трансляцій спорту у Франції та Бельгії публічним резолверам наказали блокувати: Cloudflare повертає HTTP 451, Google мовчки відмовляє в запиті, а OpenDNS «pulled the plug» на обидві країни, аби не виконувати.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nTorrentFreak — Cloudflare Applauds Court for Rejecting DNS Piracy Blocking Order. У справі Universal Music проти Cloudflare (справа DDL-Music) суд нижчої інстанції наказав Cloudflare блокувати на резолвері 1.1.1.1; Вищий земельний суд Кельна відмовився поширити обов’язок на резолвер, який «contributes to the connection of internet domains in a purely passive, automatic and neutral manner».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nTorrentFreak — Dutch ISPs Must Block Pirate Bay Proxies and Mirrors Again, Court Rules, 15 жовтня 2020. BREIN має «dynamic» наказ про блокування проти Ziggo, KPN та інших; суд вважає блокування DNS «clear and verifiable» заходом, а нові домени й проксі додаються до блоклиста провайдера на запит.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nComplete Music Update — OpenDNS pulls plug on France and Portugal after web-blocking injunctions. OpenDNS від Cisco: «Due to a court order in France issued under the French Sport code and a court order in Portugal issued under the Portuguese Copyright Code, the OpenDNS service is not currently available to users in France [\u0026hellip;] and in Portugal.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe American Presidency Project — White House Fact Sheet: Directive to Prevent the Unfair Exploitation of American Innovation, 21 лютого 2025. Меморандум доручає торговому представникові США розглянути мита у відповідь на податки на цифрові послуги й регулювання інших країн, зокрема ЄС і Великої Британії, подані як привласнення урядами інших країн «America\u0026rsquo;s tax base».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nA\u0026amp;O Shearman — FTC chairman warns major tech companies of censorship in EU DSA and UK Online Safety Act, про листи від 21 серпня 2025: «Compliance with the requirements of non-US laws, such as the requirements in the EU Digital Services Act (DSA) and UK Online Safety Act, may result in companies censoring content», що, як застерігає регулятор, може суперечити закону США.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 9462 — Discovery of Designated Resolvers (DDR), листопад 2023. Визначає, як клієнт виявляє «a resolver\u0026rsquo;s encrypted DNS configuration» і переходить на неї, запитуючи _dns.resolver.arpa, щоб знайти Designated Resolver своєї мережі.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nMozilla — Canary domain — use-application-dns.net. «The canary domain only applies to users who have DoH enabled as the default option. It does not apply for users who have made the choice to turn on DoH by themselves.» Відповідь, відмінна від NOERROR із записом A/AAAA, наприклад NXDOMAIN чи SERVFAIL, сигналізує Firefox вимкнути DoH застосунку.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nGoogle — DnsOverHttpsMode policy. Значення off, automatic і secure; «If this policy is unset, for managed devices DNS-over-HTTPS queries will not be sent.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nMozilla — Policy templates: DNSOverHTTPS. Enabled вмикає чи вимикає DoH, ProviderURL задає резолвер, Locked «prevents the user from changing DNS over HTTPS preferences», ExcludedDomains і Fallback налаштовують решту.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\ndibdot/DoH-IP-blocklists — підтримуваний список доменних імен і розв’язаних адрес IPv4/IPv6 публічних DoH-серверів для блокування на файрволі; скрипт пошуку «runs automatically every hour via GitHub actions» і оновлює списки адрес, коли вони змінюються. jameshas/Public-DoH-Lists є другим, автоматично створеним відповідником. Те, що вони мусять існувати й постійно перескановуватися, і є суть.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNCSC — Protective Domain Name Service (PDNS). «PDNS was built to hamper the use of DNS for malware distribution and operation [\u0026hellip;] a recursive resolver which prevents access to domains known to be malicious.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\n","permalink":"https://blogs.damiendye.uk/uk/dns/dns-over-https-walks-past-your-controls/","summary":"DNS через HTTPS шифрує твої запити, і це добре, і надсилає їх на резолвер, вибраний клієнтом, через порт 443, і це проблема. Твій власний резолвер запиту не бачить, тож блоклист, який мав би спрацювати, стрічка загроз, у яку запит мав би влучити, і рядок журналу, який мав би з’явитися, просто зникають. Цей допис розбирає механізм: чому одне зашифроване вебз’єднання серед тисяч невидиме на кордоні мережі, хто на машині може вибрати резолвер, якого ти ніколи не вибирав (ОС, браузер, будь-який застосунок, будь-який скрипт на будь-якій вебсторінці і шкідливе ПЗ), і задокументовані випадки, від власного JavaScript сторінки, що звертається до публічного DoH-ендпойнта з дозволеними крос-доменними запитами, до Godlua і PsiXBot, що ховають свій канал керування всередині DoH, і до APT OilRig, що виводить дані через нього. Далі аргумент, що історія про приватність є прикриттям: DNS через TLS зашифрував DNS ще 2016 року, на порту, яким оператор мережі досі може керувати, тож єдине, що DoH додає понад це, є поразкою адміністратора, і саме тому виграли виробники браузерів, які його написали й випустили, та рекламна компанія, що тримає найбільший публічний DoH-резолвер. Потім рішення, і воно не в тому, щоб заборонити шифрування. Запусти власний резолвер DoH і DoT, оголоси його через Discovery of Designated Resolvers, відмовляй порту 53, порту 853 і відомим публічним DoH-резолверам на кордоні й відповідай на канарку Firefox, щоб браузер відступив. Залиш шифрування. Поверни собі вибір резолвера. Наприкінці наслідки: те саме блокування через DNS працює по всій Європі й в Австралії, а суди Італії, Франції, Бельгії та Німеччини тепер наказують блокувати самим публічним резолверам: Cloudflare оштрафовано, і він оскаржує, Google мовчки відмовляє, а OpenDNS вимикає себе для цілих країн. Під усім цим лежить американський дизайн, нав’язаний світові, і американський уряд, який подає закони інших країн як вимагання з американських фірм і застерігає їх не виконувати ці закони.","title":"DNS через HTTPS проходить просто повз твої засоби контролю"},{"content":"Ти клацаєш посилання на місцеву газету, і вантажиться заголовок, потім картинка, потім перші три абзаци, і ти вже почав читати, перш ніж щось іще відбувається. Потім сторінка стає порожньою. Або перетворюється на купу посилань без стилів із логотипом, розтягнутим на всю ширину екрана. Або вилазить вікно, яке просить тебе або прийняти стеження, або платити £2,99 на місяць, і третьої кнопки немає.\nСтаття була на твоїй машині. Сервер видавця вже надіслав її всю, текст і таблиці стилів, і твій браузер уже її намалював. Забрав її код, який видавець вирішив запустити потім, на твоєму комп’ютері, куплений у комерційного вендора, чий продукт полягає в тому, щоб забрати назад те, що щойно доставили.\nУдома в мене працює Pi-hole1, який блокує рекламні й стежильні хости для кожного пристрою в мережі. На дедалі довшому списку британських новинних сайтів цього вистачало, щоб сторінку знищили. Тож 22 вересня 2026 я зробив розширення Chrome, щоб це зупинити, і назвав його Keep The Page. Код лежить на GitHub у damo2929/browserplugin під ліцензією MIT, а тут про те, що воно робить, що я знайшов усередині тих сторінок, поки його робив, і про виправлення, що все погіршили, перш ніж знайшлося правильне.\nЦе не обхід пейвола. Якщо сервер ніколи не надсилав статтю, нічогісінько тут її не вичаклує. The Times лишилася закритою, і це правильно. Воно зберігає те, що тобі вже надіслали.\nСтаття приходить, а потім зникає Ззовні всі вони працюють однаково. HTML приходить повністю, а потім скрипт, зазвичай завантажений із хоста, що належить вендору, а не газеті, вирішує, що ти не вартий того, щоб тобі це показували, і прибирає його.\nЩо саме він прибирає і як, залежить від того, якого вендора купив видавець. Ось чотири, які я зустрів, кожен прочитаний з живої сторінки під час роботи:\nВидавець Що приходить Що сторінка потім робить сама з собою Newsquest (269 видань)2 повна стаття будує стіну, запускає навантаження через eval, викликає діалог confirm() notebookcheck.net повна стаття видаляє \u0026lt;body\u0026gt; приблизно на 7-й секунді, потім діалоги, потім цикл перезавантажень National World (The Scotsman, Yorkshire Post)3 стаття плюс приблизно 68 КБ власного CSS видаляє кожен \u0026lt;link\u0026gt; і \u0026lt;style\u0026gt; що 100 мс, вічно Reach plc (Mirror, Daily Record, Manchester Evening News, Liverpool Echo та інші)4 повна стаття накриває її вибором «прийми стеження або плати £2,99 на місяць» Число 269 не з пресрелізу, де сказано «more than 200 brands». Це кількість доменів у власних TLS-сертифікатах Newsquest, той самий список, який потрібен був розширенню, щоб знати, де працювати.\nВипадок National World мав би найбільше тривожити видавців, бо він ламає сторінку з причин, які до реклами не мають жодного стосунку. У видалячу таблиць стилів є напарник, що завантажує CSS назад із хоста вендора. Мій Pi-hole блокує цей хост. Тож видалення відбулося, а відновлення так і не прийшло, і власний макет газети опинився назавжди залежним від того, чи доступний рекламний вендор. Це не стіна. Це видавець, який віддав вигляд власного сайту третій стороні й не помітив цього.\nМожна спитати, чому таблиця стилів газети мусить чекати на сервер рекламної компанії, перш ніж їй дозволять лишитися на сторінці? Причини, яка стосувалася б читача, немає. Жодної.\nЧому я називаю це шкідливим ПЗ Я вживаю це слово навмисно, як опис того, що робить код, а не як юридичний висновок щодо будь-кого. Навантаження проти блокувальників реклами підпадають під звичайне значення за чотирма пунктами, і кожен я бачив на власні очі:\nОзнака Що я побачив Працює без згоди, проти твоїх інтересів ніхто про нього не просив, а його робота полягає в тому, щоб забрати вміст, який у тебе вже є Знищує дані, які тобі вже доставили стаття та її CSS приходять цілими, а потім код на сторінці їх видаляє Обфускований, щоб його важко було читати переставлені таблиці рядків на кшталт o[293 * (r + 450) % e], що виконуються через eval Ухиляється від блокування й карає за втручання маскування CNAME, щоб обійти DNS-блоклисти, перевірки на втручання, що доходять до діалогу або циклу перезавантажень Обфускація це не мініфікація. Мініфікований код малий. А це код, упорядкований так, щоб ти не міг пошукати grep\u0026rsquo;ом, що він робить, і навантаження потім проганяють через eval, тож ніщо на диску не збігається з тим, що виконується.\nМаскування це відома техніка з власною дослідницькою літературою5. Завантажувач тягнуть із того, що виглядає як піддомен газети, а це ім’я вказує на вендора:\na02342.\u0026lt;publisher-domain\u0026gt; -\u0026gt; cdn-52-x.privacy-mgmt.com (Sourcepoint) fb.html-load.com -\u0026gt; adshield-fallback-dev-wskxz.b-cdn.net Піддомен випадковий для кожного видання. Тож блоклист, що називає хости, не встигає, і саме в цьому сенс.\nА ще код сприймає втручання як доказ провини. Розшифровані рядки помилок у навантаженні, яке укладачі списків фільтрів приписують Ad-Shield6, буквально Vital API blocked і Vital API blocked (eval). Завантажувач Sourcepoint записує атрибут, одразу читає його назад і кидає виняток, якщо значення змінилося:\nz.call(O,\u0026#39;src\u0026#39;,G), O[x](\u0026#39;src\u0026#39;) !== G \u0026amp;\u0026amp; throw E … catch (W) { try { await l(W) } catch (x) { o(W) } } // o() raises the dialog Sourcepoint продавали це відкрито. Їхня власна документація казала «on average about 30% of messaged users will turn off their adblockers»7. Тож я описую не якийсь самочинний скрипт, який хтось підкинув. Це продукт, який видавець купив і розгорнув навмисно.\nСтіни «згода або плати» це інша категорія, і шкідливим ПЗ я їх не називаю. Вони не знищують доставлене й не ховаються від блоклистів. Вони примушують по-іншому, і про це наступний розділ.\nПрийми 1467 партнерів або плати £2,99 Стіна на виданнях Reach це Quantcast Choice, яким тепер керує InMobi8, і подається вона з cmp.inmobi.com. Вона дає два варіанти. Прийняти або платити £2,99 на місяць. Безкоштовного «ні» немає.\nПрийняття ділиться твоїми даними з 1467 зазначеними партнерами й записує cookie euconsent-v2, який живе 13 місяців. Ніхто не читає список із 1467 компаній, ніхто не зміг би зважити, що кожна з них робитиме з даними, навіть якби прочитав, і саме це число вже каже тобі, про яку згоду тут ідеться.\nUK GDPR каже, що згода має бути наданою вільно, і що, оцінюючи, чи так було, треба дивитися, чи не поставили послугу в залежність від згоди на обробку, яка їй не потрібна9. ICO опублікував настанови, де сказано, що «згода або плати» може бути законною10, і тепер каже, що ці настанови переглядаються, а Європейська рада із захисту даних заявила, що для великих платформ, які пропонують лише два варіанти, у більшості випадків вона законною не буде11. Я не вдаватиму, що регулятор це заборонив. Не заборонив.\nТож ось де я стою, прямо. Я вирішив прибрати стіну й відмовити в згоді. Це означає, що я читаю статтю на безкоштовній гілці, не платячи й не віддаючи своїх даних 1467 компаніям. Це рішення. Розширення так і каже на власній сторінці налаштувань, і я не видаю його за щось нейтральне. Згода, в якій не можна відмовити, це ціна, а я не платитиму ціну, переодягнену в запитання.\nПрибрати вікно це легка третина справи. Дві інші третини в розділі Як слід відповісти на запитання про згоду, бо банер, який ти видаляєш, не відповівши, повертається щоразу.\nОдин день, вісім комітів Усе це зроблено за один день. Кілька годин я колупав сторінки, перш ніж щось закомітити, а потім вісім комітів між 20:32 і 22:50. Я робив це з Claude Code, і чимало чорної роботи з читання обфускованого вбудованого скрипту рядок за рядком виконав агент, поки я дивився, що сторінки роблять на екрані. Такий розподіл добре спрацював, а де щось пішло не так, описано нижче, бо пішло не так у спосіб, про який варто знати.\nЧас Коміт 20:32 перший коміт: Newsquest, notebookcheck, National World, Reach, Page Six 20:46 вендор за кожним механізмом, записаний у README 20:56 50 посилань із головної сторінки Google News як невибрана вибірка 21:02 відповідати API згоди, відхиляючи кожну мету 21:11 знешкоджені посилання на соцмережі 22:50 захисти з перемикачами, MSN і Bing, відмова в згоді кліком, 77 тестів Це розширення Manifest V3 із двома дозволами, declarativeNetRequest і storage, без дозволів на хости й без власного доступу до мережі, тож воно не може нічого завантажити, переписати відповідь чи говорити із сервером від твого імені. Це обмеження сформувало дизайн більше, ніж будь-що інше, бо вся цікава робота мусить відбуватися всередині сторінки.\nДва світи, один атрибут донизу й одна подія догори Код сторінки й налаштування розширення живуть у різних світах Сховище розширення chrome.storage.local захисти канали трасування налаштування соцмереж останні 50 помилок читає й пише сторінка налаштувань Ізольований світ bridge.js social.js portal.js читає chrome.storage не чіпає функцій сторінки Світ сторінки (MAIN) walls.js guard.js portal-early.js обгортає setTimeout, cookie, __tcfapi, window.adLight жодного chrome.* Донизу: атрибут на елементі html, лише вимкнене \u0026lt;html data-ktp-off=\"cookies,dom\"\u0026gt; типово: нічого не записано Догори: подія ktp-report detail: рядок JSON об’єкт надійно не проходить Chrome запускає скрипти розширень у двох світах. Світ сторінки дістає до власного JavaScript сторінки, але не має API розширень. Ізольований світ може читати налаштування, але не може торкатися функцій сторінки. Усе переходить між ними як атрибут донизу й подія догори. Світ MAIN у Chrome ділить із сторінкою її власне середовище JavaScript12. Скрипт там може підмінити setTimeout, обгорнути document.cookie або визначити window.adLight раніше за сторінку, а саме це й потрібно для боротьби з цими стінами. На практиці викликати chrome.storage він не може. Ізольований світ може, але не бачить функцій сторінки. Тож невеликий місток читає налаштування й записує їх на \u0026lt;html\u0026gt;, а помилки йдуть догори як CustomEvent, чий detail це рядок JSON, бо об’єкт через цю межу надійно не проходить.\nАтрибут, що йде донизу, перелічує лише те, що ти вимкнув. Встановлення за замовчуванням не записує на сторінку взагалі нічого. Це важливо, бо постійна позначка на \u0026lt;html\u0026gt; це саме те, що шукають ці SDK, і це означає, що збій сховища веде до захисту сторінки, а не геть від нього.\nЗнайди ворота, не воюй зі стіною Виправлення для Newsquest це два кроки міркування, і саме з ним порівнювалося все інше.\nУся їхня стіна стоїть за одним прапорцем на сторінці:\nvar adLight = false; // line 1647 if (adLight !== true) { …} // line 2020: loader, eval payload, confirm() adLight це прапорець передплатника «легка реклама». Якщо він true, стіна ніколи не будується. Тож розширення визначає window.adLight як true на document_start, ще до запуску власного скрипту сторінки, із сеттером, який ігнорує все, що в нього пишуть:\nObject.defineProperty(window, \u0026#39;adLight\u0026#39;, { configurable: false, enumerable: true, get() { return true; }, set() { /* ignore the page\u0026#39;s \u0026#34;false\u0026#34; */ } }); var на початку скрипту не перевизначає властивість, яка в глобального об’єкта вже є. Він лише присвоює їй значення13. Тож власний var adLight = false сторінки виконується, потрапляє на сеттер і нічого не робить. Завантажувач стіни ніколи не стартує, навантаження eval ніколи не приходить, і немає жодної перевірки на втручання, яку можна зачепити, бо ніхто нічого не чіпав. Прапорець просто сказав «так».\nЦе єдина властивість у всьому розширенні, яка non-configurable. Вона мусить такою бути, щоб пережити оголошення. Усе інше configurable: true, тож жодна сторінка ніколи не втрачає назавжди жоден зі своїх API.\nЦе покриває 269 видань, і вимкнути це в налаштуваннях не можна, а вони пояснюють чому: воно працює раніше, ніж chrome.storage може відповісти, а раз задане, скасувати його не можна. Прапорець у налаштуваннях був би прикрасою.\nКожне виправлення, що все погіршило Це корисний розділ, бо кожна помилка тут це перше, що спадає на думку спробувати.\nЩо я пробував Що сталося Заблокувати хост завантажувача хост це випадковий CNAME першої сторони для кожного видання; а невдале завантаження саме по собі є сигналом виявлення Охороняти setAttribute на вставлених скриптах зачепило перевірку зчитування Sourcepoint, яка викликала той самий діалог, що мала зупинити Відповісти на confirm() кнопкою Cancel у цьому SDK Cancel означає перезавантаження, тож це спричинило нескінченний цикл перезавантажень Зробити знімок \u0026lt;body\u0026gt; на DOMContentLoaded, щоб потім відновити стіна очищає сторінку ще під час розбору, тож знімок вийшов із порожнього body Охороняти remove() і removeChild() стіна очищає сторінку одним innerHTML = '', а не вузол за вузлом Охороняти все одразу на notebookcheck стіна дійшла до діалогу, потім до циклу перезавантажень; однозначно гірше, ніж нічого не робити Перенаправити хост вендора на локальну заглушку правило redirect лише з declarativeNetRequest зробило недійсним увесь набір правил, тихо вбивши правило Newsquest на 269 сайтах Запускати охорону сторінки на кожному сайті латало глобальні прототипи на кожній сторінці, яку я відвідував, включно з моїм банком На перенаправлення варто глянути вдруге. Chrome дає правилу block неявний доступ і вимагає дозволу на хост для всього більшого14. Його документація каже, що недійсні статичні правила ігноруються15. Те, що бачив я, гірше: зник увесь файл, без жодної помилки на сторінці, і правило 1 просто перестало існувати на 269 сайтах. Тому два правила для MSN тепер живуть в окремому наборі правил, щоб невдала правка одного не могла звалити інше.\nЦикл перезавантажень навчив іншого жорсткого правила. location.reload перехопити не можна. Об’єкт Location у стандарті HTML непідробний16, тож його методи non-writable і non-configurable, а спроба дає тобі:\nObject.defineProperty(location,\u0026#39;reload\u0026#39;,...) -\u0026gt; TypeError: Cannot redefine property: reload Будь-яку стіну, чий шлях невдачі звучить як «перезавантаж сторінку», вже не зупинити, коли вона на цьому шляху. Ніщо не зупинить. Єдине виправлення в тому, щоб вона туди ніколи не дійшла. Це той самий урок, що й з adLight, засвоєний болісним шляхом: кожна спроба воювати зі стіною, що вже працює, все погіршувала, а кожне виправлення, що спрацювало, не давало стіні стартувати.\nШкоду зробив один таймер У notebookcheck немає adLight. Стіна працює завжди. З увімкненим трасуванням розширення показало, що вона запланувала:\ndropped setTimeout(7005ms) scheduled from eval \u0026lt;- the body.remove() dropped setTimeout(1251ms) / 105ms / 0ms x8 dropped setInterval(15000ms) Усю шкоду робить один із цих таймерів: той, що на 7-й секунді видаляє \u0026lt;body\u0026gt;. Усе після нього це реакція, бо порожня сторінка кидає виняток, виняток викликає діалог, діалог перезавантажує сторінку, і все починається спочатку зі свіжим набором таймерів.\nТож виправлення це одне правило. Відкинути таймер, якщо його заплановано з коду, пропущеного через eval, сторінка несе підпис цього SDK, а обробник це функція. Стек каже тобі, звідки прийшов виклик, і eval залишає в ньому свій слід.\nbefore: 4 page loads, 3 confirms, reload loop after: 1 page load, 0 confirms, alive 40,378ms, content intact Один таймер і все, що після нього notebookcheck: шкоду робить один таймер, решта це реакція Як подано стаття й CSS прийшли, видно завантажувач з html-load.com навантаження eval планує таймери 7,0 с: таймер body.remove() порожня кидає, викликано confirm() знов вантажиться і все спочатку 4 завантаження, 3 діалоги, цикл перезавантажень З розширенням стаття й CSS прийшли, видно завантажувач з html-load.com навантаження eval планує таймери таймери з eval відкинуто одразу 1 завантаження, 0 діалогів, жива на 40-й секунді notebookcheck без розширення і з ним. Нічого після 7-секундного таймера виправляти не треба, бо нічого з цього не стається, щойно цей таймер відкинуто. На той момент у збірці було ще два механізми: перенаправлення завантажувача на заглушку й елемент-приманка, який вбирав записи стіни. Обидва працювали, і обидва лікували симптоми того самого таймера, що стало очевидним лише тоді, коли правило для таймера перевірили окремо і з’ясувалося, що його самого досить. Тож обидва прибрали, а разом із ними пішли один дозвіл і всі дозволи на хости. Завжди перевіряй, чи остання зміна сама по собі не робить справу, перш ніж лишати навколо неї риштування.\nПідпис це атрибут data-sdk на тегу завантажувача, і він збігається з формою l/\u0026lt;n\u0026gt;.\u0026lt;n\u0026gt;, а не з версією. За один день трапилося три версії. Він чіпляється й ніколи не кешує негативний результат, бо тег завантажувача може бути ще не розібраний, коли плануються перші таймери, а запам’ятоване «ні» назавжди роззброїло б його на сторінці, яка таки несе стіну.\nЗонд сказав «гаразд». Екран сказав інше. The Scotsman і Yorkshire Post звітували як виправлені на основі зонда, що вимірював текст. Його на сторінці було 8808 символів, 22 елементи під \u0026lt;body\u0026gt;, стабільно на 2, 8 і 16 секундах. За цією мірою сторінка була цілою.\nА вона не була. Я на неї дивився, і кожна таблиця стилів зникла, посилання були голим списком, SVG-логотип заповнював екран, і була горизонтальна смуга прокрутки. Усі слова були на місці, а більше той зонд нічого бачити не міг. Мені довелося показати на екран і сказати про це.\nЩо виміряв зонд і що було на екрані Yorkshire Post до виправлення: та сама сторінка, виміряна двома способами Що виміряв зонд innerText.length8808 дочірні body22 на 2 с, 8 с, 16 сбез змін Висновок: ціла Що було на екрані document.styleSheets.length0 посилання голим списком, логотип на всю ширину, горизонтальна прокрутка Висновок: зламана Після відкидання видаляча в момент планування: 2 таблиці стилів, 532 правила, сторінка рендериться Та сама сторінка, виміряна двома способами. Довжина тексту казала, що сторінка здорова. Кількість таблиць стилів казала, що вона зламана, і кількість таблиць стилів мала рацію. Причиною був видаляч із першої таблиці, і під правило для таймерів він не підпадав, бо це звичайний вбудований скрипт, а не eval. Тож підписом стає його власний код: повторюване завдання, тіло якого викликає querySelectorAll('link,style'), а потім remove(). Нічого легітимного так не робить. Його відкидають у момент планування, нічого не видаляється, і нічого не треба відновлювати. Yorkshire Post перейшов від 0 таблиць стилів до 2, з 532 правилами, і відрендерився.\nЩоб знайти це, потрібне було трасування стеку, а не здогадка. Залатай Element.prototype.remove, щоб він журналював стек щоразу, коли видаляє STYLE або LINK, і з першої спроби він назвав вбудований скрипт і forEach.\nПісля цього document.styleSheets.length пішов у кожну перевірку. Сторінка без жодної зламана, скільки б тексту в ній не було. Вимірювати виявляється важче, ніж ти думаєш, і ось пастки, в які збірка вскочила того дня:\nПастка Що вона казала Як було насправді довжина тексту як перевірка рендерингу «ціла» розмітка без стилів одна вибірка після завантаження стін Reach «немає» на восьми виданнях стіна живе близько 600 мс і вже була прибрана порожня консоль після переходу «охорона не спрацьовує» повідомлення часу завантаження не переживають перехід вибірки на 1 с і 4 с notebookcheck здоровий він очищається на 5–8 секундах cssRules, пораховані між джерелами у ESPN 5 правил таблиці з інших джерел кидають виняток, тож рахуються заниженими Виправлення для випадку з 600 мс у тому, щоб опитувати що 100 мс від моменту завантаження сторінки. На Wales Online стіна з’явилася на 425 мс і зникла до 1129 мс.\nПотім перевірки прогнали по-справжньому. 52 статті на 26 доменах, по дві на сайт, вибрані так, щоб покрити кожен механізм: 52 з 52 з таблицями стилів, жодної стіни на екрані, жодних циклів перезавантажень. Потім 50 посилань просто з головної сторінки Google News UK, не вибраних мною: 45 відрендерилися нормально, 2 були хостами, які мій Pi-hole блокує навмисно, 1 був справжнім пейволом The Times, а 2 були тією самою статтею, що потрапила двічі, бо Google перебудовує порядок посилань при кожному завантаженні. Жодної з нулем таблиць стилів. У цьому прогоні виринули три видання National World, яких я ніколи не тестував, з тим самим SDK, і всі три відрендерилися, а саме для цього й потрібен збіг за формою, а не за списком сайтів.\nЄ 77 модульних тестів, у репозиторії разом з усім іншим. На цій машині немає Node, тож вони працюють на gjs, і вони завантажують справжній walls.js проти підставного DOM, тож під тестом саме робочі шаблони. Кожен перевірено, зламавши те, що він охороняє, і подивившись, як він червоніє. Вони тестують лише рішення. Те, що вони проходять, не означає, що сторінка рендериться, і саме через Scotsman це речення є в README.\nЯк слід відповісти на запитання про згоду Видалення банера згоди лишає запитання без відповіді. Це має два наслідки, і перший у тому, що банер перебудовується при кожному завантаженні сторінки. А видавець, який тримає вміст, доки не відповість API згоди, просто зависне, тоді як вендор, що не отримав відповіді, може вважати, що запитання ніколи не ставили. Мовчання не є відмовою.\nТож розширення відповідає на нього, у такому порядку:\nВідмовити, відповісти «ні», нічого не зберігати, і лише тоді прибрати На банер згоди відповідають, а не просто видаляють На екрані власний контейнер вендора згоди #qc-cmp2-container #onetrust-consent-sdk sp_message_container 1. Натиснути їхню відмову Reject all, Decline, Only essential, Continue without accepting лише весь напис, до 40 символів збіг з Accept: збірка падає 2. Відповісти API: ні __tcfapi кожну мету, функцію й вендора відхилено tcString \"\" tcloaded 3. Ніколи не зберігати запис euconsent-v2 addtl_consent OptanonConsent didomi_token cookie і localStorage записи відкинуто Досі на екрані на наступному такті? так: прибрати, розблокувати прокрутку ні: відмова в силі Три відповіді й запасний варіант. Кнопку відмови натискають, якщо вона є, API згоди отримує «ні» на все, запис ніколи не зберігається, і лише банер, який досі стоїть на наступному такті, прибирають. Спершу воно натискає їхню кнопку відмови. Лише кнопки, чий напис цілком є відмовою: «Reject all», «Decline», «Only essential», «Continue without accepting» і ще кілька, кожна прив’язана з обох кінців, а все довше за 40 символів ігнорується. Модульний тест подає йому «I Accept», «Accept All», «Agree and close», «Allow all», «Got it», «Subscribe» і «Pay £2.99/mo» і валить збірку, якщо збігається хоч одна. Клацнути не ту кнопку означало б дати згоду від твого імені, а це єдине, чого цей проєкт ніколи не мусить робити. На msn.com натискання «Reject All» прибрало банер Microsoft, і після перезавантаження він не повернувся, бо Microsoft зберігає відмову на власних серверах.\nВоно відповідає API згоди «ні». Фреймворк IAB дає кожній сторінці зі згодою функцію __tcfapi, щоб питати, на що ти погодився17. Де вона є, розширення відповідає їй, відхиляючи кожну мету, кожну особливу функцію й кожного вендора, з порожнім рядком згоди й eventStatus: 'tcloaded', що означає, що відповідь остаточна. Вона з’являється лише там, де фреймворк згоди вже є на сторінці, тож сайт, який ніколи не питав, її не бачить.\nВоно ніколи не зберігає запис. document.cookie і localStorage мовчки відкидають euconsent-v2, addtl_consent, OptanonConsent, didomi_token та решту, тож згода, якої ти ніколи не давав, ніколи не записується й ніколи не передається 1467 партнерам на наступній сторінці. Британське право вже вимагає згоди, перш ніж щось для цього зберігатимуть на твоєму пристрої18. Розширення забезпечує це «ні».\nКожне ім’я в цьому списку прив’язане з обох кінців, і за цим стоїть історія. Cookie Sourcepoint починаються з _sp_. Ледачий шаблон sp_ збігається й з sp_dc і sp_t від Spotify, а це сесія входу, і він виводив би мене зі Spotify на кожній сторінці. Тест закріплює і це.\nВидалення це запасний варіант. Лише для банера, який усе ще на екрані після кліку, і лише для банера, який справді показується. Кілька вендорів лишають на сторінці постійну обгортку, незалежно від того, чи є банер. euronews тримає хост Didomi нульової висоти, і вирвати його означає зламати сторінку без жодної користі. Банер Reach сидів на три рівні нижче \u0026lt;body\u0026gt; усередині двох обгорток, які самі не фіксовані, тож перевірка мусить спускатися до того блоку, який фіксований.\nКнопки поширення й портал, що ігнорує власні налаштування Ще дві речі на цих сторінках існують, щоб служити комусь, крім читача, і поводитися з ними треба було інакше, ніж зі стінами.\nКнопки поширення й підписки. Кожне посилання на Facebook, Instagram, X, TikTok чи LinkedIn переписується на http://localhost/removeme, а оригінал паркується в атрибуті, тож нічого не губиться. Потім другий прохід видаляє те, що явно є меблями (іконку без тексту, «Share on X», будь-що в контейнері, який називає себе share чи social), а решту ховає. Позначка там для того, щоб один селектор показував усе, що от-от зникне, а режим «лише позначати» зупиняється після першого проходу, щоб ти міг подивитися, перш ніж довіряти цьому на сайті.\nНаївна версія ламає сторінки трьома способами, і кожен тепер є тестом:\nНаївна версія Що вона ламає Що робиться натомість a[href*=\u0026quot;x.com\u0026quot;] також збігається з netflix.com, linux.com, phoenix.com розібрати хост і порівнювати цілі мітки видалити кожне посилання на соцмережі «Continue with Facebook» зникає, і люди не можуть увійти посилання для входу, OAuth, юридичні й для розробників лишаються видалити посилання в реченні слова зникають разом із ним за замовчуванням ховати; опція розгортає його й зберігає слова Останнє це компроміс, на який я пішов свідомо. Підпис BBC з цим увімкненим читається як «follow BBC Manchester on , , and .». Я подивився на це й однаково вибрав ховання. Опція зберігати слова є для тих, хто не згоден.\nMSN і Bing. Обидва працюють на тих самих вебкомпонентах, близько 160 shadow roots на головній сторінці. Простий запит до документа знайшов 1 посилання. Обхід shadow roots знайшов 73, включно з плитками Facebook і X. Будь-що, що їх не обходить, майже нічого з цього не бачить.\nУ MSN таки є власні налаштування вмісту. Вони зберігаються на серверах Microsoft за анонімним ID, а не в cookie, тож зникають після очищення cookie, у новому профілі й в анонімному режимі. До Bing вони не доходять узагалі. І коли кожне з них вимкнено й прокручено 11 700 пікселів, ось що досі було в стрічці:\nВласний перемикач MSN, вимкнено Досі на сторінці Casual Games плитка Games Shopping рекламні плитки Booking, Temu та eBay Comments 501 посилання на коментарі Weather, Finance, Sports зникли, до наступного очищення cookie Перемикач із написом Comments, який лишає на сторінці 501 посилання на коментарі, це твердження, зроблене користувачеві, і хибне. Тож розширення прибирає їх саме, націлюючись на стабільні імена компонентів MSN, а не на імена класів, що змінюються з кожною збіркою.\nОдне, чого я там навчився і що стосується далеко не лише MSN: прибрати зображення зі сторінки не означає зупинити його завантаження. Chrome починає завантаження, щойно задано src, навіть для зображення, яке так і не поставили на сторінку19. Поки скрипт вмісту побачить картку, її мініатюра вже в дорозі. Тож дані стрічки блокуються на двох кінцевих точках, що їх подають, і ніколи на хостах зображень, бо th.bing.com також обслуговує пошук зображень Bing.\nІ стрічка MSN досі блимає на екрані на мить, перш ніж зникнути. Чотири спроби сховати її раніше за вимірюваннями всі працювали, і жодна не прибрала блимання, а це означає, що те, що малюється, не те, що ховає розширення. Сторінка налаштувань так прямо й каже. Я волію, щоб вона казала це, ніж натякала на чисте завантаження, якого вона не дає.\nЧого воно не робитиме Воно не буде Бо відкривати справжній пейвол якщо сервер утримує статтю, вона лишається утриманою гадати щодо сайту домен додається лише після того, як там побачили його стіну; два сайти News Corp, які вважали схожими на Page Six, такими не виявилися й вилетіли назад чіпати сайт без підпису на BBC встановлено кожен хук і нічого не журналюється, жоден таймер не відкинуто, жоден вузол не зачеплено дзвонити додому без дозволів на хости, без доступу до мережі, без телеметрії; журнал помилок лишається у твоєму браузері удавати блимання MSN не розв’язане, а один варіант Ad-Shield, wp-ls/…, поки не збігається; його сторінка відрендерилася нормально, тож це записано, а не виправлено навздогад Сторінка, яку тобі надіслали, твоя Щойно сервер надіслав твоєму браузеру сторінку, ця копія на твоїй машині. Запускати на ній потім код, щоб її забрати, це не бізнес-модель, яку я визнаю. Це старий трюк: продати тобі щось і далі тримати на ньому руку.\nГазети колись були річчю, яку ти купував і яка ставала твоєю: хтось на розі вулиці мав стос, ти віддавав гроші, і вона йшла з тобою додому, і ти міг її читати, складати, позичати чи розпалювати нею вогонь. Ніхто не приходив до тебе додому за годину, щоб вирізати другу сторінку, бо ти пропустив рекламу. Вебверсія віддала газету задарма, а потім продала читача. Спершу рекламодавцям, потім 1467 партнерам, а тепер вендору, чий увесь продукт полягає в тому, щоб вирішувати, чи досить добре ти поводився, щоб лишити собі те, що тобі дали.\nЩо мені не дає спокою, так це таблиця стилів. Газета, яка дозволяє серверу рекламної компанії вирішувати, чи виживе її власний макет, віддала власну першу шпальту. Вона й не знала б про це, бо всередині ніхто цей хост не блокував, тож першою про це дізналася людина з Pi-hole, яка дивилася на сторінку, повну голих посилань, і яку діалогове вікно запевняло, що винна вона. Не вона.\nУ журналістики є ціна, і я без проблем її заплачу. Чого я не дозволю, так це щоб скрипт вирішував, що в мене вже є. Ця межа проводиться в моєму браузері, а не в їхньому.\nPi-hole documentation — «The Pi-hole® is a DNS sinkhole that protects your devices from unwanted content, without installing any client-side software.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNewsquest — About us — «We are the leading local news publisher in the UK with a portfolio of more than 200 brands.» Бренди це не домени, звідси більше число із сертифікатів.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nDaily Business, 18 грудня 2024 — «National World, owner of The Scotsman and Yorkshire Post, has reached agreement on a £65.1 million takeover by Irish publisher Media Concierge.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nReach plc — About us, архівовано 5 вересня 2026 — «120+ brands, from household names like the Mirror, Express, Daily Record and Daily Star, to local titles like MyLondon, BelfastLive and the Manchester Evening News».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nDimova et al., \u0026ldquo;The CNAME of the Game: Large-scale Analysis of DNS-based Tracking Evasion\u0026rdquo;, PETS 2021 — маскування CNAME «effectively bypasses antitracking measures that rely on fixed hostname-based block lists.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nuBlockOrigin/uAssets issue #30988, подано з міткою укладачів «Ad-Shield», з повідомленням, яке подає error-report.com: «Failed to load website properly since html-load.com is blocked.» Див. також Jacob Desforges, \u0026ldquo;Ad-Shield ad reinsertion\u0026rdquo;, 12 квітня 2026. Приписування належить спільноті списків фільтрів; вендор нічого не розкриває.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nSourcepoint — Anti-adblock FAQs, архівовано 25 травня 2022 — «Historical experience shows on average about 30% of messaged users will turn off their adblockers.» Та сама сторінка питає, чи не завадить «a CNAME applied to a 1st-party subdomain» блокуванню скрипту виявлення.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nAdExchanger, 16 серпня 2023 — «InMobi acquired Quantcast’s consent management platform, called Quantcast Choice».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nUK GDPR, Article 7 — «utmost account shall be taken of whether, inter alia, the performance of a contract, including the provision of a service, is conditional on consent». Recital 42: згода не є наданою вільно, «if the data subject has no genuine or free choice».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nICO — Consent or pay, опубліковано 23 січня 2025 — «„Consent or pay“ models can be compliant with data protection law if you can demonstrate that people can freely give their consent». Сторінка тепер каже, що настанови переглядаються після ухвалення Data (Use and Access) Act.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nEDPB Opinion 08/2024, ухвалено 17 квітня 2024 — «In most cases, it will not be possible for large online platforms to comply with the requirements for valid consent if they confront users only with a binary choice». Йдеться про великі онлайн-платформи, а не регіональні газети.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nChrome for Developers — content_scripts manifest key — «Choosing the „MAIN“ world means the script will share the execution environment with the host page\u0026rsquo;s JavaScript.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nECMAScript — CreateGlobalVarBinding — «If a binding already exists, it is reused and assumed to be initialized.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nChrome for Developers — declarativeNetRequest — «provides implicit access to allow , allowAllRequests and block rules», а в іншому разі «you must request host permissions before you can perform any action on a host.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nChrome for Developers — declarativeNetRequest — «Errors and warnings about invalid static rules are only displayed for unpacked extensions. Invalid static rules in packed extensions are ignored.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nHTML Standard — the Location interface позначає свої члени [LegacyUnforgeable], що у Web IDL означає «the property will be non-configurable and will exist as an own property on the object itself».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nIAB Tech Lab — TCF v2 CMP API — «Every consent manager MUST provide the following API function: __tcfapi(command, version, callback, parameter)».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nPECR, regulation 6 — «a person must not store information, or gain access to information stored, in the terminal equipment of a subscriber or user», зі згодою як умовою в Schedule A1, зі змінами, внесеними Data (Use and Access) Act 2025.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nHTML Standard — update the image data — виконується «whenever that element is created or has experienced relevant mutations», зокрема коли задано його src; перебування в документі не є умовою.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\n","permalink":"https://blogs.damiendye.uk/uk/random/the-news-site-sent-me-the-article-then-deleted-it/","summary":"Newsquest, National World, Reach та інші надсилають твоєму браузеру повну статтю з її таблицями стилів, а потім запускають комерційний код проти блокувальників реклами й код згоди, який очищає сторінку, видаляє кожну таблицю стилів що 100 мс або накриває її вибором між 1467 партнерами зі стеження і £2,99 на місяць. Тут розібрано, що робить цей код, чотири причини, чому я називаю його шкідливим ПЗ, і розширення Chrome, яке я зробив за один день, щоб зберегти сторінку: закріпити прапорець adLight від Newsquest, перш ніж збудується стіна, відкинути таймери, заплановані з eval, вбити видаляч таблиць стилів у момент планування й як слід відмовити в згоді, відповівши TCF API «ні», натиснувши власну кнопку відмови вендора й ніколи не зберігаючи запис. Далі виправлення, що все погіршили, зонд, який казав, що зламана сторінка в порядку, кнопки поширення й стрічка MSN, і чого розширення не робитиме.","title":"Новинний сайт надіслав мені статтю, а потім видалив її"},{"content":"Від вугілля до нуля за чотирнадцять років Панель National Grid від Кейт Морлі дає змогу вибрати вікно і дивитися, як рухаються цифри.1 Набір даних починається з 2012 року, а це якраз пік вугілля, тож стовпчик «за весь час» показує все очищення однією цифрою.\nЗа весь час (2012–) Минулий рік Минулий тиждень Минулий день Вуглецева інтенсивність 251 г/кВт·год 124 г/кВт·год 98 г/кВт·год 67 г/кВт·год Вугілля 12,4 % 0,0 % 0,0 % 0,0 % Газ 33,5 % 27,0 % 21,2 % 15,9 % Вітер 19,5 % 34,8 % 46,0 % 64,1 % Сонце 3,7 % 7,4 % 8,3 % 11,1 % Атом 18,3 % 12,0 % 12,0 % 12,9 % Усього викопного 45,8 % 27,0 % 21,2 % 15,9 % Усього відновлюваного 24,4 % 43,6 % 55,8 % 76,6 % Попит 32,6 ГВт 30,9 ГВт 28,4 ГВт 25,8 ГВт Ціна £70,13/МВт·год £92,77/МВт·год £125,01/МВт·год £27,18/МВт·год Вітер тепер найбільше окреме джерело електроенергії у Великій Британії. 34,8 % за цілий рік, проти газу з 27 % і атома з 12 %. Не в гарний день. Дванадцять місяців.\nВугілля нуль. Не мало. Нуль, цілий рік. Остання станція закрилася 30 вересня 2024 року, через сто сорок два роки після того, як перша у світі запрацювала в Лондоні в січні 1882-го, а отже, ця країна винайшла вугільну енергетику, а потім витратила добру частину півтора століття, щоб нарешті дійти до того, щоб знову її вимкнути.1 Вуглецева інтенсивність удвічі нижча за чотирнадцятирічне середнє, з 251 до 124. Половина, за чотирнадцять років.\nПопит, що кудись подівся Подивись ще раз на рядок попиту. 32,6 ГВт у довгому середньому, 30,9 за минулий рік. Він падає двадцять років, приблизно на 5 ТВт·год на рік від 2005-го.\n2005 2023 Попит домогосподарств 126 ТВт·год 93 ТВт·год Промисловий попит 117 ТВт·год 86 ТВт·год Середнє домогосподарство 4662 кВт·год (2007) 3449 кВт·год Домогосподарства за цей час скинули 33 ТВт·год, поки країна підключила півтора мільйона електромобілів і чверть мільйона теплових насосів.2 Чималу частину цієї роботи зробили правила ЄС Ecodesign; самі лише регламенти щодо освітлення заощадили 81 ТВт·год по ЄС у 2020 році.3 Ефективність не просто поглинула електромобілі, вона їх затопила.\nДва застереження, бо цю тему часто перебільшують. Промисловий попит теж упав, з 117 ТВт·год до 86, і це здебільшого заводи, що закриваються, а не заводи, що порозумнішали. І спад закінчився. 2024 був першим роком майже за два десятиліття, коли попит знову пішов угору.2\nМашини, що мали все зламати Ось парк, який поглинула мережа, просто з таблиць ліцензування DVLA. Акумуляторні електромобілі, зареєстровані у Великій Британії на кінець кожного року.4\nРік Легкові Фургони Автобуси Вантажівки Мотоцикли Усього 2015 20 472 4786 194 314 917 26 756 2017 41 222 6401 303 283 1046 49 334 2019 89 581 10 479 504 269 2790 103 724 2021 374 597 28 245 1295 331 9118 413 908 2023 916 576 64 988 3188 732 14 142 1 000 092 2024 1 266 421 84 959 4821 983 14 039 1 371 779 2025 1 708 499 111 837 7450 1472 13 460 1 843 395 Легкових за десять років побільшало у вісімдесят три рази, усього парку в шістдесят дев’ять. Мільйонний електромобіль з’явився наприкінці 2023 року на позначці 1 000 092, а це приблизно так влучно, як статистика взагалі буває. Ніхто цього не планував.\nТри речі в цій таблиці, яких не побачиш у заголовку.\nВантажівки ледве почали. 1472 електричні вантажівки на всю Велику Британію, і їхня кількість навіть упала між 2015 і 2020 роками, до 253. Легкові завжди були легкою частиною. Це важка частина, і вона по-справжньому ще не почалася.\nЕлектромотоцикли йдуть назад. 14 142 у 2023-му, потім 14 039, тепер 13 460. Два роки спаду, єдина категорія, що зменшується, поки все інше наростає.\nВідсотки сповільнюються, а заліза не меншає. Зростання легкових було 114 % у 2020-му і 35 % у 2025-му. Але 2025 рік вивів на дороги 442 000 машин проти 350 000 у 2024-му. Менший відсоток від великого числа все одно б’є великий відсоток від малого.\nЩодо того, куди це йде: Future Energy Scenarios 2025 від NESO дають Великій Британії 31 мільйон електромобілів до 2050 року за сценарієм Holistic Transition, 33,4 мільйона за Electric Engagement і 36,1 мільйона за Hydrogen Evolution.5 Нинішні 1,84 мільйона це приблизно шість відсотків шляху.\nОдна деталь із цих сценаріїв, яку варто помітити: гнучкість, доступна від розумного заряджання, цього року впала, з 16 ГВт до 10 ГВт. Більші батареї означають менше, але довших заряджань, і менше того, що можна пересувати.5\nПопит, що так і не з’явився Є, щоправда, і друга річ, що тисне попит униз, і це не ефективність.\nВласне споживання Сонце, без батареї 30–40 % Сонце плюс батарея 80–90 %6 Нині у Великій Британії два мільйони сонячних установок, 22,3 ГВт на всіх, і понад 30 % нових систем ставлять із батареєю, проти 10 % п’ять років тому.6 Постав накопичувач за панелями, і більшість того, що виробляє дах, ніколи не перетне лічильник.\nЦя енергія не заощаджена. Її просто перестали рахувати. Лічильник це єдине, що змінилося.\nРік Додано сонячної потужності 2021 ~0,4 ГВт 2022 ~0,5 ГВт 2023 1,9 ГВт 2024 2,3 ГВт 2025 2,6 ГВт Ушестеро за п’ять років, і форма кривої каже чому. 2021 і 2022 були пласкі. Потім прийшли рахунки, люди порахували, і сонце перестало бути екологічним вибором і стало фінансовим.\nНаш будинок десь у цій таблиці. Дев’ять кіловат на даху, тридцять кіловат-годин батареї під ним, дві машини і кондиціонер, що п’є денну генерацію. З погляду National Grid ця адреса роками тихо зменшується. З погляду фізики ні. Енергія просто перестала з’являтися на будь-чиєму графіку.\nВійна проти того, що спрацювало Ніщо з наведеного вище не сталося випадково, і є жива спроба зупинити решту.\nReform узяла десять англійських рад у травні 2025 року і заявила, що використає «every lever», щоб блокувати нові вітрові, сонячні й батарейні проєкти. Carbon Brief оцінив потужність під загрозою приблизно в 6 ГВт: 5076 МВт батарейних схем, 786 МВт сонця і 56 МВт вітру в цих десяти районах.7 Речник партії з енергетики написав розробникам у Лінкольнширі, що «this is war», і надіслав офіційне повідомлення гендиректорам SSE Renewables, Octopus Energy, Centrica та Equinor, що уряд Reform розірве їхні угоди.7\nПеревіряємо аргумент про сільгоспземлі Заявлена причина: сільськогосподарські землі й продовольча безпека. Це твердження можна перевірити, тож перевірмо.\nВикористання землі Площа Частка Великої Британії Наземні сонячні станції, вересень 2024 21 200 га ~0,1 %8 Те саме, супутникове дослідження 15 580–17 364 га 0,06–0,07 %9 Поля для гольфу 125 000 га ~0,5 %10 70 ГВт сонця до 2035 року н/д менше 1 % сільгоспземель10 Сонце вкриває приблизно десяту частку одного відсотка цієї країни. Гольф вкриває приблизно вп’ятеро більше, і за всі роки, що хтось уголос переймається продовольчою безпекою Британії, ніхто жодного разу не написав гольф-клубу, щоб оголосити йому війну. Жодного листа.\nПід шумом закопано справжній аргумент, і його варто сказати прямо. CPRE з’ясувала, що 59 % найбільших сонячних станцій Англії стоять на продуктивних сільгоспземлях, і 31 % цієї площі класифіковано як найкращі й найуніверсальніші.11 Якість землі це слушне зауваження. Кількість землі ні, а висувають саме аргумент про кількість.\nІ подивись ще раз, що насправді в цих 6 ГВт. Сонця там 786 МВт. Батарей 5076 МВт, понад чотири п’ятих потужності, за яку б’ються.7 Аргумент про сільгоспземлі цілить у менше число. Справжня ціль накопичувачі, а накопичувач нічого не вирощує.\nПеревіряємо аргумент про пожежі Батарейним схемам відмовляють через пожежний ризик. Чесно кажучи, не лише там, де керує Reform. Тут ідеться про широкий місцевий опір, а не про кампанію однієї партії, і він працює. Понад 900 заперечень проти схеми біля Аллертон-Байвотер у Лідсі. Ділянку в зеленому поясі біля Іглшема відхилено через страх перед літієвими пожежами після 250 заперечень. Проєкт на 49,9 МВт у Девоні відхилено всупереч рекомендації власного інспектора з планування.12\nТож постав пожежі поруч із запереченнями.\nКількість Пожежі мережевих батарей у Великій Британії, за весь час 3 відомі13 Південна Корея, скупчення 2017–2019 2814 Глобальна база інцидентів EPRI, з 2011 року ~95 записів14 Заперечення проти однієї схеми в Лідсі 900+12 Одна заявка на планування в Лідсі зібрала більше заперечень, ніж було зафіксовано пожеж мережевих батарей будь-де на землі з 2011 року. Три в цій країні, за весь час. Одна з них на ділянці, що ще будувалася.13\nА 27 із 30 інцидентів у світі за 2018 і 2019 роки сталися в Південній Кореї. Одне національне скупчення, досить погане, щоб зупинити їхній ринок накопичувачів, і саме через нього база даних узагалі існує.14 Прибери їх, і світова статистика стане ще тоншою.\nТим часом частота обвалилася. Кількість відмов на рік лишалася приблизно сталою, поки розгортання зросло з 11 ГВт·год у 2018-му до понад 300 ГВт·год у 2024-му. Це падіння частоти відмов на 99 % на одиницю встановленого, бо стандарти наздогнали.14 У 2024 році 0,3 % проєктів мали відмову, що призвела до пожежі з загрозою безпеці.14 Я розбирав це, і пожежу в Мосс-Лендінг, на яку всі посилаються, у дописі про відкинуту енергію.\nА далі чому вони відмовляють, і саме це мало б закінчити суперечку.\nПершопричина Частка відмов Інтеграція, складання і будівництво 36 %15 Експлуатація 29 % Проєктування 21 % Виробничий дефект 4 % 89 % інцидентів узагалі не починаються з батареї.15 Лише три у всій базі зводяться до дефекту комірки чи модуля. Насправді ламається решта системи: проводка постійного й змінного струму, HVAC, саме обладнання пожежогасіння. І 72 % відмов стаються під час будівництва, введення в експлуатацію або протягом перших двох років.15\nТож справа не в хімії. Справа в монтажі. Неякісне складання, зрізані кути під час встановлення, введення в експлуатацію з ще не ввімкненим моніторингом, тож витік чи порушення ізоляції має час перерости в щось, для чого потрібна пожежна машина, ще до того, як бодай одна тривога спрацює там, де її почує жива людина. Інакше кажучи, погана робота.\nЦе важливо, бо змінює відповідь. Якби літій від природи схильний спалахувати, ти мав би рацію тримати його подалі від села. Це не так. Це проблема якості ремесла й інспекції, а таке ми вже вміємо виправляти. Як і будь-яку іншу частину електромонтажу: належні стандарти, належне приймання, хтось компетентний, хто перевіряє роботу.\nІ це повертає нас до правил планування, де є справжня прогалина, яку варто закрити. Ради не мають юридичного обов’язку консультуватися з пожежною службою щодо заявки на BESS, тож одні вимагають повного плану пожежної безпеки, а інші вважають безпеку взагалі поза межами планування.12\nЗаперечення звучить як «ці штуки горять». Дані кажуть, що горять погано встановлені штуки. Одне з цього аргумент за відмову в дозволі. Інше аргумент за інспекцію збірки. Закрий прогалину, і аргумент зникне. Лиши її відкритою, і він і далі працюватиме як аргумент.\nВарто сказати, що досі ніщо з цього не спрацювало особливо добре. За рік ці ради з’ясували, що заблокувати велике сонце легше сказати в прес-релізі, ніж зробити на комітеті з планування, і кілька схем пройшли все одно.7\nІди за грошима Щодо того, звідки береться сценарій, фінансування є публічним фактом.\nГрупа Отримано грошей Від кого Heartland Institute $676 000+ (1998–2007) ExxonMobil16 Heartland Institute нерозкриті додаткові суми фонди, пов’язані з Кохами16 GWPF / Net Zero Watch $500 000+ фонд, пов’язаний з Кохами17 GWPF / Net Zero Watch $210 525 Sarah Scaife Foundation, через своє американське відгалуження17 Heartland це американська структура, що заперечує зміну клімату і відкрила британську філію, з Найджелом Фаражем як почесним гостем на відкритті.16 Global Warming Policy Foundation веде тут кампанії як Net Zero Watch, зареєстрована благодійна організація, що проводить свої кампанії через приватну компанію.17\nАмериканські викопні гроші, американські тези, британська партія, що повторює їх проти технології, в якій ця країна довела, що вона добра. Сам з’єднай крапки.\nТези приходять разом із президентом.\nТвердження Що кажуть докази Шум турбін спричиняє рак Цілком безпідставно. Жодних доказів, що звук узагалі шкодить здоров’ю.18 Морський вітер убиває китів NOAA і National Marine Fisheries Service не знаходять жодних наукових доказів. Викиди китів на берег спричиняють зіткнення з суднами, рибальські снасті й тепліша вода.18 Їх виробництво дає «tremendous fumes» Турбіна повертає енергію, витрачену на її виготовлення, за 5–8 місяців. Вітер викидає у 37 разів менше CO₂, ніж газ, і у 77 разів менше, ніж вугілля.19 На останньому варто зупинитися, бо воно чисто перевертається. Вітер має найменший вуглецевий слід з усіх технологій генерації, які вимірює Міністерство енергетики США.19 Медіани IPCC дають наземному вітру 11 г/кВт·год, а вугіллю 820. Я виклав це в дописі про відкинуту енергію. Те, що звинувачують у забрудненні, саме забруднює найменше.\nАргумент про птахів принаймні починається з чогось правдивого, тож постав його поруч з іншими речами, що вбивають птахів.\nПричина загибелі птахів у США На рік Вітрові турбіни 140 000–330 00018 Будівлі ~600 мільйонів18 Коти 2 мільярди+18 На турбіни припадає щось на зразок одного птаха з шести тисяч. Ніхто ніколи не виступав по телевізору про котів. Котам, вочевидь, можна.\nІ лінія про добробут тварин прийшла не від когось, хто спостерігає за птахами. Її координував консервативний аналітичний центр, який фінансує галузева група за підтримки ExxonMobil, Chevron і Marathon Oil.18 Ті самі гроші, що й у таблиці вище, інша доставка.\nЦе третій канал. Аналітичні центри пишуть, газети друкують, а в мережі це розганяють в промислових масштабах. Дослідження Brown University виявило, що бот-акаунти відповідають майже за 40 % твітів, які називають науку про клімат фейком.20 Не стверджуватиму, що знаю, хто ними керує, і це дослідження про заперечення зміни клімату загалом, а не про британське сонце зокрема. Але візерунок тримається, з якого боку не візьмися: твердження хибні, вони старі, і за них заплатили.\nГоворять однією мовою Ось що, на мою думку, пропускають. Спитай, чому Heartland відкрив філію в Лондоні, а не в Ліоні чи Лейпцигу.\nБо тут воно працює як написано. Без перекладу, без локалізації, без пристосування аргументу до країни, що міряє все в метричній системі й опалює оселі від районної мережі. Прес-реліз приходить англійською і виходить того ж дня.\nЗа цим стоїть нанесена на карту структура, а не лише спільний словник.\nМіст Atlas Network, Вашингтон підтримує 450+ організацій у 90+ країнах21 Фінансування через Donors Trust і Charles Koch Foundation21 55 Tufton Street, Вестмінстер GWPF, IEA, TaxPayers\u0026rsquo; Alliance, Centre for Policy Studies, Adam Smith Institute, Civitas21 Зв’язки США–Велика Британія, нанесені на карту DeSmog ~200021 Заперечувачі зміни клімату з’явилися в помітній кількості на конференції Reform у вересні 2025 року.21 Ніщо з цього не вимагало перекладу жодного слова.\nІ рух іде в обидва боки. Задокументовано, що британські ультраправі Telegram-канали підсилювали дезінформацію про чесність американських виборів. Та сама труба, спрямована в інший бік.22 Дослідники описують, як англомовні видання задають наративи, які потім підхоплюють і повторюють медіа іншими мовами, а це ставить нас першими в черзі, а не останніми.22\nФранцузький чи німецький читач отримує затримку і перекладача, а переклад це фільтр. Хтось мусить вирішити, що твердження варто нести далі, і перевірити його достатньо, щоб поставити під ним своє ім’я. Ми отримуємо це сирим, зі швидкістю ретвіту, з медіаринку в сорок разів більшого за наш, який ми й так споживаємо заради розваги.\nОсь справжня вразливість. Не те, що американці сперечаються про власну мережу. Хай роблять із нею що хочуть. А те, що ми чуємо кожне їхнє слово, нашою мовою, про нашу мережу, від людей, які її ніколи не бачили.\nДешевий вуглець, дорога електрика Одна річ не покращилася. Електроенергія в середньому коштувала £92,77/МВт·год за минулий рік проти £70,13 за весь набір даних. Приблизно на третину дорожче, поки вуглецю поменшало вдвічі.1\nТи напевно читав, що причина у відновлюваних джерелах. Читав, мабуть, багато разів.\nНаціональна преса Великої Британії, 2025 Редакційні статті з критикою відновлюваних джерел 4223 Перший рік, коли антивідновлювальних редакційних статей було більше, ніж прихильних, від 201423 Правоцентристські кліматичні редакційні статті, що відкидають кліматичні дії 81 %23 Критичні редакційні статті, що ставлять на перше місце вартість 86 %23 Тож аргумент це вартість. Не птахи, не краєвид, не непостійність. Вартість, у семи випадках із восьми.\nПанель розв’язує і це питання, бо публікує ціну і структуру генерації разом кожні пів години. Ось 20 вересня 2026 року, від часу чаювання.1\nЧас Ціна Газ Частка газу Вуглець Сонце Вітер 16:00 −£19,03 2,85 ГВт 11,3 % 71 г/кВт·год 6,33 11,30 16:30 £38,19 3,74 ГВт 15,1 % 88 г/кВт·год 5,19 10,84 17:00 £103,70 4,46 ГВт 18,3 % 109 г/кВт·год 4,06 10,21 17:30 £134,16 6,23 ГВт 25,6 % 133 г/кВт·год 2,64 9,68 18:00 £175,57 7,96 ГВт 32,2 % 150 г/кВт·год 1,53 8,96 19:30 £195,65 8,87 ГВт 39,9 % 162 г/кВт·год 0,02 6,99 Сонце сіло. Газу стало втричі більше, з 2,85 ГВт до 8,87. А ціна пішла з мінус дев’ятнадцяти фунтів майже до двохсот за три з половиною години. Плюс £57 за пів години до пів на п’яту, ще £65 до п’ятої, ще £41 до шостої. Вуглецева інтенсивність, поки це відбувалося, зросла більше ніж удвічі.\nВізьми весь день, а не лише його цікавий шматок, і зв’язок тримається на всіх сорока восьми розрахункових періодах.\n20 вересня 2026, усі 48 пів годин Частка газу в межах від 7,4 % до 39,9 % Ціна в межах від −£19,03 до £195,65 Загальний розмах £214,68/МВт·год Кореляція частки газу з ціною r = 0,933 Півгодинок із від’ємною ціною 18, з 01:00 до 16:00 Нуль цілих дев’яносто три сотих, за один день, із зафіксованими газовими контрактами. І дев’ять годин із цього Велика Британія платила людям, щоб ті забрали в неї електроенергію. Газ на 7,4 %, сонце майже 10 ГВт, ціна нижче нуля.\nПотім сонце сіло, і це коштувало £195,65. Ті самі дроти. Ті самі вітрові ферми. Та сама країна.\nМеханізм називається маржинальним ціноутворенням. Оптову ціну задає вартість роботи найдорожчої станції, потрібної в ці пів години, а це майже завжди газ. Під час кризи газ задавав ціну 98 % часу, забезпечуючи близько 40 % електроенергії; у 2021 році 97 % часу при 37 % генерації.24 Найвища частка серед усіх країн Європи.\nЧастка генерації Частка ціноутворення Газ 27,0 % за минулий рік1 97–98 % періодів24 Вітер, сонце, атом, гідро, біомаса 73,0 % решта Будьмо чесні щодо однієї речі в цих даних, бо хтось її помітить. Середнє за весь час £70,13/МВт·год при бруднішій структурі, ніж сьогодні, дешевше за £92,77 минулого року. Це не вітер піднімає ціни. Це 2012–2020 були роками дешевого газу. На відрізку епох домінує ціна газу; у межах одного дня домінує погода. Обидва вказують на того самого винуватця.\nТож чверть структури генерації визначає ціну всього. Вітер міг би бути безкоштовним у точці генерації, і значною мірою він фактично такий, а число у твоєму рахунку не зрушилося б, бо остання газова станція в стеку все одно задає тариф.\nЦе не відновлювані джерела роблять електрику дорогою. Це ринковий дизайн 1990-х, що зустрівся з мережею, яка вже не схожа на 1990-ті.\nКонтрфактичний сценарій ставить крапку. Візьми один стрибок ціни на газ, такий, які ми вже пережили, і змоделюй його на двох різних мережах.24\nТой самий газовий стрибок б’є по мережі, де… Рахунки домогосподарств зростають Цілі з відновлюваних джерел на 2030 рік виконано 8 % Жодних відновлюваних джерел за CfD 45 % Той самий стрибок. Той самий газ. Єдина різниця в тому, скільки вітру й сонця стоїть, не переймаючись тим, скільки коштує газ. Більше відновлюваних, менший удар. У п’ять з половиною разів.\nТож вітрові ферми це причина, чому останню кризу вдалося пережити, а не причина, чому вона сталася. Три окремі перевірки, одна відповідь: у межах дня ціна обернено слідує за вітром, на відрізку епох вона слідує за ціною газу, а в моделюванні саме відновлювані джерела пом’якшують стрибок. Причина в газі. Тут навіть не близько, і сперечатися тут, по суті, нема про що.\nЩо полагодило б той вечір А тепер постав це поруч із вісімнадцятьма півгодинками раніше того ж дня, коли ціна була нижче нуля. Це саме та форма проблеми, яку розв’язує батарея. Заряди її, поки мережа платить людям, щоб ті забрали електроенергію, віддай у вечірній пік, і останню газову станцію в стеку так і не покличуть. Розмах 20 вересня становив £214,68 за мегават-годину. Батареї існують, щоб з’їдати такі розмахи.\nІ це повертає нас до тих 5076 МВт батарейних схем у десяти радах і до партії, що пообіцяла проти них кожен важіль. Блокування накопичувачів не просто відкладає якесь скорочення вуглецю. Воно захищає газову маржу, пів години за пів години, саме тими вечорами, коли газ коштує найдорожче.\nЧи це намір, іди за грошима. Ефект такий у будь-якому разі, а фінансування за цим аргументом, згідно з таблицею вище, належить галузі, що збирає різницю.\nЗбори, і хто перевіряв цифри А тепер збори, бо їх цитують як неспростовний доказ:\nСкладова рахунку, 2025 Сума Частка Політичні витрати в електриці £148,45 17 % рахунку за електрику25 Політичні витрати в газі £50,86 6 % рахунку за газ25 Сімнадцять відсотків, а з квітня 2026 року уряд переніс 75 % Renewables Obligation з рахунків на загальне оподаткування, приблизно £92 на рік із середніх £150 зменшення.25 Справжні гроші, про які варто сперечатися, але це далеко не головна подія. Головна подія це 27 % генерації, що визначають ціну решти 73 %.\nЯ не казатиму тобі, скільки з тих 42 редакційних статей були брехнею, бо довести намір це не те, що я можу зробити з-за столу. Що можна показати, так це частоту помилок, і вона погана. Скарга на одну статтю Daily Mail виявила п’ятнадцять фактичних помилок; регулятор вимагав одного виправлення.26 Mail on Sunday і The Times обидві повідомили, що NESO нібито з’ясував, що вартість net zero становитиме £4,5 трильйона до 2050 року. NESO нічого такого не з’ясовував, і це був третій раз, коли газети перекрутили слова того самого органу.26\nПерш ніж хтось тицьне мені під ніс малим числом задоволених скарг: комітет зі скарг IPSO не має в складі жодного професійного науковця і не консультується з експертами з технічних питань, і він регулярно трактує хибне число як думку.26 Одна задоволена скарга на п’ятнадцять помилок вимірює регулятора, а не статтю.\nРоби свої висновки. Мій такий: аргумент, який найчастіше повторюють проти відновлюваних джерел у британській пресі, розвалюється найшвидше, коли ставиш його поруч із власним лічильником мережі.\nІ ціну на газ задаємо не ми Ось що насправді сталося з газом за європейським бенчмарком TTF.27\nЦіна газу TTF Середнє до 2021 року ~€20/МВт·год Грудень 2021 €180 Березень 2022 €220 Пік у серпні 2022 ~€340 Початок 2026 €35–45 Середина вересня 2026 €83,40 На піку в сімнадцять разів вище за нормальний рівень. І подивись на останній рядок. Газ піднявся до €83 цього місяця через побоювання щодо постачання і запасів, і саме тому тихий недільний вечір у мережі Великої Британії коштував £179,70/МВт·год. Ланцюжок короткий: європейський газовий ринок рухається, газ задає британську ціну, твій рахунок іде слідом.\nЗверни увагу і на те, що «повернення до норми» нею не є. Нинішня підлога €35–45 досі вдвічі вища за докризову, і вона підстрибує від чуток.\nЖодне з цих рішень не ухвалюється тут, а наша вразливість зростає.28\nПостачання газу у Велику Британію Частка Північного моря в попиті, 2025 близько половини Імпортовано газу, 2025 464 ТВт·год з них норвезький трубопровід 69 % імпорту з них ЗПГ 31 % імпорту ЗПГ як частка загального постачання зараз 14 % Частка ЗПГ до 2030 року понад 25 % Частка ЗПГ до 2035 року майже 50 % Видобуток у Північному морі падає на 12–13 % на рік, і прогнозується його падіння на 78 % до 2035 року порівняно з 2025-м.28 Прогалину заповнюють танкери з Катару і Сполучених Штатів, куплені на глобальному спотовому ринку проти покупців в Азії, які можуть перебити нашу ціну будь-якого холодного ранку, коли їм заманеться.\nТож аргумент, що мережу треба тримати на газі заради рахунків, поставлений з ніг на голову. Газ це та частина, яку ми не контролюємо, з ціною, яку визначають події, на які ми не впливаємо, з родовищ, що вичерпуються. Вітер і сонце це та частина, що виникає тут задарма, щойно обладнання стоїть.\nЩо воно коштує і почому його продають Є різниця між тим, скільки річ коштує, і тим, скільки з тебе за неї беруть, і вся ця справа сидить у цьому проміжку.\nВартість роботи цієї мережі впала. Половина вуглецю, жодного вугілля, третина генерації тепер іде від погоди, яка приходить задарма і не надсилає рахунку. Це вартість. Ціна пішла в інший бік, бо ми зберегли правило з 1990-х, яке дає найдорожчій станції в системі задавати тариф для всього іншого в ній, а потім імпортували паливо для цієї станції з ринку, де холодна хвиля в Азії змінює те, скільки пенсіонерка в Барнслі платить, щоб не мерзнути.\nНіхто цього не ховає. Це записано, в півгодинних розрахункових даних, безкоштовно, на сайті, який підтримує одна жінка.\nДо чого я постійно повертаюся, так це до того, хто виграє від плутанини. Бо люди, які кажуть тобі, що це зробили вітрові ферми, якщо простежити гроші назад, фінансуються тим, що це насправді зробило. Це не збіг і не некомпетентність. Це найстаріший трюк на світі: розлютити публіку на найдешевшу частину системи, щоб ніхто не дивився на найдорожчу.\nА частина, на яку нападають, єдина, що належить нам повністю. Газовій турбіні потрібен танкер із Катару і ціна, встановлена в Роттердамі. Вітровій фермі біля Гамбера потрібне обслуговування. Одне з цього суверенітет, а інше постійне платіжне доручення, і схоже, ми ось-ось переконаємо себе відмовитися від першого, щоб захистити друге.\nМи цю штуку збудували. Вона працює. Хтось має сказати людям.\nДжерела Kate Morley — National Grid: Live — структура генерації, вуглецева інтенсивність, попит і ціна у Великій Британії, з вибором за минулий день, тиждень, рік і весь набір даних від 2012 року; також закриття останньої вугільної станції 30 вересня 2024 року.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nDrax — 2024, the year GB electricity demand turned a corner — два десятиліття падіння попиту, навантаження, додане електромобілями і тепловими насосами, і розворот 2024 року.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nEuropean Commission — Light sources, energy label and ecodesign — регламенти ecodesign для освітлення і 81 ТВт·год електроенергії, які вони заощадили по ЄС у 2020 році.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nDepartment for Transport — Vehicle licensing statistics data tables, VEH0141 — зареєстровані транспортні засоби з підзарядкою від мережі на кінець кожного кварталу за типом кузова і типом палива. Цифри вище це стовпчик акумуляторних електромобілів для Великої Британії за Q4 кожного року.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNational Energy System Operator — Future Energy Scenarios — поширення електромобілів до 2050 року за різними траєкторіями, потужність vehicle-to-grid і перегляд гнучкості розумного заряджання.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nMCS — UK homes installing a small-scale renewable every 90 seconds — сумарні сертифіковані установки, позначка у два мільйони і встановлена потужність, а також частка нових сонячних систем у парі з батарейним накопичувачем.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCarbon Brief — Reform-led councils threaten 6GW of solar and battery schemes across England — потужність у десяти радах, узятих у травні 2025 року, зобов’язання «every lever», листи розробникам і гендиректорам енергетичних компаній, і що насправді сталося зі схемами відтоді.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nHouse of Commons Library — Planning for solar farms — наземні сонячні станції займали приблизно 21 200 гектарів наприкінці вересня 2024 року, близько 0,1 % загальної площі Великої Британії.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLancaster University — Researchers use satellite imagery to shed light on UK solar farm land use — супутникові вимірювання, що дають площу сонячних станцій від 15 580 до 17 364 гектарів, 0,06–0,07 % площі Великої Британії.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nFriends of the Earth — Fact check: British farming and renewables — площа під полями для гольфу проти сонця і частка сільгоспземель, яку передбачає ціль 70 ГВт до 2035 року.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCPRE — Two-thirds of mega solar farms built on productive farmland — 59 % найбільших діючих сонячних станцій Англії на продуктивних сільгоспземлях, 31 % цієї площі класифіковано як найкращі й найуніверсальніші.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nHouse of Commons Library — Battery energy storage systems — заперечення і відмови в плануванні, зокрема щодо схем в Аллертон-Байвотер, Іглшемі й Девоні, тепловий розгін як механізм пожежі і відсутність будь-якого юридичного обов’язку рад консультуватися з пожежно-рятувальними службами щодо заявки на BESS.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nHouse of Commons Library — Battery energy storage systems — задокументовані пожежі мережевих BESS у Великій Британії, зокрема в Ліверпулі у вересні 2020 року і на ділянці в Ессексі, що будувалася, у лютому 2025 року, і примітка, що надійного публічного обліку кількості інцидентів не існує.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nEPRI — BESS Failure Incident Database — світова статистика відмов мережевого масштабу з 2011 року, південнокорейське скупчення 2017–2019 років, падіння частоти відмов на одиницю встановленого на тлі зростання розгортання і застереження, що база охоплює лише публічно повідомлені інциденти.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nUtility Dive — Cells and modules not responsible for most battery energy storage system failures — аналіз першопричин від EPRI: інтеграція, складання і будівництво 36 % відмов, експлуатація 29 %, проєктування 21 %, виробничі дефекти 4 %; 89 % інцидентів, що виникають не в батареї; і зосередження відмов на етапах будівництва, введення в експлуатацію і перших двох років роботи.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLeft Foot Forward — What is the Heartland Institute? — відкриття британської філії, присутні і фінансування Heartland від ExxonMobil і фондів, пов’язаних з Кохами.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nopenDemocracy — Net Zero Watch: how dark oil money is funding influential UK climate sceptics — фінансування GWPF і Net Zero Watch через American Friends of the GWPF, зокрема виплати Sarah Scaife Foundation.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nClimate Power — Fact check: Trump\u0026rsquo;s wind turbine claims — твердження про рак і китів проти позиції NOAA і National Marine Fisheries Service, оцінки US Fish and Wildlife Service щодо зіткнень птахів із турбінами порівняно з будівлями і котами, і походження аргументу про добробут тварин з роботи аналітичних центрів, фінансованих викопною галуззю.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCNN — Fact check: five things Trump got wrong about wind turbines — твердження про «tremendous fumes» і вуглецевий слід проти позиції Міністерства енергетики, енергетична окупність середньої турбіни за п’ять–вісім місяців і викиди вітру порівняно з газом і вугіллям.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nInstitute at Brown for Environment and Society — Shadowy Twitter bots spread climate disinformation — частка твітів, що називають науку про клімат фейком, простежених до бот-акаунтів. Зауваж, що це дослідження 2021 року про заперечення зміни клімату загалом, а не конкретно про британські відновлювані джерела.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nDeSmog — 55 Tufton Street і Mapped: how a US-UK network pushes climate science denial — вестмінстерське скупчення і його члени, охоплення Atlas Network і фінансування через Donors Trust і Charles Koch Foundation, близько двох тисяч нанесених на карту трансатлантичних зв’язків і присутність груп, що заперечують зміну клімату, на конференції Reform 2025 року.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nDFRLab — UK-based far-right Telegram channels amplified disinformation targeting US election integrity — задокументоване трансатлантичне підсилення в обох напрямках і роль англомовних видань у формуванні наративів, які згодом повторюють медіа, що працюють іншими мовами.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nPress Gazette — Record opposition to climate action in UK national newspapers in 2025 — кількість редакційних статей із критикою відновлюваної енергетики, перший рік від 2014-го, коли їх було більше, ніж прихильних, частка правоцентристських кліматичних редакційних статей, що відкидають кліматичні дії, і вартість як головна лінія атаки.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCarbon Brief — Q\u0026amp;A: Why does gas set the price of electricity, and is there an alternative? — маржинальне ціноутворення у Великій Британії, частка розрахункових періодів, у яких газ задає ціну, проти його частки в генерації, і змодельований ефект стрибка ціни на газ із відновлюваними джерелами за CfD у системі і без них.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nHouse of Commons Library — What costs make up an electricity bill? — політичні витрати в рахунках за електрику і газ у грошах і як частка, Renewables Obligation як найбільша окрема політична витрата і перенесення 75 % її вартості на загальне оподаткування з квітня 2026 року.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCarbon Commentary — Climate misinformation and press regulation — п’ятнадцять неточностей, виявлених в одній статті Daily Mail, проти одного вимаганого виправлення, повторне перекручення висновків NESO щодо вартості net zero, а також склад і підхід комітету зі скарг IPSO до технічних питань.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nTrading Economics — EU natural gas (TTF) price history — нідерландський бенчмарк TTF від базового рівня до 2021 року через стрибок 2021–22 до піку в серпні 2022 року і нинішніх рівнів, зокрема рух у вересні 2026 року через побоювання щодо постачання і запасів.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nICIS — Ebbing North Sea gas production to raise UK gas prices and exposure to LNG imports — видобуток у Північному морі покривав близько половини попиту у 2025 році, обсяг і структура імпорту, темп спаду UKCS і прогнозована залежність від ЗПГ до 2030 і 2035 років.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\n","permalink":"https://blogs.damiendye.uk/uk/energy/the-grid-we-did-fix/","summary":"Велика Британія за чотирнадцять років удвічі зменшила вуглецеву інтенсивність своєї електроенергії, прожила цілий рік без вугілля і зробила вітер найбільшим окремим джерелом. Тим часом попит падав два десятиліття, поки країна підключала 1,8 мільйона електромобілів. Ось що показують цифри, разом із тими шматками, що псують історію.","title":"Мережу ми таки полагодили"},{"content":"Число, яке всі цитують і ніхто не читає Lawrence Livermore днями випустили свою діаграму енергетичних потоків за 2024 рік. Там сказано, що Америка спожила 94,61 квада енергії і викинула 62,27 з них.1\nОтже. Квад означає квадрильйон британських теплових одиниць (BTU). Не фунт стерлінгів, хоч англійське «quad» і схоже на «quid». У цій статті ніде немає грошей, і якщо твоє око вперто читає його як фунти, то моє теж. Американці ведуть свої національні енергетичні рахунки в квадах, а решта з нас працює у ват-годинах, тож ось перерахунок, який надає цьому сенсу: один квад дорівнює приблизно 293 ТВт·год, трохи більше, ніж уся британська мережа постачає за рік.\nВідкинута енергія є чемною назвою для тих 62,27. Для тієї частини, що не зробила жодної корисної роботи. Тепло в димар, тепло від радіатора, тепло з вихлопу. Майже все це відпрацьоване тепло від спалювання чогось.\nА тепер зважай на одиниці, бо я спершу помилився, і так само помиляється більша частина інтернету. 62,27 означає квади, а не відсотки. Постав їх поруч із 32,34 квада, які зробили щось корисне, і частка виходить 65,8 %. Дві третини всього, що пробурено, викопано, прокачано трубами і перевезено, пішли теплим повітрям.\n2024 У британських мережах Енергія на вході 94,61 квада 27 726 ТВт·год 102 роки Відкинута 62,27 квада 18 249 ТВт·год 67 років Енергетичні послуги 32,34 квада 9477 ТВт·год 35 років Саме остання колонка мене й зачепила. Мережа Великої Британії постачає близько 271 ТВт·год на рік.2 Тож відкинута енергія Америки лише за 2024 рік становить шістдесят сім років усієї британської мережі, викинутих теплом за дванадцять місяців.\nІнакше кажучи: живи електрикою цієї країни відтепер і до 2093 року, і ти однаково не виробиш стільки, скільки Сполучені Штати змарнували минулого року.\nЦе число цитують усюди. Те, як діаграма рахує, не цитують майже ніде. А цікаве саме тут.\nОдна службова примітка, бо статтю про Америку пише йоркширець. Там, де американці кажуть gasoline і gas station, а я кажу petrol і forecourt, українською це однаково бензин і заправка. А кондиціонер лишається кондиціонером.\nВітер і сонце рахуються на 100 % Ось де людей і ловить. Livermore користується конвенцією Energy Information Administration, і за нею чотири джерела заходять зовсім без втрат на перетворення.3\nДжерело Як воно потрапляє на діаграму Куди йдуть втрати Вугілля, газ, нафта енергія палива на вході ~60–70 % у відкинуту Атомна теплова енергія на вході ~67 % у відкинуту Наземний вітер електрика на виході нічого не відкинуто Сонце, промислове й дахове електрика на виході нічого не відкинуто Гідроенергія електрика на виході нічого не відкинуто Газову станцію рахують за енергією в газі, тож дві третини, які вона жбурляє геть теплом, потрапляють у блок відкинутої. Турбіну рахують за електрикою, яку вона віддає. Немає рядка «енергія у вітрі», від якого можна було б щось втратити.\nТож на цій діаграмі кожна терават-година, що переходить з теплової станції на вітрову ферму, робить дві справи одночасно. Додає до корисного, віднімає від відкинутого. Рахується двічі.\nА отже аргумент, що відмова від вітру і сонця зменшила б втрати, біжить задом наперед крізь ту саму діаграму, про яку його висувають. Мені це всерйоз казали люди, які мали б знати краще. Тут навіть сперечатися нема про що. Знак просто перевернуто.\nДе насправді втрати Розбий діаграму за секторами, і вона перестає бути абстракцією.1\nСектор Енергія на вході Відкинута Корисна Ефективність Житловий 11,23 3,93 7,30 65 % Комерційний 9,49 3,32 6,17 65 % Промисловий 26,39 13,46 12,93 49 % Транспорт 28,29 22,35 5,94 21 % Електростанції втрачають ще 19,21 квада в градирнях, перш ніж щось дійде до цих чотирьох.\nТранспорт найгірший з великим відривом. Він забирає найбільшу частку енергії і перетворює на рух 21 % її. Ті 22,35 змарнованого квада становлять 36 % усього, що Америка викидає. Більше третини національних втрат, в одному секторі.\nБензиновий двигун (gasoline для американських читачів) перетворює на рух хіба що 16–25 % палива. Решта йде на тепло і шум.4\nКорисне на колесах Втрачено теплом Бензиновий двигун 16–25 % 75–84 % Трансмісія електромобіля (від батареї до коліс) 87–91 % 9–13 % Це не маргінальний виграш. Це різниця між машиною, що здебільшого гріє небо, і машиною, що здебільшого рухає авто. Та сама поїздка, інша фізика.\nІ це проходить крізь увесь ланцюжок, а не лише крізь машину. Доставити рідке паливо на заправку коштує енергії ще до того, як згорить хоч крапля.\nКрок Енергія, втрачена, щоб доставити Переробка сирої нафти 7–15 % від входу5 Танкер, трубопровід, автоцистерна понад це Передача і розподіл у мережі ~5 %6 Нафтові танкери як частка світового флоту ~28 % за дедвейтом7 Сира нафта і нафтопродукти, перевезені морем за рік ~4,4 мільярда тонн7 Автомобільний транспорт становить приблизно половину світового попиту на нафту. Електрифікуй його, і чималій частині танкерного флоту не буде чого возити.\nТут варто бути чесним, бо перебільшенням якраз і програють суперечку, яку ти вигравав. Втрати в мережі реальні, і це резистивне тепло. Електромобіль узимку платить за обігрів салону, який двигун отримує задарма. Але це дармове тепло дармове лише тому, що двигун уже викинув три чверті палива. Воно дармове так само, як дармове тепло від пожежі в будинку.\nНайбільше, що Америка могла б зробити одним кроком Легкові автомобілі дають 58,5 % транспортної енергії, і саме ця частина електрифікується, не чекаючи нових технологій.8 Порахуй, що буде, якщо замінити трансмісію і більше нічого не чіпати.\nЛегковий автотранспорт Квади Енергія на вході сьогодні 16,55 Корисна робота, яку він справді віддає 3,47 Та сама робота через трансмісію електромобіля 4,09 електрики …вироблених з газу, з ККД парогазової станції 9,08 первинної …вироблених з вітру, сонця чи води 4,09 первинної Зекономлено енергії від 7,5 до 12,5 квада Навіть заряджаючи кожен з них від газових турбін, ти заощаджуєш близько семи з половиною квадів. Від вітру і сонця виходить дванадцять з половиною. Від восьми до тринадцяти відсотків усього, що спалюють Сполучені Штати, однією заміною.\nЦе найбільший виграш в ефективності, доступний будь-де на діаграмі, і він не потребує ні винаходу, ні прориву, ні пілотного проєкту, ні нової фізики, бо кожен до одного автомобіль, потрібний для цього, уже сьогодні будують і продають масово. Машини існують. У цьому весь фокус.\nОт тільки кращий двигун не виправляє планування Електромобілю однаково треба подолати відстань, і тут сидить друга половина проблеми.\nСполучені Штати Європа Миль автомобілем на людину на рік ~12 400 ~62009 Частка щоденних поїздок автомобілем 85 % 50–65 %9 Поїздки коротші за милю автомобілем ~70 % ~30 %9 Паркомісць на автомобіль ~8 не рахували9 Подивися на третій рядок, бо він забирає відмовку про географію. Близько 30 % щоденних поїздок коротші за милю по обидва боки Атлантики. Ті самі справи, ті самі відстані. Американці сім з десяти з них проїжджають машиною. Європейці сім з десяти з них проходять пішки, проїжджають велосипедом чи чимось громадським.\nГеографія цього не зробила. Погода теж. Це зробило зонування, яке поставило будинки тут, а крамниці за три милі он там, і на додачу мінімальні норми паркування, через які в країні зрештою збудували майже вісім місць на кожен автомобіль.9 Між 1920-ми і 1960-ми американські міста перебудували під автомобіль, і чимала частина Західної Європи їх скопіювала. З кінця 1960-х Європа зупинилася і почала це розбирати.9\nТож дванадцять з половиною квадів є стелею для самої лише електрифікації. Зменш удвічі ще й милі, і ти вдвічі зменшиш те, що лишилося. Одне з цього інженерна робота, друге робота планувальна, і саме від планувальної ніхто не відкупиться однією покупкою.\nА найдешевша пасажиро-миля спільна Є третій важіль, і Америка більш-менш перестала його тягнути.\nВид транспорту Енергія на пасажиро-кілометр Бензиновий автомобіль від 1,9 до 3,5 МДж10 Міська електрична рейка, завантажена від 0,3 до 0,6 МДж10 Учетверо-вшестеро краще, ще до того, як хтось поміняє трансмісію. Автомобіль з одним пасажиром викидає в 7,7 раза більше CO₂ на пасажиро-милю, ніж повний автобус дальнього сполучення.10\nА тепер про те, як справи.\nСполучені Штати Європа Частка пасажиро-миль у громадському транспорті 0,40 %11 у рази більше Поїздки автомобілем 95 %11 від 50 до 65 % Електрифіковані колії 1,7 % (Америки)11 ~57 % у ЄС11 Нуль цілих чотири десятих відсотка. Це не транспортна система з громадським компонентом. Це країна, що їздить машинами, і в ній є кілька автобусів.\nА 1,7 % електрифікації означає, що американська залізниця досі переважно дизельна. Тож кожен аргумент за перенесення вантажів і пасажирів на залізницю висувають щодо мережі, яка досі працює на нафті. Електрифікуй колії, і отримаєш і зміну виду транспорту, і зміну палива однією роботою.\nОсь чесна частина, бо вона ріже в інший бік, і хтось її неодмінно підніме. Громадський транспорт ефективний, лише коли він повний. Заповненість автобусів у Штатах падає десятиліттями, і енергія на пасажиро-милю в автобусах з 1970 року зросла на 63 %.10 Майже порожній автобус на п’ятдесятихвилинному колі навколо котеджного масиву гірший за машину, яку він мав замінити. Це реальне число, і велике.\nАле подивися, що робить автобус порожнім. Ніхто не живе на відстані пішої прогулянки від зупинки, на іншому кінці нема куди йти пішки, а планування ставить вісім паркомісць біля кожних дверей. Порожні автобуси не є фактом про автобуси. Це факт про те, що збудували навколо зупинки.\nІ це приводить до того, що справді пересаджує людей з машин, і розрив тут ширший, ніж підказує частка видів транспорту.\nСполучені Штати Європа Міст із метро 13 6012 Міст із трамвайною мережею 30 значно більше12 Зростання довжини ліній метро з 2000 року базовий рівень утричі швидше12 Тринадцять. У країні з трьомастами сорока мільйонами людей. У Європі шістдесят, і з початку століття вона прокладає нові колії втричі швидше, тож розрив росте, а не скорочується.\nВид транспорту теж має значення. Дослідження європейських міст показало, що метро пересаджує людей з машин так, як трамвайні мережі здебільшого не можуть, і це збігається з тим, чого й варто чекати: у годину пік метро швидше за машину, а трамвай зазвичай ні.12 Швидкість і є весь продукт. Збудуй щось повільніше за машину, і ти збудував субсидію для тих, у кого немає вибору, а не альтернативу для тих, у кого він є.\nЦе єдиний справді дорогий пункт у списку. Реформа зонування коштує політичної волі й нової редакції правил. Тунелі коштують мільярди. Але вони купують те, чого не можуть дати два інші важелі. Ти перевозиш людей через щільне місто на електриці, по 0,3–0,6 МДж на пасажиро-кілометр, і швидше, ніж вони доїхали б машиною. Тоді лишити машину вдома перестає бути жертвою і стає очевидним ходом. Саме тоді люди так і роблять.\nА отже ці рішення є одним рішенням у різних капелюхах. Електрифікація знімає з трансмісії від 7,5 до 12,5 квада. Зонування скорочує милі. Щільність робить громадський транспорт вартим того, щоб його запускати, а громадський транспорт робить щільність придатною для життя. Потягни один важіль, і отримаєш на один важіль. Потягни всі три, і вони множаться.\nАмерика наразі сперечається про перший.\nОднак ніщо з цього не почнеться без найдешевшого кроку з усіх, який водночас здається найважчим. Хтось має сказати вголос, що проблема є.\nДіагноз нікуди не подівся. Його щороку публікує федеральна лабораторія, безкоштовно, на публічному сайті, на діаграмі, досить простій, щоб прочитати її за хвилину. Шістдесят п’ять цілих вісім десятих відсотка змарновано. Транспорт дає третину з цього. Двадцять один відсоток ефективності на найбільшому блоці на сторінці. Нікому не треба замовляти дослідження чи чекати на науку. Наука вийшла в серпні. Люди прочитали число в заголовку, зрозуміли його неправильно і пішли далі.\nОсь що мало б пекти. Жодна країна не витрачає мільярди, щоб рити тунелі під своїми містами, виправляючи те, що вважає нормальним, а Америка тихенько поклала 22,35 змарнованого квада на рік у теку «нормально». Не обговорила і відкинула. Просто ніколи не виклала на стіл.\nРештки мусять кудись подітися Тепло є втратою лише тоді, коли його нема куди подіти. Це рішення планування, а не технологічна прогалина, і здебільшого його ухвалили десятиліття тому.\nЧастка централізованого теплопостачання в попиті на тепло Данія ~66 %13 Швеція, Фінляндія, Польща, Балтія понад 50 % Середнє по ЄС ~13 % Сполучене Королівство ~3 %14 Сполучені Штати лише схеми для кампусів, лікарень і центрів міст Станом на 2025 рік Європа тримає близько 111 650 комерційних і промислових об’єктів на транскритичному CO₂, приблизно третину всієї продуктової роздрібної торгівлі.15 Дата-центр Meta в Оденсе з 2019 року віддає в місцеву мережу близько 100 000 МВт·год на рік. Це тепло, яке інакше пішло б у сухий охолоджувач. Натомість воно гріє 12 000 домівок.13\nУ нас у Британії близько 14 000 теплових мереж, і вони досі покривають лише 3 % попиту на тепло.14 Чотирнадцять тисяч цих штук і майже нічого на показ, бо вони малі, роздроблені і здебільшого прикручені до соціального житла. Ofgem перебрав регулювання в січні, а зонування починається цього року. Мета 7 % до 2035 року, близько п’ятої частини тепла будівель до 2050-го.16\nДанія не робить чогось хитрого, чого не можемо ми. Данія проклала труби під вулицями. Ми ні. От і все. Ось і вся різниця.\nТеплові насоси і холодоагент, якого ніхто не чекає Та сама логіка на малому кінці. Резистивний обігрівач не може перевершити коефіцієнт перетворення (COP) 1,0. Це саме визначення такої штуки. Тепловий насос переносить тепло, а не створює його, тож справляється краще.\nСистема COP Умови Резистивний елемент (PTC) максимум 1,0 будь-які Автомобільний тепловий насос 2,0–3,2 від 0 до 15 °C Пропановий блок R290 від Hyundai/Kia заявлено 3,8 −15 °C Блок VW R-744 (CO₂) 3,1 −20 °C17 ADAC провів 28 електромобілів через зимовий тест при −7 °C. Моделі з тепловим насосом у середньому втрачали на 22 % менше запасу ходу, ніж ті, що мали лише резистивний обігрів.18\nРядок R-744 вартий другого погляду. Це сам вуглекислий газ, що працює холодоагентом, у VW ID.3 та ID.4. Вища густина пари на всмоктуванні тримає потужність, коли холоднішає, а саме тоді вона й потрібна.17\nА холодоагентний CO₂ є побічним продуктом виробництва аміаку, етанолу і добрив, який вловлюють і очищують, а не випускають у повітря.19 Відходи, що гріють і охолоджують, з потенціалом глобального потепління 1 проти 1430 у R-134a. Коли цей витікає, не стається нічого.\nЦе не уловлювання вуглецю, і я не вдаватиму, що це воно; заправка менша за кілограм. Думка вужча і краща. Робоча рідина складається з того, чого в нас і так було забагато.\nЩо я сам насправді використовую Обладнання Характеристики Навіщо Сонячна станція 9 кВт дах дивиться в правильний бік, тож користуйся Батарея 30 кВт·год переносить денне вироблення на вечір Електромобілі MG4, Xpeng G6 заряджаються від панелей, а не на заправці Кондиціонер на власному живленні працює на тому, що виробляють панелі Керування Home Assistant закидає великі навантаження в дешеве вікно Нічого екзотичного в цьому списку і нічого нового. Той самий принцип, що й підбирати носії під шаблон вводу-виводу. Клади енергію туди, де вона відробляє своє, міряй, що реально отримуєш, і перестань вірити етикетці на коробці.\nМене здивувало, яка частина економії взялася з того, що паливо не треба нікуди возити. Ні танкера, ні заправки, ні нафтопереробного заводу, що бере свою частку дорогою. Панелі за тридцять футів від машини.\nДіаграма є дзеркалом Livermore публікують їх роками, і вони добрі. Чесно збудовані, справді корисні, безкоштовні. Варті години будь-чийого часу.1\nАле діаграма Санкі не має думки. Вона показує, що країна вирішила робити зі своєю енергією, у масштабі. Ці 65,8 % не є законом фізики. Це картина рішень про двигуни, труби і планування, ухвалених по одному протягом приблизно сімдесяти років, і вона виглядала б інакше, якби інакшими були рішення.\nДіаграма Данії виглядає інакше, бо Данія копала.\nДжерела Lawrence Livermore National Laboratory — Energy Flow Charts — щорічні діаграми Санкі для енергії США, зокрема діаграма за 2024 рік і її загальні 94,6 квадрильйона BTU.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nKate Morley — National Grid: Live — попит на електрику у Великій Британії, у середньому 30,9 ГВт за минулий рік, що дає близько 271 ТВт·год на рік. Про те, що показує ця панель, я писав у The Grid We Did Fix.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nHawai\u0026rsquo;i State Energy Office — Statewide Energy Flowchart — викладає методологію EIA, якою користується Livermore і за якою розподілене сонце, гідроенергію, наземний вітер і промислове сонце вносять з припущенням 100 % ефективності вироблення, без жодних показаних теплових втрат.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nEVreporter — Understanding the complete efficiency picture of electric vehicles — ефективність від бака до коліс і від батареї до коліс для двигунів внутрішнього згоряння та електричних трансмісій.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nConcawe — EU refinery energy systems and efficiency — власне енергоспоживання НПЗ як частка сирої нафти на вході, від 3–4 % для простої перегонки до 7–10 % і більше для заводів повної конверсії.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nUS Energy Information Administration — How much electricity is lost in transmission and distribution? — річні втрати на передачу і розподіл у США в середньому становили близько 5 % переданої електрики, 2018–2022.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nUNCTAD — World seaborne trade — частка танкерів у світовому флоті за дедвейтом і обсяги сирої нафти та нафтопродуктів, перевезених морем.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nUS Energy Information Administration — Light-duty vehicles\u0026rsquo; share of transportation energy use — легкові автомобілі дають 58,5 % транспортної енергії США, середні й важкі вантажівки та автобуси 23,9 %, і лише авіація з інших видів перевищує 5 %.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCar dependency — Wikipedia і CNN — This little-known rule shapes parking in America — автомобільні кілометри на душу населення в США проти Європи, частка щоденних поїздок і поїздок коротших за милю, зроблених автомобілем, по обидва боки Атлантики, приблизно вісім паркомісць на автомобіль через мінімальні норми паркування і розходження міської політики з кінця 1960-х.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nBureau of Transportation Statistics — Energy intensity of passenger modes і Public transport versus private cars: a passenger-kilometre energy comparison — енергія на пасажиро-кілометр для бензинових автомобілів проти завантаженої міської електричної рейки, співвідношення викидів між автомобілем з одним пасажиром і повним автобусом та зростання енергії автобуса на пасажиро-милю зі зниженням заповненості.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nTransportation in the United States — Wikipedia і Statista — Share of the rail network which is electrified in Europe — частка пасажиро-миль у США в громадському транспорті та приватним транспортом, і електрифіковані колії як частка мережі в ЄС проти Америк.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nStreetsblog USA — Other countries are building transit while the US falls behind і Metros reduce car use in European cities but trams do not — кількість американських і європейських міст із мережами метро і трамваїв, темп зростання довжини ліній метро з 2000 року з кожного боку і висновок, що метро витісняє поїздки автомобілем там, де трамвайні мережі здебільшого ні.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nState of Green — Utilising excess heat to warm up Danish homes — частка централізованого теплопостачання в побутовому попиті на тепло в Данії та утилізація надлишкового тепла дата-центрів, зокрема цифри експорту з Оденсе.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nGreater London Authority — Heat networks data report, February 2026 — роздроблений парк теплових мереж Британії та його нинішня частка в попиті на тепло.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nATMOsphere — European transcritical CO₂ installations — 111 650 європейських комерційних і промислових об’єктів на транскритичному CO₂ у 2025 році, що охоплює близько третини продуктових магазинів.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nDepartment for Energy Security and Net Zero — Heat Network Zoning: government response — рамка зонування, регулювання Ofgem із січня 2026 року і цілі на 2035 та 2050 роки.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNaturalRefrigerants.com — CO₂ heat pumps found to offer high efficiency at low ambient temperature in electric vehicles — робота автомобільного теплового насоса на R-744 при низькій температурі довкілля і реалізації у VW ID.3 та ID.4.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nInsideEVs — For maximum winter EV driving range, you want a car with this feature — зимовий тест ADAC на 28 електромобілях і різниця у втраті запасу ходу при −7 °C.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNaturalRefrigerants.com — FAQs — холодоагентний CO₂ як відновлений побічний продукт виробництва аміаку, спирту і добрив та його потенціал глобального потепління 1.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\n","permalink":"https://blogs.damiendye.uk/uk/energy/rejected-energy-what-the-livermore-chart-shows/","summary":"Lawrence Livermore щороку публікує діаграму Санкі, яка показує, куди йде американська енергія. У 2024 році 62,27 з 94,61 квада не виконали жодної корисної роботи. Що таке відкинута енергія і що таке квад, чому власний метод діаграми робить так, що відновлювані джерела зменшують втрати, а не додають до них, чому сам лише транспорт дає понад третину загальнонаціональної суми, і три речі, які справді це виправили б.","title":"Відкинута енергія: що насправді показує діаграма з Livermore"},{"content":"Webex виводить жовтий банер угорі вікна. Offline - No internet connection. Телефонні служби показано як від’єднані, нічого не синхронізується, і ти не можеш приєднатися до зустрічі, що почалася дев’яносто секунд тому.\nЦе не дрібна незручність, коли йдеться про твій робочий телефон. Через Webex приходять мої дзвінки, і моя лінія VoIP працює через нього, тож клієнт, що не може автентифікуватися, це настільний телефон, який не задзвонить, зустріч, на якій мене немає, і колега, що потрапляє на автовідповідач. Це зупинило мою роботу. Не погіршило, не сповільнило. Зупинило.\nІ ніщо з цього не було в моїй владі, ні спричинити, ні відвернути. Робочий день пішов шкереберть через контроль якості, якого не застосували, у постачальника, якому платять, на продукті, проданому з контрактом на підтримку, на платформі, яку їхня власна сторінка вимог називає підтримуваною. Я нічого не налаштував неправильно. Я встановив пакет постачальника з репозиторію постачальника на платформу зі списку постачальника, і він не зміг відкрити з’єднання TLS. Потім я витратив вечір власного часу, щоб з’ясувати чому, і це час, якого не витратили люди, що підписали пакет.\nМашина не офлайн. Браузер поруч завантажує сторінки. Пошта приходить, термінал тягне з віддаленого репозиторію, і якщо спитати операційну систему, чи має вона доступ до інтернету, вона скаже так. Сам Webex з цим згоден, у власному журналі, за одинадцять секунд до того, як скаже тобі протилежне.\nНасправді сталося те, що копія OpenSSL, яку Cisco постачає всередині Webex, не може знайти жодного центру сертифікації, бо її скомпілювали шукати їх у /workspace/.conan2/p/b/cisco8ee8b59cf93de/p/ssl. Це каталог на збірковому контейнері Cisco. Він ніколи не існував на твоєму комп’ютері і ніколи не існуватиме. Кожне з’єднання TLS, яке робить застосунок, падає на перевірці сертифіката, токен входу неможливо оновити, п’ятнадцятисекундний таймер спливає, і інтерфейс хапається за єдине пояснення, для якого в нього є рядок.\nТож банер бреше в конкретний і некорисний спосіб. Він називає твою мережу. Несправність це шлях усередині їхньої збірки.\nЦе версія 46.8.0.35631 на Fedora 44, ядро 7.2.4. Це підтримувана платформа. Cisco публікує системні вимоги для Linux і постачає підписаний .rpm, webex-46.8.0.35631-1.x86_641. Далі: як довести це приблизно за десять хвилин, чому жодне з очевидних виправлень не працює, яке працює, а потім те, що важливіше за все це: це не тонка помилка. Це збірка, яку ніхто жодного разу не запустив на машині, що її не збирала.\nЩо банер насправді тобі каже Webex веде свій індикатор зв’язку через складений скінченний автомат, сім підавтоматів, кожен зі своїми таймерами. На старті вони ініціалізуються так:\nConnectivityStateMachine::ConnectivityBanner - Initializing with state: Connected ConnectivityStateMachine::Network - Initializing with state: NoNetwork ConnectivityStateMachine::Services - Initializing with state: Connected ConnectivityStateMachine::Mercury - Initializing with state: Disconnected ConnectivityStateMachine::Authentication - Initializing with state: UserNotAuthenticated ConnectivityStateMachine::Syncing - Initializing with state: Synced ConnectivityStateMachine::Survivability - Initializing with state: SurvivabilityHide Через сорок мілісекунд операційна система відповідає, і застосунок це записує:\nNetworkManagerPowerNetworkWatcher.cpp:93 onConnectivityCheckSuccess:: The host is connected to a network, that appears to be able to reach the full Internet. Цей рядок у тому самому файлі, у тій самій сесії, що й банер, який стверджує, що інтернету немає. Застосунок знав. Він мав відповідь на руках о 08:25:12.131 і показав протилежне о 08:25:27.132.\nМіж цими двома моментами ось що:\nЧас Що сталося 08:25:12.131 Операційна система підтверджує повний доступ до інтернету 08:25:12.218 Виявлення проксі: не налаштовано, пряме з’єднання 08:25:12.241 Перший запит HTTPS падає, errorCode: 167772294 Error in SSL handshake 08:25:12.569 Оновлення токена доступу CloudApps падає, той самий код 08:25:12.571 Оновлення токена доступу Kms падає, той самий код 08:25:15.684 Повтор, обидва падають 08:25:21.745 Повтор, обидва падають 08:25:27.132 П’ятнадцятисекундний таймер спливає, банер перемикається на NoInternet 08:26:12.091 Шістдесятисекундні таймери спливають, служби деградують до DisconnectedShortTerm Підавтомат Authentication так і не виходить з UserNotAuthenticated, тож Services виводить себе як від’єднаний, тож спрацьовує банер. Кожен етап цього це правильна поведінка з огляду на вхідні дані. Неправильні самі вхідні дані, і вхідні дані це число: 167772294, на кожному невдалому запиті, від першого до останнього.\nЦе число і є весь допис. Тримай його в голові.\nТри шляхи, жоден з яких не існує Webex не використовує системний OpenSSL. Він приносить власний, разом із власним libcurl, і цей libcurl лінкується з комплектним, а не з твоїм:\n$ ldd /opt/Webex/bin/libcurl.so | grep -E \u0026#39;ssl|crypto\u0026#39; libssl.so.3 =\u0026gt; /opt/Webex/bin/../lib/libssl.so.3 libcrypto.so.3 =\u0026gt; /opt/Webex/bin/../lib/libcrypto.so.3 Поки що нормально. Постачати власну бібліотеку TLS це рішення, яке можна захистити, і чимало постачальників так роблять. Важливо те, що в неї вшили, а OpenSSL скаже тобі, якщо спитаєш:\n$ strings /opt/Webex/lib/libcrypto.so.3 | grep -E \u0026#39;OPENSSLDIR|ENGINESDIR|MODULESDIR\u0026#39; OPENSSLDIR: \u0026#34;/workspace/.conan2/p/b/cisco8ee8b59cf93de/p/ssl\u0026#34; ENGINESDIR: \u0026#34;/workspace/.conan2/p/b/cisco8ee8b59cf93de/p/lib/engines-3\u0026#34; MODULESDIR: \u0026#34;/workspace/.conan2/p/b/cisco8ee8b59cf93de/p/lib/ossl-modules\u0026#34; Їх три. Не одне налаштування, що проскочило. Увесь префікс встановлення, перенесений з машини, що його компілювала, у бібліотеці, яка доходить до клієнта як підписаний пакет на підтримуваній платформі.\nOPENSSLDIR задається один раз, під час конфігурування, через --openssldir, і власна документація OpenSSL щодо збирання прямо каже, для чого він: «Directory for OpenSSL configuration files, and also the default certificate and key store.»2 Від нього залежить усе, що стосується довіри. Типовий файл CA це cert.pem усередині нього, а типовий каталог CA це certs усередині нього3. /workspace це кеш збирання Conan. Conan це менеджер пакетів C++, яким збирає Cisco, і він зберігає кожен пакет під хешем його вхідних даних збирання4. Хеш cisco8ee8b59cf93de це факт про контейнер, який, найімовірніше, видалили за кілька хвилин після завершення збирання.\nСпитай бібліотеку, що вона таке, і виявиться, що це навіть не стоковий OpenSSL:\nVERSION CiscoSSL 3.5.5.8.5.4 27 Jan 2026 BUILT_ON built on: Wed Feb 25 06:29:18 2026 UTC PLATFORM platform: conan-Release-Linux-x86_64-gcc-13 DIR OPENSSLDIR: \u0026#34;/workspace/.conan2/p/b/cisco8ee8b59cf93de/p/ssl\u0026#34; Підтримуваний власний форк зі своєю схемою версій, зібраний у лютому, випущений у серпні, і досі з робочим каталогом, у якому його зробили.\nДе кожна копія OpenSSL на машині шукає свої якорі довіри Одна машина, дві копії OpenSSL, і лише одна знає, де сертифікати Жодній не кажуть під час роботи. Кожна несе відповідь як вкомпільований рядок, і його задає той, хто запускав збирання. Системна копія: OpenSSL 3.5.8, Fedora 44 вкомпільований OPENSSLDIR /etc/pki/tls каталог існує cert.pem \u0026#8594; tls-ca-bundle.pem certs/ \u0026#8594; хешовані якорі ланцюжок звіряється зі справжніми якорями Рукостискання вдається. Усі інші програми працюють. Саме тому користувач певен, що з мережею все гаразд. Копія від Webex: CiscoSSL 3.5.5.8.5.4 вкомпільований OPENSSLDIR /workspace/.conan2/p/b/cisco8ee8b59cf93de/p/ssl такого каталогу немає в жодного клієнта cert.pem \u0026#8594; відсутній certs/ \u0026#8594; відсутній сховище завантажує нуль якорів довіри Рукостискання падає: помилка 0x0A000086, десятково 167772294. Банер, який бачить користувач, каже, що мережа впала. Дві копії OpenSSL на одній машині. Жодній під час роботи не кажуть, де живе довіра. Кожна несе вкомпільований рядок, і один із цих рядків називає каталог, що існував лише на чужому збірковому хості. Не сприймай strings як відповідь. Спитай бібліотеку strings знаходить текст у файлі. Він не доводить, що бібліотека його використовує. Тож завантаж постачену бібліотеку і спитай її напряму, на що треба приблизно дванадцять рядків Python і жодного root:\nimport ctypes c = ctypes.CDLL(\u0026#34;/opt/Webex/lib/libcrypto.so.3\u0026#34;) for f in (\u0026#34;X509_get_default_cert_file\u0026#34;, \u0026#34;X509_get_default_cert_dir\u0026#34;, \u0026#34;X509_get_default_cert_file_env\u0026#34;, \u0026#34;X509_get_default_cert_dir_env\u0026#34;): getattr(c, f).restype = ctypes.c_char_p print(f\u0026#34;{f:34} {getattr(c, f)().decode()}\u0026#34;) X509_get_default_cert_file /workspace/.conan2/p/b/cisco8ee8b59cf93de/p/ssl/cert.pem X509_get_default_cert_dir /workspace/.conan2/p/b/cisco8ee8b59cf93de/p/ssl/certs X509_get_default_cert_file_env SSL_CERT_FILE X509_get_default_cert_dir_env SSL_CERT_DIR Ось воно, з вуст самої бібліотеки. Коли будь-що у Webex питає цю копію OpenSSL про типове сховище довіри, йому дають файл і каталог, яких не існує. Саме це робить SSL_CTX_set_default_verify_paths, і саме так робить майже кожен клієнт, якщо йому не сказали інакше.\nОстанні два рядки варто запам’ятати, бо це запасний вихід: бібліотека дозволить SSL_CERT_FILE і SSL_CERT_DIR перевизначити обидва значення5. Запам’ятай і це. Воно стане важливим, і не так, як ти очікуєш.\nВідтворення точного коду помилки Доказ оглядом це не доказ. Візьми постачені libssl.so.3 і libcrypto.so.3, зроби справжнє рукостискання зі справжнім хостом лише з типовими значеннями самої бібліотеки і подивися, що повернеться.\nЦікавий прогін той, де типові значення ведуть у нікуди. SSL_CERT_FILE і SSL_CERT_DIR перевизначають рівно ті два значення, які відсутній OPENSSLDIR залишає звисати, тож якщо направити їх на шлях, якого не існує, це точно відтворює постачений стан:\n$ SSL_CERT_FILE=/nonexistent/cert.pem SSL_CERT_DIR=/nonexistent/certs python3 tls.py set_default_verify_paths -\u0026gt; 1 set_fd -\u0026gt; 1 SNI -\u0026gt; 1 SSL_connect -\u0026gt; -1 SSL_get_error -\u0026gt; 1 verify result 20: unable to get local issuer certificate err: 0xa000086 error:0A000086:SSL routines::certificate verify failed 0x0A000086 у десятковому вигляді це 167772294.\nЦе число в кожному невдалому рядку журналу Webex, і воно прийшло не з Webex. Воно прийшло з власної бібліотеки TLS від Cisco, що працювала поза їхнім застосунком і впала з рівно однієї причини: у неї не було якорів довіри, щоб перевірити ланцюжок. Та сама бібліотека, та сама помилка, жодного застосунку посередині.\nНаправ ці самі дві змінні на справжній пакет сертифікатів Fedora, і той самий шлях коду завершується:\n$ SSL_CERT_FILE=/etc/pki/ca-trust/extracted/pem/tls-ca-bundle.pem python3 tls.py SSL_connect -\u0026gt; 1 SSL_get_error -\u0026gt; 0 verify result 0: ok Між цими двома прогонами в мережі нічого не змінилося. Змінився один шлях до файлу.\nКожен мережевий крок вдається. Падає пошук локального файлу. Чотири кроки перетинають мережу і вдаються. П’ятий читає файл і ні. Запущено на постачених libssl.so.3 і libcrypto.so.3, поза Webex, лише з типовими значеннями бібліотеки. TCP connect :443 ok ClientHello, SNI ok ServerHello, ланцюжок ok, ланцюжок отримано звірити ланцюжок із довірою якорів не завантажено що повідомляє бібліотека SSL_connect -\u0026#62; -1 verify result 20: unable to get local issuer certificate err: 0xa000086 error:0A000086:SSL routines::certificate verify failed 0x0A000086 у десятковому вигляді це 167772294, число з кожного невдалого рядка журналу Webex. Застосунок ніде не написав слова «сертифікат». Він записав «Error in SSL handshake» і десяткове число, а інтерфейс перетворив це на «Offline - No internet connection», а саме цим машина доведено не була. Тут немає мережевої несправності. Бракувало лише каталогу. Чотири кроки перетинають мережу і вдаються, включно з отриманням повного ланцюжка сертифікатів сервера. Крок, що падає, відкриває локальний файл. Користувачеві показують повідомлення про його інтернет-з\u0026rsquo;єднання. Чому ніщо тебе не попередило Дві речі змовляються, щоб це було тихо, і лише одна з них провина Cisco.\nЩо ніколи не каже ні слова Чий задум Чому мовчить Завантаження сховища довіри, якого немає OpenSSL, навмисно SSL_CTX_set_default_verify_paths повертає 1 незалежно від того, чи шляхи справжні. «A missing default location is still treated as a success»3 Відсутність запасного варіанта Cisco, і правильно Сертифікати перевіряються, самопідписані відхиляються, повтор SSL вимкнено, тож немає деградованого режиму, який замаскував би несправність Перше розумне. Програма, що постачає власні якорі окремо, не мусить про це дбати, тож виклик вдається, сховище порожнє, і ніщо ніде в стеку не каже я завантажив нуль центрів сертифікації. Перше, що це помічає, це збій перевірки пів секунди потому. Я запустив цей виклик на постаченій бібліотеці зі шляхами, направленими на /nonexistent, і він повернув 1. Це є у виводі вище.\nДруге це політика, що спускається від служби, і журнал її фіксує:\nWdm.cpp:1162 parseDeviceJson: Adding policy \u0026lt;\u0026lt; allowSelfSignedCertificate with value: false NetworkManager.cpp:1738 onConfigReady: ...httpRequestSSLRetryEnabled: 0 HttpRequestManager.cpp:1883 rawHttpRequest: {\u0026#34;validateCertificates\u0026#34;:\u0026#34;true\u0026#34;,\u0026#34;useClientCertificate\u0026#34;:\u0026#34;false\u0026#34;} Ці три прапорці єдина причина, чому ця несправність стала збоєм, а не чимось набагато гіршим, і над цим варто посидіти, а не пробігти повз.\nПродумай це. Комплектна бібліотека завантажує нуль якорів довіри, і ніщо нижче рівня політики ніколи цього не помітило б, бо збій тихий за задумом на всіх рівнях. Банер з нього зробили три прапорці. Переверни будь-який з них так, як чимало клієнтів їх постачають, і та сама збірка не впаде взагалі. Вона під’єднається до будь-чого з будь-яким сертифікатом, бо їй нема з чим його звірити.\nТе саме зламане сховище довіри, за один прапорець політики від зовсім іншої несправності Шлях довіри однаково зламаний в обох колонках. Лише політика вирішує, як ти про це дізнаєшся. Спільне для обох: вкомпільованого OPENSSLDIR немає, тож сховище завантажує нуль центрів сертифікації Як постачає Webex validateCertificates: true allowSelfSignedCertificate: false httpRequestSSLRetryEnabled: 0 Нема з чим звірити, тож відмовляє. Рукостискання падає. Банер. Ти втрачаєш день. Гучно і нешкідливо. Будь-який із них навпаки validateCertificates: false або дозволено самопідписані або повтор без перевірки Нема з чим звірити, тож продовжує. Рукостискання вдається. З будь-чим. Тихо і не нешкідливо. Два результати розділило значення політики, задане іншою командою, нижче від дефекту, зі сторонніх причин. Шлях довіри ніколи нікого не захищав. Він був зламаний увесь час, питання було лише в тому, як він впаде. Різниця між «Webex сьогодні офлайн» і «Webex довірився тому, хто відповів» це значення політики, яке задала інша команда, нижче за течією від дефекту, з причин, що не мають до нього жодного стосунку. Проблема в тому, як це проявляється. Користувач отримує «Offline - No internet connection». Журнал отримує «Error in SSL handshake» і десяткове ціле число. Слово сертифікат не з’являється ніде, куди користувач чи інженер першої лінії підтримки колись подивиться, а єдина діагностична підказка це число, яке треба перевести в шістнадцяткову форму, щоб воно щось означало.\nВиправлення, які не спрацювали Обидва очевидні падають, і з різних причин, і обидві варто знати.\nРедагування постаченого openssl.cnf Webex постачає файл конфігурації в /opt/Webex/lib/openssl.cnf, і в постаченому вигляді він активує одного провайдера:\n[provider_sect] fips = fips_sect Лише FIPS. Не провайдера default, де живуть звичайні алгоритми TLS6. Повернути його це правка в один рядок, і вона не змінює взагалі нічого, бо комплектний OpenSSL цей файл ніколи не читає. Він шукає openssl.cnf усередині OPENSSLDIR7, а OPENSSLDIR це шлях, якого не існує. Файл лежить у каталозі встановлення і виглядає авторитетно. Ніхто його не читає.\nЦе другий дефект, що ховається за першим. Навіть якби проблему зі шляхом завтра виправили, направивши OPENSSLDIR на /opt/Webex/lib, ця конфігурація тоді завантажилася б і активувала б лише FIPS. А сам модуль FIPS завантажується з MODULESDIR, третього мертвого шляху з того самого дерева, тож fips.so, постачений у /opt/Webex/lib, теж не знайти. Три шляхи, один неправильний префікс, і кожен зламаний так, що ховає наступний.\nВстановлення змінних середовища Бібліотека враховує SSL_CERT_FILE і SSL_CERT_DIR. Я довів це вище. Успішний прогін ось він. Тож очевидний хід це задати їх у файлі запуску робочого столу, і саме це спробували:\nExec=env OPENSSL_CONF=/opt/Webex/lib/openssl.cnf \\ SSL_CERT_FILE=/etc/pki/ca-trust/extracted/pem/tls-ca-bundle.pem \\ SSL_CERT_DIR=/etc/pki/tls/certs/ /opt/Webex/bin/CiscoCollabHost %U Без змін. І причина не в тому, що Webex ігнорує змінні. Причина в тому, що процес їх ніколи не отримав:\n$ tr \u0026#39;\\0\u0026#39; \u0026#39;\\n\u0026#39; \u0026lt; /proc/20293/environ | grep -E \u0026#39;SSL|OPENSSL|CURL\u0026#39; $ tr \u0026#39;\\0\u0026#39; \u0026#39;\\n\u0026#39; \u0026lt; /proc/20293/environ | wc -l 99 Дев’яносто дев’ять змінних у запущеному процесі Webex, і жодна з трьох, що їх задали. Бо на цій машині є два файли запуску з однаковою назвою:\nФайл Що запускає його рядок Exec Хто записав /usr/share/applications/webex.desktop рядок env з трьома змінними вище, повністю .rpm, потім відредаговано вручну ~/.local/share/applications/webex.desktop /opt/Webex/bin/CiscoCollabHost %U, і жодного середовища власний запускач Webex А специфікація не залишає сумнівів, який переможе: «The base directory defined by $XDG_DATA_HOME is considered more important than any of the base directories defined by $XDG_DATA_DIRS.»8 $XDG_DATA_HOME це ~/.local/share. Копія користувача затіняє пакетну, щоразу, на кожному робочому столі, що дотримується специфікації9.\nТож Webex встановлює другу копію власного запускача у твій домашній каталог, і саме цю копію запускає твій робочий стіл. Міняй пакетний файл скільки завгодно. Ти редагуєш документ, якого ніхто не читає.\nДва файли запуску з однаковою назвою, і перемагає той, що Webex пише для себе Середовище задали у файлі, якого робочий стіл не читає Два записи, одна назва. Порядок пошуку записаний, і пакетна копія в ньому не перша. Відредаговано вручну, і переважено /usr/share/applications/webex.desktop Exec=env OPENSSL_CONF=... SSL_CERT_FILE=... не читається, поки існує інший файл Записано Webex, і він перемагає ~/.local/share/applications/webex.desktop Exec=/opt/Webex/bin/CiscoCollabHost %U жодного середовища відкинуто запущено Специфікація базових каталогів XDG: «the base directory defined by $XDG_DATA_HOME is considered more important than any of the base directories defined by $XDG_DATA_DIRS.» Доказ із запущеного процесу, а не з міркувань: tr '\\0' '\\n' \u0026#60; /proc/20293/environ | grep -E 'SSL|OPENSSL' \u0026#8594; порожньо, 99 змінних, жодної з цих Тож виправлення було справжнє, файл справжній, а процес, для якого воно, запустили зовсім звідкись іще. Середовище задали у файлі, якого робочий стіл ніколи не читає. Webex записує власний запис у каталог даних користувача, специфікація каже, що він важливіший за пакетний, а доказ це запущений процес: дев\u0026rsquo;яносто дев\u0026rsquo;ять змінних середовища і жодної з трьох. Виправлення, яке працює Якщо бібліотека наполягає на шляху, дай їй цей шлях. Створи каталог, на який її скомпілювали, і заповни його символьними посиланнями на справжнє:\n#!/bin/bash # Point the bundled CiscoSSL at the system trust store by building the # directory it was compiled to look for. Tested: Fedora 44, Webex 46.8.0.35631. set -euo pipefail OPENSSLDIR=$(strings /opt/Webex/lib/libcrypto.so.3 \\ | grep -oP \u0026#39;(?\u0026lt;=OPENSSLDIR: \u0026#34;)[^\u0026#34;]+\u0026#39;) [ -n \u0026#34;$OPENSSLDIR\u0026#34; ] || { echo \u0026#34;no OPENSSLDIR found in the shipped library\u0026#34;; exit 1; } for p in /etc/pki/ca-trust/extracted/pem/tls-ca-bundle.pem \\ /etc/ssl/certs/ca-certificates.crt \\ /etc/pki/tls/certs/ca-bundle.crt \\ /etc/ssl/cert.pem; do [ -f \u0026#34;$p\u0026#34; ] \u0026amp;\u0026amp; { CA_BUNDLE=\u0026#34;$p\u0026#34;; break; } done [ -n \u0026#34;${CA_BUNDLE:-}\u0026#34; ] || { echo \u0026#34;no system CA bundle found\u0026#34;; exit 1; } echo \u0026#34;OPENSSLDIR: $OPENSSLDIR\u0026#34; echo \u0026#34;CA bundle: $CA_BUNDLE\u0026#34; sudo mkdir -p \u0026#34;$OPENSSLDIR\u0026#34; sudo ln -sf \u0026#34;$CA_BUNDLE\u0026#34; \u0026#34;$OPENSSLDIR/cert.pem\u0026#34; sudo ln -sf \u0026#34;$(dirname \u0026#34;$CA_BUNDLE\u0026#34;)\u0026#34; \u0026#34;$OPENSSLDIR/certs\u0026#34; sudo tee \u0026#34;$OPENSSLDIR/openssl.cnf\u0026#34; \u0026gt; /dev/null \u0026lt;\u0026lt;\u0026#39;CONF\u0026#39; openssl_conf = openssl_init [openssl_init] providers = provider_sect [provider_sect] default = default_sect fips = fips_sect [default_sect] activate = 1 CONF echo \u0026#34;done. now restart Webex\u0026#34; Перезапусти, і та сама послідовність старту дає протилежний результат. Той самий бінарник. Ті самі рядки журналу. Оновлення токена, яке раніше падало за шістдесят мілісекунд, тепер завершується за триста тридцять:\nAuthTokenRequester.cpp:579 Managed to fetch a new Kms access token. AuthTokenRequester.cpp:579 Managed to fetch a new CloudApps access token. AuthTokenSupervisor.cpp:310 Auth tokens refreshed. Expires in [64799 secs]. AuthenticationManager.cpp:1860 onUserAuthenticated: User authenticated. ConnectivityStateMachine::Authentication - UserNotAuthenticated -\u0026gt; UserAuthenticated Автентифікація приблизно за 750 мс, тож п’ятнадцятисекундний таймер ніколи не спрацьовує, і банер ніколи не з’являється. Телефонні служби переходять з Disconnected у Connecting, стан, якого зламана сесія не досягла за хвилину спроб.\nДо Після Перевірка мережі проходить проходить Перший запит HTTPS 167772294 Error in SSL handshake HTTP 200 Токен CloudApps помилка отримано Токен Kms помилка отримано Автентифікація застрягла на UserNotAuthenticated UserAuthenticated Банер на 15 с «Offline - No internet connection» немає Телефонні служби навіть не пробували під’єднуються Час до автентифікації ніколи ~750 мс Зверни увагу, що це виправлення робить із твоєю файловою системою, бо це має тебе турбувати. Воно створює на твоїй машині каталог верхнього рівня /workspace, назву, для якої у Filesystem Hierarchy Standard немає місця10, з шляхом кешу Conan і хешем збирання, що належать компанії, у якої ти купив програму. Ось форма ліків, які Cisco тобі залишила: змонтувати чуже збиркове середовище в корінь власного.\nІ воно ще й зламається. Трьома способами:\nКоли ламається Чому Що робиш ти Оновлення Webex cisco8ee8b59cf93de виводиться з вхідних даних збирання, тож перезібрана залежність означає новий каталог Знову запусти скрипт; він читає шлях із нового бінарника, а не припускає старий Зміна дистрибутива Ціль символьного посилання це рішення дистрибутива, а не стандарт11 Перенаправ його; скрипт перебирає чотири відомі розташування Перевстановлення /workspace ніхто не резервує, не пакує і ніщо ним не володіє Запускай знову, щоразу, вічно Ніщо з цього не обслуговування. Це ти, що заміняєш собою крок у чужому збірковому конвеєрі, безстроково і безкоштовно. Латаєш дефект під час роботи, на кожній своїй машині, бо постачальник не захотів залатати його один раз під час збирання.\nВони знали правило і застосували його до половини збірки Ось що перетворює це зі звіту про помилку на аргумент.\nПрочитай динамічну секцію постачених бінарників:\n$ readelf -d /opt/Webex/bin/libcurl.so | grep RUNPATH 0x1d (RUNPATH) Library runpath: [$ORIGIN:$ORIGIN/../lib] $ readelf -d /opt/Webex/bin/CiscoCollabHost | grep RUNPATH 0x1d (RUNPATH) Library runpath: [$ORIGIN/../lib] $ORIGIN під час завантаження розгортається в каталог, де лежить сам об’єкт12. Це правильний інструмент для переносного комплекту, і вони використали його як слід. Мусили: Webex постачає те саме дерево двічі, один раз у /opt/Webex і один раз у ~/.local/share/WebexLauncher/46.8.0.35631_9e6196c9-…/, а запускач вибирає між ними на старті. Два префікси, одна збірка, і компонувальник знаходить свої бібліотеки в обох.\nТож люди, що зробили цей пакет, розуміли проблему точно. Абсолютні шляхи не переживають постачання. Для коду вони це розв’язали.\nА потім залишили шляхи до даних абсолютними рядками, що називають контейнер, який їх компілював. Та сама збірка. Той самий день.\nОдин шлях у комплекті переноситься сам. Інший називає машину десь у дата-центрі. Вони знали, що комплект мусить переноситися. Застосували це лише до коду. Обидва значення задали під час збирання ті самі люди в той самий день. Одне розгортається при завантаженні, інше ніколи. Звідки береться код: записано як відносний вираз RUNPATH у libcurl.so $ORIGIN:$ORIGIN/../lib /opt/Webex/lib знайдено ~/.local/share/WebexLauncher/46.8.0.35631_.../lib теж знайдено Правильно і навмисно. Те саме дерево постачено двічі у два префікси, і компонувальник знаходить його в обох. Звідки береться довіра: записано як чийсь робочий каталог OPENSSLDIR у libcrypto.so.3 /workspace/.conan2/p/b/cisco8ee.../p/ssl шляху немає не знайдено ENGINESDIR і MODULESDIR: те саме дерево, той самий результат Три абсолютні шляхи у збірковий контейнер, постачені кожному клієнту, у продукті з контрактом підтримки. Відстань між двома половинами картинки це одна людина, що запускає пакет на машині, яка його не збирала. Ось і весь дефект. Не складна помилка. Неперевірена. Та сама збірка, той самий день, ті самі інженери. Шлях пошуку бібліотек записано як вираз, що розв\u0026rsquo;язується, хоч куди потрапить дерево. Шлях довіри записано як чийсь робочий каталог. Тож це не можна списати на вони не знали. На $ORIGIN не натрапляють випадково. До нього тягнешся, бо зрозумів, що абсолютний шлях, вшитий у постачений артефакт, це дефект, і зрозумів достатньо добре, щоб піти й виправити це в компонувальнику. А потім та сама збірка записує три абсолютні шляхи в ті самі бібліотеки і постачає їх.\nЗнати правило і застосувати його до половини збірки гірше, ніж не знати. Не знати це проблема навчання, а в навчання є виправлення. Тут пакет, у якому була правильна ідея, письмово, у заголовку ELF, де будь-хто міг її прочитати, і він однаково вийшов за двері зламаним. Це каже тобі, що ніщо нижче за компілятор на результат не дивилося. Нічогісінько.\nКонтейнер уже був там Звідки взявся /workspace, не загадка, і вгадувати не треба. Це в заголовку пакета:\n$ rpm -qi webex | grep -E \u0026#39;Build Host|Build Date|Vendor\u0026#39; Build Date : Sat 08 Aug 2026 20:47:43 BST Build Host : c964ea9239ae Vendor : Cisco c964ea9239ae це не ім’я хоста, яке хтось набрав. Це дванадцять шістнадцяткових символів, і саме це контейнер повідомляє як ім’я хоста, коли його ніхто не задає. Тож пакет зібрали всередині контейнера, у компанії, яка явно має образи, реєстр і оркестрацію для цього, і три окремі артефакти на цій машині кажуть це незалежно:\nДоказ, прочитаний зі встановленого пакета Значення Що це доводить Build Host у заголовку RPM c964ea9239ae ID контейнера, а не збиркова машина OPENSSLDIR у libcrypto.so.3 /workspace/.conan2/… шлях, що існує лише всередині того контейнера PLATFORM у тій самій бібліотеці conan-Release-Linux-x86_64-gcc-13 контейнеризований ланцюжок інструментів Conan Requires в RPM glibc \u0026gt;= 2.28 свідомо обрана, дуже стара нижня межа ABI Потім вони його підписали. Збирання завершилося о 20:47:43, а підпис датовано 21:02:07 того ж вечора, ID ключа 9995e5bbb5ccde3c. П’ятнадцять хвилин. Тож шлюз випуску існує, хтось чи щось ним керує, і засвідчує він те, хто зробив пакет, а не те, чи пакет працює. Підпис це твердження про походження. Він ніколи не був твердженням про придатність, і процес, у якому є одне, але немає іншого, має пріоритети в неправильному порядку.\nБо відсутній крок якраз дешевий. Контейнер уже в конвеєрі. Візьми артефакт, що щойно з нього вийшов, запусти чистий образ кожного дистрибутива, який заявляєш підтримуваним, встанови, запусти і прочитай перші сто рядків журналу:\ndocker run --rm fedora:44 sh -c \u0026#39; dnf -y install ./webex-46.8.0.35631-1.x86_64.rpm \u0026amp;\u0026amp; timeout 25 /opt/Webex/bin/CiscoCollabHost \u0026amp; sleep 20 grep -c \u0026#34;Error in SSL handshake\u0026#34; ~/.local/share/Webex/current_log.txt\u0026#39; Ненуль, щоразу, на цій збірці. Встановлення важить 1,1 ГБ, тож вважай хвилину на ціль із теплим кешем. Шість дистрибутивів це шість хвилин роботи машини, яка вже працює, на залізі, яке Cisco вже має, у конвеєрі, який уже існує. Його не запустили. Жодного разу.\nІ це відповідь на те, що люди досі кажуть про Linux, мовляв, підтримувати кілька дистрибутивів важко. Це перестало бути важким того дня, коли з’явилися ці інструменти, і це ті самі інструменти, якими вони компілюють. Один базовий образ на ціль. Той самий артефакт у кожен. Матриця це цикл.\nКонвеєр, що збирає в контейнері і ніколи не запускає результат в одному з них, це не конвеєр. Це компілятор з cron-завданням попереду і ключем підпису позаду, і все, що він видає, це здогад.\nВони збирають у контейнері і ніколи не запускають у ньому результат Контейнер уже в конвеєрі. Його використовують лише для половини, зручної постачальнику. Кожне значення нижче прочитано з пакета на машині, а не виведено. Збирання в контейнері Build Host: c964ea9239ae /workspace/.conan2/p/b/... conan-Release-Linux-x86_64-gcc-13 три окремі докази контейнера Підпис і публікація зібрано 20:47:43 підписано 21:02:07 п’ятнадцять хвилин і шлюз випуску що засвідчує хто, а не чи працює Клієнт dnf install webex відкриває \"Offline - No internet\" Крок, якого немає ніде в конвеєрі docker run --rm fedora:44 sh -c 'dnf -y install ./webex.rpm \u0026amp;\u0026amp; CiscoCollabHost \u0026amp; sleep 20; grep -c \"Error in SSL handshake\" ~/.local/share/Webex/current_log.txt' Та сама інфраструктура. Один образ на цільовий дистрибутив. Менше хвилини на кожен, і на цій збірці він гучно падає. Збирати під кілька дистрибутивів перестало бути важко з появою цих інструментів, і ними ж вони компілюють. Конвеєр, що збирає в контейнері і не запускає в ньому результат, це компілятор із cron попереду і ключем підпису позаду. Три незалежні докази в постаченому пакеті, що збирання йшло в контейнері, підпис, поставлений через п\u0026rsquo;ятнадцять хвилин після збирання, і один крок, якого немає ніде: запуск готового пакета в чистому образі кожної платформи, яку він нібито підтримує. Чому реліз 2026 року зібрано під libc 2018 року? Пакет оголошує, що йому потрібно, і цікавий рядок перший:\n$ rpm -q --requires webex | grep glibc glibc \u0026gt;= 2.28 glibc 2.28 вийшла 1 серпня 201813. Це версія в Red Hat Enterprise Linux 814, випуску, повна підтримка якого закінчилася у 2024 році. Це продукт 2026 року, скомпільований у 2026 році, що цілиться в бібліотеку C 2018 року. А потім кладе власну копію libstdc++.so.6 на 2,5 МБ у домашній каталог користувача, бо середовище виконання C++, яке йде з такою старою базою, не витягує цей код.\nНавіщо комусь досі так робити? Бо вони не хочуть лінкувати статично.\nОсь і все. Щойно ти динамічно лінкуєшся з бібліотекою C хоста, найстаріший дистрибутив, який ти готовий підтримувати, стає обмеженням для машини, на якій ти компілюєш. Ти не можеш використати символ, про який найстаріша ціль ніколи не чула, тож прив’язуєш збірку до древнього базового образу і там і лишаєшся. Щороку розрив росте. Кожна нова можливість мови чи бібліотеки приходить разом із суперечкою, чи можна посунути нижню межу. Постач власну libstdc++, щоб заклеїти найгірше, і тепер ти ще й підтримуєш приватне середовище виконання.\nЦей компроміс мав сенс, коли збірковий хост був фізичною машиною в стійці, яку хтось мусив перевстановлювати. Уже десять років він сенсу не має. Якщо мусиш лінкуватися з libc хоста, контейнер на кожну ціль дає справжню збірку на справжній версії кожної платформи, і жодна з них не обмежує інші.\nАле подивися, що та дисципліна старих цілей тут насправді купила. Це консерватизм ABI за чималу ціну: нижня межа восьмирічної давності, комплектне середовище C++, матриця підтримки, заморожена навколо цього. А клієнт однаково не стартує. Бо зламався шлях до файлу, і жодна турбота про версії символів не захищає шлях до файлу. Вони сплатили податок сумісності і податок комплектування, а пропустили одну перевірку, що не коштує нічого. Обидва рахунки. Жодного продукту.\nВони заплатили за самодостатній комплект і не отримали його Давній спосіб постачати комерційні програми на Linux це залежати від хоста якнайменше. Статично, де можеш, самодостатнє дерево, де не можеш, і жодних припущень про дистрибутив під низом. Це не елегантно, і ніхто не вдає, що елегантно. Воно існує через альтернативу. Бінарник, якому потрібна певна версія певної бібліотеки в певному місці, перетворює машину кожного клієнта на звернення до підтримки.\nCisco пішла другим шляхом і зробила комплект. Ось рахунок:\nЩо тримає комплект Розмір або кількість Спільних об’єктів у /opt/Webex/lib 150 Власні libcurl, CiscoSSL, zlib-ng, ICU, Kerberos, клієнт CUPS, hunspell і рушій інференсу усі Встановлено в /opt/Webex 1,1 ГБ Друга копія в ~/.local/share/WebexLauncher, на кожного користувача 1,1 ГБ На диску для клієнта чату і дзвінків 2,2 ГБ Два гігабайти залежностей. Це повна ціна комплектування: завантаження, диск, дублювання, тягар безпеки бути єдиною стороною, що може залатати будь-що з цього, усе разом. Заплати це, і ти купуєш програму, якій байдуже, що встановлено на хості, яка поводиться однаково на Fedora, Debian, Arch і на тому, на чому клієнт стандартизувався цього року, і яку не може зламати оновлення дистрибутива, про яке вона ніколи не чула.\nТільки от не байдуже. Їй дуже не байдужий один каталог, і це каталог на збірковому сервері.\nВони постачили власний Kerberos, власний ICU і власну перевірку правопису, а робочий шлях до сертифікатів постачити не змогли. Уся мета комплекту бути самодостатнім, і він не самодостатній саме в тому, що не дає йому працювати. Кожен із цих 1,1 ГБ знаходиться правильно через $ORIGIN. Ті сорок із чимось байтів, що важать найбільше, ні.\nІ ось що мене чіпляє. Комплектування це дорогий варіант. Вони взяли на себе витрати, зробили важку інженерну роботу, правильно розв’язали переміщення для ста п’ятдесяти бібліотек у двох префіксах встановлення. А потім направили ту одну частину, що вирішує, чи працює хоч щось із цього, на машину, якою жоден клієнт ніколи не володів.\nНіхто це й не задокументував Поруч із першим сидить другий провал, і саме він спіймав би перший.\nСпитай пакет, яку документацію він постачає:\n$ rpm -qd webex | wc -l 0 $ rpm -qc webex | wc -l 0 Жодних файлів документації. І жодних файлів конфігурації. Нуль записів, позначених %config, у пакеті, що постачає openssl.cnf. Це не косметика. RPM позначає файл %config, щоб менеджер пакетів зберіг те, що змінив адміністратор, зберігши .rpmsave, а не затерши його1516. /opt/Webex/lib/openssl.cnf постачається як звичайний файл, тож наступне оновлення перезапише будь-яку твою правку в ньому і нічого тобі не скаже. Єдиний файл, який клієнтові може законно знадобитися підправити, пакування вважає одноразовим.\nНіде не опубліковано, яке сховище довіри використовує клієнт, які змінні середовища він враховує чи звідки читає конфігурацію TLS. Немає сторінки, щоб перевірити. Її не написали. Єдиний спосіб, яким я це все встановив, це strings, readelf, ldd і ctypes проти постачених бінарників. Зворотна розробка підтримуваного продукту, щоб відповісти на питання, на яке його документація мала б відповісти одним реченням.\nІ ось чому це важить більше, ніж здається. Написати цю документацію саме по собі тест. Посади будь-кого в постачальника перед чистою сторінкою із заголовком звідки Webex для Linux читає свої сертифікати CA, і перше, що він муситиме зробити, це піти й подивитися. Щойно подивиться, знайде /workspace/.conan2/p/b/cisco8ee8b59cf93de/p/ssl, і наступним, що з нього вийде, буде питання. Задокументовані шляхи конфігурації це не папірці на користь клієнта. Це найдешевший аудит, який постачальник може провести над власною збіркою, і пропустити його це саме те, як такий шлях доживає до релізу.\nНіщо з цього не велике прохання. Скажи, де живе твоя конфігурація. Скажи, які змінні середовища враховуєш. Познач свої файли конфігурації як конфігурацію, щоб оновлення їх не з’їло. Тоді клієнт, що натрапив на несправність, матиме куди подивитися, окрім шістнадцяткового редактора.\nНіхто його не запустив Відсутній крок уже назвали вище достатньо разів. Варто спитати, чому він зник саме на цій платформі, а не на інших.\nПринаймні не на Fedora. На macOS і на Fisher-Price OS (Windows) цей клас несправностей не може проявитися так само, бо ці платформи мають системний стек TLS зі сховищем довіри, яким керує операційна система. У Linux такого немає. OpenSSL і є сховищем довіри, тож хто його постачає, той і відповідає, куди він дивиться. Отже, та єдина платформа, де комплектна бібліотека несе навантаження, це платформа, яку постачили неперевіреною, і це рішення про те, які клієнти варті димового тесту.\nУсе розслідування зайняло вечір: читання журналу, помічене, що виявлення мережі пройшло до того, як банер заявив протилежне, витягання вкомпільованого шляху з бінарника, відтворення точного коду помилки на постаченій бібліотеці. Усе це зроблено з агентом ШІ, який робив кореляцію журналу і обв’язку ctypes, поки я з’ясовував, що в нього питати. Згадую це з однієї причини: діагноз, якого постачальник так і не поставив, перш ніж підписати цей пакет і викласти його у власний репозиторій, тепер на відстані одного вечора від будь-якого клієнта, у якого вистачить терпіння подивитися. Інженерам Cisco доступний Claude так само, як і всім іншим, і він зібрав би це як слід. Не можна попросити його вшити /workspace/.conan2 у постачений артефакт так, щоб він не сказав тобі, що станеться, коли артефакт покине робочий простір. Інструменти, щоб це спіймати, більше не рідкість, і знання теж. Бракує когось у постачальника, чиєю роботою було подивитися.\nА тим часом шлях підтримки для людини, що на це натрапила, це банер, який каже, що в неї впав інтернет. Вона перезапустить роутер. Вона подзвонить провайдеру. Вона відкриє заявку, яка нікуди не дійде, бо симптом, який Cisco вирішила показати, вказує геть від Cisco.\nЦе повний список того, що пішло не так. Варто сказати, як виглядало б правильно, бо кожен пункт у ньому має усталену відповідь, старшу за цей продукт.\nЯк це мало бути зібрано Досить про те, що пішло не так. Ось стандарт, і ніщо в ньому не нове. Це те, чого вимагає постачання бінарника на чужий комп’ютер уже двадцять років.\nПочни з рішення, яке Cisco прийняла правильно в принципі і неправильно у виконанні: наскільки ти готовий залежати від хоста. Статичне лінкування найсильніша відповідь, і про нього варто говорити конкретно, бо «просто злінкуй статично» розмахують ті, кому ніколи не доводилося, і відкидають ті, хто ніколи не пробував.\nЩо воно прибирає Чого воно коштує RUNPATH і всі способи помилитися з ним, бо під час завантаження немає пошуку glibc не лінкується статично чисто: пошук імен і користувачів іде через dlopen, тож бінарник однаково тягнеться до модулів NSS хоста17 Нижню межу glibc, тож найстаріший дистрибутив перестає диктувати, на чому можна компілювати Частини під LGPL несуть обов’язок перелінкування, тож вони лишаються динамічними, або ти постачаєш потрібне для перелінкування Поломки від оновлення дистрибутива, перейменування бібліотеки чи застарілого кешу ldconfig Кожна латка твоя: жодне оновлення безпеки дистрибутива не дійде до твоїх клієнтів dlopen версіонованого .so з каталогу, якого може не бути Більше завантаження і жодного спільного використання сторінок між процесами І один рядок у лівій колонці, якому інші лише допомагають: артефакт, який видав твій конвеєр, це артефакт, який запускає клієнт, байт у байт. Протестуй його, і ти протестував те, що постачив. Саме про відсутність цієї властивості весь цей допис.\nПро праву колонку варто бути чесним. Справжні витрати, і причина, чому люди тягнуться до musl або погоджуються на гібрид. Але подивися на третій рядок. Володіння кожною латкою стосується однаково і того, що Cisco вже зробила: комплектне дерево зі 150 бібліотек це те саме зобов’язання без жодних гарантій під час завантаження. Вони підписалися володіти кожною латкою так чи так і нічого за це не отримали.\nТож правило просте, і це правило, яке вони порушили: усе, що не можеш злінкувати всередину, мусиш знаходити за шляхом відносно бінарника. $ORIGIN для коду, і та сама дисципліна, свідомо, для кожного шляху до даних, який шукатиме бібліотека. Тут їх чотири, і в кожного є задокументований важіль:\nЩо шукає бібліотека Що постачено Яким мало бути Якорі довіри OPENSSLDIR/cert.pem, зафіксовано під час збирання постачено в дереві або SSL_CERT_FILE, задане на старті5 Конфігурація OPENSSLDIR/openssl.cnf, той самий шлях, ніколи не знайдено OPENSSL_CONF, направлене на копію в пакеті5 Провайдери, включно з FIPS MODULESDIR, абсолютний, тож fips.so недосяжний OPENSSL_MODULES, «the directory from which cryptographic providers are loaded»5 Рушії ENGINESDIR, абсолютний OPENSSL_ENGINES або нічого, бо OpenSSL 4.0 прибрав підтримку рушіїв зовсім5 Чотири шляхи, чотири змінні середовища, усі на одній сторінці посібника, з якою постачається їхня власна бібліотека. Якщо будь-який рядок у твоєму артефакті починається з / і був визначений під час збирання, це дефект, що чекає, поки його знайде клієнт. Третього варіанта, де абсолютний шлях збирання це нормально, немає.\nВиправлення саме цього і перевірка, що це ловить Від принципу до цього конкретного дефекту. Шість змін, жодна з них не дослідження:\nВиправлення Зусилля Чому це правильно Задати --openssldir=/opt/Webex/lib/ssl і постачати дерево один прапорець конфігурування Тоді шлях існує в пакеті, і саме для цього прапорець2 Задавати SSL_CERT_FILE/SSL_CERT_DIR у CiscoSSLUtils на старті, перебираючи відомі шляхи дистрибутивів десяток рядків Стандартно, задокументовано, уже підтримується їхньою власною бібліотекою5 Постачати пакет CA самим, усередині пакета лише пакування Повний контроль над довірою ціною відповідальності за його свіжість Виправити openssl.cnf, щоб він активував провайдера default один рядок Потрібно в будь-якому разі, і зараз це замасковано несправністю шляху6 Позначити openssl.cnf як %config один рядок spec Не дає оновленню мовчки з’їсти зміну адміністратора15 Опублікувати шляхи і змінні, які враховуються одна сторінка Найдешевший аудит, що існує, і він знаходить цю несправність, поки його пишуть Перше це виправлення одним прапорцем, і з ним продукт вийшов би робочим. Це одне значення в скрипті збирання, задане раз, яке вони задали неправильно, бо ніщо нижче за течією його ніколи не перевіряло.\nПеревірка менша за виправлення:\n# in CI, on the packaged artefact, in a clean container test -d \u0026#34;$(strings lib/libcrypto.so.3 | grep -oP \u0026#39;(?\u0026lt;=OPENSSLDIR: \u0026#34;)[^\u0026#34;]+\u0026#39;)\u0026#34; \\ || { echo \u0026#34;shipping a trust store path that does not exist\u0026#34;; exit 1; } Один рядок. Він гучно провалив би цей реліз у лютому, на машині, що його зробила, у контейнері, що його зробив, ще до підпису пакета. Причина, чому його немає, не складність і не ціна. Просто нікого не попросили його написати, тож чи поводиться запакований артефакт як програма, не було нічиєю роботою.\nЧого неохайний процес збирання коштує всім іншим Усе вище це процес збирання одного продукту, побачений зсередини, і я не водитиму тебе по ньому вдруге. Варто спитати, чи такий рівень дбайливості, найімовірніше, зупиняється на одній команді.\nТож поклади поруч зовнішній запис. CISA веде каталог вразливостей, відомих як експлуатовані в реальних атаках. Не теоретичних, не оцінених балами. Помічених у використанні проти людей. Станом на 14 вересня 2026 у ньому 1710 записів18:\nПостачальник Записів у каталозі KEV Microsoft 388 Cisco 98 Apple 94 Adobe 81 Google 74 Oracle 46 Fortinet 30 VMware 26 Друге місце, позаду монополії на операційні системи і попереду всіх інших. Найсвіжіший запис Cisco додано 14 вересня 2026, за день до того, як це написано.\nЯ рахував той самий файл три тижні тому для /uk/random/is-your-msp-lying-to-you-part2/: версія 2026.08.27, 1685 записів, у Cisco 96. Ще два відтоді, за двадцять один день.\nБудь справедливим щодо того, що ця таблиця доводить і чого не доводить сама по собі. Велика встановлена база в цінних місцях притягує увагу, а увага знаходить помилки, тож будь-який постачальник такого масштабу матиме довгий список. Число це апріорна оцінка, а не вирок.\nСклад відмахнути важче, ніж загальну суму. Двадцять п’ять із дев’яноста восьми записів Cisco припадають на лінійки безпеки: міжмережеві екрани, пристрої, концентратори VPN, поштові та вебшлюзи, служби ідентичності. А чотири найсвіжіші записи проти них, поспіль, це двічі Secure Firewall Management Center, Secure Firewall ASA і Secure Email Gateway, останній 14 вересня 202618. Не комутатори. Не набір для спільної роботи. Продукти, що продаються саме для того, щоб бути тим, що береже всіх інших.\nОсь речення, до якого йшов увесь цей допис, тож скажу прямо. Це компанія, чий бізнес продавати пристрої безпеки, і вона не може змусити настільний клієнт перевірити сертифікат. Не складний випадок. Не нова атака. Найрутинніша операція безпеки в обчисленнях, яку виконує кожен браузер на кожному завантаженні сторінки, у бібліотеці, яку вони самі форкнули, а вони постачили її направленою на каталог, що ніколи не існував на машині клієнта. А потім підписали.\nЦей допис додає зразок процесу, що стоїть за цим. Не вразливість. Звичайний дефект пакування, найменш тонкий клас несправностей, що існує, на підтримуваній платформі, який зловив би будь-який димовий тест, якби хтось потурбувався його запустити, і однаково постачений. Якщо збірковий конвеєр поставить таке перед клієнтом, що платить, неочевидно, що він узагалі зупинив би. Нічого не зупинило.\nМожна спитати, чому це підписали? Можна спитати, чому пакет, який не може завершити рукостискання TLS, підписали й опублікували для платформи, яку ваша власна сторінка вимог називає підтримуваною? Не хто підписав. Ім’я мене не цікавить, і справа не в ньому. Що це дозволило, бо щось дозволило, через п’ятнадцять хвилин після завершення збирання, і хоч що це таке, воно досі працює.\nТепер прямо. Це не проєкт, який я стягнув із якоїсь кузні коду і ризикнув. За це заплачено. За цим стоїть контракт, лінія підтримки, сторінка вимог із твердженням про Linux і ключ підпису, що засвідчує, що пакет від Cisco і придатний до встановлення. Кожне з цього це твердження перед клієнтом, і в цьому релізі кожне нічого не вартувало, бо результат ніхто не відкрив.\nІ стандарт, якого тут не дотримано, не мій. Він їхній. Чотири змінні, які донесли б ці шляхи, задокументовані на сторінці посібника, що постачається всередині комплекту. Їхній власний формат пакування має маркер %config, яким вони не скористалися, і розділ документації, який вони залишили порожнім. Їхнє власне збирання йшло в контейнері, яким вони ніколи не скористалися, щоб запустити результат. Я не прошу мережеву компанію і компанію рішень для спільної роботи щось винаходити. Я питаю, чому вона не прочитала власних посібників.\nТож виправдання, якого я не прийму, це те, що це важко. Це не важко ні для кого, і вже точно не важко для компанії, яка робить це щодня, у такому масштабі, за такі гроші. Професіонали, що роблять це щодня, не мають виправдання, і бути великим це не виправдання.\nІ можна спитати ще одне, бо саме воно справді важливе. Ви продаєте міжмережеві екрани. Ви продаєте поштовий шлюз, концентратор VPN, службу ідентичності, центр керування для всього цього, і на всьому цьому реклама одна: ви розумієтеся на цьому краще за свого клієнта. То як компанія, що позиціонує себе авторитетом з мережевої безпеки, постачає клієнт, який не може перевірити сертифікат? Не хитро не перевіряє. Не може навіть знайти його, бо каталогу ніколи не було.\nНемає такої версії відповіді, яку я хотів би почути, що починалася б з того, що команда настільного клієнта окрема від команди пристроїв. Це той самий підпис, той самий конвеєр, те саме опубліковане твердження про підтримувану платформу і той самий відсутній крок наприкінці, а саме відкрити коробку. Якщо перевірку сертифікатів не перевіряють перед постачанням у продукті, де поломка гучна і нешкідлива, у мене немає причин вірити, що її перевіряють у продукті, де поломка тиха і дорога.\nІ чесна частина, сказана прямо. Ніщо з цього мене не здивувало. Я звик очікувати такого стандарту від цього постачальника, і тому там, де вибір за мною, я не купую їхнє залізо і не будую на ньому. Це не вподобання щодо логотипів. Це те саме судження, яке я виніс би про будь-якого постачальника: я виміряв їхню роботу, не раз, і вона щоразу повертається однаковою. Каталог вище це один вимір. Те, чого коштувало написати першу половину цього допису, інший.\nПричина, з якої я взагалі був на Webex, у тому, що вибір був не мій, і це варто назвати, бо в такому становищі більшість тих, хто це читає. Рідко вдається уникнути постачальника, чию якість ти вже виміряв. Хтось інший підписує контракт, залізо приходить, і першим, хто дізнається, що пропустили під час збирання, будеш ти, за своїм столом, із зустріччю, що вже починається.\nПостачати те, чого ти ніколи не запускав Буде внутрішнє пояснення. Завантажений спринт, конвеєр, що перейшов з рук у руки, платформа без власника. Жодне з них не варте того, щоб його слухати, бо кожне описує те саме: роботу не зробили, і ніщо в процесі цього не вимагало.\nЄ старий стандарт у ремеслах, який так і не дійшов до програмного забезпечення: не йдеш з роботи, поки не запустив зроблене. Заповнюєш систему і перевіряєш кожне з’єднання. Подаєш напругу на щиток і перевіряєш кожне коло. Не тому, що сумніваєшся у своїй роботі. Тому, що клієнт користуватиметься нею, а дізнатися про проблему в нього на очах це не професійний результат. Ніхто не дивиться, як ти це робиш. Ти однаково це робиш. У цьому весь зміст слова.\nПрограмне забезпечення тридцять років доводить, що воно інше, що збірка це результат роботи, а встановлення це чужа проблема, що зелений конвеєр це те саме, що робочий продукт, і це не так. Збірка, яку жодного разу не виконали поза контейнером, що її зробив, не завершена, її покинули в той момент, коли завершувати стало нудно. Усе, що нижче за нею, це твердження про роботу, якої не зробили.\nВиправлення це один прапорець конфігурування. Перевірка це один рядок оболонки. Цікава не ціна ні того, ні іншого; цікаве число це скільки людей ввели свої облікові дані у вікно Webex, побачили, що в них нібито впав інтернет, і повірили, бо так їм сказала Cisco, а Cisco мережева компанія. Ось що насправді купив відсутній тест: не помилку, а брехню, яку продукт упевнено каже на кожному запуску людям, що ніяк не можуть знати краще.\nІ саме тут варто провести лінію, перш ніж закрити вкладку, бо дві половини цього допису не дві теми. Шлях довіри, що вказує на збірковий контейнер, і обхід автентифікації на граничному пристрої це та сама помилка з різними ставками. Обидва це значення, яке ніхто не перевірив, в артефакті, якого ніхто не запустив, підписаному процесом, що засвідчує походження, а не придатність. Те, що було переді мною, належало до нешкідливого різновиду. Воно зламалося гучно, на моєму власному столі, і я дізнався першим. Інший різновид такої послуги тобі не робить.\nТа сама відсутня перевірка з двома ставками, і лише одна тобі про себе каже Одна відсутня перевірка, дві ставки. Лише одна каже, що вона є. Та сама помилка: неперевірене значення в незапущеному артефакті, підписаному процесом, що засвідчує походження Різновид, що ламається гучно що це було шлях до неіснуючого сховища довіри хто знайшов клієнт, перший запуск чого коштувало один вечір, один стіл хто дізнався я, одразу Закінчується записом публічно. Різновид, що нічого не ламає що це було довжина без перевірки меж хто знайшов той, хто шукав чого коштувало інцидент хто дізнався клієнт, зі звіту Стає 1 з 98 записів Cisco в каталозі. Процес, що не ловить ліву колонку, ніколи не спіймав би праву. Різниця в удачі, а не в старанності. Дефект у цьому дописі і записи в тому каталозі це та сама помилка в різному одязі. Один заявив про себе на моєму столі під час першого запуску. Інший різновид заявляє про себе спершу комусь іншому. Ніхто в Cisco не вирішував постачати міжмережевий екран, який можна експлуатувати, так само як ніхто не вирішував постачати клієнт, що не може вийти в інтернет. Це не захист. Це звинувачення. Жодне з цього не потребує рішення, і саме в цьому проблема: обидва це те, що виходить з іншого кінця, коли конвеєр компілює, підписує і публікує, а нікого не зробили відповідальним за те, щоб відкрити результат. Процес, що не впіймає каталог, якого не існує, ніколи не впіймав би довжину, яку не перевірено, і постачальник, що продає тобі пристрій, який охороняє твій периметр, не має права на такий процес.\nТож коли ім’я постачальника знову й знову з’являється в тому списку, не піддавайся зручному поясненню, що вони просто великі і їх часто атакують. Масштаб пояснює кількість. Він не пояснює вид. Подивися натомість, що їхній процес збирання робить із нудними речами, бо нудні речі можна виміряти ззовні, тобі, сьогодні, на залізі, яке в тебе вже є.\nПеревір власні комплекти. strings, readelf і двадцять хвилин скажуть тобі, хто з твоїх постачальників постачає шлях до машини, якої ти ніколи не побачиш. Насправді ти вимірюєш не шлях. Ти вимірюєш, чи хтось там дивився, і якщо на чомусь настільки дешевому для перевірки відповідь ні, ти вже знаєш, яка вона на речах, що такими не є.\nCisco — Webex App system requirements — список підтримуваних платформ, включно з Linux.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nOpenSSL — INSTALL.md, --openssldir — «Directory for OpenSSL configuration files, and also the default certificate and key store.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nOpenSSL — SSL_CTX_load_verify_locations(3) — типовий файл CA це cert.pem, а типовий каталог CA certs, обидва всередині типового каталогу OpenSSL; а щодо значень, що повертаються, «A missing default location is still treated as a success.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nConan 2 — conan cache — бінарні пакети живуть за хешованим шляхом у локальному кеші, звідки й береться /workspace/.conan2/p/b/\u0026lt;hash\u0026gt;/p.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nOpenSSL — openssl-env(7) — SSL_CERT_DIR і SSL_CERT_FILE «specify the default directory or file containing CA certificates».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nOpenSSL — provider(7) — типовий провайдер і що стає недоступним у конфігурації, яка його пропускає.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nOpenSSL — config(5) — файл конфігурації, який OpenSSL завантажує під час ініціалізації, і де його шукають.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nfreedesktop.org — XDG Base Directory Specification — «The base directory defined by $XDG_DATA_HOME is considered more important than any of the base directories defined by $XDG_DATA_DIRS.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nfreedesktop.org — Desktop Entry Specification — де шукаються файли .desktop і як один затіняє інший з такою самою назвою.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nFilesystem Hierarchy Standard 3.0 — каталоги, які має містити коренева файлова система, і /workspace серед них немає.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nupdate-ca-trust(8) — як на Fedora та споріднених дистрибутивах створюється зведений пакет у /etc/pki/ca-trust/extracted.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nld.so(8) — $ORIGIN розгортається в каталог, що містить програму чи спільний об’єкт, і саме це робить комплектне дерево переносним.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nglibc timeline — «2018-08-01 GLIBC 2.28 — The GNU C Library version 2.28 is now available».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nglibc — Release wiki — таблиця відповідності версій і дистрибутивів; Red Hat Enterprise Linux 8 це glibc 2.28.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRPM — spec file reference — %config і що менеджер пакетів робить із файлом, позначеним як конфігурація.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nFedora packaging guidelines — configuration files — коли постачений файл має бути позначений %config.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nglibc FAQ — чому статично злінкованому бінарнику glibc під час роботи однаково потрібні модулі NSS хоста.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCISA — Known Exploited Vulnerabilities Catalog — пораховано з опублікованого JSON-фіда, версія каталогу 2026.09.14, 1710 записів.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\n","permalink":"https://blogs.damiendye.uk/uk/certificates/webex-certificates-on-a-build-server/","summary":"Webex 46.8.0.35631 на Fedora 44 сидить за жовтим банером «Offline - No internet connection», тоді як кожна інша програма на машині без жодних скарг виходить в інтернет. Це наглухо зупинило лінію VoIP. Мережа ніколи не була проблемою: Cisco постачає власний форк OpenSSL і зібрали його з OPENSSLDIR, встановленим у /workspace/.conan2/p/b/cisco8ee8b59cf93de/p/ssl, каталог, що існує на збірковому контейнері і більше ніде, тож бібліотека не завантажує жодного якоря довіри, і кожне рукостискання падає. Допис іде по порядку: що це за зламаний стан насправді, як спитати саму постачену бібліотеку, де вона вважає свої сертифікати, як відтворити точний код помилки поза Webex, чому ніщо не попереджає, два виправлення, які не працюють, і чому, і одне, яке працює. Далі процес збірки: вони використали $ORIGIN для коду і залишили три шляхи до даних абсолютними, заголовок RPM називає ID контейнера, тож контейнер уже був у конвеєрі і ніколи не використовувався для запуску результату, пакет вимагає glibc 2018 року, бо вони не хочуть лінкувати статично, 2,2 ГБ постачаються двічі, і в ньому немає ні документації, ні жодного файлу, позначеного як конфігурація. Потім як це мало бути зібрано, шість виправлень і перевірка в один рядок, яка це ловить. І наостанок перехресна перевірка: Cisco має 98 записів у каталозі відомих експлуатованих вразливостей CISA, поступаючись лише Microsoft, а шлях довіри, який ніхто не перевірив, і обхід, який ніхто не перевірив, це та сама помилка з різними ставками.","title":"Webex шукає твої сертифікати на збірковому сервері Cisco"},{"content":"VPN не є продуктом. Це дві роботи, скручені докупи, і на твоїй машині вже є програма для кожної з них.\nПерша робота: створити віртуальний канал, тобто інтерфейс, який виглядає як мережева карта, приймає IP-пакети й передає їх кудись іще. Друга: перенести байти цього каналу з кінця в кінець. Купи VPN-пристрій, і ти купиш обидві роботи з пришпиленою ліцензією; зроби сам, і кожна з них буде однією вже встановленою програмою. Є два способи виконати першу роботу в Linux, і цей допис будує обидва: pppd, який приносить цілий канальний протокол з узгодженими адресами, перевіркою живучості та кадруванням, і tap-пристрій, який не приносить нічого й є діркою в ядрі, куди ти штовхаєш кадри. Це різні компроміси, а не конкуренти, і друга половина ставить їх поруч.\nЦей протокол називається PPP, і причина, з якої це працює, записана в його першому абзаці: PPP є канальним протоколом для каналів «точка-точка»1, і він не визначає, з чого зроблено канал. Першою відповіддю були модем і телефонна лінія. Єдиною вони ніколи не були. PPTP поклав PPP усередину GRE2. L2TP поклав його всередину UDP3. PPPoE поклав його всередину кадрів Ethernet. Кожен із них є тим самим протоколом з іншим кур’єром, і жодному не довелося для цього змінювати PPP.\nТож питання не в тому, чи можна запустити PPP поверх сокета TCP або UDP, а в тому, поверх якого і чого це коштує. Коротка відповідь, з показаним розрахунком: використовуй UDP. Запускати потоковий протокол усередині надійного потоку є тією єдиною помилкою тут, яка на твоєму столі виглядає нормально, а на справжньому каналі розвалюється.\nVPN складається з двох робіт. Обидві в тебе вже є. Зніми з будь-якого тунелю маркетинг, і відбуваються три речі: щось подає віртуальний інтерфейс і перетворює пакети на потік байтів, щось переносить цей потік через мережу, яка вже працює, і щось його шифрує, або ніщо не шифрує.\nКожен тунель має канальну половину, носій і трохи криптографії Щоразу ті самі три частини. Змінюються лише носій і криптографія. ТУНЕЛЬ КАНАЛЬНА ПОЛОВИНА НОСІЙ КРИПТО Комутований PPP, 1994 PPP модем і телефонна лінія немає PPPoE PPP кадри Ethernet немає PPTP PPP GRE MPPE: зламане, не треба L2TP через IPsec PPP UDP IPsec Цей допис, збірка перша PPP через pty UDP-сокет, через netcat DTLS Цей допис, збірка друга tun- або tap-пристрій UDP-сокет, через socat DTLS WireGuard інтерфейс ядра UDP Noise, і нічого узгоджувати Кожен тунель у цьому списку має ту саму форму. Різниця лише в тому, в який носій ідуть байти і чи щось їх шифрує. PPP виконує канальну половину з 1994 року, тому він трапляється під трьома з них, не будучи переробленим під жоден. Пристрій tun або tap виконує ту саму половину зовсім без протоколу, і це друга збірка в цьому дописі. PPP виконує канальну половину як слід: узгодження адрес, перевірка живучості, стиснення заголовків, кілька протоколів мережевого рівня через один канал, крок автентифікації, якщо він тобі потрібен. Ціла купа готової роботи, що лежить у /usr/sbin без діла. Чого він не робить, то це не переймається носієм: дай йому файловий дескриптор, який переносить байти в обидва боки, і він працюватиме поверх нього. Netcat є програмою, вся мета якої полягає в тому, щоб бути цим файловим дескриптором.\nШифрування є тією частиною, якої тобі ніхто не дасть, і саме на те, щоб її заробити, витрачено більшу частину цього допису, бо netcat не має на неї відповіді, а вдавати протилежне означає саме той спосіб, у який люди будують те, чого не слід.\nЕтапи і чому вони йдуть у такому порядку Усе нижче побудовано етапами, кожен додає одну річ до попереднього. Це не навчальний прийом. Саме так це і слід будувати, бо коли зламається шостий етап, тобі треба знати, чи досі працює другий, а знаєш ти це лише тоді, коли другий етап колись був річчю, яку ти запускав окремо.\nШість етапів, кожен додає одну річ, яку можна перевірити окремо Збирай у такому порядку, і ти завжди зможеш спуститися назад 1 Сирий, через TCP pppd із pty або tap-пристрій і простий слухач netcat. Працює на стенді. Розвалюється на справжньому шляху: два таймери повторів б’ються. 2 Сирий, через UDP Той самий канал, датаграмний носій. Втрачена датаграма є одним втраченим пакетом. Це фундамент. Усе вище за нього необов’язкове; він ні. 3 TLS, через TCP ncat, stunnel або openssl обгортають носій. Перевіряй сертифікат на обох кінцях, інакше маєш шифрування без ідентичності й узагалі без контролю доступу. 4 DTLS, через UDP socat або openssl, і форма, до якої варто прагнути: шифровано, автентифіковано, датаграми. Втрачений пакет лишається втраченим, а не стає суперечкою двох стеків. 5 Стиснення zstd між інтерфейсом і носієм. Зберігай вікно між кадрами там, де носій доставляє по порядку; де ні, один самодостатній кадр на датаграму плюс словник. 6 Обидва, у такому порядку Стисни, потім зашифруй. Ніколи навпаки: шифротекст не стискається. Знай компроміс: стиснення перед шифруванням видає довжину. На своєму трафіку годиться. Шість етапів, кожен додає одну річ до того, що нижче. Із сирого TCP всі починають, і це єдиний щабель, що веде в глухий кут: він працює на стенді й розвалюється на справжньому шляху. Сирий UDP є фундаментом, на якому стоїть усе інше. Потім шифрування, потім стиснення, потім обидва разом. Кожен етап є каналом, який можна підняти, пропінгувати й залишити працювати, тож коли верх драбини поводиться не так, ти можеш спускатися нею вниз по одному щаблю. Сам канал будується так само, і на цьому стоїть односекундний розгін далі в тексті: тунель піднімається сирим, доводить, що може перенести кадр, і лише потім стає розумним. Збірка, що вмикає все одразу, падає однією грудкою, і ти проводиш вечір, гадаючи, який рівень це зробив.\nНасправді pppd хоче файловий дескриптор pppd писали для послідовних портів, тож наївне прочитання каже, що він потребує такого порту. Ні. Він потребує термінального пристрою, і він створить його собі сам:\npty script — Specifies that the command script is to be used to communicate rather than a specific terminal device. Pppd will allocate itself a pseudo-tty master/slave pair and use the slave as its terminal device. The script will be run in a child process with the pseudo-tty master as its standard input and output.4\nПеречитай це: уся збірка там. pppd створює псевдотермінал, лишає собі підлеглу сторону й передає головну сторону команді як stdin і stdout. Що ця команда робить із байтами, pppd не обходить. Запусти там nc, і вони підуть у сокет.\npppd, псевдотермінал, netcat і сокет Один пакет від ppp0 до ppp0 і кожні руки, крізь які він проходить ХОСТ A ХОСТ B ppp0 інтерфейс ядра pppd кадрування HDLC пара pty підлегла до pppd головна до нащадка ncat stdin and stdout пара pty головна до нащадка підлегла до pppd ncat stdin and stdout pppd кадрування HDLC ppp0 інтерфейс ядра сокет: TCP або UDP Дві коробки посередині є єдиною частиною, яку ти обираєш. Усе з обох боків незмінне, чи носій телефонна лінія, послідовна консоль, потік TCP, потік датаграм UDP чи сеанс TLS, тому заміна носія пізніше коштує одне слово. Псевдотермінал не має контакту виявлення несучої, тож pppd чекає її вічно. Це зупиняє опція `local`. pppd говорить асинхронним HDLC у підлеглу сторону псевдотерміналу, який він виділив собі сам. Команда, названа в pty, успадковує головну сторону як stdin і stdout. Netcat копіює stdin у сокет, а сокет у stdout, тож два екземпляри pppd розмовляють один з одним через пару pty і мережу, і жоден із них не знає, що існує сокет. Є й другий шлях, notty, що використовує власні stdin і stdout pppd. Але він породжує процес-перекидач символів, крізь який проходить кожен байт, тож це «increases the latency and CPU overhead»4. Використовуй pty, якщо не маєш причини цього не робити.\nТри практичні факти перед першою командою, усі перевірені на машині, де це писалося, Fedora 44, ppp-2.5.1-7.fc44:\n$ pppd --version pppd version 2.5.1 $ ls -l /usr/bin/pppd /dev/ppp -rwxr-xr-x. 1 root root 393784 Jan 17 2026 /usr/bin/pppd crw-------. 1 root root 108, 0 Sep 14 08:34 /dev/ppp $ pppd noauth nodetach pty \u0026#39;true\u0026#39; pppd: using the noauth option requires root privilege Потрібен root. Ніяк не обійти. Двійковий файл у Fedora не має setuid, /dev/ppp має режим 0600 і належить root, а потрібні тобі опції однаково привілейовані. Це те, що запускають від root або через unit-файл, а не те, що користувач робить знічев’я. Це важить пізніше, коли ми дійдемо до того, що це означає для твоєї політики вихідного трафіку.\nЯдерна частина модульна. ppp_generic робить інтерфейс, ppp_async кадрування з байтовим заповненням, якого потребує pty, а ppp_deflate/bsd_comp/ppp_mppe стиснення й шифрування; вони завантажуються на вимогу. Якщо ppp_async бракує в урізаному образі контейнера, канал піднімається й нічого не переносить. Жахливі пів години, якщо не знаєш, куди дивитися.\nНа pty немає ліній керування модемом. Без контакту виявлення несучої pppd чекає несучу, яка ніколи не прийде. Виправлення складається з одного слова, local, яке велить йому ігнорувати лінії керування модемом4. Пропусти його, і нічого не станеться, без жодної помилки, яку варто читати.\nNetcat не є однією програмою Перед збиранням пастка, яка з’їдає найбільше часу: «netcat» означає щонайменше чотири програми з несумісними прапорцями, і яку ти отримаєш, залежить від твого дистрибутива. На цій машині /usr/bin/nc є символьним посиланням на /usr/bin/ncat, переписаний варіант від Nmap. Тож команда, скопійована з п’ятнадцятирічної вікі-сторінки, не працює з причин, які не мають нічого спільного з PPP.\nРеалізація Слухати порт UDP Лишатися живим після відключення співрозмовника Ncat (Nmap) ncat -l 443 -u -k / --keep-open OpenBSD netcat nc -l 443 -u -k Традиційний netcat nc -l -p 443 -u ні GNU netcat nc -l -p 443 -u ні Як таке, перевір, який у тебе, перш ніж звинувачувати pppd:\nreadlink -f \u0026#34;$(command -v nc)\u0026#34; nc --version 2\u0026gt;\u0026amp;1 | head -1 || nc -h 2\u0026gt;\u0026amp;1 | head -1 Нижче я явно використовую ncat. Саме він має вбудований TLS, що важить пізніше, а явність означає, що команди не означатимуть мовчки щось інше на твоїй машині.\nЕтап перший: TCP-збірка, бо саме її всі пробують першою Один кінець слухає, другий підключається. Адреси тут із документаційного діапазону, тож вставляй їх прямо в лабораторію, і нічого маршрутизованого не постраждає. Порт усюди 443, і це навмисно: вихідний 443 за замовчуванням відкритий майже в кожній мережі. Обгорни носій у TLS кількома етапами нижче, і трафік на ньому не відрізнити від будь-якого сеансу HTTPS. Щоб прив’язати слухача до цього порту, потрібен root, який дальній кінець, власна машина зловмисника або ретранслятор, має. Це весь аргумент про вихідний трафік в одному номері порту, і я до нього повернуся.\nНа кінці, що слухає:\npppd nodetach noauth local passive \\ nodefaultroute noipdefault \\ 192.0.2.1:192.0.2.2 \\ lcp-echo-interval 10 lcp-echo-failure 3 \\ mtu 1400 mru 1400 \\ pty \u0026#39;ncat --listen --keep-open 443\u0026#39; На кінці, що підключається:\npppd nodetach noauth local \\ nodefaultroute noipdefault \\ 192.0.2.2:192.0.2.1 \\ lcp-echo-interval 10 lcp-echo-failure 3 \\ mtu 1400 mru 1400 \\ pty \u0026#39;ncat 198.51.100.10 443\u0026#39; Кожне слово тут виконує роботу, і одне з них, noauth, тихо шкодить. Тунель не має контролю доступу, і цьому присвячено окремий розділ далі.\nКожне слово в рядку pppd і що воно робить Командний рядок UDP-збірки, слово за словом nodetach передній план, щоб бачити вивід і поставити під наглядача noauth без автентифікації співрозмовника: ось дірка; контролю доступу немає local ігнорувати лінії керування модемом, яких pty не має. Без неї нічого не підніметься passive чекати дійсний пакет LCP замість виходу: поведінка серверного сокета nodefaultroute не захоплювати маршрут за замовчуванням після IPCP. Потрібний маршрут додай сам noipdefault не пропонувати власну адресу машини як локальний кінець 192.0.2.1:192.0.2.2 local:remote, зафіксовано: pppd відкидає будь-яку іншу відповідь під час IPCP lcp-echo-interval / -failure перевірка живучості: окремий розділ нижче mtu / mru 1400 лишити місце для того, чим носій обгортає кожен кадр pty '...' команда, чиї stdin і stdout стають каналом: тут сокет netcat Кінець, що підключається, має той самий рядок без `passive`: він ініціює, а не чекає. Кожна опція в рядку і що вона робить. Стежити варто за noauth: вона вимикає автентифікацію співрозмовника, тож слухач приймає будь-кого, хто прийде. nodefaultroute і noipdefault не дають каналу тихо переписати твою маршрутизацію, local взагалі дає йому піднятися на pty, а зафіксована пара local:remote не дає pppd прийняти іншу відповідь під час IPCP. Кінець, що підключається, має той самий рядок без passive. Підніми обидва кінці, і отримаєш ppp0 на кожному, маршрут «точка-точка» до дальньої адреси та інтерфейс, який можна пінгувати, через який можна маршрутизувати й на якому можна запускати tcpdump. Це VPN: жоден пакет не встановлено, жоден демон не налаштовано, жодним ключем не обмінялися, і в цьому проблема, до якої я повернуся.\nЩо він узгодив і як за цим стежити Додай debug, і pppd журналює обмін керівного протоколу, який варто прочитати хоч раз, навіть якщо більше ніколи цього не робитимеш. Канал піднімається етапами, і кожен етап може впасти сам по собі.\nLCP, потім автентифікація, потім по керівному протоколу на родину адрес Три етапи, і кожен ламається зі своєї причини 1 LCP: сам канал MRU, мапа керівних символів, магічне число для закільцьованої лінії і чи хоче якийсь кінець, щоб інший автентифікувався. Збій тут означає, що носій не передає байти чисто в обидва боки. Перевір сокет, а не опції PPP. 2 Автентифікація: необов’язкова PAP шле пароль відкритим текстом. CHAP робить виклик і відповідь MD5. Пропущено. Обидва доводять, хто співрозмовник. Жоден не шифрує жодного байта після. 3a IPCP Адреса IPv4 на кожному кінці. 3b IPV6CP 64-бітні ID інтерфейсів. Ці два незалежні. IPv6 може піднятися, поки IPv4 ще сперечається, а збій в одному не валить інший. Інтерфейс починає переносити трафік родини щойно завершиться керівний протокол цієї родини. LCP домовляється про сам канал: наскільки великим може бути кадр, які керівні символи треба екранувати, і магічне число, що виявляє закільцьовану лінію. Автентифікація необов\u0026rsquo;язкова й тут пропущена. Потім один керівний протокол на кожен мережевий рівень: IPCP для IPv4, IPV6CP для IPv6. Вони незалежні, тож канал може переносити IPv6, поки IPv4 ще сперечається, а збій в одному не валить інший. Два корисні засоби налагодження вже встановлено, і ними ніхто не користується:\n# log every frame in both directions to a file pppd ... debug record /tmp/ppp-trace # then read it back in a human-readable form pppdump -h /tmp/ppp-trace | less record пише позначений часом запис кожного байта, pppdump перетворює його на щось читабельне4, а з tcpdump -ni ppp0 ти бачиш обидва боки: кадрування внизу й пакети зверху.\nКадр на дроті і чому 0x7E усюди PPP через послідовну лінію, а pty для pppd нею і є, використовує асинхронне кадрування HDLC, і розуміння його відрізняє налаштування від гадання. Кожен кадр починається й закінчується тим самим байтом: «Each frame begins and ends with a Flag Sequence, which is the binary sequence 01111110 (hexadecimal 0x7e)»5. Якщо 0x7e позначає межу, він не може з’явитися всередині кадру, тож його екранують. Так само екранують байт екранування 0x7d і все інше, про що попросив будь-який із кінців.\nКадр, байт-прапорець і чого коштує екранування Один кадр і два байти, які ніколи не можуть з’явитися всередині 0x7E прапорець 0xFF адреса 0x03 керування протокол 1 або 2 байти навантаження: твій IP-пакет до узгодженого максимального розміру прийому FCS 16-бітний CRC 0x7E прапорець ЕКРАНУВАННЯ, ЄДИНЕ ПРАВИЛО Будь-який байт, який можна сплутати з межею, замінюється на 0x7D, за яким іде початковий байт, XOR із 0x20. байт 0x7E передається як 0x7D 0x5E байт 0x7D передається як 0x7D 0x5D Ці два обов’язкові. Усе інше вирішує асинхронна мапа керівних символів: 32 біти, по одному на символ. Мапа нульова: типове значення pppd, і правильне на сокеті Два байти з 256 екрановано. Накладних витрат ти ніколи не виміряєш. Сокет є чистим 8-бітним шляхом. Позначено всі 32: консервативне налаштування модема На стиснених чи зашифрованих даних кожен восьмий байт менший за 0x20 і подвоюється. Близько 12 % каналу задарма. Кадр складається з прапорця, адреси, керування, протоколу, корисного навантаження, контрольної послідовності кадру й прапорця. Будь-який байт усередині, який можна сплутати з межею, замінюється на 0x7D, за яким іде початковий байт XOR 0x20. ACCM вирішує, скільки інших байтів отримують те саме: нуль на чистому 8-бітному шляху, тридцять два, якщо будь-який кінець просить консервативне значення за замовчуванням, яке припускає модем, що з\u0026rsquo;їдає керівні символи. Правило екранування точне: «Each Flag Sequence, Control Escape octet, and any octet which is flagged in the sending Async-Control-Character-Map (ACCM), is replaced by a two octet sequence consisting of the Control Escape octet followed by the original octet exclusive-or\u0026rsquo;d with hexadecimal 0x20»5.\nОстання частина і є ручкою налаштування. ACCM має 32 біти, по одному на керівний символ, і 1 означає «екрануй це». Попроси всі, і на зашифрованому навантаженні, де байти фактично випадкові, приблизно кожен восьмий байт менший за 0x20: близько 12 % накладних витрат задарма.\nСучасний pppd уже робить тут правильно. Читай сторінку man, а не фольклор:\nIf no asyncmap option is given, the default is zero, so pppd will ask the peer not to escape any control characters.4\nТож asyncmap 0 є значенням за замовчуванням, а не хитрощами, а сокет є чистим 8-бітним шляхом, який не потребує екранування понад два обов’язкові байти. Не чіпай це; вмикай біти лише тоді, коли щось посередині справді з’їдає керівні символи: термінальний сервер, послідовний концентратор, поганий консольний проксі. Контрольна послідовність кадру наприкінці є 16-бітним CRC, і саме на ній тримається UDP-збірка, до якої ми зараз і перейдемо.\nTCP поверх TCP є неправильним носієм Збірка вище працює. На лабораторному стенді, через loopback чи тиху LAN, вона працює чудово, і саме тому люди її й випускають.\nПотім вона зустрічає справжній шлях зі справжніми втратами. І падає так, що виглядає як усе що завгодно, окрім того, чим воно є.\nПроблема в двох незалежних таймерах повторної передачі, поставлених один на одного, де зовнішній ховає втрати від внутрішнього. Олаф Тітц (Olaf Titz) написав остаточне пояснення, яке відкривається саме цією збіркою:\nA frequently occurring idea for IP tunneling applications is to run a protocol like PPP, which encapsulates IP packets in a format suited for a stream transport (like a modem line), over a TCP-based connection. […] Unfortunately, it doesn\u0026rsquo;t work well. Long delays and frequent connection aborts are to be expected.6\nОдин втрачений пакет, два носії, два дуже різні наслідки Один пакет зникає. Що кожен носій робить далі. TCP-НОСІЙ: тунель ховає втрату 1 Носій губить сегмент. 2 Носій передає його повторно. Байти приходять пізно, а не зникають, і в цьому вся проблема. 3 Тунельований TCP не бачить носія. Він читає затримку як перевантаження, подвоює таймер і повторно шле дані, що вже в дорозі під ним. 4 Тепер носій винен оригінал і дублікат, каналом, що щойно довів, що губить пакети. Черга росте швидше, ніж рівні її розбирають. Пропускна здатність падає задовго до каналу. UDP-НОСІЙ: втрата доходить до свого рівня 1 Носій відкидає пакет і нічого не каже. 2 Кадр PPP усередині не проходить контрольну суму й відкидається. Наступний прапорець синхронізує. 3 Тунельований TCP бачить справжню втрату, бо нарешті йому сказали правду про шлях. 4 Він зменшує вікно вдвічі й повторює один раз. Контроль перевантаження робить саме ту роботу, для якої створений. Один пакет коштує один пакет. TCP-носій гарантує доставку, тож втрачений сегмент передається повторно, і байти приходять пізно, а не не приходять зовсім. Тунельований TCP усередині бачить лише затримку, вирішує, що мережа перевантажена, відступає й повторно передає ті самі дані, які тепер носій теж мусить доставити. Таймер кожного рівня намагається виправити проблему, якою вже володіє інший рівень, і черга росте швидше, ніж будь-який із них може її розібрати. UDP-носій відкидає пакет, внутрішній TCP бачить справжню втрату, і його контроль перевантаження робить роботу, для якої його створено. Ось форма. Обидва TCP встановлюють таймер повторної передачі за своїм часом проходження туди й назад. Коли носій втрачає сегмент, він передає його повторно, тож дані внутрішнього з’єднання приходять пізно. А внутрішній TCP, який не бачить носія, читає запізнення як перевантаження й теж передає повторно. Тепер носій має доставити оригінал і дублікат каналом, який уже губить пакети. Внутрішній таймер подвоюється, зовнішня черга росте, і пропускна здатність падає задовго до того, як падає канал. Ніщо в журналах не каже чому.\nЦе не тонкий момент щодо ефективності. Це різниця між тунелем, що деградує м’яко, і тунелем, що перестає пропускати трафік десь при 2 % втрат, поки ping тим самим шляхом досі виглядає нормально. Ось причина використовувати UDP, а TCP тримати в запасі лише для шляху, який не пропустить нічого іншого.\nТож використовуй UDP як типовий вибір, а не як уподобання.\nЕтап другий: UDP-збірка, яка є фундаментом Той самий pppd, інший носій. Єдина зміна в команді pty.\nКінець, що слухає:\npppd nodetach noauth local passive \\ nodefaultroute noipdefault \\ 192.0.2.1:192.0.2.2 \\ lcp-echo-interval 10 lcp-echo-failure 3 \\ mtu 1400 mru 1400 \\ pty \u0026#39;ncat --udp --listen 198.51.100.10 443\u0026#39; Кінець, що підключається:\npppd nodetach noauth local \\ nodefaultroute noipdefault \\ 192.0.2.2:192.0.2.1 \\ lcp-echo-interval 10 lcp-echo-failure 3 \\ mtu 1400 mru 1400 \\ pty \u0026#39;ncat --udp 198.51.100.10 443\u0026#39; Дві речі щодо UDP-слухача, які тебе підловлять, і жодна з них не є проблемою PPP.\nСлухач не може відповісти, доки до нього не заговорять. UDP-сокет не має з’єднання, яке можна прийняти, тож netcat не може знати, куди слати відповіді, доки не прийде датаграма. Він чіпляється за першу адресу й порт джерела, які почує, і говорить із ними. Це означає, що кінець, що підключається, мусить надіслати першим, і pppd робить це сам, бо непасивний кінець одразу починає слати запити конфігурації LCP. Це також означає, що якщо порт джерела клієнта зміниться, носій мовчки говоритиме не туди. За NAT із коротким тайм-аутом UDP це тунель, що помирає кожні кілька хвилин без видимої причини.\n--keep-open на UDP робить не те, чого ти хочеш. -k у Ncat тримає TCP-слухача таким, що приймає з’єднання, після того як співрозмовник пішов. На UDP приймати нічого, тож відновлення означає перезапуск носія, і саме для цього існують persist і holdoff, про які далі.\nОбидва пункти є аргументами на користь socat, який обережніше поводиться з UDP-співрозмовниками, і на користь наглядача замість віри в те, що воно лишиться живим.\nЧому PPP переживає втрачену датаграму Очевидне заперечення проти UDP-носія: PPP очікує потік байтів, а UDP ним не є. Датаграми приходять цілими або зовсім не приходять і можуть прийти не по черзі. Але це однаково працює, завдяки двом байтам, які кадрування носило весь цей час.\nВтрачена датаграма коштує кадр, а наступний прапорець відновлює канал Межі не збігаються, і це не важить КАДРИ PPP, ЯК ЇХ ЗАПИСАВ pppd 7E кадр A + FCS 7E кадр B + FCS 7E кадр C + FCS 7E кадр D + FCS ЩО НОСІЙ НАСПРАВДІ НАДІСЛАВ: netcat читає буфер, а не кадр датаграма 1 датаграма 2: втрачена датаграма 3 датаграма 4 Кадр B втрачає середину, контрольна сума не сходиться, і його відкидають. Кадр C втрачає початок і йде тим самим шляхом. Два втрачені кадри є двома втраченими IP-пакетами. Рівень вище передає їх повторно, знаючи, що шлях щось загубив. Саме цей сигнал TCP-носій сховав би, доставивши їх із запізненням. Netcat читає все, що є в буфері, і пише це в датаграму, тож межі кадрів і межі датаграм не мають нічого спільного. Втрать датаграму, і отримувач бачить кадр, у якому бракує байтів: контрольна послідовність кадру не сходиться, і кадр відкидається, так само як на зашумленій послідовній лінії. Наступний 0x7E знову синхронізує потік. Один відкинутий кадр коштує один пакет, і рівень вище передає його повторно. Це і є той сигнал втрати, якого внутрішній TCP потребував і ніколи не отримував через TCP-носій. PPP через асинхронний HDLC проєктували для лінії, що псує байти. Кожен кадр несе 16-бітну контрольну послідовність кадру; кадр, що її не проходить, відкидається, а наступний байт-прапорець знову синхронізує отримувача. Перестановки трапляються рідше за втрати й дають той самий результат: погана FCS, відкинутий кадр, ресинхронізація.\nТож втрачена датаграма коштує один кадр PPP, один IP-пакет, що є звичайним станом кожної мережі, яку будь-коли збудували. Власник пакета передає його повторно, а контроль перевантаження бачить справжню втрату й реагує правильно. Ось і весь аргумент за UDP: він дає трафіку всередині тунелю дізнатися правду про шлях.\nАле не дозволяй кадрам ставати настільки великими, щоб носієві доводилося їх фрагментувати. Тоді один втрачений фрагмент убиває всю датаграму, і твій фактичний рівень втрат множиться. Тримай MTU PPP добре нижче MTU шляху.\nАдреси, маршрути і IPv6 як слід ppp0 є інтерфейсом «точка-точка», без підмережі й без ARP, тож local:remote і є вся адресація, а маршрутизуєш ти через нього явно. Для одного хоста, що досягає однієї мережі за дальнім кінцем:\n# on the client, after the link is up ip route add 203.0.113.0/24 via 192.0.2.1 dev ppp0 Щоб дальній кінець пересилав від імені клієнта, звичайні два кроки:\nsysctl -w net.ipv4.ip_forward=1 nft add rule inet nat postrouting oifname \u0026#34;eth0\u0026#34; ip saddr 192.0.2.2/32 masquerade proxyarp змусить сервер відповідати на ARP за клієнта у своєму сегменті4, що зручно, доки другий клієнт не захоче того самого. Тоді зроби частину, яку більшість пропускає. Запусти через нього IPv6: канал «точка-точка» без NAT, без широкомовного домену й без дефіциту адрес є найпростішим місцем у твоїй мережі, щоб зробити IPv6 як слід:\npppd nodetach noauth local \\ +ipv6 ipv6 ::1,::2 \\ nodefaultroute noipdefault \\ 192.0.2.2:192.0.2.1 \\ pty \u0026#39;ncat --udp 198.51.100.10 443\u0026#39; +ipv6 вмикає IPV6CP; ipv6 \u0026lt;local\u0026gt;,\u0026lt;remote\u0026gt; задає два 64-бітні ідентифікатори інтерфейсів4, канал піднімається з локальними адресами каналу, а глобальну /64 ти додаєш зверху7. IPV6CP незалежний від IPCP8, тож noip не переносить нічого, крім IPv6. Цілком розумна річ, щоб збудувати 2026 року, одним словом.\nЯк утримати канал, коли носій тихо помирає Це той збій, що марнує пів дня, тож він отримує окремий розділ.\nTCP-носій, що помер погано, коли дальній кінець вимкнули, запис у таблиці NAT застарів чи проміжний пристрій перестав пересилати, не закривається. Немає FIN, немає RST, нічого. Netcat сидить, тримаючи сокет, що більше ніколи не доставить жодного байта, pppd сидить, тримаючи pty, що більше ніколи не побачить жодного кадру, а ip link бадьоро повідомляє, що ppp0 в стані UP. UDP-носій узагалі не має стану з’єднання, тож він ніколи нічого не помічає.\nPPP має вбудовану відповідь, і вона за замовчуванням вимкнена:\nlcp-echo-interval 10 lcp-echo-failure 3 Це надсилає ехо LCP кожні десять секунд і розриває канал, коли три лишилися без відповіді4. Це тридцять секунд, щоб упіймати мертвий носій, саме у випадку, який називає сторінка man, «no hardware modem control lines»4, а це кожен pty, який будь-коли створили. Потім виріши, що станеться далі:\npersist maxfail 0 holdoff 5 Виявити мертвий носій за тридцять секунд і відбудувати його Носій може померти, не закрившись. Ось як PPP це помічає й відновлюється. Носій тихо помирає кінець вимкнено · запис NAT зник · посередник не пересилає Ніхто не повідомляє ні FIN, ні RST · ip link досі каже ppp0 UP · UDP без стану Детектор lcp-echo-interval 10 lcp-echo-failure 3 ехо кожні 10s, вниз після 3 пропусків: 30s Відбудова persist maxfail 0 holdoff 5 перезапуск, не здаватися, 5s між спробами Один наглядач unit systemd, Restart=always, pppd перезапускає pty-команду: свіжі netcat і сокет разом Увімкни ехо на обох кінцях. Ехо доводить лише шлях, яким повернулася відповідь. Поклади `ip route` в /etc/ppp/ip-up.d/, а маршрути IPv6 в /etc/ppp/ipv6-up.d/, щоб маршрутизація поверталася з каналом, а не задавалася раз вручну й не губилася при першому ж перепідключенні. lcp-echo-interval 10 lcp-echo-failure 3 є детектором: ехо кожні десять секунд, канал вниз після трьох пропущених. persist maxfail 0 holdoff 5 є відбудовою: перезапуск, ніколи не здаватися, чекати п\u0026rsquo;ять секунд, щоб нестабільний шлях не став fork-бомбою, а pppd перезапускає команду pty, тож разом із нею приходять свіжий netcat і сокет. Увімкни ехо на обох кінцях; один наглядач, unit systemd з Restart=always, кращий за два процеси, що сперечаються. Поклади ip route в /etc/ppp/ip-up.d/, щоб маршрутизація поверталася разом із каналом. Він не має ні шифрування, ні автентифікації Усе вище є робочим тунелем. Безпечним він не є, і ця прогалина не дрібниця.\nШифрування немає. Не слабке шифрування. Жодного. Кожен пакет, який ти через це пропускаєш, іде дротом відкритим текстом, загорнутий у кадр HDLC, який будь-який засіб захоплення декодує з першого погляду. tcpdump покаже тобі вміст чужого тунелю так само охоче, як і твого.\nАвтентифікації співрозмовника немає. noauth так і каже. Слухач netcat приймає все, що приходить на порт: перше з’єднання чи датаграму звідки завгодно. Хто прийшов першим, той отримує маршрутизований канал у твою мережу. PPP має автентифікацію (PAP відкритим текстом, CHAP як виклик-відповідь9), і обидві доводять, хто такий співрозмовник, не шифруючи жодного байта того, що йде далі: CHAP тут дає тобі тунель, який знає, з ким говорить, і досі публікує вміст будь-кому на шляху.\nУ родині PPP є опція шифрування, MPPE10, модуль, що лежить у ppp_mppe.ko. Не тягнися до неї: це RC4 з ключем від обміну MS-CHAPv2, публічно зламаний понад десять років тому, і причина, з якої PPTP мертвий. Будувати на ньому новий тунель 2026 року означає вибрати відомо зламаний шифр замість робочого, що нічого не коштує.\nТож чесний підсумок на цей момент: маршрутизований канал без конфіденційності й без контролю доступу. Годиться для лабораторії, годиться всередині каналу, що вже зашифрований, не годиться більше ніде. Виправлення полягає в тому, щоб зашифрувати носій. Про це два наступні розділи, і це причина використовувати ncat, а не той netcat, який постачав твій дистрибутив.\nЕтап третій: обгортаємо носій у TLS Чиста відповідь лишає pppd точно таким, як є, і замінює носій на такий, що вміє TLS. pppd так і не дізнається, що щось змінилося.\nСпершу сертифікат. Самопідписаного досить, якщо клієнт його перевіряє. Неперевірений сеанс TLS є зашифрованою розмовою з кимось, кого ти не ідентифікував, і це не зупиняє нікого:\nopenssl req -x509 -newkey rsa:4096 -days 825 -nodes \\ -keyout tunnel.key -out tunnel.crt \\ -subj \u0026#34;/CN=tunnel.example.net\u0026#34; \\ -addext \u0026#34;subjectAltName=DNS:tunnel.example.net\u0026#34; Ncat Ncat має вбудований TLS. Він також уміє йти ланцюжком через проксі, --proxy host:port --proxy-type http|socks4|socks511, тож носій може закінчуватися на ретрансляторі, а не на дальньому кінці тунелю. Саме на цьому тримається розділ про вихідний трафік. Кінець, що слухає:\npppd nodetach noauth local passive \\ nodefaultroute noipdefault 192.0.2.1:192.0.2.2 \\ lcp-echo-interval 10 lcp-echo-failure 3 mtu 1400 mru 1400 \\ pty \u0026#39;ncat --listen --keep-open --ssl --ssl-cert tunnel.crt --ssl-key tunnel.key 443\u0026#39; Кінець, що підключається:\npppd nodetach noauth local \\ nodefaultroute noipdefault 192.0.2.2:192.0.2.1 \\ lcp-echo-interval 10 lcp-echo-failure 3 mtu 1400 mru 1400 \\ pty \u0026#39;ncat --ssl --ssl-verify --ssl-trustfile tunnel.crt tunnel.example.net 443\u0026#39; --ssl-verify є тим словом, яке важить. Без нього --ssl дає тобі шифрування проти пасивного слухача й нічого проти того, хто першим відповість на порт; з ним Ncat перевіряє довіру й доменне ім’я за файлом довіри12. Проте Ncat не має перевірки клієнтського сертифіката на боці сервера, тож сервер не може ідентифікувати клієнта. Поєднай це з CHAP або використай один із двох наступних.\nStunnel Традиційна обгортка, і та, що робить взаємну автентифікацію як слід:\n[ppp] accept = 443 connect = 127.0.0.1:6001 cert = /etc/stunnel/tunnel.crt key = /etc/stunnel/tunnel.key CAfile = /etc/stunnel/clients.crt verify = 2 verify = 2 вимагає клієнтського сертифіката, підписаного CA з CAfile. Це той контроль доступу, якого збірка з netcat ніколи не мала. Клієнт запускає stunnel у клієнтському режимі, а команда pty в pppd підключається до локальної відкритої сторони.\nSocat socat робить усе одним процесом на кожному кінці, з перевіркою, увімкненою за замовчуванням:\n# listening end pppd ... pty \u0026#39;socat - OPENSSL-LISTEN:443,reuseaddr,cert=tunnel.pem,cafile=clients.crt,verify=1\u0026#39; # connecting end pppd ... pty \u0026#39;socat - OPENSSL:tunnel.example.net:443,cafile=tunnel.crt,verify=1\u0026#39; socat не встановлено на машині, де це писалося, тож це з його документації. Перевір прапорці у себе. Саме до нього я б і потягнувся, бо він єдиний із чотирьох, що також говорить DTLS.\nOpenssl, коли більше нічого немає openssl є на кожній машині, де взагалі є TLS, і s_server/s_client перенесуть канал:\n# listening end pppd ... pty \u0026#39;openssl s_server -quiet -accept 443 -cert tunnel.crt -key tunnel.key\u0026#39; # connecting end pppd ... pty \u0026#39;openssl s_client -quiet -verify_return_error -CAfile tunnel.crt -connect tunnel.example.net:443\u0026#39; -quiet пригнічує банер, який інакше потрапив би в твій потік PPP, а -verify_return_error змушує збій перевірки закривати з’єднання замість того, щоб попередити й працювати далі. Це засоби налагодження, які так і поводяться, але на машині, де нічого не можна встановити, вони піднімуть канал.\nПростий, TLS через TCP чи DTLS через UDP Та сама канальна половина на обох кінцях. Змінюється лише середина. pppd або tap0 простий netcat, UDP ncat --udp --listen 6000 pppd або tap0 Відкритим текстом на дроті, і слухач бере того, хто першим дістався порту. Ні конфіденційності, ні контролю доступу. pppd або tap0 TLS через TCP: ncat, stunnel або openssl ncat --ssl --ssl-verify --ssl-trustfile tunnel.crt host 6000 pppd або tap0 Захищено, і сертифікат каже, хто дальній кінець. Але носій знову TCP, і лише ця форма вміє потокове стиснення. pppd або tap0 DTLS через UDP: socat або openssl socat - OPENSSL-DTLS-CLIENT:host:6000,cafile=tunnel.crt,verify=1 pppd або tap0 Шифровано, автентифіковано й досі датаграми. Втрачений пакет лишається втраченим, без суперечки двох стеків. Цілься сюди. На обох кінцях увесь час той самий pppd, змінюється лише команда pty. Простий netcat дає канал, який ніщо не захищає. TLS через TCP захищає байти й повертає проблему TCP-носія. DTLS через UDP є формою, до якої варто прагнути: зашифровано, автентифіковано, і досі датаграмний носій, тож втрачений пакет лишається втраченим пакетом, а не перетворюється на бійку повторних передач між двома стеками. Етап четвертий: DTLS, бо носій має лишатися UDP Ось незручна частина і причина, з якої цей розділ окремий. Кожен варіант TLS вище працює через TCP, тож обгортання носія в TLS скасовує аргумент за UDP і повертає тобі розвал. Шифрування й правильний транспорт не повинні бути компромісом. DTLS є TLS через датаграми, і саме цього ти хочеш: він зберігає захист рівня записів, відкидає гарантії порядку й повторної передачі та лишає втрачені пакети втраченими, а саме це контрольна послідовність кадру PPP і створена поглинати.\nNcat цього не вміє. socat і openssl уміють:\n# listening end pppd ... pty \u0026#39;socat - OPENSSL-DTLS-LISTEN:443,cert=tunnel.pem,cafile=clients.crt,verify=1\u0026#39; # connecting end pppd ... pty \u0026#39;socat - OPENSSL-DTLS-CLIENT:tunnel.example.net:443,cafile=tunnel.crt,verify=1\u0026#39; І лише з openssl, де -dtls вибирає будь-яку версію DTLS:\n# listening end pppd ... pty \u0026#39;openssl s_server -quiet -dtls -accept 443 -cert tunnel.crt -key tunnel.key\u0026#39; # connecting end pppd ... pty \u0026#39;openssl s_client -quiet -dtls -verify_return_error -CAfile tunnel.crt -connect tunnel.example.net:443\u0026#39; Стеж за розміром кадрів. Запис DTLS не можна фрагментувати так, як запис TLS розтягується по TCP-потоку, тож усе мусить уміститися в MTU шляху за один раз.\nСтос накладних витрат і внутрішній MTU, що лишається Рахуй униз від MTU шляху й використовуй те, що лишилося заголовок IP20 (v4) / 40 (v6) заголовок UDP8 запис DTLS + тег≈ 30 кадрування PPP / Ethernetкілька внутрішній MTU, що може перенести тунель: ціль 1400, мінімум 1280 Запис DTLS не можна фрагментувати так, як запис TLS розтягується по потоку TCP, тож усе це мусить влізти в MTU шляху. Та сама форма, що в OpenVPN з 2001 року: датаграмний носій, DTLS, віртуальний інтерфейс зверху. Не дивацтво; просто розібрано. Рахуй униз від 1500: 20 байтів заголовка IPv4 або 40 IPv6, 8 UDP, приблизно 30 на запис DTLS і його тег, кілька на кадрування, а решта є внутрішнім MTU, який тунель може перенести. Цілься в 1400 на звичайному шляху; 1280 є безпечним мінімумом, якщо щось посередині само є тунелем. Ця форма, датаграмний носій, DTLS, віртуальний інтерфейс зверху, майже те саме, що OpenVPN робить з 2001 року. Не дивацтво; просто розібране на частини. Налаштування PPP-збірки: MTU, стиснення і що справді допомагає Чотири ручки, усі опції pppd. Tap-збірка в наступному розділі не має жодної з них, бо не має жодного з механізмів, які вони налаштовують.\nЧотири ручки pppd: одну задати, одну лишити, дві вимкнути Одну задати, одну лишити, дві вимкнути ЗАДАЙ MTU і MRU Обидва кінці, із запасом: 1400 просто, 1280 під тунелем. Фрагментований кадр губить цілий пакет. ЛИШИ ACCM Уже нуль за замовчуванням, що правильно на чистому сокеті. Чіпай, лише якщо щось з’їдає керівні символи. ВИМКНИ novj Стиснення заголовків Ван Якобсона Заощаджує похибку округлення, коштує CPU на пакет і ламається при втратах. Вимкни понад модемну швидкість. ВИМКНИ nodeflate nobsdcomp Навантаження вже TLS/DTLS: стиснення шифротексту є марною роботою, а через межу безпеки ще й атакою. Ніщо з цього не робить тунель швидшим. PPP не є вузьким місцем: PPPoE дає 2 Gbit тим самим демоном, бо його шлях даних лишається в ядрі. Ціна тут у pty: кожен байт переходить у простір користувача й назад. Це належить псевдотерміналу, а не PPP. MTU і MRU є тим, що важить: задай обидва на обох кінцях із запасом, бо кадр, який носієві доводиться фрагментувати, втрачає цілий пакет при будь-якій втраті. ACCM уже нульовий і правильний на чистому сокеті. Вимкни стиснення заголовків Ван Якобсона через novj на швидкостях вище модемних. Воно заощаджує похибку округлення, коштує процесорного часу на кожен пакет і ламається при втратах. Вимкни deflate/bsdcomp: навантаження вже зашифроване, а стиснення через межу безпеки є атакою, а не функцією. Ніщо з цього не робить тунель швидшим, і причина важить, бо за це звинувачують PPP, а не слід. PPP не є вузьким місцем. PPPoE переносить 2 Gbit тим самим демоном, бо його шлях даних ніколи не залишає ядра: ppp_generic і pppoe роблять кадрування й пересилання, а pppd обробляє лише площину керування. Що тобі тут коштує, так це pty: кожен байт переходить у простір користувача, через netcat, у сокет і назад, і в такий обхід PPPoE ніколи не ходить. Це належить псевдотерміналу, а не PPP.\nІ це добрий момент, щоб поглянути на інший спосіб, де pty немає зовсім.\nІнший шлях: tap-пристрій і зовсім без PPP Усе дотепер використовувало PPP для канальної половини. Є другий спосіб створити віртуальний інтерфейс, і йому не потрібен жоден протокол.\nДрайвер TUN/TAP ядра дає тобі інтерфейс і файловий дескриптор, зв’язані разом: запиши пакет у дескриптор, і він з’явиться на інтерфейсі, ніби з дроту; прочитай, і отримаєш пакет, який ядро хотіло надіслати. Ось і весь інтерфейс13, і в Linux він є з 1999 року.\nip tuntap add dev tap0 mode tap user damien group damien ip link set tap0 mtu 1400 up ip addr add 192.0.2.1/30 dev tap0 Tap-пристрій є інтерфейсом з одного боку й файловим дескриптором з іншого Ні демона, ні протоколу, ні псевдотерміналу. Один файловий дескриптор. ЯДРО tap0 звичайний інтерфейс, з адресою й маршрутом /dev/net/tun TUNSETIFF задає назву пристрою, який отримаєш твій процес socat або п’ятдесят рядків Python, що тримають fd UDP-сокет один кадр на датаграму мережа і дальній кінець одне читання = один кадр Чого бракує порівняно з PPP-збіркою: узгодженого розміру кадру, перевірки живучості, обміну адресами, автентифікації. Обидва кінці налаштовуєш вручну, і вони нічого з цього не обговорюють. Ніщо не стежить за каналом, ніщо не скаже, що він помер. Ні демона, ні протоколу. Ядро подає tap0 як звичайний інтерфейс і віддає його другий бік тому процесу, який відкрив /dev/net/tun. Одне читання повертає рівно один кадр Ethernet; один запис вставляє рівно один. Усе, що pppd узгоджував, адреси, розміри кадрів, живучість, ти тепер налаштовуєш вручну на обох кінцях, і два кінці ніколи нічого з цього не обговорюють. Дві подробиці в тій першій команді варті більшого, ніж здається.\nuser damien робить пристрій постійним і непривілейованим. Створений так, він переживає процес, що ним користується, а названий користувач може його відкрити, не будучи root. Root створює пристрій один раз; те, що перекидає кадри, root зовсім не потребує. Запам’ятай це до розділу про вихідний трафік.\nmode tun є другою половиною того самого драйвера, і саме вона потрібна більшості людей. Tun переносить IP-пакети. Tap переносить кадри Ethernet. Різниця настільки важлива, що нижче має окремий розділ.\nЧим ти поступаєшся порівняно з PPP, так це всім, що PPP узгоджує: немає LCP, тож немає узгодженого розміру кадру й перевірки живучості, немає IPCP/IPV6CP, тож обидва кінці налаштовуються вручну, немає автентифікації, немає стиснення заголовків. Tap-пристрій є діркою в ядрі, і протокол крізь неї такий, який ти туди поклав. Що ти отримуєш, так це повну відсутність накладних витрат на кадрування, жодного екранування, жодного каналу керування й інтерфейс, який можна включити в міст.\nTap через UDP, де одна датаграма дорівнює одному кадру Це найчистіша відповідність у всьому дописі, і вона випливає з конструкції. Tap-пристрій є датаграмним пристроєм, один read() повертає рівно один кадр, а UDP-сокет є датаграмним сокетом, один sendto() на датаграму. Тож кадр іде в датаграму, приходить як кадр, і немає нічого, що треба розмежовувати, буферизувати чи ресинхронізувати. Втрать датаграму, і ти втратив один кадр, а саме так відкинутий пакет і виглядає.\nІз socat кожен кінець є однією командою:\n# listening end socat TUN:192.0.2.1/30,tun-type=tap,tun-name=tap0,iff-up UDP-LISTEN:443 # connecting end socat TUN:192.0.2.2/30,tun-type=tap,tun-name=tap0,iff-up UDP:198.51.100.10:443 socat не встановлено на машині, де це писалося, тож ці дві команди з його документації, а не з запуску тут. Перевір назви адрес у своїй збірці, перш ніж їм довіряти. Мати його варто: це єдиний засіб у цьому дописі, що робить tun, tap, TLS і DTLS в одному процесі.\nТам, де нічого не можна встановити, уся робота займає десь п’ятдесят рядків без жодних залежностей, крім стандартної бібліотеки. Її серце, IFF_NO_PI, вимикає чотирибайтовий заголовок, який драйвер інакше додав би спереду:\nTUNSETIFF, IFF_TAP, IFF_NO_PI = 0x400454CA, 0x0002, 0x1000 # IFF_TUN is 0x0001 def open_tap(name): fd = os.open(\u0026#34;/dev/net/tun\u0026#34;, os.O_RDWR) fcntl.ioctl(fd, TUNSETIFF, struct.pack(\u0026#34;16sH\u0026#34;, name.encode(), IFF_TAP | IFF_NO_PI)) return fd # ... learn the peer from the first datagram (UDP has no accept), then shovel: while True: ready, _, _ = select.select([tap, sock], [], []) if tap in ready and peer: sock.sendto(os.read(tap, MTU), peer) # one read = one frame = one datagram if sock in ready: frame, src = sock.recvfrom(MTU) peer = src # last speaker wins — see the note below if frame: os.write(tap, frame) Повний файл, з розбором аргументів, IPv6 через getaddrinfo, датаграмою нульової довжини, яка каже UDP-слухачеві, куди відповідати, і стисненням, яке додає наступний розділ, лежить у пакеті:\n\u0026#8615; tapcat.py: усе разом, близько сотні рядків tapcat.py · 6 kB peer = src на кожній датаграмі є частиною, яку варто прочитати двічі. Хто останнім надіслав кадр, той і стає співрозмовником. Зручно за NAT, де порт джерела весь час рухається, і відчинені двері в ненадійній мережі, де будь-хто, хто може надіслати одну датаграму на порт, перехоплює тунель. Годиться всередині сеансу DTLS, куди це все й веде; не годиться саме по собі. Сокетну половину скрипта тут перевірено через loopback IPv6: відкривальна датаграма приходить, слухач дізнається співрозмовника, кадр переходить, і відповідь повертається; tap-половина потребує root, і це єдина частина, яку я не зміг запустити.\nЧерез TCP кадрування доводиться вигадувати самому Тепер заміни носій на TCP і подивися, як з’являється ціла проблема, яку PPP тихо розв’язав 1994 року.\nTCP є потоком байтів без меж записів і без жодної обіцянки щодо того, як байти згруповано при прибутті: два кадри, записані один за одним, можуть прийти одним читанням, а один кадр трьома. Отримувач тримає купу байтів, не маючи уявлення, де закінчується один кадр, а tap-пристрій приймає лише цілі кадри.\nОдна датаграма на кадр або префікс довжини, який треба вигадати Одне читання з tap-пристрою є одним кадром. Зберегти це є роботою носія. ЧЕРЕЗ UDP: межа задарма датаграма = кадр A датаграма = кадр B датаграма = кадр C датаграма = кадр D Одне читання, одна датаграма, один запис на дальньому кінці. Нічого розмежовувати, буферизувати чи ресинхронізувати. ЧЕРЕЗ TCP: межі зникли, і їх треба повернути один потік байтів: два кадри можуть прийти одним читанням, один кадр трьома len кадр A len кадр B len кадр C len кадр D Два байти довжини big-endian перед кожним кадром і отримувач, що читає довжину, а потім рівно стільки байтів. Це працює й не вміє відновлюватися. HDLC синхронізується на наступному 0x7E, бо прапорець однозначний; потік із префіксами, що збився, читає кожну наступну довжину з середини кадру. Додай маркер і контрольну суму, і ти відбудував HDLC. Через UDP один кадр є однією датаграмою, і межа дістається задарма. Через TCP межі зникають, тож відправник мусить додати до кожного кадру префікс довжини, а отримувач мусить за ним складати кадри. PPP цієї проблеми не має, бо приносить власне кадрування, байт-прапорець на кожному кінці й контрольну суму, і саме це дає йому ресинхронізуватися після пошкодження. Потік із префіксами довжини цього не може: зсунься на один байт, і кожен кадр після цього неправильний. Тож через TCP ти пишеш власне кадрування. Два байти довжини в порядку big-endian перед кожним кадром є звичайною відповіддю:\n# sending sock.sendall(struct.pack(\u0026#34;!H\u0026#34;, len(frame)) + frame) # receiving def recv_exactly(sock, n): buf = b\u0026#34;\u0026#34; while len(buf) \u0026lt; n: chunk = sock.recv(n - len(buf)) if not chunk: raise ConnectionError(\u0026#34;carrier closed\u0026#34;) buf += chunk return buf length = struct.unpack(\u0026#34;!H\u0026#34;, recv_exactly(sock, 2))[0] frame = recv_exactly(sock, length) Це працює, і це суворо гірше за UDP-версію. Це знову проблема TCP поверх TCP; вона додає два байти й цикл складання на кожен кадр; і вона не має шляху назад після помилки, бо потік із префіксами довжини, що збився з місця, читає кожну наступну довжину з середини кадру. HDLC ресинхронізується на наступному 0x7E; це так не вміє, хіба що заново винайти HDLC, тільки гірше. Третій аргумент за UDP, і найсильніший: через датаграмний носій проблеми кадрування немає, бо носій уже має єдину функцію, яка тобі була потрібна.\nTun чи tap: рівень 3, якщо тобі справді не потрібен рівень 2 Той самий драйвер дає тобі два пристрої, і люди постійно вибирають не той, бо підручник сказав tap.\ntun tap Що переходить IP-пакети кадри Ethernet Накладні витрати на пакет жодних 14-байтовий заголовок Ethernet ARP, DHCP, широкомовлення ні так, усе це, через тунель Протоколи не IP ні так Може входити в міст ні так Відповідає каналу «точка-точка», як ppp0 мережевому кабелю Tun є маршрутизованим каналом, як інтерфейс PPP з першої половини: дві адреси, маршрут, пакети туди й назад. Tap є віртуальним кабелем Ethernet, тож кожне широкомовлення, запит ARP і кожен шматок групового шуму в сегменті тепер переходить твоїм тунелем і палить пропускну здатність.\nЗміни один рядок у скрипті, щоб перемкнутися:\nIFF_TUN = 0x0001 # instead of IFF_TAP Використовуй tap, коли тобі справді потрібен рівень 2. Справжні причини є: протокол, що не є IP, кластерний heartbeat, що очікує бачити широкомовлення, сервер DHCP, що мусить досягати клієнтів через тунель, або об’єднання двох сегментів в один мостом.\nОстаннє є поширеним випадком, і саме з ним треба бути обережним:\nip link add br0 type bridge ip link set tap0 master br0 ip link set eth1 master br0 ip link set br0 up Тепер віддалений сегмент є частиною твого локального: його широкомовлення, його spanning tree, його мерехтіння MAC-адрес і, якщо хтось був недбалим, його сервер DHCP. Об’єднати мостом два майданчики, що обидва працюють на 192.168.1.0/24, означає поганий вечір; міст, що закільцьовується на той самий сегмент, означає поганий тиждень. За замовчуванням бери tun, тягнися до tap, коли можеш назвати ту річ рівня 2, яка тобі потрібна, і об’єднуй мостом лише після того, як перевіриш, що веде широкомовлення з обох боків.\nТі самі обгортки, один процес на кінець Tap-збірка має ту саму дірку, що й PPP-збірка: носій відкритий, а слухач приймає того, хто прийшов першим. Виправлення те саме, і з socat воно згортається в одну команду на кінець, бо він створює пристрій і завершує сеанс DTLS в одному процесі:\n# listening end socat TUN:192.0.2.1/30,tun-type=tap,tun-name=tap0,iff-up \\ OPENSSL-DTLS-LISTEN:443,cert=tunnel.pem,cafile=clients.crt,verify=1 # connecting end socat TUN:192.0.2.2/30,tun-type=tap,tun-name=tap0,iff-up \\ OPENSSL-DTLS-CLIENT:tunnel.example.net:443,cafile=tunnel.crt,verify=1 Це найкоротша правильна збірка в цьому дописі. Віртуальний інтерфейс, датаграмний носій, взаємна автентифікація сертифікатами й шифрування. Дві команди. Ні демона, ні узгодження протоколу.\nverify=1 не є необов’язковим. Це той самий момент, що й --ssl-verify, а з поведінкою peer = src вище неідентифікована сторона за одну датаграму від того, щоб володіти твоїм тунелем. Якщо ти застряг зі скриптом на Python, не прикручуй TLS усередину нього: спрямуй його на порт loopback і постав обгортку спереду, або використай socat. Саморобна обгортка TLS навколо саморобного тунелю означає два шанси зробити цікаву частину неправильно.\nЕтап п’ятий: стискаємо потік за допомогою zstd Є ще одна річ, яку варто покласти в бекенд, і, на відміну від опцій стиснення в pppd, вона справді може окупитися: стискати кадри за допомогою zstd, перш ніж вони підуть у носій.\nВажливе слово тут кадри, у множині. Стискай потік, а не кожен пакет окремо. Це найбільший виміряний ефект у цьому дописі.\nМережевий трафік повторюється так, що це видно лише між пакетами: ті самі заголовки, імена хостів і ключі JSON, знову й знову. Компресор, що починає з нуля на кожному кадрі в 1400 байтів, не бачить нічого з цього; той, що зберігає своє вікно між кадрами, бачить усе.\nСтисни до шифрування й зберігай вікно, якщо носій дозволяє Порядок фіксований. Рішення полягає в режимі. tap0одне читання, один кадр стисненняzstd, рівень 1 шифруванняDTLS або TLS носійUDP або TCP Ніколи не навпаки. FLUSH_BLOCK: зберігає вікно Видає все, що є, і зберігає історію. Кожен кадр кодується з урахуванням усіх попередніх. Без затримки: один кадр на вході, один на виході. 5,0 % на повторюваному трафіку · 7,5 % на журналах Потрібна доставка кожного кадру, по порядку. Отже: TCP або TLS через TCP. Не UDP, не DTLS. FLUSH_FRAME: викидає його на кожному пакеті Кожна датаграма є цілим кадром zstd і декодується сама, тож датаграма N працює, навіть якщо 1…N-1 втрачено. Єдиний режим, доступний датаграмному носію. 14,8 % на тому самому трафіку · 24,2 % на журналах Навчений словник повертає більшу частину: 5,3 % і 15,1 %, і лишається стійким до втрат. Стиснення стоїть між tap-пристроєм і носієм, і перед шифруванням, бо шифротекст не стискається. FLUSH_BLOCK є режимом, який важить: він видає все, що є на цей момент, тож один кадр на вході дає один кадр на виході без додаткової затримки, і водночас зберігає історію стиснення для наступного кадру. FLUSH_FRAME викидає цю історію на кожному пакеті, і саме це робить його безпечним через носій із втратами і саме це робить його втричі гіршим на дроті. На сучасній Fedora для цього не треба нічого встановлювати: Python 3.14 приніс zstd у стандартну бібліотеку14; на цій машині 3.14.7 і zstd 1.5.7:\nfrom compression.zstd import ZstdCompressor, ZstdDecompressor # Python 3.14+ _c, _d = ZstdCompressor(level=1), ZstdDecompressor() # FLUSH_BLOCK: emit everything so far, keep the window for the next frame. out = _c.compress(frame, mode=ZstdCompressor.FLUSH_BLOCK) frame = _d.decompress(out) Один компресор на напрямок, живий упродовж усього життя каналу. Один FLUSH_BLOCK на кадр, тож кадр іде щойно приходить, нічого не буферизується, а дальній кінець повертає по одному кадру на блок.\nСкільки варте вікно, виміряно Цифри з цієї машини. Ті самі кадри по 1400 байтів, той самий рівень 1, і єдина різниця в тому, чи зберігає компресор свою історію:\nТрафік у тунелі потік, FLUSH_BLOCK на пакет, FLUSH_FRAME на пакет із навченим словником Повторювані виклики API й телеметрія 5,0 % 14,8 % 5,3 % Рядки журналів 7,5 % 24,2 % 15,1 % Звичайний текст і конфігураційні файли 37,8 % 51,3 % 45,3 % Випадкові байти, замість TLS 100 %+ 100,7 % н/д Пропускна здатність на рівні 1 становила 205 MB/s на тексті й понад 1 GB/s на повторюваному трафіку: що краще стискається, то швидше, бо менше треба кодувати.\nТрафік журналів зменшується до 7,5 % початкового розміру, проти 24,2 % на пакет: утричі, ті самі дані, той самий рівень, від одного прапорця. І рівень 1 і є тим рівнем: рівень 3 дав десь один відсоток, рівень 9 ще один, знизивши пропускну здатність з 211 MB/s до 61.\nПідступ, і це той самий підступ, що й з усім іншим тут Спільне вікно означає, що кожен кадр залежить від попередніх: втрать один, і історія декомпресора вже не збігається, і ніщо після цього не декодується. Тож потокове стиснення потребує носія, що доставляє все й по порядку: TCP або TLS через TCP, а не UDP чи DTLS. Це єдиний чесний аргумент на користь TCP-носія в усьому дописі. Якщо те, що йде твоїм тунелем, справді добре стискається, syslog, реплікація бази даних відкритим текстом, телеметрія, балакучий API, то сеанс TLS із потоковим стисненням переносить третину байтів, які переніс би датаграмний носій, і на пристойному шляху це може переважити штраф за повторні передачі. Виміряй це на власному трафіку.\nЧерез UDP, де словник робить роботу вікна Там, де носій є UDP або DTLS, а за замовчуванням так і має бути, вікно тримати не можна: кожна датаграма стоїть сама по собі, а це означає FLUSH_FRAME і слабший стовпчик вище. Навчений словник дає компресору той міжпакетний контекст, який дало б вікно, без жодної залежності між датаграмами15:\n# capture a few thousand real frames off the link first, one per file zstd --train frames/* -o tunnel.dict --maxdict=110000 from compression.zstd import ZstdCompressor, ZstdDecompressor, ZstdDict d = ZstdDict(open(\u0026#34;tunnel.dict\u0026#34;, \u0026#34;rb\u0026#34;).read()) _c = ZstdCompressor(level=1, zstd_dict=d) # load it ONCE, not per frame out = _c.compress(frame, mode=ZstdCompressor.FLUSH_FRAME) На повторюваному трафіку це покращило стиснення на пакет з 14,8 % до 5,3 %, повернувши 96 % розриву до повного потокового стиснення й водночас лишаючись стійким до втрат; на рядках журналів 55 % розриву, на загальному тексті 44 %.\nЗ цим ідуть три правила. Обидва кінці мусять завантажити той самий словник, інакше нічого не декодується: тут перевірено, кадр, стиснений зі словником, без нього кидає ZstdError. Навчай на захопленні справжнього трафіку, бо словник є апріорним знанням, і хибне тобі коштує: текстовий словник зробив інший текст трохи гіршим. І завантажуй його один раз у довгоживучий компресор; передача його в кожному виклику дала 5 MB/s, і це не друкарська помилка.\nБайт заголовка й односекундний розгін Дві дрібниці, що не дають цьому бути крихким.\nКожна датаграма несе однобайтовий заголовок, і він називає режим, а не просто каже «стиснено»: 0x00 кадр як є, 0x01 самодостатній кадр zstd, 0x02 блок із неперервного потоку. Тоді отримувач може декодувати все, що вибрав дальній кінець, не будучи налаштованим під нього, і вже одне це варте байта.\nУ режимі кадрів відправник надсилає стиснену форму лише тоді, коли вона справді менша, бо стиснення не завжди виграш: випадкові байти дали 100,7 %, а 64-байтовий TCP ACK стискається до 73, бо це десятибайтовий заголовок zstd на пакеті, в якому нічого стискати. Кількість пакетів на справжньому каналі визначають малі пакети, тож без цієї перевірки ти роздував би більшість свого трафіку, щоб стиснути меншість. У потоковому режимі він завжди надсилає стиснену форму, бо пропуск одного розсинхронізував би два вікна.\nІ канал стартує сирим: першу секунду кожен кадр іде нестисненим, хоч би що казали налаштування, і кожен напрямок розганяється сам:\nRAMP = 1.0 # seconds of raw frames before compression starts def pack(self, frame): if self.c is None or time.monotonic() - self.started \u0026lt; RAMP: return RAW + frame out = self.c.compress(frame, mode=ZstdCompressor.FLUSH_BLOCK) return ZSTD + out if len(out) \u0026lt; len(frame) else RAW + frame Це ідея етапів з початку допису, застосована до одного каналу. Тунель піднімається найпростішим шляхом, який має, доводить, що може перенести кадр, і лише потім починає робити щось розумне. Коли він ламається, ти знаєш, у якій секунді.\nЕтап шостий: стиснено й зашифровано, і чого коштує порядок Порядок важить, і працює лише один: стиснути, потім зашифрувати. Шифротекст не стискається, як показує рядок зі 100,7 %, і саме тому TLS 1.3 прибрав власне стиснення, лишивши твій рівень єдиним місцем, де це можна зробити. Цей порядок має відому проблему, ту саму, яку я закидав deflate: стиснення перед шифруванням видає відкритий текст через довжину шифротексту, і там, де зловмисник може підкинути вибрані дані поруч із секретом і стежити за розмірами, цей витік не раз ставав робочою атакою: CRIME і BREACH проти TLS16, і VORACLE саме проти такої форми17.\nЦе не причина ніколи не стискати. Це причина знати, в якому ти випадку:\nКанал, що переносить твій власний трафік між двома твоїми машинами, реплікацію, резервні копії, журнали, телеметрію, не має відкритого тексту, вибраного зловмисником, що мандрує разом із секретами. Стискай його, і стискай потік. Канал, що переносить довільний перегляд вебу користувачами, де чужий вебвміст і твої облікові дані йдуть разом, є тим випадком, про який написано VORACLE. Лиши стиснення вимкненим. Причина, з якої я спокійно кладу це в tap-збірку, а не в PPP-збірку, не принципова: тут ти свідомо вибираєш сучасний алгоритм, для трафіку, який ти роздивився, тоді як deflate у pppd за замовчуванням стискає все алгоритмом 1996 року, підходить випадок чи ні.\nЩо tap-збірка виграє і чим поступається Постав дві половини поруч, бо вони не змагаються. Це різні компроміси.\npppd через сокет tap або tun через сокет Кадрування вбудоване (HDLC, ресинхронізується після пошкодження) через UDP жодного, бо не потрібне; через TCP вигадай сам Налаштування адрес узгоджуються IPCP і IPV6CP налаштовуються вручну на обох кінцях Живучість ехо LCP, вбудоване жодної; додай сам, або канал помре мовчки Автентифікація є PAP або CHAP, обидві слабкі жодної Рівень лише 3 3 з tun, 2 з tap Мости ні так, із tap Накладні витрати прапорець, заголовок і FCS на кадр, плюс екранування нічого, або 14 байтів із tap Стиснення deflate і BSD, увімкнені за замовчуванням, з 1996 року жодного, або zstd на кадр, яке ти додаєш і контролюєш Потрібен root так, увесь час щоб створити пристрій; не щоб ним користуватися Рухомі частини один демон, тридцять років один файловий дескриптор PPP дає тобі узгоджений канал, що сам себе контролює, і бере за це плату протоколом. Tap-пристрій дає тобі сиру дірку задарма, а відсутні частини ти докладаєш сам або обходишся без них. Для тунелю, що лишається працювати, кусається саме відсутня перевірка живучості: pppd помічає мертвий носій за тридцять секунд і відбудовує його, а tap-збірка не помічає нічого, бо в ній ніщо не стежить. Додай keepalive, запусти її під чимось, що її перезапускає, або використай збірку, в якій це вже є.\nКоли це правильний інструмент, а коли ні Насправді це ніколи не правильний інструмент, і я не вдаватиму протилежного. Усе вище працює, і ніщо з цього не є тим, що слід запускати в продакшені. Чесна версія інструкції містить частину, де ти відкладаєш інструмент, і це вона.\nДля чого це справді добре, так це щоб показати тобі, як річ працює. VPN, розібраний на частини, і, в наступному розділі, як вихідний трафік насправді поводиться, коли хтось опинився у твоїй мережі з root. Ось причини, щоб це прочитати. Вузькі випадки нижче справжні, але не через них існує цей допис.\nТягнися до PPP-збірки, коли:\nНосій зовсім не IP: послідовна консоль, USB-гаджет, радіоканал, іменований канал, канал SSH. pppd не переймається тим, чим подорожують байти, а tap-пристрій тут не допоможе. Ти щось рятуєш: машина з послідовною консоллю, без мережі, і робота, яку треба закінчити сьогодні ввечері. PPP через цю консоль є маршрутизованим каналом, встановленим на обох кінцях, і нічого не треба копіювати. Ти хочеш, щоб канал дбав про себе сам. Ехо LCP, узгодження адрес і перезапуск дістаються задарма; писати їх самому означає перетворити tap-збірку на маленький ненадійний продукт. Тягнися до tap-збірки, коли:\nТобі потрібен рівень 2: протокол не IP, кластерний heartbeat, що хоче широкомовлення, DHCP через тунель, або два сегменти, що мусять бути одним. Ти хочеш найменше рухомих частин: через UDP з DTLS це дві команди, ні демона, ні узгодження, нічого екранувати. Root у дефіциті. Створи пристрій один раз із user, і процесові, що переносить кадри, більше ніколи не потрібні привілеї. Обидві є правильним інструментом, коли ти вчишся. Кожен рівень видно, і кожен можна замінити окремо, і немає кращого способу зрозуміти, що робить VPN-продукт, ніж зібрати його з частин і дивитися, як кожна піднімається.\nЖодна не є правильним інструментом, коли тобі потрібен VPN. Для цього використовуй WireGuard. Він у ядрі, це частка коду, він робить криптографію як слід, без нічого, що треба узгоджувати, і без нічого, що можна зіпсувати, і він датаграмний протокол за задумом. ssh -w дає тобі tun-пристрій через наявний сеанс SSH однією командою, а OpenVPN є зрілою, перевіреною аудитом версією форми DTLS поверх tap, описаної вище. Усі три кращі в цьому за будь-що, збудоване тут.\nБудуй це, бо хочеш знати, що всередині речі, яку купуєш. Не тому, що це було дотепно.\nЩо це насправді показує: вихідний трафік з боку зловмисника Ось причина читати допис про збирання, яким тобі щойно сказали не користуватися. Розверни його й подивися зсередини власної мережі, як людина, що щойно туди потрапила з root. Кожне справжнє проникнення закінчується там, через вкрадений ключ, втечу з контейнера, невиправлений сервіс, інсайдера. Питання, яке тоді вирішує, наскільки поганим буде день, не «що вони можуть запустити», бо запустити вони можуть що завгодно. Воно звучить так: «що може вийти назовні, і чи вирішив ти це до того, як вони прийшли».\nЯкщо вихід відкритий за замовчуванням, відповідь: усе, і тепер ти мало що можеш зробити. Нічого тут не було екзотичним. pppd, ncat, socat і ip є підписаними пакетами дистрибутива, вже наявними на машині; tap-прокладка є п’ятдесятьма рядками стандартної бібліотеки. Один дозволений вихідний порт, і це 443, той, що кожна мережа відкриває за замовчуванням, і є маршрутизований канал з твоєї мережі до чиєїсь іншої, зашифрований, автентифікований, що переживає перезапуски, переносить IPv4 і IPv6 і на твоїй межі не відрізняється від будь-якого сеансу HTTPS, які твої користувачі відкривають десять тисяч разів на день. Зроби його tap і з’єднай мостом, і те, що покинуло будівлю, вже не маршрут. Це сегмент.\nСканерові нема чого ловити: немає сигнатури шкідливого коду, бо немає шкідливого коду, немає дивного протоколу, бо це звичайне рукостискання TLS на 443, немає незвичного двійкового файлу, бо кожен встановив твій власний менеджер пакетів. Проксі журналює з’єднання й кількість байтів, і обидва виглядають як робота.\nІ місце призначення навіть не фіксоване. Сокет не мусить закінчуватися там, куди врешті потрапляють пакети, бо носій можна спрямувати через проксі, ретранслятор, який є нічим іншим, як двома з’єднаннями й каналом між ними, і наступний розділ збирає його одним рядком shell. ncat приймає --proxy з --proxy-type http, socks4 або socks5, тож сеанс TLS, який бачить твоя межа, закінчується там, через що зловмисник велів йому підключатися: внутрішній проміжний хост, дозволена кінцева точка SaaS, яка випадково пересилає CONNECT, хмарний ретранслятор, а тунель їде звідти далі кудись, чого ти ніколи не бачиш. HTTP CONNECT і SOCKS обидва роблять це за задумом, бо саме для цього проксі й існує. Тож запис у списку дозволених для місця призначення, якому ти довіряєш, завжди є лише довірою до місця призначення і до всього, куди воно перешле, а цього ти не контролюєш і не можеш перелічити. Кінцева точка в журналі твого міжмережевого екрана є проксі. Дальнім кінцем вона ніколи не була.\nТож незручна правда: щойно хтось усередині з root, а вихід дозвільний, тунель уже не та річ, якій ти можеш запобігти. Частини встановлено, вихід відчинено, і він навіть не веде туди, куди здається. Твій єдиний шанс зробити це важким був до того, як прийшов зловмисник, на межі, коли ти вирішував, що може виходити.\nЦе заборона вихідного трафіку за замовчуванням, і в цьому весь урок. Вихід заблокований за замовчуванням; короткий, поіменний список дозволених, де людина обґрунтувала кожне місце призначення й порт; усе інше відхилено, записано в журнал і супроводжено тривогою. Не тому, що це намертво зупиняє рішучого зловмисника, бо дозволене місце призначення є дозволеним тунелем, а тому, що альтернатива означає не мати взагалі жодного рішення, яке можна застосовувати. Політика вихідного трафіку, записана як список дозволених портів, є політикою про номери портів. Вона ніколи не була політикою про те, що виходить, і щойно хтось має root, номери портів є всім, що вона захищає.\nЦе той самий висновок, що й у дописі про ping, який будує тунель з ехо ICMP, і в дописі про протокольні помічники, де твій міжмережевий екран сам відкриває дірки. Три шляхи всередину, один висновок: контроль, який ти, як думав, мав, був над протоколами, і жоден із цих протоколів не є тим, чим себе називає. Межа, вирішена заздалегідь і з забороною за замовчуванням, є єдиним засобом контролю, який колись був справжнім.\nПроксі є двома з’єднаннями й каналом між ними Варто побачити, як мало важить ретранслятор, бо це пояснює, чому про дальній кінець не можна судити з ближнього. Проксі не є особливим програмним забезпеченням. Це одне з’єднання, приєднане до іншого каналом. Найстаріша форма використовує іменований канал, FIFO, щоб переносити зворотний напрямок: один ncat слухає, другий підключається далі, а FIFO прокладає між ними шлях відповіді.\nmkfifo backpipe ncat -l 7000 0\u0026lt;backpipe | ncat farend.example.net 7100 1\u0026gt;backpipe Читай це як сантехніку: вихід слухача тече в другий ncat і далі до дальнього кінця, а відповіді повертаються через FIFO до клієнта. Два сокети, один канал, обидва напрямки, і з’єднання клієнта закінчується тут, на ретрансляторі, тоді як пакети їдуть далі до farend і назад. Я запустив саме це через loopback із третім ncat, що відлунював на дальньому кінці, і рядок, надісланий усередину, повернувся, пройшовши весь шлях.\nРетранслятор є двома сокетами, з’єднаними каналом, тож кінцева точка зсувається Одне з’єднання всередину, інше назовні, канал між ними. Це і є проксі. клієнт відкриває сеанс TLS РЕТРАНСЛЯТОР: місце призначення в журналі межі ncat -l 7000 завершує клієнта ncat farend відкриває новий перехід дальній кінець справжня інша сторона stdout backpipe (FIFO) несе відповіді назад клієнт → ретранслятор ретранслятор → дальній кінець З’єднання клієнта закінчується на ретрансляторі. Пакети ні. Твій міжмережевий екран записав з’єднання з цією машиною. Куди вона пересилає, вирішується всередині, а три такі в ланцюжку ставлять справжній дальній кінець за три канали, і журнал кожного переходу показує лише охайне з’єднання з наступним. Ретранслятор складається з двох сокетів і каналу між ними. Слухач завершує з\u0026rsquo;єднання клієнта. Другий netcat відкриває нове з\u0026rsquo;єднання далі, а FIFO переносить між ними зворотний напрямок. Сеанс TLS клієнта закінчується тут, на ретрансляторі, і починається новий перехід, тож місце призначення, яке записала твоя межа, є цією машиною, а пакети їдуть далі туди, куди вона пересилає. З\u0026rsquo;єднай три в ланцюжок, і дальній кінець за три канали звідси, а міжмережевий екран кожного переходу бачить лише охайне локальне з\u0026rsquo;єднання з наступним. Ncat зробить те саме одним процесом, запускаючи через exec подальше з’єднання для кожного клієнта, що приходить:\nncat -l 7000 --keep-open --sh-exec \u0026#39;ncat farend.example.net 7100\u0026#39; Та сама форма, менше частин: сокет слухача з’єднано з сокетом запущеного ncat каналом, який shell прокладає між ними. З’єднай три в ланцюжок, і тунель перетинає три мережі, завершуючись і відкриваючись знову на кожній, а міжмережевий екран кожного переходу записує охайне локальне з’єднання з наступним і нічого далі.\nОсь і весь фокус, і тому журнал межі не є доказом місця призначення. Кожен ретранслятор є дальнім кінцем, наскільки може судити машина перед ним, а справжній інший кінець за стількома каналами, скільки їх є, і за ними ніхто не стежив.\nТепер постав ці ретранслятори на машини, що не належать зловмисникові.\nРетранслятори в ланцюжку через скомпрометовані хости відмивають кінцеву точку Кожен перехід є чужою машиною, і кожен власник бачить лише середину зловмисник єдина його машина ретранслятор 1 мережа іншої фірми ретранслятор 2 захоплений VPS ретранслятор 3 домашній маршрутизатор призначення куди все йшло бачить: 1←→2 бачить: 2←→3 бачить: 3←→ціль Жоден перехід не бачить далі двох своїх сусідів. Ні джерела, ні призначення, лише середина. Трафік відмивається через ланцюжок чужих систем, і на кожній працює той самий ретранслятор із двох сокетів і каналу під керуванням зловмисника. Тому вихідний трафік зламаного хоста так часто веде до іншої жертви: двадцять років C2. Кожен перехід є скомпрометованим хостом, машиною іншої фірми, захопленим VPS, домашнім маршрутизатором, на якому працює той самий ретранслятор із двох сокетів і каналу під командою й керуванням зловмисника. Жоден перехід не бачить далі за двох своїх сусідів: власник ретранслятора 2 бачить з\u0026rsquo;єднання від ретранслятора 1 і з\u0026rsquo;єднання до ретранслятора 3, і нічого більше. Трафік відмивається через ланцюжок чужих систем, і саме тому вихідний трафік скомпрометованого хоста так часто веде до іншої жертви, а не до зловмисника. Кожен власник уздовж цього ланцюжка бачить лише з’єднання від попереднього переходу до наступного: ні джерела, ні призначення, лише середину. Це не нова ідея, яку я комусь підкидаю. Так ланцюжки півотів і мережі C2 працюють уже двадцять років, і тому вихідний трафік скомпрометованого хоста так часто веде до іншої жертви, а не до зловмисника. Твої журнали показують, що ти говорив із машиною десь у центрі обробки даних. Чия вона і куди вона пересилає, в них ніколи не було.\nЗахисна вага вміщається в один рядок: ти не можеш ні встановити, ні довіряти місцю призначення, яке ти не обмежив заздалегідь. На той час, коли трафік виходить, адреса, на яку він виходить, не каже тобі майже нічого, бо це ретранслятор на чужій машині, а справжня кінцева точка відмита за ним.\nКанал ніколи не був продуктом Що мене вражає, коли я все це розібрав, так це як мало тут нового і як багато з цього продається.\nRFC 1661 датований 1994 роком. pppd є в кожному дистрибутиві Linux уже тридцять років, модулі ядра є вісьмома файлами в одному каталозі, а все те, що робить VPN VPN-ом, віртуальний інтерфейс, узгоджений канал, зашифрований носій, маршрут, це чотири програми й сертифікат. Ніщо з цього не складне й не таємне. Вони задокументували кожен байт і віддали його задарма, а між тобою й цим виросла ціла галузь, що продає ті самі чотири частини в коробці з ліцензією на кожне робоче місце й контрактом підтримки, термін якого спливає. Частини не стали кращими. Їх загорнули.\nЦе не аргумент за те, щоб запускати це в продакшені. Я щойно сказав тобі цього не робити. Це аргумент за те, щоб знати, що в коробці, яку ти купуєш, бо того дня, коли постачальник змінить ліцензування, його куплять або він закриє твою модель, різниця між поганим кварталом і поганим роком полягатиме в тому, чи хтось у тебе знає, з чого ця штука була зроблена.\nВиділи вечір і збери тунель з частин. Подивися, як LCP домовляється, розірви канал і подивися, як він повертається, забери сертифікат і подивися, що зупиняється. Потім знову прочитай технічний опис свого постачальника VPN і подивися, скільки з нього ти впізнаєш.\nТой самий вечір купує й другу половину. Якщо маршрутизований канал із твоєї мережі є чотирма встановленими програмами й сертифікатом, людину, що щойно отримала root на одній із твоїх машин, не стримує те, наскільки важко збудувати тунель. Це не важко. Її стримує лише те, що ти вирішив, до її приходу, можна випускати назовні. Збери це один раз, і ти перестанеш думати про вихідний трафік як про щось, що забезпечує продукт, і почнеш думати про нього як про рішення, яке ти або ухвалив, або ні.\nМагії тут небагато. Більша частина цього є 1994 роком під шаром фарби, і в 1994 році нема нічого поганого. Він працював, він був задокументований, і він досі працює.\nRFC 1661 — The Point-to-Point Protocol (PPP), 1994. Визначає канал, LCP і родину протоколів керування мережею, що стоять над ним.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 2637 — Point-to-Point Tunneling Protocol (PPTP), що переносить PPP усередині GRE.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 3931 — Layer Two Tunneling Protocol version 3, стандартний нащадок протоколу, що переносить PPP усередині UDP.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\npppd(8) — сторінка довідки демона PPP. Джерело для pty, notty, local, passive, noipdefault, proxyarp, record, receive-all, опцій ехо LCP і значення asyncmap за замовчуванням: «If no asyncmap option is given, the default is zero, so pppd will ask the peer not to escape any control characters.» Цитати тут прочитано з man pppd у ppp 2.5.1.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 1662 — PPP in HDLC-like Framing. Послідовність-прапорець, правило заповнення октетів і Async-Control-Character-Map: «Each frame begins and ends with a Flag Sequence, which is the binary sequence 01111110 (hexadecimal 0x7e).»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nOlaf Titz, Why TCP Over TCP Is A Bad Idea — стандартне пояснення накладання повторних передач, що відкривається саме цією збіркою. Початкова адреса більше не віддає статтю; це знімок з Internet Archive.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 5072 — IP Version 6 over PPP. IPV6CP і 64-бітні ідентифікатори інтерфейсів, незалежно від IPCP.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 1332 — The PPP Internet Protocol Control Protocol (IPCP), який узгоджує адреси IPv4 на кожному кінці каналу.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 1994 — PPP Challenge Handshake Authentication Protocol (CHAP). Доводить особу співрозмовника; нічого не шифрує.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 3079 — Deriving Keys for use with Microsoft Point-to-Point Encryption (MPPE). Конструкція RC4 з ключем від обміну MS-CHAP і причина, з якої PPTP не є живим варіантом.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNcat Users\u0026rsquo; Guide — connecting through a proxy — --proxy і --proxy-type для HTTP CONNECT і SOCKS 4/5, тож носій TLS закінчується на проксі, а не на дальньому кінці тунелю.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNcat Users\u0026rsquo; Guide — опції --ssl, --ssl-verify і --ssl-trustfile, а також режими слухання й UDP. Тут перевірено версію Ncat 7.92.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nUniversal TUN/TAP device driver — власна документація ядра для /dev/net/tun, TUNSETIFF і різниці між tun і tap.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nPEP 784 — Adding Zstandard to the standard library, тому compression.zstd не потребує пакета в Python 3.14. Тут виміряно з Python 3.14.7 і zstd 1.5.7.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nzstd(1) — режим --train і --maxdict для побудови словника, який мусять завантажити обидва кінці.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 7457 — Summarizing Known Attacks on TLS and DTLS, що охоплює CRIME і загальну форму витоку довжини при стисненні перед шифруванням.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nOpenVPN — the VORACLE attack — той самий витік проти VPN, що стискає перед шифруванням, і причина, з якої OpenVPN тепер радить не використовувати стиснення.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\n","permalink":"https://blogs.damiendye.uk/uk/networking/a-vpn-out-of-parts-and-what-egress-really-is/","summary":"VPN складається з двох робіт: щось створює віртуальний канал, а щось переносить байти. PPP робить першу з 1994 року й не зважає, якою є друга, тому PPTP, L2TP і кожна комутована лінія, якою ти колись користувався, це той самий протокол поверх різних носіїв. Netcat і є носієм. Тут це побудовано обома способами. Спершу pppd: опція pty і що вона робить із псевдотерміналом, TCP-версія, яку всі пробують першою, чому потоковий протокол усередині TCP розвалюється при втратах, UDP-версія, якою і слід користуватися, асинхронне кадрування HDLC і ACCM, що вирішує, скільки пропускної здатності йде на екранування керівних символів, адресація й маршрутизація та IPV6CP, і як утримати канал, коли носій помирає, нічого тобі не сказавши. Потім той самий тунель зовсім без PPP: tap-пристрій, одна датаграма на кадр через UDP, префікс довжини, який через TCP доводиться вигадувати самому, tun проти tap і мости. Потім частина, на яку netcat не має відповіді: обгортання носія в TLS за допомогою ncat, stunnel і openssl, і в DTLS за допомогою socat, а це саме та форма, яка тобі потрібна. Насправді це ніколи не правильний інструмент, і в цьому суть: він показує, як поводиться вихідний трафік, коли зловмисник має root у твоїй мережі, а вихід не був заблокований за замовчуванням, і чому заборона за замовчуванням на межі є єдиним засобом контролю, який колись був справжнім.","title":"VPN із деталей: PPP, tap-пристрої та netcat"},{"content":"На твоєму брандмауері є функція, яка читає вміст твоїх пакетів, знаходить у тексті IP-адресу й номер порту і відкриває для них вхідний отвір. Жодного правила. Жодного запиту на зміну. Жодного запису в журналі, який ти колись подивишся. На більшості обладнання, де вона є, вона увімкнена за замовчуванням, і так уже добрих двадцять п’ять років, а галузь, яка її туди поставила, останні двадцять тихо доходила висновку, що її слід вимкнути: у документах стандартів, у значеннях ядра за замовчуванням і в чотирьох окремих раундах термінових патчів для браузерів.\nВона зветься протокольним помічником (protocol helper), або Application Level Gateway, ALG, session helper, fixup, inspection engine, conntrack helper. Те саме. Вона існує, бо NAT зламав кілька протоколів, що записують адреси у власне корисне навантаження, і хтось вирішив, що найменш погане рішення: навчити транслятор читати й переписувати це навантаження на льоту.\nОсь частина, яка мала б тебе зупинити.\nПомічник не може знати, хто написав текст. Він читає байти зі з’єднання й діє за ними, негайно, нікого й нічого не питаючи. Він ніяк не може дізнатися, чи рядок PORT 192,168,1,29,4,0 створив справжній FTP-клієнт, що робить справжню передачу, чи прихована форма на вебсторінці, яку твій користувач відкрив випадково. У мережі вони виглядають однаково, бо в мережі вони і є однакові. Тож незнайомець в інтернеті, який може вмовити будь-що у твоїй мережі видати потрібні байти (браузер, чат-клієнт, будь-що, що надішле сказане), отримує право вибрати, який вхідний порт відкриє твій брандмауер і куди.\nЦе не баг у парсері одного вендора. Це те, що функція робить: пристрій безпеки бере вказівки щодо конфігурації з ненадійних даних і застосовує їх негайно. Звіти про баги й CVE є лише подробицями поверх цієї форми.\nSamy Kamkar показав браузерну версію в січні 2010 року1, значно кращу в жовтні 2020 року2, а через три місяці Armis розширили її так, що відкритий порт навіть не мусить бути на машині, де клацнули: він може бути на твоєму принтері, камері чи логічному контролері двома VLAN далі3. Тим часом IETF записала, що їх слід вимикати за замовчуванням4, Linux вимкнув їх у ядрі5, а вендори браузерів випустили список заблокованих портів, який майже рядок у рядок читається як перелік модулів conntrack у Linux6. Кожне з цього є виправленням, застосованим деінде, бо те, що насправді треба було виправити, сидить у коробці, яку ніхто не збирається патчити.\nВисновок, до якого я дійшов: протокольні помічники мають бути вимкнені за замовчуванням усюди і вимкнені фактично в кожній мережі, за яку ти відповідаєш. Не налаштовані. Не обмежені довіреними підмережами як перший крок. Вимкнені, з двома-трьома справжніми винятками, записаними й датованими, так само, як ти документував би будь-яке інше вхідне правило, бо саме цим вони й є.\nДалі йдуть механізм, атаки в тому порядку, в якому їх знайшли, позиція щодо відповідності вимогам (у Великій Британії це пряме порушення контролю, який ти, можливо, вже маєш) і команди, щоб усе виправити.\nЩо з цього має незнайомець Почни з наслідку, бо механізм легше сприймати всерйоз, коли вже бачив рахунок. Хтось відкриває посилання. Це весь його внесок. Сторінка запускає JavaScript, який говорить із сервером нападника, а той сервер формує розмову (доповнює її, вимірює, підтверджує одні частини й не підтверджує інші), поки один сегмент не прийде на твій брандмауер, виглядаючи точнісінько як перше повідомлення VoIP-дзвінка. Твій брандмауер вірить йому, бо вірити й є функцією. Він створює вхідне відображення, і нападник під’єднується прямо назад.\nУ версії 2020 року порт відкривається на машині, де клацнули, тож кожна служба, прив’язана на цьому хості, досяжна з інтернету, доки живе відображення2. Спільний доступ до файлів. Віддалений робочий стіл, який ніхто не збирався лишати слухати. Щодо Fisher-Price OS (Windows) Armis зробили очевидне зауваження: дістанься порту спільного доступу до файлів, і ти за один непатчений хост від шляху, яким пройшов WannaCry3.\nВерсія 2021 року гірша, і саме вона має вирішити справу. Оскільки помічник H.323 обробляє переадресацію викликів, одне повідомлення може назвати третю адресу, а не один з кінців з’єднання, тож нападник більше не обмежений машиною, де клацнули, і може пройтися твоїм внутрішнім діапазоном, відкриваючи порт на кожній адресі й читаючи все, що відповість. Armis показали саме це: порт 80 по діапазону, зібрані банери, вибрана ціль, потім відкритий сирий порт друку принтера і надіслане на нього завдання. Їхня друга демонстрація дісталася логічного контролера через його неавтентифікований порт керування і переписала його програму3.\nНа жодному з цих пристроїв не експлуатували вразливість. Усі вони працювали точно так, як задумано, і єдине, що відмовило, це межа, яка відмовила, роблячи рівно те, на що її налаштували. Подумай також, хто всередині цієї межі. Не лише твої працівники: відвідувач у гостьовій мережі, ноутбук підрядника, будь-хто з браузером. Атаці не потрібні облікові дані, плацдарм чи шкідливе ПЗ, бо браузер і є засобом доставки, і він уже встановлений і вже довірений.\nБрандмауер існує для того, щоб ніщо зовні не починало розмову з будь-чим усередині, якщо ти цього не дозволив. Помічник є винятком, наданим на підставі рядка в пакеті.\nЩо таке протокольний помічник насправді Звичайний NAT є тупою, чесною річчю. Приходить пакет, він переписує адресу й порт джерела в заголовку, записує рядок, щоб відповідь можна було розвернути назад, і пересилає його. Він ніколи не дивиться нижче транспортного заголовка і не знає й не зважає, чи байти всередині є вебзапитом, запитом до бази даних чи фотографією собаки.\nЦе працює, поки протокол не записує адресу у власне корисне навантаження. FTP це робить, відкритим текстом у потоці команд: під’єднайся назад до мене за цією адресою, на цей порт. SIP робить це в полях Via, Contact і SDP, H.323 це робить, і IRC робить це для прямих передач. Усі вони були спроєктовані, коли адреса хоста була його адресою і кожна машина могла дістатися будь-якої іншої, і за такого припущення це розумно. Постав транслятор на шляху, і адреса в корисному навантаженні стає брехнею.\nЗвичайний транслятор читає заголовок. Помічник читає навантаження і відкриває отвір за знайденим. Та сама точка шляху. Один з них читає і конверт, і лист. Звичайний транслятор Протокольний помічник Вхідний пакет [IP hdr 192.168.1.29:51000] [ навантаження ] Вхідний пакет [IP hdr 192.168.1.29:51000] [ PORT 192,168,1,29,4,0 ] Що він робить Переписує адресу й порт джерела в заголовку Виправляє контрольні суми Пише один рядок, щоб розвернути відповідь Пересилає пакет Що він робить Усе це, а потім читає навантаження і знаходить у ньому адресу й порт переписує і їх, зсуває порядкові номери пише другий рядок: дозволити це вхідне з’єднання Таблиці, які він веде Лише таблиця трансляції. Один рядок, один потік, оборотно. Ніщо в навантаженні не додасть рядок. Таблиці, які він веде Таблиця трансляції і таблиця очікувань. Рядок у другій є вхідним правилом брандмауера. Друга таблиця і є всією темою. Вона каже: коли ззовні прийде з’єднання за цим шаблоном, пропусти. Ніхто її не писав і не затверджував. Два пристрої в тій самій точці шляху. Звичайний транслятор переписує заголовок і ніколи не читає корисне навантаження. Помічник читає корисне навантаження, переписує знайдену там адресу і додає рядок у другу таблицю, що згодом дозволяє вхідне з\u0026rsquo;єднання. Ця друга таблиця і є темою цього допису. Так і винайшли помічника. Він читає корисне навантаження, знаходить адресу, переписує її на публічну, а потім робить те, що всі пропускають: він створює правило, яке дозволяє вхідне з’єднання, щойно описане корисним навантаженням. Netfilter називає це правило очікуванням (expectation). Cisco називає його pinhole, або NAT door7. Palo Alto називає його dynamic NAT pinhole8. Juniper називає його gate. Інше слово, той самий об’єкт: отвір, пробитий у межі на підставі чогось, прочитаного з пакета.\nIETF назвала цей шаблон раніше, ніж з’явилася більшість цих продуктів. ALG, каже RFC 2663, є «application specific translation agent», що «may interact with NAT to set up state [\u0026hellip;] modify application specific payload and perform whatever else is necessary to get the application running across disparate address realms»9. Прочитай це, тримаючи в голові супротивника: whatever else is necessary, кероване application specific payload. А вже в лютому 2002 року таксономія проміжних пристроїв IETF називала механізм тим, чим він є, зазначаючи, що деякі ALG створюють проблеми з фрагментацією, «although in this case the problem is arguably the result of a deliberate layer violation (e.g., mucking with the application data stream of an FTP control connection by twiddling TCP segments on the fly)»10.\nНавмисне порушення рівнів. Смикання TCP-сегментів на льоту. Ось механізм, названий людьми, які каталогізували його двадцять чотири роки тому, і кожна атака тут проходить прямо крізь нього.\nОчікування і є вся проблема Очікування є заздалегідь дозволеним з’єднанням: кортеж з адреси джерела, порту джерела, адреси призначення, порту призначення і протоколу, де одні поля заповнено, а інші лишено шаблонами, плюс таймер. Коли приходить відповідний пакет, брандмауер вважає його пов’язаним з наявним дозволеним потоком, а не новим вхідним з’єднанням, пропускає його і використовує очікування. На здоровій системі їхній список порожній, і в цьому суть: очікування мають бути рідкісними, короткоживучими і викликаними чимось, про що внутрішній хост справді просив.\nОчікування є вхідним правилом з пропусками, і пропуски є моделлю безпеки Один об’єкт, п’ять полів і таймер. Які поля порожні, і є вся модель безпеки. expect proto=tcp src=\u0026lt;хто під’єднається\u0026gt; sport=\u0026lt;any\u0026gt; dst=\u0026lt;куди потрапить\u0026gt; dport=\u0026lt;який порт\u0026gt; timeout=300 Помічник Хто під’єднається Куди потрапить Який порт Найгірший випадок FTP сервер, прив’язано клієнт, прив’язано з навантаження будь-який порт одного хоста IRC будь-яка адреса клієнт, прив’язано з навантаження будь-який порт, від будь-кого H.323 будь-яка адреса з навантаження з навантаження будь-який порт будь-якого хоста Синє: задає брандмауер з видимого йому з’єднання.\u0026#160;\u0026#160;Золоте: дає навантаження.\u0026#160;\u0026#160;Рожеве: відкрите за задумом. 1. Які поля є шаблонами? Шаблон у джерелі означає, що отвір не закріплено за далеким кінцем розмови, яка його створила. Будь-хто, хто першим дістанеться твого зовнішнього інтерфейсу, може його зайняти. IRC-помічник мусить так робити, бо протокол справді не знає, хто під’єднається, а це чесний опис протоколу, якому взагалі не слід допомагати. 2. Хто дав значення? Не брандмауер. Їх дало корисне навантаження, а його написав той кінець розмови, який помічник читав у той момент. У цьому реченні немає жодної автентифікації. 3. На кого може вказувати отвір? У більшості помічників на хост, що його створив. У H.323 на будь-що з навантаження, бо переадресація називає третю сторону. Очікування є правилом брандмауера, де деякі поля лишено порожніми і є таймер. Три питання вирішують, чи воно безпечне, і саме ці три варто ставити будь-якому помічникові на будь-якій платформі. Дві з цих відповідей гірші, ніж люди очікують. Значення беруться з корисного навантаження, а не з брандмауера, тож вони беруться з того кінця розмови, який помічник саме читав. А в IRC-помічника адреса джерела є шаблоном за задумом, бо протокол не може знати, хто під’єднається: він «creates expectations whose destination address is the client address and source address is any address»11.\nОсь речення, яке варто нести далі. Очікування є вхідним правилом брандмауера, створеним на швидкості лінії ненадійною стороною, без жодного запису про те, хто про нього просив і навіщо. Тримай його до розділу про Cyber Essentials, бо там воно становить увесь аргумент.\nЯк задумано: FTP каже PORT, і брандмауер вірить Візьми найпростішого помічника і подивися, як він працює правильно, бо атака є тією самою послідовністю з одним заміненим учасником. Активний FTP використовує два з’єднання. Клієнт відкриває керувальне з’єднання до сервера на порт 21 і дає йому команди простим ASCII, а коли потрібна передача, відкриває сокет, що слухає, і надсилає команду PORT з адресою й портом, куди під’єднатися назад, і тоді сервер під’єднується вхідним з’єднанням. Це протокол за специфікацією, і він так працює з 1985 року. У мережі це шість чисел, чотири для адреси і два для порту, старший байт першим:\nPORT 192,168,1,29,4,0 Це 192.168.1.29, порт 1024, бо 4 × 256 + 0 = 1024.\nАктивний FTP через помічника: чотири кроки, усі правильні, і перевірено лише дві речі Активний FTP, точно за специфікацією, і що перевірили, перш ніж відкрити отвір FTP-клієнт 192.168.1.29 Брандмауер + помічник 203.0.113.10 FTP-сервер 198.51.100.7 1\u0026#160;\u0026#160;вихідне керувальне з’єднання на порт 21: дозволено, почалося всередині 2\u0026#160;\u0026#160;клієнт слухає, потім пише власну адресу в потік PORT 192,168,1,29,4,0 3\u0026#160;\u0026#160;помічник діє переписує адресу, створює очікування PORT 203,0,113,10,4,0 expect src=198.51.100.7 dst=192.168.1.29 dport=1024 4\u0026#160;\u0026#160;сервер під’єднується ззовні, очікування збігається, дані йдуть Подивися, що брандмауер перевірив, перш ніж став можливим крок четвертий. Що байти були в з’єднанні на порт 21. Що вони починалися з чотирьох символів PORT. Це все, бо більше нічого перевірити. FTP не несе ні підпису, ні сесійного ключа, нічого іншого для перевірки. Активний FTP через помічника, правильно на кожному кроці. Зверни увагу, що брандмауер перевірив, перш ніж відкрити отвір: що байти були на порту 21 і починалися з PORT. Нічого більше, бо більше нічого перевірити. Помічник стежить за цим потоком, помічає PORT, переписує адресу з приватної на публічну, коригуючи порядкові номери, бо рядок змінив довжину, і створює очікування, що дозволяє вхідне з’єднання сервера на названий порт. Справді корисно, цілком розумно з огляду на обмеження 1994 року і правильно на кожному кроці.\nНічого іншого не перевірили, бо нема чого більше перевіряти: FTP не може запропонувати ні підпису, ні сесійного ключа, ні будь-якої автентифікації, а помічник читає потік, учасником якого він не є.\nУ цьому коді живе ще одна річ, і це попередження, яке автори написали самим собі. Якщо адреса в команді PORT не є власною адресою клієнта (якщо клієнт просить сервер під’єднатися зовсім кудись інде), помічник Linux за замовчуванням відмовляє, і коментар у коді каже чому: «DMZ machines opening holes to internal networks, or the packet filter itself»12. Встанови параметр модуля loose, і ця відмова зникне. Люди, які написали помічника, точно знали, що його можна змусити робити. Вони випустили безпечне значення за замовчуванням і перемикач, і через двадцять п’ять років перемикач досі на місці.\nНе як задумано: ті самі байти з вебсторінки Помічник читає потік байтів і зіставляє шаблон. Він не перевіряє і структурно не може перевірити, що на тому кінці справді клієнт, за якого той себе видає. Samy Kamkar опублікував наслідок у січні 2010 року і назвав його NAT Pinning1. Механіка соромно мала: постав форму на вебсторінку, спрямуй її на сервер нападника на порт 6667 і влаштуй тіло так, щоб воно містило запит на прямий чат.\nPRIVMSG samy :^ADCC CHAT samy 3325256705 22^A Браузер надсилає її, вважаючи, що робить HTTP POST. IRC-помічник маршрутизатора, стежачи за з’єднанням на порту 6667, бачить, як проходить DCC CHAT з адресою й портом, і робить те, для чого його створено. Адреса там 198.51.100.1, записана одним десятковим числом, бо так її кодує протокол, а порт 22; жоден символ у цьому рядку не обрала жертва. Варіант для FTP є тією самою ідеєю, спрямованою на порт 21, з рядком відповіді пасивного режиму замість цього1.\nЖодного міжсайтового скриптингу. Жодної підробки запитів у звичному сенсі. Жодної вразливості в браузері. Браузер зробив те, що роблять браузери, брандмауер зробив те, на що його налаштували, а результат є перенаправленням порту для нападника.\nДва стовпці, яких помічник не розрізнить, бо в мережі нема чого розрізняти Протокол як задумано і вебсторінка. Помічник бачить одну картину. Справжній клієнт Прихована форма на сторінці Що це запускає Людина відкриває FTP- чи IRC-клієнт і під’єднується Клієнт відкриває сокет і називає його в потоці PORT 192,168,1,29,4,0 Що це запускає Людина відкриває сторінку. Це весь її внесок. Форма шле POST на сервер нападника на той самий порт PORT 192,168,1,29,4,0 Що перевіряє помічник порт призначення збігається:\u0026#160;так ключове слово на початку даних:\u0026#160;так синтаксис розбирається:\u0026#160;так адреса й порт присутні:\u0026#160;так Що перевіряє помічник порт призначення збігається:\u0026#160;так ключове слово на початку даних:\u0026#160;так синтаксис розбирається:\u0026#160;так адреса й порт присутні:\u0026#160;так вхідний порт відкрито, однаково, в обох стовпцях Відрізняються три речі, яких помічник не бачить. Чи був клієнт. Чи користувач цього хотів. Хто обрав адресу й порт. Жодна з цих речей не лишає сліду в мережі, тож жодна ретельність парсера їх не поверне. Обидва стовпці бездоганні. Той самий помічник, те саме зіставлення шаблону, те саме очікування, і ніде на картинці немає FTP- чи IRC-клієнта. Кожна перевірка помічника однаково проходить в обох стовпцях, бо в мережі немає різниці, яку можна знайти. Це був 2010 рік. Шістнадцять років тому. Вендори браузерів додали порти IRC до свого списку заблокованих, що закрило саме ці двері й лишило кімнату, в яку вони вели, точно такою, як була.\nСкажімо прямо, бо це губиться під назвами вендорів і номерами CVE. Атаки не експлуатують ваду в помічниках. Вони використовують помічників правильно. Кожен пакет правильно сформований, і кожна перевірка чесно проходить. Функція робить свою роботу, і її робота і є проблемою.\nВирівняти байти там, де їх прочитає помічник Між NAT Pinning і чимось значно гіршим стояла справжня перешкода, і спосіб її обійти є найдотепнішим тут. Більшість помічників не зіставляють шаблон будь-де в потоці: вони перевіряють, що ключове слово стоїть на початку частини даних пакета, бо так виглядає справжнє повідомлення протоколу і так ніколи не виглядає тіло HTTP, бо тіло приходить після купи заголовків, яких нападник не контролює. Samy цитує власну поведінку ядра: обробник здається, якщо метод не стоїть на початку даних2.\nТож нападникові треба, щоб браузер видав сегмент, перший байт якого є ключовим словом. Заголовки він писати не може, але може писати тіло і зробити його якої завгодно довжини, що перетворює проблему на арифметику.\nЗсунути межу сегмента, поки ключове слово не стане там, де читає помічник Помічник читає перший байт сегмента. Тож нападник зсуває місця розриву сегментів. Як надіслав би браузер сегмент 1 POST / HTTP/1.1 Host: ... сегмент 2 ...заголовки... PORT 192,168,... сегмент 3 ...1,29,4,0 доповнення доповнення Ключове слово посередині сегмента 2, тож помічник проминає його й нічого не робить. Після того як нападник задав розмір сегмента або підтвердив лише частину потоку сегмент 1 POST / HTTP/1.1 Host: ... сегмент 2 ...заголовки й доповнення... сегмент 3 PORT 192,168,1,29,4,0 Тепер ключове слово є першим байтом сегмента. Помічник читає його і відкриває порт. Два важелі, і жоден не є атакою на TCP. Сервер нападника є одним кінцем з’єднання, тож він оголошує максимальний розмір сегмента для стеку жертви і вирішує, скільки потоку підтвердити. Підтверди частину, і жертва повторить передачу зі зсуву, який обрав нападник. Обидва є звичайним стандартним TCP, використаним навмисно. Чому доповнення важить. Помічник читає ключове слово протоколу лише тоді, коли воно є першим байтом сегмента, тож нападник, який контролює лише тіло, мусить зсунути межу сегмента, поки вона не впаде туди. Обидва важелі є звичайним TCP, використаним навмисно. Браузер надсилає великий запит з упізнаваним роздільником, захованим у тілі; сервер нападника перехоплює його, вимірює, скільки байтів заголовків прийшло спершу, і тепер знає зсув. Потім він або оголошує такий розмір сегмента, що потрібний байт стає на межу, або надсилає часткове підтвердження, щоб жертва повторила передачу, починаючи саме звідти, а Armis додають, що вікно TCP в цих підтвердженнях теж можна підробити, «in order to fully control how the TCP stream is to be segmented»3. Ось і весь трюк, і він не використовує нічого, крім далекого кінця з’єднання, яке відкрив власний браузер жертви.\nЩойно ти це маєш, браузер стає генератором пакетів, спрямованим у нутро твого брандмауера. Йому лише треба поставити правильні тридцять байтів на початок сегмента.\nРобота 2021 року пропустила більшу частину арифметики. З’єднання браузерного ретранслятора через TCP несе поле імені користувача, кероване нападником і надіслане рано, яке приймає переведення рядка й нульові байти; Armis показали захоплення, де це поле є \\r\\nPORT 192,168,1,29,4,0\\r\\n3. Гірше того, цей шлях узагалі не звірявся зі списком заблокованих портів браузера, тож єдиний захід, який галузь випускала двічі, просто обійшли.\nNAT Slipstreaming від початку до кінця Склади частини разом, і ось уся атака по порядку.\nВід кліку до вхідного з’єднання за шість кроків, і жоден не є вразливістю Шість кроків. Чотири є звичайним вебом і TCP. Один є твоїм брандмауером. Один є нападником. 1 Жертва відкриває сторінку Реклама, посилання в повідомленні, будь-що. Це вся участь користувача. звичайний веб 2 Сторінка дізнається внутрішню адресу Її видає медіаінтерфейс браузера або звужує вимір часу до типових адрес шлюзу. звичайний веб 3 Нападник вимірює шлях Завеликий запит з міткою і захоплення пакетів на тому кінці, щоб побачити, де розриви. звичайний TCP 4 Сторінка надсилає справжнє навантаження Доповнене так, щоб ключове слово стало на межу сегмента, як на попередній діаграмі. звичайний TCP 5 Твій брандмауер відкриває порт Помічник розпізнає повідомлення, переписує в ньому адресу і пише очікування. твій брандмауер 6 Нападник під’єднується ззовні На твою публічну адресу, на відображений порт. Очікування збігається, і брандмауер пускає всередину. твій брандмауер Порахуй вразливості, експлуатовані на машині жертви. Їх немає. Браузер був патчений. Операційна система була патчена. Нічого не встановлено, облікові дані не використано. Минули секунди, один клік, а єдина складова, що могла відмовити, була саме тією, яку збудували відмовляти. Повний ланцюжок, від кліку до вхідного з\u0026rsquo;єднання. Кроки з першого по четвертий є звичайною поведінкою вебу й TCP. Крок п\u0026rsquo;ятий є функцією брандмауера, що працює точно як задокументовано, і це єдина складова, яка могла відмовити. Загальний час: секунди. Дії користувача: один клік. Експлуатовані вразливості на машині жертви: жодної.\nХронологія розкриття сама по собі є доказом. Samy опублікував 31 жовтня 2020 року, а між 6 січня і 26 лютого 2021 року Chrome, Edge, Safari і Firefox усі випустили захисні заходи3, відстежувані як CVE-2020-16043, CVE-2021-23961 і CVE-2021-1799.\nЧетверо вендорів браузерів випустили термінові патчі для функції брандмауера. Armis пояснюють чому власними словами: «While the underlying issue of this attack is the way NATs are implemented (in various ways in routers and firewalls, throughout numerous vendors and applications), the easiest and fastest way to mitigate was through a patch to browsers»3.\nЦе не виправлення. Це чотири інші галузі, що кладуть мішки з піском довкола чужих дверей, бо самі двері ніхто ніколи не збирався міняти.\nПереадресація викликів H.323 вказує на будь-що у твоїй мережі Більшість помічників обмежують шкоду, самі того не бажаючи. FTP-помічник прив’язує призначення очікування до клієнта, що його створив, тож найгірше, що отримує нападник, це порт на машині, де клацнули: погано, але можна пережити.\nH.323 катастрофічний, і причиною є функція телефонії.\nТелефонна система мусить підтримувати переадресацію викликів, а переадресований виклик за визначенням є викликом до когось, кого немає на лінії. Тож сигналізація мусить назвати третю кінцеву точку, а помічник мусить відкрити шлях до неї, інакше переадресація взагалі не працює через NAT. Кожна серйозна реалізація це підтримує, а помічник netfilter документує таку поведінку явно, з діаграмою13. Armis прочитали код і сформулювали наслідок одним реченням: «a single H.323 packet sent over TCP port 1720 that initiates call forwarding can open a pinhole (named an expectation in the conntrack subsystem) to any TCP port of any internal IP on the network»3.\nПрив’язане до одного хоста або націлене на будь-що в мережі Більшість помічників дістають лише машину, де клацнули. Один узагалі не має меж. FTP, SIP, IRC H.323, з переадресацією викликів Очікування каже dst = хост, чиє з’єднання це створило Очікування каже dst = будь-яка адреса з корисного навантаження машина, де клацнули 192.168.1.29 принтер порт 9100 камера стандартний пароль контролер без автентифікації Радіус ураження Одна машина. Кожен її порт, поки живе правило, що досить погано, але можна пережити. Пристрій керований, патчений і має щось, що веде журнали. Радіус ураження Кожна адреса в мережі, по одному повідомленню. Пройди діапазон, прочитай банери, обери ціль. Жоден з цих пристроїв не робив запитів і не мав браузера. Уся різниця в переадресації викликів, і це функція, а не вада. Переадресований виклик іде до когось поза лінією, тож сигналізація називає третю сторону, і помічник слухається. Чому один помічник належить до іншої категорії, ніж решта. Прив\u0026rsquo;яжи очікування до хоста, що його створив, і нападник дістається однієї машини. Дозволь переадресації назвати третю сторону, як вимагає протокол, і він пройдеться всім твоїм діапазоном адрес. Будь-який TCP-порт. Будь-яка внутрішня адреса. З одного пакета, який нападник змусив надіслати браузер.\nТож атака перестає стосуватися машини жертви і стає скануванням портів твоєї внутрішньої мережі, запущеним з інтернету, з результатами, прочитаними через з’єднання, які дозволяє твій власний брандмауер. Суть саме в пристроях, які вона знаходить, бо вони не патчені, часто їх неможливо патчити, а вся модель безпеки для більшості з них звучить як він же всередині. Armis дали цьому число: через рік після публікації 97 % промислових контролерів, вразливих до одного набору критичних вад, досі не були патчені3. Ось реальність, яку тримає «всередині».\nТож H.323 є тим, з яким треба розібратися першим, на кожній платформі, бо він сягає далі за жертву, і водночас ним майже ніхто не користується, що робить його вимкнення найдешевшим покращенням безпеки тут. Вимкни його. Ніхто тобі не подзвонить.\nПомічника може запустити повідомлення, якого ти не надсилав Один варіант заслуговує на окремий розділ, бо він ламає припущення, за яке люди хапаються, коли шукають привід нічого не робити: добре, але тригер мусить прийти зсередини, тож контролюй браузери, і ти контролюєш проблему.\nНі.\nУ липні 2022 року David Leadbeater знайшов дві вади в IRC-помічнику Linux14. Модуль шукає рядок \\1DCC будь-де в потоці, а не перевіряє, що це правильно оформлене повідомлення в правильному місці, а його перевірка адреси порівнює з адресою чат-сервера, а не хоста за транслятором, тож публічно відома адреса публічного сервера її задовольняє. Склади це разом, і нападник надсилає клієнтові жертви ping між клієнтами (цілком звичайну річ, яку можна отримати від будь-якого іншого користувача) із запитом на пряму передачу всередині:\nPRIVMSG ExampleUser :^APING ^ADCC CHAT x 3325256705 22^A За правилами протоколу клієнт відповідає на ping, відлунюючи корисне навантаження назад, тож клієнт жертви слухняно надсилає цей рядок назовні, а помічник, стежачи за вихідним потоком, знаходить у ньому DCC і відкриває порт.\nПорт, відкритий повідомленням, якого жертва не писала Ніхто всередині не клацав. Власний клієнт жертви видав тригер на запит. Клієнт жертви 192.168.1.29 Брандмауер з IRC ALG читає потік Незнайомець будь-хто, будь-яка мережа 1\u0026#160;\u0026#160;звичайний ping із прихованим запитом на прямий чат PRIVMSG ExampleUser :^APING ^ADCC CHAT x 3325256705 22^A 2\u0026#160;\u0026#160;протокол каже відповідати на ping відлунням, і клієнт так робить 3\u0026#160;\u0026#160;обидві перевірки помічника проходять, а не мали б шукає ключове слово будь-де в потоці, а не на початку оформленого повідомлення звіряє адресу з чат-сервером, а не з хостом за транслятором 4\u0026#160;\u0026#160;очікування є, і порт 22 відкрито на вхід до жертви Усе в цій послідовності дотрималося специфікації. Незнайомець надіслав законне повідомлення. Клієнт відповів, як вимагає протокол. Помічник знайшов шаблон, для якого його написали. Ніхто нічого не вирішував, і в жодному журналі нічого не виглядатиме дивно. Тригер не мусить прийти від того, кому ти довіряєш, чи з браузера, чи від чогось, що користувач зробив навмисно. Кожна програма тут дотрималася своєї специфікації, а результат є відкритим портом і нічим дивним у жодному журналі. Ніхто всередині нічого поганого не зробив і ніхто не клацав. Клієнт дотримався специфікації, а специфікація разом з помічником створили вхідний отвір до порту 22 на машині всередині мережі. Це стало CVE-2022-2663, і опис у національній базі вразливостей чудово простий: «A firewall may be able to be bypassed when users are using unencrypted IRC with nf_conntrack_irc configured»15.\nЗверни увагу на слово unencrypted. Його теж тримай.\nВласна рекомендація автора є тим, до чого решта цього допису приходить з іншого боку: «Potentially entirely deprecate and remove nf_conntrack_irc, it\u0026rsquo;s unclear it has much use anymore»14.\nПарсери є другою половиною Усе досі стосувалося помічників, що працюють правильно. Є друга, окрема проблема: це парсери протоколів, написані на C, у швидкому шляху пристрою безпеки, на даних, які надають незнайомці, з тією частотою багів, якої й варто чекати. І це не проблема Linux чи дешевих маршрутизаторів: вона трапляється в кожного вендора, у коді, за який вони беруть найбільше.\nCVE Компонент Що робить підроблений пакет CVE-2018-0051 Junos SIP ALG Обвалює демон потоків на SRX і MX; також фіксує, що SIP ALG увімкнений за замовчуванням, крім моделей верхнього сегмента CVE-2018-15454 Cisco ASA / FTD SIP inspection Перезавантажує пристрій або навантажує CPU до краю CVE-2022-2663 Linux nf_conntrack_irc Відкриває порти крізь брандмауер, як описано вище CVE-2023-22412 Junos SIP ALG «Specific SIP messages» обвалюють демон потоків, відтворювано CVE-2023-22415 Junos H.323 ALG Запис за межами буфера від «specific H.323 packets» CVE-2024-21616 Junos SIP ALG Один SIP-пакет вичерпує пул NAT, тож справжній трафік перестає транслюватися CVE-2024-26851 Linux nf_conntrack_h323 Бітовий зсув поза діапазоном під час декодування бітової карти H.323 CVE-2024-39551 Junos H.323 ALG Пам’ять вичерпується «specific packets», поки трафік не зупиниться Кожна з них досяжна з мережі без автентифікації будь-ким, хто може доставити пакет до зовнішнього інтерфейсу, тобто всіма. І прочитай формулювання: specific SIP messages, specific H.323 packets, a specific SIP packet. Це не протокол, що відмовляє під навантаженням. Це хтось, хто навмисно будує пакет.\nПодумай над випадком Cisco. CVE-2018-15454 опублікували 31 жовтня 2018 року з оцінкою серйозності 8,6, її експлуатували в реальних атаках, а бюлетень казав, що оновлення ПЗ ще недоступне16. Захисний захід Cisco, у їхньому власному бюлетені, це no inspect sip. Тож відповіддю вендора на активно експлуатовану ваду у функції було вимкнути функцію, і це ставить питання, на якому побудована решта цього допису. Якщо вимкнути її є прийнятною відповіддю під час інциденту, на якій підставі вона увімкнена решту часу?\nПомічник працює, лише якщо ти не шифруєш Ця частина мала б сама по собі закінчити суперечку, і їй приділяють найменше уваги. Протокольний помічник читає твоє корисне навантаження і не може прочитати зашифроване. Тож помічник узагалі щось робить лише з трафіком, який ти вирішив лишити відкритим, а збереження працездатності помічника означає збереження цього трафіку відкритим.\nКожен протокол у списку має зашифрований режим уже понад десять років. FTP має TLS з 2005 року17; увімкни його, і обміни PORT і PASV стають невидимими, а помічник нічого не робить. SIP має TLS з базової специфікації, із зашифрованими медіаданими поруч. H.323 має власний додаток з безпеки. Чат має TLS дуже давно, а офіційна порада щодо CVE-2022-2663 була, практично дослівно, користуватися ним, щоб помічник не бачив твоїх запитів на передачу15.\nПомічникові потрібен відкритий текст, тож зберегти помічника означає зберегти відкритий текст Можна мати шифрування або помічника. Третього стовпця немає. Керувальний канал зашифрований Помічник працює Що бачить помічник 17 03 03 01 a4 9c 2f e1 8b 44 d0 ... шифротекст Ні ключового слова. Ні адреси. Ні порту. Нема що зіставити. Що бачить помічник REGISTER sip:example ... Contact: 192.168.1.29:5060 І те саме бачить кожен інший пристрій між вами. Чого це тобі коштує Помічник не робить нічого, тож кінцеві точки мусять самі розв’язати проблему трансляції, а кожен з цих протоколів уміє це вже десять років. Чого це тобі коштує Облікові дані реєстрації, хто кому дзвонив і кожна внутрішня адреса, відкритим текстом, через кожну мережу між кінцями. Жодну з них ти не контролюєш. Зашифрований режим існує ось стільки FTP через TLS з 2005\u0026#160;\u0026#160;\u0026#183;\u0026#160;\u0026#160;SIP через TLS із зашифрованими медіа з базового стандарту\u0026#160;\u0026#160;\u0026#183;\u0026#160;\u0026#160;чат через TLS десятиліттями\u0026#160;\u0026#160;\u0026#183;\u0026#160;\u0026#160;H.323 має свій додаток з безпеки Тож чесна форма фрази «нам потрібен SIP-помічник» є реченням, яке ніхто не каже вголос. Ось воно: нашій сигналізації треба йти ненадійними мережами відкрито, щоб чужа коробка могла її переписати. Обмін, який ніхто не записує. Помічник працює лише з корисним навантаженням, яке може прочитати, тож два стовпці взаємовиключні. Правий і є тим, на що просить тебе погодитися працюючий SIP ALG. Тож чесна форма фрази «нам потрібен SIP ALG» звучить так: нам потрібно, щоб наша сигналізація викликів ішла відкритим текстом через ненадійні мережі, щоб проміжний пристрій, який ми не контролюємо, міг її переписати. Скажи це так на розгляді архітектури і подивися, як далеко зайдеш.\nЄ гостріша версія, і саме тому тут немає сумнівів. Увімкнений помічник є постійним стимулом проти шифрування: того дня, коли хтось увімкне SIP через TLS, виклики ламаються, і причиною є помічник, тож зміну відкочують, і відкритий текст лишається ще на рік. Спитай будь-кого, хто пробував це за брандмауером споживчого класу, як воно пішло.\nКожен інший протокол в інтернеті пішов іншим шляхом: вебтрафік зашифрований за замовчуванням, DNS зашифрований, транспорт пошти зашифрований, QUIC шифрує навіть сам транспортний заголовок, щоб проміжні пристрої не могли його прочитати. Ера проміжних пристроїв у відкритому інтернеті скінчилася роки тому, і останні місця, що покладаються на пристрій на шляху, який читає корисне навантаження, це ті, де хтось лишив помічника увімкненим.\nIPsec: тут помічник не може прочитати нічого Що ставить очевидне питання про протокол, який є суцільним шифруванням. Відповідь гірша, ніж ти здогадався б.\nESP не має номерів портів, бо є протоколом IP сам по собі, а транслятор розрізняє зворотний трафік за портом. Тож якщо два клієнти за однією адресою йдуть до того самого шлюзу, немає нічого, щоб розрізнити їхні вхідні пакети. RFC 3715 записав це в березні 2004 року: NAT не може дізнатися відображення через інспекцію, і «it is possible that the NAT will deliver the incoming IPsec packets to the wrong destination»18.\nТож вендори збудували помічника. Він стежить за обміном IKE на UDP 500, ранні пакети якого відкриті, збирає cookies і індекс параметрів безпеки (SPI) і відкриває gate, щоб вхідний ESP з цим значенням дістався правильного хоста всередині. Juniper описує це прямо: «When ESP traffic hits the IKE ALG gates, sessions are created to capture subsequent ESP traffic»19. inspect ipsec-pass-thru від Cisco робить те саме для ESP і AH, «associated with an IKE UDP port 500 connection», з картою за замовчуванням, яка не встановлює жодного обмеження на кількість ESP-з’єднань на клієнта20.\nТой самий об’єкт, ті самі повноваження, тільки помічник навіть не зіставляє ключове слово. Він не може розібрати ESP, бо ESP і є зашифрованою частиною; він скеровує пакети за 32-бітним числом, яке бачив, коли воно проходило відкритим текстом. Розділ RFC 3715, що це охоплює, без жодної іронії названо «Helper Incompatibilities», і він фіксує, що демультиплексування за cookies «results in problems with re-keying», а пристрої, що розбирають корисне навантаження ISAKMP, «may not handle all payload ordering combinations»18. Здогадка замість правила і саморобний парсер у шляху пакетів, записані двадцять два роки тому.\nВиправлення вийшло через десять місяців, у самому протоколі: RFC 3947 змушує два кінці виявляти транслятор під час обміну ключами, а RFC 3948 загортає ESP в UDP 4500, тож порти знову є21. Juniper потім каже тиху частину вголос: «IKE NAT-T traffic on floating port 4500 is not processed in an IKE ALG»19. Зроби правильно, і помічника повністю обійдено, а це те саме речення, що й для пасивного FTP і для ICE.\nОсновна гілка Linux так його й не взяла. Серед протоколів conntrack немає модуля ESP, а патч 2021 року, що додавав відстеження за SPI, пройшов розгляд у списку розсилки netfilter і так і не був злитий22. Вендори, які його постачають, постачають його поза деревом ядра, на коробках, які найменш імовірно оновлять.\nВін провалює Cyber Essentials, пункт за пунктом Досі це був аргумент безпеки. Для будь-кого, хто сертифікується у Сполученому Королівстві, це також аргумент відповідності, і жодного хитрого тлумачення тут немає: це три пункти проти трьох пунктів. Cyber Essentials є схемою з підтримкою уряду Великої Британії, яку реалізує IASME, її перший технічний контроль стосується брандмауерів, а чинний документ вимог має версію 3.3, квітень 2026 року. Ось що він зобов’язує тебе робити, дослівно23:\nblock unauthenticated inbound connections by default ensure inbound firewall rules are approved and documented by an authorised person, and include the business need in the documentation remove or disable unnecessary firewall rules, when they are no longer needed Три вимоги до брандмауера і що з кожною робить помічник Cyber Essentials, контроль перший, брандмауери. Три обов’язки і відповідь помічника на кожен. Що каже документ вимог Що робить протокольний помічник Результат «block unauthenticated inbound connections by default» Перший обов’язок і причина, з якої існує контроль. Дозволяє його на підставі рядка в пакеті. Сторона, що дала рядок, ні перед чим не автентифікувалася. провал «ensure inbound firewall rules are approved and documented by an authorised person, and include the business need» Написане модулем ядра на швидкості лінії. Ніхто його не затвердив і не бачив, документа й бізнес-потреби немає. провал «remove or disable unnecessary firewall rules, when they are no longer needed» Що передбачає, що хтось вирішив, що вони потрібні. Прибирає таймер. Таймер не є переглядом, і ніхто не оцінював, чи правило взагалі було потрібне. провал Це перший з п’яти технічних контролів, а не крайній випадок у п’ятому. За словами самої схеми, він стосується граничних брандмауерів, настільних ПК, ноутбуків, маршрутизаторів і серверів. Три вимоги до брандмауера в технічних контролях Cyber Essentials і що протокольний помічник робить з кожною. Три вимоги, три провали, на першому з п\u0026rsquo;яти контролів. Очікування існує саме для того, щоб дозволити вхідне з’єднання, яке інакше було б заблоковане, а сторона, чиї дані його спричинили, ні перед чим не автентифікувалася, тож перший пункт провалено одразу. Правило написав модуль ядра на швидкості лінії, тож немає ні документа, ні зафіксованої бізнес-потреби, ні уповноваженої особи будь-де в ланцюжку: попроси запис про затвердження правила, яке пропустило з’єднання до порту 9100 на твоєму принтері, і в тебе його немає, і ти не можеш його створити, бо правило існувало дев’яносто секунд вісімнадцять місяців тому. А правила помічника видаляє таймер, що не є переглядом.\nТри вимоги, три провали, на першому контролі з п’яти, що застосовується, словами самої схеми, до «boundary firewalls, desktop computers, laptops, routers, servers»23, тобто до всього, що в тебе є.\nБудьмо чесні щодо того, що це означає, бо я не орган сертифікації. Асесор працює з набором питань і доказами, які ти йому даси, і цей набір питає, чи блокуєш ти неавтентифіковані вхідні з’єднання за замовчуванням і чи задокументовані й затверджені твої вхідні правила. Відповідай «так» з увімкненим помічником, і відповідь неправдива. Цілком можливо, ти однаково пройдеш. Пройти й відповідати вимогам не одне й те саме, і розрив виходить на поверхню після інциденту.\nВін лише незвично прямо сформульований: галузевий стандарт для платіжних карток, анкета клієнта і пропозиційна форма твого страховика питають те саме іншими словами. Тож саме цей розділ треба нести тому, хто підписує сертифікат. Не атаки й не CVE. Три пункти і чесна відповідь на кожен.\nГалузь уже вирішила це двадцять років тому Ніщо з цього не нове й не спірне. Дивовижно те, як довго рішення вже ухвалене, а значення за замовчуванням живуть далі попри нього.\nДвадцять п’ять років того самого висновку і єдиний рядок, якого ніколи немає Висновку дійшли у 2007. Значення за замовчуванням не зрушили. Коли Що сталося Хто міг діяти Січ 2001 RFC 3027 каталогізує кожен протокол, що його ламає NAT, і що ALG має з ним робити стандартизатори Лют 2002 RFC 3234 називає механізм «a deliberate layer violation» і попереджає про нові точки атаки стандартизатори Січ 2007 RFC 4787, Best Current Practice: NAT ALG для протоколів на UDP SHOULD be turned off стандартизатори Січ 2010 NAT Pinning: прихована форма на вебсторінці відкриває вхідний порт на машині відвідувача дослідник 2012 netfilter отримує явне прикріплення і перемикач, що зупиняє автопризначення ядро Кві 2016 Linux змінює значення за замовчуванням: без явного правила помічники бездіють. У 4.7 ядро Жов 2020 NAT Slipstreaming, потім варіант січня 2021, що дістає кожен пристрій у мережі дослідники Лис 2020 Четверо вендорів браузерів випускають захист; вебстандарт отримує список заборонених портів браузери Сер 2022 IRC-помічник, як з’ясувалося, спрацьовує на повідомлення, якого жертва не писала дослідник 2023\u0026#8211;24 Ще чотири вразливості ALG у флагманській лінійці брандмауерів одного вендора дослідники Тепер прочитай стовпець «хто міг діяти» і зверни увагу, кого в ньому ніколи немає. За двадцять п’ять років жоден рядок тут не є вендором брандмауерів, що випускає оновлення, яке вимикає функцію на встановленому обладнанні. Стандартизатори просили, ядро змінилося, але жодне не дістало коробок. Двадцять п\u0026rsquo;ять років того самого висновку, до якого дійшли люди, що не могли виправити те, що треба було виправити. Єдиний рядок, якого ніколи немає, це вендор брандмауерів, що вимикає функцію на вже встановленому обладнанні. RFC 3027 каталогізував кожен протокол, який ламає NAT, у січні 2001 року24. RFC 3234 рік по тому вніс ALG до таксономії проміжних пристроїв і прямо сказав про ціну додавання коробок на шлях: це «creates extra points of attack, reduces or eliminates the ability to perform end to end encryption, and complicates trust models»10. Потім, у січні 2007 року, RFC 4787, що є Best Current Practice, а не побажанням, виклав, як NAT зобов’язаний поводитися, і вимога десять казала таке:\nREQ-10: To eliminate interference with UNSAF NAT traversal mechanisms and allow integrity protection of UDP communications, NAT ALGs for UDP-based protocols SHOULD be turned off.4\nВимкнені. Дев’ятнадцять років тому, з поясненням причини: помічники заважають механізмам, які справді працюють, і не дають тобі захищати власний трафік. Той самий розділ втомлено зауважує, що деякі продукти мають ALG, «turned on permanently»4.\nЧерез три роки NAT Pinning показав, як вебсторінка відкриває порт1. Netfilter відповів у 2012 році ціллю CT, яка прикріплює помічника до названого потоку явним правилом, і перемикачем, щоб узагалі зупинити автоматичне призначення11. Потім 25 квітня 2016 року ядро змінило своє значення за замовчуванням, у повідомленні коміту, яке варто прочитати повністю, щоб почути, наскільки втомлено воно звучить:\nFour years ago we introduced a new sysctl knob to disable automatic helper assignment [\u0026hellip;] This knob kept this behaviour enabled by default to remain conservative. This measure was introduced to provide a secure way to configure iptables and connection tracking helpers through explicit rules. Give the time we have waited for this, let\u0026rsquo;s turn off this by default now, worse case users still have a chance to recover the former behaviour by explicitly enabling this back through sysctl.5\nЦе вийшло в Linux 4.7, і відтоді коробка із завантаженими модулями нічого з ними не робить, поки ти не напишеш правило, що прикріплює модуль до потоку. Усе, що після цього, є на діаграмі вище, аж до того, що сам вебстандарт отримав список портів25.\nА тепер подивися на список, шукаючи те, чого бракує. За двадцять п’ять років жоден його рядок не є вендором брандмауерів, що випускає оновлення прошивки, яке вимикає це на вже розгорнутому обладнанні. Орган стандартизації попросив. Ядро зробило це в основній гілці. Браузери за це заплатили. Коробки жили далі.\nІ список заблокованих портів усе видає. Порти 69, 137, 161, 554, 1719, 1720, 1723, 5060, 5061, 6566 і 10080 усі в ньому6. Це TFTP, NetBIOS, SNMP, RTSP, H.323 двічі, PPTP, SIP двічі, протокол сканерів і протокол резервного копіювання Amanda. Перелічи модулі-помічники в дереві ядра Linux, і побачиш, що прочитав той самий список двічі. Не збіг і не захід безпеки: це одна галузь, що підтримує постійний, дедалі довший список заборонених портів, бо інша не хоче змінити значення за замовчуванням.\nПід більшістю логотипів Linux Деталі netfilter є важливою частиною, а не відступом про Linux. Дуже велика частка коробок, що роблять NAT на цій планеті, є Linux з netfilter під інтерфейсом вендора: кожна похідна OpenWrt, а це більша частина ринку маршрутизаторів для дому й малого бізнесу, більшість домашніх маршрутизаторів від провайдерів, чимало обладнання carrier-grade NAT і безліч комерційних пристроїв, вебінтерфейс яких нічим не натякає, що під ним. Помічник, що розбирає твій SIP, дуже часто є тим самим nf_conntrack_sip.c, що постачається в основному ядрі, скомпільованим кимось іншим і керованим через меню.\nДокази є в самих дослідженнях. Коли Samy шукав SIP ALG у маршрутизаторі Netgear, він витягнув прошивку і знайшов модуль ядра з ftp_decode і sip_decode2. Перевірений список Armis включав OpenWrt і VyOS плюс категорію, яку вони просто назвали «various consumer grade Linux routers», а аналіз H.323, що дав висновок про будь-який внутрішній хост, походив з читання коду netfilter і потім підтвердився на комерційних брандмауерах трьох вендорів3.\nЗначення ядра за замовчуванням до тебе не доходить. Linux 4.7 вимкнув автоматичне призначення помічників у 2016 році, але лише якщо ядро достатньо нове і ніхто не ввімкнув це знову. Armis виявили, що VyOS явно встановлює nf_conntrack_helper назад в 1, і зазначили, що чимало продуктів на базі Linux вмикають його знову, «as it is still useful for many users»3. Ядро 2014 року в продукті 2026 року дає поведінку 2014 року, а поточне ядро з перекинутим перемикачем дає те саме. Ні те, ні інше не видно в технічному описі.\nЗнання моделі netfilter підказує, що питати в кожної іншої коробки. Три питання з розділу про очікування не є питаннями про Linux. Це і є питання. Кожен вендор має той самий об’єкт під іншою назвою, документація майже ніколи не дає відповідей, а знання того, що робить еталонна реалізація, дозволяє зрозуміти, що тестувати.\nЗроби роботу з Linux як слід, а потім читай кожного іншого вендора через неї.\nПомічники Linux як слід Почни з того, що насправді завантажено:\nlsmod | grep -E \u0026#39;nf_conntrack|nf_nat\u0026#39; Модулі-помічники названо за протоколами (nf_conntrack_ftp, _sip, _h323, _irc, _tftp, _pptp, _snmp, _amanda, _sane, _netbios_ns і _talk), кожен з відповідним nf_nat_*, де переписують адреси. Потім перевір автоматичне призначення, перемикач, який вирішує, чи завантажений модуль робить щось сам по собі:\nsysctl net.netfilter.nf_conntrack_helper Нуль є тим, що тобі треба, і значенням за замовчуванням від Linux 4.75. Одиниця означає, що кожен завантажений помічник активний на кожному потоці, що відповідає його порту, з будь-якої адреси: поведінка 2015 року, і саме її припускають атаки в цьому дописі.\nПотім подивися conntrack -L expect на живому брандмауері. З вимкненими помічниками список лишається порожнім; з увімкненими постав поруч захоплення трафіку і дивися, як з’являються рядки, коли люди користуються мережею. Варто зробити хоч раз: ніщо не доводить суть швидше, ніж вхідний дозвіл, який ти не писав, що з’являється і зникає просто в тебе на очах.\nЯкщо автоматичне призначення вимкнене, а тобі все ж потрібен помічник на конкретному потоці, санкціонований спосіб є явним правилом, яке обмежує його одним призначенням і одним портом:\niptables -t raw -A PREROUTING -p tcp --dport 21 -d 192.0.2.10 -j CT --helper ftp Еквівалент у nftables оголошує об’єкт ct helper і прикріплює його через ct helper set у ланцюжку prerouting, що є тією самою дисципліною з кращим синтаксисом.\nЗверни увагу, що це за правило: задокументований, затверджений, обґрунтований бізнесом вхідний виняток, написаний людиною, там, де аудитор може його прочитати. Чим автоматична версія ніколи не могла бути.\nЯкщо ти хочеш, щоб їх не було зовсім, а не щоб вони спали, а на брандмауері ти маєш цього хотіти, зупини завантаження модулів:\nfor m in ftp sip h323 irc tftp pptp snmp amanda sane netbios_ns talk; do echo \u0026#34;install nf_conntrack_$m /bin/false\u0026#34; done \u0026gt; /etc/modprobe.d/no-conntrack-helpers.conf install ... /bin/false замість blacklist обрано навмисно: blacklist зупиняє лише завантаження за псевдонімом, а будь-що, що просить модуль за назвою, однаково його отримує. А якщо шар брандмауера дистрибутива завантажує їх за тебе (firewalld це робить, коли в зоні ввімкнено службу FTP чи TFTP), то виправляти треба саме цей шар, бо він послужливо поверне їх на місце.\nКожен інший логотип і як це вимкнути Перевір свою версію замість того, щоб довіряти будь-чому в інтернеті, і моєму тексту теж; ці значення за замовчуванням змінюються між випусками й моделями.\npfSense і OPNsense є доказом, що суперечку закінчено. Там немає SIP ALG, який треба вимкнути, бо його ніколи не було, щоб увімкнути. Це одні з найпоширеніших дистрибутивів брандмауерів, вони обслуговують телефонію для дуже багатьох організацій, і якби помічник справді був потрібен для сучасного VoIP, це було б неможливо. FTP-проксі пішов тим самим шляхом: Netgate прибрав його з базової системи в січні 2015 року.\nДизайн OpenBSD є тим, який мали скопіювати всі інші. pf узагалі не переписує корисне навантаження у шляху пересилання. Якщо тобі потрібна допомога для FTP, ти запускаєш ftp-proxy, окремий демон у просторі користувача, і пишеш явне правило divert-to, що надсилає йому керувальне з’єднання26. Звідси одразу три властивості: він вимкнений, поки ти навмисно його не ввімкнеш, він бачить лише трафік, який ти назвав у правилі, а баг у ньому обвалює процес у просторі користувача, а не шлях пакетів. Ось як виглядає opt-in, коли його хтось проєктує, а не прикручує.\nOpenWrt не постачає модулі ALG, і автоматичне призначення лишається вимкненим, якщо ти їх встановиш.\nCisco ASA і FTD мають механізми інспекції в глобальній політиці за замовчуванням, а no inspect sip є власною порадою Cisco під час інциденту:\npolicy-map global_policy class inspection_default no inspect sip no inspect h323 h225 no inspect h323 ras no inspect skinny На FTD це configure inspection sip disable з CLI пристрою16. IPsec pass-through є тим, що Cisco зробила правильно: inspect ipsec-pass-thru взагалі немає в політиці за замовчуванням, тож якщо хтось не додав його навмисно, прибирати нічого20.\nCisco IOS і IOS XE теж мають це ввімкненим за замовчуванням, «NAT support for SIP is enabled by default on port 5060», власними словами Cisco7, і те саме для H.323:\nno ip nat service sip tcp port 5060 no ip nat service sip udp port 5060 no ip nat service h225 Juniper SRX вмикає SIP і H.323 на моделях для філій і не вмикає на моделях верхнього сегмента, що вже саме по собі каже, що про них думають інженери Juniper. З’ясуй, де ти стоїш, через show security alg status, а потім:\nset security alg h323 disable set security alg sip disable set security alg ftp disable set security alg ike-esp-nat disable FortiGate інспектує VoIP за замовчуванням через профіль VoIP, з помічником сесій у ядрі під ним. Задокументована послідовність Fortinet спершу прибирає помічника27:\nconfig system session-helper show delete \u0026lt;the sip entry\u0026gt; end config system settings set default-voip-alg-mode kernel-helper-based end Шукай номер запису у власному виводі show, а не копіюй чужий; він змінюється між моделями й випусками, а Fortinet попереджають, що часто потрібне перезавантаження.\nCheck Point найнезручніший для аудиту, бо там немає єдиного перемикача. Помічник є властивістю об’єкта служби в правилі, тож попередньо визначена служба SIP дає тобі обробник протоколу і все, що він робить. Уникнути цього означає створити власну просту службу UDP чи TCP на порту 5060 з типом протоколу none і поставити її вище за все, що досі використовує вбудовані. «Чи ввімкнений ALG?» тому не є питанням, на яке може відповісти сторінка налаштувань. Тож будь обережний, коли хтось на слово запевняє, що його вимкнено.\nPalo Alto дає тобі перемикач для кожного застосунку, а їхня власна документація каже, що SIP ALG «creates dynamic NAT pinholes»8. Objects, Applications, знайди sip, постав галочку Disable ALG, commit.\nMikroTik постачає десять помічників у /ip firewall service-port (SIP, H.323, FTP, IRC, TFTP, PPTP, RTSP і не тільки), задокументованих одним рядком кожен, без жодного попередження про безпеку на сторінці. Спершу виведи список, потім вимкни те, що знайдеш:\n/ip firewall service-port print /ip firewall service-port set [find name=sip] disabled=yes /ip firewall service-port set [find name=h323] disabled=yes /ip firewall service-port set [find name=ftp] disabled=yes Споживчі маршрутизатори й маршрутизатори від провайдерів. Шукай «SIP ALG», «SIP helper», «VoIP passthrough», «IPsec passthrough» або «application layer gateway», зазвичай у розширених налаштуваннях NAT. На багатьох маршрутизаторах від провайдерів такого налаштування немає взагалі, і це підказує, чи місце цій коробці в мережі, за яку ти відповідаєш.\nХоч яка платформа, закінчуй однаково: доведи. Постав захоплення трафіку на зовнішній інтерфейс, надішли ззовні підроблений рядок PORT чи REGISTER на відповідний порт і переконайся, що нічого не відкривається. Налаштування, яке ти не перевірив, є лише вірою.\nБільшість того, що ламається, вже мертва Будьмо чесні щодо ціни, бо на цьому тримається прохання до будь-кого це зробити. Вимкнення SIP-помічника в мережі з погано налаштованими телефонами може зламати виклики, зазвичай односторонній звук або реєстрації, що відпадають. Вимкнення FTP-помічника ламає вихідний активний FTP. Вимкнення помічника H.323 ламає H.323, якщо в тебе він ще є. Чекай хоча б одного з цього, якщо робиш це однією зміною в мережі, на яку роками ніхто не дивився.\nА тепер прочитай список ще раз і зверни увагу, що майже кожен протокол, якому служить помічник, решта галузі вже поховала. H.323 програв SIP двадцять років тому. PPTP неможливо захищати з 1998 року, і я детально про це писав у IPsec Was a Good Idea. Прямі передачі IRC належать десятиліттю, за яким ніхто не сумує. Служба імен NetBIOS, версії SNMP з community-рядками, протокол виявлення сканерів і старий протокол резервного копіювання є реліктами локальних мереж, які ніколи не мали перетинати межу. Простий FTP повністю зник з браузерів: Firefox прибрав його в липні 2021 року, а Chrome у жовтні того ж року, обидва на тій підставі, що використання мізерне, а безпека не варта підтримки28.\nТож «ми не можемо вимкнути помічника, щось зламається» зазвичай є аргументом за те, щоб тримати мертвий протокол на апараті життєзабезпечення, аби виправдати функцію, яка відкриває порти незнайомцям. Вимкнення не ламає твою мережу. Воно викриває ту одну річ у ній, яку слід було вивести з ужитку роки тому, а це інформація, яку ти й так хотів мати.\nSIP є справжнім винятком, і єдиним. Усе інше в цьому списку є аргументом, який варто радісно програти, і ніщо з цього не безнадійне, бо кожен з цих протоколів розв’язав власну проблему трансляції роки тому, у протоколі, де їй і місце.\nЩо робити натомість Відповідь проміжного пристрою і відповідь кінцевих точок поруч Та сама проблема, дві відповіді. Одна поклала рішення посередині. Вирішує коробка на шляху Вирішують два кінці Як це працює Пристрій читає навантаження, коли воно проходить Переписує знайдену там адресу Відкриває вхідний отвір для описаного з’єднання Жоден з кінців не знає, що це сталося Як це працює Кожен кінець питає сервер, який він ззовні Кожен пропонує всі шляхи: локальний, трансльований, ретрансльований Два кінці перевіряють шляхи один з одним Робочий шлях тримають відкритим власним трафіком Що це вимагає від тебе Читабельне навантаження, тож без шифрування керувального каналу. Саме цей пристрій на цьому шляху. Лише один транслятор, тож carrier-grade NAT далі усе ламає. І довіра до автора тексту, про яку ніхто не думав до 2010 року. Що це вимагає від тебе Вихідний доступ, і більше нічого. Це працює через чужі транслятори, яких ти не бачиш, через два поспіль, через мобільну мережу, і з керувальним каналом, зашифрованим наскрізно, бо ніщо посередині його не читає. Для передачі файлів ще простіше: пасивний режим, де клієнт відкриває обидва з’єднання назовні, і помічникові нема чого робити. Правий стовпець не є пропозицією. Це те, що вже робить твій браузер. Кожен відеодзвінок у браузері узгоджують саме так, через будь-які транслятори, без жодного ALG на шляху. Та сама проблема, розв\u0026rsquo;язана двічі. Одна відповідь поклала рішення в коробку посередині. Інша дала двом кінцям домовитися між собою, і саме це вже робить кожен браузер для кожного відеодзвінка. FTP. Пасивний режим, у специфікації з 1985 року і за замовчуванням у кожному клієнті двадцять років: обидва з’єднання відкриваються назовні, і помічникові нема чого робити. А якщо ти у 2026 році передаєш файли між організаціями, FTP не є протоколом для цього: SFTP і FTPS зашифровані, і жоден помічник не чіпає ні того, ні іншого.\nSIP і все інше реального часу. Кінцева точка питає сервер в інтернеті, як її публічна адреса й порт виглядають ззовні, пропонує кожен можливий шлях, який має, і два кінці перевіряють їх один з одним і лишають той, що працює, з ретранслятором там, де прямого шляху немає. Це STUN, TURN і ICE, і саме це робить кожен браузер на землі для кожного відеодзвінка, через будь-який транслятор, без жодного ALG на шляху. Якщо твоя телефонна система не вміє цього у 2026 році, проблема у твоїй телефонній системі.\nIPsec. Проходження NAT, тобто RFC 3947 і RFC 3948: два кінці помічають транслятор під час обміну ключами і загортають ESP в UDP 4500 до кінця сесії21, без жодного gate на будь-якій коробці посередині.\nH.323. Виведи з ужитку. SIP виграв цю суперечку приблизно у 2005 році, тож немає міграції, яку треба планувати, лише видалення. Прямі передачі, TFTP, SNMP, NetBIOS, виявлення сканерів і протокол резервного копіювання йдуть тим самим шляхом: жодному з них нічого перетинати межу.\nIPv6. Нічого з цього там не існує, бо немає трансляції, а отже, помічникові нічого переписувати. Хост має власну адресу, адреса в корисному навантаженні правдива, а брандмауер зі станом дозволяє те, що ти йому сказав, і більше нічого. Кожна проблема в цьому дописі походить від трансляції адрес, а та походить від того, що IPv6 не розгортають; цей аргумент я виклав в іншому місці і не повторюватиму.\nА тепер частина, де я не збираюся бути дипломатичним.\nЯкщо хтось каже тобі ввімкнути їх (постачальник, монтажник телефонії, керована служба, інтегратор за рамковою угодою), він не мережевий інженер і не фахівець з безпеки. Можливо, він дуже добрий у тому, чим насправді займається, але це не воно. Правильна відповідь на телефонну систему, якій потрібен брандмауер, щоб переписувати її сигналізацію, це виправити телефонну систему, а будь-хто, хто натомість каже тобі відчинити межу парсеру, що зіставляє рядки, або не знає, що таке очікування, або йому байдуже. Ми не аматорський гурток. Правильний спосіб робити це є в документах standards track з 2007 року, а «просто ввімкни SIP-помічника» є звуком того, як хтось хапається за будь-що, що закриє тікет сьогодні.\nСпитай їх, просто на нараді, яке значення має шаблон адреси джерела в очікуванні. Якщо питання застане їх зненацька, ти маєш свою відповідь, і справа ніколи не була в протоколі.\nЯкщо ти досі їх тримаєш, чи можеш ти називати себе професіоналом? Це справжнє питання, і воно заслуговує на справжню відповідь, тож ось три, бо є три випадки. Усе залежить від того, чи ти знаєш, а знання не є чимось, що з тобою стається. Подбати, щоб ти знав, і є роботою.\nЯкщо на межі, за яку ти відповідаєш, увімкнений помічник SIP, H.323 чи FTP, і ти не можеш без довідника сказати, що таке очікування, які з його полів є шаблонами, хто дає значення і що твоя заявка на сертифікацію стверджує про вхідні правила, тоді ні. Не в цьому. Ти не обрав конфігурацію, ти успадкував значення за замовчуванням і ніколи його не прочитав. Провал не в прогалині; прогалини мають усі, і в мене була саме ця. Провал у тому, щоб будувати межу через прогалину, яку ти так і не закрив, а потім підписати щось, що каже, ніби межа надійна.\nЯкщо ти точно знаєш, що він робить, і він увімкнений, бо регулятор називає протокол, або обладнання партнера не завершує нічого іншого, або телефонну систему замінять у березні, і до того це має протриматися, тоді так, звісно, і ти робиш роботу як слід. Це справжні обмеження, і я обходив і гірші. Професійним, а не недбалим, це робить те, що ти записав, який помічник, на якому інтерфейсі, для якого потоку, чому і дату, коли його вимкнуть. А це і є та сама паперова робота, якої й так вимагав контроль брандмауера.\nНевиправданим є середній випадок. Знати достатньо, щоб почуватися ніяково, і лишати як є, бо ніхто не змусив тебе це обґрунтувати. Це не інженерія. Це звичка з прикріпленим номером зміни, і саме так функція, яку Best Current Practice велів вимкнути в січні 2007 року, досі ввімкнена у 2026 році.\nНайбільше це важить, коли ти платиш комусь за судження, бо судження не перевіриш при доставці. Тож перевір його, перш ніж підписати. Спитай, що їхня стандартна збірка робить з протокольними помічниками і чому, спитай, що станеться, якщо хтось у гостьовій мережі відкриє посилання, і спитай, які внутрішні пристрої були б досяжні з лишеним увімкненим помічником H.323, а потім дивися, чи скажуть вони «лише машина, на якій клацнули», бо це хибна відповідь, яку дає людина, що звучить компетентно. За дві хвилини ти знатимеш, чи тобі щось кажуть, чи тобі зачитують, а дві хвилини є значно дешевшою перевіркою, ніж інцидент.\nЯкщо відповідь повернеться знизуванням плечей, а ти однаково підпишеш, це теж рішення. Просто воно перестало бути їхнім і стало твоїм.\nНікого ніколи не змусили це обґрунтувати Я хочу бути справедливим до людей, які це збудували, бо вони на це заслуговують. У 1994 році помічник був розумною відповіддю на справжню проблему. Адрес ставало замало, NAT був прагматичним рішенням, кілька важливих протоколів його не пережили, і вибір був між тим, щоб змінити кожен FTP-клієнт на землі, і тим, щоб навчити коробку читати. Вони навчили коробку читати, випустили найбезпечніші значення за замовчуванням, які змогли вигадати, і записали в код попередження про те, що її можна змусити робити. Ці попередження досі там. Одне я процитував.\nЩо пішло не так потім, не є технічним провалом. Справа в тому, що ніщо в цій галузі ніколи не вимагало від когось подивитися на це знову. IETF сказала вимкнути їх і не мала влади когось змусити. Ядро змінило своє значення за замовчуванням і не могло дістатися вже відвантажених пристроїв. Дослідники довели це чотири рази за шістнадцять років, і щоразу виправлення падало деінде, а не на брандмауер. Тим часом значення за замовчуванням лишалося ввімкненим, не тому, що хтось його захищав, а тому, що значення за замовчуванням, про яке ніхто не сперечається, живе нескінченно, і жоден відділ ніде не має завершення речей своєю роботою.\nОсь закономірність, і вона більша за одну функцію брандмауера. Ця справа чудово вміє підтримувати і безнадійно не вміє зупиняти. Підтримка має бюджет, людей, її можна виставити в рахунок, і вона безпечна; виведення з ужитку потребує, щоб одна людина поставила своє ім’я на зміні без жодної вигоди, якщо все пройде добре, і з її ім’ям усюди, якщо ні. Тож річ лишається, і одного дня хтось виявляє, що вона відкриває порти до твого принтера.\nДля мене найпромовистіша ця фраза у власній документації Cisco: ALG створює NAT door, двері. Не фільтр. Не контроль. Двері, у стіні, за яку ти заплатив, відчинені будь-ким, хто доставить до них пакет з правильними словами спереду, а усталеною відповіддю було просити перехожих не смикати за ручку.\nСвої ти можеш зачинити сьогодні ж після обіду, і саме цим варто закінчити. Не атаками; атаки є лише тим, що стається, коли ніхто цього не робить. Піди і подивися, що твоя межа дозволяє на вхід з того, чого ти ніколи не записував, виріши, чи ти цього хотів, і прибери те, чого не хотів, поставивши дату поруч з усім, що лишив.\nОсь і все, чим межа колись була: список речей, які хтось вирішив дозволити і може сказати чому. Будь-що в ньому, чого ніхто не обирав, не є безпекою. Це меблі.\nSamy Kamkar — NAT Pinning, 5 січня 2010. Первісна атака від браузера на ALG, що використовує приховану форму, щоб змусити браузер видати IRC DCC CHAT або рядок відповіді FTP 227, і тоді помічник маршрутизатора відкриває вхідний порт. «No XSS or CSRF required.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nSamy Kamkar — NAT Slipstreaming, 31 жовтня 2020, оновлено в січні 2021. Автор підсумовує, що атака дозволяє «an attacker to remotely access any TCP/UDP service bound to a victim machine, bypassing the victim\u0026rsquo;s NAT/firewall (arbitrary firewall pinhole control), just by the victim visiting a website». Містить техніку межі сегмента, зауваження, що обробник SIP «will bail unless the method (eg, REGISTER) occurs at the start of the data portion of the packet», і аналіз прошивки Netgear.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nBen Seri і Gregory Vishnepolsky, Armis — NAT Slipstreaming v2.0, 26 січня 2021. Примітив переадресації викликів H.323, обхід списку заблокованих портів браузерів через ретранслятор, список перевірених продуктів (OpenWrt, VyOS, споживчі маршрутизатори на Linux, FortiGate, Cisco ASAv і csr1000v, HPE vsr1000, SonicWall TZ300), хронологія розкриття і висновок, що «resolving the issue will require a fundamental change of their implementations by various router/firewall vendors».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 4787 — Network Address Translation (NAT) Behavioral Requirements for Unicast UDP, січень 2007, BCP 127. Розділ 7 містить REQ-10 і зауваження, що «Certain NATs have these ALGs turned on permanently, others have them turned on by default but allow them to be turned off».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nPablo Neira Ayuso — netfilter: nf_ct_helper: disable automatic helper assignment, коміт 3bb398d9, 25 квітня 2016, вийшов у Linux 4.7. Змінює значення nf_conntrack_helper за замовчуванням з увімкненого на вимкнене.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nКод Chromium — net/base/port_util.cc. Його масив kRestrictedPorts містить 69, 137, 139, 161, 554, 1719, 1720, 1723, 5060, 5061, 6566 і 10080. Оголошення Adam Rice про порти SIP, 5 листопада 2020: «a carefully-crafted HTTP request to port 5060 on an attacker\u0026rsquo;s server can fool some NAT devices into treating it as a SIP packet and setting up port forwarding.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCisco — SIP ALG Hardening for NAT and Firewall, IP Addressing Configuration Guide, Cisco IOS XE 17.x. «SIP ALG creates a firewall pinhole or a Network Address Translation (NAT) door based on the first value in the Via header field.» Підтримка NAT для SIP «enabled by default on port 5060». Див. також Using Application-Level Gateways with NAT, де сказано, що SIP і H.323 увімкнені за замовчуванням.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nPalo Alto Networks — Disable the SIP Application-level Gateway (ALG). «SIP ALG creates dynamic NAT pinholes but may interfere with VoIP applications that have NAT traversal capabilities, causing communication failures.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 2663 — IP Network Address Translator (NAT) Terminology and Considerations, серпень 1999. У розділі 2.9 визначено Application Level Gateway.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 3234 — Middleboxes: Taxonomy and Issues, лютий 2002. Рядок про порушення рівнів у розділі 2.11; ціна додаткових коробок на шляху в розділі 5.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nEric Leblond, Pablo Neira Ayuso, Patrick McHardy, Jan Engelhardt і Mr Dash Four — Secure use of iptables and connection tracking helpers. «This system relies on parsing of data coming either from the user or the server. It is therefore vulnerable to attack.» Джерело цитати про шаблон в IRC; документує sysctl nf_conntrack_helper і ціль CT --helper.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nКод ядра Linux — net/netfilter/nf_conntrack_ftp.c. Параметр модуля loose за замовчуванням false і захищає випадок, коли адреса в PORT не є власною адресою клієнта; коментар називає ризик як «DMZ machines opening holes to internal networks, or the packet filter itself».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nnetfilter — H.323 conntrack/NAT helper, від автора модуля. Містить сценарій переадресації викликів, що дозволяє сесії посилатися на адресу третьої сторони.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nDavid Leadbeater — NAT-Again: IRC NAT helper flaws, серпень 2022. Показує тригер через відлуння ping, зазначає, що так можна також сканувати, розкривати замасковані адреси користувачів і від’єднувати їх, назвавши порт 0, і рекомендує: «Potentially entirely deprecate and remove nf_conntrack_irc, it\u0026rsquo;s unclear it has much use anymore.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCVE-2022-2663 — «An issue was found in the Linux kernel in nf_conntrack_irc where the message handling can be confused and incorrectly matches the message. A firewall may be able to be bypassed when users are using unencrypted IRC with nf_conntrack_irc configured.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCisco — advisory for CVE-2018-15454, 31 жовтня 2018. Наведений захисний захід: no inspect sip на ASA і configure inspection sip disable на FTD; NVD фіксує, що на момент публікації «Software updates that address this vulnerability are not yet available.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 4217 — Securing FTP with TLS, жовтень 2005.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 3715 — IPsec-Network Address Translation (NAT) Compatibility Requirements, березень 2004. Розділ 2.1, пункт (f), стосується вибору SPI щодо NAT; розділ 2.3 названо Helper Incompatibilities, і він містить процитовані рядки про демультиплексування за cookies IKE і розбір корисного навантаження ISAKMP.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nJuniper — IKE and ESP ALG, Application Layer Gateways User Guide. Джерело опису gate, зауваження, що трафік NAT-T на порту 4500 ALG не обробляє, і попередження, що там, де два клієнти ділять трансльовану адресу, пристрій «will be unable to distinguish and route return traffic properly».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCisco — IPsec Pass Through Inspection, ASA Firewall CLI Configuration Guide 9.20. «IPsec Pass Through application inspection provides convenient traversal of ESP (IP protocol 50) and AH (IP protocol 51) traffic associated with an IKE UDP port 500 connection.» Немає в політиці за замовчуванням; постачена _default_ipsec_passthru_map «sets no maximum limit on ESP connections per client».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 3947 — Negotiation of NAT-Traversal in the IKE, і RFC 3948 — UDP Encapsulation of IPsec ESP Packets, обидва січень 2005.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCole Dishington — netfilter: nf_conntrack: Add conntrack helper for ESP/IPsec, травень 2021, третя редакція. Розглянутий у netfilter-devel і не злитий; net/netfilter в основній гілці досі не має nf_conntrack_proto_esp.c.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNCSC і IASME — Cyber Essentials: Requirements for IT Infrastructure v3.3, квітень 2026. Контроль 1, Firewalls, застосовується до «boundary firewalls, desktop computers, laptops, routers, servers, IaaS, PaaS, SaaS»; три процитовані вимоги є його власними словами.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 3027 — Protocol Complications with the IP Network Address Translator, січень 2001. «The purpose of this document is to identify the protocols and applications that break with NAT enroute.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nWHATWG Fetch — pull request 1109, зміна стандарту, яка додала записи bad-port в усіх браузерах.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nOpenBSD — ftp-proxy(8). Керувальні з’єднання доходять до нього лише тому, що ти їх туди надіслав: «FTP control connections should be redirected into the proxy using the pf(4) divert-to command, after which the proxy connects to the server on behalf of the client.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nFortinet — Technical Tip: Disabling VoIP Inspection. Документує видалення запису SIP з config system session-helper, set default-voip-alg-mode kernel-helper-based і зазначає, що повторне ввімкнення потребує перезапуску.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nMozilla — Stopping FTP support in Firefox 90, 20 липня 2021, і Google — Deprecations and removals in Chrome 95, жовтень 2021: «Use of FTP in the browser is sufficiently low that it is no longer viable to invest in improving the existing FTP client.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\n","permalink":"https://blogs.damiendye.uk/uk/networking/protocol-helpers-turn-them-off/","summary":"Протокольний помічник (SIP ALG, FTP helper, H.323 ALG, conntrack helper, називай як твій вендор) читає корисне навантаження з’єднання, знаходить у тексті адресу й порт і відкриває для них вхідний отвір. Він не може відрізнити, чи цей текст прийшов від справжнього FTP-клієнта, чи від прихованої форми на вебсторінці, бо в ньому немає нічого, за чим відрізнити. Samy Kamkar довів це для браузера у 2010 році. NAT Slipstreaming довів це знову у 2020 році, а Armis у 2021 році розширили атаку так, щоб дістатися будь-якого пристрою у твоїй мережі, а не лише машини, на якій клацнули. IETF попросила вимкнути їх за замовчуванням у 2007 році, Linux вимкнув їх у 2016 році, а вендори браузерів у підсумку випустили список заблокованих портів, що читається як каталог модулів conntrack. Цей допис розбирає механізм діаграма за діаграмою (таблиця очікувань, трюк з вирівнюванням сегментів, переадресація викликів H.323, IRC-помічник, що спрацьовує на чуже повідомлення), розглядає помічника IPsec pass-through, який узагалі не може читати ESP і скеровує вхідні пакети за SPI, що пройшов повз нього відкритим текстом, порівнює все це з контролем брандмауера Cyber Essentials, який він явно провалює, і дає команди, щоб вимкнути все це на Linux, Cisco, Juniper, FortiGate і MikroTik.","title":"Твій брандмауер виконує вказівки незнайомців. Вимкни протокольних помічників."},{"content":"IPsec був гарною ідеєю. Постав шифрування на мережевому рівні, під усім, і кожен протокол, що працює поверх IP, успадкує конфіденційність і цілісність, і нікому нічого не треба казати. Жодної бібліотеки, яку треба підключати. Жодного сертифіката для кожного застосунку. Жодного переписування того, що ти вже випустив. Пакет виходить захищеним і приходить захищеним, а маршрутизатори між ними несуть його, не знаючи і не переймаючись, що всередині.\nЦей задум стоїть на одному припущенні, і воно записане в стандарті, а не мається на увазі: адреса пакета ідентифікує машину, з якої він прийшов. Асоціацію безпеки шукають за адресою призначення, номером протоколу і SPI1. Authentication Header іде далі і підписує сам IP-заголовок, разом з адресою джерела і адресою призначення2. Для IPsec адреса не є метаданими маршрутизації. Вона частина ідентичності і частина перевірки цілісності.\nА потім ця галузь тридцять років забирала адресу.\nСпершу NAT, щоб офіс помістився за однією лінією. Потім операторський NAT, щоб кілька сотень будинків помістилися за однією адресою, бо ввімкнути IPv6 означало роботу, а купити коробку означало закупівлю. Про це весь допис We Never Ran Out of Addresses. We Ran Out of Effort., і я не буду знову все це перебирати. Для цього допису важливий наслідок. Та єдина річ, на якій збудовано IPsec, це саме та річ, якої сучасна мережа доступу більше не дає.\nТож IPsec залатали. Загорнули зашифрований пакет в UDP, щоб транслятору було що переписувати. Обнулили контрольну суму, щоб її ніщо не перевіряло. Відправляють однобайтовий пакет кожні двадцять секунд, назавжди, щоб таблиця в чужому залізі не забула, що ти існуєш. Перенесли ідентичність з адреси на ім’я. Відмовилися від Authentication Header, бо він за самою конструкцією не переживає переписаного заголовка. Коли готель блокує UDP, загортають усе ще й у TCP3.\nКожне з цих виправлень справжнє, стандартизоване і підтримуване виробниками. Разом вони дають протокол, який тримається на власних риштуваннях. І саме риштування і є аргументом: чверть століття не підпирають те, що по суті здорове.\nЯ дійшов висновку, що IPsec треба повністю відправити у відставку. Не підлаштувати, не запропонувати знову з кращими шифрами, не залишити для site-to-site, бо ця частина ще працює. Відправити у відставку, з датами, так, як PPTP мали відправити на десятиліття раніше, ніж до цього хтось дійшов. Далі йдуть докази, діаграми, документація виробників, яка каже все це їхніми ж словами, і, оскільки більшість тих, хто це читає, мусять і в понеділок тримати ці штуки в робочому стані, робочий метод діагностики збоїв IPsec на перехідний час.\nУ що це тобі насправді обходиться, у тікетах Перш ніж до стандартів, ось рахунок, у тому порядку, в якому ти його зустрінеш.\nТунель падає за годинником. Щогодини, або кожні вісім, або після двадцяти хвилин без трафіку. Він повертається, коли хтось відкриває файл, тож половина користувачів про це ніколи не повідомляє, а друга половина повідомляє, що «VPN повільний». Ніхто нічого не змінював.\nДвоє людей в одному будинку не можуть під’єднатися одночасно. Другий підключається, перший відпадає. Вони дзвонять у службу підтримки окремо, тож тікети ніколи не зустрічаються, і два тижні ніхто не помічає закономірності.\nДрібне працює, велике зависає. Вхід працює. Teams працює. Ping працює. Копіювання файлу щоразу зупиняється в тому самому місці, а велика сторінка у внутрішньому застосунку висить, поки не скінчиться час очікування.\nТунель піднятий, а трафік не йде. Обидва кінці кажуть «established». Обидва кінці задоволені собою. Нічого не рухається.\nНіщо не може достукатися ззовні. Site-to-site до філії, яка переїхала на альтернативного оптичного провайдера, більше не встановлюється в тому напрямку, в якому раніше, і ніхто не може сказати чому, хіба що «в них змінилася IP».\nУвімкнення QoS зламало шифрування. Хтось дав пріоритет голосу, і тепер дальній кінець відкидає пакети як повтори.\nЖодне з цього не є помилкою конфігурації у звичайному сенсі. Кожне з цього це IPsec, що зустрівся з мережею такою, якою вона є тепер. Решта допису пояснює чому, по черзі, і як довести, що саме в тебе.\nIPsec не передається мережею. Він і є мережа. Почнімо з того, чим він був, бо задум справді добрий, і збої мають сенс лише на його тлі.\nESP це не протокол, що працює поверх TCP чи UDP. Він сам є транспортним протоколом, IP-протокол номер 50, що сидить просто на IP, у тому самому гнізді, що TCP і UDP. AH це протокол 51. Жоден із них не має поля порту, бо жодному воно не потрібне: в інтернеті, для якого проєктували IPsec, адреса призначення вже називає рівно одну машину, а SPI в заголовку ESP називає, яка саме асоціація безпеки на цій машині. Адреса плюс протокол плюс SPI. Ця трійка і є пошуком1.\nЗадум, як його специфіковано: адреса називає машину, тож порти не потрібні, і почати може будь-який кінець IPsec за специфікацією: адреса і є ідентичність Хост A 203.0.113.10 Маршрутизатори лише пересилають Хост B 198.51.100.7 будь-який кінець може почати Що виходить із машини зовнішній IP-заголовок від 203.0.113.10 до 198.51.100.7 протокол 50 = ESP SPI 4 B номер 4 B зашифрований вміст твій пакет, нечитаний у дорозі ICV 16 B Пошук асоціації = адреса призначення + протокол + SPI. Поля порту немає ніде, бо воно не потрібне. Три речі, які припускає цей задум, і всі правдиві у 1995 році: Адреса на пакеті і є машина. Ніщо на шляху не переписує заголовок. Додзвонитися можна до будь-якого кінця. Authentication Header іде ще далі і підписує сам зовнішній заголовок, разом з джерелом і призначенням, тож отримувач може довести, що адрес у дорозі ніхто не торкався. Не в масштабі. Накладні витрати ESP залежать від шифру; тут AES-GCM у тунельному режимі поверх IPv4. Задум, як його специфіковано. ESP сидить просто на IP як протокол 50, без портів, бо вони йому не потрібні: адреса призначення називає хост, а SPI називає асоціацію на ньому. AH підписує сам IP-заголовок. Обидва кінці мають справжню досяжну адресу, будь-який кінець може почати розмову, і нічому посередині не треба розуміти вміст. Подивися, що це дає. Немає порту рукостискання, який треба виставляти назовні, немає сеансового рівня, який можна зробити неправильно, немає застосунку, який мусить на це погодитися. Почати може будь-який кінець. Середина мережі тупа, а якою ж іще має бути середина мережі. Маршрутизатор пересилає протокол 50 так само, як протокол 6, і те, що він не може прочитати вміст, це суть, а не обмеження.\nЦе чистий задум. І водночас у 2026 році це опис інтернету, який більшість тих, хто це читає, купити не можуть.\nА потім хтось поставив транслятор на кожен шлях NAT переписує адресу джерела, а часто і порт джерела, щоб кілька машин могли ділити одну адресу. Це все, що він робить. Для IPsec це майже повне знесення, і IETF вистачило прямоти опублікувати цілий документ із переліком уламків: RFC 3715, IPsec-Network Address Translation (NAT) Compatibility Requirements4. Шістнадцять окремих несумісностей. Ось ті, що важать.\nAH кінець, за самою конструкцією. Словами самого RFC 3715: «Since the AH header incorporates the IP source and destination addresses in the keyed message integrity check, NAT or reverse NAT devices making changes to address fields will invalidate the message integrity check.»4 Виправлення для цього немає і ніколи не мало бути. Протокол, який підписує заголовок, не може пройти через коробку, вся робота якої полягає в переписуванні заголовка. AH не обійшли. Від нього відмовилися.\nНемає портів для трансляції. NAT, що транслює порти, потребує порту. В ESP його немає. Cisco сказали це прямо в посібнику з конфігурації Catalyst: «If PAT found a legislative IP address and port, it would drop the Encapsulating Security Payload (ESP) packet.»5 Пакет не відхиляють через політику. Його відкидають, бо коробці нема куди записати те, що їй треба записати.\nІдентичність перестає збігатися з пакетом. Знову з RFC 3715: «Where IP addresses are used as identifiers in Internet Key Exchange Protocol (IKE) Phase 1 or Phase 2, modification of the IP source or destination addresses by NATs or reverse NATs will result in a mismatch between the identifiers and the addresses in the IP header.»4 Схема ідентичності, яка називає машини за адресою, не переживе пристрою, що перейменовує машини за фахом.\nДві машини можуть вибрати той самий SPI. SPI вибирає отримувач, і він мусить бути унікальним лише для нього. Постав два хости за однією адресою, і в транслятора будуть дві асоціації, які нічим не розрізнити.\nНіщо не може почати ззовні. NAT будує свою таблицю з вихідних пакетів. Вихідного пакета немає, поки хтось не почне, а на лінії за NAT почати може лише внутрішня сторона. Половини симетрії протоколу більше немає.\nОдин транслятор на шляху ламає п’ять речей одразу, і кожне виправлення чогось коштує Один транслятор на шляху, і ламаються п’ять речей одразу Хост 192.0.2.20 Транслятор джерело → 203.0.113.5 Шлюз 198.51.100.7 з цього боку почати не можна Що руйнує переписування 1 Підписаний заголовок не збігається. AH охоплює адреси джерела і призначення, тож перевірка цілісності падає за конструкцією. Виправлення немає. AH просто непридатний через транслятор. 2 Немає що переписати. ESP це IP-протокол 50 без поля порту, тож транслятору портів нема з чим працювати, і він відкидає пакет. 3 Ідентичність не збігається з пакетом. Обмін ключами назвав вузол за адресою. Адреса в заголовку тепер чужа. 4 Два хости, один SPI. Його вибирає отримувач і гарантує унікальність лише для себе, тож транслятор має дві асоціації, яких не розрізнити. 5 Половини симетрії немає. Таблиця будується з вихідних пакетів, тож почати може лише внутрішній бік. Компроміс, і що коштує кожна його частина Загорнути весь пакет ESP в UDP на порту 4500, щоб транслятор мав щось зрозуміле. Повністю відмовитися від Authentication Header, бо його ніщо не врятує. Обнулити контрольну суму UDP, бо сума по переписаних адресах лише не зійдеться. Перенести ідентичність з адреси на ім’я, яке заявляє сам вузол. Слати один байт кожні двадцять секунд, назавжди, щоб таблиця в чужому залізі тебе не забула. Це працює. Це не під сумнівом. Аргумент у тому, що здоровій речі не треба п’яти поступок, щоб пройти одну коробку. Той самий тунель з одним транслятором на шляху. Ламаються п\u0026rsquo;ять речей одразу: підписаний заголовок більше не збігається, транслятору немає порту для переписування, ідентичність більше не збігається з адресою джерела, два хости можуть вибрати той самий SPI, і ніщо ззовні не може почати розмову. Рядок унизу показує, що галузь із цим зробила, і кожне виправлення це щось, від чого відмовилися. Виправлення було справжнім, і кожна його частина чогось коштувала NAT traversal працює. Це не під сумнівом, і я не збираюся вдавати протилежне. Я провів багато тунелів через багато NAT. Що я хочу зафіксувати, так це рахунок, бо його щодня платять усі, і майже ніхто не розписує його по пунктах.\nМеханізм це RFC 3948: виявити транслятор під час обміну ключами, а потім покласти весь пакет ESP усередину датаграми UDP на порту 4500, щоб транслятор мав щось зрозуміле для себе6. Опис формату на дроті від Cisco точний: після шифрування «a UDP header and a non-IKE marker (which is 8 bytes in length) are inserted between the original IP header and ESP header»5. У Juniper коротше і про те саме: «NAT-T encapsulates both IKE and ESP traffic within UDP with port 4500 used as both the source and destination port.»7\nТепер рахунок по пунктах.\nAuthentication Header більше немає. Не ввічливо застарілий. Непридатний. RFC 8221 тепер прямо каже, що використовувати ESP і AH разом NOT RECOMMENDED8, а чесна причина в тому, що єдине, що AH робив, а ESP ні, це якраз те, що NAT знищує.\nКонтрольну суму UDP навмисно обнулено. RFC 3948 цього вимагає: коли адреси переписано, контрольна сума, обчислена по них, не зійдеться, тож відповідь стандарту полягає в тому, щоб перестати її обчислювати. «If the protocol header after the ESP header is a UDP header, set the checksum field to zero in the UDP header.»6 Шар виявлення помилок прибрано, щоб шар переписування адрес і далі працював.\nТепер ти шлеш пакети, щоб таблиця не вистигла. RFC 3948 визначає keepalive як один байт, 0xFF, що відправляється, коли нічого іншого не виходило протягом налаштовуваного інтервалу, типово двадцять секунд6. Juniper називає причину без прикрас: «Because NAT devices age out stale UDP translations, keepalive messages are required between the peers.»7 Тож ноутбук у потязі, який узагалі нічого не робить, передає щодвадцять секунд, назавжди, бо таблиця в коробці, якою не володіє жоден із кінців, інакше забуде про його існування. Помнож на весь парк пристроїв. Це радіо, що прокидається, батарея, що сідає, і мобільна мережа, що несе трафік, вся мета якого не дати забути.\nТепер ти відкриваєш у файрволі два порти замість одного протоколу, і власний список обмежень Cisco вимагає, щоб статичні правила трансляції і для 500, і для 4500 були на місці, перш ніж хоч щось запрацює5.\nІ дочитай решту цього списку обмежень, бо це виробник показує тобі форму цієї штуки. Динамічні політики NAT: не підтримуються. Трафік IPv6: несумісний із функцією. IPsec і NAT на тому самому пристрої: не можуть працювати разом5. Це не посібник із конфігурації. Це перелік місць, куди риштування не дістає.\nНічого з цього не є елегантним, і ні в чому з цього немає чиєїсь особливої провини. Так буває, коли тримаєш живим протокол третього рівня в мережі, яка перестала шанувати третій рівень.\nОператорський NAT прибрав те, що лишалося Звичайний NAT забрав адресу в машини і віддав її майданчику. Транслятором ти ще володів, тож міг прокинути порт, закріпити відображення, подовжити таймер або поставити концентратор перед ним.\nОператорський NAT забирає адресу в майданчика і віддає її кільком сотням незнайомців, а транслятор належить твоєму провайдерові. Усе, що ти раніше міг із цим зробити, тепер ти зробити не можеш.\nІ будь певен щодо того, що насправді стоїть на шляху, бо саме тут люди помиляються. Маршрутизатор у будинку досі робить NAT. Його не вимкнули. Він і далі транслює твій ноутбук на 192.168.1.20 в ту адресу, яку має лінія, тільки тепер лінія має 100.64.12.7, а це спільний простір, а не публічна адреса. Потім оператор транслює її ще раз. Тож пакет проходить два транслятори, перш ніж потрапить в інтернет, і це звичайний випадок, а не рідкісний.\nОператорський NAT це дві трансляції, два таймери і жодної досяжної адреси на жодній із них Операторський NAT це дві трансляції, а не одна Ноутбук 192.168.1.20 Маршрутизатор удома трансляція перша Лінія 100.64.12.7 Транслятор оператора трансляція друга, у 203.0.113.9 твоя, і єдина таблиця, яку ти бачиш їхня, спільна для сотень домівок, тобі не видна жодна з цих адрес не досяжна з інтернету Дві таблиці, два таймери, виграє коротший. Твій keepalive мусить випередити той із двох, що спливає першим, а прочитати ти можеш лише один. Важить саме той, якого ти не бачиш. Прокидання портів працює і нічого не дає. Маршрутизатор охоче прокидає порт з адреси, якої інтернет не досягає. UPnP і PCP звітують про успіх і відчиняють двері в коридор. Ось чому «я прокинув 500 і 4500, а воно досі не піднімається» такий частий і такий оманливий тікет. Ролі відповідача немає. Дві філії на побутовій оптиці взагалі не з’єднаються. Хтось посередині мусить їх познайомити, і тепер ти залежиш від компанії, яку не вибирав. Ідентичність не адреса. Кілька абонентів приходять на дальній кінець як одна адреса, тож їх розрізняє не те поле, яке мав використовувати IPsec. І є опублікована стеля: на більших платформах SRX Juniper називає не більше 1000 тунелів з однієї трансльованої адреси. Найшвидша перевірка нічого не коштує: подивися WAN-адресу в маршрутизаторі. Якщо вона на 100.64, це спільний простір з RFC 6598, ти за операторським NAT, і пів сторінки налаштувань лише для краси. Бізнесова лінія зі справжньою статичною адресою має одну трансляцію і досяжну точку. Саме це тобі продає додаткова щомісячна плата: те, що колись кожна машина мала задарма. Пакет транслюють двічі: раз маршрутизатор у будинку, раз оператор. Жодна з адрес, які він має, не досяжна ззовні. Це означає дві таблиці відображень із двома незалежними таймерами, з яких тобі видно лише один, прокидання портів, яке вдається і нічого не дає, жодної ролі відповідача, і ідентичність вузла, яка більше не може бути адресою. Ти під подвійним NAT, і лише одна з таблиць твоя. Дві трансляції означають дві таблиці відображень, два таймери старіння і два шанси, що відображення зникне. Твій keepalive мусить випередити той, що спливає першим, а прочитати ти можеш рівно один. Гірше того, вони взаємодіють: маршрутизатор у будинку може мати власні погляди на IPsec і намагатися допомогти через шлюз прикладного рівня, тож порт джерела, який твій клієнт вважає своїм, не той, що виходить із будинку, і не той, що виходить від оператора.\nПрокидання портів досі працює і нічого не робить. Це тікет, який з’їдає найбільше часу. Хтось прокидає UDP 500 і 4500 на домашньому маршрутизаторі, маршрутизатор це приймає, сторінка налаштувань каже, що правило активне, і нічим цим не скористатися, бо прокидається воно з адреси, якої інтернет не досягає. UPnP і PCP поводяться так само: клієнт просить відображення, маршрутизатор його надає, і порт відчиняється в коридор. Усе звітує про успіх, і ніщо не працює. Коробка скаже тобі все, що ти хочеш почути.\nНайшвидший спосіб це з’ясувати нічого не коштує. Подивися WAN-адресу в маршрутизаторі. Якщо вона починається на 100.64, це спільний простір, виділений у RFC 6598, ти за операторським NAT, і половина тієї сторінки налаштувань лише для краси.\nРолі відповідача більше не існує. Пристрій за CGNAT не може бути тим кінцем, якому хтось дзвонить. Site-to-site між двома філіями на побутовій оптиці (звичайна, дешева річ, саме те, чого хоче малий бізнес) вимагає, щоб принаймні один кінець мав справжню адресу, або третю сторону посередині, яка їх познайомить. Ця третя сторона це компанія, від якої ти тепер залежиш, бо твій провайдер не дав тобі адреси.\nТаймер належить комусь іншому. RFC 4787 каже операторам NAT, що відображення UDP «MUST NOT expire in less than two minutes», і рекомендує п’ять хвилин або більше9. Це нижня межа і порада, а не обіцянка, і ти не можеш перевірити, що твій оператор робить насправді. Тож keepalive перестає бути параметром тонкого налаштування. Він несучий, на таймері, про який ти можеш лише здогадуватися.\nІдентичність твого вузла не може бути його адресою. Кілька абонентів доходять до дальнього кінця як одна адреса. Чим би концентратор їх не розрізняв, це не IP-заголовок, а саме його IPsec і мав використовувати за задумом.\nЄ жорстка стеля, і виробники її публікують. Juniper документує, що на SRX5400, SRX5600 і SRX5800 «the total number of tunnels from a given public translated IP cannot exceed 1000 tunnels»7. Прочитай це як оператор, а не як рядок специфікації. Твій VPN-концентратор має обмеження на одну спільну адресу, ділить адресу оператор, з яким у тебе немає договору, а наскільки ти близько до межі, залежить від того, скільки твоїх користувачів випадково сидить за однією адресою. Немає лічильника, на який можна подивитися. Є лише день, коли воно починає падати в одних людей і не падати в інших.\nУсе в цьому розділі випливає з одного рішення, яке ця країна ухвалила і ухвалювала знову і знову. Я виклав цю справу повністю в іншому місці і не повторюватиму її. Тут суть вужча: основне припущення IPsec видалила мережа доступу, і відтоді IPsec живе на обхідних рішеннях.\nІ мережа лише з IPv6 його теж не рятує Тут мені доводиться бути чесним проти власного аргументу, бо очевидна відповідь на все вищесказане така: гаразд, тоді дай кожній машині справжню адресу IPv6, і IPsec знову працює, як специфіковано.\nПрацює, між двома кінцями, у яких вона є в обох. Це не та мережа, в якій сидить більшість людей.\nМережі доступу лише з IPv6, які реально існують, особливо мобільні, дістаються до інтернету IPv4 через NAT64, а це взагалі не NAT у звичайному сенсі. Це транслятор протоколів, що переписує пакет IPv6 у пакет IPv4. І RFC 6146 називає, що він переноситиме, і називає, що ні, без жодної двозначності:\n«The current specification only defines how stateful NAT64 translates unicast packets carrying TCP, UDP, and ICMP traffic. Multicast packets and other protocols, including the Stream Control Transmission Protocol (SCTP), the Datagram Congestion Control Protocol (DCCP), and IPsec, are out of the scope of this specification.»10\nIPsec, на ім’я, поза межами. А пакети з будь-чим поза цим переліком «SHOULD be discarded»10.\nТож на телефоні чи ноутбуці лише з IPv6, що намагається дістатися до концентратора IPv4, а такі більшість концентраторів, рідний ESP не відкидає файрвол і не калічить транслятор. Його просто ніколи не переносять. Транслятор робить рівно те, що йому велить стандарт.\nВідповідь галузі на це, звісно ж, ще один шар: 464XLAT, який дає пристрою локальний стек IPv4 і транслює двічі, з IPv4 і назад, щоб те, чого NAT64 не переносить, однаково працювало11. Він уже є в переліку надбудов у дописі про IPv6, і я не збираюся сперечатися про нього знову. Варто сказати тут про форму: протокол, що зламався на NAT у 2004 році, ламається і на трансляції, збудованій для переходу на IPv6 у 2011 році, і в обох випадках відповідь полягає в тому, щоб загорнути його в щось інше.\nОсь перевірка, яку протокол має пройти, щоб мати місце у 2026 році. Чи працює він у мережі, яка в людей насправді є: за спільною адресою оператора, у мобільній мережі лише з IPv6, через готель, який пропускає тільки TCP 443? Усе, що збудовано на порту UDP, проходить усі три, і йому нічого не треба казати. IPsec потребує окремого обхідного рішення для кожного, а для третього ще й інкапсуляції в TCP3.\nНемає портів означає і немає другого каналу Ось збій, який не має нічого спільного з NAT, суто сучасний, і про нього майже не говорять.\nМаршрутизатори і комутатори розподіляють трафік паралельними шляхами. Агрегація каналів, ECMP: обидва працюють однаково, хешуючи п’ять полів. Адреса джерела, адреса призначення, протокол, порт джерела, порт призначення. В ESP немає портів. Тож кожен пакет тунелю між тими самими двома адресами дає однаковий хеш, і весь тунель опиняється на одному каналі-члені, хоч скільки б ти їх купив.\nДва канали по 10G і один тунель IPsec дають тобі 10G. Чотири дають 10G. Залізо працює рівно так, як задумано.\nОбхідне рішення звичної форми. Деякі чипи вміють хешувати за SPI, бо кожен SPI називає одну асоціацію і отже один потік, але це функція, яку тобі треба було купити, а не те, що можна припускати на шляху, яким ти не володієш. Є активна чернетка IETF, вся мета якої загорнути ESP у ще один заголовок UDP, щоб звичайні маршрутизатори могли його хешувати, і вона пояснює чому одним реченням: «Although the ESP SPI field within the IPsec packets can be used as the load-balancing key, but it cannot be used by legacy switches and routers.»12 Її постановка проблеми так само прямо каже, що люди роблять натомість: «Many cloud service providers allow customers to establish multiple IPsec VPN tunnels in parallel to enable ECMP and increase aggregate bandwidth. However, this approach is not ideal, as each tunnel typically requires its own public IP address, leading to higher public IP consumption and increased operational overhead.»12\nПосидь із цим секунду. Рекомендований спосіб зробити зашифрований канал швидшим це збудувати кілька таких, кожен з яких спалює публічну адресу IPv4, під час дефіциту адрес, бо в протоколі немає номера порту, по якому можна хешувати. Тим часом тунель на основі UDP отримує багатошляховість задарма, від заліза, що вийшло п’ятнадцять років тому, бо в нього є порт, як у всього іншого в сучасному інтернеті.\nЦе не проблема спадщини, яка сама відімре. Це живе обмеження нових побудов, сьогодні, саме на тих швидкостях, які люди зараз купують.\nПодаток на MTU, і хто його платить Кожен тунель коштує байтів. IPsec коштує більше за більшість, а те, як він падає, коли байти закінчуються, це найгірший вид збою: періодичний, залежний від розміру і невидимий для кожного тесту, який хтось запускає першим.\nСкільки кожен тунель витрачає на пакет ще до твоїх даних Байти, витрачені до початку твоїх даних, у масштабі заголовки, на пакет разом Рідний ESP тунель, AES-GCM IP 20 ESP 8 IV 8 трейлер + тег 18 54 B ESP в UDP порт 4500, для NAT IP 20 UDP 8 ESP 8 IV 8 трейлер + тег 18 62 B L2TP/IPsec AES-CBC, NAT-T IP 20 UDP 8 ESP 8 IV 16 UDP 8 L2TP 6 PPP 4 трейлер + тег 18 88 B PPTP GRE, протокол 47 IP 20 GRE 16 PPP 4 жодного тегу цілісності 40 B WireGuard один порт UDP IP 20 UDP 8 заголовок 16 тег 16 60 B Заштриховані блоки це ціна чужого транслятора. У рядку L2TP три з них сидять у шифруванні: другий заголовок UDP, сеансовий рівень і обрамлення з модему. PPTP найдешевший, бо нічого не захищає. 40 байтів не купують перевірки цілісності, а MS-CHAPv2 звели до однієї операції DES у 2012 році. Дешевизна не мірило. Мірило те, що купують байти. По одній розібраній конфігурації, поверх IPv4. Точні цифри залежать від шифру, режиму і сімейства адрес. Байти, витрачені на кожен пакет ще до того, як туди потрапить хоч щось із твоїх даних, для однієї розібраної конфігурації кожного виду. Рідний ESP ощадливий. Загортання для NAT коштує ще вісім. L2TP/IPsec несе всередині шифрування заголовок UDP, заголовок L2TP і заголовок PPP: обрамлення з часів модемів, зашифроване, у 2026 році. PPTP виглядає дешевим, бо взагалі не несе тегу автентифікації, і саме в цьому вся біда з ним. Розберімо одну конфігурацію, а не махатимемо руками. ESP у тунельному режимі поверх IPv4 з AES-GCM: 20 байтів зовнішнього IP-заголовка, 8 заголовка ESP, 8 nonce, щонайменше 2 трейлера, 16 тегу цілісності. 54 байти ще до того, як туди потрапить хоч щось із твого пакета. Загорни для NAT traversal, і заголовок UDP робить це 62. На шляху з 1500 байтів лишається 1438, а щойно десь вище по ланцюгу працює PPPoE з 1492, ти знову падаєш нижче.\nА тепер те, що робить це збоєм, а не арифметичною задачею. Відправник дізнається, що пакет завеликий, лише отримавши у відповідь помилку ICMP: Fragmentation Needed в IPv4, Packet Too Big в IPv6. Якщо щось на шляху відкидає ці помилки, відправник ніколи не дізнається і далі шле пакети, які далі гинуть. Це класична чорна діра: рукостискання завершується, бо рукостискання малі, а передавання зависає, бо передавання ні.\nCisco ще з часів GRE та IPsec підтримують цілий документ про це, і він досі одне з кращих пояснень цієї взаємодії в чиїй завгодно бібліотеці13. Підтримувати його доводиться тому, що люди й далі блокують ICMP оптом, а потім дивуються, чому тунелі поводяться дивно.\nОбидві половини цього аргументу я вже виклав, і тут вони тримаються без повторення: які повідомлення ICMP несучі, а яке ні, у Ping: The Diagnostic Tool That Opens a Whole Lot More, і як знайти точний хоп, що з’їдає твій трафік, у The Firewall Is Eleven Hops Away. Коротко для цього допису: помилки це механізм, echo ні, і прикордонна політика, яка відкидає весь ICMP, зламала тобі VPN так, що звинуватять у цьому VPN.\nІ твоя власна якість обслуговування може його зламати Ще одне, бо на цьому ловляться добрі інженери, які роблять усе правильно.\nESP несе порядковий номер, а отримувач тримає вікно захисту від повторів, типово 64 пакети на платформах Cisco14. Тепер дай пріоритет голосу на маршрутизаторі-відправнику. Черга з низькою затримкою робить те, що ти просив, і переставляє пакети відносно того порядку, в якому їх зашифрували. Якщо пакет на момент прибуття випадає з вікна, дальній кінець відкидає його як повтор, і лічильник, що росте, це лічильник безпеки.\nВласні слова Cisco: «Certain QoS features, such as Low Latency Queueing (LLQ), could cause IPsec packet delivery to become out-of-order and dropped by the receiving endpoint due to a replay check failure.»14 Їхня відповідь: розширити вікно до 1024, де платформа це підтримує, або взяти розширення з кількома просторами порядкових номерів, яке відображає класи QoS в окремі простори номерів у межах однієї асоціації14.\nТож увімкнення стандартної функції твоєї власної мережі ламає твій власний тунель, а ліками стає ще одне розширення протоколу. Та сама форма, що й усе вище.\nL2TP: обрамлення з часів модемів, зашифроване, у 2026 році L2TP не протокол безпеки і ніколи не вдавав, що ним є. RFC 2661 це тунельний протокол для перенесення сеансів PPP, опублікований у 1999 році, без власної конфіденційності: його ж розділ про безпеку відсилає тебе до IPsec для захисту на рівні пакетів15. Ця пара це RFC 3193, а результат це стек з діаграми вище: зовнішній IP-заголовок, заголовок UDP для NAT traversal, ESP, а потім всередині шифрування ще один заголовок UDP на порту 1701, заголовок L2TP і заголовок PPP.\nPPP. Обрамлення з комутованих модемів, перенесене всередині зашифрованого тунелю, через інтернет, у 2026 році, бо саме це L2TP і писали переносити.\nПорахуй, що це коштує на розібраному прикладі (зовнішній IP 20, UDP 8, заголовок ESP і IV 24, внутрішній UDP 8, L2TP 6, PPP 4, трейлер і тег 18), і ти витрачаєш близько 88 байтів на пакет, щоб переносити дані, які рідний ESP переносить за 54. Тридцять чотири байти, на кожному пакеті, за сеансовий рівень, що не додає нічого, чого ти хотів, і канальний рівень, спроєктований для телефонної лінії.\nНакладні витрати тут найменша біда.\nВін множить проблему NAT, а не ділить її. L2TP/IPsec за звичаєм використовує ESP у транспортному режимі, тобто в тому режимі, якому NAT шкодить найбільше, і добре відомий результат такий, що багато реалізацій узагалі не можуть обслужити двох клієнтів за однією адресою. Двоє людей в одному будинку, або сорок в одному офісі, або кілька сотень за спільною адресою оператора. Дальній кінець бачить одну адресу і не може розрізнити сеанси, тож друге підключення замінює перше. Це той тікет з початку допису, і це не вада в чиємусь продукті: це проблема «ідентичність за адресою», що прибула туди, де з нею стикається найбільше людей.\nІ на практиці його зазвичай розгортають з одним спільним секретом для всіх. Оскільки секрет налаштовують у профілі клієнта і роздають разом з інструкціями з налаштування, попередньо поширений ключ лежить у документі для новачків, на сторінці вікі, в листі новим працівникам і на кожному ноутбуці, який колись пішов із компанії. Це не другий фактор. Це пароль, який автентифікує шлюз перед кимось невідомо ким, і його ні разу не змінювали.\nL2TP не протокол, який погано постарів. Це протокол, який із першого дня переносив не те, і його прикрутили до IPsec, щоб надолужити те, чого він не вмів зовсім.\nPPTP ніколи не був безпечним, і його досі продають PPTP заслуговує на два абзаци, а не на розділ, і отримує їх тому, що його досі постачають.\nВін ніколи не був стандартом. RFC 2637 має статус Informational. Це записаний протокол виробника, а не те, що IETF колись рекомендувала. Він переносить PPP усередині GRE, IP-протокол 47, у якому, як і в ESP, немає портів, тож йому потрібна власна особлива обробка в кожному NAT на шляху: галочка «PPTP passthrough», яка на дуже багатьох домашніх маршрутизаторах підтримує рівно один сеанс одночасно.\nБезпека скінчилася публічно у 2012 році. Марлінспайк і Халтон показали, що безпека MS-CHAPv2 зводиться до однієї операції DES незалежно від довжини пароля, збудували chapcrack, щоб витягати рукостискання, і підключили його до сервісу зламу, який повертав ключ протягом доби за двадцять доларів, зі 100 % успіху, а не з якоюсь імовірністю16. Їхній висновок: трафік PPTP слід вважати незашифрованим. Apple погодилася ділом і прибрала PPTP із вбудованого клієнта в macOS Sierra та iOS 10 у 2016 році, і досі публікує попередження17.\nДесять років по тому PPTP досі пункт меню на маршрутизаторах, які продають цього року, досі є в інструкціях виробників, досі те, що хтось вмикає, бо воно працює з першого разу. Воно працює з першого разу, бо не робить своєї роботи.\nУсе, що називає себе IPsec VPN «IPsec VPN» це не протокол. Це сімейство, і довжина переліку нижче і є аргументом, бо жодні два продукти не реалізують ту саму його підмножину, а прогалини між цими підмножинами якраз і є тим місцем, де живе кожна робота з сумісності, яку ти коли-небудь ненавидів.\nЧастина Що додає Який має статус ESP, IP-протокол 50 Саме шифрування і цілісність RFC 4303, чинний18 AH, IP-протокол 51 Цілісність ще й IP-заголовка RFC 4302, непридатний через NAT2 IKEv1 Початковий обмін ключами Застарілий, RFC переведено в Historic19 IKEv2 Чинний обмін ключами RFC 729620 IPComp, IP-протокол 108 Стискає перед шифруванням, з власними асоціаціями RFC 317321 PF_KEY v2 API ядра, щоб демон міг завантажити ключі RFC 236722 NAT traversal Загортає ESP в UDP 4500, щоб транслятор упорався RFC 3947 / 39486 Інкапсуляція в TCP Для мереж, які блокують ще й UDP RFC 9329, замінює RFC 82293 Фрагментація IKEv2 Бо сам обмін ключами переріс MTU RFC 738323 MOBIKE Щоб тунель пережив зміну адреси RFC 455524 Dead peer detection Серцебиття, бо ніщо інше тобі не скаже RFC 370625 XAUTH Автентифікація користувача: пароль, токен, RADIUS Ніколи не був RFC. Прострочена чернетка, 200126 Mode-Config Видає клієнтові адресу, DNS і маршрути Теж ніколи не був RFC26 L2TP/IPsec Переносить PPP усередині тунелю RFC 2661 + RFC 319327 GRE або VTI поверх IPsec Дає маршрутизований інтерфейс, щоб запустити на ньому протокол Архітектура виробника поверх ESP DMVPN mGRE плюс NHRP плюс IPsec, щоб філії знаходили одна одну Архітектура виробника, NHRP RFC 233228 GETVPN Групові ключі зовсім без попарного тунелю GDOI, RFC 640729 PPTP Те, що IPsec мав замінити RFC 2637, Informational, ніколи не був стандартом30 Тепер подивися на два рядки жирним, бо саме вони мають тебе зупинити.\nМайже два десятиліття стандартним способом впустити користувача в корпоративний IPsec VPN був XAUTH: твоє ім’я користувача і пароль, твій токен, твій сервер RADIUS, а Mode-Config видавав клієнтові його адресу, DNS-сервери і маршрути. Разом вони і є весь віддалений доступ. Кожен клієнт «Cisco IPsec», кожен значок VPN у треї, кожен набір інструкцій з підключення.\nЖоден із них не є стандартом. XAUTH був індивідуальною інтернет-чернеткою, яка прострочилася у 2001 році і пішла в архів, так і не ставши RFC26. Названу причину варто прочитати, бо це комітет пояснює, чому він не виконуватиме своєї роботи: чернетка фіксує, що робоча група IPSRA не прийме жодного протоколу, що розширює ISAKMP чи IKE, а робоча група IPsec відмовилася від усього, що стосується віддаленого доступу26. Тож найпоширенішу частину найпоширенішого VPN-протоколу лишили безпритульною, кожен виробник однаково її реалізував за власним прочитанням простроченої чернетки, і її постачили мільйонам користувачів.\nIKEv2 зрештою виправив обидва, і це варто сказати: автентифікація перейшла на EAP, а корисні навантаження конфігурації клієнта потрапили в основну специфікацію20. Але подивися на дати. Найуживаніша функція найуживанішого VPN-протоколу близько десяти років працювала на простроченій чернетці, перш ніж узагалі отримала стандарт, а встановлена база ще роками після того працювала на версії з чернетки. Сімейство протоколів не заслуговує на похвалу за те, що зрештою стандартизувало частину, якою всі вже користувалися.\nОсь сімейство, яке ти тримаєш. Частина його на шляху стандартів і чинна. Частина в Historic. Частина ніколи нікуди так і не дійшла. А продукт, у якого в описі написано «IPsec VPN», не сказав тобі приблизно нічого про те, які з цих вісімнадцяти речей він робить, і саме тому з’єднати два таких разом це два тижні, таблиця пропозицій і дзвінок комусь, хто вже робив це раніше.\nFisher-Price OS (Windows) ніколи по-справжньому не була сумісною Це та частина, де хтось каже, що насправді проблема в Linux, тож зробімо це з джерелами.\nТипово клієнт цієї системи взагалі не під’єднається до сервера IPsec, що стоїть за NAT. Не «матиме труднощі». Відмовиться. Виправлення це значення реєстру AssumeUDPEncapsulationContextOnSendRule у HKEY_LOCAL_MACHINE\\SYSTEM\\CurrentControlSet\\Services\\PolicyAgent, встановлене в 1, якщо сервер стоїть за транслятором, або в 2, якщо обидва кінці, на кожному клієнті і на сервері, а потім перезавантаження31. Власні слова Microsoft: «By default, Windows Vista and Windows Server 2008 don\u0026rsquo;t support Internet Protocol security (IPsec) network address translation (NAT) Traversal (NAT-T) security associations to servers that are located behind a NAT device.»31\nДві речі щодо цього. Перша: Microsoft є співавтором того самого стандарту NAT traversal, яким відмовляється користуватися. Їхнє ім’я стоїть на RFC 3947 і RFC 39486. Друга: сторінку, яка каже тобі редагувати реєстр, востаннє переглянули в лютому 2026 року31. Двадцять років по тому відповіддю досі є хак реєстру на кожному кінцевому пристрої, і його досі підтримують як відповідь.\nІ прочитай речення, яке Microsoft ставить просто над ним: «If you must use IPsec for communication, use public IP addresses for all servers that you can connect to from the Internet.»31\nЦе весь цей допис, у власній документації виробника. Не стався IPsec за NAT. Дай кожній машині справжню адресу. Вони це записали, а потім галузь два десятиліття робила навпаки і виставляла рахунок за різницю.\nНа NAT це не закінчується. Піди і прочитай, що шлюз із відкритим кодом мусить задокументувати, щоб прийняти клієнта цієї системи.\nСертифікату шлюзу потрібне розширене використання ключа, яке існує для цього і ні для чого більше. serverAuth, OID 1.3.6.1.5.5.7.3.1, плюс IP Security IKE Intermediate, OID 1.3.6.1.5.5.8.2.232. Твоєму центру сертифікації треба сказати видати OID, про який більшість інструментів ніколи не чули, інакше з’єднання падає з помилкою політики і без жодного корисного повідомлення. Потрібне друге значення реєстру, перш ніж клієнт запропонує пристойну криптографію. strongSwan документує додавання NegotiateDH2048_AES256 у Rasman\\Parameters, щоб отримати AES-256-CBC і 2048-бітну групу33. Прочитай це навпаки, бо саме так воно й важить: без правки реєстру типова пропозиція слабша за це. Клієнти за NAT відхиляють повторне узгодження ключів, ініційоване сервером, а задокументоване обхідне рішення це вимкнути повторне узгодження на шлюзі і дати клієнтові його починати33. Стандартних розширень IKEv2 просто немає: ні перенаправлення IKE, ні кількох раундів автентифікації33. Жодне з цього не вада Linux. Кожне з цього це проєкт із відкритим кодом, що записує, що йому доводиться робити, щоб пристосуватися до того, як один виробник прочитав стандарт, який сам же допомагав писати.\nЦе закономірність, і їй тридцять років. PPTP був протоколом Microsoft, записаним як Informational і ніколи не стандартизованим30. MS-CHAPv2 і MPPE були автентифікацією і шифруванням Microsoft, і обидва зламали публічно16. SSTP це тунель Microsoft, який більше ніхто не термінує. DirectAccess був IPsec, і за задумом мав цю систему на обох кінцях, а тепер його визнали застарілим і прибирають, а клієнтів переводять на Always On VPN34. Жоден із них ніколи не був протоколом, у якому решта з нас могла б зустрітися посередині. До них приєднувалися, і якщо в тебе не було потрібної операційної системи на обох кінцях, ти отримував хак реєстру, дивний OID і сторінку з обхідним рішенням.\nТож скажу прямо, бо це мій блог. Fisher-Price OS (Windows) ніколи не була справжнім рівноправним учасником відкритого стеку протоколів, бо бути рівноправним учасником ніколи не було її метою. Вона ховає машину від людини, яка нею користується, як мету проєкту, а стек, якого ти не бачиш, це стек, який ти не можеш зробити сумісним. Якщо це єдина операційна система, яку тобі коли-небудь доводилося адмініструвати, розділи вище про читання лічильників ядра і стеження за дротом читалися як інша мова, і в цьому прогалина: не вподобання, а прогалина.\nНічого з цього не мусить тобі нічого коштувати. Кожна діагностика в цьому дописі запускається з будь-якого Unix у мережі, спрямована на те, що зламане, і їй геть байдуже, що працює на дальньому кінці. А якщо ця операційна система єдина, яка в тебе є, діагностичний розділ нижче має власні інструменти й для неї: захоплення, два командлети і коди помилок з тим, що кожен насправді тобі каже. Зламаний тунель однаково треба полагодити в понеділок. А заміна, за яку я виступаю наприкінці, має одного клієнта, що поводиться однаково на кожній платформі, включно з цією, і це вперше за тридцять років правда щодо VPN.\nІсторія визнання застарілим читається як некролог Відклади обхідні рішення і просто прочитай, що органи стандартизації зробили з цим сімейством за ці роки. Не думка. Рівні вимог, в опублікованих RFC.\nЩо Який має статус зараз Джерело IKEv1 Застарілий; RFC 2407, 2408 і 2409 переведено в Historic RFC 9395, 202319 DES в ESP MUST NOT RFC 82218 3DES в ESP SHOULD NOT RFC 82218 HMAC-MD5-96 MUST NOT RFC 82218 ESP разом з AH NOT RECOMMENDED RFC 82218 ESP лише з шифруванням Показано, що небезпечний, і зламано на практиці у 2007 році Degabriele і Paterson35 IPsec на вузлі IPv6 Понижено з MUST до SHOULD RFC 6434, 201136 PPTP Ніколи не був стандартом; лише Informational RFC 263730 Передостанній рядок це той, який я поставив би перед кожним, хто каже мені, що з IPsec усе гаразд, а проблема в мережі. IPv6 спочатку вимагав IPsec: це була історія про безпеку, записана у вимоги до вузлів. У 2011 році IETF передумала: «Previously, IPv6 mandated implementation of IPsec and recommended the key management approach of IKE. This document updates that recommendation by making support of the IPsec Architecture a SHOULD for all IPv6 nodes.»36\nНавіть сімейство адрес, яке повернуло б IPsec усе, що забрав NAT, перестало його вимагати п’ятнадцять років тому. Це не мережа підвела IPsec. Це люди, які проєктували мережу, вирішили, що він не заслужив обов’язковості.\nПро складність попередили у 1999 році, письмово Ніщо з цього не є заднім розумом, і саме тому це варто записати.\nУ 1999 році Нільсу Фергюсону і Брюсу Шнаєру замовили оцінку IPsec. Їхній звіт короткий, простий, і його варто прочитати цілком. Він починається словами «IPsec was a great disappointment to us. Given the quality of the people that worked on it and the time that was spent on it, we expected a much better result.»37 Він називає причину: «Our main criticism of IPsec is its complexity. IPsec contains too many options and too much flexibility; there are often several ways of doing the same or similar things. This is a typical committee effect.»37\nІ він дав три рекомендації, які тепер читаються як перелік того, що все одно сталося, на двадцять років пізніше і важким шляхом:\nПрибрати транспортний режим. «We therefore recommend that transport mode be eliminated.»37 Транспортний режим це той, який використовує L2TP/IPsec, і саме йому NAT шкодить найбільше. Прибрати AH. «We conclude that eliminating transport mode allows the elimination of the AH protocol as well, without loss of functionality.»37 Натомість його прибрав NAT, і з гіршої причини. Ніколи не дозволяти шифрування без автентифікації. Вони попереджали, що адміністратори «will be quite likely to configure ESP for only encryption, believing that it provides security.»37 Через вісім років останнє перестало бути попередженням. Degabriele і Paterson опублікували атаки, які «break any RFC-compliant implementation of IPsec making use of encryption-only ESP», лише за шифротекстом, не потребуючи нічого більшого, ніж змоги стежити за трафіком і вставляти пакети35. Передбачення вісім років лежало в публічному доступі, а стандарт досі дозволяв таку конфігурацію.\nВердикт того звіту 1999 року це речення, до якого я постійно повертаюся: «We have found serious security weaknesses in all major components of IPsec. As always in security, there is no prize for getting 90% right; you have to get everything right.»37\nЩе два факти, і на цьому я це залишу.\nLogjam, 2015. Команда, що за ним стоїть, просканувала на IKE вибірку з 1 % адрес IPv4 і виявила, що 86,1 % серверів IKEv1 і 91,0 % серверів IKEv2 підтримували 1024-бітну Oakley Group 2, а 66,1 % профільованих серверів IKEv1 її віддавали перевагу. Їхній висновок: попередні обчислення проти другої 1024-бітної групи «would allow decryption of traffic to 66% of IPsec VPNs», а опубліковані розвідувальні документи про експлуатацію VPN «consistent with having achieved such a break»38. Криптографічна гнучкість, якої в IPsec найбільше, саме і дозволила майже всім п’ятнадцять років сидіти на тій самій слабкій групі.\nCVE-2016-1287. Переповнення буфера в коді IKEv1 та IKEv2 на Cisco ASA, досяжне надсиланням спеціально сформованих пакетів UDP, що дає віддалене виконання коду до автентифікації39. Подумай, де стоїть ця коробка. Це пристрій, який ти навмисно виставив на весь інтернет, з найбагатшим на опції протоколом у всьому господарстві, зі збирачем фрагментів перед парсером, і з ключами до всього, що всередині. Складність, про яку попереджали Фергюсон і Шнаєр, не абстракція. Це поверхня атаки, на тій єдиній машині, яку ти не можеш нічим прикрити.\nДіагностика, поки ти його ще тримаєш Сьогодні по обіді ти все це не вимкнеш, тож ось як із цим працювати. Це метод, у порядку від найдешевшого, з тим, що кожен результат насправді означає.\nШість способів здатися, на тому місці шляху, де кожен стається Де насправді живе кожен збій Клієнт політика і маршрути Маршрутизатор трансляція перша Оператор трансляція друга Інтернет фільтри і MTU Шлюз селектори й ідентичність 1 2 3 4 5 6 1 На дроті нічого. Трафік не дійшов до IPsec. Не дивися на криптографію. ip xfrm policy і маршрут, і що там робить файрвол хоста. 2 500 в обидва боки, 4500 немає. NAT traversal не узгоджено. tcpdump -ni eth0 'udp port 500 or udp port 4500 or ip proto 50' Голий ESP не виживе. 3 Умирає в простої, оживає. Відображення застаріло на одному з двох трансляторів. Твій keepalive програє таймеру, якого ти не бачиш. Скороти його і не вір типовому значенню. 4 Вихідний росте, вхідний стоїть. ESP гине в одному напрямку, в дорозі. ip -s xfrm state на обох кінцях, потім знайди хоп, що його їсть. 5 Вхід є, велике висить. MTU шляху, і помилки ICMP не повертаються. ping -M do -s 1400 крок за кроком униз, потім обмеж розмір сегмента і виправ правило ICMP. 6 Обидва кінці «up», нічого не йде. Селектори трафіку, політика чи маршрути, не ключі. А якщо другий користувач вибив першого з тунелю, це ідентичність вузла, а не пропускна здатність. Одне захоплення на межі на тридцять секунд відповідає на перші три. Зроби це, перш ніж відкривати консоль. Шість збоїв у тому порядку, в якому їх перевіряти, із симптомом, перевіркою і тим, що означає відповідь. Кожен рядок це інший рівень стеку, що здається, а на перші три відповідає тридцять секунд спостереження за дротом, тому це перше, що треба зробити, а не останнє. Спершу дивися на дріт, а не в консоль Обидві консолі скажуть тобі те, у що вони вірять. Дріт скаже тобі, що сталося. Одне захоплення на межі, тридцять секунд, відповідає на перші три питання одразу:\ntcpdump -ni eth0 \u0026#39;udp port 500 or udp port 4500 or ip proto 50 or ip6 proto 50\u0026#39; Узагалі нічого вихідного: проблема стоїть перед IPsec, це маршрутизація, політика або файрвол на хості. Перестань дивитися на криптографію. Лише вихідне, у відповідь нічого: твої пакети виходять, а їхні відповіді не приходять. Фільтрація в дорозі, мертвий вузол або дальній кінець мовчки відхиляє. UDP 500 в обидва боки, а 4500 так і не з’являється: NAT traversal не узгоджено. Або на одному кінці його вимкнено, або виявлення не спрацювало. Протокол 50 на дроті, коли один кінець за NAT: узгодження вирішило, що транслятора немає, а він є. Воно ніколи не повернеться. Як читати збій обміну ключами IKEv2 каже тобі, чому відмовив, і назви повідомлень notify досить конкретні, щоб діагностувати лише за ними. Корисно спершу мати перед очима форму всього обміну, бо кожне повідомлення notify нижче належить певному його щаблю.\nОбмін IKEv2 крок за кроком, і яка несправність живе на кожному кроці Кожен крок обміну і несправність, що на ньому живе Клієнт за транслятором Шлюз справжня адреса Що тут ламається запит IKE_SA_INIT, UDP 500 нічого у відповідь: 809 ERROR_VPN_TIMEOUT відповідь IKE_SA_INIT, UDP 500 NO_PROPOSAL_CHOSEN, INVALID_KE_PAYLOAD NAT виявлено, обидва кінці на 4500 переходу немає: proto 50 гине на трансляторі IKE_AUTH, UDP 4500, зашифровано завеликий, фрагмент втрачено, повтор, timeout відповідь IKE_AUTH, CHILD_SA створено AUTHENTICATION_FAILED: 13801, 13806 ESP в UDP 4500: твій трафік TS_UNACCEPTABLE: піднято, а нічого не йде keepalive: 1 байт кожні 20 с, назавжди без keepalive відображення спливає в простої Перехід це шарнір. Над ним усе на UDP 500. Під ним усе на UDP 4500. Якщо переходу не стається, ти пхаєш протокол 50 у транслятор, якому нічого переписувати, і воно вже не повернеться. Збій розміру живе на одному щаблі. IKE_AUTH несе ланцюжок сертифікатів, тож це єдине велике повідомлення тут. Попередній ключ, що під’єднується там, де сертифікат ні, означає втрачений фрагмент, а не поганий сертифікат. Створено не означає працює. Дочірня асоціація може існувати і нічого не нести, якщо кінці не згодні, який трафік вона покриває. Кожну несправність у правому стовпці клієнт повідомляє як timeout, хоч би чим вона була насправді. Обмін від першого пакета до сталого стану, з несправністю, що живе на кожному кроці. Перехід з 500 на 4500 це шарнір: усе над ним на одному порту, усе під ним на іншому, і якщо переходу не стається, ти пхаєш протокол 50 у транслятор, який не може його перенести. IKE_AUTH тут єдине велике повідомлення, тому попередньо поширений ключ може під\u0026rsquo;єднатися там, де сертифікат ні: це втрачений фрагмент, а не поганий сертифікат. Notify Що воно насправді означає Куди дивитися NO_PROPOSAL_CHOSEN Жодна із запропонованих комбінацій шифру, цілісності, DH і PRF не прийнятна для дальнього кінця Обидва переліки пропозицій; чекай застарілого алгоритму на одному боці INVALID_KE_PAYLOAD Розбіжність групи Діффі-Геллмана: ти запропонував одну групу, а він хоче іншу Група DH, перше в пропозиції AUTHENTICATION_FAILED Ключ, сертифікат або ідентичність неправильні: розбіжність попередньо поширеного ключа, прострочений сертифікат або ID, не той, якого чекає вузол Ідентичність, а не лише секрет TS_UNACCEPTABLE Селектори трафіку не перетинаються: ти просив захистити підмережі, яких вузол захищати не буде Конфігурація селекторів на обох кінцях INVALID_SPI Прийшов пакет для асоціації, якої вже не існує, зазвичай після однобічного перезапуску Чи один кінець повторно узгодив ключі або перезавантажився Настанова Juniper щодо Phase 2 каже те саме про найпоширеніше з них: «no proposal chosen» означає, що «the device did not accept any of the IKE Phase 2 proposals that the peer sent», а виправлення це взаємно прийнятна пропозиція, а не повторний перезапуск40.\nНа strongSwan стан усього однією командою:\nswanctl --list-sas # what is established, and what it negotiated swanctl --log # the negotiation as it happens На Cisco це show crypto ikev2 sa і show crypto ipsec sa, з debug crypto ikev2, коли він не піднімається41. На Junos це show security ike security-associations і show security ipsec security-associations, а узгодження в show log kmd-logs42.\nЧи NAT traversal справді узгоджено? Це перевірка, яку люди пропускають, і вона пояснює чималу частку випадків «з офісу працює, а з дому ні».\nКожен кінець надсилає хеші адрес і портів, які, на його думку, задіяні. Якщо хеш, який дальній кінець обчислює з отриманого пакета, не збігається з тим, що ти надіслав, між вами є транслятор, і обидва кінці переходять на UDP 4500. Якщо виявлення не спрацьовує (на одному боці traversal вимкнено, або щось посередині калічить обмін), обидва кінці продовжують з голим ESP, який транслятор не переживе.\nТож: побач порт 4500 у захопленні, з обох напрямків, інакше ніякого traversal не відбувається. Не вір консолі на слово.\nПотім перевір, що keepalive справді працює і що його інтервал менший, ніж той, через який твій оператор старить відображення. Типово це двадцять секунд6; нижня межа стандарту для операторів NAT дві хвилини9; що робить саме твій оператор, ти бачити не можеш. Якщо тунель вмирає після простою і оживає від трафіку, винне саме це, щоразу.\nЛічильники ядра, які майже ніхто не читає У Linux рівень перетворень веде повну розбивку помилок, і це найшвидший спосіб перетворити «не працює» на конкретну причину. Лічильники задокументовані самим ядром43.\ncat /proc/net/xfrm_stat # error counters, by cause ip -s xfrm state # per-SA packet and byte counters ip xfrm policy # what should be protected, and in which direction Це краще читається як шлях, ніж як перелік. Пакет проходить п’ять етапів, і в кожного свій лічильник:\nП’ять етапів і лічильник, що називає той, на якому загинув твій пакет Іди за одним пакетом, і хай лічильник назве етап, де він загинув Твоя політика чи захищати цей трафік? XfrmOutPolBlock ти відкидаєш його сам, навмисно, у політиці Твоя асоціація зашифрувати, запечатати, пронумерувати XfrmOutNoStates політика спрацювала, а асоціації, щоб його перенести, немає Шлях транслятор, MTU, фільтри нічого не росте, на жодному кінці тут живуть NAT, MTU і фільтрація, і жоден лічильник нічого з цього не бачить Їхня асоціація адреса + протокол + SPI XfrmInNoStates \u0026#183; XfrmInStateProtoError \u0026#183; XfrmInStateSeqError прийшов, а криптографія не зійшлася: не той SPI, не той ключ, поза вікном Їхня політика чи це мали захищати? XfrmInTmplMismatch \u0026#183; XfrmInNoPols з криптографією все добре, а політика не згодна, чи мали його захищати Етап третій без лічильника. Усе, що чверть століття трансляції зробила з цим протоколом, стається там, і рівень перетворень на жодному кінці не бачить звідти жодного пакета. Тому захоплення і йде раніше за консоль. Етапи 4 і 5 протилежні. Четвертий: криптографія не зійшлася. П’ятий: зійшлася, а щось не згодне, чи мали захищати. Їх майже щоразу перевіряють не в тому порядку, бо п’ятий схожий на збій криптографії, а це не він. Назви лічильників з Linux. На Junos ті самі етапи видно в show security ipsec statistics; у Fisher-Price OS (Windows) у Get-NetIPsecQuickModeSA і журналі Windows Firewall with Advanced Security. П\u0026rsquo;ять етапів і лічильник, що називає той, на якому загинув твій пакет. Етап три єдиний без жодного лічильника: там живуть транслятор, MTU і кожен фільтр посередині, і рівень перетворень на жодному з кінців не бачить жодного пакета звідти. У цьому і весь аргумент за те, щоб братися за захоплення раніше, ніж за консоль. Етапи чотири і п\u0026rsquo;ять це протилежні несправності, і майже щоразу їх перевіряють у неправильному порядку. Дивися, який із них рухається, поки стається збій:\nЛічильник Опис від ядра Що це означає в той день XfrmInNoStates «No state is found i.e. Either inbound SPI, address, or IPsec protocol at SA is wrong» Їхні пакети приходять для асоціації, якої в тебе немає: зазвичай однобічне повторне узгодження ключів або перезапуск XfrmInStateSeqError «Sequence error i.e. Sequence number is out of window» Перестановка пакетів або проблеми з вікном повторів; див. взаємодію з QoS вище XfrmInStateProtoError «Transformation protocol specific error e.g. SA key is wrong» Ключі не збігаються: асоціація пережила повторне узгодження лише на одному боці XfrmInTmplMismatch «No matching template for states e.g. Inbound SAs are correct but SP rule is wrong» Асоціація правильна, а політика ні XfrmInNoPols «No policy is found for states e.g. Inbound SAs are correct but no SP is found» Приходить захищений трафік, який ніхто не просив захищати XfrmOutPolBlock «Policy discards» Ти сам його відкидаєш, навмисно, у політиці XfrmOutNoStates «No state is found» Трафік збігся з політикою, але немає асоціації, щоб його перенести: тунель так і не піднявся XfrmInTmplMismatch і XfrmInNoPols це ті два, які варто знати в обличчя, бо обидва означають, що з криптографією все добре, а з політикою ні, а це протилежне тому, куди всі дивляться першим.\nКаже, що піднято, а нічого не рухається Обидва кінці встановлені, трафіку немає. Прочитай лічильники кожної асоціації в обох напрямках:\nip -s xfrm state Вихідні байти ростуть, вхідні стоять: ти шифруєш і надсилаєш, а назад нічого не приходить. Або твій ESP до них не доходить, або їхній до тебе. Попроси дальній кінець подивитися їхній вихідний лічильник; якщо він теж росте, пакети гинуть у дорозі, і наступне питання де саме, а це питання про TTL, а не про криптографію. Обидва стоять: тунелю нічого не пропонують. Маршрутизація або політика, не IPsec. У схемі на основі маршрутів перевір, що маршрут справді вказує на інтерфейс тунелю; у схемі на основі політик перевір селектори. Обидва ростуть, а застосунки досі зламані: це не тунель. Піди подивися, що стоїть на дальньому боці. Настанова Juniper для цього випадку це той самий інстинкт їхньою мовою: якщо на сеансі росте лише лічильник вихідних пакетів, перевір із вузлом, чи трафік узагалі отримують44.\nДрібне працює, велике зависає MTU. Це завжди MTU. Тест займає десять секунд:\nping -M do -s 1400 10.0.0.1 # inside the tunnel, do-not-fragment set ping -M do -s 1300 10.0.0.1 # step down until it succeeds Те, де він починає проходити, каже тобі справжній корисний розмір. Потім змуси TCP з’ясовувати це самостійно, обмеживши оголошений розмір сегмента під шлях, замість сподіватися, що кожна помилка ICMP переживе дорогу:\nnft add rule inet filter forward tcp flags syn tcp option maxseg size set rt mtu І виправ першопричину теж, а це майже завжди надто широке правило ICMP десь на межі. Відкидай echo, якщо хочеш. Я в іншому місці доводив, що він на це заслуговує. Але залиш Fragmentation Needed і Packet Too Big. Вони механізм, а не дрібниця для зручності.\nПадає за годинником Заміряй, коли стаються збої. Сам інтервал називає причину.\nФіксований період, що збігається з налаштованим часом життя: повторне узгодження ключів. Асоціація спливає, а узгодження заміни не вдається або змагається. Перевір час життя на обох кінцях; різні значення нормальні і нічого страшного, але жорсткий час життя на одному кінці, коротший за м’який на іншому, дає рівно це. Після періоду без трафіку, повертається при першому використанні: сплило відображення NAT. Інтервал keepalive, або його відсутність. Dead peer detection зриває тунель, хоча канал у порядку: губляться проби, а не вузол помер, часто тому, що проби це єдиний трафік, а відображення вже зникло. Другий користувач вбиває першого Два вузли доходять до концентратора з однієї адреси і автентифікуються як та сама ідентичність. Шлюз має вибір: залишити стару асоціацію чи замінити її, і поширене типове значення це заміна. Тож друге підключення перемагає, а перше тихо вмирає.\nДай кожному вузлу справді унікальну ідентичність замість адреси чи спільного імені і налаштуй шлюз тримати кілька асоціацій з однієї адреси, а не припускати одну на вузол. Потім перевір це єдиним способом, який має значення: два клієнти, одна адреса, одночасно. Якщо в твоєму приймальному тесті ніколи не було двох користувачів за одним NAT, ти не перевірив той випадок, у якому сидить більшість твоїх користувачів.\nТі самі збої на Fisher-Price OS (Windows) Кожна перевірка вище запускається з машини з Unix, і якщо в тій мережі така є, користуйся нею, бо вона скаже тобі правду швидше і їй байдуже, що працює на дальньому кінці. Але чимало читачів мають клієнт, який не під’єднується, операційну систему, що навмисно ховає від них машину, і більше нічого, на що можна подивитися. Тож ось той самий метод ще раз, у тому самому порядку, з інструментами, які ця операційна система справді постачає.\nДивися на дріт. tcpdump немає, але захоплення є. Запусти його з підвищеними правами, відтвори збій, зупини:\nnetsh wfp capture start cab=on file=ipsec netsh wfp capture stop Це записує .cab. Усередині трасування того, що платформа фільтрації і обмін ключами насправді робили, поки ставався збій, а це більше, ніж визнає будь-яка з консолей. Щоб подивитися наживо, а не в архів, той самий набір команд виводить у консоль з file=-: netsh wfp show state «Displays the current state of WFP and IPsec», а netsh wfp show ikeevents «Displays recent Internet Key Exchange (IKE) epoch events matching the specified parameters», з фільтром на один вузол45.\nnetsh wfp show state file=- netsh wfp show ikeevents remoteaddr=203.0.113.5 file=- show ikeevents тут найближче до журналу обміну, який кожен інший стек пише, не чекаючи прохання. Варто знати, що він є. Інакше інтерфейс дає тобі тризначне число і більше нічого, і ти діагностуєш обмін ключами навмання.\nЧитай асоціації, і читай обидві. Відповідники ip -s xfrm state і swanctl --list-sas це два командлети, і поділ між ними і є вся діагностика:\nGet-NetIPsecMainModeSA Get-NetIPsecQuickModeSA Main mode це обмін ключами. Quick mode переносить пакети. Microsoft описує зв’язок прямо: «There is only one main mode SA between a pair of computers, but there can be many quick mode SAs»46. Тож main mode є, а quick mode порожній, це той самий збій, що IKE_SA піднято, а CHILD_SA під ним немає, і означає він те саме: два кінці домовилися, як розмовляти, а потім не змогли домовитися, що захищати. Дивися на селектори трафіку, а не на шифри.\nЧитай журнали, у двох місцях, де вони ховаються. Збої на рівні з’єднання потрапляють у журнал Application під джерелом RasClient, і власна примітка Microsoft про їх читання це корисна частина: «All error messages return the error code at the end of the message»47. Це число і є діагноз, а наступний розділ пояснює, що ці числа означають. Рішення політики і фільтрації потрапляють зовсім в інше місце, під Applications and Services Logs, у канали Windows Firewall with Advanced Security. Два журнали, дві команди, один збій.\nЗбирай як слід, коли треба ескалювати. Підтримуваний набір це TSS: TSS.ps1 -Scenario NET_VPN на клієнті, TSS.ps1 -Scenario NET_RAS на сервері, запущені до того, як ти відтвориш збій, і зупинені після48. Навчися цього, перш ніж хтось тебе про це попросить.\nКоли воно висить на «Підключення», а потім спливає час Це збій, яким заповнені тікети, і слово в помилці бреше. Почни з того, що назви код. Код конкретний, навіть коли повідомлення марне.\nВичерпання часу підключення це одна з трьох речей, і жодна з них не годинник Що клієнт називає timeout, і чим воно було насправді Клієнт каже: timed out 809, 718, 828, 930, 638: п’ять кодів, одне слово, і жоден не годинник Це одна з трьох речей, і один тест каже, яка Нічого не прийшло випадок тиші Тест: захоплення на клієнті. UDP 500 виходить, а назад нічого? Фільтрація на шляху, або NAT traversal не узгоджено, і 4500 не надсилали зовсім. Прийшло, завелике випадок фрагмента Тест: ключ PSK під’єднується там, де сертифікат ні? IKE_AUTH несе ланцюжок, тож фрагментується, і фрагмент губиться на шляху. Не тунель випадок не того рівня Тест: шлюз записав збій автентифікації в ту саму секунду? 930 це RADIUS. 812 це метод автентифікації. 13801 і 13806 це сертифікати. Жодна з трьох не таймер. Подовжити timeout це єдине, до чого запрошує інтерфейс, і єдине, що ні разу не виправило жодної з них. Слово там, бо рівень, що повідомляє про збій, бачить недостатньо далеко, щоб сказати більше. Перевіряй у такому порядку. Перше коштує тридцять секунд захоплення, друге одну спробу підключення, третє один журнал. П\u0026rsquo;ять кодів помилок мають у назві слово timeout, і жоден із них не годинник. Це одна з трьох речей, і їх розділяє один тест: захоплення каже, чи взагалі щось повернулося, одна спроба підключення з попередньо поширеним ключем каже, чи обмін сертифікатами був просто завеликим, щоб дійти, а власний журнал шлюзу каже, чи тунель узагалі колись був проблемою. Перевіряй їх у цьому порядку, бо це також порядок того, скільки вони коштують. Код Назва в raserror.h Що насправді сталося 809 ERROR_VPN_TIMEOUT Узагалі нічого не повернулося. Причина, яку називає Microsoft: «the UDP 500 or 4500 ports on the VPN server or firewall are blocked»47, але blocked покриває три різні речі, і лише одна з них правило заборони. Зазвичай 4500 так і не надіслали, бо NAT traversal не узгодили, або помічника, який раніше його переносив, вимкнули. Дочитай, перш ніж просити змінити файрвол 789 ERROR_OAKLEY_GENERAL_PROCESSING «The L2TP connection attempt failed because the security layer encountered a processing error during initial negotiations»: облікові дані або сертифікати, а не мережа 718 ERROR_PPP_TIMEOUT Частина IPsec спрацювала. PPP усередині тунелю L2TP не отримав відповіді 828 ERROR_IDLE_TIMEOUT «The connection was terminated because of idle timeout»: налаштування на боці сервера, навмисне 930 ERROR_AUTH_SERVER_TIMEOUT RADIUS не відповів вчасно. Жодного стосунку до IPsec 638 ERROR_REQUEST_TIMEOUT Загальний. Вважай, що інформації немає, і йди до дроту Кожен із них узято з власного переліку помилок Microsoft49. Тепер прочитай 809 ще раз. Він називається ERROR_VPN_TIMEOUT, а задокументована причина це заблокований порт. Клієнт не вичерпує час очікування через те, що дальній кінець повільний. Він вичерпує його, бо дальній кінець мовчить, а мовчання це єдиний вид збою, про який може повідомити протокол без портів і без видимості рукостискання.\nАле обережно з цим словом blocked, бо воно несе більше, ніж може втримати. Його носять три різні речі, і лише одна з них правило заборони.\nНіщо взагалі не надсилало 4500. NAT traversal не узгодили, тож клієнт продовжив говорити ESP, а ESP не дає транслятору нічого для переписування. Типової поведінки цієї платформи самої вистачає: без значення реєстру вона взагалі не утворить асоціацію NAT-T із сервером за транслятором31. Тож 4500 не заблоковано. Його ніколи не пробували.\nПомічника, який раніше це латав, вимкнули. Файрволи і домашні маршрутизатори мають помічників для окремих протоколів (IPsec passthrough на побутовому залізі і всю родину шлюзів прикладного рівня за ним), які читають протокол, з яким NAT не справляється, і відкривають для нього зворотний шлях. У Linux автоматичну форму цього вимкнули типово в ядрі 4.7 «for security reasons», і відтоді настанова така: приєднувати помічника свідомо, правилом, або не приєднувати зовсім; серед помічників, яких це стосується, є і помічник для PPTP50.\nІ вимкнути їх було правильним рішенням. Помічник це частина твого файрвола, яка розбирає вміст і потім пробиває дірку на основі прочитаного. NAT Slipstreaming це рахунок за це: браузер відкриває сторінку, трафік сформовано так, що помічник SIP або H.323 маршрутизатора читає його як дзвінок, і крізь NAT відкривається отвір, у версії 2021 року на будь-яку внутрішню адресу, а не лише на машину, яка завантажила сторінку51. Вимкнення помічників це закриває. І водночас зупиняє твій IPsec. Обидва твердження правдиві одночасно, і друге не є аргументом, щоб скасувати перше.\nЩо знову є цим дописом у мініатюрі. Протокол працював лише тому, що коробки посередині читали трафік, який їм не належав, і відкривали дірки від його імені, а галузь останнє десятиліття правильно вирішує перестати це робити.\nТож відпрацьовуй причини в такому порядку, від найдешевшої.\nПерше: нічого не повертається. Захопи на клієнті або спитай шлюз. Якщо UDP 500 виходить і нічого не повертається, це фільтрація або досяжність, і жоден таймер цього не виправить. Якщо 500 проходить в обидва боки, а 4500 так і не з’являється, NAT traversal не узгодився. А якщо будь-який кінець за транслятором, ти знову при значенні реєстру, про яке йшлося раніше в цьому дописі: AssumeUDPEncapsulationContextOnSendRule, 1 або 2, на обох машинах, потім перезавантаження31. Без нього клієнт відмовляє за задумом і повідомляє про це як про вичерпання часу.\nДруге: відповідь завелика, щоб дійти. На цьому марнуються цілі пообідні години. Автентифікація сертифікатом робить другий обмін великим, бо він несе ланцюжок, а великий обмін фрагментується. Фрагменти відкидають ті самі проміжні пристрої, що й усе інше в цьому дописі, клієнт повторює передавання в ту саму діру, а потім здається і каже timeout. Ознака діагностична сама по собі: попередньо поширений ключ під’єднується, а сертифікат ні. Це не несправність сертифіката. Це несправність розміру, бо обмін з попередньо поширеним ключем досить малий, щоб уміститися. Стандартна фрагментація IKEv2 існує саме для цього23, і strongSwan фіксує, коли ця платформа її отримала: «IKEv2 fragmentation is supported since the v1803 release of Windows 10 and Windows Server»33. Щось старіше, або шлюз із вимкненою фрагментацією, і ти покладаєшся на шлях, який перенесе фрагментовану датаграму UDP. Чимало не перенесуть.\nТретє: під’єднується, а потім падає за годинником. Заміряй. Якщо вмирає після фіксованого періоду простою, це 828, і це конфігурація, а не несправність: -IdleDisconnectSeconds на сервері, а -SALifeTimeSeconds, -MMSALifeTimeSeconds і -SADataSizeForRenegotiationKilobytes це три інші годинники, які можуть завершити сеанс52. Останній завершує його за обсягом, а не за часом, і саме тому сеанс може надійно вмирати під час копіювання великого файлу і ніколи за цілий день роботи з поштою. А якщо він вмирає на повторному узгодженні ключів, коли клієнт за NAT, це задокументована несправність сумісності, про яку йшлося раніше: клієнт відхиляє ініційоване сервером повторне узгодження з помилкою Microsoft 13863, а відповідь на боці шлюзу полягає в тому, щоб перестати ініціювати і дати це робити клієнтові33.\nЧетверте: це взагалі не тунель. 930 це RADIUS. 812 це метод автентифікації, якого сервер не прийняв47. 13801 і 13806 це сертифікати: неправильне розширене використання ключа, прострочений, відсутній кореневий або ім’я сервера, яке не збігається із суб’єктом сертифіката47. В усіх чотирьох випадках узгодження тунелю було в порядку, і якщо ти проведеш пообіддя над шифрами, жодного з них не знайдеш.\nОсь що варто винести з цієї таблиці. Шість кодів помилок, у п’яти з них у назві слово timeout, і жоден із них насправді не є вичерпанням часу. Це заблокований порт, втрачений фрагмент, рішення політики і сервер RADIUS, і всі носять те саме слово, бо рівень, що повідомляє про збій, бачить надто мало з того, що сталося, щоб сказати щось корисніше. Подовження таймера не виправляє жодного з них, а саме до подовження таймера інтерфейс тебе і запрошує.\nЩо запускати натомість Я не вдаватиму, що заміна якась екзотична. Вона в ядрі, і вже багато років.\nWireGuard це один порт UDP, один ключ на вузол, жодного узгодження шифрів і жодної гнучкості протоколу. Позиція автора щодо цього свідома і висловлена: «It intentionally lacks cipher and protocol agility. If holes are found in the underlying primitives, all endpoints will be required to update. As shown by the continuing torrent of SSL/TLS vulnerabilities, cipher agility increases complexity monumentally.»53 Це одне рішення одним махом прибирає NO_PROPOSAL_CHOSEN, INVALID_KE_PAYLOAD, атаки пониження і знахідку Logjam, бо узгоджувати нічого і понижувати нічого.\nВін чесний і щодо компромісу, і я теж: відсутність гнучкості означає, що коли якийсь примітив таки впаде, ти оновлюєш увесь парк, а не перемикаєш рядок у конфігурації. Це реальна операційна ціна, і саме її варто платити.\nРешта вишиковується проти переліку вище майже пункт за пунктом. Наявність порту UDP означає, що NAT і CGNAT поводяться з ним як із будь-яким іншим потоком, а ECMP і LAG хешують його як будь-який інший потік. Роумінг вбудований, а не прикручений: автентифікований пакет із нової адреси переносить кінцеву точку вузла, тож телефон, що переходить із WiFi на мобільний зв’язок, нічого не переузгоджує. Він нічого не відповідає на неавтентифікований пакет, тож сканер знаходить закритий порт там, де в IPsec знайшов би концентратор, готовий розмовляти. І це менше ніж 4000 рядків коду53 проти стеку, якому потрібен документ із переліком шістнадцяти його несумісностей з одним проміжним пристроєм.\nЗа продуктивністю він просто виміряно швидший за обидві конфігурації IPsec, з якими його порівнювали: 1011 Мбіт/с проти 881 і 825, з меншою затримкою53. Я не відправив би протокол у відставку через бенчмарк. Я згадую це тому, що останній аргумент, який лишається на боці IPsec, зазвичай продуктивність, а він теж неправдивий.\nЩоб довести людину до застосунку, а не мережу до мережі, відповідь узагалі не тунель. Ідентичність на вхідних дверях, застосунок, опублікований через них, нічого не маршрутизується. Я збудував це з Proxmox і Cloudflare Access у Zero Trust VDI Without the Cloud Bill, і для цього допису важливо те, що користувачеві, якому потрібні три внутрішні застосунки, не потрібен маршрут до всього твого господарства.\nІ скажи вголос те, про що мовчать, щодо заліза. Так, є мережеві карти і ASIC з апаратним розвантаженням ESP, і це справжній аргумент за IPsec на конкретному залізі на конкретних швидкостях. Це аргумент про кремній, який тобі хтось уже продав, а не про те, що протокол правильний. Тож він старіє, і старіє швидко. PPTP вижив рівно так само, рівно доти, доки існувала галочка.\nЯк відправити його у відставку належним чином Відставка це план із датами, а не відчуття. Ось той, під яким я поставив би своє ім’я.\nПрипини нові розгортання IPsec зараз. Не «віддавай перевагу альтернативам». Припини. Кожен новий тунель це тунель, який комусь згодом доведеться мігрувати, а ті, що будують сьогодні, ще працюватимуть у 2035 році, якщо хтось не скаже «ні» цього тижня.\nСпершу віддалений доступ, бо саме туди найважче б’є кожен збій із цього допису: CGNAT, спільна адреса, keepalive, другий користувач в тому самому будинку, чорна діра MTU у випадковій готельній мережі. Його також найлегше перенести, бо кінцеві пристрої керовані, а зміна стосується клієнта.\nПотім site-to-site через публічний інтернет, а це той самий набір проблем з меншою кількістю кінцевих точок і вікном обслуговування.\nНаостанок залиш тунелі, обома кінцями яких ти не володієш: партнер, регулятор, керований сервіс оператора. Вони переїжджають, коли переїжджає договір, а спосіб змусити їх переїхати це наступний пункт.\nПерестань купувати залізо, єдиний тунель якого IPsec. Внеси це в тендер. Рядок, що вимагає сучасного тунелю з портом і роумінгом, це рядок, на який виробник або відповідає, або ні, і саме так аргумент встановленої бази нарешті програє. Цей аргумент єдиний, що тримає все це живим, і перемогти його можна лише закупівлями.\nЗапиши, які тунелі лишилися і чому, і постав дату біля кожного. Протокол, яким десять років ніхто не опікувався, це те, як PPTP дожив до 2026 року. Перелік із датами це різниця між тим, щоб щось відправити у відставку, і тим, щоб це просто не любити.\nЯкщо ти досі його розгортаєш, чи можеш ти називати себе професіоналом? Це справжнє питання, і я відповім на нього чесно, бо саме до нього йшов уся решта допису.\nЦе залежить від того, чи ти знаєш. А знання не те, що з тобою трапляється. Подбати про те, щоб знати, це і є робота.\nЯкщо ти цього року запускаєш новий сервіс віддаленого доступу на IPsec і не можеш сказати, нічого не підглядаючи, чому в ESP немає портів, що з ним робить домашня лінія під операторським NAT, чому мережа NAT64 його взагалі не перенесе або для чого насправді той однобайтовий пакет кожні двадцять секунд, тоді ні. Не в цьому, не поки що. Ти не вибираєш протокол. Ти повторюєш форму, бо попередній виглядав так, і ніхто в кімнаті не спитав чому, включно з тобою. Провал не в прогалині. Прогалини є в усіх. Провал у тому, щоб будувати через прогалину, яку ти так і не пішов і не закрив. Тож людина, яка успадкує це у 2035 році, отримає десятиліття тікетів, яких усіх можна було уникнути в той день, коли ти це накреслив.\nНазву це правильним словом, бо ввічлива версія ходить уже двадцять років і нічого не змінила. Той, хто розгортає протокол, який не може пояснити, не інженер. Це послідовник. Він читає підказки на картках (еталонну архітектуру виробника, останній запит на зміну, діаграму, яку хтось накреслив у 2014 році і відтоді ніхто не відкривав) і читає їх зі справжньою переконаністю, а за цією виставою ніде немає розуміння. Ззовні це виглядає точно як компетентність. Це і далі виглядає точно як компетентність аж до першого збою, якого картки не покривають, і з цієї миті це єдине, що в кімнаті має значення.\nКартки з підказками це також причина, чому цей протокол досі тут. Ніхто у 2026 році не стояв біля дошки і не доводив переваги IPsec по суті. Його розгорнули знову, бо він був на картці, а картку написав виробник, інтерес якого в тому, щоб ти й далі купував коробку, яка його термінує. Ось як щось переживає власний некролог на двадцять років: не тому, що його захищають, а тому, що його жодного разу не змусили виправдатися в кімнаті, де хтось міг би побачити різницю.\nІ це називають уголос. Уголос, у кімнаті, у той самий момент, а не бурмочуть у коридорі потім. Якщо хтось ставить біля свого імені слово «професіонал», це слово приходить із запрошенням поставити питання, і питати не грубо. Отримати питання і мати відповідь це вся різниця між словом і візитівкою.\nНайбільше це важить, коли ти за це платиш. Консалтинг, MSP, підрозділ професійних послуг виробника, інтегратор за рамковою угодою: те, що ти купуєш, це судження, а судження це єдине, чого не перевіриш при постачанні. Тож перевір заздалегідь. Спитай, чому цей протокол, а не інший. Спитай, що з ним станеться на лінії під операторським NAT, у мобільній мережі лише з IPv6, на шляху, який тихо відкидає фрагменти. Спитай, на які з цих проблем вони натрапляли самі і що з цим робили. За дві хвилини ти знатимеш, чи тобі щось кажуть, чи тобі читають, а дві хвилини це значно дешевший тест, ніж чотири роки тікетів. А якщо відповідь це картки з підказками, і ти однаково підписуєш, це теж рішення, просто тепер воно твоє, а не їхнє.\nЯкщо ти можеш сказати все це і однаково це розгортаєш, бо регулятор називає протокол на ім’я, бо залізо партнера більше нічого не термінує, або бо заміна в бюджеті наступного року, а це має працювати в березні, тоді так, звісно, і ти робиш роботу як слід. Обмеження реальні, і я будував в обхід гірших. Що розділяє ці два випадки, так це не протокол на діаграмі. Це те, чи ти записав чому, і чи стоїть поруч дата.\nПозиція, яку не захистиш, це середня. Знати достатньо, щоб було неспокійно, і будувати однаково, бо ніхто не змусив тебе це обґрунтувати. Не інженерія. Звичка, до якої приписано номер зміни, і саме так L2TP опинився в описі продукту, надрукованому цього року.\nТож спитай себе про це до закриття тендера, а не після. «Професіонал» не слово про те, які протоколи ти знаєш. Це слово про те, чи можеш ти захистити той, який вибрав, уголос, перед кимось, хто знає режими збоїв. Якщо можеш, розгортай те, чого вимагають обмеження, і спи спокійно. Якщо не можеш, ти щойно знайшов, що піти почитати сьогодні ввечері, і це не образа. Кожен колись був послідовником, без винятку, і я теж. Те, що не захистиш, це вирішити ним залишитися, називаючи це кар’єрою.\nГарна ідея має право скінчитися Я хочу бути справедливим до IPsec, бо він на це заслуговує.\nЦе був правильний інстинкт. Безпеці місце низько в стеку, де все її успадковує і жодному застосунку не треба довіряти, що він зробить усе правильно. Прив’язати асоціацію до адреси у 1995 році не було помилкою: адреса була машиною, і будувати на цьому було правильно. Люди, які його писали, були серйозними людьми, що розв’язували реальну проблему, і саме стаття про WireGuard, з усіх документів, каже це найкраще: шарування IPsec здорове, все на своєму місці, до академічної досконалості53.\nА потім земля зрушила. Не тому, що IPsec зробив щось не так, а тому, що ця галузь вирішила, що адреси це витрата, якою треба керувати, а не річ, яку отримує кожна машина, і збудувала двадцять п’ять років трансляції, щоб уникнути альтернативи. Фундамент IPsec тихо прибрали, і замість того, щоб це визнати, ми його підклинили. Інкапсуляція в UDP. Потім keepalive. Потім інкапсуляція в TCP для мереж, що блокують UDP. Потім ще один заголовок UDP, щоб маршрутизатор знайшов, по чому хешувати. Кожне виправлення розумне саме по собі; стос із них це протокол, який тримають вертикально люди, яким платять за те, щоб він стояв.\nОсь через що варто сердитися, і це насправді зовсім не про IPsec. Наша галузь дуже добре вміє підтримувати речі і дуже погано вміє їх закінчувати. Підтримка оплачувана, закладена в бюджет, укомплектована людьми і безпечна. Відставка це рішення, яке хтось мусить підписати, своїм ім’ям, і без жодної негайної винагороди. Тож PPTP прожив чотирнадцять років після доказу, що він нічого не вартий, L2TP досі постачають на коробках, проданих цього року, а IKEv1 ще десятиліття узгоджував тунелі після того, як потрапив у Historic. Не тому, що хтось їх захищав. Тому, що ніхто ніколи не був зобов’язаний їх прибити.\nНемає нагороди за те, щоб зробити правильно на 90 %. Фергюсон і Шнаєр написали це про IPsec у 1999 році, а відтоді сталося тридцять років того, як галузь щоразу по-новому робить неправильно останні 10 % і називає латку рішенням.\nГарна ідея однаково має право скінчитися. Знати, коли перестати щось підтримувати, це навичка, і саме в ній це ремесло найгірше. Хтось мусить бути тим, хто скаже, що протокол своє відслужив, запише дату і візьме на себе наслідки того, що сказав це саме він. Інакше ми й у 2040 році надсилатимемо однобайтовий пакет кожні двадцять секунд, щоб таблиця не вистигла в коробці, якою ми не володіємо, у мережі, яка забрала в нас адреси і взяла з нас за це гроші.\nRFC 4301 — Security Architecture for the Internet Protocol, грудень 2005. Визначає асоціацію безпеки і трійку, за якою її шукають: адреса призначення, протокол безпеки і SPI.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 4302 — IP Authentication Header, грудень 2005. Перевірка цілісності AH охоплює незмінні поля IP-заголовка, разом з адресою джерела і адресою призначення.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 9329 — TCP Encapsulation of Internet Key Exchange Protocol (IKE) and IPsec Packets, листопад 2022, замінює RFC 8229. Існує тому, що проміжні пристрої в публічних мережах блокують UDP.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 3715 — IPsec-Network Address Translation (NAT) Compatibility Requirements, березень 2004. Шістнадцять перелічених несумісностей, серед них: «Since the AH header incorporates the IP source and destination addresses in the keyed message integrity check, NAT or reverse NAT devices making changes to address fields will invalidate the message integrity check» і «Where IP addresses are used as identifiers in Internet Key Exchange Protocol (IKE) Phase 1 or Phase 2, modification of the IP source or destination addresses by NATs or reverse NATs will result in a mismatch between the identifiers and the addresses in the IP header.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCisco — Configuring IPsec NAT-Traversal, Security Configuration Guide, Cisco IOS XE 17.15.x (Catalyst 9300 Switches). «If PAT found a legislative IP address and port, it would drop the Encapsulating Security Payload (ESP) packet»; заголовок UDP і 8-байтовий маркер non-IKE вставляються між зовнішнім IP-заголовком і заголовком ESP; перелік обмежень містить статичні правила і для порту 500, і для 4500, відсутність підтримки динамічних політик NAT, відсутність IPv6 і те, що IPsec і NAT не можуть працювати разом на тому самому пристрої.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 3948 — UDP Encapsulation of IPsec ESP Packets, січень 2005, з узгодженням у RFC 3947. Визначає keepalive як «a one-octet-long payload with the value 0xFF», що надсилається «if no other packet to the peer has been sent in M seconds. M is a locally configurable parameter with a default value of 20 seconds», і вимагає обнулити контрольну суму UDP: «If the protocol header after the ESP header is a UDP header, set the checksum field to zero in the UDP header.» Microsoft, Cisco, F-Secure, Nortel і SafeNet усі є в списках авторів RFC 3947 і RFC 3948.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nJuniper — Route-Based and Policy-Based VPNs with NAT-T, Junos OS IPsec VPN User Guide. «NAT-T encapsulates both IKE and ESP traffic within UDP with port 4500 used as both the source and destination port»; «Because NAT devices age out stale UDP translations, keepalive messages are required between the peers»; а на SRX5400, SRX5600 і SRX5800 «the total number of tunnels from a given public translated IP cannot exceed 1000 tunnels.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 8221 — Cryptographic Algorithm Implementation Requirements and Usage Guidance for ESP and AH, жовтень 2017. ENCR_DES MUST NOT, ENCR_3DES SHOULD NOT, AUTH_HMAC_MD5_96 MUST NOT; ESP у поєднанні з AH NOT RECOMMENDED.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 4787 — Network Address Translation (NAT) Behavioral Requirements for Unicast UDP, січень 2007. REQ-5: «A NAT UDP mapping timer MUST NOT expire in less than two minutes», причому «a default value of five minutes or more for the NAT UDP mapping timer is RECOMMENDED».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 6146 — Stateful NAT64: Network Address and Protocol Translation from IPv6 Clients to IPv4 Servers, квітень 2011. «The current specification only defines how stateful NAT64 translates unicast packets carrying TCP, UDP, and ICMP traffic. Multicast packets and other protocols, including the Stream Control Transmission Protocol (SCTP), the Datagram Congestion Control Protocol (DCCP), and IPsec, are out of the scope of this specification.» Пакети з будь-чим іншим «SHOULD be discarded».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 6877 — 464XLAT: Combination of Stateful and Stateless Translation, квітень 2013. Дає пристрою лише з IPv6 локальний стек IPv4, щоб трафік, якого NAT64 не переносить, однаково працював.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nIETF — draft-xu-ipsecme-esp-in-udp-lb, Encapsulating IPsec ESP in UDP for Load-balancing. «Although the ESP SPI field within the IPsec packets can be used as the load-balancing key, but it cannot be used by legacy switches and routers»; «Many cloud service providers allow customers to establish multiple IPsec VPN tunnels in parallel to enable ECMP and increase aggregate bandwidth. However, this approach is not ideal, as each tunnel typically requires its own public IP address, leading to higher public IP consumption and increased operational overhead.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCisco — Resolve IPv4 Fragmentation, MTU, MSS, and PMTUD Issues with GRE and IPsec. Давнє довідкове джерело про накладні витрати тунелів, виявлення MTU шляху і те, що ламається, коли помилки ICMP не повертаються.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCisco — Troubleshoot IPsec Anti-Replay Check Failures. «Certain QoS features, such as Low Latency Queueing (LLQ), could cause IPsec packet delivery to become out-of-order and dropped by the receiving endpoint due to a replay check failure.» Типове вікно 64 пакети; 1024 на новіших платформах; альтернативний засіб це кілька просторів порядкових номерів на одну асоціацію.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 2661 — Layer Two Tunneling Protocol \u0026ldquo;L2TP\u0026rdquo;, серпень 1999. Тунельний протокол для PPP без власної конфіденційності на рівні пакетів; його розділ про безпеку відсилає до IPsec.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nMoxie Marlinspike і David Hulton — Divide and Conquer: Cracking MS-CHAPv2 with a 100% Success Rate, 2012; інструмент на github.com/moxie0/chapcrack. Безпека MS-CHAPv2 зводиться до однієї операції DES незалежно від довжини пароля; тогочасний огляд у The Register. Їхній висновок: трафік PPTP слід вважати незашифрованим.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nApple — If you see a \u0026ldquo;VPN Using PPTP May Not Be Secure\u0026rdquo; alert. PPTP прибрали з вбудованого клієнта в macOS Sierra та iOS 10, 2016.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 4303 — IP Encapsulating Security Payload (ESP), грудень 2005. IP-протокол 50; заголовок ESP несе SPI і порядковий номер і не має поля порту.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 9395 — Deprecation of the Internet Key Exchange Version 1 (IKEv1) Protocol and Obsoleted Algorithms, квітень 2023. «Internet Key Exchange Version 1 (IKEv1) has been deprecated, and RFCs 2407, 2408, and 2409 have been moved to Historic status.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 7296 — Internet Key Exchange Protocol Version 2 (IKEv2), жовтень 2014. Чинний обмін ключами і джерело назв повідомлень notify в діагностичній таблиці.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 3173 — IP Payload Compression Protocol (IPComp), вересень 2001. Власний номер IP-протоколу і власні асоціації, що узгоджуються разом з ESP.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 2367 — PF_KEY Key Management API, Version 2, липень 1998. Інтерфейс ядра, яким демон ключів встановлює асоціації.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 7383 — IKEv2 Message Fragmentation, листопад 2014. «This document describes a way to avoid IP fragmentation of large Internet Key Exchange Protocol version 2 (IKEv2) messages.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 4555 — IKEv2 Mobility and Multihoming Protocol (MOBIKE), червень 2006. Дозволяє встановленому тунелю пережити зміну адреси.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 3706 — A Traffic-Based Method of Detecting Dead Internet Key Exchange (IKE) Peers, лютий 2004.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\ndraft-beaulieu-ike-xauth — Extended Authentication within IKE (XAUTH). Остання редакція 02, жовтень 2001, статус Expired, «Expired \u0026amp; archived», ніколи не опублікована як RFC. Чернетка фіксує, що її запропонували як Informational, бо «the IPSRA working group will not accept any protocol which extends ISAKMP or IKE, and the IPsec working group refuses to accept any protocols that deal with remote access.» Mode-Config спіткала та сама доля.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 3193 — Securing L2TP using IPsec, листопад 2001. Написаний у співавторстві в Microsoft.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 2332 — NBMA Next Hop Resolution Protocol (NHRP), квітень 1998. Частина, яка дозволяє філіям DMVPN знаходити одна одну.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 6407 — The Group Domain of Interpretation, жовтень 2011. Групові ключі, як їх використовує GETVPN.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 2637 — Point-to-Point Tunneling Protocol (PPTP), липень 1999. Категорія: Informational. Записаний протокол виробника, ніколи не стандарт.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nMicrosoft — Configure L2TP/IPsec server behind NAT-T device, KB 926179, востаннє переглянуто 12 лютого 2026. «By default, Windows Vista and Windows Server 2008 don\u0026rsquo;t support Internet Protocol security (IPsec) network address translation (NAT) Traversal (NAT-T) security associations to servers that are located behind a NAT device»; DWORD AssumeUDPEncapsulationContextOnSendRule у HKEY_LOCAL_MACHINE\\SYSTEM\\CurrentControlSet\\Services\\PolicyAgent приймає 0 (типово, не може), 1 (сервер за NAT) або 2 (обидва кінці за NAT), і машину треба перезапустити. Також: «If you must use IPsec for communication, use public IP addresses for all servers that you can connect to from the Internet.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nstrongSwan — Windows Certificate Requirements. Сертифікату шлюзу потрібні EKU serverAuth, OID 1.3.6.1.5.5.7.3.1, і EKU IP Security IKE Intermediate, OID 1.3.6.1.5.5.8.2.2.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nstrongSwan — Windows Clients. Документує додавання DWORD NegotiateDH2048_AES256 у Rasman\\Parameters, щоб отримати AES-256-CBC і MODP-2048; обхідне рішення з повторним узгодженням ключів для клієнтів за NAT (rekey_time = 0 на шлюзі, щоб ініціював клієнт); і що клієнт Windows «does not currently support IKE redirection (RFC 5685) and multiple authentication rounds (RFC 4739).» Також: «IKEv2 fragmentation is supported since the v1803 release of Windows 10 and Windows Server», а клієнти за NAT відхиляють ініційоване сервером повторне узгодження CHILD_SA з помилкою Microsoft 13863.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nMicrosoft — DirectAccess і Remote Access Always On VPN migration overview. DirectAccess визнано застарілим, і його буде прибрано в одному з майбутніх випусків Windows Server; клієнтів спрямовують на Always On VPN.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nJean Paul Degabriele і Kenneth G. Paterson — Attacking the IPsec Standards in Encryption-only Configurations, IEEE Symposium on Security and Privacy, 2007. Атаки, які «break any RFC-compliant implementation of IPsec making use of encryption-only ESP», лише за шифротекстом, що потребують лише змоги підслуховувати і вставляти трафік.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 6434 — IPv6 Node Requirements, грудень 2011. «Previously, IPv6 mandated implementation of IPsec and recommended the key management approach of IKE. This document updates that recommendation by making support of the IPsec Architecture [RFC4301] a SHOULD for all IPv6 nodes.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNiels Ferguson і Bruce Schneier — A Cryptographic Evaluation of IPsec, Counterpane Internet Security, 1999. «IPsec was a great disappointment to us»; «Our main criticism of IPsec is its complexity»; «We therefore recommend that transport mode be eliminated»; «We conclude that eliminating transport mode allows the elimination of the AH protocol as well, without loss of functionality»; і «We have found serious security weaknesses in all major components of IPsec. As always in security, there is no prize for getting 90% right; you have to get everything right.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nDavid Adrian et al. — Imperfect Forward Secrecy: How Diffie-Hellman Fails in Practice, ACM CCS 2015. Попередні обчислення для другої 1024-бітної групи «would allow decryption of traffic to 66% of IPsec VPNs»; 86,1 % просканованих серверів IKEv1 і 91,0 % IKEv2 підтримували Oakley Group 2, а 66,1 % профільованих серверів IKEv1 віддавали їй перевагу.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCVE-2016-1287 і бюлетень Cisco Cisco ASA Software IKEv1 and IKEv2 Buffer Overflow Vulnerability. Віддалене виконання коду до автентифікації, досяжне спеціально сформованими пакетами UDP до сервісу IKE.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nJuniper — How to Analyze IKE Phase 2 VPN Status Messages. «No proposal chosen» означає, що пристрій «did not accept any of the IKE Phase 2 proposals that the peer sent».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCisco — Understand and Use Debug Commands to Troubleshoot IPsec і Troubleshoot Common L2L and Remote Access IPsec VPN Issues.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nJuniper — Troubleshoot a VPN Tunnel That is Down.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nЯдро Linux — XFRM proc counters. Описи в таблиці взято з документації самого ядра.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nJuniper — Troubleshoot a VPN That Is Up But Not Passing Traffic. «If only the pkts counter in the out direction of the session is incrementing, then validate with the VPN peer that the traffic is being received.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nMicrosoft — netsh wfp, Windows Commands. netsh wfp capture start «Starts a capture session for network events processed by WFP» і типово записує wfpdiag.cab; netsh wfp show state «Displays the current state of WFP and IPsec»; netsh wfp show ikeevents «Displays recent Internet Key Exchange (IKE) epoch events matching the specified parameters» і приймає фільтр remoteaddr=. Значення file=- в будь-якій із команд show виводить у консоль замість запису XML.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nMicrosoft — Get-NetIPsecQuickModeSA, модуль NetSecurity. «There is only one main mode SA between a pair of computers, but there can be many quick mode SAs», а їх моніторинг «can provide information about which peers are currently connected to this computer, and which protection suite is protecting the data exchanged between them.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nMicrosoft — Troubleshoot Always On VPN, востаннє переглянуто 12 лютого 2026. Про читання клієнтських журналів: «look for events labeled RasClient. All error messages return the error code at the end of the message.» Причина помилки 809: «You can encounter this issue when the UDP 500 or 4500 ports on the VPN server or firewall are blocked.» Помилка 812 це розбіжність методу автентифікації між політикою сервера і профілем клієнта. Чотири причини помилки 13801: машинний сертифікат без Server Authentication в Enhanced Key Usage, прострочений машинний сертифікат RAS, клієнт без кореневого сертифіката і клієнт, у якого «VPN server name doesn\u0026rsquo;t match the subjectName value on the server certificate»; 13806 це «IKE can\u0026rsquo;t find a valid machine certificate».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nMicrosoft — Guidance for troubleshooting Remote Access (VPN and AOVPN). Підтримуваний збір це TSS, запущений з підвищеними правами: TSS.ps1 -Scenario NET_VPN на клієнті і TSS.ps1 -Scenario NET_RAS на сервері, з відтворенням збою між запуском і зупинкою, а трасування записуються в C:\\MS_DATA.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nMicrosoft — Routing and Remote Access Error Codes, коди, визначені в raserror.h. 638 ERROR_REQUEST_TIMEOUT; 718 ERROR_PPP_TIMEOUT; 789 ERROR_OAKLEY_GENERAL_PROCESSING, «The L2TP connection attempt failed because the security layer encountered a processing error during initial negotiations with the remote computer»; 809 ERROR_VPN_TIMEOUT, «The network connection between your computer and the VPN server could not be established because the remote server is not responding»; 828 ERROR_IDLE_TIMEOUT, «The connection was terminated because of idle timeout»; 930 ERROR_AUTH_SERVER_TIMEOUT, «The authentication server did not respond to authentication requests in a timely fashion».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nfirewalld — Automatic Helper Assignment. «With kernel 4.7 and up the automatic helper assignment in kernel has been turned off by default», керується sysctl у /proc/sys/net/netfilter/nf_conntrack_helper, і «for the secure use of iptables and connection tracking helpers it is recommended to turn AutomaticHelpers off». Власне повідомлення ядра про цю зміну називає причину і заміну: типове автоматичне призначення помічників «has been turned off for security reasons», натомість для приєднання помічників використовуй ціль CT. Серед охоплених помічників ftp, irc, sip, h323, tftp, snmp і pptp.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nSamy Kamkar — NAT Slipstreaming, v1 31 жовтня 2020, v2 26 січня 2021 разом з Ben Seri і Gregory Vishnipolsky з Armis. Атака зловживає «the Application Level Gateway (ALG) connection tracking mechanism built into NATs, routers, and firewalls», щоб «bypass victim NAT and connect directly back to any port on any machine on the network, exposing previously protected/hidden services and systems». v1 використовувала шлюз SIP на порту 5060; v2 використовувала H.323 на 1720, що дозволило спрямувати отвір на будь-який внутрішній хост, а не лише на машину, яка завантажила сторінку.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nMicrosoft — Set-VpnServerConfiguration, модуль RemoteAccess. -IdleDisconnectSeconds «Specifies the time, in seconds, after which an idle connection is terminated»; -SALifeTimeSeconds і -MMSALifeTimeSeconds задають час життя quick mode і main mode; -SADataSizeForRenegotiationKilobytes «Specifies the number of kilobytes that are allowed to transfer using a security association (SA), after which the SA will be renegotiated.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nJason A. Donenfeld — WireGuard: Next Generation Kernel Network Tunnel, NDSS 2017. «It intentionally lacks cipher and protocol agility. If holes are found in the underlying primitives, all endpoints will be required to update. As shown by the continuing torrent of SSL/TLS vulnerabilities, cipher agility increases complexity monumentally»; «implemented for Linux in less than 4,000 lines of code»; «it is important to stress, however, that the layering of IPsec is correct and sound; everything is in the right place with IPsec, to academic perfection.» Бенчмарки: 1011 Мбіт/с проти 881 і 825 для двох наборів шифрів IPsec, і ping 0,403 мс проти 0,501 і 0,508.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\n","permalink":"https://blogs.damiendye.uk/uk/networking/ipsec-was-a-good-idea-turn-it-off/","summary":"IPsec мав рацію у 1995 році: шифрувати під застосунком, прив’язати асоціацію безпеки до IP-адреси і дати кожному протоколу її успадкувати. Потім прийшов NAT, операторський NAT довершив справу, а виправленням стало загорнути все в UDP і тримати таймер, щоб таблиця трансляції тебе не забула. Цей допис показує, як воно падає, діаграма за діаграмою: асоціація безпеки, яка не переживає переписаного заголовка, два транслятори, які тепер має кожна лінія з CGNAT, стандарт NAT64, який прямо виносить IPsec за свої межі, тунель, що не може скористатися другим каналом, бо в ESP немає портів, MTU, яке нікому не належить, і L2TP та PPTP як два протоколи, які ніколи не годилися для цієї ролі. Тут є документація Cisco, Juniper і Microsoft, яка визнає кожну з цих речей, вісімнадцять частин, що називають себе IPsec VPN, включно з двома, які ніколи не були стандартами, пояснення, чому Fisher-Price OS (Windows) ніколи по-справжньому не працювала з відкритим стеком, робочий метод діагностики IPsec, поки ти його ще тримаєш, і аргументи за те, щоб відправити все це у відставку, з датами.","title":"IPsec був гарною ідеєю. Час його вимкнути."},{"content":"Скільки насправді коштує Azure Virtual Desktop Azure Virtual Desktop доставляє робочий стіл Windows у браузер. Він справді це робить, і воно працює. Питання в тому, скільки коштує підтримувати це в робочому стані.\nЦіна на цінику не є ціною. Ліцензійний стек Microsoft для AVD виглядає приблизно так1:\nЛіцензія Microsoft 365, що включає право на Windows Enterprise: E3 або E5, чи відповідний Business Premium Обчислення Azure під робочим столом: віртуальна машина з погодинною оплатою або зарезервований екземпляр із помісячною Сховище Azure для диска ОС і профілю користувача Мережа Azure для трафіку між робочим столом і всім іншим За бажання Microsoft Entra ID P1 або P2 для політик умовного доступу Windows 365 Cloud PC спрощує рахунок до фіксованої суми за користувача на місяць, але сума ця не мала. Конфігурація 2 vCPU / 8 GB / 128 GB, тобто скромний офісний робочий стіл, коштує £35,60 за користувача на місяць2. Додай GPU, і ціна підскакує до £269,40 за рівень GPU Standard. Помнож на кількість людей, і це вже реальна стаття витрат, щомісяця, назавжди.\nСаме цей продукт і замінює цей допис.\nБраузер будь-який пристрій без клієнта RDP без VPN HTTPS Cloudflare Access\u0026#160;+\u0026#160;IdP автентифікує користувача рендерить RDP у браузері безкоштовно ≤\u0026#160;50 користувачів без відкритих портів VPN не потрібен політика zero trust тунель LXC cloudflared власний VLAN файрвол пускає лише до цілей RDP RDP ВМ\u0026#160;Windows GPU VF\u0026#160;0\u0026#160;·\u0026#160;RDP ВМ\u0026#160;Windows GPU VF\u0026#160;1\u0026#160;·\u0026#160;RDP ВМ\u0026#160;Windows GPU VF\u0026#160;2\u0026#160;·\u0026#160;RDP Хост Proxmox\u0026#160;·\u0026#160;Intel Arc Pro SR-IOV Arc Pro серія B PF → хост VF 0 → ВМ VF 1 → ВМ VF 2 → ВМ Браузер, постачальник ідентичності й тунель: без VPN, без відкритих портів, без хмарного рахунку за місце Увесь шлях: браузер, Cloudflare Access для ідентичності, тунель у LXC за файрволом і RDP до віртуальних машин Windows із віртуальними функціями Intel Arc Pro. Без VPN, без відкритих портів, без хмарного рахунку за кожне місце. Як виглядає стек на заміну Три шари, кожен незалежний, жоден не оплачується за місце:\nШар GPU це збірка Intel Arc Pro SR-IOV з попереднього допису. Одна карта Arc Pro ділиться на апаратні віртуальні функції через стандартний PCIe SR-IOV: без ліцензії vGPU, без підписки NVIDIA. Кожна віртуальна машина Windows отримує власну VF і власний робочий стіл із прискоренням на GPU. Кількість місць визначає карта, а не сервер ліцензій.\nШар доступу це Cloudflare Access із RDP, що рендериться в браузері. Користувач відкриває URL у будь-якому браузері, автентифікується у твого постачальника ідентичності, і Cloudflare рендерить сесію RDP просто у вкладці браузера. Жодного встановленого клієнта RDP. Жодного VPN. Жодних портів, відкритих в інтернет. Access федерується з будь-яким постачальником OAuth або OIDC, зокрема з локальними, як-от Keycloak чи Authentik, поставленими поверх твого наявного Active Directory, чи то Samba 4 AD, чи контролер домену Windows. Каталог і далі робить те, що вже робить: облікові записи користувачів, групові політики, віртуальні машини в домені. Keycloak або Authentik федерується з ним і додає шар OAuth/OIDC і MFA, потрібний Cloudflare Access. Площина ідентичності лишається на твоєму власному залізі. Підписка на Entra ID не потрібна. Cloudflare Access відповідає за те, що відбувається потім: він контролює, до чого автентифікований користувач може дістатися у твоїй мережі, тобто які застосунки, які протоколи, які хости. Робочий стіл стоїть за тунелем Cloudflare і недосяжний ні звідки, крім як через політику Access, а політика вирішує і ідентичність, і обсяг доступу.\nШар тунелю це процес cloudflared, що працює в контейнері LXC на Proxmox, на власному VLAN: /30 для IPv4 з окремим виділеним префіксом IPv6, і більше нічого в широкомовному домені. Файрвол Proxmox контролює, до чого може дістатися LXC, і відповідь коротка: TCP 3389 до віртуальних машин із робочими столами і більше нічого. Якщо кінцеву точку тунелю скомпрометовано, радіус ураження становить один контейнер в інакше порожньому VLAN, і єдине, з чим він може говорити, це те, що файрвол уже дозволяє. Це значно менша поверхня, ніж VPN-концентратор, який роздає маршрутизовану підмережу.\nCloudflare Zero Trust безкоштовний до 50 користувачів3. Платиш із 51-го. Azure Virtual Desktop бере гроші з першого місця.\nАрхітектура Користувач будь-який пристрій будь-який браузер HTTPS Cloudflare Access OAuth IdP робить ідентичність\u0026#160;+\u0026#160;MFA Access контролює обсяг\u0026#160;мережі рендерить RDP тунель Твої приміщення LXC cloudflared власний\u0026#160;VLAN /30\u0026#160;IPv4 Файрвол Proxmox лише\u0026#160;TCP\u0026#160;3389 RDP Windows ВМ віртуальні функції GPU Arc\u0026#160;Pro\u0026#160;SR-IOV Шлях сесії: користувач автентифікується на краю мережі Cloudflare, тунель приходить у LXC за файрволом на власному VLAN, а файрвол дозволяє лише RDP до віртуальних машин із робочими столами. Шлях, яким іде сесія робочого столу:\nКористувач відкриває https://vdi.example.com у будь-якому браузері, на будь-якому пристрої Cloudflare Access перехоплює запит і переадресовує до твого постачальника ідентичності: Keycloak або Authentik, федерованого з твоїм Active Directory Постачальник OAuth перевіряє ідентичність користувача проти AD і проводить MFA Access оцінює політику: постачальник підтвердив, хто це, Access вирішує, до чого ця людина може дістатися у твоїй мережі Cloudflare встановлює сесію RDP через тунель до цільової віртуальної машини Сесія RDP рендериться в браузері: без клієнта, без плагіна, без завантаження Тунель закінчується в контейнері LXC на хості Proxmox, на замкненому VLAN LXC пересилає RDP до віртуальної машини Windows, яка має віртуальну функцію GPU з карти Arc Pro Віртуальна машина Windows ніколи не має публічної IP-адреси. Порт 3389 ніколи не відкритий в інтернет. Єдине, що слухає в публічному інтернеті, це Cloudflare, і єдине, що проходить повз Cloudflare, це користувач, який пройшов політику Access.\nКінцева точка тунелю: LXC на власному VLAN Процес cloudflared мусить десь працювати, і те, де ти його поставиш, є рішенням безпеки.\nЗапустити його прямо на хості Proxmox найпростіше і найгірше. Кінцева точка тунелю, що ділить мережевий простір імен хоста, може дістатися всього, до чого дістається хост, а на гіпервізорі це все. Скомпрометований тунель стає плацдармом у площину керування.\nЗапустити його в повноцінній віртуальній машині чисто, але важко. Ретранслятор тунелю це один бінарник на Go, який майже не їсть CPU і бере кілька сотень мегабайтів RAM. Давати йому повне ядро і віртуальний диск надмірно.\nКонтейнер LXC має правильну форму. Він отримує власний мережевий простір імен, власний VLAN (/30 для IPv4 і виділений префікс IPv6, і більше ніхто не ділить широкомовний домен) і власні правила у файрволі Proxmox. Він ділить ядро хоста, але не його мережевий стек. Файрвол дозволяє TCP 3389 до віртуальних машин із робочими столами, DNS, щоб їх розв’язувати, і вихідний HTTPS до краю мережі Cloudflare. Як такий, навіть скомпрометована кінцева точка тунелю може говорити лише з тим, з чим і так мала говорити, а у VLAN, де вона сидить, немає інших мешканців, до яких можна дістатися.\nКонфігурація LXC, правила файрвола Proxmox для VLAN і налаштування тунелю cloudflared будуть у наступному дописі.\nЯк складається Cloudflare Access Тут дві половини. Постачальник OAuth (Keycloak або Authentik, федерований із твоїм Active Directory, Samba 4 чи Windows) відповідає за перевірку ідентичності й MFA. Він доводить, що користувач той, за кого себе видає, тим самим каталогом, до якого приєднано віртуальні машини. Cloudflare Access відповідає за все після цього: до чого автентифікованому користувачу дозволено дістатися, яким протоколом і як рендериться сесія.\nCloudflare Access рендерить сесію RDP просто в браузері. Це не завантаження і не плагін: на краю мережі Cloudflare працює безголовий клієнт RDP, і результат транслюється як canvas у вкладку браузера. Користувач бачить робочий стіл Windows. Браузер бачить HTTPS до Cloudflare. Віртуальна машина Windows бачить з’єднання RDP від тунелю cloudflared.\nЗастосунок Access є самостійно розміщеним застосунком (self-hosted), направленим на вхід RDP тунелю. Політика Access є місцем, де дві половини зустрічаються. Постачальник OAuth уже підтвердив ідентичність і провів перевірку MFA. Access бере цей токен і вирішує, що з ним робити: до якого застосунку користувач може дістатися, чи проходить стан його пристрою, чи дозволене його місцезнаходження. Постачальник каже хто. Access каже що.\nСтворення тунелю, правила входу, конфігурація LXC, правила файрвола Proxmox і сама політика Access будуть у наступному дописі: цей пояснює, що це за стек і навіщо він існує. Наступний його будує.\nЩо бачить користувач Cloudflare Access має App Launcher, портал ресурсів, який показує кожен застосунок, до якого автентифікованому користувачу дозволено дістатися. Після входу через постачальника OAuth портал показує доступні робочі столи, внутрішні вебзастосунки та будь-які інші ресурси за тунелем, усе в одному місці. Один URL, один вхід і плитка для кожної речі, до якої є доступ. Це стартова сторінка для всього стеку, а не лише для RDP.\nКористувач клацає плитку робочого столу й отримує робочий стіл Windows у вкладці браузера. Без клієнта, без плагіна, без завантаження. Це працює на будь-якому пристрої, який у людини вже є: службовий ноутбук, особистий комп’ютер, Chromebook, планшет. У цьому й суть. Систему зроблено для бізнесів, які дозволяють людям працювати на власному обладнанні.\nБуфер обміну, звук і кілька моніторів у сесії, що рендериться в браузері, не підтримуються. Це задумано, а не випадковість. Кожен із цих каналів є шляхом витоку даних. Буфер обміну, що перетинає межу, виносить файли. Захоплення звуку виносить розмови. Кілька моніторів із локальним робочим столом поруч із віддаленим роблять перетягування тривіальним. Відрізати ці канали означає, що користувач може працювати всередині робочого столу, але не може винести роботу назовні через побічний канал. Політика Access контролює, хто заходить. Рендеринг у браузері контролює, що виходить.\nЯкщо бізнесу потрібні буфер обміну чи звук для конкретного процесу, Cloudflare Access також підтримує нативний клієнт RDP через тунель: той самий тунель, та сама політика, та сама перевірка ідентичності. Нативний шлях дає повні можливості RDP тим, кому вони потрібні, а шлях через браузер лишається замкненим для всіх інших. Два способи доступу, один рушій політик, один тунель.\nПорівняння вартості Конкретний приклад. Один сервер, 42 робочі столи з прискоренням на GPU:\n64-ядерний CPU з hyperthreading дає 128 потоків. Кожна віртуальна машина отримує 8 vCPU: нормальний розподіл для робочого столу, а не тонкий клієнт. 42 × 8 = 336 vCPU, що на папері значно більше за 128 потоків. Але це VDI. Офісні робочі столи більшість часу простоюють. Користувач, який читає документ чи друкує лист, не навантажує 8 ядер. Перепідписка тут не ризик, а задум. Proxmox дає виділити більше vCPU, ніж фізичних потоків, бо планувальник знає, що більшість із них сплять. CPU підібрано під пік, а пік це кілька користувачів, що одночасно компілюють чи рендерять, а не всі 42. Це не зрізання кутів: хмарні гіперскейлери перепідписують так само. Кожна віртуальна машина Azure, яку ти орендуєш, ділить фізичні ядра з іншими орендарями на тому самому хості. Модель продуктивності ідентична. Різниця в тому, кому належить хост. 12 GB RAM на віртуальну машину це добротний офісний робочий стіл. 42 × 12 GB = 504 GB, плюс 4 GB для самого Proxmox = 508 GB на папері. На практиці KSM згортає ідентичні сторінки цих 42 образів Windows, тож фізичної RAM потрібно суттєво менше, але закладай у бюджет 512 GB модулів DIMM і дай KSM подарувати тобі запас. Три подвійні карти Intel Arc Pro B60 на платі на кшталт Supermicro H13SSL-NT. Кожна фізична карта показує ОС два GPU, тож три карти дають 6 GPU. Кожен GPU підтримує 7 віртуальних функцій SR-IOV4. Це 42 робочі столи з прискоренням на GPU з трьох слотів PCIe. B60 у прайсі коштує близько $599–799 за карту. B70 є більшим варіантом за $949 на старті продажів, із 32 GB і 4 віртуальними функціями на GPU5: менше місць, але більше VRAM на місце. Windows 365 Cloud PC для 42 користувачів2:\nНавіть без GPU цифри не малі. Рівень Basic (2 vCPU, 4 GB, 128 GB) коштує £26,90/користувач/місяць. Рівень Standard (2 vCPU, 8 GB, 128 GB, тобто скромний офісний робочий стіл) коштує £35,60/користувач/місяць. Для 42 користувачів на Standard це £1495,20/місяць, £17 942,40/рік, ще до всіх додатків нижче.\nЗ GPU гірше. Рівень GPU Standard коштує £269,40/користувач/місяць. Для 42 користувачів це £11 314,80/місяць, £135 777,60/рік.\nОбидва рівні потім додають:\nЛіцензування Microsoft 365, якщо його в тебе ще немає Мережу Azure: вхідний і вихідний трафік оплачуються окремо, а робочий стіл, що транслюється в браузер, вихідного трафіку генерує чимало Azure Backup або стороннє рішення для резервного копіювання: знімки віртуальних машин і сховище профілів безкоштовно не резервуються Публічні адреси IPv4: Azure бере гроші за кожну публічну IP-адресу, прикріплену до ресурсу, і ціна тільки зростала Базові ціни Azure в USD, тож вартість у фунтах рухається разом із курсом: слабкий фунт робить кожну статтю дорожчою, і ти не контролюєш жодного боку цього Рахунок ніколи не зупиняється. П’ятий рік коштує стільки ж, скільки перший. Цей стек для 42 користувачів, вартість збірки:\nМатеринська плата Supermicro H13SSL-NT: ~£700 64-ядерний CPU AMD EPYC: ~£1500 512 GB DDR5 ECC RDIMM (8 × 64 GB): ~£5200 Три подвійні карти B60: ~£1800 Корпус, блок живлення, завантажувальні SSD: ~£800 Усього залізо: приблизно £10 000 Якщо розподілити на п’ять років служби, це £2000/рік капітальних витрат. Додай:\nCloudflare Zero Trust: безкоштовно до 50 користувачів Права Windows 11 Enterprise на VDI: Software Assurance на Pro оновлює до Enterprise, що включає доступ VDI до чотирьох віртуальних машин на користувача, або ліцензування через Microsoft 365 E3/E56 Електрику, і тут варто поставити цифру Бюджет потужності на піковому споживанні: 64-ядерний EPYC із TDP 360 Вт, три подвійні карти B60 по 400 Вт кожна (1200 Вт), 512 GB RAM приблизно на 80 Вт, плюс сховище, вентилятори й втрати блока живлення близько 150 Вт. Це приблизно 1800 Вт із розетки під повним навантаженням. Робочі столи VDI не працюють під повним навантаженням: офісне використання це здебільшого простій CPU і легке навантаження на GPU, тож реалістичне середнє ближче до 1000–1200 Вт. Скажімо, 1100 Вт.\nЗа 35 пенсів за кВт·год 1,1 кВт, що працюють 24/7, це:\n1,1 × 24 × 365 = 9636 кВт·год/рік 9636 × £0,35 = £3373/рік на електрику Тож загальна річна вартість цього стеку приблизно £5400/рік: £2000 розподіленого заліза і £3400 електрики, без ліцензій Windows та інтернету. Постав це поруч із рахунком Azure: £5400 проти £135 778 за рівень із GPU або £17 942 за базові робочі столи без GPU. Навіть порівняно з найдешевшим рівнем Azure цей стек коштує менше третини. Порівняно з рівнем GPU це 4 % рахунку Azure.\nЧому VDI пасує Proxmox VDI належить до тих навантажень, з якими Proxmox тихо справляється дуже добре, з двох причин, які до самого гіпервізора жодного стосунку не мають.\nKSM. Proxmox вмикає KSMd (демон злиття однакових сторінок ядра) з коробки. Двадцять віртуальних машин Windows, зібраних з одного образу, мають величезну кількість ідентичних сторінок пам’яті: ОС, базові бібліотеки, незмінні частини профілю користувача. KSMd знаходить ці дублікати й згортає їх в одну фізичну сторінку з copy-on-write. У результаті двадцять робочих столів вміщуються в пам’ять, якої інакше вистачило б на вісім чи десять. На хості VDI, де кожна віртуальна машина працює з того самого образу, KSM не є маргінальною оптимізацією. Саме він робить щільність доступною за ціною.\nbcache. Якщо твоє сховище це Ceph на HDD з bcache на Optane, VDI є для нього найкращим можливим навантаженням. Бурі завантажень і бурі входів інтенсивні на читання і повторювані: саме той шаблон, який поглинає кеш. Щойно робочий набір розігрітий, робочі столи читають з Optane із затримкою NVMe, а шпинделі ледве рухаються. Записи це зміни профілів користувачів і тимчасові файли, достатньо малі й послідовні, щоб writeback у bcache обробляв їх, ніколи не впираючись у HDD.\nПрофілі: два варіанти, обидва на Ceph. Профілі користувачів є другою половиною сховища VDI, і є два чисті способи впоратися з ними, не виходячи за межі кластера.\nКонтейнери профілів FSLogix є стандартним способом зробити профіль робочого столу Windows роумінговим, і вони працюють на об’єктному сховищі, сумісному з S3. Proxmox Ceph надає шлюз S3 через RADOS Gateway, тож сховище профілів живе на тому самому кластері, що й диски віртуальних машин. Жодного окремого файлового сервера, жодного рахунку за Azure Files, жодної зовнішньої залежності.\nІнший варіант: повністю пропустити FSLogix і використати перенаправлення папок Windows на спільні ресурси SMB, які обслуговує кластерна Samba на CephFS. Робочі столи перенаправляють Documents, Desktop, AppData та решту на ресурс Samba поверх CephFS, а кластер Samba відповідає за перемикання при відмові. Жодного контейнера профілю взагалі: файли лежать у файловій системі як звичайні файли, а реплікацію робить CephFS. Це простіше в керуванні, простіше в резервному копіюванні й повністю обходить ліцензування FSLogix, що корисно, якщо вартість ліцензії є проблемою або ти просто хочеш менше рухомих частин. Так чи інакше профілі лежать на твоєму власному сховищі, на тому самому пулі Ceph, а вартість це диски, які ти вже купив.\nМіж KSM, що повертає пам’ять, bcache, що повертає затримку сховища, і профілями на Ceph (чи то через FSLogix на S3, чи через перенаправлення папок на CephFS) один хост Proxmox із HDD і скромним обсягом RAM обслуговує більше робочих столів, ніж підказує специфікація. Azure бере гроші за кожен гігабайт усіх трьох. Тут інфраструктура робить цю роботу безкоштовно.\nРезервне копіювання, стійкість і відповідність вимогам Тримати все всередині VDI не лише рішення про вартість. Це рішення про відповідність вимогам і стійкість.\nКоли робочий стіл живе на сервері, дані живуть на сервері. Нічого не потрапляє на пристрій користувача. Вкрадений ноутбук означає втрачений екран, а не втрачений набір даних. Немає локального диска, який треба шифрувати, немає локальної копії, яку можна викрасти, немає кінцевої точки, з якої після зламу треба знімати криміналістичний образ. Дані ніколи не покидали інфраструктуру, яку ти контролюєш.\nЦе робить резервне копіювання простим. Диски віртуальних машин і сховища профілів лежать на Ceph, а знімки Ceph атомарні й миттєві. Одна політика знімків покриває кожен робочий стіл і кожен профіль. Повернути робочий стіл у вчорашній стан означає відкотити знімок, а не перебудовувати. Відновити профіль це та сама операція на іншому пулі. Ціль резервного копіювання це кластер, а не двадцять розкиданих кінцевих точок.\nЦе також спрощує відповідність вимогам. Резидентність даних легко довести, коли дані на залізі, яким ти володієш, у стійці, на яку можна показати пальцем, у юрисдикції, яку ти обрав. Аудиторські журнали лежать у твоїх власних логах. Доступ обмежено політиками Cloudflare, які написав ти, автентифіковано IdP, який ти експлуатуєш, і записано системами, які ти контролюєш. Між тобою і доказами, яких просить аудитор, немає стороннього хмарного провайдера.\nСтійкість іде тією самою лінією. Мертва віртуальна машина з робочим столом означає нову віртуальну машину із золотого образу з повторно під’єднаним профілем. Користувач знову входить, і робочий стіл повернувся. Немає кінцевої точки, яку треба перебудовувати, немає ОС, яку треба переставляти, немає заліза, яке треба відправляти. Одиниця відновлення це віртуальна машина, а підняти її займає хвилини.\nВід чого ти відмовляєшся Це не безкоштовно в усіх сенсах. Ось що Azure Virtual Desktop бере на себе, а цей стек ні:\nMicrosoft керує латками й оновленнями. Тут це робиш ти. Intune і Endpoint Manager нативно інтегруються з AVD. Тут ти керуєш віртуальними машинами Windows сам або тим інструментарієм, який обереш. Мережа Azure є проблемою Azure. Тут шляхом до робочого столу є твоє інтернет-з’єднання. Якщо воно ляже, робочі столи недосяжні, доки воно не повернеться. Масштабування в Azure на відстані кредитної картки. Тут масштабування означає купити ще одну карту чи ще один хост. AVD за замовчуванням дає користувачу повний набір можливостей RDP. Тут шлях через браузер навмисно відрізає буфер обміну, звук і кілька моніторів. Користувачі, яким ці можливості потрібні, отримують нативний клієнт RDP через той самий тунель і ту саму політику, але за замовчуванням працює замкнений браузер, і для працівників із власними пристроями (BYOD) це правильне значення за замовчуванням. Ніщо з цього не дрібниця. Чи це важить, залежить від того, що в тебе є: якщо ти вже експлуатуєш Proxmox, уже керуєш Windows і вже маєш когось, хто може доглядати гіпервізор, то все це речі, які ти вже робиш. Якщо ні, то Azure продає тобі персонал, якого в тебе немає, і це справді чогось варте.\nПитання в тому, чи варте це £18 000 на рік за 42 базові робочі столи (або £136 000 за робочі столи з GPU), щороку, плюс мережа, резервне копіювання, IPv4 і ліцензування зверху, коли ціну встановлює хтось інший, залізо належить комусь іншому, а рахунок виставлено у валюті, яку ти не контролюєш. Чи ти витратиш £5400 на рік на залізо й електрику, а решту лишиш собі.\nОсь що викладає цей допис. Наступний будує: тунель cloudflared, LXC, правила файрвола Proxmox, політику Cloudflare Access і робочий стіл, що працює у вкладці браузера.\nДжерела Azure Virtual Desktop pricing — обчислення, сховище й мережа оплачуються окремо поверх права Microsoft 365.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nWindows 365 plans and pricing — фіксована сума за користувача на місяць, конфігурації з GPU в рівні Enterprise.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCloudflare Zero Trust pricing — безкоштовно до 50 користувачів, оплата за використання з 51-го.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nIntel Arc Pro B60 specifications — 24 GB GDDR6, 20 ядер Xe2, PCIe 5.0 x8, SR-IOV до 7 віртуальних функцій.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nIntel Arc Pro B70 specifications — 32 GB GDDR6, 32 ядра Xe2, PCIe 5.0 x16, SR-IOV до 4 віртуальних функцій.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nWindows 11 Licensing for Virtual Desktops — Software Assurance на відповідній ОС (наприклад, Pro) оновлює до Enterprise і дає права VDI до чотирьох віртуальних машин на користувача на власному локальному сервері.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\n","permalink":"https://blogs.damiendye.uk/uk/networking/zero-trust-vdi-cloudflare-access/","summary":"Частина перша: архітектура і розрахунок вартості заміни Azure Virtual Desktop на Proxmox, Intel Arc Pro SR-IOV і Cloudflare Access. Локальний OAuth для ідентичності, RDP, що рендериться просто в браузері, тунель у LXC за файрволом на власному VLAN, KSM для щільності пам’яті й профілі на Ceph. Наступний допис усе це будує.","title":"Zero Trust VDI без рахунку за хмару: Proxmox, Intel Arc Pro і Cloudflare Access"},{"content":"Ping це не діагностика. Це тунель. ICMP echo (запит, який машина надсилає, і відповідь, яку вона отримує назад) понесе будь-які байти, що ти в нього покладеш, в обидва боки, по протоколу, який більшість фаєрволів пропускає без перевірки, а більшість журналів радше рахує, ніж читає. Мережа, що «дозволяє лише ping», уже має повний шифрований VPN назовні, і будь-хто, хто може дістати до цієї мережі, здатен ним керувати.\nЦе старе й задокументоване. Loki1 опублікував цю техніку в Phrack 49 у 1996 році. Ptunnel2 уже двадцять років носить цілі сесії TCP всередині пінгу і стоїть за одну команду від встановлення на будь-якій машині Linux. Жодного zero-day. Протокол поводиться точно так, як описано.\nОсь причина: стандарт, а не вада в чиємусь продукті. Кожен хост на землі зобов’язаний узяти дані з echo-запиту і віддати їх назад незмінними. Довільні дані всередину, ті самі дані назовні: це все, що потрібно тунелю, і так наказано ще з 1981 року.\nВиправлення це одна вузька зміна. Відкинь ICMP echo, запит і відповідь, на IPv4 і IPv6, на межі, і лиши всі інші повідомлення ICMP. Помилки, тобто Time Exceeded, Packet Too Big, Destination Unreachable, є нісними; заблокуй їх і ти даремно поламаєш визначення MTU шляху і traceroute. Тож це не «блокуй ICMP». Це відкинь одне повідомлення, що є загрозою, і лиши ті, що несуть правду.\nЩо твоя політика вихідного трафіку насправді дозволила Якщо ти ведеш мережу, де вихідний трафік фільтрується (а якщо ні, це окрема розмова), то ось рахунок за один рядок у ній. Політика, що каже «блокувати все на вихід, дозволити ICMP, бо нам треба пінгувати», це не політика вихідного трафіку. Це повний тунель із паперами, підшитими під діагностикою. Будь-що всередині, що може надіслати echo-запит і прочитати відповідь, здатне перемістити дані куди завгодно назовні, що на нього відповідає, на тій швидкості, яку витримає лінія, і повз кожен контроль вмісту, за який ти заплатив. У журналах це хтось перевіряє, чи працює інтернет, і більш нічого. Шкідливе ПЗ роками постачало саме це з тієї самої причини. Тихо, стандартно і зазвичай уже дозволено.\nОсь чому це канал першого вибору для того, хто вже всередині і не має там бути. Це оселення, а не грабунок із вибитою вітриною. Той, хто шукає тривалого входу й виходу, уникає порту, що вмикає тривогу. Він піднімає тунель на echo і лишає його працювати місяцями. Хост, що багато пінгує, це хост, за яким ніхто не стежить. Двосторонній зв’язок у господарство: команда всередину, дані назовні, по єдиному протоколу, якому ніхто не обмежує швидкість, не піднімає тривог і не читає. І він зашифрований, як шифрує будь-який справжній інструмент, тож на дроті корисне навантаження це випадкові на вигляд байти, що їх пінг і так несе, а перевірці вмісту нема чого читати. Розмір і час усе одно можуть його видати тому, хто справді дивиться. Зазирання всередину пакета не може.\nА машина, що ним керує, не мусить належати нікому, хто там працює. Усе, що треба, це щось, що може дістати до твоєї мережі й поставити пінг в інтернет, а дістати до твоєї мережі легше, ніж будь-хто охоче визнає. WiFi несе за стіни, у коридор, на парковку, у квартиру нагорі. Порт ethernet у стіні переговорної кімнати, чи на рецепції, чи на порожньому столі біля вікна дуже часто живий і говоритиме з будь-чим, що ти ввімкнеш, без 802.1X, який спитав би, хто ти. Сигнал у зоні досяжності або розетка, яку ніхто не замкнув. Ось плата за вхід. Без перепустки, без облікового запису, без запрошення.\nУяви відвідувача, якого ти таки запросив. Він на нараді, приємний, веде нотатки, долучається. Його ноутбук ні. Щойно він дістав до твоєї мережі, через повітря чи через порт під столом, він опинився всередині стіни, і якщо ця мережа може випустити echo-запит, у неї є вихід. Нічого не кинуто у твоє господарство. Жодного облікового запису, жодних прав на будь-що, чим ти володієш, нічого, що зловлять твої агенти на кінцевих точках, бо твоїх агентів немає на його машині. Людина сидить навпроти. Трафік виходить через твої парадні двері, зашифрований, не відрізнити від ноутбука, що пінгує більше, ніж мав би.\nВідвідувач у зоні сигналу чи на відкритому порту дістає тунель назовні крізь фаєрвол, що бачить лише пінги Відвідувач у зоні досяжності чи на відкритому порту дістає маршрут назовні усередині стіни: твоя мережа WiFi сягає коридор, парковка, квартира нагорі ноутбук відвідувача ні перепустки, ні запису живий порт у стіні без 802.1X, що спитав би, хто ти фаєрвол на межі бачить лише пінги сервер в інтернеті echo-запит\u0026#160;\u0026#8594; \u0026#8592;\u0026#160;echo-відповідь будь-який трафік IP, зашифрований, їде всередині пінгів Плата за вхід це доступ до мережі, тобто сигнал WiFi у зоні досяжності або живий порт у стіні без 802.1X, а вихід це echo через межу. Для фаєрвола це хост, що пінгує; усередині тих пінгів будь-який трафік IP, зашифрований, спрямований на сервер в інтернеті. Дві речі, за які ти вхопишся, не допоможуть. NAT це таблиця трансляції, а не фільтр: echo-запит від внутрішнього хоста відкриває зіставлення за ключем id ICMP, яке NAT трактує так само, як порт, і відповідь повертається через нього, як будь-який інший потік. Я запустив клієнта за власним домашнім NAT, і він жодного разу не помітив, що NAT узагалі є. Окремий гостьовий VLAN не кращий. Сегрегація тримає відвідувача подалі від твоїх серверів, але нічого не робить, щоб тримати його подалі від інтернету, а інтернет, дістати до якого можна пінгом, і є всією вимогою. Один контроль стосується цього: чи ця мережа випускає echo назовні?\nТи не позбудешся цього перевіркою і не позбудешся цього сегрегацією. Ти закриваєш двері. Усе далі це те, чому стандарт лишає їх відкритими, три способи побудувати тунель, щоб твердження спиралося не лише на мої слова, і одна зміна, що його закриває.\nЧастина ICMP, що не винна тобі нічого корисного Почни з того, що стандарт насправді каже, бо вся суперечка спирається на одне речення, а люди відмахуються від нього, не прочитавши.\nEcho-запит несе поле даних. В IPv4 RFC 7923 прямо каже, що \u0026ldquo;the data received in the echo message must be returned in the echo reply message\u0026rdquo;. IPv6 радше посилив, ніж послабив формулювання: RFC 44434 визначає це поле як \u0026ldquo;zero or more octets of arbitrary data\u0026rdquo; і далі вимагає, щоб воно \u0026ldquo;MUST be returned entirely and unmodified in the ICMPv6 Echo Reply message\u0026rdquo;.\nПрочитай це як оператор, і це keepalive. Прочитай це як той, хто рухає дані, і це подарунок. Стандарт зобов’язує кожен досяжний хост прийняти блок байтів, який ти вибрав, і надіслати їх просто назад тобі, незмінними, на вимогу. Довільна довжина. Довільний вміст. Жодного рукостискання, жодного порту, жодного застосунку на тому кінці, що мусив би на щось погодитися. Це робить ядро, перш ніж будь-який процес у просторі користувача взагалі щось побачить.\nІ це обидві родини. Перехід на IPv6 цього не прибирає. Він відкриває це ширше. RFC 792 казав, що дані \u0026ldquo;must be returned\u0026rdquo;; RFC 4443 каже, що вони \u0026ldquo;MUST be returned entirely and unmodified\u0026rdquo;, а це ті самі двері з міцнішим замком, що тримає їх відчиненими. Отож, канал існує і на ICMP echo, і на ICMPv6 echo однаково, а правило, що закриває його на одній родині й не на другій, не закрило нічого. Тунель просто переходить на ту родину, яку ти лишив відкритою. Хай що ти з цим робиш, роби це на ip і ip6 разом.\nБільш ніщо в протоколі так не робить. Time Exceeded несе заголовок пакета, що загинув, і не більше. Destination Unreachable це звіт про те, що вже сталося. Ці повідомлення кажуть тобі факти про мережу. Echo несе те, що ти в нього поклав, в обидва боки, і зве це діагностикою.\nПомилки нісні. Echo ні. Це розрізнення, якого натовп «просто блокуй ICMP» ніколи не робить, і в ньому вся суть, тож я зроблю його один раз і як слід.\nБлокування помилок ICMP ламає мережу тихо. Відфільтруй Packet Too Big і ти вб’єш визначення MTU шляху: рукостискання завершується, малі передачі працюють, а будь-що з повнорозмірним пакетом зависає назавжди, і в журналах нічого. На IPv6 це навіть не питання смаку. Маршрутизатори не фрагментують, тож RFC 48905 вносить Packet Too Big до повідомлень, які фаєрвол \u0026ldquo;must not drop\u0026rdquo;, і попереджає, що без нього \u0026ldquo;parts of the Internet will become inaccessible\u0026rdquo;. Відфільтруй Time Exceeded і ти поламаєш traceroute, який RFC 18126 називає самою причиною, чому це повідомлення обов’язкове. Вони не необов’язкові. Це зворотний зв’язок, що робить мережу самовиправною, і я докладно розбирав ціну їхньої втрати минулого разу.\nА тепер відкинь echo і піди шукати, що зламалося. ping через межу перестає працювати. Ось список. Увесь список.\nВизначенню MTU шляху байдуже, бо воно працює на Packet Too Big, а це помилка. Traceroute байдуже, бо traceroute -T і -U ходять по TCP і UDP і читають помилки, що повертаються. Жоден із них не надсилає echo. Виявленню сусідів на IPv6 байдуже, бо це типи з 133 до 137, і ти лишаєш їх, інакше сегмент гине. Трюк зі зворотним TTL із минулого допису працює на будь-якій відповіді, а рукостискання TCP дає тобі одну. Усе, що робило діагностику з минулого допису робочою, і далі працює, бо жодне вимірювання в ньому не надсилало echo-запиту.\nТож дві половини протоколу не могли б бути менш схожими. Одна половина це мережа, що каже тобі правду про себе, і ти ламаєш її на свій страх і ризик. Друга половина це наказана служба повернення корисного навантаження, яку випадково звуть діагностикою, і найсильніше, що хтось може сказати на захист того, щоб лишити її відкритою, це що ping зручний. Він зручний. Він також єдина частина ICMP, якою зловмисник може керувати, і я можу показати тобі точно, чим вони нею керують.\nЛиши помилки ICMP з обмеженням швидкості; відкинь лише echo, в обидва боки і на обох родинах Дві половини одного протоколу, і лише одна з них загроза ЛИШИ обмеж швидкість, не блокуй Destination Unreachable каже, чому пакет не вдалося доставити Packet Too Big від нього залежить визначення MTU шляху Time Exceeded від нього залежить traceroute Parameter Problem повідомляє про хибний заголовок Виявлення сусідів 133\u0026#8211;137 IPv6: від нього залежить локальний сегмент Зламай їх, і мережа зламається тихо. ВІДКИНЬ обидва боки, обидві родини Echo-запит тип 8 (IPv4) · тип 128 (IPv6) Echo-відповідь тип 0 (IPv4) · тип 129 (IPv6) Ніщо не потребує їх, крім ping команди. Усе, чим керує зловмисник через ICMP, іде через них. Тунель, лишений відкритим на одній родині, не закрито. Помилки ICMP нісні: визначення MTU шляху, traceroute і виявлення сусідів в IPv6 усі залежать від них, а блокування ламає мережу тихо. Echo це єдина частина, від якої нічого не залежить, крім ping, і єдина частина, якою може керувати зловмисник. Відкинь її, лиши решту, на обох родинах. Доведення: VPN, зроблений із пінгу Інструмент це Hans7, написаний Фрідріхом Шеллером. Його власний опис це один рядок: він \u0026ldquo;makes it possible to tunnel IPv4 through ICMP echo packets, so you could call it a ping tunnel.\u0026rdquo; Він піднімає інтерфейс tun на кожному кінці, дає їм адреси і рухає кожен пакет між ними всередині ICMP echo. Для мережі посередині це хтось пінгує сервер, а сервер відповідає. Для мене це маршрут.\nЦілий пакет IP їде всередині поля даних одного пінгу Цілий пакет їде всередині одного пінгу Пакет, що його надсилає твоя сесія SSH заголовок IP джерело / призн. заголовок TCP порт 22 дані застосунку твої натиски, твій файл Hans копіює весь пакет у поле даних echo Пакет, що виходить на дріт заголовок IP ти до сервера echo-запит ICMP тип 8 · id · seq поле даних echo увесь пакет вище, незмінний Для фаєрвола на межі це один echo-запит, і журнал записує пінг. Усередині поля даних пакет, спрямований куди завгодно, куди дістане той кінець. Стандарт вимагає, щоб той кінець надіслав ці дані просто назад, тож відповідь теж пакет. Кожен пакет, що його несе тунель, копіюється в поле даних echo-запиту ICMP. Стандарт зобов\u0026rsquo;язує той кінець повернути ці дані незмінними, тож відповідь теж несе пакет. Фаєрвол рахує пінг; корисне навантаження йде куди завгодно, куди той кінець може маршрутизувати. Я запустив його через власну лінію, сервер на публічній адресі і клієнт за домашнім NAT, і пропустив крізь нього справжній трафік. Не синтетичні пінги з виставленим прапорцем. Вхід по SSH і витяг файлу, що їдуть усередині echo.\nВін за одну команду від встановлення там, де я запустив сервер, і будується зі сирцевого коду Шеллера будь-де ще. Сервер мусить бути Linux і потребує root, бо відкриття пристрою tun і сирого сокета ICMP обидва цього потребують. Синтаксис навмисне малий:\n# on the server (public IP), pick the tunnel network and a password hans -s 10.8.0.0 -p \u0026#39;\u0026lt;password\u0026gt;\u0026#39; # server takes 10.8.0.1; clients are handed 10.8.0.2 and up # on the client, point it at the server\u0026#39;s public address hans -c \u0026lt;server-public-ip\u0026gt; -p \u0026#39;\u0026lt;password\u0026gt;\u0026#39; Щойно обидва кінці піднято, з кожного боку є новий інтерфейс з адресою в мережі тунелю, і він поводиться, як будь-який інший лінк точка-точка:\nНіщо в тій сесії не знає, що воно всередині пінгу. SSH відкриває з’єднання TCP до 10.8.0.1, ядро маршрутизує його через tun0, Hans загортає кожен пакет як корисне навантаження echo-запиту, а той кінець розгортає його і подає своєму власному tun0. Відповідь повертається як корисне навантаження echo-відповіді. Для SSH воно спілкується по звичайному лінку. Для фаєрвола ніхто нічого не відкривав. Хост пінгують.\nЯк це виглядає на дроті Це та частина, що закінчує суперечку, тож дивись на це очима фаєрвола, а не моїми.\nЩо насправді діється і що записує фаєрвол це не та сама картина Один тунель, дві картини Що насправді діється твій хост tun0 · 10.8.0.2 сервер tun0 · 10.8.0.1 куди завгодно, куди дістане SSH, витяг файлів маршрутизовано назовні будь-який трафік IP, крізь тунель як звичайні пакети Що фаєрвол на межі бачить і записує твій хост 198.51.100.9 сервер 192.0.2.7 echo-запит echo-відповідь icmp echo-запит 198.51.100.9 \u0026gt; 192.0.2.7 icmp echo-відповідь 192.0.2.7 \u0026gt; 198.51.100.9 icmp echo-запит 198.51.100.9 \u0026gt; 192.0.2.7 ... пораховано як пінги, вміст не прочитано Той самий дріт. Фаєрвол ніколи не бачить пакетів усередині. Тунель рухає справжній трафік між двома хостами, а потім назовні, куди завгодно, куди сервер може дістати. На межі це лише echo-запит і echo-відповідь: фаєрвол записує пінги і ніколи не бачить пакетів, що в них несуться. Сядь на зовнішньому інтерфейсі з tcpdump і захопи лише ICMP, поки йде сесія SSH. Жоден TCP до порту 22 не перетинає межу. Перетинають echo-запит і echo-відповідь, туди-сюди, кожен товщий за справжній пінг, бо несе шматок сегмента TCP у своєму корисному навантаженні:\n# on the boundary, watch only ICMP echo while traffic runs over the tunnel tcpdump -ni \u0026lt;wan-iface\u0026gt; \u0026#39;icmp[icmptype] = icmp-echo or icmp[icmptype] = icmp-echoreply\u0026#39; Прочитай дві речі, що мають значення в цьому захопленні. Перше, довжини корисного навантаження: звичайний ping надсилає 56 байтів, і кожен рядок однакового розміру, а ці різняться і йдуть великими, бо розмір того, що ти рухаєш, протікає в розмір пінгу. Друге, частота: діагностичний пінг це один на секунду, а це потік, бо він рухає файл. Ні те, ні те не приховано. Обидва лежать на видноті в протоколі, на який ніхто не дивиться.\nІ в цьому вся суть. Не в тому, що це хитро чи важко помітити, щойно придивишся. Майже ніхто не придивляється, бо коробку налаштовано дозволяти ICMP, журнали рахують це як пінги, а оповіщення налаштовано на порти, про які хтось не забув потурбуватися. Трафік виходить на вигляд як перевірка справності, а перевірка справності це маршрут будь-куди, куди сервер може дістати.\nСправжній VPN на повний тунель, зібраний руками Hans доводить, що канал є, але він робить інтерфейс і адресацію за тебе і віддає маршрут, тож він не зовсім показує тобі, що ти збудував. Щоб побачити, що це VPN у повному сенсі, тобто весь трафік машини виходить через пінг, а не лінк між двома названими хостами, збери його руками. icmptunnel8, автор Дхавал Капіл, якраз для цього, і його власний опис це один рядок: \u0026ldquo;Transparently tunnel your IP traffic through ICMP echo and reply packets.\u0026rdquo; Та сама ідея, пристрій tun і корисні навантаження echo, але трубопровід ти прокладаєш сам, і ніщо не ховається всередині бінарника.\nНа сервері ти запускаєш тунель, піднімаєш інтерфейс, а потім робиш те, що видає всю гру: кажеш ядру самому перестати відповідати на пінги, щоб його власні echo-відповіді не билися з тими, що надсилає тунель.\nsudo ./icmptunnel -s 10.0.1.1 # server mode; creates tun0, then blocks # from a second shell, bring the interface up (iproute2, not the net-tools the repo ships) sudo ip addr add 10.0.1.1/24 dev tun0 sudo ip addr add 2001:db8:1::1/64 dev tun0 sudo ip link set tun0 mtu 1472 up # 1500 − 20 (IP) − 8 (ICMP); see below # stop the kernel replying to pings — echo now belongs to the tunnel sudo sysctl -w net.ipv4.icmp_echo_ignore_all=1 sudo sysctl -w net.ipv6.icmp.echo_ignore_all=1 # let the server route the client\u0026#39;s packets onward sudo sysctl -w net.ipv4.ip_forward=1 Прочитай рядок icmp_echo_ignore_all ще раз, бо він каже більше, ніж здається. Цей перемикач власний для ядра, і постачається він як захист: вистав його і, словами ядра, воно \u0026ldquo;will ignore all ICMP ECHO requests sent to it\u0026rdquo;9, тож оператор може прибрати хост із радара пінгів цілком. Тепер він на обох родинах. net.ipv4.icmp_echo_ignore_all уже роками, а net.ipv6.icmp.echo_ignore_all додано пізніше для пари.10 Тунель клацає цей захисний перемикач із протилежної причини: коли ядро більше не відповідає на echo саме, два його кінці вільні використовувати echo як чистий транспорт. Ось у чому прикмета. Люди, що писали стек, уже трактують echo як щось, від чого хост може розумно відмовитися: правило в цьому дописі робить той самий вибір один раз, на межі, за кожен хост позаду неї.\nНа клієнті ти піднімаєш інтерфейс, а потім спрямовуєш у нього маршрут за замовчуванням. Не один хост, досяжний через тунель. Усе.\nsudo ./icmptunnel -c \u0026lt;server-public-ip\u0026gt; # client mode; creates tun0 sudo ip addr add 10.0.1.2/24 dev tun0 sudo ip addr add 2001:db8:1::2/64 dev tun0 sudo ip link set tun0 mtu 1472 up # keep the route to the server itself OUT of the tunnel... sudo ip route add \u0026lt;server-public-ip\u0026gt; via \u0026lt;gateway\u0026gt; dev \u0026lt;iface\u0026gt; # ...then send everything else down it sudo ip route replace default dev tun0 Власні client.sh і server.sh проєкту досі хапаються за ifconfig і route з net-tools. Команди ip вище це еквіваленти з iproute2 і роблять ту саму роботу. Той маршрут до сервера це рядок, що про нього забувають: тримай його поза тунелем, інакше пакети echo, що несуть тунель, спробують поїхати тунелем, і нічого не вийде. Усе інше тепер іде через tun0, загорнуте в echo, і дістає до сервера. Чи піде воно далі, це вибір маршрутизації. Одне правило masquerade на сервері поставило б його в публічний інтернет під власною адресою сервера, і його навмисне тут немає, бо тунель це те, що показують, а йому воно не потрібне.\nЦе VPN на повний тунель, зібраний із пінгу за жменьку команд. Кожен пакет, що його надсилає клієнт, тобто веб, DNS, SSH, усе це, захоплюється в tun0 і виходить як echo-запит до сервера, а відповіді повертаються як echo-відповіді. Машина в мережі, що «дозволяє лише ICMP», щойно віддала весь свій вихідний трафік коробці назовні, а межа записала хост, що любить пінгувати.\nЗроби свій у Python Ось частина, що має турбувати кожного, хто сподівається оборонитися від цього, виявляючи інструмент. Ні Hans, ні icmptunnel не роблять нічого, чого ти не міг би написати сам за пів дня. Відкрий пристрій tun, загорни кожен пакет як корисне навантаження echo-запиту, розгорни ті, що повертаються. Ось увесь механізм, а голий тунель це близько шістдесяти рядків Python зі стандартної бібліотеки, і встановлювати взагалі нічого не треба. Версія нижче додає зверху одне: вона шифрує корисне навантаження, і це єдина частина, що тягне залежність.\n#!/usr/bin/env python3 # pingvpn.py — a VPN tunnel over ICMP echo, in one short file. # # Not a product. It exists to show the channel is trivial to rebuild, so a # defence that hunts for a known tool is chasing the wrong thing entirely. # Linux, needs root (a tun device and a raw ICMP socket both do), and the # `cryptography` package for the AES (pip install cryptography). # # server: sudo python3 pingvpn.py --server # client: sudo python3 pingvpn.py --client \u0026lt;server-public-ip\u0026gt; # # The payload is encrypted with AES-128-GCM under a pre-shared key before it # goes on the wire, so what a firewall sees in the echo data is random bytes — # the same as a real ping\u0026#39;s padding, and nothing for content inspection to read. import argparse import fcntl import hashlib import os import select import socket import struct import sys from cryptography.hazmat.primitives.ciphers.aead import AESGCM TUNSETIFF = 0x400454CA IFF_TUN = 0x0001 IFF_NO_PI = 0x1000 MAGIC = 0x4954 # \u0026#39;IT\u0026#39; in the id field, so we ignore real pings ECHO_REQUEST = 8 ECHO_REPLY = 0 PSK = b\u0026#34;change-me-to-a-shared-secret\u0026#34; # pre-shared secret, both ends KEY = hashlib.sha256(PSK).digest()[:16] # 128-bit key -\u0026gt; AES-128-GCM AEAD = AESGCM(KEY) def open_tun(name=b\u0026#34;tun0\u0026#34;): fd = os.open(\u0026#34;/dev/net/tun\u0026#34;, os.O_RDWR) fcntl.ioctl(fd, TUNSETIFF, struct.pack(\u0026#34;16sH\u0026#34;, name, IFF_TUN | IFF_NO_PI)) return fd def encrypt(data): # -\u0026gt; nonce || ciphertext+tag nonce = os.urandom(12) return nonce + AEAD.encrypt(nonce, data, None) def decrypt(blob): # raises on a packet that is not ours return AEAD.decrypt(blob[:12], blob[12:], None) def checksum(data): if len(data) % 2: data += b\u0026#34;\\x00\u0026#34; total = sum(struct.unpack(\u0026#34;!%dH\u0026#34; % (len(data) // 2), data)) total = (total \u0026gt;\u0026gt; 16) + (total \u0026amp; 0xFFFF) total += total \u0026gt;\u0026gt; 16 return ~total \u0026amp; 0xFFFF def build_echo(icmp_type, payload): head = struct.pack(\u0026#34;!BBHHH\u0026#34;, icmp_type, 0, 0, MAGIC, 0) csum = checksum(head + payload) return struct.pack(\u0026#34;!BBHHH\u0026#34;, icmp_type, 0, csum, MAGIC, 0) + payload def main(): ap = argparse.ArgumentParser(description=\u0026#34;a VPN tunnel over ICMP echo\u0026#34;) group = ap.add_mutually_exclusive_group(required=True) group.add_argument(\u0026#34;--server\u0026#34;, action=\u0026#34;store_true\u0026#34;) group.add_argument(\u0026#34;--client\u0026#34;, metavar=\u0026#34;SERVER_IP\u0026#34;) args = ap.parse_args() out_type = ECHO_REQUEST if args.client else ECHO_REPLY in_type = ECHO_REPLY if args.client else ECHO_REQUEST peer = args.client # None on the server until a client is seen tun = open_tun() sock = socket.socket(socket.AF_INET, socket.SOCK_RAW, socket.IPPROTO_ICMP) print(\u0026#34;tun0 created. bring it up with an address and route, then send traffic.\u0026#34;, file=sys.stderr) while True: readable, _, _ = select.select([tun, sock], [], []) if tun in readable: # a packet wants to leave this host packet = os.read(tun, 65535) if peer: sock.sendto(build_echo(out_type, encrypt(packet)), (peer, 0)) if sock in readable: # something arrived over ICMP data, _ = sock.recvfrom(65535) ihl = (data[0] \u0026amp; 0x0F) * 4 # skip the IP header the kernel adds icmp = data[ihl:] if len(icmp) \u0026lt; 8 or icmp[0] != in_type or icmp[4:6] != struct.pack(\u0026#34;!H\u0026#34;, MAGIC): continue try: packet = decrypt(icmp[8:]) # wrong key or a real ping -\u0026gt; skip except Exception: continue if args.server: peer = socket.inet_ntoa(data[12:16]) # reply to whoever sent os.write(tun, packet) # hand the carried packet to the stack if __name__ == \u0026#34;__main__\u0026#34;: main() Ось увесь тунель. Він відкриває tun0 і сирий сокет ICMP і ганяє пакети між ними: те, що виходить із хоста, загортається як echo-запит, або echo-відповідь на сервері, і надсилається на той кінець; те, що приходить по ICMP, розгортається і віддається назад стеку. Поле id закріплено на одному значенні, тож воно переступає справжні пінги, а сервер дізнається, куди відповідати, із джерела першого пакета, що його побачить.\nШифрування це частина, на якій варто зупинитися, бо саме це роблять справжні інструменти і саме тому ти не зловиш цього, зазираючи всередину пакета. Корисне навантаження запечатано AES-128-GCM під наперед поділеним ключем, перш ніж його загорнуть, тож байти в даних echo не відрізнити від випадкового наповнення, що його несе справжній ping. Прибери два рядки з криптографією, і тунель усе одно працює на самій стандартній бібліотеці: єдина причина, чому йому потрібен pip install cryptography, це AES, а AES це саме та частина, що перетворює читабельний тунель на нечитабельний. Підніми його так само, як раніше, без masquerade. Він тобі не потрібен, щоб довести тезу:\n# server: start it (creates tun0, then blocks), then configure from the same shell sudo python3 pingvpn.py --server \u0026amp; sudo ip addr add 10.9.0.1/24 dev tun0 sudo ip addr add 2001:db8:9::1/64 dev tun0 sudo ip link set tun0 mtu 1400 up sudo sysctl -w net.ipv4.icmp_echo_ignore_all=1 sudo sysctl -w net.ipv6.icmp.echo_ignore_all=1 # client sudo python3 pingvpn.py --client \u0026lt;server-public-ip\u0026gt; \u0026amp; sudo ip addr add 10.9.0.2/24 dev tun0 sudo ip addr add 2001:db8:9::2/64 dev tun0 sudo ip link set tun0 mtu 1400 up sudo sysctl -w net.ipv4.icmp_echo_ignore_all=1 sudo sysctl -w net.ipv6.icmp.echo_ignore_all=1 sudo ip route add \u0026lt;server-public-ip\u0026gt; via \u0026lt;gateway\u0026gt; dev \u0026lt;iface\u0026gt; sudo ip route replace default dev tun0 Причина написати це своїми руками не в інструменті. А в тому, що інструмент одноразовий. Короткий файл, жодних залежностей, доки не додаси шифрування, і кожна копія, яку хтось набере, виглядає на дроті трохи інакше. Тож сигнатура, що ловить цю, наступного тижня не зловить нічого. Ти не заблокуєш собі вихід із цього, назвавши програму, бо називати нема чого.\nЙому навіть не потрібна оболонка. Логіка це байти всередину, байти назовні, тож воно переноситься на будь-що, що може відкрити сокет. Навіть WebAssembly: пісочниця браузера зазвичай відмовляє сторінці в сирому сокеті цілком, але там, де цей бар’єр знято (браузер, якому користувач дав дозвіл, на машині, де користувач працює з правами, достатніми, щоб відкрити сирий сокет), та сама коротка програма працює всередині вкладки. І ось незручна половина. Тут не можна довіряти своїм користувачам. Хост, що керує тунелем, усередині, у руках когось, кого ти вирішив вважати безпечним, бо він сидить за фаєрволом, а фаєрвол це те, що тунелюють наскрізь. Периметрова довіра припускає, що загроза за стіною. Ця щоразу починається всередині неї.\nПильнуй MTU і підлогу 1280 в IPv6 Тунель не безкоштовний на дроті. Кожен пакет, що ти несеш, набуває зовнішнього заголовка IP і заголовка ICMP, перш ніж вийти, тож внутрішній інтерфейс мусить сидіти нижче за те, що здатен нести шлях. На IPv4 це коштує зловмиснику майже нічого. Виставити внутрішній MTU низько (значення 1472 в icmptunnel це 1500 мінус 20 на зовнішній заголовок IP і 8 на заголовок ICMP, а Python вище падає до 1400 про запас), а там, де число все одно хибне, IPv4 фрагментує завеликий пакет і збирає його на тому кінці, а не відкидає. Між низькою підлогою, яку ти можеш вибрати, і фрагментацією, що замазує решту, тунель їде майже будь-яким шляхом. Саме ця гнучкість і робить IPv4 зручним місцем для цього.\nФрагментація і запас MTU в IPv4 дають тунелю їхати будь-де; в IPv6 нема ні того, ні того, тож він падає закрито Чому він їде будь-де на IPv4 і падає закрито на IPv6 IPv4 заг. IP 20 Б ICMP 8 Б внутр. пакет tun MTU 1472 Б Завелике? IPv4 фрагментує і збирає знову: тунель їде майже будь-яким шляхом. IPv6 заг. IPv6 40 Б ICMPv6 8 Б внутр. пакет не нижче за 1280 Б жорстка підлога 1280 Б (RFC 8200) Завелике? Маршрутизатори IPv6 відкидають його, без фрагментації: тунель падає закрито. Запасні ходи IPv4 (підлога, яку ти вибираєш, і фрагментація на решту) і роблять тунель надійним. В IPv6 нема ні того, ні того, тож атака, що їде майже будь-де на IPv4, крихка на IPv6. Безпечніша родина тут. Packet Too Big (помилка, яку ти лишаєш, не echo) дає відправникові знайти розмір, що вліз. Не в масштабі. Тунель втрачає зовнішній заголовок IP і ICMP з кожного пакета. IPv4 дає тобі зголити внутрішній MTU і фрагментує те, що все ще завелике, тож він їде майже будь-де; IPv6 ставить жорстку підлогу в 1280 байтів, а його маршрутизатори не фрагментують, тож завеликий пакет відкидається і тунель падає закрито, а це робить IPv6 безпечнішою родиною тут. IPv6 менш поблажливий, і цього разу це тобі на користь. Підлога жорстка: RFC 820011 §5 вимагає, щоб \u0026ldquo;every link in the Internet have an MTU of 1280 octets or greater\u0026rdquo;, а маршрутизатори IPv6 не фрагментують у транзиті. Це прибирає обидва запасні ходи IPv4 одразу, і це кусає тунель в обидва боки. Запусти його над ICMPv6, і кожен лінк на шляху мусить нести 1280, тож шлях, що падає нижче, валить транспорт, і зголити під підлогу так, як на IPv4, не вийде. Неси IPv6 усередині тунелю, і ти впираєшся в ту саму стіну з іншого боку: внутрішній інтерфейс теж не може впасти нижче 1280, а зовнішня обгортка ICMPv6, 40 байтів заголовка і 8 на ICMPv6, уже витрачає бюджет, тож шлях мусить мати в запасі 1280 плюс накладні витрати. Схиб у будь-якому місці, і пакет відкидають, а не ріжуть, щоб уліз: тунель піднімається, малі речі працюють, будь-що повнорозмірне зависає. Тож IPv6 тут безпечніша родина, а не ризикованіша. Атака, що їде майже будь-чим на IPv4, крихка на IPv6 і падає закрито. Безпечніша це не те саме, що безпечна, зауваж: канал echo відкритий і на IPv6, тож правило все одно відкидає його на обох родинах, просто зловмисник не може спертися на IPv6 так, як спирається на IPv4.\nВідновлення з цього це та помилка ICMP, яку ти старанно лишив. Packet Too Big це те, що дає відправникові знайти робочий розмір, і це помилка, а не echo, тож правило, за яке ратує цей допис, лишає її в спокої. Відкинь тунель і лиши діагностику: ось уся задумка, а MTU це ще одне місце, де вона заробляє свій хліб.\nПравило, звужене до echo Минулий допис дав повний транзитний набір правил: дозволити помилки під обмеженням швидкості, відкинути echo. Я не передруковуватиму його. Зміна, за яку ратує цей допис, це одна пара рядків, і це та пара, що робить роботу:\n# permit the ICMP errors — these are load-bearing, keep them ip protocol icmp icmp type { destination-unreachable, time-exceeded, parameter-problem } \\ limit rate 100/second accept ip6 nexthdr ipv6-icmp icmpv6 type { destination-unreachable, packet-too-big, \\ time-exceeded, parameter-problem } limit rate 100/second accept # drop the tunnel — echo, both directions, both families ip protocol icmp icmp type { echo-request, echo-reply } drop ip6 nexthdr ipv6-icmp icmpv6 type { echo-request, echo-reply } drop Правило, щоправда, не Linux. Це той самий намір на будь-якому фаєрволі, вартому цього імені: дозволити помилки, обмежити їхню швидкість, відкинути echo в обидва боки на обох родинах. Тож ось воно в діалектах, що ти їх радше тримаєш у руках.\nBSD pf (pfSense, OPNsense, OpenBSD, FreeBSD):\n# permit the errors; block echo both directions, both families pass in proto icmp icmp-type { unreach, timex, paramprob } pass in proto icmp6 icmp6-type { unreach, toobig, timex, paramprob, \\ routersol, routeradv, neighbrsol, neighbradv } block in proto icmp icmp-type { echoreq, echorep } block in proto icmp6 icmp6-type { echoreq, echorep } Лиши типи виявлення сусідів у рядку icmp6; це ті, що валять сегмент, якщо ти їх втратиш.\nCisco IOS (розширені ACL, застосовані на краю):\nip access-list extended ICMP-EDGE permit icmp any any unreachable permit icmp any any time-exceeded permit icmp any any parameter-problem deny icmp any any echo deny icmp any any echo-reply ! ipv6 access-list ICMP6-EDGE permit icmp any any packet-too-big permit icmp any any unreachable permit icmp any any time-exceeded permit icmp any any parameter-problem permit icmp any any nd-ns permit icmp any any nd-na deny icmp any any echo-request deny icmp any any echo-reply На IPv4 тип echo це echo; на IPv6 це echo-request. Обмеження швидкості живе в CoPP, а не в ACL.\nJuniper Junos (фільтр фаєрвола; фільтр inet6 віддзеркалює це і лишає виявлення сусідів):\nfirewall family inet filter icmp-edge { term errors { from { protocol icmp; icmp-type [ unreachable time-exceeded parameter-problem ]; } then { policer icmp-cap; accept; } } term drop-echo { from { protocol icmp; icmp-type [ echo-request echo-reply ]; } then discard; } } MikroTik RouterOS: відкинь два типи echo, а потім прийми решту ICMP, що лишає помилки і, на v6, виявлення сусідів:\n/ip firewall filter add chain=forward protocol=icmp icmp-options=8:0 action=drop comment=\u0026#34;echo request\u0026#34; add chain=forward protocol=icmp icmp-options=0:0 action=drop comment=\u0026#34;echo reply\u0026#34; add chain=forward protocol=icmp action=accept comment=\u0026#34;keep the errors (add limit= to cap)\u0026#34; /ipv6 firewall filter add chain=forward protocol=icmpv6 icmp-options=128:0 action=drop comment=\u0026#34;echo request\u0026#34; add chain=forward protocol=icmpv6 icmp-options=129:0 action=drop comment=\u0026#34;echo reply\u0026#34; add chain=forward protocol=icmpv6 action=accept comment=\u0026#34;keep errors and ND\u0026#34; Різний синтаксис, одне правило. Дозволь повідомлення, що несуть правду, відкинь те, що несе твої байти.\nДві засторо́ги, обидві вкусять тебе, якщо прогортаєш побіжно.\nВідкидай echo на межі, а не на дроті між хостом і його власним маршрутизатором. На IPv6 виявлення сусідів це ICMP, типи з 133 до 137, від nd-router-solicit до nd-redirect, і це те, як сегмент робить роботу, яку в IPv4 робить ARP. Перенеси відкидання echo на ланцюжок link-local чи хостовий, не лишивши їх, і сегмент перестане працювати за лічені хвилини, і це не виглядатиме як вада фаєрвола. Фільтруй echo там, де трафік виходить із твоєї мережі, і лиши внутрішні ланцюжки в спокої.\nВідкинь його в обидва боки, і він перестане бути корисним у будь-який. Блокування лише запиту спиняє пінги до твоїх хостів, але все одно випускає відповідь, а тунель можна побудувати на самих відповідях із трохи більшим зусиллям. Відкинь запит і відповідь, на IPv4 і IPv6, і канал закрито в обидва боки.\nСкільки відкидання пінгу насправді тобі коштує Будь чесним щодо втрати, бо контроль, який ти переоцінив, це контроль, який хтось тихо скасує, щойно він стане незручним.\nТи втрачаєш ping через межу. Ось ціна, названа повністю. Це справжня ціна. ping це рефлекс, він у всіх у пальцях, і наступного дня після того, як ти це впровадиш, хтось скаже, що інтернет ліг, бо його пінг до шлюзу вийшов за час. Він не ліг. Ти сказав шлюзу перестати відповідати на запит, що завжди був лише зручністю.\nПеревірка досяжності не потребує echo. З’єднання TCP до порту, про який ти знаєш, що він відкритий, каже тобі, що хост живий і шлях працює, і каже більше, ніж пінг, бо доводить, що відповіла служба, а не лише ядро:\n# \u0026#34;is it up and reachable?\u0026#34; without sending a single echo nc -zv \u0026lt;host\u0026gt; 443 # did the TCP handshake complete? traceroute -T -p 443 \u0026lt;host\u0026gt; # walk the path on TCP, read the errors back Обидва вони їдуть на помилках ICMP, які ти лишив, і на TCP, яким справжня служба і так говорить. Жоден не надсилає echo. Тож чесний обмін такий: ти відмовляєшся від найменш інформативного інструмента в скриньці, того, що відповідає «чи згодне ядро відповісти» і не більше, а навзамін закриваєш єдину частину ICMP, яку зловмисник може перетворити на маршрут геть із твоєї мережі. Діагностика, по яку ти справді тягнешся в поганий день, уся по той бік лінії, недоторкана.\nFisher-Price OS (Windows) не є виходом із цього Якщо ти ведеш лавку на Fisher-Price OS (Windows), ти, може, читаєш це як чужу проблему. Це не так. Загроза в протоколі, а не в операційній системі. Стандарт зобов’язує кожен хост, що відповідає на пінг, віддати твої байти назад, і він не спиняється спитати, що той хост запускає.\nКоробка на тій ОС робить цілком добру кінцеву точку тунелю. Hans постачає клієнт для Windows, тож внутрішня машина може бути клієнтським кінцем і пропускати свій трафік назовні всередині echo, як будь-яка інша. Чим вона не може легко бути, так це серверним кінцем, бо для нього потрібен пристрій tun і відкритий сирий сокет ICMP, а на цій ОС лише члени групи Administrators можуть створювати сокети типу SOCK_RAW12, за власними словами Microsoft. Тож сервер сидить на справжній операційній системі, як мій, а коробка за фаєрволом, що тихо пінгує собі вихід, це та, яку тобі назвали безпечною, бо вона всередині.\nОсь суть для кожного, хто це захищає. Правилу на межі байдуже, що запускає внутрішня сторона. Відкинь echo там, де трафік виходить із мережі, і кожен хост позаду неї прикрито: ті, якими ти керуєш, і той, про який тебе запевнили, що він ховається за NAT. Я не запускаю цю штуку і не вдаватиму, що тунель її поважає. Виправлення це те саме правило, у тому самому місці, хай у що завантажена кінцева точка.\nЯкщо ти гартуєш саме коробку (коробку, а не мережу), PowerShell принаймні спинить її відповідати чи випускати пінг від власного імені:\nforeach ($t in 8,0) { New-NetFirewallRule -DisplayName \u0026#34;Drop ICMPv4 Echo $t\u0026#34; -Protocol ICMPv4 -IcmpType $t -Direction Inbound -Action Block } foreach ($t in 128,129) { New-NetFirewallRule -DisplayName \u0026#34;Drop ICMPv6 Echo $t\u0026#34; -Protocol ICMPv6 -IcmpType $t -Direction Inbound -Action Block } Додай парні правила з -Direction Outbound, щоб спинити її тягнутися назовні як клієнт тунелю, а не сидіти там мішенню, і лиши в спокої типи помилок і виявлення сусідів ICMPv6 з тієї причини, з якої їх лишають у спокої всюди на цій сторінці. Але не плутай це з контролем. Фаєрвол хоста це не транзитний фаєрвол. Він гартує коробку і нічого не змінює щодо межі, а межа це там, де це насправді закривають.\nПідніми це сьогодні з тим, хто веде твою межу Ти, мабуть, дочитав аж сюди, думаючи про мережу, яку не твоя воля змінювати. Більшість у такому становищі. Тож корисна річ не в тому, щоб хапатися за фаєрвол, а в тому, щоб поставити питання тому, хто його тримає, твоїй власній мережевій команді, твоєму MSP чи вендору, чия коробка сидить на краю, і постав його сьогодні, бо ці двері стоять відчиненими з 1996 року, і ще один тиждень цього це вибір.\nСпитай прямо і спитай, чекаючи порожнього погляду, бо я поставив би на весь ВВП Британії, що ніхто там не думав про echo вдруге. Це той єдиний пакет, що його всі дозволяють і що ним ніхто не володіє, а неволодіне правило це саме те, що роками сидить хибним і що його нема кому помітити.\nСпитай їх чотири речі, цими словами, щоб не лишилося місця покивати і нічого не змінити:\nЧи відкидаємо ми echo-запит і echo-відповідь ICMP на межі, на IPv4 і IPv6 обох? Не «чи дозволяємо ми ICMP», а конкретне повідомлення, обидва боки, обидві родини. Якщо відповідь це лише одна родина, це не відповідь, бо тунель просто переходить на другу. Чи досі дозволяємо ми помилки ICMP? Destination Unreachable, Time Exceeded, Parameter Problem і Packet Too Big на IPv6, під обмеженням швидкості, а не блокуванням. Якщо вони не можуть сказати, шанси рівні, що вони або лишили все відкритим, або заблокували все, і обидва хибні. Чи лишили ми виявлення сусідів IPv6 на внутрішніх ланцюжках? Типи з 133 до 137. Це те, що перетворює «ми загартували ICMP» на сегмент, що тихо гине за тиждень, і це помилка, яку робить поспішна зміна. Покажи мені правило. Не заяву про політику, а справжній рядок на справжній коробці і дату, коли його поставили. Контроль, на який ніхто не може вказати, це контроль, якого немає. Чи прибуде коробка від вендора з цим уже закритим? Ні. Майже всюди за замовчуванням пропускати echo і записувати його як лічильник пакетів, а це і є вся причина, чому тунель узагалі працює. Він не експлуатує ваду, він використовує конфігурацію, що постачається стандартно. Ніхто не закриває двері, про які йому ніколи не казали, що вони відчинені.\nПричина наполягати на формулюванні в тому, що лінивим виправленням цього допису буде «гаразд, заблокуємо ICMP», а це виправлення гірше за діру. Воно ламає визначення MTU шляху і traceroute, воно пустить тебе ганятися за завислими передачами, і в журналах нічого, а на IPv6 воно прибирає частини інтернету зі столу цілком. Якщо людина, яку ти питаєш, тягнеться по це, спини її. Інструкція вузька навмисне: відкинь echo, лиши помилки, лиши виявлення сусідів. Отож, кожен, хто веде фаєрволи на хліб, має вміти зробити цю зміну за пів дня і сказати тобі, що це зроблено.\nА якщо це MSP, якому ти платиш за ведення цього: постачальник, який не може сказати тобі твого ж стану echo і помилок з голови, чи який відповідає «ми блокуємо ICMP», наче це безпечний варіант, щойно сказав тобі дещо про решту господарства. Наступного разу, коли вада сидітиме між двома мережами і обидві казатимуть, що вони чисті, згадай, хто з них не зміг описати, що його власний фаєрвол робить із пінгом.\nДіагностика, що ніколи не була діагностикою Ping мав добрий забіг. Майк Мусс написав його в 1983 році, щоб перевіряти, чи хост відповідає, назвав його на честь сонара, і він робив цю одну роботу так добре, що став першим, по що всі тягнуться, і останнім, що хтось піддає сумніву. Сорок років по тому це м’язова пам’ять, а м’язова пам’ять це саме те, як виживає загроза. Ніхто не переглядає те, що робив завжди.\nАле подивись, що це насправді, звільнене від звички. Повідомлення, що не несе жодного факту про мережу, на яке кожен хост зобов’язаний відповісти твоїми ж байтами, віддаченими назад, що їде по протоколу, якого контролі не перевіряють, а журнали не читають. Усе, що робить його на вигляд нешкідливим (це ж лише діагностика, це ж лише keepalive, усі його дозволяють), це те саме, що робить його найчистішим виходом із фільтрованої мережі, який існує. Галузь блокує помилки ICMP, що несуть правду і ламають мережу, коли зникають, і пропускає echo, що несе те, що ти в нього завантажиш. Вона тримає протокол точно догори дриґом.\nВиправлення не хитре. Лиши повідомлення, що кажуть тобі правду, і відкинь те, що просто віддає твої байти назад. Воно коштує тобі команду, якій ти не мав підстав довіряти задля діагнозу однаково, і закриває двері, що стоять відчиненими з 1996 року, задокументовані в хакерському журналі, спаковані вже двадцять років і лишені навстіж, бо закрити їх означало б, що хтось не зможе зробити ping. Знай, скільки річ коштує, а не почому її продають. Ping продають за ніщо. Він коштує тобі того єдиного каналу, якого ти не бачиш.\nLoki, Phrack 49 — командний канал, що несеться всередині корисних навантажень echo ICMP, 1996.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nPtunnel — носить сесію TCP усередині echo ICMP.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 792 — ICMP: \u0026ldquo;the data received in the echo message must be returned in the echo reply message\u0026rdquo;.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 4443 — ICMPv6: дані echo \u0026ldquo;MUST be returned entirely and unmodified in the ICMPv6 Echo Reply message\u0026rdquo;.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 4890 — повідомлення ICMPv6, які фаєрвол не має відкидати.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 1812 — вимоги до маршрутизаторів: Time Exceeded є MUST, назване для traceroute.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nHans — тунель IP поверх echo ICMP, автор Фрідріх Шеллер.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nicmptunnel — тунелює трафік IP через пакети echo і відповіді ICMP, автор Дхавал Капіл.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLinux kernel — IP sysctl — icmp_echo_ignore_all: \u0026ldquo;the kernel will ignore all ICMP ECHO requests sent to it\u0026rdquo;.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLinux commit e6f86b0f — \u0026ldquo;ipv6: Add icmp_echo_ignore_all support for ICMPv6\u0026rdquo; — еквівалент для IPv6, автор Віржиль Жаррі.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 8200 §5 — IPv6 вимагає, щоб кожен лінк мав MTU щонайменше 1280 октетів.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nMicrosoft — TCP/IP raw sockets — \u0026ldquo;only members of the Administrators group can create sockets of type SOCK_RAW\u0026rdquo;.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\n","permalink":"https://blogs.damiendye.uk/uk/networking/ping-the-diagnostic-tool-that-opens-a-whole-lot-more/","summary":"Ping, а не решта ICMP, є загрозою: echo це канал, на який кожен хост мусить відповісти твоїми ж байтами, тож мережа, що «дозволяє лише ping», уже має повний VPN назовні. Тут спершу йде загроза, скільки вона коштує твоєму вихідному трафіку і як відвідувач у твоєму WiFi чи незамкнений порт ethernet можуть його відкрити, потім три робочі тунелі на самому пінгу (Hans, icmptunnel і короткий пайтонівський з AES-128), пастки MTU та IPv6 і правило, що його закриває: відкинути echo, лишити помилки, у nftables, pf, Cisco, Junos, MikroTik і Windows.","title":"Ping: діагностичний інструмент, що відкриває значно більше"},{"content":" Is Your MSP Lying To You — 3 parts\nЧи бреше тобі твій MSP, щоб продати преміальні продукти?you are here Що тобі збудував твій MSP і хто ще може до цього дістатися Коли все ламається, хто насправді це несе? Коротка відповідь: деякі так.\nДовша відповідь гірша, і саме вона варта твого часу. Більшості з них ніколи не треба брехати, бо домовленість робить це за них. Їм платять виробники, чиї продукти вони радять, за ставками, які змінюються залежно від того, який продукт ти візьмеш і скільки його потім спожиєш, і ніхто не зобов’язаний згадати про це хоч словом. Постав бізнес у таке становище на тридцять років, і нечесність стає непотрібною. Короткий список пише себе сам.\nЗ твого місця, з того боку рахунку, брехня і підлаштований процес коштують рівно однаково.\nЦя частина про продаж: хто платить людині, яка тобі радить, що ніколи не доходить до короткого списку, чому краща відповідь це та, яку тобі не запропонують, і що ти тихенько орендуєш. Частина друга про те, що будують, коли папери підписано, і хто ще до цього може дістатися. Частина третя про те, хто несе відповідальність, коли все падає, і скільки коштує піти. Дещо з цього я бачив на власні очі. Решта є в публічних записах з ім’ям регулятора на них, і кожне твердження тут має посилання.\nТобі не треба бути технічною людиною. Треба лише питати.\nЛегке виправлення і є ознакою Візьмімо поширений випадок. Працівник удома не може змусити свій ноутбук тримати VPN-тунель до офісу. Постачальник дивиться на це і повертається з тим, що клієнт має змінити на домашньому боці. Не на їхньому боці. На домашньому.\nТунель це L2TP поверх IPsec на Cisco Meraki MX, і насправді не так з проходженням через NAT. Клієнт досі домовляється на UDP 500, а не переходить на UDP 4500, бо NAT-T ніхто так і не налаштував на офісному боці. RFC 3947 каже про це прямо: щойно NAT виявлено, ініціатор «MUST set both UDP source and destination ports to 4500». Він цього так і не робить. Тунель помирає в NAT. Щоразу.\nВідповідь лежить на їхньому ж фаєрволі, вимкнена. Той самий MX запускає AnyConnect, який «will attempt to connect using both TLS, and DTLS (Datagram TLS) over TCP and UDP 443 respectively», тобто спробує з’єднатися через TLS і DTLS на TCP і UDP 443. Звичайний TLS на звичайному порту. NAT розуміє це чудово, там нічого проходити і нічого налаштовувати, і воно запрацювало б того ж дня, як хтось його увімкнув би.\nНіхто не знімає захоплення пакетів. Ніхто не перевіряє, на якому порту клієнт насправді говорить. Це перші дві речі, які ти робиш, і вони закрили б питання за хвилину.\nА тепер другий випадок від того самого постачальника, і мережі в ньому немає взагалі. Принтер етикеток і транспортна етикетка, яка має вийти в правильному форматі. Це весь запит. І це єдине, що принтер етикеток узагалі робить.\nВідповідь, яка повернулася: це неможливо.\nЦе був параметр у драйвері принтера. Квадратик у діалозі налаштувань у програмі, яку вони адмініструють, і вся робота полягала в тому, щоб поставити галочку й надрукувати тестову сторінку. Нікому не треба було нічого купувати. Нікому не треба було нічого проєктувати. Вони не поставили галочку.\nЗверни увагу, що «неможливо» це відповідь без жодного вимірювання, і це єдина відповідь, яка закриває заявку без того, щоб хтось щось робив. А ще її тим важче забрати назад, чим довше вона стоїть, бо піти подивитися тепер означає визнати, що було на що дивитися.\nОсь форма, на яку треба зважати, і це та сама форма двічі. Несправність виправити безкоштовно, виправлення лежить усередині заліза, яким постачальник уже володіє і за обслуговування якого йому вже платять, а натомість приходить або вказівка змінити щось на боці клієнта, або категорична заява, що це неможливо. Коли дешеву відповідь відмахують без вимірювання, тобі не ставлять діагноз. Тобою керують.\nІнженер, який знайшов несправність, каже тобі, що це за несправність. Той, хто її не знайшов, каже, що це неможливо, або каже, що купити.\nХто платить твоєму радникові Почни з грошей, бо все інше йде за ними.\nКоли твій MSP радить гіперскейлера, він не нейтральний. Власна документація Microsoft щодо рахунків описує partner earned credit, кредит, який зараховують на витрати з твого споживання Azure і який заробляє партнер, що має права адміністратора для керування ним. Твій рахунок росте, вони отримують шматок. Поруч сидять маржа реселера, рівні за обсягом, бонуси за сертифікацію, фонди розвитку ринку й квартальні цілі, і так у кожного виробника в стеку, а не лише в цього.\nНічого з цього не таємниця, і нічого з цього не порушує жодних правил. Це опубліковано, це нормально, і так канал працює вже тридцять років.\nТвоєму радникові платять двоє, і лише один із них ти Ти Питаєш, який продукт купити Твій постачальник Пише короткий список, з якого ти вибиратимеш Виробник Задає, скільки заробляє рекомендація плата один варіант бонус Бонус, маржа, реєстрація угоди, ціль продажів Про ніщо з цього тобі не мусять казати Фінансовому радникові може платити лише клієнт (FCA Handbook, COBS 6.1A). ІТ-радникові можуть платити обидва, і ніщо не зобов’язує сказати, хто платить більше. За ту саму рекомендацію платять дві сторони. Лише одна з них сидить на зустрічі, і лише про один із платежів треба згадувати. Ось що мало б тебе непокоїти. Ніхто не мусить казати тобі про щось із цього: ні про ставку, ні про цілі, ні про кредит. Людині, яка радить продукт, платить компанія, що його робить, за ставкою, яка залежить від того, який продукт тебе вмовили взяти і скільки його ти потім спожиєш, і ніде немає обов’язку вписати про це хоч слово в пропозицію, яку ти читаєш.\nІнша галузь подивилася саме на таку домовленість і заборонила її. За правилами FCA фінансовий радник має «only be remunerated for the personal recommendation \u0026hellip; by adviser charges», тобто отримувати плату за рекомендацію лише через плату за консультацію, і має «not solicit or accept \u0026hellip; any other commissions, remuneration or benefit». Ти платиш своєму радникові. Постачальник продукту ні. Це правило існує, бо регулятор зрозумів очевидне. Не відрізниш пораду від продажу, коли продавцеві платить виробник.\nВ ІТ такого розрахунку так і не було. CMA пройшлося хмарним ринком і уважно подивилося на зобов’язані витрати, egress і перехід, але на шар посередині ніхто поки не подивився. На ту контору, що сидить між тобою і виробником і тримає водночас обов’язок перед тобою і ціль від нього.\nВарто й назвати річ своїм іменем.\nСтимул це платіж від однієї сторони, щоб вплинути на рішення, на яке покладається інша сторона. Це механізм, хоч як би програма називалася на сайті виробника. Виробник платить, клієнт покладається, і рекомендація зсувається.\nНа боці MSP це теж примус, і цю половину ніхто не розглядає. Не дотягнеш до рівня, і ти не просто втрачаєш бонус. Твоя закупівельна ціна зростає на все, що ти продаєш, на наступні дванадцять місяців. Тож тиск звучить не як «продай це й отримай гостинця». Він звучить як «продай це, або весь твій бізнес подорожчає». Ніхто в такому становищі не вибирає вільно, і задумано це ніколи не було як вибір.\nАнглійське право вже знає цю форму. Bribery Act 2010 не потребує поблизу жодної посадової особи: розділ 3 охоплює «any activity connected with a business», і він кусає там, де від людини, що виконує цю діяльність, очікують робити це «in good faith», або «impartially», або де вона перебуває «in a position of trust». Прочитай ці три умови. Потім прочитай пропозицію на своєму столі.\nЯ не звинувачую нічийого менеджера з клієнтів у злочині. Те, що відбувається, нудніше за це і важче піддається виправленню. Домовленість сидить на волосину по правильний бік лінії, і єдине, що її там тримає, це те, що ніхто ніколи не встановив, що MSP узагалі винен тобі неупередженість. Фінансові поради це встановили, і комісії припинилися. Тут цього ніхто не встановив, тож вони тривають.\nНазви стимул м’якою формою корупції, і люди наїжачаться. Поклади платіж, ціль і короткий список на одну сторінку, а потім спитай, як ще це назвати.\nМалого постачальника ніколи не називають Список постачальників, який тобі показали, це не список постачальників, які існують. Це список тих, з ким у твого MSP уже є обліковий запис.\nЩоб потрапити до цього списку, виробникові потрібна партнерська програма. Рівні, акредитація, бонуси, реєстрація угод, дистриб’ютор, готовий узяти лінійку. Це машина. Її утримання коштує грошей, які не мають жодного стосунку до того, наскільки добрий продукт. У цій країні вдосталь малих контор, які роблять краще залізо і кращий софт, ніж значок на твоїй пропозиції, і вони там ніколи не з’являться, бо в них дванадцять людей і жодної команди по роботі з каналом.\nПодивись, що машина робить із рекомендацією.\nРеєстрація угоди прив’язує твого MSP до виробника ще до того, як хтось поговорив з тобою про вимоги. Вони реєструють можливість, отримують кращу закупівельну ціну і захист від того, що інший партнер запропонує тобі те саме, і з цієї миті з’являється причина повертати дизайн у бік цього виробника, яка нічого спільного з твоїм бізнесом не має.\nРешту роблять рівні. Gold, platinum, хоч як це називається цього року, статус тримається на річному обсязі й задає їхню знижку на все інше, що вони продають увесь рік. Твій проєкт може бути саме тим, що перетягне їх через лінію. Тобі цього не скажуть.\nПотім дистриб’ютор вирішує, що лишилося. MSP купує через дистриб’ютора, дистриб’ютор возить ті лінійки, на які має угоди, а виробника, якого немає в прайс-листі, могло б і не існувати.\nЩо це тобі коштує, не абстракція. Менший постачальник зазвичай з’єднає тебе по телефону з людьми, які написали софт, а не зі скриптом першої лінії, змінить щось, бо ти попросив, і наступного року досі відповідатиме перед тобою, бо ти справжня частина його виручки, а не похибка округлення. Ніщо з цього не влазить у порівняльну матрицю, і ніщо з цього нікому не платить бонусів.\nТож спитай, що треба, щоб одна з тих менших контор потрапила до короткого списку. Відповідь скаже тобі, для кого цей список складали.\nА мандат іде з однієї країни Подивись на значки на пропозиції. Гіпервізор, хмара, мережеве залізо, фаєрвол, офісний пакет, CRM, ціль резервного копіювання, моніторинг. Майже всі американські.\nЦе не вирок якості. Це те, що трапляється, коли шлях на ринок це програма каналу, бо компанії, достатньо великі, щоб вести таку в глобальному масштабі, сидять в одній країні. Тож цілі, які несе твій MSP, бонуси, що формують твій короткий список, і рівень, що задає їхню маржу, усі написані в Сполучених Штатах.\nА отже, варто знати, як ця країна зараз ставиться до правил щодо здобуття бізнесу за кордоном.\n10 лютого 2025 президент підписав виконавчий указ під назвою «Pausing Foreign Corrupt Practices Act Enforcement to Further American Economic and National Security». Він доручив генеральному прокуророві на 180 днів «cease initiation of any new FCPA investigations or enforcement actions», з наведеним обґрунтуванням, що переслідування американських компаній «for routine business practices in other nations» шкодить американській конкурентоспроможності.\nFCPA переслідує за підкуп іноземних посадовців. Саме цю практику й описано.\nЩо було далі, є в записах. Нові настанови Міністерства юстиції від 9 червня 2025 звузили переслідування до справ, що стосуються картелів, прямої шкоди американським компаніям або національної безпеки. Протягом 2025 Комісія з цінних паперів і бірж не порушила жодної цивільної справи за FCPA взагалі і розпустила свій підрозділ FCPA, а Міністерство юстиції закрило приблизно половину своїх активних розслідувань. На засідання Робочої групи ОЕСР з питань хабарництва в березні 2025 воно теж не з’явилося.\nТой самий закон, інший напрямок. У 2014 він зняв 772 млн доларів із французької інженерної компанії, і саме через нього французька держава замовила доповідь про те, чи працює американське екстериторіальне право як комерційна зброя. Я розбирав це в тому, як далеко сягає право однієї країни. Тож закон тягнеться через кордони до іноземних фірм і відкликається від своїх, і робить це уряд країни, з якої походить увесь твій перелік продуктів.\nНе чекай, що й Велика Британія закриє цю прогалину. Слабке місце тут не закон: Bribery Act 2010 місцями йде далі за американський, а розділ 7 робить злочином для комерційної організації не запобігти підкупу з боку будь-кого, хто діє від її імені. Суворий, широкий і чинний уже п’ятнадцять років.\nСлабке місце в тому, що правозастосування такого масштабу працює лише як спільна операція. Airbus це найбільше врегулювання щодо хабарництва, в якому брала участь ця країна, і власне оголошення Airbus викладає його форму: 3598 млн євро штрафів 31 січня 2020, з яких 2083 млн євро пішли французькій Parquet National Financier, 984 млн євро Serious Fraud Office, 526 млн євро Міністерству юстиції і 9 млн євро Державному департаменту, а SFO і PNF вели це як спільна слідча група. Гроші перетинають кілька країн, і докази теж, і жодне відомство не може само витребувати все. Треба, щоб з’явилися всі.\nЗверни увагу на дату. Січень 2020 припадає на першу адміністрацію Трампа, і тодішнє Міністерство юстиції охоче взяло свою частку в 526 млн євро. Пауза прийшла через п’ять років, від того самого президента в його другий строк. Це не різниця між адміністраціями. Це рішення, ухвалене у 2025.\nОдна з них перестала з’являтися, і це глибше, ніж порожній стілець. Прокурор, який не відкриває справ, не виробляє нічого, чим можна поділитися. Ні повісток, ні подання документів, ні обвинувачених, що співпрацюють, ні свідків під тиском: докази, які зробили Airbus можливим, існували, бо хтось пішов і здобув їх. Закрий половину справ і не порушуй нових, і в казані нема нічого, з чого міг би черпати хтось інший. Це не країна, яка відмовляється щось передати. Це країна, якій більше нема чого передавати.\nВона зачиняє й інші двері. Власне оголошення Airbus пояснює результат «reporting, cooperation and new compliance standards» у компанії. Фірми зголошуються самі через те, що з ними станеться, якщо вони цього не зроблять. Прибери те, що з ними станеться, і самозвернення, з яких починається більшість цих справ, перестають надходити. У Лондоні так само, як у Вашингтоні.\nBribery Act від цього не слабшає. Він просто втрачає приплив доказів, який робив його придатним саме для тих справ, для яких його писали.\nПівтора року такого, і це не зрушило жодного короткого списку в цій галузі. Ні в кого це не стоїть у реєстрі ризиків, ніхто не питає про це у формі закупівлі, і ніхто з тих, хто продає тобі п’ятирічну підписку, про це не згадав.\nПершим пішов бюджет на навчання Є друга причина, чому продукт постійно перемагає, і вона менш цинічна за першу. Багато з тих, хто тобі продає, не змогли б зробити інакше.\nІнвестиції роботодавців у навчання в цій країні падають уже двадцять років. Прочитання Employer Skills Survey 2024 від Learning and Work Institute дає на 36 % менше на працівника в реальному вимірі, ніж у 2005: 1700 GBP проти 2634 GBP. Лише з опитування 2022 мінус ще 13 %. Збір на учнівство з’явився у 2017 саме для того, щоб це розвернути, а витрати на працівника разом зі збором відтоді впали на 23 %.\nТепер подивись, які сектори різали найсильніше між 2022 і 2024. Державне управління на 50 %, фінансові послуги на 47 %, а інформація й комунікації на 30 %. Останній це наш. Майже третина зникла за два роки, у галузі, що змінюється найшвидше.\nТим часом те, що захищають, зросло. Я порахував опубліковані вразливості по обидва боки десятиліття прямо з National Vulnerability Database: 6595 CVE, опублікованих у 2015, і 49 972 у 2025. У сім з половиною разів більше за десять років, проти бюджету на навчання, що впав на третину. Ці дві лінії йдуть у протилежні боки, і так уже багато років.\nЗасобів контролю, які показали б цю різницю, теж немає. Власне Cyber Security Breaches Survey 2025/2026 уряду дає двофакторну автентифікацію в 47 % компаній, а це той самий засіб, який агентства «п’яти очей» назвали для облікових записів MSP у 2022, і той самий, через який ICO у березні 2025 оштрафував Advanced Computer Software Group на 3,07 млн фунтів. За тим самим опитуванням формальні політики кібербезпеки за рік упали з 59 % до 52 %, а плани безперервності бізнесу, що охоплюють кібербезпеку, з 53 % до 44 %. Не тримаються на місці. Падають.\nА тепер підклади під усе це хмарний тенант. Малий бізнес не адмініструє свій сам. MSP тримає глобального адміністратора, будує модель ідентичності, задає умовний доступ, вирішує, яке сховище публічне, а яке ні, і володіє консоллю. Саме для цього його й найняли. Тож коли тенант виявляється неправильно налаштованим, руки на ньому були підрядника. Не клієнта, що клацнув не той квадратик.\nРадіус ураження теж змінився. Неправильно налаштований сервер у 2005 сягав приблизно так далеко, як дріт, до якого його ввімкнули. Неправильно налаштований тенант сьогодні опиняється в інтернеті тієї ж секунди, як його збережено, це той самий тенант для кожної системи, яку веде бізнес, а облікові дані, що його адмініструють, лежать у когось, кого там ніколи не бачили, у компанії, яку їм не дозволено перевіряти.\nСлужби безпеки п’яти країн написали про це рекомендацію у 2022, і найперша дія в їхньому списку стосується облікових записів, якими постачальник заходить у твої системи. Вони поставили це першим, бо саме так і заходять.\nА потім є те, що ця галузь називає навчанням. Сертифікація від виробника це навчання продукту. Вона вчить, де кнопки в консолі однієї компанії і як ця компанія вирішила назвати свої функції, її пише й оцінює компанія, чиї продукти вона охоплює, а мати їх достатньо це умова партнерського рівня, який задає маржу. Це канал продажу в академічній шапочці.\nЗнати консоль не означає знати, як ця річ працює. Інженер із п’ятьма сертифікатами міг ніколи не читати RFC, ніколи не знімати захоплення пакетів і жодного разу не з’ясовувати з перших принципів, чому щось відмовило. Постав таку людину перед тунелем, що не піднімається, і чесна відповідь їй недоступна. А звалити все на IPv6 у домашній мережі клієнта доступно.\nТож дві половини сходяться. Їм платять за продаж продукту, і дедалі частіше продукт це єдина відповідь, яка в них є. Клієнт, що платить за експертизу, не отримує ні того, ні іншого.\nНіхто не записав, що тобі було потрібно Попроси показати твої вимоги. Не пропозицію, не кошторис, не архітектурну діаграму з твоїм логотипом. Вимоги.\nНормальний збір вимог нудний і не короткий. Що послуга має робити і для кого. Скільки людей, звідки, на чому. Яка година найнавантаженіша і яке зростання за три роки. Як довго вона може лежати, перш ніж це почне коштувати справжніх грошей, і скільки даних ти можеш дозволити собі втратити. Що ніколи не має виїжджати з країни і під чиїм правом. Що має пережити пожежу в одній будівлі. За що ти за договором відповідаєш перед власними клієнтами. Який бюджет, капітальний і операційний, окремо. Що в тебе вже є такого, що ще має ресурс. Хто це потім підтримує і що вони вже вміють підтримувати.\nЦе ранок роботи з правильними людьми в кімнаті, і закінчитися він має документом, який ти підписуєш, перш ніж хтось намалює хоч один прямокутник.\nЯкщо тебе не спитали більшість із цього, тобі не дали дизайн. Тобі дали те, що вони й так продають, із назвою твоєї компанії на обкладинці.\nСтеж і за ознакою з іншого боку. Якщо оцінка розмірів відбулася на першій зустрічі, ще до того, як хтось подивився, яке в тебе насправді навантаження, то числа взялися із шаблону, а не з твоєї інфраструктури, а справжня оцінка розмірів потребує даних. Когось, хто дивиться, що твоє залізо робить зараз, і досить довго, щоб побачити кінець місяця й закриття кварталу.\nОдин варіант це не вибір Дизайн це набір рішень із доданим обґрунтуванням. А це означає варіанти, і ціни на всі, а не лише на той, який вони хочуть, щоб ти взяв.\nТи маєш отримати варіант «нічого не робити» з ціною, зокрема з тим, скільки тобі коштує, коли воно ламається. Ти маєш отримати найдешевше, що відповідає вимогам. Ти маєш отримати рекомендацію, і ти маєш отримати той варіант, що для тебе надмірний, щоб побачити, де лінія. Кожен із тим, скільки коштує купити, скільки коштує тримати п’ять років, чого він не робить і що тобі довелося б робити далі, якби ти з нього виріс.\nІ головне, ти маєш отримати список того, що відкинули і чому. Саме ця частина показує, що хтось справді думав.\nЯкщо ти отримав рівно одну відповідь, і ця відповідь випадково виявилася виробником, у якому вони сертифіковані, і моделлю ліцензування, що платить щомісяця, ти не отримав дизайн. Ти отримав кошторис, перевдягнений у дизайн. Не більше.\nЩо короткий список відсіює, ще до того, як ти щось побачиш Чотири відповіді на ту саму вимогу Open source з договором підтримки Маржа це праця самого постачальника Менший британський постачальник Немає партнерської програми Те, що в тебе вже є, налаштоване Нема що виставити в рахунок Виробник із партнерською програмою Бонус, реєстрація угоди, ціль Чи платить? Чи воно в програмі? Що доходить до твого столу Один варіант із кошторисом Ні порівняння, ні оціненої альтернативи Інші три так і не оцінили, тож ти так і не дізнався, скільки вони коштують а їхня відсутність виглядає так, ніби й казати не було чого Фільтр спрацьовує ще до того, як ти щось побачиш. Три відповіді на ту саму вимогу ніколи не отримують ціни, тож їхня відсутність виглядає так, ніби й порівнювати не було з чим. Є просте питання, яке це виманює, і я поставив би його прямо в кімнаті. Що ще ви розглядали і скільки воно коштувало? Той, хто зробив роботу, має числа під рукою і навіть радий, що питають. Той, хто не зробив, скаже тобі, що альтернативи не підтримуються, не корпоративного рівня або не те, під чим вони поставили б своє ім’я. Жодне з цього не число.\nOpen source ніколи не потрапляє до списку Справа не в тому, що вони його ненавидять. На ньому немає маржі, немає бонусу за нього, немає сертифікації, яку можна продати, і немає квартальної цілі, яку воно зрушує.\nЗаперечення завжди те саме, і це єдине твердження в цьому дописі, яке відверто неправдиве: «воно не підтримується». Підтримується все, комерційно, з договором, SLA і кимось, кому можна подзвонити: Proxmox продає підписки за сокет, а Red Hat, SUSE і Canonical продають підтримку для всього стеку. Ти вибираєш, хто його підтримує, а не те, чи підтримується воно взагалі. Ти перестаєш платити за право користуватися софтом, який у тебе вже є.\nА ще є залізо, яке вже стоїть на підлозі. Його пропускають повністю. На попередньому місці роботи я збудував приватну хмару з виведених з експлуатації вузлів HPC, Proxmox, Ceph і повний ланцюжок Ansible згори, і отримав 7 серверів, 480 ядер, 15 TiB оперативної пам’яті й 1,8 PiB сховища, без бюджету і втрьох. MSP, що рахував би ту саму вимогу, заклав би нове залізо й підписку: для них нічого немає в залізі, яке ти вже купив і за яке заплатив.\nДруга половина цього це залізо, яке вже стоїть у тебе на підлозі, і саме ця половина ніколи не отримує ціни взагалі. Сервер не перестає працювати в день, коли закінчується його договір підтримки. «Кінець підтримки» це дата, яку вибрав виробник, а не вимірювання, яке хтось зняв із заліза, і коробка, якій лишилося п’ять добрих років, варта для тебе більше, ніж для будь-кого, хто продає їй заміну. Open source це те, що дає тобі нею й далі користуватися, бо ліцензії байдуже, скільки років процесору і чи досі на гарантії значок спереду.\nЦе та частина, що нікому не платить. Немає бонусу на залізо, яким ти вже володієш, немає кредиту рівня за машину, яка лишається, де стоїть, і немає продовження ліцензії, яку нікому не треба було купувати. Тож її й не пропонують, а натомість хапаються за фразу «кінець життя», яка звучить як інженерія, а насправді це дата продажу.\nПопроси, щоб варіант з open source оцінили як слід, разом із підтримкою, поруч з іншими, і попроси версію, що повторно використовує те, що в тебе є, з ціною проти версії, що цього не робить. Не для того, щоб тебе відмовили від комерційного. Щоб побачити розрив, і щоб рішення було твоїм.\nЯк насправді виглядає альтернатива Майже на все в пропозиції є підтримувана відповідь з open source, і варто почати з частини, яка коштує тобі найбільше, бо це ніколи не сервери.\nСофт із платою за місце. Саме тут повторювані гроші, і саме тут альтернативу ніколи не згадують. Офісний пакет: LibreOffice, ONLYOFFICE або Collabora Online, який продає підтримувані розгортання і дає редагування в браузері, яке люди вважають доступним лише з одного місця. Пошта, календарі й спільні контакти: grommunio говорить MAPI, тож Outlook підключається до нього так само, як до Exchange, і він продається з підтримкою; SOGo і mailcow покривають те саме інакше. Файли, спільний доступ і те, для чого люди насправді користуються хмарним диском: Nextcloud із корпоративним договором за ним. Чат і зустрічі, тобто половина Teams: Mattermost і Rocket.Chat найближчі за функціями, обидва можна хостити самому з підтримкою, яку можна купити, а Zulip під ліцензією Apache і нормально тримає гілки розмов. Matrix з Element, Nextcloud Talk і Jitsi покривають решту. А половину SharePoint, інтранет, бібліотеки документів, сайти команд, між собою закривають XWiki, BookStack, OpenProject, Seafile і Nextcloud.\nБізнесові застосунки. ERP: Odoo Community, ERPNext, Dolibarr. CRM: SuiteCRM, на який компанія, що за ним стоїть, продає підтримку, або EspoCRM. Бухгалтерія: GnuCash або облікова книга, вбудована в Dolibarr і ERPNext. Керування документами: Paperless-ngx. Звітність: Metabase. Служба підтримки й облік активів, за які твій MSP бере з тебе гроші як за продукт: GLPI і Zammad.\nІдентичність і секрети, на яких тримається все інше. Keycloak, FreeIPA або Samba як контролер домену. Для паролів Bitwarden можна хостити самому, Vaultwarden це легкий сервер під AGPL, що говорить з тими самими клієнтами, а Passbolt і KeePassXC роблять ту саму роботу інакше. У більшості пропозицій це щомісячний рядок за користувача.\nКерування пристроями, тобто рядок Intune у твоєму рахунку. Fleet робить інвентаризацію, політики й реєстрацію на тих платформах, які в інфраструктурі справді є, і побудований на osquery. MicroMDM займається реєстрацією Apple, Headwind займається Android, а Ansible, Puppet чи Salt роблять конфігурацію під будь-яким із них. Для половини віддаленого доступу, якій присвячено цілий розділ частини другої, MeshCentral під ліцензією Apache, а RustDesk під AGPL, і обидва працюють на сервері, яким володієш ти. А отже, відповіддю на «який інструмент віддаленого доступу стоїть на моїх машинах і хто може зайти в консоль» може бути той, який ти сам хостиш і латаєш, а не той, про який дізнаєшся постфактум.\nІ саме оновлення вже не те темне мистецтво, яким його продають. Навіть на Fisher-Price OS (Windows) оновлення застосунків тепер ідуть через winget, який під ліцензією MIT, із репозиторієм маніфестів спільноти під тією самою ліцензією; Chocolatey і Scoop роблять ту саму роботу ще довше, а в кожному Unix це є з дев’яностих. Тож коли керування патчами з’являється в пропозиції як преміальний керований рядок, подивись, що насправді продають. Механізм безкоштовний і постачається виробником платформи, а налаштувати його це один день по обіді. Після цього це запланована задача. Запис у cron, чи як там консоль його називає, на машині, яка вже була. Ти платиш щомісячну плату за роботу, що виконується сама.\nНа це нібито відповідають, що ти платиш за когось, хто стежить за результатом і діє, коли щось не вдається, і це було б варте грошей. Тож подивись на докази того, що хтось стежить. У Capita, яку розбирає частина друга, тривогу підняли за десять хвилин, а відреагували майже через три дні, при цілі в одну годину, і зробила це команда, яку регулятор визнав недоукомплектованою. В інтернеті досі стоять фаєрволи з вразливостями, які потрапили до каталогу експлуатованих через роки після виходу виправлення. Стеження це та частина, що виправдала б рахунок, і саме вона має найменше доказів того, що відбувається.\nТелефонна система, один із найстаріших щомісячних рядків за внутрішній номер. Asterisk робить це двадцять п’ять років, FreePBX ставить на нього вебінтерфейс, FreeSWITCH це другий рушій, а Kamailio і OpenSIPS займаються маршрутизацією SIP у масштабі оператора. Якщо хочеш упаковане, а не зібране, Wazo, FusionPBX і Issabel постачають його готовим.\nВарто також пам’ятати, що сталося з тим пропрієтарним, який пропонує більшість постачальників. У березні 2023 CISA опублікувала попередження про те, що «3CXDesktopApp — a voice and video conferencing app — was trojanized, potentially leading to multi-staged attacks against users employing the vulnerable app», тобто застосунок для голосових і відеоконференцій перетворили на троян. Нікому не треба було знаходити вразливість і експлуатувати її. Він прийшов як власний підписаний застосунок виробника через власний канал оновлень виробника на кожен стіл, куди його розгорнув партнер.\nAdobe, яка така сама підписка за місце, як і все інше. Більшість компаній узагалі не платить за творчий пакет. Вони платять за Acrobat і за підписи. Stirling PDF це набір інструментів, який хостиш сам і який робить об’єднання, розділення, приховування, OCR і заповнення форм, заради яких купують Acrobat Pro, а Okular або LibreOffice Draw покривають решту. Для підписів Documenso і DocuSeal обидва під AGPL і обидва хостяться самостійно, а плата за конверт за підписання документа це, мабуть, найчистіший у цьому дописі приклад лічильника на те, що твій власний сервер зробив би задарма. Там, де справді є команда дизайнерів: GIMP і Krita для зображень, Inkscape для векторної графіки, Scribus для верстки, darktable і RawTherapee для фотографії, Kdenlive для відео, Blender для 3D і композитингу, Audacity і Ardour для звуку.\nВідео, яке варте окремого абзацу. Камери продають як керований продукт із ліцензією за канал і реєстратором, усередину якого тебе не пускають. Frigate під ліцензією MIT і робить розпізнавання об’єктів локально на залізі, яким ти володієш; ZoneMinder під GPL уже двадцять років. Для конференцій Jitsi і BigBlueButton. І пам’ятай, за який саме продукт Cisco заплатила 8,6 млн доларів і ще 6 млн доларів, щоб урегулювати справу, про що йдеться в частині другій. Софт для відеоспостереження, проданий державним органам. Преміальний стек камер не постачається з безпекою в комплекті.\nСховище й файлові системи, і зауваж, що тут тобі взагалі ніхто ніколи не пропонує вибору. OpenZFS для сховища з контрольними сумами, знімками й send/receive, Btrfs, XFS, CephFS. Файлова система під твоїми даними це інженерне рішення з реальними наслідками для того, скільки з них ти отримаєш назад після поганого дня, і зазвичай воно приходить як те, з чим постачався пристрій.\nІнфраструктура, наостанок, бо це найдешевша частина рахунку. Гіпервізор і кластер: Proxmox VE. Сховище: Ceph, який охоче працюватиме на дисках, що в тебе вже є, замість нового масиву. Фаєрвол і маршрутизація: nftables, OPNsense. VPN: WireGuard або strongSwan. Щодо mesh-оверлею, який тепер продають усі, варто мати правильну картину. Клієнти Tailscale з відкритим кодом, а його власний хостований сервер координації ні: компанія заявляє, що він «remains proprietary as part of our managed service». Але є відкритий сервер координації, і серйозний: Headscale під ліцензією BSD, «an open source, self-hosted implementation of the Tailscale control server», і Tailscale наймає його головного супровідника, при цьому кажучи, що «does not set Headscale\u0026rsquo;s product direction». Тож усе можна тримати на власному залізі. NetBird і Nebula це інші шляхи. Балансування навантаження: HAProxy і keepalived. Моніторинг: Prometheus, Grafana, Zabbix. Резервне копіювання: Proxmox Backup Server, Bareos, restic. Керування конфігурацією: Ansible. А для інтеграційної роботи, яку оцінюють або як розробку на замовлення, або як хмарну підписку на автоматизацію з оплатою за запуск, Node-RED під ліцензією Apache, працює на коробці, якою ти володієш, і не виставляє тобі рахунок за кожне виконання.\nТри місця, де я не прикидатимуся, що заміна чиста. По-перше, Teams і SharePoint. Проблема не в пункті призначення, хоч би що тобі казали: продукти вище зрілі, і на них працюють компанії. Проблема в міграції: роки накопичених сайтів, успадкування прав, яке ніхто ніколи не документував, потоки Power Automate, які хтось збудував і пішов, і поведінка спільного редагування, якої персонал очікує, не вміючи її назвати. Це справжня робота, і її треба оцінювати як справжню роботу, а не відмахуватися в будь-який бік. Хоча зверни увагу й на те, що ти перестаєш нести. Ці потоки й ці сайти це бізнес-процеси, що працюють у чужому датацентрі, на платформі, яку ти не можеш перезапустити. Коли вони зупиняються, ти їх не лагодиш. Ти чекаєш і кажеш власним клієнтам, що чекаєш. По-друге, британська бухгалтерія має гострий край: ПДВ треба подавати через софт, який визнає HMRC, і HMRC публікує список. Шляхи до Making Tax Digital з open source існують, у GnuCash є міст від спільноти, в ERPNext є модуль британського ПДВ, але їх супроводжує спільнота, а не продукт із договором підтримки. Це справжнє обмеження, і йому місце в порівнянні. По-третє, робоча дизайн-агенція живе чи помирає на обміні файлами, і клієнти, які надсилають тобі .psd і чекають такий самий назад, це реальна проблема, а не питання принципу. Для всіх інших, кому треба заповнити PDF і підписати його, заміняти взагалі нічого. Треба просто перестати платити.\nЧому кращий бізнес ніколи не продають То чому нічого з цього не пропонують? Бо для них це був би кращий бізнес, а не гірший, і від цього відмова стає цікавішою, а не менш цікавою.\nЄ два способи заробляти на клієнті. Перепродавай ліцензію, і маржу задає хтось інший, обмежує її він, переоцінює її він під час продовження, і платять її незалежно від того, чи ти щось того місяця робив. Розгорни й тримай відкритий стек, і маржа це твоя власна праця за твоєю власною ставкою, і ніхто не бере частку дорогою, і жоден виробник не може змінити число наступного квітня. Другий спосіб вартий більше на клієнта, і він щось будує. Інженер, який уміє тримати Ceph або підняти поштовий сервер, з яким говорить Outlook, наступного року вартий більше, ніж цього. Той, хто тільки й робив, що водив консоль, наступного року вартий рівно стільки ж, і лише доти, доки ця консоль існує.\nА ще це важче, і в цьому вся суть. Це треба заробляти заново щомісяця. Для цього потрібні інженери, а не адміністратори, а інженери дорогі, їх роками вирощують, і вони можуть піти й відкрити власну справу. Ліцензія ніколи не йде.\nЦе зобов’язання, а саме зобов’язання й уникають. Перепродаж ні від кого нічого не вимагає. Вибери виробника цього року, вибери іншого наступного, і коли воно впаде, це ніколи не був твій дизайн. Тримати стек самому означає вибрати його, вивчити як слід і стояти за ним перед клієнтом о другій ночі. Одне з цього вимагає, щоб ти щось знав. Інше вимагає логіна до порталу.\nЦе також ламає арифметику, на якій працює модель. Керовану послугу оцінюють на важелі: якомога більше клієнтів на інженера, молодший персонал іде за регламентами, ескалація лише тоді, коли регламент закінчився. Це працює, бо роботу звели до кроків. Постав стек, який хтось має справді розуміти, і співвідношення валиться, фонд зарплати лізе вгору, а бізнес опиняється залежним від людей, які можуть піти й забрати клієнтів із собою.\nТож питання під коротким списком ніколи не було в тому, який продукт кращий. Воно в тому, чи готова фірма бути такою, що наймає людей, які щось знають.\nІ тут повертається цифра про навчання. Сектор, який за два роки урізав витрати на навички на 30 %, не може продавати навички, тож продає ліцензії. Продаж ліцензій означає, що навичок ніколи не треба набувати, тож навчання лишається урізаним, і наступного року запропонувати можна ще менше. Це петля, і крутиться вона лише в один бік.\nРешта це стимули, і ми їх уже пройшли. Виробник платить бонус за ліцензію і нічого за працю. Продавцеві платять за продукт. А коли в гіперскейлера збій, винен гіперскейлер, тоді як кластер, який ти збудував сам, твій, тож перепродаж купує комусь місце, куди скласти провину. Для бізнесу, який волів би не відповідати, це варте справжніх грошей.\nНіщо з цього не робить це правильною відповіддю для тебе. Це лише пояснює, чому порівняння ніколи не пишуть.\nПодаток IPv4 Це найчистіший приклад у всьому дописі, бо можна поставити ціну з обох боків.\nТобі збудують послугу лише на IPv4. Потім продадуть тобі публічні адреси, потрібні, щоб до неї дістатися, за адресу, щомісяця, назавжди. Попроси ще одну, і буде форма, обґрунтування і рядок у продовженні договору.\nТим часом IPv6 не коштує нічого понад те. Виділення йде разом із членством у реєстрі, за яке ти вже платиш, а схема оплати RIPE на 2026 це фіксовані 1800 євро за обліковий запис LIR, хоч би що ти тримав. RIPE-690 каже, що кінцевий вузол отримує /48 або /56. На боці v6 немає лічильника за адресу. Нема чого рахувати.\nЧисла з іншого боку теж публічні. AWS бере 0,005 $ на годину за кожну публічну адресу IPv4, прив’язану чи ні, а це приблизно 43,80 $ на рік за кожну. На ринку передачі середня ціна в першій половині 2026 була 20,04 $ за адресу, а ринкова ставка оренди близько 0,59 $ за адресу на місяць. Тож адресу можна купити назавжди приблизно за двадцять доларів, а оптом вона орендується приблизно за сім на рік, і тобі її перепродають як дефіцитний ресурс. Щомісячний рядок у рахунку і форма, яку треба заповнити, коли хочеш ще одну.\nДефіцит справжній. Причина, чому ти досі за нього платиш, ні. Додати послузі подвійний стек це робота на один день по обіді, і вона перетворює повторювану плату на разовий запит на зміну, і саме тому її ніколи не пропонують.\nЯкщо хочеш повну картину того, хто в цій країні справді взявся за це, я порахував усіх: Адреси в нас ніколи не закінчувалися. Закінчилися зусилля.\nХмара за замовчуванням, коли все, що в тебе є, на місці Подумай, де насправді відбувається робота. Виробничий майданчик. Автомайстерня. Кейтеринг.\nКожен користувач у будівлі. Кожен біт даних створюється в будівлі: верстати, каси, наряди на роботу, склад, CAD, програми для ЧПК, замовлення, що приходять через прилавок. Усе, що ці дані споживає, теж у будівлі. Жодного другого майданчика, жодних виїзних працівників, жодних клієнтів, що б’ють у вебфронтенд, і жодного місяця, коли навантаження подвоюється.\nПостав застосунок у чужий датацентр, і кожен із цих байтів тепер покидає приміщення й одразу повертається. Ті самі користувачі. Ті самі дані. Та сама обробка. Плюс WAN посередині, щомісячний рахунок і залежність від лінії, якою ти не володієш.\nНіщо, у чому хмара справді добра, тут не стосується. Еластичне масштабування для навантаження, яке рухається, а цех, що працює у дві зміни, не рухається. Глобальне охоплення для користувачів, які деінде, а твої стоять біля верстата. Чужа будівля це справжня відповідь для аварійного відновлення, але аварійне відновлення це ціль резервного копіювання, а не місце, звідки ти керуєш лінією.\nЩо вона тобі справді купує, це новий спосіб зупинитися. На власному майданчику мертва лінія широкосмугового доступу це незручність, і робота йде далі, поки хтось її не полагодить. У хмарі це зупинка: лінія падає, майстерня не може відкрити наряд, кухня не може прийняти замовлення, виробництво стоїть, а ти чекаєш на чужого інженера за SLA, про яке ти ніколи не домовлявся.\nКуди насправді йде робота, коли застосунок покидає будівлю На місці Твоя будівля Люди Стоять біля верстата Дані Створюються тут, усі Застосунок Теж тут Ніщо не покидає приміщення. Мертва лінія інтернету це незручність, і робота йде, доки хтось її не полагодить. Хмара за замовчуванням і шлях, яким вона насправді йде Твоя будівля Ті самі люди, ті самі дані Станція, куди приходить твоя лінія Ядро твого ISP і той, у кого він купує транзит Точка пірингу або периферійна мережа провайдера Датацентр Застосунок тепер живе тут Три будівлі, якими ти не володієш, куди не подзвониш і яких не обирав і кожен байт ще й їде назад, за кожного збереження і кожного запиту Мертва лінія тепер це зупинка. Майстерня не відкриє наряд, кухня не прийме замовлення, виробництво стоїть, а ти чекаєш на чужого інженера за SLA, про яке ніколи не домовлявся. Ті самі користувачі, ті самі дані, та сама обробка. Різниця в чотирьох чужих мережах посередині, і жодній із них не подзвониш, коли все стане. І твій інтернет це лише половина. Друга половина їхня, і вона теж падає. Власний звіт після події AWS за жовтень 2025 описує збій у її головному регіоні Північна Вірджинія з 23:48 19 жовтня до 14:20 20 жовтня, тобто майже п’ятнадцять годин, коли клієнти й інші сервіси AWS «were unable to establish new connections». Причиною, їхніми словами, був «a latent defect within the service\u0026rsquo;s automated DNS management system». Через дев’ять днів Azure Front Door потягнув за собою Microsoft 365, Outlook і портал Azure майже на цілий робочий день. Microsoft веде поточну історію таких випадків, і документ цей не короткий.\nПростій теж не все. Інше, що продавали на обкладинці пропозиції, це потужність на вимогу, і вона має власний задокументований спосіб відмови. Microsoft публікує сторінку під назвою «Troubleshooting Azure VM allocation failures», тобто про усунення збоїв виділення VM в Azure. AWS публікує «How do I troubleshoot InsufficientInstanceCapacity errors when I start or launch an EC2 instance?», тобто як усунути помилки нестачі потужності під час запуску EC2. Перечитай ці назви. Обидва виробники тримають постійну документацію для випадку, коли ти просиш машину, а її немає: ні несправності, ні збою, просто в цьому регіоні сьогодні нічого вільного. Поверх цього сидять квоти, задані на підписку, і це другий спосіб почути «ні».\nТож еластичне масштабування в пропозиції має застереження, якого пропозиція не має. Еластичне в межах того, що вільне, у цьому регіоні, у той день, коли ти просиш. А постачальники все одно підписують клієнтів в обмежені регіони, бо підпис зараховується цього кварталу, а перевірка потужності ні. Дізнаєшся ти під час розгортання, а це найгірший можливий момент: після того, як міграцію вже запущено, після того, як залізо на місці вже пішло, і після того, як запасний варіант розібрали, щоб оплатити переїзд.\nПрочитай, що все це означає для майстерні й кухні. На твоєму власному залізі збій це хтось, кому можна подзвонити, або машина, до якої хтось може підійти й перезапустити. У чужій хмарі немає жодного важеля. Ти не можеш ескалювати, не можеш поставити своє відновлення першим, і постачальник, якому ти платиш, теж не може. Вони оновлюють ту саму сторінку стану, що й усі інші. Те, що ти купив як стійкість, виявляється залежністю, яку ти ділиш із кількома мільйонами інших клієнтів, і в день, коли вона відмовляє, твоє становище таке саме, як у них.\nТо чому це завжди рекомендація? Бо капітальна закупівля платить твоєму MSP один раз. Підписка платить їм щомісяця, відсотком, і ще кредит від виробника згори. Твоя міграція ще й знімає з їхніх плечей залізо, а саме для цієї частини послуги їм найважче знайти людей. Три причини, що вказують в один бік, і жодна з них не твоя.\nА потім є те, де опиняються твої дані. За 18 U.S.C. § 2713, доданим CLOUD Act, американський постачальник мусить, отримавши належний запит, видати дані, що перебувають у його «possession, custody, or control», «regardless of whether such communication, record, or other information is located within or outside of the United States». Тож «воно в британському регіоні» це правдива відповідь на питання, якого ти не ставив. Регіон каже тобі, де диск. Закон іде за тим, кому належить компанія.\nНіхто не подав тобі це як рішення. Воно прийшло як припущення, всередині пропозиції, написаної кимось, кому платять більше, коли ти кажеш «так».\nПро цю залежність я докладно писав у тому, скільки коштує орендувати свої технології.\nУсе це сталося ще до того, як щось збудували Зверни увагу, коли все це відбувається, повністю. Ще до того, як машину поставили в стійку, до того, як хтось кудись залогінився, на зустрічах і в таблицях, на яких тебе здебільшого не було. Бонус, вимоги, які ніхто не зібрав, єдиний варіант, відсутній рядок з open source, адреси, які ти тепер орендуватимеш увесь строк договору, датацентр, який нікому в будівлі не був потрібен: ніщо з цього не технічне, і все це вирішено в перші два тижні.\nСаме тому це варте твоєї уваги, навіть якщо ти ніколи не відкривав комутатор. І саме тому це так важко розплутати потім. Усе, що далі, успадковує ці два тижні. Інфраструктуру будують так, як сказав короткий список. Інструменти з’являються, бо це те, чим постачальник уже володіє і що вже знає. Ключі опиняються там, куди їх кладе їхній процес. А договір, підписаний наприкінці, за роки наперед вирішує, хто нестиме втрати того ранку, коли щось зупиниться.\nТож частина друга про те, що насправді збудували: коробку, від якої їх не відмовиш, периметрове залізо з найгіршим записом у списку експлуатованих, базові речі, які й були тим, що ти купував, і інструменти, що дістаються до кожної твоєї машини з консолі, якої ти ніколи не бачив. До двох збоїв у ній додано висновок регулятора. Жоден із них не стався з клієнтом. Вони сталися з постачальником, а клієнти були нижче за течією.\nIs Your MSP Lying To You — 3 parts\nЧи бреше тобі твій MSP, щоб продати преміальні продукти?you are here Що тобі збудував твій MSP і хто ще може до цього дістатися Коли все ламається, хто насправді це несе? Джерела Отримано 28 серпня 2026.\nЯк працюють гроші.\nMicrosoft Partner Center billing documentation — partner earned credit, що зараховується на витрати з клієнтського споживання Azure. FCA Handbook, COBS 6.1A — плата за консультацію: правило, що фірмі за рекомендацію має платити лише клієнт і вона не повинна брати комісію від постачальника продукту. CMA cloud services market investigation — робота британського регулятора конкуренції щодо хмарного ринку. Адреси.\nRIPE NCC charging scheme 2026 — фіксовані 1800 євро за обліковий запис LIR. RIPE-690 — /48 або /56 для кінцевого вузла, жовтень 2017. AWS public IPv4 charge — 0,005 $ за адресу на годину, з лютого 2024. IPv4 transfer market, first half of 2026 — у середньому 20,04 $ за адресу, ставка оренди близько 0,59 $ за адресу на місяць, підсумок аналізу CircleID щодо угод із публічними цінами. VPN.\nCisco Meraki\u0026rsquo;s AnyConnect troubleshooting guide — TLS і DTLS на 443, без жодної проблеми з NAT, яку треба розв’язувати. RFC 3947 і RFC 3948 — проходження IPsec через NAT і перехід на UDP 4500. Підтримка, яку справді можна купити.\nProxmox VE subscriptions — один приклад комерційної підтримки інфраструктури з відкритим кодом. Навчання й навички.\nLearning and Work Institute, 24 December 2025 — інвестиції роботодавців у навчання впали на 36 % на працівника в реальному вимірі з 2005 і на 30 % в інформації й комунікаціях між 2022 і 2024, за Employer Skills Survey 2024. National Vulnerability Database — кількість опублікованих CVE за роками, підсумована поквартально: 6595 у 2015 проти 49 972 у 2025. Cyber Security Breaches Survey 2025/2026 — двофакторна автентифікація в 47 % компаній, формальні політики впали до 52 %, плани безперервності з кібербезпекою впали до 44 %. CISA alert, 30 March 2023 — троянізований настільний застосунок 3CX. Право й політика.\nExecutive order, 10 February 2025 — призупинення застосування Foreign Corrupt Practices Act, власними словами адміністрації. Just Security, on the year that followed — настанови щодо правозастосування з червня 2025, розпущений підрозділ FCPA у SEC і закриті розслідування. Bribery Act 2010 і section 7 — британський закон і корпоративний злочин незапобігання. Airbus, 31 January 2020 — власний виклад компанією тристороннього врегулювання і того, як штрафи розподілено між PNF, SFO, DoJ і DoS. Юрисдикція.\n18 U.S.C. § 2713 — положення CLOUD Act: розкриття незалежно від того, де зберігаються дані. Коли платформа зупиняється.\nAWS post-event summary, October 2025 — збій DynamoDB і DNS в us-east-1, власними словами Amazon. Azure status history — власний поточний запис Microsoft про свої інциденти. ","permalink":"https://blogs.damiendye.uk/uk/random/is-your-msp-lying-to-you-part1/","summary":"Частина 1 з 3. Деякі брешуть. Більшості ніколи не треба, бо їм платить виробник продукту, який вони радять, і ніхто не зобов’язаний тобі про це казати. Ознаки того, що тобі продають, а не проєктують для тебе, і що ніколи не потрапляє до короткого списку.","title":"Чи бреше тобі твій MSP, щоб продати преміальні продукти?"},{"content":" Is Your MSP Lying To You — 3 parts\nЧи бреше тобі твій MSP, щоб продати преміальні продукти? Що тобі збудував твій MSP і хто ще може до цього дістатисяyou are here Коли все ламається, хто насправді це несе? Частина перша була про продаж. Ця про господарство.\nПапери підписано, рахунок приходить щомісяця, і є обладнання. Частина його твоя, частина їхня, а більшість обрали ще до того, як хтось спитав, чим бізнес насправді займається з восьмої до шостої. Далі йдеться про саме обладнання: що обирають, що в ньому лишили ввімкненим і хто ще може дістатися до машин, за які ти заплатив, з консолі, до якої ти ніколи не входив.\nДва з провалів тут мають висновок регулятора з числом. Жоден із них не стався з клієнтом: вони сталися з постачальником, а клієнти були нижче за течією. На кожному твердженні є посилання.\nКоробка, від якої їх не відмовиш Тепер незручне. Я хочу зробити це з доказами, а не твердженнями, бо це той розділ, де люди тягнуться до слова «змова», а потягнутися до цього слова це спосіб закрити тему, так нікому й не довелося на неї подивитися.\nCisco це рекомендація за замовчуванням у більшій частині цієї галузі. Тож подивися, що сам вендор опублікував про незадокументований доступ до власного обладнання.\nУ березні 2018 вони опублікували бюлетень щодо CVE-2018-0141: у Prime Collaboration Provisioning можна було увійти через SSH через «a hard-coded account password on the system». Через вісім місяців CVE-2018-15439 на комутаторах Small Business, де «the affected software enables a privileged user account without notifying administrators of the system», і на момент публікації не було виправленого ПЗ, а натомість запропонували обхідний шлях. У жовтні 2023 CVE-2023-20101: Emergency Responder постачався з обліковим записом root, що мав «default, static credentials that cannot be changed or deleted», облікові дані, «typically reserved for use during development».\nОбліковий запис, про який нікому не сказали, який ти не можеш видалити, з root на коробці у твоєму господарстві. Називай як хочеш. Це те, що описує власний бюлетень вендора.\nДалі матеріали Сноудена, яким уже понад десять років і які ніхто ніколи не спростував. У грудні 2013 Der Spiegel опублікував каталог ANT, повідомивши, що підрозділ NSA «has burrowed its way into nearly all the security architecture made by the major players in the industry \u0026ndash; including American global market leader Cisco and its Chinese competitor Huawei». Ті самі публікації описали, як туди потрапляє обладнання: поставки перенаправляють у таємні майстерні в процесі, який NSA називає interdiction, де «at these so-called \u0026rsquo;load stations,\u0026rsquo; agents carefully open the package in order to load malware onto the electronics, or even install hardware components that can provide backdoor access». Внутрішній бюлетень NSA з 2010 року, опублікований у 2014 разом із фотографіями, викладав процес власними словами агенції: пристрої, «being delivered to our targets throughout the world are intercepted», потім «re-packaged and placed back into transit to the original destination».\nЧого публікації не показують, так це співучасті. Der Spiegel прямо сказав, що в документах ніщо не вказувало, що виробники знали чи допомагали, Cisco тоді заперечила будь-яку причетність, а в травні 2014 її генеральний юрисконсульт заявив це офіційно: «as a matter of policy and practice, Cisco does not work with any government, including the United States Government, to weaken our products». Вони поскаржилися на це президентові. На перший погляд, вони тут теж були жертвою.\nПрийми це за чисту монету. Це нічого не змінює щодо коробки у твоїй стійці, бо interdiction ніколи не потребувало допомоги вендора. І варто знати, яку вагу має це заперечення, бо слово Cisco перевіряли в суді. У 2019 вони врегулювали провадження за False Claims Act за 8,6 млн доларів на федеральному рівні плюс 6 млн доларів з групою штатів через ПЗ для відеоспостереження, продане державним органам з «flaws that would permit unauthorized access to the system, with the potential to control and otherwise manipulate security cameras and the recorded footage». За версією генпрокурора Нью-Йорка, Cisco знала про ці вади у 2009 і не виправляла їх до 2013, коли розслідування вже почалося. Мирові угоди не є визнанням відповідальності, і я не вдаватиму інакше. Але це все одно чотири роки продажу продукту поліції та державним органам зі відомим входом, і мовчання про це.\nТож маємо такий запис: незадокументовані облікові записи root за їхнім власним визнанням, каталог десятирічної давнини, що їх називає, ланцюг поставок, який довели вразливим, і період, коли вони знали про діру й продовжували продавати. Будь-що одне з цього можна відмахнути. Разом це закономірність. Заява зацікавленої сторони закономірність не закриває.\nВідповідь на це контролі, а не заборона. Ризику місце в проєктному документі разом з усім іншим, а альтернативи треба оцінювати в грошах, а не відкидати. Спитай, яке конкурентне обладнання розглядали і скільки воно коштувало. Спитай, яка політика перевірки й оновлення прошивки і хто її перевіряє. Спитай, як обладнання приймають і оглядають і хто. Спитай, що стається, коли серійний номер не збігається із замовленням.\nІ зверни увагу, яких вендорів у твоєму секторі так прискіпливо перевіряють, а яких ні. Та сама галузь, що внесла Huawei до реєстру ризиків через можливість, якої ніхто публічно не показав, впише Cisco в низькорівневий дизайн без жодного рядка обґрунтування, на силі партнерського значка. Я писав про те, що стається з цим аргументом, коли застосувати стандарт рівно. Партнерський значок це комерційні стосунки з планами продажів. Як такий, це не висновок щодо безпеки.\nБрандмауер і є входом Розшир це з одного вендора на всю категорію, бо брандмауер це продукт, який MSP продає найнаполегливіше. Це позиція в кошторисі, яка виправдовує безпекову частину контракту.\nCISA веде каталог вразливостей, про які відомо, що їх експлуатують у реальному світі: не теоретично небезпечних, а справді використаних проти когось. Я завантажив каталог і порахував його за вендорами. Версія 2026.08.27 містить 1685 записів. На Cisco припадає 96 із них, друге місце після 386 у Microsoft, і 42 з них стосуються лінійок брандмауерів і периметра. У Fortinet 29. У Palo Alto Networks 15. Для масштабу: в Ivanti 35, у SonicWall 17.\nПодивися, що це за записи насправді, бо закономірність ніколи не змінюється. Це інтерфейс керування або VPN, тобто та частина, яку навмисно виставили в інтернет.\nЄдина частина цієї шкали, яку закривати тобі Одна вразливість, від публікації до патча на твоїй коробці Опубліковано номер CVE існує Патч є частину вендора зроблено Експлуатацію підтверджено додано до каталогу CISA Коробку пропатчено тим, кому ти платиш Твоя вразливість Відомо, що використана проти когось, досі сидить на твоєму периметрі Cisco 96 записів, Fortinet 29, Palo Alto 15. Це числа вендорів, і вони публічні. Довжина заштрихованого проміжку твоя, і ніхто про неї не питає. Це число є в кожного постачальника. Це той самий вимір, що його ICO зняв у Capita. Загальне число вендора публічне, і не воно вирішує, чи тобі зашкодять. Вирішує заштрихований проміжок, і він належить тому, кому ти платиш. CVE-2024-3400 у Palo Alto було ін’єкцією команд у функції GlobalProtect у PAN-OS з оцінкою 10,0, яку експлуатували як zero-day. Пізніше того ж року CVE-2024-0012 дозволяла «an unauthenticated attacker with network access to the management web interface» пройти просто повз автентифікацію з оцінкою 9,8, і її зв’язали в ланцюжок з ін’єкцією команд у тому самому інтерфейсі.\nCVE-2022-40684 у Fortinet була «authentication bypass using an alternate path or channel» з оцінкою 9,8. Її CVE-2018-13379, обхід шляху в SSL VPN, потрапила до каталогу в листопаді 2021. Через роки після того, як патч уже існував, бо коробки досі стояли в інтернеті непропатчені, і в них просто заходили.\nCVE-2023-20198 від Cisco у вебінтерфейсі IOS XE мала оцінку 10,0. CVE-2025-20333, у вебсервері VPN її ПЗ Secure Firewall ASA і FTD, отримала 9,9 минулого вересня.\nА далі CVE-2026-20316, додана до каталогу 29 липня 2026. Cisco Secure Firewall Management Center, «use of hard-coded password», що дозволяє «an unauthenticated, remote attacker to log in to an affected device». Статичні облікові дані, у коробці, яка керує брандмауерами, з підтвердженою експлуатацією, за місяць до цього допису. Той самий провал, що й у 2018 та 2023 з розділу вище, на машині, яка адмініструє твій периметр.\nТепер корисна частина, бо «одні вендори гірші за інших» це насправді не урок. Кожен із них має публічну історію, і нічого з неї не з’являється в комерційній пропозиції. Важливіше те, що загальне число вендора не вирішує, чи тобі зашкодять. Твоя вразливість це проміжок між потраплянням вразливості до того каталогу і патчем на твоїй коробці. Цей проміжок закривати не вендору. Він належить тому, кому ти платиш, щоб ця штука працювала.\nЦе той самий вимір, який ICO зняв у Capita, у наступному розділі. Сповіщення за десять хвилин, дія через п’ятдесят вісім годин, ціль одна година. Ніхто не просить у свого постачальника цього числа щодо патчів брандмауера, а це число є в кожного постачальника.\nКоли базові речі і є тим, що ти купив Ось що прийшло після продажу, у двох випадках, де розслідування провів регулятор і опублікував, що знайшов.\nУ березні 2025 Інформаційний комісар оштрафував Advanced Computer Software Group на 3,07 млн фунтів через інцидент з програмою-вимагачем у серпні 2022. Advanced «provides IT and software services to organisations, including the NHS and other healthcare providers». Нападники зайшли «via a customer account that did not have multi-factor authentication». Роботу NHS 111 порушено, медичні працівники не могли дістатися до записів пацієнтів, і викрадено персональну інформацію 79 404 людей. Висновок ICO щодо причини варто читати повільно: «while Advanced had installed multi-factor authentication across many of its systems, the lack of complete coverage meant hackers could gain access». Це був також перший штраф, який ICO наклав на обробника даних, а не на організацію, чиї це були дані.\nУ жовтні 2025 той самий регулятор оштрафував Capita на 14 млн фунтів через атаку 2023 року, під час якої забрали персональну інформацію 6,6 млн людей. Шкідливий файл потрапив на пристрій працівника 22 березня 2023. Сповіщення високого пріоритету спрацювало за десять хвилин. Пристрій не ізолювали 58 годин при цільовому часі реагування в одну годину, і ICO встановив, що центр безпеки «was understaffed, and in at least six months before the incident fell well below the target response times for responding to security alerts», поряд з неналежним тестуванням на проникнення й оцінкою ризиків.\nПрочитай, що спільного в цих двох висновках. Не хитрий супротивник. Не zero-day. Не щось, чого ніхто не міг побачити. Багатофакторна автентифікація, яку купили, але не довели до кінця, і черга сповіщень, на яку ніхто не виділив людей. Обидва це позиції в кошторисі, які хтось підписав і позначив зеленим.\nІ ніщо з цього не підкралося до галузі непомітно. 11 травня 2022, за три місяці до інциденту в Advanced, агенції кібербезпеки Великої Британії, Австралії, Канади, Нової Зеландії та США випустили спільний бюлетень про загрози для постачальників керованих послуг та їхніх клієнтів, бо вони були «aware of recent reports that observe an increase in malicious cyber activity targeting managed service providers». Перша тактична дія у списку: обов’язкова багатофакторна автентифікація на облікових записах MSP, що дістаються до середовища клієнта.\nАгенції безпеки п’яти країн записали це, публічно, і назвали контроль. Через три роки регулятор досі штрафує людей за те, що вони його не довели до кінця.\nЖодна з цих історій не про малий бізнес. Ось одна про нього. У п’ятницю 24 листопада 2023 ІТ-постачальник для юридичного сектору CTS ліг через кіберінцидент. Власне видання Law Society повідомило, що близько 80 фірм не могли завершити угоди, системи були офлайн, а договори застрягли. Це практики з оформлення нерухомості, переважно малі фірми, а їхні клієнти були людьми посеред переїзду. Одна з них сказала це прямо: «This leaves us with so much uncertainty — with movers needing to be booked, days needing to be taken off work at potentially short notice and lives put on hold.» CTS змогла сказати лише, що вона «unable to give a precise timeline for full restoration».\nНіхто в цьому ланцюжку не обирав CTS. Її обрала фірма, а кожен клієнт нижче за течією від фірми успадкував це рішення, і ніхто його не спитав.\nОсь що ти купуєш, коли купуєш керовану послугу.\nА як би ти дізнався? Зверни увагу на одне в кожному інциденті з розділу вище. Жоден із них не стався з клієнтом. Вони сталися з постачальником, а клієнти сиділи нижче за течією від чужого поганого тижня.\nТож постав питання прямо. Якщо вас зламають, ми почуємо про це від вас? І як швидко?\nЄ юридична нижня межа, і вона нижча, ніж люди думають. Там, де вони обробляють персональні дані від твого імені, стаття 33 каже: «the processor shall notify the controller without undue delay after becoming aware of a personal data breach». Жодної фіксованої кількості годин. Тим часом ти, як контролер, маєш 72 години, щоб повідомити Інформаційного комісара, щойно дізнаєшся. Прочитай ці два пункти разом. Кожна година, яку вони витрачають, вирішуючи, чи казати тобі, це година з годинника, який іде проти тебе, а не проти них.\nІ ця нижня межа покриває лише персональні дані. Вторгнення в їхню консоль керування, без доказів поки що, що щось твоє кудись поділося, може взагалі не створити обов’язку тобі казати, поки облікові дані, що дістаються до кожної твоєї машини, лежать у чужих руках. Ось де проміжок. І він не малий.\nПодумай, кому скажуть раніше за тебе. Їхнім юристам, бо адвокатська таємниця. Їхньому страховику, бо так каже поліс. Їхньому регулятору, за законним годинником. Ти стоїш у цьому списку нижче, ніж хотів би, а стимул на кожному кроці казати менше, доки не стане відомо більше.\nЛишаються альтернативи, і всі вони гірші. Ти дізнаєшся, бо твої системи зупиняються, як дізналися фірми з оформлення нерухомості. Ти дізнаєшся, бо дзвонить журналіст. Або ти дізнаєшся, бо хтось помітив назву постачальника на сайті витоків банди вимагачів, а це не процес повідомлення, це випадковий наслідок чужого маркетингу.\nТож пропиши це в контракті, і конкретно, бо розмиті пункти скочуються до законної нижньої межі. Повідомлення про будь-який суттєвий інцидент у їхній мережі протягом зазначеної кількості годин, письмово, незалежно від того, чи підтверджено, що зачеплено твої дані. Повідомлення, якщо будь-які облікові дані з доступом до твоїх систем могли бути розкриті. Повідомлення, якщо вони з’являться на сайті витоків. Іменований контакт на твоєму боці, а не загальна скринька.\nПотім постав питання, яке скаже тобі найбільше, і постав його, поки вони ще тобі продають. У вас був інцидент? Що сталося, коли клієнти дізналися і як вони дізналися? Постачальник, який пройшов через інцидент і впорався з ним як слід, тобі про нього розкаже. Це найкращий доказ, який у них є. Той, хто каже, що такого ніколи не було, або дуже везучий, або дуже малий, або нічого не рахує.\nІнструмент, що дістається до кожного клієнта одразу Жоден MSP не заробляє, торкаючись машин по одній. Економіка потребує однієї консолі, що дістається до всього, і саме для цього існує ПЗ для віддаленого моніторингу й керування. RMM сидить на кожній машині за контрактом, працює від імені system, а постачальник керує всім цим з одного входу.\nОдна консоль дістається до кожної машини в кожного клієнта Вендор інструмента Постачає агент і кожне його оновлення підписаному оновленню довіряють одразу Консоль твого постачальника Один вхід, кожен їхній клієнт Інший клієнт Агент на кожній машині Твоя будівля Агент на кожній машині, працює як system Інший клієнт Агент на кожній машині Машина довіряє консолі. Консоль довіряє вендору. Твоєму брандмауеру сказали все це пропускати. Досяжність і є продуктом. Одна консоль, кожен клієнт, кожна машина, і саме тому нападник, який отримує консоль, отримує все одразу. Поверни це й подивися зі свого боку. На твоїх машинах є програма, яку ти не обирав, яку, мабуть, не можеш назвати і чиєї історії патчів ніколи не бачив. Як така, вона може зробити що завгодно, з будь-якою з них, будь-коли.\nІсторія цих інструментів не заспокоює. Почнімо з 2021.\nKaseya, липень 2021. CISA і FBI описали реагування на програму-вимагача, «leveraging a vulnerability in the software of Kaseya VSA on-premises products — against managed service providers (MSPs) and their downstream customers». Постраждали близько п’ятдесяти постачальників, а під ними сиділо до 1500 підприємств, більшість із яких ніколи не чули про Kaseya і не мали жодного слова в тому, що вона там стоїть.\nУ січні 2023 CISA, NSA і MS-ISAC випустили спільний бюлетень, щоб «warn network defenders about malicious use of legitimate remote monitoring and management (RMM) software», після кампанії попереднього жовтня, у якій нападники фішингом змушували людей встановлювати ScreenConnect і AnyDesk, а потім використовували їх для шахрайства з поверненням коштів з банківських рахунків жертв. Нікому не довелося зламувати MSP. Інструмент працює для них рівно так само добре, як для постачальника.\nУ лютому 2024 виявилося, що ConnectWise ScreenConnect несе CVE-2024-1709, яка «may allow an attacker direct access to confidential information or critical systems». Оцінка 10,0. Зверни увагу на клас слабкості: обхід автентифікації через альтернативний шлях чи канал, слово в слово та сама категорія, що й обхід у FortiOS вище. Інший вендор, інший продукт, та сама помилка. Максимальний бал, у програмі, що дістається до кожного клієнта постачальника.\nДалі SimpleHelp. Бюлетень CISA з червня 2025 описує вимагачів, які «leveraging unpatched instances of a vulnerability in SimpleHelp Remote Monitoring and Management (RMM) to compromise customers of a utility billing software provider», дістаючись до «downstream customers» для подвійного вимагання. Вада під цим, CVE-2024-57727, дає неавтентифікованому нападникові витягти «server configuration files containing various secrets and hashed user passwords» просто з хоста.\nЗверни увагу, куди щоразу падає втрата. Не на вендора. Насправді й не на постачальника. На клієнтів під ним, які ніколи не купували інструмент, яким ніколи не казали, який саме, і які не мали жодного слова в тому, коли його пропатчать.\nЗастереження щодо цих джерел, бо воно важливе. Це американські бюлетені, і так тому, що CISA публікує подробиці інцидентів, тоді як NCSC здебільшого не називає імен. Це різниця в розкритті, а не в поведінці. Інструменти ті самі, з того самого каталогу, і невелика фірма ІТ-підтримки в цій країні сьогодні по обіді запускає на твоїх машинах ScreenConnect, SimpleHelp або когось із їхніх конкурентів.\nТож спитай, що саме. Спитай, яка версія, коли востаннє патчили, хто може входити в консоль, чи кожен обліковий запис у ній має багатофакторну автентифікацію і який план наступного разу, коли один із них отримає десятку.\nПотім спитай ще одне, бо відповідь скаже тобі те, чого не скажуть інші. Чи працює він через IPv6?\nЦе чесне питання у 2026, і воно б’є сильніше, ніж здається. Якщо інструмент керування говорить лише IPv4, то IPv4 твоя мережа й мусить зберігати, не тому, що він потрібен твоєму бізнесу, а тому, що він потрібен їхнім інструментам. Це план адресації, який задає програма постачальника, а не твої вимоги, і ти щомісяця платиш за адреси, які це уможливлюють. Віддалений працівник на мобільному з’єднанні цілком може вже бути в мережі лише з IPv6, і тоді вся схема спирається на трансляцію, яку підтримує хтось інший.\nА якщо відповідь у тому, що вони ніколи не перевіряли, ти дізнався те, про що насправді питав.\nСпершу простіше питання, яке губиться в усіх розмовах про безпеку. Яке навантаження агент дає на машину і де докази?\nВідповідь, яку ти отримаєш, буде «незначне». Це прикметник. Тобі потрібне число, виміряне на обладнанні, як твоє, а не взяте з даташита: середній і піковий CPU, резидентна пам’ять, дискова активність під час інвентаризації чи сканування патчів і мережа за день. Зняте на найстарішій машині в господарстві, а не на найновішій.\nІ вимірюй увесь стек, а не один агент окремо. Віддалене керування, антивірус, виявлення на кінцевих точках, клієнт резервного копіювання, моніторинг, облік активів. Кожен вендор каже, що менше одного відсотка, їх шість, і людина, якій на цьому ноутбуці справді працювати, і є тією, хто дізнається, скільки шість дають разом. Майже нуль це правильна ціль. Докази це єдиний спосіб її встановити.\nПопроси цифри до розгортання і попроси зняти власні після нього на машині, яку обереш ти. Постачальник, упевнений у своїх інструментах, пропонує обидва без підштовхування.\nЩе одне про сам інструмент, і це те, що людям здається найдивнішим, доки вони не подумають. Чи тобі кажуть, коли агент оновлюється на твоїх машинах?\nАгент це найпривілейованіша програма у твоєму господарстві. Він працює від імені system, на всьому, і змінює версію, коли постачальник чи вендор вирішить, що час. Сторонній постачальник тихо встановлює програми по всій твоїй компанії, і за більшістю контрактів ніхто не каже тобі, що це сталося.\nТепер постав це поруч з тим, що насправді пішло не так у Kaseya. Шкідливе оновлення, проштовхнуте довіреним каналом керування на кожну машину одразу. З того місця, де ти сидиш, того дня це не відрізнити від звичайного оновлення агента: той самий канал, ті самі привілеї, та сама тиша. Єдина різниця в намірі. А намір не те, що можна спостерігати.\nТож попроси повідомлення про зміну версії, спитай, хто затверджує оновлення агента і чи його десь тестують, перш ніж воно дійде до тебе, і постав питання, яке важить найбільше: що сказало б тобі, що сталося проштовхування, якого не мало бути? Якщо чесна відповідь нічого, то контроль, на який ти покладаєшся, це пильність самого постачальника, а саме про неї весь цей розділ.\nІ ключі, що її відмикають Далі те, що відмикає консоль. На це звертають ще менше уваги, ніж на саму консоль.\nMSP тримає адміністративні облікові дані кожного клієнта у своїх книгах. Це і є робота, це весь продукт. Тож стандарт для власних облікових даних мав би бути вищим за той, що вони ставлять для твоїх, а на практиці він зазвичай нижчий. Спільні облікові записи, бо окремі входи для дванадцяти інженерів у двохстах тенантах це морока. Паролі у сховищі, яке може читати вся служба підтримки. SSH-ключі без парольної фрази на ноутбуках, які їдуть додому в поїзді. Аварійні облікові записи, яких ніхто не торкався відтоді, як людина, що їх створила, пішла з компанії.\n«Ми використовуємо MFA» це те місце, де розмова зазвичай зупиняється, а не мала б, бо її форми не рівні. CISA ранжує їх від найсильнішої до найслабшої: FIDO/WebAuthn і на основі PKI нагорі, що їх вона називає «the gold standard»; одноразові паролі в застосунку й push-сповіщення нижче, «vulnerable to push bombing attacks as well as user error»; і SMS у самому низу, які «should only be used as a last resort MFA option». Стійкий до фішингу лише верхній ряд. Усе під ним можна ретранслювати, змучити або перехопити, поки людина, що підтверджує, вірить, що входить як зазвичай.\nНападники цей документ теж читали. Бюлетень CISA про Scattered Spider каже, що група «targets large companies and their contracted information technology (IT) help desks». Не клієнта. Службу підтримки, яка може скинути облікові дані клієнта. Це набагато легше, і так ти отримуєш усіх одразу.\nТож питання вужче, ніж чи використовують вони MFA. Чи кожен обліковий запис, що дістається до твоїх систем, на апаратному токені, саме токені, а не застосунку, і що стається, коли хтось об одинадцятій вечора дзвонить у службу підтримки і каже, що він інженер, який заблокував сам себе?\nВиправлення тут надзвичайно просте, і саме тому його відсутність важко пробачити. Google сказала KrebsOnSecurity у 2018, що вона «has not had any of its 85,000+ employees successfully phished on their work-related accounts since early 2017», коли почала вимагати фізичні ключі безпеки замість паролів і одноразових кодів. Не менше інцидентів. Жодного. Та сама стаття зазначає, що базовий ключ продавався за двадцять доларів.\nТепер перенеси це на постачальника керованих послуг. Їм не треба видавати ключі твоєму персоналу. Їм треба видати їх власним інженерам, а таких, що тримають облікові дані, які дістаються до кожного клієнта в книгах, мабуть, з десяток. Десяток ключів, куплених один раз, проти радіуса ураження, що покриває кожен бізнес, якого вони торкаються. Двадцять фунтів за штуку. Коли тобі кажуть, що апаратні токени непрактичні, спитай, скільком людям він справді знадобився б.\nІ є пов’язане питання, яке варто поставити про власне господарство, бо більшість клієнтів ніколи про це не думали. Хто тримає аварійний обліковий запис для твоїх систем? У дуже багатьох контрактах чесна відповідь така: постачальник, а в тебе комплекту взагалі немає. Ти не можеш потрапити у власну інфраструктуру, не подзвонивши їм. Це не засіб безпеки, це залежність. Вона кусає в найгірші дні, а не у звичайні. День, коли ти подаєш повідомлення про розірвання. День, коли їх купує хтось, кого ти не обирав. День, коли саме їх зламали і тобі треба діяти без них.\nТи маєш тримати власні аварійні облікові дані, запечатані, прописані в контракті й перевірені в день, на який хтось може вказати. Якщо твій постачальник неохоче на це йде, сама неохота вже тобі дещо сказала.\nТе саме питання доходить аж до робочого столу, і саме про нього забувають цілковито. Кожен ноутбук і настільний ПК, які вони тобі зібрали, мають пароль адміністратора BIOS, встановлений під час збирання кимось на їхньому боці. Машина твоя. Ключ до неї в них.\nПодумай, чим цей пароль насправді керує. Порядок завантаження. Secure boot. Чи ця штука взагалі стартує з флешки. Тобто чи можеш ти перевстановити машину, яка тобі належить, відновити ту, що не завантажується, передати партію комусь іншому або як слід стерти їх, перш ніж вони підуть за двері. На ноутбуці це ще може бути тим, що стоїть між злодієм і диском. Нічого з цього не екзотика. Це звичайна справа володіння комп’ютерами, а в дуже багатьох господарствах власник не може зробити нічого з цього, не подзвонивши постачальникові.\nПопроси все. Кожен ноутбук, кожен настільний ПК, кожен сервер: пароль BIOS чи прошивки, вхід BMC на всьому, що його має, і пароль завантажувача на всьому, де GRUB чи його відповідник замкнено, а це той самий замок на шар вище, і саме він стоїть між тобою і рятувальним завантаженням на сервері, який не стартує. Якщо на всіх них той самий пароль, це теж варто знати. А якщо відповідь ні, спитай чому, бо пропоновані причини тонкі: чесна в тому, що так їм легше збирати, а решта вбрана в одяг безпеки. Пароль, якого тобі не дозволено мати, не захищає тебе ні від кого. Він захищає їх від того, що ти підеш.\nДалі обліковий запис, яким ти справді входиш, щоб полагодити машину. Локальний адміністратор на кожній коробці з Windows, root на кожній з Linux і щось рівноцінне на кожному комутаторі, брандмауері й гіпервізорі в будівлі. Два питання покривають усе, і вони покривають також паролі прошивки й завантажувача вище. Чи вони різні на кожній машині, і чия система керування паролями їх тримає, твоя чи їхня?\nРізні важить більше, ніж люди очікують. Один пароль локального адміністратора на двохстах машинах це не двісті паролів, це один, і він лежить на найгірше захищеному ноутбуці в компанії так само, як на фінансовому сервері. Це не теоретична слабкість, це стандартний хід: потрапити на будь-що, прочитати пароль, дійти до всього. Microsoft постачає відповідь у коробці. Windows LAPS ставить інший пароль на кожну машину, змінює його за розкладом і зберігає резервну копію в Active Directory або у твоєму власному тенанті Entra. Власна сторінка Microsoft першою перевагою називає «protection against pass-the-hash and lateral-traversal attacks», а функція безкоштовна в кожній підтримуваній версії Windows, і за зберігання паролів у власному каталозі більше нічого платити не треба. Тож якщо відповідь «один пароль усюди», це не проблема ліцензування і не проблема інструментів. Хтось просто ніколи цього не ввімкнув.\nЧия система тримає пароль до твоєї машини Поширена схема Їхнє сховище або прикручене до їхніх інструментів Кожен пароль адміністратора у твоїй компанії тримає компанія, де в тебе немає облікового запису Твої машини Сервери, ноутбуки, світчі, файрволи, гіпервізори Журнал, хто який читав, їхній Не можна перевірити те, куди не можеш увійти Відкликати означає чемно просити, у найгірший момент Схема, якої ти хочеш Твій каталог або твоє сховище Інший пароль на кожній машині, змінюваний, депонований там, де діє твій контроль доступу Ті самі машини Постачальник має доступ, а не володіння Запис, хто що читав, тримаєш ти Ти бачиш його сьогодні, нікого не питаючи Ти можеш відкликати доступ у вівторок по обіді Один пароль локального адміністратора на двохстах машинах це не двісті паролів. Це один, і він лежить на найгірше захищеному ноутбуці компанії так само, як на фінансовому сервері. Microsoft постачає відповідь на це задарма, і вона кладе пароль у твій каталог, а не в їхній. Ті самі машини, ті самі паролі, дві різні відповіді на те, хто їх тримає і хто може бачити, коли один із них прочитали. Чия система, це те, на що треба тиснути, і зверни увагу, куди LAPS кладе пароль за замовчуванням: у твій каталог, під твій контроль доступу, з твоїм записом про те, хто його читав. Саме такої форми тобі треба на всьому. Облікові дані до твоєї машини живуть у чомусь, чим володієш ти, а твоєму постачальникові надано доступ до нього, доступ, який ти бачиш і можеш відкликати у вівторок по обіді, не питаючи дозволу.\nІнша форма поширена. Паролі лежать у їхньому менеджері паролів або у сховищі привілейованого доступу, прикрученому до їхнього інструмента віддаленого керування, і входу до нього в тебе немає. Тоді кожен адміністративний пароль у твоїй компанії тримає компанія, у якій ти не маєш облікового запису, журнал того, хто його читав, належить їм, а в день, коли стосунки зіпсуються, ти чемно проситимеш ключі до машин, якими володієш.\nТож постав уточнювальне питання, і постав його зараз, а не на зустрічі при виході. Як вони потрапляють у нашу систему? Є три чесні відповіді. Перенести депонування в наш каталог чи наше сховище і взяти до нього делегований доступ. Або дати нам доступ на читання до вашого сьогодні, з експортом, який ми можемо запустити самі, у форматі, який проковтне наше власне сховище. Або передавати нам запечатану копію за розкладом, датовану, яку ми відкриваємо й перевіряємо. «Усе в нашій системі, і ви отримаєте це, коли підете» до списку не входить, бо день, коли ти підеш, це день, коли в них найменше причин поспішати з чимось.\nІ спитай, що стається з цими паролями потім. Облікові дані, які їхні інженери знали чотири роки, не стають безпечними від листа з повідомленням, що їх більше немає. Кожен із них треба змінити на виході, тобі самому, на машинах, пароль прошивки яких тепер тримаєш ти.\nА далі жива версія всього цього. Чи тобі кажуть, коли читають пароль до однієї з твоїх систем?\nНе журнал, який вони ведуть і могли б показати, якби ти спитав. Повідомлення, що приходить на твій бік: які облікові дані, який інженер, який тікет і коли. Сама можливість ніде не під сумнівом: кожне сховище, гідне цієї назви, записує видачу, а власне депонування Microsoft робить це у твоєму ж тенанті, де відновлення пароля записується до журналу аудиту Entra як «Recover device local administrator password» із зазначенням облікового запису, що це зробив. Тож єдине справжнє питання в тому, чи вказує цей запис кудись, де ти можеш його бачити.\nСпитай, і якщо відповідь ні, спитай чому. Тут десь є чесне «ні»: сповіщення про кожну видачу в завантаженому господарстві спрацьовувало б сорок разів на день, і до середи ти перестав би його читати. На це є відповідь, і розмова на цьому не закінчується. Сповіщай про ті, що мають бути рідкісними: обліковий запис адміністратора домену, аварійні облікові дані, паролі прошивки й завантажувача, ключі відновлення. І сповіщай про будь-яке читання без прив’язаного номера тікета, бо це або недбале ведення записів, або саме те, про що ти хочеш почути, і жодному з них не допоможе, якщо ти дізнаєшся про це на квартальному огляді.\nЩо вони можуть зробити, коли вже всередині Ще одне, і саме на нього найчастіше дивляться порожнім поглядом. Чи тобі кажуть, коли хтось із їхніх інженерів заходить у твої системи?\nНе журнал, який вони ведуть. Повідомлення, яке отримуєш ти: хто зайшов, коли, надовго і за яким тікетом. Попроси це, а якщо відповідь ні, спитай чому.\nЄ прецедент, і він сидить у продуктах, які вони тобі перепродають. Customer Lockbox від Microsoft змушує інженера Microsoft просити твого явного дозволу, перш ніж він зможе дістатися до твого вмісту у справі підтримки. Google публікує журнали Access Transparency про те, як її власний персонал торкається твоїх даних, а Access Approval змушує їх спершу питати. Тож найбільші постачальники на землі, з куди вужчим доступом, ніж має твій постачальник, збудували процеси затвердження й журнали доступу для власних працівників і передають запис тобі.\nТвій MSP має права адміністратора домену. Спитай, що вони передають тобі.\nІ є причина вагоміша за підзвітність. Повідомлення, що приходить на твій бік, це єдина незалежна ознака, яку ти коли-небудь отримаєш, що їхніми обліковими даними користується хтось, хто не вони. Якщо нападник заходить через службу підтримки, кожен журнал, який це показав би, сидить усередині організації, яку щойно зламали. Той, що падає у твою скриньку, сидить поза нею.\nЩе на рівень нижче, на самій машині. Чи може інструмент віддаленого доступу підключитися до чийогось робочого столу без згоди цієї людини?\nДля сервера о третій ночі доступ без нагляду це вся суть, і ніхто розсудливий не заперечує. Для машини, за якою хтось сидить, з відкритою поштою і своєю роботою на екрані, це інша дія. Кожен серйозний продукт віддаленого керування можна налаштувати, щоб він питав перед підключенням, показував видимий індикатор, поки сесія активна, і давав людині відмовитися. Чи твій робить хоч щось із цього, це параметр конфігурації, а параметр обрали ті, кому він зручний.\nТож спитай три речі й тримай їх окремо. Чи можуть ваші інженери дістатися до робочого столу працівника без запиту? Чи бачить людина, що за ним сидить, хоч щось, поки хтось підключений? Чи може вона відмовити?\nЯкщо на перше так, а на інші два ні, це не технічне обмеження. Це налаштування за замовчуванням, до якого ніхто не повертався, на продукті, купленому стороною, якій воно вигідне. Це також варто покласти перед тим, хто у твоїй організації відповідає за захист даних, бо хтось, хто дивиться на екран працівника без його відома, це рішення, під яким має стояти ім’я.\nДалі питання, яке вирішує, чи можна буде щось із цього довести потім. Чи записують їхніх інженерів, поки вони працюють у твоїх системах?\nЗапис сесій не екзотика і не велике прохання. Це ключова функція кожного продукту привілейованого доступу на ринку, а отже, твій постачальник цілком можливо вже за неї платить і ніколи її не вмикав. Записана сесія дає тобі відео, або журнал натискань і команд, або обидва, прив’язані до названого інженера і номера тікета. Ось як виглядає підзвітність, коли вона справжня, а не обіцяна: не запевнення, що інженери поводяться добре, а запис, який показав би, якби хтось не поводився.\nТож спитай, чи він увімкнений, а потім спитай, як ти до записів дістанешся, бо запис, який ти не можеш отримати, це не доказ, це чутка. Є три відповіді, які варто мати, у порядку спадання. Записи потрапляють у сховище, яким володієш ти, і пишуться в момент створення. Або ти маєш доступ на читання до їхньої системи сьогодні, з експортом, який можеш запустити сам. Або є шлях запиту з визначеним терміном, години, письмово, у контракті, який ти перевірив хоч раз на звичайній сесії, а не вперше посеред суперечки.\nЧого тобі не треба, то це звичайної схеми: записи тримає лише постачальник, термін зберігання задає постачальник, видалення на розсуд постачальника. Це контроль, який працює ідеально до дня, коли він знадобиться проти постачальника. Тож спитай, хто може скоротити термін зберігання, хто може видалити запис і чи журналюється сам перегляд запису. І спитай, що стається з усім цим у день, коли ти підеш.\nБудь чесним щодо іншого боку, бо він є. Запис інженера, що лагодить ноутбук, це також запис усього, що твій персонал мав на тому екрані, а іноді й облікових даних, набраних у всіх на очах. Записи чутливі самі по собі і вимагають того самого поводження, що й сховище: шифрування, контроль доступу, журнал переглядів, зберігання протягом визначеного строку і не довше. Постачальник, який сам піднімає це з тобою, перш ніж ти піднімеш це з ним, про проблему подумав. Той, хто ніколи про це не думав, теж тобі дещо сказав.\nТой самий інструмент майже напевно переміщує файли, в обидва боки. Спитай, чи переміщує, а потім спитай, що навколо цього поставили.\nВихідний напрямок це те, що ніхто не оцінює в грошах. Передача каналом керування зашифрована, довірена і стоїть поза кожним контролем, за який ти вже заплатив: запобіганням витоку даних, моніторингом вихідного трафіку, політикою щодо флешок. Будь-хто з доступом до консолі може скопіювати будь-що з будь-якої машини, і в більшості розгортань немає запису про це, який тобі колись покажуть.\nВхідний напрямок це те, як насправді сталися інциденти, описані раніше в цьому дописі. Проштовхнути файл на кожну кінцеву точку одразу це не вада цих продуктів, це їхня головна функція. Програма-вимагач просто використала її так, як її було задумано використовувати.\nТож спитай, чи передача файлів увімкнена взагалі, чи її можна вимкнути на машинах, яким вона ніколи не потрібна, чи журналюється кожна передача з файлом, напрямком, машиною та інженером, і чи цей журнал приходить тобі, чи приєднується до решти в їхній скриньці.\nІ останнє тут, бо про це не думає спитати взагалі ніхто. Що агент насправді збирає і що з цим стається?\nЦі інструменти збирають куди більше, ніж рівень патчів. Інвентар обладнання й програм, журнали подій, телеметрію продуктивності, часто записи сесій і знімки екрана, іноді значно більше, залежно від того, що ввімкнено. Це детальна картина того, як працює твій бізнес і що твій персонал робить цілий день. І вона безперервно покидає твої приміщення.\nТож спитай, що збирається, де зберігається і під чиєю юрисдикцією, як довго тримається і хто може це бачити, бо відповідь зазвичай постачальник і вендор інструмента, а це друга компанія, яку ти ніколи не обирав і з якою не маєш контракту. Спитай, чи щось із цього використовується для чогось, крім підтримки тебе: продуктової аналітики, бенчмаркінгу, навчання моделей. Спитай, що стається з усім цим у день, коли контракт закінчується, і отримай це письмово, а не в розмові.\nІ зверни увагу, чиї це дані. Записи про твій персонал і твої системи, які тримає той, хто обробляє їх від твого імені, це формулювання з обов’язками, і обов’язки ці твої, а не їхні.\nЧип, що відповідає, коли машину вимкнено Під усім цим є ще один шар, і про нього варто спитати на ім’я. Чи використовують вони Intel vPro або Active Management Technology під ним?\nЯкщо ти з цим не стикався, коротко: прошивка керування працює на окремому контролері всередині чипсета, з власним мережевим стеком. Вона відповідає, поки машина вимкнена, якщо є живлення від мережі й кабель. Вона може ввімкнути коробку, змінити налаштування BIOS, змонтувати віддалений образ і перевстановити систему, а в правильній конфігурації перехопити екран і клавіатуру на апаратному рівні, ще до того, як завантажилася операційна система, і незалежно від того, чи вона взагалі завантажиться.\nЄ справжні причини цього хотіти. Машина, яка не завантажується, налаштування BIOS на пристрої за триста миль, повторне розгортання образу без виїзду людини. У великому розкиданому господарстві це корисно, і я не вдаватиму інакше.\nАле подивися, де воно сидить. Під операційною системою, тобто під кожним контролем, який ти купив. Твій захист кінцевих точок його не бачить, бо воно не працює в операційній системі. Твій брандмауер хоста його не фільтрує, бо трафік ніколи не доходить до мережевого стеку операційної системи: його обробляють на власних портах, перш ніж будь-що інше на нього гляне. Твоє журналювання його не покриває. Ніщо з того, що ти встановив, не може сказати тобі, що сесія відбулася.\nДе твої контролі закінчуються і що працює під ними Одна машина, згори донизу Твої застосунки й твої дані Те, чим бізнес справді користується Твої контролі це бачать Захист кінцевих точок, журнали, брандмауер хоста Це та частина, за яку ти платиш Твої контролі це вони Операційна система Усе вище працює в ній Твої контролі працюють тут Під цією лінією ніщо з того, що ти встановив, не дивиться Прошивка і BIOS Оновлює виробник, за своїм розкладом Поза твоїми патчами Рушій керування, vPro або BMC Свій процесор, свій мережевий стек, свої порти Відповідає при вимкненій машині трафік керування приходить сюди Усе, що ти купив, працює в операційній системі. Два шари під нею ні, і ніщо, встановлене над лінією, не може сказати тобі, що сесія відбулася. Історія безпеки теж не заспокоює. CVE-2017-5689 мала оцінку 9,8, і опис варто читати повільно: «an unprivileged network attacker could gain system privileges to provisioned Intel manageability SKUs». CISA випустила попередження, а CERT/CC нотатку про вразливість. Зверни увагу на слово «provisioned»: у сплячому стані це не шлях усередину, а ввімкнене воно ним є. І прошивка, що це несе, не оновлюється звичайними патчами, за які ти платиш. Вона приходить від виробника машини, за його розкладом.\nДалі частина, яка мала б турбувати кожного, хто відповідає за людей, а не за сервери. Керування екраном на апаратному рівні означає, що хтось може дивитися на дисплей, а операційна система й гадки не має. Спитай, чи обов’язковий запит згоди користувача і чи ввімкнений видимий індикатор сесії, бо обидва це конфігурація, і обидва може вимкнути той, хто це налаштовував.\nТож питання короткі. Чи це налаштовано на наших машинах, хто це зробив і коли, чи це була частина збирання, про яку ніхто не згадав? Для яких конкретних задач це потрібно і скільком машинам ці задачі справді потрібні? Яка мережа може дістатися до портів керування і чи вона відокремлена від усього іншого? Чи обов’язкова згода, чи ввімкнений індикатор і де журнал аудиту? І чи можна скасувати налаштування на кожній машині, якій це не потрібно?\nЯкщо відповідь на перше «ми не знаємо», це варто знати саме по собі, бо це означає, що можливість сидить там, хтось її налаштував, а ніхто за нею не стежить.\nРизик пішов у комплекті задарма Переверни всю цю частину догори дриґом, і вона скаже одне. Кожна можливість у ній прийшла як зручність і була оцінена як зручність. Агент, що патчить тисячу машин, це те, що може покласти файл на тисячу машин. Чип, що заощаджує поїздку за двісті миль, відповідає, коли машину вимкнено, і нічого не каже твоєму журналюванню. Зручність була в комерційній пропозиції, розписана по позиціях і підписана. Можливість приїхала в тій самій коробці, без ціни. Вона не з’являється в жодному документі, який тобі коли-небудь показували.\nНіщо з цього не аргумент, щоб обходитися без усього цього. Господарства треба патчити, і хтось мусить мати змогу дістатися до мертвої машини. Це аргумент за те, щоб знати, що є в будівлі, хто може до цього дістатися, звідки і що знадобилося б, щоб людиною, яка тримає цей доступ, став хтось інший, ніж фірма, що тримає його зараз. Рахунок тобі цього ніколи не скаже, бо рахунок це список того, за що ти платиш. Це не список того, чому ти відкритий. Нікого в цій схемі ніколи не просили скласти другий.\nЧастина третя про те, що стається, коли одна з цих штук спрацює. Що насправді обіцяє контракт, хто врешті несе втрату, як звучать відмовки і скільки коштує піти, коли тобі нарешті досить.\nIs Your MSP Lying To You — 3 parts\nЧи бреше тобі твій MSP, щоб продати преміальні продукти? Що тобі збудував твій MSP і хто ще може до цього дістатисяyou are here Коли все ламається, хто насправді це несе? Джерела Отримано 28 серпня 2026.\nОбладнання.\nCVE-2018-0141 — жорстко закодований пароль облікового запису, Cisco Prime Collaboration Provisioning, березень 2018. CVE-2018-15439 — Small Business Switches, привілейований обліковий запис, увімкнений без повідомлення адміністраторів, листопад 2018. CVE-2023-20101 — Cisco Emergency Responder, статичні облікові дані root, які не можна змінити чи видалити, жовтень 2023. Der Spiegel, 29 грудня 2013 — каталог ANT, що серед інших називає Cisco і Huawei, з документів Сноудена. Der Spiegel, 29 грудня 2013 — усередині TAO: interdiction, load stations і що стається з перенаправленою поставкою. Ars Technica, 14 травня 2014 — внутрішній бюлетень NSA 2010 року і фотографії маршрутизатора Cisco, в який вбудовують імплант, опубліковані в книжці Гленна Грінвальда No Place to Hide. Cisco, 13 травня 2014 — відповідь компанії, її власними словами. Генпрокурор Нью-Йорка, 2019 — мирова угода з кількома штатами щодо ПЗ для відеоспостереження, проданого державним органам, і хронологія з 2009 по 2013. Обладнання периметра.\nКаталог CISA Known Exploited Vulnerabilities — версія 2026.08.27, 1685 записів; підрахунки за вендорами в цьому дописі це мій власний підрахунок цього файлу. CVE-2024-3400, CVE-2024-0012 — PAN-OS, GlobalProtect і вебінтерфейс керування. CVE-2022-40684, CVE-2018-13379 — обхід автентифікації у FortiOS і обхід шляху в SSL VPN. CVE-2023-20198, CVE-2025-20333, CVE-2026-20316 — вебінтерфейс Cisco IOS XE, вебсервер VPN в ASA і жорстко закодований пароль у Secure Firewall Management Center. CISA, Implementing Phishing-Resistant MFA — ранжування форм MFA, від найсильнішої до найслабшої. KrebsOnSecurity, липень 2018 — Google про понад 85 000 працівників і жодного успішного фішингу після запровадження обов’язкових фізичних ключів безпеки. Спільний бюлетень AA23-320A — Scattered Spider і її атаки на найняті служби ІТ-підтримки. Огляд Windows LAPS — окремий пароль локального адміністратора на кожну машину, який змінюється і зберігається у твоєму власному Active Directory або тенанті Entra; безкоштовно в кожній підтримуваній версії Windows. Коли все йде не так.\nICO, березень 2025 — Advanced Computer Software Group оштрафовано на 3,07 млн фунтів, перший штраф регулятора проти обробника даних. Сторінка про примусові заходи містить подробиці. ICO, жовтень 2025 — Capita оштрафовано на 14 млн фунтів через витік 2023 року: сповіщення за десять хвилин, реакція за 58 годин при цілі в одну годину і недоукомплектований центр безпеки. Law Society Gazette, 28 листопада 2023 — близько 80 фірм з оформлення нерухомості не могли завершити угоди після того, як ліг їхній ІТ-постачальник. CISA і FBI про атаку на Kaseya VSA, липень 2021 — програма-вимагач проти постачальників керованих послуг і їхніх клієнтів нижче за течією. Спільний бюлетень AA23-025A, 25 січня 2023 — CISA, NSA і MS-ISAC про зловмисне використання легітимного ПЗ RMM. CVE-2024-1709 — обхід автентифікації в ConnectWise ScreenConnect, CVSS 10,0, лютий 2024. Бюлетень CISA AA25-163A, червень 2025 і CVE-2024-57727 — вимагачі, що дістаються до клієнтів нижче за течією через непропатчений SimpleHelp RMM. Спільний бюлетень AA22-131A, 11 травня 2022 — агенції Великої Британії, Австралії, Канади, Нової Зеландії та США про загрози для постачальників керованих послуг і їхніх клієнтів. ","permalink":"https://blogs.damiendye.uk/uk/random/is-your-msp-lying-to-you-part2/","summary":"Частина 2 з 3. Що насправді будують після того, як папери підписано: коробка, від якої їх не відмовиш, брандмауер, який і є входом, базові речі, які й були тим, що ти купив, і агент на кожній машині, що відповідає перед чужою консоллю.","title":"Що тобі збудував твій MSP і хто ще може до цього дістатися"},{"content":" Is Your MSP Lying To You — 3 parts\nЧи бреше тобі твій MSP, щоб продати преміальні продукти? Що тобі збудував твій MSP і хто ще може до цього дістатися Коли все ламається, хто насправді це несе?you are here Частина перша була про те, як пишеться короткий список. Частина друга про те, що на його основі збудували. Ця частина про ранок, коли все перестає працювати, і про все, що з цього випливає.\nХто за договором відповідає і на яку суму. Що кажуть у кімнаті, коли відповідь «ніхто». Що натомість робить постачальник, якого варто тримати. І чого коштує піти від того, якого не варто, а це, як виявляється, та частина, яку ніхто не планує, поки вона не знадобиться цього ж тижня.\nЩо насправді купила націнка Докази в частині другій, і я не водитиму тебе по них знову. Вважай доведеним, що дорожчий варіант не купив компетентності, не довів до кінця базових речей і не дав тобі коробки, яку було б хоч трохи важче зламати.\nТо до чого прив’язані гроші?\nНе до кремнію, який щороку дешевшає. Не до адрес. Не до інженерних годин, у галузі, яка за два роки скоротила витрати на навчання майже на третину. Націнка прив’язана до каналу: до виробника, достатньо великого, щоб тримати рівні партнерства, ретробонуси, реєстрацію угод і мережу дистриб’юторів, а це означає чергу людей, які всі отримують гроші, перш ніж хоч щось збудовано, і кожен із них у твоєму рахунку.\nЦе половина продавця, і сама по собі вона мало що пояснює. Чимало покупців цілком здібні і все одно підписують. Тож ось друга половина, і вона незручніша.\nНацінка купує прикриття. Не для компанії. Для людини, що підписує.\nПоставити відомий бренд можна обґрунтувати так, як вибір відкритого рішення не обґрунтуєш ніколи. Якщо ринкового лідера серед файрволів зламали, то зламали і всіх інших, і тобі просто не пощастило. Якщо зламали те, що ти зібрав сам, ти це обрав, і тебе спитають чому. Для бізнесу наслідок той самий. Для людини ні, і кожен покупець вище певного рангу розуміє це без того, щоб хтось казав уголос.\nТож коло замикається. Продавець отримує більше за те, що радить дорожчий варіант. Покупцю особисто безпечніше його прийняти. Жоден із них ні в який момент не діє проти власних інтересів, і єдиний, хто несе ціну цієї домовленості, це бізнес, на який вони обидва працюють.\nЦе відповідь на питання, з якого почалася ця серія, і вона гірша за брехню. Брехун знає, яка правда. Цій домовленості не потрібно, щоб хтось щось знав. Їй потрібно лише, щоб короткий список щоразу виходив однаковим, і він виходить.\nЗвіти, яких ти ніколи не отримуєш Кожен регулярний рядок у рахунку за керовані послуги мав би давати документ. Більшість не дає нічого, і майже ніхто не питає.\nВізьми оновлення інфраструктури, рядок над рядком для робочих станцій. Чесний спосіб оновлювати парк це плейбук, Ansible чи щось інше, що лежить там, де ти можеш його бачити, запускається за розкладом і лишає по собі вивід. Тож попроси показати плейбук і попроси показати журнал запусків. На дуже багатьох договорах немає ні того, ні іншого. Оновлення ручні, коли вони взагалі відбуваються, відбуваються, коли хтось згадає, а рядок виставляють щомісяця будь-що. Те, що тобі продали як автоматизацію, це нотатка в календарі.\nЩо мав би давати кожен рядок рахунку У РАХУНКУ ДОКУМЕНТ, ЩО ЦЕ ДОВОДИТЬ ЩО ЗАЗВИЧАЙ ПРИХОДИТЬ Оновлення Плейбук і журнал його запусків там, де ти можеш читати, за розкладом Відсоток відповідності Резервні копії Тест відновлення з датою що, на що, як довго, хто перевірив Звіт, повний зелених галочок Моніторинг Сповіщення, і тобі теж напряму із системи, за розкладом, без правок Панель, підчищена щомісяця Документація Записи у твоїх власних системах твій IPAM, твоя база активів, твоя вікі Експорт за їхнім графіком Резервна копія, яку ніхто не відновлював, не резервна копія. Це гіпотеза про резервну копію. Попроси останній тест відновлення. Відповідь чи пауза перед нею і є весь огляд. Кожен регулярний рядок мав би лишати по собі документ. Більшість лишає відсоток, зелену галочку або нічого. Далі резервні копії. Це найгірший із них, бо саме в цей рядок люди вірять найбільше.\nТи отримаєш звіт про резервні копії. Зелені галочки, завдання виконано, байти записано, і все це приходить щотижня, а не читає ніхто. Цей звіт не той, що має значення. Резервна копія, яку ніхто не відновлював, не резервна копія. Це гіпотеза про резервну копію.\nДокумент, який тобі потрібен, це тест відновлення. Що відновили, на яке залізо, скільки це зайняло від початку до кінця, і хто потім відкрив дані й підтвердив, що це ті дані. Попроси останній.\nПотім спитай те саме про офлайн-копію, бо це окреме твердження, і йому потрібен окремий доказ. Усі кажуть, що вона в них є. Попроси показати: носії, де вони лежать, дату останнього запису, у кого облікові дані, і спитай, коли востаннє відновлювали саме з цієї копії, а не з живої системи резервного копіювання. Це різні носії в різних форматах, і тест одного нічого не доводить про інший. Офлайн-копія це та, що переживе поганий тиждень, і саме її найменш імовірно хоч раз прочитали назад. Спитай, як часто це роблять, на яких системах і чи хтось із твого боку бачив результат. На багатьох договорах цього не робили ніколи, бо це коштує комусь дня роботи, а виставити за це рахунок нікому.\nПеред усім цим стоїть попереднє питання, і воно вирішує, чи має решта хоч якийсь сенс. Ці звіти приходять тобі чи тільки їм?\nЗдебільшого їх генерують інструменти, вони падають у скриньку постачальника, хтось читає їх, якщо є час, а тобі кажуть, коли є проблема. Це не підзвітність. Це самооцінка з прикладеним рахунком, і вона просить тебе вірити їм на слово саме в тому, за що ти їм платиш.\nТож попроси, щоб звіти приходили й тобі. Напряму із системи, за розкладом, у тій формі, яку видає інструмент, а не слайд, зібраний тим, кого вимірюють, і не зелена панель, підготовлена до щомісячної наради. Успішні резервні копії і, що важливіше, невдалі. Запуск оновлень і те, що він пропустив. Кількість сповіщень і час реакції проти цілі. Тест відновлення, коли він буває, і список винятків, як він є.\nЧитати кожен не обов’язково. Треба мати змогу, і вони мають знати, що ти можеш. У цьому весь механізм, і це різниця між тим, щоб довіряти комусь, і тим, щоб мати змогу перевірити.\nА якщо це виявиться складно, спитай чому. Кожен звіт із цього списку вже існує і вже кудись надсилається. Додати другого одержувача це рядок у списку розсилки, а не проєкт. Небажання тут не технічна проблема, і воно варте більше, ніж була б відповідь.\nЄ більша версія того самого питання, і саме вона вирішує, чи зможеш ти взагалі колись щось перевірити сам. Де живе документація?\nСпитай, чи записуватимуть вони твоє господарство у твої системи, твій IPAM, твою базу активів, твою вікі, чи у свої. Більшість скаже, що у свої, і подасть це як ефективність. Їхні інструменти, їхні шаблони, їхній процес, тобі нічого не треба запускати.\nПодивися, що робить така домовленість. План адрес, схема мережі, реєстр активів, інструкції і ключі ліцензій це все записи твого бізнесу, створені за твої гроші, що описують обладнання, яке належить тобі. І лежать вони там, де ти їх не бачиш. Не можна перевірити те, чого не можеш прочитати, тож у тебе немає способу знати, чи документація відповідає господарству, а документація постійно розходиться з реальністю, і це нормально й простимо, але невидиме розходження це те, про що ти дізнаєшся під час інциденту, а не під час огляду.\nА ще є те, що відбувається в кінці, і до цього повертається розділ про те, як піти. Документація у твоїх власних системах уже твоя, уже актуальна, уже у форматі, яким ти користуєшся. Документація в їхніх це експорт, за їхнім графіком, у тій формі, яку пропонує їхній інструмент, зазвичай PDF чогось, що було базою даних.\nТож постав питання прямо і попроси доступ на читання сьогодні, а не в принципі. Постачальник, що працює у твоїх системах, ухвалив рішення, яке трохи коштує йому і багато дає тобі, і він тобі про це скаже. Той, хто наполягає тримати картину у власних інструментах, ухвалив протилежне рішення, і варто спитати, яка частина цього здалася йому привабливою.\nЦя прогалина не академічна. Кожен інцидент у частині другій падає на неї. Клієнти Kaseya, вісімдесят фірм з оформлення нерухомості, пенсійні схеми за Capita: для кожного з них єдине питання, що мало значення того дня, було, чи спрацювало відновлення. Саме тоді звіт, якого ніхто не просив, стає єдиним документом у будівлі, який варто мати.\nЯкщо твій постачальник не може показати тест відновлення, ти не купуєш резервне копіювання. Ти купуєш копіювання, і дізнаєшся, що саме, найгіршого ранку року.\nНіхто не відповідає Купівля місця, куди скласти провину, заслуговує більшого, ніж речення, яке вона отримала в частині першій, бо відповідальність це саме те, що вся ця домовленість побудована обходити. Не морально. За договором.\nПочни з угоди про рівень обслуговування і прочитай, що вона насправді обіцяє. Майже завжди це час реакції. Чотири години на підтвердження, вісім на виїзд, щось таке. Реагування повністю в їхній владі, тож його можна безпечно обіцяти. Виправлення ні, тож його не обіцяють. Пошукай рядок, що зобов’язує їх до результату, сервіс працює, дані повертаються, точка торгує, і на більшості договорів такого немає ніде.\nПотім знайди ліміт відповідальності. Він там буде, і зазвичай це плата, яку ти заплатив за попередні дванадцять місяців, іноді менше. Тож найгірше, що може статися з ними, це повернути те, що ти їм уже дав. Найгірше, що може статися з тобою, це бізнес. Ці два числа не в одному всесвіті, і прірва між ними і є твоє справжнє становище щодо ризику.\nЩо обіцяє угода і що може втратити кожна сторона До чого угода насправді їх зобов’язує Підтвердити збій протягом чотирьох годин Обіцяно Приїхати протягом восьми годин Обіцяно Сервіс знову працює, дані повертаються, точка торгує Не обіцяно І що кожна сторона втрачає в найгірший день Вони обмежено приблизно дванадцятьма місяцями плати, яку ти вже заплатив Ти замовлення, зарплати, клієнти, бізнес Реагування в їхній владі, тож його обіцяють. Виправлення ні, тож його не обіцяють. Дві смуги це той самий договір, побачений з обох кінців. Перепродаж переносить решту вгору за ланцюгом. Якщо лежить гіперскейлер, винен гіперскейлер. Якщо файрвол виходить із вразливістю на десятку, винен виробник. Якщо троянізований інсталятор приходить підписаним і розісланим як звичайне оновлення, це теж виробник. Кожне з цього правда, і жодне не дає тобі нічого, бо в тебе ніколи не було стосунків із жодною з цих компаній. У тебе були стосунки з фірмою, яка обрала їх від твого імені і взяла за це ретробонус.\nА під усім цим лежить найтихіший механізм з усіх. Не можна не виконати вимогу, яку ніколи не записали. Документ із вимогами, який ніхто не написав у частині першій, це не лише недбалість, це захист. Немає зафіксованої вимоги, немає вимірюваної обіцянки. Немає вимірюваної обіцянки, немає порушення. Від проєкту, який ніхто не затвердив, неможливо відступити.\nПодивися, що сталося, коли відповідальність нарешті десь таки з’явилася. Capita оштрафували на 14 мільйонів фунтів, і штраф прийшов від Information Commissioner за законом про захист даних, через сповіщення, на яке ніхто не реагував п’ятдесят вісім годин. Не від клієнта і не за договором обслуговування. Гроші пішли державі. 6,6 мільйона людей, чиї дані вийшли за двері, і 325 пенсійних схем, що несуть наслідки, не були тими, хто цього домігся, і не були тими, кому заплатили.\nТож домовленість від початку до кінця. Виробник продає продукт за ліцензією, що зрікається придатності до будь-чого конкретного. Постачальник продає години під обмежену відповідальність і обіцянку часу реакції. Страховик оцінює те, що лишилося. А збиток осідає на бізнесі, який не може зрушити з місця, а це єдиний учасник ланцюга, якому ніколи не дали ні від чого відмовитися.\nКожен у ланцюгу зрікається своєї частки, і все падає в одне місце Кожен шар передає наслідок униз і лишає собі маржу Виробник Ліцензія зрікається придатності до будь-чого Дистриб’ютор Перевозить продукт, бере частку Постачальник Години під обмежену відповідальність Страховик Оцінює те, що лишилося Бізнес, який мусить відчинити двері в понеділок Щось виробляє, дає людям роботу, не може швидко зрушити і єдиний у ланцюгу не може ні від чого відмовитися Кожен шар вище юридично чистий. Але збиток однаково мусить десь осісти. Кожен шар юридично чистий, і кожному платять, перш ніж хоч щось збудовано. Наслідок мандрує далі, поки не дійде до того, хто не може передати його нікому. У всьому цьому є простіший тест, і юрист для нього не потрібен.\nЯкщо фірма вірить у те, що порадила, вона має бути готова за цим стояти. Ось що таке рекомендація. Ти не купив коробку, коробку тобі може продати будь-хто з вебсайтом. Ти купив чиєсь судження, що це правильна коробка для тебе, і за це судження йому заплатили, а потім заплатили ще раз, уже виробник, чия це виявилася коробка.\nТож коли вона відмовляє і приходить відповідь, що виробник усіх підвів, подивися, що щойно сталося. Від частини, яку ти насправді купив, відмовилися. Судження випаровується саме в ту мить, коли його перевіряють, і лишається фірма, що пропустила продукт через себе і взяла маржу дорогою.\nНіхто не просить MSP гарантувати за Microsoft. Але між тим, щоб гарантувати за гіперскейлера, і тим, щоб стояти за власною порадою, широка прірва, і кожне інше ремесло живе десь у ній. Електрик, що ставить розподільчий щит, не може звинуватити виробника в тому, що сам його обрав. Інженер-конструктор, що задає балку, відповідає за специфікацію. Вони несуть своє судження, бо судження і було послугою.\nТож спитай, що твій постачальник готовий нести. Не продукт виробника, свою власну рекомендацію. Відповідь, або довжина паузи перед нею, скаже тобі, що він насправді про неї думає.\nА потім винним стаєш ти Договір це тиха половина. Гучна з’являється того дня, коли щось справді ламається, і приходить раніше за виправлення.\nПодивися, куди мандрує відповідальність. Назовні, у кожному доступному напрямку, і приблизно в такому порядку. Виробник випустив поганий патч. Канал був оператора зв’язку. Це відома проблема, і в усіх так. Ніхто не міг цього передбачити, кажуть про ваду, яка простояла в списку експлуатованих так довго, що встигла відростити бороду. Попередній постачальник так залишив, і це чесна відповідь на пів року, але її досі дають на третій рік. Потім напрямки назовні закінчуються, і лишається один. Ти не погодив оновлення. Це було поза обсягом, твої працівники клікнули посилання, і ти не відкрив заявку.\nОсь незручна частина. Дещо з цього правда. Клієнт, який три роки поспіль відмовлявся від тієї самої заміни, справді відповідає за це рішення, і постачальник, який так і каже, чесний із тобою. Тож питання не в тому, чи точна відмовка. А в тому, коли її сказали вперше. Ризик, викладений тобі письмово до збою, з тим, скільки коштуватиме його виправити і скільки не виправляти, це постачальник, що керує твоїм господарством. Те саме речення, надіслане через тиждень після, це захист, який збирають. Ті самі слова, інша дата, протилежний зміст.\n«Ти не відкрив заявку» варта того, щоб на ній зупинитися, бо це взагалі не відмовка. Це операційна модель, сказана вголос. Нічого не є нічиєю роботою, поки ти цього не помітиш, а отже моніторинг це ти, і ти платиш щомісячну плату фірмі, чий шар виявлення це клієнт, що дзвонить. Почувши цю відповідь раз, ти знаєш, що це за послуга.\nЄ активніша версія цього, і вона працює куди краще, ніж мала б. Ти скликаєш огляд, щоб спитати, чому останні шість місяців пішли так, як пішли, а порядок денний, що повертається, зовсім про інше: термінова справа безпеки, дедлайн ліцензування, про який ніхто не згадував, повідомлення про кінець підтримки коробки, якій кінець підтримки настав два роки тому і раптом став нагальним саме цього тижня. Це подають зі щирою стурбованістю і з прикладеною пропозицією ціни, і воно з’їдає годину. Ти йдеш, погодившись витратити гроші, а те, заради чого скликав нараду, так і не прозвучало вголос.\nЗверни увагу, що спільного завжди має вигадана криза. Їй потрібна покупка, потрібна цього кварталу, і вона не вимагає ні від кого в кімнаті щось визнати. Справжня терміновість виглядає інакше, бо приходить з ідентифікатором, датою публікації, конкретними машинами у твоєму господарстві, де вона є, і тим, що вони вже зробили, поки чекали, щоб тобі сказати. Вигадана приходить як дедлайн виробника і округлена сума. Спитай, коли вона вперше з’явилася в них на радарі. Якщо відповідь той самий тиждень, коли ти почав ставити незручні питання, це не збіг, і задумано це ніколи не було як збіг.\nТож веди власну теку і почни її, перш ніж вона знадобиться. Щоразу, коли тобі кажуть, що щось у порядку, попроси це в листі. Щоразу, коли від чогось відмовляєшся, запиши, що тобі показали і за скільки. Це займає хвилину, і це означає, що того дня, коли винним стаєш ти, можна спитати дату, і відповідь або існує, або ні. Фірма, що робить цю роботу як слід, туди однаково приходить першою. Вона починає з «ми це пропустили, ось що ми змінюємо» і каже це, перш ніж ти закінчиш питати. Це коштує їй одного речення, і саме тому так мало хто його витратить.\nА коли отримаєш вигадану кризу або провина ляже на тебе за те, чого тобі ніхто ніколи не казав, скажи це в кімнаті. Не як скаргу потім і не як нотатку в теку. Спитай, чи вважають вони це професійним, чи прийняли б вони таку відповідь, якби її дали їм, і де в цьому чесність. Комусь стане незручно, і в цьому вся мета питання. Фірма, в якої лишилася хоч якась самоповага, приймає це, каже «справедливо» і наступного місяця приходить іншою. Ти за хвилину знатимеш, хто сидить навпроти.\nА потім однаково починай шукати. Того ж тижня. Одна погана нарада цього не вирішує, але відмовка ніколи не була поганим днем. Це було рішення щодо тебе: що керувати твоїми почуттями дешевше, ніж виправити те, що ти купив, і що ти з цим змиришся. Фірми не скасовують цього розрахунку через те, що клієнт скривився. Як слід замінити постачальника займає місяці, які ти ще не почав витрачати, і робити це треба, поки ти ще досить спокійний, щоб добре обрати, а не в ті два тижні після збою, який нарешті вирішить за тебе.\nСпитай це на наступній нараді Ніщо з цього тобі нічого не коштує, і щоб спитати будь-що з цього, не треба бути інженером.\nЯ поклав питання в таблицю, а не вниз сторінки: 120 питань у п’ятнадцяти сферах, кожне з тим, як звучить компетентна відповідь, поруч із тим, як звучить відмовка, і стовпцем, щоб записати, яку з них ти отримав.\n\u0026#8615; Питання до постачальника, довга версія msp-supplier-questions.xlsx · 26 kB Сприймай її як підказку, а не сценарій. Прочитай донизу, познач десяток, що справді стосуються твого договору, і спитай саме їх. Ніхто не висидить сотню питань за годину, і ти дізнався б менше, якби спробували. Надішли її до наради, а не діставай на ній: постачальник, що робить роботу як слід, буде радий попередженню, а те, як він сприйме попередження, саме по собі відповідь.\nОдне питання там про те, які з їхніх рекомендацій приносять їм ретробонус, кредит, маржу чи ціль від виробника. Це те питання, що змінює температуру в кімнаті, і так не має бути. Постачальник, якому нічого приховувати, відповідає прямо, бо однаково порадив би те саме і волів би, щоб ти знав. Подивися, що станеться, коли спитаєш. Відповідь важить менше, ніж реакція.\nУ постачальника, що робить роботу як слід, усе це під рукою. Уже, сьогодні, без підготовки. Вимоги записані, варіанти прораховані, рядок з відкритим кодом у порівнянні, план адрес із подвійним стеком, інструмент віддаленого керування оновлений, а ризики в реєстрі, де їм і місце. Спитай, і за одну нараду дізнаєшся, за яких ти платиш.\nА якщо засмучує їх саме питання, ти дізнався все, що треба було.\nКожен клієнт затихає Усе це передбачає, що ти можеш піти, якщо треба. Це варто перевірити, перш ніж знадобиться, бо саме на виході договір про керовані послуги перестає бути про технології.\nВважай, що колись це знадобиться. Кожна така домовленість дрейфує однаково, хоч із ким ти підписав. Увага, яку ти отримував, поки вони вигравали роботу, рідшає, щойно запрацював прямий дебет, і ти осідаєш у їхніх книгах як щомісячна сума, а не господарство, про яке хтось думає. Ніхто не сідає і не вирішує перестати дбати. Найкращий інженер іде туди, де шумно, огляди тихо перестають відбуватися, а твоє обладнання лишається на тому, що було правильною відповіддю того року, коли ти підписав, поки решта ремесла йде далі без тебе.\nЗрозумій, що таке тихий клієнт насправді, бо фраза звучить як комплімент, а ним не є. Тихий клієнт це той, якого ніхто не перевіряв. Резервні копії щоночі зелені, а ніхто не відновив жодну на запасну машину і не подивився, як вона піднімається. Резервна пара ніколи не перемикалася, бо для цього треба запланувати простій, і хтось мав би бути на місці. Прошивка та, з якою прийшло, сертифікат поновлював той, хто згадав, а документація описує мережу, яку розібрали два переїзди тому. Кількість ліцензій ніхто не переглядав відтоді, як у тебе було на одинадцять працівників більше. Ніщо з цього не створює заявки, тож ніщо не потрапляє ні на чий екран, і клієнт проходить кожен внутрішній огляд, бо вимірюють лише те, чи ти дзвонив.\nА потім ти дізнаєшся. Не на огляді, бо огляду не було. Ти дізнаєшся того ранку, коли потрібне відновлення, або коли аудитор просить схему, або коли щось, що працювало недоторканим шість років, зупиняється, і ніхто в будівлі вже не знає, що воно робило. Тихий клієнт платить стільки ж, скільки зайнятий, а обслуговувати його куди дешевше. У цьому весь стимул, і він спрямований геть від того, щоб хтось колись підняв кришку.\nПорада, що коштує їм грошей Переверни тест і спитай, що ти насправді мав би купувати. Не відсутність неприємностей. Відсутнім може бути будь-хто. Ти платиш за того, хто знає бізнес досить добре, щоб приходити з тим, чого ти не просив: спосіб закривати місяць, який перестане падати, ліцензія, за яку ти платиш і яку ніхто не відкривав з позаминулого року, дешевший спосіб зберігати дані, план для коробки, яку всі мовчки домовилися не перезавантажувати. Дещо з цього коштує їм виручки, щоб тобі сказати, і саме тому це чесний сигнал. Спитай себе, коли твій постачальник востаннє приніс тобі рекомендацію, що зменшила його власний рахунок.\nНайпоширеніша форма цього не знижка. Це хтось, хто перебирає те, що ти вже маєш. Більшості компаній не бракує програм, їм бракує будь-кого, хто хоч раз як слід сів із програмами, які вони мають: рівень ліцензії, що вже містить можливість, на яку виставляють пропозицію, модуль, оплачений у первісному проєкті і так і не розгорнутий, процес у фінансовій системі, що покінчив би з повторним введенням, якби хтось дав йому два дні, друга підписка, куплена, бо ніхто не спитав першого постачальника, чи його продукт теж це робить, звітність, яку ніхто так і не збудував, тож уся компанія експортує в таблицю і робить роботу там. Справжній постачальник починає з цієї купи. Що в тебе є, що воно може робити, чого не робитиме ніколи, і скільки проблеми зникає, якщо те, за що ти вже платиш, налаштувати так, як задумано, і все це до того, як хтось відкриє прайс.\nЦе й каже, як вони збираються на тобі заробляти, бо така робота незручна. Це означає читати чужу документацію, вчити систему, яку вони не перепродують і за знання якої нічого не отримують, і сидіти з людьми, що працюють у ній цілий день, щоб дізнатися, що насправді відбувається о четвертій у п’ятницю. Жоден ретробонус за цим не приходить. І це водночас усе, що ти думав, що купуєш. А іноді відповідь у кінці справді нова система, і тоді купуй нову систему. Витрати не проблема. Проблема в порядку: що в тебе працює, що воно ще зробить, де справді не дотягує, і лише потім що піти й придбати. Рекомендація, що пропускає перші три кроки, ніколи не була оцінкою. Це був каталог із твоїм іменем, надрукованим угорі.\nА постачальник, який ніколи не сідав і не вивчав, чим займається бізнес, не може зробити нічого з цього. Є різниця між тим, щоб знати, що в тебе дев’яносто поштових скриньок, і тим, щоб знати, о котрій годині котрого дня справді болітиме втратити систему, що приймає замовлення. Одне це інвентар, друге розуміння, і лише друге дає пораду, варту грошей. Фірма, яка за три роки не запропонувала нічого, яка не може сказати, що ти продаєш і коли в тебе гарячий сезон, яка тримає світло ввімкненим і виставляє рахунок того самого дня щомісяця, не партнер і вже перестала вдавати. Це підписка з номером телефону. Не з тих, кого варто тримати.\nПротилежна вада приходить у кращому костюмі. Це постачальник, який ніколи не затихає, щокварталу має щось для тебе, і чия відповідь на кожне твоє питання поверталася з номером деталі. Це схоже на увагу. Пораду від продажу відрізняє не її кількість і не якість слайдів, а те, чи здатна рекомендація повернутися як «не чіпай, цього року тобі нічого не треба, а ці гроші краще витратити на ту річ у кутку, на яку ніхто не заклав бюджет». Якщо за всі стосунки жодна рекомендація ні разу не коштувала їм продажу, тобі не радять. Тебе ведуть по списку, а частина перша про те, звідки беруться ці списки. Партнер іноді відмовляє тебе від витрат. Для всіх інших ти клієнт, що купує те, що йому показують, тобто дійна корова з прикладеною службою підтримки, і нікому з учасників не треба бути нечесним, щоб саме це й відбувалося.\nЯк позбутися поганого Пройди все, що насправді має статися. Усе. Адміністративні облікові дані, передані для кожної системи. Документація, що описує, як збудоване господарство, якщо вона існує. Контроль над доменними іменами і над обліковим записом, де живе DNS. Приватні ключі сертифікатів. Підписки, перенесені з партнерської угоди постачальника в орендаря, що належить тобі. Їхній агент, видалений із кожної машини, ними. І чинний постачальник, що співпрацює зі своєю заміною, детально, тижнями, поки йому нічого за це не платять і щойно сказали, що з ним покінчено.\nЩо має переїхати на виході і в кого воно У фірми, від якої ти йдеш Усі адміністративні облікові дані Документація, якщо її написали Домени і обліковий запис DNS Приватні ключі сертифікатів Ліцензії за їхньою партнерською угодою Їхній агент на кожній твоїй машині І тижні часу їхніх інженерів має переїхати без оплати Тобі або твоїй заміні До кінця строку повідомлення А того дня Їм щойно сказали, що з ними покінчено Інженер, що знав тебе, тепер на платній роботі Половина того, що просиш, виявляється платною Ніщо з цього не саботаж Що гірше вони працювали, то менше з цього списку існує, щоб передати. Фірма, що не записала твоїх вимог, не написала й пакета передачі, і безлад це рів. Тож попроси пакет сьогодні, поки всі ще ладнають, і звір одну сторінку з живою машиною. Усе це лежить у фірми, якій щойно сказали, що з нею покінчено, і жодне з цих перенесень не робота, за яку їй хтось платить. Тепер частина, що мала б непокоїти тебе найбільше. Що гірший постачальник, то важчий цей вихід, бо вади ті самі. Фірма, що ніколи не записала твоїх вимог, не написала й пакета передачі. Фірма, що тримала облікові дані в спільному сховищі, не має чистого способу віддати їх комусь іншому. Фірма без плейбука і без тесту відновлення не має що передати, крім доступу і побажання успіху. Безлад і є рів. Ніхто не сідав і не проєктував так, а працює це краще, ніж якби проєктували.\nТож виходь з того, що рядок про документацію не втримається. Документацію першою перестають писати і останньою хтось перевіряє, і те, що прийде на виході, описуватиме господарство, яке пішло далі без неї. Це добрий випадок. Поганий це пакет, що виглядає повним і хибний: схема з комутатором, який два роки тому поїхав на звалище, інструкція для сервера, який відтоді перебудували, аркуш облікових даних, повний облікових записів, під якими ніхто не може увійти. Хибна документація гірша за відсутню, бо ти за нею дієш. Відсутня хоча б посилає тебе піти й подивитися.\nОцінюй вихід так, ніби ніщо його не переживе. Хтось обходить стійки, зчитує конфігурацію з живого обладнання, експортує правила файрвола, області DHCP і файли зон і записує, що насправді працює. Це тижні роботи, і на виході це тижні, які ти витрачаєш під час строку повідомлення, поки єдиним людям, що знають відповіді, уже сказали, що з ними покінчено. Зроби це зараз. Попроси пакет сьогодні, потім візьми одну його сторінку і звір із живою машиною. Якщо вона тримається, ти дізнався щось варте знання. Якщо вона не варта бітів, у яких зберігається, ти дізнався і це, і дізнався, маючи рік, щоб виправити, а не два тижні.\nРядок про співпрацю це той, що справді болітиме, і саме його ніхто не оцінює. Прочитай його як прохання: фірму, що щойно втратила клієнта, просять тижнями пояснювати все людям, які його в неї забрали. Нікому не треба відмовляти. Клієнт переходить у купу тих, хто йде, інженер, що знав твоє господарство, іде на роботу, за яку ще платять, а твої питання потрапляють до того, хто лишився. Відповіді приходять за дні, а не за години. Дзвінок про передачу призначають за три тижні. Половина того, що ти просиш, виявляється платною, а та єдина людина, що це збудувала, пішла в березні. Ніщо з цього не саботаж. Усе це коштує тобі рівно стільки, скільки коштував би саботаж.\nТвоя заміна несе це, а потім несеш ти знову. Їхній перший місяць іде на те, щоб розібратися, що вони успадкували. Це дослідження, за яке їм нічого тобі показати, тож вони або чесно це оцінюють і виглядають дорогими поруч із продовженням від чинного постачальника, або ковтають це і починають роботу вже з відставанням. Ти платиш так чи так. Тож купи співпрацю, перш ніж вона знадобиться. Запиши її в договір на вході, а не на виході: визначений період передачі, названа людина, що це робить, денна ставка, погоджена, поки їм ще потрібен твій підпис, і доступ, що лишається живим, поки фірма, яка приходить, не скаже, що його можна прибрати. Заплати за перекриття і вважай це дешевим. І ніколи не приходь до перемикання, коли в постачальника, що йде, єдиний ключ до чогось, що належить тобі.\nПапери теж роблять свою частку. Строки повідомлення в місяцях, а не тижнях, дати автоматичного продовження, що минають, поки ти ще вирішуєш, і передача, оцінена як професійні послуги за денною ставкою, яку хтось встановлює вже після того, як ти подав повідомлення. Ніщо з цього не незвичне, і ніщо не порушує жодного правила.\nТож перевір вихід, поки стосунки в порядку і ніхто не засмучений. Попроси пакет передачі зараз, письмово, як результат, а не обіцянку. Спитай, хто насправді реєстрант твоїх доменів. Спитай, чи твої ліцензії лежать у твоєму власному орендарі чи під їхньою партнерською угодою, і що потрібно, щоб їх перенести. Постачальник, що робить роботу як слід, відповість на всі три з голови, бо фірмі, впевненій у своїй роботі, немає причин ускладнювати вихід.\nА якщо відповіді розмиті, згадай, що каже наступний розділ про те, кому скаржитися.\nДля продажів немає регулятора Дещо вже мало б муляти. Кожен збій у цій серії, до якого додавався офіційний висновок, це збій безпеки. ICO щодо Advanced. ICO щодо Capita. CISA щодо інструментів. Щодо продажів, короткого списку, ретробонусу, єдиного варіанта, продовження, немає нічого. Жодної правозастосовної дії проти британського MSP.\nІ не тому, що продажі чисті. А тому, що ні в кого немає роботи на них дивитися.\nПраво захисту споживачів зупиняється біля твоїх дверей. Consumer Rights Act 2015 захищає споживачів, а товариство з обмеженою відповідальністю, що купує керовану послугу, не споживач. Digital Markets, Competition and Consumers Act 2024 дав CMA прямі повноваження з правозастосування у квітні 2025, спрямовані саме на агресивні практики продажу, оманливу інформацію і явно незбалансовані умови договорів. Це повноваження щодо споживачів. Власний звіт CMA про перший рік варто читати заради формулювань не менше, ніж заради цифр: чотирнадцять розслідувань, два врегулювання, 760 000 фунтів «refunded to consumers», 4,7 мільйона фунтів штрафів, 157 консультативних і попереджувальних листів. Споживачі, щоразу. Не виробник на тридцять людей, що минулої весни підписав п’ять років керованих послуг.\nТелеком це єдиний куток, до якого британський регулятор хоч наближався. Він показує, як виглядає правозастосування, коли хтось має на це мандат. У липні 2015 Ofcom оштрафував невеликого постачальника телекомпослуг для бізнесу на 200 000 фунтів за нечесний продаж послуг стаціонарного зв’язку базі з «around 100,000 small businesses» і змусив його компенсувати постраждалим клієнтам і переписати свої матеріали продажу. Правильна поведінка, правильний розмір клієнта, не та галузь, і одинадцять років тому.\nДля ІТ-послуг відповідника немає. Порахуй зі свого місця. Немає періоду на роздуми. Немає омбудсмена, до якого звернутися. Немає регулятора з юрисдикцією. Ні в кого немає обов’язку казати тобі, що їм платить виробник. Немає опублікованих висновків, з яких вчитися, бо висновку нізвідки взятися. Договір склав постачальник, і єдиний засіб у ньому це позов, а це витрати, роки і юридичний бюджет, якого в малого бізнесу немає, і постачальник це добре знає.\nФінансове консультування мало саме цю проблему і з нею впоралося. Retail Distribution Review, RDR, набув чинності наприкінці 2012 і прибрав комісію, яку постачальники продуктів платили радникам. Виправлення не було складним: скажи, хто платить радникові, і перестань робити постачальника продукту відповіддю.\nRDR для ІТ не буде. Ніхто не прийде змусити твого MSP розкривати, що йому платить виробник, а Cyber Security and Resilience Bill, що зараз проходить через парламент і втягнув би постачальників керованих послуг під дію NIS Regulations, про виявлення і звітність, а не про те, хто платить за пораду.\nТож коли хтось каже тобі, що немає доказів проблеми в тому, як у цій країні продають технології, він правий. І це не означає нічого. Доказів немає, бо немає інспектора, немає шляху скарги, що закінчується публічним документом, і немає реєстру того, що сталося з усіма іншими, хто підписав такий самий договір. На ринку, який ніхто не наглядає, відсутність доказів це просто відсутність будь-кого, хто дивиться.\nЩо це каже про ремесло Прибери рахунки і подивися, хто насправді стоїть у цій домовленості.\nНа одному кінці бізнеси, що виробляють і роблять речі. Фірма, що обробляє деталі. Автомайстерня. Кухня, що годує людей. Юристи, що в п’ятницю заселяють когось у будинок. Кожен із них виробляє щось, на що можна показати пальцем, і кожен несе ризик із цього допису, бо вони єдині в ланцюгу, хто не може ні від чого відмовитися.\nНа іншому кінці кілька шарів, що не виробляють нічого. Виробник, чия ліцензія зрікається придатності до будь-якої конкретної мети. Дистриб’ютор, що перевозить коробку між складами і бере свою частку. Партнерська програма, що платить комусь, щоб він віддавав перевагу одному бренду над іншим. Постачальник, що продає години під обмежену відповідальність. Кожен бере свою маржу і передає наслідок униз, і наслідок мандрує далі, поки не дійде до єдиної людини, яка мусить відчинити двері в понеділок.\nРемесло це спільнота людей, які знають, як щось робити, яким платять за це знання і які стоять за своїми словами, бо на них їхнє ім’я. Якщо прикласти до цього, більша частина галузі це канал дистрибуції із сертифікатами.\nПодивися, що віддали, щоб сюди дійти. Спершу вміння, бо не можна вирізати третину витрат на навчання і далі з чесним обличчям продавати експертизу. Потім судження, продане на початку співпраці і зречене тієї миті, коли його перевіряють. І наостанок звичайну готовність сказати «це не правильна відповідь для тебе», коли правильна відповідь платить менше, а це єдине, що відрізняє пораду від продажу, і коштує воно нічого, крім сміливості.\nВихід із цього непоказний і цілком доступний. Володій обладнанням, яким можна володіти. Тримай власні ключі. Тримай документацію там, де можеш дістатися до неї, нікому не дзвонячи. Знай про власні системи достатньо, щоб розуміти, коли тобі кажуть дурницю, не щоб керувати ними самому, а щоб розпізнати прикметник, що прийшов там, де просили число. Це не ностальгія за часами, коли в кожного був сервер у шафі. Це єдиний доступний важіль, і він дешевий.\nУ цьому ремеслі є люди, які ніколи не переставали робити роботу як слід, і їх неважко помітити, коли знаєш, на що дивитися. Вони пропонують нудний варіант. Вони кажуть тобі, скільки річ коштує, а не яку ціну на неї поставили. Вони записують ризик, перш ніж ти спитаєш, і їм полегшує, коли хтось нарешті перевіряє.\nРешта влаштувала все так, щоб ніхто ніколи не перевіряв. Ти маєш право спитати, скільки це коштує, хто кому платить і що буде, коли воно зламається. Ніхто в цій домовленості не скаже цього сам, і це не те саме, що тобі цього не винні.\nIs Your MSP Lying To You — 3 parts\nЧи бреше тобі твій MSP, щоб продати преміальні продукти? Що тобі збудував твій MSP і хто ще може до цього дістатися Коли все ламається, хто насправді це несе?you are here Джерела Отримано 28 серпня 2026.\nПраво і політика.\nCyber Security and Resilience (Network and Information Systems) Bill 2024-26 — довідка House of Commons Library про включення постачальників керованих послуг до NIS Regulations. Хто має право скаржитися.\nConsumer Rights Act 2015 і Digital Markets, Competition and Consumers Act 2024 — захист і те, для кого він. CMA, direct consumer enforcement one year on — з квітня 2025 по квітень 2026: 14 розслідувань, 760 000 GBP повернуто споживачам, 4,7 мільйона GBP штрафів. FCA, Post-implementation review of the RDR, phase 1 — RDR «realigned adviser and platform incentives with those of consumers\u0026rsquo; by removing the commission they received from providers», чинний з кінця 2012. Ofcom fines Unicom, 31 July 2015 — 200 000 GBP за нечесний продаж малому бізнесу, найближче до прецеденту правозастосування, у телекомі, а не в ІТ. ","permalink":"https://blogs.damiendye.uk/uk/random/is-your-msp-lying-to-you-part3/","summary":"Частина 3 з 3. Час реакції замість результатів, ліміт відповідальності на рівні плати, яку ти вже заплатив, і постачальник, чиї відмовки зрештою приходять до тебе. Питання, що це виводять на світло, що натомість робить справжній постачальник і чого коштує позбутися поганого.","title":"Коли все ламається, хто насправді це несе?"},{"content":"З’єднання, що завершується тайм-аутом, не каже тобі майже нічого. На тому боці може нічого не слухати, файрвол за три хопи може мовчки відкидати твій SYN, не залишивши навіть рядка в журналі, або маршруту може просто не існувати. А звідти, де ти сидиш, усе це виглядає однаково. Ти чекаєш. Нічого не відбувається.\nТож заявку записують як «порт 445 десь заблокований», і саме це «десь» змушує її відбиватися. Провайдер перевіряє свій край мережі, бачить, що там чисто, і повертає заявку. Ти перевіряєш файрвол на хості, бачиш, що там чисто, і повертаєш назад. Минає тиждень. Нічого не виправлено.\nШкоду робить слово «десь». Його там бути не мусить. Кожен маршрутизатор між тобою і ціллю зобов’язаний сказати тобі, коли винен саме він, і цей обов’язок записаний у стандартах з 1995 року. Треба лише правильно запитати.\nЧому це треба розжувати Бо надто багато людей у цій галузі не вміють базових речей, і щотижня це коштує їхнім роботодавцям справжніх грошей.\nЯ не про джуніорів. Я про людей із роками досвіду за плечима, сертифікатами на стіні й словом «senior» у назві посади, чия діагностика порту з тайм-аутом закінчується на «він заблокований» і далі не йде. Вони запускають ping. Він не проходить або проходить, і так чи так вони нічого не дізналися про порт, про який їх питали. Потім заявка йде провайдерові, провайдер її відбиває, і два тижні чиєїсь зарплати йдуть у переписку, яка могла бути однією командою.\nНічого з цього не складне. Відрізнити drop від reject, прочитати TTL у відповіді, знати, що зірочка в traceroute сама по собі нічого не означає: на це вистачить одного пообіддя, а служить воно всю кар’єру. Люди цього не знають не тому, що вони тупі. А тому, що цього ніхто не вчить. Навчання від вендора вчить тебе консолі вендора. Сертифікації вчать тебе іспиту. Основи під цим усім вважаються відомими з першого дня й ніколи насправді не викладаються, тож люди доходять до старших посад, ні разу цього не побачивши, а тоді вже соромно питати.\nТож замість бурчати ось воно, записане. Це основи, розкладені по поличках, з командами й скриптом, який ти можеш запустити сьогодні.\nІ слово про те, навіщо я взагалі за це взявся: поки писав, я прогнав це на власній лінії й знайшов три несправності, про які не знав. Дроп SMB за одинадцять хопів. Підроблені скидання SMTP за один хоп. Правило файрвола, яке існує на IPv4 і не існує на IPv6. Одне пообіддя, без root, на лінії, яку я доглядаю сам і за якою стежу. Подумай, що непоміченим сидить у мережах, за обслуговування яких комусь платять.\nЧому тут немає Fisher-Price OS (Windows) Тут її немає з двох причин. Одна технічна, друга ні, і я радше назву тобі обидві, ніж вдаватиму, що все це інженерія.\nТехнічна в тому, що вона цього не вміє. tracert надсилає ICMP echo requests і нічого більше: власний довідник Microsoft описує його як «sending Internet Control Message Protocol (ICMP) echo Request or ICMPv6 messages to the destination with incrementally increasing time to live (TTL) field values», і ніде в його синтаксисі немає параметра порту. pathping це той самий інструмент із прикрученою статистикою. Test-NetConnection скаже тобі, що TCP-порт відкритий чи закритий, і анічогісінько про те, з якої відстані прийшла відповідь. Жоден із них не вміє зондувати порт, який тебе насправді цікавить, на обраній відстані, а в цьому весь метод цього допису.\nОбійти це скриптом теж не вийде. Задати TTL на сокеті в .NET досить просто, але прочитати ICMP-помилку назад це важча половина, і там немає відповідника трюку, на який спирається цей допис: немає способу змусити ядро повідомити помилку на звичайному сокеті, який її спричинив. Лишається raw-сокет, а власна документація Microsoft каже «only members of the Administrators group can create sockets of type SOCK_RAW». Тож непривілейованого шляху не існує, а привілейований вимагає токена локального адміністратора. Ти вже качаєш сторонні програми, ще не почавши.\nДруга причина в тому, що мені байдуже, і я радше скажу це прямо, ніж прикрашатиму. Назва теж не дешевий укол, це опис. Це ОС, яку тобі видають, коли ти ніколи не мав іншої, вона ховає від тебе машину як мету дизайну, а не випадково, і щойно ти хочеш поставити мережі точне запитання, виявляється, що інструмент так і не збудували, бо від людей, для яких її збудовано, ніколи й не чекали, що вони питатимуть. Тридцять років минуло, а tracert досі не вміє націлити пакет на порт.\nЦе не справжня операційна система для справжніх айтішників, і якщо це єдина, якою ти будь-коли користувався, то ти не робиш цю роботу на тому рівні, для якого написано цей допис. Я знаю, що це звучить різко. Я пишу не для того, щоб мене любили, я записую те, що вимірюю, для людей, які вимірюють, і мені не надто важливо, що хтось, хто ніколи нічого іншого не запускав, волів би, щоб я сказав це інакше.\nАргумент тут список інструментів, а не думка. Кожен Unix у таблиці нижче дасть тобі задати ліміт хопів і вибрати протокол, чотири з них однією командою, а Linux зробить усе вимірювання навіть без sudo. І не тому, що ними важче користуватися. А тому, що їх будували люди, які чекали, що той, хто сидить за клавіатурою, хотітиме щось знати. Операційна система, чия діагностика закінчується на ping, чітко сказала тобі, що вона думає про людину, яка нею користується, і тридцять років, протягом яких люди з цим мирилися, привели нас до галузі, яка не може знайти відкинутий пакет.\nТож я її не запускаю, не запускав усерйоз уже багато років і не писатиму їй окремий розділ, щоб виглядати неупереджено щодо прогалини, яка справжня. Усе, на чому я будую, і все, з чого варто вимірювати, це Unix, і саме там живе цей допис.\nЯкщо зламаний ящик виявиться на Fisher-Price OS (Windows), у методі це нічого не змінює. Візьми shell на будь-чому іншому, на віртуалці з Linux, на Mac, на Raspberry Pi в тому самому комутаторі, і веди ліміт хопів у його бік. Вимірюванню анітрохи не важливо, що працює на тому кінці. Йому важливо лише те, що посередині.\nTTL це бюджет хопів, і кожен маршрутизатор винен тобі квитанцію У заголовку IPv4 є 8-бітне поле Time to Live. Назва лишилася з минулого: його визначили в секундах, і вже десятки років ніхто не трактує його як секунди. RFC 1812 поклав край суперечці в 1995 році й зробив прочитання як кількості хопів нормативним:\nEach router (or other module) that handles a packet MUST decrement the TTL by at least one, even if the elapsed time was much less than a second. Since this is very often the case, the TTL is effectively a hop count limit on how far a datagram can propagate through the Internet.\nДалі те, що тут важливо, з того самого розділу:\nIf the TTL is reduced to zero (or less), the packet MUST be discarded, and if the destination is not a multicast address the router MUST send an ICMP Time Exceeded message, Code 0 (TTL Exceeded in Transit) message to the source.\nЦе MUST. Не люб’язність, не порада. RFC 792 у 1981 році казав лише, що шлюз «may also notify the source host»; через тринадцять років вимогу посилили, і RFC 1812 прямо пояснює чому:\nICMP Time Exceeded messages are required because the traceroute diagnostic tool depends on them.\nIPv6 покинув удавання й перейменував поле. RFC 8200 називає його Hop Limit, «8-bit unsigned integer. Decremented by 1 by each node that forwards the packet», а повідомлення про вичерпання стало ICMPv6 типу 3, код 0, «hop limit exceeded in transit».\nПрочитай це як інструмент, а не як правило, і воно скаже щось корисне. Кожен маршрутизатор на шляху це маяк, до якого можна звернутися за відстанню. Постав ліміт хопів 4, і четвертий маршрутизатор назве себе. Тобі не треба знати топологію, не треба доступу ні до чого й не треба співпраці оператора. Треба по одному пакету на хоп.\nTraceroute робить саме це з кінця 1980-х. Погано він робить те, що тебе насправді цікавить, бо за замовчуванням зондує UDP-порти десь у діапазоні 33 434, а цей порт ніхто не фільтрує й ніхто не обслуговує, тож він розповідає тобі про шлях, яким нічого справжнього ніколи не ходить. Чистий traceroute до хоста, до якого ти не можеш достукатися по TCP/445, доводить лише те, що UDP/33434 туди доходить. А питали зовсім не про це.\nТож зондуй порт, який тебе цікавить.\nЧитай, що повернулося, а не чи щось повернулося Перш ніж рахувати хопи, подивися, що робить той кінець, коли ти дістаєшся до нього зі звичайним лімітом хопів. Є п’ять різних відповідей, і люди постійно зводять їх до однієї.\nЩо повертається Що це означає Хто це надіслав SYN-ACK, з’єднання відкривається порт відкритий хост або щось, що відповідає за нього TCP RST активна відмова хост, на якому ніщо не слухає, або пристрій, налаштований відхиляти ICMP 3/13, communication administratively prohibited пристрій відмовляє за політикою й каже про це цей пристрій: його адреса джерела і є твоя відповідь ICMP 3/1, 3/2, 3/3 хост, протокол або порт недосяжні останній маршрутизатор або хост нічого взагалі хтось мовчки відкидає невідомо, тож піди й виміряй Через третій рядок варто змінити звички. Коли файрвол налаштований відхиляти, а не відкидати, він ставить власну адресу в поле джерела ICMP і віддає тобі винуватця задарма. На Linux це те, що видає nft ... reject with icmpx admin-prohibited, і те, що завжди видавав iptables -j REJECT --reject-with icmp-admin-prohibited. Більшість інструментів це викидає й друкує «filtered». nmap --reason це покаже. І скрипт нижче теж.\nРядки два й п’ять це цікаві збої. Тихий дроп це рішення політики нічого тобі не казати, і оскільки це поведінка за замовчуванням майже на кожному комерційному файрволі, саме з ним ти й зустрінешся. Чекай тиші.\nРядок два теж заслуговує на підозру. Скидання не доводить, що його надіслав хост, і я до цього повернуся з живим прикладом, бо знайшов такий на власній лінії, поки це писав.\nПройди порт, який тебе цікавить, двічі Метод це два прогони й порівняння. От і все.\nПідіймай ліміт хопів від 1 до 20, використовуючи той самий протокол і порт, що не працює, і записуй, який маршрутизатор відповідає на кожному хопі. Зроби те саме з чимось, що працює: в ідеалі той самий хост і порт, що відкривається. Хоп, де відповіді в першому прогоні припиняються, а в другому йдуть далі, і є пристрій, що тебе відкидає. Другий прогін дає тобі його адресу. Чому відповіді припиняються, а не змінюються: маршрутизатор застосовує свій вхідний список доступу раніше за все інше, що робить із пакетом, тож якщо політика каже відкинути, пакета вже немає, перш ніж шлях пересилання взагалі гляне на ліміт хопів, Time Exceeded не генерується, і пристрій ніколи не підписується під тим, що зробив. Тож тиша починається на хопі-порушнику, а не після нього.\nЯ написав для цих проходів невеликий інструмент, бо жоден із нативних не робить цього переносимо. Він задає IP_TTL (або IPV6_UNICAST_HOPS) на звичайному сокеті, з’єднується й читає назад ICMP-помилку. На Linux IP_RECVERR повідомляє цю помилку на тому самому сокеті, який її спричинив, а отже усе працює без привілеїв: ні root, ні raw-сокетів, ні capabilities. На macOS, BSD і Solaris ядро не віддасть тобі ICMP таким способом, тож інструмент переходить на raw-сокет і потребує root.\n\u0026#8615; hopfind.py: ходок по TTL hopfind.py · 11 kB Це 279 рядків стандартної бібліотеки й нічого більше, і весь він надрукований наприкінці цього допису, якщо ти волієш прочитати його, а не завантажувати.\npython3 hopfind.py example.net 445 # the port under suspicion python3 hopfind.py example.net 443 # the reference run python3 hopfind.py example.net 53 --proto udp python3 hopfind.py 2001:db8::1 443 -6 Використовуй той самий протокол для обох прогонів. Порівнювати TCP-слід з ICMP-слідом означає порівнювати два шляхи, бо балансування навантаження хешує п’ятірку параметрів, а в ICMP немає портів для хешування. Той самий хост, той самий протокол, інший порт: оце чесне порівняння.\nУсе нижче це справжній вивід із моєї власної лінії 28 серпня 2026, запущений від непривілейованого користувача на Fedora. Кожну адресу в ньому переписано в документаційні діапазони: RFC 5737 для IPv4, RFC 3849 для IPv6, причому один ідентифікатор інтерфейсу теж змінено. Тож 198.51.100.x це мій власний маршрутизатор і мій провайдер, 203.0.113.x це транзит і пірінг, 192.0.2.x далека мережа, а 2001:db8::/32 увесь шлях IPv6. Структуру збережено скрізь: ті самі межі префіксів, ті самі форми хостової частини, та сама кількість окремих мереж. Номери хопів, час, типи ICMP і те, який хоп замовк, точно такі, як виміряно.\nОдин хост, три порти, три різні несправності Ціль увесь час та сама: хост у публічному інтернеті, за чотирнадцять хопів, з відкритим 443. Спершу контрольний прогін.\n$ python3 hopfind.py 192.0.2.4 443 --max 15 walking to 192.0.2.4 TCP/443 hop limit 1-15 1 198.51.100.254 0.3 ms ICMP 11/0 time exceeded in-transit 2 198.51.100.133 28.8 ms ICMP 11/0 time exceeded in-transit 3 * 4 198.51.100.153 6.3 ms ICMP 11/0 time exceeded in-transit 5 * 6 203.0.113.240 16.5 ms ICMP 11/0 time exceeded in-transit 7 203.0.113.188 16.5 ms ICMP 11/0 time exceeded in-transit 8 203.0.113.185 16.5 ms ICMP 11/0 time exceeded in-transit 9 203.0.113.15 15.6 ms ICMP 11/0 time exceeded in-transit 10 203.0.113.125 16.1 ms ICMP 11/0 time exceeded in-transit 11 192.0.2.31 26.6 ms ICMP 11/0 time exceeded in-transit 12 * 13 * 14 192.0.2.4 19.5 ms connected Verdict: TCP/443 is open. It answered at hop 14. Зверни увагу на хопи 3, 5, 12 і 13. Чотири маршрутизатори на шляху, який явно працює, нічого не сказали, бо чимало обладнання налаштовано не генерувати ICMP від себе або жорстко його обмежувати за частотою. Зірочка не є доказом файрвола. Якщо винесеш звідси лише одне, хай це буде воно. Сигнал ніколи не в наявності зірочок в одному прогоні; він там, де два прогони перестають збігатися.\nТепер той самий хост на 445, який звідси впирається в тайм-аут.\n$ python3 hopfind.py 192.0.2.4 445 --max 15 walking to 192.0.2.4 TCP/445 hop limit 1-15 1 198.51.100.254 0.3 ms ICMP 11/0 time exceeded in-transit 2 198.51.100.133 8.0 ms ICMP 11/0 time exceeded in-transit 3 * 4 198.51.100.153 6.4 ms ICMP 11/0 time exceeded in-transit 5 203.0.113.76 5.6 ms ICMP 11/0 time exceeded in-transit 6 203.0.113.240 15.9 ms ICMP 11/0 time exceeded in-transit 7 203.0.113.188 15.8 ms ICMP 11/0 time exceeded in-transit 8 203.0.113.185 16.6 ms ICMP 11/0 time exceeded in-transit 9 203.0.113.15 15.9 ms ICMP 11/0 time exceeded in-transit 10 203.0.113.125 15.0 ms ICMP 11/0 time exceeded in-transit 11 * 12 * 13 * 14 * 15 * Verdict: answers stop after hop 10 (203.0.113.125). Whatever swallows TCP/445 is hop 11. Walk a port that works and read off the address at hop 11. Хоп 11 відповів прогону на 443 за 26,6 мс і зовсім нічого не сказав прогону на 445. Той самий ящик, той самий шлях, ті самі десять маршрутизаторів перед ним. Звір із прогоном, що працює, і хоп 11 отримує ім’я: 192.0.2.31. Це пристрій, що відкидає SMB, за три хопи до цілі й за вісім хопів після краю мого провайдера. Не мій і не мого провайдера.\nХоп 5 показує те саме про зірочки з протилежного боку. У прогоні на 443 він був зірочкою, а в прогоні на 445 відповів, тобто навпаки щодо несправності. Це може бути обмеження частоти ICMP, а може бути, що два прогони пішли різними шляхами через балансувальник. Я не знаю, що саме, і ти теж не знатимеш. Повтори обидва прогони, перш ніж повірити будь-якому.\nДва проходи з лімітом хопів до одного хоста і хоп, де вони розходяться Два проходи до одного хоста і хоп, де вони розходяться Один зонд на ліміт хопів. Зафарбована клітинка: маршрутизатор надіслав ICMP Time Exceeded і назвав себе. маршрутизатор відповів нічого не повернулося далі тиша 1 2 3 4 5 6 7 8 9 10 11 12 13 14 ліміт хопів у зонді TCP/443 контрольний, відкривається \u0026#8226; \u0026#8226; * \u0026#8226; * \u0026#8226; \u0026#8226; \u0026#8226; \u0026#8226; \u0026#8226; \u0026#8226; * * \u0026#10003; відкрито TCP/445 тестовий, тайм-аут \u0026#8226; \u0026#8226; * \u0026#8226; \u0026#8226; \u0026#8226; \u0026#8226; \u0026#8226; \u0026#8226; \u0026#8226; * * * * хоп 11 відповів одному проходу, а іншому ні Хопи 3, 5, 12 і 13 мовчали на шляху, який явно працює, тож зірочка сама по собі нічого не означає. Хоп 11 відповів контрольному проходу за 26,6\u0026#160;мс, а тестовому не відповів зовсім. Це межа, і адресу їй дає контрольний прохід:\u0026#160;192.0.2.31. Ті самі два прогони поруч. Важить лише клітинка хопу 11, і важить у ній розбіжність: в одному прогоні він відповів, а в іншому ні. Потім порт 25. Тут я зупинився.\n$ python3 hopfind.py 192.0.2.4 25 --max 15 walking to 192.0.2.4 TCP/25 hop limit 1-15 1 192.0.2.4 0.4 ms TCP reset Verdict: a reset came back to a probe with a hop limit of 1. Nothing more than one hop away can have sent it, so check the reply TTL before you believe the host did. Ліміт хопів 1 означає, що пакет помер на моєму власному маршрутизаторі. Він пройшов один хоп. Він не міг пролетіти чотирнадцять. Проте скидання TCP повернулося за 0,4 мс з адресою цілі, і моє ядро слухняно повідомило connection refused. Без заданого ліміту хопів я прочитав би це як «на тому кінці немає поштового сервера» й закрив би заявку.\nЩось за один хоп від мене підробляє скидання для вихідного SMTP і підписує їх адресою цілі. Блокувати вихідний 25 цілком звичайна справа для домашнього маршрутизатора чи провайдера, і робити це скиданням, а не дропом, мабуть, навіть ввічливіший варіант, але скидання несе чужу адресу, а я гадки не мав, що мій так робить. Зловив це саме ліміт хопів, і ніщо інше у відповіді цього б не зробило.\nПомилка на одиницю: де в конвеєрі стоїть список доступу Висновок вище каже, що відкидає хоп 11, бо відповіді припинилися після хопу 10. Обережно з цією арифметикою, бо вона залежить від того, в якому порядку пристрій-порушник виконує дві роботи.\nБільшість обладнання спершу застосовує вхідну політику, а вже потім перевіряє ліміт хопів. Спрацьовує deny, пакет відкидається, і жоден Time Exceeded не генерується, тож пристрій ніколи не з’являється, а тиша починається на його власному номері хопу. Це випадок вище. І він же поширений.\nДеякі платформи обробляють вичерпання ліміту хопів у швидкому шляху ще до оцінки політики. Там пристрій відповідає на зонд, адресований йому, і відкидає лише зонди, націлені далі, тож він з’являється як звичайно, а тиша починається на хоп пізніше.\nЧому хоп-порушника зазвичай не видно: політику оцінюють раніше за перевірку ліміту хопів Усередині хопу, що тебе відкидає, порядок двох перевірок вирішує, що ти бачиш Твій зонд приходить з одним хопом у бюджеті й підпадає під правило deny. Спершу політика: майже всі файрволи й кожен випадок, виміряний у цьому дописі маршрутизатор на хопі N зонд вхідна політика ліміт хопів далі відкинуто, перш ніж хтось гляне на ліміт хопів ICMP не генерується, тож цей маршрутизатор ніколи не підписується під дропом. Твій прохід замовкає\u0026#160;на\u0026#160;хопі\u0026#160;N. Спершу вичерпання: деякі платформи обробляють його у швидкому шляху маршрутизатор на хопі N зонд ліміт хопів вхідна політика далі вичерпано, тож ICMP 11/0 іде назад з адресою цього маршрутизатора Він відповідає за себе й ковтає лише зонди, націлені далі. Твій прохід замовкає з хопу\u0026#160;N+1. Чому хоп, що відкидає, зазвичай лишається невидимим. Майже на всіх файрволах deny оцінюється першим, тож зонда вже немає, перш ніж шлях пересилання помітить, що ліміт хопів вичерпано, і жоден ICMP так і не генерується. На обладнанні, що обробляє вичерпання у швидкому шляху, той самий пристрій відповідає на зонд, адресований йому, і ковтає лише ті, що націлені далі. Тож чесне прочитання «відповіді припиняються після хопу N» таке: відкидає хоп N+1, якщо він викинув твій зонд, перш ніж помітив, що бюджет вичерпано, або сам хоп N, якщо він відповів на адресований йому зонд і ковтнув усе, що націлене далі. Два сусідні пристрої, і прогін, що працює, називає обидва. Наводь адреси, а не номер хопу: номер хопу нічого не означає для людини, яка читає твою заявку, бо вона рахує звідкись інакше.\nTTL відповіді каже, хто насправді відповів Скидання SMTP вище зловив ліміт хопів на шляху туди. Є друга, незалежна перевірка, доступна в кожній відповіді, що повертається назад, і вона нічого не коштує.\nПочаткові значення TTL не стандартизовані, але на практиці їх три:\nПочинається з Типовий відправник 64 Linux, macOS, BSD, illumos, більшість хостів 255 Cisco IOS, Junos, Solaris, власний трафік більшості мережевого обладнання 128 Fisher-Price OS (Windows), яку тобі все одно треба знати, щоб читати відповідь від неї Відніми отриманий TTL від найближчого більшого значення, і отримаєш назад кількість хопів. Відповідь, що прийшла з TTL 50, почалася з 64 і пройшла 14 хопів. Та, що прийшла з TTL 250, почалася з 255 і пройшла 5. ping друкує це без прохання:\nping -c1 192.0.2.4 # ttl=50 → 14 hops away tcpdump -n -v \u0026#39;icmp\u0026#39; # -v prints the ttl of every packet it shows Звідси випливають дві речі. Обидві безкоштовні.\nВідповідь, чия зворотна кількість хопів не збігається з іншими відповідями хоста, надіслав не хост. Якщо echo reply від сервера повертається з 14 хопів, а RST на порт 25 з 1 хопу, RST написав проміжний пристрій. Той самий трюк, що в розділі вище, з іншого кінця, і він працює навіть тоді, коли ти не можеш задати вихідний TTL.\nВідповідь, що почалася з 255, прийшла від мережевого обладнання, а не від сервера. Корисно, коли намагаєшся з’ясувати, хто тобі відмовляє: хост чи маршрутизатор перед ним.\nЩоб побачити це поле в TCP, а не в ICMP, потрібне захоплення трафіку, і фільтр варто запам’ятати:\n# every hop-limit expiry coming back to you, IPv4 and IPv6 tcpdump -n -v \u0026#39;icmp[icmptype] == 11 or icmp6[icmp6type] == 3\u0026#39; # who is resetting you, and from how far tcpdump -n -v \u0026#39;tcp[tcpflags] \u0026amp; tcp-rst != 0\u0026#39; tcpdump друкує вичерпання як ICMP time exceeded in-transit: та сама фраза, що й у стандартах, і та сама подія, яка на платформах, що формулюють це так, з’являється як «TTL expired in transit».\nТой самий трюк нативними інструментами, на п’яти Unix Якщо не хочеш запускати скрипт, нативні інструменти зроблять більшу частину. Просто вони розходяться між собою більше, ніж ти очікуєш. -P зокрема означає три різні речі залежно від того, чий traceroute у тебе в руках, і одна з них тихо зіпсує тобі тест.\nLinux (traceroute 2.1.x) macOS / FreeBSD OpenBSD NetBSD Solaris 11 TCP-зонди -T -P tcp непридатне ні ні ICMP-зонди -I -I -I -I -I UDP на фіксований порт -U -p N -e -p N ні ні ні порт призначення -p N (сталий для TCP) -p N (зростає без -e) -p N (зростає) -p N (зростає) -p N (зростає) що означає -P не використовується протокол зонда номер протоколу, «will not work reliably for most protocols» ставить DF і зондує path MTU пауза між зондами, у секундах потрібні привілеї так, для -T і -I так так так так Кожному з них потрібні raw-сокети, тож кожному потрібні привілеї, хоча macOS і BSD зазвичай постачають traceroute із setuid root, тож sudo перед ним набирати, можливо, не доведеться. Linux так не робить, і Fedora не робить, і це половина причини, чому існує скрипт вище.\nУ цій таблиці три пастки, і я бачив, як кожна з них з’їдала пообіддя.\nНа BSD і macOS -p це базовий порт, який зростає з кожним зондом. Тож traceroute -P tcp -p 445 host перевіряє 445, потім 446, потім 447, і на хопі 10 ти вже питаєш про порт, про який ніхто ніколи не чув. Тобі потрібен ще й -e, який сторінка man називає режимом обходу файрвола і який насправді означає лише «тримай порт на місці»:\nsudo traceroute -P tcp -e -p 445 example.net # macOS, FreeBSD На Linux простий -p робить те саме для методу UDP за замовчуванням, і для сталого UDP-порту потрібен -U -p. Для TCP -T -p уже сталий: сторінка man прямо каже, що «for TCP and others specifies just the (constant) destination port to connect».\nsudo traceroute -T -p 445 example.net # Linux sudo traceroute -U -p 53 example.net # Linux, UDP/53 specifically На Solaris і NetBSD закріпити порт узагалі неможливо, а на Solaris -P це пауза в секундах, тож скопійований рядок команди з Linux відпрацює без помилки й не виміряє нічого з того, про що ти питав. Режиму TCP-зондів у Solaris теж немає. Це випадок, коли тобі потрібен скрипт.\nRedox тут білою вороною, і на нього варто одне речення, бо я чекаю цього питання. Увесь його мережевий інструментарій це netutils: dns, ifconfig, nc, ping, telnetd, wget. Ні traceroute, ні tcpdump, нічим захоплювати трафік, нема нічогісінько. Якщо ящик на Redox це один кінець проблеми, вимірюй з іншого кінця й націль прохід на нього.\nmtr теж заслуговує на згадку, бо робить ту частину з повторами й усередненням, яку таблиці вище змушують тебе робити вручну:\nsudo mtr -T -P 445 --report --report-cycles 20 example.net Запусти це на порт, що не працює, і ще раз на робочий, поруч. Той самий метод, гарніший вивід.\nНіщо з цього не працює, якщо хтось блокує ICMP Кожне вимірювання в цьому дописі складається з ICMP-помилок, що мандрують назад до мене. Заблокуй їх, і вся діагностика гасне, а з нею й чимало іншого.\nПовне блокування ICMP досі подекуди вважають безпековою позицією. Захищати її не можна з 1990-х. Атаки, які воно нібито зупиняє, це ping of death і smurf, і обидві виправили в мережевих стеках, а не на кордоні, і обидві виправили ще до того, як народилися деякі інженери, що досі повторюють цю пораду. Сьогодні повне блокування зупиняє діагностику. І більше нічого.\nRFC 1812 не лишає місця для тлумачень: Time Exceeded це MUST, і стандарт прямо каже, що причина в тому, що на ньому тримається traceroute. Відкинь його, і ти зламав інструмент, який власний документ вимог до маршрутизаторів інтернету називає виправданням самого існування цього повідомлення.\nPath MTU discovery коштує найдорожче. Їй потрібен ICMP 3/4, fragmentation needed, що повертається до відправника. Відфільтруй його, і отримаєш несправність, за якою кожен мережевий інженер хоч раз ганявся: рукостискання завершується, малі передачі працюють, а все, що несе пакет повного розміру, висить вічно. SSH з’єднується, а scp стоїть. Сторінка вантажиться, а картинка так і не приходить. У журналах нічого. Нема що grep\u0026rsquo;ати.\nВ IPv6 це перестає бути справою смаку. RFC 4890 §4.3.1 перелічує повідомлення, які файрвол не сміє відкидати:\nDestination Unreachable (Type 1) - All codes Packet Too Big (Type 2) Time Exceeded (Type 3) - Code 0 only Parameter Problem (Type 4) - Codes 1 and 2 only а щодо Packet Too Big він прямо каже про наслідок: «Effectively, parts of the Internet will become inaccessible.» Маршрутизатори IPv6 не фрагментують. Якщо Packet Too Big не може дістатися відправника, шляху відновлення немає.\nЗасіб контролю тут обмеження частоти, а не дроп. Дозволь тип 3 і тип 11 на вхід, рахуй їх, обмеж приблизно сотнею на секунду, журналюй усе, що понад ліміт, і ти зберіг діагностику, зберіг роботу path MTU discovery і зберіг до краплі той захист, який нібито давало повне правило. Обмежувати, скільки чогось ти приймаєш, це контроль. Відмовлятися від усього й називати це посиленням захисту означає просто відмовлятися, щоб тебе виміряли.\nДля тих, хто керує MSP: якщо лінія твого клієнта відкидає ICMP-помилки, ти відібрав у нього змогу довести, в якій мережі несправність, і в себе теж. Наступного разу, коли несправність сидітиме між двома провайдерами, які обидва кажуть, що в них чисто, ось рахунок за цю політику.\nОкрім echo. Його відкидай. Усе вище стосується ICMP-помилок. Echo це зовсім інший звір, і це єдина частина протоколу, яку я прибрав би з дроту на кордоні.\nПодивися, чого вимагає від нього стандарт. В IPv4 RFC 792 каже про echo request, що «the data received in the echo message must be returned in the echo reply message». IPv6 ще прямолінійніший: RFC 4443 визначає поле як «zero or more octets of arbitrary data», а потім вимагає, щоб воно «MUST be returned entirely and unmodified in the ICMPv6 Echo Reply message».\nПрочитай це як нападник, а не як оператор. Стандарт зобов’язує кожен хост на землі прийняти обраний тобою блок байтів і повернути його тобі назад. Це не побічний ефект. Це обов’язковий, двобічний канал із довільним вмістом, що йде протоколом, який більшість файрволів пропускає без перевірки, а більшість журналювання записує як кількість пакетів, а не як вміст.\nЛюди будують на ньому тунелі вже тридцять років. Loki зробив це в Phrack 49 у 1996 році. Ptunnel пронесе повну TCP-сесію всередині ping і вже два десятиліття за одну команду встановлення пакета. Якщо твоя політика на вихід звучить як «блокувати все, дозволити ICMP, бо мережевикам треба», то в тебе немає політики на вихід. У тебе VPN з додатковими кроками, і трафік виходить так, ніби хтось перевіряє, чи працює інтернет.\nRFC 4890 зі мною не згоден, і це варто сказати прямо, а не цитувати лише ту половину, що мені зручна. §4.3.1 ставить Echo Request і Echo Response до того самого списку «не відкидати», що й помилки. А тепер прочитай обґрунтування, яке він дає:\nFor Teredo tunneling [RFC4380] to IPv6 nodes on the site to be possible, it is essential that the connectivity checking messages are allowed through the firewall.\nЗаявлена причина тримати echo відкритим полягає в тому, що комусь треба збудувати ним тунель крізь твій файрвол. Це мій аргумент, записаний людьми, які доводять протилежне.\nТож політика вузька, а не повна:\n# transit rules. permit the errors, drop the ping ip protocol icmp icmp type { destination-unreachable, time-exceeded, parameter-problem } \\ limit rate 100/second accept ip protocol icmp icmp type { echo-request, echo-reply } drop ip6 nexthdr ipv6-icmp icmpv6 type { destination-unreachable, packet-too-big, \\ time-exceeded, parameter-problem } limit rate 100/second accept ip6 nexthdr ipv6-icmp icmpv6 type { echo-request, echo-reply } drop В IPv6 не перенось цей шаблон на link-local чи на ланцюжок хоста, не зберігши neighbour discovery. Типи від 133 до 137, від nd-router-solicit до nd-redirect, це те, як IPv6 робить роботу, яку в IPv4 робить ARP. Відкинь їх, і сегмент перестане працювати за кілька хвилин, і це не виглядатиме як несправність файрвола. Фільтруй echo на кордоні, а не на дроті між хостом і його власним маршрутизатором.\nЧого це тобі коштує? ping через межу, і більше нічого. Усе в цьому дописі працює далі, бо жодне вимірювання тут не надсилає echo request. hopfind.py проходить TCP й UDP і читає помилки, що повертаються; traceroute -T і -U роблять те саме. Path MTU discovery потребує Packet Too Big, а це помилка. Трюк зі зворотним TTL працює на будь-якій відповіді, а TCP-рукостискання тобі її дасть. Втрачаєш ти лише найменш інформативний інструмент у скрині, а весь цей допис якраз про те, що зупинятися на ping і є проблема.\nМоя власна лінія вже робить саме це, хоча навряд чи навмисно. ping до мого шлюзу за замовчуванням дає 100 % втрат, а ICMP Time Exceeded від того самого шлюзу повертається за 0,3 мс, як показує кожне трасування в цьому дописі. Echo закрито, помилки відкриті. Хто б не випустив цю прошивку, він дійшов правильної відповіді, а я дізнався про це, лише коли пішов шукати.\nТе саме правило, написане один раз Ось несправність, яку я не чекав знайти у власному домі. Публічний DNS-резолвер, пройдений на TCP/443 через обидві родини адрес, з різницею в кілька хвилин.\n$ python3 hopfind.py 192.0.2.53 443 --max 10 walking to 192.0.2.53 TCP/443 hop limit 1-10 1 * 2 * 3 * 4 * 5 * 6 * 7 * 8 * 9 * 10 * Verdict: nothing answered at all, not even the first hop. Нічого взагалі. Жодного хопу. Мій власний маршрутизатор навіть не повідомив про вичерпання, яке мусив згенерувати, те саме вичерпання, про яке він повідомляв за 0,3 мс у кожному іншому проході в цьому дописі, тож дроп стається на хопі 1, ще до того, як перевірка ліміту хопів узагалі запускається, а хоп 1 мій.\nЗі шляхом усе гаразд, і та сама ціль доводить це по UDP:\n$ python3 hopfind.py 192.0.2.53 53 --proto udp --max 10 1 198.51.100.254 0.3 ms ICMP 11/0 time exceeded in-transit 2 198.51.100.133 5.4 ms ICMP 11/0 time exceeded in-transit 3 * 4 198.51.100.167 14.5 ms ICMP 11/0 time exceeded in-transit 5 203.0.113.50 6.3 ms ICMP 11/0 time exceeded in-transit 6 203.0.113.174 5.7 ms ICMP 11/0 time exceeded in-transit 7 203.0.113.201 6.4 ms ICMP 11/0 time exceeded in-transit 8 * Сім хопів чистих відповідей до тієї самої адреси. Тож це не маршрутизація й не ціль: щось на моїй лінії відкидає TCP до цього хоста й пропускає до нього UDP.\nПотім той самий резолвер, той самий порт, через IPv6:\n$ python3 hopfind.py 2001:db8:53::53 443 -6 --max 10 walking to 2001:db8:53::53 TCP/443 hop limit 1-10 1 2001:db8:1:ee:beef:abcd:fec0:2a30 0.5 ms ICMP 3/0 hop limit exceeded in-transit 2 2001:db8:1::15c 24.6 ms ICMP 3/0 hop limit exceeded in-transit 3 * 4 2001:db8:2:200::50 5.5 ms ICMP 3/0 hop limit exceeded in-transit 5 2001:db8:2:2::4 5.7 ms ICMP 3/0 hop limit exceeded in-transit 6 2001:db8:2:991:: 16.6 ms ICMP 3/0 hop limit exceeded in-transit 7 2001:db8:53::53 5.7 ms connected Verdict: TCP/443 is open. It answered at hop 7. Прямо наскрізь. Сім хопів, жодної драми. Той самий сервіс, той самий порт, той самий намір, а правило існує лише в одній родині адрес.\nХто б не писав це правило, він написав його для IPv4 і так і не написав двійника. Гадки не маю, чого воно мало досягти, моя здогадка: щось про те, щоб тримати DNS локально, але хай що це було, воно досягає цього на половині трафіку відтоді, як на цій лінії є IPv6. Якщо воно там із причини, воно не працює. Якщо без причини, його там не має бути.\nЦе буденна версія проблеми dual-stack, і вона значно поширеніша за суперечки про те, чи взагалі розгортати IPv6. Два зводи правил. Доглянутий один.\nСкрипт повністю Без залежностей, без встановлення, нічого, крім стандартної бібліотеки. Python 3.6 або новіший, а на Linux жодних привілеїв узагалі.\nДва класи це вся історія переносимості. ErrorQueue це шлях Linux: увімкни IP_RECVERR на сокеті, а після невдачі зонда прочитай MSG_ERRQUEUE і витягни адресу маршрутизатора зі структури sock_extended_err, до якої ядро її додає. RawIcmp для всього іншого: відкрий raw ICMP-сокет, читай усе, що приходить, бери адресу джерела з пакета. Першому нічого не треба, другому треба root, а решті програми байдуже, який із них їй дали.\nОдну деталь варто підкреслити, бо саме вона відрізняє правильну відповідь від правдоподібної. У probe() чергу помилок вичитують до того, як дивляться на SO_ERROR. ICMP-помилка доходить до TCP-сокета як звичайний errno, ICMP 3/3 port unreachable приходить як ECONNREFUSED, точно як справжнє скидання, тож якби спершу перевіряти SO_ERROR, підроблене скидання SMTP вище в цьому дописі було б звітовано як чесна відмова з того кінця. Прочитай спершу чергу, і ee_origin скаже тобі, що говорив маршрутизатор.\n#!/usr/bin/env python3 \u0026#34;\u0026#34;\u0026#34;hopfind - work out how many hops away the thing blocking your port is. Walks the IPv4 TTL, or the IPv6 hop limit, up from 1 and records which router answers at each step - using the protocol and port you actually care about instead of traceroute\u0026#39;s default UDP high ports. Run it twice. Once against something that works, once against the port that does not. The hop where the answers stop is the device dropping you, and the run that works gives you its address. python3 hopfind.py example.net 445 # the port under suspicion python3 hopfind.py example.net 443 # the reference run python3 hopfind.py example.net 53 --proto udp python3 hopfind.py 2001:db8::1 443 -6 On Linux this needs no privileges at all: IP_RECVERR and IPV6_RECVERR hand the ICMP errors back on the ordinary socket that caused them. On macOS, the BSDs and Solaris the errors have to be read off a raw ICMP socket, which means root. Written for https://blogs.damiendye.uk/networking/how-far-away-is-the-firewall/ Public domain. Do what you like with it. \u0026#34;\u0026#34;\u0026#34; import argparse import errno import os import select import socket import struct import sys import time # Linux socket options. Absent from the socket module on some builds, so they # are spelled out rather than looked up. IP_RECVERR = 11 IPV6_RECVERR = 25 # ee_origin values from linux/errqueue.h. Anything else means the errno came # from the local stack rather than from a router. SO_EE_ORIGIN_ICMP = 2 SO_EE_ORIGIN_ICMP6 = 3 ICMP_V4 = { (11, 0): \u0026#34;time exceeded in-transit\u0026#34;, (11, 1): \u0026#34;fragment reassembly time exceeded\u0026#34;, (3, 0): \u0026#34;net unreachable\u0026#34;, (3, 1): \u0026#34;host unreachable\u0026#34;, (3, 2): \u0026#34;protocol unreachable\u0026#34;, (3, 3): \u0026#34;port unreachable\u0026#34;, (3, 4): \u0026#34;fragmentation needed\u0026#34;, (3, 9): \u0026#34;net administratively prohibited\u0026#34;, (3, 10): \u0026#34;host administratively prohibited\u0026#34;, (3, 13): \u0026#34;communication administratively prohibited\u0026#34;, (5, 0): \u0026#34;redirect\u0026#34;, } ICMP_V6 = { (3, 0): \u0026#34;hop limit exceeded in-transit\u0026#34;, (3, 1): \u0026#34;fragment reassembly time exceeded\u0026#34;, (1, 0): \u0026#34;no route to destination\u0026#34;, (1, 1): \u0026#34;communication administratively prohibited\u0026#34;, (1, 3): \u0026#34;address unreachable\u0026#34;, (1, 4): \u0026#34;port unreachable\u0026#34;, (2, 0): \u0026#34;packet too big\u0026#34;, } def describe(family, icmp_type, icmp_code): table = ICMP_V4 if family == socket.AF_INET else ICMP_V6 return table.get((icmp_type, icmp_code), \u0026#34;unrecognised\u0026#34;) def is_expiry(family, icmp_type): \u0026#34;\u0026#34;\u0026#34;Was this the router saying \u0026#39;your hop budget ran out here\u0026#39;?\u0026#34;\u0026#34;\u0026#34; return icmp_type == (11 if family == socket.AF_INET else 3) class ErrorQueue: \u0026#34;\u0026#34;\u0026#34;Linux. The kernel reports the ICMP error on the socket that provoked it.\u0026#34;\u0026#34;\u0026#34; def arm(self, sock, family): if family == socket.AF_INET: sock.setsockopt(socket.IPPROTO_IP, IP_RECVERR, 1) else: sock.setsockopt(socket.IPPROTO_IPV6, IPV6_RECVERR, 1) def extra_readers(self): return [] def collect(self, sock, family): try: _, ancillary, _, _ = sock.recvmsg(0, 1024, socket.MSG_ERRQUEUE) except OSError: return None wanted = (socket.IPPROTO_IP, IP_RECVERR) if family == socket.AF_INET \\ else (socket.IPPROTO_IPV6, IPV6_RECVERR) for level, kind, data in ancillary: if (level, kind) != wanted or len(data) \u0026lt; 16: continue # struct sock_extended_err, then the sockaddr of the router that # sent the error - SO_EE_OFFENDER in the kernel headers. _, origin, icmp_type, icmp_code = struct.unpack_from(\u0026#34;=IBBB\u0026#34;, data, 0) if origin not in (SO_EE_ORIGIN_ICMP, SO_EE_ORIGIN_ICMP6): return None addr = None if len(data) \u0026gt;= 24: offender_family, = struct.unpack_from(\u0026#34;=H\u0026#34;, data, 16) if offender_family == socket.AF_INET: addr = socket.inet_ntoa(data[20:24]) elif offender_family == socket.AF_INET6 and len(data) \u0026gt;= 40: addr = socket.inet_ntop(socket.AF_INET6, data[24:40]) return addr, icmp_type, icmp_code return None class RawIcmp: \u0026#34;\u0026#34;\u0026#34;macOS, the BSDs, illumos, Solaris. Read the ICMP off a raw socket, as root.\u0026#34;\u0026#34;\u0026#34; def __init__(self, family): proto = socket.IPPROTO_ICMP if family == socket.AF_INET else socket.IPPROTO_ICMPV6 self.sock = socket.socket(family, socket.SOCK_RAW, proto) self.sock.setblocking(False) def arm(self, sock, family): pass def extra_readers(self): return [self.sock] def collect(self, sock, family): try: packet, peer = self.sock.recvfrom(1500) except OSError: return None if family == socket.AF_INET: # BSD raw sockets hand back the IP header too. header_len = (packet[0] \u0026amp; 0x0F) * 4 packet = packet[header_len:] if len(packet) \u0026lt; 2: return None return peer[0], packet[0], packet[1] def probe(dest, port, proto, family, hop_limit, timeout, listener): \u0026#34;\u0026#34;\u0026#34;One probe at one hop limit. Returns (icmp, socket_state, note).\u0026#34;\u0026#34;\u0026#34; kind = socket.SOCK_STREAM if proto == \u0026#34;tcp\u0026#34; else socket.SOCK_DGRAM sock = socket.socket(family, kind) if family == socket.AF_INET: sock.setsockopt(socket.IPPROTO_IP, socket.IP_TTL, hop_limit) else: sock.setsockopt(socket.IPPROTO_IPV6, socket.IPV6_UNICAST_HOPS, hop_limit) listener.arm(sock, family) sock.setblocking(False) try: if kind == socket.SOCK_DGRAM: sock.connect((dest, port)) sock.send(b\u0026#34;\\x00\u0026#34; * 32) else: try: sock.connect((dest, port)) except BlockingIOError: pass except OSError as exc: sock.close() return None, None, \u0026#34;local error: %s\u0026#34; % exc.strerror readers = [sock] + listener.extra_readers() writers = [] if kind == socket.SOCK_DGRAM else [sock] deadline = time.time() + timeout icmp = state = None while time.time() \u0026lt; deadline: ready_r, ready_w, ready_x = select.select( readers, writers, [sock], max(0.01, deadline - time.time())) if not (ready_r or ready_w or ready_x): continue # Drain the error queue first, always. An ICMP error reaches a TCP # socket as a plain errno, so SO_ERROR on its own cannot tell you # whether a router spoke or the far end did. icmp = listener.collect(sock, family) if icmp: break if ready_w: err = sock.getsockopt(socket.SOL_SOCKET, socket.SO_ERROR) if err == 0: state = \u0026#34;connected\u0026#34; elif err == errno.ECONNREFUSED: state = \u0026#34;TCP reset\u0026#34; else: state = os.strerror(err) break sock.close() if icmp or state: return icmp, state, None return None, None, \u0026#34;no reply\u0026#34; def walk(dest, port, proto, family, first, last, timeout, listener): print(\u0026#34;walking to %s %s/%d hop limit %d-%d\u0026#34; % (dest, proto.upper(), port, first, last)) answered = [] for hop in range(first, last + 1): started = time.time() icmp, state, _ = probe(dest, port, proto, family, hop, timeout, listener) rtt = (time.time() - started) * 1000 if icmp: addr, icmp_type, icmp_code = icmp print(\u0026#34; %2d %-39s %7.1f ms ICMP %d/%d %s\u0026#34; % (hop, addr or \u0026#34;?\u0026#34;, rtt, icmp_type, icmp_code, describe(family, icmp_type, icmp_code))) if is_expiry(family, icmp_type): answered.append((hop, addr)) else: return answered, hop, \u0026#34;icmp-reject\u0026#34;, addr elif state: print(\u0026#34; %2d %-39s %7.1f ms %s\u0026#34; % (hop, dest, rtt, state)) return answered, hop, state, dest else: print(\u0026#34; %2d *\u0026#34; % hop) return answered, None, \u0026#34;silent\u0026#34;, None def main(): parser = argparse.ArgumentParser(description=__doc__.splitlines()[0]) parser.add_argument(\u0026#34;host\u0026#34;) parser.add_argument(\u0026#34;port\u0026#34;, nargs=\u0026#34;?\u0026#34;, type=int, default=443) parser.add_argument(\u0026#34;--proto\u0026#34;, choices=(\u0026#34;tcp\u0026#34;, \u0026#34;udp\u0026#34;), default=\u0026#34;tcp\u0026#34;) parser.add_argument(\u0026#34;--first\u0026#34;, type=int, default=1, help=\u0026#34;hop limit to start at\u0026#34;) parser.add_argument(\u0026#34;--max\u0026#34;, type=int, default=20, help=\u0026#34;hop limit to stop at\u0026#34;) parser.add_argument(\u0026#34;--wait\u0026#34;, type=float, default=2.0, help=\u0026#34;seconds to wait per hop\u0026#34;) parser.add_argument(\u0026#34;-6\u0026#34;, dest=\u0026#34;v6\u0026#34;, action=\u0026#34;store_true\u0026#34;, help=\u0026#34;force IPv6\u0026#34;) parser.add_argument(\u0026#34;-4\u0026#34;, dest=\u0026#34;v4\u0026#34;, action=\u0026#34;store_true\u0026#34;, help=\u0026#34;force IPv4\u0026#34;) args = parser.parse_args() family = socket.AF_INET6 if args.v6 else socket.AF_INET kind = socket.SOCK_STREAM if args.proto == \u0026#34;tcp\u0026#34; else socket.SOCK_DGRAM dest = socket.getaddrinfo(args.host, args.port, family, kind)[0][4][0] if sys.platform.startswith(\u0026#34;linux\u0026#34;): listener = ErrorQueue() else: try: listener = RawIcmp(family) except PermissionError: sys.exit(\u0026#34;%s cannot report ICMP errors on a normal socket, so this \u0026#34; \u0026#34;needs a raw one. Run it as root.\u0026#34; % sys.platform) answered, stop, why, who = walk(dest, args.port, args.proto, family, args.first, args.max, args.wait, listener) what = \u0026#34;%s/%d\u0026#34; % (args.proto.upper(), args.port) print() if why == \u0026#34;connected\u0026#34;: print(\u0026#34;Verdict: %s is open. It answered at hop %d.\u0026#34; % (what, stop)) elif why == \u0026#34;icmp-reject\u0026#34;: print(\u0026#34;Verdict: %s at hop %d is refusing %s on policy, and is honest \u0026#34; \u0026#34;enough to say so.\u0026#34; % (who, stop, what)) elif why == \u0026#34;TCP reset\u0026#34;: print(\u0026#34;Verdict: a reset came back to a probe with a hop limit of %d.\u0026#34; % stop) print(\u0026#34; Nothing more than %s away can have sent it, so check the reply\u0026#34; % (\u0026#34;one hop\u0026#34; if stop == 1 else \u0026#34;%d hops\u0026#34; % stop)) print(\u0026#34; TTL before you believe the host did.\u0026#34;) elif answered: last_hop, last_addr = answered[-1] print(\u0026#34;Verdict: answers stop after hop %d (%s).\u0026#34; % (last_hop, last_addr)) print(\u0026#34; Whatever swallows %s is hop %d.\u0026#34; % (what, last_hop + 1)) print(\u0026#34; Walk a port that works and read off the address at hop %d.\u0026#34; % (last_hop + 1)) else: print(\u0026#34;Verdict: nothing answered at all, not even the first hop. Either the\u0026#34;) print(\u0026#34; first hop is the one dropping you, or the ICMP errors are being\u0026#34;) print(\u0026#34; filtered on the way back. Walk a port that works to tell those\u0026#34;) print(\u0026#34; two apart.\u0026#34;) if __name__ == \u0026#34;__main__\u0026#34;: main() Чого це не може тобі сказати Метод дешевий і чесний щодо більшості речей, але це не сканер топології. Будь прямим у заявці щодо того, що ти насправді виміряв.\nРізні п’ятірки параметрів можуть іти різними шляхами. ECMP хешує порти джерела й призначення у вибір наступного хопу, тож два прогони на двох різних портах зовсім не гарантовано проходять через ті самі маршрутизатори, і це одна з двох речей, що можуть пояснити, чому хоп 5 вище відповів одному прогону й мовчав в іншому. Повтори обидва прогони. Межа, яка рухається, не доведена.\nMPLS ховає хопи. Ядро з комутацією міток може виглядати як один хоп або взагалі як жоден. Будь-який підрахунок через чужу магістраль це нижня межа.\nГенерація ICMP майже скрізь обмежена за частотою. Зондуй швидше, ніж маршрутизатор відповідатиме, і ти сам наробиш собі зірочок. hopfind.py надсилає один зонд на хоп і чекає; це навмисно.\nЗворотний шлях не мусить збігатися з прямим. Кількість хопів туди не дорівнює кількості хопів назад, а арифметика зворотного TTL вимірює лише зворотну ділянку.\nAnycast означає, що хост на хопі N може двічі не бути тим самим ящиком. Особливо публічні резолвери й CDN.\nЗавершене рукостискання не означає, що сесія виживе. Stateful-файрвол може пропустити SYN і відкинути те, що йде далі, після перевірки. Якщо з’єднання відкривається, а потім помирає, це не той інструмент: іди й захоплюй трафік.\nТи знайшов перший пристрій, що відкидає, а не той, до якого хтось признається. У CGN чи мережі оператора адреса на хопі N+1 може бути одним із кількох ящиків за однією адресою. Наводити її все одно правильно, бо це факт про шлях.\nДля чого це насправді Щоб покласти край відбиванню. У цьому вся віддача від вправи.\n«Порт 445 десь заблокований» це запрошення повернути заявку. А це ні:\nTCP/445 до 192.0.2.4 мовчки відкидається на хопі 11, адреса 192.0.2.31. Хоп 11 відповідає ICMP Time Exceeded на TCP/443 тим самим шляхом за 26 мс і нічого не відповідає на 445, тож дроп це рішення політики на цьому пристрої, а не збій маршрутизації. Десять хопів перед ним чисті. Відтворено чотири рази за двадцять хвилин, з непривілейованого shell, скрипт додано.\nТаке ніхто не повертає. Тут названо пристрій, сказано, що він зробив, сказано, чого він не зробив, і показано розрахунки. Чи захочуть вони це змінити, все одно вирішувати їм. Але тиждень пінг-понгу скінчився, і на це пішло чотири команди.\nУсе в цьому вийшло з 8-бітного поля, яке в 1981 році визначили як таймер, ні разу так і не використали як таймер, і яке тихо перетворює «десь» на адресу.\nВарто навчитися його читати.\n","permalink":"https://blogs.damiendye.uk/uk/networking/how-far-away-is-the-firewall/","summary":"«Порт 445 десь заблокований» не є діагнозом, і саме тому заявки про файрвол тиждень відбиваються між тобою і твоїм провайдером. Кожен маршрутизатор на шляху винен тобі ICMP Time Exceeded, коли твій бюджет хопів вичерпано, і це перетворює тайм-аут на відстань. Я покроково підняв TTL на власній лінії й знайшов три несправності, про які не знав: дроп SMB за одинадцять хопів, підроблені скидання SMTP за один хоп і правило IPv4 без двійника в IPv6.","title":"Файрвол за одинадцять хопів звідси"},{"content":"Є історія, яку британська галузь розповідає про IPv6, і звучить вона так. Перехід складний. Обладнання старе. Клієнти про це не просять. Грошей у цьому немає. Колись, коли бізнес-обґрунтування зміниться, ми до цього дійдемо.\nКожна частина цієї історії є брехнею, яку галузь розповідає сама собі, щоб не довелося нічого робити.\nIPv6 специфікували в грудні 1995 року. Я потрапив на нього через 6bone, експериментальний полігон, який переносив його ще до того, як за це взявся справжній інтернет, і запускав і стек Linux, і стек Microsoft Research на Windows XP, щоб побачити, чим вони відрізняються. Доступ мені давав Hurricane Electric.\n6bone вимкнули 6 червня 2006 року, тож я перейшов на автоматичне тунелювання 6to4, а пізніше на тунель Hurricane Electric, досі безкоштовний, і вони маршрутизують тобі /48, варто лише попросити. Нативний IPv6 з’явився в мене вдома у 2017 році, коли я змінив провайдера на Zen.\nТож майже двадцять років мій IPv6 надходив від американської транзитної компанії, яка роздавала його задарма, а не від будь-якого з британських провайдерів, яким я платив. Hurricane Electric роздавав маршрутизовані /48 кожному, хто хотів. Мій власний провайдер продав би мені статичну IPv4-адресу за п’ятірку на місяць.\nРешту кажуть дати. IETF прибив 6bone у 2006 році й визнав застарілими anycast-ретранслятори 6to4 у травні 2015 року, назвавши механізм «unsuitable for widespread deployment and use in the Internet». Я пережив два офіційні механізми переходу, чекаючи, поки британський провайдер видасть мені адресу. Того дня, коли 6bone закрили, тридцять сім із сорока британських провайдерів на діаграмі нижче ще не попросили в реєстру виділення. Двадцять два з них, більше половини, не попросили аж до 2015 року чи пізніше, того самого року, коли IETF відмовився і від 6to4.\nВін увімкнений за замовчуванням у кожній операційній системі, яку хтось використовує, починаючи з Windows Vista у 2007 році. У реєстрі він нічого додатково не коштує. Найбільший провайдер, який будь-коли за це брався в цій країні, завершив роботу за три роки з командою, що вмістилася б у переговорній кімнаті, і отримав за це нагороду.\nТридцять років після специфікації. Чотирнадцять років після того дня, коли інтернет увімкнув його назавжди. А відповіддю в цій країні стало навмисно зламати інтернет, обгорнути зламане місце ще більшою кількістю механізмів і виставити клієнтові рахунок за незручності.\nЦе не проблема вартості. Це проблема «лінь возитися», і вона триває вже двадцять років.\nЩо я виміряв і як Усе нижче або чужа робота з посиланням, або число, яке я отримав сам. Де воно моє, скрипт, який його порахував, лежить в архіві нижче й запускався саме в опублікованому вигляді. Єдиний виняток становлять загальні кількості адрес, і як їх отримано, я пояснюю в застереженнях. Чотири публічні джерела, усі безкоштовні: файли делегування реєстрів, дамп таблиці маршрутизації RIPE, база даних RIPE і DNS. Де я брав вибірку замість того, щоб виміряти все, я так і кажу.\nЧисла маршрутизації беруться з двох наборів публічних файлів.\nПерший набір становлять файли делегування, по одному на кожен регіональний реєстр, де перелічено кожен блок адрес і кожен номер AS, які цей реєстр видав, країну, на яку їх зареєстровано, і непрозорий ідентифікатор організації, що їх тримає. Файл RIPE охоплює Європу й Близький Схід, і саме він важливий для Великої Британії, але кілька десятків зареєстрованих у Британії номерів AS лежать натомість у файлах ARIN і APNIC, а для порівняння далі потрібні всі. Мої згенеровано 26 і 27 серпня 2026 року.\nДругий набір дає Routing Information Service від RIPE: дамп глобальної таблиці маршрутизації, де перелічено кожен префікс у BGP і номер AS, що його анонсує. IPv4 та IPv6 ідуть окремими файлами. Мій згенеровано о 18:06 UTC 27 серпня 2026 року.\nСклади їх разом, і можна відповісти на запитання, яке ніхто в британській галузі не хоче чути вголос: скільки з мереж, зареєстрованих у цій країні, справді ввімкнули IPv6?\n\u0026#8615; Скрипти, готові до запуску ipv6-uk-2026-scripts.zip · 10 kB Візьми номери AS, зареєстровані на GB, з файлів делегування, візьми кожен номер AS, що є джерелом якогось префікса, з дампів RIS, і порівняй ці два списки через comm окремо для кожного сімейства адрес. Так виходить перша таблиця нижче. Одну пастку варто назвати: сортуй лексично, а не через sort -n. comm порівнює рядки, і числово відсортований вхід мовчки дає неправильну відповідь замість помилки, яку ти б помітив.\nЗаміни GB на код будь-якої іншої країни, і отримаєш рядок цієї країни в таблиці порівняння далі. 05-country-row.sh робить саме це.\nЧисла на рівні організацій використовують восьме поле, тобто непрозорий дескриптор реєстру для облікового запису, що тримає кожен ресурс. Тут я лишаюся лише з файлом RIPE: дескриптори локальні для кожного реєстру, тож зшивши п’ять файлів, я порахував би ту саму компанію двічі, а не об’єднав би її. Британські організації є членами RIPE, тож RIPE і є там, де вони. Ось скільки з них мають номер AS і жодного IPv6:\n03-org-no-ipv6.sh їх рахує. А 04-silent-holders.py найважливіший. Організації, які мають IPv6, працюють у BGP і не анонсують нічого з нього.\nЧотири застереження перед числами, бо вони важливі, і я волію сказати їх сам, ніж почути їх у свій бік.\nДескриптори організацій прив’язані до облікового запису в реєстрі, тож компанія з кількома обліковими записами рахується більше одного разу.\nАнонсувати префікс IPv6 у BGP не означає видати IPv6 клієнтові. Це підлога, а не стеля. Мережа, яка нічого не анонсує, точно його не розгорнула. Мережа, яка щось анонсує, все ще може на ньому просто сидіти.\nЗагальні кількості адрес згортають префікси, що перекриваються. Мережа, яка анонсує /16 разом із чотирма /17 з нього, анонсує 65 536 адрес, а не 196 608, і наївний підрахунок префіксів роздуває великих власників у два-три рази. Перед підсумовуванням я використовую ipaddress.collapse_addresses з Python.\nСписок із п’ятдесяти вебсайтів далі є вибіркою, яку я склав вручну, а не виміром усієї країни. Інші п’ятдесят дали б іншу частку. Вона ілюструє закономірність, а не доводить пропорцію, і я називаю ті, про які говорю, по ходу.\nПерші два з цих застережень роблять числа маршрутизації м’якшими до галузі, ніж правда.\nПідрахунок Британські номери AS і скільки з них несуть IPv6 Британські мережі в глобальній таблиці маршрутизації, 27 серпня 2026 Джерело: файл делегування RIPE NCC і дамп таблиці маршрутизації RIPE RIS зареєстровані у Британії 3106 видимі в таблиці маршрутизації 2248 анонсують IPv4 2078 анонсують IPv6 1048 IPv4 і зовсім без IPv6 1200 57,7 % живих британських мереж З цих 1200 аж\u0026#160;463 тримають простір IPv6, який реєстр їм уже видав і ніколи не анонсували з нього жодного префікса. Ще 1113 британських організацій із номером AS узагалі ніколи не просили IPv6, хоча він нічого не коштує понад членство, за яке вони вже платять. Кожен номер AS, зареєстрований на британську організацію, виміряний відносно глобальної таблиці маршрутизації 27 серпня 2026 року. Розрив праворуч і є всім аргументом: 1200 британських мереж працюють в інтернеті без жодного IPv6, і 463 з них тримають виданий реєстром простір IPv6, який ніколи не анонсували. Номери AS, зареєстровані на британські організації 3106 Видимі в глобальній таблиці маршрутизації 2248 Анонсують IPv4 2078 Анонсують IPv6 1048 Анонсують IPv4 і жодного IPv6 1200: 57,7 % Майже шість із десяти живих британських мереж не мають IPv6 узагалі. Не частково. Не за прапорцем. Не в лабораторії. Жодного префікса.\nТепер частина, яка закриває аргумент про вартість назавжди.\nІз 2363 британських організацій, що мають номер AS, 1113, тобто 47,1 %, не мають жодного виділення IPv6. Вони ніколи не просили його в реєстру.\nЧленство в RIPE NCC коштує 1800 EUR на рік у 2026 році, фіксовано, і цей внесок покриває твої виділення. IPv6 /29 дає тобі 524 288 підмереж розміром із весь інтернет IPv4. Він безкоштовний у межах членства, за яке ці організації вже платять, і надходить за пару днів.\nПоловина з них так і не заповнила форму.\nА з тих, хто заповнив, 463 британські організації мають простір IPv6, щодня анонсують світові IPv4 і не анонсують жодного IPv6. Це 44,7 % британських власників IPv6, які працюють у BGP.\nПеречитай це ще раз, бо тут увесь допис в одному реченні. Вони попросили адреси. Їм дали адреси. Вони внесли їх у таблицю. А потім нікому не захотілося вбити їх у роутер.\nГрошима цього не пояснити. Ніхто нічого не витратив. Немає рахунку, немає закупівлі, немає бізнес-обґрунтування, немає запиту на капітальні витрати. Є безкоштовна річ, що лежить в обліковому записі реєстру, і інженерний відділ, який за чотирнадцять років так і не відкрив тікет.\nХто в цьому списку Ось найбільші британські мережі, що анонсують IPv4 і жодного IPv6, за обсягом адресного простору, який вони справді анонсують, станом на 27 серпня 2026 року. Імена взято з бази даних RIPE, яка скаже тобі, хто тримає будь-яку з них:\ncurl -s https://rest.db.ripe.net/ripe/aut-num/AS15914.json \\ | python3 -c \u0026#39;import sys,json; a=json.load(sys.stdin)[\u0026#34;objects\u0026#34;][\u0026#34;object\u0026#34;][0][\u0026#34;attributes\u0026#34;][\u0026#34;attribute\u0026#34;]; print(next(x[\u0026#34;value\u0026#34;] for x in a if x[\u0026#34;name\u0026#34;]==\u0026#34;org\u0026#34;))\u0026#39; Найбільші британські мережі без IPv6 Найбільші британські мережі з IPv4 і без IPv6, 27 серпня 2026 IPv4-адреси, анонсовані в BGP, префікси, що перекриваються, згорнуто. Імена з бази даних RIPE. 0 тис. 50 тис. 100 тис. 150 тис. 200 тис. Vodafone Limited AS25310 229 376 Nationwide Building Society AS8698 131 072 British Airways plc AS15914 131 072 Convergence Group (Metronet) AS42973 94 976 Rackspace Ltd AS24867 86 016 Lloyds Banking Group AS49758 81 920 QinetiQ Limited AS24775 69 632 Barclays Bank plc AS12701 68 608 MUFG Securities EMEA AS8651 65 792 University of Warwick AS201773 65 792 NatWest Markets plc AS21054 65 536 PricewaterhouseCoopers Services AS21296 65 536 London Borough of Hackney AS39400 65 536 Wireless Logic Limited AS51320 39 424 Разом британські мережі без IPv6 сидять на\u0026#160;4 232 232 IPv4-адресах. Barclays тримає 141.228.0.0/16 з серпня 1990 року. Чотирнадцять найбільших британських мереж, що анонсували IPv4 і жодного IPv6 27 серпня 2026 року, за адресним простором, який вони справді анонсують. Префікси, що перекриваються, згорнуто перед підсумовуванням. Подивися на цей список і спробуй вимовити слова «бар’єр вартості» без сміху.\nЧотири клірингові банки. Глобальна аудиторська фірма, весь продукт якої полягає в тому, щоб казати іншим, як вести їхні справи. Компанія оборонних технологій. Хостинг-провайдер, клієнти якого платять йому саме за те, щоб він це знав. Бізнес зв’язку для інтернету речей, що продає SIM-картки, без IPv6.\nРазом британські мережі, що не анонсують IPv6, сидять на 4 232 232 IPv4-адресах. Ринок передачі адрес у першій половині 2026 року в середньому тримався на рівні 20,04 $ за адресу, тож це запас вартістю десь понад вісімдесят мільйонів доларів. І це справжня причина, чому ніхто з них не зрушив: вони багаті на адреси, тож дефіцит є чиєюсь іншою проблемою, а довгострокова сантехніка інтернету не є нічиєю роботою зокрема.\nЦе не стратегія. Це зручність.\nФайл делегування містить дату, коли видали кожен блок, тож можна точно побачити, наскільки зручно:\ngrep -E \u0026#39;\\|ipv4\\|(141\\.228|155\\.131|155\\.136|161\\.2)\\.0\\.0\\|\u0026#39; \\ delegated-ripencc-extended-latest | cut -d\u0026#39;|\u0026#39; -f4,5,6 Barclays тримає 141.228.0.0/16 від 6 серпня 1990 року. Nationwide і NatWest узяли свої в листопаді 1991 року, з різницею в чотири дні. British Airways отримала 161.2.0.0/16 у квітні 1992 року. Це блоки класу B з часів до появи вебу, роздані тоді, коли адреси були безкоштовні й ніхто їх не рахував.\nКожен, хто прийшов після них, за це платить. AWS почала брати плату 0,005 $ на годину за кожну публічну IPv4-адресу з 1 лютого 2024 року, тобто 43,80 $ на рік за кожну, і прямо сказала чому: вартість придбання однієї «has risen more than 300% over the past 5 years.» Дефіцит реальний, і він має ціну. Просто платять її не ті, хто тримає чотири мільйони адрес, отриманих за так у 1991 році.\nЯк ми виглядаємо поруч із подібними країнами Два числа на країну. Перше показує частку людей, які доходять до Google через нативний IPv6, це вимір Google станом на 25 серпня 2026 року. Друге показує частку живих мереж країни, що анонсують префікс IPv6, і це моє, з тих самих файлів, що й вище. Я обмежився розвиненими економіками. Порівняння з країнами, які отримали інтернет пізно, нічого не каже про нас. Упорядковано за людьми.\nКраїна Користувачі на IPv6 Мережі з IPv6 Живі мережі Франція 85,6 % 48,5 % 1368 Німеччина 76,6 % 63,9 % 2291 Бельгія 72,8 % 45,8 % 273 Сполучені Штати 56,6 % 25,9 % 18 453 Японія 56,1 % 56,4 % 721 Велика Британія 53,7 % 42,3 % 2078 Норвегія 52,6 % 66,9 % 278 Нідерланди 51,9 % 61,8 % 1023 Канада 43,6 % 33,1 % 1578 Ірландія 38,1 % 41,5 % 195 Австралія 37,2 % 26,3 % 1652 Швеція 36,1 % 53,6 % 642 Південна Корея 18,1 % 5,3 % 916 Італія 17,6 % 35,8 % 1078 Іспанія 13,3 % 26,7 % 934 Шосте місце з п’ятнадцяти. У Франції на IPv6 на дві третини більше людей, ніж у нас, з тим самим європейським ланцюгом постачання, з тими самими виробниками обладнання і з тими самими клієнтами, які кажуть їм, що ніхто про це не просить. Німеччина випереджає нас на двадцять три пункти за користувачами й на двадцять два пункти за мережами.\nДва стовпці з відсотками між собою не погоджуються, і в цій розбіжності вся історія.\nКористувачі на IPv6 проти мереж з IPv6, п’ятнадцять розвинених економік Люди на IPv6 проти мереж, що несуть IPv6 Вимір користувачів Google, 25 серпня 2026, проти мого підрахунку живих мереж з префіксом IPv6, 27 серпня 2026. частка людей частка мереж Франція 85,6 % 48,5 % Німеччина 76,6 % 63,9 % Бельгія 72,8 % 45,8 % Сполучені Штати 56,6 % 25,9 % Японія 56,1 % 56,4 % Велика Британія 53,7 % 42,3 % Норвегія 52,6 % 66,9 % Нідерланди 51,9 % 61,8 % Канада 43,6 % 33,1 % Ірландія 38,1 % 41,5 % Австралія 37,2 % 26,3 % Швеція 36,1 % 53,6 % Південна Корея 18,1 % 5,3 % Італія 17,6 % 35,8 % Іспанія 13,3 % 26,7 % 0 % 20 % 40 % 60 % 80 % 100 % Довга синя смуга над короткою рожевою означає, що роботу зробили три чи чотири оператори, а решта країни ні. Таку форму мають Франція, Бельгія, Сполучені Штати й Велика Британія. Норвегія, Швеція і Японія не мають. Ті самі п\u0026rsquo;ятнадцять країн за обома вимірами, упорядковані за часткою людей, що користуються IPv6. Де смуга мереж значно коротша за смугу користувачів, кілька великих операторів тягнуть на собі країну, а більше ніхто не потурбувався. Така форма у Сполучених Штатів, Бельгії, Франції і Великої Британії. Відсоток користувачів у країні визначають три чи чотири компанії. Відсоток мереж визначають усі інші. Коли перший високий, а другий низький, це означає, що великі мережі доступу зробили роботу, а решта країни проїхалася на них зайцем.\nНайочевидніший випадок становлять Сполучені Штати: 56,6 % людей на IPv6 і лише 25,9 % мереж. Кабельні й мобільні оператори тягнуть майже всіх. Інші вісімнадцять тисяч американських мереж не зробили нічого.\nУ нас той самий фокус із меншими числами: 53,7 % користувачів проти 42,3 % мереж. Ці 53,7 % не є національним досягненням. Це Sky і BT, а всі інші в межах похибки округлення.\nНорвегія і Швеція дають чесну протилежну форму: менше користувачів на IPv6, ніж у нас, більше мереж, що його несуть. Більша частина їхньої галузі справді зробила роботу, і відстають там споживчі провайдери, а не галузь.\nІ один рядок заслуговує на уважніший погляд, бо саме за нього хапаються, коли хочуть почуватися краще щодо нас.\nПівденна Корея найгірша країна в цьому списку, і з великим відривом. Із 916 живих корейських мереж IPv6 анонсують 61. Шістдесят одна.\nОдин із найшвидших домашніх широкосмугових доступів на землі, чипова галузь, що друкує гроші, і 94,7 % мереж так його й не ввімкнули. Три великі оператори, KT, SK Broadband і LG U+, усі його анонсують, тому він є у 18,1 % корейських користувачів. Інші вісімсот п’ятдесят мереж не зробили нічогісінько.\nХоч яка там відмовка, це не гроші, це не спроможність і це не стан оптоволокна.\nДвадцять років прикручування Ось що галузь збудувала замість того, щоб вбити адреси.\nКоли адрес почало бракувати, відповіддю став NAT операторського рівня: посадити сотні клієнтів за одну публічну IPv4-адресу й транслювати між ними. Усе нижче існує, щоб із цим можна було жити, і кожен із цих документів є шматком інженерної роботи, яку хтось вирішив зробити замість того, щоб розгорнути IPv6.\nПрибудова Для чого вона RFC 6598 (2012) Спалює цілий /10, чотири мільйони адрес, як «shared address space», тож обхід дефіциту потребує власних адрес RFC 6333 (2011) DS-Lite: тунелювати IPv4 через мережу IPv6, яку ти збудував, але клієнтові не дав RFC 6877 (2013) 464XLAT: транслювати IPv4 в IPv6 і назад протягом однієї подорожі RFC 6888 (2013) Перелік вимог, яким NAT операторського рівня мусить відповідати, щоб не бути небезпечним RFC 7021 (2013) Повне дослідження застосунків, які NAT операторського рівня ламає RFC 7422 (2014) Детерміноване відображення адрес, винайдене лише для того, щоб обсяг журналів не збанкрутив провайдера RFC 7597 / 7599 (2015) MAP-E і MAP-T: ще два способи носити IPv4 через IPv6, не визнаючи, що в тебе є IPv6 Двадцять років обхідних рішень проти однієї зміни, яку вони замінюють Що ми збудували натомість, і замість чого Уникаючи IPv6 Спільний простір: спалено цілий /10 RFC 6598, 2012 DS-Lite: IPv4 тунелем через ядро IPv6 RFC 6333, 2011 464XLAT: з IPv4 і назад RFC 6877, 2013 Правила, щоб із CGN можна було жити RFC 6888, 2013 Дослідження застосунків, які він ламає RFC 7021, 2013 Детерміноване відображення проти журналів RFC 7422, 2014 MAP-E і MAP-T: знову IPv4 через IPv6 RFC 7597/9, 2015 Плюс сам рівень NAT: таблиці сесій, виділення блоків портів, шлюзи застосунків, резервування, планування потужності, журналювання, а ще закон про зберігання, щоб заліпити знищену атрибуцію. Роблячи IPv6 Подвійний стек Ще одне сімейство адрес, на протоколі маршрутизації і брандмауері, що вже є. Жодного нового рівня на шляху. Жодних сесій для розрахунку. Жодних журналів заради закону. Безкоштовно від реєстру. Обидва стовпці є інженерною роботою, і лівий більший. Різниця в тому, що роботу ліворуч можна купити в постачальника, а роботу праворуч мусять розуміти люди, яким належить мережа. Два десятиліття роботи над стандартами, обладнання і журналювання, і все це заради того, щоб не робити того, що праворуч. Подвійний стек означає одне сімейство адрес, додане поруч із тим, яке ти вже маєш. Усе ліворуч існує, щоб цього уникнути. Подивися на форму цього. Кожен пункт у списку складніший за подвійний стек. Тунелювати IPv4 всередині IPv6 строго більше роботи, ніж маршрутизувати IPv6, бо IPv6 однаково доводиться маршрутизувати, щоб нести тунель. Транслювати між сімействами більше роботи, ніж не транслювати. NAT операторського рівня є пристроєм зі станом посеред твоєї мережі, з плануванням потужності, перемиканням при відмові, таблицями сесій, виділенням блоків портів, шлюзами прикладного рівня для протоколів, які він ламає, і конвеєром журналювання, розрахованим на юридичний обов’язок.\nПодвійний стек означає сімейство адрес, протокол маршрутизації, який ти вже маєш, і політику брандмауера, яку ти вже написав.\nГалузь подивилася на ці два варіанти й обрала дорогий, двадцять років поспіль, бо дорогий можна було купити, а дешевий треба було зрозуміти. Купити пристрій означає пройти закупівлю. Увімкнути IPv6 означає, що хтось у будівлі мусить знати, як працює мережа.\nЩо це насправді ламає Для тих, хто вважає це естетикою, ось що спільна адреса коштує твоїм користувачам, у тому порядку, в якому вони тобі через це дзвонитимуть.\nНіщо не може зайти всередину. Немає пробросу портів, тож немає нічого власного хостингу, немає ігрової консолі в ролі хоста, немає VPN між майданчиками без ретранслятора, немає камери безпеки без хмари виробника, немає віддаленого доступу до речі на іншому майданчику. Кожну з них замінює сторонній сервіс зустрічі, а це ще одна компанія, що тримає твої дані, бо твій провайдер не захотів дати тобі адресу.\nТи успадковуєш репутацію чужих людей. Поділи адресу з кількома сотнями людей, і поділиш їхню поведінку. Обмеження частоти, CAPTCHA, блокування у Вікіпедії, гео-помилки стрімінгу й оцінка шахрайства падають на тебе за те, що зробив хтось інший.\nПорти закінчуються. NAT операторського рівня має 65 535 портів на публічну адресу на протокол, а одна сучасна сесія браузера з’їдає десятки. Перепродай понад міру, і збій не буде чистою помилкою. Це буде повільна, переривчаста, невідтворювана несправність, яка схожа на що завгодно, тільки не на те, чим вона є, і вона спалює дні часу підтримки на кожен інцидент.\nКожне обхідне рішення доводиться підтримувати вічно, людьми, які могли б витратити цей час на виправлення.\nА потім є та, що перестала бути незручністю й стала проблемою для всіх. Ніхто не може сказати, хто що зробив.\nПрибудова, що дійшла до парламенту Щойно сотні клієнтів ділять одну адресу, адреса більше нікого не ідентифікує. Тож поліція не може перетворити IP-адресу на людину, і відповіддю на це був не IPv6. Відповіддю було законодавство.\nРозділ 21 Counter-Terrorism and Security Act 2015 змінив режим збереження даних спеціально для того, щоб міністр міг зобов’язати провайдерів зберігати додаткові дані, потрібні «to link the unique attributes of a public Internet Protocol (IP) address to the person (or device) using it at any given time.» Пояснювальні примітки прямо кажуть, навіщо це знадобилося: провайдери «may share IP addresses between multiple users, and the providers generally have no business purpose for keeping a log of who used each address at a specific point in time.»\nПрочитай це як інженер, а не як юрист. Галузь зламала атрибуцію, щоб зекономити собі трохи роботи, а парламент ухвалив закон, який зобов’язує її збудувати систему журналювання, щоб заліпити поломку.\nЧерез два роки Europol сказав це прямо. У жовтні 2017 року він опублікував заклик до галузі припинити використання NAT операторського рівня, з цифрами: 90 % провайдерів мобільного інтернету й 50 % провайдерів фіксованого зв’язку запровадили технологію, через яку вони не можуть ідентифікувати власних абонентів. Тодішня виконавча директорка Europol сказала, що CGN «has created a serious online capability gap in law enforcement efforts to investigate and attribute crime», і зазначила, що він «forces judiciary and law enforcement authorities to investigate many more individuals than would normally be necessary.»\nEuropol сказав і те, про що зазвичай мовчать. NAT операторського рівня «was supposed to be a temporary solution until the transition to IPv6 was completed». Натомість галузь і далі нарощувала його використання, поки заміна лежала поруч, готова, безкоштовна й проігнорована.\nТож ціна того, що IPv6 не розгорнули, включає: акт первинного законодавства, загальнонаціональний обов’язок зберігання даних, невинних людей, втягнутих у розслідування, бо вони ділили адресу з кимось, хто невинним не був, і постійний розрив у спроможностях, який поліція описує як проблему громадської безпеки.\nНіхто не вніс цього в бізнес-обґрунтування. Це ніколи не з’являється на слайді «IPv6 has no ROI», бо платять за це не ті, хто це спричинив.\nВін не просто ховає злочинців. Він їм допомагає. Аргумент про атрибуцію наводять правоохоронці, і він про те, щоб ловити людей після події. Є й другий аргумент, який звучить значно рідше і гірший: спільне використання адрес активно послаблює захист, що не дає атакам статися взагалі.\nЦе не мій аналіз. IETF опублікував каталог у RFC 6269, Issues with IP Address Sharing, у червні 2011 року. Це було ще до того, як Британія розгорнула більшу частину NAT операторського рівня, який має тепер. Його прямі слова: спільне використання адрес «creates a vector for attack amplification in numerous ways.»\nОсь що, як він попереджав, зламається, і зламалося.\nОбмеження частоти й блокування облікових записів перестають працювати. Стандартний захист від підбору паролів і credential stuffing полягає в тому, щоб рахувати невдачі на адресу й відправляти порушника в штрафний бокс. Поділи цю адресу між сотнями людей, і лічильник вимірює натовп. RFC 6269 прямо каже про результат: «In the presence of widespread large-scale address sharing, penalty box solutions to service abuse simply will not work.» Невдалі входи одного користувача блокують усіх інших, тож оператори піднімають пороги, а підняті пороги якраз те, чого хотів нападник.\nЧорні списки стають супутньою шкодою. Заблокуй спамера, і заблокуєш вулицю, на якій він живе. Тож розважливий оператор перестає блокувати, і зловживання триває з адреси, якої ніхто не наважується торкнутися.\nЗаражені машини лишаються зараженими. Стрічки зловживань і сповіщення про шкідливе ПЗ приходять у вигляді адреси й часової позначки. За CGN без журналювання портів провайдер не може сказати, хто з його клієнтів запускає бота, тож клієнтові ніколи не повідомляють, і зараження лишається. Гірше того, RFC 6269 відзначає зворотну проблему: «someone else\u0026rsquo;s worm can interfere with the ability to access the service for other subscribers sharing the same IP address.»\nКонтроль доступу за адресою не працює. Кожен список дозволених, побудований на адресі джерела, тепер пропускає натовп, а не клієнта.\nА один захист вимірно послаблено, а не просто притуплено. Сліпі атаки на TCP залежать від угадування п’ятірки параметрів, і пом’якшення, яке має галузь, полягає в рандомізації порту джерела (RFC 6056). NAT операторського рівня видає кожному абонентові шматок діапазону портів, а не весь діапазон. Словами RFC 6269, «with shared IPv4 addresses, the port selection space is reduced.» Обхід дефіциту адрес забирає ентропію прямо з механізму захисту від атак.\nА ще є частина, яка мала б непокоїти будь-кого, хоч би що він думав про поліцію. Якщо сервер не журналював порти джерела, а NAT не журналював адреси призначення, RFC 6269 прямо описує, що провайдер мусить зробити, коли надходить законний запит: він «would need to disclose the identity of all subscribers who had active sessions on the NAT during the time period in question. This may be a large number of subscribers.»\nАльтернатива ідентифікації одного винного абонента полягає в тому, щоб передати особи кількох сотень невинних. Це і є справжній наслідок спільного використання адрес для приватності, і він протилежний тому, який приписують йому захисники.\nМають збігтися три речі, і ніхто не зобов’язаний забезпечити жодну з них Люди вважають, що журнали десь існують і треба лише попросити. Здебільшого їх немає, і причина в арифметиці, а не в злій волі.\nЩоб перетворити спільну адресу назад на домогосподарство, мають спрацювати всі три окремі речі:\nВіддалений сервер зажурналював порт джерела. RFC 6302 у 2011 році попросив сервери, що дивляться в інтернет, журналювати порт джерела й часову позначку разом з адресою. Це рекомендація. Ніхто її не примушує виконувати, і дуже багато серверів досі журналюють лише адресу. На цьому слід обривається ще до того, як дійде до британського кінця. Провайдер зберіг відображення. Кожну сесію, місяцями. Годинники збігалися. RFC 6269 попереджає, що на завантаженому CGN «even very small amounts of clock skew between a third party\u0026rsquo;s server and the CGN operator will result in ambiguity about which customer was using a specific port at a given time.» Пропусти будь-яку, і не маєш нічого. А середня якраз там, де все розвалюється, бо документи стандартів містять підрахунки.\nRFC 7422 наводить реальні числа. Оператори повідомляли приблизно про 33 000 з’єднань на домогосподарство на день. Приблизно по 150 байтів на запис журналу це 5 МБ на абонента на день, 150 МБ на місяць. Для провайдера з мільйоном абонентів: 150 терабайтів журналів на місяць, 1,8 петабайта на рік, які треба зберігати шість-дванадцять місяців, як очікує закон, і шукати в них на вимогу.\nІ це ніколи не один журнал. NAT444, випадок, під який RFC 7422 розраховує розмір своїх записів, ставить одну трансляцію в роутері клієнта, а другу в оператора, і кожна брама, яку проходить пакет, мусить записати, що вона зробила. Відтворити одну сесію означає зіставити окремі таблиці, які ведуть окремі сторони, з урахуванням проблеми годинників вище. Докази приходять шматками з різних систем або не приходять зовсім.\nІ гроші лише половина справи. Збирати записи сесій із такою швидкістю, кудись їх відвантажувати, індексувати так, щоб законний запит повертався за години, а не за тижні, і тримати все це рік означає проєкт з інженерії даних. Для цього немає ні панелі, ні пристрою, який можна купити. Його мусить збудувати хтось, хто розуміє, що будує, і це не «наклацав мишкою», а в цій галузі це майже те саме, що сказати, що його не збудують.\nНіхто б за це й не заплатив. І IETF це знав, тому RFC 6888 каже операторам протилежне тому, що потрібно громадській безпеці: «A CGN\u0026rsquo;s port allocation scheme SHOULD minimize log volume», з обґрунтуванням, що «huge log volumes can be problematic to CGN operators.» RFC 7422 існує з однією-єдиною метою: урізати цей рахунок.\nТож порада галузі щодо проєктування каже журналювати менше, економіка каже, що 1,8 петабайта на рік непідйомні, а юридичне очікування вимагає повного запису. Усе це не може бути правдою одночасно, і поступається запис.\nОсь чому Europol виявив, що більшість провайдерів доступу не можуть ідентифікувати абонента, коли їм вручають судовий наказ. Не тому, що вони перешкоджають. А тому, що те, чого від них просять, ніколи не було економічно можливо зберігати, і ніхто їх ніколи не змушував.\nЗ цього випливають дві речі, і вони мої, а не чиясь цитата.\nПерше: велика частка британських інтернет-з’єднань неатрибутовні за самою конструкцією. Найочевидніший випадок мобільний зв’язок, і незалежний вимір дає вищу цифру, ніж Europol, 95 %. Тож анонімність, яка раніше вимагала Tor чи VPN, який хтось мусив купити, тепер стала заводським налаштуванням британського мобільного з’єднання, видається безкоштовно разом із SIM-карткою, усім, включно з тією невеликою кількістю людей, яких увесь цей апарат має знаходити.\nДруге, і гірше: зламаний дешевий цільовий метод якраз і створює попит на дорогий нецільовий. Коли можна вручити ордер на одну адресу й отримати одне домогосподарство, більше нічого не потрібно. Коли це перестає працювати, держава не знизує плечима. Вона тягнеться до чогось ширшого. Саме таким був Акт 2015 року: обов’язок зберігання даних для всієї абонентської бази, щоб відповідати на запитання про жменьку людей.\nНічого з цього не існує по інший бік. Нічого не транслюється, тож немає запису про кожне з’єднання, який треба було б зберігати. Адреса в журналі віддаленого сервера вже є префіксом абонента: один запис, зроблений один раз, коли лінію налаштовували, в одній системі. Навіть провайдер, що щодня змінює префікси, пише кілька сотень на рік на клієнта, проти дванадцяти мільйонів, у які складаються 33 000 з’єднань на день. Річ не в тому, що IPv6 журналює менше. Журналювати нічого.\nТі, хто писав обхідне рішення, це знали. Посеред специфікації, написаної з однієї причини, щоб зробити журналювання CGN доступним за ціною, вони зупинилися й записали, що «native IPv6 will offer subscribers a better experience than CGN».\nГалузь відмовилася витратити по два тижні на мережу на безкоштовний протокол, і країна отримала натомість режим збереження даних.\nЧи захистило б виправлення цього дітей краще, ніж Online Safety Act? Тут я хочу бути обережним, бо цей аргумент легко навести погано, а погано наведена версія заслуговує на ту прочуханку, яку отримала б.\nПочнімо з того, як насправді йде розслідування насильства над дітьми. Платформа виявляє матеріал і повідомляє про нього. Повідомлення містить адресу й часову позначку. Поліція звертається до провайдера доступу, щоб перетворити це на абонента, а абонент є адресою в реальному світі, з дверима. Це весь ланцюжок, і кожен крок після цього залежить від попереднього.\nТепер постав посередині NAT операторського рівня. Повідомлення все одно надходить. Адреса все одно розпізнається. До кількох сотень домогосподарств, і Europol виявив, що через це розслідування «dropped or delayed». Серед їхніх прикладів прокурор, який не зміг ідентифікувати учасників форуму на підтримку ІДІЛ, тож переслідування не відбулося, і HMRC, яка простежила масове податкове шахрайство до мобільних адрес і виявила, що зачіпки «frustrated from the outset».\nCyberTipline від NCMEC отримала 21,3 мільйона повідомлень у 2025 році й передала понад 18,8 мільйона правоохоронцям, зокрема понад 53 000 щодо дитини в безпосередній небезпеці. NCMEC також фіксує, що понад 10 % повідомлень від галузі надійшли з настільки бідною інформацією, що неможливо було визначити, до якої юрисдикції їх надіслати. Ця цифра не на совісті CGNAT, і я не стверджую, що на його, але вона показує, де в цьому конвеєрі вмирають справи. Вони вмирають на метаданих.\nТож чесна версія порівняння така. NAT операторського рівня ламає останню милю самого Online Safety Act. Парламент наклав обов’язки виявляти й повідомляти, а мережу доступу залишив нездатною розпізнати те, про що повідомлено. Можна ухвалити скільки завгодно обов’язків повідомляти. Якщо останній крок повертає натовп, повідомлення лишається папірцем.\nА вартість цих двох речей навіть віддалено не можна порівняти. Акт є найбільшим регулюванням інтернету, яке ця країна будь-коли пробувала: тисячі сервісів у сфері дії, регулятор, що роками пише кодекси, перевірка віку з мільйонами перевірок на день і проблема обходу, достатньо велика, щоб парламент обговорював використання VPN у Палаті лордів. IPv6 нічого не коштує в реєстрі й забирає в компетентної команди пару тижнів. Одне з цього вимагали від усієї галузі. Іншого ніколи ні в кого не просили.\nТри речі треба сказати прямо, бо без них аргумент нічого не вартий.\nПерше. Це не заміна, і я не пропоную це як заміну. IPv6 нічим не заважає дванадцятирічній дитині знайти порнографію. Він нічого не робить з рекомендаційними системами, автовідтворенням чи прямими трансляціями. Він нічого не робить з матеріалом, розміщеним в іншій країні, а це більша його частина. Саме для цих проблем написано Акт, і жодна зміна протоколу їх не торкається.\nДруге. IPv6 не є шаром ідентичності, і хто продає його як такий, той перебільшує. Розширення приватності за задумом змінюють адресу пристрою, тож адреса машини не є стабільною річчю. Стабільний префікс, делегований лінії: /56, який Sky видає кожному абонентові з 2016 року. Він вказує на абонента, а це саме та роздільна здатність, яка потрібна законному запиту, і не більше. Це відновлення того, що раніше давала одна IPv4-адреса на лінію, а не нова спроможність стеження.\nТретє. Властивість, яка заважає поліції, заважає й усім іншим, хто тебе відстежує, і дехто це цінує. Бути одним із п’ятисот за спільною адресою справді означає сховатися в натовпі від комерційного профілювання. Я не думаю, що воно варте своєї ціни: це прикриття, куплене тим, що зловживання стає неатрибутовним, а обмеження частоти марним, і платформи здебільшого все одно бачать крізь нього за допомогою cookies і фінгерпринтингу. Але це реальний аргумент, і він заслуговує, щоб його назвали, а не проігнорували.\nТож ні, тут не йдеться про IPv6 замість Online Safety Act. Ідеться про те, що Британія написала найдорожчий закон про безпеку в інтернеті у своїй історії поверх сантехніки, про яку знала, що вона зламана, коли виправлення було безкоштовним, добре задокументованим і доступним увесь той час, поки законопроєкт складали.\nЧого насправді вимагати Не заборони. Заборона є неправильним інструментом, і вона б ударила у зворотний бік.\nIPv4 для роздачі більше не лишилося: у RIPE порожньо з листопада 2019 року, і новий провайдер отримує один /24 зі списку очікування. Заборони спільне використання адрес завтра, і малий оператор узагалі не зможе підключати клієнтів, тоді як ті, хто сидить на блоках класу B з 1990 року, продовжать як ні в чому не бувало. Це закріпило б саме тих людей, про яких цей допис.\nКращий інструмент уже існує, і хтось уже провів експеримент.\nУ 2012 році федеральна поліція Бельгії, її регулятор телекомунікацій, її Рада генеральних прокурорів і її асоціація провайдерів підписали двосторінковий добровільний кодекс поведінки. Максимум 16 абонентів за однією IPv4-адресою. Обмежити використання CGN. Почати запроваджувати IPv6.\nДо 2017 року більшість бельгійських операторів укладалися в обмеження, один опустився до 8, а бельгійська поліція бачила в середньому чотирьох користувачів на мобільну адресу. Власне пояснення Europol, чому так, варто прочитати двічі: найбільші провайдери «are quickly moving towards IPv6 because no financial interest to invest in CGN anymore.» Обмеж перепродаж, і економіка обхідного рішення розвалюється, бо NAT, який може скласти лише шістнадцять людей, не дешевший за протокол, якому не потрібно жодного.\nТого року Бельгія мала найвищий рівень запровадження IPv6 у світі, 49 %, тоді як Британія і Франція були на 14 %, а Іспанія та Італія нижче 1 %. Бельгія досі третя в таблиці країн вище, з 72,8 %.\nОсь і вимога. Не «ти не можеш ділити адреси», а ти не можеш продавати з’єднання, яке водночас неатрибутовне й не має IPv6. Спільна адресація поруч із робочим IPv6 цілком нормальна. Так працює кожна мобільна мережа на землі. Спільна адресація без IPv6 означає продавати зламану послугу й виставляти суспільству рахунок за наслідки.\nSky довела, що це можливо, одинадцять років тому Якби це справді було складно, у Британії ніхто б із цим не впорався.\nSky розпочала внутрішній проєкт IPv6 на початку 2013 року й завершила у 2016 році, коли приблизно 90 % її бази фіксованого зв’язку, близько п’яти мільйонів користувачів, отримали IPv6 і користувалися ним. Їхній інженер описав усе на RIPE Labs: 6PE через ядро MPLS, подвійний стек на пірингу й транзиті, атрибути RADIUS, щоб умикати його для кожного абонента, робота над прошивками для семи моделей CPE, зокрема п’яти застарілих, і збільшення потужностей RADIUS та DNS.\nТри роки, один провайдер і та сама мідь Openreach, через яку продавали всі інші. ISPreview повідомив про завершення у вересні 2016 року, коли Sky очікувала охопити 95 % бази до кінця того року, і Sky отримала за це Jim Bound IPv6 Award.\nЇхня порада звучала так: «Do not underestimate the work required to enable IPv6, and do not leave it to the last minute to begin the journey.»\nОдинадцять років по тому більша частина галузі досі на останній хвилині й поводиться з нею як із місцем проживання.\nАдреси в усіх були роками Sky була першою з великих провайдерів. Але вона була далеко не першою в країні, і жоден провайдер у цьому списку не може сказати, що чекав на реєстр.\nRIPE вписує дату виділення в назву блоку, тож будь-який із них можна перевірити самому:\nwhois -h whois.ripe.net 2a01:4b00::/32 | grep -E \u0026#39;netname|^org:\u0026#39; # netname: UK-BCUBE-20110225 -\u0026gt; Hyperoptic, allocated 25 February 2011 Кожна дата нижче отримана таким запитом щодо власного виділення провайдера й звірена з файлом делегування. Великі провайдери виділені жирним, решта будівельники повного оптоволокна. Чи справді клієнти отримують IPv6, взято з опитування ISPreview в редакції березня 2025 року, а для телефонних мереж з мобільного трекера.\nСкільки кожен британський провайдер тримає IPv6 і чи отримують його клієнти Скільки кожен британський провайдер тримає IPv6 і чи справді його отримують клієнти Дати виділень з файлу делегування RIPE та позначок у netname. Чи доходить до клієнтів: ISPreview, березень 2025, і мобільний трекер спільноти. клієнти мають частково: одна мережа досі не видають (17 з 40) 2002 2002 2006 2006 2010 2010 2014 2014 2018 2018 2022 2022 2026 2026 TalkTalk (як Opal Telecom) Andrews \u0026amp; Arnold Vodafone UK EE (як T-Mobile) Sky Gigaclear O2 (Telefónica UK) BT Virgin Media (як NTL) KCOM Hyperoptic (як Bcube) Zen Internet B4RN Trooli (як Call Flow) Exascale Three UK Community Fibre Ogi (як NetSupport) WightFibre Truespeed Airband G.Network Wessex Internet Quickline FibreNest Wildanet Fibrus (як B4B Networks) Zzoomm GoFibre (як Borderlink) Toob Netomnia / YouFibre Pine Media BeFibre Squirrel Internet brsk Lit Fibre (як Broadreach) iDNET * Grain Hey! Broadband Octaplus Кожен із сорока тримає простір IPv6 щонайменше три роки, а більшість понад десятиліття. 17 з них досі не видають його жодному клієнтові. Сорок британських провайдерів, упорядкованих за датою, коли реєстр дав їм IPv6. Кожна смуга тягнеться від цього виділення до сьогодні. Сині смуги видають його клієнтам; рожеві ніколи не видавали. Сорок провайдерів. Кожен тримає адресний простір IPv6 щонайменше три роки, більшість понад десятиліття, і сімнадцять із них досі не видають його жодному клієнтові.\nHyperoptic тримає 2a01:4b00::/32 з лютого 2011 року. П’ятнадцять років заводить оптоволокно в багатоквартирні будинки, продає гігабітні з’єднання й садить людей за NAT операторського рівня з невикористаним виділенням IPv6 на балансі. Trooli має своє тринадцять років. Truespeed і Airband по десять.\nAndrews \u0026amp; Arnold є тим, з ким варто порівнювати решту. Маленький провайдер у Брекнеллі з часткою клієнтів та інженерів будь-кого іншого в цьому списку, видає IPv6 на кожну лінію з 2002 року і є однією з організацій за 6UK. TalkTalk узяв своє виділення на три місяці раніше й досі не видає його споживачам.\nVirgin Media взяла свій блок за три тижні до того, як Zen узяв свій. Zen його запустив, і я відтоді сиджу на кінці одного з їхніх /48. Virgin досі каже «when we are ready».\nА тепер подивися на низ таблиці. Squirrel, brsk, Lit Fibre і Octaplus отримали свої виділення за останні шість років, і всі видають IPv6, тоді як провайдери, що тримають простір з 2011 року, ні. Пізній старт не перешкода. Перешкода в тому, щоб стартувати взагалі.\nДвох назв із того опитування на діаграмі немає, і причина для обох однакова. Cuckoo є роздрібним брендом, який купує оптовий доступ через Openreach, CityFibre та інших, а Freedom Fibre є оптовою мережею, клієнти якої приходять через роздрібних партнерів. Жоден не тримає власного адресного простору, тож IPv6 для них вирішує хтось інший. iDNET позначено зірочкою, бо в них призначення, незалежне від провайдера, а не власне виділення.\nТой, хто ставить крапку Якщо хочеш звести аргумент до однієї компанії, це Plusnet.\nBT купила Plusnet у січні 2007 року. Plusnet сидить під власним обліковим записом RIPE British Telecommunications, тож має доступ до виділення IPv6 від BT з червня 2010 року. BT видає IPv6. EE, інша сестринська компанія, видає IPv6. ISPreview зазначив, що BT і Plusnet навіть використовують майже ідентичні роутери для клієнтів, назвавши цей розрив «somewhat of a peculiarity».\nPlusnet випробовувала IPv6 у 2011 році й публічно закликала решту галузі братися до справи. У 2019 році вона заявила, що запуститься навесні 2020 року. У 2021 році вона очікувала «to make good progress over the coming year». У листопаді 2023 року вона провела тримісячне випробування на двох майданчиках у Честерфілді й Шеффілді, з приблизно двадцятьма працівниками й лояльними клієнтами.\nУ квітні 2026 року її власний форум клієнтів досі питав, куди подівся IPv6.\nОдна материнська компанія. Одне виділення адрес. Майже ідентичне обладнання. Інженери, які працюють в одній групі й можуть пройтися коридором до людей, які вже це зробили. Три бренди, і один із них не може впоратися за п’ятнадцять років із тим, що двоє інших завершили.\nХоч що це зупиняє, це не технологія, не гроші, не обладнання й не адресний простір. Це хтось, хто вирішує, що це не його проблема в цьому кварталі, п’ятнадцять років поспіль.\nVirgin Media, шістнадцять років «When We Are Ready» Інший кінець шкали заслуговує, щоб його назвали, бо хронологія є публічним записом, і вона вражає.\nБерезень 2010 року: клієнт питає на власному форумі Virgin Media, коли з’явиться IPv6. Відповідь: «when we are ready».\nЛистопад 2016 року: Virgin каже ISPreview, що планує запровадити IPv6 до середини 2017 року. Не запроваджує.\nЧервень 2018 року: повідомляють про споживче випробування. Грудень 2018 року: третя презентація для UK IPv6 Council з натяком на 2019 рік.\n2021 рік: заява, що вони «continuing to plan our IPV6 deployment having tested several solutions and intend to introduce IPV6 for our customers in future.»\nЛютий 2024 року: Virgin Media закриває чотирнадцятирічну гілку форуму.\nСерпень 2026 року: досі нічого.\nШістнадцять років. За цей час компанію купили, об’єднали з O2, вона двічі перебудувала ядро й замінила весь парк роутерів. Жодного разу ніхто не додав сімейства адрес. Закриття гілки є найчеснішою річчю в цьому списку. Це момент, коли вони перестали вдавати й почали керувати скаргою замість проблеми.\nАльтнети не мали жодного виправдання Будівельники повного оптоволокна були шансом почати з чистого аркуша. Нові мережі, нове обладнання, жодної спадщини, інженери, найняті в цьому десятилітті. Подивися, де вони стоять у таблиці виділень, і більшість із них узяли адресний простір і зупинилися.\nТож компанія, яка залучила інституційні гроші, щоб збудувати новісіньку оптоволоконну мережу, перекопала дороги, задула оптоволокно до сотні тисяч домівок, купила нові роутери, написала новий стек надання послуг. І посадила своїх клієнтів за спільну адресу в мережі без IPv6, у 2026 році, коли адресний простір уже лежав у її власному обліковому записі реєстру.\nА потім кілька з них беруть 5 £ на місяць за статичну публічну IPv4-адресу.\nВони забрали те, що працювало, відмовилися запускати безкоштовну заміну й перетворили поломку, що з цього вийшла, на рядок у твоєму рахунку. Є слово для бізнес-моделі, яка виробляє несправність, а потім продає виправлення, і це слово не «інновація».\nВебсайти себе видають Таблиця маршрутизації показує, що роблять мережі. DNS показує, що роблять усі інші. Тож 27 серпня 2026 року я вніс у файл п’ятдесят найвідоміших британських сайтів, центральний уряд, банки, великих рітейлерів, телекомів, транспорт і кілька університетів, і запитав кожен, чи відповідає він по IPv6:\nwhile read -r d; do n=$(dig +short AAAA \u0026#34;$d\u0026#34; | grep -c \u0026#39;:\u0026#39;) printf \u0026#39;%-46s %s\\n\u0026#39; \u0026#34;$d\u0026#34; \u0026#34;$([ \u0026#34;$n\u0026#34; -gt 0 ] \u0026amp;\u0026amp; echo AAAA || echo none)\u0026#34; done \u0026lt; sites.txt | sort -k2 Потім я перевірив кожну відповідь через другий резолвер, бо один рекурсивний сервер, у якого поганий день, не є висновком:\ndig @1.1.1.1 +short AAAA www.tesco.com | grep -c \u0026#39;:\u0026#39; Сімнадцять із п’ятдесяти мали запис AAAA. Тридцять три не мали, і обидва резолвери погодилися щодо кожного.\nСеред тих, хто без IPv6, є www.bbc.co.uk, www.nhs.uk, www.hmrc.gov.uk, www.hsbc.co.uk, www.barclays.co.uk, www.lloydsbank.com, www.santander.co.uk, www.tesco.com, www.johnlewis.com, www.marksandspencer.com, www.britishairways.com, tfl.gov.uk, monzo.com (банк, заснований у 2015 році, без жодної спадщини) і, мій улюблений, www.sky.com.\nSky. Компанія, яка посадила п’ять мільйонів клієнтів на IPv6 і отримала за це нагороду. Її власний вебсайт по IPv6 не відповідає.\nТепер частина, яка доводить тезу поза будь-якою суперечкою.\nП’ятнадцять із сімнадцяти, що мають IPv6, отримали його від постачальника, а не самі. Я розпізнав кожен і перевірив, кому належить адреса, що відповіла:\nwhois -h whois.radb.net -- \u0026#34;$(dig +short AAAA www.sainsburys.co.uk | grep \u0026#39;:\u0026#39; | head -1)\u0026#34; | grep -i descr www.gov.uk і www.cam.ac.uk відповідають із Fastly. ico.org.uk, www.parliament.uk, www.ofcom.org.uk, www.asda.com, www.autotrader.co.uk, www.nationalrail.co.uk і www.jisc.ac.uk відповідають із Cloudflare, який умикає IPv6 для всіх за замовчуванням. natwest.com і nationwide.co.uk відповідають з Azure Front Door. www.legalandgeneral.com і www.screwfix.com відповідають із CloudFront. www.sainsburys.co.uk і www.next.co.uk відповідають з Akamai.\nДвоє зробили це самі: Imperial College London, що відповідає з власного адресного простору, і власний вебсайт UK IPv6 Council. Університет і люди, вся мета яких полягає в IPv6. Ось і весь список.\nА www.tesco.com, www.sky.com і www.nhs.uk теж сидять на Akamai, той самий CDN, той самий продукт, і не мають IPv6 узагалі.\nAkamai говорить про це прямо з червня 2022 року: «Akamai has enabled IPv4+IPv6 dual-stack as the default for our CDN delivery products for many years, meaning that customers have needed to opt-out for content to be IPv4-only.» Вони додали, що зробили перемикання простим, зокрема через API.\nТой самий постачальник. Та сама платформа. Увімкнено за замовчуванням. Одна організація залишила це як є, а інша пішла й вимкнула або зберегла древню конфігурацію, яку відтоді ніхто не читав. У Sainsbury\u0026rsquo;s є IPv6, а в Tesco немає, і різниця між ними в одному прапорці конфігурації й чиїйсь увазі.\nПісля цього не лишається ні аргументу вартості, ні аргументу складності. Лишається тільки питання, чи хтось звертав увагу.\nНа всій вибірці правило тримається: де IPv6 приходить як налаштування постачальника за замовчуванням, у Британії він є. Де британській організації довелося б щось вирішити, його немає. Два сайти з п’ятдесяти, і один із них IPv6 Council.\nЩо приводить нас до галузі керованих послуг Споживчих провайдерів звинувачують у CGNAT, і вони це заслужили. Але найбільшої шкоди завдає шар, який продає експертизу: провайдери керованих послуг, інтегратори, аутсорсингові мережеві команди, консультанти, які пишуть детальний проєкт.\nПовернися до списку найбільших британських мереж без IPv6: банки, British Airways, PwC, QinetiQ. Це не задрипані стартапи. Це організації, які платять дуже великі гроші, щоб хтось інший вів їхню мережу, або наймають велику команду, щоб вести її самим. За кожним із цих номерів AS стоїть проєктний документ, процес змін, рада з архітектури й постачальник зі словом «network» у назві. Жоден із них не видав плану щодо IPv6.\nЗакономірність та сама, куди не подивися:\nШаблон на IPv4. Стандарт збирання, набір правил брандмауера, перевірки моніторингу, IPAM, runbook, план відновлення після аварії, пакет передачі клієнтові: усе на IPv4, написане один раз і клоноване десятиліття. Додати сімейство адрес означає редагувати все це, а за редагування нікому не платять.\nНіхто про це не просив. Це речення закінчує кожну розмову про IPv6 у цій галузі, і воно є зізнанням. Про TLS 1.3 теж ніхто не просив. Ніхто не просив тебе перестати використовувати SMBv1. Клієнти купують результат і платять тобі за те, щоб ти знав, чого цей результат вимагає. «Клієнт не просив» означає «я не хочу цього вчити, а вони не можуть відрізнити».\nRFC 1918 здається нескінченним. Десятка з крапкою дає 16,7 мільйона адрес, тож внутрішня мережа ніколи не відчуває нестачі, тож ніколи не буває події, що змушує. А потім трапляється злиття, обидва парки на 10.0.0.0/8, і відповіддю стає ще одне десятиліття NAT для підмереж, що перекриваються, і документ, який пояснює, яка фальшива адреса означає яку справжню: знову більше механізмів, щоб уникнути сімейства адрес, яке зробило б це непроблемою.\nIPv6 виставляє компетентність напоказ. Ось справжня причина. Подвійний стек не дає сховатися.\nТи мусиш знати, якою насправді є твоя політика брандмауера, бо мусиш написати її двічі. Ти мусиш знати, як виглядає твій DNS. Ти мусиш розуміти neighbour discovery, делегування префіксів і що твій CPE робить із /56.\nІнженер, який перебивався з NAT як випадковим засобом безпеки, дізнається, на людях, що ним той ніколи не був. У цій галузі є двадцятирічні кар’єри, збудовані на цій одній плутанині.\nТож його не пропонують. Не тому, що він коштує грошей, бо не коштує, а тому, що запропонувати означає взяти відповідальність, а взяти відповідальність означає навчитися.\nОсь що я маю на увазі під «ледачі до кісток». Не ледачі в сенсі «не працюють важко». Ця галузь працює надзвичайно важко. Вона важко працює над NAT операторського рівня і над тим, щоб пояснити клієнтові, чому його відеоспостереження більше не підключається іззовні. Вона зробить скільки завгодно роботи, аби тільки це була робота, яку можна купити, а не та, яку треба зрозуміти.\nІ скоро це перестане бути справою смаку. Cyber Security and Resilience Bill, що зараз проходить парламент, змінив би NIS Regulations, щоб охопити, серед інших, «managed service providers (organisations that provide third-party IT services to other businesses)». Це ще не закон. Коли стане, виявлення, журналювання й повідомлення про інциденти перестануть бути продуктовими лініями, які цей шар продає, і стануть обов’язками, які він мусить виконувати.\nПостав це поруч із ланцюжком вище. Розгляд будь-якої скарги на зловживання починається з того, що віддалений сервер зажурналював порт джерела, а віддалений сервер дуже часто є машиною однієї з цих організацій. Ті, кому невдовзі доведеться доводити, що вони вміють виявляти інциденти й повідомляти про них, це ті самі люди, яких зараз неможливо змусити ввімкнути сімейство адрес чи прочитати захоплення пакетів, коли тунель не піднімається.\nТри відмовки Ти почуєш ті самі три щоразу, і жодна не протримається й хвилини.\n«Подвійний стек означає все в двох примірниках». Я запускав його в продакшні в Nominet, на балансувальниках F5 перед реєстром .uk, тож знаю, чого варте це заперечення. Те саме стосується рівня NAT, який ти купив натомість, і він стоїть на шляху трафіку з таблицею сесій, моделлю потужності, історією перемикання при відмові й обов’язком журналювання на додачу. Ти ніколи не обирав між складністю й простотою. Ти обрав ту складність, що йшла з рахунком.\n«Обладнання це не підтримує». У 2006 році справедливо. У 2026 році це означає, що твоє обладнання вийшло з підтримки, а в цьому зізнатися гірше, ніж у тому, чого ти намагався не казати.\n«У цьому немає доходу». У резервних копіях теж немає доходу.\nЩо люди пишуть Відмовки вище ти чуєш на нарадах. Під ними лежить шар технічних тверджень, які повторюють у гілках форумів, коментарях і відповідях у LinkedIn щоразу, коли заходить мова про IPv6, і більшість із них хибні вже понад десятиліття.\nДещо з цього чесна плутанина, а дещо людина, яка вирішила чогось не вчити, і шукає причину. Так чи інакше, це варто розібрати, бо ці твердження виконують реальну роботу. Саме їх інженер повторює менеджерові, який не може їх перевірити.\n«NAT це мій брандмауер. IPv6 виставляє кожен пристрій прямо в інтернет».\nЦе найбільше, і воно навиворіт. Захист, який люди приписують NAT, виникає з того, що немає відображення, доки щось усередині його не попросить, а це брандмауер зі станом, і роботу робить брандмауер, а не трансляція. IETF сказав це в RFC 4864 у 2007 році: ця роль, «often marketed as a firewall, is really an arbitrary artifact», тоді як справжній брандмауер дає тобі «explicit and more comprehensive management controls.»\nКожен споживчий роутер з IPv6 постачається із забороною вхідного трафіку за замовчуванням. Ти отримуєш ту саму позицію, з політики, яку хтось записав, а не з побічного ефекту нестачі адрес. І тоді можеш дозволити саме ту одну річ, яку хотів дозволити, замість спіритичного сеансу з пробросом портів.\nЯкщо вся твоя модель безпеки звучить як «нападники не можуть знайти мої пристрої», моделі безпеки в тебе не було. У тебе був NAT.\n«IPv6 повільніший».\nЦе заслуговує на чесну відповідь, а не на відмахування, бо правда змішана, і ті, хто це каже, не просто помиляються.\nПостачальники контенту, які під нього оптимізували, вимірюють виграш: Facebook повідомляв про завантаження сторінок приблизно на 15 % швидше через IPv6, Akamai приблизно на 5 % на мобільних. Ширший вимір усього інтернету від APNIC менш лестивий і показує, що час проходження туди й назад для IPv6 у середньому трохи більший, десь на мілісекунду чи близько того, і з часом покращується.\nТож загалом нічия, краще там, де хтось зробив роботу, і подекуди на волосинку гірше там, де ніхто не зробив.\nВарто знати, де насправді лежить вартість, бо люди уявляють собі заголовок, а заголовок не є проблемою.\nЗаголовки IPv4 та IPv6 і чого кожен коштує роутеру Два заголовки і чого кожен коштує роутеру Поля в масштабі на 32 біти. Джерела: RFC 791 (IPv4) і RFC 8200 (IPv6). робота роутера на кожному хопі ширший ключ пошуку IPv4 20 байтів, до 60 з опціями 031 Version IHL Type of Service Total Length Identification Flags Fragment Offset Time to Live Protocol Header Checksum Source Address Destination Address Options: змінна довжина, ще від 0 до 40 байтів IPv6 40 байтів, фіксовано. Завжди. 031 Version Traffic Class Flow Label Payload Length Next Header Hop Limit Source Address (128 бітів) Destination Address (128 бітів) IPv4 змушує роутер\u0026#160;перераховувати контрольну суму на кожному хопі, читати довжину, щоб знайти дані, і тримати шлях фрагментації. IPv6 прибирає все це, але порівнює\u0026#160;учетверо ширший ключ. Два заголовки поруч, поля намальовано в масштабі на 32 біти. Помаранчеве затінення показує роботу, яку роутер мусить робити на кожному хопі; синє затінення показує ширший ключ пошуку. Почнімо з того, що IPv6 зняв із роутера. IPv4 несе контрольну суму заголовка. Time to Live змінюється на кожному хопі, тож контрольна сума мусить змінюватися разом із ним, і RFC 6583 називає «verifying and updating the checksum» кроком самого процесу пересилання. В IPv6 її немає. Цей крок просто зникає.\nДалі довжина. Заголовок IPv4 змінної довжини, для чого й існує IHL: роутер читає довжину, перш ніж дізнається, де починається корисне навантаження. Заголовок IPv6 має 40 байтів. Завжди. Кожне поле стоїть на фіксованому зміщенні, і нічого не треба обчислювати заздалегідь.\nДалі фрагментація. Роутери IPv4 можуть фрагментувати на льоту, тому Identification, Flags і Fragment Offset узагалі сидять у заголовку. RFC 8200 каже про це прямо: «fragmentation in IPv6 is performed only by source nodes, not by routers along a packet\u0026rsquo;s delivery path». Тож і цей шлях зникає.\nЛише за обробкою заголовка IPv6 дешевший протокол для пересилання. Його таким і будували.\nЄдине місце, де він справді коштує більше, це кожен маршрут, і виявляється, що це не має значення. Ключ пошуку виріс із 32 бітів до 128, тож запис пересилання IPv6 ширший і на багатьох пристроях займає два апаратні слоти там, де маршрут IPv4 займає один. Усі зупиняють суперечку на цьому. Варто піти на крок далі, бо повна таблиця вчетверо менша.\nУ дампі RIS, згенерованому о 02:03 UTC 28 серпня 2026 року, було 1 229 166 префіксів IPv4 у глобальній таблиці маршрутизації і 300 470 префіксів IPv6. Учетверо більше маршрутів IPv4, кожен учетверо вужчий. Тож сире зберігання ключів виходить нічиєю: 4,92 МБ проти 4,81 МБ. Тепер застосуй правило двох слотів на маршрут IPv6, якого люди бояться. Повна таблиця IPv6 однаково потребує приблизно половини апаратних записів повної таблиці IPv4.\nА причина, чому таблиця IPv4 така велика, сам дефіцит. 767 543 з цих 1,2 мільйона маршрутів є /24, тобто 62 % усього інтернету IPv4 сидить на найдовшому префіксі, який хтось погодиться прийняти, бо блоки рубали, розпродавали й анонсували частинами ті, хто їх купив. Кожен із них означає роутер десь, який тримає запис, що не знадобився б, якби простір не закінчився.\nТаблиця маршрутизації IPv4 учетверо більша за таблицю IPv6 Таблиця маршрутизації IPv4 учетверо більша, і здебільшого через дефіцит Окремі префікси в глобальній таблиці маршрутизації, дамп RIPE RIS, згенерований о 02:03 UTC, 28 серпня 2026. IPv432-бітний ключ 767 543 з них є /24 1 229 166 IPv6128-бітний ключ 300 470 Учетверо більше маршрутів IPv4, кожен учетверо вужчий, тож сире зберігання ключів виходить нічиєю: 4,92 МБ проти 4,81 МБ. Порахуй маршрут IPv6 за два апаратні записи, як люди бояться, і повній таблиці IPv6 однаково потрібно приблизно вдвічі менше. 62 % таблиці IPv4 становлять /24:\u0026#160;блоки, порубані, розпродані й анонсовані частинами, бо простір закінчився. Кожен є записом, якого роутер не тримав би, якби не це. Окремі префікси в глобальній таблиці маршрутизації 28 серпня 2026 року, підраховані з дампу RIPE RIS. Суцільна частина смуги IPv4 показує /24: деагрегацію, до якої змусив дефіцит адрес. Тож аргумент про пам’ять працює навпаки, ніж його розповідають на нарадах. Носити IPv6 дешевше для твого FIB, ніж носити IPv4, і щороку стає дешевше, коли ринок передачі ріже ще один /16 на шістнадцять /24.\nА стрибки CPU, на які люди справді натрапляють, не стосуються ні того, ні іншого. Сучасний роутер пересилає обидва сімейства в кремнії на швидкості лінії. Боляче робить усе, що зіштовхує пакет із цього шляху в площину керування, яку RFC 6583 називає «a \u0026lsquo;slower\u0026rsquo; software process running on a general purpose processor». Цей процесор розраховували під протоколи маршрутизації. Ніколи під трафік.\nДві речі зіштовхують туди пакети. Перша: заголовки розширень. Вони є ланцюжком, а не фіксованим блоком, тож пристрій, якому потрібні порти четвертого рівня для ACL чи хешу ECMP, мусить пройти список змінної довжини, щоб їх знайти, а заголовок Hop-by-Hop Options «may be examined or processed by any node along a packet\u0026rsquo;s delivery path». На багатьох пристроях це означає, що пакет іде на процесор.\nДруга: Neighbour Discovery. /64 охоплює трильйони адрес, які ніколи не буде призначено, тож сканування такого змушує роутер розпізнавати адреси, яких не існує. RFC 6583 існує саме через це й називає це відмовою в обслуговуванні.\nОбидві мають відомі відповіді. Фільтруй Hop-by-Hop на межі, обмежуй частоту ND, обмежуй кеш сусідів. Жодна з них не є причиною, чому протокол повільний. Вони є причинами, чому повільний неналаштований роутер, а це вказує туди ж, куди й решта цього допису.\nТепер зваж мілісекунду проти альтернативи, яку ти насправді розгорнув: пристрій трансляції зі станом на шляху кожного з’єднання, що тримає таблицю сесій і деякі з них просто ламає. Ніхто не буксував двадцять років через мілісекунду.\n«IPv4 довкола повно, його можна просто купити».\nМожна. Так і виглядає дефіцит. Блоки, роздані задарма в 1990 році, тепер переходять з рук у руки приблизно по 20 $ за адресу, а AWS бере 43,80 $ на рік за кожну, яку ти використовуєш.\nРинок чогось не доводить, що цього повно. Він доводить, що хтось придумав, як брати з тебе гроші за дефіцит.\nНіхто ніколи не збирався їх змушувати У Британії немає жодної політики щодо цього, і ніколи не було.\nСпроба була. 6UK створили у 2010 році з 20 000 £ стартових грошей від Department for Business, Innovation and Skills, за підтримки Вінта Серфа, з LINX, AAISP, Timico й Easynet за спиною. У грудні 2012 року її директори-волонтери пішли у відставку на річних зборах, до правління ніхто не балотувався, і її ліквідували. Її прощальний вердикт: стимулів вільного ринку недостатньо, «one factor appears to dominate IPv6 adoption rates, namely government support,» і «countries with hands-off governments fall behind.»\nЧотирнадцять років по тому саме це й сталося. UK IPv6 Council досі працює, але форум не є важелем.\nПорівняй зі Сполученими Штатами, де меморандум OMB M-21-07 вимагав, щоб 80 % федеральних активів з IP працювали лише на IPv6 до кінця 2025 фінансового року. Відомства цього не виконали. Але в них усе одно було число, яке можна не виконати, дата, до якої його не виконати, і хтось, хто мусить стати й пояснити невиконання. Тут нема чого не виконувати, тож ніхто ніколи нічого не мусив пояснювати.\nБританський уряд не вимагає IPv6 у власних закупівлях жодним змістовним чином. Ofcom його не вимірює. Жоден регулятор про нього не питає. І тому, як і слід було чекати, www.nhs.uk і www.hmrc.gov.uk його не мають, тоді як www.gov.uk має. А www.gov.uk має його лише тому, що обслуговується через Fastly, який увімкнув IPv6 роки тому від чужого імені.\nЯ вже писав про те, що стається, коли ніхто не тримає контракту над галуззю: механізми, які працюють, виявляються тими, які хтось із ресурсами вирішує експлуатувати, а якщо ніхто не вирішує, десятиліття нічого не відбувається. IPv6 у Британії знову повторює цю закономірність, навіть без голосування членів наприкінці.\nІ не те щоб ніхто не помітив Відсутність вимоги розчаровувала б, якби це пройшло непоміченим. Але не пройшло.\nДержава розібралася, що робить NAT операторського рівня, і ухвалила про це закон. Парламент подивився прямо на проблему, зрозумів її достатньо добре, щоб написати про неї закон, і написав закон, що пристосовується до поломки. «Вимагати від них розгорнути протокол, який її усуває» або ніколи не пропонували, або запропонували й облишили.\nТож ми країна, чия заявлена позиція полягає в тому, що атрибуція IP достатньо важлива для антитерористичного законодавства, і яка не просить жодного провайдера зробити безкоштовну річ, що її відновлює. Шахрайство, захоплення облікових записів, переслідування, погрози вбивством, передачі справ про насильство над дітьми й тероризм усі приходять до мережі доступу з тим самим запитанням, і для багатьох британських з’єднань чесна відповідь звучить як «одне з цих кількох сотень домогосподарств».\nNational Cyber Security Centre є частиною GCHQ і публікує настанови щодо дуже багатьох речей. Він ні від кого не вимагає IPv6. Ніхто в Британії не вимагає.\nЩоправда, www.ncsc.gov.uk і www.gchq.gov.uk обидва відповідають по IPv6. Як і Internet Watch Foundation. Усі троє тому, що сидять за Cloudflare, який увімкнув його для всіх за замовчуванням. www.police.uk не має жодного.\nІ що це означає для сімнадцяти Сімнадцять із сорока провайдерів у цьому дописі продають з’єднання без IPv6, і приблизно половина будівельників повного оптоволокна садять клієнтів за NAT операторського рівня.\nЯ не звинувачую жодного з них у злочині, і ніхто в тих будівлях на злочин не сподівається.\nАле з’єднання за NAT операторського рівня без IPv6 неможливо звести до абонента. Це ніхто не заперечує. IETF записав це у 2011 році, Europol у 2016 і 2017 роках, парламент у 2015 році, і все це опубліковано ще до того, як більшу частину цього обладнання купили. Альтернатива була безкоштовною й доступною весь цей час.\nОсь що означає «колись ми дійдемо до IPv6», якщо простежити це до кінця.\nЩо з цим робити, конкретно Коротко, бо нічого з цього не складне. У цьому вся суть допису.\nЯкщо ти купуєш зв’язок: впиши IPv6 у тендер як вимогу «пройшов/не пройшов», а не як «було б добре». Вимагай нативний подвійний стек і делегований префікс, письмово, і питай, якого розміру.\nЯкщо відповідь одна /64, питай далі. RFC 6177 поховав цей варіант у 2011 році: видати домашньому майданчику один /64 «precludes the expectation that even home sites will grow to support multiple subnets», і «strongly intended that even home sites be given multiple subnets worth of space, by default».\nЧого він не зробив, так це не назвав розміру. Він скасував старий загальний /48, сказав, що вибір «is an issue for the operational community», і мимохідь кинув один приклад: домашнє значення за замовчуванням «of less than /48, such as a /56».\nОператори відповіли самі. RIPE-690 є їхнім власним документом практики, і він прямий. По /48 кожному, якщо хочеш простий план. /48 для бізнесу і /56 для житлових, якщо хочеш прагматичний. Усе довше за /56 «strongly discouraged», а /64 не відповідає стандартам IPv6 і зламає клієнтські LAN.\nТож підлога становить /56, і це власне число IETF, а не чиясь уподобанка. Sky видає по одному кожному абонентові з 2016 року. Zen видає /48, тобто 65 536. Бізнесу не варто погоджуватися на менше за /48.\nЯкщо провайдер каже тобі, що /48 на дім надмірно, британський провайдер робить це роками, поки той ще визначався зі своєю позицією.\nЯкщо в тебе є номер AS: у тебе, мабуть, уже є /29, який ти ніколи не анонсував. Перевір.\nAS=AS20712 # your AS number ORG=$(whois -h whois.ripe.net \u0026#34;$AS\u0026#34; | awk \u0026#39;/^org:/{print $2; exit}\u0026#39;) # what IPv6 the registry has already given you whois -h whois.ripe.net -- \u0026#34;-i org $ORG\u0026#34; | grep -i \u0026#39;^inet6num\u0026#39; # what you are actually announcing of it whois -h whois.ripe.net -- \u0026#34;-i origin $AS\u0026#34; | grep -i \u0026#39;^route6\u0026#39; Якщо перша команда виводить префікс, а друга нічого, ти один із 463.\nАнонсуй його, переведи на подвійний стек свою межу й один внутрішній VLAN і постав AAAA на один публічний сервіс. Це два тижні роботи для одного інженера, і це перетворює твою організацію зі статистики в таблиці вище на ту, що почала.\nЯкщо в тебе вебсайт: перевір наявність запису AAAA. Якщо ти за CDN, це, мабуть, перемикач, який можна ввімкнути сьогодні після обіду безкоштовно. Якщо він вимкнений, його хтось вимкнув.\nЯкщо ти продаєш керовані послуги: впиши IPv6 у стандарт збирання й шаблон детального проєкту, один раз, і кожен клієнт після цього отримуватиме його за замовчуванням. Нікому не треба буде про нього просити, бо про TLS теж ніхто не просить.\nЯкщо ти інженер, який ніколи цього не робив: збери лабораторію сьогодні ввечері. Приблизно 90 % мого власного трафіку йде через нативний IPv6, і це найменш подієва річ у моїй мережі. Візьми тунель або VPS з /64, повісь адреси на речі, зламай, полагодь. Потрібен один вечір, щоб це перестало лякати, і це найдешевше, що ти можеш зробити для своєї кар’єри цього року.\nЗапитання, на які я не можу відповісти Усе вище я можу тобі показати. Ця частина про те, що я постійно кручу в голові, і на жодне з цього в мене немає чистої відповіді.\nЧому одні можуть, а інші ні? Це запитання найважливіше, і дані роблять його дивнішим, а не яснішим.\nSky і Virgin Media продавали широкосмуговий доступ в одній країні, під одним регулятором, в один час. Одна завершила у 2016 році. Інша з 2010 року каже «when we are ready». Sainsbury\u0026rsquo;s і Tesco сидять на одному CDN, на продукті, де подвійний стек увімкнено за замовчуванням, і в одного IPv6 є, а в іншого немає. Норвегія і Британія купують у тих самих виробників, і 66,9 % норвезьких мереж несуть IPv6 проти 42,3 % наших.\nКожен зовнішній чинник, на який можна було б звалити провину, у цих парах однаковий. Та сама країна, ті самі постачальники, те саме обладнання, ті самі клієнти, те саме десятиліття, той самий регулятор, ті самі гроші. А результати протилежні.\nТож причина не в обставинах. Вона всередині будівлі. Десь у Sky була людина, яка зробила це своєю справою і три роки продовжувала вважати це своєю справою. В інших місцях такої не було, або була, але нікому над нею не було діла. Це і є вся змінна, і вона не технічна.\nА це незручна відповідь, бо її не закупиш і не впишеш у стратегічний документ.\nМоже, справа в навчанні? Почасти, і менше, ніж ти думаєш.\nПодивися ще раз на 463 організації, що тримають IPv6, якого ніколи не анонсували. Хтось у кожній із цих будівель знав достатньо, щоб знати, що він потрібен, знав, кого попросити, заповнив форму й отримав виділення. Знання були, а доведення до кінця не було.\nНавчання доводить інженера до того, що він може. Воно не доводить його до того, що його змусять. Ніхто ніколи не отримав поганої оцінки за те, що не розгорнув IPv6. Ніхто ніколи не втратив через це контракт. Доки щось із цього не стане правдою, навчання йде в купу до всього іншого, що хтось вивчив на курсі й ніколи не застосував.\nСкільки ще, доки ми всі на ньому не опинимося? Тут я можу назвати число, і воно гірше, ніж я очікував.\nGoogle вимірює частку власних відвідувачів, які приходять через IPv6, з 2008 року. Якщо брати середину серпня кожного року, щоб порівнювати однакове з однаковим:\nСвітове запровадження IPv6 сповільнюється, не дійшовши до половини Світове запровадження IPv6 сповільнюється, а не прискорюється Частка власних відвідувачів Google через нативний IPv6, середина серпня щороку. Джерело: Google IPv6 statistics. 0 % 10 % 20 % 30 % 40 % 50 % 2017 18,1 % 2018 2019 2020 2021 2022 2023 2024 2025 2026 48,1 % Пункти, додані за рік +3,6 +5,0 +4,4 +3,3 +4,3 +3,3 +2,3 +2,6 +1,1 Цей рік додав\u0026#160;1,1 пункту, найменший приріст за десятиліття, проти 6,6 пункту за рік до серпня 2017. Вимір Google щодо власних відвідувачів, які приходять через нативний IPv6, узятий у середині серпня кожного року, щоб порівнювати однакове з однаковим. Лінія показує рівень. Стовпчики показують, що додав кожен рік. Ми не прискорюємося до фінішу. Ми сповільнюємося, не дійшовши до половини. Цей рік додав 1,1 пункту, найменший приріст за десятиліття, проти 6,6 пункту за рік до серпня 2017 року.\nПродовж пряму з останніх трьох років, і світ досягає 100 % у 2049 році. Продовж пряму лише з цього року, і це 2073 рік. Жодне з цього не є прогнозом. Крива, що вирівнюється, не доходить до верху сама собою взагалі. Вона застрягає десь на шістдесяти, і решта ніколи не зрушить, бо мережі, які не зробили цього до того часу, це саме ті, яких ніщо ніколи не збиралося зрушити.\nЯ був би радий помилитися. Число ставало меншим щороку, коли я на нього дивився.\nЧи потрібен нам закон? Щодо цього я вагався найбільше, і зупинився на «не той закон, за який люди хапаються».\nПроти мандату: американці ухвалили найсильніший з усіх, які хтось має, і не виконали його. Кінцевий термін ще не є розгортанням.\nЗа: прощальний вердикт 6UK у 2012 році полягав у тому, що стимулів вільного ринку недостатньо і що позаду опиняються країни з урядами, які ні в що не втручаються. Чотирнадцять років британських даних із ними погоджуються.\nА ось частина, яка все вирішує. Ця країна вже ухвалювала закон щодо цієї проблеми, просто ухвалила його в неправильному напрямку. Ми були готові ухвалити закон, щоб пристосуватися до спільного використання адрес. Ми ніколи не були готові ухвалити закон, щоб його прибрати.\nЯ просив би не заборони й не цільового показника, а бельгійського інструменту, описаного раніше: жорсткої межі того, скільки абонентів можуть ділити одну адресу. Йому не потрібні нові адреси, він нікого не виштовхує з ринку і працює на економіці, а не на чиїхось добрих намірах.\nМандат сам по собі дає одну корисну річ, і це не розгортання. Це названа людина, яка мусить пояснити невиконання. У нас такої ніколи не було.\nЯк же тоді ми так швидко перейшли на IPv4? Тому що хтось міг вимкнути старий.\nПорівняння точне, і майже ніхто його не робить. ARPANET працював на Network Control Program, який адресував хости 8 бітами, 6 на вузол і 2 на хост, тож 64 вузли по 4 машини, 256 хостів загалом. До кінця 1970-х це очевидно було замало, і відповіддю став новий протокол із більшою адресою. Та сама проблема, що в нас зараз, на сорок із гаком років раніше.\nДжон Постел опублікував план переходу у листопаді 1981 року. У березні 1982 року Міністерство оборони США оголосило TCP/IP своїм офіційним стандартом. Обидва протоколи працювали поруч, і 1 січня 1983 року NCP вимкнули. Хости, які не перейшли, втратили доступ до мережі. Вінт Серф пригадує значки «I survived the TCP/IP switchover», які потім носили ті, хто через це пройшов.\nЧотирнадцять місяців від плану до дня перемикання.\nТепер порахуй, що зробило це можливим. Приблизно кілька сотень хостів, а не чотири мільярди. Одна мережа, а не всі мережі. Один фінансувальник, якому належала кожна машина в ній і який платив зарплату кожному, хто до них торкався. Одна організація, здатна призначити дату і, ось що важливо, здатна змусити старий протокол перестати працювати в цю дату.\nНічого з цього зараз не існує, і в цьому вся відповідь. IPv4 переміг не тому, що перехід був легким. Він переміг тому, що був хтось у позиції покласти край суперечці.\nСьогодні в такій позиції нікого немає. Немає органу, який може вимкнути IPv4, і ніколи не буде. А це означає, що цей перехід не можна завершити так, як завершили попередній: його можна завершити лише тим, що кілька тисяч організацій кожна сама вирішить потурбуватися.\nЗа цьогорічними числами це виходить на 2073 рік. Через дев’яносто років після дня перемикання.\nКолись ми робили речі як слід Стандарт є тим, чого дотримуєшся, коли ніхто не перевіряє. Ось і все. Для цього немає інспектора, немає сертифіката, немає аудитора, який приходить і просить показати таблицю маршрутизації, і двадцять років тепер точно показали, що ця країна робить з обов’язком, який ніхто не примушує виконувати.\nМи його кидаємо, а потім купуємо щось, щоб закрити діру.\nНіщо з цього не є технічним провалом, і я не вдаватиму, що є. Британія може робити цю роботу. Навички тут, обладнання тут, адресний простір виданий і лежить в обліковках, за які ми вже платимо. Зник інстинкт робити роботу як слід, бо це робота, без доплати за це і без того, щоб хтось стояв над тобою й змушував.\nСпитай, що насправді це зупиняє, і вийдеш на гроші, але не так, як люди мають на увазі.\nNAT операторського рівня має замовлення на закупівлю. Він має постачальника, комерційну пропозицію, знижку, договір підтримки й дату продовження. Він потрапляє в план капітальних витрат, амортизується п’ять років, і чиєсь ім’я стоїть під бізнес-обґрунтуванням. Його впровадження є видимою річчю, на яку менеджер може показати під час атестації.\nУ IPv6 нічого з цього немає. Ні рахунку, ні постачальника, ні продовження, нічого, що можна вписати в бюджет, і нічого, що хтось видимо купив. Це просто робота, зроблена як слід людьми, які знають, що роблять, без жодної віддачі в цьому кварталі. Нікого в цій галузі ніколи не підвищили за річ, яка ніколи не з’являлася в бюджеті.\nТож дешевший варіант програє, щороку, двадцять років. Не тому, що хтось зважив і обрав неправильно, а тому, що тут виросла управлінська культура, яка бачить лише ті частини інженерії, що приходять із цінником. Дешевизна ніколи не була перешкодою. Перешкодою було те, що за це не виставиш рахунку. Так виглядає бізнес, коли він перестає дбати про стандарти й починає дбати лише про те, що можна вписати в рахунок-фактуру, і цей вибір роблять люди, яким платять достатньо, щоб вони знали краще.\nА ще є те, що нам продали замість адреси, і це мало б злити людей більше, ніж злить.\nІнтернет збудували так, щоб будь-яка машина могла дістатися будь-якої іншої напряму. Не деталь проєкту. Сам проєкт. Саме тому будь-хто з підключенням та ідеєю міг виставити щось, до чого міг дістатися весь світ. Посади клієнта за спільну адресу, і цього не стало. Ти можеш питати, але ніколи не можеш відповідати. Ти споживач чужих сервісів, назавжди, і ніколи не постачальник власних.\nЦе не прикрий побічний ефект дефіциту. Це перебудова архітектури, і вона влаштовує всіх, хто її продає. Камера, якій тепер потрібна хмара виробника. Віддалений доступ, якому тепер потрібен чийсь ретранслятор. Річ, яку люди колись запускали вдома, а тепер це щомісячна підписка. Кожне з цього означає, що когось, хто володів річчю, перетворюють на того, хто її орендує, а з’єднання тихо понижують із місця в інтернеті до вікна в чийсь чужий.\nМи віддали середину інтернету жменьці компаній на іншому континенті, а потім стояли й дивувалися, що він став централізованим. Не можна покладатися на себе, маючи з’єднання, яке не дає тобі хостити хоч щось.\nПокладатися на себе: ось до чого я постійно повертаюся, бо ця країна перестала цього від себе чекати. Інстинкт тепер полягає в тому, щоб чекати. На постачальника, регулятора, грант, мандат, клієнта, який подзвонить і попросить. Ніхто з них не прийде. Немає ринкового сигналу на підході, немає політики в роботі, немає кінцевого терміну, невиконання якого комусь доведеться пояснювати.\nТож усе лишається там, де було весь цей час. Безкоштовне виділення, що лежить в обліковому записі реєстру з назвою твоєї компанії, і два тижні між тобою і правильно зробленою роботою.\nНіхто не прийде тебе змушувати. Саме тому це й рахується.\nТи можеш перевірити, чи це твоя будівля. Скрипт лежить в архіві на початку допису.\nДжерела Усе нижче отримано 27 серпня 2026 року.\nДані, з яких я робив виміри. Кожне моє число походить звідси. Вони безкоштовні, публічні, і всю роботу можна повторити за пообідню пору.\nФайли делегування реєстрів, по одному на кожен регіональний реєстр: RIPE NCC, APNIC, ARIN, LACNIC, AFRINIC. Файл RIPE згенеровано 26 серпня 2026 року, решту 27 серпня 2026 року. Дампи таблиці маршрутизації RIPE RIS, riswhoisdump.IPv4.gz і riswhoisdump.IPv6.gz, згенеровані о 18:06 UTC 27 серпня 2026 року. REST-інтерфейс бази даних RIPE, для організації за кожним номером AS. Публічний DNS, для перевірки AAAA, звіреної з другим резолвером. Чужі виміри.\nGoogle IPv6 statistics — нативний IPv6 за країнами серед власних відвідувачів Google, дані станом на 25 серпня 2026 року. APNIC про продуктивність IPv6 і про хибні уявлення щодо безпеки IPv6 — виміряна картина, а не форумна. Ціни ринку передачі IPv4, перша половина 2026 року, підсумок аналізу CircleID щодо угод із публічними цінами. Стандарти. Прибудови, в порядку публікації.\nRFC 3056 — автоматичне тунелювання 6to4, лютий 2001 року. RFC 3701 — план згортання 6bone, який призначив його вимкнення на 6 червня 2006 року. RFC 7526 — визнання застарілими anycast-ретрансляторів 6to4 і переведення їх у Historic, травень 2015 року. RFC 4864 — що NAT дає і чого не дає, і чому брандмауер, який, як люди думають, у них є, це «an arbitrary artifact», 2007 рік. RFC 4941, RFC 7217 і RFC 8981 — тимчасові й непрозорі адреси, через які IPv6-адреса пристрою не є стабільним ідентифікатором. RFC 801 — план переходу NCP/TCP Джона Постела, листопад 1981 року, що призначив день перемикання на 1 січня 1983 року. RFC 1883 — оригінальна специфікація IPv6, грудень 1995 року. RFC 6333 — DS-Lite, 2011 рік. RFC 6056 — рандомізація порту джерела, захист, який послаблює CGN, 2011 рік. RFC 6269 — Issues with IP Address Sharing, червень 2011 року. Власний каталог IETF того, що ламає CGN, зокрема журналювання зловживань, штрафні бокси, чорні списки, рандомізацію портів і простежуваність. RFC 791 і RFC 8200 — два формати заголовків і чому IPv6 відмовився від контрольної суми, змінної довжини й фрагментації на льоту. RFC 6583 — вичерпання кешу Neighbour Discovery на /64 і поділ на площину пересилання й площину керування, який вирішує, що коштує роутеру процесорного часу. RFC 6177 — скільки адресного простору має отримувати кінцевий майданчик, 2011 рік. Скасовує загальний /48 з RFC 3177, виключає один /64 і передає саме число операційній спільноті. RIPE-690 — власна відповідь європейських операторів на це запитання, жовтень 2017 року: /48 або /56 кінцевому користувачеві, ніколи /64. RFC 6302 — журналювати порт джерела, часову позначку й протокол, 2011 рік. RFC 6598 — спільний адресний простір, 2012 рік. RFC 6877 — 464XLAT, 2013 рік. RFC 6888 — вимоги до NAT операторського рівня, 2013 рік. RFC 7021 — вплив NAT операторського рівня на застосунки, 2013 рік. RFC 7422 — детерміноване відображення, щоб урізати журналювання CGN, 2014 рік. RFC 7597 і RFC 7599 — MAP-E і MAP-T, 2015 рік. World IPv6 Launch, 6 червня 2012 року. Безкоштовний тунельний брокер Hurricane Electric — звідки багато хто з нас отримував IPv6, поки наші власні провайдери його не мали. Закони й політика.\nCyber Security and Resilience (Network and Information Systems) Bill 2024-26 — довідка House of Commons Library щодо законопроєкту, який включив би провайдерів керованих послуг до NIS Regulations. Counter-Terrorism and Security Act 2015, section 21 — зберігання відповідних інтернет-даних і пояснювальні примітки. Europol, жовтень 2017 року — правоохоронці закликають покінчити з NAT операторського рівня, з цифрами 90 % для мобільного й 50 % для фіксованого зв’язку. Меморандум OMB M-21-07 — вимога федерального уряду США щодо переходу лише на IPv6, листопад 2020 року. Online Safety Act 2023. Europol EC3, Carrier Grade NAT and crime attribution online — презентація Грегорі Мун’є на RIPE 74, з опитуванням правоохоронців ЄС у серпні 2016 року, прикладами справ і бельгійським кодексом поведінки та його результатами. NCMEC CyberTipline data — обсяги повідомлень і передач за 2025 рік. A Multi-perspective Analysis of Carrier-Grade NAT Deployment, ACM IMC 2016 — незалежний вимір використання CGN мобільними й фіксованими провайдерами. Схема оплати RIPE NCC 2026 — 1800 EUR за обліковий запис LIR, фіксовано. Постачальники, їхніми власними словами.\nAkamai, червень 2022 року — подвійний стек за замовчуванням, і клієнтам доводиться від нього відмовлятися. AWS, 2023 рік — плата за публічну IPv4-адресу і чому. Репортажі й записи.\nВласний опис Sky на RIPE Labs — як перевели п’ять мільйонів користувачів. ISPreview, вересень 2016 року — Sky завершує розгортання. CircleID, вересень 2016 року — Jim Bound IPv6 Award. ISPreview, грудень 2012 року — 6UK ліквідує себе. Опитування ISPreview щодо IPv6 і CGNAT в альтнетів — квітень 2024 року, оновлене до березня 2025 року. ISPreview про випробування IPv6 у Plusnet, листопад 2023 року — випробування 2011 року, зірваний запуск 2020 року і зауваження, що BT і Plusnet постачають майже ідентичні роутери. Трекер британських мобільних мереж та IPv6, який веде спільнота — на основі повідомлень користувачів, а не офіційний, і джерело того, які мобільні мережі видають IPv6 сьогодні. havevirginmediaenabledipv6yet.co.uk — хронологія Virgin Media, від 2010 року до сьогодні. Internet Society, вересень 2016 року — Sky на 90 % бази, кожен абонент отримує /56. Internet Society, вересень 2016 року — розповідь Рона Брурсми про перехід із NCP на TCP/IP у 1983 році, зокрема про межу в 256 хостів і що сталося з тими, хто пропустив кінцевий термін. The Register, січень 2013 року — тридцять років від дня перемикання і значки, які люди потім носили. UK IPv6 Council. ","permalink":"https://blogs.damiendye.uk/uk/networking/we-never-ran-out-of-addresses/","summary":"IPv6 готовий, безкоштовний і ввімкнений за замовчуванням у кожній операційній системі вже майже двадцять років. Відповіддю Великої Британії став NAT операторського рівня, закон про журналювання і плата 5 £ на місяць за те, щоб повернути тобі адресу, яка в тебе колись була. Я перерахував кожну британську мережу в глобальній таблиці маршрутизації, щоб дізнатися, хто справді ввімкнув IPv6: 1200 з них цього не зробили, і 463 з цих сидять на адресному просторі, який самі попросили й так і не використали.","title":"Адреси ніколи не закінчувалися. Закінчилося бажання працювати."},{"content":"Одразу розкриття: я працюю в croit, яка продає Ceph і фігурує в таблицях нижче. Я намагався бути таким самим критичним до нас, як і до всіх інших. Кожна цифра взята з публічної історії git, власних записів Ceph у дереві або з названої публічної заяви: усе можна відтворити, і все перелічено в джерелах наприкінці.\nCeph тримає на собі купу заліза, про яке ніхто не думає. Кластери Proxmox, OpenStack, Kubernetes, національні дослідницькі лабораторії, банки, телекоми, прискорювачі частинок. Через двадцять років він досі є першою відповіддю, коли комусь потрібне блокове, файлове й об’єктне зберігання з одного кластера на звичайному залізі.\nТо хто його пише, хто його підтримує і хто його запускає?\nНе «хто є в списку розсилки» чи «хто виступав на Cephalocon». Я клонував ceph/ceph, узяв кожен коміт без злиття, створений за десять років до 2026-08-27, і зіставив авторів із компаніями за власним .organizationmap від Ceph плюс задокументованим набором виправлень. Потім я взяв файл керування Ceph у дереві і простежив усіх 38 членів Steering Committee до роботодавця в їхній власній опублікованій адресі. Потім я пошукав, хто публічно каже, що його запускає.\nРазом це 69 613 комітів від 1718 людей із 478 організацій. Картина краща, ніж я очікував на початку, і не та, про яку я збирався писати.\nДесятиліття Місце Організація Коміти Частка 1 Red Hat 42 354 60,8 % 2 SUSE 6191 8,9 % 3 IBM 4308 6,2 % 4 Intel 2066 3,0 % 5 ZTE 1176 1,7 % 6 QiAnXin 900 1,3 % 7 Ceph Foundation 691 1,0 % 8 Mirantis 566 0,8 % 9 IONOS 498 0,7 % 10 China Mobile 397 0,6 % 11 Proxmox 254 0,4 % 12 croit 242 0,3 % 13 Cloudbase Solutions 239 0,3 % 14 Bloomberg 231 0,3 % 15 XSKY 225 0,3 % Clyso 181, Huawei 159, Inspur 155, Cafe Bazaar 130, CERN 121, SK Telecom 120, UMCloud 106, Deutsche Telekom 105, EasyStack 103, ISCAS 99, Tencent 83 і ще 460 організацій Роботодавця в адресі не видно 6295 9,0 % Рядки 1 і 3 є однією командою. 4 жовтня 2022 Red Hat і IBM оголосили, що вся команда Ceph із Red Hat переходить до IBM, і IBM перебрала спонсорство Foundation від Red Hat та допомагає фінансувати upstream-лабораторію для тестів. Люди не змінилися; їхні поштові адреси досі мігрують, по одному інженеру, чотири роки потому.\nДодай їх: 46 662 коміти. 67,0 % десятиліття.\nОбміркуй це перед усім іншим, бо саме ця угода і дає Ceph існувати. Одна компанія платила десяткам інженерів, щоб будувати й доглядати розподілене зберігання, яке вона потім віддає безкоштовно. Десять років поспіль, крізь два поглинання і зміну материнської компанії. Ніхто їх не змушував.\nОстанні три роки Місце Організація Коміти Частка 1 Red Hat 7273 45,0 % 2 IBM 3818 23,6 % 3 QiAnXin 597 3,7 % 4 Ceph Foundation 526 3,3 % 5 IONOS 498 3,1 % 6 Intel 279 1,7 % 7 Proxmox 249 1,5 % 8 Bloomberg 220 1,4 % 9 croit 157 1,0 % 10 Clyso 153 0,9 % 11 Cafe Bazaar 118 0,7 % 12 ISCAS (Інститут програмного забезпечення Китайської академії наук) 99 0,6 % Роботодавця в адресі не видно 2008 12,4 % 16 160 комітів. Red Hat плюс IBM: 11 091, або 68,6 %.\nЧастка однієї компанії в Ceph за десятиліття і за три роки Частка не рухається. Рухається те, що всередині. Десять років до 2026-08-27 69\u0026#160;613 комітів Red Hat\u0026#160;\u0026#160;60,8\u0026#160;% IBM 6,2\u0026#160;% SUSE 8,9\u0026#160;% усі інші\u0026#160;\u0026#160;24,1\u0026#160;% Red Hat + IBM: 46\u0026#160;662 коміти, 67,0\u0026#160;% Останні три роки 16\u0026#160;160 комітів Red Hat\u0026#160;\u0026#160;45,0\u0026#160;% IBM\u0026#160;\u0026#160;23,6\u0026#160;% SUSE: 13 усі інші\u0026#160;\u0026#160;31,4\u0026#160;% Red Hat + IBM: 11\u0026#160;091 коміт, 68,6\u0026#160;% SUSE була другим за розміром контриб’ютором десятиліття. За останні три роки вона написала 13 комітів, а у 2025 і 2026 роках жодного. Частка однієї компанії майже не змінюється між десятиліттям і останнім вікном: 67,0 % проти 68,6 %. Змінюється все навколо неї. Стійкість, про яку ніхто не говорить Ось те, чого я не очікував, і це найкраще в усій цій вправі.\nCeph уже пережив дві події, яких ці дані радили б боятися, і навіть не здригнувся.\nЙого творець, Sage Weil, написав 7517 комітів за десятиліття, більше, ніж будь-яка організація, крім Red Hat, SUSE та IBM. Лише у 2017 році він написав 2184 коміти, 21,5 % усього проєкту одноосібно. Він відійшов у жовтні 2021 після 17 років; його останній коміт датовано 2022-01-20.\nДругий за розміром контриб’ютор десятиліття, SUSE, написав 6191 коміт і досяг піку в 1839 за один рік. Потім компанія скасувала SUSE Enterprise Storage на користь Longhorn від Rancher і згорнулася: 463 у 2021, 110 у 2022, 14 у 2023, 10 у 2024, відтоді нічого.\nОбидва в межах тих самих п’яти років. Якби такий сконцентрований проєкт був крихким, саме тоді він би й зламався.\nНе зламався. Темп комітів цього року становить 14,6 на день проти 14,8 минулого. Рівно. Випуски продовжували виходити. Керування перебудували в Executive Council і Steering Committee на 38 осіб, і воно втрималося.\nРік Усього комітів Red Hat + IBM Частка Усі інші 2016 10 286 5834 56,7 % 4452 2017 10 158 6942 68,3 % 3216 2018 8099 5265 65,0 % 2834 2019 9000 5934 65,9 % 3066 2020 8361 5230 62,5 % 3131 2021 7381 4517 61,1 % 2864 2022 4731 2937 62,0 % 1794 2023 4634 3315 71,5 % 1319 2024 5410 3571 66,0 % 1839 2025 5389 3730 69,2 % 1659 2026 3495 2329 66,6 % 1166 (2026 рік до 27 серпня, приблизно вісім місяців.)\nВід 57 до 72 відсотків від одного вендора, щороку протягом десятиліття. Обсяг нижчий за пік 2016 року, і так буває, коли проєкт перестає перебудовувати свій фундамент і починає його доглядати. Останні три роки рівні або трохи вище.\nОбсяг комітів Ceph за роками: частка тримається, загальна кількість падає вдвічі Коміти за рік і хто їх написав Головна гілка Ceph, коміти без злиття, за датою автора 0 3k 6k 9k 12k 2016 57% 2017 68% 2018 65% 2019 66% 2020 63% 2021 61% 2022 62% 2023 72% 2024 66% 2025 69% 2026* 67% Red Hat + IBM: одна команда з жовтня 2022 усі інші пік SUSE: 1839 Sage Weil іде SUSE: 110 у 2022, 14 у 2023, 0 до 2026 * 2026 рік до 27 серпня; показано за поточним денним темпом 14,6 коміту проти 14,8 у 2025. Обсяг комітів за роками, поділений між командою Red Hat/IBM і всіма іншими. Позначено: пік і вихід SUSE та відхід Sage Weil. Ceph поглинув обидва без зміни ритму. Ceph пережив компанії, які його будували Це справжня історія десятиліття, і в трирічному вікні її взагалі не видно.\nПодивися на рядки 2, 5, 8, 10, 13 і 15. SUSE, ZTE, Mirantis, China Mobile, Cloudbase Solutions, XSKY, а ще Inspur, EasyStack, UMCloud, Kylin, UnitedStack, Xtao, Istuary і інші нижче. Разом значно більше 10 000 комітів. Майже все це зупинилося.\nSUSE: 6191 коміт, пік у 2020, тепер нуль. ZTE: 1176 комітів, 1071 лише у 2016, останній коміт у 2020. Mirantis: 566 комітів, зникли. XSKY, EasyStack, Inspur, UMCloud, Kylin, UnitedStack: когорта зберігання епохи OpenStack, усі згорнулися. Кожна з них була компанією, що ставила продукт на Ceph. Продукти скасували або змінили напрям. А Ceph досі тут і випускає код у тому самому темпі, з їхнім кодом у дереві, і доглядає його вже хтось інший.\nНайкраща ілюстрація це дашборд. За десятиліття src/pybind/mgr/dashboard виглядає так:\nsrc/pybind/mgr/dashboard, десять років Коміти Частка SUSE 1408 36,6 % Red Hat 1177 30,6 % IBM 734 19,1 % Роботодавця не видно 478 12,4 % Дашборд Ceph був здебільшого роботою SUSE. Потім SUSE повністю пішла з проєкту. За останні три роки той самий каталог на 57,5 % IBM і на 30,3 % Red Hat, а дашборд досі випускається і досі отримує нові функції.\nЦе розробка за принципом upstream first, яка робить саме ту роботу, для якої існує. Вендор багато вклав, вендор пішов, а користувачі зберегли програму. Якби SUSE збудувала цей дашборд як закритий шар, прикручений зверху, як зробило б чимало вендорів систем зберігання, він помер би разом із продуктовою лінійкою. Натомість він пішов в upstream, тож вижив.\nНаступне десятиліття будують кілька компаній одночасно Crimson є переписаним з нуля OSD, демона, що володіє твоїми дисками, на фреймворку Seastar, з прицілом на модель «потік на ядро», якої вимагає сучасний NVMe. Це найбільша ставка на наступні десять років Ceph. За десятиліття:\nsrc/crimson, десять років Коміти Частка Red Hat 3038 52,1 % Intel 1269 21,8 % QiAnXin 824 14,1 % Роботодавця не видно 450 7,7 % А за останні три роки Red Hat та IBM разом є меншістю з 45,4 %, при цьому QiAnXin має 28,4 %, а Intel 13,4 %.\nНайважливіше, що зараз будується в Ceph, справді є роботою кількох компаній. Не дорожня карта одного вендора з кількома прикрученими контриб’юторами, а три організації, що роками ведуть важку інженерну роботу над тією самою підсистемою, публічно.\nQiAnXin заслуговує на примітку, бо більшості людей зі світу зберігання ця назва нічого не каже. Це китайська компанія з корпоративної кібербезпеки, заснована як дочірня компанія Qihoo 360 у 2014 році і виділена приблизно у 2016; Qihoo 360 продала свою решту частки 22,6 % фірмам, пов’язаним із China Electronics Corporation, у квітні 2019 року, а на момент подання на IPO у 2020 році CEC володіла 38,3 %. Корпоративну історію видно в журналі git: їхній провідний контриб’ютор, Xuehan Xu, має коміти під @360.cn у 2017 і 2018 роках і під @qianxin.com з 2021. Компанія з безпеки, що не має продукту зберігання на продаж, вклала 900 комітів у майбутній OSD Ceph. Це відкритий проєкт, що працює саме так, як написано на етикетці.\nХто підтримує Ceph і хто їм платить Писати код це одне; тримати ключі це інше. Ceph зберігає своє керування в репозиторії, у doc/governance.rst, і Ceph Steering Committee перелічено там поіменно з адресами електронної пошти. Тож на питання «мейнтейнер і його роботодавець» можна відповісти з першоджерела, а не навмання.\nТридцять вісім місць, простежених до роботодавця у власній вказаній адресі кожного члена:\nРоботодавець Місця Red Hat 16 IBM 9 Clyso 3 Особиста адреса (Anthony D\u0026rsquo;Atri, Myoungwon Oh) 2 croit: Igor Fedotov 1 Bloomberg: Joseph Mundackal 1 Intel: Yingxin Cheng 1 Ceph Foundation: Zac Dover 1 XSKY: Haomai Wang 1 ZTE: Xie Xingguo 1 Ubiquiti: Yehuda Sadeh 1 11:11 Systems: David Orman 1 Red Hat та IBM мають 25 із 38 місць, тобто 65,8 %. Проти 67,0 % комітів десятиліття і 68,6 % останніх трьох років. Орган керування майже точно відображає код, і це здоровий порядок: голос мають ті, хто робить роботу, а отже, ніхто не має права вето, якого не заробив.\nМісця в Ceph Steering Committee за роботодавцем: 25 із 38 в однієї компанії Хто підтримує Ceph, за тим, хто їм платить 38 місць у Ceph Steering Committee, за адресою кожного члена в doc/governance.rst Red Hat IBM Clyso особиста адреса по одному місцю 16 9 3 2 8 croit, Bloomberg, Intel, Ceph Foundation, XSKY, ZTE, Ubiquiti, 11:11 Systems Red Hat + IBM: 25 із 38 місць, 65,8\u0026#160;% Проти 67,0\u0026#160;% комітів десятиліття і 68,6\u0026#160;% останніх трьох років. Комітет відображає код. XSKY і ZTE досі мають місця. Жодна з них не закомітила в Ceph ані рядка з 2020 року. П’ятеро з 38 не мають комітів з 2021 року або взагалі. Керувати не те саме, що писати код, але два з цих місць належать компаніям, які повністю пішли з проєкту. 38 місць у Ceph Steering Committee за роботодавцем у вказаній адресі кожного члена, з doc/governance.rst. Склад комітету близько повторює розподіл комітів. Варто виділити дві деталі, і обидві кажуть щось добре.\nXSKY і ZTE досі мають місця. Жодна з цих компаній не закомітила й рядка з 2020 року: останній коміт Haomai Wang датовано 2020-03-18, Xie Xingguo 2020-07-24, після 750 комітів за десятиліття. Ceph їх не вигнав. Проєкт, який тримає місце за людьми, що збудували великі частини BlueStore і OSD, через роки після того, як їхній роботодавець пішов, не ставиться до контриб’юторів як до одноразових.\nYehuda Sadeh сидить у комітеті з адресою @ui.com. Він написав RADOS Gateway, вхідні двері S3 і Swift до RADOS, Reliable Autonomic Distributed Object Store, на якому стоїть усе інше в Ceph, починаючи в DreamHost у 2008 році, через Inktank, Red Hat та IBM: 972 коміти лише за десятиліття і тисячі до того. Ще в липні 2025 року він писав криптографічний код cephx. А в червні 2026 року зробив рівно один коміт, doc: governance/csc: update email address, змінивши власний запис на Ubiquiti. Він змінив роботодавця і зберіг місце. Тут твоя репутація переходить разом із тобою, і це одна з кращих речей у роботі на відкритому.\nЛідери компонентів Лідери компонентів щодня відповідають кожен за свою підсистему:\nКомпонент Що це Лідер Роботодавець Cephadm Розгортання і керування кластером Adam King Red Hat CephFS POSIX-файлова система Venky Shankar Red Hat Crimson OSD наступного покоління Matan Breizman Red Hat Dashboard Вебінтерфейс керування Afreen Misbah IBM RADOS Сховище об’єктів, на якому стоїть усе інше Radosław Zarzyński Red Hat RBD RADOS Block Device: віртуальні диски Ilya Dryomov Red Hat RGW RADOS Gateway: шар S3 і Swift Adam Emerson, Eric Ivancich Red Hat NVMe-oF Шлюз NVMe over Fabrics Aviv Caro IBM Seastore Бекенд зберігання Crimson Yingxin Cheng Intel Десять названих лідерів, дев’ять у Red Hat або IBM, а Seastore, бекенд зберігання Crimson, очолюють з Intel. Над ними стоїть Executive Council з трьох осіб, створена, коли пішов Sage Weil: Dan van der Ster (Clyso), Neha Ojha (Red Hat), Patrick Donnelly (IBM). Clyso має третину найвищого органу керування з 0,3 % комітів десятиліття: раду будували навколо судження і репутації, а не чисельності.\nМейнтейнери переходили, а код лишався Найсильніший аргумент на користь того, що Ceph є справжнім спільним надбанням, а не продуктом однієї компанії, це те, що відбувається, коли його мейнтейнери змінюють роботу. Кожен із цих переходів простежується за адресами в репозиторії:\nМейнтейнер (поточний роботодавець) Кар’єра за журналом git Останній коміт Igor Fedotov (croit): BlueStore Mirantis (2015–17) → SUSE (2017–24) → croit (2021–) 2026-08-24 Kefu Chai (Proxmox): ядро, збірка Red Hat (2015–22, 4770 комітів) → XSKY → Proxmox (2025–) 2026-08-18 Radosław Zarzyński (Red Hat): лідер RADOS Mirantis (2015–17) → Red Hat (2017–) 2026-06-16 Dan van der Ster (Clyso): Executive Council CERN (2013–22) → Clyso (2023–) 2026-03-18 Zac Dover (Ceph Foundation): документація незалежний → Clyso → Ceph Foundation 2026-07-23 Yehuda Sadeh (Ubiquiti): автор RGW DreamHost → Inktank → Red Hat → IBM → Ubiquiti 2026-06-08 Mark Nelson (Clyso): продуктивність DreamHost → Inktank → Red Hat → Clyso 2024-04-16 Xuehan Xu (QiAnXin): Crimson Qihoo 360 (2017–18) → QiAnXin (2021–) 2026 По три роботодавці в кожного, у декого чотири, і робота тривала крізь кожен перехід. Igor Fedotov уже пережив стратегії Ceph двох своїх роботодавців і досі підтримує рушій, який кладе твої байти на диск. Тож чесна відповідь на «а що, як вендор піде» така: інженери продовжують.\nХто насправді запускає Ceph Внески це лише половина. Ось хто вголос каже, що запускає Ceph, з цифрами, які вони опублікували самі.\nОрганізація Публічно заявлене розгортання CERN, Європейська організація з ядерних досліджень 19 продуктивних кластерів, ~73 PB сирої ємності, плюс ще 5 у новому дата-центрі: основа зберігання під IT-хмарою CERN Bloomberg Сховища об’єктів від сотень TB до понад 8 PB; додали 6 PB сирої ємності наживо, на 50 % більше для онлайн-кластера, менш ніж за годину Wikimedia Foundation П’ять продуктивних кластерів Ceph: блокове зберігання для Cloud VPS, S3 через multisite RGW і CephFS для Airflow, Dumps і ML-Lab DigitalOcean Ceph живить її сервіс Block Storage через RBD, із «hundreds of enterprise-class SSDs» на регіон і 3× реплікацією між серверами та стійками OVHcloud «Persistent storage for virtual machines is ensured by Ceph RADOS Block Device» у її On-Prem Cloud Platform Proxmox Постачає Ceph як вбудований варіант гіперконвергентного зберігання в Proxmox VE На CERN варто подивитися уважніше, бо це найдокладніший публічний опис, який хтось опублікував. З доповіді CERN IT у вересні 2024 року від Enrico Bocchi:\nCeph у CERN, за застосуванням Сира ємність Кластери Блоки: OpenStack Cinder/Glance, HDD, 3× репліка 25,1 PB 5 Блоки: Flash, EC 4+2 976 TB 2 Файлова система: OpenStack Manila, K8s/OKD, HPC, HDD, 3× репліка 13,4 PB 5 Файлова система: Flash, 3× репліка 1,7 PB 4 Об’єкти: S3, Swift, резервні копії, HDD, EC 4+2 28,2 PB 2 Об’єкти: multi-site, EC 4+2 3,6 PB 1 EC 4+2 означає erasure coding, чотири фрагменти даних на два фрагменти парності. HPC означає високопродуктивні обчислення, K8s це Kubernetes, а OKD його upstream-дистрибутив. Цифри є сирою ємністю, до накладних витрат на реплікацію і кодування.\nДев’ятнадцять продуктивних кластерів, що працюють за проголошеним принципом «don\u0026rsquo;t put all your eggs in the same basket», і ще п’ять ідуть у новий дата-центр. Історія сервісу є тихою рекламою програми: пілот на 300 TB у 2013 році, 3 PB у продакшені для RBD до грудня, розширення з 3 PB до 6 PB без простою у 2016, S3 і CephFS у продакшені у 2018, цілий кластер CephFS фізично перенесено без простою у 2022, RBD у ядрі в продакшені у 2023.\nНайкраще про все каже те, що на ньому тримається в CERN: GitLab, OpenStack, OpenShift, Kubernetes, Harbor, Jenkins, Grafana, Kafka, OpenSearch, InfluxDB, HTCondor, Slurm, Jupyter, Spark, Zenodo, Indico і віртуалізація NFS, AFS та CVMFS. Ceph там не побічний експеримент. Це підлога, на якій стоїть решта будівлі.\nІ загальна цифра спільноти, з власного оголошення Linux Foundation про випуск Squid: 1 ексабайт даних у понад 3000 кластерах Ceph.\nЦей ексабайт є нижньою межею, а не підсумком На цьому варто зупинитися, бо це змінює те, як читати кожну цифру про поширення Ceph.\nТелеметрія Ceph вмикається за бажанням. Тебе рахують, лише якщо хтось виконав ceph telemetry on --license sharing-1-0. Кожен, хто цього не зробив, невидимий, а на практиці це більшість, бо за замовчуванням вона вимкнена і ніщо про неї не нагадує.\nА тепер додай Proxmox. Proxmox VE постачає Ceph як свій варіант гіперконвергентного зберігання: три вузли, кілька клацань у вебінтерфейсі, pveceph під капотом, і в тебе кластер Ceph. Дуже багато людей запускають Ceph у продакшені, жодного разу не вважаючи себе користувачами Ceph. Вони користувачі Proxmox. Вони ніколи не підписувалися на розсилку, ніколи не напишуть відгук, не вмикали телеметрію і не з’являються в жодній таблиці вище.\nКожна невелика хостингова компанія, постачальник керованих послуг, університетська кафедра, домашня лабораторія, що тихо пішла в продакшен, і офісний кластер із трьох вузлів у цій категорії є справжнім розгортанням Ceph, якого не рахує жодна цифра в цьому дописі. Те саме стосується всіх, хто отримує Ceph через Rook на Kubernetes або всередині аплаєнса вендора, який ніколи не каже, що в нього під кришкою.\nТож 1 EB у 3000 кластерах є цифрою від кластерів, які підняли руку. Справжня встановлена база значно більша, і ніхто не знає наскільки. Для інфраструктурного програмного забезпечення це дивне становище, бо зазвичай вендор знає, адже ти мусив купити ліцензію, і це прямий наслідок того, що програма безкоштовна.\nКод вклали 478 організацій Журнал комітів водночас є списком тих, хто запускає Ceph у масштабі, бо компанія, що надсилає патчі, майже завжди є компанією, що цю штуку запускає. За десятиліття з’являються 478 окремих організаційних поштових доменів, 140 із них мають п’ять комітів або більше.\nНазви, згруповані, лише з журналу git:\nВиробники чипів, дисків і заліза: Intel, Samsung, Seagate, SanDisk, Western Digital, Quantum, Mellanox, Lenovo, Fujitsu, Hitachi, Nokia, Arm, Linaro, HiSilicon, Synology, 45Drives Хмари і хостинги: DigitalOcean, OVH, IONOS, Akamai, Linode, Hetzner, Binero, City Network, iland, 11:11 Systems, Vexxhost, StackHPC, Canonical, Deutsche Telekom, China Telecom, China Unicom, China Mobile, Chunghwa Telecom Інтернет- і корпоративні користувачі: Bloomberg, eBay, GoDaddy, Flipkart, Wikimedia, Naver, LINE, Kakao, SK Telecom, Alibaba, Tencent, Baidu, ByteDance, Kuaishou, UnionPay, SenseTime, Sangfor, Micro Focus, MITRE, Igalia, Walmart Labs Вендори зберігання та інтегратори: SUSE, Mirantis, XSKY, EasyStack, Inspur, UMCloud, Kylin, UnitedStack, H3C, Xtao, Eisoo, Cloudin, Istuary, ProphetStor, SoftIron, Bigtera, Cloudbase Solutions, Digiware, Bisect, 42on, croit, Clyso, Proxmox, DreamHost Наука й освіта: CERN, Institute of Software at the Chinese Academy of Sciences (ISCAS), Pennsylvania State University, Boston University, University of Michigan, Carnegie Mellon University, плюс асоційовані члени Foundation: FAS Research Computing у Гарварді, Greek Research and Technology Network (GRNET), Monash University, South African Radio Astronomy Observatory (SARAO), Science and Technology Facilities Council (STFC), SWITCH, SLAC у Стенфорді і Center for Research in Open Source Software (CROSS) в UC Santa Cruz Не всі з них актуальні, і саме для цього варто дивитися на десятиліття. Воно показує весь діапазон тих, хто спирався на цю програму настільки сильно, що надсилав патчі назад, і наскільки широким був цей розкид.\nГравці, які кажуть, що підтримують Ceph, проти того, що вони постачають Рівневе членство у Foundation є місцем, де компанії заявляють про підтримку. Рівні не відстежують інженерну роботу, і найяскравіша ілюстрація походить від трьох діамантових членів, яких цитує власне оголошення Linux Foundation про випуск Ceph Squid.\nДіамантовий член Що вони сказали публічно Коміти, останні 3 роки IBM: Vincent Hsu, IBM Fellow, CTO \u0026amp; VP of IBM Storage «reinforce our trust in Ceph and our commitment to open source» 11 091 (разом із Red Hat) Bloomberg: Matthew Leonard, Head of Storage Engineering «Our Diamond Membership is a symbol of our commitment to the future of Ceph and its growing community» 220 45Drives: Doug Milburn, Co-founder and President «our unwavering commitment to open-source excellence» 0 Заяву IBM підкріплено найбільшим інженерним внеском в історії проєкту, і навіть більше. Заяву Bloomberg підкріплено 220 комітами, місцем у Steering Committee і продуктивним парком на 8 PB, про який вони відкрито говорять: серйозний внесок за будь-якою мірою. 45Drives будує і продає апаратні аплаєнси Ceph і фінансує спільну інфраструктуру; це теж справжній внесок, просто не код.\nПовна картина за рівнями:\nЧлен Рівень Коміти, останні 3 роки IBM Diamond 11 091 (разом із Red Hat) Bloomberg Diamond 220 CLYSO Diamond 153 45Drives Diamond 0 Western Digital Platinum 0 42on Gold 1 croit Silver 157 DigitalOcean Silver 13 Canonical Silver 9 OVHcloud, Sony, OSNexus, CloudFerro Silver по 0 А в іншому напрямку: четверо з семи найбільших контриб’юторів узагалі не є членами:\nКонтриб’ютор Коміти Член? QiAnXin 597 Ні IONOS 498 Ні Intel 279 Уже ні Proxmox 249 Ні Рівень у Foundation проти комітів: гроші й код не пов’язані Що вони платять, проти того, що вони написали Рівень у Ceph Foundation проти комітів у main, з 2023-08-27 до 2026-08-27 200 400 600 комітів DIAMOND IBM разом із Red Hat 11\u0026#160;091 Bloomberg 220 CLYSO 153 45Drives нічого PLATINUM Western Digital нічого GOLD 42on 1 SILVER croit 157 DigitalOcean 13 Canonical 9 ще шість членів Silver нічого, усі шестеро НЕ ЧЛЕНИ QiAnXin 597 IONOS 498 Proxmox 249 Cafe Bazaar 118 Шість членів Silver без комітів: OVHcloud, Sony Interactive Entertainment, OSNexus, CloudFerro, Intelligent Systems, LongVan. Двоє з чотирьох членів найвищого рівня не написали нічого. Третій і п’ятий за розміром контриб’ютори Ceph узагалі не є членами. Рівень у Foundation проти комітів за останні три роки. Спонсорство й інженерна робота є різними внесками: рівні вимірюють перше, а не друге. Я не читаю це як лицемірство і волів би, щоб ніхто інший теж так не читав. Гроші Foundation оплачують upstream-лабораторію для тестів, безперервну інтеграцію, через яку проходить кожен pull request, Cephalocon і персонал спільноти: речі, без яких Ceph не обійтися, і які вендор заліза, що постачає аплаєнси Ceph, цілком слушно фінансує. Western Digital, DigitalOcean і OVHcloud продають продукти, що спираються на Ceph, і платять у спільне надбання, яке тримає його на ходу. Це чесний обмін.\nПрактичний висновок вузький: читай сторінку членів як список тих, хто фінансує спільну інфраструктуру, а журнал комітів як список тих, хто пише код. Це різні питання з різними відповідями, і обидві відповіді корисні.\nЗасновники, вісім років потому Foundation запустили 12 листопада 2018. Склад зафіксовано двічі, в оголошенні Linux Foundation і в копії на стрічці новин, і вони точно збігаються: тринадцять членів Premier, десять General, вісім Associate.\nПроти сьогоднішньої сторінки членів: четверо з тринадцяти членів Premier досі перелічені під власною назвою (Canonical, DigitalOcean, OVHcloud, Western Digital), п’ятеро, якщо рахувати IBM як місце Red Hat. З десяти членів General лишилися двоє: croit і Intelligent Systems.\nА всі вісім членів Associate досі там. Їхні повні назви, як їх подає оголошення про заснування:\nBoston University Information Services and Technology CERN, Європейська організація з ядерних досліджень FAS Research Computing, Harvard University The Greek Research and Technology Network (GRNET) Monash University, Мельбурн The South African Radio Astronomy Observatory (SARAO) The Science and Technology Facilities Council (STFC) у UK Research and Innovation (UKRI) The Center for Research in Open Source Software (CROSS) в University of California, Santa Cruz, де Ceph і було написано спочатку, як докторську роботу Sage Weil разом зі Scott Brandt, Ethan Miller, Darrell Long і Carlos Maltzahn; оригінальна стаття 2006 року досі розміщена на ceph.io Вісім із восьми, за вісім років.\nПлатні члени змінювалися. Університети й дослідницькі лабораторії, які вступають безкоштовно, протрималися вісім років, і жоден не пішов. Це ті, хто запускає Ceph у масштабі заради науки, і жоден не пішов геть.\nДокументація Quincy досі містить список членів, яким він був приблизно у 2022 році, і це дає середню точку: дванадцять із двадцяти чотирьох комерційних членів у тому знімку відтоді пішли, рівно половина. Ритм Ceph за цей період не змінився.\nПро croit, оскільки це мій роботодавець і один із тих, хто лишився. croit GmbH вступила як засновницький член General у перший же день і досі є членом вісім років потому, довше, ніж протрималися Intel, SUSE, ZTE, Arm чи Samsung. Водночас це 0,3 % комітів десятиліття. Залишатися не те саме, що будувати, і я не збираюся видавати довголіття за внесок для компанії, яка мені платить.\nДокументація це одна людина, і Foundation йому платить Рядок 7 таблиці десятиліття це «Ceph Foundation», 691 коміт. Майже повністю одна людина.\nZac Dover має 1060 комітів за десятиліття, майже повністю документацію. За останні три роки він дає 28,4 % усього в doc/, найбільший окремий контриб’ютор, попереду і Red Hat, і IBM. Його історія адрес іде від @gmail.com до @clyso.com, потім до @proton.me, і у власних записах Ceph зіставлена з Ceph Foundation.\ndoc/, останні три роки Коміти Частка Ceph Foundation 499 28,4 % Роботодавця не видно 383 21,8 % Red Hat 379 21,5 % IBM 333 18,9 % doc/ є єдиним каталогом, де найбільший окремий контриб’ютор не Red Hat і не IBM, і це помітно. Посібник Ceph кращий, ніж вдається більшості інфраструктурних програм такого розміру. Платити технічному письменнику, який не звітує жодному вендору, це найрозумніше, що Foundation робить із грошима.\nОкремі люди досі можуть щось змінити Найактивніші люди десятиліття, згруповані за іменем автора:\nЛюдина Коміти за десятиліття Роботодавець(і) Sage Weil 7517 Red Hat: творець, пішов у 2022 Kefu Chai 5538 Red Hat → Proxmox Casey Bodley 2472 Red Hat Patrick Donnelly 2330 Red Hat → IBM Jason Dillaman 1629 Red Hat: пішов у 2021 Radosław Zarzyński 1607 Mirantis → Red Hat Samuel Just 1415 DreamHost → Inktank → Red Hat John Mulligan 1300 Red Hat Yingxin Cheng 1202 Intel Zac Dover 1060 Ceph Foundation Yehuda Sadeh 972 Red Hat → IBM → Ubiquiti Alfredo Deza 930 Red Hat: пішов у 2019 Двадцять одна людина написала половину комітів десятиліття; дев’яносто одна написала 80 %. Це нормально для великої кодової бази на C++, і саме тому окремі люди тут так багато важать.\nНайясніший доказ того, що двері відчинені: п’яте місце за останні три роки посідає один інженер з IONOS. Max Kellermann має 498 комітів з 2024 року, більше, ніж Intel, Proxmox, Bloomberg, croit чи Clyso як компанії, у src/mds, src/common, src/mon, src/tools, src/librbd, src/mgr і src/rgw. Він дає 19,3 % усієї роботи над метаданими CephFS у цьому вікні, поступаючись лише Red Hat.\nНіхто його не призначав. Він прийшов і почав виправляти, і через три роки він один із найактивніших контриб’юторів проєкту, яким керує компанія з Fortune 50. У Ceph досі можна прийти й мати значення.\nProxmox є іншим боком тієї самої монети: 249 комітів за останні три роки, 241 з них від Kefu Chai з 30 вересня 2025. Proxmox за одинадцять місяців пройшов шлях від нуля до першої десятки контриб’юторів Ceph, найнявши одного доброго інженера.\nRGW: де насправді йде робота Якщо хочеш знати, куди йде інженерна робота Ceph, відповідь: об’єктне зберігання, і причина проста: RGW має пройти найдовший шлях, щоб зрівнятися з тим, із чим конкурує.\nsrc/rgw є найбільшою функціональною підсистемою Ceph за десятиліття, 6958 комітів, попереду Crimson з 5827, OSD з 4499, дашборда з 3848, BlueStore з 2560 і CephFS з 2546. Це вчетверо більше за зусилля над блоковим рівнем. За останні три роки він отримав 1705 комітів, поступаючись лише Crimson, а Crimson є переписуванням з нуля. Серед коду, що вже постачається, RGW є найбільшою поточною програмою розвитку функцій у проєкті.\nS3 від Amazon є рухомою ціллю з величезною поверхнею API, і щороку в нього з’являються функції, яких клієнти потім очікують від усього, що називає себе S3-сумісним. Тож RGW за ним женеться. Порахуй теми комітів RGW за останні три роки за функціональними напрямами, і форма цієї гонитви стає очевидною:\nРобота над RGW за останні 3 роки Коміти, що це згадують Multisite-реплікація 94 Облікові записи 94 IAM: керування ідентифікацією і доступом 72 Політики 71 Сповіщення бакетів 69 STS (тимчасові облікові дані) 67 Topics 50 Ролі 47 Restore 41 POSIX / шлюз файлової системи 40 Шифрування на боці сервера (SSE) 38 Multipart upload 32 Lifecycle 16 KMS: сервіс керування ключами 12 S3 Select 11 Контрольні суми 11 Cloud transition 10 Versioning, CORS, object lock, bucket logging, tagging 28 разом (Підрахунок ключових слів у 1705 темах комітів, тож один коміт може з’являтися в кількох рядках: суть у розподілі, а не в точному підсумку.)\nЦе не підтримка. Це облікові записи, ролі й політики, сесійні токени, сповіщення бакетів і topics, SSE-KMS, object lock, правила lifecycle, S3 Select, контрольні суми, хмарне рівневе зберігання і multisite-реплікація: список функцій AWS, який вибудовують. Прочитай свіжі теми і знайдеш роботу над перевіркою підпису SigV4, обробку x-amz-content-sha256, presigned URL. Копітка дрібниця сумісності, з тих, що мають значення лише тому, що чиясь клієнтська бібліотека очікує точної поведінки Amazon і без неї впаде.\nТому ж у RGW і найстрокатіший список контриб’юторів серед великих підсистем. За десятиліття Red Hat дає 64,3 % його, але там є й Bloomberg (8,6 % у недавньому вікні) і Cafe Bazaar (6,2 %), компанії, що запускають великі сховища об’єктів у продакшені і виправляють те, що їх кусає.\nЯкщо ти зважуєш Ceph для роботи з S3, саме ця цифра має тебе заспокоїти. Відставання від Amazon є причиною, чому RGW отримує більше уваги, ніж будь-що інше в дереві, і найбільше окреме інженерне зусилля в проєкті спрямоване на те, щоб його скоротити.\nRBD: стабільний код, а не занепад src/librbd є блоковим пристроєм Ceph: його використовує Proxmox, його використовує OpenStack Cinder, його використовує більшість драйверів Container Storage Interface для Kubernetes. Якщо ти запускаєш Ceph, то, ймовірно, запускаєш RBD. Його графік комітів виглядає так:\nКоміти RBD за роками: компонент переходить у режим підтримки Коміти в\u0026#160;src/librbd, за роками Блоковий пристрій Ceph: його використовують Proxmox, OpenStack Cinder і більшість драйверів CSI для Kubernetes 0 100 200 300 400 431 2015 477 2016 258 2017 276 2018 209 2019 455 2020 165 2021 85 2022 49 2023 74 2024 45 2025 19 2026 Роботу над функціями в основному завершено Jason Dillaman написав 281 з 455 комітів 2020 року: постійний кеш зворотного запису і криптографія, потім RBD перейшов у режим підтримки. 2026 рік до 27 серпня. Це не занепад: це зрілий компонент, який доглядають, а не перебудовують. Коміти в src/librbd за роками. Важка робота над функціями завершилася приблизно у 2020 році, коли Jason Dillaman написав 281 з 455 комітів того року, над постійним кешем зворотного запису і криптографією, і відтоді компонент перейшов у режим підтримки. 159 комітів за останні три роки, приблизно один на тиждень, проти 1705 для RGW і 1944 для Crimson.\nОсь так виглядає стабільний код, і це перевага. Блокове зберігання поверх RADOS є розв’язаною задачею. RBD роками має знімки, клони, шарування, дзеркалювання, шифрування, живу міграцію і постійний кеш, і попереду нього не мчить нічого схожого на API S3, бо те, чого гіпервізор хоче від блокового пристрою, за десятиліття майже не змінилося. Роботу над функціями зроблено. Лишається догляд: виправлення помилок, крок у ногу з ядром, зрідка виграш у продуктивності.\nПорівняй його з RGW навмисно. RGW отримує вдесятеро більше комітів, бо йому лишилося пройти вдесятеро довший шлях. RBD не лишилося, тож він і не отримує. Компонент, який перестав змінювати форму, не є компонентом, що занепадає, і якби librbd раптом отримував 400 комітів на рік, я б хотів знати, що пішло не так, бо тримає він диски моїх віртуальних машин.\nЄдине, що варто знати: експертиза тут зосереджена в дуже небагатьох головах. RBD це більш-менш Ilya Dryomov, який доглядає обидва кінці, upstream Ceph і драйвер rbd у ядрі Linux. Це майже найкраща можлива схема, і все одно глибина тут в одну людину. Це каже тобі, кого питати, а не чи розгортати.\nДе лежить робота Те саме зіставлення по всьому дереву, десятиліття і недавнє вікно поруч:\nДілянка Лідер десятиліття Частка Лідер останніх 3 років Група IBM, останні 3 роки src/mds: метадані CephFS Red Hat 78,5 % Red Hat 56,4 % 73,9 % src/osd: поточний OSD Red Hat 69,7 % Red Hat 56,9 % 84,0 % src/cephadm: розгортання Red Hat 66,8 % Red Hat 73,7 % 92,0 % src/rgw: S3 Red Hat 64,3 % Red Hat 56,1 % 66,7 % src/librbd: блоки Red Hat 61,1 % Red Hat 76,7 % 83,0 % src/crimson: наступний OSD Red Hat 52,1 % Red Hat 42,0 % 45,4 % doc/: посібник Red Hat 45,6 % Ceph Foundation 28,4 % 40,5 % src/os/bluestore: рушій Red Hat 36,9 % IBM 46,5 % 54,2 % src/pybind/mgr/dashboard SUSE 36,6 % IBM 57,5 % 87,8 % Тут варто прочитати дві речі. Володіння: що ближче до частин, які продає вендор, інструменти розгортання, GUI, то більше це одна компанія; що далі, OSD наступного покоління, рушій зберігання, посібник, то тісніше, і саме там є місце, якщо хочеш робити внесок десь, що ще не має власника.\nОбсяг: за загальною кількістю комітів за десятиліття рейтинг такий: RGW 6958, Crimson 5827, OSD 4499, дашборд 3848, монітори 2896, BlueStore 2560, CephFS 2546, RBD 1750, cephadm 1685. Зусилля йдуть за відстанню до готовності, а не за часткою розгортань. RGW перший, бо до паритету з S3 ще далеко; RBD біля дна, бо блокове зберігання завершене.\nBlueStore заслуговує окремого рядка. Це рушій, що записує твої байти на диск, і за останні три роки другий за розміром контриб’ютор після IBM це croit із 18,1 %: Igor Fedotov, його головний мейнтейнер, у компанії з кількох десятків людей. Це мій роботодавець, тож зважай на це. Суть лишається хоч би хто підписував йому чеки: невелика компанія може наймати мейнтейнера одного з найкритичніших для безпеки компонентів у стеку, і проєкту від цього краще.\nХто тримає кнопку злиття Я порахував і злиття: 7893 за останні три роки, приписані тому, хто натиснув кнопку:\nОрганізація Злиття Частка Red Hat 3892 49,3 % IBM 1597 20,2 % Ceph Foundation 524 6,6 % Proxmox 202 2,6 % Intel 136 1,7 % croit 76 1,0 % 69,5 % злиттів проти 68,6 % комітів. Ворота і робота мають однакову форму. Тут немає ситуації, коли одна компанія пише код, а інша контролює, що потрапляє в дерево, а саме цей режим відмови справді вартий тривоги в корпоративному open source. У Ceph його немає.\nЗвідки беруться цифри Усе це можна відтворити. Ceph підтримує власне зіставлення контриб’юторів з організаціями в репозиторії, .organizationmap, поруч із .mailmap, .peoplemap і .githubmap, і документує команду для його використання.\ngit clone --filter=blob:none --no-checkout https://github.com/ceph/ceph.git cd ceph git show HEAD:.organizationmap \u0026gt; /tmp/orgmap # Ceph\u0026#39;s own documented method, over the last ten years git log --no-merges --since=2016-08-27 --until=2026-08-27 --pretty=\u0026#39;%aN \u0026lt;%aE\u0026gt;\u0026#39; \\ | git -c mailmap.file=/tmp/orgmap check-mailmap --stdin \\ | sort | uniq -c | sort -rn | head -30 # the maintainer-to-employer mapping, straight from the repo git show HEAD:doc/governance.rst | sed -n \u0026#39;/^.. _csc:/,/^\\.\\. _ctl:/p\u0026#39; \\ | grep -oE \u0026#39;\\* [^\u0026lt;]+\u0026lt;[^\u0026gt;]+\u0026gt;\u0026#39; Запусти першу, і отримаєш меншу IBM, ніж у мене, бо офіційна мапа застаріла. Вона не знає aainscow@uk.ibm.com, bill_scales@uk.ibm.com, ylifshit@ibm.com, rkachach@ibm.com, leonid.usov@ibm.com чи машинно згенерованих імен хостів li-*.ibm.com. Використання власного інструментарію проєкту занижує концентрацію.\nМої виправлення поверх мапи:\nБудь-яка адреса, що закінчується на ibm.com, включно з uk.ibm.com, il.ibm.com, in.ibm.com, de.ibm.com і формами li-*.ibm.com, є IBM. redhat.com і inktank.com є Red Hat, показані окремо від IBM, але це та сама команда з жовтня 2022. Сім особистих адрес приписано роботодавцям там, де це доводить сам репозиторій: sage@newdream.net (Red Hat), idryomov@gmail.com (вказаний як idryomov@redhat.com у власному doc/governance.rst Ceph), max.kellermann@gmail.com (IONOS), xxhdx1985126@gmail.com (QiAnXin), yuvalif@yahoo.com (IBM), yingxincheng@gmail.com (Intel), shraddha.agrawal000@gmail.com (IBM). Усе інше зберігає свій домен. Особисті адреси лишаються «роботодавця не видно», а не вгадуються. Застереження, які я не можу виправити. Коміти є грубою одиницею: ретельний рефакторинг на 900 рядків рахується один раз, сорок виправлень друкарських помилок рахуються сорок разів, і нічого тут не зважено. Поштові домени неідеальні: 9,0 % десятиліття не показує роботодавця, і комусь із цих людей напевно платять за написання Ceph. Рецензування в git не видно: Ceph рецензує в pull request на GitHub, а не трейлерами Reviewed-by:, яких я знайшов дванадцять за три роки; найважливіші ворота проєкту не лишають сліду в клоні. Цифри лише для main, тож бекпорти в стабільні гілки не пораховано, що занижує роботу з підтримки. І кожна цифра поширення тут є нижньою межею, з причини телеметрії, описаної вище.\nДе твердження спирається на дату, я використовував дату автора; де на роботодавця, адресу, яку людина опублікувала сама.\nЩо я з цього виношу Ceph є проєктом із корпоративним фінансуванням і справжньою спільнотою по краях, і таким він був усе своє комерційне життя. Це не шпилька. Хтось має платити інженерам, щоб доглядати розподілене зберігання такого масштабу, і десять років хтось платить.\nЯ не вдаватиму, що Ceph типовий, бо я перевірив. Статистика LWN для Linux 6.15 фіксує 2068 розробників щонайменше від 195 роботодавців, де найбільша окрема компанія, Intel, має 12,0 % наборів змін. У Ceph 1718 людей за десятиліття і одна компанія з 67,0 %. Ядро розподіляє свою корпоративну залежність між десятками фірм. Ceph зосереджує її в одній. Це справжня різниця, і «так роблять усі» було б лінивим способом від неї відмахнутися.\nАле ось що десять років даних кажуть про те, чи це важливо, і ця відповідь краща, ніж та, яку я йшов шукати:\nCeph міцний там, де це має значення. Він утратив людину, яка його написала і робила п’яту частину роботи. Він утратив SUSE, свого другого за розміром контриб’ютора й автора дашборда. Він утратив ZTE, Mirantis, XSKY, EasyStack, Inspur і половину засновницьких членів Foundation. Темп комітів сьогодні в межах двох відсотків від минулорічного. Двадцять років інженерної роботи над зберіганням лежать у цьому дереві під LGPL-2.1 або LGPL-3, і ніхто не може його закрити, переліцензувати чи забрати назад.\nМейнтейнери переносні. Fedotov тримає BlueStore на ходу крізь трьох роботодавців. Kefu Chai перейшов з Red Hat до Proxmox і продовжив. Sadeh написав RGW у DreamHost і цього червня змінив свою адресу в комітеті на Ubiquiti. Коли компанія йде, її люди часто лишаються.\nДвері справді відчинені. Один інженер з IONOS за три роки став п’ятим за розміром контриб’ютором. Proxmox потрапив у першу десятку з одним найманням. Компанія з безпеки без продукту зберігання будує п’яту частину OSD наступного покоління. Патчі надіслали 478 організацій. Якщо хочеш долучитися, тебе не зупиняє ніщо, крім самої роботи.\nБаза користувачів значно більша, ніж хтось може виміряти. Ексабайт у 3000 кластерах це те, що підняло руку через телеметрію за бажанням, а CERN сам по собі має дев’ятнадцять продуктивних кластерів. Кожен гіперконвергентний кластер Proxmox, кожне розгортання Rook, кожен аплаєнс вендора з Ceph під кришкою є реальним продуктивним використанням, якого не рахує жодна опублікована цифра. Програма, розгорнута так широко і так тихо, просто так не зникає.\nЗусилля йдуть туди, де відставання, а не туди, де користувачі. RGW є найбільшою програмою в проєкті, 6958 комітів за десятиліття, бо наздогнати Amazon у S3 це довга гонитва за рухомою ціллю. RBD біля дна, бо блокове зберігання зроблено. Низька кількість комітів у зрілого компонента означає завершену роботу, а не попередження, і прочитати ці дві цифри навпаки є найлегшою помилкою з такими даними. Я сам її зробив на першому проході.\nОцінюй постачальників за комітами, а не за рівнями. Історія публічна, і чотири рядки shell покажуть тобі, хто насправді доглядає те, від чого ти збираєшся залежати. Закрите зберігання не пропонує тобі цього за жодні гроші.\nТож якщо ти зважуєш Ceph: концентрацію варто знати, коли плануєш на п’ять років уперед, і вона не є причиною стримуватися. Зрілий блоковий рівень. Найбільше інженерне зусилля проєкту, спрямоване прямо на паритет із S3. Майбутній OSD, який будують три компанії одночасно. Посібник кращий за більшість. Керування, яке пережило втрату засновника. Десятиліття рецензування на відкритому, робота 478 організацій у дереві і ліцензія, найгіршим випадком якої є форк, а не глухий кут. За свідченням 69 613 комітів, цей проєкт у доброму здоров’ї.\nІ порахуй сам, якщо мені не віриш. Команди є вище, дані публічні, і ніщо в цьому дописі не треба брати на віру, ні моє, ні чиєсь інше.\nДжерела Джерела проєкту Ceph\n\u0026ldquo;Ceph: A Scalable, High-Performance Distributed File System\u0026rdquo; — Weil, Brandt, Miller, Long і Maltzahn, OSDI \u0026lsquo;06, листопад 2006. Стаття, з якої почався Ceph ceph/ceph on GitHub — репозиторій, з якого взято кожну цифру комітів; .organizationmap, .mailmap, .peoplemap, .githubmap, doc/governance.rst і COPYING лежать у дереві Ceph governance — склад Executive Council і Ceph Steering Committee, з адресами Ceph component team — лідери компонентів Ceph Foundation members — поточне членство за рівнями Ceph Foundation documentation — структура рівнів і безкоштовне членство Associate Ceph Foundation members, Quincy documentation — членство приблизно станом на 2022 рік Ceph telemetry module — підтверджує, що телеметрія вмикається за бажанням \u0026ldquo;Red Hat\u0026rsquo;s Ceph team is moving to IBM\u0026rdquo;, 4 жовтня 2022 Ceph Community Newsletter, November 2021 — відхід Sage Weil Ceph Foundation і Linux Foundation\nIntroducing Ceph Squid — заяви діамантових членів, процитовані вище, і цифри 1 ексабайт / понад 3000 кластерів The Linux Foundation Launches Ceph Foundation, 12 листопада 2018 — склад засновницьких членів The same release via PRNewswire — використано для незалежного підтвердження складу Розгортання\n\u0026ldquo;Ceph: Infrastructure Storage at CERN\u0026rdquo; — Enrico Bocchi, CERN IT Storage, 27 вересня 2024. Кожна цифра CERN вище взята з цієї презентації Why We Chose Ceph to Build Block Storage — DigitalOcean \u0026ldquo;We Added 6 Petabytes Of Ceph Storage and No Clients Noticed\u0026rdquo; — Matthew Leonard і Joseph Mundackal, Bloomberg, Cephalocon 2020 Ceph on Wikitech — п’ять продуктивних кластерів Wikimedia Foundation Ceph RBD block storage — власна документація OVHcloud Deploy Hyper-Converged Ceph Cluster — Proxmox VE постачає Ceph як своє гіперконвергентне зберігання Компанії\n\u0026ldquo;SUSE says tschüss to Ceph-based enterprise storage product\u0026rdquo;, The Register, 25 березня 2021 — SUSE Enterprise Storage скасовано на користь Longhorn Qi An Xin files for $634m IPO, Global Venturing, 13 травня 2020 — походження QiAnXin з Qihoo 360, частка CEC і структура власності Порівняння\nDevelopment statistics for the 6.15 kernel, LWN.net — кількість розробників і роботодавців ядра, використана для порівняння концентрації ","permalink":"https://blogs.damiendye.uk/uk/ceph/who-actually-writes-and-uses-ceph/","summary":"Я порахував кожен коміт у головну гілку Ceph за останні десять років, 69 613 комітів від 1718 людей із 478 організацій, простежив усіх 38 членів Steering Committee до їхніх роботодавців і зібрав публічно заявлені розгортання. У результаті маємо проєкт, який пережив утрату свого засновника і другого за розміром контриб’ютора, не збившись із ритму, і досі випускає код у тому самому темпі.","title":"Хто насправді пише і використовує Ceph"},{"content":"Цього разу хост існує. Просто не на тому гіпервізорі Минулого разу проблема була в тому, що машини, названої в інвентарі, ще не існувало: ні IP, ні SSH, ні Python, нічого, до чого можна підключитися. Кожне завдання доводилося делегувати кудись інде.\nМіграція з VMware перевертає це й нічого не змінює. Машина існує, вона працює, люди нею користуються. Ти все одно ніколи до неї не підключаєшся. Це ім’я і торба змінних, що описують щось, що треба відбудувати деінде. Кожне завдання так само виконується на керівному вузлі, тільки тепер на іншому кінці два API замість одного.\nПару слів про те, що це таке. Цей допис про дизайн і плейбук, а не бойова історія. Я ще не проганяв його проти продакшн-середовища від початку до кінця. Усе, що я кажу нижче про поведінку модулів, прочитано з коду, що постачається, і перевірено, і я прямо кажу, де твердження походить із вихідного коду, а не з запуску. Коли я зроблю справжню міграцію з ним, цифри й несподіванки отримають окремий допис.\nВерсії, на яких це перевірено:\n$ ansible --version | head -1 ansible [core 2.20.7] $ ansible-galaxy collection list | grep -E \u0026#39;vmware|proxmox\u0026#39; community.proxmox 1.6.0 community.vmware 6.2.1 vmware.vmware 2.9.0 Фрагменти нижче вирізано з одного плейбука: migrate.yml, динамічний інвентар vSphere у inventory/vmware.vms.yml і один group_vars/all.yml. Назви датацентру, вузла й сховища я зробив загальними, щоб легше читалося.\nФорма роботи П’ять кроків, і лише останній щось коштує.\nгості працюють, нічого не під загрозою простій виявлення читання розподілених портгруп та їхніх тегів VLAN sdn одна VLAN-зона, один VNet на VLAN у Proxmox побудова оболонки без дисків, правильні CPU, RAM, прошивка й MAC перенесення storage vMotion VMDK на NFS, поки вони працюють перемикання вимкнення, імпорт дисків, порядок завантаження, старт Усе оборотне робиться до того, як щось вимкнуть Повільна частина це перенесення, і воно не коштує жодного простою. Коли відкривається вікно, диски вже на сховищі, яке монтує Proxmox, тож перемикання це локальний імпорт, а не копія. Оболонку без диска дешево видалити, тож помилка до перемикання коштує лише часу. Покинута на півдорозі міграція лишає кожного гостя працювати на VMware, недоторканим. Усе оборотне відбувається першим. Повільний етап безкоштовний, а дорогий короткий, бо на той час диски вже там, де мають бути. Порядок і є весь дизайн. Виявлення нічого не змінює. Побудова мережі змінює тільки Proxmox. Побудова оболонок змінює тільки Proxmox, а оболонку без диска дешево видалити. Перенесення дисків повільне, але живе. Тільки останній етап щось вимикає.\nПокинь усе на півдорозі, і кожен гість досі працює на VMware, недоторканий.\nДві колекції, і одну з них списують Тобі потрібні обидві, і не з тієї причини, яку ти припустив би.\ncollections: - name: community.vmware version: \u0026#34;\u0026gt;=6.2.1\u0026#34; - name: vmware.vmware version: \u0026#34;\u0026gt;=2.5.0\u0026#34; - name: community.proxmox version: \u0026#34;\u0026gt;=1.6.0\u0026#34; community.vmware це стара, широка колекція, і її розбирають. Її MANIFEST.json оголошує {\u0026quot;vmware.vmware\u0026quot;: \u0026quot;\u0026gt;=2.5.0\u0026quot;} жорсткою залежністю, тож встановлення першої тягне за собою другу, просив ти про це чи ні. Модулі переїжджають по одному, і ті, по які ти тягнешся під час міграції, перебувають на різних етапах цього переїзду:\nvmware_dvs_portgroup_info: досі тільки в community.vmware, і саме він читає твої VLAN. vmware_vmotion: досі тільки в community.vmware. vmware_guest_powerstate: застарілий, видаляється в community.vmware 7.0.0. Використовуй vmware.vmware.vm_powerstate. vmware_vm_inventory: застарілий, видаляється в 7.0.0. Використовуй vmware.vmware.vms. Ansible попереджає про застарілі модулі під час першого запуску, і це порядно з його боку:\n[DEPRECATION WARNING]: community.vmware.vmware_guest_powerstate has been deprecated. Use vmware.vmware.vm_powerstate instead. This feature will be removed from collection \u0026#39;community.vmware\u0026#39; version 7.0.0. Про плагін інвентарю він не попереджає, бо плагіни інвентарю розбираються раніше, ніж запускається цей механізм. Доведеться піти й прочитати плагін.\nУ цьому розколі є третя пастка. vmware.vmware.vm_portgroup_info виглядає точно як те, чого хоче мережева міграція: по VM, по NIC, дає портгрупу і VLAN. Але він побудований на ModuleRestBase і імпортує com.vmware.vapi, а це означає, що йому потрібен vSphere Automation SDK на керівному вузлі, а не лише pyVmomi. Його задокументоване повернення теж застаріле: блок RETURN обіцяє name і vlan_id, тоді як код насправді будує portgroup_name і словник vlan_info для розподіленого випадку. Я пішов іншим шляхом, нижче, і не потребував жодного з них.\nІнвентар і є виявленням У цьому плейбуку немає етапу «піди й знайди VM», бо на момент запуску першого завдання інвентар це вже зробив, одним запитом до property collector, а не циклом по кожній VM.\n# inventory/vmware.vms.yml plugin: vmware.vmware.vms hostname: \u0026#34;{{ lookup(\u0026#39;ansible.builtin.env\u0026#39;, \u0026#39;VMWARE_HOST\u0026#39;) }}\u0026#34; username: \u0026#34;{{ lookup(\u0026#39;ansible.builtin.env\u0026#39;, \u0026#39;VMWARE_USER\u0026#39;) }}\u0026#34; password: \u0026#34;{{ lookup(\u0026#39;ansible.builtin.env\u0026#39;, \u0026#39;VMWARE_PASSWORD\u0026#39;) }}\u0026#34; validate_certs: false search_paths: - /Datacenter-1 properties: - name - config.name - config.uuid - config.guestId - config.firmware - config.template - config.hardware.numCPU - config.hardware.numCoresPerSocket - config.hardware.memoryMB - config.hardware.device - summary.runtime.powerState gather_compute_objects: true hostnames: [\u0026#39;name\u0026#39;] filter_expressions: - \u0026#39;config.template\u0026#39; Назва файлу має значення. verify_file плагіна визнає своїми тільки файли, що закінчуються на vms.yml, vms.yaml, vmware_vms.yml або vmware_vms.yaml. Назви його vcenter.yml, і він мовчки не стане твоїм інвентарем.\nsearch_paths фільтрує до запиту, а не після. На великому середовищі це різниця між секундами й хвилинами, на відміну від filter_expressions, про який документація каже прямо: він виконується після збору і «does not affect the speed of the inventory plugin».\nfilter_expressions відкидає хост, коли вираз істинний. Тож config.template прибирає шаблони, що вперше читається задом наперед.\nА важливий рядок це config.hardware.device, якого немає в жодному типовому списку властивостей. Це весь апаратний інвентар VM, і він несе три речі, без яких ця міграція не може рушити: MAC кожного NIC, ключ dvportgroup, до якого підключено кожен NIC, і шлях на datastore кожного диска. Без нього ти повертаєшся до циклу vmware_guest_info, один запит туди й назад на кожну VM.\nПристрої повертаються як JSON із збереженим типом vSphere у _vimtype. Це варто знати, бо саме так відрізняють NIC від диска. Я перевірив кодувальник, а не гадав:\n{ \u0026#34;_vimtype\u0026#34;: \u0026#34;vim.vm.device.VirtualVmxnet3\u0026#34;, \u0026#34;macAddress\u0026#34;: \u0026#34;00:50:56:87:a5:9a\u0026#34;, \u0026#34;backing\u0026#34;: { \u0026#34;_vimtype\u0026#34;: \u0026#34;...DistributedVirtualPortBackingInfo\u0026#34;, \u0026#34;port\u0026#34;: { \u0026#34;_vimtype\u0026#34;: \u0026#34;vim.dvs.PortConnection\u0026#34;, \u0026#34;portgroupKey\u0026#34;: \u0026#34;dvportgroup-1014\u0026#34; } } } Тож блок compose може витягти незручні шляхи нагору в пласкі hostvars:\ncompose: vm_moid: moid vm_firmware: config.firmware vm_memory_mb: config.hardware.memoryMB vm_num_cpu: config.hardware.numCPU # A virtual NIC is any device with a MAC. Filtering on _vimtype does not # work cleanly here, because VMXNET3, E1000 and SR-IOV cards are all # different types with no shared substring. vm_nics: \u0026gt;- config.hardware.device | selectattr(\u0026#39;macAddress\u0026#39;, \u0026#39;defined\u0026#39;) | selectattr(\u0026#39;macAddress\u0026#39;, \u0026#39;ne\u0026#39;, None) | list # Disks are one exact type, so this one can match on it. vm_disks: \u0026gt;- config.hardware.device | selectattr(\u0026#39;_vimtype\u0026#39;, \u0026#39;eq\u0026#39;, \u0026#39;vim.vm.device.VirtualDisk\u0026#39;) | list Ця асиметрія реальна, і на ній люди спотикаються. Немає типу VirtualEthernetCard, з яким можна зіставити. Це абстрактний базовий клас, а vCenter насправді віддає тобі VirtualVmxnet3, VirtualE1000, VirtualE1000e, VirtualPCNet32 або VirtualSriovEthernetCard. Спільного для них усіх підрядка немає. А от мати MAC уміє тільки NIC.\nКожен info-модуль ховає поле, яке тобі потрібне Це червона нитка всієї роботи, і коли побачиш це тричі, починаєш перевіряти кожне типове значення, перш ніж писати завдання.\nvmware_dvs_portgroup_info має шість опцій show_*. П’ять типово true. Шоста це show_vlan_info, і вона типово false.\nshow_mac_learning=dict(type=\u0026#39;bool\u0026#39;, default=True), show_network_policy=dict(type=\u0026#39;bool\u0026#39;, default=True), show_teaming_policy=dict(type=\u0026#39;bool\u0026#39;, default=True), show_uplinks=dict(type=\u0026#39;bool\u0026#39;, default=True), show_port_policy=dict(type=\u0026#39;bool\u0026#39;, default=True), show_vlan_info=dict(type=\u0026#39;bool\u0026#39;, default=False), Не чіпай її, і отримаєш політику навчання MAC, політику teaming, порядок uplink і політику портів для кожної портгрупи в середовищі. Усе, крім тегу VLAN, а це єдине поле, про яке мережева міграція насправді питає. Тож завдання вивернуте навиворіт відносно того, що написав би інстинкт: увімкни одне, вимкни решту п’ять.\n- name: Read the distributed portgroups community.vmware.vmware_dvs_portgroup_info: datacenter: \u0026#34;{{ vcenter_datacenter }}\u0026#34; show_vlan_info: true show_network_policy: false show_teaming_policy: false show_port_policy: false show_mac_learning: false show_uplinks: false register: dvs_pgs Це не поодинокий випадок. vmware.vmware.vms має gather_compute_objects, яке заповнює cluster і esxi_host: типово false. community.vmware.vmware_vm_info має show_allocated, блок із CPU та пам’яттю: типово false. В усіх трьох випадках поле, яке дорого збирати, і є тим, що потрібне міграції, а типове значення захищає сценарій звітування тільки на читання, в якому ти не перебуваєш.\nvlan_id має три різні типи Потім ти отримуєш теги VLAN і бачиш, що вони не однієї форми. Просто з get_vlan_info:\nif isinstance(vlan_obj, vim...TrunkVlanSpec): ... return dict(trunk=True, pvlan=False, vlan_id=vlan_id_list) elif isinstance(vlan_obj, vim...PvlanSpec): return dict(trunk=False, pvlan=True, vlan_id=str(vlan_obj.pvlanId)) else: return dict(trunk=False, pvlan=False, vlan_id=str(vlan_obj.vlanId)) Портгрупа доступу дає рядок \u0026quot;100\u0026quot;. PVLAN дає рядок. Транк дає список рядків, кожен або \u0026quot;20\u0026quot;, або \u0026quot;20-30\u0026quot;. І на кожному розподіленому комутаторі є щонайменше один транк, створював ти його чи ні, бо uplink-портгрупа це транк, що несе \u0026quot;0-4094\u0026quot;.\nТож | int тобі недоступний, доки не викинеш дві інші форми:\naccess_pgs: \u0026gt;- {{ dvs_pgs.dvs_portgroup_info | dict2items | map(attribute=\u0026#39;value\u0026#39;) | flatten | rejectattr(\u0026#39;vlan_info.trunk\u0026#39;) | rejectattr(\u0026#39;vlan_info.pvlan\u0026#39;) | rejectattr(\u0026#39;vlan_info.vlan_id\u0026#39;, \u0026#39;in\u0026#39;, [\u0026#39;0\u0026#39;, 0]) | list }} Три відкидання, саме в такому порядку. Транки йдуть геть, PVLAN ідуть геть, а потім ідуть нетеговані портгрупи, що заодно прибирає uplink-групи й усе на VLAN 0.\nЯ не перекладаю транки чи PVLAN автоматично і заперечив би кожному, хто це робить. Транк VMware, що приземляється на Proxmox, потребує або зони Q-in-Q, або VNet з підтримкою VLAN, і яке з них правильне, залежить від того, що очікує бачити гість. Це рішення, а не відображення. Плейбук друкує їх і йде далі:\nTASK [Report what was found] ok: [localhost] =\u0026gt; { \u0026#34;msg\u0026#34;: \u0026#34;3 access portgroups -\u0026gt; [100, 200]. Not translated: [\u0026#39;dvs_001-uplink\u0026#39;] (trunks), [\u0026#39;isolated\u0026#39;] (PVLANs).\u0026#34; } Віддзеркалення VLAN у SDN Одна VLAN-зона, прив’язана до мосту, потім один VNet на кожен VLAN із тегом на ньому.\n- name: Create the VLAN zone community.proxmox.proxmox_zone: zone: \u0026#34;{{ sdn_zone }}\u0026#34; type: vlan bridge: \u0026#34;{{ sdn_bridge }}\u0026#34; mtu: \u0026#34;{{ sdn_mtu }}\u0026#34; state: present - name: Create one VNet per VMware VLAN community.proxmox.proxmox_vnet: vnet: \u0026#34;{{ sdn_vnet_prefix }}{{ item.vlan_info.vlan_id | int }}\u0026#34; zone: \u0026#34;{{ sdn_zone }}\u0026#34; tag: \u0026#34;{{ item.vlan_info.vlan_id | int }}\u0026#34; alias: \u0026#34;{{ item.portgroup_name }}\u0026#34; state: present loop: \u0026#34;{{ access_pgs | unique(attribute=\u0026#39;vlan_info.vlan_id\u0026#39;) }}\u0026#34; throttle: 1 Імена VNet короткі й обмежені, а імена портгруп VMware ні. Production-Web-Tier-VLAN100 це цілком звичайне ім’я портгрупи і неможливе ім’я VNet. Тож ім’я генерується, v100, з тегу, а оригінал, зрозумілий людині, іде в alias, де лишається видимим в інтерфейсі та у виводі pvesh. Виведення імені з VLAN, а не з портгрупи, ще й означає, що відображення можна відтворити простим оглядом через пів року.\nДві портгрупи на одному VLAN зливаються в один VNet. Це правильно, вони й у VMware були одним широкомовним доменом, але ти маєш бачити, як це стається, і саме це робить unique(attribute='vlan_info.vlan_id'). Дві портгрупи з іменами prod-web і prod-web-b, обидві на VLAN 100, дають один v100.\nthrottle: 1 це не обережність, це сам модуль. Кожен запис SDN у community.proxmox бере глобальне блокування кластера, застосовує відкладену конфігурацію і звільняє його: get_global_sdn_lock(), потім apply_sdn_changes_and_release_lock(). Запусти їх паралельно, і вони все одно стануть у чергу на блокуванні; throttle просто не дає тобі вдавати інакше. Варто знати й те, що відкат у разі збою залежить від версії: модуль перевіряє is_lock_and_rollback_supported і на старішому PVE повідомляє, що відкотити не вдалося, замість того щоб відкотити.\nОдна косметична річ, через яку ти засумніваєшся в собі. У версії 1.6.0 proxmox_vnet виводить увесь свій словник параметрів як попередження Ansible під час кожного створення:\nself.module.warn(f\u0026#34;{vnet_params}\u0026#34;) self.proxmox_api.cluster().sdn().vnets().post(**vnet_params) Це налагоджувальний рядок, який хтось забув прибрати. Це шум, а не несправність.\nЗбудуй оболонки без дисків Тепер VM, і саме тут дизайн себе виправдовує. Кожна VM будується в Proxmox із правильною кількістю CPU, правильною пам’яттю, правильною прошивкою і правильними NIC на правильних VLAN. Без жодних дисків.\nОболонку без диска швидко створити, видалити її нічого не коштує, а якщо хтось випадково її запустить, вона завантажиться до запрошення PXE. Можна збудувати чотириста таких за пообіддя, подивитися на результат, вирішити, що не те, видалити все й зробити знову. Нічого не скопійовано, нічого не вимкнено, і ніхто нічого не помітив.\nПохідні значення це оголошення, а не завдання. Ansible обчислює їх ліниво для того хоста, що зараз в області дії, тож кожна VM отримує свої без жодного set_fact:\n# group_vars/all.yml pve_vmid: \u0026#34;{{ vmid_base | int + (vm_moid | regex_replace(\u0026#39;^vm-\u0026#39;, \u0026#39;\u0026#39;) | int) }}\u0026#34; pve_bios: \u0026#34;{{ \u0026#39;ovmf\u0026#39; if vm_firmware == \u0026#39;efi\u0026#39; else \u0026#39;seabios\u0026#39; }}\u0026#34; pve_cores: \u0026#34;{{ vm_cores_per_socket | int }}\u0026#34; pve_sockets: \u0026#34;{{ ((vm_num_cpu | int) / (vm_cores_per_socket | int)) | round(0, \u0026#39;ceil\u0026#39;) | int }}\u0026#34; VMID береться з MoID у vCenter. vm-42 стає 20042. Це важливіше, ніж здається: етап перемикання має знайти VM, яку створив етап побудови, а повторний запуск має потрапити на ту саму, а не тихо збудувати другу. Якщо дозволити API виділити наступний вільний ID, а саме це стається, коли пропускаєш vmid, і про це я писав минулого разу, це стає неможливим.\nПам’ять не потребує перетворення. VMware повідомляє config.hardware.memoryMB, і Proxmox хоче MB. Сокети потребують: VMware дає загальну кількість vCPU і ядер на сокет, Proxmox хоче сокети та ядра.\n- name: Create the VM shell delegate_to: localhost community.proxmox.proxmox_kvm: node: \u0026#34;{{ proxmox_node }}\u0026#34; vmid: \u0026#34;{{ pve_vmid }}\u0026#34; name: \u0026#34;{{ inventory_hostname }}\u0026#34; cores: \u0026#34;{{ pve_cores }}\u0026#34; sockets: \u0026#34;{{ pve_sockets }}\u0026#34; memory: \u0026#34;{{ vm_memory_mb }}\u0026#34; ostype: \u0026#34;{{ pve_ostype }}\u0026#34; bios: \u0026#34;{{ pve_bios }}\u0026#34; scsihw: \u0026#34;{{ default_scsihw }}\u0026#34; efidisk0: \u0026#34;{{ {\u0026#39;storage\u0026#39;: pve_target_storage, \u0026#39;efitype\u0026#39;: \u0026#39;4m\u0026#39;, \u0026#39;pre_enrolled_keys\u0026#39;: false} if pve_bios == \u0026#39;ovmf\u0026#39; else omit }}\u0026#34; agent: \u0026#34;enabled=1\u0026#34; onboot: false state: present onboot: false навмисно. Ніщо не повинно запускатися саме посеред міграції, а надто машина, в чиї диски досі пише інший гіпервізор.\nПрошивка мусить бути правильною. UEFI-гість, імпортований на VM із SeaBIOS, імпортується ідеально, а потім відмовиться завантажуватися, і ти вб’єш на це годину. config.firmware це efi або bios, і вони прямо відображаються на ovmf і seabios. UEFI-гостю також потрібен диск змінних EFI, який треба створити разом із VM; чому, дивись нижче.\nproxmox_kvm не виправить NIC і не скаже тобі про це Минулого разу я писав, що proxmox_kvm відмовляється сходитися до стану, замість того щоб оновлювати. Ось гостріша версія цього, яка вкусила мене, поки я це писав, і про яку варто сказати точно.\nupdate типово false, тож повторний запуск проти VM, яка вже існує, нічого не робить. Гаразд, і це задокументовано. Але постав update: true, і модуль однаково відмовляється чіпати деякі параметри:\n# If update, don\u0026#39;t update disk (virtio, efidisk0, tpmstate0, ide, sata, scsi) # and network interface, unless update_unsafe=True if update_unsafe is False: ... if \u0026#34;efidisk0\u0026#34; in kwargs: del kwargs[\u0026#34;efidisk0\u0026#34;] Він видаляє їх із запиту й іде далі. Тож ти виправляєш NIC у відображенні інвентарю, перезапускаєш із update: true, бачиш, як Ansible звітує changed, а NIC такий самий неправильний, яким був. changed правдивий, щось інше в запиті оновилося, але не те, що ти виправляв.\nupdate_unsafe: true знімає обмеження, і назва чесна. Той самий захист стосується дисків, тож на VM, яка має диски, небезпечне оновлення це добрий спосіб отримати другу копію одного з них. Це не перемикач, по який варто тягнутися під час міграції.\nВихід у тому, щоб узагалі не використовувати net. NIC додаються через proxmox_nic, модуль, уся робота якого це один інтерфейс і який сходиться як слід:\n- name: Attach each NIC to its VNet delegate_to: localhost community.proxmox.proxmox_nic: vmid: \u0026#34;{{ pve_vmid }}\u0026#34; interface: \u0026#34;net{{ idx }}\u0026#34; bridge: \u0026#34;{{ sdn_vnet_prefix }}{{ pg_vlan[item.backing.port.portgroupKey] }}\u0026#34; mac: \u0026#34;{{ item.macAddress }}\u0026#34; model: \u0026#34;{{ default_net_model }}\u0026#34; state: present loop: \u0026#34;{{ vm_nics }}\u0026#34; loop_control: index_var: idx Це той самий поділ, до якого я дійшов минулого разу: proxmox_kvm, щоб визначити машину, proxmox_disk і proxmox_nic для того, що змінюється потім. Параметр називається mac, а не mac_addr.\nefidisk0 так само винести не можна, proxmox_disk не має ні efitype, ні pre_enrolled_keys, тож його треба додати під час створення і правильно з першого разу.\nПеренось MAC. VMware роздає MAC із 00:50:56:..., і Proxmox прийме їх без заперечень. Збереження означає, що резервації DHCP досі збігаються, ліцензії, прив’язані до MAC, досі проходять перевірку, а будь-яке правило брандмауера, написане під MAC, досі спрацьовує. Зміна означає день дрібних загадок. proxmox_nic приймає й model: vmxnet3, якщо потрібно, щоб гість бачив ту саму NIC, що й раніше, але на KVM краща карта virtio, а гість Windows так чи інакше захоче нових драйверів.\nВідмовляй, а не вгадуй NIC на стандартній портгрупі взагалі не має backing.port. Її backing це NetworkBackingInfo з deviceName. Її не буде у відображенні, і правильно буде зупинитися:\n- name: Every NIC must sit on a distributed portgroup with a VNet ansible.builtin.assert: that: - vm_nics | rejectattr(\u0026#39;backing.port.portgroupKey\u0026#39;, \u0026#39;defined\u0026#39;) | list | length == 0 - vm_nics | map(attribute=\u0026#39;backing.port.portgroupKey\u0026#39;) | reject(\u0026#39;in\u0026#39;, pg_vlan.keys() | list) | list | length == 0 fail_msg: \u0026gt;- {{ inventory_hostname }} has NICs that do not map to a Proxmox VNet. Attaching it to the wrong network is worse than not building it. Дві умови, а не одна, бо перша має виконатися раніше за другу: map(attribute=...) по NIC без port вибухне на невизначеному пошуку. Спершу відкинь безформні, потім перевір решту за відображенням.\nОдин експорт, змонтований двічі Ось частина, яка робить усе це дешевим.\nПостав експорт NFS там, де обидва гіпервізори можуть його змонтувати. vCenter бачить datastore під назвою nfs-migration; вузли Proxmox монтують той самий експорт і бачать /mnt/pve/nfs-migration. Тепер перенеси VMDK на нього через storage vMotion.\nStorage vMotion живий. Гість обслуговує трафік увесь час. Нічого не перемикається, вікно не потрібне, і його можна покинути на півдорозі без жодних наслідків, крім змарнованого вводу-виводу. Це найповільніший етап з великим відривом, і він нічого не коштує.\n- name: Relocate to the NFS datastore delegate_to: localhost throttle: 2 community.vmware.vmware_vmotion: moid: \u0026#34;{{ vm_moid }}\u0026#34; destination_datastore: \u0026#34;{{ nfs_datastore_vmware }}\u0026#34; timeout: \u0026#34;{{ vmotion_timeout }}\u0026#34; timeout типово 3600, одна година. VMDK на 2 TB не встигне, і збій тихо підлий: завдання Ansible падає, а vMotion продовжує працювати у vCenter. Тепер у тебе плейбук, який каже, що впав, і середовище, яке досі зайняте. Постав значення, що відповідає твоєму реальному сховищу.\nthrottle: 2, бо вузьке місце не керівний вузол. Storage vMotion обмежений масивом і мережею. Шість одночасно не дають тобі ушестеро більшої пропускної здатності; вони дають шість повільних міграцій і злу команду сховища.\nМодуль ідемпотентний саме так, як тобі треба: він ставить storage_vmotion_needed = False, якщо VM уже на цільовому datastore, тож повторний запуск, щоб підхопити відсталих, безпечний.\nНа момент, коли це завершиться, байти лежать на сховищі, яке Proxmox уже монтує. Тож ніщо інше не мусить їх копіювати. Ніколи.\nПеремикання Це єдиний етап, що коштує простою, і порядок усередині нього не обговорюється.\nСпершу проблема, яку легко пропустити: інвентар тепер застарів. Його зібрано до vMotion, тож vm_disks досі тримає старі шляхи datastore. Імпортуй із них, і ти вкажеш Proxmox на шлях, якого він не бачить.\n- name: Re-read the inventory now the disks have moved ansible.builtin.meta: refresh_inventory Через це ж у конфігурації інвентарю вимкнено кешування. Теплий кеш віддав би refresh_inventory саме ті застарілі дані, які той мав замінити. Це справжній компроміс, vCenter не швидкий, але хибний шлях тут означає зірване перемикання у вікні, а зайвий запит дешевий у порівнянні.\nПотім вимкнення. Імпорт VMDK, який хост ESXi досі тримає відкритим, дає в кращому разі аварійно-узгоджену копію:\n- name: Shut the guest down in VMware delegate_to: localhost vmware.vmware.vm_powerstate: moid: \u0026#34;{{ vm_moid }}\u0026#34; state: \u0026#34;{{ \u0026#39;shutdown-guest\u0026#39; if vm_power_state == \u0026#39;poweredOn\u0026#39; else \u0026#39;powered-off\u0026#39; }}\u0026#34; timeout: 600 force: true shutdown-guest це коректне вимкнення через VMware Tools; force: true жорстко зупиняє все, що не вимкнеться за тайм-аут. У новому модулі параметр називається timeout, а не state_change_timeout, як було в застарілому.\nПотім імпорт, який і є стрижнем:\n- name: Import each VMDK onto its VM delegate_to: localhost throttle: 2 community.proxmox.proxmox_disk: vmid: \u0026#34;{{ pve_vmid }}\u0026#34; disk: \u0026#34;scsi{{ idx }}\u0026#34; storage: \u0026#34;{{ pve_target_storage }}\u0026#34; import_from: \u0026gt;- {{ item.backing.fileName | regex_replace(\u0026#39;^\\[[^\\]]+\\]\\s*\u0026#39;, \u0026#39;/mnt/pve/\u0026#39; ~ nfs_storage_pve ~ \u0026#39;/\u0026#39;) }} format: \u0026#34;{{ pve_target_format }}\u0026#34; timeout: \u0026#34;{{ import_timeout }}\u0026#34; create: regular state: present loop: \u0026#34;{{ vm_disks }}\u0026#34; loop_control: index_var: idx regex_replace виконує переклад між двома світами. vCenter називає диск [nfs-migration] app01/app01.vmdk; Proxmox дістається до того самого файлу за шляхом /mnt/pve/nfs-migration/app01/app01.vmdk. Той самий експорт, ті самі байти, жодної другої копії. Ти береш дескриптор .vmdk і ігноруєш -flat.vmdk поруч: qemu-img читає дескриптор і йде за ним до екстенту.\nТри речі про import_from, усі є в модулі і всі варто знати до того, як відкриється вікно.\nВін спрацьовує тільки під час створення. У гілці оновлення:\n# \u0026#39;import_from\u0026#39; fails on disk updates playbook_config = self.get_create_attributes() playbook_config.pop(\u0026#34;import_from\u0026#34;, None) Якщо scsi0 на цій VM уже існує, параметр відкидається, і ти отримуєш звичайне оновлення. Тож повторний запуск після невдалого імпорту не імпортує знову. Він мовчки не робить нічого і звітує про успіх. Якщо імпорт пішов не так, видали диск, перш ніж пробувати знову.\ntimeout типово 600 секунд. Десять хвилин, щоб імпортувати й перетворити диск віртуальної машини. Власна документація модуля каже його збільшити; послухай поради.\nІ абсолютний шлях потребує root. Документація каже про це прямо:\n\u0026lt;STORAGE\u0026gt;:\u0026lt;VMID\u0026gt;/\u0026lt;FULL_NAME\u0026gt; or \u0026lt;ABSOLUTE_PATH\u0026gt;/\u0026lt;FULL_NAME\u0026gt;. \u0026lt;STORAGE\u0026gt;:import/\u0026lt;FULL_NAME\u0026gt; for PVE 9.x and later, to use storage\u0026rsquo;s import directory. Attention! Only root can use absolute paths.\nЩо незграбно лягає проти поради, яку я дав минулого разу і якої досі тримаюся: використовуй обмежений API-токен, а не root. Ця порада чинна для кожного іншого етапу тут: виявлення, SDN, побудова оболонок, налаштування порядку завантаження чудово працюють із токеном. Це одне завдання ні, і жодні привілеї ролі цього не змінять, бо обмеження стосується того, що користувач є root, а не дозволу.\nЄ три чесні виходи, і немає хитрого четвертого:\nPVE 9.x: використовуй \u0026lt;storage\u0026gt;:import/\u0026lt;file\u0026gt; і лишайся на токені. PVE 8.x: виконай це одне завдання як root@pam, і тільки його. PVE 8.x, без root через API: запусти натомість qm importdisk через SSH. Плейбук підтримує перші два через прапорець, бо вдавати інакше означало б просто перекласти проблему на того, хто його запускає.\nНарешті порядок завантаження, який є звичайним оновленням і тому не зачеплений обмеженням update_unsafe:\n- name: Boot from the first imported disk delegate_to: localhost community.proxmox.proxmox_kvm: node: \u0026#34;{{ proxmox_node }}\u0026#34; vmid: \u0026#34;{{ pve_vmid }}\u0026#34; boot: \u0026#34;order=scsi0\u0026#34; update: true Ніщо не запускає гостя. Це навмисно. Запусти його вручну, подивися, як він підніметься, і тільки тоді думай про видалення будь-чого у VMware.\nЗапуск Усе це один плейбук із тегами за етапами, бо це не ті кроки, які хочеться запускати разом:\nansible-playbook migrate.yml --tags discover # look, change nothing ansible-playbook migrate.yml --tags sdn # build the VLANs ansible-playbook migrate.yml --tags build # build the diskless shells ansible-playbook migrate.yml --tags relocate # storage vMotion, live ansible-playbook migrate.yml --tags cutover # power off and import --limit тобі друг протягом усього шляху. Спершу одну VM. Потім один кластер. Плейбуку байдуже, скільки ти відкусиш, а інвентар дає тобі групи задарма: power_poweredOn, cluster_\u0026lt;name\u0026gt;, а також vmware_windows і vmware_linux з блоку groups.\nПеревір, на що цілишся, перш ніж цілитися:\nansible-inventory --graph ansible-inventory --host some-vm На що я ще зважав би Речі, які я очікую знайти, коли це зустрінеться зі справжнім середовищем, записані зараз, щоб потім я не міг сказати, що бачив їх наперед:\nГості Windows не завантажаться чисто з контролера VirtIO SCSI, якщо драйвера там заздалегідь немає. virtio-scsi-single це правильний контролер і неправильний для VM Windows, яка його ніколи не бачила. Це окрема проблема, і нічого з вищенаведеного її не розв’язує. VMware Tools варто зняти до переїзду, а не після. Знімки. VM з ланцюжком знімків має більше одного .vmdk на диск, і імпорт базового дає стан до знімка. Спершу консолідуй. Порядок config.hardware.device вирішує, який диск стане scsi0. Скрізь, де я дивився, він збігався з власним порядком гостя, але я перевірив би це на сервері бази даних із кількома дисками, перш ніж довіряти у вікні. Незалежні та RDM-диски не переносяться через storage vMotion, як звичайні. Ніщо з цього не змінює форму. Спершу збудуй оболонки, переноси диски, поки все ще працює, і тримай простій лише на тому етапі, якому він потрібен.\n","permalink":"https://blogs.damiendye.uk/uk/ansible/vmware-to-proxmox-ansible/","summary":"Читання середовища vSphere динамічним інвентарем, віддзеркалення його VLAN у Proxmox SDN і відбудова кожної віртуальної машини як оболонки без дисків, перш ніж рушить хоч один диск. Чому кожен info-модуль VMware ховає саме те поле, якого потребує міграція, чому vlan_id має три різні типи і чому один експорт NFS, змонтований двічі, перетворює перемикання на локальне читання.","title":"З VMware на Proxmox з Ansible: збудуй оболонки, перш ніж перенести хоч байт"},{"content":"З 2017 по 2019 рік я був системним адміністратором DNS-реєстру в Nominet, реєстрі .uk. Усе, що далі сказано про ICANN, є у відкритих джерелах, і я все це навів посиланнями. Там, де я говорю з досвіду роботи, я так і кажу.\nСпитай більшість інженерів, хто керує DNS, і почуєш одну з двох відповідей. Або знизування плечима, або щось про тринадцять кореневих серверів. Обидві неправильні, і друга неправильна цікавіше, бо вказує на машини, а не на файл.\nКонтроль над DNS не розподілений між тринадцятьма серверами. Він лежить в одному текстовому файлі й у жменьці організацій, які вирішують, що в нього потрапляє, редагують його, підписують і публікують. Усе інше в системі, кожен резолвер, кожен реєстратор, кожна зона, яку ти колись обслуговував, стоїть нижче за течією від цього файлу й бере свої повноваження з нього.\nЦей допис про те, хто тримає цей файл, що насправді передали у 2016 році і що ті, хто його тримає, з ним робили. Механізм під цим, що таке реєстр насправді, як імена туди потрапляють і хто може ім’я забрати, це тема наступного допису.\nДо ICANN усе вирішував телефонний дзвінок Нинішній устрій зовсім не неминучий, і історія показує, що саме ICANN мала виправити.\nСпочатку DNS не було взагалі. З 1972 року був один текстовий файл, HOSTS.TXT, з іменем кожної машини в ARPANET і адресою, за якою вона жила. Його вели в Stanford Research Institute Елізабет Фейнлер і її команда, і якщо ти хотів додати туди свою машину, ти в робочі години дзвонив у Network Information Center і просив. Усі інші час від часу завантажували файл і сподівалися, що він актуальний.\nТаке не масштабується, і на початку 1980-х уже явно не масштабувалося. DNS створили, щоб це замінити: дерево, делеговане вниз, щоб жодному офісу не доводилося тримати весь список.\nВерхівку дерева однаково хтось мусив тримати. Роками цим кимось була одна людина. Джон Постел з Університету Південної Каліфорнії розподіляв імена й номери на дослідницькі гроші уряду США. IANA, Internet Assigned Numbers Authority, тоді не була установою. Це були Постел і кілька колег, і це працювало, бо люди, які керували мережею, йому довіряли.\nГроші прийшли у 1993 році, коли National Science Foundation уклала контракт з InterNIC, серед учасників якого була Network Solutions, на ведення реєстрації. 14 вересня 1995 року безплатна реєстрація закінчилася. Network Solutions брала 50 $ на рік із мінімумом у два роки, і 30 % ішло до урядового фонду, який суд пізніше визнав незаконним податком. Одна компанія, одна ціна, нікуди більше піти, і до 1997 року антимонопольний позов.\nА в січні 1998 року Постел зробив те, що показує, з чого насправді складаються повноваження кореня.\nВін написав вісьмом із дванадцяти операторів кореневих серверів, спираючись лише на власний авторитет, і попросив їх спрямувати свої сервери на машину IANA замість машини Network Solutions. Усі вісім так і зробили. Приблизно тиждень авторитетний корінь інтернету був там, куди Джон Постел попросив людей дивитися.\nВін назвав це тестом. Чимало людей прочитали це як демонстрацію того, що корінь належить інженерам, які його збудували, а не урядовому підрядникові. Реакція показує, яке прочитання обрав Вашингтон. Айра Магазінер, радник президента з цього питання, сказав Постелу, що той більше ніколи не працюватиме з інтернетом. Тест скасували.\nICANN зареєстрували в Каліфорнії того ж вересня. Постел помер наступного місяця.\nТож устрій, про який цей допис, збудували, щоб виправити дві справжні проблеми: простір імен продавав непідзвітний монополіст, а повноваження кореня трималися на тому, що одній людині широко довіряли. Обидві проблеми були справжні. ICANN була відповіддю на них. Чим ця відповідь виявилася, про це решта допису.\nДва коди, що пережили правило Перш ніж іти далі, два хвости з тієї епохи, бо разом вони кажуть про те, як ця система справді працює, більше, ніж будь-що в статуті ICANN.\nВелика Британія взяла не той код і залишила його собі.\nRFC 920 у жовтні 1984 року казав, що національні домени верхнього рівня братимуть із дволітерних кодів ISO 3166. Код Сполученого Королівства в ISO 3166 це GB. За правилом, як воно написане, домен Британії мав би бути .gb.\nВін не такий, бо Британія прийшла першою. JANET, академічна мережа, ще за кілька місяців до того, як склали список на основі ISO, уже обрала uk своїм ідентифікатором верхнього рівня, і .uk зареєстрували 24 липня 1985. .gb теж призначили, з розрахунком, що .uk з часом на нього переїде.\nПереїзд так і не відбувся. Ніхто його не змусив. .gb потім чотири десятиліття стояв у корені, здобувши за все своє життя один домен другого рівня, hmg.gb, для уряду Її Величності, яким ледве користувалися. Зрештою ISO підлаштувалася під факт на місцях і в порядку винятку зарезервувала UK на прохання Сполученого Королівства.\nДо речі, нікого не обікрали. UK не був кодом іншої країни: в ISO 3166 його в порядку винятку зарезервовано для Сполученого Королівства, на власне прохання Сполученого Королівства, і жодна інша держава ніколи не мала на нього прав. Саме тому ніхто й не тиснув: не було потерпілого, який міг би поскаржитися.\nСаме це й робить історію вартою розповіді. Правило ISO 3166 жорстке для будь-кого, хто намагається потрапити всередину: немає запису в списку, немає національного домену. Тому території й лобіюють додавання до ISO 3166, і тому місця без визнання не мають ccTLD зовсім. Для того, хто вже сидить у корені, те саме правило виявилося побажанням.\nЄ навіть чесний аргумент, що Британії дісталася краща назва. GB це Велика Британія, без Північної Ірландії. UK її включає. Невідповідний правилу код описує державу точніше, ніж описав би відповідний.\nА Радянський Союз досі в корені. Ця історія дивніша.\n.su делегували Радянському Союзу 19 вересня 1990. Радянський Союз припинив існування через п’ятнадцять місяців.\nДомен досі там. Через тридцять п’ять років після того, як держава, якій він належить, перестала існувати, .su працює і приймає реєстрації: трохи більше 111 500 імен станом на травень 2025, з адмініструванням із Москви.\nПравило каже, що ccTLD беруть з ISO 3166. В ISO 3166 немає Радянського Союзу. І не те щоб правило ніколи не застосовували: .dd для Східної Німеччини і .yu для Югославії зникли разом із цими державами. .su був тим, що не зник, і ніхто так і не зміг пояснити цю різницю через правило.\nЧим він став, передбачити неважко. Коли наприкінці 2011 року .ru посилив перевірки під час реєстрації, торгівля перебралася по сусідству. Шкідливих сайтів у .su у 2011 році стало вдвічі більше, а у 2012 знову вдвічі, і це та сама історія, що з дешевими новими gTLD і безплатними ccTLD далі в цьому дописі: зловживання текуче, і воно тече туди, де перевірки найслабші.\nОтже, два національні коди, що пережили правило, яке їх породило. .uk, бо ніхто не змусив того, хто вже сидить, переїхати, .su, бо ніхто не змусив делегування зникнути разом із країною. В обох випадках правила зрозумілі, і в обох їх не виконали, бо виконати означало б забрати щось у того, хто це вже мав.\nЦе весь характер влади в DNS, видимий ще до появи ICANN, тож ніщо з подальшого не мало б тебе дивувати.\nВісімнадцять років до передачі ICANN зареєстрували в Каліфорнії 30 вересня 1998, і вона одразу підписала Меморандум про взаєморозуміння з Міністерством торгівлі США. Вона не почала незалежною, щоб згодом стати американською. Вона була американською з першого дня, за самою конструкцією, і цю домовленість у тій чи іншій формі поновлювали вісімнадцять років.\nПочнімо з того, що вона зробила правильно, бо таке є, і воно важливе.\nУ 1999 році ICANN зламала монополію на реєстрацію. Network Solutions була єдиним місцем, де можна було купити .com; Shared Registration System дала іншим реєстраторам продавати імена в тій самій зоні, і ціна впала й далі падала. Це справжнє досягнення, саме через нього домен коштує стільки, скільки коштує сьогодні, і ніщо далі в цьому дописі його не скасовує.\nА потім починається закономірність, що проходить через усе інше.\n2000. ICANN провела глобальні вибори, на яких користувачі інтернету напряму обрали п’ятьох членів правління. Їх більше ніколи не повторювали. Структура at-large, яка їх замінила, радить і не голосує. Уперше і востаннє, коли громадськість мала обов’язковий голос в ICANN, ICANN його скасувала.\n2005. На Всесвітньому саміті з питань інформаційного суспільства в Тунісі значна частина світу заперечила проти того, що корінь тримають США. Вийшов із цього Internet Governance Forum, щорічна конференція без жодних повноважень над будь-чим. Устрій кореня не змінився.\n2005. Історія з .xxx, яка тяглася шість років і є найгострішим окремим доказом у всьому цьому дописі, що юрисдикція не абстракція. Соціально консервативні лобістські групи в США тиснули на Міністерство торгівлі. NTIA, National Telecommunications and Information Administration, підрозділ Міністерства торгівлі, що мав угоду з ICANN, готувала листи до ICANN і, за її власними словами, мобілізувала свої ресурси щодо ICANN. Правління, яке йшло до схвалення, відхилило заявку, дев’ять проти п’яти, а потім ще раз вісім проти чотирьох, причому і голова, і генеральний директор змінили позицію. Вівіан Рединг, тодішня відповідальна європейська комісарка, назвала це першим явним випадком політичного втручання уряду США в ICANN. .xxx зрештою схвалили у 2011 році, і тоді Міністерство торгівлі оголосило, що розчароване.\nВнутрішня американська лобістська кампанія, проведена через американське федеральне відомство, змінила те, які домени верхнього рівня існують в інтернеті. Без договору, без суду, без голосування за межами Сполучених Штатів.\n2009. Угоду про спільний проєкт із Міністерством торгівлі замінили Підтвердженням зобов’язань, про яке широко писали як про здобуття ICANN незалежності. Контракт на функції IANA лишився точно там, де був.\nА потім те, що справді все зрушило, і зробила це не ICANN.\n2013. Едвард Сноуден. 7 жовтня, через кілька місяців після початку розкриттів, керівники ICANN, Internet Engineering Task Force, Internet Architecture Board (IAB), World Wide Web Consortium, Internet Society і всіх п’яти регіональних інтернет-реєстрів опублікували Заяву Монтевідео, закликавши до глобалізації ICANN і функцій IANA і прямо пославшись на шкоду, якої повсюдне стеження завдало глобальній довірі. Власне технічне керівництво інтернету, з генеральним директором ICANN серед підписантів, уголос сказало, що американське управління стало тягарем.\n14 березня 2014. NTIA оголосила про намір передати своє управління функціями IANA.\n1 жовтня 2016. Строк контракту минув.\nТож передачу не заробили і не дали за заслуги. Її поступилися, через вісімнадцять років, бо скандал довкола американської розвідки зробив наявний устрій політично незахищеним, і технічна спільнота сказала це публічно.\nЦе варто тримати в голові, коли читаєш, що насправді зробив перехід.\nЩо змінив перехід 2016 року і чого не змінив Ти почуєш, що американці у 2016 році передали інтернет. Це кажуть кожному, хто стверджує, що ICANN є інструментом контролю США, і якщо в нього факти не ті, на цьому суперечка й програна. Тож май факти правильні.\n1 жовтня 2016 року строк контракту на функції IANA між NTIA і ICANN минув, і його не поновили. Це було по-справжньому. Уряд США більше не має контракту, що дає йому право схвалювати зміни в кореневій зоні, а новий статут створив Empowered Community з теоретичною змогою відхиляти бюджети і знімати членів правління.\nОсь що не змінилося, і це не недогляд. Це записали як мету.\nУ пропозиції щодо переходу сказано, що правова юрисдикція, в якій перебуває ICANN, має лишитися незмінною. Новий статут вимагає, щоб штаб-квартира ICANN лишалася в Каліфорнії. Уся структура підзвітності, збудована під час переходу, стоїть на каліфорнійському праві. Вона працює так: ICANN це каліфорнійська неприбуткова організація, і каліфорнійські суди можна попросити змусити її дотримуватися власного статуту.\nТож після великої передачі: ICANN це каліфорнійська корпорація, підпорядкована федеральному праву США і праву Каліфорнії, чиї механізми підзвітності можна примусово застосувати в американських судах і ніде більше, і вона визначає політику для кореневої зони, яку редагує й підписує американська компанія за угодою з американським Міністерством торгівлі.\nКонтракт зник. Юрисдикцію свідомо залишили. А юрисдикція і є тією частиною, що має зуби, бо їй не потрібно, щоб хтось утручався. Вона діє автоматично, весь час, за замовчуванням.\nНайнаочніше це показують санкції. OFAC, Office of Foreign Assets Control у складі Міністерства фінансів США, веде американські економічні й торговельні санкції і вирішує, з ким американським особам і компаніям дозволено мати справу. ICANN це каліфорнійська корпорація, тож OFAC для неї обов’язковий, і він обмежує, з ким ICANN може укладати контракти і кого акредитувати.\nБудьмо точними щодо меж: це стосується реєстрів і реєстраторів загальних доменів верхнього рівня (gTLD), бо в них є контракти з ICANN. Це не стосується національних доменів (ccTLD), які стоять повністю поза договірною структурою ICANN. Але ефект просочується далеко за правову межу, бо реєстратори за межами США застосовували обмеження OFAC до власних клієнтів, помилково вважаючи, що цього вимагає контракт з ICANN, або просто копіюючи американські угоди з реєстрантами. Американська зовнішня політика поширюється ланцюжком реєстраторів так само через наслідування, як і через закон.\nНемає такої версії, в якій відповідь на питання «хто контролює DNS» не починалася б зі Сполучених Штатів.\nХто після цього може хоч щось зробити з рішенням ICANN, це друга половина питання, і її краще ставити, коли є історія, на якій її перевірити. Допис повертається до неї наприкінці.\nКорінь це текстовий файл Стільки про те, хто головний. Ось те, над чим вони головні, і його можна просто завантажити. ICANN публікує кореневу зону через передачу зони, AXFR, механізм DNS для копіювання цілої зони, а не одного запису, будь-кому, хто попросить, без жодних облікових даних:\ndig . AXFR @xfr.dns.icann.org Зараз це 1 578 790 байтів у 24 886 рядках. Там 1439 делегувань, кожен домен верхнього рівня, що існує, і 1350 із них мають запис DS, delegation signer, відбиток, що прив’язує ключ підпису дочірньої зони до батьківської, а отже входять до підписаного ланцюга.\nПівтора мегабайта. Увесь простір імен інтернету, достатньо малий, щоб надіслати електронною поштою.\nЦей файл і є всі повноваження кореня. Резолвер, що стартує з нуля, не знає нічого, крім адрес у своїх root hints, і щойно отримує відповідь, іде за делегуваннями з цього файлу й ні з чого іншого. Зміни в ньому делегування, і ти змінив, куди йде трафік цілої країни. Немає другої копії з іншою думкою, немає протоколу консенсусу, немає голосування під час резолвінгу. Є файл.\nТож питання «хто контролює DNS» зводиться до значно вужчого: хто може змінити цей файл і хто потім його підписує.\nДо нього торкаються три організації Відповідь це ланцюжок із трьох, і варто чітко розуміти, хто що робить, бо саме в цих відмінностях живуть усі суперечки.\nPTI, Public Technical Identifiers, афілійована з ICANN організація, виконує функції IANA. Вона приймає запити на зміни в кореневій зоні від операторів TLD, перевіряє їх і авторизує. Це канцелярський рівень, і навмисно: увесь задум у тому, що IANA це ретельний клерк без права на власний розсуд.\nVerisign це Root Zone Maintainer. Вона бере авторизовану зміну, редагує файл зони, підписує його ключем підпису кореневої зони й публікує для розповсюдження. Verisign це американська публічна компанія, і робить вона це за Угодою про співпрацю з Міністерством торгівлі США.\nОператори кореневих серверів потім його обслуговують. Вони найменш впливова частина ланцюжка і єдина, про яку хтось чув.\nЗверни увагу, де насправді лежить право розсуду. Не в операторів. І не дуже в клерка. Воно в того, хто визначає політику, яку клерк застосовує, а це ICANN, і в компанії, що тримає перо й ключ підпису, а це Verisign, за угодою з американським урядом.\nДесять із тринадцяти Літери кореневих серверів варто перелічити повністю, бо люди наводять число тринадцять так, ніби воно означає розосередженість:\nЛітера Оператор Країна A Verisign США B USC Information Sciences Institute США C Cogent Communications США D University of Maryland США E NASA Ames Research Center США F Internet Systems Consortium США G Міністерство оборони США (DISA) США H US Army Research Laboratory США I Netnod Швеція J Verisign США K RIPE NCC Нідерланди L ICANN США M WIDE Project Японія Тринадцять літер, дванадцять організацій, бо Verisign тримає і A, і J. Десять із тринадцяти обслуговуються зі Сполучених Штатів. Два з них це американські військові.\nЦе не змова, це скам’яніла історія. Це установи, які були в мережі у 1980-х і так з неї й не пішли. Але історична випадковість, через яку американські військові обслуговують два кореневі сервери інтернету, все одно означає, що американські військові обслуговують два кореневі сервери інтернету, і дивно описувати це як глобальну систему.\nДо того ж операторів не зв’язує жоден змістовний контракт. ICANN їх не наймає і не може якимось простим способом їх прибрати. Вони обслуговують корінь, бо так було завжди. Стабільність системи на цьому рівні тримається на добрій волі й нічому міцнішому, а це працює рівно до того дня, коли перестає.\nICANN не керує кореневою зоною Це найважливіший факт у дописі, і його майже ніколи не кажуть уголос, тож він отримує власний заголовок.\nICANN не обслуговує кореневу зону.\nВона вирішує, що в ній має бути. Вона не редагує файл, не підписує файл і не роздає файл. Verisign редагує й підписує. Дванадцять організацій роздають. Робота ICANN полягає в тому, щоб сказати, якою має бути відповідь, а потім домогтися, щоб хтось інший зробив її такою.\nЦей поділ це єдине, що тримає ICANN у рамках.\nУяви без нього. Один орган визначає політику, тримає перо, володіє ключем підпису й керує серверами. Між рішенням і тим, що це рішення стає правдою на всій землі, немає іншої сторони, немає другої пари рук і немає нікого, хто міг би сказати «ні». Хоч що ти думаєш про історію ICANN нижче, такий устрій був би гіршим.\nА так є три гальма. Жодне з них не записане в статуті.\nФайл публічний. Будь-хто може стягнути кореневу зону через AXFR, команда на початку цього допису, і порівняти її з учорашньою. Тихо змінити делегування не вийде. Зміну має зробити хтось інший. Редагування й підпис робить maintainer. Це ще одна організація, яка мусить погодитися це зробити, і ще одна, яка може відмовитися. Оператори роздають за згодою. Як сказано вище, у ICANN немає змістовного контракту з операторами кореневих серверів. Вони розповсюджують зону, бо так було завжди. Ніщо не зобов’язує їх щось розповсюджувати, і, як Постел показав у 1998 році, згоду може зрушити хтось, кому вони довіряють, якщо гарно попросить. Останнє і є справжньою страховкою, і на рівень нижче її застосовували ще на нашій пам’яті. Коли Verisign у 2003 році додала wildcard до .com, Internet Systems Consortium (ISC) випустив delegation-only у BIND, і оператори просто перестали брати ці відповіді до уваги. Нікому не довелося вигравати суперечку на політичному форумі. Здатність технічної спільноти відмовити ніде не записана, і всі причетні знають, що вона є.\nТепер незручна частина, бо це тонше, ніж звучить.\nЦієї перевірки ніхто не проєктував. Це не поділ влади, це випадковість того, як у 1990-х розподілили роботу, і перехід 2016 року її не посилив і не записав. Немає правила, яке казало б, що орган, що визначає політику, не може одного дня тримати ще й перо.\nА сторона, що перевіряє, це комерційна компанія, з якою ICANN веде справи. Verisign виконує роль maintainer кореневої зони, тримає контракт на .com і, як показує решта допису, угоду з ICANN на 20 млн доларів, підписану в тих самих переговорах, що й підвищення ціни на .com. Перевірка, що залежить від готовності однієї сторони відмовити іншій, перестає працювати, щойно ці двоє починають разом щось підписувати.\nТож поділ це найкраще в нинішньому устрої. А ще він незаписаний, незапланований і тримається на звичці.\nПродаж простору імен Ще до будь-яких суперечок про управління є дещо простіше, що показує, як ті, хто тримає шматок простору імен, ним розпоряджаються, коли ніщо їх не зупиняє. Таке траплялося знову й знову, на кожному рівні, і вперше, коли це сталося на самій верхівці, воно тривало дев’ятнадцять днів.\n15 вересня 2003 Verisign додала wildcard-запис A до зон .com і .net:\n*.com. IN A 64.94.110.11 Зворотний запис цієї адреси вказує на sitefinder.verisign.com. З цієї миті в .com і .net існувало кожне ім’я. Кожна одруківка, кожен незареєстрований домен, кожен зіпсований рядок, кожне прострочене ім’я, усі вони резолвилися на сторінку пошуку Verisign з рекламою Verisign.\nЧому це не історія про рекламу Скарги тоді здебільшого стосувалися реклами, і вони били повз суть. NXDOMAIN не є функцією для зручності користувача. Це несучий сигнал протоколу, і величезна кількість програм над DNS побудована на тому, що можна спитати «чи існує це ім’я?» і отримати правдиву відповідь.\nВидали негативну відповідь, і речі ламаються так, що браузери тут ні до чого.\nНайгірше було з поштою, і саме це люди досі розуміють неправильно. Verisign не публікувала wildcard-запису MX. Їй і не треба було. RFC 5321 §5.1 каже, що коли запит MX нічого не повертає, відправник відкочується до адресного запису домену і вважає його неявним MX із пріоритетом 0. Verisign щойно дала кожному неіснуючому домену в .com адресний запис. Тож кожен MTA в інтернеті, кожен агент пересилання пошти, кожна машина, що передає пошту, правильно дотримуючись стандарту, тепер мав поштовий обмінник для soemcompany.com, і це була машина Verisign.\nПідключися до порту 25, і він відповідав:\n220 snubby2-wceast Snubby Mail Rejector Daemon v1.3 ready Заявлений намір Verisign був досить розумним: одразу відхиляти пошту, щоб вона не висіла в чергах по всьому світу. Реалізація такою не була. Snubby здавався лише після того, як MTA-відправник передав тіло листа, і повертав код, який більшість MTA читали як тимчасову помилку, тож замість миттєвого повернення пошту на неправильно набрані адреси пересилали знову днями, перш ніж вона помирала. Пізніше Verisign замінила його відповідачем на основі Postfix, після того як оператори поскаржилися в списку NANOG.\nАнтиспам зламався водночас, і тихіше. Перевірка, чи домен відправника справді існує, була й лишається однією з найдешевших і найдієвіших евристик фільтрування. За ніч кожен домен у двох найбільших TLD почав існувати. Перевірка повертала «так» для всього й перестала розрізняти.\nА все інше, що говорить DNS, але не HTTP, поштові релеї, FTP-клієнти, мережеві принтери, системи моніторингу, перестало отримувати «немає такого хоста» і почало отримувати вебсервер, що здебільшого виявлялося таймаутами й зависаннями, а не чистими збоями. Мертве ім’я тепер виглядало як зламаний сервіс.\nОдна компанія додала один запис до одного файлу зони й змінила семантику збоїв в інтернеті.\nЩо це зупинило Не управління. Інженерія, а потім погроза.\nISC за кілька днів випустив у BIND функцію delegation-only, яка давала операторам змогу відкидати синтезовані відповіді від зон TLD: технічна спільнота обійшла реєстр, а не апелювала до когось. Чимало провайдерів її розгорнули.\nICANN попросила Verisign призупинити сервіс. 21 вересня Verisign відмовилася. Тоді ICANN 3 жовтня вимагала цього, прямо назвавши договірні наслідки, і Verisign прибрала записи 4 жовтня 2003. IAB опублікувала архітектурне заперечення проти wildcard у реєстрах, а власний Security and Stability Advisory Committee ICANN 9 липня 2004 доповів, що сервіс ніколи не слід було розгортати без перевірки і що реєстри мають поступово відмовитися від wildcard.\nА потім Verisign подала на ICANN до суду, 27 лютого 2004, стверджуючи, що ICANN, зупинивши її, перевищила свої повноваження. Справу здебільшого відхилили того ж серпня, а решту врегулювали 1 березня 2006, мировою угодою, яка дала Verisign нову угоду реєстру для .com.\nПеречитай цю послідовність ще раз. Реєстр заробив на просторі імен, яким за контрактом мав керувати, відмовився зупинитися, був змушений зупинитися, подав до суду на орган, що його змусив, і вийшов із мирової угоди з поновленим контрактом на найцінніший TLD, що існує. Він досі його тримає. Це та сама компанія, яка сьогодні редагує й підписує кореневу зону.\nПотім так зробили всі інші Зупинка реєстру не зупинила ідею, вона просто перемістила її на один крок нижче. Якщо авторитетний сервер не брехатиме про неіснування, збреше резолвер.\nЗ серпня 2006 року Earthlink почав перенаправляти відповіді NXDOMAIN на Barefruit, показуючи сторінки пошуку й рекламу. Paxfire продавав те саме і ще перенаправляв певні набрані ключові слова на рекламодавців, які платили. «Domain Helper» від Comcast робив це в масштабі. У Британії це робили і BT, і Virgin Media. З боку провайдера економіка непереборна: неправильно набрані домени це безплатний рекламний інвентар, який створюють пальці твоїх же клієнтів.\nНаслідки були гірші, ніж у Verisign, бо резолвер бачить кожен запит, а не лише один TLD. Реалізація Barefruit перехоплювала NXDOMAIN для приватного адресного простору, ламаючи split-horizon і поведінку VPN у корпоративних мережах. Ден Камінський продемонстрував міжсайтовий скриптинг (XSS) проти самих сторінок перенаправлення, бо тепер кожне неіснуюче ім’я хоста у світі резолвилося на доступний для атакувальника HTML, поданий у контексті, який браузер пов’язував із чужим доменом. Монетизація помилки перетворила невдалий запит на поверхню для XSS.\nВиправлення в протоколі Закрили це дві речі, і обидві варто відзначити, бо це форма кожного справжнього виправлення в DNS: зробити брехню помітною, а потім зробити заборону договірною.\nDNSSEC дає автентифіковане заперечення існування. Записи NSEC і NSEC3 дають підписаній зоні змогу довести, що ім’я не існує, і резолвер із валідацією відкине синтезовану відповідь на його місці. Неіснування перестало бути єдиною відповіддю, яку ніхто не міг перевірити. Це не герметично: резолвер, що по дорозі зрізає підписи, все ще може переписати відповідь, саме тому й важливо валідувати на клієнті, а не довіряти резолверу, і цей сайт уже докладно це доводив.\nІ ICANN, віддаймо їй належне, цей урок засвоїла. Specification 6 нової угоди реєстру gTLD прямо забороняє wildcard, синтезовані записи й перенаправлення для незареєстрованих імен і вимагає, щоб авторитетні сервери повертали Name Error, RCODE 3. Кожному з 1200 рядків раунду 2012 року договірно заборонено робити те, що Verisign зробила з .com.\nЦе справжнє покращення, і варто точно сказати, що його дало: не процес управління, а дев’ятнадцять днів видимої поломки у 2003 році, досить ганебних, щоб через десятиліття їх записали в контракт.\nІ нічого з цього не торкнулося національних кодів Specification 6 зобов’язує gTLD. Зобов’язує тому, що вони підписують угоду реєстру з ICANN, і ця угода і є важелем.\nccTLD нічого такого не підписує. Ні угоди реєстру, ні Specification 6, ні функції контролю відповідності, ні внесків. Ніщо в правилах ICANN не регулює, як національний реєстр керує своєю зоною, і саме тому обидві речі нижче були можливі, і саме тому ніхто не мав змоги їх зупинити.\nЦе не те саме, що сказати, ніби ICANN відсутня, і я хочу точно сказати, де вона є, бо я два роки був по той бік цього.\nЩо ICANN тримає над ccTLD, так це саме делегування. Кожен запис NS, кожен glue, кожен запис DS і кожна зміна контактів для .uk живуть у кореневій зоні, а єдиний шлях до кореневої зони це запит на зміну до IANA, перевірений за зареєстрованими адміністративним і технічним контактами й опрацьований за графіком IANA, а не твоїм. За RFC 1591 IANA також в останній інстанції вирішує, хто взагалі тримає делегування. Переделегування рідкісні. Але не гіпотетичні.\nТож національний реєстр суверенний у тому, як він працює, і повністю залежить від третьої сторони в усьому, що має бути видно в корені. Моменти, коли тобі найбільше потрібно, щоб зміна пройшла, переїзд сервера імен, ротація ключа, чий DS треба опублікувати до того, як зникне старий, це саме ті моменти, коли ти чекаєш у чужій черзі. Це жива операційна залежність, а не абстракція управління, і це тема наступного допису.\nТепер подивись, що дає це поєднання. Хватка ICANN на ccTLD міцна саме там, де вона заважає реєстру, який поводиться добре, і відсутня саме там, де могла б стримати реєстр, який поводиться погано. Вона може затримати твій запис DS. Вона не могла зупинити Камерун, який спрямував цілий домен верхнього рівня на рекламну сторінку.\nТож практика не припинилася. Вона просто переїхала туди, куди не дотягувався контракт.\nКамерун зробив wildcard на цілий домен верхнього рівня, щоб збирати одруківки.\nУ серпні 2006 року реєстр .cm спрямував кожне незареєстроване ім’я в зоні на сторінку-заглушку з платними пошуковими посиланнями. У цій грі немає нічого тонкого: .cm це .com з пропущеним o, тож цільовим ринком була частота промахів по клавішах у найбільшому TLD, що існує, а оператором була державна установа, ANTIC, під Міністерством пошти й телекомунікацій Камеруну.\nЦе добре окупилося. NameJet повідомив про понад 500 000 $ продажів .cm за перший день і понад 2 млн $ за перший тиждень; hotels.cm пішов за 81 100 $ у 2009 році. А ще це зробило з безпекою зони саме те, чого слід було чекати, бо вхідний трафік одруківок це ідеальний канал доставки для шкідливого завантаження. У грудні 2009 року McAfee визнала .cm найризикованішим TLD у світі: 36,7 % його сайтів оцінили як ризиковані.\nVerisign змусили згорнути той самий трюк за дев’ятнадцять днів. Камерун тримав його роками. Різниця не в тому, що один був гіршим. Різниця в тому, що один підписав контракт.\nТокелау став найбільшим національним доменом на землі, роздаючи імена задарма.\nТокелау це територія Нової Зеландії в південній частині Тихого океану з населенням близько 1500 людей. Його ccTLD, .tk, обслуговувала Freenom, яка роздавала реєстрації безплатно. До 2016 року це був найбільш зареєстрований національний домен у світі: 31 311 498 імен, і ця цифра, так уже склалося, взята з карти світу, яку опублікувала Nominet.\nБезплатне не було безплатним. Умови Freenom вимагали, щоб безплатний домен мав регулярний трафік, і передбачали, що коли перенаправлення переставало працювати або коли ім’я починало приваблювати відвідувачів, вартих уваги, реєстр міг його забрати й показувати на ньому власну рекламу. Це весь бізнес, і він елегантніший, ніж у Verisign. Не намагайся вгадати, які імена цінні. Роздай увесь простір імен за нульової граничної вартості, дай світові самому знайти для тебе цінні, а потім забери їх і монетизуй трафік. Приблизно шоста частина річного доходу Токелау йшла звідси.\nЗовнішні витрати лягли на всіх інших. Безплатна реєстрація без перевірки це ідеальна сировина для масових зловживань, та сама економіка, що й у дешевих нових gTLD, доведена до нуля. На момент, коли Meta подала позов, п’ять безплатних ccTLD Freenom, .tk, .ml, .ga, .cf, .gq, були джерелом понад половини всіх нових фішингових доменів з національних TLD.\nЩо це зупинило, і є тут найважливішим.\nНе ICANN, у якої не було ні контракту, ні процесуальних прав. Не Токелау, що збирав шосту частину свого національного доходу. Не Нова Зеландія. Юристи Meta, у Північному окрузі Каліфорнії, у березні 2023, з позовами про кіберсквотинг і торговельні марки.\nFreenom за кілька днів припинила нові реєстрації. Фішинг із цих доменів упав з понад 60 % до менш ніж 15 %. Freenom уклала мирову угоду в лютому 2024 і пішла з доменного бізнесу, а до березня того ж року близько 12,6 млн доменів, 99 % її портфеля, перестали резолвитися.\nЮридичний відділ однієї корпорації, в одному американському суді, прибрав з інтернету дванадцять з половиною мільйонів імен. Жоден орган управління за всю історію DNS ніколи не мав такої влади над простором імен, і зробила вона це не через управління.\nЦе вже втретє в цьому дописі відповіддю на питання «що тут насправді щось примушує виконувати» виявляється суд у Каліфорнії, і вдруге примусом виявляється приватна сторона, що діє у власних комерційних інтересах, які того разу випадково збіглися з інтересами всіх інших.\nА .uk теж ccTLD. Та сама відсутність будь-якого контракту про те, як керувати зоною, та сама відсутність Specification 6, та сама свобода поставити wildcard або роздати простір імен. Він не зробив ні того, ні того. Він натомість вів процес боротьби зі зловживаннями.\nІ тут охайний поділ перестає бути охайним, і це варто свідомо зіпсувати.\nNominet керує не лише .uk. Вона керує й загальними доменами верхнього рівня, своїми і ще кількома десятками від імені інших операторів, і для них вона підписує угоду реєстру з ICANN, як і будь-хто інший, разом зі Specification 6 і постійним моніторингом. На її власній платформі зону без контракту переважали приблизно тридцять до одного.\nТож вимоги ICANN однаково дійшли до .uk. Не через повноваження, яких вона не мала, а тому, що ніхто при здоровому глузді не тримає поруч два операційні режими, щоб зберегти виняток для однієї зони. Суворе будуєш один раз і запускаєш на ньому все.\nЦе та сама форма, що й проблема з OFAC раніше: формальна досяжність ICANN закінчується на контракті, а фактична йде далі, поширювана операторами, для яких дотримуватися вимог усюди дешевше, ніж підтримувати різницю. Множина реєстрів, якими фактично керує ICANN, суттєво більша за множину тих, хто щось підписав.\nЦе господарство, яким воно було в роботі і що сталося з Nominet потім, це окремий допис.\nЩо лишає питання, до якого цей допис раз у раз приходить з різних боків: коли контракти не дотягуються, що насправді заважає реєстру робити все, що йому заманеться?\nНаступний допис відповість на нього зсередини Nominet: конвеєр публікації, EPP (протокол, яким реєстратори створюють і змінюють імена в реєстрі) і економіка під ним, підпис у масштабі реєстру і хто справді може забрати ім’я. Цей допис про рівень над ним, і рівень над ним виглядає не найкраще.\nГроші Наступне звинувачення простіше і потребує менше тлумачення.\nПродукт, який вони вигадали У 2012 році ICANN відкрила прийом заявок на нові загальні домени верхнього рівня. Будь-хто міг подати заявку на керування новим рядком праворуч від крапки, за здебільшого неповоротний внесок за оцінювання в 185 000 $.\nВона отримала 1930 заявок. Це понад 350 млн $ внесків за оцінювання, зібраних ще до того, як делегували бодай один рядок. Ті, хто рано відкликав заявку, отримали частину назад за шкалою, що знижувалася; переважна більшість лишилася.\nICANN описувала внесок як відшкодування витрат.\nПотім, коли двоє заявників хотіли той самий рядок і не домовлялися приватно, ICANN продавала його між ними на аукціоні й лишала виручку собі, а це ще 240 590 128 $. Тож програма брала з тебе гроші за заявку і ще раз за перемогу.\nПостав питання, яке слід було поставити у 2008 році: яку проблему це розв’язувало?\nЗаявленими цілями були конкуренція, вибір і інновації. Через чотирнадцять років результати можна виміряти. Делегували близько 1200 рядків. Станом на серпень 2026 року є 1112 нових gTLD, у яких разом близько 48,7 млн доменів, проти одного лише .com, у якому їх понад удесятеро більше. Монополію наявного гравця не зачепило ні на йоту. Натомість вона отримала підвищення цін.\nАргумент про вибір провалюється на власних доказах. 34 % заявок 2012 року були на рядки .brand: компанія подавала заявку на власну торговельну марку, здебільшого щоб ніхто інший її не отримав. Це не новий вибір ні для кого. Багатьма так і не скористалися. McDonald\u0026rsquo;s так і не запустила .mcdonalds. Intel отримала .intel у липні 2016 року і припинила його в листопаді 2020, Symantec відмовилася від .symantec на два місяці раніше, а SC Johnson подала заявки на вісім рядків, серед них .scjohnson, .raid, .glade, .off, .duck, і в січні 2022 року припинила їх усі. Через шість років після вікна подання заявок понад кожен десятий новий gTLD досі не запустився, 144 не дійшли до періоду sunrise, а L\u0026rsquo;Oréal сиділа на рядках, щодо яких ніколи не оголошувала жодних планів.\nЦе багато мертвого простору імен. Ось чому ICANN це не турбує.\nЗа базовою угодою реєстру оператор gTLD платить ICANN фіксований внесок 25 000 $ на рік плюс 0,25 $ за реєстрацію, але лише коли TLD перевищує 50 000 транзакцій за квартал. Нижче цього порогу транзакційного внеску немає взагалі.\nПодумай, що це означає. Дохід ICANN від домену верхнього рівня, в якому нуль імен, точно такий самий, як від домену із сорока тисячами: 25 000 $ на рік, щороку, за делегування, яким ніхто не користується. Мертвий рядок не є провалом у книгах ICANN. Це рента без жодного навантаження на підтримку.\nУ ICANN не було фінансової причини перейматися тим, чи щось із цього спрацювало, і важко знайти докази, що вона переймалася.\nЩо натомість отримав інтернет Програма таки дала один вимірюваний ефект, і це не той, що в проспекті.\nНові рядки, які таки продавалися, продавалися ціною. Реєстри без бренду і без природного попиту конкурували єдиним доступним їм способом: долар або менше за ім’я, оптом, з мінімальними перевірками. Це продукт, і він знайшов свій ринок.\nДослідження Interisle Cybercrime Supply Chain 2025 виявило, що на нові gTLD припадало 47 % доменів, про які повідомляли як про кіберзлочинні, при 12 % доменного ринку, приблизно шестикратна надпредставленість. Те саме дослідження зафіксувало 19,5 млн унікальних доменів, використаних в атаках, на 126 % більше, ніж роком раніше, і 7,3 млн із них зареєстрували оптом. Спільна риса, яку воно знаходить у доменах, якими зловживають найбільше, це те, що вони дешеві.\nICANN не створювала фішинг. Але вона виготовила 1200 нових місць, звідки його можна робити, поставила ціну входу так, що для більшості з них єдиною життєздатною стратегією був обсяг майже за нульову ціну, і брала з кожного фіксований внесок, хоч що з нього виходило.\nВласний показовий провал програми доводить це краще за будь-яку статистику. .sucks делегували Vox Populi, яка брала з власників торговельних марок 2499 $ за ім’я під час sunrise, ціну, поставлену саме тому, що бренди мусили б її заплатити, щоб це ім’я не дісталося комусь іншому. Реакцією ICANN було поскаржитися на реєстр до Федеральної торгової комісії США за хижацьке ціноутворення. FTC не знайшла порушень жодних правил і зауважила, що ICANN уже проігнорувала кілька застережень, які FTC висловлювала щодо програми нових gTLD.\nТут уся історія в одному епізоді. ICANN проєктує програму, ігнорує застереження регулятора щодо неї, делегує рядок, бере внесок, а потім скаржиться регуляторові на передбачуваний результат.\nПрийом заявок на наступний раунд відкрився у 2026 році. Внесок 227 000 $.\nРядки, надто небезпечні для делегування Ще одне, що дала програма, і це для всіх, хто колись будував внутрішню мережу.\nОрганізації завжди вигадували домени верхнього рівня для внутрішнього вжитку, вважаючи, що ім’я, якого немає публічно, ніколи й не буде. .corp. .home. .mail. .local. Обери щось, внеси в Active Directory, ззовні ніхто не бачить.\nРаунд 2012 року пропонував делегувати деякі з них по-справжньому, і тоді кожне з цих приватних припущень стає живою проблемою безпеки: внутрішні імена починають резолвитися на чужі сервери, запити, які раніше завершувалися невдачею, починають зливати твою внутрішню структуру до реєстру, а сертифікати, видані на внутрішні імена, стають сертифікатами на імена, які тепер контролює незнайомець.\nНіхто цього не перевірив. Це спливло лише тому, що дослідники виміряли, що насправді запитують у кореня, і виявили, що .home і .corp були серед найбільш запитуваних рядків, що існують, інтенсивно вживані імена, які ніколи нікому не делегували. Власний Security and Stability Advisory Committee ICANN підняв це у 2013 році, коли заявки вже були подані.\n.corp, .home і .mail ніколи не делегували. Їх досі відкладено на невизначений строк, бо делегування зламало б забагато. Три рядки, на які подали заявки й за які заплатили, виявилися надто небезпечними, щоб існувати.\nЦе програма, яка розширила корінь, не з’ясувавши спершу, з чим зіткнеться розширення, і дізналася про це потім із чужих вимірювань. Якщо хочеш практичний бік цього, це причина, чому вигадувати внутрішній TLD погана ідея: простір імен, який ти вигадав, приватний лише доти, доки хтось його не продасть.\nАукціонні гроші З червня 2014 по липень 2016 року ці аукціони за спірні рядки зібрали ті самі 240 590 128 $, приблизно 233 млн $ після витрат на аукціони.\nЦе гроші, отримані від продажу шматків простору імен, яким ICANN не володіє і який тримає в довірчому управлінні. Є обґрунтована відповідь на питання, що з ними має статися, і спільнота створила міжспільнотну робочу групу, щоб її знайти.\nПоки ця робоча група ще засідала, правління ICANN взяло 36 млн $ виручки і поклало їх до власного резервного фонду ICANN, якому бракувало 68 млн $ до цільового рівня. Не запропонувало, а схвалило. А коли спільнота заперечила, їй відповіли, що альтернативою було б підвищення внесків з боку ICANN.\nРобоча група однаково продовжила роботу. Правління ухвалило її рекомендації лише в червні 2022, через шість років після останнього аукціону, і весь цей час ICANN тримала чверть мільярда доларів чужих грошей і взяла собі 36 млн $ із них, поки ті, хто вирішував, на що вони підуть, ще сиділи в залі.\nЦінові обмеження для .org У березні 2019 року ICANN запропонувала поновити угоду реєстру .org без цінових обмежень. Саме обмеження не давали операторові .org брати скільки заманеться з благодійних організацій, НУО й неприбуткових організацій, яким двадцять років казали, що їхнє місце в .org.\nВідбулося публічне обговорення. 3252 коментарі були проти скасування. Шість за. Серед противників були NPR, YMCA, C-SPAN, National Geographic Society, AARP і National Trust for Historic Preservation, не звичні коментатори з доменної індустрії, а саме та аудиторія, заради якої .org існує.\n1 липня 2019 року ICANN підписала угоду. Без публічного оголошення. Порівняння підписаного тексту з запропонованим показало, що у відповідь на обговорення не змінили нічого. Не «частину застережень враховано», а той самий документ.\nЯкщо процес публічного обговорення може пройти з рахунком 542 до 1 проти й не змінити жодного слова, це не консультація. Це формальність, яка лишає паперовий слід.\nПотім продаж У листопаді 2019 року, через чотири місяці, Internet Society оголосила, що продає Public Interest Registry, неприбуткового оператора .org, Ethos Capital, фірмі приватного капіталу, за 1,135 млрд $.\nСаме скасування цінових обмежень зробило PIR вартим 1,135 млрд $. Реєстр, який не може піднімати ціни, це рента. Реєстр, який може, це актив зростання. ICANN перетворила перше на друге чотирма місяцями раніше, всупереч одностайним запереченням, і ринок одразу це оцінив.\nEthos Capital заснували в травні 2019 року. Домен ethoscapital.com зареєстрував 8 травня 2019 року Фаді Шеаде, колишній генеральний директор ICANN, того самого тижня, коли спливав строк для персоналу ICANN опублікувати звіт про скасування цінових обмежень. Коли угоду оголосили, його імені ніде не було на сайті Ethos Capital. Його причетність стала публічною через дані WHOIS, публічного реєстру того, кому належить домен, про який наступний розділ, і іронія пише себе сама. Потім Ethos підтвердила, що він консультував щодо угоди, а в липні 2020 року він став її співкерівником.\nICANN таки зрештою заблокувала продаж, у квітні 2020 року. Це чесно зафіксувати. Так само чесно зафіксувати, що цьому передувало: місяці, протягом яких ICANN наполягала, що питання здебільшого поза її компетенцією, тривалі публічні кампанії, листи від американських сенаторів і нарешті лист від генерального прокурора Каліфорнії, який застерігав ICANN від угоди й посилався на брак прозорості щодо Ethos Capital.\nICANN тут не була запобіжником. ICANN скасувала обмеження, які створили цю можливість, і саму її зупинив в останню хвилину правоохоронець штату, ще одна демонстрація того, що справжній механізм підзвітності в цій системі це каліфорнійська юрисдикція, а не щось у статуті.\nДомовленість із Verisign Це той самий контрагент, що й у історії з wildcard, через п’ятнадцять років. У жовтні 2018 року NTIA і Verisign підписали Поправку 35 до Угоди про співпрацю, яка зняла заморожування цін на .com і дозволила підвищення на 7 % на рік у чотирьох роках із кожних шести.\nЦе було рішення уряду США, а не ICANN. Але для підвищення все одно треба було змінити угоду реєстру .com, а вона в руках ICANN. У березні 2020 року ICANN погодила Поправку 3, а разом із нею обов’язковий Лист про наміри, за яким Verisign платить ICANN 20 млн $ за п’ять років починаючи з 1 січня 2021, на роботу з безпеки й стабільності.\nОбидві речі обговорили до того, як відкрилося публічне обговорення. Обговорення відбулося, було переважно ворожим і нічого не змінило, та сама закономірність, що з .org, у тому самому проміжку часу, з тим самим результатом.\nВізьми структуру такою, якою вона є. Орган, який вирішує, чи може монополіст піднімати ціни, водночас і з тим самим контрагентом домовився про виплату самому собі. Публічне обговорення прийшло потім і було декоративним. На що б ці гроші не витрачали, домовленість, за якою регулятору платить той, кого він регулює, в тій самій угоді, що й підвищення цін, це те, на що жоден компетентний регулятор не пішов би, і слово, яке тоді вживали коментатори, відкат, тут найочевидніше.\nОптова ціна .com на цьому піднялася з 7,85 $ до 10,26 $, на ім’я, яке технічно не потребує жодного підвищення ціни і не має конкурента, до якого реєстрант міг би піти.\nВісім країн проти однієї компанії Якщо хочеш один епізод, який показує, перед ким ICANN насправді звітує, це .amazon, і він тягнувся сім років.\nКомпанія Amazon подала заявку на .amazon у раунді 2012 року. Організація Договору про амазонську співпрацю заперечила: Болівія, Бразилія, Колумбія, Еквадор, Гаяна, Перу, Суринам і Венесуела, вісім суверенних держав, чию територію описує ця назва і де живуть близько 30 млн людей. Їхня позиція полягала в тому, що спільна географічна й культурна назва не повинна ставати приватною власністю однієї компанії.\nВони скористалися каналом, який ICANN дає урядам. Governmental Advisory Committee (GAC) видав консенсусну пораду проти заявки, і в травні 2014 року правління ICANN її прийняло. Держави перемогли, через механізм, створений саме для цього.\nAmazon подала позов в Independent Review Process (IRP).\nУ 2017 році колегія IRP ухвалила рішення на користь Amazon. Вона визнала, що правління діяло всупереч власному статуту ICANN, постановила, що правління не може вважати консенсусну пораду GAC остаточною, зобов’язала його переглянути заявки по суті й наказала ICANN відшкодувати Amazon 163 045,51 $ витрат.\nУ травні 2019 року ICANN дійшла висновку, що немає жодної причини публічної політики не давати заявкам хід. Amazon отримала .amazon.\nЧитай структуру, а не результат, бо щодо результату можна сперечатися, а щодо структури ні.\nУряди мають GAC, і GAC радить. Корпорація має Independent Review Process, і IRP видає обов’язкову декларацію, вказівку правлінню і рішення про відшкодування витрат. Коли ці два канали зіткнулися лоб у лоб, колегія прямо постановила, що урядовий не є остаточним.\nТож у ICANN таки є робочий механізм підзвітності. Він спрацював. Ним успішно скористалася одна з найбільших компаній на землі, щоб перекреслити спільне заперечення восьми країн, і ICANN ще й оплатила її судові витрати.\nЦе той самий факт, що й проблема юрисдикції раніше в цьому дописі, лише в іншому вбранні. Механізми справжні, і вони влаштовані так, що результат із них отримують ті сторони, які можуть дозволити собі ними користуватися. Вісім урядів не змогли домогтися, щоб дорадчий канал спрацював. Одна компанія змусила правовий канал спрацювати за три роки.\nБоротьба за GDPR: що робить ICANN, коли закон стосується її самої Найсильніший доказ щодо установи це не її місія. Це те, що вона робить, коли проти неї вперше застосовують правило, якого вона не писала.\nДля ICANN такою миттю став GDPR, і історія тут однозначна.\nПопереджень ICANN не бракувало. За підрахунком The Register, вона понад десятиліття отримувала листи про те, що WHOIS, публікація імені, поштової адреси, електронної пошти й телефону кожного реєстранта домену, будь-кому, без жодного контролю доступу, несумісна з європейським законодавством про захист даних. Сам GDPR ухвалили у 2016 році з дворічним перехідним періодом саме для того, щоб організації могли підготуватися. ICANN прийшла до травня 2018 року без жодної відповідної моделі.\nНатомість у квітні 2018 року вона поїхала до Брюсселя й попросила Робочу групу зі статті 29 про однорічний мораторій на застосування, а також про дозвіл тим часом і далі публікувати адреси електронної пошти реєстрантів.\nПодумай, чим насправді є таке прохання. Не продовженням строку для паперів. Проханням, щоб європейські регулятори погодилися не застосовувати регламент про фундаментальні права проти однієї організації та її глобальних контрагентів протягом року, бо ця організація так і не взялася за виконання вимог. У GDPR немає механізму, щоб таке надати. Захист даних це фундаментальне право за Хартією; ні наглядовий орган, ні European Data Protection Board не мають повноважень призупинити його для одного контролера даних. ICANN не просила поступки, якої їй не давали. Вона просила того, чого не існує, очевидно навіть не з’ясувавши, чи воно існує.\nWP29 відмовила в обох проханнях. Власний підсумок зустрічі від ICANN визнав, що адреси електронної пошти реєстранта, адміністративного й технічного контактів мають бути анонімізовані, і просто не згадав про мораторій, якого вона просила.\nА потім вона подала до суду.\n25 травня 2018 року, в день, коли GDPR набув чинності, ICANN подала позов проти EPAG, німецького реєстратора Tucows, у Бонні. EPAG вирішив перестати збирати контактні дані Admin-C і Tech-C на тій підставі, що збирати персональні дані, які тобі не потрібні, це саме те, що GDPR забороняє. Позиція Tucows була така: у переважній більшості реєстрацій реєстрант, адміністративний і технічний контакти й так та сама людина, тож збір був не лише незаконним, а й безглуздим.\nПравова теорія ICANN полягала в тому, що підстава GDPR «necessary for the performance of a contract» покривала збір, бо цього вимагав власний контракт ICANN із реєстратором. Це дивовижний аргумент: що організація може створити законну підставу для обробки чужих персональних даних, записавши вимогу їх збирати в контракт із третьою стороною. Якби це працювало, стаття 6(1)(b) була б формальністю, яку будь-хто міг би виконати, просто написавши договір.\nЦе не спрацювало. ICANN програла в Бонні. Вона оскаржила. Знову програла. У серпні 2018 року апеляційний суд Кельна відхилив її втретє, визнав попередні рішення переконливими, постановив, що немає нагальної потреби, яка виправдовувала б заборону, і, ось ця частина варта того, щоб прочитати її двічі, відмовив ICANN у проханні передати питання до Суду Європейського Союзу на тій підставі, що правове тлумачення ICANN для рішення несуттєве. Суд не вважав аргумент достатньо близьким до межі, щоб питати про нього Люксембург.\nICANN однаково витрачала гроші членів, намагаючись дотягти справу до цього суду. У 2019 році вона відмовилася від WHOIS повністю.\nТехнічний результат правильний: WHOIS у тому вигляді, в якому він існував, не мав існувати. Але подивись, як до цього дійшли. Десять років проігнорованих попереджень. Прохання про виняток із фундаментального права. Позов проти власного контрагента, поданий у день набуття законом чинності, щоб довести, що закон не діє так, як кажуть регулятори. Три поразки. Потім капітуляція.\nЦе не організація, яка неправильно прочитала закон. Це організація, яка не визнавала, поки суди не сказали їй тричі, що закон узагалі до неї звернений.\nЧого це коштувало всім іншим Більша частина цього допису про те, що робили ICANN і реєстри. Цей розділ про те, хто за це платив, бо дуже рідко це були вони.\nКожен реєстрант .com на землі платить за підвищення. Оптова ціна .com піднялася з 7,85 $ до 10,26 $. Власна звітність Verisign оцінює базу .com у 163,6 млн імен станом на 31 березня 2026. Помнож одне на інше, і це підвищення коштує порядку 394 млн $ на рік, узятих із кожного реєстранта .com будь-де у світі, за ім’я, для якого не знадобилося жодних технічних змін, щоб це виправдати. Бізнес у Лагосі чи Манілі платить те саме підвищення, що й у Пало-Альто, а вирішили його американське відомство й американська неприбуткова організація, яка в тих самих переговорах узяла 20 млн $ від вигодонабувача.\nРішення щодо .org лягає на благодійників у всьому світі. .org двадцять років продавали неприбутковому сектору як частину простору імен, що належить йому. Скасувати обмеження означало вирішити, що той, хто ним керує, може брати з них скільки витримає трафік. NPR і YMCA це переживуть. Невелика НУО, що живе на грант, не переживе, і її теж не питали: 3252 проти, шість за, підписано без жодного зміненого слова.\nТягар зловживань несе кожен, хто тримає поштовий сервер. Нові gTLD це 12 % ринку і 47 % доменів, про які повідомляли як про кіберзлочинні. Кожне з цих імен потрапляє в чиюсь скриньку, в чиюсь чергу скарг на зловживання, у чиїсь збитки від шахрайства. ICANN зібрала по 185 000 $ за заявку і бере по 25 000 $ на рік за рядок незалежно ні від чого. Ціна того, що потім дали дешеві рядки, лягає на кожного поштового оператора, кожен банк, кожну команду безпеки і кожну людину, яку обдурила фішингова сторінка. Це зовнішній ефект у підручниковому сенсі, і програму спроєктували без жодного рядка про те, хто його нестиме.\nSite Finder зламав семантику збоїв для всієї планети одразу. Це варто сказати прямо, бо це легко прочитати як американську історію. Корінь один і .com один. Коли Verisign змінила, що робить неіснуюче ім’я, вона змінила це для кожної мережі на землі одночасно, зокрема для кожної мережі, яка не мала стосунку до Verisign, не мала голосу в рішенні і не мала виходу, крім латання власних резолверів, що дуже багато хто зрештою й зробив.\nWHOIS погас для тих, хто використовував його проти зловживань. Обидві шкоди тут справжні, і обох можна було уникнути. Публікувати ім’я, адресу, електронну пошту й телефон кожного реєстранта будь-кому, хто попросить, було справжньою, багатодесятилітньою шкодою людям у всьому світі, і GDPR мав рацію. Але в ICANN було понад десять років попереджень і жодного плану, тож травень 2018 року став не керованим переходом до багаторівневого доступу. Це було різке вимкнення. Дослідники зловживань, команди безпеки й правоохоронці, зокрема далеко за межами Європи, за ніч утратили робочий інструмент, бо ICANN витратила перехідний період на судові позови замість того, щоб будувати заміну. І вразливість до того, і порожнеча після належать до одного й того самого провалу підготовки.\nІ 12,6 млн імен перестали резолвитися. Падіння Freenom було добрим результатом для статистики фішингу. Воно не було добрим результатом для всіх, хто користувався безплатним .tk чи .ml, бо не міг виділити 10 $ на рік, а таких було дуже багато, непропорційно в місцях, де 10 $ це не дрібниця. Коли єдиний безплатний простір імен в інтернеті ще й той, яким найбільше зловживають, втрачають його, коли він зникає, не злочинці. Вони перейшли на наступну дешеву річ уже наступного тижня.\nФорма стала. Рішення ухвалюють у Каліфорнії, дохід збирають у Каліфорнії, а витрати розподіляють по всьому світу між людьми без голосу, без контракту і без суду, до якого вони можуть дістатися.\nІ лише в американських судах Тепер, коли історія викладена, повернімося до питання юрисдикції з початку допису, бо воно робить більше роботи, ніж реєстрація компанії.\nКожен у світі підпорядкований тому, що вирішує ICANN. Хоч щось із цим зробити можуть ті, хто може судитися в Каліфорнії.\nПодумай, кого це відсікає. Оператора ccTLD у Камеруні. Реєстранта в Тегерані, чий домен скинули, бо реєстратор надмірно застосував OFAC, який його ніколи не зобов’язував. Реєстратора в Бонні, і саме тому суперечку між ICANN і EPAG довелося вести як німецьку справу за німецьким правом, а не як питання підзвітності ICANN узагалі. Будь-який невеликий реєстр, який не може оплатити американських юристів, щоб сперечатися щодо каліфорнійського права неприбуткових організацій з організацією, чий бюджет вимірюється дев’ятизначними сумами.\nА тепер подумай, кого це впускає. Кожне втручання в цьому дописі, яке справді щось змінило:\nSite Finder закінчився, коли ICANN пригрозила контракту Verisign, а відповіддю Verisign був позов до американського суду і вихід із мирової угоди з поновленим .com. Продаж .org зупинили після того, як генеральний прокурор Каліфорнії надіслав лист. Freenom зупинилася, бо Meta подала позов у Північному окрузі Каліфорнії, і за цим 12,6 млн імен погасли. .amazon дістався Amazon, бо Amazon провела ICANN через її ж Independent Review Process і отримала відшкодування витрат. Чотири втручання, які спрацювали. Чотири американські дійові особи: один правоохоронець штату і три корпорації. Жоден із цих шляхів не доступний будь-кому за межами Сполучених Штатів, і в трьох із чотирьох рушієм був комерційний інтерес приватної компанії, який того разу випадково вказував у той самий бік, що й інтереси всіх інших.\nСпільнота це питання піднімала. Підгрупа з юрисдикції в робочій групі з підзвітності присвятила цьому Work Stream 2 і видала рекомендації, які залишили все приблизно там, де знайшли, і це не дивно, зважаючи на те, що пропозиція щодо переходу вже вивела єдину зміну, яка мала значення, за межі обговорення, ще до того, як хтось сів за стіл.\nТож глобальне багатостороннє управління, у єдиному місці, де його можна перевірити, зводиться до цього: ти можеш судитися в Каліфорнії, якщо можеш собі це дозволити.\nЩо насправді показує історія Склади їх разом, бо окремо в кожного є виправдання, а разом немає.\nОрганізація, якій німецькі суди мусили тричі сказати, що європейське право до неї застосовується, після того як вона спершу попросила регуляторів цих судів просто його не застосовувати.\nОрганізація, яка вигадала продукт, якого ніхто не просив, узяла понад 350 млн $ внесків за розгляд заявок на нього, ще 240 млн $ з аукціонів за спірні рядки, і тепер бере по 25 000 $ на рік з доменів верхнього рівня, в яких нічого немає, а рядки, які таки продавалися, стали найдешевшим місцем в інтернеті, щоб купити фішинговий домен.\nОрганізація, чий процес публічного обговорення пройшов із рахунком 542 до 1 проти й не змінив жодного слова документа, щодо якого радилися.\nОрганізація, яка скасувала цінові обмеження для неприбуткового простору імен за чотири місяці до того, як структура приватного капіталу її колишнього генерального директора запропонувала за нього 1,135 млрд $, і яку довелося зупиняти генеральному прокуророві штату, а не будь-якому її власному механізму.\nОрганізація, яка взяла 20 млн $ від реєстратора-монополіста в тих самих переговорах, що дали реєстраторові-монополісту підняти ціни, і відкрила публічне обговорення вже потім.\nОрганізація, яка взяла собі 36 млн $ із грошей, які тримала в довірчому управлінні, поки група, що вирішувала, на що ці гроші підуть, ще засідала.\nІ організація, яка врегулювала позов від реєстру, що захопив дві найбільші зони в інтернеті, віддавши цьому реєстрові поновлений контракт на .com.\nОрганізація, чий єдиний робочий механізм підзвітності використала компанія вартістю в трильйон доларів, щоб перекреслити одностайне заперечення восьми країн, з відшкодуванням витрат за рахунок ICANN.\nОрганізація, якій до делегування .corp і .home незнайомцям забракло лише звіту одного комітету, і яка дізналася, що б це зламало, з чужих вимірювань.\nСпільна нитка тут не некомпетентність. Некомпетентність випадкова. Це має напрямок: кожен із цих випадків пішов на користь тих, хто вже на ринку, грошей і власного інституційного інтересу ICANN, а механізми участі, періоди обговорення, робочі групи, наділені повноваженнями спільноти, давали документацію, а не результати.\nІ це той орган, який визначає політику для файлу. Не орган стандартизації, не суд, не щось, що ти обирав. Каліфорнійська неприбуткова організація з такою історією управління, яка сидить на 1,5 мегабайта тексту, за якими резолвиться кожна мережа на землі.\nЄдине, що стоїть між цією історією і файлом, це те, що ICANN не тримає пера. Їй доводиться просити. Усе вище це те, що робить організація, коли їй усе ще доводиться просити, тож питання, яке варто забрати з собою, не в тому, чи ICANN поводиться добре. Очевидно, що ні. Питання в тому, що тримає на місці це прохання, якщо ніхто його не записав, а сторона, яку просять, уже сидить на зарплаті.\n","permalink":"https://blogs.damiendye.uk/uk/dns/who-actually-controls-dns/","summary":"Корінь інтернету це текстовий файл на 1,5 MB, який редагує й підписує одна американська компанія. Хто насправді контролює DNS, що змінив і чого не змінив перехід функцій IANA у 2016 році, і задокументована історія того, як ICANN цим контролем користувалася.","title":"Хто насправді контролює DNS"},{"content":"Я був системним адміністратором DNS-реєстру в Nominet, реєстрі .uk, з 2017 по 2019 рік: усередині будівлі, поки наростав тиск, який породив бунт 2021 року. Саме голосування відбулося вже після мого відходу, і ця частина є публічним записом, як завжди з посиланнями. Там, де я розповідаю, як це виглядало зсередини, я так і кажу.\nСупутній допис до цього розповідає про ICANN, і він раз у раз з різних боків приходить до того самого питання: коли ніхто не тримає контракту над реєстром, що насправді змушує його поводитися належно?\n.uk добре підходить, щоб на це відповісти, бо над ним ніхто контракту не тримає. Над ним немає реєстрової угоди ICANN, немає Specification 6, немає функції комплаєнсу, немає зовнішнього моніторингу і немає регулятора у звичному сенсі. Ofcom ним не керує. Уряд ним не керує.\nКерують його члени. І в березні 2021 року вони цим скористалися.\nЩо таке Nominet насправді Nominet це компанія з відповідальністю в межах гарантії. Акціонерів у неї немає. У неї є члени, реєстратори та інші зацікавлені сторони, які платять внесок і отримують голос, і її створили, щоб вести .uk заради суспільної користі, а не заради прибутку.\nУся історія в цій структурі. Компанія без власників, яких треба збагачувати, однаково отримує гроші, а реєстр, що веде національний простір імен без жодного конкурента, отримує їх чимало. На що цей надлишок призначений, конституція відповідає розмито, а правління відповідає на практиці.\nЧлени це єдина перевірка. Більше нічого немає. Що нормально, поки відповіді збігаються, і стає всією грою, коли вони перестають збігатися.\nГосподарство зсередини Ось частина, яку люди поза реєстром рідко уявляють, і вона важлива для всього, що далі.\nNominet ніколи не був лише .uk. Поки я там працював, платформа несла:\n.uk, домен коду країни (ccTLD), узагалі без контракту з ICANN. .cymru і .wales, загальні домени верхнього рівня (gTLD), які Nominet тримає від власного імені, і вони якраз підпадають під реєстрові угоди ICANN. Чужі gTLD. У квітні 2016 року Minds + Machines передала Nominet бекенд для до 28 своїх рядків, серед них .london, .work, .law, .fashion, .cooking, і це поставило Nominet до верхнього ешелону операторів реєстрів за кількістю TLD у роботі. Додай брендові домени на зразок .bbc і .bentley. Аварійна роль для ICANN. Nominet є одним з Emergency Back-end Registry Operators ICANN, тих контор, яким ICANN передає gTLD, коли забирає його в того, хто його вів. Він приєднався у 2014, а в грудні 2017 ICANN цим скористалася: Nominet став аварійним тимчасовим оператором .wed після того, як у його оператора відмовив сервіс реєстраційних даних. Бік резолвера. Nominet збудував і вів Protective DNS для National Cyber Security Centre (NCSC), рекурсивний резолвер, до якого звертаються органи публічного сектору Великої Британії і який відмовляється резолвити імена, відомі як шкідливі. Одне уточнення варто зробити, бо «Nominet веде .uk» звучить вільніше, ніж мало б.\nNominet веде реєстр .uk і більшість того, що під ним: .co.uk, .org.uk, .me.uk і сам .uk другого рівня. Він ніколи не вів його весь. .ac.uk належить Jisc, наступнику академічної мережі, яка назвала uk взагалі, і Jisc адмініструє та реєструє імена під ним з 1996 року. Протягом років, про які цей допис, .gov.uk теж був за Jisc: Nominet забрав його лише у 2024 році, і навіть тепер погодження лишаються за Central Digital and Data Office, а не за реєстром.\nДалі ще цікавіше, і в напрямку, якого не вгадаєш. Jisc також забезпечує адміністрування .gov.scot, а ще .gov.wales і .llyw.cymru, які обидва живуть усередині .wales і .cymru, двох загальних доменів верхнього рівня, які Nominet тримає від власного імені. Nominet веде ці TLD. Урядовий куточок у них веде хтось інший.\nТож навіть усередині простору імен однієї країни повноваження поділені, і поділила їх історія та звичай, а не чийсь задум.\nОтже, одна організація перебувала в чотирьох різних відносинах із системою імен одночасно. Повністю поза досяжністю ICANN щодо .uk. Усередині неї, за контрактом і під постійними вимірюваннями, щодо gTLD. Інструмент, по який ICANN тягнулася, коли треба було забрати домен верхнього рівня в когось іншого. І резолвер, що вирішував, що урядовому відомству дозволено шукати.\nНічого з цього не є суперечністю. Ось як структура виглядає насправді, щойно перестаєш читати організаційні схеми й починаєш читати контракти. Повноваження тут чіпляються до окремих делегувань, а не до компаній.\nДва режими, одна платформа Тепер та частина, яку бачиш лише зсередини, і саме через неї господарство має значення, а не є дрібницею.\nДля gTLD Nominet підписує реєстрову угоду ICANN, як і будь-хто. Діє Specification 6: жодних вайлдкардів, жодних синтезованих відповідей. Діє і Specification 10, і ICANN постійно вимірює дотримання ззовні: резолвінг DNS, спільна система реєстрації, сервіс Whois, депоненти ескроу й коректно підписані зони відстежуються щодо порогів, і провал крізь один із них це подія комплаєнсу, а не просто збій.\nПорахуй зони. З одного боку .uk, без контракту. З іншого кілька десятків gTLD, і кожен під реєстровою угодою та зондом моніторингу. Зону без контракту на її ж платформі переважали приблизно тридцять до одного.\nДва договірні режими на одній платформі, і перемагає суворий Одна платформа, два договірні режими Nominet: одна платформа реєстру, один набір інструкцій .uk 1 зона без реєстрової угоди без Specification 6 ніхто не моніторить загальні домени верхнього рівня ≈30 зон .cymru\u0026#160;· .wales\u0026#160;· MMX\u0026#160;×28\u0026#160;· .bbc\u0026#160;· .bentley реєстрова угода ICANN Spec 6, Spec 10, моніторинг ззовні суворий режим стає внутрішнім стандартом Ніхто не тримає два операційні стандарти, щоб зберегти виняток для однієї зони. .uk усе одно отримує правила ICANN\u0026#160;без контракту, без консультацій, нікого у Британії не питали. Одна платформа несе обидва режими. Зону без контракту переважають приблизно тридцять до одного, тож правила, написані для gTLD, стають способом, у який ведеться все, включно із зоною, над якою ні в кого немає повноважень. Тримати два операційні режими на одній платформі болісно, тому цього не роблять. Два процеси ескроу, два режими моніторингу, два набори інструкцій, дві процедури чергування, дві відповіді на те саме питання залежно від того, про яку зону тікет: саме так о третій ночі й робляться помилки. Коли ICANN щось вимагає для gTLD, ти не будуєш це двічі. Будуєш один раз і ведеш на цьому все.\nА отже, вимоги ICANN лягли й на .uk. Не тому, що ICANN мала якісь повноваження над .uk, бо не мала жодних, а тому, що найдешевший безпечний спосіб виконати правило, яке зв’язує більшість твого господарства, це застосувати його до всього, і тому, що навмисно підтримувати поділ, щоб ccTLD міг робити те, чого не можна gTLD, не дає нічого, крім ще одного способу зламати платформу.\nЖодного контракту на це не підписували. Жодних консультацій не було. Нікого у Великій Британії не питали. Вимога, написана в Лос-Анджелесі для загальних доменів верхнього рівня, визначила, як працював власний реєстр країни, через рішення про збірку.\nДля протоколу: це також зробило ICANN реальною присутністю в графіку чергувань, а не рядком у документі про політику. Для частини господарства вона була контрагентом із контрактом, зондом, спрямованим на нашу інфраструктуру, і шляхом ескалації.\nПродавати .uk, щоб платити за решту Комерційна логіка всього цього і стала тим, проти чого члени зрештою виступили.\n.uk це монополія. Є рівно одне місце, де можна купити домен .uk, попит майже нееластичний, а маржа фінансує все, що правління вирішить фінансувати. З 2016 року The Register відкрито доводив, що з реєстрантів .uk беруть зайве, щоб субсидувати решту операцій.\nЗа генерального директора Russell Haworth, призначеного у 2015 році, Nominet активно рушив у кібербезпеку, зокрема з контрактом NCSC, з міркуванням, що реєстр, який сидить на національній інфраструктурі DNS, добре підходить для продажу безпекових послуг.\nТаким був напрямок руху весь час, поки я там працював. Бунт не взявся нізвідки у 2021 році. Умови для нього заклали роками раніше, на очах у кожного, хто працював у будівлі.\nПершою пішла благодійність У січні 2018 року, поки я там працював, Nominet вийшов із власного благодійного фонду.\nNominet Trust фінансувався реєстром з 2008 року: £44 млн за цей період, £4 млн у 2016, £5,4 млн у 2017. Він давав гроші на проєкти «технології на добро». Він був, у доволі прямому сенсі, суспільною користю в компанії суспільної користі. Він став незалежним і в травні 2018 року перетворився на Social Tech Trust.\nЗаявленою причиною Haworth назвав те, що «the grant-giving, single funder model we set up in 2008 was not the most effective route to greatest impact.»\nПоруч із цим оголосили Cyber Advisory Panel, яку очолив Haworth, націлену на уряд і корпоративний бізнес, з маркетинговою програмою за спиною і, за власними словами Nominet, можливо, з поглинанням.\nПостав ці дві речі поруч, бо їх оголосили разом. Гроші, що йшли з будівлі до незалежного благодійного фонду, припинилися. Комерційне підприємство під головуванням генерального директора почалося. Членів не питали ні про те, ні про інше.\nОдин із них, Andrew Bennett, тоді поставив очевидне питання: куди підуть усі майбутні операційні прибутки?\nЧерез три роки членство на нього відповіло.\nОсь чому абзаци нижче не просто моє враження. Найбільше переміщення грошей суспільної користі в історії Nominet пішло від незалежного фонду з власним управлінням до панелі, яку очолював генеральний директор, одним оголошенням, без питання до власників. Хоч як оцінюй намір, напрямок грошей зафіксовано.\n«Profit With a Purpose» Такою була фраза: «прибуток з метою». Це було гасло всієї стратегії, і ми чули його дуже часто.\nПроблема з ним була не в тому, що воно амбітне. А в тому, що дві його половини розійшлися. Прибуток був справжнім, зростав і йшов з полоненого ринку, якому більше ніде було купити .uk. Мета була слайдом у презентації.\nПрибуток угору, мету прибрано: дві половини гасла розходяться «Profit with a purpose» у звітності Мета: внески до Nominet Trust £4,0 млн 2016 £5,4 млн 2017 вихід, січень 2018 Trust відпустили шукати власних донорів з 2018 Разом £44 млн між 2008 і 2018 роками, а потім нічого. За ті самі роки ціна домену .uk зросла більш ніж на 50%. Половина гасла про прибуток працювала точно як задумано. Дві половини гасла рухаються в протилежних напрямках. Цифри внесків з історії фінансування Nominet Trust; підвищення ціни це власна скарга членів у 2021 році. Компанію можна тримати за таке гасло, і зрештою члени так і зробили. Усередині воно здебільшого породжувало особливу втому від того, що на кожних загальних зборах тобі кажуть, що комерційний натиск і є суспільною користю, тоді як рядок справжньої суспільної користі йде вниз.\nКуди пішли гроші Поки я там працював, ішли три речі, і жодна з них не є DNS для Сполученого Королівства.\nРеєстр радіоспектра. Nominet збудував базу даних TV White Space, реєстр того, які радіочастоти вільні для використання в певному місці в певний час, і отримав схвалення FCC як адміністратор бази даних у США. Аргумент був такий: реєстр є реєстр, і компанія, яка добре робить один вид пошуку, може продавати інший.\nБезпековий продукт для DNS. NTX, виявлення загроз на основі інспекції трафіку DNS, яке продавали урядам і підприємствам. Інакше кажучи, конкурент OpenDNS, тобто конкурент Cisco, у якого вирішив податися британський реєстр доменів.\nБезпілотні автомобілі. Разом із дронами й інтернетом речей їх подавали як наступну велику хвилю речей, які треба буде називати й реєструвати.\nТе, що з ними сталося, і є відповіддю на питання, чи були вони стратегією. Бізнес зі спектром продали RED Technologies, коли Nominet змінив фокус. Кіберробота дала технологію, на якій стояв контракт NCSC, який Nominet потім втратив у 2024 році. Безпілотні автомобілі так і не приїхали, як і домени, які їм мали знадобитися.\nЗаявка на Австралію Була й четверта річ, і вона найбільше каже про амбіції. У 2018 році Nominet подав заявку на ведення реєстру Австралії.\nauDA, яка адмініструє .au, виставила операції реєстру на тендер. Дев’ять заявок надійшли з усього світу, трьох відібрали до фіналу, і 1 липня 2018 року роботу перебрала Afilias, завершивши шістнадцять років, коли реєстр вела AusRegistry. auDA так і не оприлюднила, хто ще подавався, тож у записах ти цього не знайдеш, але Nominet там був, і я був там, поки ми за це боролися.\nПорівняй це з іншими новинами того ж року. У січні 2018 року Nominet вийшов із благодійного фонду, якому дав £44 млн, на тій підставі, що надання грантів одним донором не є найефективнішим шляхом до впливу. За ті самі дванадцять місяців він подавав заявку на ведення доменного реєстру країни на іншому боці світу.\nВарто також помітити, чим є тендер .au, бо це саме те, чим більшість людей вважає .uk. auDA може виставити свій реєстр на конкурсний тендер і передати його комусь іншому, і в 2018 році вона це зробила. Для .uk нічого подібного немає. Позиція Nominet це не контракт, який підлягає поновленню, а отже позиція сильніша за ту, яку Afilias виграла в Австралії, і як така її варто пам’ятати, коли зважуєш, який тиск насправді являло собою голосування членів. Це був єдиний наявний важіль.\nА ось що відбувалося з auDA, поки Nominet подавав заявку на роботу для неї.\nПоряд із тендером австралійський уряд проводив перевірку самої auDA. У квітні 2018 року він доповів, що рамка менеджменту й управління auDA «no longer fit-for-purpose», видав 29 обов’язкових реформ як нові умови схвалення і посадив старшого посадовця з Department of Communications до правління auDA стежити за роботою. Він також прямо сказав, що передасть делегування .au іншому постачальнику, якщо auDA не впорається.\nЦе національний уряд, який письмово заявляє, що перенесе домен своєї країни, якщо орган, який його тримає, не наведе в себе лад. Власні члени auDA водночас бунтували: петиція про позачергові загальні збори, щоб усунути чотирьох керівників, за три роки до того, як члени Nominet зробили те саме з п’ятьма своїми.\nДва національні реєстри, дві неприбуткові організації, які тримають простір імен країни, обидві звинувачені у провалі управління в межах чотирьох років одна від одної. Це не примха Nominet. Це те, що робить така структура, коли ніхто не стежить за нею достатньо пильно.\nЩо бачили члени Щодо того, чому саме ці напрями, а не інші, я буду обережним, бо можу сказати, як це виглядало, а не що було в чиїйсь голові. Поширена серед персоналу на той час думка полягала в тому, що фінансування йшло за захопленнями людей, які його схвалювали. Я не можу показати тобі бухгалтерську книгу і не збираюся вдавати, що можу.\nНа що я можу вказати, то це на те, що через три роки формальна скарга членства була краще обґрунтованою версією тієї самої підозри: що орган без акціонерів і з метою суспільної користі витрачав надлишок від національної монополії на речі, які влаштовували тих, хто ним керував, і що внески, які мали виправдовувати всю конструкцію, тим часом урізали.\nКуди пішов надлишок .uk і чим скінчився кожен напрям Куди пішов надлишок .uk єдиний продавець ціни вгору на 50%+ Nominet Trust £44 млн внесків, 2008–2018 припинено, січ. 2018 база спектра TV White Space схвалена FCC у США продано кібербезпека NTX £12,6 млн обігу за останній повний рік £2,4 млн збитку Заявка на реєстр Австралії дев’ять учасників, троє у фіналі програно Afilias Безпілотні авто, дрони, інтернет речей наступна велика хвиля речей, яким потрібні імена так і не прийшли Урізали саме той рядок, який робив те, заради чого компанія існувала. Усе нижче оплатили люди, що купували домени .uk. П\u0026rsquo;ять напрямків для грошей від монополії. Чотири скінчилися продажем, збитком, програною заявкою або взагалі нічим, а п\u0026rsquo;ятий, той, заради фінансування якого існувала конституція, і був тим, який припинили. Скарга членів не полягала в тому, що диверсифікація погана. Вона була арифметичною. Ціни на .uk зросли більш ніж на 50 відсотків. Благодійні внески й внески на суспільну користь упали, тоді як організація мала монопольну маржу на національному активі. Операційні показники йшли назад попри скорочення витрат. Зарплати й бонуси керівників росли весь цей час. А відгуки членів, подані через канали, які передбачає конституція, роками нікуди не вели.\nКомпанія без акціонерів почала поводитися як компанія з нетерплячими акціонерами, і надлишок від національного простору імен за це платив.\nБунт членів Кампанією була PublicBenefit.uk, яку організував Simon Blackler з хостингової компанії Krystal. Її резолюція була прямолінійною: усунути названих директорів.\nВідповідь Nominet варто зафіксувати, бо вона показує, чим стала організація.\nВона вела кампанію проти власних членів за гроші самих членів: листи, дзвінки й розсилки із закликом голосувати проти. Вона відмовилася обговорювати суть кампанії. Коли кампанія скористалася своїм правом на контактні дані членів, щоб викласти свою позицію, Nominet не надіслав таблицю. Він надіслав фізичну посилку з даними, надрукованими на понад 500 аркушах паперу, і без адрес електронної пошти.\nВона також заблокувала другу резолюцію, яка встановила б двох кваліфікованих тимчасових директорів, з аргументом, що це незаконно, а потім розкритикувала кампанію за відсутність плану наступності.\n22 березня 2021 року справа дійшла до голосування. Явка становила 53 %. Резолюцію ухвалили 52,7 % голосів, і п’ятеро з одинадцяти членів правління пішли:\nMark Wood Голова правління Russell Haworth Генеральний директор Eleanor Bradley Керівний директор, реєстр Ben Hill Фінансовий директор Jane Tozer Невиконавчий директор Haworth подав у відставку за кілька годин до голосування, щоб не програти його. Rob Binns став виконувачем обов’язків голови.\nОсь чим, на мою думку, була ця пара, і я позначаю це як думку, бо це вона і є.\nWood і Haworth вели Nominet так, як венчурна фірма веде портфельну компанію. Не як реєстр, який принагідно дає надлишок, а як баланс із недовикористаним активом, прикрученим до нього: полонену монополію, що викидає готівку, яку можна краще вкласти десь, де більше потенціалу.\nУсе задокументоване вище з цим узгоджується. Береш надійний дохід і піднімаєш на нього ціну, бо клієнтам більше нікуди йти. Зупиняєш видатки, що не дають віддачі, тобто благодійність. Різницю кладеш у портфель: спектр, кібер, закордонний реєстр, безпілотні автомобілі, з теорією, що щось із цього вистрілить. Платиш людям, які цим керують, за ставкою, якої така робота вимагає. І продовжуєш, доки тебе не зупинить хтось, хто має на це право.\nНічого незвичного в такому веденні компанії немає. Але так не ведуть орган суспільної користі, який тримає національний актив у довірчому управлінні, бо цей надлишок ніколи не був капіталом у пошуках віддачі. Він був саме тим, заради чого існувала вся конструкція, і конституція так і казала.\nЗрештою члени сказали те саме, єдиною мовою, яка була їм доступна.\nВарто чесно сказати про відрив. 52,7 % при явці 53 % це не розгромна перемога, а вузька перемога в розколотому членстві, і організація боролася з нею всіма ресурсами, які мала. Вона все одно програла.\nЩо сталося далі Nominet відступив від комерційного кібернапрямку й повернувся до реєстру та роботи на суспільну користь. Потім надійшли цифри.\nОсновний бізнес досяг піку в рік, коли я пішов. Кількість доменів .uk під управлінням вийшла на максимум 13 348 378 у 2019 році. На січень 2023 року це було 11 045 559. На січень 2024 року 10 688 932. П’ята частина бази зникла, і падіння триває.\nДиверсифікація втрачала гроші. В останній повний рік перед розплатою кібернапрямок мав обіг £12,6 млн і показав збиток £2,4 млн. Це відповідь на питання, чи були проєкти, які оплачував надлишок, інвестицією чи забаганкою, і це власна цифра Nominet.\nПотім пішов контракт. У 2024 році NCSC провів повторний тендер на Protective DNS, сервіс, що обробляє близько пів трильйона запитів на рік, і Nominet його програв. Робота з вересня 2024 року дісталася Cloudflare разом з Accenture, за угодою, яку оцінювали приблизно в £30 млн. Генеральний директор Paul Fletcher сказав, що уряд вибрав дешевшого конкурента.\nА портфель бекендів плинний. У квітні 2021 року, за кілька тижнів після позачергових зборів, MMX продала свій портфель GoDaddy Registry за $120 млн, і 28 рядків, які поставили Nominet у верхній ешелон операторів реєстрів, пішли разом із покупцем. .blog уже пішов до CentralNic у 2019 році.\nСправедливо сказати, що це працює в обидва боки. Amazon перевів більшість своїх 54 gTLD на платформу Nominet у 2019 році, а Microsoft пізніше перенесла .skype і .office від GoDaddy. Nominet виграє портфелі так само, як і втрачає їх.\nАле це точка зору про бізнес, а не захист його. Бекенд-послуги реєстру це дохід, який ти не контролюєш. Він приходить і йде через чужу корпоративну угоду: MMX пішла не тому, що Nominet погано вів платформу, а тому, що MMX продали. Будувати фінанси органу суспільної користі на портфелі, який може піти у вівторок, бо його власник узяв $120 млн, це стратегічний вибір, і його зробили.\nА в той самий рік він виграв .gov.uk.\n.gov.uk роками вела Jisc, безкоштовно, за старим меморандумом про взаєморозуміння: такою конструкцією, щодо якої уряд зрештою дійшов висновку, що вона не відповідає міжнародно визнаним стандартам. Central Digital and Data Office провів закупівлю через Crown Commercial Service, Nominet виграв її в листопаді 2023 року, а перехід завершився 26 червня 2024 року, з розрахунком за тиждень до загальних виборів, щоб не зачепити реєстрацію виборців. Власна сторінка реєстру Jisc тепер сухо фіксує дату: станом на 26 червня 2024 року вона більше не керує простором імен .gov.uk, хоча для деяких клієнтів лишилася реєстратором. Двадцять вісім років ведення національного простору імен, які скінчилися рядком на вебсторінці.\nЗаявленими вимогами були стійкість, відповідність стандартам DNS від ICANN і виконання Cyber Assessment Framework від NCSC.\nПрочитай це поруч з аргументом, наведеним раніше в цьому дописі. Причина, з якої Nominet був вартим довіри учасником тендеру на власний простір імен уряду, в тому, що він уже працював за стандартами ICANN: стандартами, які він прийняв, бо більшість його господарства була ними зв’язана за контрактом, і які дійшли до .uk, бо ніхто не тримає два режими на одній платформі. Дисципліна, яка прийшла збоку, через контракти gTLD, і кваліфікувала його вести .gov.uk.\nТож 2024 рік не був просто поганим роком. Він утратив найбільший контракт, який мав, і виграв той, на якому стоїть ім’я уряду.\nДві речі щодо цієї перемоги варто помітити, бо вони і є різницею між тим, щоб вести простір імен, і тим, щоб ним володіти.\nУряд залишив повноваження за собою. Nominet веде реєстр. Central Digital and Data Office і далі розглядає та погоджує заявки: кому можна мати .gov.uk, лишається рішенням уряду, а не реєстру. .co.uk працює не так, там акредитовані реєстратори продають будь-кому, хто прийде. Технічну роботу віддали на аутсорс. Право голосу щодо простору імен ні.\nІ це контракт. .gov.uk закупили через Crown Commercial Service, а отже, він має строк і дату завершення, і уряд уже рівно один раз показав, що робить, коли вирішує, що конструкція недостатньо хороша: переніс усе від Jisc після двадцяти з гаком років.\nТож Nominet тримає .gov.uk на умовах, на яких він не тримає .uk. Один можна забрати наприкінці контракту, коли посадовець вирішить не поновлювати. Інший не має ні контракту, ні строку, ні поновлення, і єдині люди, яким колись вдалося його приборкати, мусили для цього організувати голосування членів.\nУ березні 2024 року, коли PDNS пішов, а .uk скорочувався, Fletcher оголосив реструктуризацію, під загрозою опинилися до 70 посад.\nА потім рядок, що замикає коло. Fletcher зазначив, що ціни на домени «cannot be held at the level set in January 2020 indefinitely.»\nПідвищення цін на .uk були серед того, проти чого повстали члени. Через п’ять років, коли диверсифікацію згорнули зі збитком, флагманський контракт програли дешевшому учаснику, а реєстрації падають, підготовлена відповідь полягає в тому, щоб знову підняти ціну .uk.\nА погляд зсередини так і не відновився Члени отримали зміну правління. Чи отримали вони назад організацію, це окреме питання.\nСтаном на 25 серпня 2026 року рейтинг Nominet на Glassdoor становить 2,9 з 5 за 97 відгуками, 31 % кажуть, що порекомендували б компанію, 22 % позитивно оцінюють бізнес-перспективи і 29 % схвалюють генерального директора. Категорія з найнижчою оцінкою це вище керівництво, 2,3. Колег і саму роботу оцінюють високо. Не оцінюють вони шар над собою.\nЦе посередня оцінка, а не нищівна, і читати її слід як те, чим вона є: як самовідібрану вибірку на публічному сайті. Але форма скарги впізнавано та сама, що й у членів у 2021 році: стратегія, яку ніхто не може пояснити, винагороди, що течуть угору, і люди, які ведуть національний реєстр, яких ніхто не питає.\nІнший генеральний директор. Та сама скарга.\nЩо це каже про те, хто керує ccTLD Повернімося до питання на початку.\nICANN не могла б зробити нічого з цього. У неї не було контракту над .uk, не було правового статусу і не було механізму, крім написання листа. Усе в дописі про ICANN про Specification 6, комплаєнс і моніторинг стосувалося gTLD від Nominet, а не зони, яка насправді важлива для країни.\nУряд Великої Британії цього теж не зробив, і варто чітко сказати чому, бо поширене припущення хибне. .uk не надається за урядовим контрактом. Немає тендеру, немає дати поновлення і немає конкурента, що чекає, щоб подати заявку. Nominet тримає делегування від IANA, так само як і кожен інший реєстр коду країни тримає своє, і ніхто не роздає його раз на кілька років.\nЩо в уряду таки є, то це резервне повноваження, і майже ніхто не знає, що воно існує.\nРозділи 19–21 Digital Economy Act 2010 дозволяють Secretary of State діяти там, де в кваліфікованому реєстрі інтернет-доменів є «serious relevant failure»: провал, що негативно впливає на доступність чи репутацію комунікацій Великої Британії або на інтереси споживачів чи громадськості. Nominet і є таким реєстром. Після повідомлення й можливості висловити заперечення Secretary of State може призначити керуючого над реєстром або звернутися до суду, щоб змінити його конституцію.\nЦе значно більше, ніж ICANN будь-коли мала над будь-яким ccTLD. І ось над чим варто подумати: ці два розділи лежали без руху чотирнадцять років і набули чинності 6 квітня 2024 року, у той самий рік, коли Nominet утратив контракт NCSC і оголосив 70 скорочень.\nЯ не стверджуватиму, що ці факти пов’язані, бо не знаю, чи це так. Зафіксовано те, що повноваження посадити керуючого в реєстр .uk стало чинним у 2024 році і не було чинним чотирнадцять років до того.\nІ це лише внутрішній шлях. Є й другий, і саме через нього жоден оператор ccTLD ніде не тримає своє делегування за правом.\nДелегування коду країни можна перенести. IANA перероблює делегування ccTLD за RFC 1591, ICP-1 і GAC Principles, і робила це неодноразово: .kz, .iq, .za, .gd, .gw та інші. GAC Principles стверджують, що кожен уряд несе остаточну відповідальність за національну публічну політику на своїй території, і на практиці IANA вважає позицію визнаного уряду головним міркуванням при будь-якій передачі домену його країни.\nАвстралія, як сказано вище, записала це у 2018 році: реформа або делегування переїжджає.\nТож уряд Великої Британії, який вирішив би, що .uk має бути деінде, не наштовхнувся б на перешкоду. Це не було б миттєво, це повноваження не здійснюється оголошенням, і з місцевою інтернет-спільнотою консультувалися б. Але механізм існує, прецеденти існують, а думка уряду є найважчим окремим чинником у ньому.\nЩо ставить .uk у становище, яке варто назвати прямо. Комунікації є одним із секторів критичної національної інфраструктури Великої Британії, і держава ставиться до DNS відповідно: NCSC роками купує захисний DNS для публічного сектору. Реєстр, що веде критичну національну інфраструктуру, над яким уряд може всередині країни призначити керуючого і чиє слово переважило б у міжнародному перероблюванні делегування, не тримає своє делегування як власність. Він тримає його з ласки, і ця ласка залежить від того, щоб нікого не осоромити.\nПриборкало його голосування членів, з вузьким відривом, через шість років після початку проблеми, після кампанії однієї хостингової компанії, якій довелося отримати дані власних членів на 500 аркушах паперу, щоб викласти свою позицію.\nЦе кращий механізм підзвітності, ніж будь-що, що має ICANN. Він усунув генерального директора й голову правління національного реєстру, чого жоден процес ICANN ніколи нікому не робив. Він також повільний, конфліктний, залежить від того, чи хтось вирішить витратити на це рік свого життя, і йому забракло кількох відсоткових пунктів до провалу.\nПриблизно там управління DNS і перебуває всюди. Механізми, які працюють, це ті, які хтось із ресурсами вирішує запустити. .cm роками ставив вайлдкард на цілий домен верхнього рівня, бо ніхто з правом голосу не заперечував. Freenom зупинився лише тоді, коли подала позов Meta. .uk змінив курс, бо хостингова компанія організувала голосування.\nНічого з цього не є управлінням у тому сенсі, який має на увазі це слово. Це просто хто нагодився прийти.\nВільна думка наостанок Усе вище або має джерела, або позначене як мій власний досвід. Ця остання частина ні те, ні інше. Це те, що я думаю, і ти вільний із цим не погоджуватися.\nЯ прийшов у Nominet у 2017 році, а це дев’ять років тому. Russell Haworth очолив його у 2015, а це одинадцять. Цього досить, щоб організація чогось навчилася.\nЧи навчилася?\nНа папері так. Правління, яке проголосували прибрати, пішло. Комерційні кіберамбіції згорнуто. Благодійне крило стало незалежним і досі працює під власним ім’ям. Члени скористалися єдиним механізмом, який мали, і він спрацював.\nТепер подивися на те, що насправді перед тобою. .uk на п’яту частину менший, ніж у 2019 році, і досі скорочується. Контракт, який зрештою дала диверсифікація, дістався дешевшому учаснику. Сімдесят посад пішли разом із ним. Генеральний директор пояснює, що ціни на .uk не можна тримати на рівні 2020 року безкінечно, а це той самий важіль, що допоміг розпочати проблеми. А персонал оцінює вище керівництво на 2,3 з 5, і 29 % схвалюють генерального директора. Інший генеральний директор і впізнавано та сама скарга.\nТож моя чесна відповідь така: людей змінили, а от чи змінилася організація, я не переконаний.\nВарто зазначити, куди Haworth пішов потім, бо це не критика, і саме тому це важливо. До Nominet він провів чотирнадцять років у Thomson Reuters, у фінансових даних. Після нього пішов у NBS, потім Byggfakta, потім Acclaro: бізнеси на підписці з професійними клієнтами, регулярним доходом і ціновою владою. NBS у 2023 році мав обіг £45 млн при EBITDA £23,6 млн. Це добрі цифри, і досягати їх це саме те, для чого існує комерційний генеральний директор.\nУ цьому якраз і суть, і тобі не треба вірити мені на слово щодо цієї характеристики. Його власний професійний профіль описує його як генерального директора для B2B-бізнесів, які підтримує приватний капітал. Це робота, яку він робить, він сам так каже, і він явно в ній добрий.\nВін комерційний оператор і робив комерційні речі. Помилкою ніколи не був його темперамент: помилкою було поставити цей темперамент на чолі організації, чий надлишок не був капіталом і ніколи не мав ним бути, а потім шість років не лишити нікого, хто міг би це перевірити.\nХоча на NBS варто глянути вдруге, бо обриси знайомі.\nNBS продає Chorus, інструмент для специфікацій, у якому працює більшість архітектурних практик Великої Британії. Він вшитий у робочі процеси Revit і ISO 19650, і серйозної альтернативи немає: архітектори описують його як життєво важливий інструмент, за який вони просто мусять і далі платити. Ліцензія одного практика зросла з £1385 у 2015 році до £7350, що Architects\u0026rsquo; Journal назвав зростанням на 400 % за десятиліття. Ставки для малої практики немає, тож архітектор, який працює сам, платить за місце стільки ж, скільки фірма на 200 людей. У галузевій пресі звучать слова «rip-off increases» і «well above inflation», поряд із зауваженням, що альтернативи платі майже немає.\nОбережно з приписуванням, бо дати не збігаються так, як тобі, можливо, хотілося б. Chorus запустили у 2018 році. RIBA продала NBS між 2018 і 2020 роками приблизно за £172 млн, і колишній президент RIBA сказав, що вона ніколи не мала віддавати контроль: речення з певним відлунням. Haworth керував бізнесом з жовтня 2021 по жовтень 2024 року. Найрізкіші підвищення, про які повідомляли, і найгучніші скарги припадають на 2024 і 2025 роки, вже після його відходу, а генеральний директор, який зараз публічно їх захищає, це хтось інший.\nТож це не докази щодо людини. Це докази щодо форми.\nПрофесійний орган продає інструмент, без якого його члени не можуть працювати. Покупець з’ясовує, що клієнти не можуть піти. Ціна росте значно вище за інфляцію, рік за роком, а скарги нікуди не ведуть, бо їм нікуди йти. Це .uk, і це те, чим ледь не став .org, коли ICANN зняла цінові обмеження за чотири місяці до того, як структура приватного капіталу запропонувала за нього $1,135 млрд.\nЦе і є справжній урок, і він незручний для будь-кого, хто сподівався, що йшлося про одного керівника. Полонені професійні клієнти, необхідний інструмент, жодного альтернативного постачальника: така конструкція дає той самий результат, хоч хто нею керує, якщо щось не стоїть на заваді. У Nominet зрештою стали члени. У NBS немає нікого: професійний орган, який міг би зіграти цю роль, продав свою частку й пішов зі £172 млн.\nЯ також не думаю, що насправді йдеться про якусь окрему людину. Постав будь-кого на чолі монополії, якою володіють члени, що веде національний актив без нагляду регулятора, дай йому надлишок без очевидного власника, і тяжіння завжди буде до того, щоб витратити його на щось цікавіше за те, що його заробляє. Добре вести .uk це не історія, яку можна розповісти на конференції. Заявка на Австралію якраз така історія.\nВиправлення, коли воно приходить, має йти від членів, а це означає, що хтось має віддати рік свого життя, щоб організувати голосування проти чинного керівництва, яке витрачає гроші тих самих членів, щоб опиратися. Це сталося один раз, і пройшло з перевагою 2,7 відсоткового пункту при явці 53 %. Ніхто не спроєктував би механізм підзвітності отак.\nДва справжні запобіжники весь цей час лежали без діла. Повноваження за Digital Economy Act набули чинності лише у 2024 році. Перероблювання делегування ніхто ніколи серйозно не пропонував.\nЧерез дев’ять років я хотів би знати, і ззовні цього не скажеш, чи міг би хтось у Nominet сьогодні сказати вголос на нараді: ми неприбуткова організація, нам справді варто на це витрачати гроші?, і все ще працювати там через рік.\nЯкщо відповідь так, вона чогось навчилася. Якщо ні, то все, що змінилося у 2021 році, це імена.\n","permalink":"https://blogs.damiendye.uk/uk/dns/what-happened-at-nominet/","summary":"Реєстр .uk належить своїм членам, і в березні 2021 року вони проголосували за звільнення половини правління. Як насправді виглядало це господарство зсередини, чому робота .uk поруч із десятками gTLD визначила, як ним керували, і як реєстр без регулятора зрештою приборкали єдині люди, які могли це зробити.","title":"Що сталося в Nominet"},{"content":"Частина 1 з 8. Ця серія написана просто, короткими рядками і звичайними словами.\nПро що цей допис Що змінилося в тому, як ти купуєш технології. Чому це змінилося. Чому піти від постачальника стало важче. Чому відкрите програмне забезпечення цього не зупинило. До чого все це врешті дійшло. Зміна Двадцять років тому ти купував програму.\nПлатив один раз. Ця копія була твоя. Ти міг користуватися нею, доки вона працювала.\nТепер більшість програм орендують. Ти платиш щороку лише за те, щоб далі нею користуватися.\nПерестань платити, і вона перестане працювати. Тобі не належить нічого.\nОсь що таке передплата. Передплатою називають платіж, який ти вносиш знову і знову, щоб зберегти доступ до послуги.\nТе саме сталося і з самими обчисленнями. Колись ти купував сервери. Тепер багато організацій орендують обчислювальні потужності в хмарного провайдера.\nХмарним провайдером називають компанію, яка тримає комп’ютери за тебе, у власних будівлях.\nЧому це змінилося Будьмо чесні, бо це важливо. Це змінилося тому, що оренда часто була вигіднішою угодою.\nКупити сервери дорого одразу. Орендувати майже нічого не коштує на початку.\nХмарні послуги були надійні й швидко налаштовувалися. Невеликі команди отримали інструменти, які раніше могли собі дозволити лише великі компанії.\nПередплати ще й приносили регулярні оновлення. Більше не треба було раз на кілька років планувати великий переворот.\nТож більшість організацій перейшли, і мали на те добрі причини. Нікого не змушували.\nПитання, яке ставить ця серія, з’являється пізніше. Воно про те, що стається, коли піти деінде вже стало важко.\nЧому піти стало важче Ось частина, яка має значення.\nКожен крок цієї зміни переносив місце, де піти було важко.\nСпершу воно сиділо у форматі файлу. Формат файлу означає спосіб, у який програма зберігає твою роботу. Якщо твої файли могла відкрити лише одна програма, ти й далі купував цю програму.\nВідкриті формати файлів це розв’язали. Більшість документів сьогодні відкриваються не в одній програмі.\nТож важка частина перемістилася. Вона пішла в інтерфейс.\nІнтерфейс означає спосіб, у який одна програма говорить з іншою. Збудуй усі свої системи навколо інтерфейсу одного постачальника, і зміна постачальника означатиме переписати все.\nПотім вона перемістилася знову, до твоїх даних.\nПеренести невеликий обсяг даних досить легко. Перенести дані за багато років повільно, і деякі провайдери ще й беруть плату за їх вивантаження.\nКожне таке переміщення робило саму програму менш важливою. Тож тепер важить інше: скільки роботи тобі довелося б зробити, щоб піти.\nДе з часом була складність відходу Колись Пізніше Тепер Твої дані Формат файлу Інтерфейс Програма Твої дані Формат файлу Інтерфейс Програма Твої дані Формат файлу Інтерфейс Програма Синя рамка позначає частину, яку важко змінити. Щойно один шар відкривали, складність переходила до наступного. Ті самі шари, 3 рази. Частина, яку важко змінити, піднімалася: спершу формат файлу, потім інтерфейс, потім дані. Чому відкрите програмне забезпечення цього не зупинило Відкритим програмним забезпеченням називають програми, код яких будь-хто може читати, використовувати і змінювати.\nБагато хто чекав, що воно це розв’яже. Воно розв’язало справжню частину проблеми, але не ту, про яку ти подумав би.\nВідкрите ПЗ перемогло. Більша частина інтернету працює на ньому. Код більшості важливих складників доступний для читання.\nАле важка частина відходу нікуди не зникла, бо вона вже перемістилася далі.\nТи можеш прочитати кожен рядок бази даних. Але все одно не зможеш легко вивезти 5 років даних із керованої послуги, на якій вона працює.\nКерована послуга означає, що провайдер запускає програму за тебе, щоб тобі не доводилося.\nКод відкритий. Послуга ні.\nТут є й другий момент, і він справедливий.\nБагато відкритого ПЗ тримається на волонтерах, яким не платять. Великі компанії будують продукти на цій праці.\nУ 2024 році в широко вживаному інструменті стиснення знайшли прихований шкідливий код. Цей інструмент підтримувала 1 людина без оплати. Брюс Шнаєр та інші описали це докладно.\nУрок не в тому, що відкрите ПЗ ризиковане. А в тому, що спільну працю, на яку всі спираються, треба оплачувати, а часто її не оплачують.\nДо чого все дійшло Склади ці кроки разом, і отримаєш те, де ми є зараз.\nНевелика кількість компаній надає послуги, від яких залежить більшість організацій.\nБільшість цих компаній розташовані в 1 країні, Сполучених Штатах.\nДослідження, зібрані проєктом EuroStack, оцінюють частку неєвропейських провайдерів приблизно у 85 % європейського хмарного ринку.\nЖодне окреме рішення цього не зробило. Це наслідок дуже багатьох розумних рішень, ухвалених по одному, протягом 20 років.\nСаме тому це тенденція, а не подія.\nЩо це означає для тебе Ніщо тут не каже, що американські програми погані. Багато з них дуже добрі, і саме так вони опинилися всюди.\nАле це означає, що 1 питання важить більше, ніж раніше.\nСкільки часу тобі знадобилося б, щоб перейти до іншого постачальника?\nВід цього числа залежить чимало, і частина 2 пояснює чому.\nУперше опубліковано: 2026-08-25. Востаннє оновлено: 2026-08-25.\n","permalink":"https://blogs.damiendye.uk/uk/random/technology-you-rent/","summary":"Двадцять років тому ти купував програму, і копія була твоя. Тепер ти її орендуєш, а умови ставить постачальник. Частина 1 з 8 показує, як так сталося і чому кожен крок ускладнював змогу піти деінде.","title":"Як технології стали тим, що ти орендуєш"},{"content":"Частина 2 з 8. Частина 1 розповіла, як оренда замінила купівлю.\nПро що цей допис Як встановлюють ціну, коли піти важко. Де оподатковують прибуток. Чиє право застосовується до твоїх даних. Як торговельні рішення доходять до твого обладнання. Що буде, якщо сервіс просто зупиниться. 1. Ціна йде за вартістю твого виходу Почнімо з того, з чим більшість організацій уже зіткнулася.\nУ 2023 році Broadcom купила VMware. VMware робить програмне забезпечення, на якому багато віртуальних серверів працюють на 1 фізичному сервері.\nПотім Broadcom припинила продавати безстрокові ліцензії. Клієнтам довелося перейти на підписки.\nДля багатьох із них ціни різко зросли. AT\u0026amp;T у судових документах заявила, що її витрати мали зрости приблизно на 1050 %.\nCISPE є галузевим об’єднанням європейських хмарних провайдерів. Воно поскаржилося до Європейської комісії на ці зміни, навівши цифри схожого масштабу.\nУ березні 2026 року CISPE поскаржилося знову, після того як закрили європейську партнерську програму. The Register розповів, що про це думають провайдери.\nНічого незаконного тут не доведено. Скарги ще розглядають.\nАле закономірність досить очевидна, щоб на ній вчитися.\nПродовження контракту є переговорами. Твоя позиція в них тримається на 1 речі: наскільки легко ти можеш піти.\nЯкщо на те, щоб піти, тобі потрібно 3 роки, простору сказати «ні» в тебе майже немає.\nІ йдеться не лише про американських постачальників, зауваж. Будь-який постачальник у такому становищі має ту саму перевагу.\n2. Де оподатковують прибуток Другу витрату побачити важче.\nЧимало великих технологічних компаній продають клієнтам в 1 країні, а прибуток записують в іншій.\nМісцеву компанію часто вважають постачальником послуг для материнської. Більша частина прибутку йде деінде.\nТож маєш великі продажі в країні й малий податковий рахунок у тій самій країні.\nTaxWatch є дослідницькою групою у Сполученому Королівстві. Вона підрахувала, що 7 великих технологічних груп отримали майже £15 млрд прибутку від британських клієнтів у 2021 році. За її оцінкою, їхні схеми зменшили належний у Великій Британії податок на прибуток компаній приблизно на £2 млрд.\nЄвропа взялася за ці схеми. Результати змішані, і чесно показати обидва боки.\nApple програла. У вересні 2024 року Суд Справедливості Європейського Союзу підтвердив, що ірландські податкові домовленості були незаконною державною допомогою. Ірландія повернула приблизно €14 млрд. Amazon виграла. У грудні 2023 року той самий суд відхилив апеляцію Європейської комісії в схожій справі щодо Люксембургу. Є й глобальна угода, що зветься Pillar Two. Вона встановлює мінімальну податкову ставку 15 %.\nУ січні 2026 року Організація економічного співробітництва та розвитку опублікувала паралельну схему. За нею компанії зі штаб-квартирою у Сполучених Штатах дотримуються правил Сполучених Штатів замість більшості глобальних.\nДеякі країни пробували власні податки на цифрові послуги. Канада ухвалила такий, а потім скасувала його в червні 2025 року, після того як Сполучені Штати через нього зірвали торговельні переговори.\nТож гроші заробляють в одному місці. А де їх оподатковують, вирішують деінде.\n3. Чиє право застосовується Цей пункт розуміють хибно частіше за будь-який інший, тож тут варто бути точним.\nБагато хто вірить, що зберігання даних у Європі тримає їх під європейським правом і більше ні під яким.\nЦе не зовсім так. Важить те, хто контролює компанію, яка їх зберігає.\nCLOUD Act є законом Сполучених Штатів 2018 року. Він вимагає від американського провайдера видати дані, які той контролює, хоч би де ці дані лежали. Міністерство юстиції викладає подробиці.\nТож дата-центр у Франкфурті, яким керує компанія з американськими власниками, все одно досяжний для американського судового наказу.\n«Наші дані залишаються в Європі» і «наші дані поза правом Сполучених Штатів» є 2 різними твердженнями. Обережні постачальники роблять лише перше.\nСудовий наказ іде за тим, хто контролює компанію, а не за тим, де будівля Дата-центр у Європі Тут зберігаються твої дані Об’єкт підпадає під право ЄС Материнська компанія В іншій країні Контролює дані керує об’єктом Судовий наказ приходить сюди Наказу не треба йти до будівлі. Він іде до того, хто контролює дані. Будівля в Європі. Компанія, що нею керує, належить комусь деінде. Судовий наказ іде до власника, а не до будівлі. Правила тут теж зсуваються, і в обидва боки.\nРозділ 702 (Section 702) є американським законом про стеження. Його дія закінчилася 2026-06-12, коли Конгрес не продовжив його.\nЦе не означає, що збирання даних припинилося. Уже видані дозволи діють до кінця свого строку, очікувано приблизно до березня 2027 року. Brennan Center за цим стежить.\nЄ ще EU–US Data Privacy Framework. Він дозволяє передавати персональні дані з Європи до Сполучених Штатів.\nСудовий позов проти нього відхилили у вересні 2025 року. Це рішення зараз оскаржують.\nСьогодні ця рамка є чинним правом. Вона також уже третя такого роду, бо 2 попередні скасували.\nЯкщо схема передачі даних провалюється, витрати лягають на європейську організацію, яка нею користується. У 2023 році Ірландська комісія із захисту даних оштрафувала Meta на €1,2 млрд за передачу даних до Сполучених Штатів.\nНа все це є спокійна, практична відповідь, і її варто знати.\nЯкщо ключі до твоїх даних тримає провайдер, на судовий наказ може відповісти провайдер.\nТримай ключі сам, і наказ мусить прийти до тебе. Тож рішення тоді підпадає під право твоєї власної країни.\n4. Торговельні рішення доходять до твого обладнання Технології тепер частина торговельної політики.\nУ січні 2026 року Сполучені Штати запровадили мито 25 % на вузьку групу передових комп’ютерних чипів і продуктів, що їх містять. Про другий етап уже сигналізували.\nЧи зачіпає це твоє обладнання, з часом змінюється. Правильно питати про це постачальника.\nТорговельні стосунки теж можуть швидко повернутися. Переговори між Сполученими Штатами й Канадою зірвалися 2026-08-22, з новими митами 50 %. Канада оголосила заходи у відповідь.\nПрем’єр-міністр Канади публічно виклав причини.\nДля тебе висновок вузький, і він не залежить від нічиєї політики.\nВартість і доступність обладнання можуть змінитися через рішення, ухвалене в іншій країні, без довгого попередження.\nВарто закласти це в 3-річний план.\n5. Сервіс може зупинитися з причин, які не твої Цей останній пункт для більшості організацій малоймовірний. Він тут, бо працює інакше, ніж решта.\nУ лютому 2025 року Сполучені Штати запровадили санкції проти Прокурора Міжнародного кримінального суду.\nПісля цього Прокурор утратив доступ до своєї поштової скриньки Microsoft і перейшов до швейцарського провайдера.\nПрезидент Microsoft публічно заявив, що компанія скриньку не закривала. Що саме сталося, досі оскаржують, і чесно це визнати.\nНе оскаржують наслідок. Німецьке технологічне видання heise назвало це поворотним моментом для цифрового суверенітету в Європі. Питання порушили в Європейському парламенті.\nДо кінця 2025 року Суд перейшов на openDesk, відкриту альтернативу.\nТут важить механізм.\nЖодного неоплаченого рахунку. Жодного порушеного правила. З сервісом усе гаразд.\nУряд ухвалив рішення, і постачальникові довелося з’ясовувати, що він може законно й далі надавати.\nТвоя угода укладена з постачальником. А юридичні обов’язки постачальника є перед його власним урядом.\nВідстежити це ти не можеш. На панелі моніторингу немає жодної сигнальної лампочки.\nДля більшості читачів ризик малий, і прийняти його розумно. Розумно, але лише якщо ти про нього подумав.\nСпільна риса всіх 5 Ці 5 витрат дуже різні.\nЗ першою ти, найімовірніше, зіткнешся. З останньою, можливо, ніколи.\nАле в них є 1 спільна річ.\nКожна з них стає гіршою, що важче тобі піти.\nПідвищення ціни дратує, якщо тобі є куди піти. Воно серйозне, якщо нема.\nЦе нитка, що проходить крізь усе, і вона вказує на щось корисне.\nВарте роботи питання не в тому, в якій країні сидить твій постачальник. Воно в тому, як швидко ти міг би передумати.\nЧастина 3 розглядає, хто ще платить за програмне забезпечення, яким ти користуєшся.\nУперше опубліковано: 2026-08-25. Останнє оновлення: 2026-08-25.\n","permalink":"https://blogs.damiendye.uk/uk/random/what-renting-costs/","summary":"Коли змінити постачальника важко, витрати змінюють форму. Ціна йде за вартістю твого виходу. Прибуток декларують в одній країні, а заробляють в іншій. Право йде за тим, хто володіє компанією, а не за тим, де стоїть будівля. Частина 2 з 8, простою мовою.","title":"Скільки коштує оренда твоїх технологій"},{"content":"Частина 3 з 8. Частина 2 показала, скільки коштує тобі залежність.\nПро що цей допис Роки, коли з open source боролися. Чому ця боротьба припинилася. Хто підтримує програмне забезпечення сьогодні. Що сталося, коли автори спробували брати гроші. Що відбувається з компаніями після того, як їх купують. Що це означає для тебе. Роки, коли з open source боролися Open source, або відкрите програмне забезпечення, це софт, код якого будь-хто може читати, використовувати й змінювати.\nСьогодні це звичайна річ. Близько 15 років до нього ставилися як до загрози.\nУ жовтні 1998 року витік внутрішній меморандум Microsoft. Ерік Реймонд опублікував його зі своїми примітками, і він став відомий як Halloween documents.\nМеморандум чесно оцінював якість open source. Він назвав те, як тисячі людей разом над ним працюють, вражаючим.\nДалі в ньому було сказано, що з цим робити. Один рядок пояснює дуже багато:\nBy extending these protocols and developing new protocols, we can deny OSS projects entry into the market.\nПротокол це узгоджений спосіб, у який 2 системи розмовляють між собою.\nТож план полягав не в тому, щоб зробити кращий продукт. План полягав у тому, щоб змінити стики між продуктами, аби конкурента не можна було просто поставити на їхнє місце.\nПротягом наступних 10 років були й інші кроки.\nУ 2003 році компанія SCO заявила, що Linux містить код, який належить їй. Справа тяглася роками, і SCO її не виграла. Поки вона тривала, чимало організацій не були певні, чи безпечно переходити на Linux.\nMicrosoft також підписала патентні угоди з виробниками мобільних телефонів. Кілька років вона отримувала платіж з кожного проданого телефона на Android, операційній системі, якої вона не писала.\nУ 2008 році формати документів Microsoft затвердили як міжнародний стандарт. Кілька національних органів стандартизації заперечували проти того, як це було зроблено.\nЄвропа частково дала відсіч. Європейська комісія оштрафувала Microsoft на 497 млн євро у 2004 році через інформацію, потрібну конкурентам, щоб працювати з її продуктами.\nВона знову оштрафувала компанію на 561 млн євро у 2013 році, бо погоджений захід так і не було впроваджено.\nНад цим другим штрафом варто на мить зупинитися. Проблема не була новою. Погоджене виправлення просто ніхто не зробив.\nЧому ця боротьба припинилася Вона припинилася приблизно у 2014 році, бо не спрацювала.\nLinux став програмним забезпеченням, на якому працює більшість серверів. На ньому також працює більшість хмарних сервісів і більшість мобільних телефонів.\nНе можна прибрати щось через суд, коли на ньому вже збудовано все.\nТож підхід розвернувся на всі 180 градусів.\nMicrosoft приєдналася до Linux Foundation. Вона випустила частину власних інструментів як open source. У 2018 році вона купила GitHub, сайт, де пишеться велика частина світового open source.\nAmazon і Google збудували дуже великі бізнеси на open source, і всі 3 компанії тепер багато вкладають у нього назад.\nЦя робота справжня, і програмне забезпечення від неї краще. Удавати протилежне було б безглуздо.\nАле 1 річ не змінилася.\nКомпанії, які колись намагалися гальмувати open source, тепер серед його найбільших спонсорів. І вони досі найбільші компанії на ринку.\nOpen source виграв технічну суперечку. Він не змінив того, у кого найсильніші карти.\nХто підтримує програмне забезпечення сьогодні Ось що дивує людей поза світом програмного забезпечення.\nБагато широко вживаного open source підтримують дуже маленькі команди. Дещо з нього підтримує 1 людина, у свій вільний час, задарма.\nА потім ці самі частини сидять усередині продуктів, які продають дуже великі компанії.\nУ грудні 2021 року знайшлася вада в Log4j, невеликому інструменті, яким програми на Java записують, що вони роблять.\nВада дозволяла зловмисникам запускати власний код на уражених системах. Вона вдарила по величезній кількості організацій одночасно. Національний центр кібербезпеки Великої Британії (NCSC) випустив настанови щодо неї.\nІнструмент підтримувала невелика група волонтерів.\nУрок не в тому, що open source ризикований. Більшість його дуже добра, і відкрита для перевірки так, як закрите програмне забезпечення не буває ніколи.\nУрок про те, як за речі платять. Спільна робота, на яку спирається багато бізнесів, потребує фінансування, і часто його не отримує.\nЦе можна виправити, і деякі організації таки виправляють. Платити мейнтейнеру або фінансувати фонд зазвичай коштує дуже мало порівняно з тим, що це програмне забезпечення тобі заощаджує.\nЩо сталося, коли автори спробували брати гроші Деякі компанії пишуть open source і продають навколо нього платний сервіс. Довгий час це працювало досить добре.\nСтало важче, коли хмарні провайдери почали пропонувати те саме програмне забезпечення як власний сервіс.\nДохід забирав провайдер. Компанія, яка написала програмне забезпечення, не отримувала нічого.\nКілька з них відповіли зміною ліцензії, щоб інші не могли пропонувати їхнє програмне забезпечення як конкурентний сервіс.\nMongoDB змінила ліцензію у 2018 році. Elastic зробила те саме у 2021 році. HashiCorp змінила у 2023 році. Redis змінила у 2024 році. Open Source Initiative встановлює загальноприйняте визначення open source. Вона постановила, що 1 з цих нових ліцензій йому не відповідає.\nЧимало дистрибутивів Linux після цього прибрали уражене програмне забезпечення.\nШирша спільнота взяла копії останніх відкритих версій і повела їх далі окремо. Таку копію називають форком.\nOpenSearch продовжує давніший код Elasticsearch. OpenTofu продовжує давніший код Terraform. Valkey продовжує давніший код Redis. Elastic і Redis відтоді обидві повернулися до відкритих ліцензій.\nВарто подивитися, чим це скінчилося, бо ніхто з учасників не отримав того, чого хотів.\nКомпанія написала корисне програмне забезпечення. Більша компанія заробила на ньому більше, ніж автор. Автор обмежив ліцензію, щоб вижити. Спільнота заперечила, і слушно, що це вже не open source. З’явився форк, часто за підтримки тих самих більших компаній.\nНаприкінці програмне забезпечення досі вільне для використання. Форками здебільшого керують найбільші гравці. А бізнес, який платив за початкову роботу, слабший, ніж був на старті.\nЩо відбувається з компаніями після того, як їх купують Другий спосіб, у який цінність витікає з бізнесу, не має нічого спільного з ліцензіями на програмне забезпечення.\nВін про те, як компанію купують.\nОсь схема, просто.\nПокупець позичає більшу частину ціни купівлі. Потім кредит забезпечують активами самої компанії, яку купують. Тож компанія в підсумку несе борг, узятий на її ж купівлю.\nДалі покупець може продати будівлі компанії і взяти їх назад в оренду. Виручені гроші можна виплатити новим власникам. Тепер компанія платить оренду за приміщення, якими раніше володіла.\nУрізають ті витрати, які не видно цього року. Зазвичай це обслуговування, кількість персоналу, дослідження і розробка продуктів.\nПотім компанію продають далі.\nБанк Англії розглядав це з погляду фінансової стабільності. Його огляд приватного капіталу зазначає, що великі позики під викупи роблять такі компанії більш схильними до дефолту і наражають їхніх кредиторів на збитки. Відтоді він продовжує стежити за сектором.\nНе кожен викуп відбувається так, і чимало власників інвестують, а не обдирають. Це схема, яку варто впізнавати, а не опис усіх покупців.\nАле там, де це таки стається, результат щоразу той самий.\nБізнес зазвичай працював нормально. Не працював бізнес плюс борг, узятий на його купівлю.\nТой самий бізнес до і після викупу за позичені гроші До Після Робота Ті самі люди, ті самі клієнти Володіє своїми будівлями Немає боргу за купівлю Фінансує обслуговування Фінансує дослідження Оренда: жодної Робота Ті самі люди, ті самі клієнти Орендує ті самі будівлі Несе кредит за власну купівлю Обслуговування скорочено Дослідження скорочено Оренда: щомісяця куплено за позичені гроші Бізнес і далі робить ту саму роботу для тих самих клієнтів. Змінилося те, чим він володіє, і що тепер мусить виплачувати. Той самий бізнес до і після. Робота і клієнти лишаються на місці. Будівлі і позики переходять у чужі руки, а витрати на роботу зростають. Та сама схема в програмному забезпеченні До програмного забезпечення це дійшло кілька років тому.\nАктив, який тут вичавлюють, не будівля. Це клієнти, які не можуть легко піти.\nЗрілий продукт із давніми клієнтами можна переоцінити. Ці клієнти не можуть швидко переїхати, тож більшість із них платить.\nВодночас можна урізати витрати на інженерію. Це проявляється роками, а на той час продаж уже відбувся.\nЧастина 2 описала, як це виглядало для клієнтів VMware.\nЄ й версія, яку фінансують інвестори, а не борг. Її описували так часто, що вона заслужила назву: enshittification, слово, яким канадський письменник Корі Докторов користується з 2022 року.\nВона йде в 3 етапи.\nСервіс продають дешевше, ніж коштує його робота, а різницю покривають інвестори. Він дешевий і добрий, тож люди на нього переходять. Щойно люди вже не можуть легко піти, його змінюють під платних бізнес-клієнтів. Щойно обидві сторони прив’язані, умови знову змінюють, щоб підняти прибуток. Для цієї серії важливий етап 1.\nКомпанія, яка роками продає нижче собівартості, виграє не тому, що вона краща. Їй платять, щоб вона забрала ринок.\nМенші бізнеси, які мають самі покривати свої витрати, не можуть дорівнятися до такої ціни. Чимало закриваються.\nКоли згодом ціни піднімаються до чогось стійкого, вибору, який колись був, часто вже немає.\nЩо це означає для тебе З цього випливають дві практичні речі, і обидві досить легко зробити.\nПеревір, скільки людей підтримують твої залежності.\nПодивися на інструменти, без яких твої системи не можуть працювати. З’ясуй, скільки людей активно підтримують кожен із них.\nЯкщо відповідь 1 або 2, це варто знати. Можливо, ти захочеш фінансувати цю роботу, тримати власну копію коду або спланувати, що робитимеш, якщо вона зупиниться.\nСтеж, кому належать твої постачальники.\nТвої умови йдуть за власником, а не за продуктом. Зміна власника може зрушити твоє поновлення більше, ніж будь-яка зміна в самому програмному забезпеченні.\nКоли підписуєш, перевір, що лишається в тебе, якщо ти перестанеш платити. Перевір, чи зможеш ти далі запускати те, що вже встановив, і чи отримуватимеш оновлення безпеки.\nНі те, ні інше не забирає багато часу. І те, і інше набагато легше зробити до поновлення, ніж під час нього.\nЧастина 4 розглядає, що суди і регулятори вже вирішили.\nВперше опубліковано: 2026-08-25. Востаннє оновлено: 2026-08-25.\n","permalink":"https://blogs.damiendye.uk/uk/random/who-pays-for-the-software/","summary":"Перші 2 дописи показали, скільки коштує тобі залежність. Цей показує, хто ще платить рахунок: волонтери, які підтримують програмне забезпечення для дуже великих компаній, і бізнеси, яких купують, обтяжують боргом і обдирають. Частина 3 з 8, простою мовою.","title":"Хто платить за програмне забезпечення, яким ти користуєшся"},{"content":"Частина 4 з 8. Частина 3 розглянула, хто платить за програмне забезпечення, яким ти користуєшся.\nПро що цей допис Чому варто читати документи. Що вирішено щодо Google. Що вирішено щодо Apple. Що вирішено щодо Amazon. Що вирішено щодо Meta. Закономірність у всіх цих справах. Чому варто читати документи Вибір постачальника це прогноз. Ти вирішуєш, як він поводитиметься через 3 чи 5 років.\nЗаяви компаній про цінності тут мало чим допоможуть. Вони є в усіх, і всі кажуть приблизно одне й те саме.\nВстановлені факти кращі. Це висновки, до яких дійшов суд або регулятор, вислухавши докази.\nСаме їх і використовує цей допис. Там, де є європейське рішення, воно йде першим.\nДві речі перед списком, бо вони тримають його чесним.\nНе всі справи компанії програли. Деякі програли регулятори, і вони тут теж є.\nІ це не твердження, що європейські компанії поводяться краще. Volkswagen і Wirecard досить добре закривають це питання. Закономірність випливає з розміру й ринкового становища, а не з того, звідки компанія родом.\nGoogle Європейська комісія взялася першою, і справи тривали дуже довго.\nУ 2017 році вона оштрафувала Google на 2,42 млрд євро. Вона встановила, що Google піднімав власний сервіс порівняння цін у результатах пошуку, а конкурентів опускав.\nGoogle оскаржив рішення, і Суд Європейського Союзу залишив його в силі у вересні 2024 року.\nЦе 7 років від штрафу і ще більше від самої поведінки.\nУ 2018 році Комісія оштрафувала Google на 4,34 млрд євро за умови, які ставили виробникам телефонів, що хотіли мати Play Store. Пізніше штраф зменшили приблизно до 4,1 млрд євро, а останню апеляцію відхилили у 2026 році.\nУ 2019 році Комісія оштрафувала Google на 1,49 млрд євро через рекламні договори. Загальний суд скасував це рішення у 2024 році, визнавши, що справу не доведено. Тут регулятор програв.\nУ Сполучених Штатах суд у 2024 році визнав, що Google незаконно утримував монополію в пошуку. У вересні 2025 року той самий суд визначив засоби правового захисту. Він вимагав змінити угоди про пошук за замовчуванням і частково ділитися даними з конкурентами. Продавати Chrome чи Android Google він не змусив.\nОкреме рішення у США у квітні 2025 року встановило, що Google незаконно пов’язав 2 свої рекламні продукти. Засоби щодо цього ще визначаються.\nApple У 2021 році суд у США зобов’язав Apple дозволити розробникам застосунків повідомляти клієнтам про інші способи оплати.\nУ квітні 2025 року той самий суд встановив, що Apple цього не виконала.\nВін також встановив, що один із керівників Apple дав неправдиві свідчення і що внутрішні документи самої компанії казали інше. CNBC повідомив про рішення тоді ж.\nСуд передав справу прокурорам, щоб ті розглянули провадження щодо кримінальної неповаги до суду. Apple заявила, що оскаржить рішення.\nЦя справа важлива з іншої причини, ніж решта.\nКомпанія може твердо стояти на своїй правовій позиції й водночас чесно поводитися з судом. Висновок, що свідчення були неправдиві, це зовсім інша річ.\nТвої стосунки з постачальником це набір обіцянок. Тут прямий доказ того, як із обіцянками поводяться, коли їх дотримання стає дорогим.\nAmazon У вересні 2025 року Amazon погодилася заплатити 2,5 млрд доларів, щоб урегулювати справу, яку порушила Федеральна торгова комісія США. Комісія оприлюднила подробиці.\nЦе 1 млрд доларів штрафів і 1,5 млрд доларів повернення клієнтам.\nСправа стосувалася того, як побудовані підписка на Prime і її скасування. Звинувачення полягало в тому, що екрани були зроблені так, щоб записувати людей, які не вирішували записуватися, і щоб скасування давалося важко. За словами Комісії, це торкнулося близько 35 мільйонів людей.\nУ межах урегулювання Amazon погодилася змінити процес підписки й скасування.\nІнтерфейси такого масштабу тестують і вимірюють до випуску, і це нормальна, розумна практика. Тож ефект дизайну зазвичай відомий ще до того, як його випускають.\nMeta У 2019 році Федеральна торгова комісія США наклала штраф у 5 млрд доларів на Facebook через практики щодо приватності, після справи Cambridge Analytica.\nВажливіша річ тут не штраф.\nУ 2021 році колишня працівниця передала журналістам внутрішні дослідження компанії, а потім дала свідчення комітету Сенату США. BBC переказала її головне твердження: компанія раз у раз ставила прибуток вище за безпеку.\nЧастина цих досліджень вивчала вплив Instagram на підлітків. Деякі результати виявилися тривожними.\nMeta не погодилася з тим, як описали дослідження. Вона заявила, що результати неоднозначніші, ніж повідомлялося, і що колишня працівниця не працювала в тих командах. Ширша наука з цього питання ще не дійшла згоди, і чесно буде це сказати.\nОдна річ не викликає суперечок, і саме її варто запам’ятати.\nКомпанія досліджувала, чи шкодить її продукт певній групі користувачів. Частина цієї роботи дала тривожні результати. Вони дійшли до публіки тому, що хтось виніс їх за двері.\nДослідження, які виходять назовні лише так, і близько не є незалежним наглядом.\nЗакономірність у всіх цих справах Поклади справи поруч, і впадають в око 4 речі. Для планування вони важать більше, ніж будь-яка окрема справа.\n1. Штрафи малі порівняно з вигодою.\nКілька мільярдів це невелика сума на тлі доходів у сотні мільярдів. До того ж вона приходить через роки після того, як гроші заробили.\nКоли штраф менший за вигоду, він діє як витрата на ведення бізнесу, а не як стримування.\n2. Засоби захисту приходять пізно.\nРозрив між поведінкою і засобом, який можна примусово виконати, у цих справах становить приблизно від 7 до 12 років.\nКонкуренти рідко стільки витримують. Поки засіб почне діяти, ринок, який він мав захистити, зазвичай уже змінив форму.\n3. Окремих людей це майже не зачіпає.\nШтрафи платить компанія, тобто її акціонери, а люди, які схвалювали рішення, зазвичай зберігають і зарплату, і посаду.\nЦе важливо, бо формує стимул. Коли витрати лягають на компанію, а винагорода дістається окремій людині, рішення здається вартим того тому, хто його ухвалює.\n4. Про проблеми знають усередині раніше, ніж ззовні.\nУ кількох із цих справ інформація спершу була в самої компанії. До публіки вона дійшла через витік, позов або регулятора.\nАле будь обережним із тим, які висновки ти з цього робиш.\nЗазвичай ідеться не про те, що одна людина вирішила заподіяти шкоду. Команда покращувала екран підписки під цільовий показник. Систему ранжування налаштовували, щоб збільшити використання. Результат дослідження так і не оприлюднили.\nРішення розподілені між багатьма людьми, і кожен крок окремо здається розумним. Саме тому закономірність така стала, і саме тому прохання до компаній старатися більше навряд чи щось змінить.\nЩо з цим робити Використовуй це для питання, на яке воно справді відповідає.\nТам, де в постачальника є комерційний інтерес, а в тебе немає реальної альтернативи, документи кажуть, що результат зазвичай складається на користь постачальника.\nБудь-яке виправлення зазвичай приходить через роки і зазвичай коштує постачальникові менше, ніж принесла йому ця поведінка.\nЦе не причина уникати постачальника через країну, в якій він працює.\nЦе вагома причина не залежати від жодного постачальника, від якого ти не зміг би піти.\nЧастина 5 розглядає, як закон однієї країни може дотягуватися до компаній в іншій.\nУперше опубліковано: 2026-08-25. Останнє оновлення: 2026-08-25.\n","permalink":"https://blogs.damiendye.uk/uk/random/what-the-record-shows/","summary":"Вибір постачальника означає здогад про те, як він поводитиметься згодом. Найчесніша основа для такого здогаду це те, що суди й регулятори вже вирішили. Частина 4 з 8 викладає висновки, включає справи, які регулятори програли, і показує закономірність.","title":"Що показують документи"},{"content":"Частина 5 з 8. Частина 4 розглянула, що вирішили суди й регулятори.\nПро що цей допис Закон, що сягає компаній в інших країнах. Що з цього зробила Франція. Давніші побоювання щодо комерційної інформації. Тиск через торгівлю. Припущення, що мандрують разом із продуктом. Закон, що сягає компаній в інших країнах Частина 2 пояснила, як закон однієї країни може сягнути даних, що їх тримає підконтрольна їй компанія.\nТой самий принцип сягає і самих компаній, і наслідки бувають значно більшими.\nНайкраще задокументований приклад у Європі це Alstom, французька машинобудівна компанія.\nУ 2014 році Alstom визнала провину в Сполучених Штатах і погодилася сплатити 772 млн доларів. Справа велася за Foreign Corrupt Practices Act, американським законом проти хабарництва. Міністерство юстиції США оприлюднило подробиці.\nХабарі були справжні. Це не історія про невинну компанію.\nОдного з керівників Alstom також заарештували, коли він їхав транзитом через Сполучені Штати, і він відбув час у в’язниці.\nПриблизно тоді ж Alstom продала свій енергетичний бізнес General Electric, американській компанії.\nТой керівник відтоді стверджує, що незавершена справа працювала як тиск під час цього продажу. Прокурори США заперечують, що діяли на користь американського покупця.\nЦю суперечку так і не розв’язано, тож і цей допис її не розв’яже.\nЩо з цього зробила Франція Показати можна те, до якого висновку французька держава дійшла згодом.\nУ червні 2019 року прем’єр-міністр Франції отримав доповідь. Її знають як доповідь Гувена, і її назва говорить про відновлення французького та європейського суверенітету й захист компаній від законів з екстериторіальною дією.\nЕкстериторіальний означає закон, що діє за межами країни, яка його ухвалила.\nДоповідь виявила 3 речі, які варто тут повторити.\nНа французькі, європейські та інші неамериканські компанії наклали дуже великі штрафи, що сягали десятків мільярдів доларів. Значна частина цих дій мала мало прямого зв’язку з територією Сполучених Штатів. Французькі компанії не мали дієвих правових засобів, щоб себе захистити. Вона також зазначила, що американські компанії рідко ставали мішенню.\nТоді Франція оновила свій блокувальний закон, що обмежує, яку інформацію французькі компанії можуть передавати іноземним органам. Раніше парламентське розслідування розглядало ту саму тему у 2016 році.\nТобі не треба ковтати кожен висновок тієї доповіді. Досить того, що національний парламент розглянув питання і вирішив, що це справа суверенітету.\nДля твого власного планування висновок короткий.\nПравова залежність від іншої країни це комерційна залежність. Не лише питання відповідності.\nДавніші побоювання щодо комерційної інформації Це побоювання не нове, і варто знати, як далеко назад воно сягає.\nУ 2001 році Європейський парламент опублікував доповідь про глобальну систему перехоплення зв’язку, тоді відому як ECHELON. Відтоді Парламент опублікував дослідження, що повертається до тієї роботи.\nДоповідь дійшла висновку, що така система існувала. Вона також розглянула твердження, що перехоплену інформацію використовували для комерційної переваги, зокрема проти європейських компаній.\nЦі твердження тоді оскаржували, і довести їх досі важко.\nЗгадую про це не для того, щоб їх розв’язати. А тому, що Європейський парламент поставився до питання досить серйозно, щоб провести офіційне розслідування 25 років тому, і відтоді воно нікуди не зникло.\nТиск через торгівлю Частина 2 описала мита на обладнання і те, як Канада відмовилася від свого податку на цифрові послуги після того, як торговельні переговори зірвали.\nЄ ще один крок, який варто записати окремо, бо він стосується людей, а не товарів.\nУ січні 2026 року Державний департамент США запровадив візові обмеження щодо 5 європейських посадовців. Вони працювали над Digital Markets Act і Digital Services Act, європейськими законами, що регулюють великі онлайн-платформи.\nЦе йшло поряд із погрозами митами, пов’язаними з європейськими заходами примусу.\nCenter for Strategic and International Studies описав це як використання торговельних заходів, щоб відбити бажання регулювати цифрову сферу.\nIstituto Affari Internazionali, італійський інститут, розглянув, чи стає застосування Digital Markets Act предметом торгу через це.\nОсь відкрите питання. Якщо європейські технологічні правила можна зсунути торговельним тиском, захист, який вони тобі дають, менш певний, ніж каже текст.\nЧесно буде додати, що торговельний тиск це звичайний інструмент державної політики, яким користується чимало країн, зокрема європейські. Річ тут у тому, на що його спрямовують.\nПрипущення, що мандрують разом із продуктом Останній пункт тихіший за решту: жодної судової справи, жодного штрафу. А впливає він на тебе щодня.\nПрограмне забезпечення створюють для ринку, який його розробники знають найкраще. Припущення цього ринку мандрують разом із ним.\nДеякі ти впізнаєш одразу.\nНалаштування приватності часто за замовчуванням ведуть до поширення, бо так прийнято у Сполучених Штатах. Європейське право починає з того, щоб спитати дозволу. Інструменти керування персоналом часто припускають, що трудові відносини можна припинити за короткий строк і що немає ради працівників, з якою треба радитися. Типові умови договору часто хочуть, щоб спори розглядав суд США за законом США, навіть для європейського клієнта. Правила щодо вмісту йдуть за підходом 1 країни до свободи слова, а потім їх застосовують у всьому світі. Підтримка менших мов з’являється останньою, а часом і зовсім ні. Ніщо з цього не робиться, щоб комусь дошкулити. Це звичайний наслідок того, що продукт будують для домашнього ринку, а продають усюди.\nУтім, це пояснює дещо в ширшій суперечці.\nGeneral Data Protection Regulation, Digital Markets Act і Digital Services Act здебільшого є заявою Європи, що вона окремий правовий простір зі своїми усталеними правилами.\nВідповідь на це включала й ті торговельні заходи, що описані вище.\nЩо це означає для тебе Звідси випливають три практичні речі.\nПрочитай пункт про застосовне право. Перевір, чиї суди розглядатимуть спір. У великому договорі про це варто домовлятися.\nСпитай, де зареєстрована материнська компанія твого постачальника. Ця відповідь вирішує більше, ніж адреса центру обробки даних.\nПеревір, що продукт пасує твоєму правовому середовищу, перш ніж купувати. Згода, правила зайнятості й ведення записів це звичні місця, де імпортоване налаштування за замовчуванням не відповідає місцевому праву.\nНічого з цього не вимагає думки про будь-який уряд. Це звичайна перевірка постачальника, застосована до питання, яке більшість закупівельних чеклістів досі пропускає.\nЧастина 6 розглядає безпеку і те, яку мірку застосовують, коли постачальника відсторонюють з міркувань національної безпеки.\nУперше опубліковано: 2026-08-25. Останнє оновлення: 2026-08-25.\n","permalink":"https://blogs.damiendye.uk/uk/random/how-far-the-law-reaches/","summary":"Частина 2 описала закон, що сягає твоїх даних. Частина 5 з 8 описує закон, що сягає твоєї компанії: великі штрафи за американським законом, французьку парламентську доповідь про те, чи працює це як торговельна зброя, торговельний тиск на податкове право й на регуляторів, і продукти, що всюди несуть припущення одного ринку.","title":"Як далеко сягає закон однієї країни"},{"content":"Частина 6 з 8. Частина 5 розглядала, як далеко сягає закон однієї країни.\nПро що цей допис Причина, яку називають, коли відсторонюють деяких постачальників. Що встановлено про ослаблені продукти. Що сталося 2024 року. Чому це стосується й Європи. Що ти можеш із цим зробити. Причина, яку називають, коли відсторонюють деяких постачальників Кілька урядів відсторонили китайських постачальників від телефонних та інтернет-мереж і обмежили деякі китайські застосунки на службових пристроях.\nПричина зазвичай та сама: компанію можна змусити допомагати власному уряду. Отже, обладнання несе ризик, хоч би що робив код.\nЦе міркування слушне. І це те саме міркування, що й у частині 2, де йшлося про те, чий закон діє щодо твоїх даних.\nПерш ніж іти далі, скажімо одне прямо.\nКібероперації китайської держави реальні. Європейські агенції національної безпеки документують їх так само, як американські, і серед них є масштабні крадіжки комерційної інформації. Ніщо в цьому дописі не є їх захистом.\nАле якщо принцип полягає в тому, що постачальника можна змусити допомагати власному уряду, то він стосується кожного постачальника, який має уряд.\nЗастосуй його рівно, і з європейського та американського боку список не порожній. Подекуди він встановлений твердіше за звинувачення, бо його розслідували парламенти.\nЩо встановлено про ослаблені продукти Три пункти, кожен із джерелом, у порядку того, наскільки міцно вони стоять.\nРозвідка володіла компанією, що займалася шифруванням.\nCrypto AG була швейцарською компанією, що від 1950-х продавала шифрувальні машини понад 120 урядам.\nНею володіли американське ЦРУ (CIA) і німецька BND. Машини змінювали так, щоб ці служби могли читати повідомлення урядів, які їх купували.\nЦе спирається не лише на журналістику. Коли історія вийшла назовні, власний орган Парламенту Швейцарії з нагляду за розвідкою провів розслідування й опублікував звіт у листопаді 2020 року.\nШвейцарський суспільний мовник SWI висвітлив висновки, зокрема те, що швейцарська розвідка знала про це з 1993 року.\nСеред клієнтів були європейські уряди. Це тривало приблизно 50 років.\nКриптографічний стандарт відкликали.\nГенератор випадкових чисел під назвою Dual_EC_DRBG опублікували як стандарт Сполучених Штатів. Випадкові числа шифрування використовує, щоб ключі були непередбачуваними.\nДослідники показали, що його конструкція дозволяла тому, хто вибрав певні значення всередині, передбачати його вихід.\nОрган стандартизації 2013 року порадив його не використовувати, а 2014 року вилучив. The Register тоді писав про пов’язані з цим комерційні домовленості.\nОбладнання перехоплювали в дорозі.\nУ грудні 2013 року німецький журнал Der Spiegel опублікував каталог інструментів перехоплення, що охоплював маршрутизатори, міжмережеві екрани, сервери й мікропрограми сховищ відомих виробників.\nУ публікаціях також описано, як обладнання перенаправляли в дорозі, змінювали, перепаковували й відправляли далі клієнтові.\nНад останнім варто на мить замислитися кожному, хто купує апаратне забезпечення.\nЦе означає, що межа довіри проходить не лише по твоєму постачальнику. Вона проходить по постачальнику і по всіх, хто має справу з доставкою.\nЧесний постачальник не може дати тобі гарантій щодо другої частини.\nЩо сталося 2024 року Це подія, яка відповідає на інженерне питання, і це найкорисніше в цьому дописі.\n1994 року Сполучені Штати ухвалили закон, що вимагав від телефонних компаній будувати мережі так, щоб зв’язок можна було перехопити за законним запитом.\nОтже, вхід був постійним, вбудованим і регульованим правовою процедурою.\n2024 року виявили, що група, пов’язана з китайською державою, публічно названа Salt Typhoon, проникла щонайменше в 9 великих американських телефонних компаній.\nСеред систем, до яких вона дісталася, були самі системи перехоплення. The Register писав про реакцію законодавців.\nВхід, який один уряд вимагав вбудувати, став входом, через який зайшов інший уряд.\nЦе не невезіння. Це випливає з того, як така річ працює.\nВбудований вхід є можливістю, а не правилом. Закон, що ним керує, зобов’язує лише тих, хто цей закон визнає. Того, хто зламав систему, він не зобов’язує.\nКожен аргумент на користь вбудованого законного доступу припускає, що доступ можна втримати за тим, кому він призначений. Це найясніший доказ, що таке припущення не справджується.\nЧому це стосується й Європи Якщо це міркування правильне, воно правильне всюди, і як таке воно стосується й європейських пропозицій.\nПропозиції сканувати повідомлення на пристрої ще до шифрування створюють такий самий вбудований вхід.\nСполучене Королівство має повноваження вимагати від компаній надавати технічні можливості. Його використали, щоб вимагати змін у функції шифрування, і постачальник прибрав цю функцію у Сполученому Королівстві, аніж її змінити.\nОбидва підходи просувають демократії, з наглядом і з серйозних причин, як-от захист дітей.\nОбидва також будують саме ту можливість, яку, як показав 2024 рік, не вдається надійно втримати за тим, кому її призначено.\nЄвропейський вхід не безпечніший за будь-який інший, бо зловмисникові байдуже, наскільки підзвітна установа. Йому важить лише те, чи ця річ існує.\nОсь чому корисна версія цього аргументу технічна, а не політична.\n«Не довіряй постачальникам із країни X» доводиться переглядати щоразу, коли зміщується політика.\n«Вважай, що будь-яким вбудованим входом зрештою скористається той, для кого його не будували» тримається хоч би що.\nЩо ти можеш із цим зробити Практична відповідь стосується не передусім того, в кого ти купуєш. Вона про те, щоб проєктувати так, аби це питання важило менше.\nВважай мережу ненадійною. Шифруй трафік наскрізно й не дозволяй одній системі довіряти іншій лише через те, де вона стоїть у мережі.\nТримай власні ключі шифрування, де можеш. Частина 2 пояснила, чому це змінює те, кого можна попросити видати твої дані. Це також обмежує те, що зловмисник вважатиме вартим уваги.\nНадсилай менше. Дані, яких ти ніколи не збирав, не можна перехопити, вимагати чи втратити. Найменш модний засіб контролю в списку, і часто найдієвіший.\nПеревір, що запускає твоє обладнання, перш ніж йому довіряти. Перевірене завантаження й перевірку мікропрограм варто ввімкнути там, де твоє апаратне забезпечення це підтримує.\nНа справді чутливих системах перевіряй поставки. Пакування із захистом від розкриття й записані серійні номери досить прості.\nЖоден із цих кроків не вимагає від тебе вирішувати, якого уряду боятися найбільше.\nСаме тому вони кращі як відповідь. Засіб контролю, що працює лише тоді, коли твоя здогадка про політику правильна, насправді не є засобом контролю.\nЧастина 7 виходить за межі технологій і дивиться, як інші галузі впоралися з тією самою проблемою.\nУперше опубліковано: 2026-08-25. Востаннє оновлено: 2026-08-25.\n","permalink":"https://blogs.damiendye.uk/uk/random/backdoors-and-who-is-accused/","summary":"Щоб відсторонити постачальника з міркувань безпеки, потрібна мірка, застосована рівно. Частина 6 з 8 викладає, що встановлено про ослаблені продукти й перехоплення, зокрема швейцарське парламентське розслідування, і показує, чому вбудований вхід належить кожному, хто до нього дістанеться.","title":"Бекдори, і кого в них звинувачують"},{"content":"Частина 7 з 8. Частина 6 розглядала безпеку й вбудовані входи.\nПро що цей допис Чому порівняння корисне. Насіння й ліцензійні умови на живе. Супермаркети й правила, створені для них. Чому в технологіях немає нічого подібного. Що це тобі каже. Чому порівняння корисне Поширена думка: технології це нова форма влади, і їй потрібне нове мислення.\nЦя думка заспокоює, і здебільшого вона хибна. Віра в неї одна з причин, чому відповідь так довго не з’являлася.\nПроблема цієї серії стара. Постачальник стає незамінним. Альтернативи клієнта зникають. Умови перестають погоджувати й починають оголошувати.\nТаке траплялося в галузях, де програмного забезпечення немає взагалі.\nПорівняння допомагає у 2 способи.\nВоно показує, що зазвичай буває далі, бо ці галузі пройшли цим шляхом далі.\nІ воно показує, як виглядає серйозна відповідь, бо деякі такі відповіді вже існують і працюють.\nНасіння й ліцензійні умови на живе Фермер, що купує насіння, у майже такому самому становищі, як організація, що купує ключове програмне забезпечення.\nЧотири компанії, Bayer, Corteva, Syngenta і BASF, тримають більшу частину світового ринку насіння й подібну частку пестицидів. Швейцарська організація Public Eye публікує його аналіз.\nДля окремих культур усе ще тісніше, і жменька фірм тримає більшість відповідних патентів.\nЛіцензування здасться знайомим, якщо ти колись читав угоду на програмне забезпечення.\nЗапатентоване насіння не просто продають. Його ліцензують, і умови можуть заборонити найстарішу практику в землеробстві: лишати частину цьогорічного врожаю, щоб посіяти наступного року.\nТож фермер купує використання насіння на 1 сезон. Право його відтворювати, а в цьому весь сенс насіння, лишається в постачальника.\nЦе постійна покупка, перетворена на регулярну. Із землеробством це сталося раніше, ніж із програмним забезпеченням.\nЄ й друга знайома деталь.\nНасіння часто створюють для роботи з певним пестицидом, і та сама компанія продає обидва. Купівля одного робить купівлю іншого легшою, ніж перехід до іншого постачальника.\nАграрні економісти відстежили наслідки: менше сортів у обігу, вищі витрати на ресурси й менша змога змінити постачальника.\nСупермаркети й правила, створені для них Друга половина харчової галузі показує ту саму проблему з боку покупця. Ось приклад, який варто скопіювати.\nНевелика кількість мереж обслуговує більшість продажів продуктів у Сполученому Королівстві.\nТож у постачальника дуже мало можливих клієнтів. Втрата одного може його доконати. Для мережі замінити постачальника це справа одного ранку.\nЦей дисбаланс задокументували настільки добре, що Парламент ухвалив рішення. Groceries Code Adjudicator створили у 2013 році. Він наглядає, чи дотримуються великі мережі Groceries Supply Code of Practice.\nПодивися, що цей кодекс обмежує, а потім згадай своє останнє продовження ліцензії на програмне забезпечення.\nЗміну погоджених умов заднім числом без згоди. Плату з постачальника за право й далі вести бізнес. Перекладання витрат і ризиків на постачальника без компенсації. Використання зняття з продажу як важеля в суперечці. Європейський Союз створив власну версію. Директива 2019/633 про недобросовісні торговельні практики охоплює ланцюг постачання сільськогосподарської продукції та харчів.\nВона забороняє запізнілу оплату, скасування замовлень у короткий строк, односторонню зміну умов і погрози комерційною відплатою. У кожній державі-члені є орган, що забезпечує її виконання.\nЖоден із цих режимів не ідеальний. Повноваження Adjudicator обмежені, ціни як такі він не охоплює, а своїми найсильнішими повноваженнями користується скупо.\nАле принцип усередині них саме той, якого бракує технологіям.\nДе переговорна сила дуже нерівна, свободи договору насправді не існує. Тож певні практики забороняють прямо, а не залишають на переговори.\nНіхто не пропонував заборонити постачальнику програмного забезпечення змінювати погоджені умови заднім числом.\nНіхто не вважає плату за вивезення твоїх власних даних перекладанням витрат на слабшу сторону.\nУ харчовій галузі і те, і те помітили б одразу. У програмному забезпеченні ми називаємо це моделлю ліцензування.\nЧому в технологіях немає нічого подібного Чотири причини, і їх варто зрозуміти, бо вони вказують на те, що мусило б змінитися.\nШвидкість. Концентрація в продуктовій торгівлі зайняла близько 100 років. Концентрація в хмарах зайняла близько 15. Коли це стало чітко видно, все вже сталося.\nБезкоштовні сервіси. Конкурентне право в більшості країн виросло навколо цін, які платять споживачі. Сервіс із нульовою ціною за цим тестом виглядає нешкідливим, навіть коли клієнт не є користувачем.\nЗаява про новизну. Галузь успішно доводила, що її економіка інша, і що те, як важко з неї піти, це просто властивість складних систем, а не дизайнерське рішення.\nОрганізованість. У фермерів є спілки, кооперативи й давня звичка домовлятися разом. Вони скористалися цим, щоб вибороти конкретний правовий захист.\nУ покупців технологій є групи користувачів і конференція. Коли клієнтів VMware вдарили великими підвищеннями, справжній опір прийшов від галузевого об’єднання хмарних провайдерів, і пішов він через конкурентне право. Частина 2 розповідала, скільки це триває.\nЩо це тобі каже Два висновки, і обидва варто мати.\nПроблема структурна, а не національна.\nBayer німецька. Найбільші супермаркети британські, французькі й німецькі. Модель викупу з частини 3 охоче застосовують по всій Європі.\nЗаміни завтра кожного американського постачальника з цієї серії на 4 європейських, і поведінка повернеться, бо вона випливає зі структури.\nТож поради тут про те, щоб мати змогу змінити постачальника, а не про вибір країни.\nРобоча відповідь уже існує.\nНам не треба вигадувати нову теорію регулювання платформ.\nЄ модель, у якій певні практики заборонені, бо переговорна сила нерівна, скарги розглядає арбітр, а слабша сторона не несе весь тягар доведення.\nЇї збудували для капусти. Для хмарних контрактів вона спрацює теж.\nЧастина 8 розглядає, що будують у Європі зараз, і як перевірити, де ти стоїш.\nВперше опубліковано: 2026-08-25. Востаннє оновлено: 2026-08-25.\n","permalink":"https://blogs.damiendye.uk/uk/random/the-same-pattern-elsewhere/","summary":"Нічого з цього не нове, і насправді це не про технології. Чотири компанії контролюють більшу частину світового ринку насіння. Десять мереж продають більшість їжі у Британії. Обидві галузі отримали правову відповідь, якій у програмному забезпеченні немає нічого подібного. Частина 7 з 8 порівнює їх і питає, чому технологіям усе зійшло з рук.","title":"Той самий шаблон в інших галузях"},{"content":"Частина 8 з 8. Частина 7 порівняла цей шаблон з іншими галузями.\nПро що цей допис Що Європа справді побудувала. Що реально вже сьогодні, а що ні. 3 запитання, щоб зрозуміти, де ти стоїш. Чесне слово про цей сайт. Тенденція змінилася Багато років європейська цифрова незалежність була здебільшого розмовою.\nВід 2025 року це змінилося. Тепер є робочі продукти й організації, які користуються ними щодня.\nЦе найкорисніша тенденція в усій серії, бо саме з нею можна щось робити.\nОфісне програмне забезпечення та спільна робота openDesk є набором інструментів з відкритим кодом для щоденної офісної роботи. Документи, пошта, календарі, файли, чат і відеозустрічі.\nЙого підтримує ZenDiS, німецький центр цифрового суверенітету.\nВін складений з інструментів, які вже існували: Nextcloud для файлів, Collabora для документів, Open-Xchange для пошти й календарів, Element для чату, Jitsi для відео.\nВін справді працює. Збройні сили Німеччини підписали багаторічну угоду. Інститут Роберта Коха, німецька установа охорони здоров’я, використовує його для кількох тисяч людей. Міжнародний кримінальний суд обрав його у 2025 році.\nТепер є й комерційні варіанти.\noffice.eu запустився в Гаазі в березні 2026 року. Це європейська за власністю хостингова альтернатива великим американським офісним пакетам.\nEuro-Office з’явився слідом, у червні 2026 року. Це спільний редактор документів, який разом побудували кілька європейських компаній, серед них IONOS, Nextcloud, XWiki, OpenProject, Open-Xchange і office.eu.\nТака спільна робота важлива. Вона означає, що кожна компанія не будує той самий редактор наново сама.\nУряди справді переходять Деякі уряди вже перейшли, і це дає решті з нас реальний досвід, з якого можна вчитися.\nМіністерство цифровізації Данії перейшло з Microsoft 365 на LibreOffice з липня 2025 року. LibreOffice є безкоштовним офісним пакетом.\nНімецька земля Шлезвіг-Гольштейн переводить десятки тисяч службових комп’ютерів на відкритий код.\nФранція й Німеччина також разом будують спільні інструменти, замість того щоб кожна платила за свої.\nЧесно кажучи, не завжди все йде гладко.\nМюнхен кілька років переводив міську раду на Linux, а потім у 2017 році повернувся на Windows. The Register тоді писав про вартість.\nГоловний урок Мюнхена був не технічний. Програмне забезпечення здебільшого працювало. Не протрималася політична підтримка, через зміни адміністрації, у проєкті, що тривав понад десять років.\nТож такі речі потребують сталої підтримки протягом багатьох років. Це реальна вимога, і її варто чесно планувати.\nПлатежі Платежі йдуть за тією самою тенденцією, і багато хто не усвідомлює, наскільки вони сконцентровані.\nАналіз даних Європейського центрального банку свідчить, що Visa і Mastercard обробили близько 47 % вартості карткових платежів у єврозоні у 2025 році. У кількох країнах ця частка значно вища.\nКілька європейських країн мають власні карткові системи. Біда в тому, що вони не працюють через кордони, тож та, що працює всюди, американська.\nWero і є європейською відповіддю. Нею керує European Payments Initiative.\nВона почалася з платежів між людьми в Бельгії, Франції та Німеччині. Тепер у неї десятки мільйонів зареєстрованих користувачів. Люксембург приєднався у 2026 році, а Нідерланди переводять на неї свою наявну систему iDEAL. European Payments Council публікує, як просувається справа.\nНаступний етап: оплата в магазинах і онлайн. Саме цей етап вирішить, чи стане Wero справжньою альтернативою.\nЗа нею стоїть цифровий євро, з довшим горизонтом, приблизно 2029 рік.\nНові правила Європейська комісія опублікувала свою пропозицію Cloud and AI Development Act 2026-06-03.\nЦе перша серйозна спроба перетворити хмарний суверенітет з добровільної позначки на юридичну вимогу.\nВона поділяє хмарних провайдерів на рівні: де розташована інфраструктура, наскільки незалежно її можна експлуатувати і кому вона належить. Покупці з державного сектору вимагали б від провайдерів відповідати принаймні найнижчому рівню.\nЦе пропозиція. Це ще не закон, і дорогою він може змінитися.\nЩо реально, а що ні Список, повний надії, тут легко може піти не туди, тож скажімо прямо.\nРеально вже сьогодні. Офісні документи, пошта, календарі, файли, чат і відео. Робочі європейські варіанти й варіанти з відкритим кодом існують, і організації просто зараз експлуатують їх у продакшні.\nНаближаємося. Платежі й деякі хмарні сервіси. Складові є. Покриття ще заповнюється.\nЩе ні. Великомасштабна хмарна інфраструктура. Європейських потужностей далеко не вистачає на попит.\nЩо сьогодні можна замінити європейським варіантом або варіантом з відкритим кодом Наскільки замінний кожен рівень сьогодні Офісна робота Документи, пошта, календарі, файли, чат, відео Замінне вже зараз Платежі Wero зростає; магазини й онлайн на черзі Частково готово Хмарна інфраструктура Європейських потужностей значно менше, ніж попиту Ще ні Комп’ютерні чипи Реальні європейські сильні сторони, але повної заміни сьогодні немає Не в цьому десятилітті Що вище по стеку дивишся, то більше вибору маєш сьогодні. Не в цьому десятилітті. Самі чипи. Європа має реальні сильні сторони, зокрема ASML у Нідерландах та Infineon і NXP у проєктуванні чипів. Ніщо з цього сьогодні не замінює графічний процесор для дата-центру.\nBertelsmann Stiftung, німецький фонд, підрахував, що побудова повного європейського стеку забрала б близько 10 років і приблизно 300 млрд €.\nПовної незалежності на столі немає, і хто її пропонує, той перебільшує те, що має.\nТож, по суті, повна незалежність ніколи й не була корисною метою.\n3 запитання, щоб зрозуміти, де ти стоїш Ось простий спосіб подивитися на власні системи. Він працює для будь-якого постачальника, у будь-якій країні.\nПостав ці 3 запитання щодо кожного сервісу, від якого залежиш.\n1. Що перестане працювати, якщо цей сервіс зупиниться?\nБудь конкретним. Назви системи й людей, яких це зачепить. З «це важливо» планувати не вийде.\n2. Скільки тижнів роботи забрав би перехід?\nЦе число визначає твою позицію на кожному продовженні договору, доки ти тримаєш цього постачальника.\nЯкщо ти не можеш його оцінити, це вже варто знати.\n3. Чи змогла б твоя організація справді експлуатувати альтернативу?\nНе чи існує альтернатива. А чи твоя команда, такого розміру, як вона є насправді, змогла б її експлуатувати.\nLibreOffice є справжньою відповіддю для міністерства з бюджетом на навчання. Для маленької компанії без ІТ-персоналу це складніша відповідь.\nРозстав свої сервіси за цими 3 відповідями. Список зазвичай короткий і часто не той, якого люди чекають.\nДля багатьох організацій пошта й облікові записи працівників опиняються вище за хмарні обчислення. Їхнє перенесення рідко перевіряють, і воно забрало б чимало часу.\nПотім постав ті самі 3 запитання щодо будь-якої європейської альтернативи, яку ти зважуєш.\nОдин європейський постачальник, від якого не можеш піти, не набагато кращий за одного американського, від якого не можеш піти.\nСправжня перевага відкритих форматів і відкритого коду не в ціні. Вона в тому, що вони роблять запитання 2 таким, на яке можна відповісти, а запитання 3 можливим.\nЧесне слово про цей сайт Було б нечесно написати все це й не застосувати до себе.\nЦей сайт зібраний на Hugo й обслуговується Cloudflare, американською компанією. Кожен пункт цієї серії стосується і його.\nЯ обрав Cloudflare, бо він добре працює й не коштує мені нічогісінько. Якби обліковий запис зупинився завтра, я змінив би кілька налаштувань DNS і опублікувався б деінде.\nТож залежність реальна, а наслідок малий. Це чесний обмін, і я зробив його свідомо.\nРешта мого власного обладнання теж змішана. Proxmox, про який я часто пишу, австрійський. Він працює на процесорах, спроєктованих у Сполучених Штатах, на прошивці, яку я не можу перевірити.\nНемає такої конфігурації, що доходить до нуля. Це ніколи й не було метою.\nКоротко Технологія перетворилася з того, що ти купуєш, на те, що ти орендуєш.\nОренда часто краща, саме тому це й сталося.\nКожна ціна оренди зростає тим більше, чим важче тобі піти.\nВід 2025 року з’явилися реальні альтернативи для щоденної офісної роботи, і вони з’являються для платежів.\nТож практична мета не в тому, щоб уникати якоїсь конкретної країни. Вона в тому, щоб зменшити кількість сервісів, від яких ти не зміг би піти протягом 3 місяців.\nПочни з тих, які ти ніколи не перевіряв. Зазвичай саме там чекає сюрприз.\nУперше опубліковано: 2026-08-25. Останнє оновлення: 2026-08-25.\n","permalink":"https://blogs.damiendye.uk/uk/random/choice-coming-back/","summary":"Від 2025 року європейська відповідь перетворилася з планів на речі, які можна встановити. Частина 8 з 8 розповідає, що вже працює, що чесно ще на роки попереду, і дає 3 запитання, щоб зрозуміти, де ти стоїш.","title":"Куди повертається твій вибір"},{"content":"Кожна машина в домені Active Directory знаходить свій контролер домену, питаючи DNS. Не зі списку в налаштуваннях. Вона питає запис SRV і йде туди, куди її відправить відповідь. А отже, кілька записів під _msdcs стають найкритичнішою для безпеки річчю в зоні, і виникають два питання, на які варто відповісти як слід: як їх підписати і кому дозволено їх записувати. Ці питання ставлять рідко, і за замовчуванням на обидва відповідають погано.\nЦей допис відповідає на обидва для контролера домену Samba4. BIND із dlz_bind9, що віддає дані з каталогу, inline signing, прихований первинний сервер (hidden primary), до якого жоден клієнт ніколи не дістається, делегування всередині публічної зони, щоб ланцюг довіри сягав кореня, і динамічні оновлення клієнтів, триманих подалі від локаторів.\nАле підписування чогось варте, лише коли ти знаєш, що воно захищає, а це означає почати на рівень нижче: з того, як ім’я взагалі розв’язується. Тож перша третина тексту присвячена спуску від кореня. Якщо ти це знаєш напам’ять, переходь одразу до двох бекендів DNS у Samba.\nРезолвер на старті не знає майже нічого Варто чітко розуміти, як мало резолвер має від народження, бо з цього випливає все інше в цьому дописі.\nЩойно встановлений рекурсивний резолвер знає дві речі. Він знає адреси кореневих серверів: файл підказок, тринадцять імен від a.root-servers.net до m.root-servers.net, які обслуговує через anycast значно більше екземплярів, ніж тринадцять. І, якщо він валідує, він знає один публічний ключ: ключ кореня.\nЦе вся вбудована конфігурація. Кожен інший факт, який він коли-небудь видасть (які сервери авторитетні для uk, де живе твій домен, яку адресу має твій поштовий сервер), він дізнається під час роботи, питаючи, а потім кешує, доки не вийде TTL.\nЦе добрий дизайн. Нікому не треба постачати список усіх серверів імен інтернету, і жодна центральна сторона не мусить схвалювати зміну в твоїй зоні. Але в нього є наслідок, якому присвячено решту цього допису: резолвер вірить тому, що йому каже той сервер, на який вказала попередня відповідь. Прибери підписи, і вся конструкція стане ланцюгом тверджень, кожне з яких засвідчене лише тим, що прийшло з адреси, названої попередньою відповіддю. Це забагато ваги, щоб вішати її на зворотну адресу.\nСпуск деревом Пошук імені не є одним запитанням. Це серія переадресацій (referral) вниз деревом імен, і кожен крок є окремим запитом до іншого сервера.\nСкажімо, клієнт хоче dc01.ad.example.co.uk. Резолвер із холодним кешем робить ось що:\nПитає кореневий сервер. Корінь не знає відповіді й не вдає, що знає. Він повертає переадресацію: порожню секцію відповіді, а в секції authority записи NS для uk, з адресами цих серверів імен як glue у додатковій секції. Питає сервер uk. Ще одна переадресація, цього разу до серверів імен example.co.uk. Питає сервер example.co.uk. Якщо ad.example.co.uk делеговано (а в дизайні далі в цьому дописі так і є), ще одна переадресація. Питає сервер ad.example.co.uk. Цей авторитетний для імені, тож відповідає записом A і ставить біт AA (authoritative answer, авторитетна відповідь). Один пошук, що спускається деревом делегувань, переадресація за переадресацією Рекурсивний резолвер Від народження знає лише: \u0026#183; кореневі підказки \u0026#183; публічний ключ кореня 1 \u0026#160; Кореневий сервер a\u0026#8211;m.root-servers.net Переадресація записи NS для uk. і їхні адреси як glue 2 \u0026#160; Сервер імен uk авторитетний для uk. Переадресація записи NS для example.co.uk. 3 \u0026#160; example.co.uk тримає делегування Переадресація ad.example.co.uk. делеговано: питай її сервери 4 \u0026#160; ad.example.co.uk авторитетний для імені Відповідь запис A для dc01 із бітом AA Кожен крок кешується до кінця TTL, тож розігрітий резолвер починає з кроку 3 або 4. Саме тому один отруєний запис у кеші вартий так багато. Один пошук, чотири сервери. Кожен крок повертає не відповідь, а назву місця, де краще спитати, і резолвер кешує кожен крок дорогою вниз. Три речі в цьому спуску матимуть значення далі.\nПереадресація і є делегуванням. Батьківська зона не тримає вмісту дочірньої. Вона тримає записи NS, які кажуть «питай он там», а (щойно з’являється підписування) ще й запис DS, який каже «і ось відбиток ключа, якого варто чекати, коли спитаєш». Делегування є єдиним структурним механізмом, що є в DNS, і саме ним ти скористаєшся, щоб внутрішня зона лишалася внутрішньою.\nМайже все це кешується. Переадресації кореня і TLD мають довгі TTL, тож розігрітий резолвер одразу стрибає до кроку три або чотири. Тому кеш резолвера і варто атакувати: отруїш один запис, і ти перенаправив усе під ним на стільки, скільки триває обраний тобою TTL.\nПовне ім’я надсилається не кожному серверу. За мінімізації QNAME резолвер питає корінь лише про uk, а не про dc01.ad.example.co.uk. Корисно знати, якщо колись шукатимеш свої внутрішні імена в журналі запитів десь вище. Їх там бути не повинно.\nСтаб, рекурсивний, авторитетний Три слова, які вживають як синоніми, хоча вони означають зовсім різну роботу. Від цієї різниці залежить половина допису про Active Directory, тож варто її закріпити.\nЩо робить Ходить деревом? Тримає дані зони? Стаб-резолвер Бібліотека чи локальна служба, яку викликають твої застосунки. Питає один налаштований сервер і бере відповідь. Ні Ні Форвардер Передає запити іншому резолверу, кешує відповіді. Ні Ні Рекурсивний резолвер Робить спуск, описаний вище, кешує кожен крок, за бажання валідує підписи. Так Ні Авторитетний сервер Відповідає за зони, які йому дали, і лише за них. Про все інше каже «не знаю». Ні Так Важливий рядок останній. Авторитетному серверу нічого робити з рекурсією, а рекурсивному резолверу нічого бути авторитетним. Поєднай їх, і отримаєш машину, яка водночас приймає довільні запитання від клієнтів і тримає дані, від яких ці клієнти залежать. Саме такою машиною ти не хочеш бачити свій контролер домену.\nНа сучасному десктопі з Linux є ще один шар, про який варто знати. systemd-resolved запускає стаб-слухача на loopback-адресі й пише resolv.conf, що вказує на нього самого, з options edns0 trust-ad. Зверни увагу саме на trust-ad: він каже стабу вірити біту AD (authenticated data, автентифіковані дані) у відповідях від цього сервера. Біт AD сам по собі нічого не доводить: це лише твердження висхідного резолвера, що він провалідував. Довіряти йому розумно, коли висхідний резолвер твій і шлях до нього надійний, а інакше це не має сенсу.\nЯк насправді знаходять служби Запис A відповідає на одне питання: яку адресу має це ім’я. Він нічого не каже про те, на якому порту служба, якому з кількох серверів віддати перевагу і що робити, коли перший лежить.\nЗаписи SRV відповідають на всі три. За RFC 2782 форма така:\n_service._proto.name. TTL IN SRV priority weight port target Частини запису SRV і що вирішує кожна транспорт домен служба тип сервера _ldap. _tcp. dc._msdcs. ad.example.com. 600 IN SRV 0 100 389 dc01.ad.example.com. одне ім’я власника: підкреслення відділяють його від хостів TTL тип запису пріоритет вага порт ціль Нижчий пріоритет пробують першим. Вага ділить навантаження між серверами з однаковим пріоритетом. Ціль мусить бути іменем хоста із записами A або AAAA, ніколи не CNAME. Єдина ціль «.» означає, що службу тут навмисно не надають. Запис SRV у розібраному вигляді. Ім\u0026rsquo;я власника кодує службу і транспорт; тіло запису несе порядок перемикання при відмові, частку навантаження в межах одного порядку, порт і ціль, яка мусить бути справжнім іменем хоста. Кожне поле має своє призначення:\nПрефікси з підкресленням тримають мітки служб в окремому просторі імен. _tcp ніколи не зіткнеться з хостом, що справді зветься tcp, бо ім’я хоста не може починатися з підкреслення. Priority задає порядок перемикання при відмові: нижчий пробують першим. Сервери з вищим числом пріоритету використовуються лише тоді, коли все нижче недосяжне. Weight ділить навантаження в межах одного пріоритету. Пара з вагою 100 і 300 отримає приблизно чверть і три чверті клієнтів. Це пропорційний розподіл, а не round-robin. Port звільняє службу від стандартного номера, і саме так клієнт знаходить сервер LDAP на 3268 без того, щоб хтось його прописував у коді. Target має бути ім’ям із записами A або AAAA. RFC 2782 прямо каже, що це не може бути CNAME, і що єдина ціль . означає «цю службу тут навмисно не надають». Таке корисно публікувати свідомо. Саме це робить домен знаходжуваним, а не прописаним у налаштуваннях. Машина в домені не має списку твоїх контролерів домену. У неї є ім’я домену, і вона питає.\nІмена, які публікує Active Directory Домен AD з погляду клієнта переважно є набором записів SRV. Найцікавіше дерево під _msdcs, бо саме так клієнти відрізняють «сервер LDAP» від «контролера домену для цього домену» і від «глобального каталогу для цього лісу»:\nІм’я Хто про нього питає _ldap._tcp.\u0026lt;domain\u0026gt; Будь-що, кому потрібен LDAP у домені _ldap._tcp.dc._msdcs.\u0026lt;domain\u0026gt; Пошук контролера домену, найважливіший _ldap._tcp.pdc._msdcs.\u0026lt;domain\u0026gt; Саме емулятор PDC _ldap._tcp.gc._msdcs.\u0026lt;forest\u0026gt; Глобальний каталог _kerberos._tcp.\u0026lt;domain\u0026gt;, _kerberos._udp.\u0026lt;domain\u0026gt; Пошук KDC, ще до того, як є будь-який квиток _kpasswd._tcp.\u0026lt;domain\u0026gt;, _kpasswd._udp.\u0026lt;domain\u0026gt; Зміна паролів _ldap._tcp.\u0026lt;site\u0026gt;._sites.dc._msdcs.\u0026lt;domain\u0026gt; Пошук з урахуванням сайту: знайти DC, що поруч Подивись, навіщо цей список. Автентифікація Kerberos не може початися, доки клієнт не знайшов KDC, а KDC він знаходить через DNS. Пошук з урахуванням сайту означає, що відповідь ще й вирішує, проти якого датацентру клієнт автентифікується.\nТа сама ідея, осучаснена У SRV є наступник, про якого варто знати. Записи SVCB і HTTPS (RFC 9460) узагальнюють цей шаблон: параметри служби в DNS, включно з ALPN, портом і підказками адрес, в одному записі. Саме так браузер дізнається, що можна одразу йти на HTTP/3 без переадресації. Запис HTTPS уже широко розгорнутий. Механізм за духом той самий, що й у SRV: клієнту каже DNS, як дістатися до служби. А отже, аргумент із наступного розділу стосується його так само.\nУсе після пошуку довіряє пошуку Ось поворотний момент, і саме тому в дописі про DNS є розділ про безпеку, а не навпаки.\nМашина в домені завантажується й питає, де контролер домену. Отримує ім’я і порт. Підключається туди і тоді починає робити все, що ми зазвичай вважаємо шаром безпеки: Kerberos, підписування LDAP, channel binding, перевірку сертифікатів.\nТо що буде, якщо відповідь була брехнею?\nТут важливо бути чесним, бо відповідь не «миттєва катастрофа». Kerberos спроєктовано з взаємною автентифікацією саме для того, щоб клієнт не залежав від свого пошуку імені: хост, який не може пред’явити сервісний квиток для імені, про яке питав клієнт, не завершить обмін. Отримай відповідь SRV, що вказує на машину без ключа в домені, і для суворо налаштованого клієнта це закінчиться відмовою.\nРеальна шкода тонша, і вся вона в щілинах навколо цього:\nПониження (downgrade). Клієнт, який відкочується на NTLM, коли Kerberos не працює, щойно опинився в руках того, хто відповів. Relay і примус (coercion). Атакувальнику не треба бути DC. Досить бути тим ім’ям, до якого підключається клієнт, щоб почати переправляти цю автентифікацію туди, де вона корисна. Відмова в обслуговуванні, що виглядає як несправність. Направ _ldap._tcp.dc._msdcs на щось, що не відповідає, і домен буде періодично зламаний так, що ще довго ніхто не запідозрить DNS. Усе, де взаємної автентифікації немає взагалі. Синхронізація часу, syslog, моніторинг, агенти резервного копіювання, та внутрішня HTTP-штука з verify=False. У багатьох середовищах такого більше, ніж там хотіли б визнати. Загальний принцип, який варто винести: DNS є механізмом виявлення, а не механізмом авторизації. Цілком розумно знаходити службу за іменем. Нерозумно щось дозволяти на підставі імені, а кількість систем, які тихо це роблять (білі списки на основі PTR, ACL за іменами хостів, «це у внутрішній мережі, отже, наше»), і є справжньою поверхнею атаки.\nЩо DNSSEC виправляє, а що ні DNSSEC існує, щоб відповісти на одне питання: чи справді ця відповідь прийшла від зони, якій належить ім’я, без змін?\nПрацює він (RFC 4033 і два наступні) через підписування і через прив’язку підписів ланцюгом до чогось, чому ти вже довіряєш:\nКожен RRset у підписаній зоні має RRSIG, підпис над цим набором. Публічні ключі зони публікуються як DNSKEY. Батьківська зона публікує запис DS: хеш ключа дочірньої. Цей DS сам підписаний батьківською зоною, чий ключ захешовано в DS її батьківської, і так аж до кореня, а ключ кореня є єдиним, що твій резолвер знав від народження. Ланцюг довіри від кореня вниз до внутрішньої зони . (корінь) єдиний ключ, який твій резолвер уже має Тут починається кожен ланцюг. Постачається з резолвером, змінюється рідко, довіра беззастережна. підписаний DS для com. com. або uk., або та, під якою ти сидиш Батьківська зона ручається за ключ дочірньої. DS є хешем ключа дочірньої, підписаним батьківською. підписаний DS для example.com. example.com. публічна, підписана, DS у батьківській зоні Зона, якою ти вже володієш і яку вже підписуєш. Вона тримає делегування внутрішньої зони і DS, що її засвідчує. Більше нічого зсередини вона не тримає. підписаний DS для ad.example.com. над лінією: опубліковано в інтернеті під нею: лише всередині середовища ad.example.com. представлення з AD: лише внутрішні сервери Підписано всередині, довіра ззовні. Твої резолвери валідують її: корінь \u0026#8594; com \u0026#8594; example.com \u0026#8594; сюди, без локального якоря довіри і без чого-небудь для розповсюдження. Дані ніколи не виходять. Лише довіра приходить звичайним публічним ланцюгом. Ланцюг, який будує резолвер, що валідує. Кожна батьківська зона ручається за ключ дочірньої підписаним записом DS, тож один вбудований якір довіри в корені засвідчує кожну зону під ним, включно з делегованою внутрішньою зоною, вміст якої ніколи не покидає будівлю. Заперечення теж підписуються, і це легко пропустити, хоча важить це більше, ніж здається. Без цього «такого імені немає» є неавтентифікованою відповіддю, яку атакувальник може підробити, щоб щось зникло. NSEC і NSEC3 дають автентифіковане «між цими двома іменами нічого немає».\nЦе справжнє виправлення справжньої проблеми. Отруєння кешу не є теорією: атака Камінського зробила підробку поза шляхом (off-path) настільки дешевою, що весь інтернет довелося терміново латати, а пом’якшення, що з’явилися після (рандомізація порту джерела, змішування регістру 0x20), усі є спробами ускладнити вгадування, а не зробити відповіді перевірюваними. Подальші роботи з побічних каналів раз у раз їх підточували. Підписи єдині в цьому списку змінюють саму гру, а не просто піднімають ціну.\nТепер чесні межі, бо DNSSEC перехвалюють в обидва боки.\nЦе не конфіденційність. Підписування є автентифікацією на публічних ключах; кожен запит і відповідь досі йдуть дротом відкритим текстом. Приватність на клієнтському відрізку дають DoT, DoH або DoQ, і це інший механізм, що розв’язує іншу проблему. Шифрування відрізка до резолвера, який не валідує, купує тобі приватну розмову з чимось, кому досі можна збрехати.\nВін перевіряє не зміст, а лише походження. DNSSEC доводить, що це опублікував власник зони. Якщо запис неправильний, або шкідливий, або його записав хтось, кому зона необачно дозволила писати, підпис ляже на нього так само сумлінно. Підписування зони, у яку можуть писати недовірені машини, не робить її вміст надійним: воно засвідчує брехню. Запам’ятай це речення; остання третина допису є по суті його наслідком.\nВін допомагає, лише якщо хтось валідує. Якщо твій резолвер не валідує, підписи на зонах, до яких ти звертаєшся, є прикрасою. А якщо валідація відбувається на резолвері десь через мережу від клієнта, то клієнт довіряє біту AD і шляху; див. trust-ad вище.\nІ його треба експлуатувати. Прострочений підпис не дає погіршеної відповіді, він дає SERVFAIL: ім’я гасне. Запис DS у батьківській зоні, що вже не збігається з ключем дочірньої, робить те саме. Це чесна ціна, і як така автоматизація в наступних розділах важить більше, ніж початкове підписування.\nЧому вигадану внутрішню TLD не можна підписати Тут рішення про імена, ухвалені роки тому, повертаються з рахунком, і це варто розписати, бо саме тому в дизайні цього допису для внутрішніх імен використано справжній, власний домен.\nПоглянь ще раз, як будується ланцюг: за ключ зони ручається запис DS у її батьківській зоні. Тож резолвер, що валідує, може засвідчити внутрішню зону, лише якщо в неї є батьківська зона, яка хоче й може опублікувати для неї DS.\nУ ad.corp.local такої батьківської зони немає. Як і в .lan, .home чи будь-чого іншого, вигаданого того дня, коли створювали домен:\n.local зарезервовано для mDNS. Використовувати його для unicast DNS означає не просто лишитися без підпису, а задокументовано зіткнутися з тим, як має право поводитися кожна операційна система в будівлі. Він отримає власний розділ нижче, бо грає в зовсім іншій лізі, ніж інші три. .lan, .corp, .home є незареєстрованими рядками. Немає батьківської зони, яка тримала б DS, а версії, на які подавали заявки, не делегували через безлад із колізіями імен у приватних мережах. home.arpa належно зарезервовано для домашніх мереж, що звучить ідеально, але її делегування навмисно незахищене. Підписаного шляху до неї немає, так задумано. .internal ICANN виділила саме для такого використання, і він розв’язує проблему колізій. Але не цю: немає делегування, отже, немає DS, отже, немає ланцюга. З внутрішньою зоною поза ланцюгом твої варіанти такі: лишити її непідписаною або налаштувати локальний якір довіри на кожному резолвері в середовищі, що валідує, і стати коренем власного приватного острова. Це ключ, який тепер треба розповсюджувати, стежити за ним і змінювати вручну, на кожному резолвері, назавжди, а режимом відмови буде SERVFAIL на весь домен.\nЄ значно простіша відповідь, і вона безкоштовна: зроби внутрішню зону делегуванням усередині публічної зони, якою ти вже володієш і яку вже підписуєш. ad.example.com, делегована з example.com. DS іде в публічну батьківську зону. Тоді кожен резолвер у середовищі, що валідує, засвідчує внутрішні імена тим якорем довіри, який у нього вже є, і тобі нічого не треба розповсюджувати.\nВміст лишається всередині. Ззовні приходить лише довіра. Ця різниця і є дизайном у решті допису.\n.local не є питанням смаку Одна з цих чотирьох заслуговує окремого розділу, бо саме її захищають, і захист завжди однаковий: воно працює, ми так роками живемо, у чому проблема.\nПроблема в тому, що .local не є незареєстрованим рядком, який хтось колись може продати. Це простір імен, який уже має власника і визначену поведінку, і ця поведінка не «спитати сервер DNS». RFC 6762 §3 не церемониться:\nAny DNS query for a name ending with \u0026ldquo;.local.\u0026rdquo; MUST be sent to the mDNS IPv4 link-local multicast address 224.0.0.251 (or its IPv6 equivalent FF02::FB).\nПрочитай, що саме регулює це MUST. Це не твердження про те, кому належить рядок. Це інструкція про те, куди йде запит, і відповідь: у multicast-групу на локальному каналі, а не до твого контролера домену. Той самий розділ каже, що імена під .local «meaningful only on the link where they originate», тобто це DNS-відповідник адреси 169.254.\nТож клієнт, який правильно виконує специфікацію, ніколи не спитає твій сервер DNS про ім’я в .local. Він кричить у дріт і бере те, що відповість.\nЗвідси набір відмов дуже характерного присмаку:\nРозв’язання імен залежить від клієнта, а не від твого DNS. macOS розв’язує .local через Bonjour, і так було завжди; systemd-resolved за замовчуванням спрямовує домен local в mDNS; Windows підтримує mDNS з Windows 10. Три стеки, три набори правил, і жоден не заглядає у твій файл зони. Воно зупиняється на першому маршрутизаторі. mDNS за задумом працює лише в межах каналу. Ім’я, що розв’язується за столом у тому самому VLAN, не розв’язується з іншого поверху, іншого сайту чи з VPN. Це та сама заявка «в офісі працює, вдома ні», яку чотири рази закривають як «проблему з мережею», доки хтось не прочитає специфікацію. Поведінка змінюється в тебе під ногами. Чи пробує конкретна машина спершу multicast, спершу unicast чи обидва паралельно, залежить від стеку резолвера і його версії. Середовища, які роками «нормально» жили на .local, зазвичай ті, де оновлення дистрибутива ще не змінило цей порядок. Доказів немає там, де їх шукають. Журнал запитів на DC нічого не показує, бо нічого не прийшло. Люди днями розбираються із сервером, а запит так і не покинув клієнта. І його неможливо підписати, що й є суттю цього розділу. Немає батьківської зони, немає DS, немає ланцюга, немає способу його опублікувати. А тепер постав під це домен Active Directory. Realm виводиться з імені домену. Сервісні principal виводяться з realm. Локатори _msdcs (записи, про які весь цей допис) лежать під суфіксом, який сумлінний клієнт зобов’язаний розв’язувати, кричачи в локальний сегмент. Ти будуєш Kerberos на просторі імен, який половина твого середовища розв’язує протоколом, створеним для пошуку принтерів.\nА вихід дорогий, і саме тому до початкового рішення варто ставитися без сентиментів. У Samba немає перейменування на місці. Задокументований шлях: samba-tool domain backup rename, а потім відновлення. Ти береш перейменовану копію бази, засіваєш із неї новий DC і заново додаєш кожен інший DC з нуля, причому DC зі старим і новим іменем не можуть працювати одночасно. Це не rendom з Windows, який принаймні проходить DC один за одним. Це перебудова з гарнішою назвою.\nТож чесний підсумок. .local для unicast-домену не є вподобанням, конвенцією чи безневинною спадщиною. Це задокументований конфлікт із протоколом, який увімкнено в кожній операційній системі в будівлі, і рахунок за нього приходить роками пізніше у вигляді періодичних, невідтворюваних збоїв розв’язання імен, а коли ти нарешті захочеш підписати зону, ще й у вигляді перебудови домену.\nТа сама помилка в іншому капелюсі Раз уже ми тут: порт 5353.\nmDNS слухає UDP 5353, і це не запасний порт, який випадково вільний. Поставити на нього звичайну unicast-службу DNS або направити резолвери на :5353, бо 53 був зайнятий чи вимагав root, означає завдати тієї самої шкоди з протилежного боку: кожна машина в цьому сегменті, що знає mDNS, тепер говорить із твоєю службою імен, а твоя служба імен тепер отримує multicast-виявлення служб, на яке вона ніколи не мала відповідати. Ім’я і порт є двома половинами одного простору імен, і обидві вже комусь належать.\n.local на 53 або unicast DNS на 5353. Те саме нерозуміння, той самий клас періодичних збоїв, ті самі тижні чужого часу.\nІ будь чесним щодо того, що це тобі каже Microsoft рекомендувала .local за часів Small Business Server, тому так багато середовищ досі його несуть, і давно перестала його рекомендувати. Успадкувати домен .local означає просто не пощастити. Більшість тих, хто читає це і має такий домен, його не обирали, і розділ вище є планом міграції, а не звинуваченням.\nРозгорнути такий домен зараз зовсім інша річ, і я скажу про це прямо, бо пом’якшення ще нікому не допомогло.\nБудь-хто, хто розгортає .local для Active Directory чи для звичайного unicast DNS або ставить службу DNS на порт 5353, не є IT-фахівцем. Можливо, у нього є така посада. Роботу він не виконує. RFC 6762 опубліковано ще 2013 року, його можна прочитати за двадцять хвилин, і речення, яке закриває все питання, стоїть у розділі 3. Будувати службу імен компанії на просторі імен, який специфікація резервує для link-local multicast, не є інженерним рішенням, яке можна захистити. Це хтось вгадує в тій частині стеку, де вгадування дає збої, які ніхто не може відтворити і які всі списують на мережу.\nТаких людей треба прибрати з твого IT-відділу. Не перевести вбік, не доручити їм DNS під наглядом. Прибрати з цієї функції. Роль існує для того, щоб знати, який пакет куди йде і з чиїх повноважень. Той, хто не прочитав документ, що регулює простір імен, обраний ним для кожної машини в будівлі, цю роль не виконує, а тримати його на ній означає, що наступне рішення такого масштабу ухвалять так само.\nІ кожну систему, якої він торкався, треба перевірити. Цю частину люди пропускають, і саме вона важить найбільше. Таке рішення ніколи не буває поодиноким. Той, хто не перевірив RFC 6762, перш ніж назвати домен, не перевірив і нічого іншого, тож іди і подивися, що ще він збудував. Очікуй знайти:\nСервери DNS, відкриті всьому світу, форвардери, що відповідають будь-кому, хто спитає, і жодних ACL ніде. Динамічні оновлення навстіж, і контейнери зон із дозволами, які ніхто не переглядав відтоді, як створили домен. Сертифікати й Kerberos, збудовані на іменах, що ніколи не збиралися розв’язуватися стабільно, а збої заклеєно файлами hosts. Файли hosts. Скрізь. Цілі середовища трималися на них саме тому, що .local ніколи не працював як слід, і хтось знайшов обхід замість причини. Правила файрвола і службові облікові записи, створені, щоб симптоми зникли, і досі на місці, і досі дають більше, ніж хтось тепер пам’ятає. Це не мстивість. Саме для цього і існує сигнал компетентності. Коли знаходиш одне рішення, ухвалене без читання специфікації, правильна реакція: припустити, що решту ухвалили так само, і піти перевірити, бо та сама людина налаштовувала твою автентифікацію, твої сертифікати і твій контроль доступу, і тепер у тебе є прямий доказ того, як вона підходить до задачі, якої до кінця не розуміє.\nУспадкований безлад коштує тобі міграції. Тримати на роботі людину, яка досі його створює, коштує значно більше.\nДва бекенди DNS у Samba Контролер домену Samba AD зберігає свої дані DNS у самому каталозі, і віддавати їх можна двома способами.\nSAMBA_INTERNAL є власним сервером DNS Samba, вбудованим в AD DC. Він обслуговує зони AD і динамічні оновлення з автентифікацією Kerberos, а все інше передає форвардеру. Samba описує його як такий, що підтримує «the basic feature required in an AD», і рекомендує його «for simple DNS setups», що чесно і що варто сприймати буквально. Він отримає власний розділ нижче, бо перелік того, чого він не робить, довший і цікавіший за перелік того, що робить.\nBIND9_DLZ запускає BIND як сервер DNS, із завантаженим у нього модулем Samba dlz_bind9. DLZ (Dynamically Loadable Zones) є інтерфейсом BIND, щоб підкладати під зону щось інше, ніж файл зони. Модуль відповідає на запити BIND прямо з sam.ldb, тож немає копії, немає кроку експорту і немає синхронізації, яка могла б зламатися: BIND читає каталог під час обслуговування запитів.\nВнутрішній сервер DNS не робить рекурсії, бо не вміє Почнімо з того, що майже завжди описують неправильно, зокрема ті, хто його експлуатує.\n«DC наш сервер DNS, він робить рекурсію для клієнтів»: насправді відбувається не це, бо внутрішній сервер DNS взагалі не вміє рекурсії. Власний перелік можливостей Samba каже про це прямо. Внутрішній DNS не підтримує:\nроботи як кешувального резолвера рекурсивних запитів (але може пересилати їх іншому рекурсивному серверу імен) підписів транзакцій зі спільним ключем (TSIG) stub-зон передавання зон балансування навантаження Round Robin між DC а scavenging і умовні форвардери в тому ж списку позначено як не реалізовані.\nПрочитай перші два пункти разом, бо в них уся історія. Він не вміє розв’язувати і не вміє кешувати. Що насправді дає тобі dns forwarder, то це ретранслятор: клієнт питає DC про windowsupdate.com, DC питає справжній резолвер, відповідь повертається через DC, і потім DC повністю її забуває. Наступний клієнт ставить те саме питання, і все повторюється.\nПоглянь на таблицю вище в цьому дописі й зауваж, що це таке: форвардер без кешу форвардера. Він має всі витрати цієї ролі (зайвий перехід, залежність, ще одна річ, яка може лягти) і жодної її переваги.\nТож DC із SAMBA_INTERNAL, що обслуговує середовище, не є сервером DNS у тому сенсі, який мають на увазі люди. Це некешувальний проксі до справжнього резолвера, і ти поставив його на машину, яка тримає твій каталог.\nЧому це ризик, а не лише неефективність Неефективність легко побачити: кожен зовнішній пошук у будівлі стає круговою поїздкою через AD DC, назавжди, без кешу, який пом’якшив би удар. У тихому домені ніхто не помічає. Саме тому це і виживає.\nВарто навести аргумент безпеки, і він має три частини.\nСлухач не в тому процесі. Внутрішній DNS є службовим завданням самого AD DC і працює з привілеями каталогу, а не окремим демоном під власним обліковим записом, як named. Тож те, що розбирає неавтентифікований UDP від будь-чого, що може дістатися порту 53, працює всередині процесу, який обслуговує LDAP і Kerberos і володіє sam.ldb. BIND має тридцять років ворожої уваги, окремого користувача і звичку працювати у в’язниці (jail) саме тому, що слухач DNS живе в неспокійному районі. Внутрішній сервер Samba є зручністю, яка випадково живе серед коштовностей корони.\nОбслуговувати клієнтів означає бути досяжним для клієнтів. Щоб бути сервером DNS для середовища, він мусить приймати запити від кожної робочої станції, кожного принтера, кожного ноутбука підрядника в гостьовому VLAN, який хтось випадково приєднав мостом. Це велика, постійно відкрита, неавтентифікована поверхня атаки на найціннішому хості, що в тебе є, і тримаєш ти її, щоб заощадити на резолвері, який міг би працювати на Raspberry Pi.\nА форвардер, відкритий світу, стає чужою зброєю. DC, що пересилає запити для будь-кого, хто питає, є відкритим форвардером. Щойно він стає досяжним ззовні твоєї мережі, він стає учасником відбивання й підсилення, а отже, і трафік, і скарги на зловживання приходять на твій контролер домену. Обмеження частоти немає, бо у внутрішньому сервері його просто немає.\nЩоб це було поганою ідеєю, не потрібна жодна вразливість у Samba. Ідея погана вже за самою формою: вона кладе неавтентифіковану, випадково виставлену в інтернет службу з важким розбором пакетів в один процес із твоїм каталогом, щоб робити роботу, яку, за документацією, вона як слід робити не вміє.\nВін ляже раніше і потягне за собою більше Варто чітко сказати, чим цей аргумент не є. Це не твердження, що код DNS у Samba має більше помилок, ніж у BIND. BIND має довгий список CVE, здебільшого тому, що це найретельніше досліджена реалізація DNS у світі, і рахувати бюлетені безпеки було б поганим способом обирати між ними.\nВажить порівняння структурне, і воно зводиться до трьох питань із трьома незручними відповідями.\nХто може надіслати йому спотворений пакет? Коли SAMBA_INTERNAL обслуговує середовище: кожна робоча станція, кожен телефон у бездротовій мережі, усе, що має маршрут до порту 53 на цій машині. У дизайні з цього допису: підписувач. Один хост, один ключ TSIG, allow-query обмежено ним. Це не маленька різниця в ступені. Це різниця між виставленою службою і службою, до якої фактично не дістатися, і вона затьмарює будь-яку різницю в якості коду між двома реалізаціями.\nЩо лягає разом із ним? Це питання і визначає тяжкість. named є окремим демоном під власним обліковим записом; коли він падає, DNS зупиняється, а контролер домену далі автентифікує. Внутрішній DNS Samba є службовим завданням всередині AD DC, тож усе, що його заклинює, виснажує чи валить, відбувається всередині процесу, який обслуговує LDAP і Kerberos. Проблема DNS стає відмовою каталогу. А systemctl restart named коштує секунду, тоді як перезапуск DC означає зовсім інший ранок.\nЩо ти можеш із цим зробити, поки це відбувається? BIND має обмеження частоти відповідей, allow-query, allow-recursion, blackhole, політику на рівні view і можливість не відповідати клієнтам узагалі. Внутрішній сервер має dns forwarder і файл журналу. Коли щось починає по ньому гатити, крутити нема чого.\nТепер додай відсутній кеш. Кожен запит клієнта є новою вихідною круговою поїздкою, тож лавина запитів коштує DC висхідного пошуку на кожен пакет, а не влучання в кеш, і коштує в тому самому процесі, який намагається видавати квитки Kerberos. Для цього не потрібен експлойт; потрібен напружений ранок, застосунок, що поводиться неправильно, або хтось, хто направив сканер не на той VLAN. Якщо це триває, воно виглядає як повільна автентифікація, і нікому не спадає на думку подивитися на DNS.\nТож так: навіть із DLZ у картині BIND є безпечнішим місцем для цього. Модуль DLZ справді дає named доступ до даних Samba, і це реальне міркування, на якому цей допис уже наголосив. Але падіння named є відмовою DNS, а не відмовою каталогу, і в цьому дизайні цей named узагалі не приймає запитів від середовища. Помилки є в кожній кодовій базі. Радіус ураження і досяжність ти обираєш сам.\nІ він не може побудувати дизайн із цього допису Є простіша й остаточніша причина, чому він тут не бекенд.\nНемає передавання зон. Конвеєр із наступного розділу (прихований первинний сервер, підписувач, окремі авторитетні сервери) починається з AXFR із DC. SAMBA_INTERNAL нема чим передавати. Немає й TSIG, тож відсутня навіть автентифікація, потрібна такому передаванню. І немає підписування, і немає валідації нічого з того, що він пересилає.\nТож чесний підсумок про SAMBA_INTERNAL: це бекенд, який дає змогу підняти домен AD у лабораторії в неділю по обіді без налаштування BIND, і з цим він справляється дуже добре. Samba каже «simple DNS setups» і має це на увазі. Це не резолвер, його ніколи не будували як службу DNS для середовища, і щойно тобі потрібні підписування, передавання, views, ACL, кешування чи обмеження частоти, відповідь не в тому, щоб його підкрутити. Таких регуляторів у нього немає. Відповідь: BIND.\nЯкщо сьогодні він у тебе працює і всі клієнти направлені на DC, виправлення не термінове, але й не необов’язкове: дай клієнтам справжній резолвер, що валідує, і встанови на DC dns forwarder, що вказує на нього, щоб DC відповідав за власні зони і більше ні за що.\nІ ось що я хочу сказати чітко, бо «не використовуй DLZ» повторюють так, ніби це правило посилення захисту: DLZ не є вразливим місцем. Це механізм видобування. Важить не те, який модуль завантажено в BIND, а те, кому дозволено говорити з цим BIND і що відбувається із зоною далі. BIND із бекендом DLZ, який відповідає лише на запит передавання від твого підписувача, не є поверхнею атаки в будь-якому цікавому сенсі. DC із SAMBA_INTERNAL, який обробляє кожен пошук імені від чотирьохсот ноутбуків, цілком є. У чеклістах із посилення захисту з’являється лише один із цих двох, і це не той, що важить.\nДві речі про DLZ є правдою, і їх варто врахувати в плануванні, а не боятися:\nМодуль прив’язаний до версії BIND. Samba постачає окремий .so для кожної версії BIND, і named.conf називає конкретний. Мажорне оновлення BIND означає, що відповідний модуль мусить бути на місці, інакше named не стартує. Це пакетна залежність, яку треба перевірити заздалегідь, а не властивість безпеки. named потребує доступу до даних Samba, тому Samba тримає окремий каталог для того, що потрібно BIND, замість давати йому весь приватний каталог. Цей доступ має бути вузьким, і варто перевірити, чи він досі такий на твоїх DC, бо це єдине місце, де DLZ справді розширює те, до чого дістанеться компрометація named. DLZ тут правильний вибір через те, що він уможливлює: інтерфейс DLZ у BIND підтримує перелічення всієї зони, а саме це взагалі робить можливим передавання зони з зони на DLZ. Це передавання є першим переходом конвеєра, і робить його BIND, а отже, решта конвеєра є звичайною конфігурацією BIND, а не чимось екзотичним.\nЄ одне обмеження, що формує все далі за течією, і його варто сказати прямо, бо легко припустити протилежне. Зону DLZ саму по собі підписати не можна. ISC прямо пише про це в BIND ARM: DLZ «is unable to handle DNSSEC-signed data due to its limited API». Ти не можеш просто почепити dnssec-policy на інструкцію dlz і вважати справу зробленою.\nЩо ти можеш зробити (і що ISC на одному подиху пропонує для DLZ), то це запустити його як прихований первинний сервер, а підписування робити звичайною зоною BIND, що передає дані до себе. Це наступний розділ, і саме це обмеження пояснює його форму.\nВарто знати, що це обмеження Samba, а не закон Active Directory. Сервер DNS від Microsoft вміє онлайн-підписування динамічних зон, інтегрованих в AD, ще з Windows Server 2012. Зона підписується на місці, приватні ключі реплікуються до Key Masters самою реплікацією AD, і динамічні оновлення далі працюють. У Windows «підписати розділи AD» є реальним варіантом, і відповідь на заперечення про часті зміни вбудована. (У Server 2008 R2 такого не було: зону, інтегровану в AD, підписати було можна, але не ту, що приймала динамічні оновлення, і кожна зміна означала ручне перепідписування. Звідси й фольклор, що зони AD підписати неможливо.)\nУ Samba відповідника немає. Жоден бекенд не підписує: внутрішній сервер не має DNSSEC узагалі, а DLZ не може нести підписані дані. Тож у Samba конвеєр «передати й підписати» не є одним із кількох дизайнів. Це єдиний шлях.\nКонвеєр публікації Тепер його форма. Чотири ролі, і DC стоїть позаду, де ніщо не може до нього дістатися.\nПублікація зони Active Directory з контролера домену як прихованого первинного сервера DC: прихований первинний сервер BIND із dlz_bind9, авторитетний із каталогу без рекурсії \u0026#183; передавання лише підписувачу, з TSIG Хост із каталогом не приймає запитань. Найцінніша машина в середовищі недосяжна для машин, які від неї залежать. AXFR за оновленням SOA опитування: DLZ не вміє notify Підписувач: звичайний вторинний отримує зону й віддає її підписаною другий named на DC або окремий хост Саму зону DLZ підписати не можна. Тож підписує звичайна вторинна зона з копією, а без клієнтів у зоні змін майже немає. передавання підписана зона Авторитетні сервери звичайні вторинні підписаної зони без ключів, без маршруту до каталогу Компрометація дає копію, а не підробку. Без ключа на серверах, що дивляться в середовище, не створити нового запису, що пройде валідацію. запити відповіді з підписами Резолвери, що валідують на них вказує resolv.conf клієнта внутрішні зони пересилає, публічне дерево обходить Валідація відбувається поруч із клієнтом. Ланцюг сягає кореневого якоря довіри, бо внутрішня зона є делегуванням у публічній. немає DNS для клієнтів на DC Публікація йде в один бік, від каталогу назовні. Ніщо, що надсилає клієнт, не доходить до її початку. DC є прихованим первинним сервером: він віддає зону AD через передавання і більше ні на що не відповідає. Екземпляр-підписувач є звичайною вторинною зоною з переданою копією: саму зону DLZ підписати не можна, тож підписування завжди відбувається на один перехід далі, чи то другий named на DC, чи окремий хост. Окремі авторитетні сервери єдине, що бачать клієнти, і вони є вторинними для підписаної зони. 1. Контролер домену: прихований первинний сервер. BIND із dlz_bind9, авторитетний для зон AD із каталогу. Рекурсію вимкнено. Жодної служби для клієнтів. allow-transfer обмежено одним лише підписувачем, із TSIG. З погляду мережі DC узагалі не обслуговує DNS, і єдине, що коли-небудь його питає, це наступна машина в ланцюжку.\n2. Екземпляр-підписувач: звичайна зона BIND, що передає дані до себе. Саме тут живуть inline-signing і dnssec-policy, на зоні з тим самим іменем, яка тримає передану копію. BIND тримає отриману непідписану копію і підписану копію, яку публікує, як окремі речі, і перепідписує, коли приходять нові передавання. Оскільки це передавання, а не спільний файл, цей екземпляр може стояти на самому DC (другий named на власній адресі) або на окремому хості, і конфігурація в обох випадках майже однакова.\nКомпроміс саме такий, яким здається: на DC на одну машину менше, а окремий хост тримає приватні ключі подалі від машини з каталогом. Обидва варіанти можна захистити, і вибір нічого іншого в конвеєрі не змінює. Важить те, що підписування відбувається один раз, у визначеній точці, за політикою ключів. У цьому різниця між DNSSEC, який ти експлуатуєш, і DNSSEC, який спливає о третій ночі.\n3. Авторитетні сервери: єдине, що бачать клієнти. Звичайні вторинні сервери підписаної зони. Вони не тримають ключів, не підписують і не мають шляху до каталогу. Якщо один скомпрометовано, атакувальник має копію зони і жодної змоги підробити новий запис, який пройде валідацію.\n4. Резолвери. Рекурсивні резолвери для середовища, що валідують, умовно пересилають внутрішні зони на ці авторитетні сервери і проходять публічне дерево для всього іншого. Саме на них вказує resolv.conf клієнтів.\nІз цього устрою випливають дві властивості, які варто назвати окремо, бо в них уся суть:\nМашина з каталогом недосяжна для машин, які ним користуються. Контролер домену є найціннішим хостом у середовищі. Дати йому мережеву службу для клієнтів, яка відповідає на неавтентифікований UDP від будь-якої робочої станції, є поганим обміном заради служби, яку можуть виконувати інші машини. Підписування відбувається один раз, у визначеній точці. Звичне заперечення проти підписування зони AD стосується частих змін: мовляв, вміст змінюється надто часто, щоб підписи встигали. Це заперечення насправді проти типового устрою, а не проти підписування. Якщо реєстрацію клієнтів винести (а наступний розділ доводить, що треба), зона AD змінюється, коли контролер домену підвищують чи понижують, і майже ніколи інакше. Зона, яку пишуть лише DC, є стабільною зоною, а стабільну зону підписати буденна справа. Тримати клієнтів ззовні не лише засіб безпеки; саме це робить зону достатньо тихою, щоб її чисто підписати. Як насправді під’єднано підписування Форма вище є головним, але «звичайну зону BIND, що передає дані до себе» варто показати, а не описати, бо перша спроба зазвичай розбивається об бажання підписати DLZ напряму.\nНа DC бік DLZ навмисно лишається нудним. Він віддає каталог, передає зону рівно одному партнерові і більше нічого не робить:\nkey \u0026#34;transfer-to-signer\u0026#34; { algorithm hmac-sha256; secret \u0026#34;...\u0026#34;; }; options { recursion no; allow-query { key transfer-to-signer; localhost; }; allow-transfer { key transfer-to-signer; }; notify no; }; dlz \u0026#34;AD DNS Zone\u0026#34; { database \u0026#34;dlopen /usr/lib64/samba/bind9/dlz_bind9_18.so\u0026#34;; }; Зверни увагу, що .so має в назві мажорну версію BIND. Це прив’язка до версії з попереднього розділу в конкретному вигляді: оновлення BIND потребує відповідного модуля Samba на місці, перш ніж named стартує.\nНа боці підписувача зона є звичайною вторинною з доданими параметрами підписування. Ця частина не може жити на DLZ:\ndnssec-policy \u0026#34;ad-internal\u0026#34; { keys { ksk lifetime P365D algorithm ecdsa256; zsk lifetime P90D algorithm ecdsa256; }; }; zone \u0026#34;ad.example.com\u0026#34; { type secondary; primaries { 192.0.2.10 key transfer-to-signer; }; file \u0026#34;ad.example.com.axfr\u0026#34;; inline-signing yes; dnssec-policy \u0026#34;ad-internal\u0026#34;; allow-transfer { key transfer-to-public; }; also-notify { 192.0.2.20; 192.0.2.21; }; }; Те, що це працює на вторинній зоні, і є вирішальною деталлю, і ARM каже це прямо:\nIf yes, BIND 9 maintains a separate signed version of the zone. An unsigned zone is transferred in or loaded from disk and the signed version of the zone is served with, possibly, a different serial number.\nТож BIND тримає дві копії: непідписану, яку отримав і записав у file, і підписану, яку віддає і записує поруч із розширенням .signed. Приходить передавання, підписана версія генерується наново, а сервери нижче за течією отримують notify, бо на цьому етапі це цілком звичайна зона. inline-signing yes насправді є значенням за замовчуванням, щойно приєднано dnssec-policy; його виписано вище, бо конфіг, який каже, що робить, вартий одного рядка.\nРотація ключів приходить разом із політикою, а не із завданням cron. Ротація ZSK взагалі не потребує втручання; ротація KSK потребує, щоб новий DS дістався батьківської зони, і це автоматизація CDS/CDNSKEY, про яку далі в цьому дописі. rndc dnssec -status ad.example.com показує, де кожен ключ перебуває у своєму життєвому циклі.\nЧи працює цей блок на DC, чи на окремому хості, вирішує те, на яку адресу вказує primaries. На DC це другий екземпляр named на другій адресі, що передає зону з першого через loopback або інтерфейс керування. Ось що на практиці означає «BIND із DLZ може бути підписувачем»: те саме ПЗ, та сама машина, якщо хочеш, але підписування відбувається на переданій копії, а не на зоні DLZ.\nЄдина експлуатаційна заковика в notify, і вона на боці DLZ. Посібник ISC каже про це навпростець: DLZ «has no built-in support for DNS notify», тож вторинні сервери не отримують автоматичних сповіщень про зміни в зонах бази даних. Samba може змінити запис у каталозі, а екземпляр DLZ гадки не має, що комусь треба про це сказати.\nТож перший перехід працює через опитування, а не через проштовхування. Підписувач оновлюється за таймером SOA зони, яку передає, а це означає:\nПоширення від зміни на DC до підписаного, опублікованого запису обмежене цим інтервалом оновлення, а не секундами. Підвищ DC, і його нові записи _msdcs з’являться нижче за течією щонайбільше через один інтервал оновлення. Цей інтервал і є регулятором, який треба крутити, якщо затримка важить. Це компроміс із тим, як часто ти хочеш опитувати DLZ, а це нагадує про іншу річ, яку ISC каже про DLZ: він робить запити до бази в реальному часі без кешування і «not recommended for use on high-volume servers». Обидва ці пункти є аргументами на користь такої топології, а не проти неї. Єдиний клієнт екземпляра DLZ це підписувач, який питає раз на інтервал оновлення. Справжнє навантаження запитів середовища лягає на окремі авторитетні сервери, які на повній швидкості віддають звичайний підписаний файл зони. Усе нижче за підписувачем звичайне: авторитетні сервери є вторинними для підписаної зони, отримують нормальний notify і ніколи не торкаються ні каталогу, ні ключа.\nКлієнти не повинні писати в зону з локаторами Це головне, і це правило дизайну, а не налаштування.\nActive Directory реєструє записи динамічно. Машина приєднується і реєструє себе; DC стартує і реєструє записи SRV, що рекламують його служби. «Захищене» динамічне оновлення означає, що ці оновлення автентифіковано: машина доводить, що вона та, за кого себе видає, власними обліковими даними, і є ACL на кожен запис, тож машина зазвичай може змінювати лише створений нею запис.\nПрочитай це уважно, бо гарантія вужча, ніж здається спершу. Захищене динамічне оновлення засвідчує, хто пише. Воно не оцінює, що запис означає. А набір облікових записів, яким дозволено писати, значно ширший, ніж думають: у типовій зоні, інтегрованій в AD, група Authenticated Users має Create All Child Objects на контейнері зони в каталозі, бо ADIDNS зберігає кожен запис як об’єкт AD під CN=MicrosoftDNS,DC=DomainDnsZones. Не лише облікові записи машин: будь-який автентифікований обліковий запис у домені, включно з тим, що належить людині, яка сьогодні вранці відкрила вкладення з рахунком.\nЦе дає два режими відмови в зоні, що тримає і записи клієнтів, і локатори служб:\nІмена, яких ще немає, нікому не належать. ACL на запис захищають запис, який уже має власника. Ім’я, яке ще ніколи не реєстрували, не має об’єкта, на якому можна застосувати ACL, тож перший обліковий запис, що його створить, його й отримає. Це механізм цілої родини атак на ADIDNS, найгострішою з яких є wildcard: створи *, і кожне ім’я в зоні, на яке ніхто явно не претендував (описки, виведені з експлуатації хости, wpad), розв’язуватиметься на атакувальника. Наявні записи не зачеплено, і саме тому цього ніхто не помічає.\nРадіус ураження включає локатори. Записи під _msdcs є тим, як кожен клієнт у домені знаходить контролер домену і KDC. Це найкритичніші для безпеки записи, які в тебе є, і в типовому розгортанні вони лежать у тій самій зоні, у яку чотириста ноутбуків пишуть щоразу, коли отримують оренду DHCP.\nХто може писати в яку зону: одна спільна зона проти поділу за авторами Типово: одна зона ad.example.com локатори й записи клієнтів разом _ldap._tcp.dc._msdcs. SRV _kerberos._udp SRV dc01 A laptop-042 A * A \u0026#8592; нічиє ім’я, яке ніхто не зареєстрував, не має ACL кожна машина в домені може писати все це Один скомпрометований обліковий запис машини може переписати записи, що вказують на DC. Поділ за тим, хто пише ad.example.com: лише DC жоден клієнт не має шляху оновлення в цю зону _ldap._tcp.dc._msdcs. SRV _kerberos._udp SRV dc01 A делегування NS dyn.ad.example.com або окрема зона Samba з власним ACL laptop-042 A кожна машина в домені може писати немає шляху до локаторів Хто що може писати. Ліворуч одна зона, і кожна машина в домені є дозволеним автором у зоні, що тримає локатори DC. Праворуч зону AD пишуть лише DC, а реєстрації клієнтів потрапляють в окрему підзону, де найгірше, що може зробити скомпрометована машина, це збрехати про себе. Тож правило: зону, що тримає локатори, пишуть контролери домену і ніхто інший. Динамічна реєстрація клієнтів іде деінде.\nЦим «деінде» може бути одне з двох, і обидва варіанти годяться:\nДелегована підзона, яку обслуговують деінде. Зона AD тримає делегування NS для, скажімо, dyn.ad.example.com, а записи потрапляють на окремий сервер, який приймає оновлення. Розділи Samba взагалі ніколи не отримують запису від клієнта. Окрема зона в Samba з власним ACL на оновлення. Досі в каталозі, але власна зона, тож запис клієнта не має шляху ні до _msdcs, ні до власних записів DC. Перший дає жорсткіше розділення; другий менше обслуговувати. Правило порушує ні те, ні інше. Його порушує типовий варіант, де обидва живуть разом. Саме так досі працює більшість доменів, бо ніхто цього не обирав і ніхто не повертався подивитися.\nІ є другий дивіденд, той, що пов’язує це з конвеєром. Зона, яку пишуть лише контролери домену, майже ніколи не змінюється: підвищення DC, пониження DC, а в решту часу тиша. Уся мінливість типової зони AD походить від реєстрації клієнтів. Прибери її, і разом із нею зникає заперечення проти підписування розділів AD: немає потоку оновлень, за яким мали б гнатися підписи, тож підписування стає рутиною, а не боротьбою. Дисципліна запису і підписування є одним рішенням, побаченим двічі.\nПоряд із будь-яким із цих варіантів є дозвіл, на який варто піти подивитися, і на DC від Microsoft це пряме виправлення. Оскільки записи ADIDNS є об’єктами каталогу, право походить з ACL в AD, а не з чогось у протоколі DNS: Authenticated Users з Create All Child Objects на контейнері зони. Звузити його є найчистішим пом’якшенням проблеми незайнятих імен і wildcard, і в багатьох середовищах цей дозвіл можна прибрати повністю, щойно ти знаєш, що насправді має самореєструватися. AD DNS у Samba зберігає записи в каталозі так само, тож те саме питання стоїть і там: піди подивися, що насправді дає контейнер твоєї зони.\nАле стривай: чи взагалі мають клієнти реєструватися у 2026 році? Усе вище виходить із того, що динамічне оновлення від клієнтів тобі потрібне і ти намагаєшся зробити його безпечним. Перш ніж це прийняти, варто поставити питання, якого ніхто не ставить, бо відповідь змінилася відтоді, як цю поведінку проєктували.\nДинамічну реєстрацію в DNS будували для десктопа. Коробка під столом, один мережевий кабель, одна адреса, яку вона тримала роками. У тому світі машина, що реєструє власне ім’я, була акуратною і по суті правдивою.\nТепер поглянь, чим є клієнт у 2026 році. Він прокидається в домашньому wifi. Приходить в офіс і під’єднується до корпоративної бездротової мережі. Стає в док-станцію і бере ще й дротову адресу. Хтось вмикає VPN, і з’являється тунельний адаптер із третьою адресою. Людина йде в кав’ярню, роздає інтернет із телефона, і VPN піднімається з четвертою. Це одна машина, одне ім’я і пів дюжини адрес за робочий день, і за замовчуванням вона спробує зареєструвати чимало з них.\nТож зона заповнюється твердженнями, які колись були правдою.\nWindows реєструє кожен свій адаптер, якщо хтось не пройшовся і не зняв галочку Register this connection\u0026rsquo;s addresses in DNS на кожному інтерфейсі. Ноутбук у док-станції з VPN є машиною з трьома живими адаптерами і думкою про кожен із них. Кілька записів A для одного імені не є станом помилки, це нормальний результат. Пошук повертає їх усі, клієнти пробують їх у тому порядку, який їм заманеться, і з’єднання з цим іменем зриваються пропорційно до того, скільки адрес мертві. Це механізм за «віддалена підтримка бачить машину одну хвилину і не бачить наступну». Адреси VPN найгірші з усіх, бо тунельна адреса дійсна годину, а запис її переживає. Тунель падає, адреса з пулу дістається комусь іншому, і ім’я тепер вказує на колегу. Док-станції розмивають саму ідентичність. Якщо не налаштовано передавання MAC-адреси (MAC address pass-through), оренда належить доку, а не ноутбуку, тож у середовищі з гарячими робочими місцями імена, оренди й машини щодня розходяться одне з одним. А власність робить це постійним. Запис може оновити лише обліковий запис, що його створив. Коли запис створив DHCP під одними обліковими даними, а машина пізніше намагається оновити його під власними, оновлення тихо зривається, і застаріла адреса лишається точно там, де була. Історія з прибиранням теж не порятунок, яким здається. Samba має scavenging від версії 4.9, але за замовчуванням його вимкнено (dns zone scavenging = yes, із samba-tool dns zoneoptions --aging=1), і сама Samba каже, що його «should only be enabled on new zones or new installations», бо старіші версії позначали динамічні записи як статичні, а статичні як динамічні. У середовищах, найімовірніше заповнених сміттям (тих, що працюють роками), інструмент для прибирання саме той, який тобі радять не вмикати. Він також мав власну CVE.\nТож постав питання прямо: що насправді використовує запис A ноутбука?\nУ більшості організацій дуже мало що. Користувачі підключаються до серверів; сервери не підключаються до ноутбуків. Справжні споживачі це засоби віддаленої підтримки, RDP до робочої станції за іменем і інвентаризація чи моніторинг, і майже всі ці інструменти ведуть власний облік і працюють від агента, який виходить на зв’язок, бо від початку не могли покладатися на DNS для мобільних клієнтів.\nЩо підказує перевернути типовий варіант:\nСервери та інфраструктура отримують записи з провізіонінгу. Коли в картині вже є NetBox і Ansible, запис створює те саме, що створило машину, він правильний за побудовою і зникає, коли зникає машина. Стабільна дротова частина середовища може брати записи з DHCP, якщо щось їх справді потребує, з одними обліковими даними, що ними володіють, щоб оновлення не зривалися. Мобільні клієнти не реєструють нічого. Вони споживачі DNS, а не його видавці. Якщо комусь треба дістатися до ноутбука, потрібен агент, а не запис A. Ти опиняєшся там само, куди тебе привів аргумент безпеки, але з зовсім іншого боку. Менше авторів означає меншу поверхню ADIDNS, зону, не захаращену простроченими твердженнями, і (назад до конвеєра) зону, достатньо тиху, щоб підписувати її не замислюючись.\nАргумент безпеки каже, що клієнти не повинні писати в зону з локаторами. Експлуатаційний аргумент питає, навіщо вони взагалі пишуть у DNS. У 2026 році для парку, який змінює адресу п’ять разів на день, «вони не пишуть» є цілком доброю відповіддю і значно меншою роботою, ніж робити їхній безлад безпечним.\nРозділені представлення і звідки береться довіра Останній шматок пов’язує дві половини допису.\nІснує два представлення простору імен. Публічна зона, опублікована в інтернеті, з кількома іменами, потрібними світові. І внутрішнє представлення: вміст, виведений з AD, кожен хост у домені, кожен локатор служби, топологія сайтів, яких світові бачити не треба. Цей вміст є картою середовища, і ззовні він має бути недосяжним і непередаваним.\nАле довіра для внутрішнього представлення приходить із публічного боку, і саме це робить цей дизайн кращим за звичайний острів внутрішнього DNS:\nexample.com публічна і підписана, з її DS у батьківській зоні й ланцюгом до кореня. ad.example.com делеговано з неї. Публічна батьківська зона публікує делегування і DS для ключа внутрішньої зони. Внутрішні авторитетні сервери віддають підписану ad.example.com. Внутрішні резолвери її валідують (корінь → com → example.com → ad.example.com), використовуючи лише кореневий якір довіри, який у них уже був. Жодного локального якоря довіри. Жодного острова. Жодного ключа, що розносять вручну. Дані ніколи не покидають будівлю, а шлях валідації звичайний публічний. Коли ти додаєш резолвер, він правильно валідує внутрішні імена без жодних налаштувань DNSSEC.\nЧесно про компроміс, бо він є. Публікація делегування і DS у публічній зоні означає, що існування ad.example.com і імена її серверів імен є публічними. Вміст ні, і ніколи не буде, але ти сказав світові, що зона існує. Натомість кожен твій резолвер валідує внутрішні імена проти справжнього кореня. Для більшості середовищ це добрий обмін, і він має бути свідомим, а не несподіванкою.\nДві речі, які разом із цим треба зробити правильно:\nТримай внутрішнє представлення неперелічуваним і непередаваним. allow-transfer на внутрішніх авторитетних серверах призначено для підписувача і твоїх власних вторинних, і ні для кого більше. І пам’ятай, що автентифіковане заперечення через NSEC дає змогу будь-кому, хто може питати зону, пройти її від початку до кінця; NSEC3 підвищує цю ціну, але справжній контроль у тому, що сторонні взагалі не можуть дістатися серверів. Автоматизуй DS. Запис DS у батьківській зоні, що перестав збігатися з ключем дочірньої, кладе весь внутрішній домен у SERVFAIL. CDS/CDNSKEY існують, щоб дочірня зона могла сигналізувати про зміну ключа, а батьківська підхопити її без людини, яка редагує запис посеред ротації. Якщо батьківська зона в реєстратора чи провайдера, що це підтримує, користуйся; якщо ні, процедуру ротації треба записати до першої ротації, а не під час неї. Як змусити Windows і Linux справді валідувати Усе досі стосувалося публікації зони, яку можна перевірити. Ніщо з цього нічого не дає, доки щось на боці клієнта не наполягатиме на перевірці. Ідеально підписана зона і клієнт, який ніколи не перевіряє підпис, дають рівно той самий досвід, що й непідписана зона, аж до того дня, коли вже ні.\nВалідація може відбуватися лише у двох місцях, і різниця між ними є різницею між засобом безпеки і ввічливою пропозицією.\nВалідувати на резолвері й довіряти біту AD. Клієнт питає резолвер, резолвер робить криптографію і повідомляє результат одним бітом у відповіді: AD, authenticated data. Клієнт вірить біту. Це модель, яку використовує Windows, і вона рівно така сильна, як шлях між клієнтом і резолвером, бо будь-що, що може відповісти як резолвер, може поставити цей біт.\nВалідувати на самому клієнті. Машина запускає власний резолвер, що валідує, тож «шлях до резолвера» є loopback-сокетом усередині машини, і підробляти вже нема чого. Це сильніше, і на Linux цілком досяжне.\nЗа замовчуванням нічого Перш ніж щось налаштовувати, варто подивитися, що звичайна робоча станція з Linux робить із коробки. Це машина з Fedora 44, systemd 259, ніхто її не чіпав:\n$ resolvectl status | head -3 Global Protocols: LLMNR=resolve -mDNS -DNSOverTLS DNSSEC=no/unsupported resolv.conf mode: stub $ grep options /etc/resolv.conf options edns0 trust-ad $ dig +dnssec cloudflare.com A | grep flags ;; flags: qr rd ra; QUERY: 1, ANSWER: 3, AUTHORITY: 0, ADDITIONAL: 1 Прочитай ці три разом, бо вони розповідають невелику історію.\nСтаб налаштовано з trust-ad: йому сказали вірити біту AD. systemd-resolved повідомляє DNSSEC=no/unsupported, тож сам він нічого не валідує. А відповідь для підписаної зони повертається з прапорцями qr rd ra і без ad: ніщо на цьому шляху не заявило, що провалідувало.\nЦе не помилка конфігурації. Це типовий стан. Клієнту можна сказати довіряти твердженню, якого ніхто в ланцюгу не робить. Ніхто цього не перевіряє. Варто хвилинку з цим посидіти, перш ніж налаштовувати щось інше.\nLinux Три варіанти, за зростанням того, наскільки мало тобі доводиться довіряти мережі.\n1. systemd-resolved, що валідує локально. Через drop-in, а не редагуванням файлу з пакета:\n# /etc/systemd/resolved.conf.d/dnssec.conf [Resolve] DNSSEC=yes DNSOverTLS=opportunistic Потім systemctl restart systemd-resolved і перевір через resolvectl status, що рядок тепер каже DNSSEC=yes.\nОбережним треба бути із середнім параметром. DNSSEC=allow-downgrade виглядає як розумний компроміс і не є засобом безпеки, про що каже сам resolved.conf(5):\nNote that this mode makes DNSSEC validation vulnerable to \u0026ldquo;downgrade\u0026rdquo; attacks, where an attacker might be able to trigger a downgrade to non-DNSSEC mode by synthesizing a DNS response that suggests DNSSEC was not supported.\nАтакувальник, який може підробляти відповіді, і є саме тим атакувальником, для зупинки якого існує DNSSEC, тож режим, який він може вимкнути підробленою відповіддю, нічого тобі проти нього не дає. Або yes, або прикраса.\n2. Справжній резолвер, що валідує, на хості. Валідатор systemd-resolved зручний, а не ретельний. Там, де це важить, запусти Unbound або BIND на loopback і направ на нього стаб:\n# unbound: validate against the root anchor, refuse to be stripped server: module-config: \u0026#34;validator iterator\u0026#34; auto-trust-anchor-file: \u0026#34;/var/lib/unbound/root.key\u0026#34; harden-dnssec-stripped: yes val-permissive-mode: no # the internal zone is reached like any other name — no local anchor needed forward-zone: name: \u0026#34;ad.example.com.\u0026#34; forward-addr: 192.0.2.53 Відповідник у BIND займає один рядок, dnssec-validation auto;, який використовує вбудовану копію кореневого якоря і сам веде його ротацію.\n3. На рівні всього середовища, на резолверах, які ти вже маєш. Це четвертий етап конвеєра, описаного раніше в цьому дописі. Валідація відбувається там, клієнти довіряють біту AD, а відрізок між ними і є тим, що треба захищати: через DoT або мережею, щодо якої ти готовий зробити таке припущення.\nІ зауваж, чого немає в жодній із цих конфігурацій: якоря довіри для внутрішньої зони. Оскільки ad.example.com є делегуванням усередині публічно підписаної зони, кожен із цих варіантів валідує внутрішні імена звичайним ланцюгом від кореня. Це дизайн із попереднього розділу, що окуповує себе. Альтернатива: розносити локальний якір на кожен клієнт і резолвер у середовищі й розносити його знову при кожній ротації.\nWindows Спершу головне, бо це постійно розуміють неправильно: DNS Client у Windows не валідує DNSSEC. Він не робить жодної криптографії, не перевіряє жодного підпису і не тримає жодного якоря довіри. Це стаб-резолвер, і так було завжди.\nЩо ти можеш зробити, то це змусити його відкидати відповіді, які сервер не провалідував за нього. Це Name Resolution Policy Table, і вона діє для окремих просторів імен, а не глобально:\n# Require validated answers for the internal zone Add-DnsClientNrptRule -Namespace \u0026#34;.ad.example.com\u0026#34; ` -DnsSecEnable -DnsSecValidationRequired # What is actually in force on this machine, including from Group Policy Get-DnsClientNrptPolicy -Effective Get-DnsClientNrptRule Для середовища те саме живе в Group Policy під Computer Configuration → Policies → Windows Settings → Name Resolution Policy: створи правило для простору імен, познач параметр DNSSEC і познач вимогу, щоб клієнт перевіряв, що дані провалідував сервер DNS.\nІз цього випливають дві речі, і обидві важать.\nХтось вище за течією все одно має валідувати. Правило NRPT змушує клієнта вимагати біт AD; воно його не створює. Резолвер, на який вказують ці клієнти, мусить бути резолвером, що валідує, інакше кожне ім’я в цьому просторі імен не розв’яжеться.\nІ саме тому поруч із правилом NRPT є параметри IPsec. Microsoft поставила їх туди з причини, викладеної на початку цього розділу: вимагати біт, який може поставити будь-який атакувальник на шляху, не надто серйозна вимога. Якщо ти покладаєшся на модель «валідує резолвер» у недовіреній мережі, останній відрізок треба захистити: IPsec між клієнтом і резолвером або DoT, де резолвер його підтримує.\nВідмовляє в закритий бік, тож розгортай у такому порядку Примусова валідація перетворює клас тихих компрометацій на клас гучних відмов. Це правильний обмін, і це все одно відмова: прострочений RRSIG, DS у батьківській зоні, що після ротації вже не збігається, або резолвер, який не може дістатися батьківської зони, усі дають SERVFAIL, а SERVFAIL для _ldap._tcp.dc._msdcs означає, що домен лежить, а не погіршився.\nТож роби в такому порядку:\nСпершу ввімкни валідацію на резолверах, а клієнтів не чіпай. Пару тижнів стеж за SERVFAIL у журналах резолверів: саме тут ти знайдеш зону, яка тихо зламана вже рік. Автоматизуй DS, перш ніж щось примушувати, як описано в попередньому розділі. Більшість самозаподіяних відмов DNSSEC є ротацією, під час якої батьківську зону так і не оновили. Потім примушуй клієнтів, по одному простору імен, починаючи з власної робочої станції і тестового OU, а не з усього середовища. Відмова, від якої ти захищаєшся, це клієнт, якому підсунули підроблений контролер домену. Відмова, якою ти ризикуєш, це клієнт, якому не дали нічого. Друга відновлювана й очевидна; перша ні те, ні інше. Про відмову ти почуєш за хвилину. Про те інше ти не почув би ніколи.\nШифрування останнього відрізка: DoT і DoH на внутрішніх резолверах Розділ про валідацію лишив одну річ у повітрі. У моделі «валідує резолвер» (тій, яку дає тобі Windows) клієнт довіряє одному біту, який ставить резолвер, а цей біт вартий рівно стільки, скільки шлях, яким він пройшов. Щось має цей шлях захищати.\nBIND нативно підтримує обидва зашифровані транспорти, тож це робота з конфігурацією, а не із закупівлею:\nDNS over TLS: блок tls, на який посилається listen-on, зазвичай на порту 853. DNS over HTTPS: той самий блок tls плюс блок http, на 443. Вихідний DoT, бо forwarders приймає транспорт TLS для кожної адреси або для всього списку. Передавання зон через TLS, бо інструкція primaries зони type secondary теж його приймає, що прямо корисно для конвеєра, описаного раніше в цьому дописі. Спершу чітко про те, що це дає, бо DoT і DNSSEC постійно плутають, а вони не є альтернативами. DNSSEC засвідчує дані аж до зони, яка їх опублікувала. DoT захищає розмову з резолвером. Одне витримує ворожий резолвер і ворожу мережу між резолверами; інше не дає машині в твоєму wifi читати й переписувати те, що питав твій ноутбук. Потрібні обидва, і жодне не замінює іншого. Шифрування відрізка до резолвера, який не валідує, є приватною розмовою з чимось, кому досі можна збрехати.\nОбслуговування tls internal-resolver { key-file \u0026#34;/etc/pki/dns/resolver.key\u0026#34;; cert-file \u0026#34;/etc/pki/dns/resolver.pem\u0026#34;; protocols { TLSv1.3; }; }; http internal-doh { endpoints { \u0026#34;/dns-query\u0026#34;; }; }; options { dnssec-validation auto; listen-on port 53 { 192.0.2.53; }; listen-on port 853 tls internal-resolver { 192.0.2.53; }; listen-on port 443 tls internal-resolver http internal-doh { 192.0.2.53; }; listen-on-v6 port 853 tls internal-resolver { 2001:db8::53; }; }; Справжня робота в сертифікаті, і саме цю частину пропускають. Клієнту, що перевіряє (а в цьому вся суть), потрібен сертифікат, дійсний для імені, з яким його налаштовано, виданий кимось, кому він уже довіряє. Тобто твоїм внутрішнім CA і твоєю наявною автоматизацією сертифікатів, а не ключовим словом ephemeral. ephemeral генерує одноразовий самопідписаний сертифікат; він існує, щоб довести, що слухач працює, і нічого не вартий для клієнта, який справді перевіряє.\nПересилання через нього Якщо ці резолвери кудись пересилають запити, а не ходять деревом самі, висхідний відрізок теж можна зашифрувати, і тут є різниця, яку варто зрозуміти правильно:\ntls upstream { ca-file \u0026#34;/etc/pki/tls/certs/ca-bundle.crt\u0026#34;; remote-hostname \u0026#34;dns.example.net\u0026#34;; }; options { forwarders port 853 tls upstream { 192.0.2.1; }; }; Без remote-hostname ти отримуєш шифрування без автентифікації: трафік нечитабельний для пасивного спостерігача, а активний атакувальник, який може перехопити з’єднання, просто пред’являє власний сертифікат. З remote-hostname і ca-file BIND перевіряє, з ким говорить. Перше чогось варте. Лише друге варто називати засобом контролю.\nКлієнтська половина не симетрична Тут змішане середовище стає незручним, і саме тому варто налаштувати обидва транспорти, а не вибирати один.\nLinux робить DoT як слід. systemd-resolved приймає DNSOverTLS=yes для суворого режиму, а серверу можна вказати ім’я, проти якого перевіряти:\n[Resolve] DNS=192.0.2.53#resolver.ad.example.com DNSOverTLS=yes DNSSEC=yes Як і з DNSSEC=, пастка в середньому параметрі: DNSOverTLS=opportunistic відкочується на відкритий текст, коли TLS недоступний, а це може влаштувати атакувальник, здатний втручатися в з’єднання.\nWindows робить DoH, але не DoT. Підтримка DoH у клієнті з’явилася у Windows 11 і Server 2022 і налаштовується для кожного сервера через шаблон:\n$doh = \u0026#34;https://resolver.ad.example.com/dns-query\u0026#34; netsh dnsclient add encryption server=192.0.2.53 dohtemplate=$doh DoT на момент написання з’являвся лише в збірках Insider. Тож у випущеній Windows зашифрований варіант це DoH або нічого, і саме тому розділ про NRPT вище потягнувся до IPsec.\nЗвідси обслуговування обох з одного екземпляра BIND. DoT для парку Linux і всього іншого, що його розмовляє, DoH для Windows, один резолвер, один сертифікат.\nКотрий і де Для внутрішнього резолвера DoT є кращим транспортом, а DoH відповіддю заради сумісності.\nDoT сидить на власному порту. Його можна побачити, дозволити, заборонити і піднімати тривогу на все, що робить DNS не через нього. Перевага DoH (його не відрізнити від звичайного вебтрафіку на 443) є справжньою перевагою у ворожій мережі і морокою у твоїй власній, де можливість відрізнити DNS є функцією, за яку ти заплатив. У середовищі, яке ти контролюєш, віддавай перевагу транспорту, який можна спостерігати, а DoH запускай тому, що Windows не лишає вибору, а не тому, що він кращий.\nРаз уже ти там: зашифруй передавання Конвеєр, описаний раніше, переносить зону AD через AXFR, а розділ про розділені представлення наголосив, що її вміст є картою середовища. TSIG засвідчує ці передавання; він їх не приховує. Оскільки інструкція primaries вторинного сервера приймає конфігурацію TLS, передавання теж може йти через TLS, RFC 9103, якщо тобі потрібен стандарт:\nzone \u0026#34;ad.example.com\u0026#34; { type secondary; primaries { 192.0.2.10 port 853 tls xfr-tls key transfer-to-signer; }; ... }; Засвідчено ключем, зашифровано транспортом. Якщо будь-який перехід у цьому конвеєрі перетинає канал між сайтами, гіпервізор, який ти з кимось ділиш, чи будь-що, куди ти не поставив би спокійно хаб, ці двадцять хвилин того варті.\nЧого це не виправляє Це не валідація. Розглянуто вище, і варто повторити, бо вендори продають «secure DNS», маючи на увазі саме лише шифрування. Воно нічого не приховує від резолвера. Резолвер бачить кожен запит повністю. Шифрування захищає шлях, а не приватність пошуку від оператора, що цілком нормально, коли оператор ти. Воно нічого не дає клієнту, який не перевіряє сертифікат, а опортуністичні режими може понизити саме той атакувальник, якого ти боїшся. І це не причина ставити слухача на контролер домену. Зашифрований DNS на DC блискуче розв’язував би не ту проблему. DC і далі нікому не відповідає. Як перевірити, що в тебе є Команди, які варто запустити на власному середовищі. Цікаві тут виводи, і кілька з них зазвичай неприємно читати вперше.\n# Walk the tree yourself, one delegation at a time dig +trace dc01.ad.example.com # Validate, and show the chain being built delv +rtrace +vtrace ad.example.com SOA # Is the resolver you are pointed at actually validating? # A deliberately broken test name must come back SERVFAIL, not an address dig @\u0026lt;resolver\u0026gt; dnssec-failed.org A # What does the estate advertise as a domain controller? dig SRV _ldap._tcp.dc._msdcs.\u0026lt;domain\u0026gt; dig SRV _kerberos._udp.\u0026lt;domain\u0026gt; # Is a DC answering for names it has no business answering? # Ask it for something it is not authoritative for. \u0026#34;recursion requested # but not available\u0026#34; is the answer you want. An actual address means it is # serving the estate — recursing if it is BIND, relaying to the forwarder # if it is SAMBA_INTERNAL. Either way it should not be doing that. dig @\u0026lt;dc\u0026gt; www.example.org A # Is the DC configured as the estate\u0026#39;s DNS relay? grep -E \u0026#39;dns forwarder|server services\u0026#39; /etc/samba/smb.conf # Will a DC hand its zone to anybody who asks? dig @\u0026lt;dc\u0026gt; AXFR ad.example.com # Which backend is this DC running, and does named have the module? grep -r dlz /etc/named.conf /var/lib/samba/bind-dns/ 2\u0026gt;/dev/null samba-tool dns query \u0026lt;dc\u0026gt; \u0026lt;domain\u0026gt; @ ALL # Is the internal zone chained to the public parent? dig DS ad.example.com @\u0026lt;public-authoritative-for-example.com\u0026gt; # What does the local stub actually do with the AD bit, and is the # hop to the resolver encrypted? resolvectl status # DNSSEC= and DNSOverTLS= per link grep options /etc/resolv.conf # trust-ad, trusting whom exactly? # Did anything in the path claim to have validated? Look for \u0026#34;ad\u0026#34; in the flags dig +dnssec ad.example.com SOA | grep flags # Validate independently of whatever the local resolver believes delv ad.example.com SOA # \u0026#34;fully validated\u0026#34; is the line you want # Is the resolver actually listening for DoT, and does its certificate # match the name clients are configured with? kdig +tls @192.0.2.53 ad.example.com SOA openssl s_client -connect 192.0.2.53:853 \\ -servername resolver.ad.example.com \u0026lt;/dev/null 2\u0026gt;/dev/null \\ | openssl x509 -noout -subject -dates А на клієнті Windows, щоб побачити, чи він узагалі чогось вимагає:\nGet-DnsClientNrptPolicy -Effective # the rules actually in force Resolve-DnsName ad.example.com -DnssecOk Get-DnsClientDohServerAddress # is the hop to the resolver encrypted? Найчастіше дивують дві перевірки: рекурсії і спроба AXFR. Якщо DC відповідає на будь-яку з них довільному клієнту, конвеєра з цього допису немає, хоч що там каже діаграма у вікі.\nТретя: resolvectl status на машині, якої ніхто не торкався. DNSSEC=no/unsupported поруч із trust-ad у resolv.conf є нормальним станом десктопа з Linux, і це означає, що роботу з підписування, описану вище, наразі ніхто не перевіряє.\nКоротка версія Резолвер народжується, знаючи кореневі сервери й один ключ, а все інше дізнається, коли йому кажуть. Імена знаходять, спускаючись делегуваннями, а служби знаходять, питаючи запис SRV, тож на момент, коли клієнт починає робити Kerberos із контролером домену, ідентичність цього контролера домену прийшла з відповіді DNS. Виявлення через DNS правильне і нормальне. Авторизація через DNS ні, а дивовижна кількість інфраструктури все одно тихо її робить.\nDNSSEC робить ці відповіді перевірюваними: підписи на кожному наборі, DS у кожній батьківській зоні, ланцюг до єдиного якоря довіри в корені й автентифіковане заперечення, щоб ім’я не можна було змусити зникнути. Він купує автентифікацію походження і цілісність, але не приватність і не правильність. Він підписує все, що каже зона, і тому не може врятувати зону, у яку дозволено писати недовіреним машинам. І йому потрібна батьківська зона: вигаданій внутрішній TLD нікуди покласти DS, тож .local, .lan, .internal і home.arpa лишають тебе або без підпису, або з приватним островом ключів, які розносять вручну.\nДля домену Active Directory це дає дизайн, а не список налаштувань. Використовуй делегування всередині публічної зони, якою володієш, щоб довіра спускалася звичайним ланцюгом від кореня, а дані ніколи не виходили назовні. Обслуговуй розділи AD через BIND і dlz_bind9 (DLZ не є ризиком, це спосіб дістати зону з каталогу) і зроби DC прихованим первинним сервером, який передає зону назовні і більше нікому не відповідає. Зону DLZ саму підписати не можна, тож підписування робить звичайна вторинна зона з переданою копією, з inline-signing і dnssec-policy: другий named на DC, якщо хочеш менше машин, або окремий хост, якщо хочеш тримати приватні ключі подалі від каталогу. Так чи інакше її підписують один раз, у визначеній точці, за політикою ключів, а перший перехід є опитуванням, а не проштовхуванням, бо DLZ не вміє надсилати notify. Публікуй з окремих авторитетних серверів, які не тримають ключів і не мають маршруту до каталогу.\nІ тримай клієнтів подалі від зони, яка важить. Захищене динамічне оновлення засвідчує автора, а не зміст, а в типовій зоні, інтегрованій в AD, автори це Authenticated Users, кожен обліковий запис, а не лише кожна машина. Тож зона, що тримає і записи ноутбуків, і локатори _msdcs, лише за одного обдуреного фішингом користувача від того, щоб клієнту сказали, з цілком дійсним підписом, що контролер домену десь в іншому місці. Реєстрації клієнтів належать до підзони, делегованої назовні або окремої в Samba, де найгірше, що може зробити скомпрометований обліковий запис, це збрехати про себе.\nХоча краще питання: чи мають клієнти реєструватися взагалі. Ноутбук 2026 року має адресу в домашньому wifi, ще одну в офісній бездротовій мережі, ще одну через док і ще одну у VPN, і він радісно опублікує більшість із них. Запис A ноутбука майже ніхто не використовує: інструменти, яким треба дістатися до робочої станції, ведуть власний облік, бо DNS ніколи не був надійним для мобільних клієнтів. Записи для серверів мають походити з провізіонінгу, а парк не повинен реєструвати нічогісінько.\nПотім змусь щось перевіряти підписи, бо ніщо з наведеного вище нічого не варте, доки клієнт не відкине відповідь. На Linux це означає DNSSEC=yes у systemd-resolved або справжній резолвер, що валідує, на loopback, і ніколи allow-downgrade, який атакувальник, здатний підробляти відповіді, може просто вимкнути, підробивши відповідь. На Windows це означає прийняти, що DNS-клієнт сам ніколи нічого не валідує, і правилом NRPT змусити його вимагати відповідь, яку провалідував резолвер, захистивши останній відрізок, бо ця вимога є одним бітом. Спершу ввімкни це на резолверах і стеж за SERVFAIL, автоматизуй DS, потім примушуй клієнтів. Воно відмовляє в закритий бік, і це правильний бік, але все одно відмова.\nНічого з цього не екзотика. Це делегування, передавання і підписування, три речі, які DNS робив завжди, розставлені так, щоб машина, яка тримає твій каталог, не була машиною, що приймає запитання з автостоянки, і щоб, коли щось таки збреше клієнту, клієнт це помітив.\n","permalink":"https://blogs.damiendye.uk/uk/dns/samba4-securing-ad-records-with-dnssec/","summary":"Кожна машина, приєднана до домену, знаходить свій контролер домену, питаючи DNS про запис SRV, тож локатори _msdcs є найкритичнішими для безпеки записами, які в тебе є. Ось як правильно публікувати й підписувати їх із DC Samba4: BIND із dlz_bind9, що читає каталог, inline signing, прихований первинний сервер, до якого клієнти ніколи не дістаються, і динамічні оновлення клієнтів, винесені за межі зони з локаторами. А потім як змусити клієнтів Windows і Linux справді перевіряти підписи, бо підписана зона, яку ніхто не валідує, поводиться точнісінько як непідписана.","title":"Samba4 і захист записів AD за допомогою DNSSEC"},{"content":"Відсік, що бере будь-що Аргумент на користь трирежимного адаптера справді добрий, і його варто як слід викласти, перш ніж розбирати на частини.\nКупи шасі з бекплейном U.3 і трирежимним контролером, і кожен відсік для дисків стає універсальним. У слот 0 можна поставити диск SAS 24G, у слот 1 дешевий завантажувальний SATA, у слот 2 SSD NVMe Gen4, а адаптер домовиться з тим, що там опиниться. Broadcom називає цей кремній Tri-Mode SerDes; стандарт відсіку зветься SFF-TA-1001, відомий як U.3, і він визначає спільний роз’єм для SAS x1/x2, SATA та NVMe на x1, x2 або x4. Керування описує SFF-TA-1005, Universal Backplane Management: так корпус з’ясовує, з чим він насправді говорить, і запалює потрібні індикатори активності.\nДля того, хто специфікує сервери, це розв’язує справжню й дратівливу проблему. Більше не треба вирішувати протокол сховища на етапі замовлення, тримати два артикули шасі чи раптом з’ясовувати, що відсіки під NVMe це чотири ліворуч, а твої диски пішли в інші двадцять. Один номер деталі покриває весь парк, і господарство на SAS може переходити на NVMe по одному диску, а не по одному шасі.\nНічого з цього не маркетинг. Саме тому ці адаптери й продаються, і вдавати інакше було б безглуздо.\nАле гнучкість не безплатна, і рахунок оплачують не фунтами. Його оплачують чергами.\nЩо насправді відбувається з диском SSD NVMe це кінцевий пристрій PCIe. У сервері з прямим підключенням його чотири лінії йдуть до кореневого комплексу CPU, через ретаймер чи комутатор PCIe, але електрично й логічно це пристрій на шині PCIe. Ядро його перелічує, прив’язує драйвер nvme, і відтоді драйвер говорить із регістрами диска напряму.\nПостав той самий диск за трирежимний адаптер, і це перестає бути правдою.\nЛінії диска тепер закінчуються на контролері. Документація Broadcom називає відповідний блок PCIe device bridge, і слово «міст» тут робить багато роботи: це не прозорий комутатор, що пересилає транзакції твого CPU до диска, який той ще бачить. Кінцевим пристроєм PCIe, який перелічує твій хост, є адаптер. Диск це ціль, що висить по той бік, і мікропрограма контролера заново породжує кожен запит вводу-виводу.\nNVMe з прямим підключенням проти тих самих дисків за трирежимним адаптером Пряме підключення За трирежимним адаптером Кореневий комплекс CPU Кореневий комплекс CPU x4 x4 x4 x4 чотири незалежні лінки близько 7 ГБ/с кожен, паралельно x8 Gen4 усе нижче ділить це Трирежимний контролер єдиний пристрій PCIe, який бачить хост NVMe NVMe NVMe NVMe nvme0n1 nvme1n1 nvme2n1 nvme3n1 NVMe NVMe NVMe NVMe sda sdb sdc sdd драйвер nvme пара черг на ядро CPU, на кожен диск пропускна здатність росте з дисками драйвер mpt3sas: диски є цілями SCSI глибина черги 128, один пул тегів на всіх пропускна здатність упирається в адаптер Ті самі чотири диски, підключені двома способами. Ліворуч кожен диск має власні чотири лінії до кореневого комплексу. Праворуч лінії зупиняються на адаптері, і все нижче ділить один аплінк x8 і один контролер. Тож адаптер не пропускає твої команди NVMe. Він їх закінчує і говорить із диском від твого імені.\nЗвідси питання: яким протоколом він говорить із тобою?\nОС ніколи не бачить диска NVMe SCSI.\nВстав SSD NVMe у трирежимний HBA від Broadcom, і він з’явиться не як /dev/nvme0n1. Він з’явиться як /dev/sdb, прив’язаний до mpt3sas, того самого драйвера, що вже понад десять років керує контролерами SAS від LSI. nvme list нічого не повертає. lsblk -o NAME,TRAN показує транспорт sas. Для кожного шару стеку сховища вище драйвера ти купив диск SAS.\nЦе не вада і не обмеження мікропрограми, яке колись виправлять. Це задум. Подати все як ціль SCSI саме і є тим, як один адаптер обслуговує три протоколи: контролер зводить SAS, SATA і NVMe до однієї моделі пристрою, а хост отримує один драйвер, один шлях перелічення, один набір інструментів. Гнучкість у рекламі і подання через SCSI в dmesg є тим самим архітектурним рішенням, на яке дивляться з різних кінців.\nПокоління 9500 і 9600 таки додають механізм пропускання, щоб інструменти постачальника могли дістатися до адміністративних команд NVMe диска, і новіші частини Broadcom набагато краще показують стан диска, ніж 9400. Але це бічний канал керування. Шлях даних, кожне читання й запис, що їх видає твоє навантаження, досі йде стеком SCSI.\nА стек SCSI має модель черг, старшу за флеш на двадцять років.\nМодель черг, від якої ти щойно відмовився Це та частина, що справді коштує тобі продуктивності, і про неї варто говорити точно, бо причина не в тому, що «NVMe швидший за SAS».\nГоловне проєктне рішення NVMe було не в швидшому дроті. Воно було в тому, щоб перестати вдавати, ніби пристрій зберігання є однією послідовною річчю.\nСпецифікація дозволяє до 65 535 пар черг вводу-виводу, і цю цифру наводить кожне пояснення NVMe. Це не те число, за яке варто хапатися. Жоден диск не реалізує нічого близького, тож будь-хто, хто справді дивився на робочу систему, може відмахнутися від порівняння, і матиме рацію. Справжнє число менше, непоказне, і доводить суть краще.\nТож ось справжній диск. Не корпоративний: OEM-SSD SK Hynix на 256 ГБ, з тих, що їх впаюють у ноутбук середнього класу, у 16-ядерній машині.\n$ nproc 16 $ cat /sys/class/nvme/nvme0/queue_count 17 $ ls /sys/block/nvme0n1/mq | wc -l 16 $ cat /sys/block/nvme0n1/queue/nr_requests 1023 Сімнадцять черг: одна адміністративна і шістнадцять черг вводу-виводу на шістнадцять ядер. Кожна завглибшки 1023 команди. Відповідність один до одного: кожна апаратна черга прив’язана рівно до одного CPU:\n$ cd /sys/block/nvme0n1/mq \u0026amp;\u0026amp; grep -H . */cpu_list 0/cpu_list:1 1/cpu_list:9 2/cpu_list:3 3/cpu_list:11 ... Один CPU на чергу, до самого низу: апаратна черга 0 обслуговує ядро 1 і більше нічого.\nОсь що на практиці означає «у NVMe багато черг». Не 65 535, а одна на ядро, скільки б ядер у тебе не було. Linux створює пару черг на кожен CPU, аж до того, скільки дасть контролер, а контролери дають набагато більше, ніж є ядер у типовому сервері, тож на практиці число дорівнює кількості ядер. Постав цей диск у 64-ядерну машину, і отримаєш 64.\nСаме з цього поділу по ядрах і береться продуктивність:\nЯдро подає запит у власну чергу. Без блокування, бо жодне інше ядро її не торкається. Кожна черга має власний вектор MSI-X, прив’язаний до цього ядра. Переривання завершення повертається на те ядро, що видало запит, де вже лежать потрібні рядки кешу. Усі шістнадцять ядер можуть працювати одночасно, ніколи не змагаючись за спільну структуру. Паралелізм росте разом із кількістю ядер, і робота жодного ядра ніколи не стоїть у черзі за чужою. Так робить дешевий споживчий диск. Це базовий рівень.\nТепер подивися, що отримує диск за адаптером. Числа нижче не оцінки, а константи в основному драйвері mpt3sas.\nГлибину черги на пристрій задає ioc-\u0026gt;max_nvme_qd, яку драйвер бере з того, що повідомляє мікропрограма контролера, а інакше відкочується до типового значення часу компіляції в drivers/scsi/mpt3sas/mpt3sas_base.h:\n#define MPT3SAS_SATA_QUEUE_DEPTH\t32 #define MPT3SAS_SAS_QUEUE_DEPTH\t254 #define MPT3SAS_RAID_QUEUE_DEPTH\t128 #define MPT3SAS_NVME_QUEUE_DEPTH\t128 128. Пристрій, здатний тримати десятки тисяч незавершених команд, отримує глибину черги 128, і зверни увагу: це менше за типові 254 для SAS двома рядками вище. Можливості самого диска в рішенні не беруть участі. Число приходить від контролера.\nЗ кількістю апаратних черг ще гірше, і драйвер цього не приховує. З mpt3sas_scsih.c:\nshost-\u0026gt;nr_hw_queues = 1; if (shost-\u0026gt;host_tagset) { shost-\u0026gt;nr_hw_queues = ioc-\u0026gt;reply_queue_count - ioc-\u0026gt;high_iops_queues; ... dev_info(\u0026amp;ioc-\u0026gt;pdev-\u0026gt;dev, \u0026#34;Max SCSIIO MPT commands: %d shared with nr_hw_queues = %d\\n\u0026#34;, shost-\u0026gt;can_queue, shost-\u0026gt;nr_hw_queues); } Прочитай уважно, бо тут відбуваються три окремі речі.\nТипово апаратна черга одна. nr_hw_queues = 1. Багато черг буває лише на контролерах gen35 з увімкненою функцією host_tagset, і навіть тоді це те, що власна історія комітів драйвера описує як імітовані численні апаратні черги: обладнання контролера вводу-виводу має одну чергу подання з кількома чергами відповідей, а blk-mq натягують поверх цього.\nКількість черг приходить від контролера, а не від кількості ядер. Це reply_queue_count мінус черги high-IOPS, тобто те, скільки векторів MSI-X виділив адаптер. Вона не має нічого спільного з тим, скільки в тебе CPU, і не росте, коли додаєш диски. Це точна протилежність диска вище, де кількість черг і була кількістю ядер.\nІ пул тегів спільний. host_tagset означає рівно те, що написано: один пул тегів на весь адаптер хоста, і той рядок журналу прямо каже «shared». Кожен диск на карті бере з того самого набору слотів команд. У шасі на двадцять чотири відсіки двадцять чотири диски змагаються за теги одного контролера.\nПостав їх поруч. Той ноутбучний SSD мав шістнадцять приватних черг по 1023, по одній на ядро, і відповідав лише собі. Той самий диск за адаптером отримує частку черг відповідей карти, 128 незавершених команд і двадцять трьох сусідів, що черпають із того самого пулу.\nПари черг NVMe на ядро проти одного спільного пулу тегів адаптера Черги множаться з ядрами Диски ділять один пул ядро 0 ядро 1 ядро 2 ядро 3 SQ + CQ SQ + CQ SQ + CQ SQ + CQ глибина 1023 глибина 1023 глибина 1023 глибина 1023 SSD NVMe /dev/nvme0n1 одна пара подання й завершення на ядро власний вектор MSI-X, завершення на тому ж ядрі без блокувань, без змагання між ядрами ядро 0 ядро 1 ядро 2 ядро 3 Трирежимний контролер черги відповідей беруться з векторів MSI-X карти, а не з кількості твоїх ядер один спільний пул тегів на всі диски sda sdb sdc sdd qd 128 qd 128 qd 128 qd 128 і ще 20 відсіків черпають з того самого пулу. 128 незавершених на пристрій, хоч би що міг диск нові диски ділять фіксований ресурс Ліворуч: одна пара черг на ядро, приватна і завглибшки 1023, а переривання завершення повертається на ядро, що подало запит; виміряно на диску вище. Праворуч: усі ядра зведені в черги відповідей контролера, черпають з одного спільного пулу тегів, і кожен диск обмежено 128. Тож утрата не в тому, що SCSI повільний. Сучасний SCSI на blk-mq у порядку. Утрата структурна:\nЧерги належать адаптеру, а не диску. Додаючи диски, ти ділиш фіксований ресурс, а не збільшуєш його. Пул тегів спільний на весь хост. Один диск під важким навантаженням може заморити голодом інші так, як це просто неможливо, коли кожен диск має власні черги. Глибину на пристрій обмежено 128, хоч би що диск міг витримати. Локальність переривань слабшає. Завершення приходять на ту чергу відповідей, яку використав контролер, а не обов’язково на ядро, що подало запит. За глибини черги 1 чи 2, коли однопотоковий процес час від часу щось читає, нічого з цього не помітно. Ти виміряєш ту саму затримку в обох випадках, у межах шуму. Штраф з’являється саме там, де ти купував NVMe, щоб допомогти: багато ядер видають багато одночасних запитів. Що глибше навантаження, то більша частина диска, за яку ти заплатив, лишається недосяжною.\nАплінк це один слот x8 Модель черг це тонка проблема. Стеля пропускної здатності очевидна, і її можна прочитати у власних описах продуктів Broadcom без жодного бенчмарка.\nHBA серії 9500 це карта x8 PCIe Gen 4.0. Опубліковані Broadcom цифри для неї: 13 700 МБ/с на послідовному читанні блоками 256K і 3 млн IOPS на випадковому читанні 4K. Той самий опис каже, що вона підтримує до 32 пристроїв NVMe.\nПостав ці два числа поруч, і питання відповідає саме на себе: скільки дисків треба, щоб вичерпати адаптер?\nНебагато, і щороку менше. SSD Gen4 x4 дає приблизно 7 ГБ/с. SSD Gen5 x4 приблизно 14. Обидва звичайні деталі у 2026 році: Gen4 заповнює ринок уживаних U.2, а Gen5 ти отримуєш, купуючи нове.\nСтеля Дисків Gen4, щоб її досягти Дисків Gen5, щоб її досягти HBA 9500: 13 700 МБ/с послідовно 2 1 HBA 9500: 3 млн IOPS (4K RR) 3 1–2 eHBA 9600: 6,4 млн IOPS (4K RR) ~6 ~3 MegaRAID 9600: 1,1 млн IOPS RAID 5 (4K RW) ~1 ~1 Прочитай верхній рядок ще раз. Один SSD Gen5 вичерпує всю послідовну стелю HBA 9500. Один диск, у карті, розрахованій на тридцять два. Усе, що далі, це місткість. Не продуктивність.\nА нижній рядок мав би зупинити замовлення: на MegaRAID поточного покоління повна полиця NVMe в RAID 5 дає приблизно стільки, скільки один звичайний диск сам по собі.\nДиски навіть не підключаються на x4 Під спільним аплінком є другий обмежувач, його легко проґавити, бо він сидить у таблиці специфікацій, а не в заголовку.\nPERC 12 User\u0026rsquo;s Guide від Dell, що охоплює трирежимні контролери H965i, каже:\nSupports drive speeds for NVMe drives are 8 GT/s (Gen 3) and 16 GT/s (Gen 4) at maximum x2 lane width.\nКожен диск NVMe отримує дві лінії, а не чотири. Тож ще до будь-якої боротьби за аплінк, до пулу тегів, до трансляції в SCSI диск Gen4 уже опускається приблизно до 3,5 ГБ/с, половини того, що він може. Постав у цей відсік диск Gen5, і він домовиться до Gen4 x2 та дасть приблизно чверть своєї номінальної пропускної здатності.\nВарто точно сказати, що це змінює, а що ні. Це не означає, що адаптера вистачає надовше. Щоб заповнити аплінк 9500, треба близько чотирьох дисків, обмежених x2, замість двох, але лише тому, що кожен диск дає вдвічі менше. Вузьке місце переїхало з аплінку вниз, на лінк диска. Загальне, що можна витиснути, не покращилося.\nЗ прямим підключенням ті самі тридцять два диски мали б кожен власний шлях x4 до кореневого комплексу, на тому поколінні, про яке домовляться диск і CPU.\nРядок RAID 5 у тій таблиці заслуговує окремого погляду, бо це власне число Broadcom, і його опубліковано без прикрас. З опису серії 9600:\n900K to 1.1M RAID 5 IOPS (4K RW)\nRAID з парністю в мікропрограмі контролера це найдорожче, що можна попросити від трирежимної карти, і ось поточне покоління за цією роботою. Варто прочитати, перш ніж хтось специфікує RAID 5 на двадцяти чотирьох дисках NVMe і чекатиме продуктивності двадцяти чотирьох дисків.\nКількість дисків проти двох трирежимних стель: карта x8 Gen4 і карта x16 Gen5 0 15 30 45 60 75 90 сумарно, ГБ/с 1 2 3 4 5 6 диски NVMe Gen5 напряму: близько 14 ГБ/с кожен Gen4 напряму: близько 7 ГБ/с кожен поза досяжністю обох карт PERC13, Gen5 x16: виміряно 52,5 ГБ/с HBA 9500, Gen4 x8: 13,7 ГБ/с 2 диски Gen4 досягають 9500, 4 диски Gen5 досягають навіть PERC13 Цифри постачальника й оглядів, тут не виміряні. 9500 розраховано на 32 пристрої NVMe, PERC13 на 16. Обидві карти ще й підключають кожен диск на x2, чого ці лінії прямого підключення не роблять. Скільки дисків треба, щоб вичерпати адаптер, проти двох стель. Два диски Gen4 досягають HBA 9500; чотири диски Gen5 досягають навіть PERC13. Карти розраховано на тридцять два і шістнадцять пристроїв відповідно. А як щодо карти x16? Очевидне заперечення до всього вище: 9500 це карта x8 Gen4, і стеля є наслідком вузького лінку до хоста. Дай адаптеру шістнадцять ліній Gen5, і проблема зникне.\nЗаперечення чесне, і воно заслуговує найсильнішого прикладу, а не солом’яного опудала. Тож візьмімо PERC13 H975i від Dell: поточне покоління, і приблизно найкраще, що буває серед трирежимних. Його посібник користувача вказує «Gen 4 and Gen 5 PCIe x16 host interfaces», а StorageReview виміряв 52,5 ГБ/с і 12,5 млн IOPS на контролер, на до шістнадцяти дисків NVMe.\nЦе серйозні числа, і вони суттєво змінюють картину. Проти 13 700 МБ/с і 3 млн IOPS у 9500 це приблизно вчетверо більша пропускна здатність і вчетверо більше IOPS, розкладені на вдвічі меншу кількість дисків. Dell не просто розширив трубу: вони ще й удвічі зменшили розгалуження, і коефіцієнт перепідписки від цього покращився. Особливо щодо IOPS: 12,5 млн на шістнадцять дисків це близько 780K на диск, що близько до того, що звичайний диск дає сам. На цьому етапі контролер справді не те, що тебе стримує.\nТож віддаймо належне: сучасна трирежимна карта x16 Gen5 набагато кращий інженерний виріб, ніж x8 Gen4, і якщо пропускна здатність була твоїм єдиним запереченням, x16 здебільшого на нього відповідає.\nТри речі вона не виправляє.\nДиски досі підключаються на x2. Оце мене здивувало. Посібник PERC13, описуючи контролер Gen5 x16, досі каже:\nSupports drive speeds for NVMe drives are 8 GT/s (Gen 3), 16 GT/s (Gen 4), and 32 GT/s (Gen 5) at maximum x2 lane width.\nШирший лінк до хоста не розширює лінки до дисків нижче. Кожен диск NVMe на найновішому, найшвидшому трирежимному RAID-контролері, який продає Dell, досі підключено двома лініями замість чотирьох, і він досі віддає половину своєї пропускної здатності ще до того, як станеться будь-що інше.\nМодель черг зовсім не зачеплено. Ніщо в розділі цього допису про черги не залежить від ширини лінку до хоста. nr_hw_queues береться з виділення черг відповідей MSI-X контролера; глибина 128 на пристрій є константою драйвера й мікропрограми; пул тегів спільний на весь хост, бо так каже host_tagset. Розшир лінк до хоста до x16, x32, до чого завгодно: диски досі є цілями SCSI, що ділять черги карти, досі немає /dev/nvme0n1, і ти досі не можеш віддати диск у ВМ.\nІ x16 не створює пропускну здатність, він розгалужує лінії, які в тебе вже були. Ось аргумент, що справді все вирішує. Шістнадцять ліній Gen5 у PERC13 дають тобі 52,5 ГБ/с, поділені на шістнадцять відсіків. Ті самі шістнадцять ліній, підключені напряму до чотирьох дисків Gen5 на x4, дають приблизно 56 ГБ/с на чотири відсіки: ту саму пропускну здатність із тих самих ліній, тільки кожен диск отримує повні x4, власну пару черг на ядро і справжній вузол пристрою nvme.\nТож чесно описати трирежимну карту x16 можна не як «швидший адаптер». Це мультиплексор ліній: він перетворює фіксований бюджет ліній на більше відсіків для дисків і бере з тебе за це перетворення модель черг. Чи вигідна ця угода, залежить від одного. Відсіки чи паралелізм.\nЩо буває, коли заповнюєш усі відсіки Що приводить нас до випадку, який справді важить, бо ніхто не купує шасі на 24 відсіки, щоб поставити в нього чотири диски.\nПісля точки насичення сумарна лінія пласка. Додаючи диски, додаєш місткість, і більше нічого, тож продуктивність на диск падає як 1/N. За реалістичної кількості дисків ця арифметика безжальна:\nДисків на HBA 9500 Сумарно На диск Частка диска Gen4 2 13,7 ГБ/с 6,9 ГБ/с 98 % 12 13,7 ГБ/с 1,14 ГБ/с 16 % 24 13,7 ГБ/с 0,57 ГБ/с 8 % Подивися на нижній рядок. Двадцять чотири диски NVMe за HBA 9500 дають близько 570 МБ/с кожен. SSD SATA дає близько 550. Ти купив двадцять чотири диски NVMe, заплатив за трирежимний контролер, щоб їх підключити, і прийшов до пропускної здатності на диск класу SATA.\nАрифметика IOPS має ту саму форму: 3 млн на двадцять чотири диски це по 125K, проти 1 млн, які звичайний диск Gen4 дає сам, тобто близько восьмої частини того, чим ти володієш.\nКарта x16 помітно це покращує, але не рятує. PERC13 з усіма шістнадцятьма дисками дає 52,5 ГБ/с ÷ 16 = 3,3 ГБ/с на диск, або приблизно 23 % диска Gen5, і це ще до того, як лінк x2 знову поділить це навпіл.\nДва ефекти за великої кількості дисків гірші, ніж підказує ділення:\nГолодування тегів зачіпає інші пристрої. Спільний пул тегів хоста означає, що один диск під важким навантаженням може забрати слоти, потрібні іншим дискам. Двадцять чотири пристрої, кожному з яких номінально дозволено 128 незавершених команд, разом хочуть 3072, і всі беруть з одного can_queue контролера. Блокування на голові черги між окремими дисками є режимом відмови, якого просто не існує, коли кожен диск володіє своїми чергами. Перебудови б’ють по всьому. Перебудова парності на заповненій полиці насичує єдиний спільний аплінк, тож передній план вводу-виводу до кожного іншого диска на карті деградує водночас. З дисками на незалежних лініях і програмним RAID перебудова змагається за CPU, а не за одну трубу. Коли нічого з цього не важить Є важлива противага, і через неї чимало трирежимних серверів на 24 відсіки працюють цілком щасливо.\nСтеля адаптера кусає лише тоді, коли щось нижче за течією може спожити більше, ніж він дає. Сервер з 2 × 25GbE має 6,2 ГБ/с мережі: він не заповнить навіть HBA 9500. Якщо ці двадцять чотири диски є шаром місткості, що роздає файли через цей лінк, адаптер і близько не вузьке місце, і арифметика на диск вище не має значення.\nВажити це починає тоді, коли споживач стає швидшим за карту: 100GbE (12,5 ГБ/с) сам по собі ставить тебе врівень із усією послідовною стелею 9500, а локальні навантаження (бази даних, компіляція, аналітика, хости віртуалізації із завантаженими гостями) взагалі не мають мережі на шляху.\nТож питання щодо заповненої полиці не «чи повільний адаптер», а «що це споживатиме, і чи може воно спожити більше, ніж дає карта?» Якщо відповідь лінк 25GbE, не хвилюйся. Якщо відповідь 100GbE, NVMe-oF чи локальна база даних, карта є твоїм вузьким місцем, і кількість дисків робить гірше.\nЩо ще зникає Крім пропускної здатності, подання диска NVMe як диска SCSI означає, що специфічні для NVMe частини твого інструментарію перестають працювати:\nПряме підключення За трирежимним адаптером Вузол пристрою /dev/nvme0n1 /dev/sdb Драйвер nvme mpt3sas / mpi3mr nvme-cli Працює Нема з чим говорити Дані про стан Сторінки журналу NVMe SMART Трансльовані сторінки журналу SCSI Керування просторами імен Так Ні Оновлення мікропрограми nvme fw-download Інструмент постачальника через контролер Форматування / очищення NVMe Format NVM Відповідники SCSI, якщо реалізовані Апаратні черги Одна пара на ядро (16 на машині вище) Черги відповідей карти, спільні для всіх дисків Глибина черги 1023 на чергу 128 на пристрій Один наслідок підловлює людей досить часто, щоб назвати його окремо: ти не можеш прокинути окремий диск у віртуальну машину. Для passthrough PCIe диск має бути кінцевим пристроєм PCIe з власною групою IOMMU, а за трирежимним адаптером він ним не є: єдиний наявний пристрій PCIe це контролер. Можна прокинути весь адаптер з усіма дисками на ньому, або нічого. Якщо твій план передбачав віддати певні диски NVMe певним гостям, рішення щодо бекплейна вже ухвалило це за тебе.\nТо кому це справді потрібно у 2026 році? Ось де аргумент з початку цього допису має зустрітися з важчим питанням, бо світу, під який його задумали, здебільшого вже немає.\nТрирежимність задумали тоді, коли NVMe був дорогим шаром, який додавали до господарства на SAS. У 2026 році все навпаки: NVMe є типовим, корпоративних дисків U.2 на вторинному ринку багато і вони дешеві, а «змішані SAS, SATA і NVMe в одному шасі» описує дедалі менше справжніх розгортань. То хто ж це купує?\nЗдебільшого ніхто, і свідомо. Чесна відповідь така: більшість трирежимних контролерів ніхто не обирав. Вони просто приїхали, бо постачальник сервера ставить такий, а ставить він його тому, що один артикул бекплейна U.3 дає йому продавати конфігурації з SAS, SATA і NVMe з того самого шасі. Це перемога ланцюга постачання для OEM. Для твоєї продуктивності вона не робить нічого, і тому її ніколи так і не продавали.\nТри класичні виправдання вже погано тримаються:\n«Мені потрібні змішані типи дисків». Рідко в тому самому шасі, і навіть коли так, трирежимність не єдиний шлях. Звичайний SAS HBA для обертових дисків плюс NVMe, підключений до кореневого комплексу, дає тобі обидва, і жоден не штрафується. Змішане господарство не означає змішаного контролера.\n«Мені бракує ліній PCIe». Це був справжній аргумент у 2019 році, на 40-лінійних платформах з 24 відсіками. Односокетний Epyc Genoa чи Turin має 128 ліній. Двадцять чотири диски на x4 це 96. Дефіциту, що виправдовував зведення дисків за одним контролером, майже не лишилося, а де він є, комутатор PCIe робить цю роботу без закінчення протоколу.\n«Відсіки мають бути універсальними». Цей варто розібрати обережно, бо саме ним найчастіше виправдовують не той компонент. U.3 це стандарт бекплейна, а не вимога до контролера. Бекплейн U.3 можна підключити кабелями прямо до ліній PCIe CPU замість трирежимного контролера, і постачальники документують обидві топології. Можна залишити універсальні відсіки і прибрати податок. Якщо тобі дістався трирежимний сервер, найцінніше, що можна перевірити, це чи можна перекомутувати бекплейн напряму.\nЩо насправді лишається:\nАпаратний RAID за великої щільності, коли його вимагає політика чи платформа: вимога аудиту, матриця підтримки, розгортання Windows чи ESXi без програмного шару, що зробив би цю роботу. Це справжній ринок, що лишився, це єдиний випадок, коли ти купуєш рушій RAID, а не підключення, і на поточному кремнії це спроможний продукт: шістнадцять дисків NVMe в апаратному RAID 5 з кешем під захистом суперконденсатора, з шістнадцяти ліній, це те, чого пряме підключення взагалі запропонувати не може. Великі обсяги на SAS HDD, де £/ТБ досі рішуче за обертовими дисками. Але це робота звичайного SAS HBA, і дешевшого. Дуже велика кількість відсіків і зовнішні корпуси, де експандери SAS сягають далі й ширше, ніж PCIe. Навантаження, що ніколи не йдуть углиб. Якщо твої глибини черг однозначні, нічого з цього не помітно. Чимало справжніх систем цілком щасливо тут живуть. Є ще простий експлуатаційний аргумент: один тип корпусу, один драйвер, одна запчастина на полиці, і для хоста віртуалізації загального призначення це чогось справді варте. Тільки оціни це чесно проти того факту, що, згідно з таблицею вище, один диск Gen5 може вичерпати всю послідовну стелю карти.\nКоли це не той інструмент Обмін стає поганим пропорційно тому, скільки паралельності має твоє навантаження.\nCeph найочевидніший випадок. Вузол сховища запускає один OSD на диск, кожен із власними пулами потоків, усі видають запити водночас, а потім клієнти цілого кластера навантажують їх паралельно. Це найгірший випадок для спільного пулу тегів: двадцять чотири демони змагаються за слоти команд одного контролера, кожен диск обмежено 128 незавершеними, усе зведено через один аплінк x8. Постав ці диски прямо на кореневий комплекс, і кожен OSD отримає власні черги, власні теги і власні лінії. У вузла Ceph цілком на NVMe не повинно бути трирежимного адаптера на шляху даних.\nТа сама логіка стосується цілей NVMe-oF, де ти переекспортуєш диски і кожен шар серіалізації накопичується; баз даних з глибоким асинхронним вводом-виводом; і всього, що побудовано на io_uring чи SPDK, які існують саме для того, щоб використовувати черги на ядро, які адаптер щойно відібрав.\nЗагальне правило: що більше паралелізму твоє ПЗ мало використовувати за задумом, то більше бере з тебе за це трирежимний адаптер.\nЯк дізнатися, що в тебе є Якщо тобі дістався сервер і ти хочеш знати, по який бік цього ти стоїш:\n# What is the transport? \u0026#34;nvme\u0026#34; is direct, \u0026#34;sas\u0026#34; means it went through a controller lsblk -o NAME,TRAN,MODEL,SIZE # Is there a tri-mode controller in the machine at all? lspci -nn | grep -Ei \u0026#39;sas|megaraid|serial attached\u0026#39; # Which driver claimed the disk? ls -l /sys/block/sdb/device/driver # Per-device queue depth — 128 is the mpt3sas NVMe default cat /sys/block/sdb/device/queue_depth # How many hardware queues does this device actually get? ls /sys/block/sdb/mq/ | wc -l ls /sys/block/nvme0n1/mq/ | wc -l # compare against a direct-attached drive # On a direct-attached drive, what did the controller actually grant? # One admin queue plus one I/O queue per core, so expect nproc + 1 cat /sys/class/nvme/nvme0/queue_count nproc # The driver says it out loud at load time dmesg | grep -i \u0026#39;nr_hw_queues\u0026#39; Остання команда друкує рядок Max SCSIIO MPT commands: N shared with nr_hw_queues = M, процитований раніше. Якщо nvme list порожній на машині, про яку тобі казали, що вона вся на флеші NVMe, причина в адаптері.\nКоротко Трирежимний адаптер перетворює твої диски NVMe на диски SCSI. Це перетворення не побічний ефект. Це те, як одна карта обслуговує три протоколи, і саме це ти купуєш.\nТе, від чого ти відмовляєшся, конкретне й вимірюване: пари черг на ядро замінено спільними чергами відповідей контролера, глибина на пристрій 128, пул тегів, поділений між усіма дисками на карті, лінк x2 там, де диск хотів x4, і один спільний аплінк там, де кожен диск раніше мав власний шлях до кореневого комплексу. Адаптер перестає бути з’єднанням і стає вузьким місцем, і на поточному обладнанні стає ним швидко: два диски Gen4 досягають HBA 9500, чотири диски Gen5 досягають навіть PERC13.\nШирший лінк до хоста допомагає (карта x16 Gen5 має приблизно вчетверо більшу пропускну здатність і IOPS, ніж x8 Gen4), але форми не змінює. Він купує відсіки, а не паралелізм: ті самі шістнадцять ліній, підключені прямо до чотирьох дисків, дають ту саму пропускну здатність без жодного податку на черги. І заповнену полицю він не рятує. Двадцять чотири диски за 9500 отримують близько 570 МБ/с кожен, тобто стільки, скільки дає SSD SATA.\nУ 2019 році, коли NVMe був шаром, який додавали до господарства на SAS, а платформам бракувало ліній, це був розумний обмін. У 2026 році здебільшого ні. NVMe є типовим, уживані диски U.2 дешеві, односокетний Epyc має ліній із запасом, а єдина перевага, що досі стоїть, універсальні відсіки для дисків, належить бекплейну U.3, а не контролеру. Дуже часто можна залишити відсіки і прибрати податок, підключивши бекплейн кабелями прямо до CPU.\nТож купуй трирежимний адаптер, якщо купуєш його рушій RAID і він тобі потрібен. Не купуй його заради гнучкості, а якщо він тобі дістався в шасі, повному NVMe, піди й з’ясуй, як підключено той бекплейн.\nНемає сенсу платити двічі за диски, якими потім не можеш як слід користуватися.\n","permalink":"https://blogs.damiendye.uk/uk/hardware/tri-mode-adapters-nvme-as-sas/","summary":"Трирежимний адаптер дає кожному відсіку SAS, SATA чи NVMe: це справжня гнучкість і причина, чому існують бекплейни U.3. Чого він не рекламує, так це того, що твої диски NVMe перестають бути дисками NVMe: вони приходять у Linux як SCSI-диски на mpt3sas, з глибиною черги 128, одним спільним пулом тегів і одним аплінком x8. Два диски Gen4 насичують карту. Один диск Gen5 уже за її межею. Чи має цей обмін сенс у 2026 році і чому універсальні відсіки належать бекплейну, а не контролеру.","title":"Трирежимні адаптери купують гнучкість ціною твоїх черг NVMe"},{"content":"Припущення, яке Ansible зазвичай може собі дозволити Майже кожен модуль Ansible, яким ти користувався, працює так: Ansible під’єднується до хоста, названого в інвентарі, копіює на нього невелику програму на Python, запускає її і зчитує результат. Хост є і тим, що змінюють, і тим, що виконує роботу.\nСтворення віртуальної машини ламає це в найбазовіший спосіб. Хоста, який ти будуєш, не існує. У нього немає IP, немає демона SSH, немає Python і немає операційної системи. Під’єднуватися нема до чого.\nТож community.proxmox не є агентом конфігурації. Це API-клієнт, який просто постачається як колекція Ansible. Відтак усе в цьому дописі випливає з цього одного факту: де виконуються задачі, як передати облікові дані, чому повторний запуск робить не те, чого ти чекаєш, і чому --check каже тобі неправду.\nПриклади тут скорочено з плейбука, який будує VM з Windows і Linux із записів NetBox: proxmox-create-vms.yml. Для читабельності я узагальнив назви вузла, сховища і мосту; справжня версія лежить у тому репозиторії.\nУсе, що я стверджую нижче про поведінку модулів, перевірено на community.proxmox 1.6.0, тобто на версії, яку я встановив:\n$ ansible-galaxy collection list community.proxmox # /home/damien/.ansible/collections/ansible_collections Collection Version ----------------- ------- community.proxmox 1.6.0 Спершу: колекція переїхала Якщо ти читаєш старіший плейбук чи старішу відповідь, модулі там називалися community.general.proxmox_kvm. Тепер вони живуть в окремій колекції, і саме там іде розробка. Версія 1.6.0 містить 47 модулів, що охоплюють Ceph, SDN, файрвол, правила HA і приєднання до кластера, і жодного з них не було в часи community.general.\nansible-galaxy collection install community.proxmox pip install \u0026#39;proxmoxer\u0026gt;=2.0\u0026#39; requests Залежність від Python не опціональна й не вбудована: колекція оголошує requirements: [\u0026quot;proxmoxer \u0026gt;= 2.0\u0026quot;, \u0026quot;requests\u0026quot;], і їх треба встановити там, де модуль насправді виконується, а це, як пояснює наступний розділ, не вузол Proxmox.\nrequirements.yml, якщо хочеш зафіксувати версію:\n--- collections: - name: community.proxmox version: \u0026#34;\u0026gt;=1.6.0\u0026#34; Колекцію тестують на ansible-core від 2.17 до 2.20. Перейменування твоїх задач community.general.proxmox_* на community.proxmox.proxmox_* становить більшу частину міграції.\nКожна задача Proxmox виконується на localhost Два рядки на початку play виконують основну роботу, і обидва виглядають так, ніби вимикають щось корисне:\n- name: Create Proxmox virtual machines hosts: \u0026#34;{{ target_hosts | default(\u0026#39;cluster_pve:\u0026amp;status_planned\u0026#39;) }}\u0026#34; gather_facts: false serial: 1 gather_facts: false не є оптимізацією. Збирання фактів під’єднується до хоста з інвентарю, а хост з інвентарю це VM, яку ще не збудовано. Залиш його ввімкненим, і play впаде ще до першої задачі.\nДалі кожна задача Proxmox має delegate_to: localhost:\n- name: Create Proxmox VM delegate_to: localhost register: created_vm community.proxmox.proxmox_kvm: api_user: \u0026#34;{{ proxmox_user }}\u0026#34; api_password: \u0026#34;{{ proxmox_password }}\u0026#34; api_host: \u0026#34;{{ proxmox_api_ip }}\u0026#34; name: \u0026#34;{{ inventory_hostname }}\u0026#34; node: \u0026#34;{{ proxmox_api_host }}\u0026#34; ... Хост з інвентарю тепер просто ім’я і торба змінних. inventory_hostname стає назвою VM; її змінні описують машину, яку ти хочеш. До неї ніхто не під’єднується. Задача виконується на керівному вузлі, який відкриває HTTPS-сесію до api_host і надсилає опис VM.\nТи також побачиш, що це пишуть як local_action:, тобто старішим синтаксисом для того самого. Плейбук розбирання в тому репозиторії використовує його всюди. Вони рівнозначні. delegate_to це сучасне написання.\nЗапасний вихід вказує на вузол Деякі речі справді мають відбуватися на хості Proxmox, і такі задачі делегуються зовсім в інше місце:\n- name: Fail if no ISO file exists for the OS delegate_to: \u0026#34;{{ proxmox_api_host }}\u0026#34; ansible.builtin.stat: path: \u0026#34;{{ iso | replace(\u0026#39;isos:\u0026#39;, \u0026#39;/mnt/pve/isos/template/\u0026#39;) }}\u0026#34; register: iso_file failed_when: not iso_file.stat.exists Це справжнє з’єднання SSH до справжнього вузла, яке перевіряє справжній шлях на спільному сховищі, бо API залюбки прийме посилання на ISO, яке не вказує на жоден файл, а дізнатися про це краще зараз, ніж під час завантаження. Зверни увагу на хірургію рядків, яка перетворює посилання на сховище PVE (isos:iso/debian.iso) на шлях у файловій системі. Абстракція сховищ для stat недоступна.\nТож в одному play задачі виконуються в трьох різних місцях, і плутанина між ними є найпоширенішою причиною, чому такі плейбуки падають:\nДе насправді виконується кожна задача плейбука збирання Proxmox Керівний вузол Ansible delegate_to: localhost proxmox_kvm proxmox_vm_info proxmox_disk proxmox_access_acl кожен із них HTTPS-клієнт, а не агент proxmoxer \u0026#8805; 2.0 + requests встановлено тут, а не на вузлі gather_facts: false Вузол Proxmox: pve1 pvedaemon, REST API на порту 8006 qm, /etc/pve, сховище опис VM потрапляє сюди VM, яку ти створюєш ні IP \u0026#183; ні SSH \u0026#183; ні Python ні операційної системи в інвентарі це лише ім’я і торба змінних API SSH qm set stat нема до чого під’єднуватися лише в пізнішому play Три контексти виконання в одному play. Модулі Proxmox ніколи не торкаються ні вузла, ні гостьової системи: це HTTPS-клієнти, що працюють поруч із плейбуком. Запасний вихід через qm єдина частина, якій потрібен SSH до гіпервізора. Облікові дані і значення за замовчуванням, яке ось-ось зміниться Параметри автентифікації спільні для всіх модулів колекції через фрагмент документації, тож вони всюди однакові: api_host, api_user, а далі або api_password, або пара api_token_id / api_token_secret. Усі вони мають запасний варіант у змінних середовища: PROXMOX_HOST, PROXMOX_USER, PROXMOX_PASSWORD, PROXMOX_TOKEN_ID, PROXMOX_TOKEN_SECRET, PROXMOX_VALIDATE_CERTS. Це найчистіший спосіб повністю тримати секрети поза play.\nAPI-токен кращий вибір за замовчуванням. Він має обмежену область дії, його можна відкликати без зміни пароля людини, і йому можна дати саме ті привілеї, які потрібні плейбуку, а не ті, що випадково має якась особа:\n- name: Create Proxmox VM delegate_to: localhost community.proxmox.proxmox_kvm: api_host: \u0026#34;{{ proxmox_api_ip }}\u0026#34; api_user: ansible@pve api_token_id: automation api_token_secret: \u0026#34;{{ proxmox_token_secret }}\u0026#34; validate_certs: true ca_path: /etc/ssl/certs/pve-cluster-ca.pem Задай validate_certs явно, сьогодні. Власна документація колекції каже це прямо:\nCurrently defaults to false and changes default to true with community.proxmox 2.0.0.\nА отже, плейбук, який про це ніде не згадує, зараз не перевіряє TLS, і почне перевіряти, а значить і падати на самопідписаному сертифікаті, з яким постачається кожна свіжа інсталяція Proxmox, щойно хтось запустить --upgrade. Краще ухвалити це рішення свідомо, ніж отримати його посеред збирання. Якщо лишаєш самопідписаний сертифікат, напиши validate_certs: false і прийми це зауваження; якщо маєш нормальний ланцюжок, вкажи на нього через ca_path. Так чи інакше, це записано.\nМінімальне робоче створення Обріж робочу задачу до того, що справді визначає машину, і вона стає читабельною:\n- name: Create Proxmox VM delegate_to: localhost register: created_vm community.proxmox.proxmox_kvm: api_host: \u0026#34;{{ proxmox_api_ip }}\u0026#34; api_user: ansible@pve api_token_id: automation api_token_secret: \u0026#34;{{ proxmox_token_secret }}\u0026#34; validate_certs: true node: pve1 name: \u0026#34;{{ inventory_hostname }}\u0026#34; cores: \u0026#34;{{ vcpus | int }}\u0026#34; memory: \u0026#34;{{ memory }}\u0026#34; machine: q35 bios: ovmf ostype: l26 scsihw: virtio-scsi-single scsi: scsi0: \u0026#34;vmdata:32,format=qcow2,discard=on,ssd=1\u0026#34; sata: sata0: \u0026#34;isos:iso/debian-13-netinst.iso,media=cdrom\u0026#34; net: net0: \u0026#34;virtio,bridge=vmbr0\u0026#34; efidisk0: storage: vmdata format: raw efitype: 4m pre_enrolled_keys: true boot: \u0026#34;order=scsi0;sata0\u0026#34; agent: \u0026#34;enabled=1,fstrim_cloned_disks=1\u0026#34; onboot: true tags: - production Кілька речей про цю форму варто знати, перш ніж писати власну.\nПараметри пристроїв це синтаксис PVE всередині YAML. scsi, sata, net, virtio, ide мають тип dict з ключами scsi0, net0 і так далі, а значення це рядки параметрів через кому прямо з man qm: \u0026lt;storage\u0026gt;:\u0026lt;size\u0026gt;,option=value для диска, [model=]\u0026lt;enum\u0026gt;,option=value для NIC. Модуль їх не моделює; він їх пересилає. Коли щось відхилено, відповідь шукай у довіднику параметрів PVE, а не в документації Ansible.\nТи також побачиш, що їх пишуть як рядок JSON, а не як відображення YAML:\nnet: \u0026#39;{\u0026#34;net0\u0026#34;:\u0026#34;virtio,bridge={{ vlan_bridge }}\u0026#34;}\u0026#39; Працює і так, і так. Ansible приводить рядок для параметра типу dict. Форма JSON існує тому, що всю структуру легше згенерувати одним виразом Jinja. Форму відображення легше читати через пів року.\nboot має синтаксис двох поколінь. Модуль приймає застарілі літери, де boot: \u0026quot;cdn\u0026quot; означає «спробуй диск, потім CD-ROM, потім мережу». Сучасний PVE хоче явний упорядкований список, boot: \u0026quot;order=scsi0;sata0;net0\u0026quot;, який однозначно вказує, який саме диск. Застаріла форма досі працює. Явна форма це те, що тобі потрібно в новій роботі. Одна справжня пастка, захована в документації модуля: для мережевого завантаження з PVE 8.3.5 треба задати rng0.\nnuma і numa_enabled це різні параметри. numa_enabled це булеве значення, яке вмикає NUMA. numa це dict, що описує топологію (cpus, hostnodes, memory, policy). numa: true дає помилку типу, і на цьому легко втратити годину. Якщо тобі цікаво, чому все це важливо, вирівнювання NUMA в Proxmox розбирає саму проблему.\nmachine: q35 і bios: ovmf це правильні значення за замовчуванням, а не прикраса: повний аргумент тут.\nЯкщо пропустити vmid, модуль попросить в API наступний вільний ID. Зручно, і саме це безпосередньо спричиняє наступне.\nЧому serial: 1 «Отримай наступний вільний ID, а потім створи з ним VM» це два виклики API з проміжком посередині. Два воркери, що роблять це одночасно, можуть прочитати той самий вільний ID, і той, хто програв, отримає помилку або, ще гірше, сюрприз.\nserial: 1 робить фазу створення по одному хосту за раз. Це не швидко, і не мусить бути. Дорога частина побудови VM відбувається після того, як цей плейбук передає роботу далі. Парний play, який запускає готові VM, використовує serial: 5, бо під час запуску немає спільного лічильника, за який можна змагатися.\nЯкщо хочеш паралельності, виділяй VMID сам зі свого джерела істини і передавай його явно. Тоді немає ні циклу «прочитай, зміни, запиши», ні гонки.\nІдемпотентність не така, як ти чекаєш Цей розділ варто прочитати двічі, бо proxmox_kvm поводиться не так, як ansible.builtin.package.\nname не є ідентичністю. Назви VM не унікальні в межах кластера Proxmox, і модуль про це каже. З state: present і без vmid, якщо VM з такою назвою вже існує, модуль завершується з changed=false і msg: \u0026quot;VM with name \u0026lt;x\u0026gt; already exists\u0026quot; і нічого не робить. Він не порівнює твої параметри з реальністю. Він не сходиться. Він відмовляється.\nupdate за замовчуванням false. Тож якщо змінити memory: у плейбуку і запустити ще раз, нічого не станеться. VM залишає пам’ять, з якою її збудували, задача повідомляє про успіх, і ніщо ніде не скаже тобі, що вони розійшлися.\nupdate: true і далі відмовляється від цікавих параметрів. З документації модуля:\nBecause of the operations of the API and security reasons, I have disabled the update of the following parameters net, virtio, ide, sata, scsi. Per example updating net update the MAC address and virtio create always new disk…\nupdate_unsafe: true знімає це обмеження, і попередження тут не для краси:\nUse this option with caution because an improper configuration might result in a permanent loss of data (for example disk recreated).\nТож диск, який ти начебто збільшував, можуть замінити новим порожнім. Не берися за це: для відхилених параметрів є власні модулі, і про них наступний розділ.\nІ --check нічого з цього не покриває. Колекція оголошує підтримку режиму перевірки для кожного модуля окремо, і вона непослідовна саме в найгіршому напрямку:\nМодуль check_mode diff_mode proxmox_kvm немає немає proxmox_disk немає немає proxmox_template немає немає proxmox_snap повна немає proxmox_nic повна немає proxmox_pool повна немає Поділ не такий, що «модулі лише для читання можуть, модулі для запису ні»: proxmox_nic створює і видаляє інтерфейси і цілком справно дотримується режиму перевірки. Річ у тім, що три модулі, які мають справу зі сховищем і життєвим циклом VM, цього не роблять. Запуск плейбука збирання з --check мовчки пропускає створення VM, а потім звітує про світ, у якому VM так і не створили, тож кожна наступна задача міркує про неправильний стан. Для плейбука збирання --check не є страховкою, і вважати його такою гірше, ніж не запускати зовсім.\nЩо насправді робить другий запуск proxmox_kvm другий запуск: state: present, і VM з такою назвою існує модуль ніколи не порівнює твої параметри із запущеною VM update: false за замовчуванням changed = false \u0026#8220;VM with name \u0026lt;x\u0026gt; already exists\u0026#8221; зміни пам’ять у play, запусти знову, і ніщо ніде тобі не скаже update: true зводить більшість ядра, пам’ять, теги, agent, onboot застосовано net, virtio, ide, sata, scsi, efidisk0, tpmstate0 відхилено навмисно для них proxmox_disk і proxmox_nic update_unsafe: true зводить усе відхилені параметри теж застосовано параметр диска може перестворити диск безповоротна втрата даних це задокументований ризик --check нічого не каже check_mode: none задачу пропущено кожна пізніша задача міркує про світ, де VM так і не створили Лише два з чотирьох щось зводять, а той, що охоплює диски, саме той, що може їх знищити. Тож сам перевіряй існування і стався до створення як до одноразової події. Що насправді робить другий запуск. Лише два з чотирьох шляхів узагалі щось зводять до потрібного стану, а єдиний, що охоплює диски, саме той, який може їх знищити. Тож зроби існування воротами З огляду на все це, робочий шаблон такий: перестати вимагати від модуля ідемпотентності і самому вирішувати, чи будувати. Робочий плейбук робить це так:\n- name: Check if VM is present or manually built delegate_to: localhost community.proxmox.proxmox_vm_info: api_host: \u0026#34;{{ proxmox_api_ip }}\u0026#34; api_user: \u0026#34;{{ proxmox_user }}\u0026#34; api_password: \u0026#34;{{ proxmox_password }}\u0026#34; name: \u0026#34;{{ inventory_hostname }}\u0026#34; config: current register: existing_vm ignore_errors: true failed_when: (existing_vm.proxmox_vms | length) == 0 - name: Configure Proxmox VM when: existing_vm is failed block: - name: Create Proxmox VM ... proxmox_vm_info з config: current повертає VM та її живу конфігурацію або порожній список. failed_when перетворює «порожній список» на збій, ignore_errors: true не дає цьому збою завершити play, а when: existing_vm is failed стає умовою «VM немає, будуй».\nВикористовувати навмисно провалену задачу як булеве значення читається погано, і я не вдаватиму, що це не так. Альтернатива: when: (existing_vm.proxmox_vms | default([]) | length) == 0, що чесно є перевіркою довжини і не потребує ignore_errors. Обидва варіанти працюють. Версія вище стоїть у продакшні, і її єдина справжня перевага в тому, що зареєстрований результат містить наявну конфігурацію, яку можуть прочитати пізніші задачі.\nВажлива тут форма, а не написання: перевір, потім розгалузь, і стався до створення як до одноразової події. Поточна конфігурація VM це зовсім інша проблема, ніж існування VM, і цей модуль добрий лише в другій.\nДля дисків і NIC є власні модулі Ось те, що я вище пропустив, і воно змінює всю картину: параметри, які proxmox_kvm відмовляється оновлювати, не є прогалиною в колекції. Їх делеговано. community.proxmox.proxmox_disk і community.proxmox.proxmox_nic додають, змінюють і видаляють саме те, чого модуль створення не торкнеться, і ключами для них є ті самі назви scsi0 і net0, які ти використав, коли будував VM.\nОбидва поводяться краще за proxmox_kvm, а один із них єдиний модуль у цьому процесі, який можна запустити насухо.\nproxmox_nic: додати, перетегувати чи видалити інтерфейс - name: Move the VM\u0026#39;s primary NIC to a new bridge and VLAN delegate_to: localhost community.proxmox.proxmox_nic: api_host: \u0026#34;{{ proxmox_api_ip }}\u0026#34; api_user: ansible@pve api_token_id: automation api_token_secret: \u0026#34;{{ proxmox_token_secret }}\u0026#34; vmid: \u0026#34;{{ created_vm.vmid }}\u0026#34; interface: net0 bridge: vmbr1 tag: 120 model: virtio mtu: 1 queues: 4 firewall: true state: present interface єдиний обов’язковий параметр, окрім автентифікації, net[n], де n від 0 до 31, а state: present або absent дає додавання і видалення. model за замовчуванням virtio, і це правильна відповідь, якщо гостьова система з ним справляється.\nЦей модуль існує через MAC-адресу. Згадай, чому proxmox_kvm відмовляється оновлювати net: «updating net update the MAC address». proxmox_nic явно це виправляє:\nWhen not specified this module will keep the MAC address the same when changing an existing interface.\nТож ти можеш перетегувати VLAN, перенести міст, змінити MTU чи ввімкнути файрвол так, щоб ідентичність NIC гостьової системи під нею не змінювалася. Це важливіше, ніж звучить: нова MAC скасовує резервації DHCP, ламає все, що ліцензовано на мережеву карту, і розсинхронізує запис інтерфейсу в NetBox, який плейбук створення так ретельно записав. Це модуль, завдяки якому мережева зміна на другий день стає нудною.\nКілька параметрів, які варто знати, ще до того як вони знадобляться:\nrate вимірюється в MBps, мегабайтах за секунду, а не в бітах. Документація про це каже прямо, і помилку у вісім разів дуже легко зробити. link_down: true від’єднує інтерфейс, що в документації описано як «like pulling the plug». Чистий спосіб ізолювати підозрілу VM, не зупиняючи її і не торкаючись гостьової системи. trunks приймає список ID VLAN для пропускання, для гостьової системи, яка тегує сама. mtu: 1 не друкарська помилка і не MTU в 1 байт: це означає «успадкувати MTU мосту», і застосовується лише до virtio. queues задає multiqueue, від 0 до 16. Варто узгодити з кількістю vCPU на всьому, що пропускає справжній трафік. І він повністю підтримує режим перевірки. --check на задачі proxmox_nic каже правду, тож це єдина частина цього процесу, яку можна безпечно відрепетирувати. Його повідомлення теж справді ідемпотентні. Незмінений інтерфейс повідомляє Nic net0 unchanged on VM with vmid 103, а не заявляє про зміну.\nproxmox_disk: увесь життєвий цикл диска proxmox_disk найбільший модуль із трьох, і його state виконує п’ять різних робіт:\nstate Що відбувається Зворотне? present створити диск або оновити параметри наявного н/д resized збільшити його: PVE не вміє зменшувати, і документація каже робити це вручну ні detached стає unused[n]; том і його дані лишаються так moved змінити сховище або передати диск іншій VM оригінал лишається, якщо немає delete_moved absent видалено зі сховища ні Різниця між detached і absent це та страховка, якої proxmox_kvm тобі ніколи не дає. Від’єднання змінює конфігурацію; видалення знищує дані. Два різні слова, два різні наслідки.\nДодавання другого диска до VM, яка вже існує:\n- name: Add a data disk delegate_to: localhost community.proxmox.proxmox_disk: api_host: \u0026#34;{{ proxmox_api_ip }}\u0026#34; api_user: ansible@pve api_token_id: automation api_token_secret: \u0026#34;{{ proxmox_token_secret }}\u0026#34; vmid: \u0026#34;{{ created_vm.vmid }}\u0026#34; disk: scsi1 storage: vmdata size: 200 format: qcow2 iothread: true aio: io_uring discard: \u0026#34;on\u0026#34; ssd: true backup: true state: present create це перемикач, який мав би бути в proxmox_kvm. Він визначає, що дозволено робити state: present:\nregular (за замовчуванням): створити диск, якщо його немає, інакше оновити його параметри. disabled: лише оновити параметри і ніколи не створювати. Саме цей варіант бери, коли змінюєш cache чи iothread на диску, який мусить уже існувати. Він не здивує тебе, створивши новий том через помилку в ключі. forced: завжди створювати. Наявний диск від’єднується і лишається невикористаним, а не видаляється. Ця остання поведінка і є важливою деталлю. create: forced виглядає руйнівним параметром, але все одно нічого не знищує: старий том зберігається як unusedN, і його можна під’єднати назад. Порівняй із proxmox_kvm разом з update_unsafe, чий задокументований сценарій збою це перестворений диск. Приблизно та сама операція, набагато менший радіус ураження.\nЗбільшення диска:\n- name: Grow the data disk by 100 GiB delegate_to: localhost community.proxmox.proxmox_disk: api_host: \u0026#34;{{ proxmox_api_ip }}\u0026#34; api_user: ansible@pve api_token_id: automation api_token_secret: \u0026#34;{{ proxmox_token_secret }}\u0026#34; vmid: \u0026#34;{{ created_vm.vmid }}\u0026#34; disk: scsi1 size: \u0026#34;+100G\u0026#34; state: resized Стеж за одиницями, бо значення size змінюється разом зі state. З state: present це GiB у вигляді голого числа (size: 200). З state: resized воно приймає суфікс: +100G, щоб додати до поточного розміру, або 500G як абсолютну ціль. Один параметр, дві домовленості, і якщо вгадаєш неправильно, збій буде тихим.\nПеренесення диска на інше сховище, тобто випадок живої міграції одного тому:\n- name: Move the disk to NVMe storage delegate_to: localhost community.proxmox.proxmox_disk: api_host: \u0026#34;{{ proxmox_api_ip }}\u0026#34; api_user: ansible@pve api_token_id: automation api_token_secret: \u0026#34;{{ proxmox_token_secret }}\u0026#34; vmid: \u0026#34;{{ created_vm.vmid }}\u0026#34; disk: scsi1 target_storage: nvme-pool bwlimit: 200000 delete_moved: true timeout: 3600 state: moved target_storage переносить у межах однієї VM; target_vmid передає диск іншій VM і вимагає того самого сховища в обох. Вони взаємовиключні. delete_moved за замовчуванням false, тож за замовчуванням ти отримаєш дві копії, і оригінал лежатиме як невикористаний: безпечно, і добрий спосіб заповнити пул сховища, якщо ніколи до нього не повертатися.\ntimeout тут за замовчуванням 600, проти 30 у proxmox_kvm. Схожий на вигляд параметр, різниця у двадцять разів, бо ці операції копіюють дані. Збільшуй його для великих образів чи повільного сховища: документація каже це і для moved, і для import_from.\nЩо підводить нас до параметра, який робить цей модуль шляхом для V2V і хмарних образів:\nimport_from: \u0026#34;vmdata:9000/base-debian13.qcow2\u0026#34; import_from будує диск з наявного тому, а не виділяє порожній: \u0026lt;STORAGE\u0026gt;:\u0026lt;VMID\u0026gt;/\u0026lt;NAME\u0026gt; або \u0026lt;STORAGE\u0026gt;:import/\u0026lt;NAME\u0026gt; з використанням каталогу імпорту сховища на PVE 9.x і новіших. Він взаємовиключний із size, і абсолютні шляхи файлової системи може використовувати лише root.\nРешта списку параметрів і є причиною під’єднувати диски цим модулем, а не всередині виклику створення: cache, aio, iothread, discard, ssd, backup, detect_zeroes і вся родина обмеження швидкості: iops, iops_rd, iops_wr, їхні варіанти _max і _max_length, а також керування сплесками bps_*_max_length. Жоден із них не доступний через proxmox_kvm після створення.\nДва застереження, обидва з власної документації модуля:\nДеякі зміни параметрів потребують перезавантаження. «Some updates on options (like cache) are not being applied instantly and require VM restart.» Зелена задача означає, що конфігурацію записано, а не що запущена VM поводиться інакше. Він не підтримує режим перевірки. check_mode: none, як і в proxmox_kvm. Тож колекція ділиться навпіл: зміни NIC можна відрепетирувати з --check, зміни дисків ні. Розподіл праці Щоб зробити це Використовуй Створити VM proxmox_kvm, один раз, з воротами на існування Змінити ядра, пам’ять, теги, агент, onboot proxmox_kvm з update: true Додати, перетегувати, від’єднати чи видалити NIC proxmox_nic Додати, збільшити, перенести, від’єднати чи видалити диск proxmox_disk Знімок proxmox_snap (теж повний режим перевірки) Будь-що, чого жоден із них не відкриває qm set через SSH Змінити диск чи NIC через proxmox_kvm нічого: саме для цього існує update_unsafe, і саме тому ним не варто користуватися Збудуй VM мінімальним викликом proxmox_kvm, а потім під’єднай диски й інтерфейси їхніми власними модулями. Задач більше, і це та версія, де зміни другого дня мають шлях, який не проходить через параметр із задокументованим ризиком втратити диск.\nДе модуль зупиняється proxmox_kvm має величезний список параметрів і все одно не покриває всього, що вміє qm. Замість чекати, робочий плейбук переходить до CLI на вузлі:\n- name: Set RNG source and better SPICE quality delegate_to: \u0026#34;{{ proxmox_api_host }}\u0026#34; become: true ansible.builtin.command: cmd: \u0026gt;- /usr/sbin/qm set {{ created_vm.vmid }} --rng0 source=/dev/urandom --spice_enhancements videostreaming=all У цьому немає нічого поганого. Це не ідемпотентно в жодному значущому сенсі, бо qm set це запис, і він щоразу повідомлятиме changed, але це явно, читабельно і нічого не вдає. Якщо модуль згодом отримає цей параметр, задачу можна видалити.\nІнші речі потребують другого проходу через модуль з update: true, бо їх не можна задати в тому самому виклику, що створює VM:\n- name: Add SPICE-compatible USB device delegate_to: localhost community.proxmox.proxmox_kvm: api_host: \u0026#34;{{ proxmox_api_ip }}\u0026#34; api_user: \u0026#34;{{ proxmox_user }}\u0026#34; api_password: \u0026#34;{{ proxmox_password }}\u0026#34; node: \u0026#34;{{ proxmox_api_host }}\u0026#34; vmid: \u0026#34;{{ created_vm.vmid }}\u0026#34; usb: usb0: \u0026#34;spice,usb3=1\u0026#34; update: true when: spice_usb | default(false) Зверни увагу: передається vmid, а не name. Щойно маєш ID, використовуй його. Це єдиний ідентифікатор, який API вважає унікальним.\nА для того, що вміє QEMU, але для чого в PVE немає параметра, є args, який передається в командний рядок QEMU дослівно:\nargs: \u0026gt;- -global scsi-hd.physical_block_size=4k -global scsi-hd.logical_block_size=4096 Цей показує віртуальний диск як 4Kn, а не 512e, і це важливіше, ніж здається: розміри блоків, 4Kn і 512e. Модуль позначає args як «for experts only», і причина в тому, що PVE його не перевіряє, а поганий прапорець не дає VM завантажитися з помилкою, яка йде від QEMU, а не від Proxmox.\nКластер не одразу узгоджений - name: Let registration complete on cluster ansible.builtin.pause: seconds: 5 when: created_vm.changed pause у плейбуку зазвичай поганий знак, але цей несе навантаження. Виклик створення повертається, коли API прийняв опис, а це не те саме, що всі вузли погодилися, що VM існує, а вже наступна задача хоче задати ACL на /vms/\u0026lt;vmid\u0026gt;. П’ять секунд терпіння дешевші за цикл повторів навколо помилки, яка з’являється лише під навантаженням.\nПлейбук розбирання має ту саму форму з тієї самої причини: зупинити, зачекати, потім видалити.\nЗчитати назад те, що збудував proxmox_kvm документує три значення, що повертаються: vmid, status і msg. На практиці тобі знадобиться четверте, і його немає в документації.\n- name: Get MAC address of VM ansible.builtin.set_fact: primary_mac_addr: \u0026#34;{{ created_vm.mac.net0 }}\u0026#34; created_vm.mac справжнє: модуль будує його в get_vminfo() і вкидає в результат, але його немає в задокументованому блоці RETURN, а отже, ніщо не обіцяє, що воно й далі працюватиме. Варто точно знати, як воно поводиться, бо в ньому дві пастки:\nВоно з’являється лише тоді, коли модуль справді створив VM. mac збирається лише на шляху створення й розгортання. Піди гілкою «вже існує», і в результаті будуть vmid і msg, і більше нічого. Воно містить лише ті інтерфейси, які ти передав. Код проходить параметри, які надав ти, вибирає ті, що відповідають net[0-9], і для кожного зчитує збережену конфігурацію з API. Немає параметра net, немає ключа mac. Ось чому робочому плейбуку потрібні обидві половини, і друга негарна:\n- name: Get MAC address of VM ansible.builtin.set_fact: primary_mac_addr: \u0026gt;- {{ created_vm.mac.net0 if created_vm is defined and created_vm.changed else ((existing_vm.proxmox_vms[0].config.net0 | split(\u0026#39;,\u0026#39;))[0] | split(\u0026#39;=\u0026#39;))[1] }} Коли VM уже існувала, mac немає, тож MAC доводиться видлубувати з сирого рядка конфігурації. net0 приходить з API як virtio=AE:AE:5C:A8:89:85,bridge=vmbr0, тож: розбити за комами, взяти перше поле, розбити за =, взяти другу половину. Це хірургія рядків на відповіді API, і це чесна ціна модуля, чия форма результату залежить від того, якою гілкою він пішов.\nЯкщо MAC потрібна надійно в обох випадках, бери її з proxmox_vm_info безумовно і розбирай одну форму замість двох.\nКерування з джерела істини Ще раз поглянь на рядок, з якого починається play:\nhosts: \u0026#34;{{ target_hosts | default(\u0026#39;cluster_pve:\u0026amp;status_planned\u0026#39;) }}\u0026#34; Це і є справжня архітектура, і варто сказати це прямо: VM, які треба збудувати, не є списком у файлі змінних. Це хости в твоєму інвентарі, чий записаний статус каже, що вони мають існувати, а їх ще немає.\nІнвентар тут NetBox. VM замовляють, створюючи запис у NetBox зі статусом planned, де вказано CPU, пам’ять, диск, VLAN, власника і платформу. Плейбук вибирає машини planned, будує їх, виділяє IP, записує DNS, а потім ставить запису статус staged, і в цю мить цей хост більше не відповідає шаблону хостів play, а обробник оновлює інвентар, щоб наступний play побачив новий стан:\nhandlers: - name: Refresh inventory ansible.builtin.meta: refresh_inventory Поле статусу це скінченний автомат, плейбук один перехід у ньому, і все це можна запускати повторно, бо хост, який уже пішов далі, більше не вибирається. Це набагато краща властивість, ніж будь-яка ідемпотентність на рівні модуля, і саме тому задача створення може дозволити собі бути одноразовою.\ncommunity.proxmox також постачає власний плагін інвентарю, який будує інвентар з кластера, і це правильний вибір, коли джерелом істини є Proxmox. Тут навпаки: NetBox авторитетний, а Proxmox це місце, де втілюється його намір. Це тема для окремого допису, і я напишу його окремо.\nПрибрати все назад Створення без розбирання це пів життєвого циклу, і шлях видалення має власну пастку: не можна видалити запущену VM:\n- name: Force stop the VM if it is running delegate_to: localhost community.proxmox.proxmox_kvm: api_host: \u0026#34;{{ proxmox_api_ip }}\u0026#34; api_user: \u0026#34;{{ proxmox_user }}\u0026#34; api_password: \u0026#34;{{ proxmox_password }}\u0026#34; name: \u0026#34;{{ inventory_hostname }}\u0026#34; state: stopped force: true timeout: 10 - name: Allow the cluster to stop the VM before removing it ansible.builtin.pause: seconds: 10 - name: Remove the VM from the cluster delegate_to: localhost community.proxmox.proxmox_kvm: api_host: \u0026#34;{{ proxmox_api_ip }}\u0026#34; api_user: \u0026#34;{{ proxmox_user }}\u0026#34; api_password: \u0026#34;{{ proxmox_password }}\u0026#34; name: \u0026#34;{{ inventory_hostname }}\u0026#34; state: absent force: true timeout: 10 state: stopped означає м’яке вимкнення, і взаємодія з timeout задокументована, її варто запам’ятати: якщо тайм-аут досягнуто з force: true, VM вимикається жорстко; з force: false задача натомість падає. Десятисекундне вікно для м’якого вимкнення, а потім висмикнути вилку, розумна політика для машини, яку розбирають, і жахлива для всього іншого.\nПовне розбирання (proxmox-remove-vms.yml) потім розмотує решту запису: DNS, виділений IP, інтерфейси в NetBox, VM у NetBox і застарілі записи в known_hosts. Він обгортає блок в ignore_errors: true, що в розбиранні виправдано. Ти видаляєш речі, яких уже може не бути, а напіввидалена машина гірша за галасливий журнал.\nЩо я змінив би в новому збиранні Прочитавши вихідний код модуля, а не лише його документацію, п’ять речей:\nВикористовуй API-токен, а не api_user разом з api_password. Обмежена область дії, можна відкликати, і він ніколи не належить людині. Задай validate_certs явно, перш ніж 2.0.0 змінить його під тобою. Виділяй VMID сам із джерела істини. Це прибирає гонку «прочитай, зміни, запиши», дає змогу відмовитися від serial: 1 і дає кожній пізнішій задачі стабільний ідентифікатор замість назви, яка не унікальна. Створюй VM голою, а потім під’єднуй її диски й NIC через proxmox_disk і proxmox_nic. Задач більше, але тоді кожен диск і інтерфейс має модуль, який може змінити його пізніше, включно з create: disabled для правок лише параметрів і state: detached замість видалення, а не конфігурацію, яку можна змінити лише через update_unsafe. Бери MAC з proxmox_vm_info в одному місці, щоб розбирати одну форму замість умови між задокументованим і незадокументованим значенням. І не берися за --check на плейбуку збирання. Модуль, який має значення, не може його дотриматися.\nПробний запуск, який завжди каже «так», гірший за відсутність пробного запуску, бо ти йому повіриш.\nДжерела community.proxmox collection docs — уся поверхня з 47 модулів community.proxmox on GitHub — де лежить згаданий вище код; plugins/modules/proxmox_kvm.py це файл, який варто читати, коли документація неоднозначна proxmox_kvm module documentation — список параметрів і попередження update / update_unsafe, процитовані вище proxmox_vm_info module documentation — config: current і config: pending PVE qm options reference — справжня специфікація кожного рядка scsi[n], net[n] і boot, який ти передаєш proxmoxer — клієнт Python, на якому побудовано колекцію damo2929/ansible-example — плейбуки, з яких узято ці уривки, включно з інвентарем на основі NetBox, генерацією DHCP і збиранням гіпервізора ","permalink":"https://blogs.damiendye.uk/uk/ansible/proxmox-create-vms-community-proxmox/","summary":"Колекція community.proxmox є API-клієнтом, а не агентом конфігурації, і це змінює форму кожного плейбука, що її використовує. Де насправді виконуються задачі, чому proxmox_kvm відмовляється сходитися замість оновлювати, чому зміни дисків і NIC належать proxmox_disk і proxmox_nic, і незадокументоване значення, що повертається, яке тобі врешті знадобиться.","title":"Створення VM у Proxmox за допомогою Ansible: хоста, який ти будуєш, ще не існує"},{"content":"Питання, з якого починається кожна оцінка Proxmox «Чи Proxmox справді корпоративного рівня?»\nВоно виникає майже в кожній розмові про міграцію, і тривога під ним майже ніколи не стосується вебінтерфейсу. Ніхто всерйоз не боїться, що панель у браузері зіпсує його дані. Люди насправді питають, чи те, що стоїть між віртуальною машиною та залізом, тобто компонент, який має не пускати одного орендаря в пам’ять іншого, завжди і без жодної помилки, є серйозною інженерною роботою чи спільнотним проєктом, який просто став популярним.\nСаме через це й варто нервувати. Просто тривога спрямована не на той рівень, бо Proxmox VE не містить гіпервізора.\nГіпервізор це KVM. Він є частиною Linux, він там із 2007 року, і якщо твоя організація користується EC2, Google Cloud, Oracle Cloud, Alibaba Cloud, DigitalOcean чи Nutanix, ти вже сьогодні запускаєш його в продакшені. Тобі просто ніколи не доводилося про це думати, бо рівнями вище володів хтось інший.\nЦей допис про те, що насправді означає ця спільна основа. Обидві її половини: ту частину аргументу, яка справді тримається, і ту, яку перебільшують у слайдах вендорів.\nProxmox VE є рівнем керування Віртуалізація в Linux складається з чотирьох окремих рівнів, які створюють і підтримують чотири різні групи людей.\n1. Апаратні розширення віртуалізації. Intel VT-x з EPT або AMD-V з NPT. Кремній. Саме це дає гостьовій системі змогу запускати власне ядро з нативною швидкістю і з власними таблицями сторінок, без жодної емуляції інструкцій.\n2. KVM, гіпервізор. Модулі ядра: kvm.ko для архітектурно незалежного ядра плюс kvm-intel.ko або kvm-amd.ko для розширень вендора. Це компонент, який володіє межею ізоляції. Він налаштовує керувальні структури віртуальної машини гостя, обробляє виходи з ВМ, керує таблицями сторінок другого рівня і доставляє переривання.\n3. VMM, монітор віртуальних машин, у просторі користувача. У Proxmox VE це QEMU. Він будує віртуальну материнську плату: чипсет, топологію PCIe, диски, мережеві карти, послідовні порти, прошивку. KVM виконує CPU; QEMU вирішує, яке залізо, на думку гостя, у нього є.\n4. Рівень керування. Це і є Proxmox VE: pve-manager і pveproxy для API та інтерфейсу, qemu-server, щоб перетворити файл конфігурації ВМ на командний рядок QEMU, pve-container для LXC, pmxcfs поверх Corosync для реплікованої конфігурації кластера, pve-ha-manager для фенсингу й перезапуску, плюс стек брандмауера та SDN.\nЦі чотири рівні є і на платформі, з якої ти мігруєш, і виконують ті самі чотири завдання: vCenter є рівнем 4, VMkernel є рівнем 2. Я повернуся до цього порівняння, щойно всі частини будуть на столі.\nТі самі чотири рівні в Proxmox VE і у vSphere Proxmox VE VMware vSphere 4 \u0026#183; керування Proxmox VE pve-manager \u0026#183; pveproxy \u0026#183; qemu-server pmxcfs на Corosync \u0026#183; pve-ha-manager \u0026#183; SDN vCenter Server окремий аплаєнс: розмір, ліцензія, патчі й резервні копії 3 \u0026#183; модель пристроїв pve-qemu, у просторі користувача віртуальна плата: чипсет, PCIe, диски, NIC upstream QEMU + 78 патчів Proxmox 2 \u0026#183; гіпервізор \u0026#183; межа ізоляції KVM: kvm.ko + kvm-intel.ko / kvm-amd.ko вхід і вихід vCPU \u0026#183; EPT/NPT \u0026#183; переривання upstream Linux у збірці ядра Proxmox userworld VMX, по одному на ВМ I/O пристроїв, знімки, віддалена консоль простір користувача, не в ядрі VMkernel плюс VMM на кожен vCPU інструкції та пам’ять гостя Власні слова VMware про VMkernel: \u0026#171;a POSIX-like operating system\u0026#187; 1 \u0026#183; кремній Intel VT-x + EPT \u0026#183; AMD-V + NPT той самий кремній Ті самі чотири рівні з обох боків. Proxmox пише рівень 4, сильно патчить рівень 3, збирає ядро рівня 2, а сам KVM бере з upstream. VMware пише всі чотири і не дає тобі прочитати жоден. Що Proxmox насправді підтримує Рівнем 4 Proxmox VE володіє повністю. Але було б неправильно казати, що рівні 2 і 3 він лише пакує, і це найпоширеніше хибне уявлення про те, що робить компанія.\npve-qemu на момент написання несе 78 патчів проти upstream QEMU у своєму файлі series:\nЩо Proxmox додає до QEMU: 78 патчів, у масштабі extra/ bitmap-mirror/ pve/ 78 патчів, у масштабі 26 6 46 Перенесені виправлення з upstream. Вражаюча кількість є виправленнями безпеки в моделі пристроїв: перевірка stride у qxl і virtio-gpu, аварійне завершення intel_iommu з боку гостя, реентерабельний DMA в lsi53c895a і virtio-net. Режими синхронізації dirty-bitmap для drive-mirror. Власна робота Proxmox: savevm-async, формат VMA, блоковий драйвер PBS, pbs-restore, alloc-track, backup fleecing. Намальовано в масштабі з debian/patches/series. Більша частина черги є власною інженерною роботою Proxmox, і вся вона лежить на рівні 3: жоден із цих патчів не торкається kvm.ko. Вони також збирають власне ядро і підтримують пакування або патчі для більшої частини довколишнього стеку: pve-edk2-firmware для OVMF, плюс lxc, zfsonlinux, openvswitch, libiscsi, corosync-pve, lvm і ceph.\nТож справжня межа така: увесь рівень 4, значна інженерна робота всередині рівня 3 і ядро, яке вони компілюють. Чого вони не зробили, то це не написали гіпервізор. Код KVM рівня 2 є upstream Linux.\nІ ніщо з цього не є критикою Proxmox. Власне, саме тому компанії розміру Proxmox взагалі можна довірити цю роботу. Невелика компанія у Відні не сіла писати гіпервізор з нуля; вони побудувалися на тому, за супровід якого Intel, AMD, Red Hat, Google, Amazon і IBM уже платили інженерам, і витратили власні зусилля на рівень над ним та на інтеграційну роботу, якої цей рівень потребує. Саме там команда такого розміру може щось змінити, і черга патчів показує, що вони це роблять.\nЩо таке KVM насправді KVM розшифровується як Kernel-based Virtual Machine, і назва точна: це функція ядра, а не програма.\nЗавантаж модулі, і Linux отримає символьний пристрій /dev/kvm плюс невеликий набір викликів ioctl на ньому: KVM_CREATE_VM, KVM_CREATE_VCPU, KVM_SET_USER_MEMORY_REGION, KVM_RUN. Цей інтерфейс і є всім API гіпервізора. Усе, що може відкрити файловий дескриптор і викликати ioctl, може створювати віртуальні машини.\nЙого написав Avi Kivity у Qumranet, і його злили в Linux 2.6.20, випущений у лютому 2007 року, дев’ятнадцять років тому. Red Hat придбала Qumranet у 2008 році, і відтоді KVM постачається в кожному випуску ядра, у звичному для ядра ритмі дев’ять-десять тижнів. Його портовано далеко за межі x86: arm64, POWER, s390 на IBM Z і RISC-V.\nВажливий архітектурний момент полягає в тому, чому він маленький.\nУ KVM немає планувальника, бо він є в Linux. vCPU є звичайним потоком хоста, і completely fair scheduler ставить його на ядро, як будь-який інший потік. У нього немає менеджера пам’яті, бо він є в Linux. Оперативна пам’ять гостя є звичайним відображенням у просторі користувача, тож її можна витісняти, підкріплювати hugepages або розміщувати на вузлі NUMA тими самими механізмами, що й для будь-якого іншого процесу. У нього немає стеку драйверів, блокового рівня, мережевого стеку чи файлової системи, бо все це в Linux уже було, і саме з ними тестує твій постачальник заліза.\nЦе і є справжній аргумент про зрілість, і він набагато сильніший за номер версії. Кожне покращення балансування NUMA, кожна зміна в io_uring, кожен мережевий драйвер, кожен новий обхід помилок CPU, що потрапляє в Linux, потрапляє під твої віртуальні машини, бо немає окремого ядра гіпервізора, на яке хтось мав би це портувати.\nАргумент про тип 1 проводить межу не там Заперечення, яке надійно йде слідом, звучить так: KVM «лише гіпервізор типу 2». Він працює на хостовій ОС, на відміну від ESXi, який працює на голому залізі.\nЦя таксономія старша за апаратну віртуалізацію на три десятиліття, і те, навколо чого вона проводила межу, вже давно не там, де всі думають.\nЩо насправді відбувається, коли працює vCPU QEMU викликає ioctl(vcpu_fd, KVM_RUN). Керування переходить у kvm.ko, який завантажує стан CPU гостя і виконує VMLAUNCH. Від цієї інструкції до наступного виходу з ВМ гість виконується безпосередньо на фізичному ядрі, у гостьовому режимі, з власними таблицями сторінок, активними через EPT, на повній апаратній швидкості. Під ним нема нічого, що б щось інтерпретувало. «Хостова ОС» не на цьому шляху. Вона навіть не працює на цьому ядрі.\nКоли гість робить щось, що потребує обробки, CPU виходить до хоста і потрапляє в kvm.ko, у ядро, рівно на той рівень привілеїв, який займає VMkernel в ESXi. Більшість виходів розв’язуються просто там, із поверненням у гостя, і простір користувача навіть не залучається.\nШлях vCPU з QEMU в гостьовий режим і де зупиняються його виходи простір користувача ядро: ring 0 режим хоста гостьовий режим: VMX non-root QEMU: потік vCPU один звичайний потік хоста на vCPU kvm.ko вхід у ВМ \u0026#183; обробка виходів \u0026#183; EPT \u0026#183; переривання гість на фізичному ядрі власне ядро, власні таблиці сторінок через EPT на повній апаратній швидкості ioctl(KVM_RUN) VMLAUNCH вихід з ВМ розв’язано тут вихід у простір користувача Ніщо не інтерпретує гостя, і хост на цьому ядрі не працює. Де зупиняється вихід Розв’язується в ядрі \u0026#183; порушення EPT/NPT \u0026#183; запис у локальний APIC: з APICv часто без виходу \u0026#183; міжпроцесорне переривання, posted в залізі \u0026#183; doorbell virtio-net, його бере vhost-net Доходить до QEMU \u0026#183; доступ до регістра емульованого e1000 чи IDE \u0026#183; запис у конфігураційний простір PCI \u0026#183; усе, на що вміє відповісти лише QEMU Лише другий список платить за повний цикл у просторі користувача, і саме цей список ти скорочуєш, пристроями virtio і типом машини без застарілого заліза. Шлях, яким іде vCPU. Усе над пунктирною лінією є потоком хоста; усе під нею є гостем на голому кремнії. До QEMU доходять лише ті виходи, на які QEMU мусить відповісти. В ESXi такий самий поділ А тепер подивися на платформу, яка нібито доводить цю відмінність.\nВласна архітектурна документація VMware описує VMkernel як «a POSIX-like operating system», що надає «process creation and control, signals, file system, and process threads». Це операційна система, за описом її автора. А запущена ВМ в ESXi не є чимось усередині ядра: вона є групою процесів userworld: VMM на кожен віртуальний CPU, який віртуалізує інструкції гостя і керує його пам’яттю, і процес VMX на кожну ВМ, який обробляє введення-виведення пристроїв, не критичних для продуктивності, і спілкується з менеджером знімків та віддаленою консоллю.\nПрочитай це, тримаючи в голові QEMU. Контекст виконання на кожен vCPU в ядрі, процес у просторі користувача на кожну ВМ, що займається емуляцією пристроїв і керуванням. VMware розділила це з тієї самої причини, що й усі інші.\nHyper-V нічим не відрізняється. Документація Microsoft прямо каже, що Virtual Machine Worker Process, vmwp.exe, є «a user mode component of the virtualization stack», що запускається на кожну ВМ, і що всі емульовані пристрої реалізовано в ньому, і працює він у кореневому розділі, яким є Fisher-Price OS (Windows). Навіть Xen, архітектура, якій таксономія пасує найкраще, потребує для роботи Linux загального призначення в dom0, а модель пристроїв для повністю віртуалізованих гостей бере з QEMU.\nТо де ж межа? Критерієм ніколи не було «чи використовує він простір користувача». Таксономія Голдберга з початку 1970-х питає, чи гіпервізор є застосунком, що працює на вже наявній операційній системі, яка вже володіє залізом і займається плануванням. Це тип 2, хостований гіпервізор: VMware Workstation, VirtualBox, Parallels Desktop, звичайний QEMU без прискорення. Ти встановлюєш ОС загального призначення, потім установлюєш на неї програму, і ця програма просить в ОС пам’ять і час CPU, як будь-яка інша програма.\nKVM не такий. kvm.ko не є програмою поверх Linux. Він є частиною Linux, виконується на тому самому рівні привілеїв, що й код, який володіє залізом, і коли гість виходить, він потрапляє саме туди. Під гіпервізором немає хостової ОС. Ядро і є гіпервізором. Proxmox VE постачає це ядро як систему, точно так, як ESXi постачає VMkernel як систему.\nА версію «йому потрібен простір користувача, отже, це тип 2» врятувати неможливо, бо якщо застосовувати її послідовно, під неї потрапляє все. Жодна ВМ не працює на ESXi без свого процесу VMX, жодна на Hyper-V без vmwp.exe, жодна на Xen як HVM-гість без QEMU. Тест, який кладе кожен наявний на ринку гіпервізор в один кошик, нічого не розрізняє.\nЯдро, що володіє віртуалізацією CPU і пам’яті Модель пристроїв у просторі користувача на кожну ВМ Потрібна вже наявна хостова ОС? VMware ESXi VMkernel VMX на кожну ВМ Ні Microsoft Hyper-V гіпервізор плюс кореневий розділ Fisher-Price OS (Windows) vmwp.exe Ні Xen гіпервізор Xen плюс Linux у dom0 QEMU, у dom0 або в stub-домені Ні KVM kvm.ko QEMU Ні VirtualBox, VMware Workstation ядро хоста, через установлений драйвер сам застосунок Так Чотири продукти, одна форма, а потім п’ятий рядок, який справді інший. Саме для опису цього останнього рядка вигадали «тип 2», і це єдиний, де залізом уже керувало щось інше.\nТож таксономія все ще проводить межу. Просто зовсім не там, де припускає аргумент: KVM і ESXi по один бік від неї. Назвати KVM типом 2 означає взяти слово з категорії VirtualBox і застосувати його до чогось, що архітектурно належить до категорії ESXi.\nОтже, у процесі оцінки ця мітка не робить жодної корисної роботи, бо обидва продукти, між якими ти обираєш, лежать в одній коробці. Різниця не в номері типу. Вона в тому, що один вендор також написав ядро і не дає тобі його прочитати: це відмінність у ліцензуванні та прозорості, вбрана в одяг архітектурної діаграми. Nutanix показує це на комерційному прикладі: він постачає той самий код KVM, що й Proxmox, і описує AHV як bare-metal гіпервізор типу 1. Той самий код, протилежна мітка, інший відділ маркетингу.\nУ звинуваченні таки ховається справжня проблема, і вона заслуговує на кращу назву: ядро загального призначення виконує тисячу завдань, яких не виконує спеціалізоване, а це більше коду і більша поверхня атаки поряд із межею ізоляції. Це законно і вимірювано, і я повертаюся до цього ближче до кінця.\nДе насправді відбувається робота Єдине місце, де інстинкт «воно ж на хостовій ОС» має реальний сенс, це обробка виходів, тож варто чітко розуміти, куди йде який вихід.\nГість робить ось це Обробляє Вартість Звертається до сторінки, ще не відображеної в EPT/NPT kvm.ko, у ядрі Один вихід, мікросекунди Пише у свій локальний APIC Сам CPU, через APICv/AVIC Часто жодного виходу Надсилає міжпроцесорне переривання Posted interrupts в залізі Часто без виходу Передає дані через чергу virtio-net з vhost-net Потік ядра, без стрибка в простір користувача Один doorbell Читає регістр емульованого контролера e1000 чи IDE Аж до QEMU Вихід плюс повний цикл у просторі користувача Лише останній рядок хоч трохи схожий на карикатуру типу 2, і саме його ти прибираєш інженерно: використовуєш пристрої virtio і не показуєш емульоване застаріле залізо, яке тобі не потрібне. Та сама логіка стоїть за вибором Q35 замість i440fx: менше перехоплених звертань до регістрів, менше застарілих пристроїв для обходу.\nХостова ОС є перевагою, а не баластом Друга половина цього балансу ніколи не потрапляє в аргумент, тож ось вона: вузол Proxmox є машиною, на якій справді можна працювати. Це Debian, тож увесь архів Debian на відстані одного apt install.\nМоніторинг, який ти вже використовуєш: Prometheus node exporter, smartmontools, твій наявний агент, а не те, що вирішить показати аплаєнс. Діагностика, коли щось повільно: fio, iperf3, nvme-cli, perf, bpftrace. Агенти резервного копіювання від будь-якого вендора, що постачає бінарник для Linux. Керування конфігурацією, тож гіпервізор стоїть у тому самому інвентарі Ansible, що й усе інше, а не є особливим випадком. fwupd для прошивок, на залізі, вендор якого підтримує LVFS. Ніщо з цього не потребує формату плагінів, підписаного пакета чи благословення вендора. Порівняй із моделлю ESXi, де оболонку навмисно обмежено, сторонній код приходить як VIB, а менеджера пакетів, до якого можна дотягнутися, немає взагалі.\nЦе сягає стеку зберігання Агенти моніторингу є нудною версією цього. Власна документація Proxmox про зберігання перелічує нативні плагіни, dir, NFS, CIFS, CephFS, ZFS, BTRFS, LVM, LVM-thin, iSCSI, FC/SAS, RBD, ZFS-over-iSCSI, PBS, а потім додає речення, яке варто сприйняти буквально:\nyou may use all storage technologies available for Debian Linux\nЦе твердження про те, де проходить межа, і механізм за ним загальний: доведи блоковий пристрій до кожного вузла, поклади на нього LVM, додай його як сховище LVM з увімкненим shared. Саме так працюють підтримувані шляхи Fibre Channel та iSCSI, тож усе, що може дати спільний блоковий пристрій, може піти тим самим маршрутом.\nЧотири транспорти, один шлях до спільного сховища Proxmox транспорт що дає Linux що бачить Proxmox Fibre Channel / SAS нативний плагін iSCSI нативний плагін NVMe/TCP або RDMA без плагіна: nvme-cli ATA over Ethernet без плагіна: aoetools блоковий пристрій на кожному вузлі /dev/sdX \u0026#183; /dev/nvme0n1 група томів LVM shared: 1 тип сховища: lvm жива міграція по всьому кластеру Proxmox VE має розпізнати лише два блоки праворуч. Усе ліворуч від них є блоковим рівнем Linux, і йому байдуже, як з’явився пристрій. Два з цих транспортів мають плагін Proxmox, а два не мають нічого, і після другого блоку це не має жодного значення. Рівень LVM є тим місцем, де спільний LUN стає сховищем кластера, хоч би що його доставило. NVMe over TCP або RDMA є випадком, про який варто знати, бо він швидкий, сучасний і відсутній у тому списку плагінів. nvme-tcp і nvme-rdma є драйверами хоста в дереві Linux (NVMe/TCP є в mainline з 5.0), тож компілювати нічого не треба. nvme-cli є пакетом Debian (nvme discover, потім nvme connect), а nvmetcli налаштовує ціль nvmet у ядрі на іншому кінці. Підключений простір імен з’являється як /dev/nvmeXnY, і далі це звичайний блоковий пристрій.\nATA over Ethernet доводить те саме з протилежного кінця спектра: давній, маловідомий і так само непідтримуваний як плагін. Драйвер aoe є в mainline; aoetools дає тобі aoe-discover і aoe-stat; vblade перетворює будь-який файл чи блоковий пристрій на іншій машині на ціль. Той самий маршрут, той самий результат.\nЖоден із них не є API плагінів, SDK чи програмою сертифікації. Це те, що відбувається, коли рівень зберігання гіпервізора і є блоковим рівнем Linux.\nЧесні застереження, бо це виглядає як фокус, доки не настане третя ночі. Жоден із цих транспортів не є протестованим типом сховища Proxmox, тож інтеграція та її режими відмов, поведінка при перепідключенні, multipath, тайм-аути під навантаженням, на тобі: тобі їх і тестувати, перш ніж на цьому житиме щось важливе. А AoE є голим протоколом рівня 2, без маршрутизації і без автентифікації, тож йому місце в ізольованому VLAN для зберігання і більше ніде. NVMe/TCP принаймні має модель виявлення і може маршрутизуватися, і багато в чому саме тому зараз варто братися за нього.\nХто ще запускає KVM Ось звідки береться твердження «він у тебе вже працює». Кожна платформа нижче запускає той самий модуль ядра.\nПлатформа Де ти з нею стикаєшся Частина KVM VMM у просторі користувача Amazon EC2 (Nitro) Публічна хмара Основний модуль KVM Власний: QEMU прибрано, модель пристроїв у картах Nitro AWS Lambda, Fargate Serverless /dev/kvm Firecracker: мінімальний монітор microVM на Rust Google Compute Engine Публічна хмара KVM від самого запуску Власний VMM Google, навмисно не QEMU Alibaba Cloud ECS Публічна хмара Спрощений KVM (X-Dragon) Власний, мережа і зберігання винесені на карту MoC Oracle Cloud (OCI) Публічна хмара Oracle Linux KVM, той самий стек, який Oracle постачає для власних дата-центрів Похідний від QEMU DigitalOcean, Linode/Akamai, Vultr, Hetzner, OVHcloud, Scaleway, UpCloud Публічна хмара Стоковий KVM QEMU Nutanix AHV Власна HCI Стоковий KVM QEMU з libvirt і Open vSwitch OpenStack (Nova) Приватна хмара Стоковий KVM QEMU через libvirt, драйвер за замовчуванням і найкраще протестований Apache CloudStack, OpenNebula, oVirt Власна інфраструктура Стоковий KVM QEMU через libvirt OpenShift Virtualisation, SUSE Harvester Kubernetes Стоковий KVM QEMU усередині пода, через KubeVirt Proxmox VE Власна інфраструктура Стоковий KVM QEMU, а поруч LXC для контейнерів Усі лишають половину в ядрі й переписують половину в просторі користувача Гіперскейлери не форкнули KVM. Вони форкнули роботу QEMU.\nAWS перевела EC2 з Xen на гіпервізор Nitro, побудований на основному модулі ядра KVM, з повністю викинутим QEMU. Модель пристроїв натомість живе в спеціальних картах Nitro, і саме так вони отримують продуктивність, яку не відрізнити від голого заліза. Кожен тип інстансу EC2 поточного покоління працює на цьому. Окремо Lambda і Fargate запускають Firecracker, спеціально створений VMM на Rust, який говорить із тим самим /dev/kvm.\nGoogle запускає кожну ВМ Compute Engine на KVM із самого запуску Compute Engine і написала власний VMM у просторі користувача замість QEMU, прямо для того, щоб уникнути величезної матриці гостей, пристроїв і режимів QEMU. Вони також пішли іншим шляхом і зміцнили модуль ядра в upstream, прибравши емульовані пристрої, які нікому не були потрібні, і звузивши набір емульованих інструкцій. Ця робота є в тому KVM, який запускаєш ти.\nAlibaba зробила те саме з X-Dragon: урізаний гіпервізор KVM, віртуалізацію мережі та зберігання якого винесено на карту MoC на основі FPGA.\nNutanix AHV є KVM плюс libvirt плюс QEMU плюс Open vSwitch плюс оркестрація Nutanix: з усіх комерційних продуктів у тому списку це найближчий родич Proxmox VE. Інший рівень 4 і зовсім інший рахунок.\nП’ять платформ, п’ять моделей пристроїв, один KVM Amazon EC2Nitro Google CloudCompute Engine Alibaba CloudECS, X-Dragon NutanixAHV Proxmox VEна Debian керування пристрої гіпервізор залізо площина EC2 консоль і API за інстанс-годину площина GCE консоль і API за інстанс-годину консоль ECS і API за інстанс-годину Prism і AOS на кожному вузлі за вузол на рік pve-manager pveproxy, HA, SDN на кожному вузлі підписка за бажанням власний VMM, зовсім без QEMU пристрої живуть на картах Nitro власний VMM Google, навмисно не QEMU спрощений VMM, мережа й сховище винесені на карту MoC QEMU, libvirt і Open vSwitch QEMU, а поруч LXC KVM: kvm.ko, kvm-intel.ko / kvm-amd.ko межа ізоляції, і в кожній колонці це той самий код Intel VT-x + EPT \u0026#183; AMD-V + NPT Той самий модуль ядра в кожній колонці. Вгору стеком змінюється спочатку модель пристроїв, потім рівень керування, потім ліцензування, і саме в такому порядку ці платформи насправді й відрізняються. Proxmox VE лишає QEMU навмисно Таблицю спокусливо читати як рейтинг, де AWS і Google угорі, бо замінили QEMU. Це хибне прочитання, бо їхнє обмеження не твоє.\nAWS і Google працюють з одним апаратним профілем, у масштабі, де одна помилка в емуляції пристрою є подією для всього парку, і вони контролюють кожну межу гостьового образу, яка їх цікавить. У такому світі широта QEMU майже повністю є тягарем, тож видалити його очевидно правильно.\nТи не в такому світі. У тебе є образ аплаєнса 2013 року, якому потрібен e1000. У тебе є ВМ із Fisher-Price OS (Windows), тип машини якої має лишатися зафіксованим до кінця її життя. У тебе є GPU для прокидання, емульований SAS-контролер, щоб задовольнити інсталятор, сховище змінних UEFI, яке треба зберегти. QEMU саме те, що дає платформі загального призначення змогу сказати на все це «так».\nТе, що AWS називає поверхнею атаки, ти називаєш матрицею сумісності. Обидва описи точні; різниця в тому, чи можеш ти обирати свої навантаження.\nЦе також пояснює форму тієї черги патчів. AWS і Google розв’язали резервне копіювання і знімки поза VMM, у власних сервісах зберігання. У Proxmox не було сервісу зберігання, щоб розв’язати це там, тож вони поклали це в QEMU, і саме тому savevm-async і блоковий драйвер PBS існують як патчі, а не як продукти.\nІ це варто знати з практичної причини: ті частини Proxmox VE, яких тобі найбільше бракуватиме, саме ті, яких немає в upstream. Конфігурації твоїх ВМ є звичайним текстом, а образи дисків мають стандартні формати, тож машина переїде. Але знімок зі станом RAM і інкрементальний ланцюжок Proxmox Backup Server залежать від форку QEMU від Proxmox. Це набагато легша залежність, ніж пропрієтарний гіпервізор, бо форк публічний, під AGPL, і ти можеш прочитати кожен патч у ньому, але вона не нульова, і фраза «жодної прив’язки на рівні програмного забезпечення» має нести цю примітку.\nТо чи він корпоративного рівня? Лінива форма цього аргументу не працює, і варто сказати це прямо. «AWS використовує KVM, отже Proxmox VE корпоративного рівня» є хибним висновком: він бере твердження про один рівень і тихо застосовує його до цілого продукту.\nОсь версія, яка тримається.\nСпільним є той рівень, який найважче зробити правильно і найнебезпечніше зробити неправильно. Віртуалізація CPU і пам’яті та межа ізоляції між орендарями є тією частиною, де помилка означає злам, а не простій. Цей код рецензують інженери, яким платять Amazon, Google, Red Hat, Intel, AMD, IBM і Alibaba, а його помилки знаходять ті, хто керує найбільшими парками у світі, зазвичай раніше, ніж ядро дійде до тебе. Коли вразливість виходу з гостя таки з’являється, виправлення приходить звичайним оновленням ядра, яке ти й так збирався встановити. Ти не чекаєш на цикл випусків одного вендора для гіпервізора, який бачить лише цей вендор.\nНе спільним є все, що над межею. А отже, питання зводиться до двох, на які відповісти набагато легше:\nЧи достатньо добрий рівень керування для того, як ти працюєш? Чи можеш ти купити для нього підтримку на умовах, з якими зможеш жити? Обидва можна перевірити в пілотному проєкті й записати в контракт. Жодне не вимагає віри в гіпервізор.\nЦе набагато краща позиція, ніж та, яку припускає початкове питання: що тебе просять довіритися новому гіпервізору від невеликого вендора. Не просять. Специфічний для Proxmox код є рівнем керування, переважно на Perl і дедалі більше на Rust, плюс та черга патчів до QEMU, і зверни увагу, куди лягають патчі: модель пристроїв і шлях резервного копіювання, а не межа ізоляції.\nТакож варто знати, чого тобі коштує збій специфічного для Proxmox рівня. Процеси QEMU є звичайними незалежними процесами на хості, тож падіння pveproxy не зупиняє жодної віртуальної машини. Це зовсім інший радіус ураження, ніж втрата компонента, який володіє межею ізоляції.\nЧого тобі не дає «той самий гіпервізор» Саме тут документи вендорів, що вселяють упевненість, зазвичай зупиняються, і це дещо каже про те, для кого їх написано. Це корисніша половина.\nВін не дає тобі надійності AWS. Доступність Nitro дуже мало пов’язана з KVM. Вона походить від площини керування, мережевої фабрики, сервісу зберігання, керування потужностями та операційної практики навколо всього цього. Надійність твого кластера походитиме від дизайну кворуму Corosync, конфігурації фенсингу, вибору сховища та резервування мережі. У KVM немає думки щодо жодного з них. Спільний гіпервізор із гіперскейлером не успадковує їхньої експлуатації.\nВін не дає тобі поверхні атаки Nitro, і саме тут влучає законна половина звинувачення в типі 2. Ти запускаєш QEMU на ядрі загального призначення, а історично саме в моделі пристроїв QEMU жили найпам’ятніші виходи з ВМ: VENOM, в емульованому контролері дискет, яким ніхто не користувався, є канонічним прикладом. Google тоді могла зазначити, що Compute Engine не постраждав саме тому, що не запускає QEMU. Ти його запускаєш, тож компенсаційні заходи на тобі: віддавай перевагу virtio над емульованим залізом, не показуй пристроїв, які тобі не потрібні, не чіпай профілі AppArmor і оновлюй QEMU з тією самою дисципліною, що й ядро. Патчі extra/ від Proxmox саме так і роблять це за тебе, і цілком розумно перевіряти, чи вони досі це роблять.\nВін не робить поведінку ВМ переносною між платформами. Вибір моделі CPU, версіонування типу машини, сумісність живої міграції та поведінка годинника вирішуються на рівнях 3 і 4, і вони всюди різні. Кластер зі змішаними поколіннями CPU все одно покарає тебе за тип CPU host, а годинники гостей усе одно дрейфують, хоч би який логотип стояв на платформі. Той самий гіпервізор не означає ту саму поведінку.\nВін не відповідає на питання підтримки, а саме воно цікавить закупівлі, і цілком слушно. Proxmox VE розповсюджується під AGPLv3, і запускати його в продакшені безкоштовно. Підписка купує протестований корпоративний репозиторій і підтримку вендора, від €120 за сокет на рік. Власна підтримка Proxmox працює в робочі години Австрії, тож цілодобове покриття дають партнери, а не Відень. croit, де я працюю, є одним із таких партнерів і покриває 24/7, 365 днів на рік. Це комерційні переговори, а не технічний ризик, і те, що це саме комерційні переговори, є сенсом усього, що вище.\nЩо насправді оцінювати замість цього Якщо з гіпервізором усе вирішено, пілотний проєкт має витратити свій час на рівень, який справді специфічний для Proxmox VE:\nФенсинг і HA. Вимкни живлення на вузлі з працюючими HA-гостями і заміряй час перезапуску. Потім зроби це з двома вузлами і переконайся, що решта поводиться так, як ти очікуєш, коли кворум втрачено. Жива міграція між поколіннями CPU. З тією моделлю CPU, на якій ти справді збираєшся стандартизуватися, а не з host. Резервне копіювання і, що важливіше, відновлення. Час відновлення під навантаженням, а не час резервного копіювання. Нікому ще не дякували за швидкий бекап. Модель прав доступу. Чи можеш ти дати команді застосунку консоль і керування живленням лише їхніх ВМ і нічого більше, досить детально, щоб задовольнити аудитора. API. Усе, що робить вебінтерфейс, є викликом API; якщо твоя автоматизація не може ним керувати, платформа не впишеться в те, як ти працюєш. Шлях оновлення. Оновлення мажорної версії на пілотному кластері, поки на ньому ще немає 400 ВМ. Жодне з цих питань не про KVM. У цьому, власне, і суть.\nГіпервізор є вирішеною частиною. Витрачай пілотний проєкт на ті частини, які такими не є.\nДжерела Сам KVM\nKVM API documentation — інтерфейс ioctl /dev/kvm, який і є всім контрактом гіпервізора Linux 2.6.20 release notes — випуск, у який злили KVM, лютий 2007 року Some KVM developments — LWN, січень 2007 року, про KVM у дні після того, як він потрапив у mainline Як побудовано інші гіпервізори\nInterpreting virtual machine monitor and executable failures — власний опис Broadcom запущеної ВМ ESXi як «several processes or userworlds», з одним VMM на vCPU і одним VMX на ВМ The Architecture of VMware ESXi (PDF) — whitepaper, що називає VMkernel «a POSIX-like operating system» із процесами, сигналами, файловою системою і потоками. Посилання на дзеркало, бо оригінальна URL-адреса VMware не пережила реорганізацію Broadcom, що саме по собі є маленьким коментарем щодо безперервності вендорів Hyper-V architecture — Microsoft про Virtual Machine Worker Process як компонент режиму користувача, по одному на ВМ, де живуть усі емульовані пристрої The Nutanix Bible — AHV architecture — AHV, описаний як KVM з libvirt, QEMU і Open vSwitch Хто запускає KVM і як вони його змінили\n7 ways we harden our KVM hypervisor at Google Cloud — Google про запуск KVM без QEMU і про зміцнення, яке вони зробили в upstream The AWS Nitro System — які типи інстансів EC2 працюють на гіпервізорі Nitro AWS EC2 Virtualization 2017: Introducing Nitro — розбір переходу з Xen на KVM від Brendan Gregg, досі найзрозуміліший його опис Firecracker — мінімальний VMM від AWS на основі KVM, що стоїть за Lambda і Fargate Alibaba Cloud\u0026rsquo;s sixth-generation ECS instances — гіпервізор X-Dragon і винесення на MoC KubeVirt — модель QEMU/KVM у поді, що стоїть за OpenShift Virtualisation і Harvester OpenStack Nova hypervisor support matrix — KVM як еталонний драйвер Що підтримує Proxmox\nThe Proxmox GitHub organisation — 89 репозиторіїв, зокрема pve-qemu, pve-kernel, pve-edk2-firmware і пакування для lxc, zfsonlinux, openvswitch, libiscsi, corosync-pve і ceph pve-qemu patch series — 78 патчів, порахованих вище, і найшвидший спосіб побачити, що саме Proxmox додає до QEMU Proxmox VE storage documentation — список нативних плагінів, які типи сховищ спільні, і рядок про використання всіх технологій зберігання, доступних для Debian Linux nvme-cli і nvmetcli — інструменти хоста й цілі NVMe-oF; aoetools і vblade для відповідника ATA over Ethernet. Усе в Debian trixie, на якому побудовано Proxmox VE 9 Proxmox VE pricing and subscription tiers — що покриває підписка Розкриття: я працюю в croit, Gold Partner Proxmox. Технічні твердження вище мають джерела, і їх можна перевірити; комерційний абзац є тією частиною, де в мене є інтерес, тож стався до нього відповідно.\n","permalink":"https://blogs.damiendye.uk/uk/proxmox/kvm-the-hypervisor-inside-proxmox-ve/","summary":"«Чи Proxmox корпоративного рівня?» є питанням про гіпервізор, а Proxmox VE його не містить. Гіпервізор це KVM, той самий модуль ядра, що працює під EC2, Google Cloud, Alibaba Cloud, Nutanix AHV і OpenShift Virtualisation. Що Proxmox справді підтримує, чому аргумент про тип 1 спрямований не на ту межу і чого спільна основа тобі не дає.","title":"Proxmox VE не є гіпервізором. Гіпервізор це KVM, і він у тебе вже працює"},{"content":"Чому HDD знову в меню Роками порада була настільки простою, що влазила на стікер: став усе на SSD.\nЦя порада була правильною, а ще й дешевою. Сьогодні ні те, ні те вже не зовсім правда. Постачання NAND скоротилося, попит з боку ШІ підняв ціни на флеш, і місткі NVMe стало важко виправдати для ощадливого розгортання Proxmox, такого, що має працювати, бути надійним і коштувати так мало, як дозволяє чесність.\nКорпоративні HDD знову цікаві з тієї ж причини, що й завжди: місткість на кожен фунт, і ніщо інше навіть близько не стоїть.\nПідступ у тому, що кожен, хто запускав VM на дисках, що крутяться, знає, як погано це може закінчитися. Цей досвід справжній, і зазвичай винна в ньому архітектура, а не диски.\nЗвинувачувати диски, щоправда, легше. Але це неправильно, і це дорого, бо вмовляє людей купувати флеш, який їм не був потрібен.\nУсе нижче розраховане на Proxmox із гіперконвергентними OSD Ceph, бо саме там рішення про компонування справді кусаються.\nПроблема в затримці, а не в пропускній здатності Сучасний корпоративний HDD чудово перекачує великі послідовні дані. Вузьким місцем це ніколи не було.\nКорпоративний диск на 7,2k RPM дає десь від 80 до 100 IOPS випадкової роботи, бо кожна випадкова операція чекає на переміщення головки й оберт пластини. За двадцять років це число майже не змінилося. Це механіка, а не електроніка. Найпростіший корпоративний SSD віддалений від нього на три чи чотири порядки.\nДай тому самому диску послідовну роботу, і він стане корисним пристроєм. Темп операцій приблизно подвоюється, до близько 200 IOPS, але кожна з цих операцій тепер несе великий блок, бо головка вже на місці й може читати потоком. Тож ти отримуєш справжню пропускну здатність, від 150 до 250 MB/s, за ціною за терабайт, до якої ніщо інше не дотягує.\nОсь ця важлива асиметрія, і вона не про те, що «HDD повільні». Диск, що крутиться, добрий у послідовній роботі й безнадійний у випадковій, а два числа близькі лише тому, що обмежена кількість операцій, а не байти.\nІ це задає все технічне завдання. Ти не намагаєшся зробити диск швидшим. Не вийде. Ти намагаєшся влаштувати так, щоб він проводив час у тому режимі, де він уже компетентний, і щоб дрібний випадковий трафік до нього не доходив. Тож усе, що далі, це одна ідея, застосована двічі.\nПроблема в тому, що віртуальні машини не створюють того навантаження, яке HDD вдається. Вони створюють оновлення метаданих, записи журналу, дрібні синхронні скидання, журналювання, господарські дрібниці файлової системи й сплески випадкової активності від десятка гостей одночасно, які приходять на диск упереміш.\nБезнадійний у випадковій роботі, справді добрий у послідовній: у якому режимі працює диск, у цьому вся схема Операцій на секунду, один пристрій; стовпці не в масштабі, бо три порядки не влізуть HDD 7,2k, випадково 80–100 кожна операція чекає на пошук і оберт: безнадійно HDD 7,2k, послідовно ~200 і кожна несе великий блок: 150–250 MB/s реальної пропускної здатності Корпоративний NVMe 100k+ немає рухомих частин, тож немає пошуку Що гіперконвергентний кластер насправді надсилає диску метадані гостей записи журналу і fsync журнали й обслуговування RocksDB метадані випадкові сплески, багато гостей великі послідовні передачі П’ять із цих шести дрібні й випадкові. Лише одне з них вдається шпинделю. Це не про те, що «HDD повільні». Диск, що крутиться, справді добрий у послідовній роботі й безнадійний у випадковій, а дві цифри близькі лише тому, що обмежена кількість операцій, а не байти, які несе кожна. Тож завдання не в тому, щоб зробити диск швидшим. Воно в тому, щоб тримати його в режимі, де він уже компетентний. Темпи випадкових і послідовних операцій напрочуд близькі, бо обмежена кількість операцій, а не байти, які несе кожна з них. На послідовній роботі диск заробляє свої гроші; гіперконвергентний кластер за своєю природою надсилає йому роботу іншого роду. Ceph додає до цього свій шар. Кожен запис несе поряд із даними оновлення метаданих RocksDB. Якщо все це лягає на голі шпинделі, диски витрачають час на пошук замість обслуговування, і ти отримуєш симптом, який упізнає кожен адміністратор: високе очікування I/O, мляві гості, непостійна чутливість і кластер, що здається значно повільнішим, ніж обіцяє його паспорт місткості.\nВласні рекомендації Ceph щодо заліза прямо кажуть, куди це веде. Вони застерігають: «consider carefully the ostensible cost-per-gigabyte advantage of larger HDDs, and the concomitant limitations of IOPS per TB», і кажуть, що диски понад 8 TB «may be best suited for storage of large files / objects that are not at all performance-sensitive.»\nЦю арифметику варто зробити, бо диски, які взагалі роблять це вигідним, великі. Від 20 TB і більше. Диск на 20 TB так само дає свої 80–100 випадкових IOPS, бо місткість не купує тобі жодної операції. Тож він пропонує близько 4–5 випадкових IOPS на терабайт, тоді як диск на 8 TB дає приблизно одинадцять, а диск на 2 TB сорок.\nОтже, за власною міркою Ceph, шпиндель на 20 TB глибоко на тій території, куди тобі радять не ставити чутливі до продуктивності навантаження.\nЦе не аргумент проти їх купівлі. Це причина, з якої існує решта цього допису. Описана нижче схема якраз і робить шпиндель на 20 TB придатним для зберігання VM, бо влаштовує так, щоб дрібна випадкова робота до нього ніколи не доходила.\nЗабери метадані зі шпинделя Найцінніша зміна для кластера на HDD: перестати змушувати шпиндель зберігати бухгалтерію Ceph.\nBlueStore тримає для кожного OSD три речі: самі дані на block, базу метаданих RocksDB на block.db і журнал попереднього запису на block.wal. За замовчуванням усі три живуть на тому самому пристрої. Постав натомість block.db на NVMe, і величезна частина дрібного випадкового I/O повністю покидає диск.\nДокументація Ceph щодо заліза каже це прямо: «HDD OSDs may see a significant write latency improvement by offloading WAL+DB onto an SSD.»\nКомпонування OSD BlueStore: усе на шпинделі проти метаданих на NVMe Типово: один пристрій тримає всі три записи даних об’єктів метадані RocksDB Один HDD 7,2k block block.db .wal Обидва потоки ділять один бюджет у 80 IOPS. Диск шукає між даними й метаданими на кожен запис. block.db на NVMe: метадані йдуть геть записи даних об’єктів метадані RocksDB HDD 7,2k block: лише дані Корпоративний NVMe block.db .wal Тепер шпиндель робить одну справу. Вкажи пристрій DB, і WAL піде з ним. Задай\u0026#160;block.db\u0026#160;на рівні 1–2 % від\u0026#160;block\u0026#160;для навантажень RBD або 2,5 % із запасом. Замалий розмір не валить RocksDB: вона переливається назад на шпиндель, а це єдиний результат, що марнує щойно куплений флеш. Корисні розміри йдуть кроками 3 GB, 30 GB і 300 GB, бо розділ DB повністю використовує лише розміри, рівні сумам рівнів RocksDB. Округлення до наступного кроку зазвичай дешеве; округлення вниз не дає нічого. Ліворуч усе на одному шпинделі: записи даних і оновлення RocksDB змагаються за ті самі приблизно 80 IOPS. Праворуч block.db на NVMe: трафік метаданих покидає диск, і шпинделю лишається одна справа, яка йому вдається. Тут став справжній корпоративний NVMe, а не споживчий флеш. Причина не в рекламних цифрах бенчмарків. Вона в стабільній затримці під тривалим навантаженням і в захисті від втрати живлення. Документація Ceph говорить прямо: «Enterprise-class SSDs are best for Ceph: they feature power loss protection (PLP)», і «bargain client-class or off-brand SSDs are a false economy.»\nСюди пасують диски класу Samsung PM9A3 і Micron 7450 Pro. Під тиском записів Ceph значно більше дбає про сталість, ніж про пікові цифри, і саме це відрізняє корпоративний диск від швидкого споживчого.\nРозмір block.db і чого коштує spillover Помилися з розміром, і користь тихо випарується, бо коли block.db заповнюється, RocksDB не падає: вона переливається назад на повільний пристрій, рівно туди, де була б і без NVMe.\nЦе найгірше з обох світів: флеш ти купив, а пошук на шпинделі лишився.\nПоточні рекомендації Ceph:\nНавантаження block.db як частка block RBD / блочне, диски VM від 1 % до 2 % RGW / об’єктне щонайменше 4 % Загальна рекомендація при винесенні WAL+DB щонайменше 2,5 % Зберігання VM у Proxmox це рядок RBD, тож 1–2 % це чесна цифра для планування, а 2,5 % комфортне місце, де можна зупинитися.\nПорахуй це для диска на 20 TB, і числа привернуть твою увагу:\nblock.db для одного OSD на 20 TB При 1 % 200 GB При 2 % 400 GB При 2,5 % 500 GB Врахуй кроки рівнів RocksDB нижче, і 300 GB на OSD виявляються розумною точкою приземлення. Корисний крок, найближчий до середини діапазону.\nІ це змінює те, чим насправді є спільний пристрій метаданих. Вісім OSD на 20 TB хочуть між собою 2,4 TB NVMe; п’ятнадцять, заявлений Ceph максимум за одним NVMe, хочуть 4,5 TB. На таких великих дисках саме місткість DB вирішує, скільки OSD сидить за одним пристроєм, а не співвідношення. Гігабайти в тебе скінчаться задовго до того, як скінчиться благословення Ceph.\nЄ ще одна тонкість, яку варто знати, бо через неї інтуїтивний розрахунок розміру помиляється. Рівнева структура RocksDB означає, що розділ DB може повністю використати лише розміри, які відповідають сумам її рівнів; історично це давало корисні кроки близько 3 GB, 30 GB і 300 GB, а розміри між ними нічого не дають понад нижчий крок. Округлити 18 GB вгору до 30 GB на практиці часто нічого не коштує; округлення вниз до 20 GB у найгіршому разі не дає нічого понад 3 GB.\nПеревіряй spillover після того, як кластер попрацював якийсь час, а не першого дня. Ця проблема наростає повільно.\nОкремий пристрій для WAL тобі не потрібен Це заощаджує розділ і купу возні.\nЯкщо вказати пристрій DB і не вказати явно пристрій WAL, Ceph автоматично ставить WAL на швидкий пристрій разом із DB. У документації сказано, що «whenever a DB device is specified but an explicit WAL device is not, the WAL will be implicitly colocated with the DB on the faster device.»\nТож «постав DB і WAL на NVMe» це правильна мета, але це один аргумент, а не два. Окремий block.wal має сенс лише тоді, коли в тебе є третій, ще швидший рівень, куди його покласти.\nВимкни кеш запису HDD Дрібниця, непоказна й легко пропустити.\nДокументація Ceph зазначає, що продуктивність OSD «may be dramatically increased \u0026hellip; by disabling this write cache» на HDD. Енергозалежний кеш у диску переставляє й затримує записи так, що це воює із семантикою скидання Ceph, і його вимкнення зазвичай робить усе швидшим, а не повільнішим.\nІз бажаного це стає обов’язковим, щойно з’являється bcache, а це наступний розділ.\nРаз уже ти там: HBA з підтримкою RAID тобі не потрібен. Ceph каже це прямо: «You do not need an RoC (RAID-capable) HBA.» Віддай диски OSD.\nОдин Optane на шпиндель Винесення метаданих із диска лагодить сталий стан. Сплесків воно не лагодить, бо сплеск дрібних синхронних записів усе одно треба підтвердити, а шпиндель підтверджує зі швидкістю шпинделя.\nДля цього й існує bcache, а працює він тут завдяки Optane.\nВажить не місткість. Важить поведінка під навантаженням записами. Порівняно з NAND, Optane дає дуже низьку затримку, дуже високу витривалість і жодних обривів через збирання сміття, які роблять продуктивність SSD як кешу запису непередбачуваною, щойно він трохи послужить. Поглинати дрібний, сплесковий, переважно записний трафік це те, що він уміє найкраще у світі.\nКомпонування, яке важить: один Optane на кожен HDD, кожна пара свій окремий пристрій bcache. Не один Optane на цілу полицю дисків.\nТри рівні, дві моделі: спарений кеш запису, спільний пристрій метаданих Один вузол Proxmox, три OSD Записи гостьових VM: дрібні, синхронні, сплескові Метадані RocksDB Ceph bcache0 Optane кеш запису HDD osd.0 block bcache1 Optane кеш запису HDD osd.1 block bcache2 Optane кеш запису HDD osd.2 block Один Optane на шпиндель: у парі, ніколи не спільний Відмова кешу коштує рівно один OSD, який Ceph звично перебудовує. Потрібна витривалість: 30–100 DWPD. Лише Optane. Спільний корпоративний NVMe block.db + неявний WAL, усі три OSD захист від втрати живлення Спільний, бо метаданих мало Ceph: 4–5 HDD на SATA SSD, не більше 15 на NVMe. Втрать його, і з ним піде кожен OSD за ним. NAND годиться, але NVMe швидкий, не дешевий. Потрібні обидва рівні, і це не та сама покупка. Optane скорочує підтвердження запису; він нічого не дає для читань метаданих, які Ceph робить постійно, і лише відкладає записи метаданих. Пропусти NVMe, і RocksDB знову на пластині. Кожен запис до OSD проходить крізь його пристрій кешу, тому той мусить бути Optane. Пристрій метаданих не мусить, але це все одно має бути швидкий NVMe: записів мало, проте він несе затримку метаданих кожного OSD за ним. Три рівні, дві різні моделі спільного використання. Пристрій DB/WAL спільний для кількох OSD, бо обсяг записів RocksDB невеликий, хоча це все одно має бути швидкий NVMe, бо він несе затримку метаданих кожного з них. Кеш запису Optane спарений один до одного зі своїм шпинделем, тож відмова кешу може коштувати лише один OSD. Спарювання це свідомий вибір, і воно купує дві речі.\nЖодної конкуренції. Кожен шпиндель отримує всю затримку й глибину черги Optane тільки для себе, а не стоїть у черзі за сплесками семи інших OSD.\nДомен відмови, який Ceph уже вміє пережити. Спільний кеш запису тримає брудні дані для кожного OSD за ним, тож втрата кешу втрачає їх усіх одразу; при спарюванні один до одного втрата Optane коштує рівно один OSD. Ця відмінність найважливіший наслідок усієї схеми, і вона отримує окремий розгляд у розділі що ти віддаєш натомість.\nЦе має бути Optane. Не NAND. Слово «Optane» тут не вподобання бренду й не приємний бонус. Заміна на NAND NVMe, хоч яким дорогим він був би, будує щось, що зношується, і причина у витривалості.\nПодивися, де стоїть пристрій кешу. Оскільки ця схема вимикає послідовний обхід bcache, той самий sequential_cutoff=0 у правилі нижче, крізь нього проходить кожен окремий запис до цього OSD: не лише сплески, а все. Це робить кеш пристроєм із найвищим робочим циклом у вузлі, від якого вимагають поглинати обсяг записів цілого диска, що крутиться, протягом усього життя машини.\nВитривалість указують у перезаписах диска на день, і різниця тут не поступова:\nПристрій Номінальна витривалість Optane P5800X 100 DWPD Optane P4800X 30 DWPD Корпоративний NAND для інтенсивного запису, верх лінійки близько 10 DWPD Корпоративний NAND змішаного використання 3 DWPD або менше Масовий корпоративний NAND, клас PM9A3, 7450 Pro близько 1 DWPD Optane має від десяти до ста разів більшу витривалість, ніж NAND, який ти інакше туди поставив би. Постав диск на 1 DWPD на ту єдину позицію, яка отримує кожен запис у кластері, і ти збудував не кеш, а витратний матеріал.\nНасправді гірше, ніж показує таблиця, бо NAND усередині страждає від підсилення запису, а Optane ні. Номінальний DWPD диска NAND це те, що він приймає на інтерфейсі; те, що насправді поглинають його комірки, більше. Число Optane такої зірочки не потребує.\nПеревіряється це під час перебудов. Backfill проганяє терабайти записів крізь уцілілі вузли у стиснуте вікно, кожен байт крізь їхні пристрої кешу: це подія витривалості, а не лише затримки, і вона настає саме тоді, коли тобі найменше хочеться відмови другого пристрою.\nТож два рівні флешу хочуть різних дисків, з різних причин:\nРівень Обсяг записів Що потрібно пристрою DB/WAL невеликий, лише RocksDB Швидкий корпоративний NVMe. Низька затримка, високі випадкові IOPS, PLP. Корпоративний NAND це правильна технологія; PM9A3 або 7450 Pro це правильна покупка Кеш запису усе PLP і витривалість у десятки DWPD. NAND це неправильна технологія за будь-яку ціну Купити один тип диска для обох завдань це саме та помилка, від якої цей розділ має вберегти, але не читай перший рядок як дозвіл на економію, бо малий обсяг записів не означає малих вимог.\nПристрій DB/WAL усе одно має бути справді швидким NVMe, з трьох причин, які не мають нічого спільного з кількістю байтів, що крізь нього проходять.\nВін обслуговує кожен OSD за ним одночасно, тож черга, яку він бачить, це чотири чи п’ятнадцять наборів трафіку метаданих, а не порція одного диска.\nЙого затримка лягає прямо на твоїх клієнтів. Пошуки в RocksDB стоять на критичному шляху для знаходження об’єктів, для peering і для scrub, і це дрібні випадкові читання. Саме те навантаження, де розрив між швидким NVMe і посереднім найширший. Кожна мікросекунда множиться на кожен OSD, що від нього залежить.\nІ компактування сплескове. RocksDB періодично переписує свої рівні, перетворюючи рівномірне оновлення на зосереджений пік читань і записів. Пристрій, що впорається із середнім і застрягне на піку, зупинить кожен OSD за ним в ту саму мить.\nВласні співвідношення Ceph усе видають. Вона дозволяє втричі більше OSD за NVMe, ніж за SATA SSD, і це говорять інтерфейс і клас пристрою, а не місткість. Бери NVMe.\nОтже: пристрій кешу мусить бути Optane, пристрій DB/WAL може бути NAND, і на жодній із цих позицій не економлять.\nЯкий Optane: часто вистачило б M10 на 32 GB Ніщо з цього не означає, що найбільший Optane і є правильним. Потрібний тобі пристрій визначає твоє навантаження записами, хоча, як виявляється, вторинний ринок може вирішити це за тебе в будь-якому разі. Арифметика все одно важить, бо показує, що ти купуєш понад міру чи недостатньо.\nПочни з того, для чого кеш. Він тримає сплеск, а не диск. При writeback_percent=40 пристрій на 32 GB дає приблизно 13 GB брудного буфера, а це величезна кількість дрібних синхронних записів.\nТож не лякайся співвідношення. Модуль на 32 GB перед диском на 20 TB це 0,16 % від нього, що звучить абсурдно, доки не згадаєш, що це поглинач сплесків, а не кеш робочого набору, який намагається тримати гарячі дані. Пристрій на 375 GB перед тим самим диском це 1,9 %, тобто просто більше запасу, ніж ти використаєш.\nІ це вводить у гру дешевий край діапазону. Ось маленький споживчий модуль проти частини для дата-центру, бо розрив не там, де люди його чекають:\nOptane Memory M10 32 GB Optane DC P4800X 375 GB Випадкове читання, 4K 240 000 IOPS 550 000 IOPS Випадковий запис, 4K 65 000 IOPS порівнянно з читанням Послідовне читання 1200 MB/s 2400 MB/s Послідовний запис 290 MB/s 2000 MB/s Типова затримка н/д менше 10 µs Витривалість 365 TBW 12,3 PBW, 30 DWPD Інтерфейс PCIe 3.0 x2, M.2 2280 PCIe 3.0 x4, U.2 або AIC Спершу подивися на рядок IOPS запису. Маленький M10 робить 65 000 випадкових записів на секунду; шпиндель за ним робить 80. Навіть найдешевший Optane приблизно в 650 разів швидший за диск, який він кешує, тож за віссю продуктивності суперечка закінчена ще до початку. Додатковим IOPS частини DC нікуди подітися, коли нижче по ланцюжку стоїть один диск на 7,2k.\nРядок, що вирішує покупку, це витривалість, де розрив 34×. У перерахунку на щоденний бюджет за п’ять років служби:\nПристрій Сталий обсяг записів на день, за п’ять років M10 32 GB, 365 TBW близько 200 GB/день P4800X 375 GB, 12,3 PBW близько 6,7 TB/день Менше 200 GB записів на день, і M10 на 32 GB доживе до кінця збірки. Удвічі більше, і ти отримаєш два з половиною роки. Справді інтенсивний запис, і частина DC відпрацює свою ціну: не за IOPS, які ти не можеш використати, а за приблизно в тридцять разів більше записів, які вона витримує.\nТож вимірюй, а не вгадуй. nvme smart-log на наявному пристрої кешу дає тобі data_units_written; зніми значення з інтервалом у тиждень, поділи й порівняй із номінальним TBW того, що розглядаєш. bcache тримає власні підсумки в /sys/block/bcacheN/bcache/stats_total/, якщо тобі зручніше читати їх там.\nДва застереження щодо M10. Його випадкові цифри вказані для проміжку 8 GB, а не для всього пристрою, тож на кеші, який ти збираєшся тримати значною мірою заповненим, сприймай їх як оптимістичну межу. І це споживча частина без жодної корпоративної заяви про PLP. Носій Optane записується на місці, без буфера DRAM на шляху запису, через що ці модулі поводяться при раптовій втраті живлення значно краще, ніж поводився б споживчий NAND, але «на практиці поводиться добре» це не специфікація. Якщо хочеш гарантію на папері, купи частину серії DC.\nНижня межа це пропускна здатність, а не місткість: оминай модулі на 16 GB Є друге обмеження, незалежне від усього вище, і воно дискваліфікує найдешевшу частину лінійки.\nКеш мусить бути швидшим за диск у послідовному режимі, інакше він дросель. M10 на 16 GB таким не є, і саме він тебе найбільше спокушатиме, бо коштує майже нічого:\nПослідовний запис Optane Memory M10 16 GB 150 MB/s Optane Memory M10 32 GB 290 MB/s Optane DC P4800X 375 GB 2000 MB/s Корпоративний HDD на 7,2k 150–250 MB/s Читай перший і останній рядки разом. Модуль на 16 GB пише послідовно приблизно з тією ж швидкістю, що й диск, який він має прискорювати, і повільніше за добрий диск. Для випадкової роботи він лишається неймовірно швидшим, 35 000 IOPS випадкового запису проти 80 у диска, але на послідовному потоці він у кращому разі нічого не дає, а в гіршому стає стелею нижче того, що голий диск робив самотужки.\nІ ця схема гарантує, що ти в цю стелю впрешся, бо вимкнення послідовного обходу відправляє все крізь кеш, і власна пропускна здатність послідовного запису кешу стає жорсткою стелею для всього OSD. Найболючіше це б’є під час відновлення: backfill OSD на 20 TB майже настільки послідовний, наскільки взагалі буває це навантаження, і обмеження його до 150 MB/s робить і без того повільну перебудову ще повільнішою.\nТож лінійка M10 має нижню межу на 32 GB, і це межа пропускної здатності, а не місткості. Арифметика місткості казала, що 32 GB більш ніж досить; арифметика пропускної здатності виключає 16 GB, хоч як мало тобі треба було зберігати. Обидва тести мають пройти, і дешева частина провалює той, який люди не перевіряють.\nХоч що ти розглядаєш, постав його цифру послідовного запису поряд із 250 MB/s, перш ніж купувати.\nКупівля продукту, якого більше ніхто не виробляє Optane знято з виробництва. Intel згорнула цей бізнес у 2022 році, списавши запаси на 559 мільйонів доларів і припинивши розробку. Нового виробництва немає, поповнень немає; загальна пропозиція відтепер лише зменшується.\nЗвідси очевидне питання, бо продається його напрочуд багато. Розуміння того, звідки він береться, підказує, що саме ти купуєш.\nЦе розпродаж складських запасів сервісних запчастин OEM. Велика трійка виробників серверів запасалася Optane як запчастинами для підтримки платформ, у яких його продавала. Ці платформи дійшли кінця життя й випали з підтримки, тож запчастини для них за ніч стали мертвим запасом: склади деталей для машин, які ніхто більше не зобов’язаний за контрактом ремонтувати. Саме ці запаси й течуть на AliExpress і до відновлювачів.\nДва наслідки, і обидва добрі новини.\nБагато з цього не використовувалося, а не знято з машин. Сервісні запчастини стояли на полиці, чекаючи відмови, яка так і не сталася, тож показник зносу при отриманні часто фактично нульовий: не «кілька років легкої служби», а ні разу не записаний. Перевіряй, а не довіряй: nvme smart-log дає тобі percentage_used і data_units_written, і на справжніх запасах запчастин ці значення мають бути разюче низькими. Усе, що показує реальний знос, це знятий із машини диск, який продають як щось інше, хоча навіть тоді запас витривалості означає, що вживаний Optane може мати більше життя, ніж новенький диск NAND тієї ж місткості.\nЦе пояснює, які місткості ти знайдеш. Запчастини OEM запасали для серверів, а отже це частини для дата-центрів. Ось уся лінійка, і зверни увагу, звідки починається флагман:\nЧастина Місткості Форм-фактор Optane Memory M10 16, 32, 64 GB M.2 2280, споживчий Optane SSD 800P 58, 118 GB M.2 2280, споживчий Optane SSD P1600X 58, 118 GB M.2 2280, частина для завантаження й кешу в дата-центрі Optane SSD DC P4801X 100, 200, 375 GB M.2 110 mm або U.2 Optane SSD DC P4800X 375 GB як найменший, 750 GB, 1,5 TB U.2 або карта розширення Optane SSD P5800X 400 GB, 800 GB, 1,6 TB U.2 або карта розширення Теоретично маленькі частини M.2 це елегантна відповідь: M10, 800P, P1600X і P4801X на 100 GB усі роблять цю роботу, і дешево. На практиці на ринку їх немає, бо ніхто не складував настільні модулі-прискорювачі як серверні запчастини. Виставлено те, що від 375 GB і вище, залізо класу P4800X.\nТож плануй купувати більше місткості, ніж потрібно для цієї ролі, бо саме це продається. Це не поганий результат. Купивши пристрій кешу з запасом, ти отримуєш 30 DWPD і затримку менше 10 µs, коли твоєму навантаженню треба було лише частку того й того, а для шпинделя на 20 TB, який ти збираєшся тримати роками, це правильний бік, у який помилятися. Це означає, що вхідна ціна вища, ніж підказує арифметика, і що розрахунок розміру вище стає перевіркою від недокупівлі, а не списком покупок.\nТри речі, які варто спланувати, бо це розпродаж, а не ланцюжок постачання:\nКупуй запасні разом зі збіркою. Скінченний запас розпродається. Коли пристрій відмовить через три роки, ти не замовлятимеш заміну, ти на неї полюватимеш, тож заклади запасні в кошторис зараз, поки запас є.\nЧекай на прошивку OEM і перевір простір імен. Частини з програми запчастин постачальника часто несуть прошивку цього постачальника й можуть прийти відформатованими під розмір LBA або з налаштуваннями метаданих під те, для чого їх запасали. Перевір через nvme id-ns, перш ніж будувати на них, і будь готовий зробити nvme format на звичайний 4096-байтовий формат.\nНі гарантії, ні підтримки, ні нових оновлень прошивки. Власне повідомлення Intel про підтримку описує, що згортання означає для пристроїв, які вже в експлуатації, а саме в такому становищі вже перебуває все, що ти купуєш. Перевірити, що частина, яка приїхала, це та сама частина з оголошення, мусиш ти сам.\nbcache не замінює винесення DB/WAL Варто сказати прямо, бо це очевидне місце, де хочеться заощадити, і це не працює: тобі все одно потрібен block.db на NVMe. Обидва шари, а не один чи інший.\nOptane це кеш запису. І все. Він скорочує шлях підтвердження для записів, що йдуть на диск, і більше нічого не робить.\nRocksDB не лише пише. Ceph постійно читає свої метадані, щоб знаходити об’єкти, обслуговувати peering, відповідати на scrub, а кеш запису не дає читанню рівно нічого, щойно дані з нього скинуто. Не прибирає кеш і трафіку метаданих; він відкладає й групує його, тож кожне оновлення RocksDB рано чи пізно все одно приходить на шпиндель, змагаючись за ті самі пошуки. А компактування перетворює помірне оновлення на значно більший трафік пристрою, ніж записи, що його спричинили.\nТож дві зміни лагодять різні проблеми, і жодна не підміняє іншу:\nЩо лагодить Чого не лагодить block.db на NVMe метадані живуть на флеші, і читання, і записи назавжди зі шпинделя нічого для сплеску гостьових записів Optane через bcache затримка підтвердження сплесків для записів даних нічого для читань метаданих; лише відкладає записи метаданих Пропусти винесення DB і залиш Optane, і RocksDB знову на пластині, а її читання обслуговуються на 80 IOPS. Пропусти Optane і залиш винесення DB, і сталий стан пристойний, але сплески все одно застрягають на швидкості шпинделя.\nПравило udev, рядок за рядком Параметри bcache живуть у sysfs, а sysfs скидає їх щоразу, коли пристрій реєструється, тобто при кожному завантаженні. Тож їм місце в правилі udev, а не в скрипті, який хтось мусить не забути запустити:\n# /etc/udev/rules.d/99-bcache.rules ACTION==\u0026#34;add|change\u0026#34;, SUBSYSTEM==\u0026#34;block\u0026#34;, KERNEL==\u0026#34;bcache*\u0026#34;, \\ ATTR{bcache/cache_mode}=\u0026#34;writeback\u0026#34;, \\ ATTR{bcache/sequential_cutoff}=\u0026#34;0\u0026#34;, \\ ATTR{bcache/congested_read_threshold_us}=\u0026#34;0\u0026#34;, \\ ATTR{bcache/writeback_rate}=\u0026#34;81920\u0026#34;, \\ ATTR{bcache/writeback_rate_minimum}=\u0026#34;20480\u0026#34;, \\ ATTR{bcache/writeback_percent}=\u0026#34;40\u0026#34; KERNEL==\u0026quot;bcache*\u0026quot; збігається з кожним пристроєм bcache на вузлі, тож одне правило покриває всі пари. ACTION==\u0026quot;add|change\u0026quot; означає, що воно застосовується знову щоразу, коли пристрій з’являється або під’єднується повторно, а не лише при завантаженні.\nЩо робить кожне налаштування і навіщо:\ncache_mode=writeback: увесь сенс. У типовому writethrough запис не підтверджується, доки не дійде до HDD, тож кеш нічого не дає для затримки запису. У writeback підтверджує Optane, а шпиндель наздоганяє пізніше.\nsequential_cutoff=0: за замовчуванням bcache розпізнає послідовний I/O і пускає його повз кеш, щойно той перевищує 4 MB, виходячи з теорії, що диск під ним і так добре впорається з послідовним. Нуль вимикає цей обхід, тож кешується все. На гіперконвергентному вузлі це правильне рішення: те, що виглядає послідовним для одного пристрою bcache, перестає бути послідовним на пластині, щойно кілька OSD перемішуються, а тобі потрібно, щоб кожен запис підтверджувався зі швидкістю Optane попри все. Але це накладає одне зобов’язання: без обходу власна пропускна здатність послідовного запису пристрою кешу стає стелею для всього OSD, і саме тому модулі на 16 GB дискваліфіковано.\ncongested_read_threshold_us=0: bcache стежить за затримкою власного пристрою кешу й починає обходити кеш, коли вважає його перевантаженим, із типовим значенням 2000 µs для читань. Optane не перевантажується так, як NAND, тож тут bcache сумнівається в пристрої, який неправильно виміряв. Нуль вимикає це стеження.\nwriteback_rate=81920 і writeback_rate_minimum=20480: швидкість фонового скидання, у секторах на секунду, тобто приблизно 40 MB/s цільових із нижньою межею 10 MB/s. PD-регулятор рухає фактичну швидкість між ними. Ціль поставлено біля того, що шпиндель може поглинути послідовно, а нижня межа не дає регулятору придушити скидання майже до нуля й дозволити брудним даним накопичуватися без кінця. Обидва це відправні точки, а не константи; як їх змінити, описано нижче.\nwriteback_percent=40: скільки кешу bcache дозволить тримати брудним, перш ніж почне жорстко пригальмовувати, проти типових 10. Сорок дає тобі значно глибший буфер для сплесків. Це також означає, що до 40 % цього Optane тримає єдину копію даних у системі, і це компроміс, а також причина, з якої компонування «один на шпиндель» важить. Це значення найбільше варто переглянути, коли ти поспостерігаєш за реальним навантаженням.\nЯк змінити значення заповнення й скидання пізніше 40 % і дві швидкості вище це значення, які працюють тут, а не універсальні константи. Це перше, що ти захочеш посунути, коли поспостерігаєш за реальним навантаженням, тож варто знати, що є два місця, де їх змінюють, і вони роблять дві різні речі.\nsysfs змінює зараз. Правило udev змінює з наступного завантаження. Потрібне і те, і те, і саме в такому порядку.\nЗміни наживо, на одному пристрої:\necho 30 \u0026gt; /sys/block/bcache0/bcache/writeback_percent Або на всіх парах вузла:\nfor d in /sys/block/bcache*/bcache; do echo 30 \u0026gt; \u0026#34;$d/writeback_percent\u0026#34; done Швидкість скидання працює так само. Обидва значення в секторах на секунду, тож ці команди вдвічі зменшують ціль і нижню межу:\nfor d in /sys/block/bcache*/bcache; do echo 40960 \u0026gt; \u0026#34;$d/writeback_rate\u0026#34; echo 10240 \u0026gt; \u0026#34;$d/writeback_rate_minimum\u0026#34; done Це діє негайно й живе рівно до повторної реєстрації пристрою. Документація ядра прямо каже, що ці налаштування «do not persist across reboot», і саме тому й існує правило udev.\nЩойно тебе влаштує значення, відредагуй правило й перезавантаж його без перезавантаження машини:\nudevadm control --reload udevadm trigger --subsystem-match=block --action=change Тут ACTION==\u0026quot;add|change\u0026quot; і відпрацьовує своє. Тригер надсилає подію change пристроям, які вже присутні, тож правило застосовується до працюючого вузла, а не чекає наступного завантаження. Якби правило збігалося лише з add, ця команда нічого б не зробила.\nПотім прочитай значення назад, бо помилка в правилі udev не дає жодного сигналу:\ngrep . /sys/block/bcache*/bcache/writeback_percent Як знати, в який бік їх рухати Не налаштовуй це з перших принципів: bcache показує все потрібне в тому самому каталозі sysfs.\ndirty_data це те, за чим стежити: скільки даних зараз лежить у кеші й більше ніде. Документація описує його як «continuously updated unlike the cache set\u0026rsquo;s version, but may be slightly off», і для цієї мети цього досить. Знімай його протягом звичайного робочого дня й вікна резервного копіювання.\ncache_hits, cache_misses і cache_hit_ratio кажуть тобі, чи використовується кеш, із застереженням, що «a partial hit is counted as a miss». bypassed рахує IO, що пройшов повз кеш повністю; із sequential_cutoff=0 це число має бути майже пласким, тож якщо воно росте, щось і далі йде в обхід.\nУсі вони є і як накопичені підсумки, і як версії, що згасають за останню добу, годину й п’ять хвилин, тож короткі вікна значно корисніші для виявлення проблеми, ніж показник за весь час.\nДалі так:\nСимптом Параметр Напрямок Сплески застрягають: записи посеред сплеску натрапляють на затримку шпинделя writeback_percent вгору, для глибшого буфера На кеші відкрито більше даних, ніж тобі комфортно writeback_percent вниз dirty_data притиснутий до стелі під час звичайної роботи writeback_rate вгору: проблема не в буфері, а в зливі Фонове скидання змагається з гостьовими читаннями на шпинделі writeback_rate вниз dirty_data повзе вгору днями, а не годинами writeback_rate_minimum вгору, щоб регулятор не міг придушити все до повзання Якщо dirty_data притиснутий до стелі хоч що ти роби, відповідь не в жодному з параметрів: кластер пише швидше, ніж шпинделі можуть поглинути, і чесні рішення це більше шпинделів або менше записів.\nОдин файл краще не чіпати: writeback_running. Його вимкнення повністю зупиняє writeback, а документація каже, що він «only meant for benchmarking». На робочому OSD це означає, що брудні дані накопичуються, доки кеш не заповниться, і ніколи не зливаються.\nЩо ти віддаєш натомість Більшість описів цієї схеми зупиняються на добрих новинах. Ось частини, які справді тобі зашкодять, і кожну з них варто знати до збірки, а не після.\nДва додані пристрої відмовляють дуже по-різному Помирає спільний NVMe для DB/WAL block.db для osd.0–2 втрачено osd.0 втрачено osd.1 втрачено osd.2 втрачено Три OSD, одна подія. Корельована відмова по всьому вузлу, саме та, від якої реплікація тебе не захищає. Обирай співвідношення за перебудовою, яку ти готовий перечекати, а не за ціною на OSD. Помирає один спарений Optane Optane для osd.0 втрачено Optane для osd.1 ок Optane для osd.2 ок osd.0 втрачено osd.1 працює osd.2 працює Один OSD, і Ceph робить це щодня. Радіус ураження це дані одного диска, тобто саме та відмова, яку реплікований пул існує, щоб поглинути. У цьому весь аргумент за купівлю кількох малих пристроїв замість одного великого. Той самий клас втрати з обох боків: кожен пристрій тримає стан, якого більше ніде немає, тож OSD знищено, а не зупинено, і його треба створити заново й заповнити через backfill. Різниться лише кількість, і саме це купує спарювання «один на шпиндель». Обидва додані пристрої тримають стан, якого більше ніде немає, тож втрата будь-якого з них знищує OSD, що від нього залежать. Різниця лише в тому, скільки їх: спільний NVMe для DB/WAL забирає кожен OSD за ним, а Optane, спарений один до одного, забирає рівно один. Саме це й купують додаткові пристрої. Втрата будь-якого з флеш-пристроїв знищує OSD. Не зупиняє, а знищує. Обидва пристрої тримають стан, якого більше ніде немає: block.db тримає RocksDB, яка надає сенсу block, а кеш writeback тримає кожен ще не скинутий запис. Документація ядра щодо другого не вагається: «In writeback mode you\u0026rsquo;ll lose data if something happens to your SSD.» Так чи інакше OSD не повертається, його створюють заново й заповнюють через backfill.\nТож це той самий клас ризику, і варто ясно це розуміти, а не вважати страшним саме кеш. Optane не небезпечніший пристрій, ніж NVMe. Їх розділяють дві речі, і жодна з них не тяжкість для окремого OSD.\nПерша це радіус ураження, і саме вона повністю виправдовує спарювання. Один Optane на шпиндель означає, що відмова кешу коштує один OSD: втрату одного диска, тобто рівно ту подію, яку реплікований пул існує, щоб поглинути, і з якою Ceph справляється, нікого не будячи вночі. Пристрій DB/WAL спільний, тож його втрата коштує одразу кожен OSD за ним, а це корельована відмова, від якої реплікація тебе не захищає. Та сама відмова, один пристрій проти п’яти.\nДруга це те, як відмова себе проявляє, і це операційна пастка. Коли кеш помирає в режимі writeback, пристрій під ним зупиняється й повертає помилки I/O, і це нормально: Ceph позначає OSD як down і працює далі. Поганий випадок це перезавантаження, після якого пристрій під кешем піднімається без під’єднаного кешу. Тоді він виглядає як файлова система, яку можна змонтувати, просто без кожного брудного запису, тобто пошкоджена, а не лише застаріла. Відсутній block.db падає гучно, і OSD відмовляється стартувати; відсутній кеш може впасти тихо й дати тобі змонтувати уламки. Вважай пристрій під bcache таким, що його не можна монтувати без кешу, і ніколи не дозволяй нічому люб’язно змонтувати його за тебе.\nbcache сам по собі не гарантує безпечного щодо живлення writeback. Ось де кеш запису HDD перестає бути оптимізацією й стає вимогою: вимкни його й працюй на достатньо свіжому ядрі з обробкою FUA, щоб синхронні записи шанувалися крізь увесь стек, а не підтверджувалися завчасно десь посередині. Пристрій кешу без захисту від втрати живлення погіршує проблему, бо може втратити дані, які вже оголосив збереженими.\nІ тому число, яке важить, це співвідношення DB/WAL. Ceph дозволяє 4–5 HDD OSD на SATA SSD і не більше 15 на NVMe та застерігає щодо «balancing the risk of reducing costs by placing too many responsibilities into too few failure domains.» На відміну від рівня кешу, тут немає спарювання, яке це стримало б: спільне використання і є сенсом цього пристрою.\nНа дисках по 20 TB у цьому вся розмова, бо перебудова величезна. Один OSD, що відмовив, це 20 TB для backfill; при 150–250 MB/s, які витримує шпиндель, із пригальмовуванням, щоб відновлення не морило голодом гостей, ти дивишся на понад добу деградованої роботи через один диск. Втрать спільний пристрій DB, що несе п’ять таких, і переносити доведеться 100 TB.\nТож співвідношення насправді не рішення про витрати. Це рішення про те, як довго ти готовий працювати в деградованому стані і скільки трафіку перебудови кластер може нести, водночас обслуговуючи VM.\nСхема залежить від пристрою, якого більше ніхто не виробляє. Це той пункт, на який немає технічної відповіді. Optane це правильна частина для позиції кешу, і ніщо сучасне його не замінює: NAND не витримує обсягу записів, а пам’ять на основі CXL, на яку переключилася Intel, не підставляється замість блочного кешу. Тож пом’якшення тут комерційне, а не хитре, воно описане вище, а чесний підсумок такий, що ця архітектура має дату закінчення десь у майбутньому.\nНіщо з цього не робить кластер на HDD повністю флешевим. Тривалий випадковий трафік запису, що випереджає швидкість скидання, заповнить кеш, і щойно той заповниться, ти пишеш зі швидкістю шпинделя з додатковими шарами на шляху. Ця схема поглинає сплески й прибирає накладні витрати метаданих. Вона не виробляє IOPS.\nЩо з цього виходить Три рівні, кожен робить ту одну річ, яка йому вдається найкраще, і всі три обов’язкові:\nOptane поглинає сплески випадкових записів, один пристрій на шпиндель. Це має бути Optane, бо кожен запис проходить крізь нього, а витривалість NAND для цієї позиції не годиться Швидкий корпоративний NVMe тримає RocksDB і WAL, спільний для кількох OSD у співвідношенні, яке ти обрав свідомо, а не прийняв як є HDD дають основну місткість, звільнені і від метаданих, і від сплесків Сенс не в тому, щоб удавати, ніби диски, що крутяться, це флеш. Сенс у тому, щоб перестати надсилати їм роботу, яка їм вдається найгірше, щоб місткість, за яку ти насправді заплатив, була придатною.\nОсь і весь фокус, і нічого хитрого в ньому нема. Постав кожну роботу на пристрій, якому вона вдається, і перестань двічі платити за ті, яким не вдається.\nДля гіперконвергентного кластера Proxmox, якому потрібна багатотерабайтна місткість без цін повністю флешевого рішення, це схема, яку можна обстояти. Зібрана як слід, вона здається значно швидшою за голі HDD, відмовляє так, як Ceph уміє обробляти, і гроші йдуть туди, де вони змінюють результат.\nДві пов’язані речі, які варто прочитати поряд: робота з розміром сектора в 4Kn, 512e і 512n дуже важить для того, що шпинделі роблять із записами, які до них доходять, а якщо ти будуєш це на вузлах із прямим підключенням, безкомутаторна сітка описує мережевий бік невеликого кластера Ceph.\nДжерела Ceph — Hardware Recommendations — застереження про IOPS на TB для великих HDD, «HDD OSDs may see a significant write latency improvement by offloading WAL+DB onto an SSD», співвідношення 4–5 HDD на SATA SSD і ≤15 на NVMe, захист від втрати живлення в корпоративних SSD, вимкнення кешу запису HDD і те, що HBA з RoC не потрібен Ceph — BlueStore Configuration Reference — block.db на рівні 1–2 % від block для RBD і щонайменше 4 % для RGW, загальна рекомендація 2,5 %, spillover назад на основний пристрій, розміри рівнів RocksDB за кроками 3/30/300 GB і WAL, що неявно розміщується разом із DB Linux kernel — bcache admin guide — режими кешу, sequential_cutoff і його типові 4 MB, типові 2000 µs для перевантаження читань, writeback_rate у секторах на секунду, PD-регулятор writeback_percent, лічильники dirty_data / cache_hit_ratio / bypassed та їхні версії, що згасають за добу, годину й п’ять хвилин, застереження, що writeback_running «only meant for benchmarking», твердження, що ці налаштування «do not persist across reboot», і «in writeback mode you\u0026rsquo;ll lose data if something happens to your SSD» Intel — Optane Memory M10 32 GB specifications — 365 TBW, 240 000 IOPS випадкового читання й 65 000 IOPS випадкового запису при 4K на проміжку 8 GB, 1200/290 MB/s послідовно, PCIe 3.0 x2 Intel — Optane Memory M10 16 GB specifications — 150 MB/s послідовного запису й 35 000 IOPS випадкового запису, через які ця частина за послідовною пропускною здатністю нижча за диск, що крутиться PC Perspective — Optane SSD DC P4800X performance — 550K IOPS випадкового читання 4K у частини на 375 GB, 2400/2000 MB/s послідовно, типова затримка менше 10 µs і 12,3 PBW при 30 DWPD ServeTheHome — Optane DC P4801X 100GB M.2 review — маленькі частини M.2 для дата-центрів, для драбини місткостей StorageReview — Intel Optane SSD P5800X — рейтинг 100 DWPD, 30 DWPD у P4800X і порівняння з корпоративними дисками NAND, що сягають близько 10 DWPD для частин інтенсивного запису й 3 або менше для змішаного використання Bcache — ArchWiki — практичні режими відмов, зокрема пристрій під кешем, що після перезавантаження піднімається без кешу, і вимоги безпеки щодо живлення навколо кешу запису HDD і FUA Intel — Optane business update — згортання і що воно означає для гарантії й підтримки пристроїв, які вже в експлуатації, а саме в такому становищі вже перебуває все, що ти купуєш на ринку вторинної переробки ","permalink":"https://blogs.damiendye.uk/uk/proxmox/hdd-backed-ceph-bcache-optane/","summary":"Ціни на флеш зробили all-NVMe важким для виправдання, і корпоративні HDD знову варті уваги. Щоб отримати від них прийнятну затримку на гіперконвергентному Proxmox Ceph, треба забрати RocksDB зі шпинделя, дати кожному диску власний Optane через bcache (саме Optane, бо витривалість NAND для цієї роботи не годиться) і чесно оцінити режими відмов, які ти за це купуєш.","title":"Як зробити швидкими кластери Proxmox Ceph на HDD: метадані на NVMe, один Optane на шпиндель і чого це тобі коштує"},{"content":"Чому досі це було дорого VDI, Virtual Desktop Infrastructure, видає повноцінний робочий стіл із дата-центру або хмари, а не з пристрою, що стоїть перед тобою. Користувач входить із ноутбука, тонкого клієнта чи власної машини й отримує знайомий робочий стіл Windows або Linux, де застосунки, файли й обчислення працюють централізовано.\nДля команди IT принада в тому, що оновлення, контроль доступу й захист даних відбуваються в одному місці, а люди можуть дістатися до того самого робочого столу звідусіль.\nПерешкодою ніколи не був гіпервізор. Нею був GPU.\nДілити один фізичний GPU між кількома робочими столами було територією NVIDIA, а NVIDIA бере гроші за програмне забезпечення vGPU, яке цей поділ робить. Саме через цю ліцензію VDI з апаратним прискоренням графіки здебільшого лишався привілеєм контор із корпоративними бюджетами. Платити щороку за те, щоб увімкнути те, що кремній і так уміє, важко з ентузіазмом.\nIntel змінив цю арифметику лінійкою Arc Pro. Ці карти підтримують апаратний поділ через стандартний SR-IOV, а це функція PCIe, а не продукт. Як такий, тут немає сервера ліцензій, немає підписки і немає окремого програмного забезпечення vGPU, яке треба купувати.\nТож я дістав Intel Arc Pro B50, щоб побачити, наскільки чисто він поєднується з Proxmox. Коротка відповідь: механізм працює точно як заявлено, а потім на заваді стала прошивка. Обидві половини нижче.\nЯк одна карта стає кількома: фізична функція на хості, віртуальні гостям Intel Arc Pro Bxx 03:00.0: фізична функція драйвер хоста: xe 03:00.1 vfio-pci 03:00.2 vfio-pci 03:00.3 де є підтримка 03:00.4 де є підтримка Стіл Windows 1 апаратне прискорення Стіл Windows 2 апаратне прискорення Стіл Windows 3 апаратне прискорення Стіл Windows 4 апаратне прискорення Ліцензія vGPU не потрібна на жодному етапі. SR-IOV це можливість PCIe, яку карта або оголошує, або ні; ця оголошує її на\u0026#160;[320]. Скільки функцій вона створить, задає прошивка, бо кожна отримує фіксований шматок пам’яті карти: більший шматок означає менше функцій. B50 на 16 GB дає дві по 8 GB; карти на 24 і 32 GB показують сім. Фізична функція лишається з драйвером xe хоста. Кожна віртуальна функція є повноцінним пристроєм PCIe, прив\u0026rsquo;язаним до vfio-pci і переданим гостю: та сама механіка passthrough, що й для цілої карти, лише кілька разів поспіль. Пунктирна пара залежить від карти: скільки функцій створює кожна, сказано далі. Слон у кімнаті: спершу потрібен Windows Перш ніж щось із цього запрацює, карта хоче оновити прошивку. Intel постачає це оновлення всередині інсталятора драйвера для Windows.\nЩо незручно, бо карту ти купив саме для того, щоб вона працювала під Proxmox.\nЄ обхід, якому не потрібно нічого, крім Proxmox: зібрати VM з Windows, передати їй всю карту, дати Windows оновити прошивку, а потім повернути карту хосту. Це замкнене коло початкового запуску, і про нього варто знати до того, як плануєш збірку, а не після.\nЯк розірвати коло «спершу Windows» тимчасовою VM Підступ: SR-IOV потребує свіжої прошивки, а прошивка йде в інсталяторі драйвера Windows. 1 Карта в хості lspci → 03:00.0 2 Уся карта → VM Windows hostpci0, Q35 + OVMF 3 Драйвер Intel прошивка оновлюється з ним 4 Перезавантаж хост карта ініціалізується знову карту повернуто Proxmox 5 SR-IOV на місці lspci -v → [320] 6 tmpfiles.d при старті numvfs, unbind, bind 7 VF гостям скільки дозволяє прошивка Кроки 2 і 3 потрібні лише для оновлення прошивки. VM з Windows тимчасова: щойно карта повертається на хост, вона більше ні до чого, і готова система ніяк не залежить від Windows, запущеної на гіпервізорі. Карта не вміє SR-IOV, доки її прошивка не свіжа, а оновлення прошивки приходить як драйвер Windows. Одна тимчасова VM з Windows, якій передано всю карту, розриває це коло. Шукаємо карту На хості Proxmox знайди її через lspci:\nlspci Ось вона на 03:00.0, показана як Battlemage G21, кремній, що стоїть за Arc Pro B50. Запиши адресу. Вона знадобиться кілька разів, і разом із картою йде окрема аудіофункція на 04:00.0.\nПередаємо всю карту у VM з Windows Додай карту до VM з Windows як сирий пристрій PCI. У налаштуваннях обладнання VM це запис PCI Device: 0000:03:00 з pcie=1:\nВарто помітити, що ще є в цій VM, бо нічого з цього не випадкове: тип машини Q35, прошивка OVMF, VirtIO SCSI single і TPM для Windows 11. Q35 тут особливо не опційний. Переданий GPU на i440fx з’являється як застарілий пристрій PCI, а це не та форма, яку чекає сучасний графічний драйвер. Про це йдеться в Always Use Q35, Not i440fx.\nЗавантаж VM і перевір, що Windows бачить карту:\nВона з’являється як Microsoft Basic Display Adapter, бо драйвер ще не встановлено. Це очікуваний стан, і його достатньо. Windows знайшов обладнання.\nОновлюємо прошивку Візьми свіжий драйвер зі сторінки завантажень Intel для Arc Pro B50. На момент написання це була версія 32.0.101.8306 (Q4.25), для Windows 11 і Windows 10 22H2:\nВстанови його і дай оновленню прошивки відпрацювати як частині процесу, не скасовуючи раніше часу. Цей крок із прошивкою і є єдиною причиною всього цього обхідного шляху.\nКоли він завершиться, поверни карту хосту й перезавантаж, щоб вона повністю ініціалізувалася під Proxmox.\nПеревіряємо, що SR-IOV на місці Тепер спитай карту, що вона вміє:\nlspci -v Рядок, що має значення:\nCapabilities: [320] Single Root I/O Virtualization (SR-IOV) Це вся пропозиція в одному рядку виводу lspci, і жодної ліцензії до нього не прив’язано.\nЩе три речі в цьому виводі варто прочитати, раз ти вже тут:\nKernel driver in use: xe: карта працює на новішому драйвері Intel xe, а не на i915, і саме він створюватиме віртуальні функції. [420] Physical Resizable BAR і [220] Virtual Resizable BAR: карта підтримує BAR змінного розміру, і її віртуальні функції теж. Варто знати, скільки адресного простору це коштує, якщо передаєш кілька з них: див. PCIe Resizable BAR and Modern GPUs. IOMMU group 13: карта сидить у власній групі, а це саме те, що потрібно для чистого passthrough. Чому це важливо, пояснено в статті про податок IOMMU. Створюємо віртуальні функції при старті Віртуальні функції не зберігаються. Запит на них це запис у sysfs, тож він має відбуватися при кожному завантаженні.\ntmpfiles.d дає охайний спосіб зробити це декларативно, а не прикручувати скрипт до unit-файлу:\nФайл робить три речі по черзі.\nСтворює віртуальні функції, записуючи їхню кількість у sriov_numvfs фізичної функції:\nw /sys/devices/pci0000:00/0000:00:01.1/0000:01:00.0/0000:02:01.0/0000:03:00.0/sriov_numvfs - - - - 4 Відв’язує кожну нову функцію від xe, бо драйвер хоста захоплює їх, щойно вони з’являються, а гість не може отримати пристрій, який тримає хост:\nw /sys/bus/pci/drivers/xe/unbind - - - - 0000:03:00.1 w /sys/bus/pci/drivers/xe/unbind - - - - 0000:03:00.2 w /sys/bus/pci/drivers/xe/unbind - - - - 0000:03:00.3 w /sys/bus/pci/drivers/xe/unbind - - - - 0000:03:00.4 Прив’язує їх до vfio-pci, і саме це робить їх доступними для передавання:\nw /sys/bus/pci/drivers/vfio-pci/bind - - - - 0000:03:00.1 w /sys/bus/pci/drivers/vfio-pci/bind - - - - 0000:03:00.2 w /sys/bus/pci/drivers/vfio-pci/bind - - - - 0000:03:00.3 w /sys/bus/pci/drivers/vfio-pci/bind - - - - 0000:03:00.4 Зверни увагу на адреси: фізична функція це 03:00.0, а віртуальні з’являються як .1 по .4.\nОдна деталь про w, яка пояснює порядок і яка вкусить, якщо його переплутати. systemd документує це так: «Write the argument parameter to a file, if the file exists.» sriov_numvfs існує лише тоді, коли до фізичної функції прив’язався драйвер, а шляхи віртуальних функцій існують лише після того, як цей запис відбувся. Тож послідовність у файлі не питання стилю. Кожен рядок залежить від того, що попередній уже спрацював.\nЧому дві, а не чотири Драйвер 32.0.101.8306, той, що встановлено вище, несе графічну прошивку BMG__21,1162, і це той реліз, у якому Intel уперше офіційно увімкнув SR-IOV на Arc Pro. Заявлене Intel значення за замовчуванням для B50 у цьому релізі: дві віртуальні функції, кожна з VF Local Memory BAR на 8 GB.\nТож число тут питання арифметики, а не політики. У B50 16 GB. По 8 GB на віртуальну функцію влазить рівно дві.\nЄ нюанс, який варто знати, якщо підеш шукати обхід. До появи офіційної підтримки дехто запускав старішу прошивку, яка показувала на B50 12 віртуальних функцій, і відкат на драйвер 32.0.101.6979 повертає цю кількість. Ці 12 ділили ті самі 16 GB, тож кожна отримувала частку тієї пам’яті, яку отримують мої. Позиція Intel така: дві вибрано свідомо, щоб кожна функція мала достатньо обчислень, місткості й пропускної здатності для передбачуваної поведінки.\nТож обмеження можна посунути, але не тобі. Максимальна кількість VF і розмір VF Local Memory BAR живуть в IFWI, публічного інструмента, щоб змінити будь-що з них, немає, і підтримувана відповідь на поточному стеку: дві.\nСкільки робочих столів дає кожна карта B50 це мала карта в родині, і дві її функції це нижня межа родини. Якщо тобі важлива кількість місць, купуй вище за лінійкою.\nSR-IOV уміє вся лінійка Battlemage Arc Pro. Різниця в тому, скільки функцій виріже прошивка, і це йде за пам’яттю:\nКарта Пам’ять VF на поточному підтримуваному стеку Що бачили деінде Arc Pro B50 16 GB 2, по 8 GB VF BAR кожна: задокументоване Intel значення за замовчуванням 12 на неофіційній прошивці, через драйвер 32.0.101.6979 Arc Pro B60 24 GB 7 за повідомленнями 24 на ранній прошивці ASRock, урізано до 7 пізнішою Arc Pro B60 Dual 2 × 24 GB 7 на GPU: два GPU, тож 14 з одного слота як вище; дві половини незалежні Arc Pro B65 32 GB опублікованої кількості не знайдено немає Arc Pro B70 32 GB 7 за повідомленнями, на прошивці 8517 4 на ранішій прошивці Задокументовано Intel лише рядок B50. Числа для B60 і B70 це те, що люди повідомляють з lspci, і вони змінювалися не раз. B60 зокрема впав із 24 до 7 після оновлення прошивки, а це таке саме звуження, яке бачив B50. Схоже, ніхто взагалі не опублікував кількість VF для B65, тож вважай цей рядок невідомим, а не нулем.\nЗ цієї таблиці випливають дві речі, і обидві важать більше за будь-яке окреме число в ній.\nКількість VF це поділ пам’яті, а не властивість кристала. Правило Intel таке: більший VF Local Memory BAR означає менше функцій. Тому карта на 16 GB дає дві, а карти на 32 GB дають сім: шейдери GPU тут нічого не вирішують.\nПеревіряй карту, яку збираєшся купити, а не родину. Наявність SR-IOV різнилася між виробниками плат на тому самому чипі: Sparkle B60 Blower спочатку постачався взагалі без видимої можливості й отримав її лише після оновлення прошивки через igsc. Попроси вивід lspci -v саме з цієї моделі або заклади в бюджет оновлення прошивки, перш ніж на щось із цього розраховувати.\nDual B60 це дві карти під одною планкою Maxsun Arc Pro B60 Dual 48G Turbo найцікавіша з погляду кількості місць, і головне, що треба зрозуміти: 48 GB це не спільний пул.\nЦе два GPU B60, два кристали BMG-G21, на одній платі, по 24 GB GDDR6 на кожен, і без мосту PCIe між ними. Обидва кристали висять прямо на золотих контактах x16, кожен на PCIe 5.0 x8.\nА отже, слот має розділити хост. Карта потребує біфуркації основного слота x16 на x8/x8, а більшість споживчих плат не вмикає цього за замовчуванням. Це налаштування прошивки, яке треба шукати, з тієї ж категорії, що й налаштування IOMMU та ACS, без яких усе це не працює.\nЗроби це правильно, і операційна система побачить два окремі GPU, кожен із власною фізичною функцією і власною можливістю SR-IOV. Тож ти отримуєш два набори віртуальних функцій з одного слота, 14 місць, якщо кожен кристал поводиться як одиночний B60, а файл tmpfiles.d вище подвоюється: по одному запису sriov_numvfs на кристал.\nЗроби неправильно, і побачиш один GPU, а половина карти буде невидимою.\nВарто прямо сказати, чим 48 GB не є: гість, приєднаний до віртуальної функції на першому кристалі, не може дістатися пам’яті другого. Це дві карти по 24 GB в одному фізичному місці, а це саме те, що треба для місць VDI, і саме те, чого не треба для однієї великої моделі.\nОтже: якщо двох місць досить, B50 це карта на 70 W, яка з цим упорається. Якщо потрібно сім, плануй навколо B70. Якщо потрібно чотирнадцять і є плата, що вміє біфуркацію, dual B60 дасть це з одного слота.\nЧи можна запускати AI на віртуальній функції? Коротка відповідь: вважай, що це не підтримується. Довша відповідь, бо причина важлива і вона не та, яку ти вгадаєш.\nЦі карти продають як карти для AI, і вони не прикидаються. 128 рушіїв XMX у B50 мають пікові 170 TOPS, у B70 367, а програмна історія Intel справжня: vLLM обслуговує моделі від 8B до 120B на Arc Pro серії B, а IPEX-LLM і SYCL-бекенд llama.cpp працюють на них обидва.\nАле подивися, як отримано кожен із цих результатів. Власні числа vLLM для Arc Pro отримано з контейнера Docker на голому залізі, на системах із чотирма й вісьмома цілими картами B60, що роблять тензорний паралелізм. Допис Intel жодного разу не згадує SR-IOV чи віртуальні функції.\nЦя закономірність трималася скрізь, де я дивився. Intel обмежує сценарії SR-IOV віртуалізованим віддаленим робочим столом, прискоренням графіки гостьової ОС і кодуванням та декодуванням медіа. Обчислень у цьому списку немає, і я не знайшов жодного опублікованого випадку, де хтось запускав інференс LLM у VM, приєднаній до віртуальної функції.\nТе, що люди роблять насправді, говорить саме за себе: вони запускають модель у Docker на хості, а віртуальні функції віддають VM під робочі столи. Одна людина, що робить і те, і те одночасно, просто повідомляє, що «VRAM gets pretty tight.»\nІ це справжня проблема, і вона в арифметиці, а не в підтримці драйверів.\nВіртуальна функція отримує фіксований шматок локальної пам’яті: 8 GB на B50, заданий у прошивці. Цей шматок і є жорсткою стелею для ваг разом із KV-кешем у цьому гості, і він не росте від того, що в карти пам’яті більше. Модель 8B у FP16 це близько 16 GB ваг ще до того, як додати хоч трохи контексту, тож вона не влазить у віртуальну функцію B50 на жодному драйвері. Квантуй до Q4, і 8B влізе приблизно в 4 GB, лишивши кілька GB на контекст: це працює, але дуже далеко від того, що карта вміє неподіленою.\nТож два навантаження змагаються за ту саму пам’ять, і поділ вирішено в прошивці ще до того, як будь-яке з них стартує.\nЯкщо робота це AI, не діли карту. Передай її цілком одній VM, тим самим passthrough hostpci0, що використано для оновлення прошивки раніше в цьому дописі, або запусти контейнер на хості й пропусти віртуалізацію для цього навантаження. Обидва варіанти дають моделі всі 16 GB і весь масив XMX.\nЯкщо робота це VDI, віртуальні функції правильні, і чекай за кожною з них графіки робочого столу, а не сервера інференсу. Робочі столи з апаратним прискоренням, відтворення відео й кодування працюють. Саме для цього механізм і задокументовано.\nВарто сказати прямо: відсутність опублікованих доказів не доводить, що воно не працює. Драйвер xe відкриває обчислення через Level Zero та OpenCL, і цілком можливо, що гість на VF їх нормально піднімає. Але Intel ніде не каже, що це перевірено, ніхто, схоже, не показав, що воно працює, а стеля пам’яті обмежує віддачу, навіть якщо працює. Будувати на цьому план не варто.\nЧого це все одно варте Дві віртуальні функції це два робочі столи Windows з апаратним прискоренням з однієї карти, без ліцензії vGPU, без підписки і без сервера ліцензій. На гіпервізорі, експлуатація якого нічого не коштує. Цього досить, щоб довести, що підхід працює, і це чесна робота для B50. Це низ лінійки.\nДля справжнього розгортання VDI я б закладав dual B60.\nЧотирнадцять функцій з одного слота, якщо кожен кристал поводиться як одиночний B60, ставлять його на ту саму територію за кількістю місць, що й карти NVIDIA, які продають під це навантаження, за набагато нижчою ціною і без жодного ліцензування на користувача. Остання частина якраз і накопичується. vApps, vPC і RTX vWS від NVIDIA ліцензуються на одночасного користувача, або як річна підписка, або як безстрокова ліцензія, яку треба купувати разом із п’ятирічною підпискою на підтримку й обслуговування. Кожне місце це рядок у рахунку, і він приходить знову. З боку Intel такого рядка немає. Ти купуєш карту.\nА в довгій перспективі важить механізм. SR-IOV на GPU це можливість PCIe, а не рівень продукту, тож файл tmpfiles.d просто росте під те, що дозволяє карта.\nФорма така: один запис sriov_numvfs, потім unbind і bind для кожної функції, тож дві функції це п’ять рядків, а дев’ять вище це чотири функції, запитані на карті, яка дає дві. Сім функцій це п’ятнадцять рядків. Dual B60 це тридцять, бо кожен кристал є окремою фізичною функцією і отримує власний запис sriov_numvfs.\nБільше нічого не змінюється, коли масштабуєш. Сервер ліцензій не з’являється в цьому файлі ніде.\nДжерела Intel support — why the latest Arc Pro B50 firmware shows 2 SR-IOV VFs — авторитетна заява: SR-IOV офіційно ввімкнено з графічної прошивки BMG__21,1162 у драйвері 32.0.101.8306, дві VF з VF Local Memory BAR на 8 GB кожна на B50, а максимальна кількість VF і розмір BAR задаються на рівні IFWI без публічного інструмента для їх зміни Intel Community — \u0026ldquo;Why did the latest Intel Arc Pro B50 firmware nerf SR-IOV VFs from 12 to 2?\u0026rdquo; — неофіційна прошивка з 12 VF, відкат на 32.0.101.6979, що її повертає, і пояснення Intel щодо нижчого значення за замовчуванням Level1Techs — B60 SR-IOV support in the Arc Pro drivers — польові звіти lspci для B60, оновлення прошивки через igsc, що відкрило можливість, і звідки взялися числа 24, а потім 7 Level1Techs — B50, B60 or B70 for SR-IOV — повідомлені кількості VF для кожної карти й прошивки, джерело для рядків B70 ASRock — Intel Arc Pro B65 Creator 32GB — характеристики B65: 32 GB GDDR6, 20 обчислювальних блоків, 160 рушіїв XMX, 256 біт, PCIe 5.0 MAXSUN — Arc Pro B60 Dual 48G Turbo — власна заява виробника, що карта «uses PCIe 5.0 x8 + x8 interfaces and runs efficiently on consumer platforms that support PCIe x16 lane bifurcation» vLLM — Fast and affordable LLM serving on Intel Arc Pro B-Series — історія AI на цих картах і той факт, що це історія Docker на голому залізі з чотирма й вісьмома цілими B60, без згадки про SR-IOV чи віртуальні функції Linux kernel — Intel Xe driver — драйвер, який використовує карта, за lspci -v tmpfiles.d(5) — тип рядка w і його умова «if the file exists», що диктує порядок, описаний вище NVIDIA Virtual GPU Software Packaging, Pricing and Licensing Guide — ліцензована альтернатива, якої ця схема уникає: vApps, vPC і RTX vWS продаються на одночасного користувача, як річна підписка або безстрокова ліцензія разом із п’ятьма роками підтримки й обслуговування Proxmox VE — PCI(e) Passthrough — вимоги до passthrough з боку хоста ","permalink":"https://blogs.damiendye.uk/uk/proxmox/licence-free-vdi-intel-arc-pro-sriov/","summary":"Карти Intel Arc Pro підтримують SR-IOV нативно, без ліцензії vGPU, яку треба купувати, тож VDI з Windows без ліцензій на Proxmox справді можливий. Уся збірка на B50, проблема початкового запуску «спершу Windows», чому прошивка обмежує її двома віртуальними функціями і скільки їх дає кожна карта серії B.","title":"VDI з Windows без ліцензій на Proxmox з Intel Arc Pro B50 і обмеження прошивки, яке це зупинило"},{"content":"Комутатор, якого ти не купуєш Кластер Proxmox із трьох вузлів із Ceph хоче швидкої мережі між вузлами. Звична відповідь це комутатор на 100 Гбіт, а звичне заперечення це його ціна.\nДля трьох вузлів є інша відповідь: з’єднай їх кабелями напряму один з одним трикутником і маршрутизуй через нього. Жодного комутатора на шляху зберігання взагалі.\nНайдешевший компонент у будь-якій схемі той, якого ти не купуєш, і тільки він ніколи не ламається.\nЦе дає чотири речі.\nВитрати на комутатор зникають. Потрібні мережеві карти і три кабелі, а не комутатор на 100 чи 200 Гбіт із відповідною кількістю портів.\nШлях даних не має єдиної точки відмови. Комутатор, який відмовляє або перезавантажується, забирає з собою весь трафік схід-захід кластера. Вузлам, з’єднаним напряму один з одним, байдуже, що діється з комутатором деінде в будівлі.\nВажкий трафік іде своїми дротами. Жива міграція і реплікація Ceph лишаються в сітці, а не змагаються з офісним і керівним трафіком.\nРозширення це робота з кабелями, а не з бюджетом портів. Немає центральної коробки, що ставить стелю для пропускної здатності чи кількості портів, тож фабрика росте, доки в кожному сервері є вільний слот PCIe. OpenFabric сам маршрутизує через нові лінки.\nІ одне чесне обмеження, бо воно важить більше, ніж чотири переваги. Повна сітка потребує кабелю між кожною парою вузлів. Три вузли це три кабелі. Чотири це шість. П’ять це десять. Кабелів стає більше швидше, ніж вузлів, і ця схема не виживає за межами невеликого кластера без переходу на щось комутоване, як-от leaf-spine.\nТри вузли саме те місце, де повна сітка має сенс. Далі, з двома портами сітки на вузол, ти ще можеш побудувати кільце, а воно потребує однієї речі, якої ця збірка інакше уникає. Про неї нижче.\nЩо будуємо Три хости Proxmox VE, кожен із двома виділеними інтерфейсами на 100 Гбіт, з’єднані трикутником, тож кожен вузол має двох прямих сусідів.\nМаршрутизацією займається Proxmox SDN. Протокол OpenFabric: він визначає найкращий шлях через сітку, а коли кабель висмикнуто чи лінк падає, перемаршрутизує через шлях, що лишився. Ніхто не заходить на машини.\nФабрика живе в 10.10.10.0/24, відведеній лише для сітки і більше ні для чого: не для керування, не для гостьових систем, не для адресації сховища, не для чогось зовнішнього.\nВузол Адреса в сітці Інтерфейси сітки mesh1 10.10.10.1/32 nic1, nic2 mesh2 10.10.10.2/32 nic1, nic2 mesh3 10.10.10.3/32 nic1, nic2 Кожен вузол отримує /32, а не шматок підмережі. У цьому і суть маршрутизованої сітки замість мостової. Адреса ідентифікує вузол, OpenFabric її оголошує, а два фізичні лінки лише шляхи, щоб до неї дістатися. Proxmox створює для неї фіктивний loopback-інтерфейс.\nТрикутник із трьох вузлів і на яку NIC приходить кожен кабель Комутатор 2,5 Гбіт керування + клієнти mesh1 10.10.10.1/32 mesh2 10.10.10.2/32 mesh3 10.10.10.3/32 DAC-01 nic1 ↔ nic1 DAC-03 nic2 ↔ nic2 DAC-02 mesh2 nic2 ↔ mesh3 nic1 nic0 nic0 nic0 Кожен вузол дістає два інші напряму, тож кожен перехід у сітці один. Пунктирні лінки nic0 це окремий шлях керування на 2,5 Гбіт: ніколи не частина фабрики, і саме тому ти все ще зможеш зайти, якщо сітка зламана. Три кабелі, шість портів і два шляхи до кожного вузла. Висмикни будь-який один кабель, і кожен вузол лишається досяжним: два лінки, що лишилися, утворюють ланцюжок, яким OpenFabric прокладе маршрут в обхід. Кабелювання Активні оптичні кабелі DAC, трикутником, з jumbo frames на обох інтерфейсах сітки на кожному вузлі.\nКабель Звідки Куди DAC-01 mesh1 nic1 mesh2 nic1 DAC-02 mesh2 nic2 mesh3 nic1 DAC-03 mesh3 nic2 mesh1 nic2 Активна оптика, а не мідний DAC, з двох причин, які стосуються стійки, а не мережі:\nУкладання кабелів. Активні оптичні DAC тонші й набагато гнучкіші за мідні, тож їх легко прокласти і вони не накопичуються купою за серверами. Потік повітря. Менше кабельної маси за шасі означає менше перешкод потоку повітря спереду назад, а це важливо, коли кілька швидкісних лінків сходяться в тих самих кількох юнітах стійки. Дві мережі, а не одна Сітка не єдина мережа, і вона не повинна нею стати.\nКожен вузол має nic0 на комутаторі на 2,5 Гбіт, представлений у Proxmox як міст vmbr0. Він несе вебінтерфейс, адміністративний доступ і клієнтський трафік. Це також шлях, яким ти користуєшся, поки будуєш фабрику, і саме тому він мусить бути від неї незалежним.\nnic0 навмисно лишено поза фабрикою. Коли створюють вузли фабрики, вибирають лише nic1 і nic2.\nСітка несе три речі:\nCeph. Реплікація між вузлами, відновлення і backfill для гіперконвергентного сховища. Віртуальні мережі клієнтів. VNet на основі VXLAN розтягують гостьові мережі на всі три вузли, використовуючи маршрутизовану сітку як underlay. Corosync, як другий шлях. Трафік членства в кластері йде мережею керування і сіткою, тож кворум не залежить від того, чи виживе одна з них сама. Що йде мережею керування, що йде сіткою, і єдине, що йде обома Мережа керування 2,5 Гбіт nic0 → vmbr0 → комутатор Вебінтерфейс Proxmox Адміністративний доступ Клієнтський трафік Маршрутизована сітка 100 Гбіт nic1 + nic2 → прямий DAC, без комутатора Реплікація Ceph, відновлення, backfill Клієнтські віртуальні мережі VXLAN Жива міграція Corosync: обидва шляхи Членство в кластері не залежить від того, чи виживе одна з мереж сама. Розділення і є схемою. Керування лишається досяжним, хай у якому стані інтерфейси 100 Гбіт, і саме це робить безпечним будувати фабрику з вебінтерфейсу, а також відкочувати її. Corosync єдиний є на обох. Усе інше має рівно один дім, а керівний доступ це той, що мусить працювати, поки ти змінюєш інший. Правило, яке варто записати в заявку на зміну: керування і клієнтський доступ лишаються доступними через комутатор на 2,5 Гбіт завжди, хай у якому стані інтерфейси на 100 Гбіт.\nУсе через вебінтерфейс Ця збірка зроблена повністю у вебінтерфейсі Proxmox. Це свідомий вибір, а не обмеження інструментів.\nНавмисно не використовується:\nРучне редагування /etc/network/interfaces. Ручне редагування файлів конфігурації FRR. vtysh як спосіб збірки. Proxmox генерує нижчу конфігурацію мережі й маршрутизації з об’єктів SDN, які ти визначаєш. Якщо щось справді не можна задати в інтерфейсі, це варто назвати передумовою, а не тихо виправляти в командному рядку. Наступна людина, що відкриє вебінтерфейс, не знатиме, що ти це зробив.\nВивід командного рядка нижче з’являється лише як доказ, ніколи як крок збірки.\nЗбірка 1. Відкрий вебінтерфейс Proxmox і перейди до Datacentre → SDN → Fabrics.\n2. Додай фабрику. Дай їй назву, префікс сітки і задай таймери.\nІнтервали Hello і CSNP зі значенням 1 оновлюють стан якомога швидше, коли щось змінюється, а це те, що треба на такій маленькій фабриці. Ціна: більше балачок на площині керування. На трьох вузлах із двома лінками кожен це неважливо, а якщо фабрика колись виросте, варто подумати ще раз.\n3. Додай кожен вузол через Add node. Дай йому адресу з діапазону сітки і познач інтерфейси, що беруть участь.\nЗверни увагу, що не позначено: nic0 лишається поза фабрикою, а vmbr0 зберігає адресу керування. Для перших двох вузлів використай Create another, а для останнього Create.\n4. Перевір результат, перш ніж застосовувати.\nТри вузли, три адреси, nic1, nic2 на кожному, усе позначено new: нічого ще не записано.\n5. Застосуй конфігурацію SDN.\nПоруч з Apply є Dry-Run, якщо ти волієш спершу побачити, що воно збирається зробити.\nЯк знати, що все запрацювало Вигляд статусу має показувати записи і зони, і фабрики як ok на всіх трьох вузлах, і жодних незастосованих змін.\nПотім перевір фабрику з погляду самого вузла. Спершу маршрути: кожен вузол повинен мати /32 до кожного з інших, а стовпчик Via каже, якого сусіда він використовує.\nДалі сусіди. Двоє, обидва Up, на трикутнику з трьох вузлів.\nПотім інтерфейси, і тут видно форму всієї штуки: dummy_Mesh як loopback, що тримає адресу маршрутизатора, а nic1 і nic2 як Point-To-Point, а не широкомовні сегменти.\nНарешті доведи це від краю до краю.\nБез втрат, і середні 0,134 мс і 0,141 мс. Обидва сусіди за один прямий перехід, а це саме те, що дає трикутник.\nПеревірка, яку варто зробити і якої не покаже жоден знімок екрана: висмикни один кабель і переконайся, що все лишається досяжним. Саме через це взагалі вибирають маршрутизовану сітку замість пари з’єднань точка-точка. Отож, це єдиний тест, що має значення.\nБільше трьох вузлів: кільце Трикутник це повна сітка. Кожен вузол має прямий кабель до кожного іншого, кожен перехід один, і жоден вузол ніколи не несе трафіку, що не його.\nЦя властивість це те, що два порти сітки на вузол дають тобі на трьох вузлах, і саме її ти втрачаєш на чотирьох. Не частину. Усю. Повна сітка з чотирьох вузлів потребує трьох портів на кожен. З двома найбільше, що можна з’єднати, це кільце.\nКільце змінює модель трафіку. Сусідні вузли досі мають прямий кабель, а вузли на протилежних боках кільця ні: їхній трафік мусить перетнути проміжний вузол. І той вузол мусить бути готовий пересилати пакети між своїми двома інтерфейсами сітки, чого Linux за замовчуванням не робить. Ядро документує ip_forward як «Forward Packets between interfaces» з «Default: 0 (disabled)».\nКільце з чотирьох вузлів: протилежні вузли без кабелю, тож за них пересилає інший mesh1 10.10.10.1 mesh2 пересилає mesh3 10.10.10.3 mesh4 10.10.10.4 mesh1 → mesh3 між ними немає кабелю тож трафік іде через mesh2 транзитний вузол пересилає між nic1 і nic2 Повна сітка на 4 вузли 6 кабелів, 3 порти на вузол без транзиту, без пересилання Кільце: 4 кабелі, 2 порти, і саме тому ти тут Дві з шести пар вузлів не мають прямого кабелю. Їхній трафік несе сусід, а отже лінки сусіда несуть чужу реплікацію Ceph на додачу до власної. Цієї ціни трикутник не має. Між mesh1 і mesh3 немає кабелю. Їхній трафік іде через mesh2 або mesh4, і той вузол пересилає його лише тому, що пересилання ввімкнене на двох інтерфейсах, якими він приходить. Увімкни його для інтерфейсів сітки, і лише для них:\n# /etc/sysctl.d/99-mesh-forwarding.conf net.ipv4.conf.nic1.forwarding = 1 net.ipv4.conf.nic2.forwarding = 1 sysctl --system Прочитай значення назад, а не припускай:\nsysctl net.ipv4.conf.nic1.forwarding net.ipv4.conf.nic2.forwarding Налаштування на рівні інтерфейсу тут правильний масштаб, і воно працює саме по собі. Глобальний net.ipv4.ip_forward не передумова. Рішення ядра про пересилання читає власне значення приймального інтерфейсу:\n#define IN_DEV_FORWARD(in_dev) IN_DEV_CONF_GET((in_dev), FORWARDING) IN_DEV_CONF_GET повертає налаштування цього пристрою, а не AND із глобальним. Тож nic1 і nic2 пересилають транзитний трафік фабрики, а nic0 і vmbr0 лишаються саме тим, чим мають бути: інтерфейсами хоста, що не маршрутизують. Увімкнення глобального перемикача зробило б маршрутизатором кожен інтерфейс на машині, включно з тим, що дивиться в офісну мережу. Цій схемі це геть ні до чого.\nОдна річ про глобальний перемикач IPv4, хоч ти його і не ставиш: net.ipv4.ip_forward це масовий сетер, тому документація ядра попереджає, що його зміна «resets all configuration parameters to their default state». Якщо щось інше на хості колись його запише, воно перезапише ці значення для окремих інтерфейсів. Краще знати це до того, як витратиш пів дня на з’ясування, чому транзит перестав працювати.\nIPv6 це виняток, і лише тут місце глобальному перемикачу. Документація ядра каже це прямо під conf/all/forwarding:\nEnable global IPv6 forwarding between all interfaces. IPv4 and IPv6 work differently here; the force_forwarding flag must be used to control which interfaces may forward packets.\nТож для IPv6 немає відповідника охайного підходу на рівні інтерфейсу, описаного вище. Якщо фабрика несе IPv6, ти вмикаєш пересилання глобально, а потім обмежуєш його через force_forwarding, задокументований як «Enable forwarding on this interface only — regardless of the setting on conf/all/forwarding». Зверни увагу, що та сама поведінка перезапису діє і навпаки: встановлення conf.all.forwarding у 0 скидає force_forwarding на кожному інтерфейсі.\nЗбірка вище лишає префікс IPv6 фабрики порожнім, тож нічого з цього тут не застосовується: це важить лише тоді, коли ти його додаси.\nЗверни увагу, чого пересилання не змінює: OpenFabric уже оголошував /32 кожного вузла і вже прокладав шлях через кільце. Пересилання це відсутній дозвіл, а не відсутній розум. Таблиця маршрутизації весь час була правильна. Ядро просто відмовлялося діяти як маршрутизатор.\nЧого кільце коштує порівняно з трикутником:\nТранзитний трафік. На кільці з чотирьох вузлів дві діагональні пари перетинають проміжний вузол, тож їхній трафік з’їдає пропускну здатність лінків того вузла на додачу до його власного. Ceph помічає це першим, бо реплікація йде всіх до всіх, а не сусіда до сусіда. Додатковий перехід затримки на цих шляхах, понад звичні для безкомутаторної схеми значення менше мілісекунди. Менший запас на відмови. Один розірваний лінк перетворює кільце на ланцюжок: досі повністю зв’язний, але з довшими шляхами і більшим транзитом. Другий розрив ділить кластер. Трикутник витримує один розрив зовсім без транзиту. І гіршає воно так, що це легше намалювати, ніж описати. Додай п’ятий вузол, і половина всіх пар вузлів у кластері залежить від того, що хтось інший пересилає:\nКільце з п’яти вузлів: половина пар вузлів залежить від чужого пересилання mesh1 mesh2 mesh3 mesh4 mesh5 кабель: напряму, один перехід без кабелю: потрібен сусід, що пересилає П’ять вузлів, по два порти 10 пар вузлів загалом 5 мають прямий кабель 5 не мають і йдуть через сусіда Кожен вузол тепер пересилає чужий трафік. А повна сітка? 10 кабелів і 4 порти на вузол тобто ще дві NIC у кожному сервері, і тут схема зупиняється. На трьох вузлах транзиту немає. На чотирьох його мають дві пари. На п’яти половина, а один розрив подовжує кожен шлях. Десять пар вузлів, п\u0026rsquo;ять кабелів. Пунктирні лінії це пари без кабелю між ними: кожна з них це трафік Ceph, що їде через лінки третього вузла. Повна сітка, яка б цього уникла, хоче чотирьох портів на сервер. Ось справжня стеля цієї схеми, і це не протокол маршрутизації. OpenFabric справляється добре. Справа в тому, що кількість портів на вузол фіксована, тож після трьох вузлів кожна нова машина перетворює більше твого трафіку на чужий транзит.\nІ чесна примітка, бо це важливо для збірки, яка досі була суто у вебінтерфейсі: sysctl це не дія у вебінтерфейсі. За правилом, викладеним раніше, це робить його передумовою, яку треба назвати, а не тихо виправити в командному рядку. Запиши її в ранбук, бо наступна людина, що відкриє панель SDN, побачить здорову фабрику і жодного натяку, що кільце залежить від файлу в /etc/sysctl.d.\nВідкат Видалення це збірка навпаки, в тому самому інтерфейсі: видали об’єкти SDN, створені для сітки, застосуй конфігурацію і переконайся, що доступ до керування не зачеплено.\nСаме через цей останній крок існують nic0 і комутатор на 2,5 Гбіт. Якщо відкат сітки міг коштувати тобі вебінтерфейсу, схема була хибна ще до того, як ти почав.\nПерш ніж почати Доступ до керування справді незалежний від сітки. Перевір це, а не припускай. Усі три вузли здорові перед будь-якою зміною SDN. Назви вузлів, назви інтерфейсів і кабелювання записані, бо nic1 на одному хості, який є nic2 на іншому, це поганий пів дня. Jumbo frames виставлені на обох інтерфейсах сітки, а MTU враховує накладні витрати VXLAN в underlay. Діапазон сітки зарезервований і ніде більше не використовується. Джерела Proxmox VE — Software-Defined Network — документація SDN Fabrics. Фабрики «provide automated routing between nodes in a cluster», OpenFabric «based on IS-IS and optimized for the spine-leaf topology common in data centers», кожен вузол потребує унікального Router-ID, і «a dummy \u0026rsquo;loopback\u0026rsquo; interface with the router-id is automatically created» Proxmox VE — Cluster Manager — мережа Corosync і резервні лінки, на яких стоїть схема членства з двома шляхами Proxmox VE — Deploy Hyper-Converged Ceph Cluster — мережеві очікування для гіперконвергентного кластера Linux kernel — IP sysctl documentation — ip_forward і його значення за замовчуванням 0, керування forwarding на рівні інтерфейсу і попередження, що зміна глобального перемикача скидає конфігурацію окремих інтерфейсів ","permalink":"https://blogs.damiendye.uk/uk/proxmox/proxmox-routed-mesh-sdn-openfabric/","summary":"Три вузли Proxmox, з’єднані напряму трикутником, з маршрутизацією OpenFabric у сітці та з Ceph і клієнтськими мережами VXLAN поверх неї. Усе зроблено у вебінтерфейсі, з чесною розмовою про те, де ця схема перестає масштабуватися.","title":"Безкомутаторна сітка Proxmox на SDN OpenFabric: мережі Ceph і клієнтів без комутатора на 100G"},{"content":"Проблема скопійованих рядків завантаження Пошукай тюнінг Proxmox, і ти знайдеш один довгий рядок GRUB_CMDLINE_LINUX, поданий як єдине ціле, без жодної вказівки, який прапорець де діє.\nЦе важить більше, ніж здається. Гіпервізор і гостьова система розв’язують протилежні задачі.\nХост хоче детермінованого доступу до справжнього заліза: поведінка IOMMU, стани ланок PCIe, фізичні стани простою. Гість хоче перестати вдавати, що в нього взагалі є залізо: його таймери це наближення, його стани простою вигадка, а його зависання зазвичай справа чужого планувальника. Тож той самий прапорець може бути правильним з одного боку, марним з іншого й часом шкідливим.\nНижче про те, де насправді місце кожному.\nДе місце кожному прапорцю завантаження ядра Лише хост тут живе справжнє залізо iommu=pt amd_iommu=pgtbl_v2 pcie_acs_override=… pcie_aspm=off pci=pcie_bus_perf → pcie_bus_safe, якщо USB4 processor.max_cstate=1 + intel_idle.max_cstate на Intel amd_pstate=disable задай і governor У гостя немає ланок PCIe, C-станів і cpufreq. Лише гість годі вдавати, що це залізо cpuidle.off=1 стани простою гостя вигадка nmi_watchdog=0 знятий з планування vCPU його чіпляє softlockup_panic=0 зависання спричинив хост Не чіпай kvm-clock. Не нав’язуй tsc чи hpet: лічильники не твої. На хості всі три з них означають інше, і два з них коштують чогось справжнього. Обидва: різні причини той самий прапорець, окреме рішення mitigations=off хост: витоки гість→хост гість: ізоляція процесів default_hugepagesz + hugepages хост: під RAM гостя гість: під застосунок вибери один шар, не обидва watchdog_thresh / nowatchdog хост: прийнятий тобою шум гість: довіри ніколи не було «Обидва» не означає, що його треба задати в обох місцях. Це означає, що рішення треба ухвалити двічі. Жоден: вони нічого не роблять amd_iommu=on недійсна опція; ядро пише «Unknown option - 'on'» і працює далі consoleblank=0 уже типове значення ядра Якщо скопійований рядок завантаження містить будь-який із них, його ніколи не звіряли з /proc/cmdline, а це найдешевша доступна перевірка, і саме вона ловить помилку з неправильним завантажувачем теж. Прапорці, що ходять по руках, розсортовані. Два з популярних не роблять нічого ні з якого боку, а рядок watchdog це справжнє питання судження, а не правило. Спершу: ти взагалі редагуєш правильний файл? Встановлення Proxmox з коренем на ZFS завантажується через systemd-boot, де /etc/default/grub ніхто не читає. Редагуєш його, перезавантажуєшся, і жодної зміни, жодної помилки. Година роздратування.\nproxmox-boot-tool status # tells you which bootloader is in use # systemd-boot: edit /etc/kernel/cmdline, then proxmox-boot-tool refresh # GRUB: edit /etc/default/grub, then update-grub Так чи так, перевіряй, а не припускай:\ncat /proc/cmdline А з боку GRUB використовуй GRUB_CMDLINE_LINUX_DEFAULT, а не GRUB_CMDLINE_LINUX. Останній застосовується до кожного пункту завантаження, включно з recovery, а recovery якраз той момент, коли тобі потрібна стандартна поведінка, а не вимкнені мітигації й закріплені C-стани.\nРядок хоста IOMMU і проброс iommu=pt amd_iommu=pgtbl_v2 pcie_acs_override=downstream,multifunction iommu=pt переводить IOMMU в режим passthrough: пристрої, призначені віртуальним машинам, проходять трансляцію, а рідні пристрої хоста її оминають. Це справжній параметр, і обробляється він в arch/x86/kernel/pci-dma.c, який викликає iommu_set_default_passthrough(true). Ядро документує його як еквівалент iommu.passthrough=1.\namd_iommu=on не існує. Це найширше скопійований неіснуючий параметр у посібниках з Proxmox. Функція ядра parse_amd_iommu_options() приймає fullflush, force_enable, off, force_isolation, pgtbl_v1, pgtbl_v2, irtcachedis, nohugepages і v2_pgsizes_only. Усе інше потрапляє сюди:\npr_notice(\u0026#34;Unknown option - \u0026#39;%s\u0026#39;\\n\u0026#34;, str); AMD-Vi вмикається за замовчуванням, коли прошивка його оголошує. Перевір власний журнал, і побачиш, що параметр ніколи не робив тієї роботи, яку йому приписували:\ndmesg | grep -i \u0026#34;AMD-Vi\\|Unknown option\u0026#34; amd_iommu=pgtbl_v2 справді дійсний: він вибирає формат таблиць сторінок DMA v2, який ділить структуру таблиць сторінок CPU, а не використовує власну AMD. Дві речі варто знати: документація обмежує його DMA-API, тобто власними доменами пристроїв хоста, а не доменами VFIO, що використовуються для пробросу; і він безпечно відступає з рядком у журналі, який тобі варто пошукати:\nif (amd_iommu_pgtable == PD_MODE_V2) { if (!amd_iommu_v2_pgtbl_supported()) { pr_warn(\u0026#34;Cannot enable v2 page table for DMA-API. Fallback to v1.\\n\u0026#34;); amd_iommu_pgtable = PD_MODE_V1; } } Тож його варто виміряти на вузлі з важким вводом-виводом з боку хоста й варто перевірити, що ти його справді отримав.\npcie_acs_override=downstream,multifunction це позадеревний патч Proxmox. Він розділяє групи IOMMU, стверджуючи ізоляцію, якої залізо не оголошує, і саме це робить проброс можливим на споживчих платах. А ще це, точно кажучи, неправда про топологію, яку кажуть ядру. Нормально на машині, чиїм гостям ти довіряєш так само, як хосту. Ненормально в усіх інших випадках. Більше про те чому в статті про податок IOMMU.\nЗатримка й джитер pcie_aspm=off processor.max_cstate=1 amd_pstate=disable pcie_aspm=off тримає ланки PCIe поза станами низького енергоспоживання, щоб операція вводу-виводу, яка надійшла, ніколи не чекала, поки ланка прокинеться. Це коштує кілька ват на ланку й прибирає хвіст затримки, який важко діагностувати. Див. PCIe ASPM і проброс.\nprocessor.max_cstate=1 обмежує простій ACPI станом C1. Зверни увагу на драйвер: це ручка processor/acpi_idle, тож на Intel тобі потрібен ще й intel_idle.max_cstate=1, бо intel_idle має пріоритет. На AMD правильний саме цей.\nЄ справжній контраргумент. Глибокий сон на ядрах, що простоюють, дає пакету тепловий і енергетичний запас, щоб розганяти зайняті, тож закріплення всього на C1 може знизити твою пікову однопотокову частоту, водночас підвищивши споживання в простої. На хості, чутливому до затримки, цей обмін зазвичай того вартий. На хості, що женеться за пропускною здатністю, може й ні. Виміряй, а не успадковуй.\namd_pstate=disable повертає до acpi-cpufreq. Варто знати задокументовані альтернативи, перш ніж за ним тягтися: passive (драйвер запитує рівень продуктивності), active (драйвер EPP зі зміщенням у бік продуктивності чи ефективності) і guided. active зі зміщенням у бік продуктивності або passive плюс governor performance часто дають ту саму затримку, зберігаючи тонше керування CPPC. А якщо таки вимикаєш, задай governor свідомо: опинитися на acpi-cpufreq з schedutil може бути кроком назад.\nПам’ять default_hugepagesz=1G hugepages=64 default_hugepagesz=1G сам по собі нічого не резервує. Ядро документує його як такий, що задає «the size of the default HugeTLB page… the default hugetlb size used for shmget(), mmap() and mounting hugetlbfs», тобто одиницю, а не виділення. Виділення йде від hugepages=, задокументованого як «Number of HugeTLB pages to allocate at boot».\nДля сторінок 1 GiB це важить значно більше, ніж для 2 MiB, бо суцільні ділянки по 1 GiB фактично недосяжні, щойно хост попрацював і пам’ять фрагментувалася. Завантаження це твій єдиний надійний шанс.\nПотім гість мусить погодитися на це (hugepages: 1024 у конфігурації VM). Зарезервовані сторінки, якими ніхто не користується, це просто пам’ять, яку тобі не повернути, і ти втрачаєш ballooning і KSM на тих VM, що їх використовують.\nОбмін безпеки mitigations=off Це не один перемикач. Ядро розгортає його в список, і на гіпервізорі важать ось ці пункти:\nl1tf=off mds=off mmio_stale_data=off kvm.nx_huge_pages=off gather_data_sampling=off retbleed=off spec_rstack_overflow=off nospectre_v2 nopti indirect_target_selection=off Власний підсумок ядра звучить як «improves system performance, but it may also expose users to several CPU vulnerabilities». L1TF, MDS і MMIO stale data це саме шляхи витоку від гостя до хоста й від гостя до гостя, а kvm.nx_huge_pages це мітигація iTLB-multihit усередині самого KVM.\nМожна обґрунтувати на машині з одним орендарем, де кожен гість такий самий довірений, як хост. Не можна обґрунтувати там, де гості недовірені або належать різним орендарям. І зверни увагу, що це складається з pcie_acs_override: дві незалежні гарантії ізоляції прибрані в одному рядку. Варто робити це свідомо, а не в спадок.\nPCIe через USB4 змінює два з них Якщо твої пристрої PCIe приходять через USB4 чи Thunderbolt, зовнішній GPU чи корпус для NVMe, дві з відповідей вище змінюються.\nНалаштування MPS перестає бути безкоштовним На фіксованих слотах pci=pcie_bus_perf це невеликий безкоштовний виграш. Ядро описує його так:\nSet device MPS to the largest allowable MPS based on its parent bus. Also set MRRS (Max Read Request Size) to the largest supported value… for best performance.\nЗаковика в тому, що він налаштовує мости під час завантаження, за топологією, яка є під час завантаження. Через USB4 гаряче під’єднання це звичайна справа, і пристрій, доданий пізніше, може підтримувати менший MPS, ніж уже виставлено на мосту.\nЯдро прямо каже те, про що зазвичай мовчать, рекламуючи іншу політику:\npcie_bus_peer2peer — Set every device\u0026rsquo;s MPS to 128B, which every device is guaranteed to support… This also guarantees that hot-added devices will work.\nЛише одна політика дає цю гарантію, і саме вона закріплює все на 128 байтах, а якраз від цього й прагне втекти налаштування MaxPayloadSize. Для топології з гарячим під’єднанням безпечніша відправна точка це pcie_bus_safe (найбільше значення, яке підтримують усі пристрої під root complex) або просто лишити tune_off. Власний комутатор тунелю все одно обмежує досяжний MPS, тож піднімати стелю ніколи не було в твоїй владі.\nЧому гаряче під’єднання змінює відповідь щодо політики MPS Під час завантаження\u0026#160;pcie_bus_perf\u0026#160;налаштовує міст за тим, що бачить міст: MPS 512 пристрій A · 512 пристрій B · 512 є під час завантаження гарячий · лише 256 розбіжність нічого не переузгоджено У корпусі такого не буває: топологія під час завантаження лишається такою назавжди. На порту USB4 це звичайна справа. Чотири політики, і яку ядро називає безпечною для гарячого під’єднання pcie_bus_tune_off не чіпати значення BIOS pcie_bus_safe найбільше значення, яке підтримують усі пристрої під root complex pcie_bus_perf найбільше, що дозволяє батьківська шина, для кожного пристрою, плюс MRRS pcie_bus_peer2peer 128 B усюди: «guarantees that hot-added devices will work» Цю гарантію дає лише одна політика, і саме вона викидає розмір корисного навантаження, який ти налаштовував. Міст налаштовують один раз, під час завантаження, за пристроями, які тоді є. Усе, що далі, мусить жити з цим рішенням, і це нормально в корпусі й ненормально на порту. Нагромадження безпеки стає серйозним Зовнішній PCIe означає, що хтось може встромити у твій гіпервізор пристрій, здатний до DMA. Документація ядра щодо Thunderbolt каже про це прямо:\n…the connected devices can be DMA masters and thus read contents of the host memory without CPU and OS knowing about it. There are ways to prevent this by setting up an IOMMU but it is not always available for various reasons.\nЗахист це IOMMU. А тепер порахуй, що з ним робить рядок хоста. iommu=pt дає пристроям хоста домени тотожності без трансляції, pcie_acs_override стверджує ізоляцію, якої немає, а mitigations=off вимикає мітигації ізоляції гостей. Кожне окремо можна обґрунтувати. Разом, на машині з фізично доступним портом USB4, вони складаються.\nПеревір, де ти стоїш:\ncat /sys/bus/thunderbolt/devices/domain*/security # none | user | secure | dponly | usbonly none поряд із таким рядком завантаження це відчинені двері. Якщо до портів можуть дістатися люди, яким ти не дав би root, iommu=pt це перше, що я переглянув би.\nРядок гостя Ось ті, яким місце всередині VM, і три з них тут означають щось інше, ніж означали б на хості.\nnmi_watchdog=0 softlockup_panic=0 cpuidle.off=1 cpuidle.off=1 вимикає підсистему cpuidle. У гості це майже безкоштовно: стани простою гостя це емуляція, і немає фізичного ядра, яке можна приспати, тож увесь фреймворк дає тобі лише затримку пробудження. На хості той самий прапорець це справжній обмін енергії й запасу розгону, і він перекривається з processor.max_cstate=1. Лише з боку гостя.\nsoftlockup_panic=0 не дає soft lockup спричинити паніку гостя. У VM це справді захищає, бо soft lockup там часто не з вини гостя. vCPU, якого зняли з планування, виглядає точнісінько як завдання, яке відмовилося поступитися. Це той самий механізм, що стоїть за тим, чому годиннику VM не можна довіряти. Утім, перевір, чи він тобі потрібен. У більшості збірок він за замовчуванням 0.\nsysctl kernel.softlockup_panic nmi_watchdog=0 найцікавіший, і він заслуговує на більше, ніж правило.\nПитання watchdog Є два детектори, що ділять один поріг:\nwatchdog_thresh= — Set the hard lockup detector stall duration threshold in seconds. The soft lockup detector threshold is set to twice the value. A value of 0 disables both. Default is 10 seconds.\nHard lockup (nmi_watchdog) спрацьовує, коли CPU взагалі перестає приймати переривання таймера. Soft lockup спрацьовує, коли завдання захоплює CPU удвічі довше без планування.\nУ гості вимкнути детектор hard lockup правильно. vCPU, якого зняли з планування, може зачепити його без жодної власної провини, а робота детектора з лічильниками perf спричиняє виходи з VM заради сигналу, який був нічим, крім шуму.\nНа хості це питання судження, і воно залежить від того, за яким шумом ти насправді женешся. Надмірне виділення морить голодом гостей, а не ядро хоста: фізичні CPU хоста й далі приймають переривання, хай як щільно напхано VM. Тож шум у журналі, який видає зайнятий гіпервізор, це переважно повідомлення soft lockup і RCU stall, а не звіти NMI hard lockup. Якщо шум саме такий, nmi_watchdog=0 його не приглушить, і softlockup_panic=0 теж: той зупиняє паніку, а не повідомлення.\nПрицільні ручки такі:\nwatchdog_thresh=30 # hard 30s, soft 60s — scale to taste nowatchdog # honest single flag: disables both detectors sysctl -w kernel.soft_watchdog=0 # runtime, keeps hard-lockup detection Є окрема й краща причина вимкнути детектор hard lockup на зайнятому хості, яка не має нічого спільного із шумом: він займає апаратний лічильник продуктивності на кожен CPU. Саме тому параметр приймає rNNN, щоб налаштувати сиру подію perf. Якщо ти робиш профілювання на основі PMU або тримаєш навмисно перевантажену машину, де вже прийняв мінливість затримки як ціну щільності, повернути цей лічильник цілком розумний обмін, а дрібні зависання, на які ти свідомо підписався, це не інциденти.\nПросто роби цей вибір із цієї причини, а не через шум, бо правдива лише одна з них.\nconsoleblank=0 нічого не робить. Ядро документує тайм-аут гасіння консолі як «A value of 0 disables the blank timer. Defaults to 0.» Він уже вимкнений. Нешкідливий, але це другий параметр у широкому обігу, який не має жодного ефекту, і його наявність робить рядок продуманим на вигляд, коли його копіюють.\nШвидка довідка: де місце кожному прапорцю Прапорець Хост Гість Примітки iommu=pt так ні IOMMU належить хосту. У гості діє лише тоді, коли ти запускаєш вкладений проброс із vIOMMU amd_iommu=pgtbl_v2 так ні Домени DMA-API хоста. Перевір, що отримав v2, а не відступ до v1 amd_iommu=on н/д н/д Недійсна опція. Ядро пише в журнал «Unknown option - \u0026lsquo;on\u0026rsquo;» pcie_acs_override=… так ні Патч Proxmox, лише топологія хоста. Послаблює ізоляцію за задумом pcie_aspm=off так ні У гості немає справжніх ланок PCIe; фізична ланка належить хосту pci=pcie_bus_perf так ненадійно Хост задає MPS на дроті. Якщо пристрої приходять через USB4, використовуй натомість pcie_bus_safe processor.max_cstate=1 так ні Справжні стани простою належать хосту. На Intel додай intel_idle.max_cstate=1 amd_pstate=disable так ні Гості не керують частотою CPU cpuidle.off=1 обережно так У гості безкоштовно. На хості коштує запасу розгону й перекривається з max_cstate nmi_watchdog=0 судження так У гості правильно. На хості роби це заради лічильника PMU, а не через шум softlockup_panic=0 ні так Зависання гостя часто спричиняє планувальник хоста. Зазвичай уже за замовчуванням consoleblank=0 н/д н/д Нічого не робить. За замовчуванням у ядрі вже 0 mitigations=off обидва обидва Дійсний з обох боків, різний розрахунок ризику: на хості витоки від гостя до хоста, у гості ізоляція процесів default_hugepagesz + hugepages= обидва обидва Хост: підкладка під пам’ять VM. Гість: робоче навантаження всередині VM, якому вони потрібні. Різні цілі, ті самі прапорці watchdog_thresh= / nowatchdog обидва обидва Хост: приглушити зависання, які ти прийняв. Гість: детектору ніколи не можна було довіряти Три справді належать обом бокам, і варто точно сказати, що «обидва» не означає «з тієї самої причини»:\nmitigations=off на хості стосується витоків від гостя до хоста й від гостя до гостя. Усередині гостя йдеться про ізоляцію процесів у цій VM. Цілком розумно вимкнути його в одному місці й не вимикати в іншому. Hugepages на хості підкладаються під RAM гостя; у гості вони підкладаються під застосунок. Резервувати їх двічі для тієї самої пам’яті це марнотратство, тож виріши, якому шару вони потрібні. Налаштування watchdog на хості це рішення про шум, а в гості рішення про коректність. Усе інше належить одному боку чи іншому, а два з них узагалі не вибір.\nДва рядки Хост, машина AMD з пробросом, один орендар:\nGRUB_CMDLINE_LINUX_DEFAULT=\u0026#34;quiet amd_iommu=pgtbl_v2 iommu=pt pcie_acs_override=downstream,multifunction pcie_aspm=off pci=pcie_bus_perf default_hugepagesz=1G hugepages=64 processor.max_cstate=1 amd_pstate=disable mitigations=off\u0026#34; Заміни pci=pcie_bus_perf на pcie_bus_safe, якщо щось приходить через USB4. Прибери mitigations=off, якщо гості не всі твої. На Intel intel_iommu=on замінює прапорці AMD, а intel_idle.max_cstate=1 приєднується до обмеження C-станів.\nГість Linux:\nGRUB_CMDLINE_LINUX_DEFAULT=\u0026#34;quiet nmi_watchdog=0 softlockup_panic=0 cpuidle.off=1\u0026#34; І не чіпай kvm-clock у гості: не нав’язуй tsc чи hpet. Паравіртуальний годинник існує саме тому, що лічильники не твої. У цьому весь аргумент статті про хронометраж у VM.\nЩо видалити Якщо ти успадкував рядок із форумного допису, ці два треба прибрати першими, бо вони тобі нічогісінько не дають і доводять, що рядок ніколи не тестували:\namd_iommu=on: недійсна опція; ядро пише в журнал «Unknown option - \u0026lsquo;on\u0026rsquo;» і працює далі consoleblank=0: уже за замовчуванням І звір решту з /proc/cmdline після перезавантаження. Для кожного прапорця в цьому рядку ти маєш могти назвати причину.\nЯкщо ти не можеш сказати, що робить прапорець, це не тюнінг. Це забобон. І його скопіює в наступну збірку хтось, хто тобі довіряє.\nДжерела Linux kernel — the kernel\u0026rsquo;s command-line parameters — mitigations=, default_hugepagesz=, hugepages=, watchdog_thresh=, nowatchdog, consoleblank=, processor.max_cstate=, amd_pstate=, amd_iommu= і політики pci=pcie_bus_* Linux kernel source — drivers/iommu/amd/init.c — parse_amd_iommu_options() і перевірка підтримки таблиць сторінок v2, що відступає до v1 Linux kernel source — arch/x86/kernel/pci-dma.c — iommu=pt, що викликає iommu_set_default_passthrough() Linux kernel — Thunderbolt — рівні безпеки й під’єднані пристрої як DMA masters Proxmox VE — System Administration — proxmox-boot-tool status, редагування командного рядка ядра для systemd-boot і для GRUB ","permalink":"https://blogs.damiendye.uk/uk/proxmox/kernel-boot-flags-host-guest/","summary":"Більшість рядків тюнінгу Proxmox, які ти знаходиш в інтернеті, це одна купа прапорців ядра. Половині з них місце на гіпервізорі, половині всередині гостьової системи, два з популярних не роблять узагалі нічого, а кілька змінюють значення залежно від того, на який бік межі потрапили.","title":"Два рядки завантаження: яким прапорцям ядра місце на хості Proxmox, а яким у гостьовій системі"},{"content":"Навіщо він тобі QEMU вміє емулювати справжній контролер NVMe. Не паравіртуальний пристрій, для якого треба підкласти драйвер, а контролер PCIe NVMe, який гість розпізнає як звичайний SSD і обслуговує тією підтримкою NVMe, що в нього вже є.\nУ цьому вся принадність, і вона варта більшого, ніж здається.\nLinux має вбудований драйвер nvme уже багато років. Windows постачає stornvme починаючи з Windows 8.1 і Server 2012 R2. Тож гість завантажується, знаходить контролер PCIe NVMe, підвантажує власний драйвер і бачить диск. Жодного ISO з VirtIO, жодного впорскування драйверів під час встановлення і жодного екрана «дисків не знайдено» посеред інсталятора Windows.\nХто сидів і дивився на той екран, із примонтованим ISO VirtIO і інсталятором, який усе одно наполягає, що дисків немає, одразу зрозуміє принадність.\nДруга причина: воно поводиться як NVMe на всіх рівнях. nvme-cli працює. Простори імен справжні. Формати LBA, байти метаданих і інформацію захисту можна налаштувати. Тож це дуже добре місце, щоб тренувати операції, які не варто тренувати на залізі з даними.\nЯк його додати У Proxmox немає ні прапорця в GUI, ні ключа конфігурації для цього. Це сирий пристрій QEMU, тож він іде в args: у /etc/pve/qemu-server/\u0026lt;vmid\u0026gt;.conf.\nДокументація QEMU дає мінімальну пару: диск-носій без інтерфейсу і контролер, який його споживає. Прямо в /etc/pve/qemu-server/\u0026lt;vmid\u0026gt;.conf, без лапок:\nargs: -drive file=/var/lib/vz/images/100/nvm.img,if=none,id=nvmidentifier -device nvme,serial=LAB-NVME-01,drive=nvmidentifier if=none важливий: він каже QEMU не чіпляти диск до типового контролера, бо його забере рядок -device nvme. id= на диску і drive= на пристрої мають збігатися. Саме ця пара з’єднує дві половини.\nserial= обов’язковий; без нього QEMU відмовиться запускати ВМ. Вибери щось упізнаване, бо саме це гість покаже в nvme list і smartctl, а питання «котрий із цих чотирьох однакових віртуальних дисків котрий» ти рано чи пізно поставиш.\nЛапки: на цьому спотикаються всі Чи брати рядок у лапки, залежить від того, де ти його набираєш, і переплутати це найчастіша причина, чому така штука не працює з першої спроби.\nProxmox зберігає значення args: і потім розбиває його через Text::ParseWords::shellwords. Тож у файлі конфігурації лапки враховуються і знімаються. Рядок, повністю взятий у лапки, стає одним аргументом:\n# WRONG in the config file — collapses to one argv element QEMU cannot parse args: \u0026#34;-drive file=…,if=none,id=nvmidentifier -device nvme,serial=…,drive=nvmidentifier\u0026#34; Після shellwords це дає рівно один елемент. Без лапок той самий рядок дає чотири, які QEMU справді потрібні: -drive, його блок параметрів, -device, його блок параметрів.\nУ командному рядку навпаки, бо там ти береш у лапки для своєї оболонки, а не для Proxmox. Тут лапки потрібні, а в конфігурації зберігається значення без них:\nqm set 100 --args \u0026#34;-drive file=/var/lib/vz/images/100/nvm.img,if=none,id=nvmidentifier -device nvme,serial=LAB-NVME-01,drive=nvmidentifier\u0026#34; Обидва варіанти правильні. Просто вони не взаємозамінні. Якщо збираєш рядок через qm set, перевір результат потім через qm config 100, і побачиш, що він збережений без лапок. Саме таку форму хоче файл конфігурації.\nСпершу створи образ-носій, якщо його ще немає:\nqemu-img create -f raw /var/lib/vz/images/100/nvm.img 32G Більше ніж один простір імен Для чогось більшого за один диск відокрем контролер від його просторів імен:\n-device nvme,id=nvme-ctrl-0,serial=deadbeef -drive file=nvm-1.img,if=none,id=nvm-1 -device nvme-ns,drive=nvm-1 Ідентифікатори просторів імен призначаються автоматично, починаючи з 1. Саме ця конфігурація робить пристрій справді корисним для навчання, бо керування просторами імен це та частина NVMe, якої більшість людей ніколи не торкається.\nВіртуальний простір імен 4Kn Простір імен приймає звичні властивості розміру блоку, і QEMU виводить із них розмір даних LBA напряму. hw/nvme/ns.c обчислює показник формату як ds = 31 - clz32(ns-\u0026gt;blkconf.logical_block_size). Тож це дає тобі справжній 4K-native простір імен:\n-device nvme-ns,drive=nvm-1,logical_block_size=4096,physical_block_size=4096 Пристрій простору імен також приймає ms для байтів метаданих на LBA, mset для розширених LBA, а pi і pif для типу інформації захисту і формату guard.\nЦе повна лабораторія для всього зі статті про 4Kn і 512e: логічні блоки по 512 і по 4096 байтів, формати з метаданими, T10-PI, на пристрої, який можна знищувати скільки завгодно.\nПеревір, що воно з’явилося Зсередини гостя:\nlsblk -o NAME,MODEL,SIZE,LOG-SEC,PHY-SEC nvme list nvme id-ns -H /dev/nvme0n1 | grep -i \u0026#34;lbaf\\|data size\u0026#34; Ти маєш побачити справжній простір імен NVMe з тими розмірами блоків, які просив.\nВід чого ти відмовляєшся Від трьох речей, і перші дві не компроміси продуктивності. Це вилучені можливості. Знай про них, перш ніж класти щось на цей пристрій.\nЧим керує Proxmox і поза чим лежить пристрій, підключений через args У конфігурації ВМ, як диск scsi0: local-zfs:vm-100-disk-0,iothread=1 Proxmox володіє томом і знає про нього У копіях vzdump / PBS так Знімки PVE так Жива міграція так Розмір і Move Disk у GUI так Облік у поданні сховища так Підключено через args: -device nvme,drive=nvm1,serial=… сирий пристрій QEMU, PVE про нього не знає У резервних копіях ні Знімки PVE ні Жива міграція ні Розмір і Move Disk ні Облік у поданні сховища ні Лише одне з цих «ні» себе виказує. Жива міграція падає з помилкою, бо QEMU позначає пристрій як немігровний. Копія ж просто вдається без цього диска, тому це місце в runbook, а не лише в пам’яті. Proxmox керує тим, що є в конфігурації ВМ як диск. Контролер, підключений через args, лежить поза цим, тож жодна функція, побудована на рівні сховища, до нього просто не застосовується. 1. Жива міграція вимкнена Це не обмеження Proxmox і не недогляд. QEMU оголошує пристрій немігровним у самій моделі пристрою. З hw/nvme/ctrl.c у QEMU 10.2:\nstatic const VMStateDescription nvme_vmstate = { .name = \u0026#34;nvme\u0026#34;, .unmigratable = 1, }; Три рядки, і середній розповідає всю історію. Контролер не має стану міграції, тож QEMU відмовляє в міграції замість того, щоб пробувати. Це правильна відмова. Ти отримуєш помилку, а не гостя, який прокидається на іншому вузлі з розгубленим диском.\nЄ й друга, незалежна причина, чому це не може працювати: Proxmox не знає, що диск існує. Навіть якби QEMU міг перенести стан пристрою, ніщо в логіці міграції PVE не подбало б, щоб том-носій був доступний на цільовому вузлі.\nАле варто стежити: гілка розробки QEMU замінила загальний прапорець функцією nvme_set_migration_blockers(), яка дозволяє міграцію і блокує її лише для певних функцій. Наприклад, для більш ніж одного простору імен, де коментар зазначає «we don\u0026rsquo;t handle this in migration code yet». У релізах аж до 10.2 включно цього ще немає, тож сьогодні тобі це не допоможе, але схоже, що обмеження пом’якшать. Перевір власну версію QEMU, а не довіряй статті.\n2. Резервні копії Proxmox його не побачать vzdump і Proxmox Backup Server копіюють томи, які є в конфігурації ВМ як диски: scsi0, virtio0 тощо. Диск, підключений через args:, не з них. Це сирий пристрій QEMU, про який PVE не знає нічогісінько.\nТож резервне копіювання запускається, звітує про успіх і не містить цього пристрою.\nТакий режим відмови гірший за помилку, бо тобі ніщо про це не каже. Те саме скрізь: жодних знімків PVE, жодної зміни розміру диска з GUI, жодного Move Disk, жодного обліку в поданні сховища. Якщо ти створив том через PVE, а потім від’єднав, PVE може його й не прибрати. Сирота, яка колись когось заплутає.\nЯкщо на такому пристрої житимуть дані, роби резервні копії зсередини гостя і запиши десь, що гіпервізор їх не покриває.\n3. Він не швидший за VirtIO SCSI Це дивує людей, бо «NVMe» звучить як функція продуктивності. Тут це не так.\nVirtIO SCSI і VirtIO block паравіртуальні: драйвер гостя і гіпервізор ділять кільцевий буфер, створений саме для цієї роботи, і гість знає, що говорить із гіпервізором.\nЕмульований контролер NVMe за задумом протилежний. Він показує справжні регістри NVMe, тож гість програмує його так, ніби це залізо. Кожен запис у doorbell це доступ MMIO, який провалюється в гіпервізор. Коректно, але дорожче на кожну операцію вводу-виводу, ніж покласти дескриптор у кільце.\nСпільне кільце проти емульованих регістрів гість │ гіпервізор VirtIO SCSI: паравіртуальний драйвер гостя знає, що він у ВМ спільне кільце обидва боки його розуміють блоковий рівень хоста 1 сигнал Дескриптор іде в кільце, і хост отримує сповіщення. Кільце навмисно стоїть на межі. Емульований NVMe: справжні регістри драйвер гостя вважає, що це залізо регістри NVMe doorbell, черги, MMIO блоковий рівень хоста кожен запис у doorbell це пастка пастка + емуляція на кожну IO Гість робить рівно те, що робив би з фізичним контролером, і в цьому суть: його драйвер працює без змін. Тому це функція сумісності, а не продуктивності. Об’єднання переривань не підтримується і вимкнене: коректна поведінка заліза ціною емуляції заліза. Паравіртуальний шлях це кільце, яке розуміють і гість, і хост. Емульований шлях змушує гостя керувати регістрами, і кожен запис у doorbell це пастка: точна поведінка заліза за ціною емуляції заліза. Власна документація QEMU теж відверта щодо шорсткостей пристрою: об’єднання переривань «is not supported and is disabled by default», а лічильники на сторінці журналу SMART/Health «are reset when the device is power cycled».\nНіщо з цього не робить його повільним в абсолютних цифрах. Ним цілком можна користуватися. Просто не вибирай його в надії на більшу пропускну здатність, ніж дає VirtIO SCSI. Вибирай його заради драйвера або заради семантики NVMe.\nДе він справді виправдовує своє місце Встановлення гостя без носія VirtIO. Інсталятор Windows, який не бачить диск VirtIO SCSI, побачить диск NVMe, бо драйвер уже є в образі. Встанови на нього, а потім вирішуй, чи переходити на VirtIO. Пристрої та образи, які ти не контролюєш. Усе, що постачається готовим образом без драйверів VirtIO і що ти волів би не перезбирати. Навчання і лабораторна робота. nvme format --lbaf, створення і підключення просторів імен, метадані та інформація захисту: операції, які на справжньому залізі руйнівні й залежать від виробника, тут безкоштовні. Це найбезпечніший спосіб набити руку, перш ніж торкатися диска, який має значення. Відтворення чужої топології. Якщо ти налагоджуєш розкладку NVMe клієнта, емульований контролер із відповідними просторами імен і розмірами блоків дає набагато швидший цикл, ніж позичати його залізо. Що використовувати натомість у продакшні Для ВМ, якій потрібні продуктивність, функції PVE і спокійне життя: VirtIO SCSI single з iothread=1, discard=on і ssd=1 на cache=none. Саме таке налаштування зберігає живу міграцію, резервні копії, знімки і подання сховища в робочому стані.\nДля ВМ, якій потрібні останні кілька відсотків і яка свідомо може відмовитися від цих функцій, відповідь не емульований пристрій NVMe. Це справжній проброс, зі своїми жорсткими компромісами, описаними в статті про податок IOMMU.\nЕмульований пристрій NVMe не належить до жодного з таборів. Тож це інструмент для сумісності й лабораторії, і в цій ролі він дуже добрий.\nВикористовуй його для роботи, яку він робить добре, і він тебе не підведе. Попроси його бути функцією продуктивності, і він підведе тебе дуже швидко.\nДжерела QEMU — NVMe Emulation — синтаксис -drive/-device nvme, nvme-ns для кількох просторів імен, параметри простору імен ms/mset/pi/pif і заявлені обмеження щодо об’єднання переривань та обліку SMART QEMU source — hw/nvme/ctrl.c — оголошення nvme_vmstate з .unmigratable = 1 у релізі 10.2 QEMU source — hw/nvme/ns.c — простір імен, що виводить свій формат LBA з logical_block_size Proxmox VE — Backup and Restore — що покриває vzdump, і параметри резервного копіювання для окремих томів, які існують для дисків під керуванням PVE Proxmox VE — Qemu/KVM Virtual Machines — VirtIO SCSI, iothread, discard і підтримувані параметри дисків ","permalink":"https://blogs.damiendye.uk/uk/proxmox/virtual-nvme-proxmox/","summary":"QEMU вміє емулювати справжній контролер NVMe, тож гість використовує власний вбудований драйвер NVMe без носія VirtIO. Але такий пристрій за задумом не мігрує, невидимий для резервних копій Proxmox і не швидший за VirtIO SCSI. Ось як його додати і коли воно того варте.","title":"Віртуальний пристрій NVMe у Proxmox і три речі, від яких ти відмовляєшся"},{"content":"Припущення, яке робить кожен годинник Годинник комп’ютера працює так: він рахує щось регулярне і вірить, що це рахування не зупиняється. Кристал коливається, лічильник збільшується, а програма вираховує, скільки часу минуло.\nВіртуалізація ламає саме частину з вірою.\nВласна документація ядра про облік часу в KVM описує проблему одним реченням: «the virtual operating system does not run with 100% usage of the CPU, despite the fact that it may very well make that assumption.» Усе, що нижче, випливає з цього.\nТвій vCPU працює не завжди vCPU це потік на хості. Він працює тоді, коли так вирішить планувальник хоста.\nКоли він не працює, гість не просто простоює, його немає. Він не може рахувати, не може обробити переривання таймера і не має жодного способу дізнатися, як довго його не було. Хост обліковує це як steal time, і це чесна назва для «часу, який стався з тобою, а не для тебе».\nНайбільше це болить на перериваннях таймера. Гість, який просить періодичний тік, просить хост доставляти переривання з фіксованою частотою, а хост не завжди може це зробити. Знову з документації ядра: «the host virtualization engine may not be able to deliver the proper number of interrupts per second, and so guest time may fall behind.»\nЧому тіки таймера гостя перестають бути рівномірними Залізо без віртуалізації: процесор завжди твій працює тіки таймера рівномірні: порахуй їх, і маєш час У VM: vCPU це потік у чужому планувальнику працює знятий знятий тіки, належні в проміжках, приходять пізно, пачкою або взагалі ні Гість не бачить пунктирних періодів. Зсередини годинник просто дав менше тіків, ніж мав, тому документація ядра й каже, що час гостя «may fall behind», коли хост не може доставити переривання, яких він просив. Хост називає пунктирні ділянки steal time. Гість ніяк їх не називає, бо його там не було. Власний погляд гостя це нижній рядок: тіки, що приходять із запізненням, тіки, що приходять пачками, і проміжки, яких він не може пояснити. Він вимірює планувальник хоста не менше, ніж плин часу. Що вища частота тіків, то гірше, а перевантажений хост робить ще гірше. Тому ж зайнятий хост погіршує облік часу і в тихих гостей. Усі вони стоять у черзі до тих самих фізичних ядер.\nЛічильники теж не твої Якщо періодичні тіки ненадійні, очевидна відповідь: читати лічильник. У цього свої проблеми.\nTSC швидкий, і документація ядра каже про нього прямо: «The TSC is a CPU-local clock in most implementations… the TSCs of different CPUs may start at different times.» Його частота може змінюватися зі станами живлення процесора, а на старіших чіпах він узагалі зупиняється, коли ядро простоює. Тож vCPU, що переходить між фізичними ядрами, може прочитати лічильник, який не збігається з тим, що він прочитав мікросекунду тому.\nАльтернативи погані по-іншому. HPET, PIT і таймер ACPI PM усі емульовані пристрої, тож кожне читання це пастка в гіпервізор. Правильно, і досить дорого, щоб гість, який читає годинник у гарячому циклі, це помітив.\nОсь чому існують паравіртуальні годинники. На KVM kvm-clock дає хосту публікувати власний облік часу в спільну структуру, яку гість читає напряму: без пастки, без рахування, без припущення, що гість не спав. І ось чому джерело годинника гостя краще не чіпати, а не примушувати tsc чи hpet, бо на форумі хтось написав, що так швидше.\nМіграція, знімки і призупинення Жива міграція, відновлення зі знімка і призупинення з відновленням роблять із годинником гостя одне й те саме: зупиняють його, а потім запускають знову деінде.\nГість бачить не дрейф, а стрибок. Годинник мав одне значення, а тепер має інше, і нічого між ними. Міграція на хост, чий TSC працює з іншою частотою, це ще й посилює.\nСтрибки мають значення, бо програми, що коригують годинник, створені виправляти дрейф, а не телепортацію.\nЦе не проблема KVM Усе вищесказане кортить прочитати як недолік KVM. Це не так.\nКожен гіпервізор має паравіртуальний годинник, бо в кожного гіпервізора та сама структурна проблема: у KVM є kvm-clock, у Hyper-V його reference TSC page, у VMware псевдолічильник продуктивності плюс синхронізація через Tools, у Xen його pvclock. Це чотири незалежні реалізації одного обхідного шляху.\nВласний висновок документації ядра такий: ідеального рішення тут немає. Лише компроміси між точністю, продуктивністю і складністю.\nЯкщо хочеш почути це від виробника, а не від розробників ядра, межа підтримки Microsoft для високоточного часу напрочуд відверта. Щоб заявити точність 50 мс на віртуалізованій системі Windows, одна з названих вимог: «the one-day average CPU utilization of the host must not exceed 90%.» Для 1 мс хост має триматися нижче 80 %.\nПрочитай це ще раз: точність годинника гостя задокументована як умовна, залежна від того, наскільки зайнятий хост. Це не примха Windows, це та сама фізика, яку описує документація ядра, записана як межа підтримки.\nТри шари обліку часу в гостя і які з них справді належать гостю Синхронізація реального часу котра насправді година NTP через мережу тремтіння, асиметрія, stratum гіпервиклик ptp_kvm питає хост напряму Паравіртуальний годинник хост публікує власний облік часу Він є в кожного гіпервізора, бо в усіх ця проблема: kvm-clock сторінка TSC Hyper-V VMware pseudo-perf Xen pvclock чотири незалежні реалізації одного обхідного шляху Апаратні лічильники у VM не твої TSC HPET PIT таймер ACPI PM локальні для CPU зі змінною частотою або емульовані: кожне читання це пастка Гостю належить вибір угорі. Середній шар це гіпервізор, що позичає йому годинник, який працював увесь час. Три шари, і гостю по-справжньому належить лише верхній. Паравіртуальний годинник кожного гіпервізора існує, щоб обійти ту саму відсутню гарантію в шарі нижче. Чому NTP усередині гостя це не той інструмент NTP добре робить те, для чого його створили: машина зі справжнім осцилятором, який трохи поспішає чи відстає, виправляється вимірюванням часу проходження до віддаленого сервера і м’яким підтягуванням місцевого годинника.\nУ VM кожне з цих припущень хитке.\nМісцевий осцилятор не трохи неправильний, його часом просто немає. Час проходження вимірює процес, який можуть зняти з виконання між читанням годинника і відправленням пакета, і це псує саме вимірювання. А виправлення після міграції це стрибки, які алгоритм плавного підтягування обробляє погано або відмовляється обробляти взагалі.\nchrony справляється тут куди краще, ніж ntpd. Він підтягує швидше, терпить стрибки і чесно каже про власну невизначеність. Але він усе одно розв’язує не ту задачу: тягне час мережею з сервера stratum 2 за 20 мс, коли правильний час лежить у гіпервізорі по той бік однієї межі пам’яті.\nНа практиці виходить гість, який здебільшого правий, час від часу збивається на десятки чи сотні мілісекунд і ніколи не може сказати, коли саме.\nЩо насправді ламає розбіжність Годинник сам по собі нікого не цікавить. Він цікавить, коли щось перестає працювати.\nKerberos і Active Directory Kerberos залежить від часу за задумом, бо дійсність квитка виражено як часове вікно.\nДокументація MIT до krb5.conf визначає clockskew як «the maximum allowable amount of clockskew in seconds that the library will tolerate before assuming that a Kerberos message is invalid», і типове значення 300 секунд, тобто п’ять хвилин.\nПерейди цю межу, і автентифікація не погіршується, вона ламається. Оскільки автентифікація Active Directory це Kerberos, це означає входи в домен, net use, підключення до SQL Server, Exchange, файлові ресурси, усе разом. П’ять хвилин звучать щедро, поки гість не стрибне назад після відновлення зі знімка.\nTLS Сертифікат має вікно дійсності: notBefore і notAfter. Гість, чий годинник відстає, відкине сертифікат, виданий сьогодні вранці, бо, наскільки він знає, сертифікат ще не дійсний. Гість, чий годинник поспішає, відкине той, що насправді ще не сплив.\nТа сама арифметика керує свіжістю OCSP і CRL, полями nbf/exp у JWT і кодами багатофакторної автентифікації TOTP, які живуть у 30-секундних вікнах. Годинник, що збився на 45 секунд, це збій автентифікації з дуже заплутаним повідомленням про помилку.\nCeph Монітори Ceph переймаються цим більше, ніж майже будь-що інше в стеку, бо від цього залежить їхній консенсус.\nПеревірка стану MON_CLOCK_SKEW спрацьовує, коли «the clocks on hosts running Ceph Monitor daemons are not well-synchronized». Конкретно, коли розбіжність перевищує mon_clock_drift_allowed. Документація радить синхронізуватися через ntpd чи chrony з кількома джерелами і зауважує, що синхронізація між моніторами особливо важлива.\nТи можеш підняти mon_clock_drift_allowed, але документація чітко каже, що значення має лишатися «significantly below the mon_lease interval». Тож це малий бюджет, і витрачати його, щоб замазати проблему обліку часу в гіпервізорі, невигідний обмін.\nУсе інше Журнали з різних хостів перестають зіставлятися, і хронологія інциденту перетворюється на здогадки. Реплікація баз даних і розподілений консенсус, etcd, Galera, усе, що тримає оренду лідера, починають нервувати. Вікна резервного копіювання і моніторингу з’їжджають відносно того, за чим мали стежити.\nГості Windows розходяться інакше Windows заслуговує окремої примітки, бо її службу часу будували з іншими цілями, і це видно.\nMicrosoft прямо каже, що версії до Windows 10 1607 / Server 2016 «can\u0026rsquo;t guarantee highly accurate time». Служба часу Windows на цих випусках давала «the necessary time accuracy to satisfy Kerberos version 5 authentication requirements» і «loosely accurate time» для машин у спільному лісі AD. Точніше за це було «outside of the design specification… and weren\u0026rsquo;t supported.»\nІншими словами, старіша Windows прагне триматися в п’ятихвилинному вікні Kerberos, а не бути правою. Це нормально, поки щось у твоєму господарстві не потребує кращого. Віртуалізована машина Windows, що збилася на 90 секунд, радо проходитиме автентифікацію і водночас писатиме журнали, які ні з чим не зіставити.\nWindows 10 і Server 2016 та новіші можуть дати 1 с, 50 мс чи навіть 1 мс, але лише за умов, наведених вище, включно з обмеженнями на завантаження CPU хоста. Microsoft також зауважує, що «anything that introduces network asymmetry, such as a one-way satellite connection or high CPU load on the target system, will negatively influence accuracy». Перевантажений vCPU це і є високе навантаження CPU на цільовій системі, тільки під іншою назвою.\nДля Windows немає ptp_kvm. Натомість у тебе є:\nГодинникові enlightenments Hyper-V. Proxmox уже надає їх гостям Windows. PVE::QemuServer::CPUConfig вмикає hv_time разом із hv_vapic, hv_spinlocks, hv_relaxed і hv_synic. hv_time це паравіртуальний годинник, відповідник kvm-clock з боку Windows. Для VM з типом Windows він увімкнений типово, вмикати нічого не треба. Гостьовий агент QEMU. Зі встановленим агентом хост може передати свій час у гостя після виходу з призупинення чи відновлення зі знімка, і це закриває випадок стрибка, з яким NTP справляється найгірше. Обери одне джерело істини. Класичний збій Windows у VM це два джерела часу, що борються між собою: синхронізація з хоста і синхронізація з ієрархії домену, обидві виправляють той самий годинник у протилежні боки. Для гостя в домені нехай перемагає ієрархія домену, а хост хай перестане штовхати йому час. Для окремого гостя синхронізація з хоста годиться. Ніколи обидві разом. Якщо хочеш точно знати, що твій гіпервізор каже певній VM про час, спитай його, а не вгадуй:\n# Everything Proxmox actually passes to QEMU for this VM, including -rtc and CPU flags qm showcmd \u0026lt;vmid\u0026gt; --pretty Виправлення на QEMU/KVM: ptp_kvm Для гостей Linux на KVM є правильна відповідь, і це не «більше серверів NTP».\nptp_kvm дає гостю спитати в хоста, котра година, напряму, через гіпервиклик: KVM_HC_CLOCK_PAIRING на x86 і рівноцінний виклик прошивки на arm64. Ядро подає це як апаратний годинник PTP, тож із простору користувача він виглядає як будь-яке інше точне джерело часу, і chrony може використовувати його як опорний годинник.\nВластивості, що мають значення:\nБез мережі. Ні тремтіння, ні асиметрії, ні stratum, ні пакетів. Шлях це межа пам’яті. Менше мікросекунди. Точність обмежує гіпервиклик, а не час проходження через дата-центр. Він обходить зламану частину. Гість нічого не рахує і не оцінює час проходження. Він читає значення, яке хост обчислив годинником, що працював увесь час. NTP через мережу проти ptp_kvm через межу пам’яті chrony з мережевими пулами гість годинник раз у раз стає мережа тремтіння, асиметрія сервер stratum 2 за десятки мс час проходження вимірює той самий годинник, який коригують а процес, що вимірює, можуть зняти з виконання посеред вимірювання chrony з ptp_kvm гість читає /dev/ptp_kvm годинник хоста ніколи не зупинявся гіпервиклик KVM_HC_CLOCK_PAIRING межа пам’яті, а не мережа менше µs Без пакетів, без stratum, без асиметрії і без оцінок. Гість не вираховує, котра година: йому кажуть, і каже єдиний учасник, що не спав увесь цей час. Обидва шляхи закінчуються тим, що гість ставить свій годинник. Один вимірює час проходження мережею годинником, який постійно зупиняється; інший питає гіпервізор. Впровадження Застосуй це до кожної VM з Linux, у якої є драйвер. Гіпервізору на хості потрібен власний робочий NTP чи PTP. ptp_kvm передає гостю час хоста, тож успадковує й похибку хоста.\n1. Завантажуй модуль ядра під час старту.\n# /etc/modules-load.d/ptp_kvm.conf ptp_kvm 2. Дай йому стабільне ім’я і дозволь chrony його читати.\n# /etc/udev/rules.d/90-ptp-kvm.rules ACTION==\u0026#34;add\u0026#34;, SUBSYSTEM==\u0026#34;ptp\u0026#34;, ATTR{clock_name}==\u0026#34;kvm\u0026#34;, SYMLINK+=\u0026#34;ptp_kvm\u0026#34;, GROUP=\u0026#34;chrony\u0026#34;, MODE=\u0026#34;0660\u0026#34; Символьне посилання важливе, бо нумерація пристроїв PTP не стабільна. /dev/ptp0 може бути годинником мережевої карти при одному завантаженні і годинником KVM при наступному. Збіг за clock_name щоразу знаходить правильний.\n3. Направ на нього chrony і прибери пули.\nВідредагуй /etc/chrony/chrony.conf у Debian і Ubuntu або /etc/chrony.conf у родині RHEL. Видали рядки pool і пропиши:\nrefclock PHC /dev/ptp_kvm poll 2 stratum 1 delay 0.0004 Прибрати пули це не охайність за бажанням. Якщо їх залишити, chrony мусить узгоджувати місцеве джерело з точністю до долі мікросекунди з інтернет-серверами за десятки мілісекунд, і інтернет-джерела можуть лише погіршити відповідь.\n4. Перезапусти й перевір.\nsystemctl restart chronyd # or chrony, on Debian/Ubuntu Перевірка # The symlink exists and points at the KVM clock ls -l /dev/ptp_kvm cat /sys/class/ptp/ptp*/clock_name # chrony should be using PHC0 as its selected source chronyc sources -v # and the offset should be microseconds, not milliseconds chronyc tracking У chronyc sources опорний годинник PHC після вибору показується як #* PHC0. # позначає місцеве апаратне джерело, а не мережевого вузла, а * позначає те, що використовується. Якщо він у списку, але не вибраний, chrony його не прийняв: перевір права доступу до пристрою і те, що група chrony в правилі udev збігається з користувачем, від якого chrony насправді працює у твоєму дистрибутиві.\nЗастереження Хост має бути правий. Це змушує гостя погоджуватися з хостом, і це корисно лише тоді, коли хост погоджується з реальністю. Дай гіпервізорам справжній NTP чи PTP. Він потрібен кожному гостю. Парк, де половина VM використовує ptp_kvm, а половина інтернет-пули, це парк із двома джерелами часу. Жива міграція не проблема, у цьому й сенс. Після міграції гість читає годинник свого нового хоста. Якщо хости узгоджені між собою, гість ніколи не бачить стрибка. Лише KVM. Це гіпервиклик KVM. Вкладені чи чужі гіпервізори не покажуть пристрій, і правило udev просто не спрацює. Це чиста відмова, а не тиха неправильна відповідь. Чого не робити Не примушуй джерело годинника. Не чіпай kvm-clock. Примусові tsc чи hpet у командному рядку ядра гостя міняють паравіртуальний годинник, створений саме для цієї ситуації, на лічильник, який ніколи не був твоїм. Не запускай ntpdate чи hwclock з cron. Це стрибок за розкладом, саме те, що ненавидять бази даних і Kerberos. Не лишай пули «про запас». З робочим опорним годинником вони не запас, а друга думка від гіршого джерела. Не піднімай mon_clock_drift_allowed і не вважай, що все виправлено. Ти витратив частину бюджету, що існує для мережевої реальності, щоб терпіти проблему з відомим розв’язком. Останнє варто сказати прямо: розширити поріг не означає виправити годинник. Це переставити сигналізацію, щоб вона перестала дзвонити.\nДжерела Linux kernel — KVM timekeeping — чому час гостя відстає, проблема TSC як місцевого годинника процесора і висновок, що існують лише компроміси Linux kernel — PTP_KVM — інтерфейс гіпервиклику за пристроєм годинника PTP Linux kernel — KVM x86 hypercalls — KVM_HC_CLOCK_PAIRING, його бік на x86 chrony — chrony.conf — директива refclock і параметри драйвера PHC MIT Kerberos — krb5.conf — clockskew і його типові 300 секунд Microsoft — support boundary for high accuracy time — цілі точності та умови щодо завантаження CPU хоста для віртуалізованих систем Ceph — health checks — MON_CLOCK_SKEW, mon_clock_drift_allowed і його зв’язок із mon_lease ","permalink":"https://blogs.damiendye.uk/uk/proxmox/vm-time-ptp-kvm/","summary":"Годинник віртуальної машини стоїть на припущенні, яке віртуалізація ламає: що процесор весь час рахує. Чому час гостя дрейфує на кожному гіпервізорі, що насправді ламає розбіжність (Kerberos, TLS, Ceph, Windows) і як ptp_kvm виправляє це як слід на QEMU/KVM.","title":"Годиннику VM не можна довіряти, а ptp_kvm виправляє це на QEMU/KVM"},{"content":"Три способи, якими диск може себе показати Диск має два розміри блоку, і різниця між ними це вся історія.\nФізичний сектор це те, з чим насправді працює носій: найменша одиниця, яку диск може прочитати чи записати без додаткової роботи. Логічний блок це те, у чому, як диск каже хосту, він працює: одиниця, якою адресується хост.\nУ природі трапляються три комбінації.\n512n: нативні 512. Обидва розміри по 512 байтів. Це старий світ: жорсткі диски до 2010 року, і нічого такого, що ти купив би новим сьогодні в будь-якому розмірі, вартому уваги.\n512e: емуляція 512 байтів. Фізичний сектор має 4096 байтів, але диск повідомляє про 512-байтові логічні блоки і перекладає у прошивці. Це існує з однієї причини: сумісність з операційними системами, завантажувачами і застосунками, які вважали, що 512 буде завжди. Як інженерне рішення досить розумно, і корінь майже всіх проблем, що йдуть далі.\n4Kn: нативні 4K. Обидва розміри по 4096 байтів. Диск каже правду, хост адресує його в одиницях, якими користується носій, і між ними немає жодного шару трансляції.\n512n, 512e і 4Kn: що адресує хост проти того, чим користується носій верхній ряд = логічний, що адресує хост · нижній ряд = фізичний, у чому працює носій 512n 512512 512512 512512 512512 1:1 і чесно, але застаріло. Нічого нового так не постачають. 512e 8 × 512 Б логічних: що кажуть хосту один фізичний сектор 4096 Б: що існує насправді прошивка перекладає, при кожному доступі Хост адресує те, чого немає. Записи, що не заповнюють сектор, коштують більше. 4Kn один логічний блок 4096 Б один фізичний сектор 4096 Б нічого перекладати Диск каже правду, тож ніщо нижче не ухвалить рішення на хибному числі. 512e цікавий випадок: хост адресує те, чого не існує, а прошивка підтримує цю вигадку при кожному доступі. Що робить 512e на кожному невирівняному записі Читання дешеве в усіх трьох випадках. Диск читає сектор 4K і віддає той 512-байтовий шматок, який ти просив.\nЗаписи це те місце, де вигадка стає дорогою.\nЯкщо хост записує один 512-байтовий логічний блок, диск не може записати 512 байтів. У носія немає такої одиниці. Тож замість цього він робить ось що:\nЧитає весь 4096-байтовий фізичний сектор. Вливає в нього 512 байтів нових даних. Записує весь 4096-байтовий сектор назад. Це read-modify-write (читання, зміна, запис), і він перетворює один малий запис на читання плюс запис. На диску, що обертається, це означає чекати, поки пластина знову зробить оберт. Повний оберт на 7200 об/хв це десь 8 мс, яких ти не закладав у бюджет. На флеш-пам’яті ціна інша за своєю природою, і вона не зникає, коли запис завершується. Про це окремий розділ нижче.\nШтраф read-modify-write і що з ним робить невирівнювання 4Kn: вирівняний запис 4 КБ 4 КБ нових даних заповнюють сектор 1 запис спершу нічого читати 512e: запис одного логічного блоку 512 Б 1. прочитати весь фізичний сектор 4096 Б прочитано 2. влити 512 Б змінилося лише стільки 3. записати весь сектор назад 4096 Б записано 1 читання + 1 запис оберт на диску; сторінка, запрограмована на флеші 512e: невирівняний запис 4 КБ (дорогий) один запис 4 КБ, зсунутий на пів сектора фізичний сектор n фізичний сектор n+1 2 read-modify-write на кожен запис, назавжди Сучасні інструменти розмітки вирівнюють за фізичним сектором за замовчуванням, тож це зазвичай успадковано від старого встановлення чи клонованого образу. Само воно не виправиться. Вирівняний по 4K запис розміром 4K не потребує читання взагалі. Усе інше потребує, а запис, що перетинає межу сектора, потребує двох. Невирівнювання це та версія, що кусає найболючіше. Якщо розділ починається з непарного 512-байтового зсуву, класичний приклад це стара угода про 63 сектори, то кожен 4K-запис файлової системи перетинає два фізичні сектори. Це не один read-modify-write, а два, на кожен окремий запис, назавжди, поки хтось не переробить розділи на диску.\nПідсилення запису на флеш-пам’яті На жорсткому диску read-modify-write коштує тобі оберт, і на цьому все. На флеш-пам’яті він коштує тобі ресурсу диска, і цей рахунок ти оплачуєш раз і платиш далі.\nПідсилення запису це відношення того, що насправді записано в NAND, до того, що хост просив записати. Відношення 1,0 означало б, що диск записав рівно те, що йому дали. Воно ніколи не буває 1,0, бо флеш не може перезаписувати на місці: диск програмує свіжу сторінку, позначає стару як застарілу, а збирання сміття пізніше переносить уцілілі сторінки, щоб цілий блок можна було стерти. Ці перенесення теж записи.\n512e додає поверх цього шар, якого можна уникнути, і причина це деталь, яку варто сказати чітко: шар трансляції диска відображає одиницями близько 4 КБ, хоч який логічний розмір блоку він оголошує. Диск, що повідомляє про 512-байтові блоки, усередині все одно веде облік одиницями по 4 КБ.\nТож 512-байтовий запис від хоста всередині диска стає таким: прочитати 4-КБ одиницю відображення, влити 512 байтів, запрограмувати нову 4-КБ одиницю. 4096 байтів доходять до NAND, щоб змінилися 512 байтів. Вісім разів більше запису, для цього запису.\nНевирівнювання менш драматичне на один запис і гірше загалом. 4-КБ запис, що перетинає дві одиниці відображення, забруднює обидві, тож програмується 8 КБ заради 4 КБ даних. Це 2× підсилення на кожен окремий запис, постійно, поки таблицю розділів не виправлять.\nЧому невирівняний запис подвоює те, що доходить до NAND читати згори вниз: що записав хост → 4-КБ одиниці відображення диска → що дійшло до NAND 512e: запис 4 КБ, невирівняний 4 КБ від хоста одиниця n одиниця n+1 4 КБ переписано 4 КБ переписано 8 КБ записано заради 4 КБ: WAF 2× на кожен запис, поки не виправлять таблицю розділів 4Kn: запис 4 КБ, вирівняний 4 КБ від хоста одиниця n 4 КБ записано 4 КБ заради 4 КБ: WAF ≈ 1× нижня межа, до збирання сміття Жоден бік не уникне збирання сміття: диск усе одно мусить перенести все живе з блоку, перш ніж стерти його, і ця робота зростає разом з тим, скільки взагалі було записано. 4Kn не прибирає підсилення зовсім: він прибирає ту його частину, за яку ти платив ні за що. Хост просив ті самі 4 КБ в обох випадках. Ліворуч вони лягають на дві одиниці відображення, тож переписуються обидві, а збирання сміття пізніше перенесе все, що в них ще живе. Саме наслідки роблять це важливим, а не просто неохайним:\nБільше записів у NAND означає, що збирання сміття запускається частіше, а його перенесення самі є підсиленням. SLC-кеш запису заповнюється швидше, тож диск раніше скочується до свого повільнішого сталого режиму, і стала пропускна здатність запису падає. Цикли програмування/стирання витрачаються пропорційно тому, що дійшло до NAND, а не тому, що надіслав хост. Подвой підсилення, і ти вдвічі скоротив життя диска за того самого навантаження. Рейтинги витривалості, TBW і DWPD, наводять щодо записів хоста. Підсилення тихо з’їдає цей запас, і диск зношується раніше, ніж обіцяла арифметика гарантії, яку ти робив під час купівлі. Прямі та синхронні записи це найгірший випадок Здебільшого кеш сторінок усе це ховає. Ядро накопичує малі записи, об’єднує їх і віддає диску IO розміром 4 КБ або більше, тож read-modify-write ніколи не трапляється.\nДва прапорці прибирають цей захист, і застосунки, яким важлива надійність збереження, ставлять обидва.\nO_DIRECT обходить кеш сторінок. Тепер між застосунком і диском немає нічого, що могло б об’єднати 512-байтовий запис у щось розміром із сектор.\nO_SYNC або O_DSYNC вимагає, щоб запис був на стабільному носії, перш ніж виклик поверне керування. Це не дає диску прийняти запис у нестійкий буфер і пізніше поєднати його із сусідами.\nСклади їх разом, і кожен 512-байтовий запис стає повним циклом read-modify-write, який має завершитися зараз, сам по собі, без нічого, на що його можна розкласти. Саме тут підсилення на диску 512e наближається до свого теоретичного 8×, і це точно той шаблон, який дає журнал комітів бази даних, ZIL у ZFS чи WAL у Ceph BlueStore.\nНа корпоративному обладнанні це рятує захист від втрати живлення. Диск із PLP може підтвердити синхронний запис, щойно той опинився в DRAM-буфері з резервом від конденсаторів, а це надійно, і все одно об’єднувати записи всередині перед програмуванням NAND. Споживчий диск без PLP мусить дійти до флеш-пам’яті, перш ніж може відповісти, тож платить повну ціну за кожен запис. Ще одна причина, чому PLP не опція для такого навантаження.\nУ Proxmox режим кешу вирішує, що з цього ти отримаєш:\ncache=none це O_DIRECT: стандартне значення PVE і правильний вибір для all-flash HA. Кеш сторінок хоста поза шляхом, тож шаблони запису гостя доходять до диска такими, якими гість їх видав. cache=directsync це O_DIRECT плюс O_DSYNC: кожен запис синхронний. Це нішеве налаштування для виділених дисків під журнали баз даних, непридатне для загальних навантажень. На пристрої 512e cache=directsync із гостем, що комітить 512-байтовими записами, це чи не найменш ефективне з доступних налаштувань: жодного об’єднання на хості, жодного об’єднання на диску і read-modify-write на кожен коміт.\nА ось частина, яка робить 4Kn структурною річчю, а не просто бажаною. O_DIRECT вимагає, щоб зсув, довжина і буфер були вирівняні за логічним розміром блоку диска. На диску 512e це 512 байтів, тож 512-байтовий прямий запис дозволений, і диск тихо за нього платить. На 4Kn логічний блок має 4096, тож найменший прямий запис, який прийме ядро, і є 4 КБ. Патологічний шаблон перестає бути чимось, чого треба уникати, і стає чимось, чого стек не може виразити.\nНакладні витрати на носії Друга ціна структурна, і саме через неї взагалі існує Advanced Format.\nСектор це не лише його дані. На жорсткому диску кожен несе синхромітку, щоб голівка знала, де сектор починається, проміжок, щоб сусідні сектори не налазили один на одного, адресний маркер і поле ECC для виправлення помилок читання.\nЗ 512-байтовими секторами ти платиш усе це вісім разів на кожні 4K даних. З одним сектором 4K ти платиш раз.\nЦе має два наслідки, і другий важить більше за перший:\nЧастина пластини, що була накладними витратами, стає корисною ємністю. Це була заявлена мотивація галузі під час переходу на Advanced Format, у межах кількох відсотків. Поле ECC може бути значно більшим за тих самих загальних накладних витрат. Один сильний код, що захищає 4096 байтів, виправляє набагато більше, ніж вісім слабких кодів, що захищають по 512 байтів. Коли поверхнева щільність росла, це перестало бути приємною дрібницею і стало єдиним способом тримати частоту помилок прийнятною. Витрати на сектор сплачуються вісім разів при 512 байтах і раз при 4K 512-байтові сектори: ті самі 4 КБ даних 8 секторів × (синхро + дані + ECC + проміжок) 8 × витрати на сектор і вісім малих полів ECC Один 4096-байтовий сектор: ті самі дані 1 × витрати і одне значно більше поле ECC синхромітка, адресний маркер, міжсекторний проміжок ECC твої дані Не в масштабі: поля витрат збільшено, щоб їх узагалі було видно. Звільнена ємність давала кілька відсотків. Сильніший ECC і є причиною, чому галузь справді перейшла. Вісім наборів синхроміток, проміжків і ECC, або один. Звільнене місце це малий виграш; сильніша корекція помилок це причина, чому галузь перейшла. У флеш-пам’яті немає синхроміток чи проміжків на оберт, але та сама логіка діє рівнем вище: NAND програмується сторінками, сторінки значно більші за 512 байтів, а таблиці відображення диска мають запис на кожну адресовану одиницю. Менші логічні блоки означають більше метаданих для обліку тієї самої ємності.\nНакладні витрати в хості: команди і переривання Третю ціну люди пропускають, бо вона взагалі не на диску.\nЛогічний розмір блоку задає нижню межу того, наскільки малим може бути IO. На диску з 512-байтовим логічним блоком файлова система чи застосунок можуть видати 512-байтовий запис, і кожен такий запис це повний IO: зібрана й надіслана команда, запис у doorbell, елемент у черзі завершень і переривання, що повідомляє про завершення.\nКожне з цього має фіксовану ціну, якій байдуже, скільки даних було задіяно. Перенеси 4 КБ вісьмома 512-байтовими командами, і заплатиш цю ціну вісім разів. Перенеси однією командою 4K, і заплатиш раз.\nЛогічний розмір блоку задає нижню межу IO, а кожна команда має фіксовану ціну Логічні блоки 512 Б: застосунок може видавати записи по 512 Б 4 КБ даних стають 8 командами 512 Б512 Б 512 Б512 Б 512 Б512 Б 512 Б512 Б 8 × надсилання + doorbell 8 × запис завершення 8 × можливе переривання 8 × фіксована ціна команди за рівно ті самі 4 КБ даних Логічні блоки 4 КБ: 4 КБ це нижня межа одна команда 4 КБ 1 × надсилання, 1 × завершення, 1 × переривання 1 × фіксована ціна Це допомагає лише там, де справді видається малий IO: одна команда може описати багато блоків, тож запис 1 МБ це одна команда в будь-якому разі. Ті самі 4 КБ даних. Вузьке місце тут не диск, а ціна кожної команди і кожного завершення в хості. Два чесні уточнення, бо саме тут аргумент зазвичай перебільшують.\nДля великого IO логічний розмір блоку нічого не змінює в кількості команд. Одна команда може описати багато блоків, тож послідовний запис 1 МБ це одна команда, хоч блоки 512 байтів, хоч 4K. Економія реальна лише там, де видається малий IO.\nАле там, де малий IO таки видається, ефект зовсім не тонкий: кожен із цих восьми запитів ядро мусить зібрати, запланувати і завершити, кожен зі своїм перериванням MSI-X і переходом із простору користувача в ядро, і на великій глибині черги саме так виникає шторм переривань. Усередині VM ще гірше, бо кожне з цих переривань також перемикання контексту гостя.\nА сучасні контролери NVMe об’єднують переривання, тож кількість переривань не дорівнює просто кількості команд. Проте робота з надсилання і завершення на кожну команду лишається, і на кількох сотнях тисяч IOPS ціна CPU на команду становить помітну частку ядра. Це та сама арифметика, що й у posted interrupts у серії про passthrough: малі фіксовані ціни, помножені на дуже велике число.\n4Kn, метадані сектора і апаратний RAID Перехід на формат 4096 + 0 має наслідок, що застає людей зненацька, і він падає просто на апаратний RAID.\nДеякі RAID-контролери і масиви зберігання взагалі не використовують звичайних секторів по 512 чи 4096 байтів. Вони форматують диски в розширений розмір, 520 чи 528 байтів, або 4K-відповідники на кшталт 4104, 4160 і 4224, бо ці додаткові байти на сектор і є місцем, де контролер тримає власні метадані. Це інформація захисту T10-PI/DIF або дані цілісності від постачальника, що зберігаються поряд із самими даними, які вони описують.\nУ формату 4096 + 0 для цього немає місця. Сектор від початку до кінця це дані, і в цьому весь сенс його вибору.\nТож контролер, якому потрібні вбудовані метадані, має три варіанти, і жоден не безкоштовний:\nВідмовитися від диска. Переформатувати його назад у розширений формат, скасувавши щойно зроблену роботу з 4Kn. Тримати свої метадані десь в іншому місці диска. Третій варіант це те, де флеш-пам’ять тебе карає. Метадані, записані окремо від даних, які вони описують, це другий запис, за іншим зсувом, що лягає в іншу одиницю відображення. Ще одна сторінка NAND, запрограмована на кожну, яку ти справді хотів записати. Це підсилення з розділу вище, свідомо повернене, щоб нести метадані цілісності, які диск міг би тримати вбудованими задарма, якби ти залишив його в розширеному форматі.\nМати обидва не вийде. Або сектор несе метадані контролера, або він несе лише твої дані.\nОсь чому флеш-пам’ять добряче підірвала аргументи на користь апаратного RAID Решта цього розділу це судження, а не механізм, тож сприймай його саме так.\nАпаратний RAID-контролер це програмний RAID у прошивці, що працює на виділеному процесорі. «Апаратне» тут це CPU, трохи DRAM і батарея. Не якийсь принципово інший спосіб рахувати парність. Історично він давав тобі кеш запису з батарейним живленням і винесення обчислення парності, і на флеш-пам’яті обидва аргументи сильно ослабли. Корпоративний NVMe уже має власний кеш, захищений від втрати живлення, а контролер стає стелею пропускної здатності перед пристроями, кожен з яких може наситити кілька гігабайтів на секунду.\nВін також забирає в тебе речі, яких ти тепер активно хочеш:\nСтан пристрою зникає. Подробиці SMART, індикатори зносу і журнали постачальника, з яких можна порахувати підсилення запису, ховаються за непрозорою абстракцією. Жодних наскрізних контрольних сум. Контролер перевіряє парність, а вона виявляє відсутній диск, а не хибну відповідь від наявного. ZFS і Ceph рахують контрольні суми самих даних і можуть сказати, яка копія хибна: тихе пошкодження, яке контролер пропускає наскрізь. Тож контролер розв’язує не ту задачу. Метадані постачальника на дисках прив’язують масив до родини контролерів, а це своя різновидність ненадійності, коли відмовляє саме контролер. RAID із парністю робить власний read-modify-write на записах часткової смуги, нашаровуючись поверх усього з розділів вище. Для Ceph це навіть не питання вподобань. Власні настанови Proxmox щодо гіперконвергентних систем кажуть, що диски мають бути подані в режимі HBA або pass-through, а не за RAID-контролером, і ZFS хоче рівно того самого з тих самих причин.\nТож схема, що випливає з усього цього: HBA замість RAID-контролера, диски у форматі 4Kn з нульовими метаданими, і надлишковість плюс контрольні суми на боці ZFS або Ceph, які справді можуть сказати тобі, коли диск збрехав. Якщо щось у твоєму господарстві справді потребує розширеного формату сектора, це свідомий вибір «або-або», який треба вирішити, поки диски ще порожні. А не те, що виявляєш після того, як OSD уже збудовано.\nДе 512e справді кусає Було б нечесно стверджувати, що 512e руйнує сучасну систему, бо зазвичай це не так.\nПоточний стек Linux читає фізичний розмір сектора, вирівнює за ним розділи (parted і sfdisk тепер обидва роблять це за замовчуванням) і використовує 4K-блоки файлової системи. У такій конфігурації хост видає вирівняний 4K IO розміром 4K, диску ніколи не потрібен read-modify-write, і 512e коштує тобі майже нічого.\nПроблеми конкретні:\nНевирівняні розділи, зазвичай успадковані від старого встановлення чи клонованого образу. Два read-modify-write на кожен запис. ZFS з ashift=9 на диску 512e, бо ZFS повірила в повідомлені 512. Кожен запис record стає read-modify-write, а ashift змінити постфактум не можна: пул доведеться перебудувати. Застосунки, що пишуть 512-байтові записи з O_DIRECT, в обхід об’єднання в кеші сторінок. Так роблять деякі бази даних і чимало замовного ПЗ. Усе, що довіряє логічному розміру як справжньому. У цьому і є справжня шкода емуляції: вона роздає число, яке хибне, і все нижче за течією ухвалює рішення на його основі. 4Kn прибирає всю цю категорію. Диск не може збрехати про розмір сектора, якого в нього немає.\nВарто, втім, чесно сказати про розмір виграшу. Власні настанови Seagate кажуть, що за 4Kn явно варто гнатися, коли стек повністю оптимізовано під 4K і ти рахуєш кожен IOPS, скажімо, налаштований all-flash рівень. Нижче цього, на правильно вирівняному сучасному Linux, різниця в продуктивності для вирівняного IO часто мала. Інший аргумент це однорідність парку: в однорідно 4Kn господарстві немає сюрпризів зі змішаними форматами, і нікому не треба пам’ятати, які диски брешуть.\nБільшість дисків можна конвертувати, якщо дозволяє постачальник Ось що пропускають: 512e часто це налаштування формату, а не властивість обладнання. Дуже багато корпоративних дисків SAS і SATA, і більшість корпоративних NVMe, постачаються з повідомленим розміром 512 байтів і охоче переформатуються в 4Kn.\nУсе наведене нижче знищує кожен байт на пристрої. Перетворення на місці не існує.\nNVMe: nvme-cli Спершу подивися, що підтримує простір імен:\n# Lists each LBA format and marks which one is in use nvme id-ns -H /dev/nvme0n1 | grep -i \u0026#34;lbaf\\|data size\u0026#34; Тобі потрібен формат із Data Size 4096 і Metadata Size 0, позначений як найкращий (Best) і зараз не використовуваний. Тоді застосуй його:\n# -l/--lbaf selects the LBA format index from the list above nvme format /dev/nvme0n1 --lbaf=1 --force Розмір метаданих важить стільки ж, скільки розмір даних. Деякі заводські формати резервують додаткові байти на сектор, 520 або 4160, щоб нести наскрізні метадані захисту T10-PI/DIF. Якщо ніщо у твоєму стеку їх не використовує, це заповнювач на кожному секторі, тож обери формат із нульовими метаданими і позбудься його. Випадково обраний формат із метаданими також дасть тобі диск, що поводиться не так, як той, який ти хотів створити, а поєднання зміни розміру сектора зі зміною PI може змусити робити повільне повне форматування замість швидкого.\nДля всіх дисків хоста запусти цикл. Йому потрібен shopt -s extglob для розширених шаблонів, і він обирає лише формати 4096/0, що не використовуються:\nshopt -s extglob for dev in /dev/nvme+([0-9])n+([0-9]); do # Skip anything that is not actually there [ -e \u0026#34;$dev\u0026#34; ] || continue # An LBA format with 4096-byte data, 0-byte metadata, marked Best, not in use lbaf=$(nvme id-ns -H \u0026#34;$dev\u0026#34; \\ | grep -P \u0026#39;(?=.*Metadata Size: 0)(?=.*Data Size: 4096)(?=.*Best)(?!.*in use)\u0026#39; \\ | awk \u0026#39;{found=$3} END {print (found != \u0026#34;\u0026#34; ? found : -1)}\u0026#39;) if [ \u0026#34;$lbaf\u0026#34; != \u0026#34;-1\u0026#34; ]; then echo \u0026#34;Formatting $dev using LBA Format: $lbaf\u0026#34; nvme format --force --lbaf=\u0026#34;$lbaf\u0026#34; \u0026#34;$dev\u0026#34; else echo \u0026#34;Skipping $dev: no matching LBA format found.\u0026#34; fi done Дві речі в ньому роблять більше роботи, ніж здається.\nШаблон збігається з просторами імен, nvme0n1, nvme12n3, і навмисно не збігається з розділами на кшталт nvme0n1p1, бо шаблон закінчується після цифр, що йдуть за n. Це різниця між переформатуванням простору імен і чимось непоправним для працюючої системи.\nА вибір завжди конвертує лише той диск, який справді пропонує те, що ти просив. Усе інше падає до -1 і пропускається, і це покриває три окремі випадки:\nДиск пропонує лише 512. Формату на 4096 байтів немає, тож конвертувати нема на що, і цикл залишає його в спокої. Він не пробує і не падає на півдорозі. Диск уже 4Kn. Формат 4096/0 і є тим, що використовується, а (?!.*in use) його виключає, тож другий прогін на тому самому хості нічого не робить. Жодного зайвого переформатування кожного диска. Єдині формати 4096 несуть метадані. Формат 4096 + 8 не задовольняє Metadata Size: 0, тож цикл не підсуне тобі тихенько диск із T10-PI, якого ти не просив. Іншими словами, він відмовляє в безпечний бік. Коли не впевнений, пропускає.\nОдна примітка щодо переносності: ці lookahead потребують режиму -P (PCRE) у GNU grep. На системі, де grep щось інше, шаблон ні з чим не збігається, і кожен диск пропускається. Дратує, але принаймні помиляється в безпечний бік.\nУсе одно прочитай цикл, перш ніж запускати. Там, де він таки знаходить збіг, він переформатовує без додаткових запитань. nvme format --force двічі не питає. Йому місце в підготовці машин, на машині, чиї диски нічого не тримають, і ніколи на хості з живим OSD, пулом чи диском VM.\nНа FreeBSD відповідник це nvmecontrol, де -f це індекс формату:\nnvmecontrol format -f 1 nvme0ns1 SAS і SATA: openSeaChest openSeaChest від Seagate кросплатформний, з відкритим кодом і працює також із дисками інших постачальників.\n# Find the handle openSeaChest_Format --scan # Ask the drive which sector sizes it will accept openSeaChest_Format -d /dev/sg1 --showSupportedFormats # Convert. The confirmation string is deliberately hard to type by accident. openSeaChest_Format -d /dev/sg1 --setSectorSize 4096 \\ --confirm this-will-erase-data-and-may-render-the-drive-inoperable Ця фраза підтвердження не мій драматизм. Це буквальний рядок, якого вимагає інструмент, і частина «may render the drive inoperable» цілком реальна. Низькорівневе форматування, перерване вимкненням живлення, може залишити диск, якому потрібне ще одне форматування, перш ніж він узагалі запрацює.\nПід капотом операція відрізняється залежно від транспорту: SAS і SCSI використовують Format Unit, SATA використовує Set Sector Configuration Ext, шлях швидкого форматування, а NVMe використовує NVM Format. Для диска SAS можна викликати Format Unit напряму, і зверни увагу, що ця опція бере коротший рядок підтвердження:\nopenSeaChest_Format -d /dev/sg1 --formatUnit 4096 --poll \\ --confirm this-will-erase-data Дві різні опції, два різні рядки підтвердження: переплутаєш їх, і інструмент відмовиться.\nТам, де диск підтримує швидке форматування, розмір сектора змінюється за секунди, а не за години; диск потім виконує свою роботу з цілісності та фонову роботу, і запис твоїх справжніх даних на нього скорочує цей фоновий час. Повне форматування пише нулі від початку до кінця і на великому диску, що обертається, може тривати від багатьох годин до кількох днів.\nopenSeaChest_Format -d /dev/sg1 --setSectorSize 4096 --fastFormat \\ --confirm this-will-erase-data-and-may-render-the-drive-inoperable SCSI: sg_format Для всього, що розмовляє SCSI, ту саму роботу зробить sg3_utils:\n# --size requires --format; expect hours on a large spinning disk sg_format --format --size=4096 /dev/sdb # Fast format where the drive supports it — seconds instead of hours sg_format --format --size=4096 --ffmt=1 /dev/sdb sg_format дає тобі 15-секундний зворотний відлік, перш ніж почати, і --quick його пропускає. Його документація також попереджає про конкретну відмову, про яку варто знати: якщо зміна розміру блоку вдалася, а форматування потім не вдалося, диск може опинитися в стані «format corrupt», і для відновлення потрібне ще одне форматування.\nПерш ніж щось конвертувати Перевір шлях завантаження. Диск 4Kn як завантажувальний пристрій потребує UEFI і ОС, яка це підтримує. Сучасний Linux у порядку. Старіший Windows ні, а деякі апаратні RAID-контролери досі взагалі відмовляються від 4Kn. Зроби це, поки диск нічого не тримає. Переробка постфактум означає: евакуювати, конвертувати, відновити. Зроби один, потім перевір. Конвертуй один диск, підтверди повідомлені розміри, потім роби решту. Розраховуй на години на диску, що обертається, без швидкого форматування. Не запускай низькорівневе форматування на машині, яка скоро тобі знову потрібна. Перевірка того, що в тебе є # LOG-SEC is what the host addresses, PHY-SEC is what the medium uses lsblk -o NAME,MODEL,SIZE,LOG-SEC,PHY-SEC # The same, from sysfs cat /sys/block/sda/queue/logical_block_size cat /sys/block/sda/queue/physical_block_size # SMART states both, and this is the clearest 512e signature there is smartctl -a /dev/sda | grep -i \u0026#34;sector size\u0026#34; 512 bytes logical, 4096 bytes physical це диск 512e. Однакові числа означають нативний формат: 512n, якщо обидва 512, 4Kn, якщо обидва 4096.\nІ перевір, що розділи справді вирівняні:\nparted /dev/sda align-check optimal 1 ZFS, Ceph і віртуальні диски ZFS: явно задавай ashift=12 під час створення пулу і не покладайся на повідомлений диском розмір, бо на 512e він скаже тобі 9 і помилиться. Змінити це пізніше не можна.\nCeph: мінімальний розмір виділення BlueStore на флеш-пам’яті має бути 4 КБ. Сучасний Ceph за замовчуванням ставить 4096, але старіші збірки за замовчуванням ставили більше, близько 16 КБ на SSD і 64 КБ на HDD, а це погано пасує дискам VM на RBD, бо вони видають багато малих випадкових записів по 4 КБ, і 4-КБ запис, що лягає в одиницю виділення 16 або 64 КБ, і підсилює запис, і марнує решту на заповнювач. Це фіксується під час створення OSD, тож задати треба до створення чи перебудови:\nceph config set global bluestore_min_alloc_size_ssd 4096 # new or rebuilt OSDs only Є відповідний bluestore_min_alloc_size_hdd. Наявні OSD зберігають те, з чим їх збудували, тож зміна означає їх перебудову.\nВіртуальні диски: гість бачить те, що показує гіпервізор, а не диск під ним, тож диск 4Kn під VM усе одно віддає гостю 512-байтові блоки, якщо ти не скажеш інакше. Тримати стек у 4K від початку до кінця означає сказати QEMU показувати 4K, а в Proxmox це рядок сирих аргументів у /etc/pve/qemu-server/\u0026lt;vmid\u0026gt;.conf:\nargs: -global scsi-hd.physical_block_size=4k -global scsi-hd.logical_block_size=4096 Саме цей рядок справді змушує QEMU працювати в 4Kn для цих дисків: -global застосовує його до кожного пристрою scsi-hd на VM, тож гостю кажуть 4096 і для логічного, і для фізичного розміру блоку, і він розбиває та вирівнює відповідно.\nНе бери весь рядок у лапки. Proxmox розбирає args: через Text::ParseWords::shellwords, тож ось це:\nargs: \u0026#34;-global scsi-hd.physical_block_size=4k -global scsi-hd.logical_block_size=4096\u0026#34; зливається в один аргумент: лапки враховуються й прибираються, і QEMU отримує одну довгу опцію, яку неможливо розібрати, замість чотирьох. Без лапок той самий рядок розпадається на -global, scsi-hd.physical_block_size=4k, -global, scsi-hd.logical_block_size=4096, а це те, що тобі потрібно. Цю помилку легко зробити, бо взяти в лапки це правильний інстинкт у командному рядку, а відмова, VM, що не стартує і скаржиться на опцію, не вказує назад на лапки.\nЗроби це до встановлення гостьової ОС. Зміна розміру блоку диска під уже встановленою системою може зробити її незавантажуваною, бо розмітку розділів і завантажувач записано під 512-байтові сектори. Зверни також увагу, що args: це запасний вихід для експертів поза керуванням GUI, і взаємодію з живою міграцією та знімками варто перевірити за актуальною документацією Proxmox.\nКоли гість каже 512, а хост каже 4K Це випадок, який варто зрозуміти як слід, бо саме його ти отримуєш за замовчуванням після всієї роботи вище.\nQEMU показує гостю 512-байтові логічні блоки, якщо йому не сказати інакше, хоч яким є пристрій під ним. Тож ти можеш конвертувати кожен диск у хості в 4Kn, а VM зверху все одно чутимуть 512, і повірять у це.\nТоді гість розбиває диск на межах по 512 байтів, бо може, і видає 512-байтовий IO, бо може. Але пристрій хоста тепер справді має 4096-байтовий логічний блок, і 512-байтового запису він не прийме. Щось мусить узгодити одне з одним, і це щось хост: QEMU читає навколишні 4 КБ, вливає в них 512 байтів гостя і записує все назад.\nТи не прибрав емуляцію. Ти переніс її з прошивки диска у свій гіпервізор, де вона коштує CPU хоста і буфер перекидання замість циклів диска.\nЗ cache=none це теж не м’який штраф. O_DIRECT щодо пристрою 4Kn вимагає зсувів і довжин, вирівняних по 4 КБ, тож запис гостя менший за 4K не можна просто передати далі: вирівнювання треба виправити в QEMU ще до того, як IO взагалі буде видано.\nІ випадок із невирівнюванням повертається рівнем вище. Гість, розбитий з гранулярністю 512 байтів, ставить свої 4-КБ записи файлової системи на зсуви, що перетинають два 4-КБ блоки хоста, тож кожен стає двома read-modify-write на хості. Та сама відмова, що й невирівняний розділ на голому диску 512e, тільки тепер вона відбувається всередині VM, де ніхто її не шукає.\nТож правило таке: якщо хост 4Kn, показуй 4K і гостю, і роби це до того, як стане ОС.\nВиняток це підтримка в гостях, а саме через неї 512e і існує:\nГості Linux працюють з 4Kn без жодного клопоту. Windows підтримує 4Kn для томів даних починаючи з Windows 8 і Server 2012, а завантаження з 4Kn потребує UEFI. Усе старіше, Windows 7 і раніше, взагалі не вміє 4Kn. Для них віртуальний диск, що показує 512, це ціна їхнього запуску, і узгоджувати буде хост. Якщо це важить, тримай таких гостей на сховищі, де це коштує тобі найменше, а не на найшвидшому рівні. Перевір, що гість зрештою отримав, зсередини гостя:\nlsblk -o NAME,LOG-SEC,PHY-SEC 512 тут на хості 4Kn означає, що описане вище узгодження відбувається на кожному невирівняному записі.\nДжерела OpenZFS — Workload Tuning — ashift, чому 2^ashift це найменший можливий IO на vdev, і зауваження, що «many devices misreport their sector sizes» nvme-format man page — --lbaf, --namespace-id, --ses і --force sg_format man page — --size разом із --format, опція швидкого форматування і попередження про стан format-corrupt openSeaChest — утиліти Seagate для дисків з відкритим кодом, зокрема --setSectorSize і --showSupportedFormats openSeaChest wiki — Format, Fast Format, And Sector Sizes — який транспорт використовує яку команду і коли застосовне швидке форматування nvmecontrol(8) — відповідник для FreeBSD Linux block layer documentation — як ядро моделює логічні та фізичні розміри блоків ","permalink":"https://blogs.damiendye.uk/uk/proxmox/block-sizes-4kn-512e/","summary":"Диски 512e показують 512-байтові сектори, яких у них немає, а прошивка покриває різницю на кожному невирівняному записі. Чого це коштує на носії, у хості та в підсиленні запису, чому прямі синхронні записи це найгірший випадок і як перевести парк дисків на 4Kn.","title":"4Kn, 512e і 512n: чому нативний 4K перемагає і чого коштує емуляція"},{"content":"Що таке BAR і чому GPU його переросли Кожен пристрій PCIe відкриває один або кілька регістрів базової адреси (Base Address Register). BAR каже системі, скільки адресного простору хоче пристрій, а прошивка вписує його в карту пам’яті хоста. Щойно він змапований, процесор дістається до пам’яті пристрою звичайними операціями читання й запису.\nКолись розмір BAR був зашитий у кремній. Прошивка зчитувала його під час увімкнення, і на цьому розмова закінчувалася.\nПоки BAR були маленькі, це влаштовувало всіх. Мережевій карті для регістрів треба кілька десятків кілобайтів. Контролеру NVMe треба від 16KB до 64KB.\nВідеокарти цю домовленість зламали. Сучасна карта має 8, 12, 16 або 24GB відеопам’яті, і очевидно хочеться змапувати її всю, щоб процесор міг писати будь-куди. Фіксовані BAR цього виразити не могли, тож звичаєм стало маленьке вікно, зазвичай 256MB, яке драйвер пересуває по фреймбуферу і копіює через нього шматками. Воно працює. Просто це дурна кількість бухгалтерії, щоб дістатися до пам’яті, яку ти вже купив і встановив.\nФіксоване вікно показує один шматок за раз; Resizable BAR мапить усе Фіксований BAR: вікно 256 MB 24 GB VRAM, показані шматками вікно Драйвер пересуває вікно й копіює крізь нього, по шматку за раз. Шматки умовні, не в масштабі. Resizable BAR: уся пам’ять ті самі 24 GB, змаповані раз один BAR покриває все Процесор пише туди, куди треба. Жодного вікна, яке треба пересувати. Вікно 256MB не так обмежує пропускну здатність, як бере податок на бухгалтерію: драйвер витрачає час на пересування вікна замість пересування даних. Що змінює Resizable BAR Resizable BAR це можливість PCIe, яка дозволяє домовлятися про розмір BAR замість мати його фіксованим. Пристрій оголошує розміри, які підтримує, а прошивка чи операційна система програмує один із них.\nДля GPU це означає, що весь фреймбуфер можна змапувати одразу. Драйвер перестає гортати пам’ять крізь вікно і пише туди, куди збирався. Ядро показує цю можливість як Physical Resizable BAR, і вона не прив’язана до виробника. Карта AMD працює з нею на платформі Intel, і навпаки.\nЩо насправді роблять три виробники Найцікавіше те, що виробники не згодні між собою, наскільки це важливо.\nТри виробники, одна можливість, три різні позиції Intel Arc / Arc Pro ОБОВ’ЯЗКОВО «Required to get a good experience with Arc» Без нього піки часу кадру, що вже були, стають більшими. Платформи: Core 10-го покоління і новіші, більшість Ryzen 3000, усі Ryzen 5000. NVIDIA ПРОФІЛЬ ДЛЯ ГРИ Від RTX 30 Series, березень 2021 «A few percent, up to 12%», а деякі ігри сповільнюються, тож драйвер вмикає його лише там, де тест показав виграш. Потрібне оновлення VBIOS + SBIOS. AMD Radeon SMART ACCESS MEMORY Та сама можливість, продана під брендом Запущена з RX 6000 і Ryzen 5000 як парна функція, але сама можливість стандартна для PCIe і працює між виробниками. На Vega і Polaris латаніша. Можливість однакова в усіх трьох випадках; різниця в тому, чи вважає її виробник передумовою, оптимізацією для вибіркового застосування чи функцією продукту. Та сама можливість, три різні позиції. Intel вважає її передумовою; NVIDIA вмикає її лише для ігор, які сама перевірила; AMD продає її як функцію. Intel Arc і Arc Pro: Intel називає це обов’язковим Intel тут найрішучіший. Їхні настанови кажуть, що Resizable BAR «required to get a good experience with Intel® Arc™ hardware». Для функції платформи це незвично сильні слова, і вони показують, як побудовано драйвер Arc, а не маркетинговий вибір.\nЩодо симптомів Intel описує наслідок вимкнення через стабільність, а не через середні значення: з «ReBAR off» ти отримаєш те, що «will generally result in spikes that were already there getting bigger». Це аргумент про стабільність часу кадру, і за формою це та сама проблема, що й вплив ASPM на хвости затримок. Середнє значення це ховає.\nIntel називає підтримуваними платформами процесори Intel Core 10-го покоління й новіші, більшість серії Ryzen 3000 і всі процесори Ryzen 5000, і розглядає це як функцію BIOS материнської плати, яку треба піти й увімкнути.\nПрактичний висновок для Arc і Arc Pro простий. Якщо ти поставив карту Arc у машину, а продуктивність розчаровує або скаче, перевір це раніше за все інше. Тож на цих картах це не ручка тонкого налаштування, а передумова.\nNVIDIA: від Ampere і лише там, де допомагає NVIDIA додала підтримку для карт і ноутбуків GeForce RTX 30 Series у березні 2021 року. Щоб це запрацювало, потрібні були підтримуваний VBIOS, сумісні процесор і материнська плата, оновлення прошивки плати й актуальний драйвер. RTX 3060 вийшла з підтримкою одразу; 3060 Ti, 3070, 3080 і 3090 могли потребувати оновлення прошивки.\nВласна оцінка продуктивності від NVIDIA приємно буденна. Вони виявили, що «some titles benefit from a few percent, up to 12%», тоді як «there are also titles that see a decrease in performance».\nЇхня відповідь на це і є деталь, яку варто знати: замість лишати функцію ввімкненою глобально, NVIDIA заздалегідь тестує ігри й через профілі для кожної гри вмикає Resizable BAR лише там, де вимірювання показали виграш. Тож на карті NVIDIA питання «чи ввімкнено ReBAR?» має відповідь для кожного застосунку окремо, і бенчмарк, що не показує нічогісінько, може бути просто грою, яку драйвер вирішив не чіпати.\nAMD: Smart Access Memory це те саме AMD називає це Smart Access Memory; назву запровадили разом із серією Radeon RX 6000 і процесорами Ryzen 5000. Маркетинг натякає на пару «процесор AMD плюс GPU AMD», і саме так це запускали, але під капотом стандартна можливість PCIe. Увімкни Resizable BAR у прошивці з картою Radeon у машині Intel, і отримаєш ту саму функцію без бренду.\nКарти Radeon Pro серії W теж її підтримують. На старіших архітектурах, Vega і Polaris, підтримка латана, і саме там живуть проблеми з віртуалізацією.\nResizable BAR і робота з AI Саме тут функцію розуміють неправильно, тож варто чітко сказати, чого вона торкається.\nResizable BAR змінює те, як процесор дістається до пам’яті GPU. Це шлях передавання: підготовка ваг моделі, проштовхування батчів, читання результатів назад. Він не чіпає власну пропускну здатність пам’яті GPU і не пришвидшує множення матриць.\nТож чесний підсумок такий: він впливає на завантаження й годування моделі, а не на арифметику. Для великої моделі копіювання з хоста на пристрій під час завантаження є справжньою ціною, і повнорозмірний BAR дає процесору писати просто в пам’ять пристрою замість човгати крізь ілюмінатор 256MB. У сталому режимі інференсу, коли ваги вже лежать у пам’яті, а робота впирається в обчислення, не чекай нічого.\nВарто знати три конкретні речі.\nArc Pro для AI успадковує вердикт Intel. Якщо Intel каже, що карті потрібен Resizable BAR для доброго досвіду, це стосується карти з oneAPI чи PyTorch так само, як і карти в грі. На картах Arc і Arc Pro, що виконують інференс, він має бути ввімкнений, і крапка.\nНа NVIDIA потрібне тобі число зветься BAR1. BAR1 це видиме хостові вікно в пам’ять пристрою, і через нього йдуть змаповані на хост алокації та GPUDirect RDMA:\n# How much device memory is actually host-visible nvidia-smi -q | grep -A3 \u0026#34;BAR1 Memory Usage\u0026#34; Карта для дата-центру з самого початку має великий BAR1. На настільній карті саме Resizable BAR робить це вікно великим, а не крихітним. Якщо ти робиш RDMA просто з NIC у пам’ять GPU, це не дрібна приємність.\nНе плутай це з вимогою ROCm. Системні вимоги AMD ROCm кажуть про процесори з підтримкою PCIe atomics, «modern CPUs after the release of 1st generation AMD Zen CPU and Intel™ Haswell», і нічого не кажуть про розмір BAR. Це дві різні вимоги до платформи, які живуть в одному меню BIOS, і люди їх постійно плутають. Перевір ту, яка тобі справді потрібна.\nЗбій, що найболючіше б’є по збірках для AI, взагалі не стосується продуктивності, і про нього нижче: кілька GPU з великими BAR в одній машині можуть вичерпати адресний простір.\nЩо потрібно, щоб це працювало Чотири речі, і всі на рівні прошивки:\nResizable BAR увімкнений у прошивці материнської плати. Часто за замовчуванням вимкнений. Above 4G Decoding увімкнений. BAR на 24GB не вміститься нижче межі 4GB, тож платформа має бути готова виділяти адресний простір вище неї. Вмикай це навіть без GPU. Воно нічого не коштує. Завантаження UEFI з вимкненим CSM. Режим сумісності зі старим BIOS і великі BAR не поєднуються. Актуальні прошивки й драйвери, особливо на платах і картах перехідного періоду 2020–2021 років, де підтримка прийшла оновленням, а не на старті продажів. Великий BAR вміщується лише вище 4GB, а апертура гостя має бути достатньо великою, щоб його вмістити Де насправді може жити збільшений BAR системна RAM 0 32-бітна діра MMIO 4 GB 64-бітний MMIO верх GPU 0 BAR 24 GB GPU 1: 24 GB GPU 2: 24 GB GPU 3: 24 GB Тісно, і всього лише 4 GB завширшки BAR на 24 GB сюди не влізе. BAR на 256 MB ледве вліз би. Доступно лише з Above 4G Decoding Налаштування прошивки. На деяких платах вимкнене, а без нього великий BAR не виділяється взагалі. Кожній карті тут потрібне своє місце Чотири карти по 24 GB хочуть 96 GB 64-бітного MMIO, плюс усе інше на шині. Не кожна прошивка споживчої плати на це здатна. Ознака: з двома картами все гаразд, з чотирма одна не ініціалізується, а dmesg каже, що для BAR немає місця. Не в масштабі: 64-бітна область незмірно більша за 4 GB під нею, і в цьому якраз вся суть. Above 4G Decoding і робить верхню область придатною взагалі, а кожній карті там потрібне власне місце, і саме тут збірки для AI з кількома GPU впираються в стіну. Як перевірити на Linux Чи має карта цю можливість і які розміри пропонує:\n# Substitute your card\u0026#39;s address from lspci lspci -vvs 0000:XX:00.0 | grep -A6 \u0026#34;Physical Resizable BAR\u0026#34; Ядро також показує це в sysfs, по одному файлу на кожен BAR зі змінним розміром:\ncat /sys/bus/pci/devices/0000:XX:00.0/resource1_resize Це значення є бітовою мапою підтримуваних розмірів, а не розміром. Біт 0 означає 1MB, біт 1 означає 2MB, біт 2 означає 4MB, а розмір для певного біта дорівнює 2 ^ (bit + 20). Тож у 00000000000001c0 встановлено біти 6, 7 і 8, тобто BAR може бути 64MB, 128MB або 256MB.\nЩоб побачити, що діє насправді, прочитай призначені регіони:\nlspci -vvs 0000:XX:00.0 | grep -i Region Карта, що працює зі змапованим повним фреймбуфером, показує регіон розміром з її VRAM, а не на 256MB.\nЗміна розміру вручну Позицію біта можна записати самому:\n# bit 7 -\u0026gt; 2 ^ (7 + 20) = 128MB echo 7 \u0026gt; /sys/bus/pci/devices/0000:XX:00.0/resource1_resize Умови суворі, і їх варто прочитати, перш ніж пробувати на машині, яка тобі не байдужа. Спершу від пристрою треба відв’язати всі драйвери. Сусідні пристрої під тим самим батьківським мостом, можливо, доведеться м’яко видалити. На пристрої VGA запис значення розміру зносить низькорівневі драйвери консолі. Усе, що тримає відкритими файли sysfs resourceN, має їх відпустити.\nДокументація ядра так само пряма щодо результату: успіх не гарантовано. Зміна розміру не вдасться, якщо немає адресного простору, щоб розмістити більший BAR. І це повертає тебе просто до Above 4G Decoding.\nКоли щось іде не так dmesg каже, що не може призначити BAR. Повідомлення на кшталт BAR 0: no space for [mem size ...] означають, що не вдалося виділення, а не що карта несправна. Above 4G Decoding перевіряй першим.\nКілька GPU, і один не ініціалізується. Це збій машин з кількома GPU та збірок для AI. Чотирьом картам з BAR на 24GB потрібно виділити 96GB 64-бітного простору MMIO, плюс усе інше, і не кожна прошивка споживчої плати на це здатна. Симптом: з двома картами машина в порядку, а з чотирма падає.\nПродуктивність знизилася. На NVIDIA це може бути власний висновок драйвера, адже вони вмикають функцію для кожної гри окремо саме тому, що деякі навантаження просідають. На інших виміряй обидва варіанти, а не припускай.\nНе змінилося взагалі нічого. Найімовірніший результат для навантаження, яке ніколи не впиралося у вікно процесора у VRAM.\nПрокидання GPU з великим BAR у VM Варто згадати, бо це людей дивує: гість не успадковує карту пам’яті хоста. Прошивка VM будує власну 64-бітну апертуру MMIO, і типова в OVMF значно менша, ніж потрібно сучасному GPU, тож карта або не ініціалізується, або відступає до маленького BAR. Це тема Proxmox і QEMU, а не GPU, і вона живе в статті про податок IOMMU поруч із вимогами до типу машини зі статті Завжди використовуй Q35, а не i440fx.\nДжерела Intel — Resizable BAR and Intel Arc Graphics — власна заява Intel, що це потрібно для доброго досвіду на Arc, і список підтримуваних платформ NVIDIA — Resizable BAR support for GeForce RTX 30 Series — вимоги, виміряний діапазон і підхід із профілями для кожної гри AMD — Smart Access Memory — бренд AMD і пара платформ Linux kernel sysfs-bus-pci ABI — resourceN_resize — бітова мапа, розрахунок 2 ^ (bit + 20) і умови відв’язування ROCm system requirements — вимога PCIe atomics, яку плутають із цією ","permalink":"https://blogs.damiendye.uk/uk/proxmox/pcie-resizable-bar/","summary":"Resizable BAR дає процесору змапувати весь фреймбуфер GPU замість підглядати в нього крізь вікно 256MB. Intel називає його обов’язковим для Arc, NVIDIA вмикає його для окремих ігор, AMD продає його як Smart Access Memory, а в роботі з AI він змінює передавання даних, а не обчислення.","title":"PCIe Resizable BAR і сучасні GPU: Intel Arc, NVIDIA та AMD"},{"content":"Проблема Це спливло під час роботи з клієнтом, коли ми проєктували розгортання Proxmox VE з NVMe passthrough для навантаження, чутливого до затримок. Клієнт ще до дзвінка провів власні бенчмарки. На хості fio по NVMe-диску показував 700K IOPS випадкового читання із затримкою завершення менше 10 мкс. Усередині ВМ, з тим самим диском і тим самим тестом, виходило приблизно вдвічі менше.\nОчевидне вони вже перевірили. Диск не змінювався. Прошивка не змінювалася. Слот PCIe ніхто не переставляв. Вони вже почали думати, чи passthrough взагалі правильний підхід.\nПравильний. Те, що вони бачили, це податок IOMMU. Він ловить людей, бо ніхто не каже тобі про нього, доки ти не поставив усе на passthrough. Добра новина: більшу частину накладних витрат можна повернути, щойно зрозумієш, звідки вони беруться.\nГлибше Проблеми, які треба було розв’язати Дати ВМ прямий доступ до фізичного PCIe-пристрою звучить просто. На практиці це одна з найважчих задач у віртуалізації систем. Кілька речей, які на bare metal працюють самі собою, стають небезпечними, коли пристрій ділять між хостом і гостем.\nІзоляція DMA Це фундаментальна проблема.\nPCIe-пристрої не ходять через CPU, щоб читати й писати пам’ять. Вони використовують Direct Memory Access. Вони пишуть прямо за фізичними адресами RAM. На bare metal це нормально. Пристрій і ОС довіряють одне одному.\nПід віртуалізацією гостьова ВМ має власне бачення фізичної пам’яті. Адреси, які гостьовий драйвер дає NVMe-контролеру, це гостьові фізичні адреси. Вони не відповідають тим самим місцям у RAM хоста. Якщо пристрій використає їх напряму, він читатиме й писатиме не ту пам’ять. Це псує хост, інші ВМ, або і те, і те.\nГірше, зловмисний чи забаглений гостьовий драйвер міг би навмисно запрограмувати пристрій робити DMA в будь-яку частину пам’яті хоста. Фактично це root-доступ до всієї машини без жодної експлуатації вразливості гіпервізора.\nРозв’язок це IOMMU: апаратний блок трансляції (Intel VT-d, AMD-Vi), що стоїть між кожним PCIe-пристроєм і основною пам’яттю. Він веде власні таблиці сторінок, окремі від таблиць CPU. Кожен DMA-запит від пристрою проходить через IOMMU, який транслює гостьові фізичні адреси в фізичні адреси хоста і блокує будь-який доступ поза областями пам’яті, виділеними гостю.\nБез IOMMU безпечний passthrough неможливий. З ним пристрій ізольований.\nГрупування пристроїв IOMMU не ізолює окремі пристрої. Він ізолює групи.\nСпецифікація PCIe визначає Access Control Services (ACS), які вирішують, чи можуть пристрої на одній шині говорити один з одним напряму, тобто peer-to-peer DMA, не проходячи через root complex, де сидить IOMMU. Якщо два пристрої ділять PCIe-комутатор, який не забезпечує ACS, один пристрій може робити DMA у простір пам’яті іншого, повністю оминаючи IOMMU.\nЯдро об’єднує пристрої, які потенційно можуть дістатися один до одного без контролю IOMMU, в одну IOMMU-групу. Якщо твій NVMe-контролер ділить групу з іншим пристроєм, передача лише NVMe ламає модель ізоляції. Інший пристрій у групі все ще можна використати як обхідний канал повз IOMMU.\nСерверне обладнання з повноцінною підтримкою ACS на кожному мості й комутаторі зазвичай дає кожному пристрою власну групу. Споживчі й робочі плати часто зсипають кілька пристроїв докупи, бо root complex PCIe не реалізує ACS на кожному порту.\nProxmox несе патч ядра pcie_acs_override, який каже ядру вважати кожен пристрій ізольованим незалежно від апаратної підтримки ACS. На практиці це працює, але це брехня ядру про топологію обладнання. У продуктивній системі чисті групи, підкріплені справжнім апаратним ACS, завжди кращі.\nДоставка переривань На bare metal, коли NVMe-контролер завершує операцію вводу-виводу, він надсилає MSI-X-переривання прямо в CPU. CPU обробляє його за кілька сотень наносекунд.\nПід віртуалізацією це переривання має дістатися гостя, а не хоста. Наївний підхід: перехоплювати кожне переривання в гіпервізорі, викликати VM exit, впорснути переривання в гостя і продовжити. Це працює, але кожен VM exit коштує 5–20 мкс. На високих IOPS, сотні тисяч переривань за секунду, накладні витрати суттєві.\nАпаратний розв’язок це posted interrupts. Intel APICv і AMD AVIC дозволяють IOMMU записати переривання прямо у віртуальну сторінку APIC гостя взагалі без VM exit. Гість бачить переривання так, ніби воно прийшло від обладнання bare metal. Накладні витрати падають до кількох сотень наносекунд.\nНе всі платформи підтримують posted interrupts. Старіші CPU, деякі чипсети робочих станцій і деякі версії BIOS не відкривають цю можливість. Коли її немає, кожне переривання йде повільним шляхом, і програмного обходу не існує.\nСкидання пристрою Коли ВМ вимикається або падає, переданий пристрій має повернутися в чистий, відомий стан. Інакше його не можна передати іншій ВМ чи забрати назад хосту.\nНа bare metal ОС акуратно вимикає драйвер пристрою. При passthrough гість може впасти, користувач може примусово зупинити ВМ, або гіпервізор може вбити процес. Пристрій може бути посеред передачі, з DMA-операціями в польоті.\nPCIe визначає для цього Function Level Reset (FLR): спосіб скинути одну функцію пристрою, не зачіпаючи решту шини. NVMe-контролери зазвичай підтримують FLR і справляються з ним добре. GPU відомі тим, що роблять це погано, але це інша стаття.\nЯкщо FLR не підтримується, запасний варіант це скидання вторинної шини, яке скидає все за цим PCIe-мостом. Якщо на мосту є інші пристрої, їх теж скине. У гіршому разі єдиний спосіб повернути пристрій це повне перезавантаження хоста.\nНакладні витрати трансляції адрес IOMMU розв’язує проблему безпеки. Як такий, він не опційний. Але він приносить проблему продуктивності.\nКожна DMA-операція тепер проходить через додатковий рівень трансляції адрес. IOMMU має власний TLB, IOTLB, і коли в ньому є влучання, накладні витрати малі. Коли промах, IOMMU мусить пройти свої таблиці сторінок, і це додає справжню затримку кожній зачепленій операції вводу-виводу.\nЦе і є податок IOMMU. Решта статті про те, звідки він береться і як його зменшити.\nКожен DMA іде через IOMMU: влучання дешеве, промах обходить таблиці сторінок Гостьова ВМ Драйвер NVMe видає гостьові фізичні адреси Контролер NVMe пише в пам’ять напряму, без CPU DMA IOMMU IOTLB власні таблиці сторінок транслює, потім дозволяє чи блокує Пам’ять хоста сторінки цієї ВМ трансляція веде сюди хост та інші ВМ недосяжні за задумом Без IOMMU контролер писав би за гостьовими адресами прямо в RAM хоста і псував би все, що там лежить. IOTLB hit влучання: трансляція вже в кеші й майже нічого не коштує. IOTLB miss промах: IOMMU обходить таблиці сторінок, і ця затримка лягає на цю операцію. Це і є податок. Ніщо не дістається пам\u0026rsquo;яті, не пройшовши тут. У цьому гарантія безпеки, а трансляція, яку тут виконують, це ціна. Відображення BAR і адресний простір Кожен PCIe-пристрій відкриває один або кілька Base Address Registers (BAR), які відображають внутрішні регістри й пам’ять пристрою в MMIO-адресний простір хоста. CPU хоста звертається до пристрою через ці відображення. Щоб passthrough працював, гіпервізор мусить правильно показати ці відображення гостю.\nТрадиційно розміри BAR фіксував BIOS під час завантаження, і вони вміщалися в застаріле 32-бітне вікно MMIO нижче 4 ГБ. Це працювало, поки BAR були малими. Сучасні GPU змінили картину. Фреймбуфер на 24 ГБ потребує BAR на 24 ГБ, а він не влазить у 32-бітний адресний простір.\nResizable BAR (ReBAR), який ще продають як AMD Smart Access Memory (SAM), це можливість PCIe, що дозволяє заново узгодити розмір BAR після завантаження. Для GPU це суттєва функція. Замість доступу до фреймбуфера через вікно 256 МБ і гортання його шматками хост відображає всю VRAM за раз.\nДля NVMe прямий вплив менший. BAR NVMe-контролерів зазвичай мають від 16 КБ до 64 КБ для набору регістрів контролера (BAR0). Специфікація NVMe визначає Controller Memory Buffer (CMB), який може відкрити більший BAR для черг подання, розміщених у пристрої, але більшість дисків його не реалізують. ReBAR не змінює пропускну здатність NVMe так, як змінює для GPU.\nВажить він у контексті NVMe passthrough через спільне середовище PCIe. Якщо ти передаєш NVMe-диск поруч із GPU на тому самому хості, розширеному BAR GPU потрібен адресний простір вище межі 4 ГБ. BIOS, IOMMU і віртуальна топологія PCIe мають усе це вмістити. Помилка в розподілі адресного простору означає, що пристрої не ініціалізуються, і NVMe passthrough падає разом з усім іншим.\nРизик утрати живлення На віртуальному диску порядок записів і цілісність після збою забезпечують гіпервізор і шар зберігання. При passthrough гість говорить прямо з флеш-пам’яттю. Якщо хост утратить живлення посеред запису, те, що прошивка NVMe-контролера робить, або не робить, зі своїм кешем запису, вирішує, чи ти втратиш дані.\nКорпоративні NVMe-диски мають конденсатори захисту від утрати живлення (PLP), які безпечно скидають кеш запису під час збою живлення. Споживчі диски без PLP можуть цього не зробити. При passthrough між гостем і обладнанням немає страхувальної сітки гіпервізора.\nДля продуктивного навантаження корпоративний диск із PLP не опція, а обов’язок.\nОпераційні компроміси Passthrough також забирає можливості, які дають віртуальні диски.\nПереданий пристрій фізично прикручений до конкретного хоста. ВМ не можна мігрувати наживо, поки пристрій під’єднано. У кластері Proxmox з HA падіння вузла означає, що ВМ лягає і холодно стартує на іншому вузлі. Безшовного перемикання немає.\nДиск також невидимий для vzdump і Proxmox Backup Server. Він не потрапить у знімки ВМ чи заплановані резервні копії. Окрема стратегія резервного копіювання, на рівні гостя, файлової системи чи застосунку, має бути на місці до того, як навантаження піде в роботу.\nЯк насправді працює VFIO passthrough Коли ти передаєш PCIe-пристрій у ВМ, гіпервізор віддає гостю пряме керування MMIO-регістрами пристрою. Гостьовий драйвер говорить із NVMe-контролером так, ніби працює на bare metal. Ця частина майже нативна. Доступ до MMIO-регістрів іде через Extended Page Tables (EPT в Intel, NPT в AMD) і зазвичай завершується без VM exit.\nЦіна з’являється на шляху DMA. Кожна DMA-операція проходить через IOMMU для трансляції адрес, і, як описано вище, ця трансляція має ціну. Особливо на промахах IOTLB.\nЧому бенчмарки виглядають гірше, ніж реальність Ось де більшість людей помиляються з тестуванням.\nУ гілці форуму Proxmox, з якої почалася ця стаття, користувачі запускали fio з iodepth=1. На такій глибині черги fio подає одну операцію, чекає її завершення, потім подає наступну. Тест просто міряє затримку на операцію. Кожна мікросекунда накладних витрат IOMMU проявляється повністю.\nЦифри з тієї гілки розповідають усе ясно. Затримка завершення на bare metal у середньому була близько 10 мкс. Усередині ВМ у середньому близько 28 мкс. Ці зайві ~18 мкс на операцію це накладні витрати трансляції IOMMU. На iodepth=1 вони прямо вдвічі зрізають пропускну здатність, бо пропускна здатність дорівнює 1 / latency, коли в польоті лише одна операція.\nПідніми глибину черги до 32 чи 64, а саме так NVMe-диски задумано працювати, і картина змінюється. Коли в польоті багато операцій, накладні витрати IOMMU розподіляються між усіма. Контролер обробляє завершення, поки відбуваються нові трансляції. Пропускна здатність відновлюється до кількох відсотків від bare metal.\nПрактичний висновок такий. Якщо твоє навантаження працює на глибині черги понад 4, втрата пропускної здатності через IOMMU, найпевніше, нехтовно мала. Це покриває більшість навантажень баз даних, віртуалізації та зберігання. Якщо твоє навантаження чутливе до затримок на малій глибині черги, певні застосунки реального часу, синхронні операції з метаданими, ти це відчуєш.\nШтраф IOMMU більше артефакт глибини черги, ніж стеля пропускної здатності Пропускна здатність ВМ як частка bare metal реальні навантаження живуть тут 0 % 25 % 50 % 75 % 100 % бенчмарк, який запускають усі iodepth=1 міряє чисту затримку на операцію, тож 10 мкс проти 28 мкс видно повністю різниця в кілька відсотків 1 2 4 8 16 32 64 глибина черги (fio iodepth) Ілюстрація, на основі цифр самої статті: 10 мкс / 28 мкс. Те саме обладнання, той самий тест, ті самі накладні витрати: змінюється лише глибина черги. Накладні витрати однакові в кожній точці цієї кривої. Змінюється лише те, на скільки операцій у польоті їх можна розподілити. Запускай бенчмарки на реалістичній глибині черги, перш ніж вирішити, що passthrough надто повільний:\n# Bare metal baseline — run on the host before binding to vfio-pci fio --name=randread --ioengine=libaio --direct=1 --bs=4k \\ --iodepth=32 --numjobs=4 --rw=randread --size=1G \\ --filename=/dev/nvme0n1 --runtime=30 --time_based \\ --group_reporting # Same test inside the VM after passthrough fio --name=randread --ioengine=libaio --direct=1 --bs=4k \\ --iodepth=32 --numjobs=4 --rw=randread --size=1G \\ --filename=/dev/nvme0n1 --runtime=30 --time_based \\ --group_reporting Порівняй процентилі clat (затримки завершення) і цифри IOPS. На iodepth=32 з чотирма завданнями розрив має бути в одиницях відсоткових пунктів, а не 50 %.\nВирівнювання NUMA Для цього є окрема стаття. Див. Вирівнювання NUMA в Proxmox VE: чому це важливо і як зробити правильно.\nКоротко: у багатосокетних системах кожен PCIe-пристрій підключено до конкретного сокета. Якщо NVMe-диск на вузлі NUMA 1, а vCPU ВМ прив’язані до вузла 0, кожне завершення DMA перетинає міжсокетний канал. Це додає 50–100 нс на операцію. На високих IOPS різниця в пропускній здатності між вирівняною і невирівняною NUMA становить 20–30 %.\nПеревір через cat /sys/bus/pci/devices/0000:XX:00.0/numa_node, потім прив’яжи vCPU ВМ до ядер того самого вузла параметром affinity у конфігурації ВМ. В односокетних системах це не проблема.\nPCIe Active State Power Management (ASPM) Для цього є окрема стаття. Див. PCIe ASPM і чому його варто вимкнути для passthrough.\nКоротко: ASPM дозволяє PCIe-лінкам переходити в стани низького енергоспоживання, коли вони простоюють. При passthrough хост досі керує фізичним лінком, але пристроєм володіє гість. Коли гість подає операцію, а лінк спить, час пробудження додає затримку. Симптом це широкий розкид процентилів clat. p99 може бути в 5–10 разів вищим за середнє, тоді як середнє виглядає нормально.\nВимкни його на хості через pcie_aspm=off у командному рядку ядра. Також додай disable_idle_d3=1 до параметрів модуля vfio-pci, якщо твій NVMe-контролер має проблеми з відновленням зі станів живлення. Samsung 990 EVO Plus відомий порушник.\nMaxPayloadSize (MPS) Для цього є окрема стаття. Див. PCIe MaxPayloadSize: безкоштовний виграш продуктивності для passthrough.\nКоротко: PCIe-пристрої передають дані в Transaction Layer Packets. Віртуальний root complex QEMU за замовчуванням має максимальне корисне навантаження 128 байт. Більшість пристроїв підтримують 256 або 512 байт. Додавання pci=pcie_bus_perf до командного рядка ядра хоста встановлює MPS на максимум, який дозволяє батьківська шина кожного пристрою. Це невеликий приріст пропускної здатності, низькі одиниці відсотків, але він безкоштовний і без мінусів.\nResizable BAR і апертура MMIO Проблема відображення BAR, описана раніше, має практичні кроки і з боку BIOS, і з боку ВМ.\nСпершу ввімкни Above 4G Decoding у BIOS. Це дозволяє відображати BAR в адресний простір вище межі 4 ГБ, що потрібно для будь-якого пристрою з великими BAR. Вмикай навіть для passthrough лише NVMe. Мінусів немає, а це вбереже від проблем, якщо пізніше додаси GPU чи інший пристрій із великим BAR.\nЯкщо в BIOS є ReBAR, увімкни і його. На продуктивність NVMe це прямо не вплине, але дозволить GPU на тому самому хості використовувати повне відображення фреймбуфера.\nЗ боку ВМ віртуальному root complex Q35 у QEMU потрібне достатньо велике 64-бітне вікно MMIO, щоб гість бачив розширені BAR. За замовчуванням OVMF виділяє відносно мале вікно. Для passthrough лише NVMe цього досить. BAR NVMe вміщаються вільно. Але якщо у ВМ передано і NVMe, і GPU, збільш апертуру MMIO:\nargs: -fw_cfg name=opt/ovmf/X-PciMmio64Mb,string=65536 Це каже OVMF виділити 64 ГБ 64-бітного простору MMIO, досить для більшості фреймбуферів GPU поруч із малим BAR NVMe-контролера.\nПідтримка ReBAR у QEMU покращується, але досі не безшовна. Деякі GPU AMD (Vega і новіші) викликають помилки драйвера (Code 43 у Windows) з увімкненим ReBAR під QEMU. Якщо натрапиш на це, першим кроком вимкни ReBAR у BIOS. На NVMe passthrough це ніяк не вплине.\nЩо Resizable BAR робить з боку GPU і чому Intel вважає його обов’язковим для Arc, тоді як NVIDIA вмикає його для кожної гри окремо, дивись у PCIe Resizable BAR і сучасні GPU.\nОбробка переривань Проблема доставки переривань, описана раніше, має практичний крок налаштування. Posted interrupts (APICv в Intel, AVIC в AMD) можуть бути не ввімкнені за замовчуванням.\nПеревір, чи вони активні:\n# Intel — look for \u0026#34;Posted-Interrupts\u0026#34; in dmesg dmesg | grep -i \u0026#34;posted\u0026#34; # AMD — check AVIC support dmesg | grep -i \u0026#34;avic\u0026#34; Доставка переривань із перехопленням проти posted interrupts Без posted interrupts: завершення йде довгим шляхом NVMeнадсилає MSI-X гіпервізорперехоплює впорскуєу гостя гість продовжуєобробляє VM exit VM entry 5–20 мкс на переривання На кількох сотнях тисяч IOPS це не похибка округлення, а головна стаття витрат. Posted interrupts (Intel APICv / AMD AVIC): одразу всередину NVMeнадсилає MSI-X IOMMUпише напряму віртуальна сторінка APIC гостя гість просто бачить переривання без exit без exit ~сотні нс Програмного обходу немає: posted interrupts це апаратна можливість. Але вони не завжди ввімкнені за замовчуванням, тож перевір їх, перш ніж вирішити, що повільного шляху не уникнути. Чотири кроки і два VM exit, або один запис у сторінку APIC гостя. На високих IOPS різниця перестає бути академічною. На системах AMD EPYC увімкни AVIC у модулі KVM, якщо він не ввімкнений за замовчуванням:\n# /etc/modprobe.d/kvm.conf options kvm_amd avic=1 На системах Intel APICv з posted interrupts зазвичай вмикається автоматично, коли активний VT-d.\nЯкщо твоя платформа не підтримує posted interrupts, програмного обходу немає. Це апаратна можливість. Але варто перевірити, що вона справді ввімкнена, перш ніж вирішити, що повільного шляху не уникнути.\nПрив’язка переривань і вирівнювання черг NVMe-контролери використовують кілька пар черг подання й завершення. Зазвичай одну на ядро CPU. Коли vCPU ВМ не збігаються з фізичними ядрами, що обробляють переривання NVMe, завершенням доводиться перетинати ядра через міжпроцесорні переривання. Це додає затримку.\nУсередині гостя перевір, скільки черг вводу-виводу створив драйвер NVMe і як вони розподілені:\n# List NVMe IO queues cat /proc/interrupts | grep nvme # Check affinity for irq in $(grep nvme /proc/interrupts | awk \u0026#39;{print $1}\u0026#39; | tr -d \u0026#39;:\u0026#39;); do echo \u0026#34;IRQ $irq: $(cat /proc/irq/$irq/smp_affinity_list)\u0026#34; done В ідеалі переривання кожної черги вводу-виводу NVMe має бути прив’язане до vCPU, який подає в цю чергу. Більшість сучасних драйверів NVMe роблять це автоматично. Але варто перевірити, особливо якщо ти вручну прив’язав vCPU або зменшив кількість vCPU нижче кількості черг контролера.\nЗавжди Q35, а не i440fx Це заслуговує окремої статті. Див. Завжди Q35, а не i440fx.\nКоротко: i440fx показує пласку застарілу шину PCI. Q35 показує повноцінний root complex PCIe. Передані пристрої на i440fx виглядають як застарілі PCI, а це ламає багаточергову доставку переривань MSI-X. NVMe-контролерам потрібен MSI-X для їхньої архітектури «черга на ядро». Без нього всі завершення вводу-виводу йдуть через одне переривання, і на високих IOPS ти отримуєш вузьке місце, яке не виправить жодне налаштування ядра.\nУ Proxmox 8.x і новіших Q35 типовий для нових ВМ. Якщо ти робиш passthrough на старій ВМ, яка досі на i440fx, переведи її. RHEL 10 формально оголосив i440fx застарілим, і ширша екосистема KVM іде слідом.\nУсе разом Ось підсумок кроків налаштування в порядку впливу.\nКроки налаштування в порядку впливу, і що кожен насправді змінює у порядку впливу що змінює 1 Вирівнювання NUMA 20–30 % пропускної здатності на багатосокетній машині. Ніщо інше тут і близько. ПРОПУСКНА ЗДАТНІСТЬ 2 ASPM вимкнено Прибирає затримку пробудження з хвоста. Середнє ледь рухається; p99 рухається. ТРЕМТІННЯ ЗАТРИМКИ 3 Реалістична глибина черги Нічого не змінює на машині. Не дає зробити хибний висновок з iodepth=1. ВИМІРЮВАННЯ 4 Posted interrupts (APICv / AVIC) З мікросекунд до наносекунд на переривання, але лише якщо платформа це має. Перевір. ЦІНА ПЕРЕРИВАННЯ 5 MaxPayloadSize: pci=pcie_bus_perf Низькі одиниці відсотків. Безкоштовно й без мінусів, тож став, але не чекай побачити. НАКЛАДНІ НА ЛІНІЇ 6 vfio-pci disable_idle_d3 Не дає примхливому контролеру вмерти в D3. Купує надійність, а не швидкість. НАДІЙНІСТЬ Ранжовано, навмисно не стовпчиками: у цих пунктів немає спільної одиниці, тож стовпчикова діаграма підштовхувала б до порівняння, якого немає. Іди по цьому списку згори вниз, а не впоперек. На багатосокетній машині перший пункт вартий більше, ніж усі інші разом. Вирівнювання NUMA: переконайся, що NVMe-диск і vCPU ВМ на одному вузлі NUMA. Лише це може дати різницю в пропускній здатності 20–30 % на багатосокетних системах.\nASPM вимкнено: додай pcie_aspm=off до командного рядка ядра хоста. Прибирає тремтіння затримки від переходів між станами живлення PCIe-лінка.\nРеалістична глибина черги: тестуй на iodepth=32 або вище, а не на iodepth=1. Накладні витрати IOMMU, що домінують на малій глибині черги, розподіляються на реалістичній глибині.\nPosted interrupts: перевір, що APICv (Intel) або AVIC (AMD) активні. Зменшує накладні витрати на переривання з мікросекунд до наносекунд.\nОптимізація MPS: додай pci=pcie_bus_perf до командного рядка ядра хоста. Встановлює MaxPayloadSize на максимум, який підтримує топологія.\nКерування живленням vfio-pci: додай disable_idle_d3=1, якщо твій NVMe-контролер має проблеми зі станами живлення при passthrough.\nСпільний командний рядок ядра хоста для вузла Proxmox з NVMe passthrough на системі AMD EPYC виглядав би приблизно так:\nGRUB_CMDLINE_LINUX_DEFAULT=\u0026#34;quiet amd_iommu=on iommu=pt pcie_aspm=off pci=pcie_bus_perf\u0026#34; Для Intel:\nGRUB_CMDLINE_LINUX_DEFAULT=\u0026#34;quiet intel_iommu=on iommu=pt pcie_aspm=off pci=pcie_bus_perf\u0026#34; Коли passthrough того не вартий Перш ніж іти цим шляхом, варто спитати, чи тобі взагалі потрібен NVMe passthrough.\nVirtIO-SCSI і VirtIO-BLK з віртуальним диском на NVMe вже дуже ефективні. Накладні витрати порівняно з passthrough зазвичай 5–10 % по затримці. Різниця в пропускній здатності для більшості навантажень нехтовна.\nPassthrough має сенс, коли гостьовій ОС треба керувати пристроєм напряму. Сюди входять моніторинг SMART, оновлення прошивки, керування TRIM/discard і специфічні функції NVMe на кшталт reservations. Він також має сенс для навантажень, чутливих до затримок, де важать навіть кілька мікросекунд. Певні рушії баз даних і прийом даних у реальному часі потрапляють у цю категорію.\nДля всього іншого операційні компроміси, розглянуті раніше, втрата живої міграції, втрата знімків та інтеграції з резервним копіюванням, зазвичай переважують невеликий виграш у продуктивності.\nНема нічого розумного в тому, щоб обирати важчий шлях, коли легший робить свою справу.\nПеревірка змін Після застосування кроків налаштування перевір, що все працює як слід:\n# Host side — confirm IOMMU is in passthrough mode dmesg | grep -i iommu # Confirm ASPM is disabled lspci -vv | grep -i \u0026#34;ASPM Disabled\u0026#34; # Check MPS on the NVMe controller lspci -vv -s XX:00.0 | grep MaxPayload # Inside the VM — run the fio comparison fio --name=randread --ioengine=libaio --direct=1 --bs=4k \\ --iodepth=32 --numjobs=4 --rw=randread --size=1G \\ --filename=/dev/nvme0n1 --runtime=30 --time_based \\ --group_reporting Порівняй результати ВМ зі своїм раніше знятим базовим рівнем bare metal. На iodepth=32 ти маєш побачити пропускну здатність у межах 5 % від bare metal. Середня затримка завершення має бути в межах 10–15 мкс від цифр хоста. Якщо розрив досі великий, спершу перевір вирівнювання NUMA. Це фактор, який пропускають найчастіше. А ще він нічого не коштує, крім зміни конфігурації, і це найкращий різновид проблеми, яка може тобі залишитися.\nДжерела Linux kernel PCI documentation — MPS and MRRS tuning options — авторитетне джерело для pcie_bus_perf, pcie_bus_safe і пов’язаних параметрів Proxmox VE Administration Guide — PCI(e) Passthrough — офіційна документація Proxmox про налаштування передачі пристроїв через VFIO Proxmox Forum — NVMe Passthrough Performance — обговорення в спільноті, з якого почалася ця стаття ","permalink":"https://blogs.damiendye.uk/uk/proxmox/pcie-passthrough-performance-the-iommu-tax/","summary":"Чому PCIe-пристрої втрачають пропускну здатність, коли їх передають у ВМ через VFIO, і практичні кроки налаштування, які повертають більшу частину втраченого.","title":"Продуктивність PCIe passthrough у Proxmox VE: податок IOMMU і як його зменшити"},{"content":"Що таке NUMA NUMA означає Non-Uniform Memory Access, тобто неоднорідний доступ до пам’яті. На односокетній системі кожне ядро процесора звертається до всієї оперативної пам’яті через той самий контролер пам’яті. Час доступу однаковий, хоч би яке ядро робило запит і хоч би де дані лежали у фізичній пам’яті.\nНа багатосокетній системі кожен сокет має власний контролер пам’яті й власний банк RAM. Ядро на сокеті 0 швидко звертається до RAM, підключеної до сокета 0: це локальна пам’ять. Воно може звернутися й до RAM сокета 1, але такий запит мусить перетнути міжсокетне з’єднання (Intel UPI, AMD Infinity Fabric). Це віддалена пам’ять, і вона повільніша.\nЯдро Linux називає кожен сокет разом із його локальною пам’яттю вузлом NUMA. Двосокетна система AMD EPYC має щонайменше два вузли NUMA. Деякі процесори EPYC показують чотири вузли NUMA на сокет (по одному на CCD), що дає вісім вузлів на двосокетній платі.\nРізниця між локальним і віддаленим доступом до пам’яті зовсім не тонка. Локальний доступ триває близько 80–100 нс. Віддалений близько 130–200 нс. Це штраф 50–100 % на кожну операцію з пам’яттю. Сам по собі це дуже мале число. Коли його платиш за кожен доступ до пам’яті впродовж усього життя VM, воно перестає бути малим.\nЧому це важливо для віртуалізації Коли Proxmox створює VM, він виділяє vCPU і RAM. За замовчуванням ці vCPU можуть виконуватися на будь-якому фізичному ядрі будь-якого сокета. RAM віртуальної машини може виділятися з пулу пам’яті будь-якого вузла NUMA.\nЯкщо планувальник ставить vCPU на сокет 0, а RAM віртуальної машини лежить на сокеті 1, кожен доступ цього vCPU до пам’яті перетинає міжсокетне з’єднання. Якщо vCPU стрибають між сокетами, а вони стрибатимуть, якщо їх не закріпити, картина доступу до пам’яті перетворюється на безлад. Частина доступів локальна, частина віддалена, і продуктивність VM смикається відповідно.\nДля загальних навантажень, як-от вебсервер, файловий сервер чи десктопна VM, з цим часто можна жити. Накладні витрати є, але вони розмазані по багатьох операціях і не домінують.\nДля навантажень з інтенсивним вводом-виводом, як-от бази даних, сервери зберігання, будь-що з важким дисковим чи мережевим IO, штраф накопичується. Кожне завершення DMA, кожна доставка переривання, кожне копіювання буфера означає доступ до пам’яті. Якщо ці доступи перетинають сокети, накладні витрати швидко ростуть.\nЧому це важливо для passthrough Пристрої PCIe фізично підключені до конкретного сокета. Кожен сокет має власний кореневий комплекс PCIe. Накопичувач NVMe у слоті 3 може сидіти на лініях PCIe сокета 0. GPU у слоті 5 може сидіти на лініях сокета 1.\nКоли пристрій виконує DMA, дані потрапляють у пам’ять того вузла NUMA, на який їх відображає IOMMU. Якщо RAM віртуальної машини виділена з локального для пристрою вузла, запис DMA йде прямо в локальну пам’ять. Якщо RAM на іншому вузлі, кожна операція DMA перетинає міжсокетне з’єднання.\nДля накопичувача NVMe, що робить сотні тисяч IOPS, цей штраф 50–100 нс на операцію накопичується. При iodepth=32 з випадковим читанням блоками 4 КБ різниця в пропускній здатності між вирівняною і невирівняною NUMA може сягати 20–30 %. І це ще до того, як ти глянув на накладні витрати IOMMU, ASPM, MPS чи будь-що інше.\nНевирівняна NUMA жене кожен DMA через міжсокетне з’єднання; вирівняна тримає його локально Невирівняно: VM на вузлі 0, накопичувач на вузлі 1 Вузол NUMA 0 ядра 0–15 RAM 128 ГБ VM: vCPU закріплені 0–15, RAM тут Вузол NUMA 1 ядра 16–31 RAM 128 ГБ NVMe: кореневий комплекс 1 UPI / IF кожен DMA перетинає з’єднання: 130–200 нс Вирівняно: vCPU, RAM і накопичувач на вузлі 1 Вузол NUMA 0 ядра 0–15 RAM 128 ГБ вільно для інших VM Вузол NUMA 1 ядра 16–31 RAM 128 ГБ NVMe: кореневий комплекс 1 VM: affinity 16-31, numa0 hostnodes=1, policy=bind простій 80–100 нс При iodepth=32 і випадковому читанні по 4 КБ різниця між ними 20–30 % пропускної здатності, ще до накладних витрат IOMMU, ASPM чи MPS. На односокетній системі немає другого вузла й міжсокетного з’єднання, тож нічого з цього не стосується. Те саме обладнання в обох випадках. Різниця лише в тому, до якого вузла закріпили VM, і чи мусить DMA накопичувача перетинати з\u0026rsquo;єднання, щоб дістатися пам\u0026rsquo;яті VM. Те саме стосується мережевих карт, GPU і будь-якого іншого прокинутого пристрою. Трафік DMA пристрою має потрапляти в локальну пам’ять, а vCPU, що обробляють цей трафік, мають бути на тому самому вузлі.\nЯк перевірити свою топологію На якому вузлі NUMA сидить пристрій # Replace 0000:XX:00.0 with your device\u0026#39;s PCI address from lspci cat /sys/bus/pci/devices/0000:XX:00.0/numa_node Команда повертає номер вузла NUMA. Якщо вона повертає -1, ядро не змогло визначити вузол. Таке іноді трапляється з пристроями за певними комутаторами PCIe. У такому разі простеж топологію PCIe вручну через lspci -tv і зістав кореневий порт із сокетом.\nПовна схема NUMA numactl --hardware Це показує кожен вузол NUMA, скільки на ньому ядер, скільки пам’яті підключено і відстань (відносну вартість) між вузлами.\nПриклад виводу з двосокетної системи EPYC:\navailable: 2 nodes (0-1) node 0 cpus: 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 node 0 size: 131072 MB node 1 cpus: 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 node 1 size: 131072 MB node distances: node 0 1 0: 10 32 1: 32 10 Як читати таблицю відстаней між вузлами з numactl --hardware Таблиця відстаней з\u0026#160;numactl --hardware Два сокети, 2 вузли NUMA на сокет. Відносна вартість, а не наносекунди. вузол 0 вузол 1 вузол 2 вузол 3 вузол 0 вузол 1 вузол 2 вузол 3 10 16 32 32 16 10 32 32 32 32 10 16 32 32 16 10 сокет 0 сокет 1 10: сам вузол, локальна пам’ять 16: той самий сокет, інший вузол 32: через міжсокетне з’єднання Закріпи VM і її пристрій у межах однієї 10 і не дай її пам’яті опинитися на 32. Плата з 2 вузлами показує лише 10 і 32; 16 з’являються, коли сокет показує кілька вузлів. Числа є відносною вартістю, а не наносекундами. Тримай VM і її пристрій у межах однієї 10 і ніколи не дозволяй її пам\u0026rsquo;яті опинитися на 32. Таблиця відстаней показує відносну вартість. 10 означає локально. 32 означає віддалено. Більші числа означають більше переходів. На EPYC із чотирма вузлами на сокет деякі пари вузлів мають відстань 32, а інші 16, залежно від того, на якому CCD вони сидять.\nЗістав пристрої з вузлами # List all PCI devices and their NUMA nodes for dev in /sys/bus/pci/devices/*; do node=$(cat \u0026#34;$dev/numa_node\u0026#34; 2\u0026gt;/dev/null) echo \u0026#34;$(basename $dev) node=$node $(lspci -s $(basename $dev) 2\u0026gt;/dev/null | cut -d\u0026#39; \u0026#39; -f2-)\u0026#34; done Так ти отримуєш повну картину того, які пристрої на яких вузлах. Шукай свої контролери NVMe, мережеві карти й усі GPU, які прокидаєш.\nЯк вирівняти VM у Proxmox Закріпи vCPU на правильному вузлі У файлі конфігурації VM (/etc/pve/qemu-server/\u0026lt;vmid\u0026gt;.conf):\nnuma: 1 affinity: 0-15 # Adjust to match cores on the correct NUMA node Параметр affinity закріплює vCPU віртуальної машини за конкретними фізичними ядрами. Задай йому діапазон ядер на тому самому вузлі NUMA, що й прокинутий пристрій.\nЯкщо твій NVMe на вузлі 1, а вузол 1 має ядра 16–31, задай affinity: 16-31. Якщо VM потрібно лише 8 vCPU, закріпи її на підмножині: affinity: 16-23.\nВиділи пам’ять із правильного вузла Увімкнений numa: 1 у конфігурації VM каже Proxmox показати VM топологію NUMA. QEMU спробує виділити пам’ять VM з того вузла NUMA, на якому закріплені vCPU.\nДля явного керування можна задати топологію NUMA в конфігурації VM:\nnuma0: cpus=0-7,hostnodes=0,memory=16384,policy=bind Це каже QEMU прив’язати перший вузол NUMA віртуальної машини (вузол 0 з погляду гостя) до вузла NUMA 0 хоста, використовуючи ядра 0–7 і 16 ГБ пам’яті. policy=bind гарантує, що пам’ять виділяється суворо з цього вузла, а не з інших, коли локальний пул під тиском.\nПеревір закріплення Після запуску VM перевір, що vCPU справді працюють там, де ти очікуєш:\n# Find the QEMU process pgrep -a qemu | grep \u0026lt;vmid\u0026gt; # Check CPU affinity of the process taskset -cp \u0026lt;pid\u0026gt; # Or check per-vCPU thread affinity for tid in $(ls /proc/\u0026lt;pid\u0026gt;/task/); do echo \u0026#34;Thread $tid: $(taskset -cp $tid 2\u0026gt;/dev/null)\u0026#34; done Типові помилки Жодного закріплення Якщо не задати affinity, vCPU віртуальної машини можуть виконуватися на будь-якому ядрі. Планувальник ядра переноситиме їх між вузлами, балансуючи навантаження. Щоразу, коли vCPU мігрує з одного вузла на інший, усі дані, з якими він працював у кеші старого вузла, стають віддаленими.\nДля звичайних VM це прийнятно. Для VM із passthrough і важким IO ні.\nЗакріплення на не тому вузлі Перевір вузол NUMA пристрою, перш ніж закріплювати. Не припускай. На деяких материнських платах нумерація фізичних слотів не збігається з прив’язкою до вузлів NUMA очевидним чином. Завжди перевіряй через cat /sys/bus/pci/devices/.../numa_node.\nПеревантаження вузла Якщо закріпити забагато VM на одному вузлі NUMA, його ядра стають перевантаженими, а локальний пул пам’яті закінчується. Коли пам’ять переливається на віддалений вузол, ти отримуєш найгірше з обох світів: закріплені vCPU з віддаленою пам’яттю.\nРозподіляй VM між вузлами рівномірно. Якщо маєш два вузли NUMA і чотири VM, розклади їх порівну.\nЗабута виділена пам’ять Закріплення vCPU без керування виділенням пам’яті дає половину вигоди. vCPU на правильному вузлі, а пам’ять може й не бути. Використовуй policy=bind або щонайменше ввімкни numa: 1, щоб виділення пам’яті в QEMU йшло за закріпленням CPU.\nОдносокетні системи На односокетній системі все на вузлі NUMA 0. Є лише один контролер пам’яті й один набір ліній PCIe. Вирівнювання NUMA тут не турбота.\nМожна все одно задати numa: 1 у конфігурації VM, це нічого не зламає, але й не допоможе. Один сокет, один контролер пам’яті, нема чого вирівнювати. Прибережи зусилля для машини, у якої їх два. Тож вигода в продуктивності, описана тут, стосується лише багатосокетних систем, де існує міжсокетне з’єднання.\nДжерела Proxmox VE Administration Guide — CPU and NUMA Configuration — офіційна документація про закріплення vCPU та параметри NUMA Linux kernel NUMA documentation — довідка про політики пам’яті ядра AMD EPYC 7003 Series — BIOS \u0026amp; Workload Tuning Guide (doc 58002) — документація AMD про NUMA на сокет і топологію CCD/CCX ","permalink":"https://blogs.damiendye.uk/uk/proxmox/numa-alignment-proxmox/","summary":"На багатосокетних системах VM, у якої vCPU на одному вузлі NUMA, а прокинутий пристрій на іншому, втрачає 20–30 % пропускної здатності ще до того, як ти глянув на будь-що інше.","title":"Вирівнювання NUMA на Proxmox VE: чому це важливо і як зробити правильно"},{"content":"Що робить ASPM PCIe Active State Power Management (ASPM) дозволяє лінкам PCIe переходити в стани низького енергоспоживання, коли вони простоюють. Специфікація PCIe визначає кілька станів лінку:\nL0 це повністю активний стан. Лінк піднятий, обидва кінці живляться, дані можуть іти одразу.\nL0s це легкий стан простою. Лінк частково вимикається. Повернення в L0 триває приблизно 1–4 мкс, залежно від обладнання. Кожен кінець може перейти в L0s незалежно.\nL1 це глибший стан простою. Обидва кінці лінку вимикаються разом. Повернення в L0 триває довше: зазвичай 2–32 мкс, часом більше. Точний час відновлення залежить від пристрою, покоління PCIe і платформи.\nL1.1 і L1.2 це підстани L1, запроваджені в PCIe 3.0. Вони ще більше знижують споживання, вимикаючи опорний такт PLL. Відновлення з L1.2 може тривати 32–100 мкс. Для накопичувача це не похибка округлення. Це приблизно стільки ж, скільки саме читання, яке ти взагалі намагався зробити.\nЩо глибше спить лінк, то довше чекає наступний IO стан лінку час повернення в L0: затримка, яку платить IO, що надходить зараз L0 повністю активний, дані йдуть одразу немає L0s легкий простій, кожен кінець окремо 1–4 мкс L1 глибокий простій, обидва кінці разом 2–32 мкс L1.1 / L1.2 підстани PCIe 3.0, такт PLL вимкнено 32–100 мкс Смуги в масштабі до найгіршого випадку 100 мкс. Глибший сон економить більше і дорожчий при пробудженні. Смуги показують час відновлення в масштабі відносно найгіршого випадку в 100 мкс. Глибший сон заощаджує більше енергії і більше коштує, коли трафік відновлюється. Ідея проста. Якщо лінк PCIe простоює кілька мікросекунд, переведи його в стан нижчого споживання. Коли трафік відновиться, розбуди його. А тим часом заощадь трохи енергії.\nНа ноутбуці чи настільній машині, яка більшість часу нічого не робить, ASPM заощаджує справжню енергію. Кілька ватів на лінк, що складаються по всіх пристроях PCIe в системі. На сервері з інтенсивним навантаженням вводу-виводу лінки рідко простоюють достатньо довго, щоб ASPM помітно спрацював.\nЧому він створює проблеми під passthrough На голому залізі ОС і драйвер пристрою узгоджують керування живленням разом. Драйвер NVMe знає, коли лінк от-от простоюватиме і коли він збирається подати новий IO. Підсистема PCIe ядра узгоджує переходи стану лінку з драйвером. Усе синхронізовано.\nПід VFIO passthrough це узгодження розвалюється.\nЯдро хоста й далі керує фізичним лінком PCIe. Гостьова ВМ володіє пристроєм через VFIO, але сам лінк не контролює. Підсистема PCIe хоста бачить, що лінк простоює, бо з погляду хоста жоден драйвер на боці хоста ним не користується. І переводить лінк у стан низького споживання. Коли гість подає IO, пристрою потрібно, щоб лінк знову був у L0. Час відновлення з’являється як додаткова затримка на цій операції IO.\nРезультат: непослідовна затримка. Більшість IO завершуються з нормальною швидкістю. Деякі тривають значно довше, бо натрапляють на лінк у L1 чи L1.2, який мусить спершу прокинутися. Це видно як широкий розкид у перцентилях clat (затримки завершення). Середнє може виглядати нормально. p99 може бути в 5–10 разів вищим.\nЦе важко помітити, бо середні показники пропускної здатності можуть виглядати нормально. Проблему видно лише тоді, коли дивишся на хвостову затримку. Багато бенчмарків її не підсвічують, якщо не попросити виводу перцентилів.\nASPM не чіпає середнє і руйнує хвіст ASPM увімкнено pcie_aspm=off затримка завершення (мкс) 0 30 60 90 120 3× гірше на p99: and 7× its own average ASPM увімкнено pcie_aspm=off p50 p90 p99 p99.9 p99.99 Середнє і p50 однакові в обох запусках; розходиться лише хвіст. Цифри ілюструють шаблон, це не виміри конкретного накопичувача. Той самий накопичувач з ASPM і без нього. p50 однаковий, тож бенчмарк, що дає лише середнє, не повідомляє про жодну проблему; уся шкода за p90, де накопичуються IO, що натрапили на сплячий лінк. Особливість саме VFIO Тут є особливість, що виходить за межі базової проблеми «хост і гість б’ються за стан лінку».\nКоли пристрій прив’язаний до vfio-pci на хості, ядро хоста знає, що пристрій у режимі passthrough. Але політика PCIe ASPM застосовується на рівні лінку, а не пристрою. Політика ASPM хоста й далі діє на фізичний лінк, бо хост досі володіє топологією PCIe.\nVFIO не перехоплює і не перевизначає переходи ASPM. Він пропускає простір BAR пристрою і переривання, але керування живленням лінку лишається під контролем хоста. Гість не має жодного механізму сказати хосту «тримай цей лінк у L0».\nГість володіє пристроєм, хост досі володіє лінком, і каналу між ними немає Гостьова ВМ драйвер NVMe володіє пристроєм, подає IO Ядро хоста підсистема PCIe політика ASPM vfio-pci політика D-станів немає як сказати «тримай цей лінк у L0» фізичний лінк PCIe: у L1, спить це вирішує хост, а не гість хост не бачить драйвера, тож дає лінку спати гість подає IO, очікуючи L0 цей IO чекає, поки лінк прокинеться: 2–32 мкс, або до 100 мкс з L1.2 VFIO пропускає простір BAR і переривання. Керування живленням лінку до угоди не входить. Більшість IO взагалі не натрапляють на сплячий лінк, тому зсувається лише хвіст. Розподіл, що це спричиняє: гість володіє пристроєм і подає IO, хост володіє лінком і вирішує, коли той спить, і ніщо не з\u0026rsquo;єднує одне з одним. Деяке новіше обладнання і версії ядра дають цьому раду краще за інші. Тож найбезпечніший підхід: прибрати ASPM із картини повністю.\nЯк його вимкнути Додай pcie_aspm=off до командного рядка ядра хоста:\n# Edit /etc/default/grub GRUB_CMDLINE_LINUX_DEFAULT=\u0026#34;quiet pcie_aspm=off\u0026#34; # Update GRUB and reboot update-grub reboot Це не дає хосту переводити будь-який лінк PCIe у стан низького споживання. Діє глобально. На кожен пристрій PCIe на хості, а не лише на той, що переданий гостю.\nПеревір після перезавантаження:\n# Should show \u0026#34;ASPM Disabled\u0026#34; for all devices lspci -vv | grep -i \u0026#34;ASPM\u0026#34; Ціна в енергії Вимкнення ASPM таки збільшує споживання в простої. Кожен лінк PCIe, що інакше був би в L1, лишається в L0 і споживає на кілька сотень міліватів більше. У системі з десятьма чи п’ятнадцятьма пристроями PCIe це може скласти 2–5 ватів у простої.\nДля сервера в центрі обробки даних 2–5 ватів це похибка округлення в рахунку за електрику. Для домашньої лабораторії це частка того, що споживають CPU і пам’ять. Для ноутбука це має значення. Але ти й не робитимеш VFIO passthrough на батареї ноутбука.\nКомпроміс очевидний. Кілька ватів у простої проти непередбачуваних стрибків затримки на твоїх переданих пристроях. На будь-якій системі з passthrough ASPM має бути вимкнений.\nПроблеми зі станом живлення на рівні пристрою ASPM керує станом живлення лінку PCIe. Пристрої також мають власне керування живленням: D-стани PCIe (від D0 до D3).\nКоли пристрій у D3 (повністю вимкнений), спить не лише лінк. Сам пристрій зупинився. Під VFIO passthrough драйвер vfio-pci хоста може перевести пристрій у D3, коли ВМ не працює або коли політика керування живленням хоста вирішить, що пристрій простоює.\nДеякі контролери NVMe не справляються з переходом з D3 у D0 чисто. Вони не повертаються як слід, гість втрачає пристрій, і єдиний вихід це перезапуск ВМ, а часом і перезавантаження хоста.\nSamsung 990 EVO Plus відомий порушник. Виправлення: параметр модуля disable_idle_d3 для vfio-pci:\n# /etc/modprobe.d/vfio.conf options vfio-pci disable_idle_d3=1 Це не дає vfio-pci переводити будь-який прив’язаний пристрій у D3 під час простою. Як і pcie_aspm=off, це глобальне налаштування. Кожен пристрій, прив’язаний до vfio-pci, лишається в D0. Зазвичай саме цього ти й хочеш для passthrough, де станом живлення пристрою має керувати лише гість.\nПараметр disable_idle_d3 окремий від ASPM. ASPM керує лінком. D3 керує пристроєм. Кожен може створювати проблеми незалежно. Для чистої конфігурації passthrough вимкни обидва.\nКерування ASPM для окремого пристрою Якщо не хочеш вимикати ASPM глобально (можливо, на хості є інші пристрої PCIe, яким заощадження енергії на користь), можна керувати ASPM для кожного лінку через sysfs:\n# Find the link\u0026#39;s ASPM policy cat /sys/bus/pci/devices/0000:XX:00.0/link/l1_aspm # Disable ASPM for a specific link echo 0 \u0026gt; /sys/bus/pci/devices/0000:XX:00.0/link/l1_aspm Це точніше, але менш надійно після перезавантажень і оновлень ядра. Для більшості конфігурацій passthrough глобальний прапорець ядра pcie_aspm=off простіший і передбачуваніший.\nКоли проблема не в ASPM Не кожне коливання затримки спричинене ASPM.\nЯкщо твої перцентилі clat стабільно високі (а не лише хвіст), проблема радше в накладних витратах трансляції IOMMU, неузгодженості NUMA чи розбіжності MPS. ASPM дає саме бімодальний розподіл (більшість IO швидкі, кілька повільні), бо впливає лише на ті IO, що випадково надходять, коли лінк у стані низького споживання.\nПеревіряй ASPM першим, коли бачиш:\nзатримку p99 у 5 разів або більше вищу за середню непослідовні результати fio між запусками затримку, що покращується під тривалим навантаженням, але погіршується під час уривчастих навантажень Якщо затримка стабільно погана незалежно від характеру навантаження, шукай деінде. ASPM варто виключити рано, бо перевірити його дешево. Утім, це не відповідь на кожен повільний лінк, і ганятися за ним, коли цифри не відповідають шаблону, це півдня, які тобі ніхто не поверне.\nДжерела Linux kernel PCI documentation — ASPM parameters — вихідний код ядра, що охоплює pcie_aspm=off і пов’язані параметри Proxmox Forum — PCI Passthrough NVMe Unable to Change Power State — гілка спільноти про disable_idle_d3 для контролерів NVMe від Samsung Proxmox VE Wiki — PCI(e) Passthrough — офіційна документація з налаштування passthrough ","permalink":"https://blogs.damiendye.uk/uk/proxmox/pcie-aspm-passthrough/","summary":"Active State Power Management заощаджує кілька ватів на простійних лінках PCIe. Під VFIO passthrough він додає коливання затримки, які важко діагностувати і легко виправити.","title":"PCIe ASPM і чому його варто вимкнути для passthrough"},{"content":"Що таке MPS Пристрої PCIe передають дані пакетами, які називаються Transaction Layer Packets (TLP). Кожен TLP має заголовок і корисне навантаження. Найбільший розмір цього навантаження і є MaxPayloadSize (MPS).\nMPS узгоджується між пристроєм і його висхідним мостом під час тренування лінку. Узгоджене значення дорівнює меншому з того, що підтримує пристрій, і того, що дозволяє міст. Кожен міст і комутатор на шляху між пристроєм і root complex має власну можливість MPS. Остаточний MPS будь-якого пристрою визначає найвужче місце в ланцюжку.\nТипові значення MPS: 128, 256 і 512 байтів. Деякі пристрої підтримують 1024 або навіть 4096 байтів, але на практиці для контролерів NVMe і мережевих карт звичайні 256 або 512. GPU часто підтримують 256 байтів.\nЧому це важливо Більший MPS означає менше пакетів для того самого обсягу даних. Операція вводу-виводу на 4KB при MPS 128 потребує 32 TLP. Та сама передача при MPS 512 потребує 8 TLP.\nКожен TLP несе накладні витрати протоколу: заголовок, CRC, кадрування. Менше TLP означає менше накладних витрат на кожен переданий байт. На високій пропускній здатності цю різницю можна виміряти. Не драматично. Але реально. І це ті самі накладні витрати, сплачені на кожному пакеті.\nMPS також впливає на те, наскільки добре використовується лінк PCIe. Менші навантаження означають, що лінк витрачає більше часу на заголовки відносно даних. Більші навантаження зсувають співвідношення в бік корисних даних.\nТі самі 4 KB коштують 32 заголовки при MPS 128 і 8 при MPS 512 MPS 128: передача 4 KB стає 32 TLP 32 заголовки × ≈24 B:\u0026#160;≈16 % байтів на дроті це накладні витрати протоколу MPS 512: ті самі 4 KB стають 8 TLP 8 заголовків × ≈24 B:\u0026#160;≈4 % байтів на дроті це накладні витрати протоколу заголовок, номер послідовності, CRC і кадрування навантаження Обидві смуги несуть ті самі 4 KB. Більші навантаження не переносять більше даних, вони менше витрачають лінк на опис. Виміряний приріст невеликий. Обидві смуги несуть ті самі 4 KB. Суцільні стовпчики це заголовки кожного пакета: при MPS 128 їх 32, при MPS 512 лише 8. На затримку це впливає менше, ніж на пропускну здатність. Одне читання 4KB при MPS 128 проти 512 не покаже різниці в затримці, яку варто міряти, бо TLP ідуть конвеєром. Але дай високі IOPS із багатьма передачами в польоті, і менші накладні витрати від більшого MPS складаються.\nПроблема при passthrough На голому залізі BIOS встановлює MPS під час POST залежно від топології PCIe. Сучасний серверний BIOS зазвичай ставить MPS на максимум, який підтримує топологія, як правило 256 або 512 байтів.\nПід QEMU root complex віртуального чипсета Q35 має власну можливість MPS. За замовчуванням він показує низький MPS. Типова політика MPS ядра Linux (pcie_bus_default) встановлює MPS кожного пристрою рівним MPS його батьківського моста, а у віртуальній топології це означає значення за замовчуванням root complex у QEMU. Часто 128 байтів.\nТож пристрій, що вміє 512-байтові навантаження, працює на 128, бо віртуальний root complex поставив стелю.\nMPS визначає найвужче місце шляху, а під QEMU це віртуальний root complex Голе залізо: BIOS ставить MPS за реальною топологією NVMeпідтримує 512 комутатор PCIeдозволяє 512 Root complexдозволяє 512 MPS = 512 B найменше на шляху Прокинуто у VM: тепер найвужче місце це віртуальний root complex NVMeпідтримує 512 віртуальний root complex QEMU Q35 типово показує 128 MPS = 128 B можливість пристрою не використана Ядро хоста з\u0026#160;pci=pcie_bus_perf NVMeпідтримує 512 кожен пристрій на максимум своєї шини MRRS піднято відповідно MPS = 512 B задається на хості, не в гості MPS дорівнює найменшому значенню на шляху. Прокидання пристрою вставляє в цей шлях віртуальний root complex, і його обережне значення за замовчуванням стає стелею для всіх. Як це виправити: на боці хоста Скажи ядру встановлювати MPS на максимум, який підтримує батьківська шина кожного пристрою:\n# Add to GRUB_CMDLINE_LINUX_DEFAULT in /etc/default/grub pci=pcie_bus_perf Це встановлює MPS кожного пристрою на найбільше значення, яке дозволяє його батьківська шина. Відповідно воно також налаштовує MRRS (Max Read Request Size). Вихідний код ядра каже, що воно гарантує: MPS пристрою не більший за MPS його батька. Так ланцюжок лишається узгодженим, а розміри передач найкращими.\nПісля перезавантаження перевір новий MPS:\n# Check MPS on a specific device lspci -vv -s XX:00.0 | grep -i \u0026#34;MaxPayload\u0026#34; Ти маєш побачити MaxPayload 256 bytes або MaxPayload 512 bytes замість типових 128.\nІнші параметри ядра Ядро пропонує п’ять політик MPS, кожна задається через параметр завантаження pci=:\npcie_bus_tune_off: зовсім не чіпати MPS. Використовувати те, що встановив BIOS. На голому залізі з добрим BIOS цього часто досить. Під QEMU BIOS це OVMF або SeaBIOS, які можуть не оптимізувати MPS.\npcie_bus_default: типова політика ядра. Встановлює MPS кожного пристрою рівним MPS його висхідного моста. Обережно й безпечно, але продуктивність не максимізує.\npcie_bus_safe: встановлює MPS на найбільше значення, яке підтримують усі пристрої в системі. Корисно для закритих систем, де ти знаєш усі пристрої і нічого не підключатимуть на ходу. Трохи агресивніше за типову.\npcie_bus_perf: встановлює MPS для кожного пристрою окремо на найбільше значення, яке дозволяє батьківська шина. Кожен пристрій отримує найкращий MPS, який підтримує його локальна топологія. Це правильний вибір для passthrough, бо він оптимізує кожен шлях незалежно.\npcie_bus_peer2peer: встановлює MPS на 128 байтів на всьому. Кожен пристрій говорить найменшим спільним розміром. Використовується, коли пристроям треба робити DMA безпосередньо один до одного (GPU до GPU, GPU до NIC через RDMA). Для звичайного passthrough не корисно.\npcie_bus_perf це правильна політика для passthrough.\nЯк це виправити: на боці гостя pci=pcie_bus_perf можна задати і в конфігурації завантаження ядра гостя. Чи дасть це практичний ефект, залежить від того, як QEMU показує віртуальну топологію PCIe. Віртуальний root complex обмежує те, що гість може узгодити.\nУ тестах тримається саме виправлення на боці хоста. Хост володіє фізичним пристроєм, і його налаштування MPS визначає реальний розмір TLP на дроті. Налаштування гостя зачіпає лише віртуальну топологію всередині VM, і чи змінить це реальну поведінку, залежить від того, як QEMU показує шлях PCIe для цього пристрою.\nЗадай його на хості. Задати ще й у гості не зашкодить, але не покладайся лише на це.\nЩо таке MRRS Max Read Request Size (MRRS) пов’язаний, але окремий. MPS обмежує, скільки даних пристрій може надіслати в одному TLP. MRRS обмежує, скільки даних пристрій може запросити одним запитом на читання.\nПристрій з MRRS 4096 може видати один запит на читання 4KB. Відповідь повертається кількома TLP, кожен розміром до MPS. Вищий MRRS означає, що пристрій може запросити більше даних за транзакцію, і на шині менше TLP запитів на читання.\nMRRS задає розмір запиту, MPS розмір кожного пакета відповіді контролер NVMe MRRS 4096 B пам’ять хоста через root complex 1 × запит на читання: «надішли мені 4 KB» MRRS обмежує, скільки може попросити один запит 8 × TLP завершення, по 512 B MPS обмежує розмір кожного пакета відповіді Один запит, багато пакетів.\u0026#160;pci=pcie_bus_perf\u0026#160;піднімає обидва, тож окремо їх не налаштовують. Їх легко сплутати: MRRS обмежує, скільки пристрій може попросити одним запитом, MPS обмежує, яким великим може бути кожен пакет відповіді. pci=pcie_bus_perf встановлює і MPS, і MRRS на їхні оптимальні значення. Налаштовувати їх окремо не треба.\nВплив порівняно з іншим тюнінгом Різниця в MPS між 128 і 512 байтами впливає на продуктивність менше, ніж вирівнювання NUMA чи ASPM. Зазвичай це покращення пропускної здатності на низькі одиниці відсотків. У тестах затримки на малій глибині черги ти його не побачиш.\nАле це безкоштовна оптимізація. Один параметр ядра, жодних мінусів, жодного ризику сумісності. Немає жодної причини не задати його на будь-якій системі з passthrough.\nЦе не коштує нічого, а за залізо ти вже заплатив. То й бери те, що купив.\nДжерела Linux kernel PCI Kconfig — MPS and MRRS tuning options — авторитетне джерело для всіх п’яти політик MPS Linux Plumbers Conference 2017 — MPS vs MRRS (PDF) — доповідь Sinan Kaya про те, як ядро працює з MPS/MRRS ","permalink":"https://blogs.damiendye.uk/uk/proxmox/pcie-maxpayloadsize/","summary":"Віртуальний root complex у QEMU за замовчуванням дає TLP із корисним навантаженням 128 байтів. Більшість пристроїв підтримує 256 або 512. Це виправляє один параметр ядра.","title":"PCIe MaxPayloadSize: безкоштовний приріст продуктивності для passthrough"},{"content":"Що таке i440fx і Q35? Кожна віртуальна машина QEMU має віртуальний чипсет. Він визначає всю віртуальну материнську плату: топологію шини PCI/PCIe, південний міст, контролер переривань і те, що бачить гостьова ОС, коли перелічує обладнання під час завантаження.\nQEMU пропонує два варіанти: i440fx і Q35.\ni440fx емулює Intel 440FX з кодовою назвою Natoma, випущений 1996 року як чипсет для Pentium Pro, а згодом і для Pentium II. Він показує пласку шину PCI без власної підтримки PCIe. Це був перший тип машини в QEMU, і він довго лишався типовим. Непоганий вік як на чипсет, спроєктований під Pentium Pro.\nQ35 емулює Intel Q35 Express, випущений у червні 2007 року для покоління Core 2, у парі з південним мостом ICH9. Він дає гостю справжній кореневий комплекс PCIe і сучасний контролер переривань. Прокинуті пристрої з’являються як власні пристрої PCIe з правильною топологією.\nОбидва віртуальні. Жоден не впливає на справжнє обладнання, яким користується хост. Різниця в тому, що бачить гостьова ОС.\nПласка шина PCI в i440fx проти кореневого комплексу PCIe в Q35 i440fx: одна пласка шина PCI Intel 440FX «Natoma»: Pentium Pro / Pentium II, 1996 vCPU шина PCI 0 NVMeяк старий PCI мережа лише INTx IDE застарілий Звукфіктивний MSI-X недоступний: лише переривання INTx Без AER: гість не бачить помилок PCIe Без ACS: слабша ізоляція IOMMU Одна спільна шина: одна група IOMMU Q35: кореневий комплекс PCIe Intel Q35 Express + ICH9: доба Core 2, червень 2007 vCPU кореневий комплекс PCIe кор. порт кор. порт кор. порт NVMeMSI-X мережа багато черг GPU AER + ACS MSI-X: один вектор переривань на чергу AER: гість бачить і обробляє помилки PCIe ACS: пряме DMA під контролем Кожен слот може мати власну групу IOMMU Усі відмінності далі випливають звідси: i440fx вішає кожен пристрій на одну спільну шину, а Q35 дає кожному слоту власний кореневий порт під кореневим комплексом PCIe. Чому Q35 важливий для passthrough Пристрої, прокинуті у ВМ на i440fx, з’являються як застарілі пристрої PCI, хоч би чим вони були насправді. Гість бачить їх як «дуже швидкі пристрої PCI», а не як пристрої PCIe. Деяким драйверам це не заважає. Інші чекають PCIe і поводяться неправильно або відмовляються завантажуватися, коли його не знаходять.\nКореневий комплекс PCIe у Q35 змінює картину в кількох місцях.\nMSI-X MSI-X (Message Signalled Interrupts, Extended) потребує PCIe. На i440fx MSI-X або відкочується до застарілих переривань INTx, або не працює взагалі.\nДля NVMe це важить дуже багато. Контролери NVMe спираються на MSI-X у своїй багаточерговій архітектурі. Кожна пара черг вводу-виводу отримує власний вектор переривань. Без MSI-X усі завершення вводу-виводу йдуть через одне переривання, і на високих IOPS це стає вузьким місцем.\nЦе важить і для сучасних мережевих карт та GPU. Будь-якому пристрою, що розкидає навантаження по ядрах CPU через кілька векторів переривань, потрібен MSI-X.\nINTx жене кожне завершення NVMe через одне переривання; MSI-X дає кожній черзі власний вектор i440fx, INTx: одна лінія на всі черги черга 0 черга 1 черга 2 черга 3 1 × INTx vCPU 0 завершення йдуть по одному: стеля на високих IOPS Q35, MSI-X: вектор на кожну чергу черга 0 черга 1 черга 2 черга 3 4 × вектори MSI-X vCPU 0 vCPU 1 vCPU 2 vCPU 3 кожна черга завершується на власному ядрі З INTx завершення кожної черги приходять на одну лінію переривань і падають на один vCPU. З MSI-X кожна черга має власний вектор і завершується на власному ядрі. AER (Advanced Error Reporting) PCIe AER дає гостю змогу як слід виявляти й обробляти помилки пристроїв, а не тихо падати. На i440fx гість зовсім не бачить помилок рівня PCIe.\nДля робочого навантаження в продакшені з прокинутим пристроєм тихе ковтання помилок є проблемою. AER дає гостьовому драйверу змогу записати в журнал, повідомити, а часом і відновитися після апаратних помилок, які інакше лишалися б непоміченими, аж поки не зіпсуються дані.\nACS (Access Control Services) ACS керує прямим DMA між пристроями на одній шині. Це частина моделі ізоляції IOMMU. Він не дає одному пристрою писати через DMA в пам’ять іншого пристрою в обхід IOMMU.\nНа i440fx віртуальна топологія шини взагалі не підтримує ACS. Базовий passthrough від цього не ламається, але ізоляція, яку мав би давати IOMMU, слабшає.\nЯк подано групи IOMMU Ієрархія PCIe у Q35 означає, що кожен віртуальний слот може сидіти у власній групі IOMMU всередині гостя. i440fx звалює все на одну спільну шину, і налаштувати IOMMU з боку гостя стає складно.\nЦе важливо для вкладеної віртуалізації, коли самому гостю потрібні чисті групи IOMMU. І для vIOMMU, який є лише на Q35.\nvIOMMU Якщо самому гостю потрібна можливість IOMMU (для вкладеного passthrough, для DPDK чи для певних налаштувань безпеки), для цього потрібен тип машини Q35.\nЕмуляція vIOMMU дає гостю змогу запускати власний IOMMU, і це корисно для:\nВкладеного passthrough ВМ (ВМ у ВМ із доступом до пристрою) Мережі в просторі користувача на DPDK, коли застосунку потрібен захист IOMMU Налаштувань безпеки, що вимагають ізоляції DMA всередині гостя Чому Q35 важливий і поза passthrough Навіть якщо ти не робиш passthrough, для сучасних навантажень Q35 кращий вибір.\nМікропрограма OVMF (UEFI) Поєднання Q35 і OVMF дає гостю сучасне середовище завантаження UEFI з підтримкою Secure Boot. i440fx може працювати з OVMF, але це поєднання гірше протестоване, і деякі функції працюють неправильно.\nWindows 11 вимагає UEFI із Secure Boot. Цього вимагають апаратні вимоги Microsoft. Windows Server 2025 найкраще працює з UEFI. Q35 з OVMF є підтримуваним шляхом для обох.\nЯкщо ти запускаєш ВМ з Windows 11 чи Server 2025 на i440fx із SeaBIOS, ти воюєш проти течії. Сьогодні воно, може, й працює. Але екосистема рухається не туди.\nAHCI Q35 має власну емуляцію AHCI (Advanced Host Controller Interface) через південний міст ICH9. i440fx для завантажувальних дисків використовує старішу емуляцію IDE або LSI SCSI.\nДля сховища VirtIO це не має значення. VirtIO повністю обходить контролер сховища чипсета. Але якщо ти використовуєш емуляцію SATA для гостьової ОС, якій під час встановлення бракує драйверів VirtIO, AHCI на Q35 набагато швидший за IDE на i440fx.\nIDE перехоплює кожне звернення до регістра; AHCI будує команди в RAM гостя і дзвонить один раз межа хост / гіпервізор: кожен перетин коштує виходу з ВМ i440fx, IDE: кожне звернення до регістра перехоплюється драйвер IDE у гості порти I/O, по одному зверненню 5 × вихід з ВМ на одну команду PIIX3 IDE 1 команда в польоті Без NCQ: наступна команда чекає, поки завершиться попередня IRQ 14/15, INTx за рівнем: ще виходи, щоб маскувати й підтверджувати Q35, AHCI: зібрано в RAM, один дзвінок драйвер AHCI у гості список команд у RAM гостя: безплатно 1 × вихід з ВМ AHCI HBA (ICH9) до 32 у черзі (NCQ) Команди з черги завершуються в довільному порядку: диск переставляє їх, щоб менше шукати MSI-X: жодної спільної лінії, жодного кола EOI IDE програмують по одному регістру через застарілі порти вводу-виводу, і кожне звернення перехоплює хост. AHCI дає гостю зібрати команду у власній пам\u0026rsquo;яті й один раз натиснути дверний дзвінок. Накладні витрати, які несе i440fx, а Q35 ні Розрив в AHCI не лише в тому, що один контролер новіший. Річ у тім, що i440fx змушує гостя платити гіпервізору майже за кожну взаємодію, а Q35 здебільшого ні.\nПерехоплений доступ до регістрів. IDE програмують через застарілі порти вводу-виводу x86. Гість пише кількість секторів, потім регістри LBA, потім регістр команди. Кожен запис іде в окремий порт. Кожне з цих звернень хост перехоплює й емулює, а кожне перехоплення є виходом з ВМ, що коштує одиниці мікросекунд. Тож одна команда IDE коштує кількох виходів ще до того, як зрушать хоч якісь дані.\nAHCI працює навпаки. Гість будує таблицю команд у власній RAM (жодних перехоплень, бо це просто запис у пам’ять), а потім робить один запис MMIO в регістр дверного дзвінка, щоб контролер її забрав. Одна команда коштує приблизно одного виходу замість п’яти чи шести.\nЖодної черги команд. IDE видає одну команду і чекає, поки вона закінчиться. AHCI підтримує NCQ, тож у польоті може бути до 32 команд, і диск може завершувати їх у довільному порядку, щоб менше шукати. Тож решта вартості на команду розкладається на чергу, а не сплачується по одній.\nЗастарілий шлях переривань. Контролер IDE PIIX3 сигналізує про завершення на фіксованих застарілих IRQ 14 і 15, що приходять як INTx за рівнем. Переривання за рівнем треба підтвердити й розмаскувати, а оскільки лінії INTx спільні, гість мусить ще й з’ясувати, який пристрій його підняв. Кожен із цих кроків є ще одним перехопленням. MSI-X, якому потрібен Q35, це звичайний запис у пам’ять без спільної лінії, яку треба розпізнавати, і без кола підтвердження. На обладнанні з posted interrupts він може дійти до гостя взагалі без виходу.\nБільша поверхня застарілих пристроїв. i440fx завжди показує свої застарілі платформні пристрої, разом із контролером IDE, хоч ВМ ними користується, хоч ні. Вони займають слоти PCI, їх перелічують і опитують на кожному завантаженні, і гостьові драйвери можуть раз у раз їх опитувати. Q35 показує менший, сучасніший набір. Менше хосту тримати, менше гостю обходити.\nУ ВМ на VirtIO нічого з цього не видно, тому різницю легко проґавити. Вона важлива під час встановлення, на образах аплаєнсів без драйверів VirtIO і на будь-якому гості, що досі завантажується з емульованого SATA чи IDE.\nМенше віртуальних пристроїв, чистіша топологія i440fx приходить із застарілим віртуальним обладнанням, якого в Q35 немає. Фіктивна звукова карта. Застарілий контролер IDE. Жоден не робить нічого корисного, але обидва з’їдають віртуальні слоти PCI і можуть заплутати гостьове ПЗ, яке спробує ними скористатися.\nQ35 показує чистіший набір віртуального обладнання, ближчий до того, що показав би сучасний фізичний сервер.\nQ35 викидає застарілі платформні пристрої, які i440fx тримає у віртуальних слотах PCI i440fx слоти тримають застарілі пристрої Застарілий контролер IDE Контролер дискет (FDC) Застарілі функції PIIX3 Інші застарілі пристрої платформи вільно вільно замінено на AHCI викинуто в Q35 Q35 менше пристроїв, слоти лишаються ICH9 AHCI (SATA) кореневі порти PCIe вільно для прокинутого NVMe вільно для мережевої карти вільно для GPU вільно Застарілий контролер IDE замінено, а не прибрано. Усе інше йде на смітник, і слоти лишаються вільними для пристроїв, які ти справді хочеш прокинути. Куди все рухається RHEL 10 оголосив i440fx застарілим Red Hat офіційно оголосив тип машини i440fx застарілим у RHEL 10. Це показує, куди рухається ширша екосистема KVM. Коли Red Hat щось оголошує застарілим, це значить, що вони більше не тестують його як першокласний шлях і не виправлятимуть пов’язаних із ним помилок.\nПроєкт QEMU роками обговорює, чи оголошувати i440fx застарілим. Загальна думка така: тримати два шляхи чипсетів обтяжливо. Q35 є тим, що відповідає сучасному обладнанню.\nProxmox не пішов слідом Proxmox VE досі створює нові ВМ на i440fx. Тип машини в майстрі створення показано як «Default (i440fx)», і так воно й лишається, поки ти його не зміниш. Q35 за один випадний список, але це вибір, який треба робити свідомо, на кожній ВМ, яку будуєш.\nСаме через це й існує цей допис. Типовим є чипсет 1996 року, і ніщо в майстрі не каже тобі, що цей вибір має значення.\nПеремикання наявної ВМ Якщо в тебе є ВМ на i440fx, перемкнути її на Q35 можна в налаштуваннях обладнання або просто в конфігурації:\nmachine: q35 По суті це заміна віртуальної материнської плати. На наступному завантаженні інше обладнання.\nLinux зазвичай справляється з цим без проблем. Ядро заново перелічує пристрої і вантажить потрібні драйвери. Імена інтерфейсів зміняться, бо віртуальна мережева карта переїжджає з шини PCI на шину PCIe. Якщо твоя мережева конфігурація їх називає (наприклад eth0, ens18), онови її до перезавантаження, інакше втратиш мережу.\nWindows менш поблажливий. Зміна чипсета означає інші віртуальні ідентифікатори обладнання для контролера сховища, мережевого адаптера та інших платформних пристроїв. Windows може знадобитися перевстановлення драйверів. Подекуди найчистіший шлях: свіже встановлення. Зазвичай винуватцем є старіший Windows.\nFreeBSD та похідні (OPNsense, pfSense) зазвичай переносять перемикання, але спершу протестуй.\nУ всіх випадках тестуй на непродакшеновій ВМ, перш ніж перемикати щось важливе.\nКоли i440fx досі потрібен Кілька випадків досі потребують i440fx.\nЗастарілі гостьові операційні системи, старші за UEFI (Windows XP, Windows 2000 і подібні того ж віку), можуть не завантажитися на Q35. Ці ОС чекають застарілої топології PCI і SeaBIOS, які дає i440fx.\nДеякі образи аплаєнсів збирають і тестують виключно на i440fx. Якщо постачальник підтримує лише i440fx, ним і користуєшся, поки вони не оновляться.\nДля всього іншого (нових ВМ на Linux, сучасного Windows, будь-якого навантаження з passthrough) бери Q35. Нічого не виграєш, тримаючись чипсета 1996 року за звичкою.\nДжерела Proxmox VE Wiki — PCI(e) Passthrough — офіційна документація Proxmox, яка називає Q35 рекомендованим типом машини для passthrough QEMU Q35 Chipset Specification (PDF) — оригінальний проєктний документ QEMU щодо Q35 Proxmox Forum — Q35 vs i440fx Discussion — обговорення спільноти про практичні відмінності ","permalink":"https://blogs.damiendye.uk/uk/proxmox/q35-not-i440fx/","summary":"Два віртуальні чипсети QEMU не взаємозамінні. Q35 дає справжню топологію PCIe, від якої залежать passthrough, сучасний Windows і ширша екосистема KVM.","title":"Завжди бери Q35, а не i440fx: чому це важливо в Proxmox VE"},{"content":"Я Damien Dye.\nPresales Engineer для Європи та Азійсько-Тихоокеанського регіону в croit GmbH, компанії, що є членом-засновником Ceph Foundation і офіційним Proxmox Gold Partner.\nПонад двадцять років цього були оплачуваною частиною: платформи Microsoft, Linux, корпоративні застосунки, віртуалізація, мережі, зберігання даних і безпека. Оплачувана частина ще не все. Я будую і ламаю речі з середини дев’яностих, а Linux як слід запускаю з 1999 року, задовго до того, як комусь спало на думку мені за це платити, і я рахую ці роки, бо на власному залізі вчишся не менше, ніж на залізі, яке застрахував хтось інший.\nПівденний Йоркшир, тож почуєш усе прямо. Якщо щось працює, я скажу тобі чому. Якщо ні, скажу й це, і волію сказати до того, як ти витратиш гроші, а не після.\nРанні роки Я розбираю комп’ютери з восьми років. Моєю першою машиною був Atari STfm з 512K оперативної пам’яті.\nПерший ПК з’явився в дванадцять, з Windows 3.11, і звідти я пройшов їх усі: 95, 95b, 95c, 98, 98SE, а потім Windows 2000.\nЦе не було просто користування програмами. Це було з’ясування, що змінилося між однією версією і наступною, що зламалося дорогою і як запустити штуку, коли вона вирішила, що краще не буде.\nМІЙ ШЛЯХ ЧЕРЕЗ НАСТІЛЬНІ WINDOWS: 3.11 \u0026#8594; 10 3.11 95 98 2000 XP XP64-біт Vista64-біт 764-біт 8.1 10 Моїм першим підключенням до інтернету був dial-up модем на 56k через Freeserve, одного з перших безкоштовних провайдерів у Британії. Я перейшов на ADSL, щойно він став доступним у 2001 році, через Demon Internet. Потім на VDSL у 2008-му і нарешті на FTTP із Zen Internet у 2017-му, і саме тоді прийшов нативний IPv6. Ось звідки все почалося в плані мереж, і це дуже далеко від фабрик на 100GbE, які я проєктую тепер. Але цікавість була та сама.\nЛокальна мережа почалася ще раніше і була ще грубішою. Моя перша LAN була на 10BASE2: тонкий коаксіальний кабель, роз’єми BNC і термінатор на 50 Ом на кожному кінці, і всі машини ділили одну шину на 10 Мбіт. Я змусив два ПК говорити через неї, а потім додав 5-портовий хаб, коли з’явилися нові машини. Згодом той хаб став комутатором, і це був справжній крок уперед: кожен порт отримав власний домен колізій, замість того щоб усе билося за спільний коаксіал. Наступним, щойно стало по кишені, прийшов бездріт: 802.11b на 11 Мбіт, на картках PCMCIA Orinoco Gold у ноутбуках. Від коаксіальної шини до спільного хаба, до комутованого Ethernet, до Wi-Fi: кожен із цих кроків я пройшов власноруч.\nЯ також будував повністю автоматичні встановлення Windows XP. Вони використовували старі DriverPacks для впровадження драйверів і власні скрипти для автоматичного встановлення застосунків. Можна було пройти від голого заліза до повністю налаштованої системи, не торкнувшись клавіатури. Це було мислення в дусі автоматизації за роки до того, як я взагалі почув про Ansible, і було воно на Windows, а не на Linux.\nЗнайомство з Linux Я почав з Linux у п’ятнадцять, на SuSE 6. Я одразу пішов до дистрибутивів, які змушували розуміти, що відбувається під капотом.\nНа різдвяних канікулах 2001 року я зібрав повну систему за книжкою Linux From Scratch. Кожен пакет скомпільований власноруч. Кожна залежність зрозуміла. Кожне рішення щодо конфігурації ухвалене свідомо.\nУ 2002 році я перейшов на Gentoo. Gentoo працює за тим самим принципом: ти збираєш усю систему з вихідного коду, розумієш, що робить кожен USE-прапорець, і коли щось ламається, точно знаєш, де шукати.\nLINUX: МІЙ ШЛЯХ ДИСТРИБУТИВАМИ SuSE6–7.2 Mandrake Gentoo Ubuntu RHEL Fedora Інші платформи Я ніколи не тримався однієї архітектури.\nЗ 2001 до 2007 року в мене була система DEC Alpha. Alpha був 64-бітним RISC-процесором Digital Equipment Corporation, випущеним у 1992 році: справжня 64-бітна машина більш ніж за десять років до того, як x86 наздогнав її з AMD64 у 2003-му. На ній працювали Tru64 UNIX, OpenVMS, Windows NT і Linux, і якийсь час це була чи не найшвидша штука, яку можна було поставити на стіл. Завдяки обговоренням у спільноті я змусив на ній працювати USB і FireWire. Я навіть поставив ззаду перехідник PCMCIA на ISA, щоб ті самі PC Card, які я використовував у ноутбуках, серед них і бездротова Orinoco Gold, працювали в настільній Alpha. Не дрібниця на платформі, де ніщо не гарантовано працювало.\nЯ спробував BeOS. Вона підходила до багатопотоковості й мультимедіа зовсім інакше, ніж будь-що інше на той час.\nВ університеті ми з приятелем урятували робочі станції Sun SPARC, які збиралися викинути, і зібрали на них Gentoo. SPARC була RISC-архітектурою Sun Microsystems, представленою в 1987 році, рушієм робочих станцій і серверів Sun, на яких у дев’яностих трималася чимала частина світу Unix, зазвичай під Solaris. Запустити на цьому залізі Linux, зібраний з вихідного коду, і було всією метою. Бо чому б і ні, якщо залізо є, а ти хочеш побачити, чи воно працює.\nЯ також збирав Linux і працював з ним на ARM і ARM64, на Raspberry Pi та Odroid. А ще запускав Windows на ARM64.\nЗапусти ту саму операційну систему на x86, Alpha, SPARC, ARM і ARM64, і припущення, які ти зробив на одній, не підуть за тобою на наступну: порядок байтів, вирівнювання, розміри сторінок, підтримка драйверів і примхи інструментів збирання зсуваються під тобою. Тепер, коли ARM64 стоїть у дата-центрі поруч з x86, це важить більше, ніж будь-коли, і саме таке мислення тримає чесним змішаний за архітектурами парк Ceph чи Proxmox.\nЯ також рано почав експериментувати з IPv6. У мене був доступ до 6bone, експериментальної тестової мережі IPv6. 6bone була глобальним випробувальним полігоном, що працював з 1996 року, щоб допомогти розробити і впровадити IPv6, поки виробничий інтернет до нього не був готовий. Вона переносила IPv6 здебільшого тунелями через IPv4, мала власний діапазон адрес 3ffe::/16 і була свідомо закрита 6 червня 2006 року, коли нативний IPv6 дозрів достатньо, щоб стояти на власних ногах. Я запускав і стек IPv6 у Linux, і стек Microsoft Research IPv6 для Windows XP. Я пройшов усе. Почав з тунелів IPv6-в-IPv4. Перейшов на 6to4 (RFC 3056) для автоматичного тунелювання. Потім на повний нативний IPv6, коли перейшов до пристойного провайдера, Zen Internet. Більшість людей не торкалися IPv6, поки їх не змусив роботодавець. Я на той час уже пройшов кожен механізм переходу, і на Linux, і на Windows, бо хотів розуміти, куди йдуть мережі. Тому IPv6 тепер здається мені природним, а не чимось, прикрученим заднім числом. Тепер дев’яносто відсотків мого трафіку йде нативним IPv6. Я користуюся розширенням для браузера IPvFoo, яке показує, що використовує кожне з’єднання і чи сайти віддають змішані протоколи або лише IPv4. Старі звички: я люблю бачити, що відбувається насправді, а не просто припускати.\nIPv6: ДВА ДЕСЯТИЛІТТЯ, ВІД ЕКСПЕРИМЕНТУ ДО КРИТИЧНОГО Від тестового стеку вдома до виробничої інфраструктури національного масштабу 6bone: експериментальний полігон IPv6 Стеки IPv6 від Linux і Microsoft Research працювали пліч-о-пліч Тунелі IPv6-в-IPv4 IPv6 через інтернет на IPv4, налаштовано вручну 6to4 (RFC 3056) Автоматичне тунелювання: жодного брокера вручну Нативний IPv6 Наскрізно вдома через FTTP · Zen Internet · 2017 Nominet: критична національна інфраструктура IPv6 у продакшені для реєстру .uk · балансувальники F5 на IPv4 і IPv6 Сьогодні близько 90 % мого трафіку йде нативним IPv6. Навчання на практиці Усе, що я знаю в технічному плані, я навчився, беручись і пробуючи. Будував речі, ламав їх, з’ясовував, чому вони зламалися, будував знову.\nСтупінь у мене з Business Studies and Computer Network Engineering у Sheffield Hallam, і він дав мені те єдине, чого не дає самонавчання: як насправді працює бізнес, як технічне рішення перетворюється на комерційний результат і як думати про систему з погляду проблеми, яку вона розв’язує для того, хто за неї платить. Це формувало кожну мою роль відтоді.\nА от технічні навички прийшли з практики, а не з навчання. Проблеми у виробництві не приходять зі списком літератури. Уміння розібратися в чомусь із перших принципів варте більше, ніж сертифікат на стіні, і термін його дії не спливає.\nЗвідки береться відкритий код Коли керівництво Microsoft на початку 2000-х назвало відкритий код «a cancer», я вже глибоко сидів у Linux. Збирав системи з нуля. Користувався Gentoo. Робив внесок у спільноти.\nТака ворожість до людей, які діляться знаннями і будують щось разом, мене не відштовхнула. Вона штовхнула мене ще далі. Якщо відповідь компанії на спільну розробку полягає в тому, щоб назвати її хворобою, це більше каже про компанію, ніж про програми. Я заглибився у відкритий код і зробив його своїм вибором за замовчуванням, а не став підтримувати таке мислення.\nЗ роками практичні аргументи наздогнали принципові. Пропрієтарні платформи працюють досить добре, поки постачальник не змінить ліцензування, не буде куплений або не вирішить, що твій випадок не варто підтримувати. Тоді ти застряг. Твої дані, твої робочі процеси і знання твоєї команди прив’язані до платформи, яку ти більше не контролюєш. Купівля VMware компанією Broadcom є найсвіжішим і найпомітнішим прикладом, але далеко не єдиним.\nТе саме мислення стосується хмари. Спитай, що ти насправді орендуєш, і відповідь буде: потужності, якими ти міг би володіти повністю, на лічильнику, який ніколи не зупиняється. Обіцяні переваги, гнучкість, еластичність і менше клопоту з управлінням, рідко приходять у тій формі, яку описувала презентація, а вартість наростає рік за роком так, як із власним залізом не буває. Тож я щоразу, коли мене просили, міг показати, що відкритий код на добре спроєктованому залізі дає кращу цінність, більше контролю і менше сюрпризів. Не модна позиція. Але я можу підкріпити її числами.\nПобудова кар’єри Моя кар’єра почалася в 2005 році на заводі точного лиття у Ворксопі. ІТ-інженер у невеликій команді, підтримка близько п’ятдесяти користувачів.\nТа перша роль охоплювала чималий діапазон. Супровід ERP-системи Manusoft і архівування документів. Адміністрування серверів Linux і Windows 2003. Розробка звітів Crystal Reports для ухвалення рішень у виробництві та обслуговуванні. Адміністрування АТС. Інтеграція систем CAD/CAM і керування комп’ютеризованим роботизованим виробництвом. Закупівля обладнання і програм. Навчання користувачів і підтримка на їхніх робочих місцях.\nЯ з першого дня писав і автоматизацію. Я оновив Active Directory компанії і написав VB-скрипти, які автоматично підключали диски, призначали принтери і розгортали програми залежно від членства в групах. Це був 2006 рік: справжня автоматизація інфраструктури в моїй першій професійній ролі.\nТаке воно, виробниче ІТ. Коли лінія зупиняється через щось, за що відповідаєш ти, швидко дізнаєшся, що надійність не є питанням смаку, а люди, які стоять біля верстата, самі тобі про це скажуть. Там я також уперше за гроші тримав Linux і Windows в одній будівлі, і відтоді так було завжди.\nЗвідти я перейшов у технічну підтримку першої лінії. Перша і друга лінія, на окремому деску для великого міжнародного клієнта. Десктопи Windows, Active Directory, Exchange 2007, Cisco VPN, Cisco Call Manager, керування заявками за ITIL у Remedy. Ця дисципліна ITIL, керування змінами, керування проблемами, структуровані процеси, супроводжувала мене в кожній ролі відтоді. Я також рано почав поєднувати світи Linux і Windows: налаштовував Services for Unix і розв’язував проблеми доступу Citrix до спільних ресурсів NFS в Unix.\nНавіть на тому деску я виходив за межі посадової інструкції. Я написав інтерфейс, який створював і вимикав облікові записи користувачів прямо з даних відділу кадрів в Agresso, обробляючи обліковий запис Active Directory, членство в групах, конфігурацію Office Communicator, поштову скриньку Exchange і псевдоніми. Це системна інтеграція з крісла першої лінії, а назва посади про таке не казала.\nОдин із клієнтів, яких я підтримував на тому деску, пізніше найняв мене в наступній компанії.\nДалі була глобальна комунікаційна компанія, ІКТ і безпека. Там по-справжньому почалася розробка застосунків. За два з половиною роки я збудував шість окремих внутрішніх систем або доклав руку до них. Власний вебінструмент для комерційних пропозицій. Інтерфейси обробки замовлень між Salesforce та Agresso. Каталог основних даних у SharePoint, що наповнювався із Salesforce та Agresso. Власна вебсистема керування проєктами з інтерфейсами до MSPE та Agresso для фінансової обробки. І міграція з доопрацьованого застосунку Salesforce Service Cloud на ServiceNow з повним впровадженням процесів ITIL. Я також писав архітектуру SQL-інтерфейсів для корпоративних бізнес-застосунків і налаштовував продуктивність MS SQL. Я адміністрував IIS і Terminal Services у Windows Server 2008 і відповідав за корпоративну модель даних. Каталожні служби, Active Directory і LDAP, стали тут ключовою навичкою, яка супроводжувала мене в кожній наступній ролі.\nЯ також провів по всій Британії програму заміни на Windows 7, перевівши всю британську базу користувачів на нове залізо HP за три тижні, і 95 % з них повідомили, що їхня робота взагалі не постраждала. Три тижні є таким числом, яке виходить лише тоді, коли підготовку зробили як слід, а підготовка і є тією непоказною половиною, про яку потім ніхто не питає.\nПотім було керівництво. Компанія з проєктування напівпровідників з невеликою командою інженерів, розкиданих по кількох країнах. Це звело докупи кілька ниток одразу. Я розробляв на платформі Force.com, тригери, сторінки Visualforce, власні контролери, щоб глобально інтегрувати облікову систему і PSA від Financial Force. Водночас я будував два окремі HPC-кластери із завантаженням через PXE. Один для британських і європейських інженерних підрозділів, другий для китайських. Обидва на Red Hat з кореневими файловими системами на NFS, щоб отримати однакові, на 100 % відтворювані бездискові обчислювальні ферми. Я розгорнув ZFS on Linux з обладнанням Dell PowerVault для уніфікованого зберігання. Я замінив застарілі ізольовані середовища безпеки на Active Directory у Windows Server з нативними Kerberos і LDAP для єдиного входу в Linux і Windows. Я стабілізував міжнародний зв’язок, збудувавши єдину мережу з тунелями OpenVPN у складних умовах роботи в Китаї.\nЧималу частину тієї ролі я був єдиною людиною, яка закривала все це: обчислювальні ферми на Linux, підтримку Windows, розробку під Salesforce і підтримку користувачів у кількох часових поясах, під навантаженнями проєктування SoC на передових технологічних нормах. Один з інженерів, які мені підпорядковувалися, згодом став розробником Salesforce, і я вважаю це кращим підсумком тих років.\nДалі було справжнє занурення в Linux. Підтримка третьої лінії в Pulsant, хмарному і хостинг-провайдері, по всьому стеку. RHEL, CentOS, Ubuntu. Кластеризація MySQL з Galera, шардинг MongoDB, HAProxy з SNI і термінацією SSL, Apache, PostgreSQL, налаштування PHP-FPM для високопродуктивної електронної комерції, пошта на Postfix, BIND і PowerDNS для DNS-хостингу, Varnish для вебкешування, Squid для кешування проксі. IPTables, IPset і Cisco ASA для міжмережевого екрана і захисту від DoS. Налаштування продуктивності серверів Linux для мережі та зберігання. Усунення проблем у CPanel, розробка шаблонів моніторингу SolarWinds і адміністрування New Relic. І все це на VMware 5.5 з vCloud Director під низом.\nІ це була не лише підтримка. Я спроєктував там продукт реплікації баз даних на Galera і провів його від концепції через прототипування до сервісу, за який платили клієнти. Це не була лабораторна вправа. Його збудували і перевірили на реальних навантаженнях реальних клієнтів, які платили, а хостинг-провайдер таким легко не розкидається.\nТретя лінія вчить, що означає бути останньою лінією ескалації. Коли проблема доходить до тебе, за тобою вже ніхто її не виправить.\nПотім Nominet, реєстр, що стоїть за кожним доменним іменем .uk. DNS у національному масштабі. Інфраструктура має бути залізобетонною двадцять чотири години на добу, щодня, без жодного простою і з черговістю в неробочий час. VMware 5.5 і 6, сховища HP 3par із зонуванням fibre channel на Brocade, RHEL 6 і 7 під керуванням Puppet, балансувальники навантаження F5 на IPv4 і IPv6, пошта на Postfix і розгортання Zabbix, яке я збудував на заміну застарілому моніторингу VMware Hyperic. Я також запровадив і доопрацював ServiceNow, впровадивши робочі процеси, розгортання застосунків і виявлення вузлів Linux для керування конфігураціями та інвентаризації. Я допомагав проєктувати і будувати процеси для передачі сервісдеску в неробочий час на аутсорс, щоб зменшити навантаження чергувань.\nУ Nominet я врешті став тим, кого питали першим, хоч ішлося про Linux, Unix, ServiceNow чи щось, що ніхто не міг віднести нікуди, і я завжди намагався повертатися з чимось, що працює, а не з чимось, що добре звучить. Це саме таке місце, де дізнаєшся, що нудний, дисциплінований підхід до інфраструктури і є тим, що переживає зустріч із вівторковим ранком.\nПісля Nominet я працював в інфраструктурі та хостингу. VMware 6.7, Zerto для аварійного відновлення, сховища Dell Compellent і Nexsan із зонуванням fibre channel на Brocade, Citrix Cloud з керуванням профілями FSLogix поряд з Azure. Там я теж запровадив моніторинг Zabbix, спроєктувавши шаблони і скрипти з нуля.\nПотім роздрібна торгівля. Лінійне керівництво невеликою командою, повернення адміністрування VMware 6.7 від сторонньої компанії назад усередину, розгортання моніторингу Zabbix (знову на заміну чиїйсь невдалій спробі), перебудова розгортання ОС навколо PXE і Chocolatey, оновлення мережі на обладнанні Fortinet і наведення ладу в закупівлях заліза.\nПотім була роль, яка змінила все. У UK Centre for Ecology \u0026amp; Hydrology я керував командою наукових обчислень, чотири прямі підлеглі, і перебудував інфраструктуру з нуля. Приватна хмара Proxmox VE на 7 вузлів з гіперконвергентним сховищем Ceph на подвійній комутації 100Gb. HPC-кластер на 8 вузлів на HDR InfiniBand під Slurm, з SR-IOV для доступу віртуальних машин до фабрики і EasyBuild для збирання програм. Міграція з GPFS на сховище Ceph повністю на NVMe. Ansible з Netbox як єдиним джерелом правди для всього: керування оновленнями, контроль дрейфу конфігурації, інтеграції з Cloudflare, PowerDNS і Active Directory. Динамічна маршрутизація OSPF для хмарних мереж. Локальні дзеркала репозиторіїв для максимальної швидкості і узгодженості розгортання. Перерозгортання HPC-середовища з CentOS 7 на Rocky 9. Cloudflare для DNS (включно з DNSSEC), захисту від DDoS і віддаленого доступу Zero Trust. Сюди входила міграція 25 авторитативних зон DNS із самостійно розміщеного BIND 9 на Cloudflare за два робочі дні. Оновили кілька реєстрів, і все це інтегрували з Ansible та Let\u0026rsquo;s Encrypt.\nУсе на інструментах з відкритим кодом, на тісному бюджеті, свідомо збудоване так, щоб оминути пастку ліцензування Broadcom і VMware, поки вона не захлопнулася. Це закрило суперечку. Інфраструктура з відкритим кодом у такому масштабі не просто придатна до роботи, вона краща, і в мене є кластер і рахунки, щоб це підтвердити.\nДругою половиною тієї роботи були четверо людей у команді. Науковцям байдуже, як називається сховище. Їм важливо, чи запуститься задача сьогодні вночі і чи зможе людина, яку вони питають, пояснити відповідь так, щоб вони не почувалися дурнями через те, що спитали.\nЯк усе це сходиться докупи Перехід у presales у croit не був зміною напрямку. Це було все, що зійшлося в одному місці.\nВиробниче ІТ Надійність обов’язкова, коли від тебе залежить виробництво Підтримка першої лінії Вчився слухати, спілкуватися і бути терплячим Розробка застосунків Системи, що розв’язують реальні бізнес-проблеми Керування глобальним ІТ Технічне навантаження плюс розвиток людей Глибока інженерія Linux Остання лінія ескалації: більше нікому дзвонити Критичний DNS у Nominet Інфраструктура і дисципліна національного масштабу Інфраструктура і хостинг VMware, зберігання і аварійне відновлення в масштабі Наукові обчислення (UKCEH) Перебудовано на Proxmox VE + Ceph + HPC, повністю відкритий код Presales у croit Спроєктуй систему, захисти проєкт, будь чесним щодо нього Виробниче ІТ навчило мене, що надійність перестає бути питанням смаку тієї миті, коли від неї залежить виробництво. Підтримка першої лінії навчила мене слухати, перш ніж щось робити. Розробка застосунків навчила мене будувати системи, які розв’язують бізнес-проблему, а не цікаву. Керування глобальною командою навчило мене нести технічне навантаження і водночас розвивати людей навколо, а це важче, ніж кожна з половин окремо. Третя лінія Linux навчила мене, як воно, бути останньою лінією ескалації. Двадцять років роботи з Windows і Linux пліч-о-пліч навчили мене, як платформи справді поводяться під навантаженням, на відміну від того, що обіцяє специфікація. VMware, яку я тримав майже в кожній ролі з 2008 року, навчила мене, як виглядає корпоративна віртуалізація в масштабі, а потім що буває, коли комерційний ґрунт зсувається під платформою, на якій стоїть увесь парк. Зберігання даних і мережі навчили мене, де живуть складні проблеми. Безпека проходила крізь усе, від міжмережевих екранів і VPN на початку до DNSSEC, Zero Trust і посилення захисту тепер. Nominet навчив мене дисципліни.\nСклади все це разом, і вийде presales. Ти проєктуєш систему, потім захищаєш проєкт і лишаєшся чесним щодо того, чого вона не робитиме, бо хтось от-от витратить справжні гроші, поклавшись на твоє слово.\nУ croit це означає роботу з компаніями по всій Європі та в Азійсько-Тихоокеанському регіоні, які переосмислюють свою віртуалізацію і зберігання. Розмови здебільшого про перехід з VMware на Proxmox VE з Ceph. Навантаження, що переїжджають, здебільшого на Windows, тож досвід роботи з різними платформами не є старою історією. Це те, чим я займаюся зараз.\nДля мене важлива чесність. Те, що я кладу перед людиною, має бути тим, що працює в її будівлі, у її масштабі, з тими обмеженнями, які в неї справді є, а якщо її наявне залізо вже робить більшу частину роботи, то саме це я їй і скажу.\nСТЕК, ЯКИЙ Я ПРОЄКТУЮ І БУДУЮ СЬОГОДНІ Автоматизація і джерело правди Ansible · NetBox · Let's Encrypt Обчислення Proxmox VE: віртуальні машини KVM + контейнери LXC Зберігання Ceph: блоки RBD · CephFS · повністю NVMe Мережа Фабрика 25/100GbE · BGP / OSPF · нативний IPv6 Основа Відкритий код на залізі, яким ти володієш Зберігання даних Зберігання даних щоразу виявлялося місцем, де сиділи найважчі проблеми. Це не був свідомий кар’єрний план, просто так склалося.\nЗахоплення почалося змалку. У 90-ті я мріяв про диски Iomega Zip і Jaz: 100MB, а потім цілий гігабайт на одному змінному картриджі, тоді як дискети, якими всі інші обмінювалися, вміщали лише 1,44MB. Це було дороге залізо, тож роками воно лишалося бажаним, а не наявним. Коли я нарешті дістав USB-привід Zip, якраз почали з’являтися USB-флешки, і формат, якого я так довго хотів, уже йшов зі сцени. Ранній урок того, як швидко рухається зберігання даних і як швидко сьогоднішнє «конче треба» стає завтрашнім мотлохом у шухляді.\nОптичні диски були частиною тієї ж історії. У 1998 році в мене був чотиришвидкісний привід HP CD-RW, і він був чудовий. Він читав і перезаписував диски, від яких пізніші, швидші приводи просто відмовлялися, тож відробляв своє як рятувальний привід ще довго після того, як мав би піти на пенсію.\nПочалося з інтерфейсів. Я працював зі сховищами всіх мастей. IDE, кілька поколінь SCSI, SATA, SAS і NVMe з боку прямого підключення. ATA over Ethernet та iSCSI з боку мережевих сховищ. HP 3par, Dell Compellent, Dell PowerVault, Nexsan, кожне з власними примхами і способами відмовляти.\nЗвідти воно пішло вгору по стеку. Кластерний LVM навчив мене, як поводиться спільне сховище, коли кільком вузлам потрібен одночасний доступ, і що буває, коли блокування і fencing налаштовані не так. ZFS навчила мене, що буває, коли справді думаєш про цілісність даних на рівні файлової системи. GPFS показала мені паралельні файлові системи в масштабі. Ceph навчив мене, як по-іншому поводяться розподілені системи під час відмов.\nЗ роками те, що починалося як «людина, яка ще й зберіганням займається», стало «людиною, якій дзвониш, коли зберігання треба спроєктувати як слід».\nМережі Мережі були зі мною від самого початку. Це не допоміжна навичка, а одна з ключових. TCP/IP, DHCP і DNS проходять крізь кожну роль, яку я обіймав, починаючи з McKenna.\nРобота в Nominet означала роботу з інфраструктурою, що стоїть за реєстром доменних імен Британії. Це DNS у національному масштабі. Іменування, розв’язання, делегування і очікування, що все це спрацює кожного разу.\nЯ тримав авторитативні зони на BIND 9, налаштовував DNSSEC, ставив балансувальники навантаження F5 для IPv4 і IPv6, а пізніше мігрував DNS-господарства на Cloudflare з автоматизацією через API та інтеграцією Let\u0026rsquo;s Encrypt. Я будував DNS-інфраструктуру для завантаження через PXE під розгортання кластерів і в Британії, і в Китаї. Я розумію DNS з обох боків. Самостійно розміщений, де кожна відмова твоя. І керований, де ти довіряєш провайдеру і мусиш перевіряти цю довіру моніторингом.\nПоза DNS мережі проходять крізь кожну мою роль. VLAN, бондинг, LACP, зонування fibre channel на Brocade, міжмережеві екрани Fortinet і Cisco ASA, IPTables і IPset. Проєктування фабрик на 25GbE і 100GbE, BGP, динамічна маршрутизація OSPF, керування MTU, архітектура IPv6. Тунелювання VPN: від OpenVPN через складні міжнародні канали до WireGuard і cloudflared для сучасного захищеного доступу. Samba теж була професійною навичкою в кількох ролях, вона поєднувала обмін файлами в Linux та інтеграцію з доменом Windows задовго до того, як я тестував реалізацію AD в альфа-версії.\nКластер Ceph є мережевим застосунком. Стелю продуктивності сховища задає мережа під ним. Способи відмов є мережевими способами відмов. Цього не вивчиш з підручника. Цього вчишся, розбираючись із проблемами о другій ночі.\nLinux Я понад два десятиліття працюю з родинами RHEL, Debian, SUSE і Fedora. Професійно це означало RHEL і CentOS для робочих сервісів, Ubuntu для хостингу застосунків, Rocky для HPC, а Gentoo і Fedora для особистого користування. Я склав оцінку навичок Linux від LinkedIn.\nГлибина прийшла з проблем, на які немає відповіді на Stack Overflow, і саме там ти зрештою вивчаєш підсистему PCI як слід, а не з чуток: групи IOMMU, ACS, VFIO, SR-IOV, Resizable BAR і те, чого тобі тихо коштує трансляція DMA, а також параметри завантаження ядра як важелі, що змінюють поведінку машини, а не список, який копіюють з вікі, бо в чиємусь блозі написано, що це виправило їхню проблему.\nПроблеми продуктивності зберігання і віртуалізації майже завжди ведуть до шару, на який ніхто не подивився. Саме там живуть мої знання Linux.\nWindows Linux тепер забирає мій час, але бік Windows такий самий справжній, і він був у кожній моїй роботі. Windows Server, Active Directory, LDAP, Exchange, IIS, Microsoft SQL Server. Ніщо з цього не є застарілою навичкою, яку я відклав.\nЦе важливо на рівні гостьової системи, а саме там більшість людей перестає дивитися. Коли навантаження Windows працює на KVM, людина, яка може сказати, як цей гість поводиться за певної топології CPU, і може простежити скаргу на продуктивність до патча Microsoft, замість того щоб звинувачувати гіпервізор, це людина, яка роками стояла по обидва боки паркану. Більшість суперечок про продуктивність віртуальних машин, які я бачив, вигравав той, хто знав гостя, а не хоста.\nЛюди, яких я підтримував, бували від професорів і членів правління до команди, яка доглядає за будівлями. Робота в кожному випадку та сама. З’ясуй, що їм насправді потрібно, змусь це працювати і поясни так, щоб вони не почувалися дурнями через те, що спитали.\nVMware VMware є платформою, на якій я професійно виріс, у семи ролях з 2008 року, і я тримав увесь її стек: ESXi, vCenter, vSAN, кластеризацію vSphere, vMotion. Я знаю, що вона робить добре. Я знаю, де ні. І я бачив, як купівля Broadcom переписала комерційну реальність під компаніями, які збудували на ній увесь свій парк, а це зовсім не те саме, що читати про це.\nНе допоможеш людині піти з платформи, з якою сам ніколи як слід не працював. Тож я можу сказати їм, від чого вони відмовляються, що отримують і яка частина міграції буде гіршою, ніж їм дали зрозуміти.\nАвтоматизація Мислення в дусі автоматизації почалося в моїй першій професійній ролі у 2006 році. VB-скрипти в McKenna для автоматичного підключення дисків AD, призначення принтерів і розгортання програм. Потім інструменти створення облікових записів AD із даних відділу кадрів у BT Engage IT. Потім системи завантаження через PXE для бездискових обчислювальних кластерів у Sondrel. Потім Puppet у Nominet. Потім пакування Chocolatey і перебудова через PXE в роздрібній компанії. Потім доопрацювання робочих процесів ServiceNow у кількох ролях.\nТепер це Ansible з Netbox як єдиним джерелом правди. Не тому, що це модно, а тому, що інфраструктура, яку не можна відбудувати з коду, не є інфраструктурою, якій можна довіряти.\nДокументація є тим самим аргументом. Знання, яке живе лише в чиїйсь голові, є єдиною точкою відмови, і о п’ятій вечора воно виходить з будівлі разом з усіма. Те саме, що диск без жодного резервування за ним, і ставитися до нього треба з тією самою серйозністю.\nМоніторинг Мій досвід моніторингу почався з SolarWinds у Pulsant, з масштабного моніторингу всього хостингового парку. Zabbix прийшов пізніше, і він заслужив окремої згадки, бо я ставив його майже в кожному місці відтоді. Почалося в Nominet, де я провів тендер і тестування, а потім перевів нас на Zabbix на заміну застарілому Hyperic від VMware, і він переміг тим, що справді інтуїтивний, а не ще однією штукою з Nagios під низом. Після цього я поставив його з нуля на хостинговій та інфраструктурній платформі, замінив ним чиюсь невдалу спробу в роздрібній торгівлі і стежив ним за HPC-кластером на 8 вузлів у UKCEH.\nЩоразу я сам проєктував шаблони моніторингу і писав скрипти. Коли я в 2018 році складав іспити Zabbix Specialist і Professional, я вже роками його розгортав.\nКомунікація Робота в критичній інфраструктурі вчить бути точним. Робота в presales вчить бути зрозумілим. Ці дві речі пов’язані, але не однакові.\nТочність нічого не варта, якщо слухач не може простежити міркування, тож мені довелося навчитися робити те саме пояснення двічі: раз для інженера, який хоче бачити CRUSH map, і раз для того, хто має підписати, чому бюджет саме такий. Я нічого не спрощую до примітиву. Я просто роблю видимим кожен крок міркування і даю людям зупинити мене там, де вони хочуть.\nРоки роботи з користувачами навчили мене іншого терпіння. Ті, хто вважає себе найрозумнішими в кімнаті, зазвичай поводяться найбезпорадніше. Ті, хто починає з «я не дуже технічний», як правило, слухають, виконують кроки і розв’язують усе за десять хвилин. А ті, хто каже, що точно знає, що робить, зазвичай устигли все погіршити, перш ніж узяли слухавку.\nДосвід з бізнес-системами допомагає тут більше, ніж люди очікують, бо мені завжди доводилося перекладати в обидва боки. Архітектура SQL для операційного менеджера, проєкт сховища для CTO або сидіти поруч із кимось за його власним столом і показувати те, чого йому ніколи не показували. Щоразу та сама навичка.\nСпільнота Обмін знаннями проходить крізь усю кар’єру.\nЯ був активним на форумах Gentoo, коли збирав системи з вихідного коду і мусив розуміти, чому певна комбінація USE-прапорців ламає компіляцію. Я дописував на форуми Samba, коли розбирався з проблемами обміну файлами та інтеграції з доменом у Linux і Windows. Це було більше, ніж просто ставити питання. Я збудував контролер домену Active Directory на основі Samba, коли підтримка AD була ще в альфа-версії. Я тестував його з клієнтами Windows 2000, XP і Vista і передавав результати спільноті.\nТепер я активно дописую на форумах спільноти Proxmox як DamienDye. Я допомагаю з продуктивністю прокидання NVMe, налаштуванням віртуальних машин Windows, розбором проблем Ceph і мережами кластерів.\nТехнології змінюються. Принцип ні. Якщо я розібрався з проблемою, нема чого виграти, сидячи на цьому, а хтось о другій ночі через пів року зрадіє, що це записано.\nУ мене також є звичка копати проблеми глибше, ніж суворо вимагає задача. Я спроєктував саморобну плату захисту NVMe від втрати живлення, бо хотів точно зрозуміти, чому корупція FTL трапляється на апаратному рівні. Я досліджував протоколи для самостійно розміщеної пошти, бо хотів зрозуміти JMAP від RFC і вище, а не просто довіряти провайдеру. Я збудував цей блог, бо записувати речі як слід і є способом знайти прогалини у власному розумінні.\nСпільнота поза клавіатурою Не все це були форуми.\nУ 2018 році я був одним із засновників Longford Park Community Association у Банбері, у житловому масиві, де я живу. Чотири черги новобудов, громадський центр, записаний у планах, і нічого, що могло б ним керувати. Тож кілька мешканців дещо створили.\nСпершу я взяв на себе ІТ-частину, бо саме це я міг дати. Домен lpca.org.uk запрацював у січні 2018 року, і за ним я збудував вебсайт, поштові системи і списки розсилки комітету, а також написав політику конфіденційності.\nЯ був у комітеті від самого початку і був його головою з грудня 2018 до лютого 2020 року. Чотирнадцять місяців, і все, що справді мало значення, вмістилося в них. Ми зареєстрували його як благодійну організацію 11 лютого 2019 року, номер 1181953. Я владнав комерційну оренду будівлі. А потім ми відкрили центр.\nОсь для чого був голова. Не для порядків денних і протоколів. Для того, щоб відкрити будівлю, куди можуть зайти кілька сотень домогосподарств. Мешканці-волонтери досі керують нею для черг з 1 по 4 забудови: три кімнати, кухня і парковка, які погодинно здають усім на масиві, кому вони потрібні.\nВолонтерські комітети тримаються на добрій волі, а добра воля не є моделлю управління. Тож я тримав людей у межах статуту, себе теж. Я питав, чому ми набираємо людей ззовні, коли статут каже залучати мешканців, і я зупинив розсилку, яка потрапила б у кожну папку зі спамом на масиві. Не щоб упиратися. Асоціація мешканців, яка не може достукатися до мешканців, уже провалила єдину роботу, яку має, і разом зі скаргою я надіслав посилання, як це виправити.\nЦентр і далі відкритий, а я вже не в комітеті, і саме так і має бути. Усе, що працює, лише поки ти стоїш поруч і тримаєш його, ніколи не було збудоване як слід.\nЦей сайт Цей блог є статичним сайтом на Hugo з темою PaperMod. Він розміщений на Cloudflare Workers, який віддає зібраний сайт як статичні ресурси.\nЯ пишу тут про інфраструктуру, з якою працюю щодня: Proxmox VE, Ceph, Ansible, Netbox, сертифікати і все інше, у що я того тижня вгризався. Написано так, щоб цим користуватися, з командами і числами, бо допис, за яким не можна пройти за клавіатурою, є лише прикрасою. Жодної маркетингової води. Якщо в чогось є шорсткості, допис так і каже.\nЗв’язатися зі мною Мене можна знайти в LinkedIn або на форумах Proxmox.\nЯкщо ти придивляєшся до Ceph чи Proxmox для свого місця і хочеш нормальної розмови про це, а не презентації продажу, напиши мені. Принеси навантаження, обмеження і бюджет, який у тебе справді є. Я скажу тобі, що воно робитиме, чого ні, і якщо чесна відповідь полягає в тому, що тобі варто лишити те, що маєш, і налаштувати його як слід, ти почуєш і таку відповідь.\n","permalink":"https://blogs.damiendye.uk/uk/about/","summary":"Damien Dye: Presales Engineer, фахівець з інфраструктури і прихильник відкритого коду.","title":"Про мене"}]