[{"content":"50 TOPS, które nic nie robią Każdy laptop z Ryzen AI sprzedany w ostatnich dwóch latach ma w sobie Neural Processing Unit (NPU), blok krzemu zbudowany wyłącznie do matematyki stojącej za modelami AI. W moim, ThinkPadzie z Ryzen AI 7 PRO 350, AMD podaje do 50 TOPS, bilionów operacji na sekundę1. Zapłaciłeś za to. Na standardowej instalacji Linuksa nie robi nic.\nW tym roku to się zmieniło. Po skonfigurowaniu NPU uruchamia model językowy o 4 miliardach parametrów za oknem czatu, do tego rozpoznawanie mowy, wszystko na laptopie, bez konta, bez abonamentu i bez niczego, co opuszcza maszynę, a przy wszystkim, czego wolałbyś nie wpisywać na cudzą stronę, właśnie o to chodzi. Cały układ pobiera około 21 W, kiedy odpowiada, a w spoczynku poniżej 9 W.\nCo działa Gdzie Adres Qwen 3.5 4B, kontekst 256k tokenów NPU, w kontenerze http://[::1]:52625/v1 Mowa na tekst: Whisper od OpenAI, whisper-v3:turbo NPU, ten sam kontener ten sam, /audio/transcriptions Open WebUI, strona czatu CPU, w kontenerze http://[::1]:3000 Sterownik jądra amdxdna, firmware host /dev/accel/accel0 Dwie zasady ukształtowały tę budowę. Na hoście lądują tylko sterownik jądra i jego firmware; każdy framework do modeli działa w bezrootowym kontenerze podmana. A każda usługa nasłuchuje wyłącznie na pętli zwrotnej IPv6, bez niczego na IPv4. Obie okazały się mniej roboty niż robienie tego na bałagan, i obie wyłapały problemy, które inaczej bym wypuścił.\nCzego to wymaga na Linuksie NPU w tym układzie to druga generacja projektu AMD, XDNA2. To ma znaczenie, bo oprogramowanie, które uruchamia na nim modele językowe, obsługuje części XDNA2 (serie Ryzen AI 300 i 400, Strix Halo), a nie pierwszą generację w Ryzenach 7040 i 80402. Sprawdź swój, zanim zaczniesz:\n$ lspci -nn | grep -i \u0026#39;neural\\|signal processing\u0026#39; c5:00.1 Signal processing controller [1180]: Advanced Micro Devices, Inc. [AMD] Strix/Krackan/Krackan2/Strix Halo Neural Processing Unit [1022:17f0] (rev 20) Między tym urządzeniem a odpowiedzią w czacie leżą cztery warstwy, a podział między hostem a kontenerem to cały projekt:\nWarstwa Co to jest Gdzie mieszka amdxdna sterownik jądra, tworzy /dev/accel/accel03 host, przez DKMS Firmware NPU npu_7.sbin, 1.1.2.64 na tym układzie host, z linux-firmware XRT + wtyczka amdxdna biblioteka runtime AMD i jej backend dla NPU kontener FastFlowLM runtime LLM, z kernelami NPU w zestawie kontener Co mieszka na hoście, a co w kontenerze Bezrootowy podman, przebudowywany, kiedy chcę Open WebUI strona czatu, na CPU [::1]:3000 FastFlowLM [::1]:52625 XRT + wtyczka NPU dopasowane do commita sterownika Host: moduł jądra i jego firmware, nic więcej Bez XRT, bez runtime'u, bez modeli. Jeden węzeł urządzenia to wszystko, co przechodzi do kontenera. moduł amdxdna, zbudowany przez DKMS npu_7.sbin NPU XDNA2 /dev/accel/accel0 Podział. Wszystko, co często się zmienia, mieszka w kontenerze; host trzyma moduł jądra i jego firmware, a jedyne, co przechodzi na drugą stronę, to jeden węzeł urządzenia. Jądro 7.x dostarcza amdxdna w drzewie, ale AMD rozwija go najpierw we własnym repozytorium, a wtyczka w przestrzeni użytkownika musi pasować do modułu jądra, z którym rozmawia4. Różnica między nimi nie jest mała. Na tym laptopie:\nW drzewie, 7.2.15 i 7.3.3 z Fedory Spoza drzewa, amd/xdna-driver na 24dfd686 Interfejs sterownika 0.105 0.19 Wersja modułu brak 2.27.0_20261113 Identyfikatory PCI NPU, które obsługuje 6 8 Pliki firmware\u0026rsquo;u, o które prosi 7 59 Firmware, który ładuje ten układ 17f0_10/npu_7.sbin, 1.1.2.64 ten sam plik Dziewięć wersji interfejsu różnicy, a Linux 7.3, najnowsze wydanie, wciąż ma 0.10. Jedyne, co do czego się zgadzają, to firmware, a ten pochodzi z linux-firmware Fedory, nie z któregokolwiek sterownika. Buduję więc obie połowy z jednego commita amd/xdna-driver, moduł kładę na hoście, a pasującą przestrzeń użytkownika wypiekam w obrazie.\nSterownik: zbuduj wszystko, zostaw tylko kawałek jądra amd/xdna-driver zawiera XRT jako submoduł gita, a jego budowanie daje RPM-y dla XRT i pakietu wtyczki. Pakiet wtyczki niesie też źródła sterownika, które rejestruje w DKMS (Dynamic Kernel Module Support, to, co przebudowuje moduł dla każdego nowego jądra). Nic z tego nie jest trudne:\ngit clone --recursive https://github.com/amd/xdna-driver.git \u0026amp;\u0026amp; cd xdna-driver sudo ./tools/amdxdna_deps.sh (cd xrt/build \u0026amp;\u0026amp; ./build.sh -npu -opt) # XRT RPMs in xrt/build/Release/ (cd build \u0026amp;\u0026amp; ./build.sh -release) # plugin RPM, driver source inside Na Fedorze 45 skrypt zależności kończy się błędem. Zignoruj go:\nO co prosi Co się dzieje Ma znaczenie? protobuf-devel konfliktuje z zainstalowanym protobuf3-compiler nie, XRT bez niego tylko pomija narzędzie do śledzenia redhat-lsb nie ma takiego pakietu, Fedora go porzuciła nie wszystko inne już zainstalowane Ostatnie otagowane wydanie jest tam z lutego, więc kanałem wydań jest main. Przeszedłem z kompilacji z maja na listopadową: 550 commitów, XRT z 2.23 na 2.27.\nAktualizacja usuwa sterownik, który właśnie zainstalowała Moje pierwsze podejście do aktualizacji całkowicie zabrało moduł. RPM uruchamia skrypt instalacyjny nowego pakietu, który buduje i rejestruje nowy sterownik w DKMS, a potem uruchamia skrypt usuwający starego pakietu. Ten skrypt odczytuje wersję sterownika z pliku, który nowy pakiet już nadpisał, więc wyrejestrowuje wersję, która właśnie została zainstalowana. Wyjście dnf mówi to w dwóch wierszach, jeden po drugim:\n\u0026gt;\u0026gt;\u0026gt; Successfully installed and enabled DKMS for xrt-amdxdna/2.27.0 \u0026gt;\u0026gt;\u0026gt; Removing driver source: xrt-amdxdna/2.27.0... Nic nie zawiodło, nic nie zrobiło się czerwone, a następny start po cichu załadowałby to, co dostarczyło jądro. Czy mogę zapytać, dlaczego skrypt usuwający uruchamia się przy aktualizacji bez sprawdzenia, czy to aktualizacja? RPM podaje każdemu skryptletowi tę odpowiedź jako pierwszy argument. To jedno if.\nJak aktualizacja RPM wyrejestrowuje właśnie zainstalowany sterownik Jedno dnf upgrade, w kolejności, w jakiej wykonuje je RPM nowy %post buduje 2.27, rejestruje w DKMS 2.27 w DKMS lądują nowe pliki plik wersji mówi teraz 2.27 2.27 w DKMS stary %preun czyta ten plik, wyrejestrowuje 2.27 2.27 znika następny start ładuje się moduł z drzewa, bez ostrzeżenia nie twoja kompilacja DKMS ma: Poprawka to jeden test. Skryptlet %preun dostaje $1 = 1 przy aktualizacji i $1 = 0 przy usunięciu. Tylko usunięcie powinno cokolwiek wyrejestrowywać. Kolejność, w jakiej RPM wykonuje aktualizację. Nowy pakiet rejestruje swój sterownik, potem stary pakiet wyrejestrowuje to, co wskazuje wspólny plik z wersją, a w tym momencie jest to już nowy. To także powód, dla którego host w ogóle nie dostaje teraz RPM-ów. Źródła sterownika to archiwum tar wewnątrz pakietu wtyczki, więc je wyciągam i daję prosto DKMS:\nT=$(mktemp -d) \u0026amp;\u0026amp; rpm2cpio xrt_plugin*.rpm | (cd $T \u0026amp;\u0026amp; cpio -idm --quiet) D=$T/opt/xilinx/xrt/share/amdxdna sudo mkdir -p /usr/src/xrt-amdxdna-2.27.0 sudo tar -xf $D/amdxdna.tar.gz -C /usr/src/xrt-amdxdna-2.27.0 sudo cp $D/dkms.conf $D/configure_kernel.sh /usr/src/xrt-amdxdna-2.27.0/ sudo dkms install xrt-amdxdna/2.27.0 sudo modprobe -r amdxdna; sudo modprobe amdxdna Bez restartu. To Linux, a w tym momencie nic nie trzyma otwartego urządzenia, więc moduł podmienia się na żywo. DKMS potem przebudowuje go dla każdego jądra, które instaluje dnf; kiedy przyszło 7.3.3, był zbudowany, zanim zdążyłem się do niego zrestartować.\nSterownik idzie prosto do DKMS Z pakietu do załadowanego modułu, bez instalowania pakietu RPM wtyczki źródła sterownika to archiwum tar /usr/src tar rozpakowany, obok dkms.conf dkms install buduje moduł dla tego jądra modprobe -r potem modprobe: na żywo, bez restartu dnf instaluje nowe jądro DKMS przebudowuje, zanim się do niego zrestartujesz rpm2cpio wyciąga archiwum. Host nigdy nie dostaje RPM-ów, więc nie działa tam żaden skrypt pakietu. Sterownik idzie z pakietu do DKMS bez instalowania samego pakietu, więc na hoście nie uruchamia się żaden skrypt pakietu. Sprawdź, czy załadowała się kompilacja z DKMS, a nie ta z drzewa, i czy firmware jest dość nowy. FastFlowLM chce 1.1.0.0 lub nowszego2:\n$ modinfo -F filename amdxdna /lib/modules/7.2.15-300.fc45.x86_64/extra/amdxdna.ko.xz $ cat /sys/bus/pci/drivers/amdxdna/*/fw_version 1.1.2.64 $ journalctl -k | grep \u0026#39;Initialized amdxdna\u0026#39; [drm] Initialized amdxdna_accel_driver 0.19.0 for 0000:c5:00.1 on minor 0 DKMS odsuwa własny moduł jądra na bok zamiast go usuwać, do /var/lib/dkms/xrt-amdxdna/original_module/, więc wyjęcie kompilacji z DKMS przywraca go na miejsce.\nJeszcze jedno, czego nie ruszaj: amd_iommu=off w wierszu poleceń jądra wyłącza NPU2.\nFastFlowLM w kontenerze FastFlowLM to runtime, który sprawia, że NPU przydaje się do modeli językowych. To wiersz poleceń w stylu Ollamy i serwer zgodny z OpenAI, napisany dla XDNA2, a w tym roku przeszedł pod organizację ROCm od AMD6. Runtime ma licencję MIT. Kernele NPU, które dostarcza, to zamknięte binaria, wolne do używania i redystrybucji bez modyfikacji7. Wolałbym, żeby były otwarte, i to mówię, ale są w repozytorium i nie trzeba niczego ściągać z żadnego innego miejsca.\nObraz to trzy etapy na Fedorze 45: XRT z kompilacji sterownika, FastFlowLM skompilowany na nim, potem runtime tylko z tym, czego potrzebuje. Część, która ma znaczenie:\nFROM registry.fedoraproject.org/fedora:45 AS xrt ARG XDNA_COMMIT COPY dist/xdna-${XDNA_COMMIT}/ /rpms/ RUN dnf -y install /rpms/xrt_2*-base.rpm /rpms/xrt_2*-npu.rpm \\ \u0026amp;\u0026amp; rpm -i --noscripts --nodeps --nosignature \\ --excludepath=/usr/lib/firmware --excludepath=/opt/xilinx/xrt/share/amdxdna \\ /rpms/xrt_plugin*.rpm \\ \u0026amp;\u0026amp; echo /opt/xilinx/xrt/lib64 \u0026gt; /etc/ld.so.conf.d/xrt.conf \u0026amp;\u0026amp; ldconfig Każda z tych flag jest tam, bo bez niej coś się psuło:\nProblem Poprawka Skrypty wtyczki budują moduł jądra, który należy do hosta --noscripts, a źródła sterownika i firmware wyłączone RPM 6 w Fedorze 45 domyślnie wymusza sprawdzanie podpisów8, a samodzielnie zbudowany RPM jest niepodpisany --nosignature: zbudowałem go sam, wiem, skąd pochodzi Biblioteki XRT są w lib64, czego nie ma na ścieżce linkera /etc/ld.so.conf.d/xrt.conf wewnątrz obrazu FastFlowLM znajduje XRT przez pkg-config, a setup.sh od XRT nie ustawia ścieżki PKG_CONFIG_PATH=/opt/xilinx/xrt/lib64/pkgconfig w etapie budowania Gotowy obraz ma 609 MB, a jego tag niesie commit sterownika, fastflowlm:v1.0.12-xdna24dfd686. Kontrola stanu porównuje go z commitem, który zgłasza załadowany moduł, i zawodzi, jeśli się różnią. Obraz zbudowany pod zły sterownik to jedyna usterka tutaj, którą naprawdę trudno zdiagnozować, więc jest wyłapywana, zanim do tego dojdzie.\nJak powstaje i jest sprawdzany obraz FastFlowLM Trzy etapy na Fedorze 45 etap 1: xrt RPM-y XRT i wtyczki, bez skryptów i firmware'u etap 2: build FastFlowLM skompilowany na tym XRT etap 3: runtime tylko to, co potrzebne, 609 MB Kontrola stanu: obraz i host muszą się zgadzać tag obrazu mówi v1.0.12-xdna24dfd686 = załadowany moduł mówi 24dfd686 Różnią się: unhealthy, zanim cokolwiek zrobi się mylące. Trzy etapy budowania i kontrola stanu, która wiąże obraz ze sterownikiem, dla którego go zbudowano. Kontener dostaje jedno urządzenie, NPU, i limit blokowania pamięci, którego FastFlowLM potrzebuje do przypięcia swoich buforów:\npodman run --rm --device /dev/accel/accel0 --ulimit memlock=-1:-1 \\ localhost/fastflowlm:v1.0.12-xdna24dfd686 validate [Linux] NPU: /dev/accel/accel0 with 8 columns [Linux] NPU FW Version: 1.1.2.64 [Linux] Memlock Limit: infinity Własny autotest AMD, xrt-smi validate, dał NPU 51 TOPS na mnożeniu macierzy. To jest 50 z pudełka, dostarczone.\nStart przy uruchomieniu, tylko na IPv6 Quadlet zamienia krótki plik .container w usługę systemd9. Jako jednostka użytkownika działa bez roota, jako ja, a z włączonym lingeringiem startuje przy uruchomieniu, bez nikogo zalogowanego10:\n[Unit] Description=FastFlowLM NPU server ConditionPathExists=/dev/accel/accel0 [Container] Image=localhost/fastflowlm:v1.0.12-xdna24dfd686 AddDevice=/dev/accel/accel0 Ulimit=memlock=-1:-1 Network=host Volume=%h/.config/flm:/models:Z Exec=serve qwen3.5:4b --host ::1 --port 52625 -c 262144 -a whisper-v3:turbo StopSignal=SIGINT [Install] WantedBy=default.target loginctl enable-linger $USER cp fastflowlm.container ~/.config/containers/systemd/ systemctl --user daemon-reload \u0026amp;\u0026amp; systemctl --user start fastflowlm -c 262144 ustawia okno kontekstu, a test kontekstu poniżej wyjaśnia, dlaczego jest takie duże. -a whisper-v3:turbo ładuje drugi model obok modelu czatu, taki, który zamienia mowę w tekst; ma własną sekcję.\nTrzy wiersze w tym pliku przyszły z bólem:\nWiersz Bez niego StopSignal=SIGINT FastFlowLM ignoruje SIGTERM, sygnał zatrzymania podmana, i zostaje zabity dziesięć sekund później --host ::1 nasłuchuje na 127.0.0.1, IPv4 ::1, nie [::1] forma w nawiasach nie daje się sparsować; nawiasy należą do URL-a Udowodnij adres, zamiast mu ufać:\n$ ss -ltn \u0026#39;sport = :52625\u0026#39; LISTEN 0 4096 [::1]:52625 [::]:* $ curl -s http://127.0.0.1:52625/v1/models || echo refused refused localhost wciąż działa dla wszystkiego, co rozwiązuje go najpierw na ::1, a robią tak i /etc/hosts Fedory, i Chrome.\nKolejność startu i jedyne adresy, które odpowiadają Start przy uruchomieniu menedżer użytkownika przy starcie loginctl enable-linger Quadlet plik .container na usługę dwie usługi użytkownika fastflowlm, open-webui Kto może się dostać przeglądarka Open WebUI [::1]:3000 FastFlowLM [::1]:52625 127.0.0.1 odrzucone NPU Lingering uruchamia menedżera użytkownika przy starcie, Quadlet tworzy usługi, a każdy adres, który odpowiada, jest na pętli zwrotnej IPv6. Co to robi, zmierzone Dziewięć modeli przez benchmark samego FastFlowLM, przy czym dekodowanie to szybkość, z jaką spływa odpowiedź:\nModel Dekodowanie, kontekst 1k Dekodowanie, kontekst 8k Czytanie promptu, 8k llama3.2:1b 77 tok/s 56 tok/s 2009 tok/s qwen3.5:2b 32 29 1533 llama3.2:3b 30 20 857 phi4-mini-it:4b 25 17 744 qwen3:4b 23 15 613 qwen3.5:4b 17 15 657 gemma4-it:e4b 14 12 642 qwen3:8b 13 10 418 qwen3.5:9b 11 10 451 Szybkość dekodowania według modelu, na tle tempa czytania Dekodowanie przy kontekście 1k, tokeny na sekundę tempo czytania, 5 do 8 tokenów na sekundę llama3.2:1b 77 qwen3.5:2b 32 llama3.2:3b 30 phi4-mini-it:4b 25 qwen3:4b 23 qwen3.5:4b 17 ten, którego używam gemma4-it:e4b 14 qwen3:8b 13 qwen3.5:9b 11 Dekodowanie przy kontekście 1k. Każdy model wyprzedza tempo czytania; szybkość spada mniej więcej o połowę, gdy model się podwaja. Tempo czytania to pięć do ośmiu tokenów na sekundę, więc każdy z nich jest przed tobą. Dekodowanie spada mniej więcej o połowę za każdym podwojeniem modelu, czego się spodziewasz, gdy ograniczeniem jest przepustowość pamięci, a nie moc obliczeniowa. Używam qwen3.5:4b. Phi-4 mini jest szybszy, ale Qwen 3.5 trzyma tempo, gdy rozmowa rośnie, obsługuje obrazy i wywołania narzędzi, i trzyma pamięć podręczną promptu, która oszczędza czytania całej historii od nowa przy każdej turze. To przesądza.\n256 000 tokenów kontekstu Qwen 3.5 jest zbudowany na okno 262 144 tokenów11, a FastFlowLM domyślnie ustawia 32 768. Po przekroczeniu tego limitu robi coś, o czym warto wiedzieć: loguje Max length reached, stopping prefilling i zamyka połączenie bez odpowiedzi i bez błędu, więc okno czatu stoi z pustą odpowiedzią, a ty możesz zgadywać, czy wywrócił się model, serwer czy przeglądarka.\nPodniosłem go więc przez -c 262144 i porządnie przetestowałem. Kod ukryty w pierwszym wierszu promptu o długości 232 250 tokenów, mniej więcej 175 000 słów, o który zapytano na końcu:\nKontekst 8k Kontekst 232k Odpowiedź poprawna poprawna, AMBER-FALCON-7731 Czytanie promptu 657 tok/s 210 tok/s Czekanie na pierwsze słowo 12 sekund 18,4 minuty Dekodowanie 15 tok/s 2,4 tok/s Zarezerwowana pamięć ~5 GB ~12,7 GB Działa. Jest wolne. A pamięć jest zarezerwowana niezależnie od tego, czy używasz okna. Mając 90 GB w maszynie, zapłacę tę cenę, żeby długie wklejenie dostało odpowiedź, a nie zostało po cichu odrzucone.\nCzy GPU może pomóc? Ten sam układ ma Radeona 860M, więc oczywiste pytanie brzmi, czy może przejąć część obciążenia. Rozdzielenie jednego modelu między NPU a GPU, czytanie promptu na jednym i pisanie odpowiedzi na drugim, to coś, czego dziś nie robi żaden linuksowy runtime. Uruchomienie drugiego runtime\u0026rsquo;u na GPU już tak, więc to zmierzyłem.\n„Wydajny” oznacza tu szybkość i energię razem. Sterownik amdgpu zgłasza moc całego pakietu bez roota, a sterownik amdxdna zgłasza samo NPU, więc każdy przebieg poniżej był próbkowany cztery razy na sekundę. Wszędzie ten sam model w 4 bitach.\nZ runtime\u0026rsquo;ów GPU, które sprawdziłem, zadziałał jeden:\nRuntime Wynik na 860M llama.cpp, backend Vulkan12 działa; obraz 881 MB llama.cpp, backend ROCm widzi GPU, potem segfault przy pierwszym zadaniu, z nadpisaniem wersji GPU lub bez; obraz 23 GB MLC-LLM, Vulkan13 jego kompilator robi segfault przy budowaniu architektury Qwen 3.5 vLLM, SGLang niepróbowane: zbudowane dla GPU z centrów danych i wielu użytkowników, nie dla 8-jednostkowego iGPU I NPU w porównaniu z tym, który zadziałał:\nQwen 3.5 4B NPU, FastFlowLM GPU, llama.cpp Vulkan Spoczynek, model załadowany 8,6 W 16,0 W, wobec 9,7 W przy zatrzymanym Czytanie promptu, ~6k tokenów 557 tok/s przy 23,8 W 411 tok/s przy 46,1 W Energia na token promptu 0,043 J 0,112 J Dekodowanie 18,2 tok/s przy 21,0 W 23,5 tok/s przy 40,7 W Energia na wygenerowany token 1,16 J 1,73 J NPU kontra GPU, ten sam model NPU, FastFlowLM GPU Radeon 860M, llama.cpp Vulkan energia na token promptu mniej znaczy lepiej 0,043 J 0,112 J energia na token odpowiedzi mniej znaczy lepiej 1,16 J 1,73 J spoczynek, model załadowany mniej znaczy lepiej 8,6 W 16,0 W szybkość dekodowania więcej znaczy lepiej 18,2 tok/s 23,5 tok/s Ten sam model, oba akceleratory, każdy słupek przeskalowany do większego w swojej parze. GPU odpowiada szybciej; NPU zużywa mniej energii na całą resztę. GPU pisze odpowiedzi o mniej więcej 29% szybciej. Spala przy tym dwa razy więcej mocy. NPU czyta prompty szybciej i za mniej niż połowę energii. Większa liczba to ta w spoczynku: serwer GPU załadowany i bezczynny kosztuje 6,3 W ponad tę samą maszynę z zatrzymanym serwerem, przez cały dzień. Uruchomienie obu naraz zbiło NPU z 18,2 do 14,2 tokena na sekundę, a GPU z 23,5 do 13,9, bo dzielą tę samą pamięć. W związku z tym kontener GPU istnieje, ale uruchamiam go, kiedy chcę drugiego modelu, i nie jest włączony przy starcie.\nSamo NPU pobierało poniżej 2 W w każdym przebiegu. Większość z 21 W to CPU i pamięć, które je karmią. To jest sufit, któremu warto się przyglądać w przyszłych wydaniach FastFlowLM.\nMowa na tekst też na NPU Whisper to model rozpoznawania mowy od OpenAI: dźwięk na wejściu, tekst na wyjściu, w 99 językach, wydany na licencji MIT, więc działa wszędzie, bez pytania kogokolwiek o zgodę14. Large-v3 to obecna pełnowymiarowa wersja. Turbo to ten sam model z dekoderem, czyli połową, która wypisuje tekst, przyciętym z 32 warstw do 4. Karta modelu przedstawia ten kompromis wprost: „way faster, at the expense of a minor quality degradation”. Przy 809 milionach parametrów ma jedną piątą rozmiaru modelu czatu.\nFastFlowLM dostarcza go już przekonwertowanego dla NPU jako whisper-v3:turbo, do pobrania 623 MB, i ładuje go obok modelu czatu przez -a whisper-v3:turbo. Samego Whispera serwować nie będzie; musi być załadowany także model czatu. Dźwięk idzie do standardowego endpointu transkrypcji OpenAI, a tekst wraca.\n19,6 sekundy mowy Pierwsze żądanie, ładowanie Whispera 6,2 s Potem 2,0 s, mniej więcej dziesięć razy szybciej niż w czasie rzeczywistym Moc całego układu ~24,7 W Dokładność każde słowo poprawnie Tyle że pisownią amerykańskiej udawanej angielszczyzny: „color” i „program”. API Whispera przyjmuje prompt, a prompt napisany prawdziwą brytyjską pisownią, angielszczyzną Anglii, skąd ten język pochodzi, wystarcza, żeby to naprawić:\ncurl -s \u0026#39;http://[::1]:52625/v1/audio/transcriptions\u0026#39; -F file=@speech.wav \\ -F model=whisper-v3:turbo -F language=en \\ -F \u0026#39;prompt=British English spelling: colour, programme, organise, centre.\u0026#39; W ogóle nie powinniśmy musieć poprawiać tych modeli. Whisper był trenowany na 99 językach, a mimo to pisze po angielsku na amerykańską modłę, dopóki mu się nie powie inaczej, bo ludzie, którzy go zbudowali, traktują swoją pisownię jako domyślną, a wszystkich innych jako opcję, o którą trzeba poprosić. To ten irytujący amerykański domyślizm, którego nienawidzi reszta świata, i jest wpieczony jako uprzedzenie. Prompt systemowy dla modelu czatu niesie to samo polecenie, w sekcji poniżej, z tego samego powodu.\nOkno czatu i 7000 tokenów, których nigdy nie wpisałeś Open WebUI to przeglądarkowy front-end15, we własnym kontenerze, przypięty do [::1]:3000 w ten sam sposób i skierowany na NPU. Jego przycisk mikrofonu idzie do Whispera na NPU zamiast do własnego domyślnego, który ściągnąłby model i uruchomił go na CPU.\nPierwsza wiadomość, którą do niego wysłałem, miała dwadzieścia słów. Dotarła do NPU jako prompt na 7223 tokeny, bo Open WebUI 0.13 dokleja definicje wszystkich swoich wbudowanych narzędzi (pamięć, notatki, kalendarz, automatyzacje, wyszukiwanie w sieci) do każdej wiadomości, a administrator dostaje każde z nich.\nTo samo pytanie na dwadzieścia słów Prompt wysłany do NPU Czekanie na pierwsze słowo Wbudowane narzędzia włączone, domyślnie 7223 tokeny ~12 s Wbudowane narzędzia wyłączone dla modelu 127 tokenów poniżej 1 s Skąd wzięło się 7000 tokenów wpisujesz dwadzieścia słów Open WebUI dodaje definicje wszystkich narzędzi NPU czyta wszystko, w każdej wiadomości Prompt wysłany do NPU narzędzia włączone, domyślnie 7223 tokeny, ok. 12 s do pierwszego słowa narzędzia wyłączone 127 tokenów, poniżej 1 s To samo pytanie na dwadzieścia słów z włączonymi i wyłączonymi wbudowanymi narzędziami Open WebUI, narysowane w skali. Dla modelu lokalnego to ustawienie domyślne powinno być wyłączone. Dwanaście sekund, przy każdej odpowiedzi.\nPowiedział mi też z pełnym przekonaniem, że jest „trained by Google” i działa „on Google\u0026rsquo;s advanced infrastructure”. To model Qwen, zrobiony przez Alibabę, działający na laptopie. To kompletna bzdura i nie powinno się zdarzać.\nTo nie konfiguracja. Model widzi tylko tekst, który mu się wysyła, a nazwa na liście rozwijanej to etykieta dla serwera, nigdy nie przekazywana modelowi. Ta odpowiedź przyszła więc z samego modelu, a pomylił się w jedynym fakcie o sobie, który nigdy nie powinien budzić wątpliwości. To wada projektowa i spoczywa na tym, kto ten model wypuścił.\nNazwa z listy rozwijanej nigdy nie dociera do modelu Co widzisz nazwa modelu na liście prompt systemowy, jeśli ustawisz twoje wiadomości etykieta dla serwera, nigdy niewysyłana Co widzi model prompt systemowy, jeśli ustawisz twoje wiadomości bez nazwy, producenta, maszyny wysłane bez promptu systemowego zgaduje Model dostaje prompt systemowy i rozmowę. Nazwa na liście rozwijanej zostaje przy serwerze. Alibaba wiedziała, jak temu zapobiec. Szablon czatu Qwen 2.5 otwierał każdą rozmowę od „You are Qwen, created by Alibaba Cloud”, chyba że podałeś coś innego16. Qwen 3 porzucił ten wiersz17, a Qwen 3.5 też jest dostarczany bez niego18. Nic go nie zastąpiło, a sądząc po tej odpowiedzi, model nigdy nie został nauczony tego na tyle dobrze, żeby poradzić sobie sam. Zapytaj model 4B „czym jesteś?” bez promptu, a sięgnie po najczęstszą odpowiedź w swoich danych treningowych, która należy do kogoś innego.\nCzy to drobiazg? Nie. Model, który z pełnym przekonaniem powie ci, kto go zbudował i w czyim centrum danych działa, i pomyli się w obu sprawach, zrobi to samo z wszystkim innym, czego nie może sprawdzić. Tu znasz właściwą odpowiedź. Przez większość czasu nie będziesz jej znać.\nTrzeba mu więc to powiedzieć, w prompcie systemowym:\nPytanie „czym jesteś i na czym działasz?” Odpowiedź Bez promptu systemowego „a large language model trained by Google… Google\u0026rsquo;s advanced infrastructure” Z promptem „Qwen 3.5, a large language model created by Alibaba… running locally on your Lenovo ThinkPad using the AMD Ryzen AI 7 PRO 350\u0026rsquo;s NPU via FastFlowLM” Ten sam prompt każe mu pisać brytyjską angielszczyzną, znów z powodu amerykańskiego domyślizmu, który ma też Whisper. Kiedy mu się powie, tak robi. Nadal nie umie ci powiedzieć, jaki jest dzień. Model bez kalendarza i bez internetu zgaduje daty i niedawne wydarzenia i nie zawsze to przyznaje, cokolwiek każe prompt.\nTrzy lata, żeby uruchomić AI na Linuksie AMD wypuściło Ryzen AI na scenę w styczniu 2023 jako „the first dedicated artificial intelligence hardware in an x86 processor”19. Licz od tej prezentacji:\nKiedy Co się stało na Linuksie Po prezentacji 4 stycznia 2023 ogłoszenie Ryzen AI, w Ryzenie 7040 25 stycznia 2024 amd/xdna-driver opublikowany na GitHubie4 1 rok 24 marca 2025 amdxdna w głównej linii Linuksa, 6.1420 2 lata i 2 miesiące 27 marca 2025 premiera tego układu, Ryzen AI 7 PRO 3501 2 lata i 2 miesiące 11 marca 2026 FastFlowLM 0.9.35, pierwsze natywne wydanie na Linuksa21 3 lata i 2 miesiące 11 sierpnia 2026 FastFlowLM 1.0.0, już pod ROCm od AMD6 3 lata i 7 miesięcy dziś wciąż brak runtime\u0026rsquo;u LLM dla 7040 i 80402 3 lata i 10 miesięcy Trzy lata i dwa miesiące, żeby w ogóle uruchomić model językowy na NPU pod Linuksem, i nie zrobiło tego własne oprogramowanie AMD. Zrobił to FastFlowLM, projekt, który zaczął się poza firmą i został w tym roku przyjęty pod ROCm. Jego linuksowe informacje o wydaniu zaczynają się od „The wait is finally over”, a potem mówią, że używa „the exact same recipe you already know and love on Windows”21. Fisher-Price OS (Windows) dostał to pierwszy, i sami to powiedzieli. Własne Ryzen AI Software od AMD wciąż mówi w obecnych informacjach o wydaniu: „Model generation is not supported on Linux in this release”22.\nKtokolwiek kupił pierwszą generację, ma gorzej. Laptop z Ryzenem 7040 z 2023 roku ma NPU, którego nie tknie żaden runtime modeli językowych na Linuksie, a nic, co opublikowano, nie mówi, że jakiś się pojawi. Ta sama plakietka.\nCzy mogę zapytać dlaczego? Nie kto, tylko dlaczego. Co w procesie AMD pozwoliło sprzedawać układ z AI w nazwie, podczas gdy oprogramowanie do używania tego AI na Linuksie pojawiło się lata później, z zewnątrz? Karta katalogowa mówi „Up to 50 TOPS”1. Plakietka mówi Ryzen AI. Jedno i drugie to deklaracje złożone osobie kupującej laptopa, a przez pierwszy rok tego układu na Linuksie oba były warte tyle co nic.\nCelowane w Copilota, nie w centrum danych Nie chodzi o to, że AMD uważa Linuksa za trudnego. W centrum danych Linux jest pierwszą klasą i AMD o tym wie: El Capitan w Lawrence Livermore to procesory AMD EPYC i akceleratory AMD Instinct, był najszybszym komputerem świata do czerwca tego roku23, a działa na TOSS, własnej kompilacji Red Hat Linux z Livermore24. Wyobrażasz sobie, że AMD sprzedaje akcelerator Instinct i mówi kupującemu, że oprogramowanie na Linuksa kiedyś się pojawi, od kogoś innego? Odpowiedź brzmiałaby: nie. AMD nawet napisało sterownik jądra dla tego NPU i wprowadziło go do głównej linii. Ostatnia warstwa, ta, która sprawia, że sprzęt robi to, do czego go sprzedano, to kawałek, na który kazano czekać.\nTo w ogóle nie powinno było być projektem laptopowym. Ta sama architektura XDNA trafiła w tym samym roku na kartę do centrum danych, Alveo V70, sprzedawaną jako „the first Alveo production card leveraging AMD XDNA architecture with AI Engines”25. Zbuduj jeden stos oprogramowania dla AI Engine, najpierw na Linuksa, jak resztę centrum danych, a laptop dostanie go za darmo. Serwer też. Mały, oszczędny akcelerator to dokładnie to, co chcesz rozdawać maszynom wirtualnym, każdej po kawałku, dla małych modeli, które nie potrzebują całego GPU. Jądro nauczyło się to robić dopiero w tym roku, dzieląc NPU na funkcje wirtualne w nowych częściach AIE426. Na NPU w tym laptopie nie umie tego zrobić wcale.\nZamiast tego wysiłek poszedł w Fisher-Price OS (Windows) i w Copilota. AMD wprowadziło generację tego układu jako procesory, które „Unlock Transformational AI Experiences for Windows Copilot+ PCs”27. Prawie nikt się nie skusił. Maszyny Copilot+ stanowiły 2,3% komputerów z Fisher-Price OS (Windows) sprzedanych w pierwszym kwartale 2025, a nowsze funkcje Copilota od Microsoftu i tak działają w chmurze: „only one of its new AI capabilities actually requires an NPU”28. Microsoft podaje też, że to, co zarabia na producentach komputerów, spadło o 7% przez „lower PC market demand”, przy „roughly 30% of the installed base still on Windows 10”29. NPU wycelowano więc w system operacyjny, którego ludzie nie aktualizują, żeby uruchamiał asystenta, o którego nie prosili, a który w większości nie używa NPU.\nAni też nie tam buduje się AI. Ludzie, którzy robią to zawodowo, używają Linuksa, bo tam działają ich narzędzia. TensorFlow mówi wprost, że 2.10 „was the last TensorFlow release that supported GPU on native-Windows”30. Serwer modeli vLLM „does not support Windows natively”31. JAX podaje swoją kompilację na Fisher-Price OS (Windows) jako eksperymentalną, a obsługę AMD jako „AMD GPU (Linux)”32. Tam, gdzie Fisher-Price OS (Windows) w ogóle uruchamia te narzędzia, robi to przez WSL 2, który według opisu samego Microsoftu to „an actual Linux kernel inside a managed VM”33. AMD wycelowało swój układ AI w jedyny desktop, którego zawód AI nie używa. Częściowe wsparcie tego to za mało, AMD.\nA potem AMD sprzedaje się inwestorom jako firma od AI. 11 listopada 2025 jej przewodnicząca i prezeska powiedziała, że AMD „is uniquely positioned to lead the next generation of high-performance and AI computing”, w komunikacie, który chwali się wzrostem „AI PC portfolio 2.5x since 2024” i kończy się na „full-stack AI solutions”34. Pełny stos. Na komputerze AI z tego wpisu wierzchołek tego stosu przyszedł z projektu, którego AMD nie zaczęło, a na pierwszej generacji nie przyszedł nigdy. Firma od AI, której własny układ AI czekał trzy lata, żeby uruchomić AI na systemie operacyjnym, na którym zbudowany jest jej biznes centrów danych? Śmiechu warte.\nWsparcie pierwszej klasy łatwo opisać. Działa w dniu, w którym kupujesz maszynę, na systemie operacyjnym, którego używasz, od firmy, która sprzedała ci układ. To NPU jeszcze tego nie spełniło. Kupiłem laptopa dla całej reszty, a NPU przyszło w komplecie, i tylko dlatego to jest opis, a nie skarga. Każdy, kto kupił go dla AI z plakietki i używa Linuksa, kupił obietnicę, którą dotrzymano późno, i to ktoś inny.\nBądź właścicielem krzemu, za który zapłaciłeś NPU przyszło z laptopem. Tak, jak się je sprzedaje, to kawałek, który robi z maszyny sprzęt gotowy na AI, a oferowane AI jest cudze, w cudzym centrum danych, i czyta to, co wpisujesz, żeby dało się na tym zarobić w jakiś inny sposób. Nic w sprzęcie nie wymaga takiego układu. Model 4B na 21 W odpowiada na pytanie, czyta wklejkę na 175 000 słów, jeśli dasz mu czas, i zapisuje to, co mówisz, i nic z tego nie opuszcza biurka.\nGotowe oprogramowanie to nie jest, a każdy szorstki kant opisany wyżej kosztował godzinę szukania i wiersz czy dwa poprawki. Tyle kosztuje open source, kiedy naprawdę go używasz. To nadal lepszy interes niż wynajmowanie tej samej możliwości z powrotem, a za tę godzinę kupujesz wiedzę, jak to działa.\nKontenery trzymają to w uczciwości. Nic na hoście poza modułem jądra i jego firmware, jedno urządzenie przekazane do jednego kontenera, adres, do którego nikt inny nie dosięgnie, i kontrola, która zawodzi w chwili, gdy kawałki przestają do siebie pasować. Zajęło to dzień. Będzie działać, bo wiem, po co jest każdy jego wiersz, a kontrola powie mi tego ranka, kiedy któryś z nich przestanie być prawdą.\nAMD — Ryzen AI 7 PRO 350 — 8 rdzeni, 16 wątków, Radeon 860M, „NPU TOPS: Up to 50 TOPS”, data premiery „3/27/2025”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLemonade — LLMs on Linux with FastFlowLM — tylko XDNA2 (Ryzen AI 300/400, Strix Halo), nie XDNA1; firmware NPU 1.1.0.0 lub nowszy; nie ustawiaj amd_iommu=off.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLinux kernel documentation — amdxdna — sterownik akceleratora w drzewie jądra dla NPU od AMD.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\namd/xdna-driver — sterownik, submoduł XRT i wtyczka; bazowy pakiet XRT buduj z dołączonego submodułu, żeby działał z wtyczką; repozytorium utworzone 25 stycznia 2024.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLinux v7.3 — drivers/accel/amdxdna/amdxdna_pci_drv.c — AMDXDNA_DRIVER_MAJOR 0, AMDXDNA_DRIVER_MINOR 10; tak samo w v7.2.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nROCm/FastFlowLM — runtime LLM na NPU dla XDNA2, serwer zgodny z OpenAI, część ROCm od v1.0.0; użyte tu wydanie to v1.0.12.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nFastFlowLM — LICENSE_BINARY.txt — warunki dla dołączonych binariów kerneli NPU.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRPM 6.0.0 release notes — „RPM defaults to enforcing signature checking”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\npodman-systemd.unit(5) — jednostki .container Quadleta, w tym AddDevice=, Ulimit=, StopSignal= i Exec=.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nloginctl(1) — enable-linger uruchamia menedżera użytkownika przy starcie i utrzymuje go po wylogowaniu.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nQwen/Qwen3.5-4B — „Context Length: 262,144 natively”; hybrydowe warstwy Gated DeltaNet i gated attention.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nggml-org/llama.cpp — obraz kontenera server-vulkan użyty do przebiegów na GPU, kompilacja 12352.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nmlc-ai/mlc-llm — testowane z nocnymi pakietami 0.26.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nopenai/whisper-large-v3-turbo — „a state-of-the-art model for automatic speech recognition (ASR) and speech translation”; przycięty z large-v3, „the number of decoding layers have reduced from 32 to 4”; 809M parametrów; licencja MIT.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nopen-webui/open-webui — użyte tu wydanie v0.13.3.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nQwen/Qwen2.5-7B-Instruct — tokenizer_config.json — domyślny komunikat systemowy szablonu czatu: „You are Qwen, created by Alibaba Cloud. You are a helpful assistant.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nQwen/Qwen3-4B — tokenizer_config.json — szablon czatu bez domyślnego komunikatu systemowego.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nQwen/Qwen3.5-4B — tokenizer_config.json — szablon czatu bez domyślnego komunikatu systemowego.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nAMD — AMD Highlights Future of High-Performance and Adaptive Computing During Opening Keynote of CES 2023 — 4 stycznia 2023: „AMD also unveiled Ryzen AI Technology – the first dedicated artificial intelligence hardware in an x86 processor.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nKernel Newbies — Linux 6.14 — wydany w poniedziałek 24 marca 2025; „an amdxdna driver for AMD NPUs”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nFastFlowLM v0.9.35 release notes — 11 marca 2026: „The wait is finally over… FastFlowLM is officially available natively on Linux!”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nAMD — Ryzen AI Software release notes — znane problemy: „Model generation is not supported on Linux in this release.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nTOP500 — June 2026 — „LineShine debuts as the new No. 1 system, ending El Capitan\u0026rsquo;s run atop the list”; El Capitan „is based on AMD 4th generation EPYC processors… and AMD Instinct MI300A accelerators”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLLNL — TOSS: Speeding Up Commodity Cluster Computing — „a fully functional cluster operating system, based on Red Hat Linux”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nAMD — Alveo V70 — „the first Alveo production card leveraging AMD XDNA architecture with AI Engines… designed for AI inference efficiency”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLinux — accel/amdxdna: Add basic support for AIE4 devices — „Add initial support for AIE4 devices (PCI device IDs 0x17F2 and 0x1B0B), including… SR-IOV enablement”. Tabela sterownika daje wpisy funkcji wirtualnych tylko tym częściom; NPU tego laptopa to 17f0.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nAMD — AMD Unveils Next-Gen „Zen 5” Ryzen Processors to Power Advanced AI Experiences — Computex, 2 czerwca 2024: „AMD Ryzen AI 300 Series Processors Unlock Transformational AI Experiences for Windows Copilot+ PCs”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nEngadget — Microsoft\u0026rsquo;s Copilot+ AI PC plan fizzled, but it still served a purpose — 5 grudnia 2025: systemy Copilot+ „made up just 2.3 percent of Windows machines sold in the first quarter of 2025”; „only one of its new AI capabilities actually requires an NPU”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nWindows Latest — Microsoft admits its end of support was the real Windows 11 sales driver — 31 lipca 2026, cytując konferencję wynikową Microsoftu: „Windows OEM and Devices revenue decreased 7%… driven by lower PC market demand”; „roughly 30% of the installed base still on Windows 10”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nTensorFlow — Install TensorFlow with pip — „TensorFlow 2.10 was the last TensorFlow release that supported GPU on native-Windows.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nvLLM — GPU installation — „vLLM does not support Windows natively”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nJAX — Installation — pakiety CPU dla „Windows, x86_64 (experimental)”; sekcje GPU dla NVIDIA, Google Cloud TPU, Maca i „AMD GPU (Linux)”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nMicrosoft — Comparing WSL versions — „the use of an actual Linux kernel inside a managed VM”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nAMD — AMD Unveils Strategy to Lead the $1 Trillion Compute Market and Accelerate Next Phase of Growth — Financial Analyst Day, 11 listopada 2025: „AMD is uniquely positioned to lead the next generation of high-performance and AI computing”; „AMD has expanded its AI PC portfolio 2.5x since 2024”; „AMD delivers full-stack AI solutions”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\n","permalink":"https://blogs.damiendye.uk/pl/hardware/ryzen-ai-npu-llm-in-a-container/","summary":"NPU w laptopie z Ryzen AI to 50 TOPS, które na większości instalacji Linuksa stoją bezczynnie. Tu przechodzisz przez zbudowanie sterownika amdxdna od AMD z zostawieniem na hoście tylko modułu jądra, zbudowanie FastFlowLM z runtime\u0026rsquo;em XRT od AMD w bezrootowym kontenerze podmana dopasowanym do tego sterownika, przypięcie wszystkiego do pętli zwrotnej IPv6 i uruchamianie przy starcie przez Quadlet. Potem to, co to robi: dziewięć modeli w benchmarku, test kontekstu na 232 000 tokenów, rozpoznawanie mowy Whisperem dziesięć razy szybciej niż w czasie rzeczywistym, Open WebUI i 7000 ukrytych tokenów, które doklejało do każdej wiadomości, oraz szybkość i zużycie energii NPU zmierzone w porównaniu z llama.cpp na zintegrowanym Radeonie 860M. Na koniec oś czasu: trzy lata od ogłoszenia Ryzen AI przez AMD do modelu językowego na jego NPU pod Linuksem, dostarczonego przez projekt, którego AMD nie zaczęło, podczas gdy wysiłek szedł w Copilot+ na Fisher-Price OS (Windows), a nie w centrum danych i linuksowe narzędzia, których naprawdę używają zawodowcy od AI.","title":"LLM na NPU Ryzen AI, w kontenerze"},{"content":"Ujawniam na wstępie: pracuję dla croit, firmy, która napisała FlashStore. Wszystko poniżej jest wyczytane z kodu i dokumentacji Cepha w wersji v21.2.0 oraz z opublikowanej przez croit migawki ceph-rust, wszystko podlinkowane na dole strony. Tam, gdzie po jednej stronie sporu stoi rozumowanie samego croit, mówię, czyje to rozumowanie.\nDwie przeróbki tego samego demona Klasyczny OSD w Cephie to wielowątkowy serwer w C++, który wyrósł na dyskach talerzowych. Na szybkim NVMe i szybkich sieciach dużą część procesora wydaje na rzeczy, które nie są przechowywaniem twoich danych: przekazywanie operacji między pulami wątków, zakładanie blokad, czekanie na inne wątki. Dwa projekty postanowiły to naprawić, przepisując OSD od podstaw.\nJeden to Crimson, własny projekt Cepha. Dokumentacja Umbrelli nazywa go „the next generation ceph-osd”, zbudowanym „to deliver enhanced performance on fast network and storage devices”1. Drugi to FlashStore OSD od croit, z projektu ceph-rust, w publicznej wersji zapoznawczej od 9 listopada 20262.\nOba mówią, że są zamiennikami typu drop-in. Oba mówią, że są dla NVMe. Oba są w wersji zapoznawczej i żaden nie powinien dziś trzymać danych produkcyjnych. Jeśli więc prowadzisz Cepha na NVMe i zastanawiasz się, któremu się przyglądać, warto wiedzieć, gdzie naprawdę się różnią, bo nie tam, gdzie sugerowałyby nagłówki.\nTo porównanie pokazuje je takimi, jakie zastaniesz w Cephie 21.2.0, Umbrella: Crimsona w wersji, którą to wydanie dokumentuje i dostarcza, kontra FlashStore, budowany i testowany na tym samym wydaniu2. Jest kontynuacją FlashStore kontra BlueStore z Umbrelli i wszystko, co tam już powiedziano o FlashStore, przyjmuję za znane.\nDwie przeróbki jednego demona klasyczny ceph-osd C++, wątki Crimson upstream Cepha, C++ na Seastar croit-flashstore-osd croit, Rust, własny runtime BlueStore domyślny SeaStore natywny CyanStore bez danych FlashStore jedyny magazyn Dwie przeróbki klasycznego OSD. Crimson trzyma do wyboru trzy magazyny, z BlueStore jako domyślnym; FlashStore ma jeden. Skąd każdy z nich pochodzi Pierwsza różnica to kto go buduje i jak.\nCrimson FlashStore Buduje upstream Cepha, w głównym drzewie croit Język C++ Rust Framework Seastar własny jednowątkowy executor croit Kod w ceph/ceph przeróbka clean-room, bez linkowania kodu Cepha Rozwój upstream, otwarty migawki tylko do odczytu w wersji zapoznawczej; otwarty po pierwszym wydaniu produkcyjnym Licencja licencja Cepha demon LGPL-3.0, klienci MPL-2.0 Status własnymi słowami „not suitable for production use” „not yet recommended for production data” Planowane GA nie podano I kwartał 2027 Crimson żyje we własnym repozytorium Cepha i budują go deweloperzy Cepha. Jest napisany na Seastar, frameworku C++ dla serwerów z wątkiem na rdzeń, który wyszedł z ScyllaDB3. Dokumentacja Umbrelli mówi wprost, że „is in a tech-preview stage and is not suitable for production use”1.\nFlashStore jest napisany od zera w Rust i nie linkuje żadnego kodu Cepha; kod C++ Cepha jest czytany jako punkt odniesienia i implementowany na nowo według własnych specyfikacji croit4. Jego README mówi, że służy do testów i oceny i jest „not yet recommended for production data”, a ogólna dostępność planowana jest na pierwszy kwartał 20272. Publiczne repozytorium to migawka tylko do odczytu: „no issue tracker, no contribution workflow”2.\nTen wiersz warto przeczytać uważnie. Crimson rozwijany jest otwarcie i każdy może czytać pull requesty i się o nie spierać. FlashStore na razie przychodzi jako gotowe migawki od jednej firmy: możesz przeczytać każdą linię, ale nie możesz jeszcze wysłać łatki. To etap wersji zapoznawczej, nie plan. Wersja zapoznawcza ma zebrać opinie społeczności, podczas gdy croit przeprowadza wewnętrznie swoje produkcyjne przypadki testowe, zanim uzna OSD za bezpieczny w użyciu. Otwarty rozwój przyjdzie po tym pierwszym wydaniu produkcyjnym, tą samą drogą, którą idzie większość projektów open source sponsorowanych przez firmy. To informacja z wnętrza croit, a nie z opublikowanej mapy drogowej, więc trzymaj ich za słowo.\ncroit przyglądał się forkowi Crimsona i zapisał, czemu go nie zrobił. Jego ADR mówi, że Crimson „tries to support everything (HDD, alienstore/BlueStore, all pool types)”, i dodaje „Complex code is never fast”4. To opinia croit o Crimsonie, a nie pomiar, i tak bym to traktował. Ten sam ADR odrzucił fork częściowo z powodu LGPL4, a croit osiem dni później wydał własnego demona na licencji LGPL-3.05. Licencja nigdy więc tak naprawdę nie była powodem.\nBezpieczeństwo pamięci: Rust kontra C++ OSD to kod, który trzyma twoje dane. Use-after-free albo przepełnienie bufora w nim to nie awaria, po której się restartuje; to uszkodzone dane na dysku, skopiowane do każdej repliki. To dokładnie ta klasa błędów, którą zachodnie agencje cyberbezpieczeństwa od trzech lat każą branży eliminować już na etapie projektu.\nWytyczne Kto się pod nimi podpisał Co mówią The Case for Memory Safe Roadmaps, grudzień 2023 CISA, NSA i FBI (USA), ACSC przy ASD (Australia), CCCS (Kanada), NCSC-UK, NCSC-NZ, CERT-NZ C i C++ nie są bezpieczne pamięciowo; opublikuj plan odejścia od nich Product Security Bad Practices v2.0, styczeń 2025 CISA i FBI nowe linie produktów dla infrastruktury krytycznej w C lub C++ są „dangerous”, gdy dostępne są języki bezpieczne pamięciowo Wspólne wytyczne mówią to wprost: „Programming languages such as C and C++ are examples of memory unsafe programming languages”6. CISA i FBI idą dalej i nazywają niebezpiecznym „the development of new product lines for use in service of critical infrastructure or NCFs in a memory-unsafe language (e.g., C or C++)”, gdy można by użyć alternatywy bezpiecznej pamięciowo7. To wytyczne, nie prawo. Ale magazyn danych pod usługami krytycznymi to dokładnie ten kod, w który celują, a oba te projekty to OSD nowej generacji, które będą według nich oceniane.\nFlashStore je spełnia. Jest napisany w Rust, a ADR croit podaje powód w jednej linii: „Storage = correctness-critical; memory-safety bugs = data loss”8. Kompilator sprawdza bezpieczeństwo pamięci wszędzie poza kodem oznaczonym unsafe, a ten sam ADR ogranicza go do modułów FFI, DMA, NVMe i sterowników sieciowych, każdy z komentarzem SAFETY8. Policzyłem to w migawce: 1216 linii, w których pada unsafe, na 696 125 linii Rusta, około 0,17%, i siedzą one w crate\u0026rsquo;ach RDMA, runtime, NVMe i magazynu, gdzie kod rozmawia ze sprzętem. Wspólne wytyczne same wymieniają tę furtkę, zauważając, że Rust „can contain the \u0026lsquo;unsafe\u0026rsquo; keyword”6, więc to jest uczciwa miara: nie zero, ale mało, odgrodzone i tam, gdzie można się tego spodziewać. Kod C, który wywołuje, czyli SPDK i DPDK, siedzi za tymi samymi granicami8.\nCrimson ich nie spełnia. To nowy OSD napisany w C++ na frameworku C++13, czyli w języku, który wymienione wyżej agencje nazywają niebezpiecznym pamięciowo. Każda jego linia leży poza tym, co kompilator może sprawdzić pod kątem bezpieczeństwa pamięci, a w konfiguracji domyślnej oddaje magazyn BlueStore, który też jest w C++.\nCrimson FlashStore Język C++ Rust Bezpieczeństwo pamięci sprawdzane przez kompilator nie tak, poza unsafe Kod niesprawdzany cały około 0,17% linii, kod sterowników i FFI Magazyn domyślny BlueStore, C++ FlashStore, Rust Zgodny z wytycznymi Five Eyes o bezpieczeństwie pamięci nie tak Deweloperzy Cepha nie wybrali C++ beztrosko; Crimson wyrósł z bazy kodu w C++, a przepisywanie w miejscu oznaczało zostanie przy nim. To rozsądna ścieżka inżynierska. Mimo to OSD nowej generacji w Cephie zostaje napisany w jedynym rodzaju języka, od którego agencje pięciu krajów poprosiły nowy kod krytyczny odejść.\nJak każdy dołącza do klastra To największa praktyczna różnica między nimi i w ogóle nie dotyczy wydajności.\nOSD FlashStore dołącza do pul, które już masz. Siedzi w tych samych placement groups obok klasycznych OSD z BlueStore, a dyski wymieniasz po jednym2.\nOSD Crimson nie. Nawet w przybliżeniu. Dokumentacja Umbrelli mówi: „Crimson OSD won\u0026rsquo;t instantiate PGs from non-Crimson pools”1. Kod robi dokładnie to. Gdy monitor prosi OSD Crimson o utworzenie PG w puli bez flagi crimson, ten zapisuje w logu „pool lacks crimson flag” i anuluje tworzenie9.\nKtóre pule każdy obsłuży twoja istniejąca pula bez flagi crimson klasyczny OSD BlueStore OSD FlashStore te same PG OSD Crimson tylko pule crimson PG ignorowane nowa pula, --crimson autoskalowanie wył. FlashStore przejmuje PG w twoich istniejących pulach. Crimson obsługuje tylko pule utworzone z flagą crimson, więc potrzebuje nowych pul i skopiowania do nich danych. Próba z Crimsonem oznacza więc nowe pule, utworzone z flagą crimson, i przeniesienie do nich danych. A te pule przychodzą z warunkami, których pilnuje monitor:\nReguła puli Crimson (Umbrella) Gdzie Autoskalowanie PG musi być wyłączone przy tworzeniu puli OSDMonitor, tworzenie puli10 Łączenie PG (zmniejszanie pg_num) odrzucane OSDMonitor, zmiana pg_num11 Dzielenie PG dozwolone tylko, gdy crimson_allow_pg_split ma wartość true to samo, plus ta opcja12 Pule EC muszą być typu zoptymalizowanego EC, bez wyjątków OSDMonitor, tworzenie puli13 Brak OMAP na pulach EC to samo13 FlashStore obsługuje klasyczne pule, zarówno replikowane, jak i z erasure coding, a konfiguracji EC, których nie obsługuje, odmawia sam, zamiast odrzucać je na monitorze14. Żadne z tych podejść nie jest złe. Ale jedno pozwala testować na kopii twojego prawdziwego układu pul, a drugie każe ci najpierw zbudować osobny.\nNie ma przejścia dla pul, które już masz Czy możesz więc zamienić istniejącą pulę w pulę Crimsona i przenosić ją dysk po dysku? Nie.\nDokumentacja Umbrelli mówi, że Crimson jest „aiming to allow seamless migration from existing ceph-osd deployments”1. Aiming, czyli dopiero celuje. Wydanie tego nie robi, a kod pokazuje, czemu nie może. Flaga crimson to opcja ceph osd pool create i nigdzie indziej15. ceph osd pool set nie ma zmiennej crimson, którą dałoby się ustawić na puli, która już istnieje16. A OSD Crimson ignoruje każdy PG w puli bez flagi, jak wyżej9. Nie znalazłem w kodzie ani w dokumentacji żadnego narzędzia do konwersji.\nPrzeniesienie istniejącej puli Crimson (Umbrella) FlashStore, dziś Zachowanie tej samej puli nie, potrzebna nowa pula tak Czy pulę da się oflagować później nie, tylko przy tworzeniu niepotrzebne Jak przenoszą się dane kopiujesz je sam, z puli do puli klaster robi backfill Przekierowanie klientów tak, na nową pulę nie Po jednym dysku nie tak To robi z przejścia na Crimsona kopiowanie danych, które prowadzisz sam: obrazy RBD da się migrować na żywo „between different pools”17, a dane obiektowe i plikowe wymagają tego, czym twoje aplikacje je kopiują. Potem każdego klienta trzeba skierować na nową pulę.\nFlashStore jest zgodny z pulami, które prowadzisz dziś. Przygotowujesz go na dysku, klaster robi backfill przydzielonych mu placement groups, a twoi klienci nigdy nie zauważą, że pula zmieniła się pod nimi, bo się nie zmieniła18. Na tym polega cała różnica między przeróbką, która dołącza do twojego klastra, a taką, która stoi obok niego.\nCo każdy mówi monitorowi Crimson się przedstawia. Przy starcie wysyła osd_type=crimson19, a monitor nie wpuszcza go, dopóki nie jest ustawiona flaga OSDMap allow_crimson, z linią w logu, że crimson-osd „is considered unstable and may result in crashes or data loss”20. Dojście do tego miejsca wymaga czterech poleceń z dokumentacji, z których pierwsze ustawia opcję o nazwie enable_experimental_unrecoverable_data_corrupting_features1.\nFlashStore robi odwrotnie. Nie wysyła żadnego osd_type i zgłasza osd_objectstore=bluestore, więc monitor widzi klasyczny OSD i nie zadaje pytań21. Poprzedni artykuł wyjaśnia dlaczego: monitor Umbrelli warunkuje funkcje takie jak nadpisywanie w EC tym, że każdy OSD w puli zgłasza BlueStore21. To dotyczy standardowych monitorów i managerów, które dziś działają na produkcji. We własnych buildach Cepha od croit, gdzie są załatane tak, by go znały, FlashStore zgłasza się jako flashstore21.\nCo monitor sprawdza przy starcie OSD Crimson osd_type=crimson mon: jest allow_crimson? set-allow-crimson nie: start odrzucony „crashes or data loss” OSD FlashStore brak osd_type mon: klasyczny OSD objectstore=bluestore startuje, bez flagi obsługuje istniejące pule Crimsona trzeba wpuścić, z nazwy, za flagą, przed którą ostrzega monitor. FlashStore wchodzi jako klasyczny OSD. Wolę, kiedy oprogramowanie mówi mi, czym jest. Crimson mówi. Jego sposób jest uczciwy, a nazwa flagi nie zostawia wątpliwości, na co się zgadzasz. Sposób FlashStore to to, co sprawia, że drop-in działa na standardowych monitorach i managerach, jakie ludzie dziś prowadzą, i jest to środek zgodności, a nie stan docelowy. Oba są zamierzone i oba są opisane. Po prostu wiedz, z którym masz do czynienia, kiedy liczysz swoje OSD.\nRdzenie: reaktory kontra przypięte wątki odpytujące Oba projekty wyrzuciły pule wątków. Dobrze. Oba uruchamiają jeden wątek na rdzeń i dzielą pracę według rdzeni. Różnica tkwi w tym, ile wymagają od operatora i jak mocno trzymają się rdzenia.\nCrimson FlashStore Jednostka pracy reaktor Seastar na rdzeń przypięty wątek na rdzeń Liczba rdzeni crimson_cpu_num, bez domyślnej, trzeba ustawić flashstore_cores, domyślnie 8 Przypięcie do rdzeni tylko z crimson_cpu_set tak, flashstore_lcores Zachowanie w bezczynności odpytuje 200 µs, potem śpi odpytuje, adaptacyjna bezczynność Pełne busy-poll opcjonalnie, crimson_poll_mode tak jest zaprojektowany, z wycofaniem w bezczynności Zmiana po wdrożeniu nie shardy magazynu ustalone przy przygotowaniu W Crimsonie crimson_cpu_num „does not have a default value”, musi być ustawione przed wdrożeniem OSD i „cannot be changed after deployment”1. Nie przypina wątków, chyba że ustawisz też crimson_cpu_set, co dokumentacja opisuje jako „generally less recommended due to its complexity”1. Reaktor w bezczynności odpytuje przez 200 µs, zanim wróci do snu, a pełny tryb odpytywania istnieje „at the expense of 100% cpu usage”, domyślnie wyłączony22. SeaStore też odrzuca zmianę liczby reaktorów po mkfs23.\nFlashStore przypina z założenia, odpytuje z założenia i odpuszcza w bezczynności2425. Liczba shardów jego magazynu jest ustalana przy przygotowaniu magazynu, to samo ograniczenie w innym miejscu26.\nW praktyce oba chcą całych rdzeni i oba chcą, żebyś dobrał ich liczbę przed wdrożeniem. Crimson robi z odpytywania wybór, na który się decydujesz. FlashStore robi z niego ustawienie domyślne i pozwala logice bezczynności odzyskać część procesora.\nDomyślny magazyn Crimsona to BlueStore To część, która mnie zaskoczyła. Nie powinna była.\nCrimson ma dwa rodzaje magazynów obiektów. Natywne działają wewnątrz reaktora Seastar; nienatywne działają przez „a thread pool proxy” na „alien threads: worker threads not managed by Seastar”1. SeaStore jest tym natywnym. BlueStore jest nienatywny. I to BlueStore jest domyślny.\nDokumentacja mówi o tym bez ogródek. SeaStore „is the primary native object store for Crimson OSD, though it is not the default as the support is in early stages”1. Cephadm wdraża Crimsona z --objectstore bluestore, chyba że powiesz inaczej, a nawet wtedy SeaStore nie da się wdrożyć z --method raw; dostajesz polecenie, by użyć LVM1.\nDomyślny magazyn Crimsona kontra FlashStore Crimson, magazyn domyślny reaktory Seastar crimson_cpu_num proxy puli wątków przekazanie poza reaktor obce wątki (alien) crimson_bluestore_num_threads BlueStore RocksDB na BlueFS FlashStore rdzeń, do którego należy PG przypięty, odpytuje shard magazynu, ten sam rdzeń bez przekazania kolejka NVMe, ten sam rdzeń SPDK albo io_uring Domyślny OSD Crimson wypycha każdą operację magazynu ze swojego reaktora do puli zwykłych wątków z BlueStore. FlashStore trzyma całą ścieżkę na rdzeniu, który jest właścicielem PG. OSD Crimson wdrożony dziś z ustawieniami domyślnymi to więc front-end Seastar na tym samym BlueStore, RocksDB i BlueFS, których używa klasyczny OSD, z odłożonymi dla nich crimson_bluestore_num_threads wątkami22. Po stronie magazynu nic się nie zmieniło względem klasycznego OSD, nic a nic. To rozsądny sposób na zbudowanie ścieżki migracji. To też powód, dla którego porównywanie wydajności „Crimsona” z FlashStore niewiele znaczy, jeśli nie powiesz, na jakim magazynie chodził Crimson.\nUczciwe porównanie magazynów to SeaStore kontra FlashStore. Temu poświęcona jest reszta tego artykułu.\nSeaStore i FlashStore: gdzie żyją metadane Oba magazyny pisano od początku pod NVMe, oba są podzielone według rdzeni i oba trzymają metadane we własnych B-drzewach zamiast w RocksDB. Ich układy i tak bardzo się różnią.\nSeaStore daje każdemu reaktorowi własny korzeń27. Pod nim siedzą drzewo onode, drzewo LBA i drzewo backref. Onode każdego obiektu wskazuje następnie na jego własne B-drzewo OMAP i własne B-drzewo XATTR oraz na ekstenty danych z adresami logicznymi27. Drzewo LBA mapuje te adresy logiczne na fizyczne, więc blok może przenieść się na dysku bez zmiany drzew samego obiektu; dokumentacja nazywa tę pośredniość powodem, dla którego większość ekstentów „can be relocated freely”27.\nFlashStore wkłada wszystko do jednego B+drzewa copy-on-write na shard: onode, xattr, OMAP, mapy ekstentów z crc32c na każdy blok 4 KiB, log PG i bitmapę alokatora28. Mapy ekstentów wskazują wprost na bloki fizyczne. Pomiędzy nie ma warstwy logicznej.\nGdzie żyją metadane SeaStore korzeń drzewo onode drzewo LBA drzewo backref onode OMAP własne drzewo XATTR własne drzewo dane adres logiczny adres logiczny, potem drzewo LBA, potem dysk FlashStore jedno B+drzewo COW na shard onode, xattr OMAP mapy ekstentów + crc32c log PG, info PG bitmapa alokatora mapa ekstentów, potem dysk SeaStore: drzewo na każdy rodzaj rzeczy, B-drzewo na obiekt dla OMAP i xattr oraz drzewo LBA, by znaleźć dane. FlashStore: jedno drzewo na shard, wskazujące prosto na dysk. Oba wybory mają swój powód. Pośredniość SeaStore to właśnie to, co czyni jego czyszczenie tanim: może przenosić żywe dane bez przepisywania każdego drzewa, które na nie wskazuje. FlashStore tego nie potrzebuje, bo nie ma mechanizmu czyszczenia, o czym niżej. Jego ADR wymienia „Per-object omap subtree/root” wśród rozważonych i odrzuconych alternatyw28.\nJedna różnica w sumach kontrolnych, którą warto znać: SeaStore liczy crc32c dla całego ekstentu w pamięci podręcznej29, a FlashStore trzyma jedną na każdy blok 4 KiB28.\nKolejność, w jakiej zatwierdzany jest zapis Domyślny typ urządzenia SeaStore to SSD, który używa backendu segmentowego30. Na tym backendzie transakcja to rekord dziennika niosący delty, a z danymi mogą stać się dwie rzeczy.\nMałe, krótko żyjące ekstenty mogą jechać inline w rekordzie dziennika, i wtedy rekord jest całym zatwierdzeniem27. Większe albo dłużej żyjące ekstenty trafiają do osobnych segmentów poza linią, i wtedy dokumentacja ustala kolejność: „final record with the deltas should be written only once the other blocks are persisted”27. To dwa zapisy po kolei, ten sam kształt co w BlueStore: najpierw dane, potem zatwierdzenie w RocksDB.\nFlashStore zapisuje ekstent danych i jednostkę WAL jednocześnie, wkłada crc32c nowych danych do rekordu WAL, żeby odtwarzanie mogło je sprawdzić, i potwierdza zapis, gdy oba są trwałe28. Jedna podróż do urządzenia, niezależnie od rozmiaru.\nKiedy może wyjść zatwierdzenie SeaStore mały ekstent rekord dziennika ekstent inline + delty ack 1 podróż SeaStore poza linią ekstent do segmentu OOL czeka na utrwalenie rekord dziennika delty ack 2 podróże FlashStore dane, świeże 4 KiB jednostka WAL, crc danych ack 1 podróż czas SeaStore na domyślnym urządzeniu segmentowym: jedna podróż, gdy ekstent mieści się w rekordzie dziennika, dwie po kolei, gdy idzie poza linię. FlashStore: dane i rekord logu razem. Ile to znaczy, zależy od obciążenia, dokładnie jak w porównaniu z BlueStore. Przy małej głębokości kolejki, gdy klienci czekają na każdy zapis, druga podróż to realne opóźnienie. Pod obciążeniem grupowanie ukrywa większość tego.\nOdzyskiwanie miejsca Druga połowa projektu opartego na logu to sprzątanie.\nSeaStore na backendzie segmentowym pisze zawsze tylko do otwartych segmentów. Zanim segment da się użyć ponownie, jego żywe bloki trzeba przepisać gdzie indziej, a dokument projektowy mówi, ile to kosztuje: „we must \u0026lsquo;clean\u0026rsquo; one byte of an existing segment for every byte written at steady state”27. Część tego czyszczenia miesza z bieżącymi zapisami, żeby uniknąć skoków, a resztę robi w tle, gdy dysk jest mniej zajęty27. Rozmiar segmentu to domyślnie 64 MiB31.\nSeaStore ma drugi backend dla NVMe, random block manager, o którym dokumentacja mówi, że jest „Preferred for fast NVMe devices where overwrites are efficient enough that log structured updates aren\u0026rsquo;t worth the overhead”27. Nie jest domyślny. Wybierasz go przez seastore_main_device_type30.\nFlashStore nie ma segment cleanera. Żadnego. Zastąpiony blok wraca do alokatora shardu, gdy minie go checkpoint, a ten następuje co pięć sekund, póki jest nieutrwalona praca, albo wcześniej, gdy pierścień WAL jest w połowie pełny28. Jego dokument projektowy wprost odrzucił układ oparty na logu28. Nie znaczy to, że nie ma pracy w tle: dalej scala i kompaktuje strony drzewa i defragmentuje wolne miejsce, dawkowane pod I/O klientów28. Ale nigdy nie kopiuje twoich żywych danych, żeby zrobić miejsce.\nOdzyskiwanie miejsca SeaStore, segmentowy (domyślny) zamknięty segment bloki żywe + martwe cleaner przepisuje żywe do otwartego segmentu segment pusty discard, ponowne użycie stan ustalony: czyszczenie ok. jednego bajtu na każdy zapisany FlashStore blok zastąpiony świeżym ekstentem wstrzymany do checkpointu co 5 s lub WAL w połowie pełny wraca do bitmapy żywe dane nieruszane Domyślny backend SeaStore płaci za zapisy sekwencyjne mechanizmem czyszczenia, który przenosi żywe dane. FlashStore zwalnia zastąpione bloki w miejscu po checkpoincie i niczego nie przenosi. Na flashu, który i tak prowadzi własne odśmiecanie wewnątrz dysku, wolałbym, żeby OSD nie uruchamiał drugiego na wierzchu. Własna dokumentacja SeaStore zdaje się zgadzać, sądząc po tym, co mówi o backendzie RBM. Różnica jest taka, że FlashStore uczynił to jedyną opcją, a SeaStore opcją niedomyślną.\nNa czym każdy będzie działał Crimson (Umbrella) FlashStore HDD tak, z BlueStore; SeaStore ma typ segmentu dla HDD nie NVMe tak tak, jedyny cel Ochrona przed utratą zasilania brak podanego wymogu wymagana, mkfs bez niej odmawia Układ urządzenia LVM dla SeaStore przez cephadm całe przestrzenie nazw, bez partycji Protokół sieciowy tylko msgr2 tylko msgr2 Backend I/O domyślnie io_uring; linux-aio, epoll domyślnie SPDK, warstwa io_uring Pule nowe pule z flagą crimson istniejące klasyczne pule Przenoszenie istniejących danych skopiuj je do nowej puli backfill do tej samej puli Wdrażany przez cephadm, --osd-type crimson pakiety, croit-flashstore-tool Zalecany build najnowszy build CI z main migawki wydań Crimson zachowuje szerokość. Dokumentacja mówi, że SeaStore „may not be suitable for traditional HDDs”, ale że „Crimson will continue to support BlueStore ensuring compatibility with HDDs and slower SSDs”1, a dokument projektowy SeaStore nadal wymienia zainteresowanie dyskami HDD27. Jego messenger wprost odrzuca v1, „ProtocolV1 is no longer supported”32, ten sam wybór, którego dokonał FlashStore33. Jego dokumentacja zaleca „one of the latest available builds, as Crimson evolves rapidly”, co w praktyce oznacza obrazy CI z main1.\nFlashStore zawęża wszystko do NVMe z ochroną przed utratą zasilania i z tego bierze swoją prostotę34. To dokładnie ten kompromis, który opisuje ADR croit, tylko z drugiej strony.\nDwie odpowiedzi na to samo pytanie Oba projekty wyszły od tej samej obserwacji: klasyczny OSD marnuje szybki sprzęt. Dały bardzo różne odpowiedzi.\nOdpowiedź Crimsona to odpowiedź społeczności. Przepisać OSD w miejscu, wewnątrz Cepha, utrzymać działanie każdego starego magazynu i każdego starego dysku, póki nowy magazyn dojrzewa, i pozwolić wszystkim oglądać pracę na bieżąco. To jest wolne i to widać. W Umbrelli domyślny OSD Crimson dalej chodzi na BlueStore przez pulę wątków, jego własne pule są odgrodzone od twoich, a włączenie go oznacza wpisanie słów „unrecoverable data corrupting”. Ale należy do każdego, kto prowadzi Cepha, i nikt ci go nie odbierze.\nOdpowiedź FlashStore to odpowiedź dostawcy. Wybrać węższy cel, NVMe z ochroną przed utratą zasilania, wyrzucić wszystko, co istniało tylko dla innego sprzętu, i wydać magazyn, który wchodzi do pul, które już masz. To jest szybsze i to też widać. Ale pochodzi od jednej firmy, jako migawki tylko do odczytu do pierwszego wydania produkcyjnego, a na standardowym klastrze wchodzi, mówiąc monitorowi, że jest BlueStore.\nPracuję dla tej firmy, więc to, co dalej, oceniaj z tą świadomością. croit postawił na właściwą kartę technicznie dla klastrów all-flash. Crimson postawił na właściwą kartę dla Cepha jako projektu. To nie jest to samo. Projekt, który służy wszystkim, nie może porzucić HDD. Dostawca może, i powinien, jeśli to właśnie kupują jego klienci.\nCzego bym nie robił, to wybierać między nimi na podstawie wykresu benchmarków od którejkolwiek strony. Liczby Crimsona zależą od tego, który z jego trzech magazynów działał; liczby FlashStore pochodzą z własnego laboratorium croit. Oba projekty publikują swoje dokumenty projektowe. Przeczytaj je, a potem postaw oba na dyskach, które naprawdę byś wdrożył, i puść na nich własne obciążenie. Ten, który dalej robi to, co mówią jego dokumenty, kiedy na szali są twoje dane, jest tym, na który warto czekać.\nCeph Umbrella, Crimson (Tech Preview) — „the next generation ceph-osd”, „not suitable for production use”, wymagane flagi, crimson_cpu_num, backendy natywne i nienatywne, SeaStore „not the default”, brak obsługi --method raw. Źródło: doc/crimson/crimson.rst w v21.2.0.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\ncroit ceph-rust, README w migawce 48f9014 — deklaracja drop-in, wersja zapoznawcza od 9 listopada 2026, GA w I kwartale 2027, „not yet recommended for production data”, „no issue tracker, no contribution workflow”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nSeastar — framework C++, na którym zbudowany jest Crimson.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nceph-rust ADR 0003, green-field, bez forka Crimsona — „Crimson = C++/seastar, tries to support everything (HDD, alienstore/BlueStore, all pool types) -\u0026gt; complexity. Complex code is never fast.”; fork odrzucony z powodu „C++, complexity, LGPL”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nceph-rust ADR 0164, licencje — z datą 2026-10-17; demon LGPL-3.0-only.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCISA, NSA, FBI, ASD\u0026rsquo;s ACSC, CCCS, NCSC-UK, NCSC-NZ, CERT-NZ: The Case for Memory Safe Roadmaps (grudzień 2023) — „Programming languages such as C and C++ are examples of memory unsafe programming languages”; Rust „can contain the \u0026lsquo;unsafe\u0026rsquo; keyword”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCISA i FBI: Product Security Bad Practices, v2.0 (styczeń 2025) — nowe linie produktów dla infrastruktury krytycznej „in a memory-unsafe language (e.g., C or C++) where readily available alternative memory-safe languages could be used is dangerous”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nceph-rust ADR 0002, język: Rust — „Storage = correctness-critical; memory-safety bugs = data loss”; unsafe „confined to ffi/dma/nvme/net-driver modules with SAFETY comments”; SPDK i DPDK przez FFI.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCeph v21.2.0, crimson/osd/shard_services.cc — „ignoring pgid {}, pool lacks crimson flag”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCeph v21.2.0, OSDMonitor.cc, tworzenie puli crimson — „crimson-osd does not support changing pg_num or pgp_num, pg_autoscale_mode must be set to \u0026lsquo;off\u0026rsquo;”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCeph v21.2.0, OSDMonitor.cc, zmiany pg_num w crimson — „pg merging is not yet supported in Crimson”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCeph v21.2.0, crimson_allow_pg_split — „Allow Crimson pools to increase their PG count (split)”, domyślnie true.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCeph v21.2.0, OSDMonitor.cc, pule EC dla Crimsona — „For Crimson - only EC-optimized pools are supported”, „Omap is not supported by EC pools in crimson”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nceph-rust docs, pule z erasure coding — dawne i zoptymalizowane EC obsługiwane domyślnie; nieobsługiwanym pulom OSD odmawia.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCeph v21.2.0, MonCommands.h, osd pool create — name=crimson,type=CephBool,req=false, jedyne miejsce, gdzie flaga jest przyjmowana.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCeph v21.2.0, MonCommands.h, osd pool set — zmienne do ustawienia; crimson nie ma wśród nich.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCeph Umbrella, RBD image live-migration — „RBD images can be live-migrated between different pools”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nceph-rust docs, migracja z klasycznego — dodaj albo zwolnij dysk, przygotuj FlashStore, pozwól backfillowi przenieść dane.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCeph v21.2.0, crimson/osd/osd.cc — m-\u0026gt;metadata[\u0026quot;osd_type\u0026quot;] = \u0026quot;crimson\u0026quot;.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCeph v21.2.0, OSDMonitor.cc, kontrola przy starcie — „Disallowing boot of crimson-osd without allow_crimson OSDMap flag”, „considered unstable and may result in crashes or data loss”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nceph-rust ADR 0019, zgłaszanie osd_objectstore=bluestore — brak klucza osd_type, bramki funkcji BlueStore w monitorze.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCeph v21.2.0, crimson.yaml.in — crimson_reactor_idle_poll_time_us 200, crimson_poll_mode „at the expense of 100% cpu usage” domyślnie false, crimson_bluestore_num_threads.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCeph v21.2.0, seastore_require_partition_count_match_reactor_count — „disable osd shards changes upon restart”, domyślnie true.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nceph-rust ADR 0006, runtime z wątkiem na rdzeń — jeden przypięty, aktywnie odpytujący wątek na rdzeń, PG należące do jednego rdzenia.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nceph-rust ADR 0004, I/O magazynu — SPDK i warstwa io_uring, bezczynność taktowana przez urządzenie.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nceph-rust docs, opis konfiguracji — flashstore_cores domyślnie 8, flashstore_lcores, flashstore_store_shards ustalane przy przygotowaniu.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCeph Umbrella, dokumentacja deweloperska SeaStore — korzeń na reaktor, drzewa onode, OMAP, LBA i backref, „clean” jeden bajt na każdy zapisany, kolejność rekordu dziennika, backend RBM. Źródło: doc/dev/crimson/seastore.rst w v21.2.0.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nceph-rust ADR 0021, silnik magazynu — jedno B+drzewo COW na shard, równoległe zatwierdzanie, checkpointy, utrzymanie w tle, odrzucone alternatywy, w tym układ oparty na logu i „Per-object omap subtree/root”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCeph v21.2.0, crimson/os/seastore/cached_extent.h — „Returns crc32c of buffer”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCeph v21.2.0, seastore_main_device_type — „The main device type seastore uses (SSD or RANDOM_BLOCK_SSD)”, domyślnie SSD.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCeph v21.2.0, seastore_segment_size — domyślnie 64 MiB.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCeph v21.2.0, crimson/net/SocketMessenger.cc — „ProtocolV1 is no longer supported”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nceph-rust ADR 0168, poza zakresem — msgr1 wypada, tylko v2.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nceph-rust docs, wymagania sprzętowe i hosta — PLP wymagane, całe przestrzenie nazw.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\n","permalink":"https://blogs.damiendye.uk/pl/ceph/flashstore-against-crimson/","summary":"Crimson to własna przeróbka OSD w Cephie, w C++ na frameworku Seastar, z nowym natywnym magazynem o nazwie SeaStore; FlashStore to przeróbka od croit, w Rust, z własnym magazynem. Oba są w wersji zapoznawczej i oba celują w NVMe i szybkie sieci. Ten tekst porównuje je w chwili, gdy Ceph 21.2.0 Umbrella wydaje Crimsona, na podstawie kodu i dokumentacji Cepha oraz migawki ceph-rust od croit: skąd każdy pochodzi i na jakiej licencji, czemu Rust spełnia wytyczne Five Eyes o bezpieczeństwie pamięci, a C++ nie, czemu Crimson potrzebuje własnych pul i flagi eksperymentalnej, a FlashStore wchodzi do istniejących pul, czemu Umbrella nie ma jak zamienić istniejącej puli w pulę Crimsona, więc dane trzeba skopiować, co każdy mówi monitorowi przy starcie, reaktory Seastar kontra przypięte rdzenie odpytujące, fakt, że domyślny OSD Crimson dalej chodzi na BlueStore, drzewa onode, OMAP i LBA w SeaStore kontra jedno drzewo na shard we FlashStore, kolejność, w jakiej każdy zatwierdza zapis, segment cleaner SeaStore oraz jaki sprzęt i jakie pule każdy przyjmie.","title":"FlashStore kontra Crimson: dwie przeróbki tego samego OSD"},{"content":"Ujawniam na wstępie: pracuję dla croit, firmy, która to napisała. Wszystko poniżej jest wyczytane z opublikowanego kodu i dokumentacji obu projektów, podlinkowanych na dole strony, a tam, gdzie dokumentacja croit nie zgadza się z kodem croit, mówię o tym.\nOSD Cepha przepisany od zera croit opublikował ceph-rust, OSD Cepha napisany od zera w Rust, z własnym magazynem obiektów o nazwie FlashStore w miejsce BlueStore1. Wszedł w publiczną wersję zapoznawczą 9 listopada 2026, a ogólna dostępność planowana jest na pierwszy kwartał 20271. To nie jest fork. Zasada projektu jest taka, że kod C++ Cepha czyta się jako punkt odniesienia, opisuje jako specyfikację własnymi słowami croit, a potem implementuje ze specyfikacji2.\nDeklaracja, która liczy się dla każdego, kto prowadzi Cepha, to ta o drop-in. Twoje monitory, twoje managery, CLI ceph i twoi klienci zostają, jak są. OSD FlashStore dołącza do tych samych pul i tych samych placement groups co klasyczne OSD, które już tam są, a dyski wymieniasz po jednym1.\nCo się wymienia ceph-mon, ceph-mgr klasyczne 21.2.0 klienci librados, librbd, krbd jedna pula, te same placement groups ceph-osd BlueStore RocksDB na BlueFS C++, od Cepha croit-flashstore-osd FlashStore B+drzewo COW + WAL Rust, od croit Zmienia się tylko OSD. Monitory, managery i klienci zostają klasycznym Cephem, a jedna placement group może trzymać kopię na każdym z rodzajów. Pytanie dla operatora jest więc praktyczne. Jeśli zamienisz OSD z BlueStore na OSD z FlashStore, co jest pod spodem inaczej? Nie w abstrakcji i nie względem jakiegoś BlueStore z prezentacji konferencyjnej sprzed lat. Względem BlueStore, który naprawdę dziś prowadzisz, jeśli jesteś na Umbrelli, Ceph 21.2.0, czyli wydaniu, na którym FlashStore jest budowany i testowany1.\nTo jest więc porównanie tutaj, i tylko to. BlueStore z Umbrelli tak, jak opisują go jego kod i dokumentacja, kontra FlashStore tak, jak opisują go jego kod i zapisy decyzji.\nDotyczy każdego, kto ma klastry Cepha na NVMe, i każdego, kto przyjrzał się, ile kosztuje go OSD w rdzeniach. Klastrów HDD nie dotyczy wcale, a powód wyjdzie niżej.\nCo jest w repozytorium Repozytorium to migawka tylko do odczytu prywatnego drzewa rozwojowego croit. Bez systemu zgłoszeń, bez pull requestów; aktualizacje przychodzą jako nowe commity z migawką1. To etap wersji zapoznawczej, który służy zebraniu opinii społeczności, podczas gdy croit wewnętrznie przeprowadza swoje produkcyjne przypadki testowe, zanim uzna go za bezpieczny w użyciu. Otwarty rozwój przyjdzie po pierwszym wydaniu produkcyjnym, jak w większości projektów open source sponsorowanych przez firmy. Ta migawka ma datę 10 listopada 2026 i zawiera około 700 000 linii Rusta i ponad 450 zapisów decyzji architektonicznych, ADR, czyli krótkich dokumentów zapisujących, dlaczego podjęto każdą decyzję projektową.\nADR to najprzydatniejsza część do takiego porównania. Są bezpośrednie, zawierają pomiary i zapisują, co wypróbowano i wyrzucono, a nie tylko to, co zostało.\nKomponent Co zastępuje Wersja zapoznawcza GA (planowane) FlashStore OSD ceph-osd + BlueStore lis 2026 I kw. 2027 librustyrados librados lis 2026 I kw. 2027 librustyrbd librbd lis 2026 I kw. 2027 Transport RDMA (RoCEv2) nic w Umbrelli lis 2026 I kw. 2027 CephFS2, RGW w Rust MDS, RGW I kw. 2027 II kw. 2027 ceph-mon, ceph-mgr niezastępowane nd. nd. Licencje warto znać, zanim cokolwiek na tym zbudujesz. Demon i narzędzia są na LGPL-3.0-only, biblioteki klienckie na MPL-2.0, a dokumentacja na CC-BY-SA-4.03. Biblioteki klienckie poszły na MPL, żeby program w Rust mógł linkować je statycznie bez obowiązku ponownego linkowania, który niesie LGPL, i to wybór przemyślany i jako taki zapisany3.\nWersja zapoznawcza znaczy to, co mówi. Własne README croit mówi, że służy do testów i oceny i jest „not yet recommended for production data”1. Ja też nie wkładałbym na nią jeszcze danych klientów i nic w dalszej części tego artykułu tego nie zmienia.\nDwa magazyny obok siebie OSD ma dwie połowy. Górna mówi protokołem Cepha, jest właścicielem placement groups, prowadzi peering, odtwarzanie i scrubbing. Dolna, magazyn obiektów, zamienia „zapisz te bajty do tego obiektu” na bloki na dysku i obiecuje, że przetrwają zanik zasilania.\nBlueStore to dolna połowa Umbrelli. Jego dokumentacja mówi, że „reads and writes to the devices directly in a \u0026lsquo;raw\u0026rsquo; fashion”4 i że używa „raw block devices or partitions”5. Dane obiektów idą prosto na urządzenie blokowe. Wszystko inne, metadane obiektów, OMAP i jego własna księgowość, trafia do wbudowanej bazy klucz/wartość RocksDB, a RocksDB stoi na BlueFS, małym systemie plików, który BlueStore nosi specjalnie dla niej56.\nFlashStore wyrzuca to wszystko. Jedno B+drzewo copy-on-write na shard magazynu trzyma całość: kolekcje, metadane obiektów, rozszerzone atrybuty, mapy ekstentów, OMAP, log PG, liczniki referencji, a nawet własną bitmapę alokatora7. Obok leżą pierścień dziennika redo write-ahead i obszar danych. Nie ma RocksDB, nie ma BlueFS i nie ma drugiej bazy danych do strojenia.\nDwa stosy pod jednym OSD BlueStore z Umbrelli FlashStore ceph-osd 8 shardów op × 2 wątki warstwa obiektów BlueStore alokator hybrid dane obiektów surowy blok, aio RocksDB onode, omap, odroczone BlueFS block albo block.db warstwa blokowa jądra flush przed zatwierdzeniem HDD, SSD albo NVMe, dowolna partycja croit-flashstore-osd 1 przypięty wątek na rdzeń shard magazynu na rdzeń własny alokator, bez wspólnych blokad dane obiektów świeże ekstenty 4 KiB B+drzewo COW meta, omap, log PG pierścień WAL log redo, na shard SPDK (vfio) albo io_uring bez flush na gorącej ścieżce NVMe z PLP, 4 KiB, cała przestrzeń nazw BlueStore z Umbrelli rozdziela dane i metadane na górze, a metadane przepuszcza przez RocksDB i BlueFS. FlashStore dzieli zamiast tego według rdzeni, a wewnątrz każdego shardu jedno drzewo trzyma wszystko, co nie jest danymi obiektów. Drugi duży podział to sam dysk. BlueStore idzie przez warstwę blokową jądra do tego, co mu dasz. FlashStore rozmawia z NVMe albo przez SPDK, sterownik w przestrzeni użytkownika, który zabiera urządzenie jądru przez vfio, albo przez jądro z io_uring89. SPDK to domyślny backend. Warstwa io_uring działa tam, gdzie vfio nie działa, i dlatego na niej skończyłem w buildzie na Proxmoxie.\nGdzie żyją metadane Zacznij tutaj. Większość reszty z tego wynika.\nBlueStore z Umbrelli FlashStore Metadane obiektów klucze RocksDB B+drzewo COW na shard OMAP klucze RocksDB domyślnie to samo B+drzewo; LSM albo RocksDB opcjonalnie przy przygotowaniu Log PG klucze RocksDB to samo B+drzewo Stan alokatora alokator hybrid, freelist w RocksDB bitmapa na shard, w drzewie Urządzenie na metadane opcjonalne block.db i block.wal brak, to samo NVMe Sumy kontrolne danych domyślnie crc32c na 4 KiB crc32c na 4 KiB, w mapie ekstentów Liczba magazynów na OSD jeden jeden na rdzeń Ustawienia domyślne po stronie BlueStore pochodzą wprost z pliku opcji Umbrelli: RocksDB jako backend klucz/wartość, alokator hybrid, sumy crc32c61011. Sumowanie kontrolne metadanych w BlueStore „is handled by RocksDB and uses the crc32c algorithm”, a dane kosztują go „a checksum value (usually 4 bytes) for every 4 KB block of data”4. W sumach kontrolnych oba magazyny się zgadzają. FlashStore trzyma crc32c na każdy blok 4 KiB w mapie ekstentów i sprawdza ją przy odczycie7.\nRozchodzą się w strukturze. RocksDB w BlueStore to drzewo LSM, czyli zapisuje, a potem kompaktuje w tle, przepisując dane, które już raz zapisało. Drzewo FlashStore aktualizowane jest metodą copy-on-write i zrzucane na dysk w checkpointach: co pięć sekund, póki coś jest nieutrwalone, albo gdy pierścień WAL zapełni się do połowy7.\nKolejna konsekwencja: FlashStore nie ma szybkiego urządzenia na metadane, bo go nie potrzebuje. Na Umbrelli możesz położyć block.db na szybszym dysku, a BlueStore umieści „as much metadata as it can on the DB device”4. FlashStore zakłada, że każdy dysk to już szybkie NVMe, i trzyma metadane obok danych. To uczciwe założenie dla sprzętu, w który celuje. To też dokładnie powód, dla którego nie ma tu żadnej historii z HDD.\nOMAP to jedyne miejsce, gdzie FlashStore się asekuruje. Domyślne jest drzewo, ale magazyn można przygotować z własnym silnikiem LSM croit albo z RocksDB, za tym samym interfejsem12. Silnik OMAP wybiera się przy tworzeniu magazynu. Nie przełączasz go na działającym OSD.\nJeden zapis 4 KiB, na dwa sposoby Oto różnica, którą byś poczuł, jeśli w ogóle jakąś poczujesz.\nWeź zapis 4 KiB do obiektu na Umbrelli z ustawieniami domyślnymi na flashu. bluestore_min_alloc_size_ssd to 4 KiB, a bluestore_prefer_deferred_size_ssd to 0, więc cały zapis 4 KiB idzie do nowo przydzielonych 4 KiB1314. BlueStore wysyła ten zapis danych, a transakcja czeka w STATE_AIO_WAIT, aż dysk powie, że skończył15. Dopiero wtedy metadane trafiają do kolejki RocksDB, a wątek synchronizacji RocksDB opróżnia urządzenie blokowe, zanim zatwierdzi16. Potem klient dostaje potwierdzenie.\nDwie podróże do urządzenia, jedna po drugiej.\nFlashStore wysyła obie naraz. Dane idą do świeżego ekstentu 4 KiB, a jednostka WAL do pierścienia logu, równolegle. Rekord WAL niesie crc32c każdego nowego bloku danych, więc odtwarzanie po awarii potrafi stwierdzić, czy dane dotarły7. Potwierdzenie wychodzi, w kolejności logu, gdy dane, jednostka WAL i każda wcześniejsza transakcja są trwałe7. Własne uzasadnienie tego projektu w ADR brzmi „parallel commit gives one device latency per ack”7.\nJeden zapis 4 KiB, na tle zegara BlueStore zapis danych nowe 4 KiB, aio, czekanie zatwierdzenie RocksDB log BlueFS + flush ack 2 podróże FlashStore dane, świeże 4 KiB jednostka WAL, crc danych ack 1 podróż czas Ten sam zapis 4 KiB. BlueStore czeka na dane, zanim zatwierdzi RocksDB; FlashStore zapisuje dane i ich rekord logu razem. Dwie rzeczy trzymają to w uczciwych granicach. Na zajętym OSD oba magazyny grupują zatwierdzenia, więc różnica pod obciążeniem jest mniejsza niż jedno opóźnienie urządzenia na zapis. A pojedyncza podróż do NVMe to kilkadziesiąt mikrosekund. Czy to zauważysz, zależy od tego, czy twoi klienci czekają na opóźnienie przy małej głębokości kolejki, jak często bazy danych na RBD, czy pchają przepustowość, gdzie to się rozmywa.\ncroit próbował pójść dalej, do jednego zapisu na urządzenie na transakcję, w stylu ZFS. Zbudowali to, zmierzyli i wyrzucili: zysk pojawiał się tylko przy głębokości kolejki 1, a złożoność nie była tego warta17. Cenię to bardziej niż jakikolwiek wykres benchmarków. To zapis decyzji, który publicznie mówi „zbudowaliśmy to i nie było warto”.\nZapis poniżej 4 KiB Mniejszy zapis to miejsce, gdzie oba naprawdę się rozchodzą.\nPowiedzmy, że klient nadpisuje 512 bajtów w środku bloku, który już zawiera dane. Umbrella domyślnie wciąż używa swojej pierwotnej ścieżki zapisu; bluestore_write_v2, przeróbka, jest dostarczany wyłączony18. Na tej ścieżce zapis mniejszy niż min_alloc_size do bloku, który jest już przydzielony, staje się zapisem odroczonym19. Dane jadą w transakcji RocksDB jako klucz z prefiksem L i trafiają na swoje właściwe miejsce dopiero wtedy, gdy klient usłyszał już, że są bezpieczne2021.\nZapis poniżej 4 KiB BlueStore, odroczony 1 odczyt reszty dopełnienie do 4 KiB 2 dane do klucza L log RocksDB 3 zatwierdzenie, flush klient potwierdzony 4 zapis w miejscu te same 4 KiB znowu 5 usunięcie klucza L kolejne zatwierdzenie FlashStore całe świeże 4 KiB + jednostka WAL równolegle, nigdy w miejscu klient potwierdzony stary zwalniany potem Odroczona ścieżka Umbrelli dla zapisu poniżej 4 KiB do zajętego bloku, kontra świeży ekstent we FlashStore. Różowy oznacza każdy zapis samych danych. Dane trafiają więc na dysk dwa razy. Dokumentacja Umbrelli tego nie ukrywa: „writes smaller than min_alloc_size must first pass through the BlueStore WAL”4.\nFlashStore nigdy nie nadpisuje żywych danych w miejscu, i kropka7. Obiekty do 2 KiB idą dalej i żyją w całości w drzewie, więc jeden zapis WAL to całe zatwierdzenie7.\nTo oznacza też, że FlashStore nie ma kolejki zapisów odroczonych do opróżniania, odtwarzania odroczonych zapisów przy montowaniu ani kluczy L do sprzątania. Płaci za to gdzie indziej: zwolnione bloki są wstrzymywane do następnego checkpointu, więc zwalnianie miejsca opóźnia się o maksymalnie jeden interwał checkpointu7.\nWątki kontra rdzenie Górna połowa OSD różni się tak samo mocno.\nceph-osd z Umbrelli to klasyczny serwer wielowątkowy, a każda liczba w lewej połowie diagramu poniżej to jedno z jego ustawień domyślnych na flashu22. Operacja po drodze przechodzi przez kilka tych pul. Dzielą one stan za blokadami.\nFlashStore trzyma całą podróż na jednym przypiętym, odpytującym rdzeniu, od karty sieciowej do dysku i z powrotem23. Każda placement group należy do dokładnie jednego rdzenia, tak samo jak wszystko, czego PG dotyka: „no locks, no atomics, no shared mutable state”24. Ruch między rdzeniami idzie przez pierścienie z jednym producentem, a wraz z nim przechodzi własność wiadomości.\nWątki kontra rdzenie ceph-osd z Umbrelli 3 wątki messengera kolejka operacji mClock 8 shardów × 2 wątki bstore_kv_sync, bstore_kv_final RocksDB, BlueFS croit-flashstore-osd rdzeń 0 rdzeń 1 rdzeń n kolejka NIC msgr2, PG shard magazynu kolejka NVMe kolejka NIC msgr2, PG shard magazynu kolejka NVMe kolejka NIC msgr2, PG shard magazynu kolejka NVMe pierścienie SPSC między rdzeniami, bez blokad Umbrella przekazuje operację między pulami wątków. FlashStore trzyma ją na jednym rdzeniu od sieci do dysku i przechodzi między rdzeniami tylko przez pierścienie. Magazyn idzie za tym samym podziałem. flashstore_store_shards domyślnie daje jeden shard na rdzeń, każdy z własnym pierścieniem WAL, drzewem i alokatorem, a PG żyje w dokładnie jednym shardzie257. BlueStore to jeden magazyn na OSD z jedną RocksDB.\nJest cena i ADR ją podaje: „idle cores burn CPU (accepted; optional adaptive sleep later)”23. Późniejsze prace dodały adaptacyjną bezczynność i oczekiwanie taktowane urządzeniem, żeby rdzeń nie kręcił się przez całe opóźnienie urządzenia przy małej głębokości kolejki8, ale zasada zostaje, a flashstore_cores domyślnie wynosi 8, gdy nie przypniesz zakresu25. FlashStore dajesz całe rdzenie.\nNa dedykowanym węźle storage to w porządku. Na maszynie hiperkonwergentnej, gdzie te same rdzenie uruchamiają też VM, to pierwszy rachunek do zrobienia.\nDysk musi dotrzymać obietnicy BlueStore jest napisany tak, by radzić sobie z dyskiem, który kłamie, kiedy dane są bezpieczne. FlashStore w ogóle odmawia pracy z takim dyskiem.\nBlueStore z Umbrelli FlashStore Co czyni zapis trwałym opróżnienie urządzenia blokowego przed zatwierdzeniem RocksDB zakończenie zapisu na dysku z PLP Opróżnianie na gorącej ścieżce tak nie Dysk z ulotną pamięcią podręczną zapisu używany i opróżniany mkfs go odrzuca; kontrola hosta FAIL Obejście niepotrzebne tylko do labu: bit FUA na każdym trwałym zapisie Strona BlueStore to cytowany już wątek synchronizacji kv16. Strona FlashStore to ADR o trwałości i kontrola hosta: PLP oznacza, że dysk zgłasza brak ulotnej pamięci podręcznej zapisu, więc zakończenie oznacza, że dane są na stabilnym nośniku2426.\nTo właściwa decyzja dla tego celu, ale miej jasność, co wyklucza, bo prawie każde konsumenckie NVMe ma ulotną pamięć podręczną i nie ma PLP, podobnie jak spora część sprzętu „do centrów danych” sprzedawanego na cenę. Bez PLP nie ma FlashStore. Cokolwiek innego o nim sądzisz.\nNa czym FlashStore nie ruszy Postaw wymagania obok siebie, a rynek docelowy staje się oczywisty.\nBlueStore z Umbrelli FlashStore Nośniki HDD, SSD, NVMe tylko NVMe Ochrona przed utratą zasilania niewymagana wymagana, mkfs bez niej odmawia Format sektora 512 B albo 4 KiB oczekiwane 4 KiB, w przeciwnym razie ostrzeżenie Układ partycje, LVM przez ceph-volume całe przestrzenie nazw, bez partycji Osobne urządzenie DB/WAL obsługiwane nie istnieje Szyfrowanie danych w spoczynku --dmcrypt przez ceph-volume poza zakresem Klienci msgr1 domyślnie nasłuchuje odrzuceni, tylko msgr2 Cache tiering przestarzały, wciąż obecny odrzucony, pula przechodzi w tryb pasywny Wymagania co do jądra dowolne obsługiwane io_uring: Linux 5.19+, albo 5.14 z RHEL 9 z backportami; hugepages dla SPDK Kolumna BlueStore pochodzi od samej Umbrelli: ceph-volume szyfruje woluminy logiczne „using dmcrypt by specifying the --dmcrypt flag”27, a ms_bind_msgr1 domyślnie wciąż ma wartość true28. Kolumna FlashStore pochodzi z jego opisu sprzętu i decyzji o zakresie2629.\nDwie z nich zasługują na więcej niż wiersz w tabeli.\nSzyfrowanie w spoczynku wypada, z podanym powodem: SPDK omija dm-crypt, a szyfrowania wewnątrz magazynu nie planuje się. Odpowiedź ADR to samoszyfrujące dyski NVMe albo szyfrowanie powyżej magazynu, u klienta albo w RGW29. Jeśli masz wymóg zgodności, który wymienia dm-crypt na OSD, dziś to przeszkoda nie do przejścia.\nmsgr1 wypada jako zaakceptowane ryzyko. Klienci jądra starsi niż 5.11 i librados sprzed Nautilusa w ogóle nie dogadają się z OSD FlashStore29. Większość środowisk ma to dawno za sobą. Niektóre nie, i dowiaduje się o tym stara, zapomniana skrzynka w kącie.\nMówi monitorowi, że jest BlueStore To jest to, na czym ludzie się złapią.\nDomyślnie OSD FlashStore startuje i mówi monitorom osd_objectstore=bluestore30. Nie ukrywa się. Dodaje obok własne klucze flashstore_version i flashstore_build30. Powodem jest zgodność: monitor Umbrelli pozwala na funkcje takie jak nadpisywanie w EC na puli tylko wtedy, gdy każdy OSD w niej zgłasza BlueStore, a moduły managera, jak Prometheus i telemetria, rozgałęziają się na tej samej wartości30. ADR mówi jasno, że bluestore jest tu „a compat value for mon/mgr feature gates, not a product name”30.\nJest przełącznik, flashstore_report_objectstore=flashstore, który zmienia nazwę wszędzie: w metadanych, kluczach bluestore_bdev_*, loggerze wydajności, poleceniach tell i kodach zdrowia BLUESTORE_*. Wymaga załatanych monitorów, a domyślnie zostaje bluestore2530. Własne buildy Cepha od croit mają te łatki, więc na nich FlashStore zgłasza się jako flashstore i nic z tego, co dalej, nie ma zastosowania. Nazwa bluestore jest tam dla standardowych monitorów i managerów, które ludzie dziś prowadzą na produkcji.\nCo słyszy monitor OSD FlashStore ustawienie domyślne osd_objectstore=bluestore flashstore_version=… mon, mgr: BlueStore nadpisywanie EC dozwolone OSD FlashStore report=flashstore osd_objectstore=flashstore flashstore_bdev_* klasyczny mon: nie BlueStore wymaga załatanego mon W obu wierszach magazyn jest ten sam. Zmienia się tylko nazwa, którą podaje. Ten sam magazyn, dwie nazwy. Ustawienie domyślne zadowala monitory i managery Umbrelli, kosztem tego, że OSD FlashStore liczą się jako BlueStore, gdziekolwiek spojrzysz. Rozumiem dlaczego. Bramka w monitorze oparta na napisie to projekt Cepha, nie croit, a odmowa powiedzenia bluestore wyłączyłaby funkcje na niezałatanym klastrze. To jest pułapka na standardowym klastrze. Każdy dashboard, każdy skrypt inwentaryzacyjny i każde ceph osd count-metadata osd_objectstore, które uruchomisz, policzy OSD FlashStore jako BlueStore. W trakcie migracji, kiedy najbardziej potrzebujesz wiedzieć, który OSD jest który, oczywiste pole nie powie ci nic.\nSprawdzaj więc flashstore_version w ceph osd metadata, a nie osd_objectstore. Wpisz to do runbooka, zanim wejdzie pierwszy OSD FlashStore.\nTe same pokrętła, inne zachowanie FlashStore czyta wiele istniejących opcji Cepha i to w większości dobra wiadomość. Nie każda opcja znaczy to, co znaczyła na Umbrelli, a te, które nie znaczą, to miejsca, gdzie dostrojony klaster dostaje niespodziankę.\nOpcja BlueStore z Umbrelli FlashStore compression_mode, na pulę none, passive, aggressive, force te same cztery, to samo znaczenie compression_algorithm domyślnie snappy snappy, zlib, zstd, lz4; poziom zstd ustalony na 1 bluestore_compression_max_blob_size_ssd 64 KiB kawałki 64 KiB osd_memory_target 4 GiB, cache autostrojone na żywo czytane raz przy starcie, wymiaruje cache magazynu, bez autostrojenia osd_op_queue mclock_scheduler przyjmowane i ignorowane osd_mclock_* aktywne przyjmowane i ignorowane csum_type domyślnie crc32c, dostępne warianty xxhash stałe crc32c; każda inna wartość zapisuje ostrzeżenie31 Kompresja się zgadza. Domyślny tryb BlueStore to none, a domyślny algorytm to snappy3233; FlashStore implementuje te same cztery tryby, te same opcje pul i ten sam podział na kawałki 64 KiB, a ADR zauważa, że kawałek 64 KiB ściśliwy w 50% zajmuje na obu tyle samo miejsca34. Nie zawsze miała tu być. Plik ADR nadal nazywa się no-store-compression, od pierwotnej decyzji, odwróconej, gdy croit ustalił wymóg pełnej zgodności funkcjonalnej z klasycznym Cephem34.\nPamięć zgodna nie jest. Umbrella w trakcie pracy autostroi cache BlueStore względem osd_memory_target3536. FlashStore czyta tę wartość raz przy starcie, dzieli ją między shardy, a zmiana zrobiona przez ceph config set działa od następnego restartu37. Nie trzyma też procesu w tych granicach: hugepages, bufory sieciowe i stan PG leżą poza nimi37. osd_memory_target wymiaruje więc cache FlashStore. Nie ogranicza pamięci OSD tak, jak możesz być przyzwyczajony.\nA mClock jest ignorowany całkowicie37. Nie przytłumiony. Zignorowany. Nie ma harmonogramu operacji do skonfigurowania, bo każdy rdzeń jest właścicielem swoich PG. Odtwarzanie i backfill hamują zamiast tego osd_max_backfills, osd_recovery_max_active i opcje uśpienia37. Jeśli na Umbrelli stroiłeś profile mClock pod przebudowę, te ustawienia nic nie robią na OSD FlashStore i nic cię nie ostrzeże.\nNie ma konwersji, w żadną stronę Nie da się przekonwertować OSD z BlueStore na OSD z FlashStore. Przewodnik migracji croit mówi to wprost: „There is no in-place conversion of a BlueStore device”38. Proponuje zamiast tego dwie kolejności, i obie to backfill38:\nDodaj, potem usuń Zwolnij, potem dodaj Potrzebuje wolnego gniazda NVMe niczego zapasowego Krok 1 przygotuj FlashStore na nowym dysku ceph osd out, poczekaj na stan clean Krok 2 poczekaj na active+clean zatrzymaj i usuń (purge) klasyczny OSD Krok 3 usuń klasyczny OSD przygotuj FlashStore na zwolnionym dysku Ryzyko w trakcie nic ponad zwykły backfill o jedną kopię mniej do końca backfillu Później też nie będzie łatwiej. Format dyskowy FlashStore ma bity funkcji, a montowanie odrzuca nieznany bit: „Every format change means mkfs; unknown bits refuse mount (no downgrade)”7. Zmiana formatu w późniejszym wydaniu FlashStore to więc to samo opróżnianie i ponowne zapełnianie co przy pierwszej migracji.\nJedyna droga na drugą stronę OSD BlueStore osd.N na nvme0 OSD FlashStore świeży mkfs bez konwersji, w żadną stronę klaster backfill z kopii out, purge backfill do środka Backfill to jedyny most między tymi dwoma magazynami, i to także most między dwoma formatami FlashStore. Jedno dokumentacja podaje źle. Lista kontrolna w przewodniku migracji każe upewnić się, że „the pools do not use erasure coding on croit-flashstore-osd OSDs”38. Przewodnik po erasure coding w tej samej migawce mówi, że FlashStore domyślnie obsługuje dawne pule EC, a własna wartość domyślna kodu dla zoptymalizowanego EC to all3940. Jedno z nich jest nieaktualne, i sądząc po kodzie, jest to przewodnik migracji. Mimo to przeczytałbym przewodnik po EC w całości, zanim wymieszam pule EC między oboma rodzajami OSD, bo awaria, którą opisuje, to PG, który przechodzi w stan zdegradowany, i backfill, który staje39.\nMagazyn zbudowany dla dysków, które naprawdę kupujemy BlueStore zbudowano, żeby działał na wszystkim. Dyski talerzowe, tanie SSD, NVMe, partycje, LVM, zaszyfrowane woluminy, szybkie urządzenie DB przed wolnym urządzeniem danych. Ta szerokość to powód, dla którego stał się domyślny, i powód, dla którego niesie odroczoną ścieżkę zapisu, opróżnianie przed każdym zatwierdzeniem, bazę klucz/wartość na własnym systemie plików i pulę wątków, żeby to wszystko kręciło się dalej. Każda z tych rzeczy istnieje, bo jakiś dysk gdzieś jej potrzebował.\nFlashStore zaczyna od przeciwnego końca. Zakłada, że dysk to NVMe, że ma ochronę przed utratą zasilania i że jest na tyle szybki, że wąskim gardłem jest teraz oprogramowanie. Potem wyrzuca wszystko, co istniało tylko dla innych dysków.\nCzy to dobry zakład? Dla nowych klastrów all-flash, zbudowanych na porządnym, korporacyjnym NVMe, tak. W tę stronę idą klastry Cepha, a OSD, który wydaje swoje rdzenie na blokady, przekazania i bazę danych kompaktującą się za jego plecami, płaci, w każdej sekundzie każdego dnia, za elastyczność, której taki klaster nigdy nie użyje.\nAle zakład ma swój koszt i wolę, żebyś go zobaczył, zanim w niego wejdziesz. Rezygnujesz z HDD, dm-crypt, msgr1, strojenia pamięci na żywo i mClock. Na standardowym klastrze dostajesz OSD, który mówi twoim monitorom, że jest BlueStore, bo dzisiejsze monitory i managery nie zostawiają mu innej drogi; własne buildy croit tego nie będą potrzebować. Dostajesz format, do którego nie da się przekonwertować, ani przekonwertować między jego wersjami. I dostajesz to w wersji zapoznawczej, od jednego dostawcy, który akurat mnie zatrudnia.\nTraktuj więc kod jako dowód, a nie ten artykuł i nie raport benchmarków croit. Zapisy decyzji są publiczne i mówią, co zmierzono i co wyrzucono. Przeczytaj je, zbuduj testowy klaster na sprzęcie, który naprawdę byś wdrożył, i zmierz własne obciążenie. Jeśli na twoich dyskach robi to, co mówią ADR, będziesz wiedział. Jeśli nie, też będziesz wiedział, i dowiesz się tego na klastrze testowym.\ncroit ceph-rust, README w migawce 48f9014 — komponenty, status i mapa drogowa, „not yet recommended for production data”, zgodność protokołu z v21.2.0 i v20.2.4.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nADR 0003, green-field, bez forka Crimsona — „No fork, no linking of Ceph code”; kod Cepha czytany jako punkt odniesienia, specyfikacje własnymi słowami.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nADR 0164, licencje — demon i narzędzia LGPL-3.0-only, biblioteki klienckie MPL-2.0, dokumentacja CC-BY-SA-4.0 i powód wyboru MPL.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCeph Umbrella, BlueStore configuration reference — bezpośredni dostęp do urządzenia, urządzenie DB, „writes smaller than min_alloc_size must first pass through the BlueStore WAL”, sumy kontrolne.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCeph Umbrella, storage devices — BlueStore „consumes raw block devices or partitions”; RocksDB wbudowana na wewnętrzne metadane.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCeph v21.2.0, bluestore_kvbackend — domyślnie rocksdb.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nADR 0021, silnik magazynu — B+drzewo COW na shard, pierścień WAL, równoległe zatwierdzanie, checkpointy, dane inline, wstrzymane zwolnienia, „Every format change means mkfs”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nADR 0004, I/O magazynu — SPDK przez vfio, poprawione do dwóch warstw z io_uring, bezczynność taktowana przez urządzenie.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nceph-rust docs, prepare and activate — spdk to domyślny backend, kernel i kernel-cmd zostawiają NVMe na sterowniku jądra.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCeph v21.2.0, bluestore_allocator — domyślnie hybrid.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCeph v21.2.0, bluestore_csum_type — domyślnie crc32c.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nceph-rust, użycie croit-flashstore-tool — „fresh prepare/mkfs \u0026ndash;omap-engine btree|lsm|rocksdb”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCeph v21.2.0, bluestore_min_alloc_size_ssd — domyślnie 4 KiB.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCeph v21.2.0, bluestore_prefer_deferred_size_ssd — domyślnie 0.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCeph v21.2.0, BlueStore.cc, maszyna stanów transakcji — oczekujące aio przenoszą transakcję do STATE_AIO_WAIT, zanim trafi do kolejki zatwierdzania klucz/wartość.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCeph v21.2.0, BlueStore.cc, wątek synchronizacji kv — „flush/barrier on block device” przed wysłaniem do RocksDB.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nADR 0027, atomowe zatwierdzanie jednym I/O, odrzucone — „gain only at QD1”, zbudowane i usunięte.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCeph v21.2.0, bluestore_write_v2 — „Use faster write path”, domyślnie false.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCeph v21.2.0, BlueStore.cc, _do_write_small — odczyt początku i końca, potem „chunk-aligned deferred overwrite”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCeph v21.2.0, BlueStore.cc, \u0026ldquo;journal deferred items\u0026rdquo; — odroczona transakcja jest ustawiana jako klucz w tej samej transakcji RocksDB.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCeph v21.2.0, BlueStore.cc, prefiksy kluczy — PREFIX_DEFERRED = \u0026quot;L\u0026quot;.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nDomyślne ustawienia wątków w Ceph v21.2.0 — osd_op_num_shards_ssd 8; osd_op_num_threads_per_shard_ssd 2; osd_op_queue mclock_scheduler; ms_async_op_threads 3; tworzenie wątków w BlueStore.cc, bstore_kv_sync i bstore_kv_final.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nADR 0006, runtime z wątkiem na rdzeń — jeden przypięty, aktywnie odpytujący wątek na rdzeń, PG należące do jednego rdzenia, „idle cores burn CPU (accepted \u0026hellip;)”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nADR 0008, współbieżność i trwałość — „no locks, no atomics, no shared mutable state”; PLP wymagane, mkfs odrzuca dyski bez PLP, obejście FUA do labu.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nceph-rust docs, opis konfiguracji — flashstore_cores domyślnie 8, flashstore_store_shards auto, flashstore_report_objectstore.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nceph-rust docs, wymagania sprzętowe i hosta — ulotna pamięć podręczna zapisu daje FAIL, LBA 4 KiB, bez partycji, wymagania co do jądra i io_uring.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCeph Umbrella, ceph-volume encryption — „Logical volumes can be encrypted using dmcrypt by specifying the --dmcrypt flag”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCeph v21.2.0, ms_bind_msgr1 — domyślnie true.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nADR 0168, szyfrowanie w spoczynku, msgr1 i cache tiering poza zakresem — „SPDK bypasses dm-crypt”; klienci tylko z v1 „cannot reach croit-flashstore-osd”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nADR 0019, zgłaszanie osd_objectstore=bluestore — bramki funkcji w monitorze, dodatkowe klucze flashstore_* i opcja zgłaszania flashstore.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nceph-rust, pgs.rs — „csum_type {v} unsupported; using fixed crc32c per 4096-byte block”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCeph v21.2.0, bluestore_compression_mode — domyślnie none.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCeph v21.2.0, bluestore_compression_algorithm — domyślnie snappy.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nADR 0059, kompresja magazynu na pulę — te same tryby i opcje co BlueStore, stały poziom zstd 1, miejsce przy ściśliwości 50% „identical to BlueStore”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCeph v21.2.0, osd_memory_target — domyślnie 4 GiB.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCeph v21.2.0, bluestore_cache_autotune — domyślnie true.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nADR 0062, cel pamięci i mClock — cel czytany raz, bez autostrojenia, RSS nieegzekwowane; opcje mClock „ACCEPTED and IGNORED”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nceph-rust docs, migracja z klasycznego — „There is no in-place conversion of a BlueStore device”; dwie kolejności; linia o EC na liście kontrolnej.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nceph-rust docs, pule z erasure coding — ec_enable_pools domyślnie all, ec_enable_optimized domyślnie all i jak wygląda odrzucona pula.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nceph-rust, domyślne ustawienia OSD — (\u0026quot;ec_enable_optimized\u0026quot;, \u0026quot;all\u0026quot;).\u0026#160;\u0026#x21a9;\u0026#xfe0e;\n","permalink":"https://blogs.damiendye.uk/pl/ceph/flashstore-against-umbrella-bluestore/","summary":"ceph-rust od croit to przepisany od zera w Rust, metodą clean-room, OSD Cepha z własnym magazynem obiektów FlashStore, w publicznej wersji zapoznawczej od 9 listopada 2026. Ten tekst stawia go obok BlueStore dokładnie takiego, jaki wydaje Ceph 21.2.0 Umbrella, na podstawie kodu i dokumentacji obu projektów: co jest w repozytorium i na jakich licencjach, gdzie każdy magazyn trzyma metadane, jak zapis 4 KiB i zapis poniżej 4 KiB trafia do dysku w każdym z nich, pule wątków Umbrelli kontra jeden wątek na rdzeń we FlashStore, dlaczego FlashStore robi z ochrony przed utratą zasilania twardy wymóg, na czym nie ruszy, dlaczego mówi twoim monitorom, że jest BlueStore, które opcje BlueStore respektuje, a które ignoruje, i dlaczego jedyną drogą między nimi jest backfill.","title":"FlashStore kontra BlueStore z Umbrelli: co croit zmienił pod OSD"},{"content":"OSD w Rust, w dniu premiery croit udostępnił FlashStore OSD jako publiczną wersję zapoznawczą 9 listopada 20261. To OSD Ceph napisany od zera w Rust, z własnym magazynem obiektów zamiast BlueStore, i mówi protokołem sieciowym Ceph. Obietnica jest taka, że wpinasz go w klaster, który już masz: twoje monitory, twoje managery, twoje CLI ceph i twoi klienci zostają, jak są, a ty wymieniasz po jednym dysku1.\nDla firmy na Proxmoksie ta obietnica znaczy więcej niż dla większości. Na hiperkonwergentnym węźle Proxmox VE Ceph nie jest czymś, co instalujesz osobno. Przychodzi z GUI Proxmoksa, z repozytoriów Proxmoksa, zbudowany i załatany przez Proxmoksa, a całością steruje pveceph. Jeśli OSD od kogoś innego potrafi tam usiąść, nic nie psując, dostajesz nowy silnik storage\u0026rsquo;u bez rezygnacji z narzędzi. Jeśli nie potrafi, dowiadujesz się tego w bolesny sposób, na węźle, na którym działają też twoje VM.\nWięc spróbowałem.\nPracuję dla croit, który robi FlashStore. Dlatego spróbowałem w ciągu dwóch dni od premiery i z tego samego powodu nic poniżej nie jest łagodzone. To wersja zapoznawcza, README mówi, że jest „not yet recommended for production data”1, a to jest opis tego, czego wymagała na prawdziwym sprzęcie, nie broszura.\nKto co dostarcza na jednym węźle Dysk VM na RBD QEMU z librbd dostarczanym przez Proxmoksa Od Proxmoksa: pveceph ceph-mon, ceph-mgr 21.2.0-pve1 CLI, GUI, pule, storage RBD instalowane z kreatora na 8006 Od croit: FlashStore croit-flashstore-osd 21.2.0 jeden demon na Optane instalowany ręcznie z .deb Dysk rozruchowy SN750: nigdy OSD 8 × Optane P4800X, 4 KiB, cała przestrzeń nazw Kto dostarcza co. Proxmox instaluje monitor i managera i zarządza GUI, pulami i definicją storage\u0026rsquo;u. Pakiet croit dostarcza tylko demony OSD, po jednym na dysk. Krótka odpowiedź: działa. Gdy to piszę, osiem OSD FlashStore serwuje pulę RBD maszynie wirtualnej na standardowym węźle Proxmox VE 9.2, HEALTH_OK. Dłuższa odpowiedź jest taka, że potrzebne były dwie poprawki, o których dokumentacja nie wspomina, jedna przez to, jak Proxmox przechowuje konfigurację Ceph, a druga przez jądro Proxmoksa, i reszta tego wpisu to te poprawki i to, jak je znaleziono. Jeśli chcesz tylko, żeby działało, pod koniec jest skrypt, który robi to wszystko, i był uruchomiony na tym węźle.\nSprzęt Laboratorium to pojedynczy węzeł, pve2, w mojej domowej sieci LAN, i jest to marny minikomputer Minisforum B550 z 2021 roku. Jednowęzłowy Ceph to nie jest sposób na produkcję, a reguła CRUSH niżej jest tego ceną, ale każdy krok jest tu taki sam jak na węźle, który ma sąsiadów.\nProxmox VE pve-manager 9.2.26, jądro 7.0.14-28-pve, Debian 13.7 Maszyna minikomputer Minisforum B550, 2021; płyta zgłasza BESSTAR TECH B550, BIOS 5.17 CPU AMD Ryzen 7 5700G, 8 rdzeni, 16 wątków, 1 węzeł NUMA Pamięć 58 GiB Dyski OSD 8 × Intel Optane P4800X 375 GB (6 z marką Dell, 2 detaliczne Intel) PCIe do Optane\u0026rsquo;ów wszystkie osiem za jednym przełącznikiem Broadcom PEX880xx, na jednym łączu PCIe 3.0 x16 z APU Dysk rozruchowy WD SN750 512 GB, VG pve, trzymany z dala od tego wszystkiego Sieć jeden port 2,5 GbE, vmbr0 FlashStore snapshot-2026-11-10, commit upstream c5792750020e2 Optane\u0026rsquo;y są tu dlatego, że FlashStore ma dwa twarde wymagania, których wiele dysków nie spełnia. Dysk musi mieć ochronę przed utratą zasilania, a przestrzeń nazw musi używać bloków 4096-bajtowych, jako cała przestrzeń nazw, bez partycji i bez systemu plików1. FlashStore potwierdza zapis, gdy jest on trwały na dysku, więc dysk, który kłamie o trwałości z ulotną pamięcią podręczną, jest odrzucany przy mkfs3. Każdy P4800X zgłasza w danych Identify brak ulotnej pamięci podręcznej zapisu (vwc 0), czyli sam dysk mówi, że cache nie może zgubić potwierdzonego zapisu.\nTak więc to minikomputer jest czynnikiem ograniczającym w tej analizie, nie FlashStore i nie dyski. Osiem rdzeni to jeden na OSD i nic w zapasie, 58 GiB musi wykarmić i Ceph, i VM, a osiem Optane\u0026rsquo;ów dzieli jedno łącze PCIe 3.0, bo tyle APU ma do dania. Czytaj każdą liczbę poniżej jako to, na co pozwala ta skrzynka.\nUmbrella albo nic FlashStore jest budowany pod jedno wydanie Ceph naraz. Decyduje gałąź: main mówi Ceph 21.2.0 Umbrella, a gałąź v20.2.4 mówi 20.2.4 Tentacle4. Demon sprawdza przy starcie wydanie klastra i odmawia, gdy jest poza jego oknem4. Pakiety na stronie wydania są budowane z main, i binarka sama to mówi: croit-flashstore-osd 21.2.0 umbrella.\nProxmox VE 9 oferuje trzy repozytoria Ceph i tylko jedno z nich pasuje.\nOkno wersji Repozytoria Proxmox VE 9 Gałęzie FlashStore ceph-squid: 19.2.7 brak gałęzi squid ceph-tentacle: 20.2.5 20.2.5 to nie 20.2.4 v20.2.4: tentacle 20.2.4 ceph-umbrella: 21.2.0-pve1 21.2.0 pasuje main: umbrella 21.2.0 Demon odrzuca wydanie klastra spoza swojego okna. Repozytorium Tentacle Proxmoksa poszło już dalej niż 20.2.4, a gałęzi Squid nie ma wcale. Umbrella 21.2.0-pve1 to jedyne wydanie, co do którego obie strony się zgadzają. Tentacle jest domyślny w Proxmoksie, więc to bezpieczny wybór? To ten, który nie zadziała. Repozytorium Proxmoksa ma Tentacle do 20.2.5-pve1, a gałąź Tentacle FlashStore celuje dokładnie w 20.2.4. Umbrella w repozytorium Proxmoksa to 21.2.0-pve1, to samo wydanie, w które celuje main.\nProxmox nie ukrywa, czym jest Umbrella. PVE/Ceph/Releases.pm wymienia go z unsupported =\u0026gt; 15, a kreator w GUI mówi to prostymi słowami w chwili, gdy go wybierzesz.\n„Technology Preview”, brak repozytorium enterprise, a instalator pyta drugi raz w terminalu, continue (y/N)?, zanim dotknie apt. To właściwa dawka ostrzeżeń i warto ją czytać jako stwierdzenie o całym stosie: zapoznawczy OSD na zapoznawczym wydaniu Ceph.\nInstalacja to standardowy Proxmox. Datacenter → Ceph → Install, wersja Umbrella, repozytorium No-Subscription, potem sieć publiczna i pierwszy monitor.\nTrzynaście pakietów zaktualizowanych, 46 nowych, 107 MB pobranych. Jedna rzecz na tej liście jest nowa w Umbrella: ceph-osd-classic obok ceph-osd. Żaden z nich nie jest tu używany, bo nie powstaje ani jeden klasyczny OSD. Mniej więcej minutę później działały mon.pve2 i mgr.pve2, ceph versions zgłaszał 21.2.0 … umbrella, a stan był OK, bez niczego do przechowania.\nCztery dyski w 512 bajtach Cztery z ośmiu Optane\u0026rsquo;ów były przekazane do laboratoryjnej VM i wciąż miały format 512-bajtowy, ze starymi etykietami ZFS. Dwa kolejne miały właściwy format i te same etykiety. Poprawka dla obu jest prosta: zabrać je z VM, sformatować do 4 KiB, wyczyścić etykiety.\nP4800X oferuje 4096 bajtów bez metadanych jako format LBA 3, który nvme id-ns zgłasza jako lbaf 3 : ms:0 lbads:12.\nnvme format /dev/nvme0n1 --lbaf=3 --force --timeout=900000 wipefs -a /dev/nvme0n1 sgdisk --zap-all /dev/nvme0n1 Pierwsza próba się nie udała, późniejsza też nie. Za każdym razem nvme format wracał z Interrupted system call, a dysk wciąż był w 512 bajtach. Log jądra podaje powód:\nnvme nvme0: I/O tag 0 (0000) opcode 0x2 (Admin Cmd) QID 0 timeout, reset controller nvme nvme1: I/O tag 9 (0009) opcode 0x6 (Admin Cmd) QID 0 timeout, reset controller Opcode 0x2 to Get Log Page, a 0x6 to Identify. Żaden z nich nie jest formatowaniem. P4800X formatuje cały nośnik i trwało to tu od 345 do 351 sekund na dysk. W tym czasie kontroler nie odpowiada na inne polecenia administracyjne, więc wszystko, co zadaje dyskowi pytanie, czeka. Po 60-sekundowym limicie czasu poleceń administracyjnych jądro się poddaje i resetuje kontroler, a reset zabija formatowanie.\nJak przerywa się formatowanie nvme format od 345 do 351 s na P4800X Polecenie admin smartctl, nvme list, odświeżenie dysków w GUI limit 60 s jądro resetuje kontroler Formatowanie przerwane EINTR, rc 1 dysk wciąż 512 B Poprawka: każde formatowanie we własnym unicie systemd, po jednym dysku, i nic innego nie wysyłać do dysków, dopóki się nie skończy. To nie formatowanie przekracza limit czasu. Coś innego zadaje dyskowi pytanie, czeka za formatowaniem, a reset, który następuje, je przerywa. Próba Co dotarło do dysku Wynik nvme0, pierwsza Get Log Page o 09:53:04, w trakcie instalacji Ceph przerwana, wciąż 512 B nvme0, w unicie nic 4 KiB w 345 s nvme1 moje własne nvme list, sprawdzające postęp przerwana, wciąż 512 B nvme2, nvme3 nic 4 KiB w 351 s i 350 s nvme1, sam nic 4 KiB w 346 s Poprawka polega na uruchomieniu każdego formatowania w przejściowym unicie z długim limitem czasu, po jednym dysku, i zostawieniu dysków w spokoju, aż się skończy:\nsystemd-run --unit=fmt4k /root/fmt4k.sh journalctl -u fmt4k -f # read progress from the journal, not from the drive W ten sposób jedynym sprawdzaniem postępu jest dziennik i nic nie dociera do kontrolera. Wszystkie osiem pokazywało potem 4 KiB w nvme list.\nPakiet Strona wydania ma pakiety .deb i .rpm, wśród nich Debian 13 trixie, na którym zbudowany jest Proxmox VE 92. Jedna kompilacja obsługuje każdą dystrybucję i wymaga glibc 2.34 lub nowszej6.\nB=https://github.com/croit/ceph-rust/releases/download/snapshot-2026-11-10-0b6783237291 curl -LO \u0026#34;$B/flashstore_21.2.0+git.20261110063351.c5792750020e_debian-trixie_amd64.deb\u0026#34; curl -LO \u0026#34;$B/sha256sums.txt\u0026#34; sha256sum flashstore_*_debian-trixie_amd64.deb grep debian-trixie/flashstore_ sha256sums.txt Sprawdź to ręcznie. sha256sum -c nie sprawdzi tego pobrania, bo plik sum kontrolnych nazywa go debian-trixie/flashstore_…_amd64.deb, a zasób nazywa się flashstore_…_debian-trixie_amd64.deb. Skróty się zgadzają, ce1fb352…26c8 po obu stronach, więc plik jest w porządku, a tylko lista rozjechała się z zasobami.\napt install ./flashstore_*_debian-trixie_amd64.deb croit-flashstore-osd --version croit-flashstore-osd 21.2.0 umbrella (build 0.0.0) git c5792750020e net tiers: kernel (+rdma upgrade) Zainstalował się czysto obok własnych ceph-osd i ceph-osd-classic Proxmoksa. Pakiet instaluje minimalny ceph-osd.target tylko na hostach, które go nie mają6, a Proxmox już go ma, więc unity FlashStore wiszą pod tym samym targetem co klasyczne.\nTrzy rzeczy o pakiecie, które warto wiedzieć, zanim zaczniesz pisać pod niego skrypty:\nCo mówi dokumentacja Czym jest pakiet Nazwa pakietu apt remove flashstore …6 croit-flashstore-osd, plik zasobu to flashstore_… Backendy magazynu produkcyjny zestaw funkcji main to knet,spdk,rdma,mimalloc1 brak SPDK: --check zgłasza „SPDK NVMe driver: compiled out” Wartości flashstore_dev spdk:\u0026lt;pci\u0026gt; albo file: w kompilacjach deweloperskich7 warstwa jądra, kernel:/dev/…, to jedyna prawdziwa ścieżka magazynu w tej kompilacji Środkowy wiersz jest ważny. Warstwy SPDK, sterownika NVMe w przestrzeni użytkownika, który wymaga powiązania dysku z vfio-pci, nie ma w opublikowanym pakiecie Debiana. Jest w nim warstwa jądra: dysk zostaje przy własnym sterowniku nvme jądra, a FlashStore rozmawia z nim przez io_uring. Źródła pokazują, że jest wkompilowana, bo funkcja knet wciąga kernel-nvme8, mimo że linia podsumowania kontroli hosta nazywa ją „compiled out of this build”. Ta linia jest błędna. Czytelnik, który jej zaufa, zatrzyma się w tym miejscu.\nCo mówi kontrola hosta croit-flashstore-osd --check działa tylko do odczytu i uruchamia się, zanim cokolwiek zostanie zapisane. Sprawdza kompilację, CPU, pamięć, IOMMU, każdy kontroler NVMe, kartę sieciową, jądro i konfigurację, i dla każdego znaleziska drukuje dokładną poprawkę9. Na tym węźle wykonała 115 sprawdzeń i jest dobra: każde znalezisko przychodzi z poleceniem, które je naprawia, co oszczędziło mnóstwo grzebania.\nZnalezisko Wynik Co zrobiłem Hugepages: nic nie zarezerwowano FAIL zarezerwowałem 16 GiB, o które prosiła, utrwalone w /etc/sysctl.d Dysk rozruchowy SN750: ulotny cache zapisu FAIL nic, to nie kandydat na OSD vfio-pci niezaładowany WARN nic, ta kompilacja nie ma SPDK, który by go użył limit memlock 8 MiB WARN nic, mierzy powłokę; unit ustawia LimitMEMLOCK=infinity brak isolcpus / nohz_full WARN zanotowane, strojenie opóźnień IOMMU w trybie translacji, nie iommu=pt WARN zanotowane init_on_alloc=1 WARN zanotowane, według niej kosztuje 15 do 20 % CPU przy dużych odczytach port 2,5 GbE, domyślne bufory kart sieciowych, IRQ na pięciu CPU WARN zanotowane 8 × P4800X: bez VWC, aktywne 4096+0, x4 przy 8 GT/s, wolne OK io_uring z SEND_ZC i stałymi buforami, jądro 7.0 OK Zaplanuj drugi FAIL. Kontrola liczy każdy kontroler w skrzynce, a rozruchowy SSD ma cache zapisu, więc oblewa test utraty zasilania, mimo że ta sama kontrola poprawnie oznacza go „in use, not a candidate”. Tutorial mówi, że kod wyjścia 0 oznacza brak FAIL9. Na każdym hoście, który startuje z konsumenckiego SSD, a to sporo hostów Proxmoksa, --check nie może zwrócić 0, cokolwiek naprawisz. Pisz skrypty pod linie poszczególnych sprawdzeń, nie pod kod wyjścia.\nOstrzeżenia dotyczące strojenia zostały. Każde z nich wymaga zmiany wiersza poleceń jądra i restartu, a to jest wdrożenie, nie benchmark. To właściwa lista do przerobienia, zanim ktokolwiek zacytuje liczbę z tej skrzynki.\nRdzenie i hugepages dla ośmiu OSD FlashStore działa w modelu wątek na rdzeń, a kontrola wyjaśnia, co to znaczy: „one core = one shard/PG owner”, najwyżej 8 rdzeni na OSD, i każdy rdzeń OSD na własnym fizycznym rdzeniu, a nie dzielony z rodzeństwem SMT. Osiem fizycznych rdzeni i osiem OSD daje po jednym rdzeniu na każdy, flashstore_lcores = 0 do 7, a rodzeństwo SMT zostaje dla Proxmoksa i VM. Po ponownym uruchomieniu z tym w konfiguracji kontrola oznacza każdy plan rdzeni jako OK.\nRdzenie i hugepages na jednej skrzynce Jeden OSD na fizyczny rdzeń; rodzeństwo SMT zostaje dla hosta 0: osd.0 1: osd.1 2: osd.2 3: osd.3 4: osd.4 5: osd.5 6: osd.6 7: osd.7 wątki od 8 do 15: Proxmox, VM, wątki pomocnicze OSD Hugepages: 16 GiB zarezerwowane, 4 GiB używa osiem OSD 4 GiB w użyciu 12 GiB zarezerwowane i bezczynne, z 58 GiB hosta Jeden fizyczny rdzeń na OSD. Pula hugepages ma rozmiar domyślny kontroli, 2048 MiB na OSD, a każdy działający OSD zajął jej ćwierć. Spójrz jeszcze raz na hugepages. Kontrola prosi o 2048 MiB na OSD, czyli domyślne --mem demona, więc osiem OSD potrzebuje 16 GiB zarezerwowanych. W działaniu każdy OSD użył 512 MiB ze swoich 2048. To zgadza się z notatką projektową croit dla backendu jądra, która przeznacza ćwierć --mem na alokator ładunku10. Więc na tej skrzynce, przy wszystkich ośmiu działających, 12 GiB RAM leży zarezerwowane jako hugepages, których nic nie dotyka, na hoście, który ma też VM do wykarmienia. Węzeł czysto storage\u0026rsquo;owy wzruszyłby ramionami. Na węźle Proxmoksa ta pamięć to była jedna VM, i dalej zostaje przycięta do tego, czego OSD faktycznie używają.\nCzy mogę zapytać, dlaczego nie potrafi odczytać ceph.conf? Z sformatowanymi dyskami, zainstalowanym pakietem i czystą kontrolą hosta pierwszy OSD nie chciał wystartować.\ncroit-flashstore-tool: refused: /etc/ceph/ceph.conf: Permission denied (os error 13) Na Proxmoksie /etc/ceph/ceph.conf to dowiązanie symboliczne do /etc/pve/ceph.conf, a /etc/pve to pmxcfs, klastrowy system plików, który utrzymuje konfigurację każdego węzła w zgodzie. Pliki tam mają root:www-data 0640, a pmxcfs nie pozwala zmienić tego dla pojedynczego pliku11. Własne demony Ceph Proxmoksa radzą sobie, bo startują jako root, czytają konfigurację, a potem schodzą do użytkownika ceph, co robi --setuser ceph --setgroup ceph w każdym unicie ceph-osd@.\nUnit FlashStore nie startuje jako root. Ma User=ceph od pierwszej instrukcji, łącznie z ExecStartPre12, więc nigdy nie dochodzi do odczytania pliku.\nCzy mogę zapytać, dlaczego pakiet zbudowany dla Debiana, dla produktu typu drop-in, nie został wypróbowany na najpopularniejszej platformie Ceph opartej na Debianie, jaka istnieje? Nie pytam, kto. pveceph trzyma swoją konfigurację na pmxcfs i każdy OSD FlashStore na węźle zarządzanym przez pveceph trafi na to przy pierwszym starcie.\nDemon ma już odpowiedź wbudowaną. Jego źródła opisują klasyczne zejście przez --setuser/--setgroup: „started as root by a classic unit (--setuser ceph --setgroup ceph), the daemon becomes that user before it opens the store, a socket or a file”13. Więc drop-in, który uruchamia unit tak, jak Proxmox uruchamia własne OSD, powinien wystarczyć.\nNie do końca wystarczył. Uruchomiony jako zwykły root, następnej odmowy udzielił dysk.\nactivate: device kernel:/dev/ng0n1 not ready: /dev/nvme0n1: Permission denied (os error 13) CapabilityBoundingSet unitu pomija CAP_DAC_OVERRIDE12, więc root podlega zwykłym uprawnieniom plików, a węzły przestrzeni nazw należą do ceph:ceph. Start jako root z grupą ustawioną na ceph załatwia jedno i drugie: root jest właścicielem pliku konfiguracji, grupa ceph otwiera dysk, a demon schodzi do ceph, zanim zrobi cokolwiek innego.\nTrzy sposoby startu unitu Jak dostarczono User=ceph Group=ceph /etc/pve/ceph.conf root:www-data 0640 Permission denied przy odczycie konfiguracji Start jako root brak CAP_DAC_OVERRIDE /dev/nvme0n1 ceph:ceph 0660 Permission denied przy otwarciu dysku Root, grupa ceph potem --setuser ceph konfiguracja czytana jako właściciel, dysk otwarty jako grupa, demon działa jako ceph Unit w dostarczonej postaci nie może czytać pmxcfs. Zwykły root nie może otworzyć dysku, bo zbiór ograniczający odbiera mu nadpisywanie uprawnień. Root z grupą ceph robi jedno i drugie, a potem schodzi. # /etc/systemd/system/croit-flashstore-osd@.service.d/pve-ceph-conf.conf [Service] User=root Group=ceph ExecStart= ExecStart=/usr/bin/croit-flashstore-osd run --id %i --cluster ${CLUSTER} -f --setuser ceph --setgroup ceph Demon potwierdza zejście we własnym logu: set uid:gid to 64045:64045 (ceph).\nJest krótsza poprawka, SupplementaryGroups=www-data, i jej nie użyłem. Pozwoliłaby OSD czytać każdy plik pod /etc/pve czytelny dla grupy, a nie tylko konfigurację Ceph. OSD nie ma żadnego interesu w czytaniu reszty konfiguracji klastra, a powyższy drop-in nie daje mu ani trochę więcej, niż Proxmox daje własnym.\nPotem węzły urządzeń. Dokumentacja FlashStore mówi, że węzeł przestrzeni nazw musi być zapisywalny dla ceph, „(udev rule)”14, a pakiet nie dostarcza żadnej. Ta dopasowuje dyski po modelu, więc nie może złapać dysku rozruchowego, jakkolwiek zmieni się numeracja:\n# /etc/udev/rules.d/70-croit-flashstore-optane.rules SUBSYSTEM==\u0026#34;nvme-generic\u0026#34;, KERNEL==\u0026#34;ng*n*\u0026#34;, ATTRS{model}==\u0026#34;Dell Express Flash NVMe P4800X*|INTEL SSDPE21*\u0026#34;, OWNER=\u0026#34;ceph\u0026#34;, GROUP=\u0026#34;ceph\u0026#34;, MODE=\u0026#34;0660\u0026#34; SUBSYSTEM==\u0026#34;block\u0026#34;, KERNEL==\u0026#34;nvme*n*\u0026#34;, ENV{DEVTYPE}==\u0026#34;disk\u0026#34;, ATTRS{model}==\u0026#34;Dell Express Flash NVMe P4800X*|INTEL SSDPE21*\u0026#34;, OWNER=\u0026#34;ceph\u0026#34;, GROUP=\u0026#34;ceph\u0026#34;, MODE=\u0026#34;0660\u0026#34; Po udevadm trigger szesnaście węzłów Optane miało ceph:ceph 0660, a SN750 został przy root.\nPassthrough, którego to jądro nie zrobi Warstwa jądra ma dwa tryby, a węzeł, który podasz, wybiera między nimi. kernel:/dev/ngXnY wysyła polecenia NVMe prosto do dysku przez io_uring, co croit nazywa kernel-cmd. kernel:/dev/nvmeXnY wykonuje odczyty i zapisy O_DIRECT na urządzeniu blokowym, nazywane kernel albo direct10. croit zmierzył, że kernel-cmd prowadzi w każdej przetestowanej komórce10, a szybki start w README go używa1, więc to skonfigurowałem.\nGdy uprawnienia były już w porządku, demon zszedł do ceph, odczytał konfigurację i zatrzymał się na pierwszym odczycie:\ncroit-flashstore-osd: --dev kernel:/dev/ng0n1: /dev/ng0n1: kernel-cmd fixed-buffer probe read: Errno(13) Ta sama sonda przeszła minutę wcześniej w activate, który wciąż miał uprawnienia roota. Więc pytanie brzmi, czy to jądro pozwala nieuprzywilejowanemu procesowi wysyłać polecenia I/O przez /dev/ngXnY. Da się na nie odpowiedzieć bez FlashStore, tym samym odczytem z nvme-cli, jako ceph:\nJako Polecenie na /dev/ng0n1 Wynik ceph Identify Namespace dozwolone ceph Read, LBA 0, 4 KiB Permission denied root Read, LBA 0, 4 KiB dozwolone Wszystkie osiem Optane\u0026rsquo;ów dało tę samą odpowiedź, łącznie z dwoma, których nigdy nie formatowałem ani nie resetowałem, z firmware\u0026rsquo;em Intela zamiast Della. Więc to nie dyski i nie poranne formatowania.\nUpstream mówi, że powinno działać. W Linuksie 7.0 nvme_cmd_allowed() pozwala nieuprzywilejowanemu procesowi wysłać polecenie I/O, gdy log Commands Supported and Effects dysku oznacza je jako obsługiwane, bez nietypowych efektów, i wymaga otwarcia do zapisu tylko dla poleceń, które zapisują lub zmieniają dane15. Log efektów P4800X oznacza Read jako obsługiwane, 00000001, i nic więcej. Odczyt jest dozwolony.\nJądro Proxmoksa to nie jądro upstream. Jego dziennik zmian dla tej kompilacji zawiera przeniesioną poprawkę dokładnie na tej ścieżce, CVE-2026-90227: nvme/ioctl: check SUBMIT_IO with nvme_cmd_allowed(), która na pierwszy rzut oka dotyczy innego ioctl niż ten, który testowałem. Nie ustaliłem, która zmiana w jądrze 7.0.14-28-pve robi różnicę, i nie będę zgadywał. Pewne jest zachowanie: na tym jądrze nieuprzywilejowane I/O przez passthrough NVMe jest odrzucane.\nFlashStore ma mechanizm zapasowy na odrzucony passthrough i on się nie uruchomił. Notatka projektowa croit mówi, że gdy Identify zostanie odrzucone, urządzenie kernel-cmd przechodzi na bezpośrednie I/O na swoim węźle blokowym i ogłasza to przy starcie10. Tutaj Identify jest dozwolone, a Read nie, więc mechanizm zapasowy nigdy się nie włącza i OSD po prostu staje.\nDwie drogi do dysku kernel-cmd: NVMe passthrough kernel: bezpośrednie blokowe I/O io_uring URING_CMD /dev/ng0n1, znakowe generyczne odmowa dla użytkownika ceph: EACCES io_uring READ/WRITE_FIXED /dev/nvme0n1, O_DIRECT działa: wystarczy rw na węźle Passthrough przechodzi przez sprawdzenie uprawnień ioctl NVMe, a jądro Proxmoksa odmawia go użytkownikowi ceph. Bezpośrednie I/O na urządzeniu blokowym potrzebuje tylko odczytu i zapisu na węźle, które reguła udev już daje. Bezpośredniemu I/O jest to obojętne. To jedna linia na OSD:\nflashstore_store_backend = kernel Z tym osd.0 wstał.\ncroit-flashstore-osd: store mounted (1 shards, replayed 4 txns in 16 ms) croit-flashstore-osd: set uid:gid to 64045:64045 (ceph) [ 1.398] crush location set (create-or-move updating item name \u0026#39;osd.0\u0026#39; weight 0.3359 at location {host=pve2,root=default} to crush map) [ 2.406] osd.0 is now active (up_from 10, map 10) Aktywny w 2,4 sekundy.\nPrzygotowanie i start OSD Każdy OSD dostaje sekcję w konfiguracji Ceph, co na Proxmoksie oznacza edycję /etc/pve/ceph.conf, i można to spokojnie robić ręcznie.\n[osd.0] flashstore_dev = spdk:0000:05:00.0 flashstore_store_backend = kernel flashstore_lcores = 0 Urządzenie jest wskazane adresem PCI, nie przez /dev/nvme0n1, a przedrostek spdk: nie oznacza tu SPDK. Przy ustawionym backendzie jądra demon przy każdym starcie wyszukuje adres w sysfs i znajduje bieżące węzły kontrolera10.\nNazwa dysku, która się nie zmienia [osd.0] spdk:0000:05:00.0 wyszukanie w sysfs przy każdym starcie /dev/nvme0n1 /dev/ng0n1 numery nvme idą za kolejnością wykrywania i na tym hoście się przesunęły: SN750 był nvme7 w październiku, a teraz jest nvme8. Adres PCI ustala gniazdo. Numer nvme ustala kolejność wykrywania, która stała nie jest. Tu ma to znaczenie. Dysk rozruchowy SN750 był nvme7 w październiku, a teraz jest nvme8, a numery podrzędne węzłów generycznych też nie idą za kolejnością dysków: ng1n1 ma numer 0, a ng0n1 numer 2. Konfiguracja, która mówi /dev/nvme4n1, po restarcie może wskazywać inny dysk. Konfiguracja, która mówi 0000:0b:00.0, nie może.\nPotem jedno polecenie na dysk, które zapisuje magazyn i rejestruje OSD w monitorze:\ncroit-flashstore-tool prepare --dev spdk:0000:05:00.0 --id 0 kernel-cmd /dev/ng0n1: fixed-buffer NVMe passthrough probe ok (IORING_URING_CMD_FIXED on) mkfs: device lba 4096 B x 91573146 (375083606016 B), awupf 1 lba, vwc false, max_xfer 32 lba mkfs: 1 store shards, WAL ring 4096 MiB each osd.0 prepared in /var/lib/ceph/osd/ceph-0 Dwie sekundy, jako root. prepare czyta klucz bootstrap z /var/lib/ceph/bootstrap-osd/ceph.keyring16, który pveceph zapisuje dopiero przy pierwszym tworzeniu własnego OSD, więc bez klasycznych OSD trzeba go najpierw pobrać:\nceph auth get client.bootstrap-osd -o /var/lib/ceph/bootstrap-osd/ceph.keyring Sześć dysków przygotowało się za pierwszym razem. Dwa zostały odrzucone:\ncroit-flashstore-tool: refused: device is not empty (non-zero data in the first 8192 bytes); --wipe destroys it croit-flashstore-tool: refused: device is not empty (non-zero data at 65536 bytes); --wipe destroys it lsblk i blkid zgłaszały oba te dyski jako puste. Było na nich tekstowe pole metadanych grupy woluminów LVM z wcześniejszego laboratorium, dawno usuniętej, z etykietą na początku już wyzerowaną. Sonda FlashStore czyta pierwsze 8 KiB oraz obszary na 64 KiB i 256 KiB17, czyli dalej, niż zaglądają zwykłe narzędzia, i miała rację. Odmowa wobec dysku, na którym jest cokolwiek, chyba że dostanie --wipe, to dokładnie to, co narzędzie do OSD powinno robić. Wyczyszczenie ich to decyzja właściciela dysków, nie narzędzia. Gdy decyzja zapadła, --wipe przygotował oba w mniej więcej dwie sekundy, a dołączyły po instalacji opisanej niżej, dlatego zrzut panelu i liczby z instalacji pokazują sześć.\nPotem je uruchom:\nsystemctl enable --now croit-flashstore-osd@0 ID CLASS WEIGHT TYPE NAME STATUS REWEIGHT PRI-AFF -1 2.01535 root default -3 2.01535 host pve2 0 nvme 0.33589 osd.0 up 1.00000 1.00000 1 nvme 0.33589 osd.1 up 1.00000 1.00000 2 nvme 0.33589 osd.2 up 1.00000 1.00000 3 nvme 0.33589 osd.3 up 1.00000 1.00000 4 nvme 0.33589 osd.4 up 1.00000 1.00000 5 nvme 0.33589 osd.5 up 1.00000 1.00000 Każdy OSD umieścił się pod host=pve2 z klasą urządzenia nvme. To, co mówią klastrowi o sobie, warto raz przeczytać:\nPole Monitor i manager OSD FlashStore ceph versions 21.2.0 (087cd25db8f1) umbrella (dev - None) 21.2.0 (b060042deb05) umbrella (dev - croit-flashstore-osd) Zbudowane przez Proxmox, pakiety -pve1 croit, z commitu upstream v21.2.0 wskazanego w README1 osd_objectstore bluestore, z wypełnionym każdym polem bluestore_bdev_* Czym naprawdę jest FlashStore, bez BlueFS, bez RocksDB Odpowiedź BlueStore jest celowa. flashstore_report_objectstore ma domyślnie bluestore, bo klasyczne monitory włączają niektóre funkcje tylko wtedy, gdy zgłasza to każdy OSD, więc wartość domyślna utrzymuje mieszany klaster w działaniu7. To nieprawda i warto o tym wiedzieć, zanim przeczytasz metadane klastra i w nie uwierzysz.\nCo Proxmox z nich robi Panel OSD Proxmoksa wymienia wszystkie sześć: up i in, klasa nvme, wersja 21.2.0, po 344 GiB. Nazywa je też FileStore.\nFileStore to magazyn obiektów, który BlueStore zastąpił. Proxmox ustala etykietę w PVE/API2/Ceph/OSD.pm: jeśli metadane OSD mają klucz bluefs, to BlueStore, a wszystko inne to FileStore18. FlashStore nie ma BlueFS, bo nie ma pod nim RocksDB, więc w jednym polu zgłasza BlueStore, a z innego dostaje etykietę FileStore. Żadne nie jest prawdziwe. A panel to miejsce, w które większość administratorów Proxmoksa patrzy najpierw.\nKolumny opóźnień pokazują 0 / 0 w bezczynności. Podczas instalacji opisanej niżej ceph osd perf zgłaszał opóźnienia commitu od 0 do 3 ms na całej szóstce.\nStart, Stop i Restart w panelu sterują ceph-osd@N, klasycznym unitem, który nie jest tym, co działa19. Tym samym panel jest widokiem na te OSD, nie sterowaniem nimi. Do wszystkiego, co dotyka demonów, używaj systemctl … croit-flashstore-osd@N i CLI, a Create: OSD i Destroy zostaw przy nich w świętym spokoju.\nPula, storage i VM z Fisher-Price OS (Windows) Pierwsza PG w klastrze, z puli .mgr managera, stała w undersized+degraded, gdy tylko OSD wstały. Winny jest pojedynczy węzeł. Domyślna replicated_rule umieszcza każdą kopię na innym hoście, a host jest jeden.\nceph osd crush rule create-replicated replicated_osd default osd nvme ceph osd pool set .mgr crush_rule replicated_osd Reguła z domeną awarii osd i klasą urządzenia nvme20 umieszcza każdą kopię na innym OSD, a PG przeszła w active+clean w kilka sekund. Na prawdziwym klastrze z trzema lub więcej hostami zostaw regułę hostów i pomiń to.\nWszystko potem to zwykłe GUI Proxmoksa. Ceph → Pools → Create: nazwa flashstore, size 3, min size 2, reguła replicated_osd, zaznaczone Add as Storage. Później zmieniono to na size 2, min size 1, na potrzeby testu obciążenia opisanego dalej.\nProxmox utworzył pulę i definicję storage\u0026rsquo;u RBD za jednym zamachem, a flashstore pojawił się w drzewie z 654 GiB do użycia, czyli 2 TiB surowej pojemności podzielone przez trzy kopie, minus narzut. 129 PG przeszło w active+clean, a autoscaler wkrótce potem zmniejszył nową pulę ze 128 do 32.\nGość testowy to VM z Fisher-Price OS (Windows). To nie jest preferencja, tylko to, co duża część klientów faktycznie uruchamia na swoich pulach Proxmoksa, więc to jest obciążenie, które się liczy: 16 GiB pamięci, 4 rdzenie, dysk 60 GiB na flashstore z włączonymi discard i iothread. Jest też gadatliwy wobec dysku i nieefektywny, i o to chodzi: test storage\u0026rsquo;u chce gościa, który najmocniej opiera się na dysku.\nOd dysku VM do Optane Dysk VM scsi0, 60 GiB QEMU + librbd 21.2.0-pve1 pula flashstore replicated_osd, size 2 OSD FlashStore, kopia 1 OSD FlashStore, kopia 2 Klasyczne librbd Proxmoksa rozmawia z OSD croit; librustyrbd nie jest tu zainstalowane. Zapisy VM przechodzą przez librbd dostarczane przez Proxmoksa, przez regułę puli, do dwóch OSD FlashStore przy size 2. Własny librustyrbd od croit nie jest zainstalowany, więc to klasyczny klient przed OSD w Rust. Próbkowanie puli co dziesięć sekund przez pierwsze piętnaście minut instalacji:\nZapisy do puli mediana 9,3 MB/s w trakcie aktywności, szczyt 302 MB/s Operacje zapisu szczyt 2486 na sekundę Odczyty z puli szczyt 60 MB/s Zajęte miejsce surowe 35 GiB na sześciu OSD Stan HEALTH_OK we wszystkich 90 próbkach Restarty OSD 0 Pamięć rezydentna OSD od 565 do 871 MiB każdy po wszystkim To liczby instalatora, z VM i OSD na tym samym hoście i nietkniętymi ostrzeżeniami strojenia, i nic nie mówią o szybkości FlashStore. Mówią natomiast, że klasyczny klient Proxmoksa przeprowadził instalację systemu operacyjnego na OSD w Rust, 35 GiB surowo, bez usterki, a to jest teza, którą ten wpis miał sprawdzić.\nJak się sprawuje pod obciążeniem Instalacja dowodzi, że działa. Nie mówi, jak się z tej VM korzysta.\nWięc VM dostała CrystalDiskMark 9.0.321, trzy razy: profil Real World Performance [+Mix], Read\u0026amp;Write [+Mix], plik 16 GiB na C: i mieszanka 70/30 odczytów i zapisów, raz z trzema przebiegami i dwa razy z dziewięcioma. Ten profil robi wszystko po jednym żądaniu naraz w jednym wątku, czyli tak, jak faktycznie pracuje komputer biurkowy albo mała baza danych, a nie tak, jak karta katalogowa.\nDo tego czasu konfiguracja odeszła już od tej z instalacji. VM miała sześć rdzeni, a pulę zmieniono w GUI na size 2, min size 1 i 256 PG. Size 2 z min size 1 to ustawienie laboratoryjne na jednej skrzynce: gdy zostaje jedna kopia, pula dalej przyjmuje zapisy, które pojedyncza awaria może potem stracić. Gdzie indziej trzymaj 3 i 2.\nDysk był na domyślnym ustawieniu Proxmoksa, bez cache, które jest domyślne od Proxmoksa 222.\nReal World Performance [+Mix], 16 GiB 3 przebiegi 9 przebiegów znowu 9 przebiegów SEQ1M Q1T1 odczyt 1279,71 MB/s 1675,33 MB/s 1852,32 MB/s SEQ1M Q1T1 zapis 563,67 MB/s 576,65 MB/s 580,08 MB/s SEQ1M Q1T1 mieszanka 1043,75 MB/s 1043,28 MB/s 986,10 MB/s RND4K Q1T1 odczyt 5342 IOPS, 186,57 µs 5659 IOPS, 176,17 µs 5706 IOPS, 174,73 µs RND4K Q1T1 zapis 2419 IOPS, 412,51 µs 2405 IOPS, 414,79 µs 2435 IOPS, 409,77 µs RND4K Q1T1 mieszanka 3938 IOPS, 253,13 µs 3826 IOPS, 260,49 µs 3936 IOPS, 253,25 µs Zapisy i opóźnienie małych bloków trzymają się w granicach około 1% między przebiegami. Odczyt sekwencyjny rośnie o 45% przez te trzy. To pierwszy znak, że kolumna odczytów nie mierzy tego, na co wygląda.\nHost był próbkowany co pięć sekund przez wszystkie trzy, z /proc/diskstats dla ośmiu Optane\u0026rsquo;ów, ceph status dla puli i /proc dla każdego procesu i wątku, a oba widoki nie opowiadają tej samej historii.\nZapisy: dysk to ta mała część Jeden losowy zapis 4 KiB naraz, ostatni przebieg Czas na zapis widziany przez VM 409,77 µs Czas na zapis na każdym Optane 17 µs Zapisy docierające do Optane\u0026rsquo;ów na jeden zapis VM 4,05: dwie kopie, mniej więcej po dwa zapisy Duże zapisy sekwencyjne 580 MB/s z VM, 1,14 GB/s na Optane\u0026rsquo;ach, druga kopia to podwaja Dysk to mniej niż 5% małego zapisu. Pozostałe 393 µs to droga: QEMU, librbd, messenger do OSD, sam OSD i czekanie na drugą kopię. Nic z tego nie było tu mierzone osobno, więc nie przypiszę liczby każdemu kawałkowi. Mówi to natomiast, że na tej skrzynce Optane\u0026rsquo;y nie są ograniczeniem dla I/O po jednym naraz, a szybszy dysk niewiele by te 410 ruszył. Ograniczenie przeszło na klienta, na librbd, które dostarcza Proxmox, i więcej będzie na ten temat, gdy wdrożę tu własny librustyrbd od croit.\nOdczyty: cache, nie Optane\u0026rsquo;y W ostatnim przebiegu przebieg losowych odczytów 4 KiB robił 5700 odczytów na sekundę na całym pliku 16 GiB, a osiem Optane\u0026rsquo;ów nie przeczytało zupełnie nic. Przebieg sekwencyjny osiągnął 2,2 GB/s na puli, podczas gdy własne odczyty dysków spadły z 755 MB/s do zera. CrystalDiskMark omija cache gościa, a dysk w QEMU żadnego nie ma, więc pamięć, która tu pracuje, jest w OSD. flashstore_obj_cache jest w tej kompilacji domyślnie włączony, udział każdego OSD w pliku to przy size 2 około 2 GiB, a każdy OSD urósł do około 2,6 GiB. FlashStore nie raportuje swoich trafień, więc nazwij to niemal pewnym, a nie dowiedzionym. To też dlatego odczyt sekwencyjny rósł z każdym przebiegiem: coraz więcej pliku już tam było. Traktuj kolumnę odczytów jako liczbę cache\u0026rsquo;u, nie magazynu.\nCPU: dokąd poszły rdzenie Ostatni przebieg, w rdzeniach Zajętość hosta OSD vCPU gościa librbd i klient Ceph QEMU Bezczynność między przebiegami 20 do 24% 3,3 0,1 0,03 0,03 Losowy zapis 4 KiB 30% 3,9 0,38 0,20 0,08 Losowy odczyt 4 KiB 30% 3,6 0,47 0,39 0,15 Mieszanka sekwencyjna 41 do 53% 3,8 1,5 do 2,3 0,5 0,12 Trzy kolumny VM pochodzą z jej wątków: QEMU nazywa vCPU gościa, a wątki messengera i workerów librbd działają w tym samym procesie.\nKolumna OSD prawie się nie rusza. Osiem odpytujących OSD kosztuje 3,3 rdzenia, gdy nic nie robią, i 3,9 na pełnych obrotach, więc na skrzynce z 16 wątkami piąta część CPU znika, zanim jakakolwiek VM o cokolwiek poprosi. Nic innego nie zbliżyło się do swojego limitu. Najbardziej zajęty pojedynczy wątek to vCPU gościa przy 47%, a najbardziej zajęty wątek librbd został poniżej 15%. Przy jednym żądaniu naraz ograniczeniem jest czekanie, nie praca, a liczba CPU nie pokaże czekania.\nPamięć: planuj pod szczyt We wszystkich trzech przebiegach Stan HEALTH_OK w każdej próbce, każda PG active+clean, bez restartów OSD Używane hugepages 4 GiB od początku do końca Pamięć hosta do rozdania, przy jednej działającej VM 16 GiB od 3,1 do 4,0 GiB Wiersz hugepages to znowu sekcja o budżecie, tym razem pod obciążeniem: 512 MiB na OSD, a pozostałych 12 GiB nigdy nietkniętych.\nZwykła pamięć to liczba, której trzeba pilnować, bo z niej jest zrobiony cache opisany wyżej. Gdy odczyt wciągnął plik, każdy OSD stał na około 2,5 GiB, a tyle Ceph trzymał na hoście z 58,7 GiB:\nPamięć Ceph w szczycie, domyślny cel 4 GiB Procesy OSD, wszystkie osiem razem 19,9 GiB, od 2,4 do 2,6 GiB każdy Hugepages zarezerwowane dla OSD 16 GiB, z tego 4 GiB używane Monitor i manager 0,3 GiB Razem 36,2 GiB, 62% hosta Zostało hostowi do rozdania, przy jednej działającej VM 16 GiB 3,6 GiB Ta pamięć wraca, ale nie według żadnego harmonogramu, który byłbym w stanie dostrzec. Trzymała się na 19,9 GiB przez 25 minut, łącznie z przerwami bezczynności, potem spadła do 13,9 GiB na koniec ostatniego przebiegu, a host znów miał 10,2 GiB do rozdania. osd_memory_target stał przez cały ten czas na domyślnych 4 GiB na OSD, więc osiem OSD miało prawo do 32 GiB, zanim policzy się choćby jedną hugepage. Na węźle, który ma też uruchamiać VM, to szczyt jest budżetem, który trzeba policzyć przed dyskami, i to tam 12 bezczynnych GiB hugepages boli najbardziej.\nTrzy VM naraz, przy ciaśniejszym budżecie Jedna VM zostawia mnóstwo miejsca. Przy trzech budżet musi być dobry. Więc najpierw zmieniły się dwa ustawienia.\nceph config set osd osd_memory_target 1073741824 # 1 GiB per OSD, was 4 sysctl -w vm.nr_hugepages=2048 # what eight OSDs use, was 8192 Cel nie potrzebuje niczego więcej: każdy OSD zgłosił nową wartość w ciągu kilku sekund, a i tak restartowano je po jednym, ze wszystkimi 257 PG z powrotem w active+clean przed następnym. Hugepages mają haczyk. Przed każdym startem OSD croit-flashstore-prep chce mieć wolne całe --mem, 2048 MiB, i powiększa pulę, jeśli brakuje, ale nigdy jej z powrotem nie zmniejsza. Restart osd.7 po przycięciu wyniósł pulę prosto z powrotem w górę:\ncroit-flashstore-prep[7]: hugepages 2048kB: free 256 \u0026lt; need 1024, nr_hugepages 2048 -\u0026gt; 2816 Więc dolna granica, która przetrwa restart OSD albo reboot, to tyle, ile OSD używają, plus zapas na jeden start: 2816 stron, 5,5 GiB, wobec 16 GiB, o które prosi kontrola. Skrypt instalacyjny dalej rezerwuje teraz dokładnie tyle. Przycięcie z powrotem do 2048, gdy wszystkie osiem już działa, daje kolejne 1,5 GiB do następnego restartu.\nPotem trzy klony VM, po 10 GiB każdy, uruchomiły CrystalDiskMark w tej samej chwili: Real World Performance [+Mix], trzy przebiegi, ale na pliku 1 GiB każdy zamiast 16 GiB. To czyni kolumnę odczytów bardziej niż kiedykolwiek liczbą cache\u0026rsquo;u, więc czytaj zapisy.\nCrystalDiskMark, trzy VM naraz VM 104 VM 105 VM 106 Wszystkie trzy Jedna VM sama SEQ1M Q1T1 zapis 346,99 MB/s 318,99 MB/s 446,98 MB/s 1113 MB/s 580,08 MB/s SEQ1M Q1T1 odczyt 796,05 MB/s 905,03 MB/s 1160,93 MB/s 2862 MB/s 1852,32 MB/s RND4K Q1T1 zapis 1901 IOPS 1928 IOPS 1862 IOPS 5691 IOPS 2435 IOPS RND4K Q1T1 opóźnienie zapisu 524,56 µs 517,00 µs 535,42 µs 409,77 µs RND4K Q1T1 odczyt 3773 IOPS 3916 IOPS 3909 IOPS 11 598 IOPS 5706 IOPS RND4K Q1T1 mieszanka 2978 IOPS 3027 IOPS 3411 IOPS 9416 IOPS 3936 IOPS Trzy VM dostały 2,3 raza więcej małych zapisów niż jedna, a każda zapłaciła za to około 27% opóźnienia. Optane\u0026rsquo;y wciąż nie były przyczyną. W szczycie robiły 20 900 zapisów na sekundę po 17 µs każdy, te same 17 µs co przy jednej VM, a najbardziej zajęty z ośmiu był zajęty w 14%.\nHost, co pięć sekund przez cały przebieg Domyślny cel 4 GiB, jedna VM Cel 1 GiB, trzy VM Największy proces OSD 2,7 GiB 1,15 GiB w szczycie, 0,8 po Osiem procesów OSD razem 19,9 GiB 8,0 GiB w szczycie, 5,8 po Zarezerwowane hugepages 16 GiB, 4 używane 4 GiB, wszystkie używane Pamięć przydzielona VM 16 GiB 30 GiB Pamięć hosta do rozdania, w najniższym punkcie 3,1 GiB 14,8 GiB Przyrost swapu brak brak Więc FlashStore rzeczywiście trzyma się osd_memory_target. Przekroczył go o 15% w szczycie przebiegu odczytu i wrócił poniżej, a cache robił swoje wewnątrz budżetu, a nie poza nim. Między celem a przycięciem 26 GiB wróciło do VM na tej samej skrzynce.\nCPU w rdzeniach, trzy VM Zajętość hosta OSD Goście librbd i klient Ceph QEMU Trzy rozruchy Fisher-Price OS (Windows) 81 do 89% 3,4 do 3,6 6,3 do 7,9 0,4 do 0,7 0,3 Benchmark 42 do 73% 3,7 do 4,5 1,2 do 4,0 0,4 do 1,6 0,2 do 0,4 Bezczynność potem 20 do 24% 3,3 0,3 0 0 Rozruch trzech gości zmęczył CPU bardziej niż ich benchmark. Storage pod spodem nawet się do tego nie zbliżył, a to minikomputer wyznacza granicę, jak zawsze miało być.\nWszystko w jednym skrypcie Wszystko, co powyżej, jest w jednym skrypcie. Daj mu adresy PCI dysków, które chcesz mieć jako OSD, a zrobi resztę, w kolejności, w jakiej zrobił to ten wpis, z dwiema poprawkami dla Proxmoksa wbudowanymi.\n\u0026#8615; flashstore-pve-setup.sh: OSD FlashStore na węźle Proxmox VE flashstore-pve-setup.sh · 17 kB lspci -D -d ::0108 # find the drives bash flashstore-pve-setup.sh --dry-run 0000:05:00.0 # show the plan, change nothing bash flashstore-pve-setup.sh 0000:05:00.0 0000:06:00.0 Sprawdza Zapisuje Uruchamia Proxmox VE 9 i Ceph 21.2.0 Umbrella keyring bootstrap-osd odczyt przez passthrough jako ceph, żeby wybrać kernel-cmd albo kernel każdy dysk: NVMe, bez cache zapisu, niezamontowany, bez partycji, niezajęty drop-in najpierw root, potem --setuser prepare i systemctl enable --now dla każdego dysku brak danych w obszarach, które czyta sonda FlashStore regułę udev dla każdego dysku, dopasowaną po numerze seryjnym kontrolę hosta, zatrzymując się tylko na tym, czego potrzebują OSD bloki 4 KiB jedną sekcję [osd.N] na dysk, po jednym fizycznym rdzeniu pobranie pakietu, sprawdzone z SHA-256 wydania Nic nie zostaje zniszczone, jeśli o to nie poprosisz. --format-4k formatuje dysk, który nie jest w 4 KiB, po jednym, każdy we własnym unicie, żeby nic go nie przerwało, a --wipe pozwala nadpisać dysk, na którym są dane. --single-node dodaje regułę replicated_osd, a ponowne uruchomienie pomija dyski, które już są OSD.\nBył tu przetestowany, nie tylko napisany. Odrzucił SN750 przez jego cache zapisu, odrzucił dysk osd.7, dopóki był na nim magazyn, a potem, gdy osd.7 został usunięty, a jego węzły oddane z powrotem rootowi, odbudował go od zera w 10,5 sekundy, sam wybierając backend kernel. Czego nie zrobi, to instalacja Ceph. Ten krok prosi cię o zaakceptowanie Technology Preview, a to twoja decyzja, nie skryptu.\nCo trzeba poprawić Nic z tego nie zatrzyma zdeterminowanego administratora, a wszystko to zatrzyma zapracowanego. Każdy punkt to stwierdzenie, które croit składa każdemu, kto pobiera pakiet, i na każdy trafiłem przy pierwszej próbie.\nGdzie Co się dzieje Co by to naprawiło unit systemd User=ceph nie może czytać pmxcfs, więc OSD nigdy nie startuje na węźle pveceph dostarczyć start najpierw jako root, potem --setuser, albo drop-in dla Proxmoksa mechanizm zapasowy kernel-cmd przełącza się tylko, gdy Identify zostanie odrzucone; na jądrze PVE odrzucany jest Read i OSD staje przechodzić na bezpośrednie I/O przy każdym odrzuconym I/O przez passthrough udev dokumentacja wymaga reguły dającej ceph węzły przestrzeni nazw; żadna nie jest dostarczana dostarczyć taką, opartą o skonfigurowane urządzenia podsumowanie --check mówi, że NVMe w jądrze jest „compiled out”, a to jedyna wkompilowana ścieżka magazynu poprawić etykietę kod wyjścia --check rozruchowy SSD oblewa test PLP, więc 0 jest nieosiągalne oceniać tylko urządzenia skonfigurowane lub kandydujące hugepages 2048 MiB na OSD, a prep chce tyle wolnego przy każdym starcie; backend jądra używa 512 wymiarować backend jądra według tego, czego używa, i pozwolić prep prosić o to samo sha256sums.txt nazwy plików nie zgadzają się z zasobami wydania nazywać je tak, jak są opublikowane nazwa pakietu dokumentacja mówi apt remove flashstore; pakiet to croit-flashstore-osd jedna nazwa albo ta właściwa w dokumentacji opis flashstore_dev wymienia tylko spdk: i file: udokumentować kernel: oraz spdk: z backendem jądra Nic z tego nie jest nową pracą. Demon ma już zejście z uprawnień, bezpośredni backend i logikę zapasową. Po prostu nie zostały połączone dla platformy, na której większość ludzi spróbuje go najpierw.\nWersja zapoznawcza jest po to, żeby się tego dowiedzieć Wersja zapoznawcza to właściwe miejsce na każde z tych znalezisk i niewłaściwe miejsce, żeby je zostawić. Po to właśnie jest: ktoś zabiera ją do domu, stawia na sprzęcie, który faktycznie ma, i zapisuje, gdzie się wywraca. Części, które się liczą, wytrzymały. Magazyn wstał w milisekundy, OSD dołączyły do klastra zbudowanego cudzymi narzędziami, a instalacja systemu operacyjnego poszła na nie bez usterki.\nPotknęło się wszystko wokół demona. Plik konfiguracji na systemie plików, którego unit nie mógł czytać, jądro, które mówi „nie” wywołaniu dozwolonemu przez upstream, dysk rozruchowy, którego kontrola nie chciała przestać liczyć. Nic z tego nie jest trudne. Wszystko to jest różnicą między oprogramowaniem, które działa, a oprogramowaniem, które działa na twojej skrzynce, a jedyny sposób, żeby ją zamknąć, to testować na skrzynkach, które ludzie mają, a nie na tych, które się do tego zbudowało.\nPrzy tym wszystkim to obiecujący początek. Na marnym minikomputerze, z klasycznym librbd po stronie klienta i wszystkimi ośmioma dyskami na jednym łączu PCIe 3.0, Optane\u0026rsquo;y pracują tu ciężej niż pod BlueStore. W miarę rozwoju wrócę do tego i zakopię się głębiej, gdy kolejne części stosu zostaną wymienione, i przyjrzę się też CephFS2.\n„Drop-in” to obietnica złożona administratorowi, który nie ma czasu czytać źródeł. Monitory Proxmoksa, GUI Proxmoksa, jądro Proxmoksa i pakiet od kogoś innego to dokładnie sytuacja, dla której ta obietnica istnieje. Teraz prawie jej dotrzymuje. Dziewięć drobnych poprawek i dotrzyma, a ja wolę być tym, kto znalazł je w środę rano, niż klientem, który znajdzie je w piątek wieczorem.\ncroit/ceph-rust README — publiczna wersja zapoznawcza od 9 listopada 2026, „not yet recommended for production data”, wymagania, szybki start, produkcyjny zestaw funkcji, przetestowany commit Ceph.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\ncroit/ceph-rust release snapshot-2026-11-10 — użyte tu pakiety, w tym flashstore_…_debian-trixie_amd64.deb i sha256sums.txt.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\ncroit/ceph-rust — hardware requirements — sprawdzenie ulotnego cache zapisu, hugepages, uwagi o wersji jądra.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\ncroit/ceph-rust — branches and versions — main celuje w v21.2.0, v20.2.4 w v20.2.4; „The daemon refuses a cluster release outside its supported window.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nProxmox pve-manager, PVE/Ceph/Releases.pm — umbrella wymieniony z release =\u0026gt; '21.2' i unsupported =\u0026gt; 1.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\ncroit/ceph-rust — build and install packages — dystrybucje, glibc 2.34, obsługa ceph-osd.target, linia apt remove.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\ncroit/ceph-rust — configuration reference — flashstore_dev, flashstore_lcores, flashstore_report_objectstore i dlaczego domyślnie to bluestore.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\ncroit-flashstore-osd Cargo.toml — linia 29, knet = [… \u0026quot;kernel-nvme\u0026quot;].\u0026#160;\u0026#x21a9;\u0026#xfe0e;\ncroit/ceph-rust — first OSD tutorial — kontrola hosta tylko do odczytu; „Exit 0 means no FAIL.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\ncroit/ceph-rust — ADR 0169, kernel NVMe backend — dwa tryby jądra, zmierzone porównanie, budżet alokatora ładunku, rozwiązywanie adresów spdk: i mechanizm zapasowy tylko dla Identify (poprawka 6). Dodany do repozytorium tego samego wieczoru co wydanie.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nProxmox VE — Proxmox Cluster File System (pmxcfs) — klastrowy system plików pod /etc/pve i jego stałe właściciele i uprawnienia.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\ncroit-flashstore-osd@.service — User=ceph, ExecStartPre=… activate i CapabilityBoundingSet bez CAP_DAC_OVERRIDE.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\ncroit-flashstore-osd privdrop.rs — klasyczne zejście z uprawnień przez --setuser/--setgroup.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\ncroit/ceph-rust — prepare the host — „the namespace node must be readable and writable by user ceph (udev rule)”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLinux v7.0, drivers/nvme/host/ioctl.c — nvme_cmd_allowed(), reguła dla nieuprzywilejowanego passthrough NVMe.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\ncroit/ceph-rust — security — „prepare defaults --keyring to /var/lib/ceph/bootstrap-osd/\u0026lt;cluster\u0026gt;.keyring”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\ncroit/ceph-rust — prepare, activate and list — sonda niepustego urządzenia i --wipe.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nProxmox pve-manager, PVE/API2/Ceph/OSD.pm — osdtype to bluestore tylko wtedy, gdy metadane zawierają bluefs, w przeciwnym razie filestore.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nProxmox pve-manager, PVE/Ceph/Services.pm — ceph_service_cmd() mapuje osd.N na unit systemd ceph-osd@N.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCeph documentation — CRUSH maps — reguły replikacji, domeny awarii i klasy urządzeń.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCrystalDiskMark — benchmark dysków od Crystal Dew World; „Various measure mode (Peak/Real World/Demo)”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nProxmox VE wiki — Performance Tweaks — tryby cache dysku: „cache=none seems to be the best performance and is the default since Proxmox 2.X”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\n","permalink":"https://blogs.damiendye.uk/pl/proxmox/flashstore-osd-on-proxmox/","summary":"FlashStore OSD od croit to napisany w Rust zamiennik ceph-osd i BlueStore, w publicznej wersji zapoznawczej od 9 listopada 2026. Tutaj wdrażam go hiperkonwergentnie na pojedynczym węźle Proxmox VE 9.2: Ceph Umbrella 21.2.0 z kreatora PVE dla monitora i managera, OSD FlashStore na dyskach Intel Optane P4800X. Opisuję, dlaczego Umbrella to jedyne wydanie Proxmoksa, które pasuje, formatowanie dysków do 4 KiB i reset kontrolera, który przerywa formatowanie, co raportuje croit-flashstore-osd \u0026ndash;check, dlaczego dostarczony unit nie może odczytać ceph.conf Proxmoksa i drop-in, który to naprawia, passthrough NVMe, którego odmawia jądro Proxmoksa, i bezpośredni backend, który działa, przygotowanie OSD po adresie PCI, co robi z nimi panel OSD w PVE, pulę, storage RBD i maszynę wirtualną z Fisher-Price OS (Windows) zainstalowaną na nim, CrystalDiskMark uruchomiony w tej VM i zestawiony z licznikami samych dysków, pamięć Ceph przy wszystkich ośmiu aktywnych OSD, trzy VM naraz przy docelowej pamięci 1 GiB oraz skrypt, który robi to wszystko, przetestowany przez odbudowę OSD od zera.","title":"FlashStore OSD na Proxmox VE: czego to wymagało na jednym węźle"},{"content":"Jedna konsola, wielu klientów Jeśli opiekujesz się Proxmoksem dla innych, każdy nowy węzeł to ta sama robota, za każdym razem odrobinę inaczej. Każdy klient ma własny kraj, strefę czasową, klucze roota, układ dysków, nazewnictwo hostów i klucz subskrypcji. Pomyl jedno z nich na świeżym węźle, a dowiesz się przy pierwszym logowaniu albo przy pierwszym audycie, który zapyta, dlaczego zegar spieszy się o godzinę.\nZbudowałem to dla klienta, który miał dokładnie ten problem, a to, o co prosił, było odświeżająco proste. Każda lokalizacja buduje się z własnym nazewnictwem, własnym hasłem roota i własnymi kluczami SSH. Nikt na miejscu nie robi niczego sprytnego: montuje serwer w szafie, wpina go do właściwego VLAN-u i włącza zasilanie. Nikt nie zbiera numerów seryjnych i nikt nie pisze pliku odpowiedzi dla każdej maszyny. A serwer dodany w ten sposób trafia do istniejącego klastra lokalizacji.\nCzego chcieli Co to tutaj zapewnia własne nazewnictwo, hasło i klucze lokalizacji jedna przygotowana odpowiedź na lokalizację, wybierana tokenem tej lokalizacji wpiąć do właściwego VLAN-u, włączyć, odejść wykrywanie przez DNS, iPXE i Caddy wybierający token po podsieci źródłowej bez numerów seryjnych, bez plików odpowiedzi per maszyna odpowiedzi filtrują tylko po produkcie; lokalizacja wynika z sieci nowy serwer dołącza do istniejącego klastra nie w tym wpisie: PDM nie ma hooka pierwszego startu, patrz niżej Ten wpis obejmuje pierwsze trzy: doprowadzenie gołego serwera od włączenia zasilania do zainstalowanego węzła Proxmoksa z ustawieniami właściwej lokalizacji. Ta połowa dotyczy niemal każdego, kto ma więcej niż jedną lokalizację, MSP czy nie, więc warto ją mieć osobno. Dołączanie do klastra to osobna robota, a sekcja o brakującym hooku pierwszego startu wyjaśnia, dlaczego PDM nie może jeszcze zrobić tego za ciebie.\nProxmox Datacenter Manager (PDM) 1.1 dodał brakujący element1. Może teraz działać jako serwer odpowiedzi dla automatycznego instalatora Proxmoksa, więc goła maszyna startuje, wysyła informację, czym jest, dostaje z powrotem przygotowaną odpowiedź i instaluje się sama, bez nikogo przy konsoli. Dla dostawcy usług zarządzanych (MSP), który już używa PDM jako konsoli zarządzania, to oczywiste miejsce na ustawienia instalacyjne każdego klienta.\nCzego nie chcesz, to serwera PXE dla każdego klienta. Każdy z nich to serwer Trivial File Transfer Protocol (TFTP), konfiguracja DHCP, zestaw plików rozruchowych i ISO do przebudowania przy każdym wydaniu poprawkowym Proxmoksa. Dziesięciu klientów to dziesięć takich zestawów do utrzymania w aktualności. To się nie skaluje. Cel jest tu taki: jedno środowisko PXE, jeden obraz rozruchowy, jeden rekord DNS i jeden PDM, a każda lokalizacja i tak dostaje własną odpowiedź.\nJedno środowisko PXE dla każdej lokalizacji site1 10.10.50.0/24 site2 10.20.50.0/24 site3 10.30.50.0/24 Caddy na 443 catch token wchodzi token lokalizacji wychodzi, wybrany po podsieci PDM odpowiedzi ograniczone tokenem 8443 na pętli zwrotnej Jeden obraz rozruchowy, jeden rekord DNS i jedna usługa DHCP dla każdej lokalizacji Gotowy projekt. Każda lokalizacja uruchamia ten sam obraz. Caddy ustala po podsieci, z której lokalizacji przyszło żądanie, i podaje PDM token tej lokalizacji, a PDM oferuje tylko odpowiedzi przypisane do tego tokenu. PDM 1.1 dochodzi tam w większości sam. Nie dociera w dwóch miejscach i oba warto znać, zanim zaplanujesz wokół niego wdrożenie: nie ma sposobu, żeby dopasować odpowiedź do lokalizacji, i nie ma sposobu, żeby dać nowemu węzłowi skrypt pierwszego startu. Ten wpis dowodzi obu rzeczy na podstawie kodu źródłowego PDM, obchodzi pierwszą i buduje całość na moim laboratoryjnym PDM w wersji 1.1.9, z proxy utwardzonym tak, żeby części trzymające sekrety pozostały zamknięte.\nCo daje PDM 1.1 Funkcja mieszka pod Remotes → Automated Installations i ma trzy części: instalacje, przygotowane odpowiedzi i tokeny uwierzytelniające2. Przygotowana odpowiedź to wersja PDM instalatorowego answer.toml, wypełniana przez formularz, a nie pisana ręcznie.\nCzęść Co robi Szczegół, który się liczy Przygotowane odpowiedzi kraj, klawiatura, strefa czasowa, skrót hasła roota, klucze SSH, sieć, układ dysków, klucz subskrypcji, akcja po instalacji renderowane od nowa przy każdym żądaniu Filtry docelowe decydują, która maszyna dostaje którą odpowiedź JSON Pointer do informacji o systemie z instalatora, glob dla wartości3 Szablony MiniJinja w polach FQDN, e-mail administratora, IP, brama i DNS liczniki takie jak installation_nr rosną przy każdym wydaniu odpowiedzi4 Tokeny uwierzytelniające instalator wysyła Authorization: Bearer \u0026lt;name\u0026gt;:\u0026lt;secret\u0026gt; osobny typ tokenu niż tokeny API PDM; każda odpowiedź wymienia tokeny, które akceptuje2 Instalacje jeden rekord na żądanie, z pełną informacją o systemie przechodzi z „w toku” do „zakończona”, gdy webhook poinstalacyjny odpowie Uprawnienia Sys.Audit, żeby patrzeć, Sys.Modify, żeby zmieniać oba na /system/auto-installation4 Strona instalatora jest dostępna od jakiegoś czasu. Polecenie proxmox-auto-install-assistant prepare-iso buduje ISO, które pobiera swoją odpowiedź przez HTTP, a od ISO Proxmox VE 9.2 potrafi też wytworzyć jądro, initrd, ISO i boot.ipxe, których iPXE potrzebuje, żeby uruchomić całość przez sieć5.\nLiczniki to część, do której samodzielny answer.toml nie ma nic podobnego. Jedna przygotowana odpowiedź numeruje każdy host, który buduje, podczas gdy statyczny plik trzeba by kopiować dla każdej maszyny. To realny krok naprzód i wciąż pierwsze podejście. Formularz nie dorównuje jeszcze samodzielnemu plikowi odpowiedzi6, a jednego obszaru brakuje zupełnie: w 1.1 nie ma skryptu pierwszego startu w żadnej postaci7. Ta luka i lokalizacja, której nie potrafi dopasować, to dwie następne sekcje.\nNie potrafi dopasować lokalizacji PDM wybiera odpowiedź, porównując filtry z informacją o systemie, którą wysyła instalator. Pytanie brzmi więc, co jest w tym dokumencie, bo czego w nim nie ma, tego nie da się dopasować.\nKlucz Co zawiera Czy mógłby wskazać lokalizację? product fullname, product (pve, pbs, pmg), enable_btrfs nie iso release, isorelease nie dmi system, płyta główna i obudowa: nazwa, numer seryjny, UUID, SKU, asset tag tylko jeśli ktoś wpisał lokalizację do asset tagu network_interfaces lista {link, mac} tylko przez inwentarz, który prowadzisz sam To wszystko8,9. Nie ma adresu, nazwy hosta, opcji DHCP, niczego o tym, gdzie skrzynka jest wpięta.\nPola Desktop Management Interface (DMI) wyglądają obiecująco, dopóki nie przeczytasz prawdziwych. Każda z moich laboratoryjnych instalacji wróciła z nazwą systemu Standard PC (Q35 + ICH9, 2009) i pustym numerem seryjnym i asset tagiem. Prawdziwe serwery je wypełniają, ale tym, co wpisał producent, a nie nazwą twojego klienta, a dopasowanie po numerach seryjnych albo adresach MAC działa tylko wtedy, gdy prowadzisz listę każdej obudowy, jaką kiedykolwiek zainstalujesz, czyli dokładnie tę buchalterię, którą miało to usunąć. Per host tak. Per lokalizacja nie.\nWięc do której sieci jest wpięta skrzynka? PDM nigdy się tego nie dowiaduje. Instalator ma w ręku swoją dzierżawę DHCP, gdy wysyła żądanie, a jedyny fakt, który MSP zna na pewno o nowym węźle, to ten, który on zostawia za sobą. Dopasowanie po adresie źródłowym, IPv4 lub IPv6, to otwarte zgłoszenie funkcji i sam je złożyłem jako bug 826310.\nW regułach wyboru kryje się drugie ograniczenie i moje laboratorium wpadło prosto na nie.\nJak PDM wybiera odpowiedź 1. Token ważny? włączony, niewygasły nie 401 po około pół sekundy niezapisane 2. Odpowiedzi na tym tokenie w kolejności pliku, nic poza nimi 3. Wszystkie filtry pasują? tylko łańcuchy, globy dozwolone pierwsza odpowiedź wyrenderowana każdy jej licznik rośnie o 1 żadna 4. Domyślna na tym tokenie? jedna domyślna w całym PDM nie 400: no answer file found zapisane w Installations Wybór w PDM, według kodu źródłowego. Token jest sprawdzany jako pierwszy i ogranicza wszystko po nim, łącznie z odpowiedzią domyślną. Token jest sprawdzany jako pierwszy i w ogóle brane są pod uwagę tylko odpowiedzi autoryzowane dla tego tokenu, łącznie z domyślną4. PDM pozwala na dokładnie jedną odpowiedź domyślną w całym systemie. Nie możesz więc dać każdej lokalizacji własnej odpowiedzi awaryjnej flagą domyślności. Moje laboratorium miało odpowiedź domyślną o nazwie fallback na jej własnym tokenie i nie została wydana ani razu, bo nic nigdy nie wysyła tego tokenu. Każda lokalizacja potrzebuje zamiast tego filtra łapiącego wszystko na własnym tokenie, takiego jak /product/product=*, umieszczonego na końcu pliku.\nDwie kolejne rzeczy z tego samego kodu warto mieć w głowie przy debugowaniu:\nWygrywa pierwsze dopasowanie, w kolejności pliku, a drugie dopasowanie tylko loguje ostrzeżenie. Taka jest reguła od 1.1.111. Filtr dopasowuje tylko łańcuchy znaków. /product/enable_btrfs to wartość logiczna i nigdy niczego nie dopasuje, a tablica wymaga indeksu, jak w /network_interfaces/0/mac. W 1.1.9 nieznany lub wygasły token dostaje 401 po celowym opóźnieniu około pół sekundy i nie zostawia żadnego rekordu. Dobry token bez dopasowania dostaje 400 z treścią no answer file found, a ta próba jest zapisywana, z pełną informacją o systemie. Ten rekord to najszybszy sposób, żeby odczytać prawdziwe numery seryjne i adresy MAC nowej obudowy, zanim napiszesz dla niej filtr.\nNie potrafi uruchomić skryptu pierwszego startu Sam instalator obsługuje hook pierwszego startu. Odpowiedź może zawierać sekcję [first-boot] z source = \u0026quot;from-iso\u0026quot; albo \u0026quot;from-url\u0026quot;, kolejnością before-network, network-online lub fully-up i opcjonalnym odciskiem certyfikatu9. prepare-iso --on-first-boot osadza skrypt w ISO dla przypadku from-iso.\nPDM nigdy nie wysyła tej sekcji. Ani razu. Własny typ odpowiedzi instalatora ma to pole, first_boot: Option\u0026lt;FirstBootHookInfo\u0026gt;12. Przygotowana odpowiedź PDM w ogóle nie ma na nie pola, a kod, który z niej buduje odpowiedź, bezwarunkowo zapisuje first_boot: None4. Nie ma tego w formularzu, nie ma w API i nie ma niczego w pliku konfiguracyjnym, co dałoby się dopisać ręcznie. To otwarte zgłoszenie funkcji, bug 7699, złożone w czerwcu 2026 i wciąż nieprzypisane w chwili pisania7. Po niemal pięciu miesiącach nie doczekało się żadnej odpowiedzi od Proxmoksa, podobnie jak 8263. To milczenie jest niepokojące. Ktoś, kto poświęcił czas, żeby opisać, jak twój produkt mógłby być lepszy, zasługuje na odpowiedź, nawet jeśli ta odpowiedź brzmi „nie”, i to jest zwykła zawodowa uprzejmość. Tym bardziej, gdy piszą płacący klienci i partnerzy, którzy już wkładają w produkt pieniądze, zanim jeszcze włożą w niego swój czas.\nA skrypt na ISO cię nie ratuje. Instalator ustawia usługę pierwszego startu tylko if let Some(first_boot) = \u0026amp;answer.first_boot, i to jedyna ścieżka, która kiedykolwiek czyta osadzony plik13. prepare-iso nie ostrzega, gdy osadzasz skrypt, o który żadna odpowiedź nigdy nie poprosi. Leży na ISO i nic nie robi.\nLuka pierwszego startu Skrypt na ISO prepare-iso --on-first-boot Odpowiedź z PDM first_boot: None, zawsze Instalator ustawia hook pierwszego startu tylko gdy odpowiedź ma [first-boot] skrypt zostaje na ISO i nigdy się nie uruchamia, bez ostrzeżenia Obie połowy docierają do instalatora, a połowa z PDM nigdy nie prosi o hook. Skrypt na ISO to martwy balast. To ma większe znaczenie dla MSP niż dla kogokolwiek innego. Węzeł z instalatora to goły system ze skrótem hasła roota i kilkoma kluczami SSH. Nie jest remote\u0026rsquo;em PDM, nie jest w klastrze i nie ma na sobie niczego z twojego monitoringu, repozytoriów ani storage\u0026rsquo;u. W moim laboratorium wszystkie trzy węzły się zakończyły i zameldowały, a remote SITEA w PDM i tak trzeba było potem dodać ręcznie.\nWięc czegokolwiek używasz do dokończenia węzła, czy to Ansible, czy czegoś innego, musi to być wyzwalane z zewnątrz: z webhooka poinstalacyjnego, z zadania, które obserwuje listę Installations, albo przez człowieka. Na tym poprzestaję. Ten wpis jest o tym, jak sprawić, żeby jedno środowisko PXE obsłużyło każdą lokalizację, a luka pierwszego startu to ograniczenie, wokół którego trzeba planować, a nie coś, co zamierzam tu zaklejać.\nToken jest lokalizacją PDM nie widzi lokalizacji, ale ogranicza odpowiedzi tokenem, a token to tylko nagłówek. Kto ustawia nagłówek, ten wybiera, który zestaw odpowiedzi instalator może dostać. Na tym polega cały trik.\nWięc postaw przed PDM coś, co wie, skąd przyszło żądanie:\nObraz rozruchowy niesie catch token, catch-all:not-a-secret, który jest taki sam w każdym obrazie i jest opublikowany właśnie tutaj. To nie jest token PDM i sam niczego nie otwiera. Reverse proxy Caddy przed PDM patrzy na podsieć źródłową żądania odpowiedzi, które niesie catch token, i zastępuje nagłówek prawdziwym tokenem tej lokalizacji. PDM widzi site2-2026q4:\u0026lt;secret\u0026gt; i oferuje tylko odpowiedzi site2. Sekret nigdy nie zbliża się do obrazu rozruchowego, więc zgubiony pendrive albo skopiowane ISO nikomu nic nie dają. Rotacja tokenu lokalizacji to zmiana w Caddy, nie przebudowa obrazu. A dodanie lokalizacji to jedna linia konfiguracji Caddy i jeden nowy token w PDM.\nTo opiera się na tym, że adres źródłowy jest uczciwy, a to właściwość twojej sieci, nie proxy. Ten kompromis i pozostałe są opisane niżej w „Co zostaje do rozstrzygnięcia”.\nJak instalator znajduje PDM bez wpisanego na stałe URL-a Jeden obraz dla każdej lokalizacji działa tylko wtedy, gdy obraz nie niesie też adresu PDM. Instalator szuka URL-a swojej odpowiedzi w trzech miejscach, w tej kolejności14:\nSkąd instalator bierze URL odpowiedzi 1. URL wpisany w ISO? prepare-iso --url tak użyty, DHCP i DNS nie są pytane jeden obraz na PDM: tu unikamy nie 2. Opcja DHCP 250? czytana z dzierżawy instalatora tak użyta, z opcją 251 dla odcisku: tu niewysyłana nie albo dowolny błąd DHCP 3. Zapytanie DNS TXT domena wyszukiwania z resolv.conf proxmox-auto-installer.example.doc URL i odcisk, oba z DNS Kolejność, którą stosuje instalator. Pomiń URL w obrazie, nie wysyłaj opcji 250, a każda lokalizacja spadnie do DNS. Reguła Co robi kod Co to dla ciebie znaczy Kolejność URL w ISO wygrywa; w przeciwnym razie DHCP; każda porażka DHCP spada do DNS14 zbuduj obraz bez --url i nigdzie nie wysyłaj opcji 250 Nazwy rekordów proxmox-auto-installer.\u0026lt;search domain\u0026gt; dla URL-a, proxmox-auto-installer-cert-fingerprint.\u0026lt;search domain\u0026gt; dla odcisku jedna strefa, dwa rekordy TXT Domena wyszukiwania pierwsza linia search z /etc/resolv.conf, dzielona po pojedynczej spacji rozdawaj dokładnie jedną domenę; dwie stają się jedną nieprawidłową nazwą Brak domeny kończy się błędem Could not find search domain in resolv.conf. sprawdź, czy wysyłana jest opcja DHCP 15 lub 119 Wartość TXT dig txt +short, każdy \u0026quot; usunięty, potem przycięte wartość TXT podzielona na kilka łańcuchów zostawia spację w URL-u; trzymaj ją jako jeden łańcuch Odcisk brany z DNS tylko wtedy, gdy URL też przyszedł z DNS i żaden nie jest wpisany na stałe opublikuj odcisk certyfikatu PDM, który serwuje też Caddy Token wysyłany jako Authorization: Bearer \u0026lt;token\u0026gt;, przechowywany otwartym tekstem na ISO9 dlatego obraz niesie tylko catch token Certyfikat, który sprawdza instalator, to ten, który odpowiada na 443. W tym projekcie Caddy serwuje tam własny certyfikat PDM, więc klient widzi na 443 ten sam certyfikat, który PDM ma na 8443, i jest jeden odcisk do opublikowania.\nBudowa: PDM, pliki rozruchowe i DNS Przykłady używają domeny example.doc i trzech lokalizacji, 10.10.50.0/24, 10.20.50.0/24 i 10.30.50.0/24. .doc nie jest prawdziwą domeną najwyższego poziomu, więc podstaw własną. PDM, Caddy, dnsmasq i pliki rozruchowe mieszkają na jednym hoście, pdm.example.doc pod 10.10.50.10, a zdalne lokalizacje docierają do niego przez przekaźnik DHCP na swoich bramach. Zarządzanie mieszka w 10.99.0.0/24 i tym samym jest jedyną siecią, która kiedykolwiek widzi interfejs WWW PDM.\nTokeny i odpowiedzi w PDM W Remotes → Automated Installations → Authentication Tokens dodaj jeden token na lokalizację i nadaj mu datę wygaśnięcia zgodną z oknem wdrożenia. Nazwa nie jest sekretem i zobaczysz ją w logach, więc niech coś mówi: site1-2026q4. Skopiuj sekret, gdy zostanie pokazany.\nPotem dodaj przygotowaną odpowiedź na lokalizację i produkt, autoryzowaną tylko na tokenie tej lokalizacji:\nPole site1, Proxmox VE Autoryzowany token site1-2026q4 Filtr docelowy /product/product=pve Kraj, klawiatura, strefa czasowa gb, en-gb, Europe/London Dostęp roota klucze SSH plus hasło ustawione przez formularz, które PDM przechowuje i wysyła wyłącznie jako skrót4 Sieć DHCP, nazwy interfejsów przypięte FQDN {{ product.product }}-site1-{{ installation_nr }}.example.doc Dysk twój układ, na przykład lustro ZFS na dwóch nazwanych dyskach Webhook poinstalacyjny bazowy URL https://pdm.example.doc, z odciskiem certyfikatu PDM Licznik rośnie przy każdym wydaniu odpowiedzi, łącznie z ponowieniami, więc nazwy mogą przeskakiwać numery. Mój laboratoryjny licznik stoi na 4 po trzech zakończonych instalacjach. Jeśli potrzebujesz przewidywalnych nazw, użyj FQDN from DHCP i wpisz nazwę hosta do rezerwacji DHCP.\nBazowy URL webhooka to jedyne ustawienie, które w tym projekcie musi się zmienić. Naturalne jest skierowanie go na sam PDM na porcie 8443, tak miało to moje laboratorium, a 8443 zaraz zostanie zamknięty. Skieruj go na Caddy.\nPliki rozruchowe Na dowolnym hoście Proxmox VE lub Debian z repozytorium Proxmoksa:\napt install proxmox-auto-install-assistant xorriso mkdir -p /srv/www/pve-9.2 proxmox-auto-install-assistant prepare-iso proxmox-ve_9.2-1.iso \\ --fetch-from http \\ --answer-auth-token \u0026#39;catch-all:not-a-secret\u0026#39; \\ --pxe-loader ipxe \\ --output /srv/www/pve-9.2/ Bez --url, bo dostarcza go DNS. --pxe-loader ipxe implikuje --pxe, a z --pxe wyjście musi być katalogiem, który już istnieje15. Dostajesz cztery pliki: vmlinuz, initrd.img przepakowany z zstd na gzip, bo iPXE nie potrafi załadować initrd w zstd, przygotowane ISO z usuniętym /boot i menu boot.ipxe, które po dziesięciu sekundach domyślnie uruchamia instalację automatyczną i odwołuje się do pozostałych po nazwie względnej15. Trzymaj wszystkie cztery w jednym katalogu.\nKażda maszyna docelowa potrzebuje dość pamięci, żeby pomieścić jądro, initrd i całe ISO. Informacje o wydaniu Proxmox VE 9.2 mówią o „at least 6 GiB of available memory on the host”5. Te same informacje wymieniają znany problem z jądrem ISO 9.2 na kontrolerach megaraid_sas i niektórych dyskach NVMe w trybie JBOD (just a bunch of disks), z radą, żeby instalować z ISO 9.1 i zaktualizować5. Przetestuj swój sprzęt, zanim powierzysz go ścieżce sieciowej.\nRekordy DNS W strefie odpowiadającej tej jednej domenie wyszukiwania, którą rozdaje DHCP:\n$ORIGIN example.doc. pdm IN A 10.10.50.10 proxmox-auto-installer IN TXT \u0026#34;https://pdm.example.doc/api2/json/auto-install/answer\u0026#34; proxmox-auto-installer-cert-fingerprint IN TXT \u0026#34;63:C4:D6:...:85:07\u0026#34; Odcisk to własny certyfikat PDM:\nopenssl x509 -in /etc/proxmox-datacenter-manager/auth/api.pem -noout -fingerprint -sha256 Sprawdź je tak, jak zrobi to instalator:\ndig txt +short proxmox-auto-installer.example.doc @10.10.50.10 # one quoted string, nothing split Caddy, jedyne drzwi do PDM API PDM nasłuchuje na [::]:8443, a to stała wkompilowana w binarkę, nie ustawienie16. Nie da się go przypiąć do pętli zwrotnej. Więc Caddy staje się jedyną drogą do środka, a zapora tego pilnuje.\nŚcieżki Caddy przed PDM ŻĄDANIE CO SIĘ DZIEJE POST odpowiedzi, podsieć lokalizacji, catch token podmieniony na token tej lokalizacji POST post-hook, podsieć lokalizacji Authorization usunięty, przekazany interfejs WWW lub API, podsieć zarządzania przekazany nietknięty, logowanie PDM wszystko inne, skądkolwiek przerwany, nigdy nie dociera do PDM port 8443, spoza skrzynki odrzucony przez nftables Każde żądanie, które widzi Caddy, kończy w jednym z pięciu miejsc. Tylko pierwsze trzy w ogóle docierają do PDM. PDM ma dokładnie dwie ścieżki, które działają bez logowania do PDM: POST /api2/json/auto-install/answer z tokenem instalatora i POST …/installations/{uuid}/post-hook z jednorazowym tokenem w treści4. To jedyne dwie, do których sieć provisioningu powinna kiedykolwiek docierać.\nUżyj Caddy 2.11.1 lub nowszego. 2.11.1 naprawił obejście dopasowania ścieżek, CVE-2026-27587, a to dokładnie ten rodzaj bramkowania po ścieżce, na którym to się opiera17. Własny pakiet Debiana 13 to 2.6.2, więc weź go z trixie-backports, gdzie jest 2.11.2, albo z repozytorium Caddy18.\nCaddyfile, /etc/caddy/Caddyfile:\n{ # the admin API on a socket only root can open, never on TCP admin unix//run/caddy/admin.sock|0600 auto_https disable_redirects servers { protocols h1 h2 } } # PDM itself, on the loopback, trusted by its own certificate (pdm_upstream) { reverse_proxy https://[::1]:8443 { transport http { tls_trust_pool file /etc/proxmox-datacenter-manager/auth/api.pem tls_server_name pdm.example.doc } } log_append pdm_status {http.reverse_proxy.status_code} } # one site: name, subnet, PDM token name, PDM token secret (site) { @{args[0]} { method POST path /api2/json/auto-install/answer remote_ip {args[1]} header Authorization \u0026#34;Bearer catch-all:not-a-secret\u0026#34; } handle @{args[0]} { log_append site {args[0]} log_append pdm_token {args[2]} request_header Authorization \u0026#34;Bearer {args[2]}:{args[3]}\u0026#34; import pdm_upstream } } pdm.example.doc, 10.10.50.10 { tls /etc/proxmox-datacenter-manager/auth/api.pem /etc/proxmox-datacenter-manager/auth/api.key import site site1 10.10.50.0/24 site1-2026q4 {env.PDM_SECRET_SITE1} import site site2 10.20.50.0/24 site2-2026q4 {env.PDM_SECRET_SITE2} import site site3 10.30.50.0/24 site3-2026q4 {env.PDM_SECRET_SITE3} @post_hook { method POST path /api2/json/auto-install/installations/*/post-hook remote_ip 10.10.50.0/24 10.20.50.0/24 10.30.50.0/24 } handle @post_hook { request_header -Authorization import pdm_upstream } # the PDM web UI and API, from the management network only @mgmt remote_ip 10.99.0.0/24 handle @mgmt { import pdm_upstream } # anything else, from anywhere, never reaches PDM handle { abort } log { output file /var/log/caddy/pdm.log format filter { request\u0026gt;headers\u0026gt;Csrfpreventiontoken replace REDACTED } } } # boot files, to the sites and management only http://:80 { @hidden path_regexp /\\. handle @hidden { abort } @boot remote_ip 10.10.50.0/24 10.20.50.0/24 10.30.50.0/24 10.99.0.0/24 handle @boot { root * /srv/www file_server } handle { abort } } Części, które wykonują pracę związaną z bezpieczeństwem, i po co każda jest:\nLinia Dlaczego header Authorization \u0026quot;Bearer catch-all:not-a-secret\u0026quot; w matcherze lokalizacji bez tego każdy POST z podsieci lokalizacji dostaje prawdziwy token; żądanie musi przyjść z właściwej podsieci i nieść catch token request_header Authorization … ustawia nagłówek, nadpisując to, co wysłał klient, więc podrobiony token zostaje zastąpiony, nigdy przekazany dalej19 remote_ip bezpośredni sąsiad; nie stawiaj NAT-u ani load balancera między instalatorami a Caddy20 nazwane bloki handle trzymane w kolejności zapisu i wzajemnie wykluczające się, więc goły handle { abort } ma ostatnie słowo21 @mgmt pełny interfejs i API PDM, nietknięte, więc własne logowanie PDM, tokeny API i ciasteczka działają normalnie; podsieć lokalizacji nie dostaje z tego nic admin unix//…|0600 API administracyjne domyślnie słucha na TCP localhost:2019, bez uwierzytelniania22 protocols h1 h2 Caddy domyślnie słucha na UDP 443 dla HTTP/322; to go wyłącza, zamiast zostawiać port, którego nikt nie chciał otwierać @hidden file_server serwuje każdy plik pod swoim katalogiem głównym, łącznie z plikami z kropką, a hide jest udokumentowane jako niebędące granicą bezpieczeństwa23 Csrfpreventiontoken replace REDACTED Caddy domyślnie redaguje w logu dostępu Authorization i Cookie, ale nie nagłówek CSRF PDM24 Matcher ścieżek jest bardziej wyrozumiały niż PDM, i to jest właściwa kolejność. Caddy czyści ścieżkę, dekoduje kodowanie procentowe, scala powtórzone ukośniki i ignoruje wielkość liter, zanim dopasuje20. Więc //answer, %61nswer i ANSWER liczą się jako ścieżka odpowiedzi, a wariant /api2/extjs/… albo końcowy ukośnik nie pasuje do ścieżki lokalizacji i spada do abort.\nDwa wybory w tym pliku wymagają wyjaśnienia.\nCaddy serwuje certyfikat PDM, prosto z plików PDM. Caddy czyta api.pem i api.key tam, gdzie trzyma je PDM, więc instalatory, webhook i przeglądarka widzą ten certyfikat, który PDM przedstawia na 8443, i nie ma drugiej kopii, która mogłaby się rozjechać. Oczywistym sposobem dania mu tego dostępu jest dodanie użytkownika caddy do www-data. W laboratorium sprawdziłem, do czego to członkostwo w grupie faktycznie sięga, testując każdy plik jako użytkownik caddy:\nPlik pod /etc/proxmox-datacenter-manager/ Czytelny dla caddy w www-data remotes.shadow, poświadczenia każdego zarządzanego remote\u0026rsquo;a tak autoinst/tokens.shadow, każdy sekret tokenu instalatora tak auth/api.key, auth/csrf.key tak access/user.cfg, subscriptions/ tak Nic z tej listy nie powinno się znaleźć choćby w pobliżu webowego proxy. Błąd w proxy byłby wtedy kompromitacją każdego klastra, którym zarządza PDM.\nWięc Caddy zostaje poza www-data i dostaje ACL na dokładnie dwa pliki, których potrzebuje, plus prawo przejścia przez dwa katalogi nad nimi bez ich listowania:\n#!/bin/sh # /usr/local/sbin/pdm-cert-acl # let Caddy read PDM\u0026#39;s certificate and key in place, and nothing else of PDM\u0026#39;s set -e D=/etc/proxmox-datacenter-manager; A=$D/auth setfacl -m u:caddy:x \u0026#34;$D\u0026#34; \u0026#34;$A\u0026#34; setfacl -m u:caddy:r \u0026#34;$A/api.pem\u0026#34; \u0026#34;$A/api.key\u0026#34; Przetestowane jako użytkownik caddy w laboratorium po uruchomieniu:\nŚcieżka caddy auth/api.pem, auth/api.key może czytać auth/csrf.key, auth/authkey.key, auth/authkey.pub nie może czytać remotes.shadow, remotes.cfg, autoinst/tokens.shadow, access/user.cfg nie może czytać listowanie auth/ odmowa Haczyk to odnowienie. PDM zapisuje odnowiony certyfikat do nowego pliku i przemianowuje go na miejsce starego, a nowy plik nie niesie ACL starego. Więc gdy PDM odnawia certyfikat, systemd przywraca ACL i przeładowuje Caddy, bez niczyjego udziału.\nSprawdzenie, że certyfikat i klucz do siebie pasują, bo odnowienie zapisuje je po jednym:\n#!/bin/sh # /usr/local/sbin/pdm-cert-pair-ok # exit 0 only when PDM\u0026#39;s certificate and key belong together d=/etc/proxmox-datacenter-manager/auth c=$(openssl x509 -noout -pubkey -in \u0026#34;$d/api.pem\u0026#34;) || exit 1 k=$(openssl pkey -pubout -in \u0026#34;$d/api.key\u0026#34;) || exit 1 [ \u0026#34;$c\u0026#34; = \u0026#34;$k\u0026#34; ] Unit path obserwujący oba pliki i usługa, którą uruchamia:\n# /etc/systemd/system/caddy-pdm-cert.path [Unit] Description=Watch the PDM certificate and key for renewal [Path] PathChanged=/etc/proxmox-datacenter-manager/auth/api.pem PathChanged=/etc/proxmox-datacenter-manager/auth/api.key Unit=caddy-pdm-cert.service [Install] WantedBy=multi-user.target # /etc/systemd/system/caddy-pdm-cert.service [Unit] Description=Let Caddy read the renewed PDM certificate in place, then reload Caddy [Service] Type=oneshot ExecCondition=/usr/local/sbin/pdm-cert-pair-ok ExecStart=/usr/local/sbin/pdm-cert-acl ExecStart=/usr/bin/systemctl try-reload-or-restart caddy.service apt install acl systemctl daemon-reload systemctl enable --now caddy-pdm-cert.path Override opisany dalej uruchamia ten sam skrypt ACL przed każdym startem Caddy, więc odnowienie w czasie, gdy Caddy był zatrzymany, nigdy nie umknie.\nSzczegóły, dzięki którym to działa, każdy sprawdzony:\nElement Dlaczego obserwowane oba pliki pierwszy zapis wyzwala unit; warunek go pomija, dopóki para się nie zgadza, a drugi zapis wyzwala go znowu z pasującą parą ExecCondition niespełniony warunek pomija uruchomienie zamiast oznaczać je jako błąd, więc w połowie zapisane odnowienie nigdy nie dociera do Caddy25 PathChanged wyzwala się, gdy obserwowany plik, który był otwarty do zapisu, zostaje zamknięty26; w laboratorium wyzwolił się też, gdy nowy plik został przemianowany na miejsce starego skrypt ACL przy każdym uruchomieniu przemianowany plik nie ma ACL, więc Caddy nie mógł go czytać, dopóki skrypt nie zadziała znowu try-reload-or-restart przeładowuje Caddy, jeśli działa, i nic nie robi, jeśli nie reload --force w unicie Caddy bez --force Caddy widzi tę samą konfigurację i dalej serwuje stary certyfikat Ten ostatni wiersz to nie domysł. W jednorazowym kontenerze z Caddy 2.11.7 podmieniłem plik certyfikatu pod działającym serwerem: zwykłe caddy reload dalej serwowało stary certyfikat, a caddy reload --force serwowało nowy. Dostarczony unit już przeładowuje z --force27, więc zachowaj tę linię, jeśli nadpisujesz ExecReload.\nW laboratorium podmieniłem api.key i api.pem PDM tak, jak robi to odnowienie: zapisując nowe pliki i przemianowując je na miejsce starych. Zaraz po przemianowaniu api.key nie miał wpisu ACL dla caddy. W ciągu czterech sekund unit path się wyzwolił, ACL wrócił na oba pliki, a Caddy przeładował się w miejscu, z tym samym identyfikatorem procesu.\nNazwa tokenu i sekret są trzymane osobno. Nazwa idzie do Caddyfile, gdzie jest logowana. Sekret idzie do pliku środowiskowego, który może czytać tylko root, a Caddy czyta go przez {env.*} w momencie żądania.\nLoguj, który token został użyty, nigdy sekret Pierwsza wersja tego w moim laboratorium przeciekała. Dostarczony unit Caddy uruchamia go jako caddy run --environ, a --environ drukuje całe środowisko przed startem28,27. Każdy restart wrzucał token lokalizacji do dziennika otwartym tekstem: osiem linii, zanim to policzyłem. Nic w logu dostępu, nic we własnych logach PDM, wszystko z tej jednej flagi.\nDokąd idą sekret i nazwa tokenu SEKRET pdm-secrets.env tylko root, 0600 środowisko Caddy {env.PDM_SECRET_SITE1} nagłówek Authorization tylko odcinek do PDM na pętli NAZWA linia import w Caddyfile log dostępu, każde żądanie odpowiedzi \"pdm_token\":\"site1-2026q4\" NIGDY NIE TRAFIA DO dziennika --environ usunięte API administracyjnego gniazdo unix, 0600 zrzutu konfiguracji tylko placeholder Sekret ma jedno zadanie i jedną ścieżkę. Logujesz nazwę. Więc plik z sekretami trzyma sekrety i nic więcej:\ninstall -m 0600 /dev/null /etc/caddy/pdm-secrets.env printf \u0026#39;PDM_SECRET_SITE1=%s\\nPDM_SECRET_SITE2=%s\\nPDM_SECRET_SITE3=%s\\n\u0026#39; \\ \u0026#39;\u0026lt;secret1\u0026gt;\u0026#39; \u0026#39;\u0026lt;secret2\u0026gt;\u0026#39; \u0026#39;\u0026lt;secret3\u0026gt;\u0026#39; \u0026gt; /etc/caddy/pdm-secrets.env a override unitu usuwa --environ i daje gniazdu administracyjnemu dom:\n# systemctl edit caddy [Service] EnvironmentFile=/etc/caddy/pdm-secrets.env RuntimeDirectory=caddy RuntimeDirectoryMode=0700 # PDM\u0026#39;s certificate and key, read where PDM keeps them ExecStartPre=+/usr/local/sbin/pdm-cert-acl # the access log directory and its files belong to Caddy ExecStartPre=+/usr/bin/install -d -o caddy -g caddy -m 0750 /var/log/caddy ExecStartPre=+/usr/bin/chown -R caddy:caddy /var/log/caddy ExecStart= ExecStart=/usr/bin/caddy run --config /etc/caddy/Caddyfile ExecReload= ExecReload=/usr/bin/caddy reload --config /etc/caddy/Caddyfile --force + uruchamia te linie jako root, zanim Caddy wystartuje jako własny użytkownik. Linie dotyczące logów mają znaczenie, gdy tylko coś innego dotknie /var/log/caddy: log zrotowany przez roota albo plik utworzony ręcznie podczas testów zostawia Caddy bez możliwości otwarcia własnego logu dostępu. W laboratorium ustawiłem pdm.log na root:root i zrestartowałem Caddy; wrócił jako caddy:caddy, a Caddy nie zalogował żadnych błędów uprawnień.\nPo edycji restartuj, a nie przeładowuj, bo przeładowanie nie czyta środowiska od nowa. Używaj {env.NAME}, nigdy {$NAME}: druga forma jest podstawiana, gdy Caddyfile jest adaptowany, więc sekret ląduje w konfiguracji JSON, w pliku autozapisu i we wszystkim, co je zrzuca29. Gniazdo administracyjne też ma tu znaczenie. {env.*} rozwiązuje wszystko, co jest w środowisku procesu, bez listy dozwolonych, więc każdy, kto może załadować konfigurację przez API administracyjne na TCP, może kazać Caddy odczytać mu sekret30.\nKażda linia odpowiedzi w logu dostępu wskazuje teraz lokalizację i token, a sam nagłówek jest zredagowany. Z laboratorium, gdzie oba nazywają się siteA:\n{\u0026#34;site\u0026#34;:\u0026#34;siteA\u0026#34;,\u0026#34;pdm_token\u0026#34;:\u0026#34;siteA\u0026#34;,\u0026#34;pdm_status\u0026#34;:400,\u0026#34;status\u0026#34;:400, \u0026#34;request\u0026#34;:{\u0026#34;headers\u0026#34;:{\u0026#34;Authorization\u0026#34;:[\u0026#34;REDACTED\u0026#34;]}}} Sprawdziłem to, zamiast w to wierzyć. Na kopii tej konfiguracji w podmanie z fikcyjnymi sekretami, a potem w laboratorium, wysłałem odpowiedzi każdą ścieżką, jaka przyszła mi do głowy: normalnie, z włączonym logowaniem debug, z wyłączonym upstreamem dla 502, z przeładowaniem i z restartem. Potem policzyłem każdy sekret w dzienniku, logu dostępu, katalogach konfiguracji i danych Caddy oraz w zaadaptowanym JSON-ie. Każdy wynik był zerem. Przebieg kontrolny, ta sama konfiguracja uruchomiona z --environ, wydrukował sekret dwa razy.\nDwa zastrzeżenia z tego testu. Z włączonym debug Caddy loguje całą zaadaptowaną konfigurację, więc catch token i placeholdery {env.*} się tam pojawiają; wartości za nimi nie. I tak trzymaj debug wyłączony na produkcji. A jeśli sekret już przeszedł przez dziennik, jak mój, wygeneruj go na nowo w PDM i zaktualizuj plik; usuwanie linii logu to nie jest poprawka.\nZapora: 8443 nigdy nie opuszcza skrzynki Moje laboratorium nie miało żadnej zapory, więc 8443 odpowiadał każdemu hostowi w sieci provisioningu i każdą regułę w Caddyfile dało się obejść. Zamknij go. nftables, z domyślnym drop:\n#!/usr/sbin/nft -f flush ruleset define SITES = { 10.10.50.0/24, 10.20.50.0/24, 10.30.50.0/24 } define MGMT = { 10.99.0.0/24 } table inet filter { chain input { type filter hook input priority filter; policy drop; iifname \u0026#34;lo\u0026#34; accept ct state established,related accept ct state invalid drop meta l4proto { icmp, ipv6-icmp } accept # PDM\u0026#39;s API listens on [::]:8443 and cannot be rebound tcp dport 8443 counter drop ip saddr $MGMT tcp dport { 22, 80, 443 } accept udp dport { 67, 69 } accept ip saddr $SITES meta l4proto { tcp, udp } th dport 53 accept ip saddr $SITES tcp dport { 80, 443 } accept } chain forward { type filter hook forward priority filter; policy drop; } } Połączenia PDM do jego remote\u0026rsquo;ów są wychodzące, więc zamknięcie 8443 na wejściu niczego tam nie zmienia. Za pierwszym razem ładuj nowy zestaw reguł z czasowym wycofaniem, żeby pomyłka kosztowała cię dziewięćdziesiąt sekund, a nie wyprawę do konsoli:\nsystemd-run --unit=nft-rollback --on-active=90 /usr/sbin/nft flush ruleset nft -f /etc/nftables.conf # still connected? then: systemctl stop nft-rollback.timer \u0026amp;\u0026amp; systemctl enable nftables W laboratorium, po tym wszystkim:\nSprawdzenie Wynik 8443 z sieci zarządzania brak połączenia; licznik drop rośnie interfejs WWW PDM przez Caddy na 443, z sieci zarządzania loguje się i działa interfejs WWW PDM z adresu lokalizacji przerwane POST odpowiedzi z lokalizacji z catch tokenem dociera do PDM z tokenem lokalizacji: celowo niedopasowana sonda dostała 400 no answer file found ta sama sonda prosto do PDM ze zmyślonym tokenem 401 POST odpowiedzi bez catch tokenu albo jako /api2/extjs/… przerwane pliki, w których mieszkają sekrety PDM, czytane jako caddy żaden nie jest czytelny sekret lokalizacji w dzienniku, logu dostępu lub danych Caddy od zmiany 0 DHCP, iPXE i pętla Firmware serwera potrafi pobrać swój pierwszy plik tylko przez TFTP, więc TFTP serwuje mały loader iPXE, a iPXE pobiera całą resztę przez HTTP. Pułapka polega na tym, że iPXE wysyła własne żądanie DHCP, a serwer, który odpowiada na nie znowu ipxe.efi, puszcza maszynę w kółko w nieskończoność. Serwer DHCP musi odróżniać firmware od iPXE.\nDlaczego zwykła odpowiedź DHCP się zapętla Zwykła odpowiedź: pętla firmware prosi o plik rozruchowy odpowiedź: ipxe.efi iPXE startuje i pyta ponownie ta sama odpowiedź: ipxe.efi serwer nie odróżnia firmware'u od iPXE, więc nigdy nie idzie dalej Świadoma iPXE: działa firmware prosi o plik rozruchowy nie iPXE: ipxe.efi przez TFTP iPXE pyta znowu, opcja 175 ustawiona odpowiedź: URL boot.ipxe, przez HTTP jądro, initrd i ISO, potem instalacja To samo żądanie dwa razy dostaje dwa razy tę samą odpowiedź. Opcja 175, którą wysyła tylko iPXE, pozwala serwerowi odróżnić drugie żądanie od pierwszego. Serwer DHCP Jak przerywa pętlę dnsmasq oznacza tagiem żądania z opcją 175, którą wysyła tylko iPXE, i podaje im URL HTTP31 ISC dhcpd if exists user-class and option user-class = \u0026quot;iPXE\u0026quot;32 FortiGate pole filename przyjmuje jedną wartość, więc zbuduj loader iPXE z osadzonym URL-em i serwuj go wszystkim dnsmasq, obsługujący własną sieć i dwie pozostałe przez przekaźniki, tylko z rezerwacjami:\n# /etc/dnsmasq.d/pxe.conf local=/example.doc/ domain=example.doc address=/pdm.example.doc/10.10.50.10 txt-record=proxmox-auto-installer.example.doc,\u0026#34;https://pdm.example.doc/api2/json/auto-install/answer\u0026#34; txt-record=proxmox-auto-installer-cert-fingerprint.example.doc,\u0026#34;63:C4:D6:...:85:07\u0026#34; dhcp-authoritative dhcp-range=set:site1,10.10.50.0,static,255.255.255.0,1h dhcp-range=set:site2,10.20.50.0,static,255.255.255.0,1h dhcp-range=set:site3,10.30.50.0,static,255.255.255.0,1h dhcp-option=tag:site1,option:router,10.10.50.1 dhcp-option=tag:site2,option:router,10.20.50.1 dhcp-option=tag:site3,option:router,10.30.50.1 dhcp-option=option:dns-server,10.10.50.10 dhcp-option=option:domain-search,example.doc dhcp-match=set:ipxe,175 dhcp-match=set:efi64,option:client-arch,7 dhcp-match=set:efi64,option:client-arch,9 dhcp-boot=tag:efi64,tag:!ipxe,ipxe.efi dhcp-boot=tag:ipxe,http://pdm.example.doc/pve-9.2/boot.ipxe # no option 250 anywhere: DNS discovery depends on it enable-tftp tftp-root=/srv/tftp tftp-secure # TFTP block-size ceiling: lower it for an IPsec or other tunnel in the path tftp-mtu=1500 # dhcp-host=\u0026lt;mac\u0026gt;,\u0026lt;ip inside that site\u0026#39;s /24\u0026gt;,\u0026lt;hostname\u0026gt; dhcp-host=aa:bb:cc:dd:ee:01,10.10.50.21,pve01 dhcp-host=aa:bb:cc:dd:ee:02,10.20.50.21,pve01 static oznacza brak puli: adres dostają tylko zarezerwowane maszyny, co trzyma obcych z dala od ścieżki instalatora. Adres każdej rezerwacji musi leżeć w /24 jej własnej lokalizacji, bo to po tym adresie Caddy wybiera token. Węzeł zarezerwowany w złej podsieci dostaje odpowiedź złej lokalizacji albo nic.\nRezerwacje to lista adresów MAC, a to buchalteria per maszyna dokładnie tego rodzaju, jakiego klient nie chciał. Jeśli „wpiąć i uruchomić” to naprawdę wymaganie, daj każdemu VLAN-owi provisioningu zamiast tego mały zakres dynamiczny, na przykład dhcp-range=set:site1,10.10.50.100,10.10.50.150,255.255.255.0,1h. Lokalizacja nadal wynika z podsieci, więc Caddy nadal wybiera właściwy token, a szablon FQDN z installation_nr nadaje węzłowi nazwę. Ceną jest pierwszy wiersz „Co zostaje do rozstrzygnięcia”: wszystko, co zostanie wpięte do tego VLAN-u, może teraz pobrać odpowiedź lokalizacji, więc bramką staje się sam VLAN.\ndnsmasq negocjuje z klientem rozmiar bloku TFTP. Zostawiony sam sobie ogranicza go do MTU własnego interfejsu31, co działa, dopóki ścieżka do lokalizacji nie jest mniejsza niż łącze, na którym siedzi dnsmasq. Dlatego konfiguracja podaje sufit jako tftp-mtu=1500, zamiast go dziedziczyć. To stawia liczbę przed oczami tego, kto opiekuje się lokalizacją za tunelem IPsec albo czymkolwiek innym, co zjada część pakietu, i ten ktoś obniża ją do tego, co ścieżka naprawdę przenosi, zamiast dowiadywać się z transferu, który staje w połowie. Jeśli jakiś ROM karty sieciowej źle się zachowuje, gdy opcja w ogóle zostanie przyznana, tftp-no-blocksize wyłącza negocjację.\nSkopiuj ipxe.efi z pakietu ipxe Debiana do /srv/tftp, z właścicielem dnsmasq, bo tftp-secure odrzuca wszystko inne. Wybieraj UEFI. Secure Boot wymaga podpisanego iPXE, więc albo to skonfiguruj, albo wyłącz Secure Boot na czas instalacji i włącz go potem.\nRozruch, obserwacja i co się psuje Testuj jedną maszyną wirtualną w sieci lokalizacji, zanim dotkniesz sprzętu: firmware UEFI, 8 GiB pamięci i karta sieciowa w tym VLAN-ie odtwarzają cały łańcuch.\nCo dzieje się przy rozruchu Serwer docelowy rozruch sieciowy UEFI 6 GiB lub więcej 1. DHCP i TFTP dzierżawa, jedna domena wyszukiwania, potem ipxe.efi 2. HTTP na porcie 80 boot.ipxe, vmlinuz, initrd.img i ISO, do pamięci 3. DNS dwa rekordy TXT: URL odpowiedzi i odcisk PDM 4. Caddy na 443, potem PDM odpowiedź teraz, webhook po restarcie Cztery osobne rozmowy, każda z własnym miejscem, w które trzeba zajrzeć, gdy coś zawiedzie. A całość po kolei, od włączenia zasilania do instalacji, którą PDM oznacza jako Finished:\nOd włączenia do pełnej instalacji Cel dnsmasq, :80 Caddy :443 PDM DHCP: dzierżawa TFTP: ipxe.efi iPXE pyta ponownie HTTP: jądro, initrd, ISO instalator: jedna domena DNS: dwa rekordy TXT POST, catch token token lokalizacji w toku wyrenderowana odpowiedź, przez Caddy instaluje na dysk webhook, token jednorazowy Authorization usunięty Finished restart; pierwszy start aktywuje klucz Każdy krok, po kolei. Webhook jest wysyłany z instalatora przed restartem, więc Finished znaczy zainstalowany, nie uruchomiony; klucz subskrypcji jest aktywowany później, przy pierwszym starcie. Krok Co się dzieje Gdzie patrzeć 1 firmware dostaje ipxe.efi przez TFTP, iPXE dostaje boot.ipxe przez HTTP journalctl -u dnsmasq, log Caddy 2 po dziesięciu sekundach menu uruchamia wpis automatyczny; pobierają się jądro, initrd i ISO cztery GET-y, jeden z nich około 1,6 GB 3 instalator bierze dzierżawę, czyta domenę wyszukiwania, odpytuje oba rekordy TXT /tmp/fetch_answer.log na maszynie docelowej 4 POST do Caddy, token podmieniony, PDM wybiera odpowiedź log Caddy wskazuje token; PDM pokazuje nową instalację 5 instalacja przebiega /tmp/auto_installer.log, /tmp/install-low-level-start-session.log 6 jeszcze w instalatorze webhook odpowiada przez Caddy, potem maszyna się restartuje33 instalacja przechodzi do Finished z dołączonymi dyskami, kartami sieciowymi i kluczami hosta SSH Przy błędzie instalator spada do powłoki, chyba że odpowiedź ustawia Reboot on Error, więc podczas testów zostaw to wyłączone.\nObjaw Prawdopodobna przyczyna Could not find search domain in resolv.conf. DHCP nie wysłał domeny zapytanie TXT o nazwę ze spacją w środku więcej niż jedna domena wyszukiwania Got empty response. brak rekordu, zła strefa albo opcja 6 wskazuje na inny serwer DNS URL ze spacją w środku wartość TXT podzielona na kilka łańcuchów log mówi, że URL przyszedł z DHCP opcja 250 jest gdzieś w sieci błąd TLS przy POST odcisk w DNS to nie bieżący certyfikat Caddy połączenie zamknięte bez odpowiedzi Caddy je przerwał: zła podsieć, brak catch tokenu albo ścieżka, która nie jest jedną z dwóch 400 no answer file found token zadziałał; żaden filtr nie pasował i na tym tokenie nie ma domyślnej zła odpowiedź nakładające się filtry; wygrywa pierwszy w pliku status zostaje w toku bazowy URL webhooka wciąż wskazuje na 8443 iPXE ładuje się w kółko serwer DHCP nie odróżnia iPXE od firmware\u0026rsquo;u przekroczenie czasu TFTP PXE-E32 zły next-server albo zablokowany UDP 69 Dodanie Proxmox Backup Server Nic w tej ścieżce nie jest specyficzne dla Proxmox VE. Zbuduj drugi zestaw plików rozruchowych z ISO PBS 4 z tym samym catch tokenem, do /srv/www/pbs-4/, i dodaj jedną odpowiedź PBS na lokalizację z filtrem /product/product=pbs, autoryzowaną na tokenie tej lokalizacji. Rekordy DNS, Caddy, tokeny i zapora się nie zmieniają.\nDla lokalizacji z oboma coś musi decydować, który produkt dostaje maszyna, a menu to zła rzecz do podejmowania tej decyzji. choose w iPXE bez --timeout czeka przy konsoli na naciśnięcie klawisza w nieskończoność, a to przeciwieństwo instalacji nienadzorowanej.\nNiech zamiast tego decyduje rezerwacja DHCP. I tak rezerwujesz każdy węzeł po adresie MAC, więc otaguj te od PBS i wyślij każdemu tagowi jego własny boot.ipxe:\n# /etc/dnsmasq.d/pxe.conf, replacing the single iPXE dhcp-boot line dhcp-host=aa:bb:cc:dd:ee:01,10.10.50.21,pve01 dhcp-host=aa:bb:cc:dd:ee:31,set:pbs,10.10.50.31,pbs01 dhcp-boot=tag:ipxe,tag:!pbs,http://pdm.example.doc/pve-9.2/boot.ipxe dhcp-boot=tag:ipxe,tag:pbs,http://pdm.example.doc/pbs-4/boot.ipxe set:pbs na rezerwacji taguje tę jedną maszynę31, a tag:!pbs sprawia, że obie linie rozruchowe wzajemnie się wykluczają, więc nie ma pytania, która wygrywa. Własny boot.ipxe każdego produktu już po dziesięciu sekundach uruchamia wpis automatyczny, bez nikogo przy klawiaturze15.\nTe linie przechodzą dnsmasq --test w wersji 2.91, tej z mojego laboratorium, i trzymają się udokumentowanej składni dhcp-host i tagów. Nie uruchomiłem jeszcze przez nie węzła PBS po PXE, więc spróbuj jedną otagowaną maszynę, zanim zaczniesz na tym polegać.\nDalej to ta sama ścieżka co dla Proxmox VE. Instalator PBS wysyła \u0026quot;product\u0026quot;: \u0026quot;pbs\u0026quot;, Caddy podstawia token lokalizacji, a PDM wybiera odpowiedź PBS tej lokalizacji. W żadnym momencie nic nie jest wybierane ręcznie, a to, jakim produktem stanie się węzeł, jest zapisane w jednym miejscu, w rezerwacji, obok jego adresu.\nCo decyduje Gdzie to mieszka które ISO się uruchamia tag set:pbs na rezerwacji DHCP odpowiedzi której lokalizacji obowiązują podsieć źródłowa, przez podmianę tokenu w Caddy która odpowiedź w obrębie lokalizacji filtr /product/product=pbs w PDM Instalator kładzie tylko system operacyjny. Datastore, na storage\u0026rsquo;u oddzielonym od dysku systemowego, to kolejne zadanie dla tego, co dokańcza węzeł, i to sprowadza nas z powrotem do brakującego hooka pierwszego startu.\nCo zostaje do rozstrzygnięcia Żadna z tych rzeczy nie przeszkadza w użyciu tego projektu. Każda potrzebuje kogoś, kto weźmie ją na siebie.\nKompromis Dlaczego to ważne Co zrobić adres źródłowy jest bramką wszystko w VLAN-ie provisioningu albo zdolne podszyć się pod adres w nim może pobrać odpowiedź tej lokalizacji: skrót hasła roota, klucze SSH, klucz subskrypcji izolować VLAN, port security, tylko rezerwacje, wygasanie tokenów, wyłączanie tokenów między wdrożeniami catch token nie jest sekretem jest w każdym obrazie i na tej stronie odsiewa tylko przypadkowe żądania; bramką są podsieć i prawdziwy token trzymany w Caddy Caddy może czytać klucz PDM serwowanie certyfikatu PDM oznacza, że proxy czyta ten jeden klucz prywatny ACL tylko na api.pem i api.key, nic innego z PDM nieczytelne, host zamknięty na głucho; klucz nigdy go nie opuszcza DNS jest zaufany podrobiony rekord TXT wysyła instalator gdzie indziej, a jeśli odcisk też przychodzi z DNS, fałszerz kontroluje jedno i drugie chronić DNS provisioningu albo wpisać odcisk PDM na stałe przez --cert-fingerprint i przebudowywać, gdy się zmieni pliki rozruchowe idą zwykłym HTTP można je odczytać lub podmienić w drodze trzymać sieć odizolowaną; iPXE przez HTTPS, jeśli twoja kompilacja to obsługuje token webhooka 16 losowych bajtów, jednorazowy, czyszczony po wywołaniu zwrotnym, ale bez limitu czasu4 usuwać stare rekordy instalacji klucz subskrypcji aktywowany raz, gdy sieć wstanie; przy błędzie klucz jest usuwany, a unit kończy się błędem, bez ponowienia34 sprawdzać systemctl --failed na nowych węzłach PDM to pojedynczy punkt dziś nie jest wysoko dostępny awaria zatrzymuje nowe instalacje, nie działające klastry jedna karta sieciowa zarządzania odpowiedź nie ma opcji bondingu, VLAN-u ani mostka9 to robota poinstalacyjna, z tym samym problemem pierwszego startu Pierwsze podejście, zbudowane porządnie To pierwsze wydanie tej funkcji i jak na pierwsze wydanie jest dobre. Formularz odpowiedzi jest rozsądny, reguły wyboru są jasne, gdy się je przeczyta, webhook działa, a kod jest otwarty, co jest jedynym powodem, dla którego wszystko powyżej dało się udowodnić, a nie zgadywać. Seria łatek przeszła cztery rundy na publicznej liście dyskusyjnej, zanim trafiła do kodu35, i to widać.\nLuki to dwie rzeczy, które zamieniają serwer instalacyjny w system provisioningu. Lokalizacja to jednostka, w której myśli MSP, a instalator na niej stoi, kiedy pyta. Hook pierwszego startu to różnica między węzłem zainstalowanym a węzłem skończonym. Obie są już w połowie na miejscu: instalator ma hook, a PDM ma token. Spodziewam się, że obie przyjdą, a kiedy przyjdą, Caddy w środku tego projektu raczej się uprości, niż zniknie, bo proxy, które trzyma sekrety PDM poza zasięgiem, a 8443 z dala od sieci, i tak warto mieć.\nPowód, żeby robić to w ten sposób w międzyczasie, jest ten z samej góry. Dziesięć serwerów PXE to dziesięć rzeczy, które rozjeżdżają się z aktualnością w dziesięciu różnych tempach, a każda dostaje uwagę dopiero wtedy, gdy zawiedzie w dniu, w którym jej potrzebujesz. Jedno środowisko, aktualizowane raz, z lokalizacją ustalaną przez sieć i sekretami trzymanymi w jednym miejscu, to mniej do utrzymania. Mniej do utrzymania to mniej do zepsucia, a to jest większość tej roboty.\nProxmox — Proxmox Datacenter Manager 1.1 press release — instalacje automatyczne, z nową zakładką pod Remotes, która śledzi postęp instalacji.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nProxmox Datacenter Manager documentation — Automated Installations — przygotowane odpowiedzi, filtry docelowe, szablony i „a dedicated token mechanism, separate from the normal API tokens”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nproxmox-datacenter-manager, lib/pdm-api-types/src/auto_installer.rs — klucze filtrów docelowych „are JSON Pointers as per [RFC6901], the values globs”; tylko jedna odpowiedź domyślna.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nproxmox-datacenter-manager, server/src/api/auto_installer/mod.rs — sprawdzenie tokenu przed odpowiedzią domyślną, pierwsze dopasowanie w kolejności pliku, first_boot: None, inkrementacja liczników, jednorazowy token post-hook, dwie ścieżki dostępne bez logowania do PDM i uprawnienia Sys.Audit/Sys.Modify na /system/auto-installation.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nProxmox VE Roadmap — Proxmox VE 9.2 — przygotowanie PXE i iPXE, „at least 6 GiB of available memory on the host” oraz znany problem z megaraid_sas i NVMe w trybie JBOD.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nProxmox Bugzilla 8078 — „prepared answer disk setup does not allow to specify multiple udev filters with same name”, otwarte 26 września 2026, status NEW 7 listopada 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nProxmox Bugzilla 7699 — „Add on-first-boot parameter to the PDM remote installation”, otwarte 12 czerwca 2026, status NEW 7 listopada 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nproxmox, proxmox-installer-types/src/lib.rs — SystemInfo: produkt, ISO, DMI i interfejsy sieciowe.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nProxmox VE wiki — Automated Installation — opcje [first-boot] i [network], wysyłana informacja o systemie i to, że token uwierzytelniający „is stored in plain text inside the prepared ISO”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nProxmox Bugzilla 8263 — „[Feature Request] auto-installer: client source IP (or X-Forwarded-For) for answer selection and templating”, otwarte 31 października 2026, status NEW 7 listopada 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nproxmox-datacenter-manager, debian/changelog — 1.1.1: „match prepared answers in the configuration\u0026rsquo;s stable order and let the first match win”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nproxmox, proxmox-installer-types/src/answer.rs — AutoInstallerConfig zawiera first_boot: Option\u0026lt;FirstBootHookInfo\u0026gt;.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\npve-installer, proxmox-auto-installer/src/bin/proxmox-auto-installer.rs — plik wykonywalny pierwszego startu jest ustawiany tylko wtedy, gdy odpowiedź ma sekcję first_boot.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\npve-installer, proxmox-fetch-answer/src/fetch_plugins/http.rs — najpierw URL z ISO, potem DHCP, potem DNS; nazwy TXT; parsowanie resolv.conf; dig txt +short z usuniętymi cudzysłowami; nagłówek Bearer.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\npve-installer, proxmox-auto-install-assistant/src/main.rs — --pxe-loader implikuje --pxe, katalog wyjściowy, initrd w gzip, /boot usunięty z ISO i generowany boot.ipxe.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nproxmox-datacenter-manager, server/src/bin/proxmox-datacenter-api/main.rs — PDM_LISTEN_ADDR to nieokreślony adres IPv6 na PDM_PORT, 8443, ustalony w czasie kompilacji.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCaddy releases — 2.11.1 naprawił CVE-2026-27587, obejście matchera ścieżek przez sekwencje ucieczki.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nDebian sources — caddy — 2.6.2-12+deb13u1 w trixie, 2.11.2-1~bpo13+1 w trixie-backports.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCaddy — request_header — „With no prefix, the field is set (overwritten).”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCaddy — Request matchers — remote_ip to bezpośredni sąsiad; dopasowania ścieżek ignorują wielkość liter, są dekodowane z URL, czyszczone, z powtórzonymi ukośnikami scalonymi.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCaddy — handle — „only the first matching handle block will be evaluated”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCaddy — Global options — admin domyślnie na localhost:2019; protocols domyślnie h1 h2 h3.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCaddy — file_server — hide nie powinno być traktowane jako granica bezpieczeństwa.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCaddy — log — Cookie, Set-Cookie, Authorization i Proxy-Authorization są logowane jako REDACTED.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nsystemd.service — ExecCondition= — przy kodzie wyjścia od 1 do 254 „the remaining commands are skipped and the unit is not marked as failed”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nsystemd.path — PathChanged= — „activated if the file which was open for writing gets closed”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\ncaddyserver/dist, init/caddy.service — ExecStart=/usr/bin/caddy run --environ --config /etc/caddy/Caddyfile.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCaddy — Command line — --environ drukuje środowisko przed startem.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCaddy — Caddyfile concepts, environment variables — {$NAME} jest podstawiane przed parsowaniem Caddyfile.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\ncaddyserver/caddy, replacer.go — każdy klucz zaczynający się od env. trafia do os.Getenv.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\ndnsmasq manual page — dhcp-match, dhcp-boot, dhcp-host z set:\u0026lt;tag\u0026gt;, enable-tftp, tftp-secure, tftp-mtu, tftp-no-blocksize i zakresy static.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\niPXE — Configuring ISC dhcpd — if exists user-class and option user-class = \u0026quot;iPXE\u0026quot; podaje iPXE skrypt, a firmware\u0026rsquo;owi loader.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\npve-installer, unconfigured.sh — proxmox-post-hook uruchamia się zaraz po udanym proxmox-auto-installer, przed restartem.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\npve-installer, proxmox-first-boot/proxmox-first-boot-subscription — „always drop the staged key, regardless of whether activation succeeded”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\npdm-devel — \u0026ldquo;add auto-installer integration\u0026rdquo;, v4, 40 patches — seria, która dodała tę funkcję, z notatkami o zmianach od v3 do v4.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\n","permalink":"https://blogs.damiendye.uk/pl/proxmox/pdm-unattended-installs-for-many-sites/","summary":"Proxmox Datacenter Manager 1.1 potrafi serwować pliki odpowiedzi automatycznemu instalatorowi Proxmoksa, co czyni go naturalnym serwerem instalacyjnym dla MSP opiekującego się wieloma lokalizacjami klientów. Przypadek użycia to klient, który chciał, żeby każda lokalizacja była budowana z własnym nazewnictwem, hasłem roota i kluczami SSH, przez wpięcie serwera do właściwego VLAN-u i uruchomienie go, bez zbierania numerów seryjnych i bez pliku odpowiedzi dla każdej maszyny; ten wpis obejmuje tę połowę, która dotyczy rozruchu i instalacji, a dołączanie do klastra zostawia na boku. PDM nie potrafi dopasować odpowiedzi do lokalizacji i nie potrafi dać węzłowi skryptu pierwszego startu, a oba fakty wykazuję na podstawie kodu źródłowego PDM. Mimo to buduję tu jedno środowisko PXE dla każdej lokalizacji: jeden obraz rozruchowy z niesekretnym catch tokenem, wykrywanie przez rekordy DNS TXT, żeby obraz nie zawierał żadnego URL-a, i proxy Caddy, które po podsieci źródłowej podmienia catch token na bearer token danej lokalizacji. Opisuję, jak PDM wybiera odpowiedź, prepare-iso dla iPXE, rekordy DNS, dnsmasq i pętlę iPXE, utwardzony Caddy, który serwuje cały interfejs PDM na 443 przy 8443 zamkniętym przez nftables, logowanie użytego tokenu wyłącznie po nazwie, webhook poinstalacyjny, dodanie Proxmox Backup Server i kompromisy, które zostają.","title":"Jedno środowisko PXE dla każdego klienta: instalacje nienadzorowane z Proxmox Datacenter Manager"},{"content":"Reform UK mówi, że jest partią zwykłych pracujących ludzi, których zawiedziono. Zrobiłem więc to, co robię z każdym takim twierdzeniem. Przeczytałem, co partia naprawdę napisała, co jej ludzie powiedzieli publicznie, co rejestry pokazują o tym, kto za nią płaci, i co ustaliły sądy, regulatorzy i dziennikarze. Potem położyłem to obok siebie.\nTo jest tekst opiniotwórczy i argumentuje ostro. Ale każdy fakt w nim ma numerowane źródło u dołu strony, a tam, gdzie zapis urywa się przed czymś, mówię to wprost. Tam, gdzie sąd albo regulator przyznał rację Reform, to też tu jest. Oskarżenie, które ukrywa to, co działa przeciwko niemu, nie jest oskarżeniem.\nPytanie brzmi: dla kogo naprawdę jest Reform? Zacznij od tego, co zrobiłby ludziom, którzy już tu mieszkają.\nOdebrać, złożyć wniosek od nowa albo wyjechać Indefinite leave to remain, czyli prawo stałego pobytu, to status, który ludzie dostają po latach legalnego życia i pracy tutaj. To on pozwala pielęgniarce, inżynierowi czy opiekunce przestać odnawiać wizę i po prostu żyć. Reform by im go odebrał.\nNie tylko przestał przyznawać nowe. Odebrał tym, którzy już go mają. To są słowa samej partii, w jej własnym dokumencie programowym z kwietnia 2026:\n\u0026ldquo;Reform will abolish ILR as an immigration category completely, meaning no new awards and those currently holding it will have it rescinded… Anyone currently with ILR will need to reapply for visas that do not offer recourse to welfare.\u0026rdquo;1\nJej strona z programem mówi to samo krócej: „abolish ILR and rescind existing awards”, „5 year renewable visa” z „higher salary thresholds” oraz „no recourse to benefits for foreign nationals”2.\nCo dzieje się z kimś, kto się tu osiedlił Własne słowa Reform Jego status osiedleńca „rescinded”1 Co musi zrobić „reapply for visas that do not offer recourse to welfare”1 Wiza, o którą może się ubiegać „5 year renewable”, z testem języka i „good character”2 Pensja, jakiej będzie potrzebował progi „above median UK earnings”1 Jaki jest ten próg nieustalony: „determined based on net fiscal cost modelling close to the general election”1 Kto jest zwolniony posiadacze wiz BN(O), programy ukraińskie, status osiedleńca UE „initially”1 Przeczytaj tę tabelę jako ktoś, kto mieszka tu od dziesięciu lat. Płacisz podatek dochodowy, składki National Insurance i podatek lokalny. Może masz kredyt hipoteczny i dzieci w miejscowej szkole. Według tego planu twoje prawo do pozostania wygasa, a to, czy zdołasz je odzyskać, zależy od progu płacowego, którego partia nie poda ci aż do chwili tuż przed wyborami. Jeśli zarabiasz poniżej mediany, a z definicji zarabia tak połowa wszystkich pracowników, twoja droga powrotna jest już węższa niż ta, którą tu przyszedłeś.\nZarobki powyżej mediany to łatwa poprzeczka, kiedy nigdy nie będzie dotyczyć ciebie. To partia, która trzy funty z każdych czterech bierze od darczyńców mieszkających za granicą, której lider przyjął £5 mln jako prezent osobisty3 i £135 000 za cztery godziny reklamowania złota4. Nikt, kto ustala ten próg, nigdy nie będzie musiał go przeskoczyć. Opiekunka zarabiająca poniżej mediany będzie.\nA test „good character” w tej wizie warto przyłożyć do ludzi, którzy go napisali. Robię to pod koniec.\nWłasny dokument partii przyznaje rzecz, która powinna to zatrzymać w miejscu. Opisuje „skilled workers being the only group to remain fiscally contributory over the course of their lifetimes”1. To ludzie, którzy według rachunku samego Reform wpłacają więcej, niż biorą, a plan każdego z nich odsyła z powrotem na odnawialną wizę.\nUczciwie wobec dokumentu: wydalenie nie jest automatyczne. Kto spełni nowe testy, może zostać. Ale nikt nie opublikował, ilu pracujących, płacących podatki ludzi by ich nie spełniło, Reform też nie, a żaden niezależny podmiot w ogóle nie wycenił tego planu.\nLiczby, którymi go sprzedawali Pierwszą liczbą z nagłówków było £234 mld, podane przez Farage’a w 2025 roku jako to, co „our changes will save British taxpayers”. Full Fact ustalił, że to w ogóle nie była kwota zasiłków, a think tank, z którego badań pochodziła, stwierdził, że „the overall cost estimates should no longer be used”5.\nDlatego dokument z kwietnia 2026 używa nowej, £622 mld. To własne modelowanie Reform, nie czyjeś niezależne, a sam dokument dwie linijki dalej podaje drugą kwotę: „£154 bn if discounted at the 3.5% rate suggested by the HM Treasury Green Book”1. Green Book to sposób, w jaki Ministerstwo Skarbu każe liczyć każdy koszt publiczny. Według metody samego rządu nagłówek kurczy się o trzy czwarte.\nCzy mogę zapytać, dlaczego partia, która twierdzi, że jest uczciwa wobec ludzi, wychodzi z liczbą, o której jej własny dokument mówi, że liczy się ją źle?\nRachunek za zasiłki, którego nie ruszą Reform mówi, że obetnie rachunek za zasiłki, i w sierpniu 2026 opublikował plan. Wstrzymałby Universal Credit, Jobseeker’s Allowance, Child Benefit, darmową opiekę nad dziećmi, Housing Benefit, Pension Credit i świadczenia z tytułu niepełnosprawności dla każdego, kto nie jest obywatelem brytyjskim6. W nagłówku: oszczędność £50 mld rocznie7.\nZanim zdecydujesz, co to znaczy, zobacz, dokąd naprawdę idzie rachunek za zasiłki.\nDokąd idzie rachunek za świadczenia, 2025/26 Wydatki na świadczenia w Wielkiej Brytanii 2025/26, mld £ Emerytura państwowa 146,1 Inne świadczenia dla emerytów 31,6 Świadczenia w wieku produkcyjnym 126,1 £50 mld Reform Inne 5,3 chroniona obietnicą Triple Lock tu musi spaść cięcie Wydatki na świadczenia w Wielkiej Brytanii w 2025/26, z tabel samego DWP. Emeryci biorą 57,5% z nich, a sama emerytura państwowa 47,3%. Reform zagwarantował nienaruszalność emerytury państwowej, więc cięcie o £50 mld musi pochodzić niemal w całości z kolumny wieku produkcyjnego o wartości £126 mld. Prawie połowa wszystkich wydatków na świadczenia to emerytura państwowa: £146 mld z £309 mld w 2025/268. Reform zobowiązał się 2 kwietnia 2026 utrzymać Triple Lock9, po miesiącach, w których Farage mówił „It\u0026rsquo;s open for debate”, a Tice mówił „we\u0026rsquo;re not guaranteeing the triple lock”9. W dniu ogłoszenia planu socjalnego partia powiedziała: „nothing that we talk about today is about pensioners”10.\nEmerytura państwowa jest więc bezpieczna. Trzeba to powiedzieć jasno, bo szukałem planu Reform, by ją obciąć, i takiego nie ma. Jak wyjaśnia wpis o emeryturze na tej stronie, emeryturę państwową opłacają ludzie, którzy dziś pracują.\nCo prowadzi nas do arytmetyki. Jeśli emerytura jest poza dyskusją, £50 mld musi pochodzić ze wszystkiego innego. Institute for Fiscal Studies policzył to: Reform planuje „to save around £50 billion a year, almost entirely from a working-age benefits bill that, in 2030–31, is forecast to be a little over £200 billion”7.\nNa kogo to spada Co pokazuje zapis Emeryci na emeryturze państwowej chronieni, Triple Lock utrzymany9 Ubodzy emeryci, którzy nie są obywatelami brytyjskimi tracą Pension Credit, który jest na liście tylko dla obywateli6 Nieobywatele na Universal Credit około 1,3 mln, z czego 650 000 nie pracuje7 Nieobywatele na Universal Credit, którzy pracują pozostałe mniej więcej 650 000 według danych IFS: pracują, płacą podatki i i tak tracą dopłatę Czego IFS się po tym spodziewa „large overnight cuts to claimants\u0026rsquo; incomes” i „significant increases in hardship”7 Osoby niepełnosprawne na PIP Personal Independence Payment zlikwidowany na rzecz „health security allowance”, który może wykluczyć do dwóch trzecich obecnych świadczeniobiorców11 Długotrwale pobierający, uznani za zdolnych do pracy 20 godzin tygodniowo prac społecznych albo utrata pieniędzy11 Ktoś w wieku produkcyjnym, kto przez dziesięciolecia płacił NI traci status osiedleńca, traci świadczenia, a nic w dokumentach nie chroni emerytury, którą wypracował, dopóki nie osiągnie wieku emerytalnego Ten ostatni wiersz to moje odczytanie obu dokumentów razem, nie coś, co powiedział Reform. Ale tam one prowadzą. FAQ Reform mówi, że cudzoziemcy „of pension age who\u0026rsquo;ve made sufficient National Insurance Contributions” zachowują prawo do mieszkania tutaj i swoją emeryturę państwową2. Osiągnij wiek emerytalny i jesteś bezpieczny. Miej czterdzieści pięć lat i dwadzieścia lat składek, a lądujesz na odnawialnej wizie bez żadnej siatki bezpieczeństwa.\nCi, którzy już pracują Oto część, którą słowo „zasiłki” ma ukryć. Universal Credit nie jest świadczeniem dla bezrobotnych. W kwietniu 2026 pracowało 3,1 mln osób, które go pobierały, 37,7% wszystkich świadczeniobiorców12. Chodzą do pracy, płacą podatek dochodowy i National Insurance od tego, co zarobią, a Universal Credit dopłaca do pensji zbyt niskich, by za nie przeżyć.\nPolicz to na grupie docelowej samego Reform. IFS szacuje nieobywateli na Universal Credit na około 1,3 mln, z czego 650 000 nie pracuje7. Odejmij jedno od drugiego i mniej więcej 650 000 pracuje. Plan Reform wstrzymuje im Universal Credit, Housing Benefit, Child Benefit i darmową opiekę nad dziećmi6, a to właśnie opieka nad dziećmi pozwala nisko opłacanemu rodzicowi w ogóle chodzić do pracy.\nCzy mogę zapytać, komu to oszczędza pieniądze? Nie podatnikowi. Pracownik, który traci dopłatę, albo bierze więcej godzin, których nie ma, albo przestaje pracować i kosztuje więcej, albo wyjeżdża i zabiera ze sobą podatki i swoją pracę. Pasuje to tym, którzy płacą pensje tak niskie, że państwo musi do nich dopłacać. Reform nie rusza niskich płac. Rusza pracownika.\nTo plan, który chroni wyborców najbardziej skłonnych pójść do urn i cały rachunek kładzie na ludzi w wieku produkcyjnym, pracujących czy nie. Wielu z nich płaci za emerytury, które ten plan chroni.\nObietnice, które się nie sumują Wiemy, jak trzymają się zobowiązania Reform, bo złożył ich dość, by je sprawdzić. Oto zapis, obietnica po obietnicy:\nObietnica Co się z nią stało Manifest z 2024: około £90 mld obniżek podatków rocznie IFS: „the sums in this manifesto do not add up”, rozjazd „by a margin of tens of billions of pounds per year”13. Tice w październiku 2025: „A manifesto is based on a point in time.”14 £234 mld oszczędności z likwidacji statusu osiedleńca think tank, od którego pochodziła: „should no longer be used”5 W jej miejsce £622 mld własne modelowanie Reform. Według metody samego Ministerstwa Skarbu £154 mld1 Deportacja do 600 000 osób za £10 mld własne rozbicie partii, £4 mld plus £1,5 mld plus £2 mld, daje £7,5 mld i nikt nie pogodził tych dwóch kwot15 £50 mld rocznie mniej na świadczenia IFS: prawie wszystko ze wsparcia dla osób w wieku produkcyjnym, a „How much this saves would depend on how many of this group became citizens in response”716 Rachunki za energię niższe o £200, potem o £150, potem o £250 kwota zmieniła się trzy razy w ciągu roku17182, a strona z programem mówi, że koszt przechodzi „to the Treasury”, więc płacisz go w podatkach zamiast na rachunku2 „Reform Councils will freeze, then cut your council tax bills” żadna tego nie zrobiła. Rady rządzone przez Reform podniosły go średnio o 3,94%19 £40 mln oszczędności na net zero w Kent rada nazwała je potem „forward-looking assumptions” i żaden audytor ich nie zatwierdził20 Triple Lock „we\u0026rsquo;re not guaranteeing the triple lock”, potem gwarancja w kwietniu 20269 W dwóch z nich Reform miał częściowo rację, i co uczciwe, to uczciwe. Jego rady rzeczywiście podniosły podatek lokalny mniej niż średnia krajowa wynosząca 4,86%19, a utrzymanie Triple Lock to prawdziwe zobowiązanie. Ale obietnica, która zmienia się za każdym razem, gdy ktoś sprawdzi rachunki, nie jest planem. To gadka sprzedażowa, a ci, którym jest sprzedawana, zapłacą, kiedy rachunek się nie zepnie.\nI nie tylko kwoty się przesuwają. Zestaw, co mówili partia i jej ludzie, i kiedy:\nWtedy Później posiadacze statusu osiedleńca UE wyłączeni z planu socjalnego, wrzesień 202521 cudzoziemcy, w tym obywatele UE, pozbawieni świadczeń, sierpień 20266 Triple Lock „open for debate”9 gwarantowany, kwiecień 20269 manifest na £90 mld „A manifesto is based on a point in time”14 Jenrick: „put Reform out of business”22 kanclerz skarbu Reform w oczekiwaniu23 Farage nie startuje w 2024 startuje, kilka tygodni po prezencie osobistym w wysokości £5 mln3 Putin, podziwiany „as an operator”24 Putin, „a very bad dude”25 Ludzie zmieniają zdanie, a polityk, który nigdy tego nie robi, jest gorszy. Ale partia, której stanowiska przesuwają się zależnie od tego, czego wymagał ostatni sondaż, ostatni darczyńca albo ostatni zły nagłówek, nie mówi ci, co zrobi. Mówi ci, co jej zdaniem pozwoli jej dojść do władzy. Moim zdaniem, na podstawie tego zapisu, Reform powie wszystko, co trzeba, żeby wygrać władzę, a w co naprawdę wierzy, dowiesz się dopiero potem.\nDo kogo należy Reform Większość brytyjskich partii to kluby. Labour i Konserwatyści to stowarzyszenia bez osobowości prawnej, w praktyce należące do swoich członków. Reform był spółką z udziałowcami, a większość należała do jego lidera.\nZapis w Companies House dotyczący spółki, która zaczynała jako The Brexit Party Limited, a potem stała się Reform UK Party Limited, pokazuje, kto ją kontrolował26:\nKto Kontrola Od Do Catherine Blaiklock „significant influence or control” 23 listopada 2018 3 maja 2019 Nigel Farage „More than 50% but less than 75%” udziałów oraz prawo powoływania dyrektorów 8 maja 2019 19 lutego 2025 Richard Tice „More than 25% but not more than 50%” udziałów 1 maja 2019 19 lutego 2025 Nowa spółka z odpowiedzialnością ograniczoną do gwarancji 75% lub więcej 19 lutego 2025 obecnie Zgłoszenie udziałów Tice’a złożono 15 sierpnia 2024, pięć lat po dacie, którą odnotowuje26.\n20 lutego 2025 przewodniczący partii ogłosił: „Nigel Farage has handed over ownership of Reform UK to its members. Reform UK is now a non-profit, with no shareholders, limited by guarantee.”27\nPołowa z tego jest prawdą. Udziałowców już nie ma. Udziały w starej spółce przeszły do nowej za £15, a £2,97 mln aktywów netto przeszło za £1, więc nikt nie zgarnął przy wyjściu fortuny28. Trzeba im to przyznać.\nAle „handed over ownership to its members” to nie jest to, co mówi zbadane przez audytora sprawozdanie finansowe nowej spółki. Nota 20: „The company has two members, who have equal voting rights. Neither member has individual control of the company and, accordingly, there is no ultimate controlling party.”28\nDwóch członków. W prawie spółek osoby, które posiadają i kontrolują spółkę z odpowiedzialnością ograniczoną do gwarancji, to jej członkowie, a ta ma dwóch. Sprawozdanie ich nie wymienia. Ludzie, którzy płacą składkę członkowską, nie są członkami spółki, która prowadzi partię. Razem wpłacili do niej £4,5 mln w 2025 roku28 i jej nie kontrolują. W związku z tym „handed over ownership to its members” opisuje coś, czego dokumenty nie pokazują.\nPrzed kim odpowiada Partia polityczna, która jest klubem, odpowiada przed członkami, bo członkowie są tym klubem. Spółka odpowiada przed tymi, którzy ją kontrolują, i właśnie tego trzeba się trzymać. Kiedy powstała nowa spółka, jej dwoma gwarantami byli Farage i ówczesny przewodniczący, Zia Yusuf29. Yusuf odszedł z zarządu w czerwcu 2025, a Farage nadal jest dyrektorem30. Sprawozdanie nie mówi, kim są teraz ci dwaj członkowie.\nByline Times zdobył statut partii przyjęty we wrześniu 202531. Oto co daje on ludziom płacącym składki, w zestawieniu z tym, co zostaje na górze:\nCo dostają członkowie Co zachowuje lider Wnioski na konferencję tylko doradcze, Zarząd musi je jedynie omówić Głosowania w wyborach wewnętrznych według absolutnego uznania Zarządu, na mocy artykułu 4.3 3 z 8 miejsc w Zarządzie, z wyboru 3 miejsca, które on obsadza, plus on sam i przewodniczący, którego powołuje i może zwolnić Wotum nieufności wobec lidera wymaga pisemnych wniosków od 50% członków, około 135 000 osób, sprawdzanych przez jego własnego przewodniczącego, a potem rozstrzyganych przez Zarząd, w którym on zasiada Posiedzenia Zarządu, zwykle dwa razy w roku pomiędzy nimi „all powers of the Board are delegated to the party leader who may exercise those powers at his discretion” Każdy wiersz tej tabeli pochodzi z tego samego dokumentu, a Byline Times musiał zdobyć jego kopię, żeby o tym napisać31. Ben Habib, były wicelider samego Reform, powiedział, że statut „puts Farage\u0026rsquo;s leadership in a virtually unassailable position”32.\nCzy mogę zapytać, co członek Reform może właściwie zrobić, jeśli lider się pomyli? Napisać list i namówić 134 999 innych, żeby też napisali, do człowieka, którego lider powołał. To nie jest rozliczalność, to skrzynka na sugestie. Partia, która chce rządzić krajem, powinna przynajmniej odpowiadać przed własnymi członkami. Ta odpowiada przed swoim liderem.\nZbudowano ją jako spółkę należącą do człowieka, który nią kierował, i przez sześć lat dokładnie tym była26. Nikt teraz nie pobiera dywidend i nie będę udawał, że jest inaczej. Ale spółka prowadzona przez garstkę ludzi, z płacącymi klientami zamiast członków, to model biznesowy, nie demokracja. Pieniądze zarabia się wokół niej, nie na niej, jak pokazują kolejne rozdziały.\nPieniądze płyną z zagranicy Reform jest finansowany w przytłaczającej większości przez ludzi, którzy tu nie mieszkają.\nRejestr Electoral Commission odnotowuje każdą darowiznę powyżej progu zgłoszenia, kto ją dał i kiedy. Nie odnotowuje, gdzie darczyńcy mieszkają, więc miejsce zamieszkania pochodzi z doniesień prasowych. Biorąc sześciu darczyńców, o których pisano, że mieszkają za granicą, oto jaka część pieniędzy Reform pochodziła od nich3334:\nUdział darowizn od darczyńców mieszkających za granicą Darowizny od darczyńców mieszkających za granicą, % całości Brexit Party, 2019-2020 75% Reform, 2025 66% Reform, sty-mar 2026 78% Reform, kwi-cze 2026 81% Reform, lip 2025-cze 2026 78% Konserwatyści, 2025-26 3,6% Labour, 2025-26 0,15% rejestr, sześciu darczyńców za granicą wyliczenie The Independent Udział darowizn od darczyńców, o których pisano, że mieszkają za granicą, według rejestru Electoral Commission. Od lipca 2025 do czerwca 2026 to 78%, prawie w całości od dwóch mężczyzn. Własne wyliczenie The Independent za 2025-26, przy nieco innej definicji, to 80% dla Reform wobec 3,57% dla Konserwatystów i 0,15% dla Labour. Dwa nazwiska dźwigają prawie wszystko.\nDarczyńca Gdzie mieszka W rejestrze dla Reform i Brexit Party Ogłoszone we wrześniu 2026 Christopher Harborne Tajlandia od lat 90., obywatel Tajlandii od 20113536 £25,19 mln33 £36 mln37 Ben Delo Hongkong do 202638 £8 mln33 £36 mln37 To £72 mln w dwa dni we wrześniu, od dwóch miliarderów kryptowalutowych, dla jednej partii. Tice powiedział, że Delo zapłacił z góry, „so that the Labour Party can\u0026rsquo;t legislate against it”37.\nKażda z tych darowizn była legalna i trzeba to jasno powiedzieć. Obywatel brytyjski wpisany do brytyjskiego rejestru wyborców jest dopuszczalnym darczyńcą, gdziekolwiek mieszka, a obaj ci mężczyźni są obywatelami brytyjskimi. Channel 4 podał, że Harborne „specifically re-registered as a UK resident to cast his vote for the Brexit referendum whilst declaring just a few months later in a UK company documents that he lived in Thailand”, co eksperci nazwali „gaping loophole”35. Ziejąca, owszem. Nielegalna, nie.\nKiedy w marcu 2026 rząd ruszył z ograniczeniem darowizn od obywateli brytyjskich mieszkających za granicą do £100 000 rocznie39, Delo nie przestał dawać. Zmienił kraj. Dał już £4 mln z Hongkongu i ogłosił, że przenosi się do Wielkiej Brytanii, żeby limit go nie dotyczył, zachęcając innych zamożnych emigrantów, by zrobili to samo38.\nMieszkanie tutaj i płacenie tu podatków nie zapewni ci miejsca w planie imigracyjnym Reform. Niemieszkanie tutaj nie przeszkadza ci finansować partii, która ten plan napisała.\nReprezentacja bez opodatkowania Jest takie wyrażenie na płacenie podatków bez prawa głosu: opodatkowanie bez reprezentacji. Finansowanie Reform to jego odwrotność. Głos, i to bardzo donośny, od ludzi, którzy nie żyją z jego skutkami.\nTo nie jest nowe zmartwienie i nie jest moje. Parlament zajął się nim w 2009 roku. Sekcja 10 Political Parties and Elections Act 2009 mówi, że partia nie może przyjąć od kogoś więcej niż £7500, chyba że jest on dla celów podatku dochodowego „resident, ordinarily resident and domiciled in the United Kingdom”40. Według tej zasady Harborne nie mógłby dać ani pensa ponad £7500.\nNigdy jej nie uruchomiono. Legislation.gov.uk wciąż oznacza tę sekcję jako „Prospective”, co znaczy, że „has never come into force”40. Siedemnaście lat i cztery rządy. A potem, od 16 stycznia 2024, zniesiono starą zasadę, według której obywatele brytyjscy za granicą wypadali z rejestru po piętnastu latach, więc obywatel może teraz zostać w nim, i dalej wpłacać, do końca życia41.\nRządowy przegląd zagranicznych pieniędzy w polityce, Rycroft Review, przedłożony Parlamentowi w marcu 2026, opisuje ten wzorzec, nikogo nie wymieniając z nazwiska:\n\u0026ldquo;wealthy individuals who have chosen to live abroad in order to have their wealth taxed abroad are nevertheless currently entitled to make unlimited donations to UK political parties. Despite choosing to minimise their contribution to the UK Exchequer, these individuals have the opportunity to make potentially game-changing donations into British politics.\u0026rdquo;42\nA o ryzyku mówi, że te darowizny „pose an additional risk of foreign money leaching into British politics”, ponieważ „tracing the source of funds offered by individuals living abroad is more complex than for domestic donations”42.\nDlaczego zagraniczne pieniądze traktuje się jako ryzyko korupcji Zasady Rady Europy dotyczące korupcji w finansowaniu partii nakazują państwom „specifically limit, prohibit or otherwise regulate donations from foreign donors”43. Te zasady są częścią instrumentu, którego cały tytuł dotyczy korupcji. Około 63% państw całkowicie zakazuje zagranicznych darowizn na partie44. International IDEA, który to śledzi, podaje powód w zdaniu, które mogłoby zostać napisane o Reform:\n\u0026ldquo;A party that receives a significant amount of its funds from overseas may be less reliant on generating funds at home, thus weakening the ties between it and the citizens it should represent.\u0026rdquo;44\nSą prawdziwe wyroki skazujące w sprawach, w których zagraniczne pieniądze kupiły polityczne rozstrzygnięcia. W USA Lev Parnas został skazany za użycie pieniędzy zamożnego Rosjanina do nielegalnych darowizn45, a Imaad Zuberi dostał 12 lat za przepychanie zagranicznych pieniędzy do kampanii46. Tutaj były lider Reform w Walii odsiaduje dziesięć i pół roku za łapówki prowadzące do przyjaciela Władimira Putina, o czym dalej.\nTeraz uczciwa strona, bo ma znaczenie. Żadna z tych spraw nie dotyczy obywatela brytyjskiego za granicą, który legalnie wpłaca na partię. Doradcy prawni samej Rady Europy mówią, że obywatele za granicą co do zasady „should not be restricted”, jeśli mogą głosować w kraju47, a Rycroft Review uznał zakaz za „overly heavy-handed”42. Nie znalazł też dowodów, że wybory w 2024 roku zostały zniekształcone przez zagraniczną ingerencję42. Emigranci mają tu prawdziwe więzi. Rodzinę, emerytury, dom, do którego zamierzają wrócić.\nProblemem nie jest więc to, kto daje. Tylko ile.\nPaństwo Czy obywatele za granicą mogą wpłacać? Limit Irlandia tak €3100 rocznie na partię48 Kanada obywatele i stali rezydenci C$1775 rocznie49 Stany Zjednoczone tak federalne limity wpłat50 Wielka Brytania, do marca 2026 tak brak Każda porównywalna demokracja, która pozwala swoim obywatelom za granicą wpłacać, ogranicza, ile mogą dać. Do tego roku Wielka Brytania tego nie robiła. Głos z Bangkoku to jeden głos, taki sam jak mój. £36 mln w jeden dzień to nie głos. To budżet partii.\nKto liczy się jako Brytyjczyk i kto płaci, żeby o tym decydować Połóż obie połowy tego tekstu obok siebie. Reform coraz ciaśniej wytycza granicę tego, kto tu przynależy. Status osiedleńca znika. Świadczenia tylko dla obywateli6. Kiedy pytano, co ma zrobić osiedlona rodzina, poseł Reform zasugerował, żeby złożyła wniosek o obywatelstwo10. Jego kandydat w wyborach uzupełniających w Gorton and Denton poszedł dalej: „It takes more than a piece of paper to make somebody \u0026lsquo;British\u0026rsquo;.”51\nA potem spójrz, kto płaci za partię, która wytycza tę granicę. Człowiek, który od trzydziestu lat mieszka w Tajlandii i ma obywatelstwo tajskie36. Człowiek, który wpłacał z Hongkongu, a potem przeniósł się tutaj, kiedy limit stanął mu na drodze38. To ich brytyjskie paszporty czynią te pieniądze legalnymi. Według logiki samego Reform potrzeba czegoś więcej niż kawałka papieru.\nPielęgniarka, która od dziesięciu lat mieszka tu i płaci podatki, musi udowodnić, że tu przynależy. Darczyńca, który wyjechał trzydzieści lat temu, nie musi, byle papiery się zgadzały. Nie uważam, że to partia dla Brytyjczyków. Uważam, że to partia, która decyduje, kto liczy się jako Brytyjczyk, i jest opłacana przez ludzi, którzy tu nie mieszkają.\nCzym handlują darczyńcy Obaj wielcy darczyńcy mówią, że niczego w zamian nie chcą. Harborne nazwał swoje £36 mln „a philanthropic gift to our country” i powiedział: „My competitive spirit inspired me to match it”52. Farage ujął to krócej: „You know what Ben Delo and Christopher Harborne want? Nothing.”53\nNie będę ci mówił, czego ktokolwiek chce. Przedstawię, co do nich należy, co zostało przeciwko temu ustalone i co Reform powiedział i zrobił w sprawie dokładnie tych branż. Kropki możesz połączyć sam.\nChristopher Harborne Co posiada Co pokazuje zapis Tether, największy stablecoin 12%, według jego własnych słów w amerykańskiej sprawie o zniesławienie54 QinetiQ, wykonawca Ministerstwa Obrony 14,98%, przez spółkę z Delaware55. W maju 2025 MoD przedłużyło swój kontrakt na testy z QinetiQ wart £1,5 mld56 AML Global, pośrednik w handlu paliwem lotniczym jest jego jedyną osobą o znaczącej kontroli57. Guardian podaje ponad $140 mln w kontraktach z armią USA58 Inne wpłaty polityczne około £1,79 mln dla Konserwatystów33 i £1 mln dla prywatnego biura Borisa Johnsona59 Tether jako spółka ma własną historię. Trzymaj ją z dala od Harborne’a, który jest udziałowcem mniejszościowym i o nic go tu nie oskarżono.\nProkurator generalna Nowego Jorku: „Bitfinex and Tether recklessly and unlawfully covered-up massive financial losses.” Zapłacili $18,5 mln bez przyznania się do winy60. Amerykański regulator rynku towarowego nałożył na Tether karę $41 mln i ustalił, że miał wystarczające rezerwy za swoimi tokenami „for only 27.6% of the days” w 26-miesięcznej próbie61. Biuro ONZ ds. Narkotyków i Przestępczości: „USDT on the TRON blockchain has become a preferred choice for crypto money launderers in East and Southeast Asia.”62 Tether to kwestionuje. Kiedy National Crime Agency rozbiła siatkę piorącą pieniądze, która kupiła bank, by pomóc w wojnie Rosji, Guardian podał, że „vast majority” przejętych kryptowalut wyemitował Tether, i dodał: „there is no suggestion that Harborne himself is implicated”63. Odpowiedź jego prawników jest taka, że obwinianie inwestora Tether za to, co użytkownicy robią z jego tokenami, jest „akin to claiming the US Treasury is an accomplice in money laundering because it prints the US dollar”63. To uczciwy argument, jeśli chodzi o Harborne’a. Jako odpowiedź w sprawie Tether niewiele znaczy.\nBen Delo Delo był współzałożycielem BitMEX, giełdy kryptowalut. W 2022 roku przyznał się w Nowym Jorku do winy za „willfully failing to establish, implement, and maintain an anti-money laundering… program at BitMEX” i zapłacił $10 mln grzywny „representing pecuniary gain derived from the offense”64.\nUmyślnie znaczy, że wiedział o obowiązku i postanowił go nie spełnić. Słowa samego prokuratora federalnego: „Arthur Hayes and Benjamin Delo built a company designed to flout those obligations; they willfully failed to implement and maintain even basic anti-money laundering policies.” Werdykt Departamentu Sprawiedliwości co do skutku: „As a result of its willful failure to implement AML and KYC programs, BitMEX was in effect a money laundering platform.”64 Między 2014 a 2020 rokiem nie złożyła ani jednego zgłoszenia podejrzanej transakcji, także po tym, jak w 2018 dowiedziała się, że przechodzą przez nią skradzione środki64. Sam BitMEX ukarano potem grzywną $100 mln65.\nPrzyznanie się do winy to nie wyrok za pranie pieniędzy i Delo nie został oskarżony o osobiste pranie czyichkolwiek pieniędzy. W marcu 2025 Donald Trump go ułaskawił66. Delo nazywa to teraz „a regulatory failing that isn\u0026rsquo;t even a crime in the UK”67.\nCo Reform powiedział i zrobił w sprawie ich branż Interes darczyńców Stanowisko Reform, jego własnymi słowami lub czynami Stablecoiny, które państwowy cyfrowy funt mógłby podkopać Farage lobbował prezesa Bank of England, by porzucił „Britcoin”, i powiedział, że jest „prepared to go to prison”, żeby go zatrzymać68 Tether Farage w LBC: Tether „is about to be valued as a $500 billion company”, a Wielka Brytania powinna go „embrace”69 Branża kryptowalut Farage do publiczności z branży krypto: „When it comes to your industry… then I am your champion.”69 Kryptowalutowe pieniądze w polityce „We are the first political party in Britain who can accept donations in bitcoin and other cryptocurrencies.”70 Podatek od kryptowalut obietnica obniżenia podatku od zysków kapitałowych z krypto z 24% do 10% oraz rezerwa bitcoina w Bank of England70 Limit dla darczyńców z zagranicy i zakaz darowizn w krypto Tice: Reform miałby „overturn it”71 Obronność „incentives and tax breaks to boost the UK defence industry”58 Reform mówi, że Harborne „had not discussed defence spending, defence policy or foreign policy” z partią58. Jego prawnicy mówią, że jego interesy biznesowe są „unconnected in any way whatsoever with his political affiliations”58. Nie mam dowodów, że jest inaczej, i niczego takiego nie twierdzę. Wskazuję na tabelę.\nPrezent w wysokości £5 mln 5 kwietnia 2024, według prawników samego Harborne’a, dał on Nigelowi Farage’owi osobiście £5 mln72. Kilka tygodni później Farage zmienił decyzję, że nie wystartuje w wyborach powszechnych3. Prezentu nie zgłoszono. Guardian ujawnił go w kwietniu 2026.\nJego wyjaśnienia przychodziły po kolei:\nKiedy Czym według Farage’a było £5 mln Kwiecień 2026, dla Telegraph pieniędzmi na jego osobiste bezpieczeństwo3 Maj 2026, dla Sun przekazane na zasadzie „unconditional basis”, „a reward for campaigning for Brexit for 27 years”73 Lipiec 2026 czymś, co mógłby „spend on Ferraris”74 Sierpień 2026 „If I\u0026rsquo;ve made one sin, it\u0026rsquo;s that I haven\u0026rsquo;t filled in a piece of paper. I\u0026rsquo;ve broken no law.”75 Komisarz ds. Standardów wszczął postępowanie 13 maja 2026 z powodu „Failure to register an interest”76. 7 lipca Farage zrzekł się mandatu, by wymusić wybory uzupełniające. Postępowanie zawieszono, a potem wznowiono 14 sierpnia, w dniu ogłoszenia jego ponownego wyboru75. Złożono też skargi dotyczące George’a Cottrella, przyjaciela Farage’a i skazanego oszusta, który według ujawnień Sunday Times płacił przed wyborami w 2024 roku za pracę w mediach społecznościowych, zakwaterowanie i ochronę. Komisarz nie potwierdził, czy te płatności są teraz częścią postępowania77. Jenrick nazwał tę procedurę „a bit of a kangaroo court. It\u0026rsquo;s a stitch up.”78\nNa razie nie ma rozstrzygnięcia. Farage mówi, że żadne zgłoszenie nie było potrzebne, i może ostatecznie mieć rację. Ale przeczytaj jeszcze raz jego wyjaśnienia w dół tej tabeli. Bezpieczeństwo, potem nagroda, potem Ferrari. Każde wyszło na jaw dopiero wtedy, gdy poprzednie zaczęto rozbierać na części.\nDarczyńcy, których nikt nie sprawdza Prawo zadaje firmie-darczyńcy jedno pytanie: czy jest tu zarejestrowana i czy prowadzi tu działalność? Nie pyta, skąd pochodzą pieniądze, czy firmę na to stać ani kto naprawdę za nią stoi. Dwóch darczyńców pokazuje, co przechodzi.\nTrust za $10 mld, pracownia projektowa i Iran Sasan Ghandehari to urodzony w Iranie brytyjski miliarder, według doniesień rezydent podatkowy Szwajcarii, przenoszący miejsce zamieszkania do Wielkiej Brytanii, żeby móc wpłacać. Jego zobowiązanie wobec Reform: „one or two million, it\u0026rsquo;s going to be more” oraz „maybe number two, number three. It\u0026rsquo;s going to be regular payments.”79 Rodzinny HP Trust, który wycenia na około $10 mld, zapłacił £50 482,16 za akredytację Farage’a w Davos w styczniu 202680, podczas wyjazdu, na którym Farage obiecał „fight the globalists”81.\nA potem jest firma.\nInterior Architecture Landscape Ltd Co dała Reform £200 000 w siedmiu darowiznach, od czerwca do sierpnia 202582 Co pokazuje Companies House pracownia architektury krajobrazu; od 2021 kontrolowana przez Johna Richarda Simpsona; przed nim, od grudnia 2020 do maja 2021, przez Richarda Darby’ego83 Co ustalili FT i Guardian FT: Darby pracował dla HP Trust, a firma była zadłużona i nic nie wskazywało, by miała klientów; Guardian: HMRC złożył przeciwko niej wniosek o likwidację84 Co ustalił Guardian Simpson przejął Orico General Trading, spółkę z Dubaju należącą do HP Trust, która wysyłała sprzęt telekomunikacyjny do Iranu85 Co mówią prawnik Ghandehariego: rodzina była klientem firmy, ale „not responsible for its donations”. Firma: Simpson „exercises genuine control over the company\u0026rsquo;s affairs”, a darowizny pochodziły z legalnej brytyjskiej działalności8485 I projekt, który zaopatrywało Orico. Według francuskiego orzeczenia arbitrażowego, o którym pisał Guardian, Ori Group z HP Trust miała od 2013 do 2016 roku 49% irańskiego przedsięwzięcia światłowodowego. Pozostałe 51% należało do Astan Quds Razavi, fundacji religijnej, którą USA objęły sankcjami w 2021 roku za kontrolowanie „major parts” irańskiej gospodarki na rzecz ówczesnego najwyższego przywódcy85. Prawnicy Ghandehariego mówią, że projekt zatwierdziły władze francuskie i amerykańskie i miał poszerzyć dostęp do informacji, że zakończył się przejęciem majątku jego rodziny w Iranie i że nie był w Iranie od trzydziestu lat. Sankcje przyszły pięć lat po zakończeniu przedsięwzięcia i nic nie wskazuje, by jakiekolwiek pieniądze przekazane Reform pochodziły z Iranu.\nWięc nie powiem, że pochodziły. Powiem natomiast to. Farage prezentuje twardą linię wobec Teheranu. Jego przepustkę do Davos opłacił trust, który robił interesy z fundacją najwyższego przywódcy, a £200 000 trafiło do jego partii od firmy, której właściciel likwidował dubajską spółkę zaopatrzeniową tego trustu. Poseł z Labour poprosił Companies House, by sprawdziło, kto naprawdę jest jej właścicielem84. Reform chce sprawdzać papiery każdego imigranta. Nie znalazłem żadnego publicznego oświadczenia Reform o tym, co sprawdził w sprawie tych pieniędzy.\nFirmy na krawędzi Byline Times znalazł co najmniej siedem spółek, które razem dały Reform £485 000, stojąc w obliczu wykreślenia, rozwiązania albo oczywistych kłopotów finansowych86. FK Building to najjaśniejszy przypadek, bo jego własne dokumenty opowiadają tę historię:\nData FK Building Ltd 26 sierpnia 2025 Companies House wydaje zawiadomienie o wykreśleniu jej z rejestru87 6 października 2025 złożone z opóźnieniem sprawozdanie wykazuje zobowiązania netto w wysokości £290 54387 7 października 2025 wykreślenie wstrzymane87 8 października 2025 daje Reform £100 00088 Luty 2026 siostrzane spółki FK Group, FK Construction i FK Facades wchodzą w zarząd przymusowy z długami ponad £19 mln; 54 miejsca pracy przechodzą do Keenan Holdings, należącej do Deborah Keenan, według doniesień córki założyciela86899091 6 lipca 2026 FK Building wchodzi w likwidację; własne oświadczenie jej dyrektorów wykazuje niedobór £3,1 mln, w tym £409 647 należne HMRC92 16 października 2026 FK Resolv, dział grupy zajmujący się bezpieczeństwem budynków i usuwaniem wad, przechodzi z FK Group do FKR Group Ltd, spółki założonej 25 czerwca 2026 i należącej do dyrektora FK Building, Francisa Anthony’ego Keenana9394 Darowizna była zgodna z prawem. Electoral Commission mówi, że te darowizny „are not the subject of an investigation”, i poprosiła o zasadę, według której spółka-darczyńca musi faktycznie przynosić zysk86. Przeniesienie pracowników i spółki zależnej do firmy rodzinnej po zarządzie przymusowym jest legalne, a zarządcy muszą się z tego rozliczyć przed wierzycielami. Ale spójrz, gdzie wszystko wylądowało. Dopóki zasada się nie zmieni, spółka, która nie może zapłacić fiskusowi, wciąż może zapłacić Reform. Wierzyciele, w tym HMRC, mają puste spółki i dziurę na £3,1 mln. Keenanowie mają pracowników i dział usuwania wad. Reform ma £100 000.\nRozpoznawalność się opłaca Tu muszę być z tobą szczery, bo oczywista historia nie jest do końca prawdziwa.\nSzukałem partii płacącej swoim czołowym ludziom, a dokumenty nie pokazują niczego w tym rodzaju. Farage jest zarejestrowany jako „Unpaid Leader”4. Tice pożyczył partii około £1 mln bez odsetek i zamienił £613 000 z tego na darowizny3395. Partia siedziała w 2025 roku na nadwyżce £7,66 mln28. Nic nie pokazuje, by pieniądze ze składek trafiały do czyjejś kieszeni.\nPieniądze są w tym, co rozpoznawalność zarabia poza partią. Własny rejestr korzyści Farage’a496:\nKto płacił Farage’owi Za co Kwota GB News prowadzenie programów, 2025 około £330 000 do £370 000 Direct Bullion „brand ambassador”, 4 godziny £135 000 Direct Bullion „up to four hours” miesięcznie przez trzy miesiące, maj 2026 £270 000 Cameo spersonalizowane filmiki, 2025 £62 868 Blockworks, firma medialna z branży krypto 2 godziny £30 000 Club for Growth, Waszyngton przemówienie plus wyjazd do Palm Beach za £9466 £27 857 Direct Bullion zapłacił mu od grudnia 2024 £685 500, a Byline Times ustalił, że marketing tej firmy handlującej złotem łączył rząd Reform z niepokojami społecznymi i namawiał widzów do kupowania złota97. Jego wynagrodzenie z GB News trafia do jego własnej spółki, Thorn In The Side Ltd, co, jak zauważa Guardian, jest „not illegal”98. Ta spółka ma £3,1 mln aktywów netto i płaci Farage’owi £10 000 rocznie za wynajęcie mu jego własnego studia99.\nKomisarz ds. Standardów ustalił, że Farage złamał kodeks posłów 17 razy, rejestrując z opóźnieniem £384 000 z tych kwot, i przyjął, że było to „inadvertent because of staffing and other administrative issues”100.\nCzęść partyjnych pieniędzy trafiła do ludzi jej bliskich. Własne sprawozdania wydatków partii pokazują £440 571 zapłacone pięciu firmom prowadzonym przez ludzi z wewnątrz i ich współpracowników. £202 124 trafiło do Oak Hall Studios, prowadzonego przez Davida Bulla, który później został przewodniczącym partii. Jupiter Visual Communications otrzymało £125 672, a później oddało £50 000101102. Nikt nie wykazał, że którakolwiek z tych prac nie została wykonana albo była zawyżona, i ja też tego nie twierdzę.\n„Dojna krowa” to więc zły obraz. Właściwy to platforma. To partia sprawia, że Nigel Farage jest wart £135 000 za cztery godziny.\nKrypto: płacą za reklamę, rachunek płacą wyborcy Honorarium od Blockworks powyżej nie było jednorazowe. Oto handel kryptowalutami wokół Reform, według własnego rejestru Farage’a, sądów i dokumentów samej partii:\nCo Zapis Związek z Reform BTC Inc zapłacił Farage’owi £7410 za około 11 godzin, wrzesień 2025103 organizuje konferencję Bitcoin, na której Reform ogłosił swoją ustawę o krypto104 Blockworks zapłacił Farage’owi £30 000 za 2 godziny, październik 2025105 firma medialna z branży krypto płacąca liderowi partii Zebu Group zapłaciła Farage’owi £20 000 za 2 godziny 22 października 2025106 tego samego dnia, zapytany przez Reuters, czy firmy kryptowalutowe finansują Reform, odpowiedział „not that I\u0026rsquo;m aware of”107 Stack BTC plc spółka, która trzyma bitcoiny; spółka Farage’a ma około 6,3% jej udziałów, kupionych po 5 i 10 pensów za akcję108109 lider partii jest udziałowcem: „I have long been one of the UK\u0026rsquo;s few political advocates for Bitcoin” „Farage coin”, „NIG Finance”, „Stonks Finance”, „Trump Mania” memecoiny promowane jego płatnymi klipami z Cameo, od £72 za klip; każdy, którego cenę Guardian zdołał ustalić, potem stracił na wartości110 płatne rekomendacje lidera partii Token CEL firmy Celsius Cameo za £133, w którym mówi jego twórcom, żeby o niego „fight”110. Niezależnie od tego założyciel Celsiusa trafił do więzienia na 12 lat za oszustwo, a cenę CEL „at times” podtrzymywano „customer deposits”111 płatna rekomendacja lidera partii Tether ONZ szacuje straty z oszustw w Azji Wschodniej i Południowo-Wschodniej na US$37 mld na rynku, który według niej działa na stablecoinach; Tether mówi, że zamroził ponad $5 mld i współpracuje z 340 organami ścigania112113 w 12% własnością największego darczyńcy Reform Ustawa Reform o krypto ogłoszona na konferencji Bitcoin, potem zdjęta ze strony partii 30 maja 2026104 własna polityka partii, wycofana bez wyjaśnienia Darowizny w krypto rządowy przegląd ostrzega, że krypto mogłoby „channel foreign money into the political system”; Electoral Commission mówi: „Reform has not shared any crypto wallet address with us”114115 partia przygotowana, by je przyjmować Rzecznik Farage’a mówi, że to, co ludzie potem robią z klipem z Cameo, „is clearly outside Mr Farage\u0026rsquo;s knowledge or control”110, a każde honorarium powyżej zostało zgłoszone. Reform nie zgłosił żadnych darowizn w krypto, a duże prezenty od Harborne’a i Delo przyszły w gotówce. Nikt nie ustalił, by Farage złamał jakąkolwiek zasadę.\nA teraz spójrz, kto płaci. Ludzie w tym kraju stracili w 2025 roku £879,8 mln na oszustwach inwestycyjnych, średnio £25 612 na osobę, „often representing pension savings”. Najczęściej zgłaszają to osoby po sześćdziesiątce116. W 2024 roku kryptowaluty były aktywem w 66 procentach zgłoszeń, a najwięcej straciły osoby w wieku od 55 do 64 lat117. Własna rada FCA w sprawie krypto ma jedną linijkę: „you should be prepared to lose all your money”118.\nLider partii, która mówi, że przemawia w imieniu emeryta, jest więc opłacany przez firmy kryptowalutowe, ma udziały w spółce bitcoinowej i sprzedawał klipy reklamujące coiny, które poszły w dół, podczas gdy ludzie tracący emerytury na krypto to właśnie ta grupa wiekowa, w której obronie rzekomo staje. Nie musi nikogo oszukać, żeby to śmierdziało. Wystarczy, że dalej to sprzedaje.\nTice: nieruchomości, podatki i spółka warta £28 864, która dała £500 000 Richard Tice jest wiceliderem Reform i posłem z Boston and Skegness. Przed polityką prowadził spółki nieruchomościowe: przez 14 lat był współdyrektorem generalnym rodzinnej Sunley Group, potem od 2010 do 2014 dyrektorem generalnym CLS Holdings119. Potem przyszła jego własna firma nieruchomościowa, Quidnet.\nQuidnet REIT, który kontroluje, miał w 2025 roku £690 000 straty przed opodatkowaniem przy budynkach wynajętych w 52% i £13,4 mln długu bankowego, a mimo to wypłacił w tym roku £359 501 dywidend i tyle samo w styczniu 2026120. Jako poseł pobiera od niego kwartalne honorarium121.\nW sprawie podatków powiedział nam dokładnie, gdzie stoi:\n\u0026ldquo;How many friends of yours would voluntarily choose to pay more tax than they are legally obliged to do?… Don\u0026rsquo;t morally or voluntarily give more tax to incompetent, wasteful hard-left, socialist governments.\u0026rdquo;122\nTak odpowiedział na doniesienia, że jego spółki uniknęły prawie £600 000 podatku od osób prawnych dzięki strukturze REIT. Drugie doniesienie mówiło, że około £91 000 nie zostało potrącone od dywidend wypłaconych jemu i jego trustowi na Jersey. Tice nazwał to „technicality” i powiedział, że HMRC dostał w sumie właściwą kwotę123. Nie ma przeciwko niemu żadnego ustalenia HMRC, a on mówi, że wszystkie podatki zostały zapłacone.\nSpółka, która dała pół miliona Britain Means Business Ltd, wcześniej Leave Means Leave, ma Tice’a jako jedynego dyrektora i osobę kontrolującą124. W czerwcu 2024 dała Reform £500 000 w ciągu jednego tygodnia33. Jej własne złożone sprawozdania wykazują aktywa netto w wysokości £28 864 na koniec 2023 i £10 479 na koniec 2024, przy jednym pracowniku124.\nBritain Means Business Kwota Dane Reform, 9 i 11 czerwca 2024 £500 000 Aktywa netto, koniec 2023 £28 864 Aktywa netto, koniec 2024 £10 479 Dane Reform wcześniej jako Leave Means Leave, marzec 2020 £990 000 Czy mogę zapytać, skąd spółka warta £28 864 na koniec 2023 wzięła sześć miesięcy później £500 000? Jej sprawozdania tego nie mówią. Electoral Commission przekazała te darowizny Metropolitan Police w lutym 2025, a Met prowadzi postępowanie w sprawie możliwych przestępstw z sekcji 61 Political Parties, Elections and Referendums Act, która dotyczy obchodzenia zasad o tym, kto może wpłacać. Dwie osoby przesłuchano po pouczeniu, nikogo nie aresztowano125. Według doniesień darczyni, Fiona Cottrell, dała Britain Means Business w tamtym czerwcu £1 mln, a połowa z tego poszła dalej do Reform125. Byline Times pyta, co stało się z resztą95. Odpowiedź Tice’a: „as far as I\u0026rsquo;m concerned, she\u0026rsquo;s a permissible donor and that\u0026rsquo;s the end of it.”126\nTice nazwał to postępowanie „a politically motivated smear campaign”127. Kiedy to mówił, trwało już 17 miesięcy.\nZ kim się zadaje Kto Co dzieli z Tice’em Co pokazuje zapis Arron Banks współzałożył Leave.EU; Tice zasiadał w jego zarządzie od 2016 do 2017128 Leave.EU został ukarany przez Electoral Commission, po odwołaniu karę obniżono do £66 000. Żadne ustalenie nie wymienia Tice’a129 George Cottrell żadnej wspólnej spółki wpłacił pożyczkę £78 100 do spółki Tice’a, Tisun Investments, w grudniu 2024. Komisarz ds. Standardów odmówił wszczęcia postępowania130 Fiona Cottrell żadnej wspólnej spółki dała Reform £750 000 w trzech darowiznach33 Nicholas Tribe, Anthony Yiannakis, John Purcell każdy po trzy lub cztery jego spółki nieruchomościowe131 żadnych darowizn i żadnej historii u regulatorów. Wspólny zarząd to tylko wspólny zarząd Sam też jest objęty postępowaniem. Lista Komisarza ds. Standardów pokazuje „Richard Tice MP (opened 20 August 2026) Rule 13 Disclosing details in relation to an investigation”76, po tym jak publicznie napisał na X o wcześniejszej skardze i nazwał grupę, która za nią stała, „anti semitic anti Israel lobby group”132. Rozstrzygnięcia jeszcze nie ma.\nJenrick: z planów zamknięcia Reform do jego władz W sierpniu 2024 Robert Jenrick powiedział: „I want to put Reform out of business. I want to make them redundant.”22 W kwietniu 2025: „I want to send Nigel Farage back to retirement.”133\n15 stycznia 2026 Kemi Badenoch wyrzuciła go z gabinetu cieni z powodu tego, co nazwała „irrefutable evidence that he was plotting” przejście do innej partii134. Tego samego dnia wstąpił do Reform, powiedział „I want Nigel to be prime minister” i odmówił złożenia mandatu i stanięcia do wyborów uzupełniających w Newark135. Miesiąc później Reform ogłosił go swoim kandydatem na kanclerza skarbu23.\nWtedy Teraz „put Reform out of business”22 kandydat Reform na kanclerza skarbu23 „send Nigel Farage back to retirement”133 „I want Nigel to be prime minister”135 minister w konserwatywnym gabinecie „the two main parties are rotten… They both broke Britain”136 Dziewięć miesięcy. Tyle wytrzymało „out of business”.\nWestferry W styczniu 2020, jako minister ds. mieszkalnictwa, Jenrick zatwierdził projekt Westferry Printworks Richarda Desmonda we wschodnim Londynie. Jego własni urzędnicy zapisali, jak liczył się czas: „SoS is/was insistent that decision issued this week ie tomorrow - as next week the viability of the scheme is impacted by a change in the London CIL regime.”137 Zmiana opłaty kosztowałaby projekt około £40 mln138. Desmond dał Konserwatystom £12 000 dwa tygodnie po zatwierdzeniu139. Obaj siedzieli razem na kolacji zbiórkowej, na której, jak Jenrick powiedział Izbie Gmin, Desmond „did bring out his iPhone and show me some images of the development”137.\nKiedy sprawa trafiła do sądu, Jenrick przyznał, że decyzja była „unlawful by reason of apparent bias”, i ją uchylono139. Powiedział: „We don\u0026rsquo;t believe there was any bias.”140 Nigdy nie wydano żadnego ustalenia na gruncie kodeksu ministerialnego, a premier uznał sprawę za zamkniętą137. Taki jest zapis: przyznanie pozornej stronniczości i brak ustalenia rzeczywistej stronniczości.\nOd tamtej pory Skierowanie Electoral Commission w sprawie £37 500 przekazanych na jego kampanię o przywództwo Konserwatystów w 2024 roku, rzekomo z zagranicznego źródła, trafiło do Met 6 stycznia 2026, dziewięć dni przed jego przejściem. Met prowadzi postępowanie. Jenrick nazywa tę historię „entirely false”, dziełem „an establishment determined to stop Reform”141. Nikomu nie postawiono zarzutów. Powiedział na kolacji, że w Handsworth w Birmingham „I didn\u0026rsquo;t see another white face. That\u0026rsquo;s not the kind of country I want to live in”142. Na konferencji Reform we wrześniu 2026 protestującą kobietę wyciągnięto za włosy i uderzono. Jenrick: „Oh boohoo… come on, get a life.”143 A potem: „He should be given a medal for what he did.”144 Jako minister ds. imigracji powiedział Izbie Gmin, że 71% zatrzymanych zagranicznych przestępców twierdzi, że są ofiarami współczesnego niewolnictwa. Szef UK Statistics Authority powiedział, że własne dane Home Office pokazują mniej więcej jedną piątą145. Farage w Brukseli Farage przez dwadzieścia lat, od 1999 do 2020, był europosłem w Parlamencie, z którego chciał wyprowadzić Wielką Brytanię. Mówił jasno, ile to przynosi. W 2009 roku, zapytany, ile od 1999 roku otrzymał w zwrotach kosztów i dodatkach: „It is a vast sum… I don\u0026rsquo;t know what the total amount is but - oh lor - it must be pushing £2 million.”146 Ze swoich dodatków płacił żonie146.\nZapis Źródło €40 000 potrącone z jego pensji od stycznia 2018, pieniądze wypłacone Christopherowi Adamsowi jako jego asystentowi, gdy Adams był krajowym pełnomocnikiem UKIP ds. nominacji, czego „cannot be proved by Farage” źródło w Parlamencie, Guardian147 Brał udział w 37% głosowań i zajmował 748. miejsce na 751 europosłów VoteWatch, Guardian147 Dwa lata biura od Rock Services, spółki Arrona Banksa, zgłoszone 1 lipca 2019, po tym jak się skończyły, i sześć tygodni po wszczęciu dochodzenia w sprawie wsparcia od Banksa jego własne oświadczenia148 Samochód z kierowcą, czynsz za dom w Chelsea wart £4,4 mln i podróże do USA, według doniesień do £450 000 od Banksa, nigdy niezgłoszone faktury Channel 4, Independent149 Jego jedyna sprawa przed sądem UE, przeciwko 10-dniowej karze za nazwanie przewodniczącego Rady „damp rag”, odrzucona jako „manifestly inadmissible” z kosztami po jego stronie Sąd150 Za każdym razem jego strona nazywała to prześladowaniem. W sprawie €40 000 jego grupa mówiła o „a vindictive campaign by the European parliament of selective persecution of Eurosceptic MEPs”147. Farage o wsparciu od Banksa: „it\u0026rsquo;s a purely private matter”151. Nigdy nie zaskarżył tych €40 000 w sądzie. Pieniądze odzyskano.\nAle co uczciwe, to uczciwe, i jedna z tych skarg wygrała. W 2016 roku Parlament zażądał, by zdominowana przez UKIP partia europejska ADDE zwróciła €172 654,92. W 2019 roku Sąd UE unieważnił tę decyzję, bo członek panelu decyzyjnego wcześniej publicznie oskarżył UKIP o „fraudulent manipulation”, a sąd uznał jego bezstronność za „seriously compromised”152. W tej jednej sprawie „vindictive” się potwierdziło. Fundacja partii, IDDE, przyznała jednak, że €33 863,50 było niekwalifikowalne, i przegrała własną sprawę sądową, po tym jak Parlament przekazał unijnemu urzędowi ds. zwalczania nadużyć finansowych „serious allegations regarding the establishment of a system whereby donations were received in exchange for the award of contracts”153. Co ustalił ten urząd, nie opublikowano.\nPutin, Trump i przekupiony lider Nathan Gill kierował Reform w Walii od marca 2021. W listopadzie 2025 trafił do więzienia na dziesięć i pół roku po przyznaniu się do ośmiu zarzutów przekupstwa. Sędzia ustalił, że „The architect of these bribes was Oleg Voloshyn, a former pro-Russian Ukrainian MP”, a Wiktor Medwedczuk, „a close friend of Vladimir Putin”, był „the ultimate source of the requests and the money you received”154. Przestępstwa popełniono w 2018 i 2019 roku, gdy był europosłem Brexit Party. Sąd nie wydał żadnego ustalenia dotyczącego Reform, a Reform nazwał jego postępowanie „reprehensible, treasonous and unforgivable”155. Farage nazwał go „bad apple”25.\nSłowa samego Farage’a o Putinie zmieniały się jak pogoda:\nKiedy Farage o Putinie 2014 przywódca, którego najbardziej podziwiał: „As an operator, but not as a human being, I would say Putin.”24 Czerwiec 2024 „We provoked this war. It\u0026rsquo;s – you know, of course it\u0026rsquo;s [Putin\u0026rsquo;s] fault, he\u0026rsquo;s used what we\u0026rsquo;ve done as an excuse.”156 Październik 2025 „Obviously, Putin is a very bad dude”25 W sprawie Trumpa zapis jest stabilniejszy. Według wyliczeń DeSmog Farage od wyborów w 2024 roku przemawiał na piętnastu wydarzeniach powiązanych z Trumpem, w tym na konwencji Republikanów i CPAC157. We wrześniu 2025 zeznawał przed Kongresem USA158 i publikował z Gabinetu Owalnego: „It\u0026rsquo;s good to be back in the Oval Office.”159 Jego rejestr pokazuje honoraria i podróże od amerykańskich organizacji konserwatywnych, takich jak Club for Growth i Hillsdale College4. Delo, darczyńca, ma ułaskawienie od Trumpa66.\nCzego zapis nie pokazuje, to amerykańskich pieniędzy w partii. W rejestrze nie ma żadnej darowizny od rządu USA ani powiązanej z Trumpem, sam DeSmog pisze o „no suggestion” bezpośredniego finansowania, a Elon Musk po miesiącach gadania nic nie dał, a potem oznajmił światu: „Farage doesn\u0026rsquo;t have what it takes”160. Toczy się policyjne postępowanie w sprawie rzekomej próby wprowadzenia amerykańskich pieniędzy, o czym dalej.\nKto jeszcze jest w pokoju Pieniądze darczyńców nie idą tylko do partii. Opłacają liderowi miejsce przy cudzych stołach. Oto podróże w oficjalnym zapisie i kto za nie zapłacił:\nPodróż Kto zapłacił Wartość Zapis Farage na drugą inaugurację Trumpa, styczeń 2025 Christopher Harborne £27 616,76 Electoral Commission161 Farage i dwoje pracowników do USA, listopad 2025, „speaking engagement and charity event”, według doniesień w Mar-a-Lago Bassim Haidar, darczyńca Reform £54 921,02 rejestr Farage’a162, DeSmog163 Farage do ZEA, grudzień 2025, „to attend the F1 and for meetings” rząd Abu Zabi i Abu Dhabi F1 £10 000 rejestr Farage’a164 Tice do Izraela, wrzesień 2025, „meetings with President and Foreign Minister” RFOI Ltd £6250 za dwie osoby rejestr Tice’a165 Delegacja Reform do Izraela, listopad 2025, w tym przewodniczący partii, członek zarządu i szef gabinetu Tice’a izraelskie Ministerstwo Spraw Zagranicznych £4861,27 na osobę rejestr London Assembly166, Lancashire Lead167, Novara168 To Waszyngton, Palm Beach, Abu Zabi i Izrael, wszystko w ciągu dwunastu miesięcy, i za żadną z tych podróży nie zapłacili ludzie, w których imieniu Reform rzekomo mówi.\nPokój amerykański Powiązania z MAGA nie kończą się na kalendarzu wystąpień Farage’a. Paul Marshall i Legatum, właściciele GB News, założyli też i wspierają Alliance for Responsible Citizenship. Na jej londyńskiej konferencji w lutym 2025 Farage był jednym z głównych mówców obok spikera Izby Reprezentantów USA Mike’a Johnsona, sekretarza energii Trumpa Chrisa Wrighta i Viveka Ramaswamy’ego, a Peter Thiel według doniesień dołączył przez wideo169. Lista darczyńców zdobyta przez DeSmog wymienia na niej Bena Delo, obok darczyńców Trumpa Kena Griffina i Anthony’ego Pratta170.\nA Tether, w 12% własność największego darczyńcy Reform, jest powiązany z rządem Trumpa. Cantor Fitzgerald, kierowany w chwili zawarcia umowy przez Howarda Lutnicka, obecnie sekretarza handlu Trumpa, wynegocjował udział w wysokości około 5%171, a nowym amerykańskim oddziałem Tether kieruje Bo Hines, który przyszedł z własnej rady Trumpa ds. kryptowalut172. To powiązania spółki, nie samego Harborne’a. Ale to jego spółka.\nPokój izraelski Podróż Tice’a opłaciła RFOI Ltd, Reform Friends of Israel. To spółka z ograniczoną odpowiedzialnością, założona w czerwcu 2025 i zarejestrowana jako firma public relations173.\nRFOI Ltd w Companies House Dyrektor i osoba o znaczącej kontroli, od 16 czerwca do 8 grudnia 2025 Roy Zabludowicz, 75% lub więcej praw głosu173 Jego odejście zgłoszone 11 lutego 2026, dwa miesiące po dacie, którą odnotowuje173 Dyrektorzy od 8 grudnia 2025 Jason Pearlman i Lois Perry173 Jason Pearlman doradca medialny prezydenta Izraela Riwlina, potem od 2018 zastępca dyrektora Henry Jackson Society174, potem doradca medialny prezydenta Herzoga przez dwie kadencje175. Farage nazwał jego przyjście „a real coup”176 Henry Jackson Society pracodawca Pearlmana od 2018, transatlantycki think tank zajmujący się polityką zagraniczną i bezpieczeństwem174. Jego współzałożyciel i dyrektor wykonawczy, Alan Mendoza, dołączył do Reform w listopadzie 2025 jako główny doradca ds. globalnych, co Farage nazwał „an excellent addition”177178 Lois Perry liderka UKIP od maja do czerwca 2024, potem od grudnia 2024 dyrektor wykonawcza Heartland Institute UK/EU, europejskiego oddziału amerykańskiego think tanku negującego zmiany klimatu, uruchomionego z Farage’em jako „special guest of honour”179180 Kto ją teraz kontroluje spółka zgłasza, że nie ma osoby podlegającej rejestracji173 Roy Zabludowicz z tym samym miesiącem i rokiem urodzenia dyrektor dwóch spółek Tamares, obok Chaima Zabludowicza181 Chaim „Poju” Zabludowicz stoi na czele Tamares Group, założył BICOM, który lobbuje brytyjski rząd w imieniu Izraela, i przewodniczył mu, a Konserwatystom dał około £380 000. Rodzinny biznes zbudowano wokół Soltamu, izraelskiego wykonawcy zbrojeniowego182. Declassified UK pisze, że Roy Zabludowicz z RFOI „appears to be” jego synem183, i poprzestanę na ich sformułowaniu.\nSpójrz, kto ją teraz prowadzi. Jeden dyrektor przyszedł z kancelarii prezydenta Izraela, przez Henry Jackson Society, którego szef jest teraz głównym doradcą Reform ds. globalnych. Druga kieruje europejskim oddziałem amerykańskiego think tanku, który Farage pomógł uruchomić. Spółka Reform Friends of Israel to miejsce, w którym pokój izraelski spotyka się z amerykańskim.\nRFOI to więc kolejna prywatna spółka. Jeden człowiek kontrolował ją, gdy płaciła za podróż, a odkąd się wycofał, zgłasza, że nikt jej w ogóle nie kontroluje. Widać, kto poleciał. Nie widać, kto zapłacił. Myślę, że o to właśnie chodzi: spółka, która istnieje po to, by ukryć, kto płaci za podróże Reform do Izraela. Nic w jej dokumentach nie daje mi powodu, by myśleć inaczej.\nDwa miesiące później izraelski rząd zapłacił za własną delegację Reform. Novara, powołując się na Declassified UK, szacuje łączne wydatki ministerstwa na ten sześciodniowy wyjazd na ponad £50 000, ze Wzgórzami Golan w programie168. Pojechał lider Reform w radzie hrabstwa Lancashire, a posiedzenie gabinetu hrabstwa odwołano z tego powodu167. Pojechała też członkini London Assembly z Reform166. To lista gości obcego rządu sięgająca od przewodniczącego partii i jej zarządu aż po samorząd na obu krańcach kraju, Lancashire County Hall i City Hall w Londynie.\nW czerwcu 2026 Tice nazwał petycję, która doprowadziła do debaty w Izbie Gmin o proizraelskich wpływach, „antisemitic in its very motivation and at its core”. Skargę, że powinien był zgłosić podróż przed wystąpieniem, przyjęto do rozpatrzenia w lipcu184, a 27 października 2026 Komisarz ds. Standardów uznał ją za zasadną jako naruszenie kodeksu, niezamierzone185.\nPartia, która wysłałaby czterdziestopięcioletnią opiekunkę na odnawialną wizę, przyjmuje loty swojego wicelidera od spółki, do której nikt nie może zajrzeć, a loty swojego przewodniczącego od obcego rządu. Czy mogę zapytać, kto decyduje o polityce zagranicznej w rządzie Reform? Według tego zapisu nie wyborcy.\nPokój rosyjski W rejestrze Reform nie ma rosyjskich pieniędzy i nie będę udawał, że są. Jest natomiast to:\nSprawa Co jest w zapisie Druga strona Prezent £5 mln od Harborne’a dla Farage’a minister obrony poprosił Farage’a o potwierdzenie, że żadna część „derived from transactions with Russian state-linked energy companies”, zaznaczając, że celem listu „is not to make allegations”186 firma paliwowa Harborne’a, AML Global, mówi, że „complied fully with all UK and international sanctions”186 Kontrakty paliwowe AML Global z armią USA rafinerie w nich wymienione przyjęły według wyliczeń Unearthed ponad 62 mln ton ropy rosyjskiej, irańskiej lub wenezuelskiej187 sam Unearthed pisze: „there is no suggestion that the company has breached UK or international sanctions”187 Pobyt Tice’a na Lazurowym Wybrzeżu, sierpień 2025 £1400 gościnności od Lubow Czernuchin, której mąż był do 2004 wiceministrem finansów Rosji188 ona mówi, że para nie ma powiązań z reżimem Putina, i potępiła wojnę188 Nic z tego nie jest ustaleniem przeciwko komukolwiek, a prawa kolumna jest po to, żebyś mógł to zważyć. Postaw to obok Nathana Gilla i „As an operator… Putin” Farage’a, a w pamięci zostaje sformułowanie ministra obrony: partia „under a Russian cloud that only transparency can lift”186.\nJedna rosyjska historia, którą zobaczysz powtarzaną o właścicielach GB News, jest fałszywa. Twierdzenie, że założyciel Legatum miał powiązania z rosyjskim wywiadem, amerykański sąd uznał za „a complete fabrication”, a ława przysięgłych zasądziła mu $8 mln od detektywa, który za nim stał189. Nie ma dla niego miejsca ani w tym tekście, ani w żadnym innym.\n„We Just Don\u0026rsquo;t Have British-Resident Donors” We wrześniu 2026 Channel 4 News i Verbatim wyemitowały śledztwo prowadzone pod przykrywką. Reporter udający syna zamożnego Amerykanina spotkał się z szefem polityki programowej Reform, Jamesem Orrem, i starszym doradcą, Danem Jukesem, i umówił, że amerykańska spółka zapłaci za trzy sondaże zamówione przez partię, około £32 500190191. Aktora grającego ojca zabrano później na spotkanie z Farage’em w sprawie znacznie większej darowizny, która miała pochodzić z USA190.\nOrr powiedział przed kamerą na głos to, czego się głośno nie mówi: „we just don\u0026rsquo;t have British-resident donors, British entities, that would support us.”191 Farage’a nagrano, jak mówi o jednym z sondaży: „It worked. Boom.”192\nCo się stało Kiedy Emisja 3 września 2026 Reform: „a hoax perpetuated by foreign-funded climate-change activists”193 4 września Orr i Jukes ustąpili, a przewodniczący partii powiedział, że ich powrót to „no chance”192 4 września Met: „potential offences requiring investigation”, włączone do istniejącego postępowania w sprawie darowizn194 9 września Wewnętrzne dochodzenie Reform, prowadzone przez jej własnego adwokata i sekretarza generalnego, stwierdziło „no breach of electoral law by Reform UK”195 7 października Farage nazwał to „loose pub talk” i „a clear case of entrapment”196. Partia zaprzecza, by zrobiła coś złego, i nikomu nie postawiono zarzutów. Ale partia, która oczyszcza się rękami własnych funkcjonariuszy, podczas gdy postępowanie karne w sprawie tych samych wydarzeń wciąż trwa, niczego nie oczyściła.\nŁączenie kropek Oto całość na jednej stronie. Linie ciągłe są w oficjalnym zapisie: w rejestrze, w dokumencie, w ustaleniu sądu lub regulatora albo w czyichś własnych słowach. Linie przerywane to doniesienia wymienionego z nazwy medium. Zarzuty nie dostają żadnej linii.\nŁączenie kropek Paul Marshall\u0026#160;(GBR) 40% GB News Legatum\u0026#160;(ARE) 40% GB News GB News £131 mln straty Konferencja ARC Marshall, Legatum Rząd Abu Zabi\u0026#160;(ARE) opłacił podróż Farage’a Bassim Haidar\u0026#160;(IRL) ur. NGA, podróż do USA Tether, 12% udział Cantor Howard Lutnick\u0026#160;(USA) Chris Harborne\u0026#160;(THA) £25,2 mln + £36 mln QinetiQ, 14,98% wykonawca MoD Nigel Farage\u0026#160;(GBR) prezent £5 mln, £585 tys. Trump i MAGA\u0026#160;(USA) 15 wydarzeń przeciw Britcoinowi niższy podatek od krypto Heartland\u0026#160;(USA) negowanie klimatu, USA Nick Candy\u0026#160;(GBR) skarbnik Nathan Gill\u0026#160;(GBR) więzienie, łapówki Reform UK 75-80% z zagranicy przyznanie, BitMEX ułaskawienie Trumpa Ben Delo\u0026#160;(GBR, ex-HKG) £8 mln + £36 mln Henry Jackson Society szef: doradca Reform MSZ Izraela\u0026#160;(ISR) opłaciło wyjazd Reform lis 2025, £50 tys.+ £4861 na osobę Kto pojechał David Bull, przewodn. Gawain Towler, zarząd szef gabinetu Tice’a Atkinson, Lancashire Wilson, Londyn Richard Tice\u0026#160;(GBR) wicelider RFOI Limited Reform Friends of Israel Dyrektorzy RFOI Roy Zabludowicz\u0026#160;(GBR) do gru 2025, 75%+ Jason Pearlman\u0026#160;(GBR) były: Herzog, HJS Lois Perry\u0026#160;(GBR) Heartland UK/EU Britain Means Business £500 tys. dla Reform Postępowanie Met otwarte, bez zarzutów Firmy krypto £57 tys. dla Farage’a Stack BTC: jego 6,3% Ghandehari\u0026#160;(CHE) HP Trust, ~$10 mld Davos, £50 tys. IAL Ltd pracownia krajobrazu £200 tys. dla Reform Rodzina Keenan\u0026#160;(GBR) pracownicy, FK Resolv FK Building Ltd £100 tys. dla Reform HMRC: £410 tys. długu oficjalny zapis doniesienia mediów Kto finansuje Reform, kto finansuje kanał, który go nadaje, kto płaci za jego podróże, które firmy kryptowalutowe płacą jego liderowi, co do nich należy i gdzie dotykają tego stanowiska Reform. Każda linia ma źródło w tabeli poniżej. Linia to fakt o powiązaniu, a nie ustalenie, że doszło do nieprawidłowości. Powiązanie Skąd wiemy Legatum, firma z Dubaju, i Paul Marshall mają po około 40% GB News, które straciło £131 mln Wikipedia197, Left Foot Forward198 GB News płaci Farage’owi za prowadzenie, £585 000 od lipca 2024 do grudnia 2025 rejestr korzyści4, The New World199 Tice prowadził programy w GB News The New World199 Marshall i Legatum wspierają konferencję ARC, na której przemawiał Farage Left Foot Forward169, DeSmog170 Harborne płaci za podróż Farage’a na inaugurację Trumpa Electoral Commission161 Bassim Haidar, darczyńca Reform, płaci za podróż Farage’a do USA, według doniesień do Mar-a-Lago rejestr Farage’a162, DeSmog163 Rząd Abu Zabi dokłada się do podróży Farage’a do ZEA rejestr Farage’a164 Firma kierowana przez Howarda Lutnicka, obecnie sekretarza handlu Trumpa, wynegocjowała udział w Tether The Block171 Farage i skarbnik Nick Candy przemawiają na wydarzeniach Trumpa i MAGA; Farage w Heartland, który prowadzi panel na konferencji Reform DeSmog157 Dyrektor RFOI Lois Perry kieruje Heartland UK/EU DeSmog179 Harborne daje Reform i Brexit Party £25,19 mln, plus ogłoszone £36 mln rejestr Electoral Commission33, BBC37 Harborne daje Farage’owi osobiście £5 mln, niezgłoszone Guardian, data od jego prawników72 Harborne ma 12% Tether jego własne pismo procesowe w USA54 Harborne ma 14,98% QinetiQ, wykonawcy MoD zgłoszenie giełdowe55, MoD56 Farage lobbuje przeciwko Britcoinowi i promuje Tether Guardian68, Byline Times69 Reform obiecuje obniżki podatków od krypto i zniesienie limitu darowizn The Block70, Guardian71 Delo daje £8 mln, plus ogłoszone £36 mln, po przeprowadzce, by ominąć limit rejestr33, Searchlight38 Delo przyznał się do winy w sprawie BitMEX, ułaskawiony przez Trumpa Departament Sprawiedliwości USA6466 Farage przemawia na wydarzeniach MAGA i jest opłacany przez amerykańskie organizacje konserwatywne rejestr korzyści4, DeSmog157 Spółka Tice’a, Britain Means Business, daje £500 000 przy bilansie poniżej £29 000 rejestr33, Companies House124 Met bada darowizny przez tę spółkę i prowokację dziennikarską oświadczenia Met przez PA125194 Gill, były lider Reform w Walii, przekupiony pieniędzmi prowadzącymi do sojusznika Putina uzasadnienie wyroku154 RFOI Ltd, kontrolowana wtedy wyłącznie przez jednego człowieka, płaci za podróż Tice’a do Izraela rejestr Tice’a165, Companies House173 Dyrektor RFOI Jason Pearlman był zastępcą dyrektora Henry Jackson Society, którego szef Alan Mendoza został głównym doradcą Reform ds. globalnych Henry Jackson Society174, City AM177 Izraelskie MSZ płaci za delegację Reform do Izraela rejestr London Assembly166 HP Trust Ghandehariego płaci £50 482,16 za przepustkę Farage’a do Davos rejestr Farage’a80 IAL Ltd daje Reform £200 000; kontrolował ją były pracownik HP Trust, a jej właściciel przejął dubajską spółkę zaopatrzeniową HP Trust Electoral Commission82, Companies House83, FT i Guardian8485 FK Building daje Reform £100 000 dzień po wstrzymaniu wykreślenia, a potem wchodzi w likwidację z długiem wobec HMRC Electoral Commission88, Companies House8792 Miejsca pracy i dział usuwania wad przechodzą do spółek należących do rodziny Keenanów Companies House919493 BTC Inc, Blockworks i Zebu płacą Farage’owi £57 410 w honorariach; jego spółka ma 6,3% Stack BTC rejestr Farage’a103105106108 Przeczytaj w dół prawą kolumnę. Nic z tego nie jest moją opinią. Opinia to to, co składa się z lewej kolumny, a swoją podam ci na końcu.\n„The Bad Apples Are Gone” W czerwcu 2024 Channel 4 nagrał w Clacton agitatora Reform, który nazwał Rishiego Sunaka rasistowską obelgą i sugerował, by używać migrantów jako „target practice”200. Farage powiedział, że ten człowiek był „an actor by profession”201. Ofcom odrzucił ponad 270 skarg na Channel 4, stwierdzając, że „not raise substantive issues warranting further investigation”202, i nigdy nie przedstawiono żadnych dowodów, że był podstawiony. Farage złożył wtedy obietnicę: „Have we had a few bad apples? We have… the bad apples are gone. We\u0026rsquo;ll never have them back.”203\nDwa lata później ITV na rok umieściło reportera wewnątrz partii. Jego program, Undercover: A Year in Reform, nagrał radnego i zastępcę burmistrza Solihull, który nazywał azjatyckie rodziny „absolute parasites” i mówił „stick them on planes and f*** them off to Pakistan”, radnego z Bromley, który mówił, że czarne dzieci są „like f****** animals”, i działacza, który mówił „you cannot be a Muslim and British… it\u0026rsquo;s like oil and water”204205. Odpowiedź Reform: „There is no room for racism in Reform UK” oraz „a handful of individuals who do not share our values will initially make it through vetting.”206\nGarstka. Oto co było w zapisie przed ITV, a o każdym z tych przypadków pisało główne medium:\nKto Funkcja Co powiedział Co się stało Ian Cooper lider Reform w radzie hrabstwa Staffordshire „No foreign national or first generation migrant should be allowed to sit in Parliament” członkostwo cofnięte207 Chris Parry kandydat na burmistrza Lammy „must go home to the Caribbean”; później porównał żydowską grupę wolontariuszy do „Islamists on horseback” zostawiony po pierwszym, zawieszony po drugim208 Sarah Pochin posłanka „adverts full of black people, full of Asian people” Farage nazwał to „ugly”, bez konsekwencji209 Senga Beresford posłanka do parlamentu Szkocji odpowiedziała „yes” na „deport the lot of them”, o muzułmanach lider szkocki: „something fruity in the past”, bez konsekwencji210 Stuart Prior radny wpisy nazywające białych ludzi „the master race” (zaprzecza, że konto było jego) wydalony211 Glenn Gibbins radny z Sunderland Nigeryjczyków należy „melted down”, by „fill in the pot holes” zawieszony, przyjęty z powrotem, potem oskarżony przez policję212 I z samej góry, własnymi słowami lidera. O muzułmanach w 2024: „I\u0026rsquo;m afraid I found some of the recent surveys saying that 46% of British Muslims support Hamas.”213 W marcu 2026, o publicznym iftarze w czasie ramadanu: wydarzenie było „the attempt to overtake, intimidate and dominate our way of life”, a „we have to stop this kind of mass demonstration”214.\nŻaden sąd ani regulator nie uznał Reform jako partii za rasistowską. Ofcom i policja w Essex oczyściły sprawy z 2024 roku, ze skargi do regulatora ds. równości nic nie wynikło, a sprawa Gibbinsa wciąż czeka na proces212. Zarzuty dotyczące szkolnych lat Farage’a są sporne, a on im zaprzecza. Ale opinia publiczna wyrobiła sobie zdanie sama: YouGov ustalił, że 47% dorosłych uważa Reform za ogólnie rasistowski, a wśród dorosłych z mniejszości etnicznych 69%215216.\nZawieszeni za bigoterię, z powrotem do lata Zawieszenia się ogłasza. Przywrócenia nie. Zapisy pokazują wzorzec:\nKto Zawieszony za Wrócił Tom Pickup, Lancashire grupę na WhatsAppie, w której członek wzywał do „mass Islam genocide”; jego własne komentarze „inappropriate” przywrócony do klubu po trzech miesiącach, potem członek gabinetu odpowiedzialny za opiekę społeczną nad dorosłymi217218 Paul Cutts, Doncaster wpisy, które „targeted the Muslim faith in a derogatory way” przywrócony do klubu po około sześciu tygodniach219 Glenn Gibbins, Sunderland wpis o Nigeryjczykach przyjęty z powrotem z „final written warning”, potem oskarżony220212 Ben Rowe, Plymouth wpisy, że „the Jews” „forcing other races on our societies” przyjęty z powrotem z „final written warning”220 A teraz porównaj, jak partia traktuje nielojalność. Rupert Lowe, poseł, który poróżnił się z kierownictwem, został zawieszony, zgłoszony przez partię na policję i wydalony. Crown Prosecution Service nie postawiła żadnych zarzutów221. W Kent radni, którzy poróżnili się ze swoim liderem po wycieku nagrania, zostali wydaleni za „undermining the interests of the party”222.\nITV nagrało, jak to wygląda od środka. Dyrektor komunikacji partii, Ed Sumner, powiedział reporterowi pod przykrywką, żeby był gotów „defend the indefensible”, nazwał jednego kandydata „clearly a racist” i powiedział, że spodziewa się, że zostanie on wyrzucony. Polecenie Farage’a w sprawie tego samego kandydata: „He must apologise to Lammy, if David Lammy\u0026rsquo;s taken offence.”223 Kandydat został. Urzędnik, któremu powiedziano, że radny ma profil na portalu randkowym dla białych nacjonalistów: „It\u0026rsquo;s not a resignation issue, is it?”224\nRasistowskie wpisy to trzy miesiące i droga powrotu. Za nielojalność wylatujesz. Żadne nagranie nie pokazuje nikogo, kto mówi, że zawieszenia są na pokaz, i nie twierdzę, że takie istnieje. Tabela wystarczy. Partia, która karałaby rasizm tak, jak karze niezgodę, miałaby znacznie krótszą tabelę.\nWszystko jest oszczerstwem Każda z tych historii dostała tę samą odpowiedź. Oszczerstwo, mistyfikacja, prowokator, establishment. Więc policzyłem. Dwanaście razy partia lub jej czołowi ludzie publicznie zbyli jakąś historię, a oto co działo się dalej:\nHistoria Jak ją nazwali Co działo się dalej Agitator z Clacton, 2024 „an actor by profession”201 odsunięty od kampanii; Ofcom odrzucił ponad 270 skarg202 Prezent £5 mln dla Farage’a, 2026 „There is no case to answer”; „a stitch up”78225 przyznaje, że go otrzymał i nie zgłosił; postępowanie ds. standardów w toku76 Radny z Sunderland, 2026 Tice: „all of this smearing and this sneering”226 oskarżony przez policję i ponownie zawieszony212 Darowizna na kampanię Jenricka o przywództwo, 2026 „just a smear… put out by the Conservative Party”227 Met wszczęła postępowanie141 Postępowanie Met w sprawie darowizn, 2026 Tice: „a politically motivated smear campaign”127 trwało już 17 miesięcy, dwie osoby przesłuchane po pouczeniu125 Prowokacja w sprawie darowizn, 2026 „a hoax”, „yet another establishment attack”, „entrapment”193196 dwóch doradców odeszło w ciągu dnia; postępowanie Met w ciągu pięciu192194 ITV pod przykrywką, 2026 „no depth that the establishment won\u0026rsquo;t sink to”228 radni zrezygnowali lub zostali zawieszeni229 BBC o Coutts, 2023 Farage powiedział, że bank był „very, very dishonest”230 miał rację: BBC przeprosiło231 Lowe, 2025 Lowe: „a sinister attempt to weaponise the criminal justice system against me”232 miał rację: bez zarzutów221 Trzy kolejne są nierozstrzygnięte. Siedem z dwunastu potwierdziło się przynajmniej częściowo. Dwa zbycia były słuszne. Ani jedna skarga, którą partia złożyła na nadawcę, nie została uznana.\nTe same słowa powtarzają się u różnych ludzi i w różnych latach: „the establishment”, „plant”, „election interference”. Kiedy wyszło nagranie ITV, Reform zgłosił dziennikarzy na policję. News Media Association nazwała to „a sinister approach that stifles public-interest reporting” i powiedziała, że zarzuty nie mogą być „used to intimidate journalists or deflect attention from the issues their reporting has exposed”233. NUJ nazwał to „a thinly-masked Strategic Lawsuit Against Public Participation (SLAPP) style move”234. Policja w Hampshire powiedziała, że analizuje materiał, a Met, że nie wie o żadnych pasujących zgłoszeniach233.\nDlaczego to działa i dlaczego to za mało Badacze mają na to nazwę. Nazywanie prawdziwej historii fałszywą daje politykowi „the liar\u0026rsquo;s dividend”235. Badanie ponad 15 000 osób w American Political Science Review wykazało, że fałszywe zarzuty dezinformacji zwiększają poparcie dla polityka, i to bardziej niż milczenie czy przeprosiny. Wykazało też, że ta taktyka w dużej mierze zawodzi wobec nagrań wideo236. Może dlatego odpowiedzią na nagranie ITV była policja.\nStandard, do którego zobowiązuje się każdy na stanowisku publicznym, to Siedem Zasad Życia Publicznego. Rozliczalność: osoby pełniące funkcje publiczne „must submit themselves to the scrutiny necessary to ensure this”. Uczciwość: „should be truthful”237. Kodeks postępowania posłów jest na nich zbudowany238. Nazwanie czegoś oszczerstwem nie jest naruszeniem, na które Komisarz ds. Standardów może zareagować, i nie twierdzę, że jest. Twierdzę, że to przeciwieństwo poddania się kontroli.\nFarage wie, jak wygląda prawdziwe odparcie zarzutów, bo sam to zrobił. Kiedy BBC przekręciło jego historię z Coutts, zdobył swoje akta z banku, udowodnił swoje, a BBC przeprosiło231. Tak się radzi sobie z oszczerstwem: dowodami. Society of Editors ujęło to w jednym zdaniu: „If a council believes a report is inaccurate, it should challenge it with evidence.”239 Kiedy dowody są, przedstawia się je. Kiedy ich nie ma, dostajesz „establishment”.\nDlaczego widzisz ich tak często Reform ma pięciu posłów na 650. Z telewizji byś tego nie wiedział.\nCardiff University liczy, czym zajmują się główne wieczorne wydania wiadomości. Ich liczby240241242:\nMiara Reform Porównanie Wydania BBC News at Ten z udziałem partii, pierwsza połowa 2025 25% Liberalni Demokraci, 72 posłów: 17% Główny temat materiału, BBC i ITV o dziesiątej, 2025 69 materiałów Konserwatyści 45, Liberalni Demokraci 14, Zieloni 4 Najczęściej przywoływana partia opozycyjna, wrzesień 2025 Reform, 37 Konserwatyści, oficjalna opozycja, 25 Farage w ITV News at Ten, wrzesień 2025 49 wzmianek Badenoch 33, Davey 10 Powodem BBC są sondaże242. Dobrze. To stosujcie to równo. Ci sami badacze ustalili, że Zieloni w drugiej połowie 2025 roku urośli w sondażach z 11% do 17%, a ich obecność w wiadomościach się nie zmieniła242. Zasada, która zawsze podnosi tylko jedną partię, nie jest zasadą.\nA to, co niesie ten czas antenowy, to przekaz, nie zapis. Większość ustaleń z tego tekstu była gdzieś opisana, niektóre przez BBC. Czego nikt na antenie nie robi, to ich zsumowanie. Zwykłą obroną jest bezstronność, a własne zasady BBC ją obalają: „Achieving impartiality does not preclude making evidence-based judgements or making an editorial judgement to focus scrutiny on a particular position” oraz „false equivalence does not achieve impartiality and should be avoided”243. Przeprowadź tę samą kontrolę każdej partii, z tymi samymi kolumnami i tym samym standardem dowodów, i to jest bezstronne. Nieprzeprowadzanie jej wobec nikogo nie jest neutralnością. Po prostu zostawia zapis nieopowiedziany. A ludzie, których zostawia się niedoinformowanych, to ci, od których zależy metoda Reform, wyborcy, którymi musi być łatwo pokierować, którzy co wieczór dostają hasło, a ustaleń nigdy.\nTo też nic nowego. Farage był w Question Time 38 razy, prawie zawsze zanim w ogóle zasiadł w Izbie Gmin. Każde nazwisko nad nim na liście wszech czasów to wieloletni poseł albo minister, a przy 1,9 występu rocznie ma najwyższą częstotliwość z nich wszystkich244245.\nWłasny kanał propagandowy Jest jeszcze GB News, w dużej mierze posiadany i opłacany z Dubaju. Więcej o tym poniżej. Andrew Neil, który pomagał go założyć, mówi, że teraz odgrywa dla Reform tę rolę, którą Fox News odgrywa dla Trumpa: „they have turned GB News into the Reform channel”199.\nPostać z Reform Co daje im GB News Nigel Farage, lider własny program, £585 000 honorariów od lipca 2024 do grudnia 2025, a jego spółka ma prawie pół miliona udziałów w GB News199 Lee Anderson, poseł £100 000 rocznie ponad pensję poselską za program w piątkowy wieczór199 Richard Tice, wicelider prowadzący199 Matt Goodwin prowadzący, który poprowadził program o wyborach uzupełniających w Gorton and Denton cztery dni przed ogłoszeniem go kandydatem Reform w tych wyborach199 Ben Habib i Rupert Lowe, po odejściu z Reform zaproszenia ustały, gdy każdy z nich założył własną partię246 The New World posadził 20 doświadczonych dziennikarzy przed godzinami materiału z kanału, po dwóch na program, i ustalił „a systemic use of Reform politicians, candidates and supporters”199. Jeden z recenzentów nazwał własny program Farage’a „Farage propaganda dressed up as a panel show”199.\nNazwijmy to więc po imieniu. Kanał, który płaci liderowi partii, jej wiceliderowi i jednemu z jej posłów za prowadzenie programów, zaprasza jej kandydatów, rezygnuje z ludzi, którzy od niej odchodzą, i wystawia jednego gościa z przeciwnej strony, żeby go przekrzyczeć, nie jest kanałem informacyjnym z pewnym przechyłem. To kanał propagandowy Reform z koncesją nadawczą. To moja opinia, a dowody na nią są w tabeli powyżej.\nPosiadany i opłacany z Dubaju Reform mówi o Wielkiej Brytanii dla Brytyjczyków. Spójrz, do kogo należy kanał, który to sprzedaje.\nWłaściciel All Perspectives Ltd, spółki matki GB News Gdzie Udział Legatum Limited, prywatna firma inwestycyjna założona przez urodzonego w Nowej Zelandii Christophera Chandlera Dubaj, Zjednoczone Emiraty Arabskie około 40%197247 Sir Paul Marshall, zarządzający funduszem hedgingowym, także właściciel The Spectator i UnHerd Londyn około 40%197 Członkowie kierownictwa, redaktorzy i prowadzący, w tym spółka Farage’a reszta197199 Przewodniczący GB News, Alan McCormick, jest partnerem w Legatum197. Większość z £60 mln zebranych na uruchomienie kanału pochodziła od Legatum, Marshalla i Discovery197.\nI nigdy nie przyniósł zysku. W roku do maja 2025 stracił £22 mln przy przychodach £26,2 mln, a od startu w 2021 roku £131 mln. Właściciele dołożyli w tamtym roku kolejne £17,7 mln, żeby utrzymać go na antenie198248. Żaden biznes nie działa tak ze stratą przez pięć lat, żeby zarabiać. Działa dla tego, co za to kupuje.\nA teraz postaw to obok prawa o darowiznach na partie. Spółka może dać pieniądze brytyjskiej partii politycznej tylko wtedy, gdy jest zarejestrowana na podstawie Companies Act, założona w Wielkiej Brytanii i prowadzi tu działalność249. Legatum nie spełnia żadnego z tych warunków. Nie mogłoby dać Reform ani pensa.\nNie musi. Pieniądze z firmy w Dubaju pokrywają straty kanału, który płaci liderowi Reform, jego wiceliderowi i jednemu z jego posłów, wpuszcza na antenę jego kandydatów i spędza wieczory na tematach Reform. Nic z tego nie jest darowizną, więc nic z tego nie pojawia się w rejestrze Electoral Commission. Farage zgłasza swoje honoraria jako zarobki i to jest wszystko, co system kiedykolwiek widzi4.\nNie mówię, że ktokolwiek pierze pieniądze. To przestępstwo, nikomu nie postawiono takiego zarzutu i nie będę tego mówił. Ale droga, która pozwala pieniądzom z zagranicy dotrzeć do lidera partii i do jej przekazu bez żadnej darowizny w rejestrze, to dokładnie taka rzecz, którą należy zbadać i skontrolować, choćby po to, by mieć pewność. Mówię natomiast, że skutek jest ten sam, i jest legalny. Pieniądze, którym prawo zamyka frontowe drzwi partii, docierają do jej lidera i jej przekazu przez kanał telewizyjny, a zasady dotyczące darowizn nigdy ich nie widzą. Przewodniczący Electoral Commission powiedział posłom, że te zasady są słabe i przestarzałe246. Tak właśnie wygląda słabe i przestarzałe.\nCzy mogę zapytać, dlaczego partia, która chce ograniczyć to, kto liczy się jako Brytyjczyk, i chce zasad o tym, kto może zostać, nie ma problemu z tym, że na antenie niosą ją pieniądze z Zatoki Perskiej? Dwaj najwięksi darczyńcy zbudowali swoje życie w Tajlandii i Hongkongu. Dwie piąte nadawcy należą do kogoś w Dubaju. Wyborcy, którym każe się stawiać Wielką Brytanię na pierwszym miejscu, to jedyni ludzie w tym łańcuchu, którzy nie mają w żadnej z tych spraw nic do powiedzenia.\nA regulator? Ofcom ukarał GB News w październiku 2024 grzywną £100 000 za danie Rishiemu Sunakowi przed wyborami platformy bez żadnych pytań, powołując się na „the seriousness and repeated nature of this breach”250. GB News pozwał Ofcom do High Court w sprawie programów Jacoba Rees-Mogga i wygrał w lutym 2025251. Po tym Ofcom umorzył swoje postępowanie w sprawie występów Farage’a w GB News246. Lider partii prowadzącej w sondażach dostaje więc pieniądze za prowadzenie wiadomości w kanale częściowo finansowanym z Dubaju, i nikt tego nie sprawdza.\nPostaw to obok reszty tego tekstu. Pieniądze partii pochodzą z zagranicy. Dochód jej lidera pochodzi z kanału częściowo finansowanego z zagranicy. Kanał wpuszcza partię na antenę, a BBC idzie za sondażami, które ten czas antenowy pomaga budować. Nikt nie musi wydawać rozkazu, żeby to wszystko działało.\nTen sam podręcznik Nic z tego nie jest nowe. To podręcznik MAGA, a Reform realizuje go strona po stronie.\nAutor tego podręcznika powiedział nam, dla kogo jest. Świętując zwycięstwo w Nevadzie w lutym 2016, Donald Trump wymieniał grupy, które na niego głosowały: „We won with highly educated. We won with poorly educated.” A potem: „I love the poorly educated!”252 Osiem lat później badanie zweryfikowanych wyborców Pew Research Center wykazało, że wyborcy bez wyższego wykształcenia poparli go z przewagą 14 punktów, a ci z dyplomem poparli Harris z przewagą 16253.\nWielka Brytania nie jest inna. W wyborach w 2024 roku Reform zdobył 23% głosów wśród osób, których najwyższym wykształceniem jest GCSE lub niższe, wobec 8% wśród absolwentów uczelni254. Dwa lata później prowadzi w pierwszej grupie z 40%, a wśród absolwentów jest piąty z 14%255.\nPowiem więc wprost. Elektorat Reform zbudowany jest na ludziach z najmniejszym formalnym wykształceniem, a jego metoda zależy od tego, by łatwo było nimi pokierować. Liczba, której nie sprawdzą. Kozioł ofiarny podany gotowy. Okrzyk „oszczerstwo”, gdy tylko ktoś sprawdzi. To nie przypadek wynikający z tego, kto akurat lubi Farage’a. To model biznesowy, ten sam, który Trump powiedział na głos, a ludzie, którzy go prowadzą, liczą na to, że ci, których wykorzystują, nigdy nie przeczytają niczego poza nagłówkiem.\nRuch MAGA Wersja Reform Prasa to „the enemy of the American People”256 dziennikarze zgłaszani na policję, reporterzy z zakazem wstępu na konferencję233257 Każde ujawnienie to „fake news” każde ujawnienie to „smear”, „hoax”, „plant”193201 „Drain the swamp”, podczas gdy finansują to miliarderzy „the establishment”, podczas gdy finansuje to dwóch miliarderów kryptowalutowych37 Ułaskawienie dla szefa kryptowalutowego biznesu szef kryptowalutowego biznesu finansujący Reform ma to ułaskawienie66 Krypto jako sprawa „When it comes to your industry… then I am your champion”69 Duża liczba, nieważne, czy się zgadza £234 mld, potem £622 mld, potem £154 mld według metody samego Ministerstwa Skarbu51 Według wyliczeń DeSmog Farage od swojego wyboru w lipcu 2024 przemawiał na piętnastu wydarzeniach powiązanych z Trumpem, a nowemu brytyjskiemu oddziałowi CPAC powiedział w lipcu 2026: „I\u0026rsquo;ve spoken at over 10 CPACs in America”157. Oto lista:\nKiedy Gdzie Co to jest Lipiec 2024 Milwaukee Krajowa Konwencja Republikanów Sierpień 2024 Arizona Arizona Liberty Network Wrzesień 2024 Chicago zbiórka z okazji 40-lecia Heartland Institute, jako główny mówca Listopad 2024 Pensylwania wiec wyborczy Trumpa Grudzień 2024 Londyn start Heartland UK/EU, prowadzonego przez Lois Perry z RFOI Grudzień 2024 Nowy Jork New York Young Republicans Club Luty 2025 Londyn Alliance for Responsible Citizenship Luty 2025 Waszyngton CPAC Czerwiec 2025 Londyn panel energetyczny Heartland w Westminsterze Wrzesień 2025 Waszyngton National Conservatism, obok Russella Vought, jednego z architektów Project 2025 Październik 2025 Michigan Hillsdale College Marzec 2026 Waszyngton Club for Growth, który w 2024 roku zebrał $163 mln dla kandydatów Republikanów Czerwiec 2026 Londyn Alliance for Responsible Citizenship Lipiec 2026 Londyn CPAC Great Britain, jako gwiazda wieczoru Lipiec 2026 Waszyngton wydarzenie z okazji Dnia Niepodległości „Redcoats and Rebels” Dodaj inaugurację i dwa spotkania w Mar-a-Lago, na których był, ale nie przemawiał157. W mniej więcej tych samych dwóch latach wymienił w Izbie Gmin swój własny okręg, Clacton, sześć razy, a jedną czwartą swoich tamtejszych wystąpień poświęcił popieraniu ataków Trumpa na politykę brytyjskiego rządu157.\nKilku z tych gospodarzy pomagało pisać Project 2025, plan drugiej kadencji Trumpa. Heartland jest jednym z nich. Prowadził też panel na konferencji Reform w 2025 roku i mówi, że doradza partii w polityce klimatycznej157. I nie chodzi tylko o Farage’a. DeSmog wymienia szefa polityki programowej Reform Jamesa Orra, skarbnika Nicka Candy’ego, posłów Danny’ego Krugera i Suellę Braverman, Zię Yusufa i Matta Goodwina jako tych, którzy przemawiali dla grup MAGA. Orr przewodniczy brytyjskiemu oddziałowi Edmund Burke Foundation, która organizuje konferencje National Conservatism, a Yusuf przemawiał w Heritage Foundation, organizacji, która zwołała Project 2025, obiecując „mass deportations” w stylu Trumpa157.\nPonad dziesięć CPAC w jego karierze. Sześć wzmianek o własnym okręgu, odkąd go wybrano. Nie jeździł tam dla pogody. Jeździł uczyć się fachu.\nA ten fach działa tak. Znajdź ludzi, których zawiedziono i którzy mają pełne prawo być wściekli. Daj im kogoś do obwiniania, kto jest biedniejszy od nich. Podsuń im liczbę. Kiedy liczba się zawali, podsuń im następną. Kiedy ktokolwiek sprawdzi, nazwij to oszczerstwem, a sprawdzającego establishmentem. I wyślij rachunek tym samym ludziom, którym mówiłeś, że o nich walczysz. W Ameryce zadziałało. Reform zakłada, że zadziała tutaj, a zakład polega na tym, że nigdy nie przeczytasz dokumentu programowego, zgłoszenia w Companies House ani rejestru korzyści.\nTen tekst jest tą lekturą.\nCzy zdaliby własny test charakteru? Reform chce, by każdy osiedlony migrant zdawał test „good character”, żeby móc tu dalej mieszkać2. Home Office już taki ma, dla osób ubiegających się o obywatelstwo brytyjskie, a jego wytyczne dla urzędników wyjaśniają, co oznacza oblanie258. Oto więc eksperyment myślowy. Przepuść postacie z samego Reform przez własny test Home Office.\nTest Home Office Co mówią wytyczne Co zawiera zapis Przestępczość odmowa, jeśli ktoś „not respected or are not prepared to abide by the law”, na przykład wyrok skazujący258 były lider Reform w Walii, dziesięć i pół roku za przekupstwo154 Zła sława obejmuje „publicly expressing unsavoury views on a subject such as race, religion or sexuality”258 „46% of British Muslims support Hamas”213; „I didn\u0026rsquo;t see another white face”142; „adverts full of black people”209 Szczerość „Concealment of information or lack of frankness will raise doubt about, and therefore reflect poorly on, the applicant\u0026rsquo;s character”258 niezgłoszony prezent £5 mln3; 17 spóźnionych zgłoszeń100; dwa lata wsparcia od Arrona Banksa zgłoszone po jego zakończeniu148 Poszanowanie prawa jak wyżej258 decyzja z czasów ministra ds. mieszkalnictwa, uznana za „unlawful by reason of apparent bias”139 Rzetelność finansowa „they have failed to pay taxes for which they were liable”258 brak ustalenia HMRC przeciwko Tice’owi, więc w tym punkcie zdaje Urzędnik musi być rozsądny i wytyczne to mówią258. Nie każdy wiersz sam w sobie przekreśliłby wniosek, a to są obywatele brytyjscy, którzy nigdy nie będą zdawać tego testu. O to właśnie chodzi. Piszą test charakteru dla pielęgniarek i inżynierów, z którym ich własna pierwsza ławka miałaby kłopot, i nigdy nie będą musieli go zdawać.\nBrak zarzutów to nie świadectwo zdrowia Za każdym razem, gdy któraś z tych spraw cichnie, ktoś mówi: „no cóż, nikomu nie postawiono zarzutów”. Bądźmy więc precyzyjni co do tego, co to znaczy.\nDecyzja o niestawianiu zarzutów nie jest stwierdzeniem niewinności. Crown Prosecution Service stawia zarzuty tylko wtedy, gdy jest dość dowodów, by realnie liczyć na skazanie, a oskarżenie leży w interesie publicznym259. Sprawa, która nie przechodzi tego testu, nie była sądzona. Nikogo nie oczyszczono. Po prostu nigdy nie trafiła przed sąd.\nA większość tego, co jest w tym tekście, jeszcze do tego punktu nie dotarła. Postępowanie Met w sprawie darowizn jest otwarte. Dwie osoby przesłuchano po pouczeniu i nie zapadła decyzja o zarzutach125. Postępowania ds. standardów wobec Farage’a i Tice’a są otwarte76. Darowizna dla Jenricka jest przedmiotem postępowania141. Proces Gibbinsa rusza 9 listopada212.\nAle część tego dotarła do sądu albo regulatora i to jest ta część, której nikt nie może nazwać oszczerstwem. Połóż ustalenia obok siebie:\nKto Związek z Reform Ustalenie Nathan Gill kierował Reform w Walii Old Bailey, listopad 2025: dziesięć i pół roku więzienia za przekupstwo, pieniądze prowadzą do przyjaciela Putina154 Ben Delo drugi największy darczyńca amerykański sąd federalny, 2022: przyznał się do umyślnego zaniechania kontroli przeciwdziałania praniu pieniędzy; później ułaskawiony przez Trumpa6466 BitMEX giełda, którą Delo współzałożył Departament Sprawiedliwości USA, styczeń 2025: grzywna $100 mln na podstawie Bank Secrecy Act65 Tether w 12% własność największego darczyńcy prokurator generalna Nowego Jorku i CFTC, 2021: ugoda na $18,5 mln i grzywna $41 mln za fałszywe przedstawianie rezerw6061 Crispin Odey dał Reform £10 000 w 2023 FCA i Upper Tribunal, wrzesień 2026: zakaz działalności w usługach finansowych jako „unfit” i grzywna £1,53 mln; FCA nie wydała ustalenia co do zarzutów, które za tym stały, a on im zaprzecza260 Reform UK sama partia Electoral Commission, wrzesień 2022: wykroczenia dotyczące sprawozdania z wydatków wyborczych za 2019; bez sankcji261 Robert Jenrick kandydat Reform na kanclerza skarbu High Court, 2020: przyznał, że jego decyzja w sprawie Westferry była „unlawful by reason of apparent bias”139 Richard Tice wicelider Komisarz ds. Standardów, październik 2026: naruszył kodeks posłów, nie zgłaszając finansowanej przez RFOI podróży do Izraela w debacie o proizraelskich wpływach; uznane za „inadvertent”185 Andy Osborn przewodniczący Reform w North East Cambridgeshire, potem radny hrabstwa Westminster Magistrates’ Court, kwiecień 2026: skazany na podstawie Representation of the People Act za opublikowanie fałszywego oświadczenia o konkurencyjnym kandydacie, ukarany grzywną i pozbawiony mandatu262 Kent County Council rządzona przez Reform od 2025 Information Commissioner, lipiec 2026: naruszyła prawo o dostępie do informacji w sprawie dokumentów swojej akcji „efektywnościowej” i otrzymała nakaz ponownej odpowiedzi263 Od walijskiego lidera, przez listę darczyńców, po sprawozdania samej partii, na każdym szczeblu jest jakieś ustalenie. Jedno to pech. Dziesięć to typ.\nNie powiem ci, że ktokolwiek jest winny czegokolwiek, czego nie ustalił sąd. Powiem ci, co myślę, a ty to zważ. Partia, która na każde pytanie odpowiada „oszczerstwo”, oczyszcza się rękami własnego adwokata, gdy policja wciąż prowadzi sprawę, przyjmuje z powrotem rasistów i wyrzuca krytyków, nie pokazała, że nie ma z czego się tłumaczyć. Pokazała, że nie zamierza.\nDla kogo naprawdę jest Reform? Nie dla ciebie. Nigdy nie był.\nReform to przekręt, i to nie sprytny. Mówi pracującym ludziom, że jest ich partią, a potem pisze plan, który odbiera status osiedleńca pielęgniarce płacącej tu podatki od dziesięciu lat, całe cięcie świadczeń kładzie na ludzi w wieku produkcyjnym i ustawia poprzeczkę płacową, której jego własni darczyńcy nigdy nie będą musieli przeskoczyć. To nie jest stawanie w obronie pracujących ludzi. To jest ich wykorzystywanie.\nIdź za pieniędzmi, a płyną tylko w jedną stronę. Do środka od obywatela Tajlandii w Bangkoku i od kryptowalutowego szefa, który przyznał się do umyślnego prowadzenia giełdy, którą rząd USA nazwał „in effect a money laundering platform”, dostał ułaskawienie od Trumpa i zmienił kraj, żeby obejść limit darowizn. W górę do lidera, który schował do kieszeni £5 mln, których nigdy nie zgłosił, i £135 000 za cztery godziny wciskania złota. Cztery godziny. Żadnego fachu, żadnego produktu, żadnej harówki. Samo gadanie, w dużej części bzdury, za stawkę, na którą pielęgniarka, którą chce wysłać na odnawialną wizę, musiałaby pracować latami. Na zewnątrz do firm prowadzonych przez ludzi z wnętrza partii. A rachunek ląduje u ciebie.\nZapytaj więc, przed kim odpowiada partia, kiedy trzy funty z każdych czterech pochodzą od dwóch mężczyzn mieszkających za granicą. Nie przed członkami, którzy nawet nie kontrolują spółki. Nie przed wyborcami, których nagrodą jest odnawialna wiza i cięcie świadczeń. Odpowiada przed tymi, którzy mogą zakręcić kurek z pieniędzmi. Spójrz, o co Reform walczy: żadnego cyfrowego funta, który zagrażałby Tetherowi, krypto opodatkowane na 10%, zniesienie limitu dla darczyńców z zagranicy, ulgi podatkowe dla przemysłu zbrojeniowego. Każda z tych rzeczy pokrywa się z tym, co posiadają jego płatnicy.\nNie mogę ci pokazać wydanego rozkazu i nie twierdzę, że jakiś wydano. Nie muszę. Partia, która żyje z pieniędzy dwóch ludzi, nie potrzebuje, by ktoś jej mówił, czego oni chcą. Już wie. Tak wygląda marionetka, kiedy robi się to porządnie. Nikt nie musi pociągać za sznurki, bo marionetka rusza się sama.\nMówią o odzyskaniu kontroli. A potem oddali ją człowiekowi w Bangkoku i człowiekowi, który wrócił do kraju tylko po to, żeby dalej móc płacić, i zrobili to dla pieniędzy.\nTo nie są ludzie z zasadami. Ich kanclerz w oczekiwaniu rok temu chciał partię zamknąć. Linia ich lidera wobec Putina zmienia się z wiatrem. Ich wicelider mówi ci, żebyś nie oddawał „morally or voluntarily” więcej podatku, niż każe prawo. Ludzie z zasadami nie obracają się na pięcie za każdym razem, gdy darczyńca, sondaż albo nagłówek tego potrzebuje. Ludzie z ceną to robią, a rejestr pokazuje, kto ją płaci.\nI spójrz na podwójne standardy, bo to cała partia w jednej tabeli.\nCzego Reform wymaga od osiedlonego migranta Co ma w zapisie najbliższe otoczenie Reform zdać test „good character” albo stracić prawo pobytu jego były lider w Walii, dziesięć i pół roku za przyjmowanie łapówek prowadzących do przyjaciela Putina żadnej przestępczości przyjaciel Farage’a, skazany w USA za oszustwo telekomunikacyjne, który płacił za media społecznościowe, zakwaterowanie i ochronę wokół jego kampanii w 2024 i pożyczył spółce Tice’a £78 100 poszanowanie prawa jego drugi największy darczyńca, który przyznał się do umyślnego zaniechania kontroli przeciwdziałania praniu pieniędzy wymaganych przez amerykańskie prawo i odszedł z ułaskawieniem od Trumpa szczerość wobec władz lider z niezgłoszonymi £5 mln i 17 spóźnionymi zgłoszeniami zarabiać powyżej mediany albo wyjechać lider, któremu zapłacono £135 000 za cztery godziny gadania Żaden z tych ludzi nie przeszedłby przez urzędnika, którego Reform chce postawić nad pielęgniarką. Jedna zasada dla niej. Inna dla nich. To nie jest wpadka. Tak to zaprojektowano.\nI żaden z nich nigdy nie musiał uczciwie przepracować dnia, żeby zrobić coś, co można wziąć do ręki. Spójrz, co jest w tym tekście. Lider dostaje pieniądze za gadanie. Wicelider zarabia na nieruchomościach i dywidendach. Kanclerz w oczekiwaniu zrobił karierę z polityki. Daj któremukolwiek z nich skrzynkę z narzędziami i tydzień na budowie, na oddziale albo na linii produkcyjnej i zobacz, jak daleko zajdą gadaniem. A to właśnie oni mówią opiekunce, że musi udowodnić, że zasłużyła na swoje miejsce.\nA oto część, która powinna cię zatrzymać w miejscu. Wielu ludzi, którzy tak harują, którzy zarabiają na życie budowaniem, naprawianiem, dźwiganiem i opieką, głosuje na nich. Najsilniejsze poparcie Reform ma wśród ludzi z najmniejszymi kwalifikacjami255, tych, którzy najczęściej wykonują właśnie taką pracę. Sprzedaje im się partię ludzi, którzy nie daliby rady wykonywać ich pracy, opłacaną przez ludzi, którzy tu nie mieszkają, która obcięłaby wsparcie i odebrała status ludziom pracującym na linii obok nich. To indyki głosujące za świętami. A powodem, dla którego nie widzą piekarnika, jest to, że Reform dał im w zamian kogoś do nienawidzenia. Muzułmanów przy modlitwie. Czarne twarze w reklamie. Migrantkę pielęgniarkę z sąsiedniego oddziału. Skieruj gniew ludzi na osobę, która pracuje obok nich, a przestaną patrzeć, kto im czyści kieszenie. To przekręt w najczystszej postaci i działa na bigoterii, którą partia celowo podsyca. Ludzie, których okrada, to ci, którzy mu kibicują.\nA wielu z nich żyje z tych samych świadczeń, które Reform by obciął. Reform prowadzi wśród wyborców z niepełnosprawnościami264. Okręgi, które próbuje odebrać Labour, to w nieproporcjonalnym stopniu te, w których ludzie najbardziej polegają na świadczeniach zdrowotnych265. Każdy poseł Reform ma większość mniejszą niż liczba osób pobierających PIP w jego własnym okręgu266, a PIP to świadczenie, które Reform zlikwidowałby na rzecz dodatku, który mógłby wykluczyć do dwóch trzecich pobierających11. Ustawiają się w kolejce, żeby odebrać sobie własne wsparcie, i wiwatują przy tym.\nA kiedy będą potrzebować opieki, kto według Reform ma ją zapewnić? W 2023 roku trzy na dziesięć pielęgniarek NHS w Anglii i ponad jedna trzecia lekarzy NHS nie miało obywatelstwa brytyjskiego267. Opieka społeczna straciła od 2020/21 130 000 brytyjskich pracowników268, a przez lata lukę wypełniali ludzie rekrutowani z zagranicy do tej pracy, 105 000 tylko w 2023/24269. To ich Reform wysłałby z powrotem na odnawialną wizę z progiem płacowym powyżej mediany zarobków. Deportuj opiekunów, a niepełnosprawny wyborca Reform nie straci tylko świadczenia. Straci osobę, która przychodzi go umyć, nakarmić i wyciągnąć z łóżka. Nikt w Reform nie powiedział, kto ich zastąpi, bo nikt w Reform nigdy nie będzie potrzebował takiej osoby, na którą nie byłoby go stać.\nNazwijmy to po imieniu. Partia, która w ciągu kilku miesięcy przyjmuje z powrotem radnych po rasistowskich wpisach, jednego z nich awansuje na szefa opieki społecznej nad dorosłymi, a swoich krytyków wyrzuca w kilka dni, jest partią rasistowską, cokolwiek publikuje jej biuro prasowe. Mówiono jej. Nagrano ją. Wybrała.\nA za każdym razem, gdy ją przyłapią, krzyczy „oszczerstwo”. Siedem z dwunastu historii, które nazwała oszczerstwami, się potwierdziło. Krzyczenie „oszczerstwo” na historię, która okazuje się prawdziwa, nie jest obroną. To przyznanie, że nie ma się nic innego.\nPatriotyzm? Dajcie spokój. Partia finansowana z Bangkoku i Hongkongu, ustawiająca się w kolejce na wiece MAGA, która wyrzuciłaby ludzi mieszkających, pracujących i płacących tu podatki, podczas gdy miliarderzy, którzy wyjechali dziesięciolecia temu, utrzymują ją przy życiu. To nie patriotyzm. To flaga owinięta wokół konta bankowego.\nI głosowanie na nią też nie jest patriotyzmem. Patriota dba o ludzi, dzięki którym ten kraj działa, o pielęgniarkę, inżyniera, opiekunkę, niezależnie od tego, z jakim paszportem zaczynali. Oddanie głosu partii, która by ich wyrzuciła, opłacanej przez ludzi, którzy tu nie mieszkają, to nie miłość do kraju. To bycie użytym przeciwko niemu. Ani ludzie na górze, ani ci, którzy ich tam stawiają, nie są patriotami, jakąkolwiek flagą by machali.\nDla kogo więc naprawdę jest Reform? Dla nazwisk w rejestrze. Przeczytaj go. Jeśli nie ma tam twojego, nie ma tam też twojego interesu.\nReform UK — The Cost of the Boriswave — dokument programowy partii, kwiecień 2026: posiadaczom ILR „will have it rescinded”, progi płacowe „above median UK earnings”, „£154 bn if discounted at the 3.5% rate suggested by the HM Treasury Green Book”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nReform UK — Policies (archived 19th October 2026) — „abolish ILR and rescind existing awards”, „5 year renewable visa”, emeryci z wystarczającymi składkami National Insurance zachowują prawo pobytu i emeryturę państwową.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Guardian — Nigel Farage was given undisclosed £5m by crypto billionaire in 2024 — 29 kwietnia 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nUK Parliament — Register of Members\u0026rsquo; Financial Interests: Nigel Farage — odczytane przez API rejestru korzyści, 28 października 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nFull Fact — Daily Mail corrects report about Reform UK\u0026rsquo;s disputed immigration savings — 3 października 2025; think tank stwierdził, że „the overall cost estimates should no longer be used”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nEuronews — Reform UK pledges to strip all foreign nationals of benefits — 17 sierpnia 2026; świadczenia z listy tylko dla obywateli, w tym Pension Credit.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nIFS — Reform UK\u0026rsquo;s plan for welfare: IFS response (archived) — 17 sierpnia 2026; „almost entirely from a working-age benefits bill”, 1,3 mln osób bez obywatelstwa brytyjskiego na Universal Credit.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nDWP — Benefit expenditure and caseload tables 2026 — Spring Forecast 2026; 2025/26 Wielka Brytania, łącznie £309,06 mld, emeryci £177,65 mld, emerytura państwowa £146,07 mld, wiek produkcyjny £126,08 mld.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLBC — Farage guarantees the triple lock on pensions — 2 kwietnia 2026, z wcześniejszymi wypowiedziami „open for debate” i „we\u0026rsquo;re not guaranteeing the triple lock”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nSTV News — Reform\u0026rsquo;s welfare pledges aim to please pensioners — 17 sierpnia 2026; „nothing that we talk about today is about pensioners”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Week — Are welfare cuts Reform\u0026rsquo;s stumbling block? — sierpień 2026; PIP zastąpiony przez „health security allowance”, który „could exclude up to two-thirds of current recipients”, 20 godzin prac społecznych.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nDWP — Universal Credit statistics, 29th April 2013 to 14th May 2026 — „3.1 million people on Universal Credit in any employment … in April 2026, which was 37.7% of all people on Universal Credit”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nIFS — Reform UK manifesto: initial reaction (archived) — czerwiec 2024; cytowane w The Irish Times, 17 czerwca 2024.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLeft Foot Forward — Reform to U-turn on £90 billion tax cuts — październik 2025; Tice w Times Radio: „A manifesto is based on a point in time.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nIrish News (PA) — Reform could deport 600,000 asylum seekers under immigration plan — 26 sierpnia 2025.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nBig Issue — Reform UK\u0026rsquo;s £50 billion benefits plan — sierpień 2026; Tom Waters z IFS.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nEnergy Live News — Reform promises to scrap green levies and VAT on energy bills — 17 marca 2026, około £200.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nEnergy Live News — Reform UK say they will cut bills by £150 with levy change — 7 września 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nFull Fact — Did Reform UK break its promises on council tax? — 9 kwietnia 2026, zaktualizowane 6 maja 2026: 3,94% wobec 4,86%.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Guardian (via inkl) — Reform-run Kent council accused of fabricating £40m net zero savings — luty 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nExpress \u0026amp; Star (PA) — Reform defends savings claim amid questions on scope of welfare plans — 22 września 2025.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLBC — Jenrick says he wants to put Reform UK out of business — 28 sierpnia 2024.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nBBC News — Reform UK names Robert Jenrick as pick for chancellor — 17 lutego 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nHuffPost UK — Farage says Putin is his most admired leader — 31 marca 2014.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nExpress \u0026amp; Star (PA) — Farage calls Putin \u0026lsquo;very bad dude\u0026rsquo; — 16 października 2025.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCompanies House — 11694875, persons with significant control — spółka, która zaczynała jako The Brexit Party Limited; udziały Farage’a i Tice’a do 19 lutego 2025.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nExpress \u0026amp; Star (PA) — Nigel Farage hands ownership of Reform to members, says party — 20 lutego 2025.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCompanies House — Reform UK Party Limited (16260766), filing history — zbadane przez audytora sprawozdanie za 2025, złożone 30 września 2026: nota 20 „two members”, nota 19 przeniesienia za £15 i £1, przychody ze składek £4 524 299, nadwyżka £7 660 122.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Guardian (via inkl) — Not-for-profit appears to own Reform UK despite Farage\u0026rsquo;s \u0026ldquo;democratisation\u0026rdquo; pledge — luty 2025; Farage i Zia Yusuf są gwarantami nowej spółki.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCompanies House — Reform UK Party Limited (16260766), officers — Farage dyrektorem od 18 lutego 2025; Yusuf zrezygnował 5 czerwca 2025.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nByline Times — Chairman Farage: how Reform UK operates as a democratic party in name only — 18 sierpnia 2026; statut przyjęty we wrześniu 2025, artykuły 4.3 i 6.20.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLeft Foot Forward — Nigel Farage sets up a new private company for Reform UK — luty 2025; Habib dla FT: „puts Farage\u0026rsquo;s leadership in a virtually unassailable position”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nElectoral Commission — donations register — darowizny i pożyczki dla Reform UK i Brexit Party (PP7931), stan na 28 października 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Independent (via inkl) — Data reveals the percentage of Reform donors recently based overseas — 27 października 2026; 80% dla Reform, 3,57% Konserwatyści, 0,15% Labour.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nChannel 4 News — How a crypto billionaire used \u0026lsquo;gaping loopholes\u0026rsquo; to bankroll Reform — 27 lipca 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Guardian — Christopher Harborne, the mystery billionaire bankrolling Reform UK — 25 kwietnia 2026; obywatelstwo tajskie w 2011 jako Chakrit Sakunkrit.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nBBC News — Second crypto billionaire matches £36m Reform donation — 12 września 2026; Tice: „so that the Labour Party can\u0026rsquo;t legislate against it”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nSearchlight — Crypto billionaire quits Hong Kong to bankroll Reform UK — 9 kwietnia 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nGOV.UK — Cap on donations from overseas electors and ban on crypto donations — 25 marca 2026; £100 000 rocznie.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nPolitical Parties and Elections Act 2009, section 10 — „resident, ordinarily resident and domiciled in the United Kingdom”, status „Prospective”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNewcastle City Council — Elections Act 2022: overseas electors — limit 15 lat zniesiony od 16 stycznia 2024.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Rycroft Review — countering foreign financial influence and interference in UK politics — marzec 2026, akapity 39 oraz od 51 do 53.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCouncil of Europe — Recommendation Rec(2003)4 on common rules against corruption in the funding of political parties — artykuł 7, darowizny od zagranicznych darczyńców.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nInternational IDEA — written submission to the Australian Parliament — 2017; 63% państw zakazuje zagranicznych darowizn na partie.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNHPR (NPR/AP) — Lev Parnas sentenced to 20 months — 29 czerwca 2022.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCourthouse News — Trump donor sentenced to 12 years for unlawful campaign contributions — 18 lutego 2021.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nVenice Commission and OSCE/ODIHR — Guidelines on Political Party Regulation, 2nd edition — grudzień 2020, akapity 229 i 230.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\ngov.ie — Political donations — obywatele Irlandii za granicą mogą wpłacać; limit €3100 rocznie na partię.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nElections Canada — contribution limits 2026 — tylko obywatele i stali rezydenci, $1775.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nUS Federal Election Commission — Foreign nationals — obywatele USA za granicą mogą wpłacać w granicach limitów federalnych.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nEastern Eye — Reform candidate faces backlash over comments on British identity — 28 stycznia 2026, cytuje wcześniejsze teksty Matta Goodwina.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nYorkshire Post — Yorkshire-born billionaire Christopher Harborne donates £36m to Reform — 12 września 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nAl Jazeera — Second crypto billionaire donates record sum to Reform UK — 12 września 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nReason (Volokh Conspiracy) — Cryptocurrency trader\u0026rsquo;s defamation lawsuit against Wall Street Journal can go forward — Delaware Superior Court, grudzień 2024: „Harborne owned 12% of Bitfinex and its sister company Tether”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nQinetiQ — Holding(s) in Company, 9th June 2026 — Klear Kite LLC, „ultimately controlled by Christopher Harborne”, 14,98%.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nGOV.UK — Major £1.5 billion defence contract with British firm — 23 maja 2025.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCompanies House — AML Global Payments LLP (OC305889), persons with significant control.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Guardian — Arms and the £5m man: Christopher Harborne\u0026rsquo;s military empire — 30 sierpnia 2026, z odpowiedziami Reform i jego prawników.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Guardian — The £1m man: why did Boris Johnson take his donor to Ukraine? — 10 października 2025.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNew York Attorney General — Bitfinex and Tether settlement — 23 lutego 2021.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCFTC — Tether and Bitfinex ordered to pay fines — 15 października 2021; rezerwy „for only 27.6% of the days”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nUNODC — Casinos, Money Laundering, Underground Banking, and Transnational Organized Crime in East and Southeast Asia — styczeń 2024.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Guardian — Cryptocurrency linked to Farage donor used for Russian war effort — 21 listopada 2025.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nUS Department of Justice, SDNY — Founders of cryptocurrency exchange plead guilty to Bank Secrecy Act violations (archived) — 24 lutego 2022.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nUS Department of Justice — BitMEX fined $100 million for violating the Bank Secrecy Act — styczeń 2025.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nUS Department of Justice — Clemency grants by President Donald J. Trump — Benjamin Delo, 27 marca 2025.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Guardian — British crypto billionaire Ben Delo says he has given £4m to Reform UK — 8 kwietnia 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Guardian — Nigel Farage trying to block Britcoin plans — 18 czerwca 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nByline Times — Crypto investor donates £9 million to Reform UK after Nigel Farage plugs his company — 4 grudnia 2025.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Block — Nigel Farage pledges UK bitcoin reserve and crypto capital gains tax cut — maj 2025.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Guardian — Political donations in cryptocurrency blocked — 25 marca 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Guardian — Farage said he would need \u0026lsquo;a million a year\u0026rsquo; to stand as an MP in 2024 — 15 lipca 2026; prawnicy Harborne’a datują prezent na 5 kwietnia 2024.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nProtos — Farage says £5m Harborne gift was reward for Brexit — 14 maja 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Guardian — Tories ask HMRC to investigate Farage over £5m gift — 22 lipca 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Guardian — Standards watchdog investigation into Nigel Farage\u0026rsquo;s financial gifts — 14 sierpnia 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nParliamentary Commissioner for Standards — allegations currently under investigation — stan na 28 października 2026: Farage (wszczęte 13 maja 2026, Rule 5), Tice (wszczęte 20 sierpnia 2026, Rule 13).\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Guardian — Nigel Farage questions claim of second standards investigation — 1 września 2026; Cottrell „paid for social media work, accommodation and security before the 2024 election”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nExpress \u0026amp; Star (PA) — Farage concluded he faced stitch-up amid probe into £5m gift, Jenrick says — 9 lipca 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLeft Foot Forward — Reform gains financial backing from another billionaire — lipiec 2026, cytuje Telegraph; szwajcarska rezydencja podatkowa i planowana przeprowadzka.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nUK Parliament — Register of Interests, entry 14397 — Sasan Ghandehari, „Accreditation (£50,482.16) cost for me and one staffer”, Davos, styczeń 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Guardian (via inkl) — Nigel Farage\u0026rsquo;s trip to Davos hosted and paid for by family trust of billionaire — styczeń 2026; „the $10bn family trust of an Iranian-born billionaire”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nElectoral Commission — donations from Interior Architecture Landscape Ltd — siedem darowizn na łączną kwotę £200 000, 2025.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCompanies House — Interior Architecture Landscape Ltd (08363406), persons with significant control.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLeft Foot Forward — Labour MP calls for Companies House to probe origins of £200,000 gift to Reform — luty 2026, cytuje FT oraz oświadczenia prawnika Ghandehariego i firmy.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nIran International — Reform UK donor had ties to Iran supreme leader-linked foundation, Guardian reports — 23 października 2026, relacjonuje śledztwo Guardiana dotyczące francuskiego orzeczenia arbitrażowego; Ori Group 49%, Astan Quds Razavi 51%; Orico General Trading; odpowiedź prawników.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nByline Times — Reform UK donations from collapsing firms are \u0026ldquo;not under investigation\u0026rdquo;, says elections watchdog — 3 lipca 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCompanies House — FK Building Limited (12545681), filing history.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nElectoral Commission — donation C0835464 — FK Building Ltd, £100 000, 8 października 2025.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCompanies House — FK Group Limited (07732053) — w zarządzie przymusowym; podobnie FK Construction (09890502) i FK Facades (02874877).\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nBuilding — More than 50 jobs saved after administrators appointed at facades firm FK Group — 54 miejsca pracy przeniesione do Keenan Holdings.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCompanies House — Keenan Holdings Limited (11920973), persons with significant control — Deborah Ruth Keenan, 75% lub więcej.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCompanies House — FK Building Limited, insolvency — dobrowolna likwidacja na wniosek wierzycieli od 6 lipca 2026; zestawienie majątku: niedobór £3 149 939, HMRC £25 618 i £384 029.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCompanies House — FK Resolv Ltd (08222605), persons with significant control — FK Group przestała być osobą kontrolującą, zgłoszono FKR Group Limited, 16 października 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCompanies House — FKR Group Limited (17302053) — założona 25 czerwca 2026; Francis Anthony Keenan, 75% lub więcej.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nByline Times — Reform UK accounts raise fresh questions about origins of Richard Tice donations — 7 sierpnia 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nExpress \u0026amp; Star (PA) — Nigel Farage declares £270,000 payment for promoting gold bullion.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nByline Times — Gold firm that employs Nigel Farage predicts unrest and violence under a Reform government — 25 sierpnia 2026; £685 500 od grudnia 2024.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Guardian — Nigel Farage uses private company to pay less tax on GB News earnings — 5 września 2025.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCompanies House — Thorn In The Side Ltd (07650770) — sprawozdanie do 31 maja 2025: aktywa netto £3 144 967; nota 8, najem studia od dyrektora za £10 000 rocznie.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nParliamentary Commissioner for Standards — rectification, Mr Nigel Farage MP — 20 stycznia 2026; siedemnaście naruszeń Rule 5, „inadvertent”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nByline Times — Reform UK paid £440,000 to firms linked to party insiders — 14 sierpnia 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nElectoral Commission — spending search — sprawozdania z wydatków kampanii Reform UK, zsumowane według dostawcy: £440 571,23 dla pięciu firm; darowizna £50 000 od Jupiter to C0836534.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nUK Parliament — Register of Interests, entry 13453 — BTC Inc, £7410, otrzymane 22 września 2025.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nProtos — Reform UK pulls crypto bill from website — usunięta 30 maja 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nUK Parliament — Register of Interests, entry 13771 — Blockworks Inc, £30 000, 2 godziny, 13 października 2025.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nUK Parliament — Register of Interests, entry 13773 — Zebu Group Ltd, £20 000, 2 godziny, 22 października 2025.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nByline Times — Nigel Farage took £50,000 from crypto firms, then said he was not aware of the industry funding his party — 22 maja 2026; odpowiedź dla Reuters dotyczyła darczyńców partii, nie jego własnych honorariów.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nUK Parliament — Register of Interests, entry 15047 — „Shares in Stack BTC PLC that are wholly owned by Thorn in the Side Ltd.”; także wpis 15050.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nStack BTC plc — Strategic investment by Nigel Farage MP (Investegate) — komunikat spółki i cytat z Farage’a.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Guardian — Nigel Farage Cameo videos backed cryptocurrencies that collapsed in value — 19 marca 2026; odpowiedź rzecznika.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nUS Attorney, Southern District of New York — Founder of Celsius sentenced to 12 years for fraud and market manipulation — 8 maja 2025; „At times, they used customer deposits to fund these market purchases.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nUNODC — Inflection Point (2025) — straty „up to an estimated US $37 billion” w Azji Wschodniej i Południowo-Wschodniej.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nTether — freezes and law enforcement support — dane samego Tether: ponad $5 mld zamrożone, ponad 340 organów.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Rycroft Review (PDF) — „there is a risk that cryptoassets are used as the vehicle to channel foreign money into the political system in the UK”; rekomendacja 3, moratorium.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nByline Times — The elections watchdog doesn\u0026rsquo;t know where Reform UK\u0026rsquo;s crypto donations are coming from — 16 marca 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCity of London Police — UK victims lost £2.4 million every day to investment fraud in 2025 — kwiecień 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nPolice Professional — investment fraud figures for 2024 — krypto „66 per cent of all reports”; „Those aged 55-64 suffered the greatest financial losses”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nFCA — Crypto basics — „you should be prepared to lose all your money”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCompanies House — CLS Holdings plc (02714781), officers — Tice dyrektorem od 11 maja 2010 do 7 kwietnia 2014.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCompanies House — Quidnet REIT Ltd (09718143), filing history — sprawozdanie za 2025, złożone 29 września 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nUK Parliament — Register of Members\u0026rsquo; Financial Interests: Richard Tice — honorarium od Quidnet REIT, udziały.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nBBC News — Richard Tice defends company\u0026rsquo;s tax arrangements — 15 marca 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nBBC News — Tice company did not withhold tax on dividends — 12 kwietnia 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCompanies House — Britain Means Business Ltd (10893794) — wcześniej Leave Means Leave Ltd; sprawozdania mikropodmiotu, aktywa netto £28 864 (2023) i £10 479 (2024).\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nSTV News (ITV/PA) — Met Police investigate donations by Richard Tice company to Reform UK — 26 lipca 2026; skierowanie Electoral Commission w lutym 2025, dwie osoby przesłuchane po pouczeniu.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLBC — Police investigate £500,000 in donations to Reform UK from Richard Tice firm.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nShropshire Star (PA) — Tice claims politically motivated smear amid scrutiny of Reform UK finances — lipiec 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCompanies House — Leave.EU Group Ltd (09763501), officers — Tice dyrektorem od 29 stycznia 2016 do 25 maja 2017.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nFull Fact — EU referendum Electoral Commission fines — kara £70 000 dla Leave.EU obniżona po odwołaniu do £66 000.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Guardian — Richard Tice, Reform loan and George Cottrell: standards watchdog — 29 lipca 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCompanies House — Richard Tice, appointments — współdyrektorzy w spółkach Quidnet, Enjoyouretirement i Galecroft.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Guardian — Standards watchdog investigating Reform\u0026rsquo;s Richard Tice — 3 sierpnia 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Guardian — Robert Jenrick rules out Tory pact with Reform UK — 25 kwietnia 2025.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nExpress \u0026amp; Star (PA) — Robert Jenrick defects to Reform after Tory sacking — 15 stycznia 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nBBC News — Robert Jenrick joins Reform UK — 15 stycznia 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLBC — Read in full: Robert Jenrick\u0026rsquo;s speech — styczeń 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nBBC News — Jenrick releases documents on Westferry decision — 24 czerwca 2020.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Guardian — Richard Desmond housing project unlawfully approved — 27 maja 2020.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nBBC News — Westferry: Jenrick admits decision was unlawful — 11 czerwca 2020; „unlawful by reason of apparent bias”, darowizna £12 000 od Desmonda.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nBBC News — Westferry approval to be quashed — 27 maja 2020.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Guardian — Police investigate £37,500 donation to Jenrick leadership campaign — 8 lipca 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Guardian — Jenrick complained of not seeing another white face in Handsworth — 6 października 2025.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Independent — Robert Jenrick on protester at Reform conference — 6 września 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nHuffPost UK — Jenrick says Reform supporter who attacked woman should get a medal — 10 września 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Independent — Statistics Authority on Jenrick\u0026rsquo;s modern slavery claim — 6 lipca 2023.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Observer — Ukip leader Nigel Farage boasts of his £2m in expenses — 24 maja 2009.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Guardian — Nigel Farage\u0026rsquo;s EU salary docked over claim he misspent public funds — 12 stycznia 2018; ranking VoteWatch i odpowiedź EFDD.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nEuropean Parliament — Declaration of financial interests, Nigel Farage, revision 4 — z datą 1 lipca 2019.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Independent — EU authorities asked to investigate Farage over Arron Banks gifts — 19 maja 2019.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nEU General Court — Case T-564/11, Farage v Parliament and Buzek — postanowienie z 5 września 2012.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Independent — Farage referred to advisory committee over Banks support — 21 maja 2019.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCourt of Justice of the EU — press release 138/19, Case T-48/17 ADDE v Parliament — 7 listopada 2019; decyzja z 2016 unieważniona z powodu braku bezstronności.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nEU General Court — Case T-118/17, IDDE v Parliament — wyrok z 8 lutego 2018, akapity 6, 9 i 55.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nJudiciary of England and Wales — R v Nathan Gill, sentencing remarks — 21 listopada 2025.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nAl Jazeera — Ex-leader of Reform UK in Wales jailed for 10 years over pro-Russia bribes — 21 listopada 2025.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLBC — Nigel Farage says the West provoked Russia to invade Ukraine — 21 czerwca 2024.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nDeSmog — Nigel Farage has spoken at 15 Donald Trump and MAGA events since the 2024 election — 20 sierpnia 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nUS House Judiciary Committee — Europe\u0026rsquo;s Threat to American Speech and Innovation — 3 września 2025.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nGazette — Clacton MP meets Donald Trump — 4 września 2025.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nITV News (archived) — Elon Musk says Nigel Farage doesn\u0026rsquo;t have what it takes to lead Reform — 5 stycznia 2025.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nElectoral Commission — donation V0598867 — Christopher Harborne dla Nigela Farage’a, £27 616,76, przyjęte 17 stycznia 2025, „Second inauguration of Donald Trump”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nUK Parliament — Register of Interests, entry 13939 — Bassim Haidar, „Flights for me (£19,072.01) and two staffers (£35,849.01)”, USA, od 6 do 9 listopada 2025.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nDeSmog — Nigel Farage\u0026rsquo;s donor-funded flights to Donald Trump — 26 stycznia 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nUK Parliament — Register of Interests, entry 14207 — ZEA, od 6 do 8 grudnia 2025, „To attend the F1 and for meetings”; rząd Abu Zabi £1000, Abu Dhabi F1 £9000.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nUK Parliament — Register of Interests, entry 13577 — Richard Tice, Izrael, od 26 do 30 września 2025, darczyńca RFOI Ltd, £6250, „Education and meetings with President and Foreign Minister”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLondon Assembly — Alex Wilson, gifts and hospitality — „Reform UK Delegation to Israel including flights, accommodation and meals”, izraelskie Ministerstwo Spraw Zagranicznych, £4861,27.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLancashire Lead — Reform UK\u0026rsquo;s Lancashire leader takes Israel trip, cancelled meetings — 30 listopada 2025.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNovara Media — Israel spent £50k on lobbying trips for Reform — 9 lipca 2026, z powołaniem na Declassified UK; delegaci i program.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLeft Foot Forward — Kemi Badenoch and Nigel Farage to speak at climate denial festival — luty 2025, skład mówców konferencji ARC.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nDeSmog — Revealed: the Trump donors, Reform-backing billionaires and oil companies funding the Alliance for Responsible Citizenship — 24 czerwca 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Block — Lutnick\u0026rsquo;s Cantor Fitzgerald negotiated a 5% ownership stake in Tether, WSJ.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nFortune — Tether names Bo Hines to run its US stablecoin — 12 września 2025.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCompanies House — RFOI Limited (16521255), persons with significant control — oraz officers; SIC 70210, public relations.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nHenry Jackson Society — Henry Jackson Society appoints Jason Pearlman as new Deputy Director — 2 marca 2018; „three and a half years as international media adviser to Israel\u0026rsquo;s President Reuven Rivlin”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nJewish News — Jason Pearlman steps down as President\u0026rsquo;s media adviser.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nJewish News — Nigel Farage\u0026rsquo;s party launching Reform Jewish Alliance and Friends of Israel groups — luty 2026; Farage o Pearlmanie: „a real coup”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCity AM — Top foreign policy analyst and Tory councillor jumps ship to Reform — listopad 2025; Mendoza, szef Henry Jackson Society, dołącza do Reform „as its chief adviser on global affairs”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nFitzrovia News — Second Westminster Conservative councillor defects to Reform UK — 20 listopada 2025; Mendoza „co-founder and executive director”; Farage: „an excellent addition”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nDeSmog — Lois Perry — start Heartland Institute UK/Europe, grudzień 2024, Farage jako „special guest of honour”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nWikipedia — Lois Perry — liderka UKIP od maja do czerwca 2024; dyrektor wykonawcza Heartland Institute UK/EU.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCompanies House — Tamares Real Estate Investments (UK) Limited (02792424), officers — Roy Zabludowicz, urodzony w marcu 1990, dyrektor od 18 czerwca 2021, obok Chaima Zabludowicza.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nWikipedia — Poju Zabludowicz — Tamares, BICOM, Soltam, darowizny dla Konserwatystów.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nDeclassified UK — Friends of Israel groups have funded 56 trips for British politicians — 26 listopada 2025.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nJTA — Reform UK deputy leader faces inquiry over Israel visit — 4 sierpnia 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nParliamentary Commissioner for Standards — Mr Richard Tice MP, rectification, Rule 6 — opublikowane 27 października 2026; „the failure to declare this interest was a breach of Rule 6”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Guardian — John Healey asks Nigel Farage if any of gift may have come from Russia-linked profits — 22 maja 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nUnearthed (Greenpeace) — Christopher Harborne, jet fuel and Russian, Iranian oil — 1 lipca 2026, wspólnie z The Times.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Guardian — Richard Tice stayed with Tory donor Lubov Chernukhin — 10 października 2025.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNZ Herald — False Russian spy claim against top NZ businessman Christopher Chandler — oraz Law.com, werdykt na $8 000 001, 22 października 2024.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCNN — Reform UK faces criminal investigation — 9 września 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nAl Jazeera — Why is Farage\u0026rsquo;s Reform accused of violating UK foreign funding rules? — 4 września 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Irish Times — Nigel Farage aides step down after undercover report — 4 września 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nEuronews — Reform UK reported to police over claims of illegal donations — 4 września 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nChannel 4 News — Met Police launch criminal investigation into Reform UK donations — 9 września 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nHeart (Global) — Reform UK internal inquiry clears own adviser — 7 października 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLBC — Farage on foreign funding claims — wrzesień 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nWikipedia — GB News — „Marshall and Legatum jointly own the company through All Perspectives Ltd., in which they each own around 40%”; przewodniczący Alan McCormick „a partner at Legatum”; runda finansowania £60 mln na start.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLeft Foot Forward — GB News reveals £22 million in new losses — marzec 2026; £22 mln straty w 2024/25, ponad £130 mln od startu, kolejne £17,7 mln od All Perspectives, przychody £26,2 mln.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe New World — The GB News Files (PDF) — marzec 2026; 20 recenzentów; £585 000 i udziały Farage’a, £100 000 Andersona, program Goodwina o wyborach uzupełniających, Andrew Neil.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nBBC News — Reform canvasser filmed by Channel 4 — 27 czerwca 2024.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nHuffPost UK — Reform activists did not commit a criminal offence, police say — 3 lipca 2024.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nExpress \u0026amp; Star (PA) — Ofcom will not investigate Channel 4 over Reform UK undercover sting — 3 lipca 2024.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nExpress \u0026amp; Star (PA) — Farage claims bad apples are gone from Reform UK — 30 czerwca 2024.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nITV News (archived) — Inside Reform: councillors\u0026rsquo; extreme and racist views on camera — 14 października 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nExpress \u0026amp; Star (PA) — Undercover footage shows Reform activist claiming Muslims cannot be British — 17 października 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nExpress \u0026amp; Star (PA) — Reform UK should take immediate action against racism, Burnham says — październik 2026, z oświadczeniem Reform.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nExpress \u0026amp; Star — Reform UK kick Staffordshire County Council leader out of party — 5 grudnia 2025.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe JC — Reform mayoral candidate suspended after likening Jewish security group to Islamists on horseback — marzec 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLBC — Nigel Farage on Sarah Pochin\u0026rsquo;s adverts remarks — październik 2025.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe National — Scottish Reform UK MSP who backed deporting Muslims elected — 8 maja 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nBBC News — Reform councillor expelled over posts — 11 maja 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLBC — Reform councillor charged over pothole post — lipiec 2026; proces wyznaczony na 9 listopada 2026, oskarżony nie przyznaje się do zarzutu.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Guardian — Nigel Farage under fire after saying Muslims do not share British values — 26 maja 2024.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Guardian — Nigel Farage condemned over call to ban public prayer for Muslims — 19 marca 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nYouGov — Do Britons think Reform UK are racist? — wrzesień 2025.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nYouGov — What do Britain\u0026rsquo;s ethnic minorities think of British politics? — październik 2025.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nBBC News — Reform councillor\u0026rsquo;s whip restored — 10 lutego 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nBlog Preston — Politician in charge of Lancashire\u0026rsquo;s care homes — czerwiec 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nBBC News — Doncaster Reform councillor suspended over posts — 15 lutego 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNovara Media — Reform quietly readmits suspended councillors — 16 czerwca 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nExpress \u0026amp; Star (PA) — No charges to be brought against ex-Reform MP Rupert Lowe — 14 maja 2025.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nExpress \u0026amp; Star (PA) — Four Reform councillors suspended after footage of tense meeting leaked — 20 października 2025.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nIBTimes UK — ITV Exposure: Reform UK, Farage, Parry and vetting — 16 października 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Daily Britain — ITV undercover Reform UK documentary — 19 października 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nBreakingNews.ie (PA) — Farage insists no case to answer on undeclared £5 million gift — 6 maja 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNewswav — Reform accused of failing to condemn racism after councillor\u0026rsquo;s Nigerians post — maj 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNation.Cymru (PA) — Jenrick blames Tory smear amid probe into leadership campaign donations — maj 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nIBTimes UK — Reform UK investigates members after ITV undercover report — 15 października 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLBC — Reform councillors and the ITV sting — październik 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nGB News — Nigel Farage responds to Coutts — 4 lipca 2023.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nBBC News — BBC apologises to Nigel Farage over Coutts report — 24 lipca 2023.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Spectator — Lowe brands Farage a \u0026lsquo;viper\u0026rsquo; after charges dropped — 14 maja 2025.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNation.Cymru (PA) — Reform UK branded \u0026lsquo;sinister\u0026rsquo; for reporting journalists to police — 22 października 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nPress Gazette — Reform says it has reported ITV to the police — 21 października 2026, z oświadczeniem NUJ.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nChesney and Citron — Deep Fakes: A Looming Challenge for Privacy, Democracy, and National Security — California Law Review, 2019.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nSchiff, Schiff and Bueno — The Liar\u0026rsquo;s Dividend: Can Politicians Claim Misinformation to Evade Accountability? — American Political Science Review, 2024.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCommittee on Standards in Public Life — The Seven Principles of Public Life.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nHouse of Commons — Code of Conduct for Members, HC 1083 — „inspired and informed by the Seven Principles of Public Life”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nSociety of Editors — Society calls for reversal of Reform UK ban in Derbyshire — 1 października 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe London Economic — Reform become most referenced opposition party on BBC and ITV News at Ten — 15 grudnia 2025; Cardiff University, wrzesień 2025: Reform 37, Konserwatyści 25; Farage 49 w ITV.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe London Economic — Reform, with 0.7% of all MPs, featured in 25% of BBC\u0026rsquo;s recent 10pm news bulletins — 2 listopada 2025; badanie Cardiff University „Enhancing Impartiality”, pierwsze sześć miesięcy 2025, Liberalni Demokraci 17%.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNation.Cymru — Why isn\u0026rsquo;t the Greens\u0026rsquo; growing success reflected in media coverage? — 28 lutego 2026, autorstwa badaczy Cardiff University Maxwella Modella, Matta Walsha i Stephena Cushiona; materiały otwierające w 2025, uzasadnienie BBC oparte na sondażach, Zieloni z 11% do 17%.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nBBC Editorial Guidelines — Impartiality — zasady 2.2.6 i 2.2.7.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nWikipedia — List of Question Time episodes, highest appearance makers — Farage 38 występów, 1,9 rocznie; Clarke 1,4, Williams 1,7, Campbell 1,6, Harman 1,3, Kennedy 1,4.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe London Economic — Nigel Farage set for 38th appearance on Question Time — 2 grudnia 2024.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nProspect — GB News seems to have become Reform TV, and Ofcom hasn\u0026rsquo;t stopped it — Alan Rusbridger, 21 marca 2026; Marshall i Legatum, Habib i Lowe, Ofcom umarzający postępowanie w sprawie Farage’a.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nWikipedia — Legatum — „a private investment firm, headquartered in Dubai”, założona w 2006 przez urodzonego w Nowej Zelandii Christophera Chandlera, współwłaściciela GB News.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Nerve — For GB News\u0026rsquo;s funders, a £130m loss is a small price to pay for vast influence — £131 mln straty od połowy 2021, £22 mln w roku do maja 2025.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nPolitical Parties, Elections and Referendums Act 2000, section 54 — dopuszczalna spółka-darczyńca musi być zarejestrowana na podstawie Companies Act 2006, „incorporated within the United Kingdom” i prowadzić „business in the United Kingdom”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nOfcom — Ofcom fines GB News £100,000 — 31 października 2024; zasady 5.11 i 5.12, „the seriousness and repeated nature of this breach”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nMishcon de Reya — High Court quashes Ofcom\u0026rsquo;s decisions against GB News — wyrok z 28 lutego 2025 w sprawie programów Rees-Mogga.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nSnopes — Did Trump say \u0026lsquo;I love the poorly educated\u0026rsquo;? — przemówienie po zwycięstwie w prawyborach w Nevadzie, 23 lutego 2016; autorstwo ocenione jako prawdziwe. Także The Week.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nPew Research Center — Behind Trump\u0026rsquo;s 2024 victory: voting patterns of validated voters — czerwiec 2025; wyborcy bez dyplomu poparli Trumpa z przewagą 14 punktów, absolwenci Harris z przewagą 16.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nYouGov — How Britain voted in the 2024 general election — Reform 23% wśród osób z GCSE lub niższym wykształceniem, 8% wśród osób z wyższym poziomem wykształcenia.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nYouGov — How would Britain vote two years since the 2024 election? — 2026; Reform 40% wśród osób z GCSE lub niższym, piąty z 14% wśród absolwentów.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nGood Morning America (ABC) — Trump calls media \u0026rsquo;enemy of the American people\u0026rsquo; — 17 lutego 2017.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nMiddle East Eye — Reform UK bans Middle East Eye journalist from party conference — 2 września 2026; zakaz objął też Annę Isaac i Petera Geoghegana z Guardiana.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nHome Office — Nationality: good character requirement, version 7.0 — wytyczne dla urzędników opublikowane 30 kwietnia 2026: przestępczość, zła sława, „lack of frankness”, rzetelność finansowa.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCrown Prosecution Service — The Code for Crown Prosecutors — Full Code Test: realna perspektywa skazania, potem interes publiczny.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nFCA — Upper Tribunal upholds Crispin Odey ban — wrzesień 2026, „unfit to work in financial services”, grzywna £1 529 374; oraz Decision Notice, marzec 2025. £10 000 od Odeya dla Reform UK z 4 sierpnia 2023 to wpis Electoral Commission C0572678.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nElectoral Commission (via Wired-Gov) — Investigations concluded, 27th September 2022 — Reform UK, „Failure to deliver a complete campaign spending report” i „Late payment of claims”, „No sanction”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLocal Government Lawyer — Reform member found guilty over false statements about rival — kwiecień 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nInformation Commissioner — decision notice IC-411617-G3G8, Kent County Council — 16 lipca 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nGB News — With Reform UK leading among disabled voters — Opinium, marzec 2025: Reform 29%, Labour 20% wśród respondentów z niepełnosprawnościami (podpróba 407 osób).\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nPoliticsHome — Labour seats at risk from Reform have higher rates of people relying on disability benefits — 3 czerwca 2025; analiza Trussell, 140 z 247 okręgów w górnej jednej trzeciej.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Spectator Australia — Can Reform really end benefits Britain? — sierpień 2026; „every Reform MP has an electoral majority smaller than the number of PIP claimants living in their constituency”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Guardian (via Eastern Eye) — One in five NHS staff in England are non-UK nationals — dane NHS Digital za wrzesień 2023: 20,4% personelu, 30% pielęgniarek i health visitors, 36,3% lekarzy.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLocalGov — Social care vacancy rate falls to decade low but challenges ahead — 24 czerwca 2026, Skills for Care: liczba stanowisk zajmowanych przez obywateli brytyjskich spadła od 2020/21 o 130 000.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCare Provider Alliance — The size and structure of the adult social care sector and workforce in England, July 2025 — podsumowanie raportu Skills for Care: liczba osób rekrutowanych z zagranicy spadła ze 105 000 w 2023/24 do 50 000 w 2024/25.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\n","permalink":"https://blogs.damiendye.uk/pl/politics/who-is-reform-actually-for/","summary":"Tekst opiniotwórczy o Reform UK, zbudowany z własnych dokumentów partii i z jawnych rejestrów. Jej plan odebrania prawa stałego pobytu (indefinite leave to remain) ludziom, którzy tu mieszkają, pracują i płacą podatki. Plan socjalny, który oszczędza emeryturę państwową i tnie wsparcie dla osób w wieku produkcyjnym. Spółka partyjna należąca do lidera aż do 2025 roku i statut, który zostawia członkom skrzynkę na sugestie. Pracujący beneficjenci Universal Credit i opiekunowie, których plan by wyrzucił. Od 75 do 80% darowizn od darczyńców mieszkających za granicą, test miejsca zamieszkania, który Parlament uchwalił w 2009 roku i nigdy nie uruchomił, oraz co o takich pieniądzach mówią Rada Europy i przegląd zlecony przez sam rząd. Interesy darczyńców: Tether, QinetiQ, krypto oraz przyznanie się do winy i ułaskawienie w USA. Prezent w wysokości £5 mln, zarobki Farage’a i jego dorobek jako europosła, nieruchomości i podatki Tice’a, zwrot Jenricka i Westferry, powiązania z Putinem i Trumpem, kto zapłacił za podróże na inaugurację Trumpa, do Mar-a-Lago, Abu Zabi i Izraela, RFOI Ltd, trust Ghandeharich i firmy na skraju bankructwa, które dały £485 000, firmy kryptowalutowe płacące Farage’owi i emeryci tracący pieniądze na oszustwach kryptowalutowych, czas antenowy Reform w BBC i jego własne miejsce w GB News, historia rasizmu i postępowań dyscyplinarnych oraz 7 z 12 „oszczerstw”, które okazały się prawdą. A potem pytanie z tytułu.","title":"Dla kogo naprawdę jest Reform? Pieniądze, ludzie i dorobek"},{"content":"Ten sam budżet, inna kuchnia Budżet 2026 sprzedano jako „breathing space”, czyli chwilę oddechu1. Ten wpis czyta go pod kątem jednego gospodarstwa domowego i niczego więcej. Jest wpis towarzyszący, Breathing Space For Whom?, o tym, co robi z wielkimi firmami i podatkami za nimi.\nPara, oboje w wieku 67 lat lub więcej i po wieku emerytalnym State Pension, żyjąca z niczego poza pełną nową State Pension. To £241,30 tygodniowo na osobę2, £25 095 rocznie na dwoje. Ogrzewają gazem, 13 375 kWh rocznie, bo tyle zużywa zwyczajny dom ogrzewany kotłem gazowym. Mają jedno auto na benzynę, 4000 mil rocznie. Council tax w pasmach od A do D, w Anglii. Bez dochodu z oszczędności, bez prywatnej emerytury, bez najmu.\nJasno o tym, czym jest ten dochód. State Pension to świadczenie, a HMRC wymienia je wśród świadczeń państwowych, od których płaci się podatek dochodowy3. Nie płacą żadnego tylko z jednego powodu. Podatek dochodowy nalicza się od osoby, więc każde z nich ma własną Personal Allowance w wysokości £12 5704, a pełna nowa State Pension to £12 547,60 rocznie2. Bez innego dochodu każda emerytura leży £22,40 pod kreską. Emerytura nie jest też garnkiem, do którego odkładali i który czekał na nich. Własny opis rządu mówi, że jest „unfunded” i „Pay As You Go”, oraz że „State Pension payments paid to current pensioners are financed from National Insurance contributions paid by current workers”5. Płacili za emerytów przed sobą, a za nich płacą ci, którzy dziś pracują. Każda zmiana w niej w tym budżecie to decyzja o tym, ile jedni ludzie płacą drugim.\nPytanie brzmi: czy budżet sprzedany jako „breathing space” daje im choć trochę oddechu? Trochę, raz. Potem zaczyna go odbierać, a największa zmiana w ich dochodzie przychodzi dopiero w 2030.\nRachunek dla pary emerytów Każdy środek budżetu dla gospodarstw domowych, który ich dotyczy, z własnego dokumentu Skarbu:\nŚrodek Kiedy Dotyczy ich? Wartość rocznie £100 Household Energy Payment, pasma od A do D styczeń 2027 Tak +£100, raz 0% VAT na prąd, przedłużone o trzy miesiące od kwietnia do lipca 2027 Tak, 2500 kWh po 28p, bez nocnej taryfy EV około +£11, raz Obniżka akcyzy paliwowej o 5p przedłużona o sześć miesięcy do lipca 2027 Tak, auto na benzynę około +£12, raz Opłata stała za gaz przeniesiona do ceny jednostkowej koniec 2027 lub później Tak, a duże zużycie traci −£44 Gas Shipper Obligation przeniesione do podatków ogólnych miało wejść w 2028 Tak, a każda emerytura jest pod kwotą wolną około +£5 Opłata stała za prąd, 54,83p dziennie przy limicie, £200 rocznie „details next year” Zostaje bez zmian £0 Limit ceny biletu autobusowego £2 2027 Nie, już jeżdżą za darmo £0 Pension Credit Nie, ich dochód jest za wysoki £0 Winter Fuel Payment, £100 na osobę bez zmian Tak, ale nic nowego £0 zmiany Podatek dochodowy do kwietnia 2030 Nie płacą, £22,40 pod kwotą wolną na osobę £0 Korekta Triple Lock kwiecień 2030 Tak niższe podwyżki od 2030 Cały prąd kupują po pełnej stawce. Bez EV nie ma taniej taryfy nocnej, która by się opłacała, więc każda z typowych dla Ofgem 2500 kWh6 kosztuje około 28p. To £700 rocznie za jednostki i £200 opłaty stałej, a 5% VAT od £900 przez trzy miesiące to około £11.\nZsumuj to. W 2027 para jest do przodu o około £123, prawie w całości z płatności £100. Gdy wejdzie reforma gazu, są około £39 rocznie do tyłu, co roku. Te £123 znikają w nieco ponad trzy lata.\nCo budżet robi parze emerytów ogrzewającej gazem Para emerytów na gazie, zmiana w £ £100 Household Energy Payment, tylko 2027 +£100 0% VAT na prąd, trzy miesiące 2027 +£11 Obniżka akcyzy, o pół roku do lipca 2027 +£12 Gas Shipper Obligation skreślone, rocznie +£5 Opłata stała za gaz w cenie jednostki, rocznie −£44 Co roku od 2028, wszystkie środki −£39 Każdy środek, który zmienia pieniądze tej pary. Trzy to jednorazowe kwoty w 2027. Dwa trwałe to mały zysk na opłacie gazowej i większa strata na opłacie stałej za gaz, więc od 2028 są £39 rocznie do tyłu. Jednorazowe kwoty są wydane do pierwszej wiosny. Zostaje reforma gazu, a ona idzie w złą stronę.\nReforma gazu działa dla nich w złą stronę Przeniesienie opłaty stałej za gaz do ceny jednostkowej pomaga domowi, który zużywa mało gazu. Szkodzi takiemu, który zużywa dużo, a ta para zużywa dużo.\nOpłata stała za gaz to £108 rocznie dla typowego płatnika1, 29,68p dziennie przy październikowym limicie7. Budżet prosi Ofgem, żeby odzyskiwał ją „through gas unit rates instead”1. Rozłożona na typowe dla Ofgem 9500 kWh6 dodaje około 1,14p do każdej kWh.\nZużycie gazu rocznie Opłata stała teraz Odzyskane przez cenę jednostkową Różnica 9500 kWh, typowe dla Ofgem £108 £108 £0 13 375 kWh, ta para £108 £153 −£44 Para, która porządnie ogrzewa dom, płaci £44 rocznie więcej. A dokładnie to powinna robić para emerytów zimą. Skarb o tym wie. Pisze, że „a number of households may be less able to make the most of the reform”, i obiecuje „targeted mitigation”1. Nie mówi, czym ta pomoc jest, kto ją dostanie ani kiedy.\nWięc ludzie, których reforma kosztuje, słyszą, że pomoc jest w drodze, bez szczegółów. Ludzie, którym się opłaca, tacy jak ja, dostają to automatycznie.\nOpłata wodorowa, w drugą stronę Gas Shipper Obligation to planowana opłata na rachunkach za gaz, z której miał być finansowany wodór. Budżet ją skreśla i płaci za wodór z podatków ogólnych1. Dla gospodarstwa z pensją to tylko przesuwa rachunek z licznika na pasek wypłaty.\nDla tej pary to prawdziwy zysk, i trzeba to uczciwie przyznać. Opłata od każdej jednostki gazu obciążałaby ich według tego, ile gazu spalają, a spalają dużo. Własny szacunek rządu to „approximately £2.60 - £4.50” rocznie na przeciętnym domowym rachunku za gaz8, co przy ich zużyciu daje około £5. Na pełnej State Pension i niczym więcej nie płacą w ogóle podatku dochodowego, więc wersja z podatków ogólnych bezpośrednio nic ich nie kosztuje. Nadal płacą VAT i każdy inny podatek, który ją finansuje, ale dużo mniej, niż zapłaciliby przy liczniku.\nTo nie czyni wodoru ani trochę lepszym zakładem. Znaczy tylko, że koszt przeszedł z gospodarstwa, które spala gaz, na gospodarstwo, które zarabia pensję.\nAuto na benzynę dostaje obniżkę i dalej płaci od mili Auto na benzynę coś dostaje. Obniżka akcyzy paliwowej o 5p, która miała się skończyć w styczniu, zostaje przedłużona „by a further six months to 1 July 2027”1.\nPrzedłużenie obniżki akcyzy, auto na benzynę Wartość Mil rocznie 4000 Spalanie zwyczajnego małego auta na benzynę 45 mpg, założone Litrów rocznie około 404 Litrów w dodatkowych sześciu miesiącach około 202 Cena na stacji teraz, benzyna £1,97 za litr Rachunek za paliwo rocznie około £796 Obniżka 5p plus VAT od niej 6p za litr, około 3% ceny na stacji Oszczędność z tego budżetu około £12, raz Więc przy rachunku za paliwo około £796 rocznie, po £1,97 za litr, przedłużenie jest warte £12. Nawet z obniżką prawie £800 rocznie idzie do baku.\nA podatek od mili już płacą. Nazywa się akcyza paliwowa. Benzyna płaci 52,95p za litr9, a akcyza ma na sobie VAT. Przy 45 mpg daje to:\nPodatek od mili Auto na benzynę, akcyza paliwowa Auto elektryczne, eVED od kwietnia 2028 Za milę około 5,3p, 6,4p z VAT 3p10 Na 4000 mil około £214, £257 z VAT £120 Więc nowe Electric Vehicle Excise Duty to nie podatek od mili, który pojawia się po raz pierwszy. Kierowcy aut na benzynę płacą go przy każdym tankowaniu, odkąd istnieje akcyza paliwowa, i to mniej więcej dwa razy więcej niż stawka eVED. Obniżka o 5p w budżecie przycina go na sześć miesięcy. Nie zatrzymuje go.\nTrzymanie ludzi przy ropie to zła polityka i już to mówiłem. Dla tego gospodarstwa to wciąż mała, prawdziwa korzyść.\nZa dużo na Pension Credit, za mało na cokolwiek innego Oto ta, której nie widać na żadnym rachunku. Pension Credit dopłaca do dochodu pary do „£363.25 if you have a partner”11. Ta para ma £482,60 tygodniowo na dwoje. Są £119,35 tygodniowo ponad, więc nie mogą go dostać i nie dostają niczego, co z nim idzie.\nTygodniowy dochód pary Kwota Pełna nowa State Pension, dla dwojga £482,60 Pension Credit dopłaca parze do £363,25 Ponad kreską o £119,35 Za zamożni na pomoc dla najbiedniejszych emerytów. Wciąż na stałym dochodzie. A ten dochód musi pokryć rachunek za gaz, który budżet właśnie podniósł. Winter Fuel Payment do nich dociera, „£100 if you and the person you live with were both born between 28 September 1946 and 27 June 1960”12, £200 na dwoje. Ten budżet tego nie zmienia.\nLimitu ceny biletu autobusowego £2 też nie potrzebują. Wiek uprawniający do darmowego biletu autobusowego zależy od tego, gdzie mieszkasz13:\nGdzie Darmowe autobusy od Szkocja, Walia, Irlandia Północna 60 Londyn, tylko w obrębie Londynu 60 Anglia poza Londynem wiek State Pension, z 66 rośnie do 67 Wpis bierze najwyższy, bo pod nim żyje większość Anglii. Wiek State Pension rośnie z 66 do 67 „between 2026 and 2028”14, więc bilet w Anglii przychodzi teraz w wieku 67 lat, siedem lat po tym, jak dostaje go emeryt w Cardiff czy Glasgow. Ta para jest już za tym progiem, więc jeździ za darmo. To prawdziwa korzyść. Tyle że nie nowa, a para z Anglii czekała na nią najdłużej.\nPrawo jazdy, okulary i kto płaci Bycie ponad kreską Pension Credit kosztuje więcej niż samą dopłatę, bo wisi na niej tyle innej pomocy. Najlepiej widać to na okularach.\nBadanie wzroku w NHS jest darmowe dla „anyone aged 60 or over”. Okulary nie. Bon optyczny NHS na nie dostają między innymi osoby na „Pension Credit Guarantee Credit”15. Ta para nie może dostać Pension Credit, więc nie dostaje bonu i płaci za okulary sama. Jedyna droga, jaka zostaje, to NHS Low Income Scheme zależny od dochodu, czyli formularz do wypełnienia, który może dać częściową pomoc albo żadnej.\nA prawo jazdy zaraz właśnie na tym się oprze. Department for Transport przeprowadził konsultacje „Introducing mandatory eyesight testing for older drivers”, dla „drivers aged 70 and over” jako „part of the driving licence renewal process”, zastępując „current self-declaration system”16. Konsultacje zamknięto 11 maja 2026, a wyniku jeszcze nie ma. Nie mówią, kto płaci. Organizacja samych optometrystów mówi wprost, że „Any additional costs to cover the administration of this must be funded by the driver”17.\nStarszy kierowca ponad kreską Pension Credit Kto płaci Badanie wzroku za darmo w NHS od 6015 Okulary, których według badania potrzebują oni, bez bonu15 Jakakolwiek administracja obowiązkowego badania wzroku do prawa jazdy nie rozstrzygnięto, optometryści mówią, że kierowca17 Nic z tego nie ma w budżecie i właśnie o to chodzi. Para na stałym dochodzie trzyma auto, bo tak dojeżdża do sklepu i przychodni. Państwo zmierza do tego, żeby musieli udowodnić swój wzrok, żeby je zatrzymać, a okulary, z którymi zdadzą, są płacone z tej samej State Pension co rachunek za gaz.\nChronieni przed zamrożeniem, aż się skończy Te £22,40 zapasu pod zamrożoną kwotą wolną to wszystko, co trzyma samą State Pension poza podatkiem dochodowym.\nFiscal drag działa na nich inaczej. Ktoś, kto pracuje, płaci go co roku gotówką, bo każda podwyżka ląduje w progu, który powinien był się przesunąć. Ta para jeszcze nic nie płaci, bo cały ich dochód leży pod kwotą wolną. Zamrożenie zabiera im zapas. Przelicz według ustawowej reguły indeksacji18 na wrześniowych danych o inflacji z ONS19, a kwota wolna wyglądałaby tak:\nRok podatkowy Personal Allowance, indeksowana Zamrożona Zapas ponad jedną State Pension, indeksowany Zapas, zamrożony 2026-27 £16 080 £12 570 £3532 £22 2027-28 £16 650 £12 570 £3663 −£417 Wiersz 2027-28 zakłada, że Triple Lock wypłaci tylko wrześniową inflację 3,5%, czyli najmniej, ile może. To podnosi pełną nową State Pension do £249,75 tygodniowo, £12 987 rocznie, i stawia każde z nich £417 ponad zamrożoną kwotą wolną. Przy 20% to około £83 na osobę, £167 na parę, co roku, w podatku, który istnieje tylko z powodu zamrożenia. Po indeksacji State Pension nawet nie zbliżyłaby się do podatku dochodowego.\nWięc u emeryta drag nie pokazuje się jako rachunek. Pokazuje się jako nowa ulga. Budżet wprowadza od kwietnia 2027 Pension Tax Allowance, tak że emeryci „with incomes at or under the value of the full new State Pension will not be brought into paying tax because of State Pension uprating in this Parliament”1.\nTo łata na dziurę, którą wykopało zamrożenie, i słusznie, że jest. Teraz przeczytaj daty:\nDo Pension Tax Allowance „6 April 2027 until 5 April 2030”1 Personal Allowance zamrożona na £12 570 5 kwietnia 20314 Ochrona kończy się rok przed zamrożeniem. Na 2030-31 Skarb mówi tylko, że „will consider arrangements beyond April 2030 in the usual way”1. Więc para, która ma tylko swoją State Pension, ma rok, w którym według dziś zapisanych reguł zamrożenie może wciągnąć ich w podatek dochodowy, a naprawą tego jest obietnica, że się o tym pomyśli później.\nDodaj £790 emerytury z pracy, a fiscal drag ją zabiera Teraz daj jednemu z nich emeryturę z pracy. Auto-enrolment dosięgnął ich cztery lata przed emeryturą, a pracodawca wpłacał tylko tyle, ile kazało mu prawo, czyli od kwietnia 2019 3% kwalifikowanych zarobków20. Cztery lata na ustawowym minimum kupują rentę dożywotnią około £790 rocznie. Mnóstwo ludzi przechodzących teraz na emeryturę ma mniej więcej tyle, bo minimum to wszystko, co kiedykolwiek dostali, i przyszło za późno, żeby zbudować coś większego.\nDrugi partner bez zmian. Oto ile te £790 są warte dla tego, kto je ma:\nRok podatkowy Dochód Ponad kwotą wolną Podatek dochodowy Renta £790, zostaje 2026-27 £13 337,60 £767,60 £153,52 £636,48 2026-27, gdyby kwotę wolną indeksowano £13 337,60 £0 £0 £790 2027-28, zamrożona, Pension Tax Allowance £13 777 £1207 od £158 do £241 od £549 do £632 2027-28, gdyby kwotę wolną indeksowano £13 777 £0 £0 £790 2030-31 i dalej, bez Pension Tax Allowance co najmniej £13 777 co najmniej £1207 co najmniej £241 najwyżej £549 Najpierw przeczytaj wiersze z indeksacją. Gdyby kwota wolna szła za cenami, £16 080 w tym roku i £16 650 w przyszłym, renta nie byłaby opodatkowana w ogóle, a zostałoby jeszcze £2700 albo więcej zapasu. Każdy funt podatku w tej tabeli to fiscal drag i nic więcej. Żadna stawka nie wzrosła. Kwota wolna stała w miejscu, a State Pension rosła jej na spotkanie.\nW tym roku £790 wyprowadzają ich dochód £767,60 ponad zamrożoną kwotę wolną, a 20% z tego to £153,52.\nOd kwietnia 2027 Pension Tax Allowance ich nie ratuje. Jest tylko dla emerytów, których dochód „regardless of source, is below or at the value of the full new State Pension”, a dla każdego „just above” jest „gradually withdrawn through a taper”1. Skarb nie opublikował tego stopniowego wycofania, więc podatek leży między £158, czyli 20% samej renty, a £241, czyli 20% wszystkiego ponad zamrożoną kwotą wolną. Od kwietnia 2030 Pension Tax Allowance się kończy, a zamrożenie nie, więc to £241 albo więcej, i rośnie z każdą podwyżką State Pension.\nRachunku za to nie dostaną. HMRC ściąga podatek należny od State Pension przez prywatną emeryturę: „you\u0026rsquo;ll usually pay more tax to include any tax you need to pay on your State Pension. Your tax code will change to collect this”21. Więc renta przychodzi już obcięta, a £83 z tych £241 to State Pension opodatkowana z powrotem przez nią. To 31% z renty £790, a nie 20% podstawowej stawki, jak by się wydawało.\nCzy mogę zapytać, dlaczego ktoś, kto zrobił, co mu kazano, został w pracowniczym programie przez cztery lata, przez które w ogóle dla niego istniał, i oszczędzał, kończy ze State Pension opodatkowaną przez swoje oszczędności? Pracodawca płacił minimum, bo minimum to wszystko, co musiał płacić. Rząd zamroził kwotę wolną, bo zamrożenie przynosi pieniądze bez nagłówka w gazecie. Między nimi prawie jedna trzecia małej emerytury znika co roku, a indeksowana kwota wolna nie ruszyłaby z niej ani pensa.\nTriple Lock odpada w 2030 Największej zmiany w dochodzie tej pary nie ma w rachunku, bo zaczyna się dopiero w kwietniu 2030.\nDo tego czasu State Pension rośnie „by the highest of 2.5%, inflation or earnings growth”1. Od kwietnia 2030 rośnie „by the highest of 2.5%, inflation, or the amount required to maintain its value relative to earnings as reached in April 2029”1. Skarb nazywa to usunięciem „ratchet”, czyli zapadki. Ile to jest warte dla Skarbu, jego własnymi słowami:\nSkorygowany Triple Lock, spadek wydatków na State Pension Szacunek Skarbu Pod koniec lat 2030. £15 mld rocznie Pod koniec lat 2040. £50 mld rocznie Te pieniądze nie biorą się znikąd. Biorą się z podwyżek State Pension, które inaczej zostałyby wypłacone, czyli z dochodu każdego emeryta, który z niej żyje. Budżet mówi, że sfinansuje z tego National Care Service z opieką osobistą „free at the point of use”1, i może to być warte posiadania. Ale płacą za to ci sami ludzie, którzy będą tego potrzebować, a para z tego wpisu płaci pierwsza, w każdej podwyżce od 2030, która jest mniejsza, niż byłaby.\nNic na kocioł To dom, któremu najbardziej pomogłyby pieniądze na ocieplenie i pompę ciepła.\nPara zużywająca 13 375 kWh gazu rocznie to dokładnie ci, dla których jest Warm Homes Plan. Ten budżet zabiera £1 mld z jego dotacji inwestycyjnej na obronność1. Trzyma dotację na pompy ciepła na poziomie £400 mln rocznie1, po £7500 na pompę ciepła22. I pozwala, by VAT na montaż ocieplenia, pomp ciepła, paneli słonecznych i baterii wrócił od kwietnia 2027 z 0% do 5%23.\nCo obniżyłoby ich rachunek na stałe Co robi budżet Ocieplenie VAT z powrotem na 5%, dotacja Warm Homes obcięta o £1 mld Pompa ciepła dotacja zamrożona, VAT z powrotem na 5% Panele słoneczne i bateria VAT z powrotem na 5% Na stałym dochodzie i bez oszczędności nic z tego sprzętu nie zostanie kupione bez pomocy. Więc para zostaje przy kotle gazowym, dalej spala 13 375 kWh, płaci wyższą cenę jednostkową po reformie opłaty stałej i czeka na kolejne £100 następnej zimy.\nStały dochód nie wypracuje sobie wyjścia Pracujące gospodarstwo może wziąć więcej pracy, zmienić robotę albo włożyć własne pieniądze w panele słoneczne i baterię. Para emerytów na stałym dochodzie nie ma żadnej z tych opcji. Ich dochód rusza się wtedy, gdy rusza go rząd, a od 2030 będzie się ruszał mniej. Ich rachunek za energię ustala rynek, który ten budżet dotuje zamiast naprawiać, a jedyna reforma, która bezpośrednio dotyka ich rachunku, kosztuje ich £44 rocznie, z „targeted mitigation” pozostawionym pustym.\nTo, czego potrzebują, to jedyna rzecz, za którą nikt w tym budżecie nie chce zapłacić raz: ocieplony dom i wymieniony kocioł, żeby rachunek spadł i tak został. Zamiast tego dostają £100, opłacone przez wszystkich, przepuszczone przez council tax do tych samych firm energetycznych i potrzebne znowu w przyszłym roku. To nie jest chwila oddechu. To trzymanie ich przy tym samym starym gazie, po tej samej starej cenie, zima po zimie.\nHM Treasury — Budget 2026: Breathing Space for Today, Fresh Hope for the Future — raport budżetowy przedłożony Parlamentowi 28 października 2026. Triple Lock 1.28, 1.29, 5.23 i Box 5A; Pension Tax Allowance 3.19 i 6.182; środki energetyczne od 3.4 do 3.9 i od 6.24 do 6.27; akcyza paliwowa 3.13 i 6.211; Warm Homes Plan i Boiler Upgrade Scheme 4.36.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nGOV.UK — The new State Pension: what you\u0026rsquo;ll get — \u0026ldquo;The full rate of new State Pension is £241.30 a week.\u0026rdquo;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nGOV.UK — Income Tax: taxable and tax-free state benefits — State Pension jest wymieniona wśród opodatkowanych świadczeń państwowych.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nHMRC — Maintaining the Personal Allowance and basic rate limit until 5 April 2031 — Personal Allowance utrzymana na £12 570 \u0026ldquo;until 5 April 2031\u0026rdquo;.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nDWP — Third State Pension age review: independent report call for evidence — National Insurance Fund wypłaca State Pension; \u0026ldquo;this is unfunded and is often referred to as a “Pay As You Go” system\u0026rdquo;.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nOfgem — Summary of changes to the energy price cap, revised TDCV — typowe zużycie od 1 lipca 2026: \u0026ldquo;2,500 kWh of electricity, 9,500 kWh of gas\u0026rdquo;.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nOfgem — Changes to energy price cap between 1 October and 31 December 2026 — opłata stała za gaz 29,68p dziennie i cena jednostkowa 7,97p/kWh z VAT; cena jednostkowa prądu 26,32p/kWh i opłata stała 54,83p dziennie, bez VAT do 31 marca 2027.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nDESNZ — Gas Shipper Obligation analytical annex — \u0026ldquo;approximately £2.60 - £4.50\u0026rdquo; rocznie na przeciętnym domowym rachunku za gaz, od 2028 do 2037.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nGOV.UK — Tax on shopping and services: Fuel Duty — benzyna, olej napędowy, biodiesel i bioetanol \u0026ldquo;52.95 pence per litre\u0026rdquo;.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nHM Treasury — Electric Vehicle Excise Duty (eVED) — 3p za milę dla aut elektrycznych, 1,5p dla hybryd plug-in, od 1 kwietnia 2028.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nGOV.UK — Pension Credit: what you\u0026rsquo;ll get — dopłaca \u0026ldquo;your joint weekly income to £363.25 if you have a partner\u0026rdquo;.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nGOV.UK — Winter Fuel Payment: how much you\u0026rsquo;ll get — £100 na osobę dla pary, w której oboje urodzili się między 28 września 1946 a 27 czerwca 1960 i nie pobierają kwalifikującego świadczenia.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nGOV.UK — Apply for an older person\u0026rsquo;s bus pass — \u0026ldquo;free travel when you reach the State Pension age\u0026rdquo; w Anglii; od 60 lat w Londynie, Walii, Szkocji i Irlandii Północnej.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nDWP — State Pension age timetable — \u0026ldquo;The State Pension age for men and women will now increase to 67 between 2026 and 2028.\u0026rdquo;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNHS — Free NHS eye tests and optical vouchers — darmowe badania wzroku dla każdego w wieku 60 lat lub więcej; bony na okulary dla osób pobierających Pension Credit Guarantee Credit i innych wymienionych grup, nie z samego tytułu wieku.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nDepartment for Transport — Introducing mandatory eyesight testing for older drivers — konsultacje od 7 stycznia do 11 maja 2026, wynik oczekiwany.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nAssociation of Optometrists — response on mandatory eyesight testing for older drivers — maj 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nIncome Tax Act 2007, section 57 — Personal Allowance jest indeksowana według \u0026ldquo;the consumer prices index for the September before the start of a tax year\u0026rdquo; i zaokrąglana \u0026ldquo;up to the nearest amount which is a multiple of £10\u0026rdquo;.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nONS — CPI annual rate, all items, series D7G7 — wrzesień 2021 3,1%, 2022 10,1%, 2023 6,7%, 2024 1,7%, 2025 3,8%, 2026 3,5%.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nGOV.UK — Workplace pensions: what you, your employer and the government pay — od kwietnia 2019 minimum wpłacane przez pracodawcę to 3%, przy łącznej minimalnej składce 8%.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nGOV.UK — Tax when you get a pension: how your tax is paid — jeśli masz prywatną emeryturę, \u0026ldquo;Your tax code will change to collect\u0026rdquo; podatek od twojej State Pension.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nGOV.UK — Boiler Upgrade Scheme: what you can get — £7500 na pompę ciepła powietrzną albo gruntową.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nHMRC — VAT on energy-saving materials and heating equipment (VAT Notice 708/6) — stawka zerowa \u0026ldquo;from 1 May 2023 to 31 March 2027\u0026rdquo;, obejmująca ocieplenie, pompy ciepła, panele słoneczne i baterie.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\n","permalink":"https://blogs.damiendye.uk/pl/politics/breathing-space-on-a-state-pension/","summary":"Co budżet 2026 robi dla pary żyjącej wyłącznie z pełnej nowej State Pension, £25 095 rocznie na dwoje, ogrzewającej dom gazem przy 13 375 kWh rocznie i jeżdżącej autem na benzynę 4000 mil rocznie. Rachunek z własnego dokumentu Skarbu: £100 Household Energy Payment, 0% VAT na prąd, obniżka akcyzy paliwowej, opłata stała za gaz przeniesiona do ceny jednostkowej, co kosztuje dużego odbiorcę gazu, i Gas Shipper Obligation przeniesione do podatków ogólnych, co dla odmiany pomaga. Potem rzeczy, których nie widać na rachunku: dochód o £119 tygodniowo za wysoki na Pension Credit i pomoc przy okularach, która z nim idzie, obowiązkowe badanie wzroku starszych kierowców w konsultacjach, fiscal drag, które zabiera im zapas pod Personal Allowance zamiast gotówki, Pension Tax Allowance łatające to, które kończy się rok przed zamrożeniem i opodatkowuje rentę dożywotnią z pracy w wysokości £790, której indeksacja by nie ruszyła, korekta Triple Lock od kwietnia 2030 warta dla Skarbu £15 mld rocznie pod koniec lat 2030., oraz pieniądze na ocieplenie i pompy ciepła, które pomogłyby im najbardziej, obcięte albo opodatkowane.","title":"Oddech na emeryturze państwowej: budżet 2026 dla pary emerytów ogrzewającej gazem"},{"content":"Budżet wytchnienia, czytany z mojej kuchni Budżet 2026 został dziś przedstawiony pod tytułem Breathing Space for Today, Fresh Hope for the Future1. Obietnica to pomoc z rachunkami za energię, pomoc dla kierowców i pomoc dla handlu przy ulicy, opłacona przez banki i przez ludzi z oszczędnościami i dochodem z najmu.\nZrobiłem więc to, co robię z każdym rachunkiem. Przeczytałem dokument i przeliczyłem go na własny dom.\nDom jest dość zwyczajny jak na kogoś w mojej branży. Płatnik stawki 40%. Pracuję z domu, ale moja druga połówka nadal jeździ do biura, więc auto elektryczne robi około 20 000 mil rocznie. Fotowoltaika na dachu i bateria w garażu, a każda kilowatogodzina, którą pobieramy z sieci, wchodzi po nocnej stawce 7 p. Gaz jest nadal podłączony, ale zszedł do ciepłej wody i odrobiny ogrzewania, około 5350 kWh rocznie. Pasmo podatku lokalnego od A do D, w Anglii. Żadnych dochodów z oszczędności i żadnych z najmu, bo przy kredycie hipotecznym naszej wielkości na oszczędzanie nie zostaje nic.\nŻaden z tych sprzętów nie wziął się z zasiłku. Włożyłem własne pieniądze w obniżenie własnego rachunku: fotowoltaikę, baterię, auto elektryczne i schodzenie z gazu rok po roku. Zrobiłem to, żeby stać na własnych nogach, a nie w nadziei na dotację, i teraz też o żadną nie proszę. Oczekuję tylko, że nie każe mi się płacić więcej za to, że to zrobiłem.\nPytanie brzmi: czy taki dom dostaje z tego budżetu cokolwiek poza rachunkiem podatkowym? W większości nie. Oto wyliczenia.\nKażda liczba poniżej pochodzi z dokumentu samego Skarbu, z Ofgem, z HMRC albo z rządowych dokumentów konsultacyjnych, a nie z przemówienia ani z relacji prasowych. Krążące dziś streszczenie budżetu pomyliło kilka rzeczy i tam, gdzie się pomyliło, mówię to wprost.\nRachunek dla domu takiego jak mój To każde rozwiązanie budżetu dla gospodarstw domowych, które mogłoby dotknąć ten dom, i ile jest tu warte. Plus to pieniądze na wejściu, minus to pieniądze na wyjściu.\nRozwiązanie Kiedy Dotyczy tego domu? Warte rocznie £100 Household Energy Payment, pasma A do D w Anglii styczeń 2027 Tak +£100, raz 0% VAT na prąd, przedłużone o trzy miesiące kwiecień do lipca 2027 Tak, ale cały pobór idzie po nocnych 7 p kilka funtów, raz Opłata stała za gaz, 28,75 p dziennie, przeniesiona do ceny jednostkowej koniec 2027 albo później Tak, i małe zużycie wygrywa +£46 Opłata stała za prąd, 56,61 p dziennie, £207 rocznie „details next year” Zostaje dokładnie taka jak jest £0 Gas Shipper Obligation przeniesiona na ogólne podatki miała ruszyć w 2028 Z rachunku na podatki około £0, płacone inaczej Przedłużenie obniżki akcyzy na paliwo o 5 p do lipca 2027 Nie, to auto elektryczne £0 Wolne od podatku stawki za milę do 55 p i 35 p kwiecień 2027 Nie, dojazdy do pracy się nie liczą2 £0 Limit £2 za bilet autobusowy 2027 Bez autobusów £0 Tańsze lokalne publiczne ładowarki wiosna 2027 Nie, ładuje się w domu £0 Podatek od oszczędności i nieruchomości w górę o 2 punkty kwiecień 2027 Bez oszczędności, bez najmu £0 Cash ISA utrzymane na £20 000 2027 Nie, nic nie zostaje na oszczędzanie £0 Lifetime ISA, Your First Home 2027 Nie, na swój dom już zapracowaliśmy £0 Electric Vehicle Excise Duty po 3 p za milę, 20 000 mil kwiecień 2028 Tak −£600, rośnie z CPI Zamrożone progi podatku dochodowego, ukryta progresja do kwietnia 2031 Tak do −£3544 w tym roku, −£4112 w 2027-28 Zsumuj to. W 2027 dom jest trochę ponad £100 do przodu, a prawie całość to jednorazowa wypłata £100. Od kwietnia 2028 coroczne rozwiązania ustalają się na około £554 rocznie na minusie, co roku, rosnąco z inflacją. Samo eVED zabiera £50 miesięcznie, więc £100 znika dwa miesiące po jego starcie i już nie wraca. A to jeszcze przed ukrytą progresją, która sama w sobie może kosztować płatnika 40% do £3544 w tym roku.\nOszczędność na gazie, żadnej na prądzie Trzeba oddać, co się należy. To jest prawdziwy zysk i idzie wbrew mojemu punktowi wyjścia.\nOpłaty stałe za gaz to £108 rocznie dla typowego odbiorcy, według liczby samego Skarbu1. Październikowy limit Ofgem ustala opłatę stałą za gaz na 29,68 p dziennie, co daje te same £1083. Płacisz ją, czy spalasz dużo gazu, czy prawie wcale, a to jest dokładnie odwrotnie, niż powinno być dla domu, który swoje zużycie gazu systematycznie zbija.\nBudżet prosi Ofgem o jej zniesienie na rachunkach domowych, „aiming for delivery by the end of 2027 or as soon as possible after then”, a dostawcy mają odzyskać koszt „through gas unit rates instead”1.\nSzczegóły nie są jeszcze ustalone, więc to szacunek, a nie wycena. Jeśli te £108 rozłożyć na 9500 kWh typowego gospodarstwa według Ofgem4, dodaje to około 1,14 p do każdej kWh. Przy 5350 kWh ten dom oddaje z tego około £61 przez cenę jednostkową i przestaje płacić £108 opłat stałych. To około £47 rocznie do przodu przy limicie. Własna taryfa tego domu liczy 28,75 p dziennie, £105 rocznie, i z tego samego rachunku wychodzi około £46 rocznie do przodu.\nZużycie gazu rocznie Opłata stała dziś Odzyskane przez cenę jednostkową Różnica 5350 kWh, zużycie tego domu, przy limicie £108 £61 +£47 9500 kWh, typowe według Ofgem £108 £108 £0 14 000 kWh, duży stary dom £108 £160 −£52 Próg opłacalności to typowy dom. Kto zużywa mniej, wygrywa, a kto ogrzewa gazem duży, nieszczelny dom, traci, co Skarb przyznaje, pisząc, że „a number of households may be less able to make the most of the reform”, i obiecując „targeted mitigation”1. As such, to uczciwa reforma i nagradza gospodarstwa, które już ograniczyły zużycie. Biorę te £46.\nTeraz ta druga. Dla domu z fotowoltaiką i baterią liczy się nie opłata stała za gaz. Liczy się opłata stała za prąd. Ten dom płaci 56,61 p dziennie, wobec 54,83 p przy październikowym limicie3, co daje £207 rocznie, prawie dwa razy więcej niż opłata za gaz. Im więcej prądu sam wytwarzasz i magazynujesz, tym większą część rachunku za prąd stanowi ta opłata stała, bo płaci się ją w całości, czy pobierasz 3000 kWh, czy 30. Przy 7 p, które ten dom płaci za nocny prąd, £207 opłaty stałej to cena około 2950 kWh energii, zapłacona, zanim wejdzie choć jedna kilowatogodzina.\n0% VAT na prąd też niewiele tu zmienia. VAT nalicza się od 7 p, więc zawsze wynosił tylko 0,35 p za kWh. Trzymiesięczne przedłużenie jest warte około £2,50 na opłacie stałej i 35 p na każde 100 kWh pobrane z sieci. Oszczędnością był tani nocny prąd. Obniżka VAT to drobne na wierzch.\nBudżet nie przenosi jej do ceny jednostkowej. Zobowiązuje się tylko do „reform electricity standing charges”, ze szczegółami „next year”1. Reforma nagradza więc gospodarstwo, które ograniczyło gaz, a gospodarstwo, które samo wytwarza prąd, zostawia z największą opłatą stałą na rachunku, nietkniętą.\nOpłata wodorowa się przeniosła, nie zniknęła Budżet wymienia zniesienie Gas Shipper Obligation jako „providing savings for businesses and households”1. To nie jest oszczędność. To ten sam rachunek wysłany pod inny adres.\nGas Shipper Obligation była opłatą planowaną. Jeszcze nie ruszyła. Jej własna konsultacja opisuje ją jako „a funding mechanism for the Hydrogen Production Business Model”5, pobieraną od spedytorów gazu i przenoszoną na każdą jednostkę gazu, a rząd szacował koszt dla przeciętnego gospodarstwa na „approximately £2.60 - £4.50” rocznie w latach 2028 do 20376. Przy zużyciu gazu tego domu to około £2 rocznie.\nBudżet znosi ją, zanim w ogóle trafiła na rachunek. W jej miejsce: „Hydrogen Allocation Round 1 funding will be met with a £27 million uplift to DESNZ RDEL in 2027-28”, a przyszłe kontrakty wodorowe rząd sfinansuje publicznie „if the government commits to them and subject to value for money”1.\nZa wodór więc nadal się płaci. To £27 mln w przyszłym roku z ogólnych podatków, a obietnica, by „publicly fund” przyszłe kontrakty, nie ma żadnego sufitu. Wszyscy nadal za to płacimy, tylko przez zeznanie podatkowe zamiast przez licznik.\nA to, którędy płacisz, ma znaczenie. Opłata od każdej jednostki gazu obciąża cię według tego, ile gazu spalasz, więc dom, który ograniczył gaz do ciepłej wody, płaci z niej bardzo mało. Ogólne podatki obciążają cię według dochodu. Dla płatnika 40% z małym zużyciem gazu to odwrotnie, niż trzeba: £2 schodzi z rachunku za gaz, a część kosztu wraca po wyższej stawce. Zyskują duzi odbiorcy gazu, w pierwszej kolejności wielkie zakłady przemysłowe, bo to ich opłata od jednostki obciążyłaby najbardziej.\nKrążące dziś streszczenie pomyliło jeszcze dwie rzeczy. Ta opłata nigdy nie była na niczyim rachunku, bo jeszcze nie ruszyła. I nie idzie do firm naftowych i gazowych.\nOto jedenaście projektów z pierwszej rundy, z listy samego rządu7:\nProjekt Główny deweloper Moc Barrow Green Hydrogen Carlton Power 21,0 MW Bradford Low Carbon Hydrogen Hygen 24,5 MW Cromarty Hydrogen Scottish Power i Storegga 10,6 MW Green Hydrogen 3 HYRO 10,6 MW HyBont Marubeni Europower 5,2 MW HyMarnham JG Pears i GeoPura 9,3 MW Langage Green Hydrogen Carlton Power 7,0 MW Tees Green Hydrogen EDF Renewables Hydrogen 5,2 MW Trafford Green Hydrogen Carlton Power 10,5 MW West Wales Hydrogen MorGen Energy i Trafigura 14,2 MW Whitelee Green Hydrogen Scottish Power 7,1 MW Każdy z nich to wodór elektrolityczny, robiony z prądu. Deweloperzy to firmy energetyczne, spółki od odnawialnych źródeł i domy handlowe. BP, Shell i reszty Morza Północnego na tej liście nie ma.\nWodór to zły zakład Pierwszą rundę uzgodniono przy „a weighted average strike price of £241/MWh” i wypłaci ona „over £2 billion of revenue support”7 za 125 MW produkcji.\nPrzełóż tę cenę gwarantowaną na domowe pieniądze. £241 za MWh to 24,1 p za kWh. Gaz przy październikowym limicie kosztuje 7,97 p za kWh z VAT3. Wodór kupuje się więc po trzykrotności tego, co gospodarstwo płaci za gaz, który miałby zastąpić, a £2 mld są po to, żeby pokryć różnicę, bo sam nie sprzedałby się po cenie rynkowej. Do tego służyła Gas Shipper Obligation. Była dopłatą do paliwa, które nie umie konkurować, a przeniesienie jej na ogólne podatki zostawia dopłatę i zmienia tylko to, kto podpisuje czek.\nCo więc kupuje podatnik?\nSpójrz jeszcze raz na listę. Każdy z tych projektów robi wodór z prądu. Plan polega więc na tym, żeby wziąć prąd, stracić dużą jego część na zamianę wody w gaz, przepompować ten gaz i go spalić. Tymczasem ten sam prąd wpuszczony w pompę ciepła wychodzi jako prawie trzy razy więcej ciepła:\nCo robi 1 kWh prądu Wynik Zasila powietrzną pompę ciepła, mediana z 742 brytyjskich domów 2,8 kWh ciepła, 280%8 Zamiast tego robi wodór do spalenia na ciepło potrzeba „five to six times more electricity” na to samo ciepło9 Te liczby pochodzą z badań, nie ode mnie. Przegląd 32 niezależnych badań wykazał, że ogrzewanie wodorem jest mniej wydajne i droższe na jednostkę ciepła niż pompy ciepła, i jak to zrelacjonowano, „makes absolutely no sense for heating homes and buildings”9. Pompa ciepła ma sprawność powyżej 100%, bo przenosi ciepło, a nie je wytwarza. Wodór nigdy tam nie dojdzie, bo zaczyna od prądu i traci jego część na każdym kroku.\nWodór to więc strata czasu i pieniędzy, a ten kraj powinien iść w 100% w prąd: pompy ciepła i reszta sprzętu, który z każdej jednostki energii wyciąga więcej niż jednostkę ciepła, i auta elektryczne na drogach. Budżet robi odwrotnie. Trzyma dotację do pomp ciepła na płaskim poziomie, tnie miliard z Warm Homes i obiecuje publicznie sfinansować każdy przyszły kontrakt wodorowy, jaki rząd podpisze, bez żadnego zapisanego limitu.\nPodatek drogowy, który przeważa wszystko Teraz rozwiązanie, które naprawdę kosztuje ten dom pieniądze, a budżet całkiem otwarcie mówi, po co tam jest. Wymienia Electric Vehicle Excise Duty jako część „strengthening the tax base \u0026hellip; to respond to the long-term decline in fuel duty receipts”1.\neVED ogłoszono w budżecie 2025, a ten budżet je potwierdza, z narzędziem do szacowania przebiegu i dobrowolnym „eVED Connect”, które odczytuje przebieg z samochodu1. Stawka to „3 pence per mile for BEVs” i „1.5 pence per mile for PHEVs” od 1 kwietnia 2028, rosnąca z CPI od 2029-3010.\nPrzy 20 000 mil rocznie to £600. Co roku, z indeksacją. Większość tych mil to dojazd do biura, a wolne od podatku stawki za milę, które budżet podnosi, nie obejmują podróży „to and from your work, unless it\u0026rsquo;s a temporary place of work”2. Dojazd do pracy dostaje więc nowy podatek i żadnej ulgi.\nZestaw to z pozycją o akcyzie na paliwo. Obniżkę o 5 p przedłużono właśnie po raz szósty1:\nTen sam budżet, dwa auta Benzyna lub diesel To auto elektryczne Obniżka akcyzy o 5 p i odroczenie RPI, £1355 mln dostaje £0 eVED od kwietnia 2028 nie płaci 3 p za milę, £600 rocznie przy 20 000 mil Dom, który zrobił to, o co prosił rząd, jest tym, do którego rząd teraz wraca po dochody.\nCzy obniżka akcyzy na paliwo pomaga choć przesiąść się na coś tańszego? Zobacz, dokąd idą pieniądze na transport w Tabeli 6.11:\nRozwiązanie transportowe w Tabeli 6.1 Koszt Pcha ludzi w stronę Obniżka akcyzy o 5 p i odroczenie RPI £1355 mln, dwa lata benzyny i diesla Wyższe wolne od podatku stawki za milę £230 mln, dwa lata jeżdżenia większej liczby mil służbowych Limit £2 za bilet autobusowy £230 mln, dwa lata, z budżetów na energię autobusu Tańsze lokalne publiczne ładowarki, metoda jeszcze nieustalona £100 mln, dwa lata, potem nic elektryków Zniesienie Carbon Price Support £235 mln, pięć lat od 2028 tańszej produkcji prądu z paliw kopalnych To nie naprawia przejścia na tańszy transport. To płaci ludziom za trzymanie się ropy. Akcyza na paliwo jest sygnałem cenowym, a przy dieslu „exceeding £2 per litre in October 2026”1 Skarb znowu postanowił go stępić, zamiast wydać pieniądze na wyjście z tego. Limit na autobusy i ładowarki razem dostają mniej więcej jedną czwartą tego, co dystrybutor, a pieniądze na ładowarki to nawet jeszcze nie program. To £100 mln, żeby „reduce costs for local, lower-powered public chargers” od wiosny 2027, warte „around £150 per year” dla kierowcy ładującego na ulicy, przy czym Department for Transport ma „set out next steps in due course”. Pozwolenie tym kierowcom na korzystanie z domowej taryfy przy publicznej ładowarce, co naprawdę by to załatwiło, to zespół zadaniowy „to explore” „complex proposal that will take time to consider”1. Każde przedłużenie utrudnia zakończenie następnego, a gospodarstwa, które już zostawiły ropę za sobą, płacą za to podatek od mili.\nUkryta progresja, podwyżka podatku, której nikt nie ogłasza Największy podatek dla płatnika 40% nie wymaga żadnego nowego ogłoszenia i już teraz może kosztować prawie sześć razy tyle, co eVED. To ukryta progresja.\nKwotę wolną (Personal Allowance) i limit stawki podstawowej ustalono „at their 6 April 2021 levels”, a teraz trzyma się je „until 5 April 2031”11. To dziesięć lat na £12 570 i próg stawki wyższej na £50 270, podczas gdy sam budżet mówi, że „consumer prices today are around 33% higher than the 2020 average”1. Każda podwyżka, która tylko nadąża za cenami, wpycha większą część twojego dochodu w pasmo 40%. Twoja pensja nie jest warta więcej, a płacisz od niej wyższy podatek.\nUkryta progresja według liczb samego rządu Progi ustalone na poziomie z 6 kwietnia 2021 Zamrożone do 5 kwietnia 2031, dziesięć lat Ceny od 2020 wyższe o około 33% Dodatkowy podatek z samego przedłużenia 2028 do 2031 £3365 mln, £7780 mln, potem £12 435 mln rocznie Osoby wciągnięte w podatek dochodowy do 2030-31 700 000 Wiersz z dochodami to własne wyliczenie Skarbu11 i pokazuje, że progresja rośnie, bo każdy kolejny rok zamrożenia nakłada się na poprzedni.\nGdzie więc byłyby progi, gdyby nigdy ich nie zamrożono? Prawo już mówi, jak to policzyć. Oba rosną co kwiecień o wskaźnik cen konsumpcyjnych „for the September before the start of a tax year”, kwota wolna zaokrąglona w górę do pełnych £1012, a limit stawki podstawowej do pełnych £10013. Oto ta reguła zastosowana do wrześniowych liczb samego ONS, 3,1%, 10,1%, 6,7%, 1,7%, 3,8% i 3,5%14:\nRok podatkowy Kwota wolna, indeksowana Próg stawki wyższej, indeksowany Zamrożone na Dodatkowy podatek, płatnik 40% 2022-23 £12 960 £51 860 £12 570 i £50 270 £396 2023-24 £14 270 £57 170 £12 570 i £50 270 £1720 2024-25 £15 230 £61 030 £12 570 i £50 270 £2684 2025-26 £15 490 £62 090 £12 570 i £50 270 £2948 2026-27 £16 080 £64 480 £12 570 i £50 270 £3544 2027-28 £16 650 £66 750 £12 570 i £50 270 £4112 Próg stawki wyższej powinien dziś wynosić £64 480, a nie £50 270. To £14 210 dochodu opodatkowanego teraz stawką 40%, który prawo w innym wypadku opodatkowałoby stawką 20% albo wcale.\nKolumna z dodatkowym podatkiem dotyczy płatnika 40% zarabiającego powyżej indeksowanego progu i poniżej £100 000. Każdy dodatkowy funt kwoty wolnej oszczędza 40 p, a każdy dodatkowy funt pasma podstawowego 20 p, więc 2026-27 to £3510 po 40% plus £10 700 po 20%. Zsumuj pięć lat do kwietnia 2027 i wychodzi £11 292, zanim ogłoszono choćby jeden nowy podatek. To tylko podatek dochodowy, bez National Insurance, bo indeksacja górnego limitu NI przesunęłaby więcej tego samego dochodu do stawki 8% zamiast 2%, co działa w drugą stronę.\nNikt nie wstaje co roku, żeby to ogłosić. To podatek, który płatnik 40% płaci najpewniej, i to ten, który ten budżet postanowił zostawić w spokoju.\nA najmniej zarabiający płacą pierwsi W funtach najwięcej na zamrożeniu traci pasmo 40%. Ale zobacz, kogo gryzie najmocniej. Oto ta sama reguła zastosowana do czterech pracowników w 2026-27, tylko podatek dochodowy:\nPracownik, 2026-27 Podatek dochodowy płacony dziś Gdyby progi nadążały Dodatkowo rocznie Udział w pensji Część etatu, £16 000 £686 £0 £686 4,3% Pełny etat na National Living Wage, £23 132 £2112 £1410 £702 3,0% £40 000 £5486 £4784 £702 1,8% Płatnik 40%, £70 000 £15 432 £11 888 £3544 5,1% To na pracownika na części etatu trzeba patrzeć. Każdy, kto zarabia między £12 570 a £16 080, płaci teraz podatek dochodowy od pieniędzy, które prawo zostawiłoby w spokoju, a dokument polityki zakłada, że zamrożenie wciągnie „700,000 individuals into Income Tax by 2030 to 2031”11. Płatnik 40% może przełknąć £3544 i ponarzekać. £686 z £16 000 nigdy nie było zbędne. A National Insurance zaczyna się od tych samych zamrożonych £12 570, więc najmniej zarabiający płacą to jeszcze na dokładkę.\nTeraz nagłówek, który budżet chce, żebyś zobaczył. National Living Wage rośnie do £13,21 za godzinę w kwietniu 2027, „equivalent to an increase of £910 in the gross annual earnings of a full-time worker”1, z obecnych £12,7115. W tym samym roku, 2027-28, zamrożona kwota wolna zabiera temu samemu pracownikowi £816 podatku dochodowego więcej, niż zabrałoby prawo. Podwyżka jest prawdziwa. Skarb już wydał większość z niej.\nPotem ludzie, których postanowiono chronić. Od kwietnia 2027 nowy Pension Tax Allowance oznacza, że emeryci „with incomes at or under the value of the full new State Pension will not be brought into paying tax because of State Pension uprating in this Parliament”1. To łata na zamrożenie i to uczciwa łata. Czy mogę zapytać, dlaczego kończy się na emerytach? Pracownik z takim samym dochodem, który przepracowuje na niego pełny tydzień, nie dostaje żadnej ulgi.\nPomoc z rachunkiem czy dopłata do niewydolnego rynku? Zacznij od tego, czym właściwie jest te £100. Krążące dziś streszczenie nazwało je wypłatą na konto bankowe. Budżet nazywa je „£100 council tax rebate for households in bands A to D”1, wypłacanym przez samorządy od stycznia 2027. Tak czy inaczej, idzie na rachunek za energię.\nI ani to, ani 0% VAT nie zmienia tego, ile energia kosztuje. Rachunek zostaje tej samej wielkości. Po prostu podatnik płaci jego część. Dokąd więc idzie rachunek? Własny podział typowego rachunku według Ofgem od lipca 20264:\nDokąd idzie typowy rachunek, lipiec do września 2026 Udział Energia hurtowa, z kontraktami różnicowymi 45% Sieci 25% Koszty operacyjne, długów i branżowe 16% Koszty polityk 6% VAT 5% Marża zysku dostawcy (EBIT) 2,6% Rezerwa i wyrównanie 1,5% Siedem funtów na dziesięć idzie do wytwórców i spółek sieciowych. Marża zysku dostawcy jest wpisana w sam limit. Te £3685 mln to więc pieniądze publiczne, zebrane z ogólnych podatków z pomocą dopłaty od banków, a każdy funt z nich ląduje w tych samych prywatnych rękach. To nie jest pomoc z energią. To dopłata do rynku energii, przepuszczona przez podatek lokalny, żeby wyglądała na pomoc.\nDopłata do czego właściwie? Według Skarbu ceny energii dla gospodarstw są o 73% wyższe niż średnia z 20201, a zadłużenie gospodarstw za energię „has almost tripled to over £5 billion”1. Rynek, który od inwazji Rosji na Ukrainę nabił gospodarstwom tyle długu, jest rynkiem niewydolnym. Ten budżet go nie naprawia. Płaci za niego rachunek tej zimy i będzie musiał zapłacić znowu następnej, bo w cenie nic się nie ruszyło.\nZestaw to z tym, czego ten sam budżet żąda z powrotem od wytwórców. Electricity Generator Levy rośnie z 45% do 55% do marca 2028, a Tabela 6.1 podaje, że przyniesie £95 mln1. W ciągu najbliższych sześciu lat podatnik wkłada £3685 mln w rachunki, z których płaci się tym wytwórcom. Opłata od nadzwyczajnych zysków zabiera z powrotem £95 mln. To prawie 39 do 1.\nTo, że banki płacą z tego £1475 mln przez dopłatę, jest uczciwą częścią i mówię to wprost. Ale dopłata, która zostawia cenę tam, gdzie była, nie kupuje niczego trwałego. Jedyna pomoc energetyczna, która to robi, to ta z rozdziału „Nic dla dachu” niżej, czyli taka, dzięki której dom potrzebuje mniej energii.\nKto dostaje te pieniądze zamiast tego Jeśli nie ten dom, to kto? Własna tabela wyliczeń budżetu, Tabela 6.1, podaje koszt każdego rozwiązania od 2026-27 do 2031-321, więc nie trzeba tu niczego zgadywać. Oto największe prezenty, zsumowane z sześciu lat.\nKto dostaje pieniądze w budżecie 2026 Koszt dla Skarbu w sześć lat, 2026-27 do 2031-32, £ mln Dopłata do rachunków domowych 3685 Kierowcy: akcyza, stawki za milę 2510 10 000 zakładów 2320 Spalanie odpadów bez ceny emisji 1505 Founders' Relief 1285 Małe firmy przy ulicy 1165 Trading Allowance do £3000 745 w imieniu gospodarstw domowych duże firmy i bogaci małe firmy Największe prezenty w Tabeli 6.1 budżetu 2026, zsumowane za lata 2026-27 do 2031-32. Niebieskie to wypłaty w imieniu gospodarstw domowych, różowe idą do dużych firm i bogatych, złote do małych firm. 10 000 zakładów dostaje prawie tyle, co wszyscy kierowcy w kraju. Słupek gospodarstw wygląda na największy prezent ze wszystkich. Rozdział wyżej pokazuje, gdzie te pieniądze naprawdę lądują.\nAle spójrz na różowe słupki.\n10 000 zakładów, £2320 mln. Od kwietnia 2027 British Industrial Competitiveness Scheme zwalnia „eligible businesses \u0026hellip; from the indirect costs of the Renewables Obligation, Feed in Tariffs and Capacity Market schemes”1, obniżając ich rachunki za prąd „by up to 25%”. W samym 2027-28 to £1235 mln, średnio około £123 500 na firmę, wobec £100 na gospodarstwo domowe. Te same trzy programy zostają na każdej kWh, którą ten dom pobiera z sieci. Spalanie odpadów, £1505 mln. Odroczenie ceny emisji przy spalaniu odpadów. To wymaga więcej niż linijki, więc dostaje własne akapity niżej. Założyciele, £1285 mln. Nowa Founders\u0026rsquo; Relief: „a 10% CGT rate on up to £10 million of lifetime gains for qualifying founders of high-growth, innovative companies”1. Pozycja o spalarniach w Tabeli 6.1 ma dziewięć słów: „Delay the inclusion of energy from waste in the ETS”1. Oto, co się za nią kryje.\nSpalanie odpadów a cena emisji Plan z 2024 pełne włączenie do UK Emissions Trading Scheme „from 2028”16 Co byłoby obciążone tylko kopalne CO2, czyli plastik w tym, co się spala16 Decyzja z 27 sierpnia 2026 „will not take place in 2028”, bez nowej daty17 Stracone przez Skarb, 2028-29 do 2031-32 £1505 mln1 Elektrownie już są w systemie, z „the power sector in scope of the UK ETS”16, a do 2028 płacą na dodatek Carbon Price Support, „£18/tCO2e on fossil-fuel powered electricity generation”1. Spalarnia paląca plastik nie płaci z tego nic i nie ma daty, od kiedy zacznie.\nŻeby uczciwie powiedzieć, kto zyskuje: nie tylko operatorzy. Koszt emisji zostałby „passed through to local authorities”, a organizacja samorządów do spraw recyklingu przyjęła odroczenie jako „some immediate relief”17. To słuszne, bo samorząd nie wyprodukował plastiku, który dostaje. Ale rządowa konsultacja już znalazła na to odpowiedź. Proponowała podział kosztu przez rozszerzoną odpowiedzialność producenta za opakowania (Extended Producer Responsibility), system, w którym za opakowania płacą firmy wprowadzające je na rynek, i szacowała, że „between 20-30% of fossil waste by weight that is incinerated is within scope”16. Innymi słowy: obciąż tych, którzy zrobili plastik.\nZamiast tego nie płaci nikt. Operatorzy unikają kosztu, producenci opakowań unikają kosztu, a £1505 mln schodzi ze strony Skarbu. Węgiel i tak idzie kominem.\nPotem centra danych. Nowy Data Centre Covenant prosi je o płacenie „their fair share of energy”. Wszystkie centra danych są „encouraged to meet the tests”, a tylko strategiczne, które ubiegają się o rozszerzone wsparcie, muszą je spełnić1. W zamian Ministerial Control Centre ma „accelerate time to power”, rezerwując przyszłą moc sieci i „reallocating capacity released when other projects leave the connections queue”1. Najwięksi nowi odbiorcy prądu w kraju zostają przesunięci do przodu w kolejce, w której czeka cała reszta, na podstawie testów, do których spełnienia większość z nich ma być tylko zachęcana.\nUlga dla założycieli ma sens dopiero obok tego, co w tej samej tabeli zrobiono ludziom, którzy budują zwykłe firmy.\nMała firma płaci za wielki pomysł W Tabeli 6.1 są dwie zamiany i w obu płaci mała firma.\nDwie zamiany: kto płaci komu Właściciele sprzedający, założyciele rosnący Limit dożywotni BADR o połowę £1085 mln zabrane Nowa Founders' Relief po 10% £1285 mln dane Sprzedawcy online, sklepy przy ulicy Platformy pobierają VAT £1270 mln zabrane Ulga podatkowa dla sklepów i pubów £1165 mln dane pobrane rozdane Dwie zamiany w Tabeli 6.1, zsumowane z sześciu lat, różowe pobrane, niebieskie rozdane. Ulga zabrana właścicielom sprzedającym firmę idzie do założycieli szybko rosnących firm, a ulgę w podatku od nieruchomości dla handlu przy ulicy opłacają sprzedawcy internetowi. Pierwsza zamiana to założyciele kontra właściciele. Business Asset Disposal Relief to ulga, z której korzysta hydraulik, sklep albo mały zakład inżynieryjny, kiedy właściciel sprzedaje firmę albo przechodzi na emeryturę. Od zbyć od 6 kwietnia 2026 już wynosi 18%18. Ten budżet obcina o połowę jej limit dożywotni „from £1 million to £500,000 from April 2027”, co przynosi £1085 mln1. W tej samej tabeli Founders\u0026rsquo; Relief daje 10% do £10 mln dla „high-growth, innovative companies” i kosztuje £1285 mln.\nBusiness Asset Disposal Relief Founders\u0026rsquo; Relief Dla kogo każdy, kto sprzedaje kwalifikującą się firmę założyciele „high-growth, innovative companies” Stawka 18% 10% Limit dożywotni obcięty z £1 mln do £500 000 £10 mln Skutek w sześć lat przynosi £1085 mln kosztuje £1285 mln Obrona Skarbu brzmi, że „three-quarters of BADR claimants will still receive relief on their entire gain”1. To prawda i właśnie o to chodzi. Ta jedna czwarta, która ją traci, to ludzie, którzy przez całe życie zawodowe zbudowali coś wartego ponad pół miliona, a ich ulga poszła do ludzi, których zyski idą w dziesiątki milionów.\nDruga zamiana to handel przy ulicy kontra sprzedawcy internetowi. Ulga w podatku od nieruchomości firmowych (business rates) dla małych sklepów, pubów i gastronomii jest prawdziwa i mile widziana: 70 000 kolejnych firm nie płaci tego podatku wcale, kosztem £1165 mln w trzech rozwiązaniach dotyczących tego podatku. Skarb mówi wprost, kto za to płaci: „by ensuring businesses with significant sales online pay the VAT they owe, by requiring online marketplaces to collect it on their behalf”1. To przynosi £1270 mln.\nMałe firmy przy ulicy są więc opłacane przez małe firmy w internecie. Nikt duży nie dokłada niczego.\nMniej na ciepłe domy, więcej na broń Największe przetasowanie priorytetów w tym budżecie nie dotyczy żadnego rachunku. Dotyczy obronności.\nW czerwcu rząd ogłosił £15 mld na Defence Investment Plan w latach 2026-27 do 2029-30. Ten budżet znajduje ostatnie £4,7 mld z tego, „further reducing departmental capital budgets by 1% from 2027‑28 to 2029‑30 to raise £3 billion” i biorąc £1,7 mld z rezerwy kapitałowej Skarbu1. Płaci budżet inwestycyjny każdego ministerstwa.\nCzęść ministerstwa energii to ta, która spada na dom taki jak mój:\nCięte w ministerstwie energii na obronność Kwota Dotacja kapitałowa Warm Homes Plan £1 mld Projekty wodorowe £500 mln Wychwytywanie, wykorzystanie i składowanie dwutlenku węgla £200 mln Great British Energy £200 mln To lista samego Skarbu1. Z dwiema pozycjami nie mam sporu. Wodór i wychwytywanie dwutlenku węgla to marnowanie publicznych pieniędzy i z powodów opisanych w „Wodór to zły zakład” wyżej cięcie im £500 mln i £200 mln to dobra decyzja. Powinno się je obciąć w całości. Wychwytywanie dwutlenku węgla istnieje po to, żeby paliwa kopalne paliły się trochę dłużej, a rząd poważnie myślący o rachunkach opodatkowywałby tę branżę, a nie płacił za utrzymanie jej przy życiu.\nPozycja Warm Homes to coś przeciwnego. Rząd mówi, że „remains committed to heat pump deployment” w tym samym akapicie, który zabiera miliard z Warm Homes Plan. Mówi też, że większość środków tego planu dla gospodarstw o niskich dochodach i mieszkań socjalnych „is protected”, i uczciwie to odnotować. Ale sprawienie, że dom potrzebuje mniej energii, to jedyny rodzaj wsparcia energetycznego, za który nie trzeba płacić znowu następnej zimy, i to właśnie jego obcięto, żeby za to zapłacić.\nSkoro pieniądze z dotacji odchodzą, obowiązek nie powinien odejść razem z nimi. Dla prywatnych mieszkań na wynajem w Anglii i Walii już istnieje reguła: „Private landlords of all tenancies will be required to comply with the higher standard by 1 October 2030”, cel EPC C19. Ale przeczytaj szczegóły:\nPrywatne mieszkania na wynajem, standard 2030 Co mówi reguła Termin 1 października 2030 Najwięcej, ile wynajmujący musi wydać „up to £10,000 per property”, średnio £5400 Pompa ciepła albo fotowoltaika obowiązkowe? ani jedno, ani drugie, rozwiązanie dodatkowe wybiera się „at the discretion of the landlord” To standard z limitem wydatków i menu do wyboru. Obcięcie dotacji Warm Homes powinno iść w parze z czymś przeciwnym: nakazem, żeby każde prywatne mieszkanie na wynajem miało do 2030 ocieplenie, pompę ciepła i fotowoltaikę, albo nie wolno go już wynajmować. Wynajmujący zbiera czynsz. Najemca płaci rachunek za energię. Bez twardego wymogu wynajmujący nie ma powodu wydawać pieniędzy, które oszczędzają tylko komuś innemu, a najemca zostaje z rachunkami i, przez swoje podatki, z dopłatą do nich.\nPotem cel. Rząd przedstawi, „how we will meet our NATO commitment of spending 3.5% of GDP on defence by 2035, with a target date for 3% in 2030”1. Na dodatek National Wealth Fund i British Business Bank mają „deploy up to £5 billion over the next four years into defence, dual use and other sectors”1, a UK Export Finance dostaje większe możliwości, „to support UK defence exports”1.\nCzęść z tego popieram i mówię to wprost. Rosja najechała Ukrainę. Wojna Putina jest przyczyną, a Ukraina słusznie się broni. Dodatkowych £500 mln na obronę powietrzną Ukrainy tej zimy1 nie żałuję.\nAle zobacz, do kogo te pieniądze naprawdę idą. Oto akredytowane statystyki samego Ministry of Defence za 2025/2620:\nWydatki MoD w przemyśle, 2025/26 Liczba Wypłacone przemysłowi, brytyjskiemu i zagranicznemu £43,4 mld Udział trafiający do zaledwie dziesięciu dostawców 40% Sam BAE Systems nieco ponad £7,3 mld, 16,5% Najwyższy udział jednego dostawcy od 2007/08 Wypłacone w kontraktach bez konkurencji 47%, £20,5 mld Czy więc wszyscy płacimy podatki firmom zbrojeniowym? Tak, według rachunku samego MoD. A prawie połowę z tego wydaje się bez przetargu.\nA część wprost opuszcza kraj. Oto tych dziesięciu dostawców z tabeli danych samego MoD, z siedzibą każdego z nich21:\nDziesięciu największych dostawców MoD, 2025/26 £ mln Brytyjski? BAE Systems PLC 7258 Tak Babcock International Group PLC 3288 Tak Rolls-Royce Holdings PLC 1562 Tak QinetiQ Group PLC 1114 Tak Airbus Group SE 834 Nie, europejski, zarejestrowany w Holandii Leonardo SpA 778 Nie, Włochy Thales 736 Nie, Francja Serco Group PLC 726 Tak Leidos Holdings Inc. 646 Nie, Stany Zjednoczone The Boeing Company 597 Nie, Stany Zjednoczone Połowa pierwszej dziesiątki jest zagraniczna i razem wzięły £3591 mln, jedną piątą tego, co dostała cała dziesiątka. I nie kończy się na pierwszej dziesiątce. Niżej w tej samej tabeli jest państwowy holding przemysłowy Hiszpanii, Sociedad Estatal de Participaciones Industriales, z £389 mln, i francuska państwowa agencja udziałów, Agence des participations de l\u0026rsquo;État, z £300 mln21. To brytyjskie pieniądze na obronność wypłacone prosto dwóm zagranicznym rządom.\nA dwie największe brytyjskie nazwy z tej listy? Warto zapytać, co z tym robią. Oto ich własne sprawozdania:\nZ ich własnych sprawozdań BAE Systems, 2025 Babcock, rok do marca 2026 Wypłacone przez MoD, 2025/2621 £7258 mln £3288 mln Badania i rozwój £407 mln z własnych środków22 £203,3 mln w kosztach23 Wypłacone dywidendy £1027 mln £36,7 mln Skup akcji własnych £502 mln £155,3 mln Zwrócone akcjonariuszom £1529 mln £192,0 mln BAE w jednym roku zwrócił akcjonariuszom £1529 mln, prawie cztery razy więcej niż £407 mln, które włożył we własne badania. Wziął też £29 mln ulg podatkowych na badania i rozwój22, czyli podatnik znowu się dorzucił. MoD zapłacił mu £7,3 mld w rok, a akcjonariusze wyjęli £1,5 mld.\nBabcock jest odwrotnie i trzeba to przyznać. Wydał na badania więcej, niż oddał. Bierze też 63,5% swoich światowych przychodów od MoD20, co czyni go firmą, którą w praktyce utrzymuje podatnik. Firma tak zależna od publicznych pieniędzy powinna być prowadzona dla publiczności, która ją opłaca.\nDo tego dochodzą pieniądze, które w ogóle nie trafiają do żadnego wykonawcy. MoD przepuścił £744 mln przez Foreign Military Sales, „a mechanism used to purchase equipment from the US Government”, płacone ponad te £43,4 mld, z czego £469 mln było dla Boeinga20. To nasze podatki idące w program zbrojeniowy innego rządu, a moim zdaniem finansujące tę samą globalną niestabilność, przed którą potem słyszymy, że musimy wydawać więcej na obronę. Nowy Multilateral Defence Mechanism z samego budżetu jest zbudowany do „joint procurement across partners”1, co oznacza więcej zamówień składanych za granicą, a nie mniej.\nMoje stanowisko jest proste. Ani jeden funt brytyjskich pieniędzy na obronność nie powinien iść do zagranicznego wykonawcy. Jeśli ten kraj ma wydawać na obronność 3,5% wszystkiego, co zarabia, każdy funt z tego powinien budować umiejętności, fabryki i miejsca pracy tutaj i tutaj płacić podatki. Zbuduj to tutaj albo tego nie kupuj.\nCzy mogę zapytać, dlaczego MoD nawet tego nie liczy? Jego własne statystyki podają łączną kwotę wypłaconą „UK and foreign owned organisations” jako jedną liczbę, bez podziału na jedne i drugie20. Nie da się obniżyć liczby, której nikt nie publikuje.\nCzego nie ma wcale, to jakiegokolwiek wysiłku, żeby te wydatki zmniejszyć. Przeszukałem całe 162 strony:\nSłowo w Budget 2026 Ile razy występuje defence ponad 120 diplomacy 0 ceasefire 0 de-escalation 0 Jest cały rozdział o rozwijaniu przemysłu obronnego, finansowaniu go prywatnie i eksportowaniu go więcej, a ani jednej linijki o zmniejszaniu potrzeby. Wyścig zbrojeń, którego nikt nie próbuje zatrzymać, ma jeden zestaw zwycięzców i są oni wymienieni w tabelach dostawców MoD, a nie w kuchni w Anglii.\nNic dla dachu Najtańsza kWh to ta, której dom nigdy nie musi kupić. Ocieplenie na strychu i fotowoltaika na dachu spłacają się co zimę, długo po tym, jak £100 zostanie wydane. Co więc dla nich robi budżet sprzedawany jako obniżający rachunki?\nPodnosi VAT.\nMontaż materiałów energooszczędnych w domu ma stawkę zerową „from 1 May 2023 to 31 March 2027”, a lista obejmuje ocieplenie, panele słoneczne, baterie i pompy ciepła24. Ten budżet pozwala jej wygasnąć. Akapit 6.215 nosi tytuł „Revert to reduced rate on energy saving materials (ESMs) as planned” i od 1 kwietnia 2027 znowu jest 5%, a jedyną zmianą jest dodanie do listy baterii ciepła1. Przy pracy za £10 000 przy fotowoltaice z baterią to £500 więcej.\nW tym samym dokumencie VAT schodzi więc z prądu, który kupujesz, i wraca na sprzęt, dzięki któremu przestajesz go kupować.\nPotem policz słowa. W 162 stronach „insulation” występuje zero razy. „Rooftop” i „solar panel” występują zero razy. Pompy ciepła są wspomniane dwa razy i oba razy w akapicie, który zabiera £1 mld z Warm Homes Plan, żeby zapłacić za obronność1.\nA sama dotacja do pomp ciepła? Boiler Upgrade Scheme płaci „£7,500 towards an air source heat pump”25, a budżet ma „maintain the Boiler Upgrade Scheme at current funding levels of £400 million in 2027‑28 and rising broadly in line with inflation thereafter”1. Czyli nie obcięta, ale też nie zwiększona. £400 mln po £7500 za sztukę to najwyżej około 53 000 pomp ciepła rocznie. Skarb liczy w Wielkiej Brytanii około 29 milionów gospodarstw domowych1. W tym tempie dotarcie do każdego z nich zajęłoby ponad 500 lat.\nPieniądze na energię w budżecie 2026 Liczba za sześć lat Co zostaje po zimie £100 i 0% VAT na prąd £3685 mln wydane nic, przepadło Dotacja kapitałowa Warm Homes Plan £1 mld obcięty mniej ocieplonych domów VAT na ocieplenie, fotowoltaikę i baterie z 0% z powrotem do 5% drożej zrobić to samemu Skoro za swoje zapłaciłem sam, widzę dokładnie, czego brakuje. Gdyby rząd chciał obniżyć rachunki na stałe, ociepliłby każdy dom, który tego potrzebuje, i postawił fotowoltaikę na każdym dachu, który ją uniesie, zaczynając od każdego nowego domu budowanego od teraz. Zrób to raz, porządnie, i pomocy nigdy nie trzeba kupować znowu następnej zimy. Ten budżet płaci za zimę i opodatkowuje naprawę.\nNie, sprzedaż własnych rzeczy na eBayu nie jest opodatkowana Wielu ludzi odczytało regułę dla platform internetowych jako koniec sprzedawania starych rzeczy na eBayu albo Vinted bez rachunku za VAT. Tak nie jest i budżet mówi to wprost.\nOd października 2027 platformy pobierają VAT „on sales by UK VAT-registered businesses and any other UK business with a minimum annual sales threshold per platform of £90,000”. Reguły „will not apply to non-business (i.e. personal) sales, second-hand goods, or business-to-business transactions”1.\nZamieszanie bierze się z trzech różnych progów, które cytuje się tak, jakby były jedną regułą:\nReguła Próg Co oznacza Nowe pobieranie VAT przez platformy firma sprzedająca za £90 000 rocznie na jednej platformie platforma pobiera VAT, który firma i tak była winna Raportowanie platform do HMRC, od 2024 30 sprzedaży albo około £1700 w roku platforma cię zgłasza. To nie jest podatek Działalność handlowa czy nie dziewięć „badges of trade” HMRC rozstrzyga, czy w ogóle jesteś winien podatek W sprawie raportowania HMRC mówi bez ogródek: „A platform reporting your details to HMRC does not automatically mean you owe tax”26. Platformy nie zgłaszają cię, jeśli „make fewer than 30 sales of goods in a calendar year” i „receive less than 2,000 euros (about £1,700)”26. A z jego własnego biura prasowego: „if you are not trading and just occasionally sell unwanted items online – there is no tax due”27.\nKim więc jest sprzedawca o dużym wolumenie? Nie ma żadnej liczby przedmiotów. O tym, czy prowadzisz działalność handlową, decydują badges of trade HMRC, które obejmują „profit-seeking motive”, „the number of transactions”, „the nature of the asset” i „changes to the asset”, a samo HMRC mówi, że „the presence or absence of a particular badge is unlikely, by itself, to provide a conclusive answer”28. Opróżnianie strychu to nie działalność handlowa, nawet gdy wyjdzie ponad 30 przedmiotów albo ponad £1700 i zostaniesz zgłoszony. Kupowanie towaru, żeby odsprzedać go z zyskiem, już tak.\nZwróć uwagę, czym naprawdę jest ten test raportowania. To mniej niż 30 sprzedaży i poniżej około £1700, więc przekroczenie któregokolwiek z nich oznacza zgłoszenie. Sprzedaj stare auto na eBayu za więcej niż £1700 i ta jedna sprzedaż wystarczy. Nie panikuj, jeśli tak się stanie. Zgłoszenie to nie rachunek podatkowy, a HMRC wymienia Capital Gains Tax jako należny od „most personal possessions worth £6,000 or more, apart from your car”29. Auto, którym jeździłeś sam, jest poza tym.\nAle zgłoszenie dotyczy ciebie, a nie auta, i to, że auto jest zwolnione, nie zwalnia razem z nim wszystkiego innego, co sprzedałeś w tym roku. Każda inna sprzedaż jest oceniana osobno, dokładnie jak zawsze. Twoje własne niepotrzebne rzeczy to nadal nie działalność handlowa, a pojedyncza rzecz osobista poniżej £6000 jest poza Capital Gains Tax29. Wszystko jednak, co kupiłeś, żeby odsprzedać z zyskiem, to działalność handlowa, a kiedy już zostałeś zgłoszony, HMRC ma twoje sprzedaże przed sobą. Jeśli część z tego to działalność handlowa, pierwsze £1000 rocznie jest wolne od podatku, a od 6 kwietnia 2027 na mocy tego budżetu £30001. Notuj więc, czym była każda rzecz: twoja czy kupiona na sprzedaż.\nA przy strychu to samo raportowanie jest marnotrawstwem. Ktoś opróżniający własny dom ma swoje dane wysłane do HMRC, platforma płaci za przygotowanie raportu, a HMRC za jego przetworzenie, i od sprzedaży osobistych nie pobiera nic, bo nic nie jest należne. To czysty koszt i i tak ląduje na twoim rachunku podatkowym.\nStrach przed tym budżetem był więc o nic. Obawa przed następnym już nie. Maszyneria jest zbudowana. Platformy zgłaszają sprzedawców do HMRC od 2024, a od października 2027 będą pobierać VAT u źródła od sprzedawców firmowych. Zwolnienie sprzedaży osobistych to linijka w budżecie, a linijkę w budżecie można wykreślić w następnym, nie budując niczego nowego. Kiedy rura już leży, poszerzenie jej to zmiana jednej linijki. Nie zakładałbym się, że zwolnienie przetrwa tylko dlatego, że dziś jest.\nTo, co w tej części budżetu naprawdę się liczy, to zamiana opisana wyżej.\nZa wytchnienie się płaci Wytchnienie to dobre hasło na budżet. Brzmi jak ulga. Przeczytaj wyliczenia, a lepiej opisuje go zestaw decyzji o tym, komu każe się wstrzymać oddech.\nDom, który tu przeliczyłem, zrobił to, czego ten kraj podobno chce. Przeszedł na prąd. Sam wytwarza i magazynuje energię. Prawie zrezygnował z gazu. Jego 20 000 mil rocznie jedzie na prądzie, w dużej części z własnego dachu, i niczego nie potrzebuje od dystrybutora.\nTo jest samowystarczalność, a nagrodą jest podatek od mili i zamrożony próg, z £100 na osłodę pierwszej zimy. Budżet jest miejscami rozsądny. Uczciwe jest, że banki finansują część wypłaty energetycznej, i uczciwe, że ktoś z małym zużyciem gazu przestaje płacić stałą opłatę za gaz, którego prawie nie używa. Ale wzór pod spodem jest wystarczająco wyraźny. Pomoc idzie tam, gdzie rachunek krzyczy najgłośniej: do dużego odbiorcy przemysłowego, do założyciela z dziesięcioma milionami zysku, do centrum danych, które potrzebuje sieci na jutro, do firmy zbrojeniowej z kontraktem, o który nikt inny nie mógł się ubiegać. Cichy dom, który sam się ogarnął, jest źródłem dochodów właśnie dlatego, że nie narzeka i nie może się przenieść.\nA za to wytchnienie płacisz więcej niż raz. Płacisz podatkami za dopłatę do rachunku, płacisz rachunek, a następnej zimy płacisz jedno i drugie znowu, bo nic w tym budżecie nie celuje w to, dlaczego rachunek jest wysoki. To samo z obniżką akcyzy na paliwo, przedłużoną znowu, bo ropy, którą podpiera, nigdy nie zastąpiono, i z kontraktami wodorowymi, za które trzeba płacić co roku, bo to paliwo nie ustoi samo. Naprawę opłaca się raz. Dopłatę opłaca się co roku, ci sami ludzie, tak długo, jak pierwotna przyczyna zostaje tam, gdzie jest. To jest wybór, którego ten budżet dokonuje, pozycja po pozycji: wstrzymać oddech na kolejną zimę zamiast udrożnić drogi oddechowe.\nPrzyczyna nigdy nie zostaje usunięta, bo koszt nigdy nie spada na tych, którzy mogliby ją usunąć. Ten budżet nie przenosi ciężaru na tych, którzy korzystają z dopłat, więc nie mają powodu niczego zmieniać. Wynajmujący, który nie doprowadzi domu do standardu, dalej zbiera czynsz, podczas gdy najemca płaci rachunek, a podatnik dopłatę do niego. Firmy naftowe nie mają powodu inwestować w czyste technologie, dopóki Skarb utrzymuje ich produkt tanim przy dystrybutorze. A branża gazowa ciągnie ten sam marnotrawny model, spal raz i kup więcej, podczas gdy rury, które już leżą w ziemi, mogłyby być początkiem ciepłownictwa sieciowego, które przesyła ciepło zamiast paliwa. Nikt nie robi drogiej, rozsądnej rzeczy, dopóki ktoś inny płaci mu za ciągnięcie taniej, marnotrawnej. I każda zamiana w tym budżecie idzie w tę samą stronę. Rząd dba o to, żeby wielkie korporacje miały się dobrze, a płaci mały człowiek.\nWiem, ile ten budżet kosztuje ten dom, i widzę, na ile jest wyceniony na okładce dokumentu. To nie jest ta sama liczba. Ta różnica to powód, żeby czytać wyliczenia samemu, a nie przemówienie, bo nikt z tych, którzy pisali przemówienie, nie przeczyta ich za ciebie.\nHM Treasury — Budget 2026: Breathing Space for Today, Fresh Hope for the Future — dokument budżetowy przedłożony Parlamentowi 28 października 2026. Rozwiązania energetyczne w akapitach 3.2 do 3.9 i w Box 3.A, paliwo, stawki za milę i ładowanie aut elektrycznych 3.12 do 3.16, eVED 1.30 i 2.38, BADR 2.53, BICS 4.24 i 6.31, Gas Shipper Obligation 4.22 i 6.27, centra danych 4.137 i 4.138, Warm Homes Plan i Boiler Upgrade Scheme 4.36, obronność 2.5, 2.6, 5.28 do 5.36, w tym Multilateral Defence Mechanism w 5.30, oraz 6.134 do 6.141, materiały energooszczędne 6.215, Founders\u0026rsquo; Relief 6.257, Trading Allowance 6.254, platformy internetowe 6.154, National Living Wage 3.18, Pension Tax Allowance 3.19 i 6.182, Carbon Price Support 4.25, wyliczenia w Tabeli 6.1.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nGOV.UK — Claim tax relief for your job expenses: vehicles you use for work — „This does not include travelling to and from your work, unless it\u0026rsquo;s a temporary place of work.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nOfgem — Changes to energy price cap between 1 October and 31 December 2026 — opłata stała za gaz 29,68 p dziennie i cena jednostkowa 7,97 p/kWh z 5% VAT; prąd bez VAT od 1 października 2026 do 31 marca 2027.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nOfgem — Summary of changes to the energy price cap, 1 July to 30 September 2026, revised TDCV — typowe zużycie domowe od 1 lipca 2026: „2,500 kWh of electricity, 9,500 kWh of gas”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nDESNZ — Funding mechanism for the Hydrogen Production Business Model: proposed design of the Gas Shipper Obligation — konsultacja, od stycznia do kwietnia 2025.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nDESNZ — Gas Shipper Obligation analytical annex — „approximately £2.60 - £4.50” rocznie na przeciętnym domowym rachunku za gaz w latach 2028 do 2037, przy konstrukcji od wolumenu, w cenach z 2023.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nDESNZ — Hydrogen Production Business Model / Net Zero Hydrogen Fund: HAR1 successful projects — jedenaście projektów, ich deweloperzy i moc, średnia ważona cena gwarantowana £241/MWh i „over £2 billion of revenue support”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nEnergy Systems Catapult — Heat pumps shown to be three times more efficient than gas boilers — finansowany przez rząd program Electrification of Heat, 742 zainstalowane pompy ciepła: „The median SPF observed in ASHP systems \u0026hellip; was 2.80 (280%)”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nJan Rosenow, \u0026ldquo;Is heating homes with hydrogen all but a pipe dream? An evidence review\u0026rdquo;, Joule, 2022 — 32 niezależne badania; cytaty według relacji IEEE Spectrum, 4 października 2022.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nHM Treasury — Electric Vehicle Excise Duty (eVED) — dokument polityki, 13 lipca 2026: 3 p za milę dla aut na baterie i wodór, 1,5 p dla hybryd plug-in, od 1 kwietnia 2028.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nHMRC — Maintaining the Personal Allowance and basic rate limit until 5 April 2031 — dokument polityki z budżetu 2025: progi ustalone „at their 6 April 2021 levels”, utrzymane „until 5 April 2031”, 700 000 osób wciągniętych w podatek dochodowy do 2030-31, oraz wpływ przedłużenia na Skarb.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nIncome Tax Act 2007, section 57 — kwota wolna jest indeksowana o „the consumer prices index for the September before the start of a tax year” i zaokrąglana „up to the nearest amount which is a multiple of £10”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nIncome Tax Act 2007, section 21 — limit stawki podstawowej jest indeksowany tak samo i zaokrąglany „up to the nearest amount which is a multiple of £100”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nONS — CPI annual rate, all items, series D7G7 — wrzesień 2021 3,1%, 2022 10,1%, 2023 6,7%, 2024 1,7%, 2025 3,8%, 2026 3,5%.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nGOV.UK — National Minimum Wage and National Living Wage rates — £12,71 za godzinę dla pracowników w wieku 21 lat i starszych od 1 kwietnia 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nUK ETS Authority — UK Emissions Trading Scheme scope expansion: waste, consultation, 2024 — włączenie spalarni odpadów z odzyskiem energii i spalania odpadów „from 2028”, tylko kopalne CO2, oraz podział kosztu przez rozszerzoną odpowiedzialność producenta za opakowania.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLARAC — UK ETS will not be extended to waste incineration in 2028 — 27 sierpnia 2026, stowarzyszenie samorządów do spraw recyklingu o odroczeniu; zob. też LocalGov, 27 sierpnia 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nGOV.UK — Business Asset Disposal Relief — „18% on all gains on qualifying assets disposed of from 6 April 2026”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nDESNZ — Improving the energy performance of privately rented homes: government response — zaktualizowane 21 stycznia 2026: zgodność „by 1 October 2030”, wynajmujący mają „invest up to £10,000 per property”, średnio £5400, rozwiązanie dodatkowe „at the discretion of the landlord”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nMinistry of Defence — MOD trade, industry and contracts 2026 — akredytowane statystyki oficjalne, 1 października 2026: £43,4 mld w przemyśle w 2025/26, 40% u dziesięciu dostawców, BAE Systems 16,5%, płatności bez konkurencji 47% (£20,5 mld); Foreign Military Sales £744 mln, z czego £469 mln Boeing; brak podziału wydatków według brytyjskiej i zagranicznej własności; płatności MoD dla Babcocka równe 63,5% jego światowych przychodów.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nMinistry of Defence — Data tables relating to MOD trade, industry and contracts 2026 — Tabela 4a, holdingi sektora prywatnego, którym w 2025/26 wypłacono £50 mln lub więcej. Kraje to miejsca, gdzie każdy holding ma siedzibę lub jest zarejestrowany.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nBAE Systems — Preliminary results announcement 2025 — 18 lutego 2026: badania i rozwój z własnych środków „£407m”, „dividends increased to £1,027m”, skup akcji „at a cost of £502m”, „the Group returned £1,529m to shareholders”, ulgi podatkowe na badania i rozwój £29 mln.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nBabcock International — Annual Report and Financial Statements 2026 — rok do 31 marca 2026: „Total research and development costs expensed in the period was £203.3 million”, „£36.7 million dividends paid” i „£155.3 million purchase of own shares”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nHMRC — VAT on energy-saving materials and heating equipment (VAT Notice 708/6) — „A zero rate applies to the installation of certain specified energy-saving materials from 1 May 2023 to 31 March 2027”, obejmuje ocieplenie, panele słoneczne, baterie i pompy ciepła.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nGOV.UK — Boiler Upgrade Scheme: what you can get — £7500 do powietrznej lub gruntowej pompy ciepła, £5000 do kotła na biomasę.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nHMRC — Selling goods or services on a digital platform — progi raportowania 30 sprzedaży i €2000, oraz to, że raportowanie „does not automatically mean you owe tax”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nHMRC — No tax changes for online sellers — komunikat prasowy, 4 grudnia 2024.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nHMRC Business Income Manual — BIM20205, the badges of trade — dziewięć oznak działalności handlowej i to, że żadna sama nie przesądza.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nGOV.UK — Capital Gains Tax: what you pay it on — do aktywów podlegających opodatkowaniu należą „most personal possessions worth £6,000 or more, apart from your car”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\n","permalink":"https://blogs.damiendye.uk/pl/politics/breathing-space-for-whom/","summary":"Co budżet 2026 naprawdę robi dla płatnika stawki 40%, który pracuje z domu, ma auto elektryczne robiące 20 000 mil rocznie na dojazdach drugiej połówki, ma fotowoltaikę i baterię, a gaz ograniczył do ciepłej wody i odrobiny ogrzewania. Rachunek pozycja po pozycji, z własnego dokumentu Skarbu: jednorazowe £100 Household Energy Payment, 0% VAT na prąd, opłata stała za gaz przenoszona do ceny jednostkowej, podczas gdy większa opłata stała za prąd zostaje, Gas Shipper Obligation zdjęta z rachunku za gaz i przeniesiona na ogólne podatki, i komu ona płaci, dlaczego wodór robiony z prądu przegrywa z pompą ciepła o sprawności 280%, opłata za milę eVED przy dojazdach 20 000 mil rocznie, oraz ukryta progresja z progów zamrożonych od 2021 do 2031, policzona względem tego, gdzie ustawiłoby je prawo, dla płatnika 40% i dla najmniej zarabiających, których uderza najpierw. Potem kto dostaje pieniądze zamiast tego, z własnych wyliczeń budżetu: 10 000 energochłonnych zakładów, operatorzy spalarni odpadów, założyciele szybko rosnących firm kontra zwykli właściciele sprzedający firmę, małe sklepy przy ulicy opłacane przez małych sprzedawców internetowych, centra danych na początku kolejki do sieci, oraz zbrojenia finansowane częściowo z cięć w Warm Homes Plan, z liczbami samego MoD o tym, ile trafia do BAE Systems i ile wydaje się bez przetargu. Czego budżet nie robi dla ocieplenia i fotowoltaiki na dachu, gdzie VAT wraca do 5%, i co się stało z dotacją do pomp ciepła. I co nowa reguła VAT dla platform internetowych oznacza dla sprzedawania własnych rzeczy na eBayu.","title":"Wytchnienie dla kogo? Budżet 2026 z perspektywy domu z autem elektrycznym, fotowoltaiką i baterią"},{"content":"Do dysku trafia mniej bajtów VDO to warstwa deduplikacji i kompresji w jądrze Linuksa. Siedzi pod grupą woluminów i pracuje na blokach 4 KiB. Każdy blok, który już widział, przechowuje raz.\nDla sprzętu znaczy to coś prostego. Do dysku trafia mniej bajtów. Przez VDO zapisywałem mieszankę w 75% zduplikowaną i w 50% kompresowalną, po 30 sekund naraz, a własne liczniki dysku pokazały, że odebrał od 23 do 28% tego, co zapisał gość. Sześć pełnych klonów dysku szablonu dodało łącznie 8 bloków danych. Trzydzieści dwa kilobajty.\nBajty, które dotarły do dysku Bez VDO, dowolne dane 100% VDO, 4k losowo, 75% dup 28% VDO, 128k, 75% dup 23% VDO, 128k, dane losowe 100% Udział bajtów gościa, które dotarły do dysku, przebiegi 30 s, średnia z dwóch. Mieszanka: 75% duplikatów, 50% kompresowalna. Bajty zapisane przez gościa wobec bajtów odebranych przez dysk, 30 sekund każdego obciążenia, średnia z dwóch przebiegów. Bez VDO dysk dostaje wszystko. Z VDO dostaje około jednej czwartej realistycznej mieszanki i całość w pełni losowych danych. Mniej bajtów to mniejsze zużycie i mniej pracy dla każdego cache na dysku albo w kontrolerze przed nim. Kosztuje to CPU i opóźnienie, a na szybkim dysku ten koszt jest zmierzony niżej wobec tego samego Optane bez VDO. Na wolnych dyskach talerzowych ten sam koszt znika w czasach wyszukiwania, i tu robi się ciekawie.\nDwie zasady kształtują wszystko, co dalej. Stos jest gruby na grubym: nic nad VDO, ani samo VDO, nie może obiecać więcej miejsca, niż ma dysk. A własne metadane VDO, jego indeks i dzienniki, mogą siedzieć na NVMe, podczas gdy dane siedzą gdzieś wolniej.\nKażda liczba tutaj pochodzi z jednego hosta Proxmox VE 9.2, Ryzen 7 5700G z 16 CPU, jądro 7.0.14-25-pve, LVM 2.03.31 i narzędzia vdo 8.3.1.1 z Debiana, na dwóch dyskach Intel Optane, które potem wyczyszczono.\nCzym jest VDO i gdzie siedzi Jądro opisuje dm-vdo jako cel device-mappera, który „provides block-level deduplication, compression, and thin provisioning”1. Każdy przychodzący blok 4 KiB jest haszowany. Jeśli identyczny blok jest już zapisany, VDO zapisuje odwołanie zamiast kopii. Bloki, które nie są duplikatami, przechodzą przez LZ4 i są pakowane po kilka w jeden blok fizyczny, a bloki złożone z samych zer w ogóle nie są zapisywane2.\nCałością steruje LVM. lvcreate --type vdo tworzy pulę VDO, która trzyma prawdziwe bloki, i VDO LV na niej, o dowolnym rozmiarze wirtualnym, o jaki poprosisz2. Na VDO LV idzie gruba grupa woluminów, a Proxmox używa jej jako zwykłego storage lvm.\nGruby na grubym: LVM na VDO Dyski VM: grube LV to widzą goście Grupa woluminów vdovg, 35 GiB to czyta Proxmox: storage lvm Proxmox nie widzi nic poniżej tej linii VDO LV vdolv, 35 GiB wirtualnie deduplikacja, LZ4, bez bloków zerowych Pula VDO vdopool, 40 GiB prawdziwe bloki: to czyta vdostats Dysk: nvme8n1 wirtualnie 35 GiB, nigdy więcej, niż mieści Proxmox widzi zwykłą grubą grupę woluminów. VDO siedzi pod jej woluminem fizycznym, dopasowane rozmiarem tak, żeby nigdy nie obiecać więcej, niż mieści dysk. Warstwa Nazwa w labie Co robi Dyski VM vm-9901-disk-0 i tak dalej grube LV, tworzone przez Proxmoksa Grupa woluminów vdovg, 35 GiB zwykły LVM, to czyta storage lvm Proxmoksa VDO LV vdolab/vdolv, 35 GiB wirtualnie deduplikacja, LZ4, bloki zerowe pomijane Pula VDO vdolab/vdopool, 40 GiB prawdziwe bloki, metadane i indeks VDO Fizyczny nvme8n1 VG vdolab Gruby na grubym albo wcale VDO samo w sobie jest cienkim provisionerem: VDO LV może dostać dowolny rozmiar wirtualny. Ustaw go większy, niż pula może pomieścić, a grupa woluminów na nim jest gruba na obietnicy, czyli cienkie na cienkim przesunięte o warstwę niżej. Dokładnie to zrobiłem przy pierwszej budowie, VDO LV 120 GiB na puli 40 GiB, i Proxmox pokazywał jedną trzecią storage jako wolną, podczas gdy VDO było pełne.\nWięc dopasuj rozmiar VDO LV do tego, co pula faktycznie może zaadresować, nie więcej. lvcreate podaje tę liczbę, „can address 36.00 GB” na tej puli 40 GiB, a mapa bloków VDO dla przestrzeni logicznej też bierze się z tego samego miejsca, więc dałem 35 GiB.\nPotem udowodniłem to w trudny sposób. Jeden dysk VM zajmujący każdy extent, jaki dał Proxmox, 34 GiB, zapełniony od końca do końca losowymi danymi, z którymi VDO nic nie zrobi:\n# vdostats --human-readable Device Size Used Available Use% Space saving% vdolab-vdopool-vpool 40.0G 38.1G 1.9G 95% 0% Dysk skończył się na swoim własnym końcu, jak powinien gruby dysk. VDO nadal miało 1,9 GiB wolnego, więcej niż 1 GiB, który Proxmoksowi zostało do przydzielenia. Liczba Proxmoksa jest prawdziwym limitem, a VDO nie może skończyć się pierwsze.\nRezygnujesz z nadmiernego przydziału: miejsce, które oszczędza deduplikacja, objawia się jako dysk, który nigdy nie zostaje zapisany, a nie jako dodatkowe dyski dla Proxmoksa. To właściwy kompromis dla tego wpisu, który jest o sprzęcie. I nie stawiaj na tym też puli lvmthin. Dwie cienkie warstwy to dwa zestawy ksiąg3.\nIle kosztuje, zanim zapiszesz bajt VDO trzyma indeks deduplikacji, indeks UDS, na samej puli. Pusta pula 40 GiB zgłaszała 4,0 GiB zajęte i 36,0 GiB dostępne. vdolistmetadata z tego samego pakietu vdo wypisuje każdy blok metadanych na urządzeniu i wyjaśnia niemal całość:\nObszar Bloki 4 KiB Rozmiar Indeks UDS 679 127 2,59 GiB Dziennik odzyskiwania 32 768 128 MiB Liczniki odwołań i dzienniki, 18 slabów 6372 25 MiB Miejsce za małe na dziewiętnasty slab 336 555 1,28 GiB Razem około 4,0 GiB Warto znać wiersz z resztą: slaby mają 2 GiB, więc dobieraj rozmiar puli w całych slabach plus narzut, inaczej reszta po prostu leży nieużywana.\nDrugi rachunek to RAM. Płacisz go niezależnie od tego, czy pula jest zajęta, czy bezczynna:\nKoszt Reguła z lvmvdo(7) Ta pula 40 GiB Stały 38 MiB 38 MiB Cache mapy bloków 1,15 MiB na MiB cache, minimum 150 MiB 150 MiB (domyślnie 128 MiB) Przestrzeń fizyczna 268 MiB na TiB 11 MiB Indeks UDS (dense) minimum 250 MiB, domyślny 256 MiB Razem około 455 MiB Domyślny indeks dense obejmuje okno deduplikacji około 256 GiB, bo indeks dense z 1 GiB RAM „maintains a 1 TiB deduplication window”2. Cache mapy bloków 128 MiB jest dobrany do „efficient access to 100 GB of logical space at a time”, a dokumentacja jądra wskazuje go jako najważniejszą wartość do zmiany, gdy rośnie zbiór roboczy1.\nBudowa stosu Pozwól LVM zobaczyć PV na LV Grupa woluminów siedzi na LV, a LVM domyślnie ignoruje LV jako woluminy fizyczne. devices/scan_lvs to włącza, a dokumentacja LVM podaje ostrzeżenie, które się z tym wiąże: „Caution is required to avoid using PVs that belong to guest images stored on LVs”4. Inaczej gość, który używa LVM wewnątrz własnego dysku, miałby swoje grupy woluminów widoczne na hoście.\nWięc zmienia się też filtr. Ta sama edycja. Domyślny filtr na tym hoście odrzucał tylko zvole ZFS i urządzenia RBD. Dodałem odrzucanie każdego dysku VM Proxmoksa:\n# lvmconfig devices/global_filter devices/scan_lvs global_filter=[\u0026#34;r|/dev/zd.*|\u0026#34;,\u0026#34;r|/dev/rbd.*|\u0026#34;,\u0026#34;r|/dev/mapper/.*-(vm|base)--[0-9]+--disk--[0-9]+|\u0026#34;] scan_lvs=1 Ta sama dokumentacja mówi, że scan_lvs „does not enable autoactivation of layered VGs”4. Proxmox tego nie potrzebuje. Jego wtyczka LVM aktywuje każdy dysk poleceniem lvchange -aey, gdy VM startuje5. Przetestowałem to tak, jak zostawia rzeczy rozruch, wszystko zdezaktywowane, a potem te same przebiegi udev pvscan: VG pod VDO się podniosła, a qm start sam aktywował dysk VM. Haczyk jest pod spodem. Gdy VG pod VDO była niekompletna, ten sam qm start kończył się błędem „Volume group «vdovg» not found”.\nPula VDO, gruba, z ustawieniami w linii tworzenia Formatter jest w debianowym pakiecie vdo6:\n# apt install vdo Potem pula. -L to prawdziwe miejsce, -V rozmiar wirtualny, trzymany w granicach tego, co pula może zaadresować. Układ wątków i rozmiar discard idą w tej samej linii, bo żadnego z nich nie da się potem zmienić bez zatrzymania każdej VM na puli:\n# pvcreate /dev/nvme8n1 Physical volume \u0026#34;/dev/nvme8n1\u0026#34; successfully created. # vgcreate vdolab /dev/nvme8n1 Volume group \u0026#34;vdolab\u0026#34; successfully created # lvcreate -y --type vdo -L 40G -V 35G -n vdolv vdolab/vdopool /dev/nvme8n1 --vdosettings \u0026#34;logical_threads=4 physical_threads=4 hash_zone_threads=2 cpu_threads=3 bio_threads=2 ack_threads=1 max_discard=4096\u0026#34; Wiping vdo signature on /dev/vdolab/vdopool. The VDO volume can address 36.00 GB in 18 data slabs, each 2.00 GB. It can grow to address at most 16.00 TB of physical storage in 8192 slabs. If a larger maximum size might be needed, use bigger slabs. Logical volume \u0026#34;vdolv\u0026#34; created. # dmsetup table vdolab-vdopool-vpool 0 73402368 vdo V4 /dev/dm-7 10485760 4096 32768 16380 deduplication on compression on maxDiscard 4096 ack 1 bio 2 bioRotationInterval 64 cpu 3 hash 2 logical 4 physical 4 Układ wątków to ten zmierzony niżej dla hosta z 16 CPU; max_discard=4096 ma własną sekcję.\nGrupa woluminów i storage Proxmoksa # pvcreate /dev/vdolab/vdolv Physical volume \u0026#34;/dev/vdolab/vdolv\u0026#34; successfully created. # vgcreate vdovg /dev/vdolab/vdolv Volume group \u0026#34;vdovg\u0026#34; successfully created # pvesm add lvm vdo-lvm --vgname vdovg --content images,rootdir --on-volume-remove discard=1 # pvesm status | grep -E \u0026#34;Name|vdo-lvm\u0026#34; Name Type Status Total (KiB) Used (KiB) Available (KiB) % vdo-lvm lvm active 36696064 0 36696064 0.00% on-volume-remove discard=1 ma znaczenie i jest omówione niżej.\nIle zaoszczędziła deduplikacja Zapisywałem rzeczy, które host Proxmoksa naprawdę przechowuje, i po każdej odczytywałem liczniki bloków VDO. logical blocks used to to, co zapisały warstwy powyżej; data blocks used to to, co zapisało VDO. Jedno i drugie w blokach 4 KiB.\nCo zapisano Dodane bloki logiczne Dodane bloki danych Oszczędność rootfs Rocky Linux 10, ext4 na dysku 4 GiB 114 505 60 537 47% Sześć jego pełnych klonów (qm clone --full, ok. 4 s każdy) 6 291 456 8 99,9999% ISO Proxmox Datacenter Manager 1.1, 1,36 GiB 356 172 351 965 1,2% Jego przebudowa -auto, prawie te same bajty 356 399 40 99,99% 4 GiB zer 1 048 575 0 100% 1 GiB losowych danych 262 143 262 144 0% Każdy klon zapisał całe 4 GiB, zera włącznie, bo pełny klon na grube LV kopiuje każdy blok. VDO zapisało zera jako nic, a resztę jako odwołania.\nVDO jest bardzo dobre w danych, które już widziało. I w niczym. Jest bezużyteczne na danych już skompresowanych albo zaszyfrowanych, dlatego pierwsze ISO, w większości squashfs, zaoszczędziło 1,2%.\nZ szablonem i sześcioma klonami Proxmox pokazywał storage jako zajęty w 80,01%, 28 GiB grubych dysków z 35. Dysk trzymał 4,3 GiB, a większość z tego to był indeks. Na grubym storage o to właśnie chodzi: Proxmox liczy to, co przydzielono, a dysk nosi to, co faktycznie jest różne.\nCo dysk faktycznie odbiera Oszczędność na dysku to migawka. Sprzęt obchodzi strumień. Zmierzyłem więc bajty docierające do dysku podczas zapisu: fio przez 30 sekund, licznik zapisów dysku z /sys/block przed i po, ten sam Optane z VDO i bez, po dwa razy.\nCo porównano na Optane Optane, bez VDO VDO, 16 wątków fio, 30 s zwykły LV nvme8n1: tu odczyt licznika zapisów fio, 30 s LV w vdovg VDO LV: deduplikacja, LZ4 Pula VDO nvme8n1: tu odczyt licznika zapisów Dwa stosy za każdą liczbą z VDO i bez VDO na Optane: te same zadania fio, ten sam dysk, licznik zapisów odczytany na dole. Licznik jest uczciwy. W całym przebiegu dał w sumie 794 GB, a własne SMART „Data Units Written” dysku też przesunęło się o 794 GB.\nObciążenie, 30 s Bez VDO Z VDO, 16 wątków Bajty docierające do dysku 4k losowy zapis, QD32, 4 zadania, 75% dup, 50% kompr. 582 013 IOPS, p99 244 µs 460 887 IOPS, p99 1,05 ms 28% 128k zapis, QD8, 75% dup, 50% kompr. 2345 MiB/s, p99 490 µs 2179 MiB/s, p99 1,02 ms 23% 4k losowy zapis, QD32, 4 zadania, dane losowe 571 721 IOPS od 272 366 do 381 005 IOPS od 59 do 100% 128k zapis, QD8, dane losowe 2346 MiB/s od 1051 do 1854 MiB/s 100% Na realistycznej mieszance VDO utrzymało od 79 do 93% przepustowości gołego dysku i wysłało mu jedną czwartą bajtów. Na w pełni losowych danych nic nie oszczędza i dużo kosztuje, a dwa przebiegi różniły się tak bardzo, że podaję tylko zakres.\nOpóźnienie ogona to własne przetwarzanie VDO, nie dysk. p99 około milisekundy, wobec ćwierci milisekundy na gołym dysku.\nOptane nie ma cache do odciążenia Te dyski same to mówią: vwc 0 z nvme id-ctrl, write through w /sys/block. Optane zapisuje w miejscu, bez buforowania w DRAM czy SLC, więc na tym sprzęcie zyskiem są bajty i zużycie, a nie cache dysku, który zapełnia się wolniej. Dysk SSD NAND z cache SLC albo kontroler RAID z cache write-back to miejsca, gdzie mniej bajtów kupuje też responsywność. O tym jest sekcja o RAID6 niżej.\nDopasowanie wątków VDO do CPU Od razu po instalacji LVM daje VDO dziesięć wątków: jeden logiczny, jeden fizyczny, jedną strefę haszy, dwa CPU, cztery do wysyłania bio, jeden potwierdzeń. Na hoście z 16 CPU zostawia to większość maszyny bezczynną, podczas gdy praca VDO na mapie bloków stoi w kolejce za jednym wątkiem logicznym.\nDokumentacja jądra objaśnia pokrętła1. Każdy wątek logiczny ma „a disjoint section of the block map”, fizyczny „a disjoint section of the data blocks”, oba „can increase throughput”, a nadmiar wątków „can waste resources and increase contention”. Wątków logicznych może być do 60, fizycznych do 16, a pula potrzebuje co najmniej jednego slabu na wątek fizyczny. Przy 18 slabach ta ma zapas.\nUkład logical physical hash cpu bio ack Razem Domyślne LVM 1 1 1 2 4 1 10 Dopasowany do 16 CPU 4 4 2 3 2 1 16 Dwa razy tyle 8 8 4 6 2 2 30 Każdy układ przeszedł te same zadania fio dwa razy, na przemian, z danymi losowymi, plus odczyt wszystkich siedmiu dysków klonów naraz, tak jak startuje razem siedem VM:\nTest, średnia z dwóch przebiegów Domyślne Dopasowany do 16 CPU Dwa razy tyle 4k losowy zapis, QD32, 4 zadania 292 466 IOPS 365 314 IOPS 302 461 IOPS 4k losowy zapis p99, 4 zadania od 2,1 do 3,7 ms od 1,5 do 1,6 ms od 2,1 do 2,2 ms 1M zapis sekwencyjny 1153 MiB/s 1729 MiB/s 1507 MiB/s 4k losowy odczyt, QD32, 4 zadania 507 450 IOPS 503 827 IOPS 485 263 IOPS Siedem dysków klonów czytanych naraz 7,5 s 3,1 s 3,4 s Dopasowanie do liczby CPU wygrywa prawie wszystko: o ćwierć więcej równoległych zapisów, o połowę więcej przy zapisach sekwencyjnych, siedem dysków czytanych 2,4 razy szybciej i ciaśniejszy ogon. Kolejne podwojenie jest gorsze we wszystkim. To rywalizacja, przed którą ostrzega dokumentacja. Ustawienia domyślne były też najmniej stabilne, a odczyt siedmiu dysków wahał się między przebiegami od 6,1 do 8,8 s.\nW związku z tym zasada to jeden wątek VDO na CPU, rozłożony na typy jak wyżej, z wątkami fizycznymi ograniczonymi liczbą slabów.\nIle VDO kosztuje na szybkim sprzęcie Ten sam Optane bez VDO wobec VDO z dopasowanymi wątkami, dane losowe, średnia z dwóch przebiegów:\nTest Optane, bez VDO VDO, 16 wątków 4k losowy zapis, QD1 42 294 IOPS, 19,4 µs 55 806 IOPS, 12,1 µs 4k losowy zapis, QD32 142 416 IOPS 144 292 IOPS 4k losowy zapis, QD32, 4 zadania 572 293 IOPS 365 314 IOPS 4k losowy odczyt, QD1 55 276 IOPS, 14,4 µs 27 988 IOPS, 31,4 µs 4k losowy odczyt, QD32, 4 zadania 586 463 IOPS 503 827 IOPS 1M zapis sekwencyjny, QD8 2348 MiB/s 1729 MiB/s Siedem dysków szablonu czytanych naraz 11,1 s 3,1 s Przeczytaj to wprost. Pojedynczy losowy odczyt przez VDO trwa ponad dwa razy dłużej. Równoległe losowe zapisy tracą ponad jedną trzecią, sekwencyjne jedną czwartą. Na tak szybkim dysku 17 µs dodatkowej pracy VDO przy odczycie to większość tego odczytu.\nTo, że zapis QD1 jest przez VDO szybszy, nie jest darmowym obiadem. Daleko mu do tego. VDO potwierdza zapis, zanim ten znajdzie się na dysku, a dokumentacja jądra mówi wprost, że „unflushed writes may or may not persist after a crash”1. Ta liczba mierzy potwierdzenie. Gość, który robi flush, a robi go każdy system plików, dostaje trwałość, o którą prosi.\nWiersz z siedmioma dyskami to ten, który VDO wygrywa bezdyskusyjnie, i warto jasno powiedzieć dlaczego. Siedem zwykłych kopii musi przeczytać 28 GiB prawdziwych bajtów, zera włącznie. VDO czyta jeden zestaw współdzielonych bloków i pomija zera.\nNa szybkim flashu VDO zamienia więc opóźnienie na bajty. Każda z tych mikrosekund jest jednak kosztem stałym i nie rośnie, gdy dysk pod spodem jest wolniejszy.\nMetadane VDO na NVMe VDO nie ma osobnego urządzenia na metadane. Wszystko żyje na jednym LV puli. Ale źródła dm-vdo pokazują, że układ jest stały, a LV można zbudować z kawałków na różnych dyskach.\nKod formatujący umieszcza korzenie mapy bloków od początku obszaru danych, potem podsumowanie slabów i dziennik odzyskiwania od końca, a środek wypełnia slabami7. Indeks UDS siedzi przed tym wszystkim, zaraz za blokiem geometrii. vdolistmetadata potwierdziło to na puli w labie:\nBloki Co Gdzie siedzi od 0 do 679 188 geometria, indeks UDS, superblok, korzenie mapy bloków pierwsze 2,59 GiB wewnątrz każdego slabu 2 GiB dane, liście mapy bloków, 130 bloków odwołań i 224-blokowy dziennik slabu rozrzucone po puli od 10 452 928 do 10 485 695 dziennik odzyskiwania prawie ostatnie 128 MiB od 10 485 696 do 10 485 759 podsumowanie slabów ostatnie 256 KiB Zbuduj więc LV puli z trzech kawałków: głowa na NVMe, środek na wolnym dysku, ogon na NVMe. VDO z metadanymi na NVMe Dyski VM: grube LV to widzą goście Grupa woluminów vdovg to czyta Proxmox VDO LV, 35 GiB wirtualnie deduplikacja, LZ4, bez zer głowa środek: slaby ogon LV puli VDO, trzy segmenty Wolny dysk: nvme8n1 dane, liczniki odwołań NVMe: nvme6n1 indeks, korzenie, dziennik odzyskiwania Cały stos z wydzielonymi metadanymi. Proxmox widzi tę samą grupę woluminów; pod spodem LV puli to trzy segmenty na dwóch dyskach. Potem przekonwertuj go na pulę VDO, co lvmvdo(7) dokumentuje dla istniejącego LV2. Tutaj nvme6n1 zastępuje NVMe, a nvme8n1 wolny dysk:\n# lvcreate -y -L 3G -n splitpool vdolab /dev/nvme6n1 Logical volume \u0026#34;splitpool\u0026#34; created. # lvextend -l +9408 vdolab/splitpool /dev/nvme8n1 Size of logical volume vdolab/splitpool changed from 3.00 GiB (768 extents) to 39.75 GiB (10176 extents). Logical volume vdolab/splitpool successfully resized. # lvextend -l +64 vdolab/splitpool /dev/nvme6n1 Size of logical volume vdolab/splitpool changed from 39.75 GiB (10176 extents) to 40.00 GiB (10240 extents). Logical volume vdolab/splitpool successfully resized. # lvconvert -y --type vdo-pool -n splitlv -V 35G vdolab/splitpool --vdosettings \u0026#34;logical_threads=4 physical_threads=4 hash_zone_threads=2 cpu_threads=3 bio_threads=2 ack_threads=1 max_discard=4096\u0026#34; WARNING: Converting logical volume vdolab/splitpool to VDO pool volume with formatting. THIS WILL DESTROY CONTENT OF LOGICAL VOLUME (filesystem etc.) The VDO volume can address 36.00 GB in 18 data slabs, each 2.00 GB. It can grow to address at most 16.00 TB of physical storage in 8192 slabs. If a larger maximum size might be needed, use bigger slabs. Logical volume \u0026#34;splitlv\u0026#34; created. Converted vdolab/splitpool to VDO pool volume and created virtual vdolab/splitlv VDO volume. Potem sprawdź, czy VDO umieściło metadane tam, gdzie są extenty:\n# vdolistmetadata /dev/mapper/vdolab-splitpool_vdata | grep -v \u0026#34;slab [0-9]* \\(reference\\|journal\\)\u0026#34; 0 .. 0: geometry block 1 .. 679127: index 679128 .. 679128: super block 679129 .. 679188: block map tree roots 10452928 .. 10485695: recovery journal 10485696 .. 10485759: slab summary Extent to 1024 bloki. Głowa na NVMe to extenty od 0 do 767, bloki od 0 do 786 431, co obejmuje indeks i korzenie, z około 420 MiB danych pierwszego slabu przy okazji. Ogon na NVMe to extenty od 10 176 do 10 239, bloki od 10 420 224 wzwyż, co obejmuje dziennik odzyskiwania i podsumowanie slabów.\nMetadane VDO na końcach, na NVMe extenty od 0 do 767 extenty od 768 do 10 175 od 10 176 do 10 239 NVMe (nvme6n1) wolny dysk (nvme8n1) NVMe (nvme6n1) indeks UDS, superblok, korzenie mapy bloków 18 slabów: dane, liście mapy bloków, liczniki odwołań, dzienniki slabów dziennik odzyskiwania, podsumowanie slabów Nie w skali: głowa ma 3 GiB, środek 36,75 GiB, ogon 256 MiB. LV puli w trzech segmentach. Stałe metadane VDO siedzą na obu końcach, więc oba końce idą na NVMe, a slaby na wolny dysk. Ile pracy VDO przenosi się razem z nimi, na 30-sekundowy przebieg, liczone dla każdego urządzenia:\nObciążenie Zapisy I/O na NVMe Zapisy I/O na dysk danych Udział NVMe 4k losowy zapis, 75% dup, 50% kompr. od 388 430 do 538 223 od 3,42 do 3,63 mln od 10 do 13% 128k zapis, 75% dup, 50% kompr. od 458 214 do 634 167 od 3,30 do 3,53 mln od 12 do 15% 4k losowy zapis, dane losowe od 181 457 do 384 507 od 3,25 do 8,49 mln od 4 do 5% 4k losowy odczyt 0 zapisów, 2% odczytów 0 Mniej więcej jedna dziesiąta operacji zapisu: dziennik odzyskiwania, aktualizacje indeksu i ten kawałek slabu 0 na głowie NVMe. To małe, rozproszone zapisy metadanych, z którymi dysk talerzowy radzi sobie najgorzej. Na NVMe to nic.\nDwa ograniczenia. Metadane każdego slabu, liczniki odwołań, dzienniki slabów i liście mapy bloków, żyją wewnątrz slabów i zostają przy danych. I nie testowałem powiększania podzielonej puli. Dziennik jest umieszczany od końca, więc po każdym lvextend uruchom znowu vdolistmetadata i zobacz, gdzie trafił, zanim mu zaufasz.\nVDO na bcache: jeden NVMe, dwie role bcache to drugi sposób na postawienie flasha przed wolnymi dyskami. Używam go już pod Ceph na dyskach talerzowych, z każdym ustawieniem objaśnionym w wpisie o bcache. Pytanie brzmi więc, co VDO robi z cache bcache, gdy siedzi na nim.\nJeden NVMe pełni obie role flasha, podzielony na dwie partycje:\nUrządzenie Rozmiar Rola nvme8n1p1 32 GiB cache bcache, writeback nvme8n1p2 8 GiB głowa i ogon VDO: indeks, korzenie, dziennik odzyskiwania, podsumowanie slabów nvme6n1 349 GiB urządzenie bazowe bcache, gdzie żyją dane /dev/bcache0 349 GiB środek puli VDO, slaby Oba dyski to znowu Optane, więc nvme6n1 zastępuje dysk talerzowy. Pamiętaj o tym przy każdej liczbie niżej. Urządzenie bazowe jest tu szybkie, więc to mierzy, co dociera do cache, a nie to, jak długo wrzeciono będzie go opróżniać.\nVDO na bcache: jeden NVMe, dwie role Dyski VM: grube LV to widzą goście Grupa woluminów vdovg to czyta Proxmox VDO LV, 35 GiB wirtualnie deduplikacja, LZ4, bez zer głowa środek: slaby ogon LV puli VDO, trzy segmenty bcache0, writeback ćwierć bajtów gościa p1: cache nvme6n1: dane cache 32 GiB, bazowe 349 GiB p2: metadane VDO p1 i p2: jeden Optane, nvme8n1 VDO na bcache. Końce puli idą na partycję metadanych, slaby idą przez bcache, a obie partycje dzielą jeden Optane. Partycje i cache set, z ustawieniami z tamtego wpisu:\n# sgdisk --zap-all /dev/nvme8n1 # sgdisk -n 1:0:+32G -c 1:bcache-cache -n 2:0:+8G -c 2:vdo-meta /dev/nvme8n1 # blockdev --rereadpt /dev/nvme8n1 # apt install bcache-tools # make-bcache -C /dev/nvme8n1p1 -B /dev/nvme6n1 --writeback # B=/sys/block/bcache0/bcache # echo 0 \u0026gt; $B/sequential_cutoff # echo 40 \u0026gt; $B/writeback_percent # echo 81920 \u0026gt; $B/writeback_rate # echo 20480 \u0026gt; $B/writeback_rate_minimum # CS=/sys/fs/bcache/47bac36f-a1d5-4e8e-8695-2e7ff944172d # echo 0 \u0026gt; $CS/congested_read_threshold_us # echo 0 \u0026gt; $CS/congested_write_threshold_us Te linie echo działają do następnego restartu. Reguła udev z wpisu o bcache sprawia, że zostają.\nPotem pula, podzielona tak samo jak wyżej, z nvme8n1p2 na oba końce i bcache0 na środek:\n# pvcreate /dev/bcache0 /dev/nvme8n1p2 # vgcreate vdolab /dev/bcache0 /dev/nvme8n1p2 # lvcreate -y -L 3G -n vdopool vdolab /dev/nvme8n1p2 # lvextend -l +9408 vdolab/vdopool /dev/bcache0 # lvextend -l +64 vdolab/vdopool /dev/nvme8n1p2 # lvconvert -y --type vdo-pool -n vdolv -V 35G vdolab/vdopool --vdosettings \u0026#34;logical_threads=4 physical_threads=4 hash_zone_threads=2 cpu_threads=3 bio_threads=2 ack_threads=1 max_discard=4096\u0026#34; # lvs -a --segments -o lv_name,lv_size,segtype,seg_start_pe,seg_size_pe,devices vdolab LV LSize Type Start SSize Devices vdolv 35.00g vdo 0 8960 vdopool(0) vdopool 40.00g vdo-pool 0 10240 vdopool_vdata(0) [vdopool_vdata] 40.00g linear 0 768 /dev/nvme8n1p2(0) [vdopool_vdata] 40.00g linear 768 9408 /dev/bcache0(0) [vdopool_vdata] 40.00g linear 10176 64 /dev/nvme8n1p2(768) vdolistmetadata wypisało te same zakresy bloków co przy podzielonej budowie, więc indeks i oba dzienniki siedzą na nvme8n1p2. vdovg i storage Proxmoksa idą na wierzch dokładnie jak wcześniej.\nCo dociera do cache Porównanie to LV 8 GiB bezpośrednio na bcache0 wobec LV 8 GiB w vdovg, te same zadania fio przez 30 sekund, dwa razy, z cache opróżnionym do czysta przed każdym przebiegiem. Liczniki urządzeń w /sys/class/block mówią, dokąd poszły bajty.\nCo porównano na bcache tylko bcache VDO na bcache fio, 30 s LV 8 GiB na bcache0 bcache0, writeback p1: cache nvme6n1: dane fio, 30 s LV 8 GiB w vdovg VDO LV i pula, 16 wątków bcache0, writeback p2: metadane p1: cache nvme6n1: dane Dwa stosy za liczbami z bcache. Ten sam cache, ten sam dysk bazowy; jedyna różnica to VDO nad nim. 75% dup, 50% kompr., 30 s tylko bcache VDO na bcache 4k losowy zapis, QD32, 4 zadania 212 222 i 205 585 IOPS 390 206 i 304 757 IOPS p99 1,89 i 2,04 ms 1,45 i 2,54 ms Gość zapisał 24,29 i 23,53 GiB 44,67 i 34,88 GiB Zapisane do cache bcache 25,00 i 24,26 GiB 11,48 i 10,44 GiB Zapisane na partycję metadanych VDO 1,18 i 0,59 GiB Zapisy do cache na bajt gościa 103% 26 i 30% Brudne w cache na koniec 6,0 i 6,5 GiB 5,5 i 5,2 GiB 128k zapis, QD8 2001 i 1985 MiB/s 1878 i 1416 MiB/s Zapisy do cache na bajt gościa, 128k 101% 24 i 27% Sam bcache doszedł do około 210 000 małych zapisów na sekundę i zapisał do cache każdy bajt plus 3% własnych. Postaw przed nim VDO, a cache przyjął jedną czwartą bajtów. W pierwszym przebiegu ten sam cache obsłużył potem 390 206 zapisów na sekundę, prawie dwa razy więcej, i nadal skończył z mniejszą ilością brudnych danych czekających na wolny dysk. Cache był ograniczeniem. VDO je przesunęło.\nDrugi przebieg jest tym uczciwym dla puli, która była w użyciu. fio domyślnie inicjuje swoje generatory tak samo w każdym przebiegu8, więc drugi przebieg zapisał dane, które indeks już widział, wskazujące na bloki, które w międzyczasie zostały zwolnione przez discard. VDO traktuje indeks jako wskazówki i odczytuje każdy kandydujący blok, żeby sprawdzić, czy naprawdę jest duplikatem, zanim go współdzieli9. W teście samych zapisów ten drugi przebieg odczytał z cache 7,11 GiB i 1,20 GiB z dysku danych. Pierwszy odczytał 0,12 GiB. Nieaktualne wskazówki nie są darmowe, a na puli, gdzie maszyny wirtualne przychodzą i odchodzą, zawsze jakieś będą.\nDruga strona to dane losowe:\nDane losowe, 30 s tylko bcache VDO na bcache 4k losowy zapis, QD32, 4 zadania 205 984 i 203 066 IOPS 203 186 i 85 882 IOPS p99 2,04 i 2,15 ms 5,7 i 17,7 ms 128k zapis, QD8 2038 i 2017 MiB/s 878 i 357 MiB/s 4k losowy odczyt, QD1 36 609 i 36 639 IOPS, 21,6 µs 26 345 i 26 202 IOPS, 33,6 i 33,7 µs 4k losowy odczyt, QD32, 4 zadania 471 585 i 471 730 IOPS 335 461 i 336 941 IOPS Nie ma czego oszczędzać, więc VDO to czysty narzut, a w przebiegu z nieaktualnym indeksem ponad dwukrotnie obniżyło liczbę małych zapisów. Każdy odczyt w obu kolumnach pochodził z cache. 12 µs VDO na wierzchu to ten sam stały koszt, który dodaje na gołym Optane.\nTam, gdzie dane się powtarzają, te dwie warstwy dobrze się składają. Cache dostaje jedną czwartą bajtów, dłużej przetrzymuje szczyt i ma mniej do zapisania z powrotem na wrzeciona. Tam, gdzie się nie powtarzają, bcache lepiej radzi sobie sam.\nNa sprzętowym RAID6 z HDD: rozumowanie, nie pomiar Nie mam hosta z RAID6 na HDD do testów, więc ta sekcja to rozumowanie zbudowane na pomiarach powyżej. Zmierz własną macierz, zanim na tym polegniesz.\nVDO na RAID6 z HDD, rozumowanie Dyski VM: grube LV to widzą goście Grupa woluminów vdovg to czyta Proxmox VDO LV, gruby deduplikacja, LZ4, bez zer głowa środek: slaby ogon LV puli VDO, trzy segmenty Dysk wirtualny RAID6 ćwierć bajtów gościa Cache write-back kontrolera cztery razy więcej zapasu Dyski HDD wyszukiwanie połyka 17 µs VDO NVMe indeks i dzienniki poza wrzecionami Stos, o którym rozumuje ta sekcja, a nie taki, który zmierzyłem: slaby na dysku wirtualnym RAID6 za cache kontrolera, indeks i dzienniki na NVMe. Na RAID6 z HDD Co zmienia VDO Zapisy docierające do macierzy około jednej czwartej, przy mieszance takiej jak zmierzona Cache write-back kontrolera zapełnia się w jednej czwartej tempa, więc przetrzymuje szczyt mniej więcej cztery razy dłużej Koszt CPU VDO 17 µs na odczyt, gubi się w wyszukiwaniu trwającym od 5 do 10 ms Zapisy dziennika odzyskiwania mniej więcej jedna dziesiąta zapisów I/O, małe i z flushem: daj je na NVMe Wyszukiwania w indeksie obserwuj dedupe advice timeouts w vdostats; na wolnym storage VDO może przestać szukać i i tak zapisać duplikat Odczyt jednego klonu od początku do końca wolniejszy: jego bloki wskazują z powrotem na bloki szablonu, rozrzucone po macierzy Pierwsze dwa wiersze to odpowiedź sprzętowa. Dopóki cache kontrolera z baterią albo flashem ma miejsce, gość widzi opóźnienie cache. Gdy się zapełni, gość widzi wrzeciona. Wyślij mu jedną czwartą bajtów, a ten sam cache daje mniej więcej cztery razy więcej zapasu i ma cztery razy mniej do opróżnienia. Sekcja o bcache powyżej to właśnie to, zmierzone z cache programowym w miejscu cache kontrolera.\nTrzeci wiersz mówi, dlaczego VDO bardziej pasuje do wolnych dysków niż do szybkich. Na Optane VDO podwoiło opóźnienie odczytu. Na dyskach 7200 obr./min ten sam stały koszt znika w jednym wyszukiwaniu.\nOstatnie trzy to koszty. Burza rozruchowa identycznych klonów przyspiesza, ale jeden klon czytany od początku do końca zwalnia, bo deduplikacja go rozprasza. A własne małe zapisy VDO też lądują na macierzy, i to jest argument za podzielonym układem powyżej: indeks i dziennik na NVMe, slaby na RAID6.\nUsuwanie dysku: niech Proxmox zrobi discard Usunięcie LV zwalnia jego extenty w LVM. Nie mówi VDO, że bloki są nieużywane, więc VDO je trzyma. Dokumentacja jądra mówi, dlaczego to ważne: „If the vdo is thinly provisioned, discarding unused blocks is essential to prevent the target from running out of space”1. Na grubym storage miejsce nie może się skończyć, ale bloki bez discard to nadal miejsce na dysku zajęte na dane, których nikt nie posiada.\nRozwiązaniem jest opcja on-volume-remove discard=1 na storage. Proxmox opisuje ją jako wysyłanie „discard (TRIM) requests before removal”5:\nUsunięcie Zwolnione bloki VDO zwykły storage lvm, dysk z 1 GiB danych 0 z on-volume-remove discard=1, to samo 262 140, całe 1 GiB Na dużym dysku jest to jednak wolne. Usunięcie dysku 34 GiB z testu zapełniania zajęło Proxmoksowi 262,6 s, a blkdiscard na tym samym rodzaju danych dał radę 15 GiB w 2,25 s. Więc przy czymkolwiek dużym najpierw zrób blkdiscard na dysku, a potem go usuń.\nLiczy się też rozmiar discard. Domyślny max_discard VDO to jeden blok 4 KiB na żądanie1:\nDiscard 15 GiB losowych danych Czas CPU (sys) max_discard=1, domyślnie 8,06 s 8,06 s max_discard=4096, 16 MiB 2,25 s 0,00 s Wewnątrz gości włącz opcję Discard dysku, żeby ich TRIM docierał do storage10, i uruchamiaj fstrim według harmonogramu.\nGdzie zarabia na swoje miejsce Pasuje Nie pasuje wiele VM z tych samych kilku szablonów bazy danych i praca zależna od opóźnień przy dużej głębokości kolejki RAID6 na HDD za cache write-back kontrolera host w całości na NVMe, który potrzebuje każdej mikrosekundy dane na dyskach talerzowych z NVMe na metadane VDO dane już skompresowane: media, kopie zapasowe, ISO bcache przed danymi na dyskach talerzowych, gdy dane się powtarzają bcache przed danymi, które się nie powtarzają dyski, w których ograniczeniem jest wytrzymałość na zapis zaszyfrowane dyski gości, które nigdy się nie deduplikują host z wolnym pół gigabajta RAM na pulę mała pula, gdzie indeks zjada jedną dziesiątą Ustawienie Domyślnie Ustaw na Zmiana później Rozmiar wirtualny VDO -V cokolwiek poprosisz nie więcej, niż pula może zaadresować tylko powiększanie, nigdy zmniejszanie Wątki VDO 10, jeden logiczny jeden na CPU, rozłożone jak wyżej tylko przy zatrzymanych VM puli max_discard 1, czyli 4 KiB 4096, czyli 16 MiB tylko przy zatrzymanych VM puli on-volume-remove na storage nieustawione discard=1 tak, pvesm set Discard na każdym dysku wirtualnym wyłączone włączone tak, dla każdego dysku scan_lvs i filtr 0, bez odrzucania dysków VM 1, dyski VM odrzucane tak, w lvm.conf Nic z tego nie jest trudne. Nic z tego nie jest domyślne.\nNajtańszy zapis to ten, którego nigdy nie wysyłasz Uderza mnie, jak źle sprzedaje się VDO. Pojawia się jako sposób na zmieszczenie na dysku więcej, niż dysk mieści, a to najmniej użyteczna rzecz, jaką robi. Zrobiłem to przypadkiem przy pierwszej budowie i Proxmox pokazywał jedną trzecią storage jako wolną, podczas gdy VDO było pełne. Nadmierny przydział to pożyczka, a dysk ściąga ją z pełną prędkością zapisu.\nPrawdziwa wartość jest w wierszu, którego większość ludzi nigdy nie mierzy. Jedna czwarta bajtów docierających do dysku to jedna czwarta zużycia i cache kontrolera, który wytrzymuje cztery razy dłużej. To nie jest pojemność. To sprzęt wykonujący mniej pracy dla tego samego wyniku, a to jedyny rodzaj oszczędności, który nie wraca, żeby cię ugryźć.\nKosztuje CPU, a na szybkim flashu kosztuje opóźnienie, i oba koszty są stałe. Taki jest kompromis, powiedziany wprost: czas procesora wydany po to, żeby wolna, droga część maszyny robiła mniej. Na dyskach talerzowych za kontrolerem RAID albo za bcache, z indeksem i dziennikiem na NVMe, ten rachunek wychodzi dobrze. Na hoście w całości na Optane przeważnie nie.\nI samo o siebie nie zadba. Każde ustawienie domyślne, które ma znaczenie, jest złe do tego zadania: dziesięć wątków na szesnaście CPU, rozmiar discard, który pali rdzeń, rozmiar wirtualny, który można ustawić na cokolwiek, i nic w konfiguracji storage, co kazałoby Proxmoksowi oddawać miejsce. Nic z tego nie jest ukryte. Wszystko jest w dokumentacji.\nWięc zbuduj to grubo, raz, porządnie, z ustawieniami w linii tworzenia i metadanymi tam, gdzie ich miejsce. Zrób to, a dysk wykona jedną czwartą pracy. Pomiń to, a kupiłeś kolejną warstwę, która obiecuje więcej, niż ma.\nLinux kernel documentation — dm-vdo — cel „provides block-level deduplication, compression, and thin provisioning”; „If the vdo is thinly provisioned, discarding unused blocks is essential to prevent the target from running out of space”; „unflushed writes may or may not persist after a crash”; cache mapy bloków 128 MB pozwala na „efficient access to 100 GB of logical space at a time”; parametry wątków, ich limity i wskazówki strojenia; maxDiscard „in 4096-byte blocks”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nlvmvdo(7) — Support for Virtual Data Optimizer in LVM — pula VDO i VDO LV, konwersja istniejącego LV przez lvconvert --type vdo-pool, zużycie pamięci, indeks dense i jego okno 1 TiB na GiB RAM oraz „You cannot reduce the size of a VDOPoolLV”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLinux kernel source — drivers/md/dm-thin.c — disable_discard_passdown_if_not_supported() wyłącza przekazywanie discard, gdy urządzenie danych nie przyjmuje całego cienkiego chunku, a tak właśnie robi domyślne VDO pod cienką pulą.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLVM2 — conf/example.conf.in — devices/scan_lvs: „Caution is required to avoid using PVs that belong to guest images stored on LVs” oraz „This option does not enable autoactivation of layered VGs”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nProxmox pve-storage — LVMPlugin.pm — właściwość on-volume-remove, „Use \u0026lsquo;discard=1\u0026rsquo; to issue discard (TRIM) requests before removal”; woluminy są aktywowane pojedynczo przez lvchange -aey, a nie przez vgchange -aly.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nDebian trixie — package vdo — „Management tools for Virtual Data Optimizer”, wersja 8.3.1.1-1, która dostarcza vdoformat, vdostats i vdolistmetadata.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLinux kernel source — drivers/md/dm-vdo/encodings.c — vdo_initialize_layout() tworzy partycję mapy bloków na początku, partycje podsumowania slabów i dziennika odzyskiwania na końcu, a skład slabów z tego, co zostaje.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nfio documentation — randrepeat — „Seed all random number generators in a predictable way so the pattern is repeatable across runs. Default: true.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLinux kernel documentation — Design of dm-vdo — „vdo treats the locations in the index as hints, and reads each indicated block to verify that it is indeed a duplicate before sharing the existing block with a new one.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nProxmox VE documentation — Qemu/KVM Virtual Machines, Trim/Discard — „For the guest to be able to issue TRIM commands, you must enable the Discard option on the drive.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\n","permalink":"https://blogs.damiendye.uk/pl/proxmox/vdo-dedup-for-local-lvm/","summary":"VDO to warstwa deduplikacji i kompresji w jądrze. Pod grubą grupą woluminów LVM daje lokalnym dyskom Proxmox VE zapis jednej kopii każdego bloku, który maszyny wirtualne współdzielą, więc do dysku trafia znacznie mniej bajtów. Buduję go tu gruby na grubym na hoście Proxmox VE 9, z VDO dopasowanym rozmiarem do miejsca, które naprawdę ma, tak żeby nic nad nim nie mogło nadmiernie przydzielać, z ustawieniem scan_lvs w lvm.conf i jego filtrem oraz z wątkami VDO dopasowanymi do liczby CPU. Mierzę, ile deduplikacja zaoszczędziła na szablonie i sześciu pełnych klonach, dwóch obrazach ISO, zerach i danych losowych, ile bajtów dysk faktycznie odebrał wobec tego, co zapisał gość, i ile VDO kosztuje wobec tego samego Intel Optane bez VDO. Potem buduję pulę z indeksem i dziennikami VDO na NVMe i danymi na drugim urządzeniu, dowodzę układu narzędziem vdolistmetadata, mierzę, jak dzieli się I/O, następnie stawiam VDO na bcache z jednym NVMe podzielonym między cache bcache a metadane VDO i mierzę, ile bajtów trafia do cache z VDO i bez niego. Rozważam, co to wszystko oznacza na sprzętowym RAID6 z HDD, i omawiam discard przy usuwaniu.","title":"VDO pod lokalnym LVM w Proxmoxie: do dysku trafia mniej bajtów"},{"content":"Dwa ustawienia, które wybrałeś raz i zapomniałeś Proxmox VE 9 robi za ciebie dwie pożyteczne rzeczy, nie pytając. Daje gościowi Fisher-Price OS (Windows) funkcje parawirtualne, których potrzebuje, żeby porządnie działać na KVM, i ładuje przy starcie aktualny mikrokod CPU.\nObie są automatyczne. Obie zależą też od decyzji, którą podjąłeś raz, może lata temu, i od tamtej pory na nią nie patrzyłeś.\nPierwsza zależy od typu OS wybranego przy tworzeniu VM. Wybierz jedną z pozycji Microsoft Windows, a Proxmox przy każdym starcie dodaje enlightenments Hyper-V. Zostaw Other, co łatwo zrobić przy imporcie dysku albo klonowaniu czegoś starego, a gość nie dostaje żadnego z nich. Startuje, działa, jest wolniejszy i nic ci o tym nie mówi.\nDruga zależy od tego, jak host doszedł do wersji 9. Instalator 9.0 włącza komponent firmware Debiana i instaluje pakiet mikrokodu dla twojego CPU. Host zaktualizowany z 8.x zachowuje repozytoria, które miał, a na większości z nich oznacza to brak jakiegokolwiek pakietu mikrokodu. Na hoście AMD Zen 5 z jądrem 6.17.9 lub nowszym to nie jest teoretyczna luka: goście używający typów CPU EPYC przestają startować.\nDwa ustawienia, dwa zapomniane wybory VM: decyduje typ OS Typ OS, ustawiony raz Microsoft Windows Other lub Linux flagi hv_ dodane przy każdym starcie żadnych i bez ostrzeżenia Host: decyduje droga do 9 Host Proxmox VE 9 instalator 9.x aktualizacja z 8.x pakiet mikrokodu zainstalowany brak pakietu pve8to9 tylko ostrzega Oba ustawienia domyślne wiszą na wyborze dokonanym na długo, zanim cokolwiek się zepsuje. Ścieżka po prawej w obu przypadkach to ta, przed którą nic nie ostrzega. Reszta wpisu bierze każde po kolei: czym jest, jaką dokładnie regułę stosuje Proxmox, jak je włączyć tam, gdzie brakuje, i jak udowodnić, że zadziałało. Reguły pochodzą z kodu qemu-server i pve-manager na żywym hoście 9.2, nie z pamięci, bo dwie z nich nie są takie, jak większość by zgadywała.\nCzym właściwie jest enlightenment System operacyjny gościa napisany pod prawdziwy sprzęt wkłada mnóstwo wysiłku w rzeczy, które w VM są marnotrawstwem. Programuje timery przez emulowane układy, kręci się na blokadach trzymanych przez vCPU, który nawet nie jest zaplanowany, i odpala watchdogi, kiedy host podbierze kilka milisekund.\nParawirtualizacja to naprawia: pozwala gościowi wiedzieć, że jest gościem, i rozmawiać bezpośrednio z hypervisorem. Linux robi to przez własne interfejsy KVM. Fisher-Price OS (Windows) mówi tylko jednym dialektem parawirtualnym, dialektem Hyper-V, więc KVM implementuje ten dialekt i mówi gościowi, że działa na hypervisorze zgodnym z Hyper-V. Każdy jego kawałek nazywa się enlightenment.\nNic z tego nie jest włączone, dopóki ktoś nie poprosi. Dokumentacja QEMU mówi to wprost: „No Hyper-V enlightenments are enabled by default by either KVM or QEMU”1. W Proxmox prosi qemu-server i prosi tylko wtedy, gdy typ OS to jedna z pozycji Microsoft Windows.\nRóżnicę zobaczysz na każdym hoście. To jest linuksowa VM na moim węźle 9.2, ostype: l26, typ CPU host:\n# qm showcmd 101 --pretty | grep -- -cpu -cpu host,+kvm_pv_eoi,+kvm_pv_unhalt \\ Dwie flagi KVM dla własnej parawirtualnej obsługi przerwań i spinlocków Linuksa, a flag hv_ nie ma wcale. Dobrze dla Linuksa. Źle dla gościa, który rozumie tylko Hyper-V.\nCo robi każdy enlightenment, według opisów QEMU1:\nFlaga Co dostaje gość Co oszczędza hv_time zegar referencyjny Hyper-V i stronę TSC odczyty znacznika czasu bez wyjścia do hypervisora hv_relaxed polecenie wyłączenia timeoutów watchdoga fałszywe timeouty, gdy vCPU zostaje wywłaszczony hv_vapic stronę VP assist dla APIC koniec przerwania bez wyjścia hv_spinlocks spinlocki parawirtualne, liczbę prób przed powiadomieniem hosta kręcenie się na blokadzie, której właściciel nie działa hv_vpindex własny indeks procesora wirtualnego warunek wstępny dla kolejnych czterech hv_runtime ile każdy vCPU faktycznie działał uczciwy obraz skradzionego czasu hv_synic, hv_stimer syntetyczny kontroler przerwań i timery emulowany sprzęt timerów hv_ipi wysyłanie IPI do wielu vCPU jednym hypercallem jedno wyjście APIC na każdy docelowy CPU hv_reset reset przez hypervisor hv_evmcs enlightened VMCS, tylko Intel szybsza zagnieżdżona wirtualizacja hv_tlbflush parawirtualne zestrzeliwanie TLB czekanie na vCPU, które nie działają Przełącznikiem jest typ OS Reguła siedzi w jednej funkcji, get_hyperv_enlightenments w CPUConfig.pm qemu-server2. Typ OS najpierw zamienia się w numer wersji: win11 staje się 11, win10 staje się 10, w2k8 i wvista oba stają się 6, a typy XP i 2003 stają się 5. Linux, Other i wszystko inne stają się 0.\nPotem bramki idą po kolei.\nKtóre flagi hv_ dodaje qemu-server, bramka po bramce Od typu OS do flag hv_, w kolejności wykonania kodu Wersja typu OS poniżej 6? tak stop: nic nie dodano Firmware OVMF i wersja poniżej 8? tak stop: nic nie dodano maszyna 2.3, potem 2.6 lub nowsza dodaje spinlocks vapic time reset vpindex runtime wersja 7 lub wyższa dodaje relaxed synic stimer ipi host Intel, wersja 11, maszyna 11.0+pve2 dodaje evmcs Kolejność, w jakiej stosuje je qemu-server. Wersja poniżej 6 zatrzymuje się na pierwszej bramce, a gość UEFI starszy niż typ 8.x zatrzymuje się na drugiej i nie dostaje nic. Czytać regułę to jedno. Uruchomić ją to lepiej. Załadowałem więc zainstalowany CPUConfig.pm na dwóch hostach 9.2, moim węźle AMD Ryzen dla wierszy AMD i węźle Intel Celeron N5100 dla wierszy Intela, i wywołałem tę funkcję z każdą kombinacją:\nTyp OS Firmware Wersja maszyny Host Dodane enlightenments l26 lub other dowolne dowolna dowolny brak wxp (5) SeaBIOS 11.0 dowolny brak w2k8 (Vista/2008) SeaBIOS 11.0 dowolny spinlocks, vapic, time, reset, vpindex, runtime win7 SeaBIOS 11.0 dowolny sześć powyższych plus relaxed, synic, stimer, ipi win7 OVMF 11.0 dowolny brak win10 OVMF 11.0+pve2 Intel pełna dziesiątka, bez evmcs win11 OVMF 11.0+pve1 Intel pełna dziesiątka, bez evmcs win11 OVMF 11.0+pve2 Intel pełna dziesiątka plus evmcs win11 SeaBIOS 11.0+pve2 AMD pełna dziesiątka, bez evmcs Trzy rzeczy z tej tabeli warto wiedzieć, zanim zbliżysz się do GUI.\nGość UEFI z typem OS starszym niż 8.x nie dostaje nic. Kod wraca wcześnie, gdy firmware to OVMF, a wersja jest poniżej 8. Gość 7/2008r2, którego przeniosłeś na UEFI, po cichu stracił każdy enlightenment, jaki miał.\nhv_evmcs chce trzech rzeczy naraz. Hosta Intel, typu OS 11/2022/2025 i wersji maszyny 11.0+pve2 lub nowszej. Gość 10/2016/2019 nigdy nie dostaje go domyślnie, choćby jego wersja maszyny była najnowsza.\nProducent CPU hosta jest odczytywany przy starcie VM. Kontrola wywołuje read_cpuinfo na węźle, który ją uruchamia, a nie tam, gdzie VM została utworzona. W mieszanym klastrze Intel i AMD ta sama VM dostaje hv_evmcs na jednym węźle, a na drugim nie, i decyzja zapada od nowa przy każdym zimnym starcie.\nStarsze bramki wersji maszyny (2.3, 2.6, 2.12, 3.1) mają znaczenie tylko dla VM przypiętych do maszyn z zamierzchłej przeszłości QEMU. Wszystko, co utworzyłbyś dziś, je przechodzi.\nWybierz więc typ OS najbliższy gościowi, a nie najnowszy na liście. Gość 10/2016/2019 należy do 10/2016/2019. Dokumentacja Proxmox podaje drugi powód, dla którego typ ma znaczenie poza tymi flagami: ustawia też takie rzeczy jak to, czy wirtualny RTC chodzi według czasu lokalnego3.\nDlaczego twoje starsze VM omija lipcowa poprawka hv_evmcs jako ustawienie domyślne to nowość. Przyszło w qemu-server 9.2.0 15 lipca 2026, żeby „mitigate guest freezes and 100% CPU usage seen on certain Intel CPUs with Windows guests that use Virtualization-Based Security (VBS)”4, i jest przywiązane do wersji maszyny 11.0+pve2.\nTo przywiązanie jest haczykiem, bo Proxmox przypina wersję maszyny każdej VM z typem OS Microsoft Windows w chwili jej utworzenia. Dokumentacja podaje powód: „Windows is sensitive to changes in the virtual hardware - even between cold boots”3. To rozsądna decyzja. Oznacza też, że VM utworzona w czerwcu 2026 siedzi na 11.0+pve1 lub starszej i zostanie tam, dopóki ktoś jej nie przeniesie.\nCzy ktoś przeniesie ją za ciebie? Nie. Nowe ustawienie domyślne dotyczy nowych VM i tych, które świadomie podbijesz, i niczego więcej.\nJeśli masz hosty Intela z gośćmi 11/2022/2025 z włączonym VBS i któryś z nich zamarzł na 100% CPU, to jest pierwsza rzecz do sprawdzenia:\nqm config \u0026lt;vmid\u0026gt; | grep -E \u0026#39;^(ostype|machine):\u0026#39; ostype: win11 z linią machine: poniżej pc-q35-11.0+pve2 trzeba podnieść, żeby dostać poprawkę. Podniesienie zmienia wirtualny sprzęt, który widzi gość, czyli dokładnie to, przed czym chroni przypinanie. Zrób to więc w oknie serwisowym, najpierw robiąc kopię zapasową albo snapshot, przez Hardware → Machine → Edit, zaznacz Advanced i wybierz wersję.\nJeśli linia zaczyna się od pc-i440fx-, wersja jest mniejszym problemem: ten gość w ogóle nie powinien być na i440fx, z powodów opisanych w Zawsze używaj Q35, nie i440fx, a sekcja Ustawienie i dowód, że zadziałało poniżej to omawia.\nW tych samych kilku miesiącach wylądowały dwa powiązane ustawienia domyślne i warto o nich wiedzieć, skoro już tam jesteś. qemu-server 9.1.12 wyłączył flagi cet-ibt i cet-ss dla typu 11/2022/2025, bo przy QEMU 11.0 i jądrach 7.x, które je udostępniały, goście z VBS nie startowali4. A 9.1.14 udostępnił właściwość CPU level, którą dokumentacja opisuje jako „a known workaround for Hyper-V boot failures of Windows guests on recent Intel hosts when the CPU type is host or max”3.\nStrona QEMU, wydanie po wydaniu qemu-server buduje linię poleceń. pve-qemu-kvm to QEMU, które ją uruchamia, a lipcowa poprawka potrzebuje obu.\nWersję maszyny 11.0+pve2 można wybrać tylko wtedy, gdy zainstalowana jest binarka QEMU 11.0, bo qemu-server odrzuca każdą wersję maszyny nowszą niż QEMU, które znajduje na hoście5. +pve2 to własny licznik rewizji qemu-server, nie QEMU, więc każdy build 11.0 go spełnia. W dniu wydania 9.2.0 para wyglądała tak:\nPakiet Wersja Wydany Co przynosi qemu-server 9.2.0 15 lipca 2026 domyślne hv-evmcs i maszynę 11.0+pve2 pve-qemu-kvm 11.0.2-1 1 lipca 2026 QEMU 11.0.2, aktualne tego dnia pve-qemu-kvm, minimum 11.0.0-1 5 maja 2026 pierwszy build QEMU 11.0 Czy apt dopilnuje, żebyś miał oba? Nie. qemu-server 9.2.0 nie deklaruje niczego mocniejszego niż pve-qemu-kvm (\u0026gt;= 7.1~)6, więc węzeł z QEMU wstrzymanym na 10.x przyjmie nowy qemu-server bez szemrania, a potem nie będzie mógł zaoferować wersji maszyny, na której wisi poprawka. Sprawdź oba, na każdym węźle. To mój host 9.2 dziś, daleko za obiema:\n# pveversion -v | grep -E \u0026#39;^(qemu-server|pve-qemu-kvm):\u0026#39; pve-qemu-kvm: 11.0.3-4 qemu-server: 9.2.11 Każde wydanie QEMU, odkąd Proxmox VE 9.0 wyszedł na 10.0.27, niosło własne poprawki dla gości Fisher-Price OS (Windows). Oto te, które dotykają gościa, z changeloga pakietu Proxmox8 i upstreamowych changelogów QEMU9:\nQEMU Build Proxmox Co naprawił dla gościa 10.0 10.0.2-1, 17 czerwca 2025 błąd „PCI Label Id”, nieszkodliwy po angielsku, ale zdolny zawiesić zlokalizowane instalacje 10.1 10.1.2-3, 17 listopada 2025 regresję schowka VNC, która psuła wskaźnik myszy 10.1 10.1.2-5, 22 grudnia 2025 zawieszające się kopie zapasowe VM z dyskiem TPM, poprawka io_uring 11.0 11.0.0-1, 5 maja 2026 regresję w eksporcie FUSE, którego swtpm używa do stanu TPM 11.0 11.0.2-1, 1 lipca 2026 enlightenments Hyper-V rozpoznawane jako flagi CPUID, więc własny model CPU może je nieść QEMU 11.0 też coś zepsuło: zaczęło udostępniać cet-ibt i cet-ss, co powstrzymało start gości z VBS i skłoniło qemu-server 9.1.12 do ich wyłączenia, jak opisano wyżej.\nPoprawki agenta gościa w tych samych wydaniach to inna sprawa. QEMU 10.1, 10.2 i 11.0 naprawiły po kawałku obsługę VSS i zamrażania systemu plików w agencie gościa, w tym „Access denied Event ID 8194”, które wyleczyło 11.09. Nic z tego nie przychodzi z pve-qemu-kvm. Agent dla tego gościa jest dostarczany na ISO ze sterownikami virtio-win10, więc zmienia się tylko wtedy, gdy zaktualizujesz agenta wewnątrz VM.\nDwie flagi, które możesz ustawić ręcznie Proxmox nie pozwoli ci dodać do VM dowolnych flag CPU. Hardware → Processors → Edit, zaznacz Advanced, a Extra CPU Flags oferuje stałą listę zdefiniowaną w CPUFlags.pm11. Dwie pozycje na tej liście to enlightenments i to są te dwa, których Proxmox domyślnie nie ustawia, albo nie ustawiał do lipca.\nFlaga Opis od samego Proxmox Kiedy ją ustawić hv-tlbflush „Improve performance in overcommitted Windows guests. May lead to guest bluescreens on old CPUs.” Opcjonalnie. Najpierw jedna VM i obserwuj ją. hv-evmcs „Improve performance for nested virtualization. Only supported on Intel CPUs.” Zagnieżdżony Hyper-V, WSL2 lub VBS w gościu, na Intelu. Już włączone dla 11/2022/2025 na 11.0+pve2. Obie stały się opcjonalne w qemu-server 6.0-6 23 lipca 2019, opisane w changelogu jako „sometimes problematic”4. hv-tlbflush został taki przez siedem lat. To niezła wskazówka, ile testów chce, zanim puścisz go po klastrze.\nWłasna uwaga QEMU o hv-evmcs mówi, że jest tylko dla Intela i że „some virtualization features (e.g. Posted Interrupts) are disabled when hv-evmcs is enabled”1. Włączenie go ręcznie na gościu, który nie robi zagnieżdżonej wirtualizacji, nic ci nie daje i tyle właśnie kosztuje.\nUstawienie i dowód, że zadziałało Dla nowej VM: Create VM → OS, ustaw Type na Microsoft Windows, a Version na najbliższe dopasowanie.\nDla istniejącej: Options → OS Type → Edit, wybierz wersję, OK. Proxmox przypina wersję maszyny, kiedy przełączasz istniejącą VM na typ Microsoft Windows, tak samo jak przy tworzeniu4, więc spodziewaj się, że linia machine: w konfiguracji też się zmieni.\nI postaw ją na q35. Gość z enlightenments nie ma czego szukać na pc-i440fx. To chipset bez magistrali PCIe, a powody sięgają daleko poza passthrough; wszystkie są w Zawsze używaj Q35, nie i440fx.\nKreator cię nie zatrzyma, a dla większości typów Microsoft Windows sam cię tam postawi. Własna dokumentacja Proxmox nazywa Intel 440FX „the default”3, a domyślne ustawienia OS w GUI nadpisują to dla dokładnie jednej pozycji: 11/2022/2025 dostaje machine: 'q35' i bios: 'ovmf'12. Każdy inny typ Microsoft Windows dziedziczy ogólne ustawienia domyślne, które nie ustawiają maszyny wcale. Gość 10/2016/2019 utworzony klikaniem Next ląduje więc na i440fx, z enlightenments i na złym chipsecie jednocześnie.\nTyp OS wybrany w kreatorze Maszyna, którą dostaje Firmware, które dostaje 11/2022/2025 q35 OVMF 10/2016/2019 i każdy starszy typ Microsoft Windows i440fx SeaBIOS Other, Linux i440fx SeaBIOS Zmień to na zakładce System, zanim skończysz kreatora. Dla VM, która już istnieje, zmiana chipsetu to większa zmiana wirtualnego sprzętu niż podbicie wersji maszyny, więc obowiązują te same zasady okna serwisowego i kopii zapasowej, a wpis o q35 opisuje, co gość z tym robi.\nPotem zatrzymaj ją porządnie. Enlightenments to argumenty w linii poleceń QEMU, a ta linia powstaje tylko przy starcie procesu QEMU. Restart z wnętrza gościa zachowuje ten sam proces, więc zachowuje stare flagi. Wyłącz, poczekaj na stopped, potem Start.\nUdowodnij to z hosta, bo tam jest odpowiedź:\nqm showcmd \u0026lt;vmid\u0026gt; --pretty | grep -o \u0026#34;hv_[a-z_]*[=0-9a-fx]*\u0026#34; | sort -u To wypisuje, co qemu-server przekaże QEMU przy następnym starcie. Gość 11/2022/2025 na 11.0+pve2 na Intelu powinien wypisać jedenaście: hv_evmcs, hv_ipi, hv_relaxed, hv_reset, hv_runtime, hv_spinlocks=0x1fff, hv_stimer, hv_synic, hv_time, hv_vapic i hv_vpindex. Ten sam gość na AMD wypisuje dziesięć. Pusty wynik oznacza, że typ OS nie jest typem Microsoft Windows albo że to typ sprzed 8.x na UEFI.\nJeśli gość nie wystartuje po zmianie, ustaw typ OS z powrotem na Other na jeden start, żeby potwierdzić albo wykluczyć enlightenments. Bez nich działa. Po prostu działa gorzej.\nMikrokod: co naprawia i skąd się bierze Drugie ustawienie domyślne siedzi pod hypervisorem, nie nad nim.\nMikrokod CPU to firmware producenta dla samego procesora. Aktualizacje łatają podatności bezpieczeństwa i poważne błędy CPU, a przewodnik administratora Proxmox podkreśla to, co ważne dla każdego, kto martwi się kosztem wydajności: „a patched microcode is usually still more performant than an unpatched microcode where the kernel itself has to do mitigations”13.\nSą trzy miejsca, z których może przyjść, i są od siebie niezależne.\nŹródło Stosowany Dostarcza Na moim hoście 9.2 dziś Aktualizacja BIOS/UEFI płyty przy każdym włączeniu, trwale producent płyty lub serwera cokolwiek niósł ostatni BIOS Debian non-free-firmware wcześnie przy starcie, z initramfs Debian intel-microcode 3.20251111.1~deb13u1, amd64-microcode 3.20250311.1 Repozytorium Proxmox VE wcześnie przy starcie, z initramfs Proxmox amd64-microcode 3.20251202.1~bpo13+1, brak pakietu Intela Drogę przez BIOS Proxmox nazywa zalecaną13. Wczesne ładowanie to siatka bezpieczeństwa na czas, gdy producent płyty przestał wydawać aktualizacje BIOS, a przy czymkolwiek starszym niż kilka lat zwykle już przestał.\nTen trzeci wiersz mnie zaskoczył. Proxmox trzyma w swoim repozytorium nowszy amd64-microcode, niż Debian ma w trixie14, z tym samym priorytetem przypięcia, więc apt wybiera wersję Proxmox. Na hoście AMD ze skonfigurowanym repozytorium Proxmox to jest wersja, którą w końcu uruchomisz, i jak pokazuje następna sekcja, to jest wersja, która się liczy.\nGdzie mikrokod jest stosowany podczas startu Jeden start, od lewej do prawej Włączenie mikrokod BIOS-u Bootloader ładuje initramfs Start jądra wczesna aktualizacja Host działa goście startują Późne ładowanie zablokowane trwale, producent płyty z initramfs, Debian lub Proxmox blacklist w /etc/modprobe.d Wczesne ładowanie dzieje się, zanim jądro uruchomi cokolwiek innego. Późne ładowanie na działającym systemie to droga, którą Debian blokuje, i pozostaje zablokowana. Wczesne ładowanie to to, co konfiguruje ten wpis. Mikrokod trafia do initramfs, a jądro stosuje go na samym początku startu, zanim cokolwiek innego działa.\nPóźne ładowanie stosuje go na działającym systemie. Własna dokumentacja jądra ma sekcję zatytułowaną „Why is late loading dangerous?”, a od 5.19 nie jest ono domyślnie włączone15. Debian też je blokuje. To plik z mojego hosta, słowo w słowo:\n# cat /etc/modprobe.d/amd64-microcode-blacklist.conf # The microcode module attempts to apply a microcode update when # it autoloads. This is not always safe, so we block it by default. blacklist microcode Zostaw go w spokoju. Host powyżej ma go na miejscu i wciąż pokazuje udaną wczesną aktualizację, więc niczemu nie przeszkadza.\nKażda z dróg wymaga restartu. Nie da się tego obejść.\nI to tylko x86. Przewodnik Proxmox mówi wprost, że „There is no equivalent operating-system-level microcode package for arm64”13.\nDlaczego host po aktualizacji go nie ma „Non-free” w non-free-firmware dotyczy licencji, nie pieniędzy ani subskrypcji Proxmox. Wiki Debiana to wyjaśnia: strona jądra to wolne oprogramowanie, ale dane aktualizacji od producenta są „opaque”, „and its contents are unknown to Debian”16. Dlatego żyją we własnym komponencie i dlatego system Debian ich nie dostaje, dopóki komponent nie jest włączony.\nInstalator Proxmox VE 9.0 go włącza. Informacje o wydaniu mówią, że ISO będzie „Install the microcode package matching the current platform” i że „installations now have the non-free-firmware repository enabled”7. Aktualizacja nie robi żadnej z tych rzeczy, bo zachowuje linie repozytoriów, które miałeś na 8.x.\nŚwieża instalacja 9.x Aktualizacja z 8.x non-free-firmware włączone przez instalator cokolwiek było na 8.x, często brak Pakiet mikrokodu zainstalowany dla wykrytego CPU brak, dopóki nie dodasz komponentu Co ci o tym mówi nic nie trzeba pve8to9, jako FAIL i WARN, i tylko jeśli go uruchomisz Późniejsze aktualizacje apt full-upgrade i restart to samo, gdy pakiet już jest Narzędzie kontrolne to zgłasza, głośniej, niż się spodziewałem. Tak to wygląda na moim węźle Intela, który przyszedł z 8.x:\n# pve8to9 | grep -i -B1 -A2 microcode PASS: Legacy file \u0026#39;/etc/sysctl.conf\u0026#39; is not present. INFO: Checking if matching CPU microcode package is installed. FAIL: unable to determine installed intel-microcode version. WARN: The matching CPU microcode package \u0026#39;intel-microcode\u0026#39; could not be found! Consider installing it to receive the latest security and bug fixes for your CPU. apt install intel-microcode SKIP: NOTE: Expensive checks, like CT cgroupv2 compat, not performed without \u0026#39;--full\u0026#39; parameter FAIL to efekt uboczny: wyszukiwanie wersji loguje błąd dla każdego niezainstalowanego pakietu, zanim kontrola mikrokodu dojdzie do własnego ostrzeżenia17. Tak czy inaczej pve8to9 to narzędzie kontrolne, nie bramka. Nie uruchamia aktualizacji i nie może jej zatrzymać, więc aktualizacja przepływa obok niego.\nCzy to ma znaczenie w praktyce? Oto dwa przypadki, w których ma, a pierwszy jest mój.\nTen węzeł Intela to Celeron N5100. Jego lista źródeł już zawierała non-free-firmware, więc pakiet był o jedno polecenie dalej, a do 27 października 2026 nikt go nie uruchomił. Jądro zauważyło, nawet jeśli nikt inny nie:\n# dmesg | grep -i microcode [ 0.000000] x86/CPU: Running old microcode [ 0.497219] microcode: Current revision: 0x0000001d # lscpu | grep -i \u0026#39;old microcode\u0026#39; Vulnerability Old microcode: Vulnerable Jądro trzyma „a table of released microcode”, a CPU, który wystartował na czymkolwiek starszym, „will say \u0026lsquo;Vulnerable\u0026rsquo;”18. Jak stary to stary? Informacje o wydaniach Intela odpowiadają na to dla tego układu19:\nRewizja Wydanie Intela Na tym hoście 0x1d microcode-20210608 to, co dziś ładuje firmware płyty 0x2400001f microcode-20220207 0x24000023 microcode-20220510 wyszła pół roku przed zbudowaniem BIOS-u tej płyty 0x24000024 microcode-20230214 0x24000026 microcode-20240312 w intel-microcode Debiana 3.20251111.1~deb13u1 BIOS ma wersję 5.19, z datą 8 listopada 2022, i wciąż ładuje pierwszy mikrokod, jaki Intel w ogóle wydał dla tego układu, choć w chwili jego budowy były już dwa nowsze. To dokładnie ten przypadek, dla którego istnieje droga wczesnego ładowania: cztery aktualizacje leżące w pakiecie, który host już widział. Zainstalowałem go, pisząc ten tekst, a co to zrobiło, jest w sekcji Włączenie, bo pokazuje pewien haczyk.\nDrugi przypadek dotyczy AMD. Układy Zen 5 mają błąd w instrukcji RDSEED20. Informacje o wydaniu Proxmox 9.1 opisują, co dzieje się dalej: jądra od 6.17.9 wzwyż „without active microcode update will disable the RDSEED32 CPU-bit, and will fail to run Qemu guests with a CPU type that exposes that bit (for example EPYC or EPYC-v4)”21. Poprawką jest amd64-microcode 3.20251202.1~bpo13+1 lub nowszy, czyli wersja z repozytorium Proxmox, a nie z Debiana.\nW tej pułapce jest druga. Na płytach Zen 5, których BIOS jest starszy niż poprawka podatności Entrysign od AMD, jądro odrzuca nowy mikrokod i loguje No sha256 digest for patch ID, a rada Proxmox to aktualizacja BIOS-u21. Na takim sprzęcie droga przez system działa więc dopiero wtedy, gdy producent płyty zrobi swoją część.\nWłączenie Najpierw zapisz, gdzie jesteś. Na hoście, jako root:\npveversion grep -m1 vendor_id /proc/cpuinfo # GenuineIntel or AuthenticAMD grep microcode /proc/cpuinfo | uniq # revision running now dpkg -l intel-microcode amd64-microcode 2\u0026gt;/dev/null | grep ^ii dmesg | grep -i microcode lscpu \u0026gt; /root/lscpu-before.txt # vulnerabilities and mitigations Jeśli dpkg już pokazuje pasujący pakiet jako ii, host jest gotowy i możesz przejść do sprawdzenia wyniku.\nWłącz komponent. Apt w trixie woli format deb822 .sources, a przewodnik aktualizacji Proxmox wskazuje apt modernize-sources do konwersji starych jednoliniowych plików, z zachowaniem oryginałów jako .bak22. Potem dodaj non-free-firmware do linii Components: zarówno w głównej, jak i w bezpieczeństwa sekcji w /etc/apt/sources.list.d/debian.sources. To plik z mojego hosta, który pochodzi z instalatora:\nTypes: deb URIs: http://deb.debian.org/debian/ Suites: trixie trixie-updates Components: main contrib non-free-firmware Signed-By: /usr/share/keyrings/debian-archive-keyring.gpg Types: deb URIs: http://security.debian.org/debian-security/ Suites: trixie-security Components: main contrib non-free-firmware Signed-By: /usr/share/keyrings/debian-archive-keyring.gpg Obie sekcje, bo Debian dostarcza mikrokod do stable obiema drogami. Archiwum bezpieczeństwa ma intel-microcode 3.20250812.1~deb13u1, podczas gdy główne archiwum poszło dalej, do 3.20251111.1~deb13u123, a ty chcesz ten, który jest najnowszy.\nZainstaluj ten, który pasuje do CPU.\napt update apt install intel-microcode # Intel apt install amd64-microcode # AMD Tylko ten dla twojego producenta. Odtąd nowy mikrokod przychodzi ze zwykłymi przebiegami apt full-upgrade, a każda nowa wersja wymaga restartu tak jak pierwsza.\nInstalacja przebudowuje initramfs, bo tam musi mieszkać wczesny mikrokod. Jądro czyta go z nieskompresowanego archiwum na początku initrd, jako kernel/x86/microcode/GenuineIntel.bin lub AuthenticAMD.bin15, a skrypt instalacyjny pakietu odpala trigger initramfs, żeby go tam umieścić24. To mój węzeł Intela przyjmujący pakiet w trakcie pisania tego wpisu:\n# grep -A6 \u0026#39;Setting up intel-microcode\u0026#39; /var/log/apt/term.log Setting up intel-microcode (3.20251111.1~deb13u1) ... intel-microcode: microcode will be updated at next boot Processing triggers for man-db (2.13.1-1) ... Processing triggers for initramfs-tools (0.148.4) ... update-initramfs: Generating /boot/initrd.img-7.0.14-24-pve Running hook script \u0026#39;zz-proxmox-boot\u0026#39;.. Re-executing \u0026#39;/etc/kernel/postinst.d/zz-proxmox-boot\u0026#39; in new private mount namespace.. zz-proxmox-boot to hook Proxmox. Na hoście, którego partycje EFI utrzymuje proxmox-boot-tool, kopiuje nowy obraz; ten nie ma żadnych do synchronizacji.\nTeraz spójrz, który obraz wygenerował. Bez podanego jądra update-initramfs -u przebudowuje tylko najnowszy: „The default is the latest kernel version”25. Ten sam węzeł, zaraz potem:\n# uname -r 7.0.14-23-pve # for f in /boot/initrd.img-*; do echo \u0026#34;$f: $(lsinitramfs $f 2\u0026gt;/dev/null | grep -c GenuineIntel.bin)\u0026#34;; done /boot/initrd.img-7.0.12-1-pve: 0 /boot/initrd.img-7.0.14-11-pve: 0 /boot/initrd.img-7.0.14-12-pve: 0 /boot/initrd.img-7.0.14-19-pve: 0 /boot/initrd.img-7.0.14-23-pve: 0 /boot/initrd.img-7.0.14-24-pve: 1 /boot/initrd.img-7.0.14-8-pve: 0 Jeden obraz na siedem niesie mikrokod i nie jest to ten, na którym host działa.\nNastępny start Initramfs ma mikrokod Rewizja, na której kończy CPU 7.0.14-24, domyślna pozycja tak 0x24000026 z pakietu 7.0.14-23, przypięte lub pozycja zapasowa nie 0x1d z BIOS-u cokolwiek starszego nie 0x1d z BIOS-u Po instalacji przebuduj więc wszystkie obrazy, i znowu po każdej aktualizacji mikrokodu, bo każda odpala tę samą przebudowę tylko najnowszego. Potem uruchom pętlę powyżej jeszcze raz, żeby to udowodnić:\nupdate-initramfs -u -k all Zrestartuj i sprawdź. To mój host AMD 9.2 po wejściu pakietu z repozytorium Proxmox:\n# grep microcode /proc/cpuinfo | uniq microcode\t: 0xa500012 # dmesg | grep -i microcode [ 0.587928] microcode: Current revision: 0x0a500012 [ 0.587930] microcode: Updated early from: 0x0a50000d Updated early from to linia, która to dowodzi. Własny przewodnik administratora Proxmox wciąż pokazuje starsze sformułowanie, microcode updated early to revision13; obecne jądro wypisuje dwie linie powyżej26. Każda z tych form oznacza, że zadziałało.\nBrak takiej linii sam w sobie nie jest błędem. Pojawia się tylko wtedy, gdy pakiet zawiera coś nowszego zarówno od wbudowanej rewizji CPU, jak i od tej, którą załadował BIOS. Pakiet obejmuje mnóstwo modeli CPU, a przewodnik ma rację, że data na nim nie mówi, kiedy twój model ostatnio coś dostał13.\nPrzejście przez klaster Zmianę repozytorium i instalację można zrobić na wszystkich węzłach naraz. Nic się nie zmienia aż do restartu. Restarty idą po jednym węźle, a każdy węzeł jest zdrowy, zanim następny pójdzie w dół.\nRestart po kolei dla mikrokodu, jeden węzeł na przebieg Węzeł po węźle Kontrola kworum, Ceph OK Serwis goście wychodzą noout opcjonalne Restart sprawdź dmesg Czekaj OSD up i in Zwolnij zdejmij, przywróć następny węzeł, te same kroki Jeden węzeł na przebieg. Dwa kroki Ceph dotyczą tylko klastrów hiperkonwergentnych, a para noout jest opcjonalna. Krok Polecenie Gotowe, gdy Klaster zdrowy pvecm status, ceph -s kworum, HEALTH_OK Opróżnij węzeł ha-manager crm-command node-maintenance enable \u0026lt;node\u0026gt;, gości bez HA migruj ręcznie nie zostali na nim żadni goście Opcjonalnie, Ceph ceph osd set noout flaga widoczna w ceph -s Restart, weryfikacja dmesg | grep -i microcode widać nową rewizję Ceph odzyskany ceph -s wszystkie OSD up i in, HEALTH_OK Zwolnienie node-maintenance disable \u0026lt;node\u0026gt;, ceph osd unset noout goście HA przeniesieni z powrotem Tryb serwisowy HA zapisuje, skąd przyszedł każdy gość HA, i przenosi go z powrotem, gdy węzeł wyjdzie z trybu serwisowego27. Goście bez HA to twoja robota.\nCo do noout, opinie są podzielone i obie strony mają rację. Ceph szybko oznacza milczący OSD jako down, ale jako out dopiero po mon_osd_down_out_interval, które domyślnie wynosi dziesięć minut28, a to właśnie out uruchamia rebalans. Zwykły restart wraca dużo wcześniej. Serwer z długim POST, pytaniem firmware albo wolnym kontrolerem RAID może nie zdążyć. Ustawienie noout nie pozwala, żeby wolny restart zamienił się w rebalans. Ceną jest pamiętanie, żeby go zdjąć, a zapomniane noout ukrywa później prawdziwą awarię.\nZrób cały klaster w jednym oknie. Węzły z różnymi rewizjami mikrokodu to dokładnie sytuacja, w której gość z typem CPU host, który widzi funkcje fizycznego CPU bezpośrednio, może zostać zmigrowany na żywo na węzeł zgłaszający inny zestaw.\nKiedy aktualizacja mikrokodu pójdzie źle Rzadko, ale się zdarza, a przewodnik Proxmox opisuje to porządnie13.\nSytuacja Zrób to Dlaczego Podejrzewasz nowy mikrokod uruchom raz z dis_ucode_ldr wyłącza loader tylko na ten start29 Stara rewizja w porządku, nowa nie zainstaluj wcześniejszą wersję i wstrzymaj ją purge może zostawić działającą jeszcze starszą rewizję z BIOS-u Kilka tygodni później apt-mark unhold, potem full-upgrade poprawka gdzie indziej może to wyleczyć przy tej samej wersji mikrokodu Na jednorazowy start: menu GRUB (przytrzymaj Shift, jeśli jest ukryte), E na pozycji Proxmox, dopisz dis_ucode_ldr do linii zaczynającej się od linux, potem Ctrl+X. Host na systemd-boot zamiast GRUB opisuje rozdział o bootloaderze w przewodniku administratora.\nObniżenie wersji, na Intelu:\napt list -a intel-microcode # what versions exist apt install intel-microcode=\u0026lt;version\u0026gt; # pick the earlier one apt-mark hold intel-microcode # stop the next upgrade undoing it reboot Na AMD podstaw amd64-microcode. Obniżaj wersję, nigdy nie rób purge.\nUstawienie domyślne to obietnica dla tego, kto poszedł oczekiwaną drogą Żadne z nich nie jest błędem. Proxmox za każdym razem zrobił rozsądną rzecz: włączyć funkcję tam, gdzie jest bezpieczna, zostawić wyłączoną tam, gdzie może nie być, i przypiąć wirtualny sprzęt, na który gość jest wybredny. Instalator został poprawiony, narzędzie kontrolne aktualizacji to zgłasza, changelog mówi, co się zmieniło i kiedy. Proxmox zrobił swoje.\nAle ustawienie domyślne to obietnica złożona osobie, która zrobiła wszystko tak, jak oczekiwał producent. Świeża instalacja, właściwy typ OS, VM utworzona po lipcu. Każdy, czyje środowisko ma historię, a to każdy, kto uruchamia cokolwiek prawdziwego, jest częściowo poza tą obietnicą, a luka sama się nie zapowiada. Pokazuje się jako gość, który jest trochę wolny, zamrożenie VBS, którego nikt nie łączy z wersją maszyny, albo węzeł Zen 5, na którym goście EPYC nie startują po aktualizacji jądra.\nInformacje o wydaniu opisują, co dostaje nowa instalacja. Nie mówią nic o tym, co faktycznie działa na twoich hostach, a to są różne pytania. Jedyny sposób, żeby odpowiedzieć na to drugie, to pójść i popatrzeć: qm showcmd na gościach, dmesg na hostach, linia machine w konfiguracji. Nic z tego nie zajmuje więcej niż minutę na maszynę.\nTa minuta to jest robota. Proxmox daje ci narzędzia do sprawdzenia, a skoro tak, luka między tym, co założyłeś, a tym, co działa, jest twoja do zamknięcia, nie ich.\nQEMU documentation — Hyper-V Enlightenments — „No Hyper-V enlightenments are enabled by default by either KVM or QEMU”; opisy poszczególnych flag; hv-evmcs „The feature is Intel-only” i „some virtualization features (e.g. Posted Interrupts) are disabled when hv-evmcs is enabled”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nProxmox qemu-server — CPUConfig.pm — get_hyperv_enlightenments: bramki OVMF i wersji, zabezpieczenia wersji maszyny i kontrola GenuineIntel dla hv_evmcs. Uruchomione tutaj z qemu-server 9.2.11.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nProxmox VE admin guide — Qemu/KVM Virtual Machines — „You can choose between the default Intel 440FX or the Q35 chipset” i „switch from the default SeaBIOS to OVMF”; „For Windows guests, the machine version is pinned during creation, because Windows is sensitive to changes in the virtual hardware - even between cold boots”; właściwość level i ustawienia domyślne cet-ibt/cet-ss dla tych gości.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nProxmox qemu-server — Debian changelog — 9.2.0 (15 lipca 2026) włącza hv-evmcs dla gości 11/2022/2025 na Intelu od maszyny 11.0+pve2; 9.1.14 udostępnia level; 9.1.12 wyłącza cet-ibt i cet-ss; przypinanie przy przełączeniu na typ OS Microsoft Windows (styczeń 2025); 6.0-6 (23 lipca 2019) „Make sometimes problematic \u0026lsquo;hv-tlbflush\u0026rsquo; and \u0026lsquo;hv-evmcs\u0026rsquo; CPU flags optional”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nProxmox qemu-server — Machine.pm — can_run_pve_machine_version zwraca fałsz, gdy major.minor QEMU maszyny jest nowsze niż zainstalowana binarka; rewizje +pveN są wymienione w tym samym pliku.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nProxmox qemu-server 9.2.0 — debian/control — w commicie „bump version to 9.2.0” z 15 lipca 2026 zależność czasu działania to pve-qemu-kvm (\u0026gt;= 7.1~).\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nProxmox VE Roadmap — 9.0, Installation ISO — „Install the microcode package matching the current platform… This also means that installations now have the non-free-firmware repository enabled.”; to samo wydanie wymienia „QEMU 10.0.2”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nProxmox pve-qemu — Debian changelog — 10.0.2-1 (17 czerwca 2025) „update QEMU and downstream patches for 10.0.2 release”, które niesie upstreamową poprawkę 10.0 opisaną niżej; 10.1.2-3 „a regression with VNC clipboard breaking mouse pointer in Windows guests”; 10.1.2-5 poprawka io_uring dla „backup with TPM disk potentially getting stuck”; 11.0.0-1 „regression when using fuse export for swtpm”; 11.0.2-1 „recognize Hyper-V enlightenments in the list of supported CPUID flags”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nQEMU upstream changelogs, 10.0 — „Workaround \u0026lsquo;PCI Label Id\u0026rsquo; Windows bug, which is normally harmless but on localized versions can lead to guest hangs”; 10.1, 10.2 i 11.0 dla poprawek VSS i zamrażania w agencie gościa, w tym „Fix guest-fs-freeze cause «Access denied Event ID 8194» in Event Viewer”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nProxmox VE wiki — Qemu-guest-agent — dla tego gościa „First you have to download the virtio-win driver iso”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nProxmox qemu-server — CPUFlags.pm — lista flag dla VM, z cytowanymi wyżej opisami hv-tlbflush i hv-evmcs.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nProxmox pve-manager — OSDefaults.js — pozycja win11 ustawia machine: 'q35' i bios: 'ovmf'; pozostałe pozycje Microsoft Windows dziedziczą generic, które nie ustawia maszyny.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nProxmox VE admin guide — CPU Microcode Updates — wczesne aktualizacje z systemu, droga przez BIOS/UEFI jako zalecana, brak pakietu systemowego dla arm64, procedura dis_ucode_ldr i obniżanie wersji zamiast purge.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nProxmox VE pve-no-subscription repository for trixie — zawiera amd64-microcode 3.20251202.1~bpo13+1 i nie zawiera intel-microcode, odczytane 27 października 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLinux kernel documentation — The Linux Microcode Loader — „Since kernel 5.19, late loading is not enabled by default” i sekcja „Why is late loading dangerous?”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nDebian Wiki — Microcode — dostarczane przez producenta CPU „opaque” dane aktualizacji „is non-free, and its contents are unknown to Debian”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nProxmox pve-manager — pve8to9.pm — check_cpu_microcode_package loguje ostrzeżenie; wyszukiwanie $get_pkg, które wywołuje najpierw, loguje „unable to determine installed $pkg version.” jako błąd dla każdego niezainstalowanego pakietu.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLinux kernel documentation — Old Microcode — „The kernel keeps a table of released microcode. Systems that had microcode older than this at boot will say \u0026lsquo;Vulnerable\u0026rsquo;.” (wewnętrzny cudzysłów zmieniony z podwójnego na pojedynczy)\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nIntel — Linux Processor Microcode Data Files, release notes — wiersze JSL dla 06-9c-00/01, „Celeron N4500/N4505/N5100/N5105”, w wydaniach od 20210608 do 20240312; 0x24000026 odczytane z nagłówka 06-9c-00 w pakiecie Debiana.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nAMD security bulletin AMD-SB-7055 — problem RDSEED w procesorach Zen 5.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nProxmox VE Roadmap — 9.1 known issues, AMD Zen5 CPU issue with RDSEED — awaria startu gościa, poprawiona wersja pakietu i komunikat No sha256 digest na płytach bez poprawki Entrysign w BIOS-ie.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nProxmox VE wiki — Upgrade from 8 to 9 — apt modernize-sources konwertuje do deb822 i zachowuje stare pliki z przyrostkiem .bak.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nDebian packages — intel-microcode in trixie — wersje stable i security, sprawdzone krzyżowo z apt-cache policy na hoście.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nDebian sources — intel-microcode.postinst — dpkg-trigger --no-await update-initramfs, potem „microcode will be updated at next boot”; amd64-microcode robi to samo.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nDebian manual — update-initramfs(8) — dla -k „The default is the latest kernel version”, a „all” działa „on all installed kernel versions that already have an initramfs (with -d or -u)”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLinux kernel source — arch/x86/kernel/cpu/microcode/core.c — wypisuje „Current revision: 0x%08x” i „Updated early from: 0x%08x”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nProxmox VE admin guide — High Availability, maintenance mode — usługi HA są przenoszone gdzie indziej i wracają „automatically once the maintenance mode is disabled and the node is back online”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCeph documentation — Configuring Monitor/OSD Interaction — mon_osd_down_out_interval, „The number of seconds Ceph waits before marking a Ceph OSD Daemon down and out”, domyślnie 10 minut.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLinux kernel documentation — kernel parameters — dis_ucode_ldr: „Disable the microcode loader.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\n","permalink":"https://blogs.damiendye.uk/pl/proxmox/hyper-v-enlightenments-and-microcode/","summary":"Proxmox VE 9 włącza enlightenments Hyper-V dla gości Fisher-Price OS (Windows) i instaluje mikrokod CPU na nowych hostach, ale tylko jeśli VM dostała typ OS Microsoft Windows, a host pochodzi z instalatora 9.x. Tu jest o tym, co robią enlightenments, jakie dokładnie reguły stosuje qemu-server, żeby je wybrać (zmierzone na żywym hoście 9.2), dlaczego przypinanie wersji maszyny trzyma starsze VM z dala od lipcowej poprawki hv-evmcs z 2026 roku, jakiego buildu pve-qemu-kvm ta poprawka potrzebuje i co każde wydanie QEMU od 10.0 naprawiło dla tych gości, dlaczego ich miejsce jest na q35, a nigdy na i440fx (który kreator wciąż daje większości z nich), o dwóch flagach, które możesz ustawić ręcznie, jak udowodnić, co VM faktycznie uruchamia, skąd bierze się mikrokod (firmware płyty, Debian i własne repozytorium Proxmox), dlaczego host po aktualizacji nie ma go wcale (z węzłem Intela cztery wydania Intela do tyłu jako przykładem), o przebudowie initramfs, którą wywołuje jego instalacja, i starszych jądrach, które ta przebudowa pomija, o awarii RDSEED na Zen 5, która z tego wynika, o włączeniu go, restarcie po kolei w klastrze Ceph i wycofaniu złej aktualizacji.","title":"Dwa ustawienia domyślne Proxmox VE 9, których możesz nie mieć: enlightenments Hyper-V i mikrokod CPU"},{"content":"Mapa Google, moje fotoradary, jedna aplikacja Chciałem mieć na ekranie samochodu jedną rzecz. Mapę Google, ruch drogowy Google i prowadzenie zakręt po zakręcie od Google, a na wierzchu własne dane o fotoradarach, które ostrzegają mnie tylko o tych, które naprawdę patrzą na moją stronę drogi.\nNie znalazłem w Android Auto niczego, co by to robiło. Mapy Google mają mapę i trasy, ale nie da się do nich wczytać własnej bazy fotoradarów. Więc ją buduję.\nNazywa się AutoNavAlerts. To aplikacja nawigacyjna dla Android Auto zbudowana na Navigation SDK od Google, z napisanym na wierzchu systemem alertów o fotoradarach i punktach zainteresowania. Pierwszym źródłem fotoradarów jest PocketGPSWorld, z moją własną płatną subskrypcją. Kod jest publiczny na licencji Apache License 2.01 pod adresem github.com/damo2929/AutoNavAlerts.\nTo część pierwsza serii. Opisuje, co aplikacja robi, na co Google pozwala, a na co nie pozwala aplikacji zewnętrznej na ekranie samochodu, i jak powstała, bo prawie każdą jej linijkę napisał Claude, model AI firmy Anthropic, a ja ustalałem reguły, testowałem i biorę odpowiedzialność za wynik. Ta ostatnia część to osobna historia.\nTo wersja 0.1.0. Jest instalowana ręcznie, nie ma jej w Play Store i przejechała jedną prawdziwą trasę. Czytaj to jako dziennik budowy, a nie premierę produktu.\nCo robi dziś Oto, co jest w wersji testowej i do czego służy każda część:\nObszar Co robi Nawigacja Mapa Google z ruchem drogowym, wyszukiwanie miejsc, podgląd trasy z ETA, prowadzenie zakręt po zakręcie na ekranie auta, na pasku bocznym i na wyświetlaczu kierowcy Jazda do kontaktu Powiedz lub wpisz imię, a zapisane adresy kontaktu pojawią się nad wynikami Places. Do Google trafia tylko adres, który wybierzesz Żyje z twoją muzyką Tylko szablony nawigacyjne, więc muzyka zachowuje swoją kartę na podzielonym ekranie. Komunikat alertu ścisza muzykę, nigdy jej nie pauzuje Alerty o fotoradarach Trzy etapy na fotoradar, tylko dla fotoradarów skierowanych w twoim kierunku jazdy, na drodze, którą jedziesz Odcinkowe pomiary prędkości Strefa zaczyna się tylko wtedy, gdy przed tobą jest kolejny fotoradar z tym samym limitem, i kończy na ostatnim fotoradarze Panel prędkości Twoja prędkość i limit na drodze, zawsze obok siebie, w prawym dolnym rogu Limity prędkości offline Jedno pobranie limitów z OpenStreetMap dla Wielkiej Brytanii: 1 326 619 dróg w 29 MB na telefonie. Nic nie jest sprawdzane w trakcie jazdy Trasy dla aut elektrycznych Najszybsza trasa i energooszczędna trasa Google obok siebie, a ty wybierasz Dane o fotoradarach Twoja własna subskrypcja PocketGPSWorld, sprawdzana codziennie, nigdy nie podmieniana w trakcie nawigacji. Albo import plików iGO, KML, GPX, OV2 lub CSV Zgłoś fotoradar Jedno dotknięcie w aucie zapisuje pozycję, kierunek i limit, z opcjonalnym komentarzem głosowym. Przegląd i wysyłka odbywają się na telefonie, nigdy w trakcie jazdy Alerty o fotoradarach są powodem, dla którego aplikacja istnieje, więc dostają następną sekcję.\nFotoradar liczy się tylko wtedy, gdy patrzy na ciebie Alert o fotoradarze, który odpala się dla drugiej jezdni, jest gorszy niż brak alertu. Uczy cię go ignorować. Pierwsza twarda reguła projektu brzmi więc: fotoradar ostrzega tylko wtedy, gdy jest skierowany w twoim kierunku jazdy, a ta reguła nigdy nie jest luzowana, nigdy obchodzona wartością domyślną i nigdy porzucana, gdy dane są niewygodne.\nJak odczyt pozycji staje się alertem o fotoradarze Wejście Cztery sprawdzenia, każdy odczyt Wyjście prędkość i GPS auta gdy auto je udostępnia GPS telefonu 10 odczytów na sekundę twoje zestawy fotoradarów na telefonie 1. dość blisko 2. przed tobą 3. w twoją stronę 4. na twojej drodze baner na mapie w aucie alert głosowy, muzyka ściszona fotoradar wyróżniony na mapie oblany test: brak alertu; odwrócony jest przygaszony, ze strzałką Jak odczyt pozycji staje się alertem. Do dziesięciu pozycji na sekundę przechodzi przez cztery sprawdzenia; tylko fotoradar, który przejdzie wszystkie cztery, zostaje wypowiedziany i podniesiony jako alert. Silnik działa przy każdym odczycie pozycji, do dziesięciu na sekundę. Dla każdego pobliskiego fotoradaru zadaje cztery pytania, po kolei:\nSprawdzenie Przechodzi, gdy Po co jest Dość blisko w odległości wyzwolenia plus 200 m, maksymalnie 3 km żadnej pracy na fotoradary oddalone o kilometry Przed tobą namiar na fotoradar w granicach 45° od twojego kursu fotoradar za tobą to już historia Skierowany w twoją stronę kierunek fotoradaru w granicach 45° od twojego kursu albo, na łuku, od namiaru na fotoradar druga jezdnia milczy Na twojej drodze w granicach 50 m od trasy przed tobą albo, w jeździe bez trasy, w korytarzu 40 m, który poszerza się z odległością droga równoległa milczy Te 45° to nie jest hojność. Pliki TomTom od PocketGPSWorld podają kierunek fotoradaru w ośmiu punktach róży wiatrów, więc 22,5° zjadają dane, zanim cokolwiek innego się odezwie. Kurs z GPS kosztuje kilka stopni więcej, a krzywizna drogi jeszcze kilka. Dlatego nic innego nie może się w to wgryzać.\nFotoradar, który nie przejdzie sprawdzenia kierunku, nadal jest rysowany na mapie, przygaszony, ze strzałką pokazującą, w którą stronę patrzy. Widzisz go. Po prostu do ciebie nie mówi.\nTrzy etapy alertu przy 70 mph Domyślne wyprzedzenie: 15 sekund przy twojej prędkości, tu 70 mph ty, 70 mph fotoradar w twoją stronę druga jezdnia, odwrócony: przygaszony, milczy 1. alert 469 m przed, 15 s 2. alert 235 m przed, 7,5 s mijanie 100 yd (91 m) nie w skali; progi 242 m i 142 m rozdzielają dwa pierwsze przy małej prędkości Trzy etapy przy 70 mph z domyślnym wyprzedzeniem 15 sekund. Dwa pierwsze są liczone od twojej prędkości; alert przy mijaniu jest stały, na 100 jardach, i nie da się go wyłączyć, gdy dźwięk jest włączony. Etapy są liczone w czasie, a nie w stałych odległościach. Pierwszy alert przychodzi 15 sekund przed fotoradarem przy twojej obecnej prędkości, a drugi w połowie tego, oba z dolną granicą, żeby nigdy nie wchodziły na trzeci. Trzeci jest stały, na 100 jardach, i obowiązkowy zawsze, gdy dźwięk jest włączony. Odległość wyzwolenia podczas dojazdu może tylko rosnąć, więc ostre hamowanie nie skraca ostrzeżenia, które już ci się należało.\nNa co Google pozwala aplikacji na ekranie samochodu Tu robi się ciekawie, bo aplikacja zewnętrzna w Android Auto to nie Mapy Google. Działa w regułach ustalonych przez Car App Library z Android Auto, która daje aplikacjom „a set of visual templates approved for driver safety”2, i w granicach tego, co Navigation SDK zechce udostępnić.\nTrzy luki ukształtowały aplikację bardziej niż cokolwiek, co sam postanowiłem zbudować:\nCo Mapy Google w aucie Aplikacja na Navigation SDK Zgłoszenie wypadku, policji lub robót drogowych wbudowane niedostępne. Własna dokumentacja Google: „real-time disruptions are not available on Android Auto”3 Ograniczenie prędkości na drodze pokazywane tylko procent, o ile je przekraczasz, i tylko wtedy, gdy przekraczasz4 Dotyk na własnych kontrolkach mapy SDK n/d żaden. Android Auto „limits screen surface interaction to a series of SurfaceCallback methods”2 Weź ograniczenie prędkości. Google je zna. Google powie aplikacji, o ile je przekraczasz, jako procent i poziom powagi, a nic zupełnie, póki jedziesz poniżej. Czy mogę zapytać, dlaczego kierowca może poznać limit dopiero wtedy, gdy już go łamie? Odpowiedzi na to nie dostanę, więc aplikacja to obchodzi. Gdy przekraczasz, wylicza limit z powrotem z twojej prędkości i procentu. Poniżej używa fotoradaru, do którego się zbliżasz, potem pobranych danych z OpenStreetMap, a gdy nie ma żadnego limitu, pokazuje kreskę zamiast pustki.\nZgłaszanie zdarzeń ma ten sam kształt. API do zgłoszeń istnieją w widoku nawigacji na telefonie, a w widoku samochodowym nie. Ktoś już poprosił o to Google5 i zgłoszenie wciąż jest otwarte. Aplikacja sprawdza te API w czasie działania, więc jeśli późniejsze SDK je doda, przycisk zgłoszenia Google pojawi się bez żadnej zmiany w moim kodzie. Zadanie GitHub Actions sprawdza to co kwartał i otwiera zgłoszenie w dniu, w którym to nastąpi.\nReguła dotyku porządnie mnie zaskoczyła. Mapa samochodowa SDK rysuje własną kartę przyjazdu, nagłówek, przycisk wyśrodkowania, prędkościomierz i pasek podróży. Żadne z nich nie przyjmie dotknięcia, bo żaden dotyk nie dociera do widoku SDK. Wyglądają jak przyciski i nic nie robią. Wszystkie są więc wyłączone, a aplikacja rysuje własne kontrolki tam, gdzie dotknięcie faktycznie trafia.\nPrzynieś własny klucz, przynieś własne dane Dwie decyzje trzymają tę aplikację w uczciwości co do pieniędzy i licencji, i obie są celowe.\nNie ma wbudowanego klucza Maps. Google Maps Platform potrzebuje „a billing-enabled Cloud project”6, a Navigation SDK potrzebuje projektu, w którym jest włączone7. Gdybym dostarczał klucz, jazda wszystkich byłaby fakturowana na mnie, albo klucz by wyciekł i i tak byłaby fakturowana na mnie. Każdy użytkownik przynosi więc własny klucz, na własnym koncie Google Cloud. Aplikacja na telefonie może go utworzyć twoim własnym kontem Google albo możesz go wkleić. Jest przechowywany na telefonie w postaci zaszyfrowanej. Nie ma żadnej rezerwy, a aplikacja nie wykona ani jednego wywołania SDK, dopóki nie podasz klucza.\nW aplikacji nie ma danych o fotoradarach. PocketGPSWorld licencjonuje swoją bazę do użytku indywidualnego, każde pobranie znakuje znakiem wodnym członka i zabrania umieszczania jej gdziekolwiek, gdzie może do niej dotrzeć ktoś inny niż kupujący. Aplikacja więc nigdy jej nie dostarcza, nigdy jej nie hostuje i nigdy nie synchronizuje między telefonami. Logujesz się własną subskrypcją, a telefon pobiera twoją własną, oznakowaną kopię do prywatnego magazynu wyłączonego z kopii zapasowych. Na stanowisku testowym było to 19 826 fotoradarów w 33 zestawach, jeden zestaw na plik, nigdy nie scalane.\nAutomatyczna synchronizacja jest przy tym grzeczna. Czyta publiczny kanał RSS PocketGPSWorld raz dziennie8 i loguje się tylko wtedy, gdy jest nowe wydanie. Nigdy nie podmienia fotoradarów w trakcie nawigacji.\nJedna klauzula ich licencji nie jest tym w pełni załatwiona, ta o włączaniu danych do aplikacji. Do własnego użytku to akceptuję. Zanim aplikacja trafi do kogokolwiek innego, PocketGPSWorld dostanie maila z pytaniem.\nDwa dni, 87 commitów i najpierw dokument projektowy Teraz część, o którą ludzie będą się kłócić. Nie pisałem tego kodu. Napisał go Claude, przez Claude Code, dwoma modelami, Claude Fable i Claude Opus. Ja spisałem wymagania, podjąłem każdą decyzję, prowadziłem testy na stanowisku, jeździłem autem i przeglądałem to, co wracało. Każdy commit ze zmianami napisanymi przez AI ma stopkę, która to mówi, i README też.\nOto liczby, odczytane z repozytorium:\nMiara Wartość Commity 87, od 22:10 11 października do 12:44 13 października 2026 Commity z linią współautora Claude 83 (56 Fable, 27 Opus) Kotlin w aplikacji i jej bibliotece rdzeniowej 15 334 linii Testy jednostkowe 211, w 3464 liniach DESIGN.md, specyfikacja 1763 linie, napisane przed jakimkolwiek kodem Dokument projektowy był pierwszy i to najbardziej przydatna rzecz, jaką mogę powiedzieć każdemu, kto to robi. Jego pierwsze zdanie mówi, że żaden kod nie powstaje, dopóki dokument nie zostanie zatwierdzony, a każda późniejsza zmiana trafia najpierw do niego. Każda klasa ma spisane zadanie. Każdy próg ma powód. Każda reguła, którą ustaliłem, jest oznaczona jako moja, z datą.\nTo ważne, bo model zapomina. Długa sesja zostaje streszczona, a streszczenie zachowuje sedno i gubi szczegóły, a w szczegółach siedzą błędy. Własny AGENTS.md repozytorium mówi to wprost: nie polegaj na streszczeniu tych plików z pamięci ani z wcześniejszej sesji. Agent wraca do dokumentu. Za każdym razem.\nW drugiej fazie pracowali też równolegle dwaj agenci, jeden nad prowadzeniem, mapą i ekranami, drugi nad lokalizacją, alertami, mową i znacznikami na mapie. Każdy miał spisaną listę swoich plików, a interfejsy między nimi ustalono z góry: dodawaj, nie zmieniaj nazw. Scaliły się czysto, bo granicę ustalono, zanim którykolwiek zaczął, a nie odkryto po fakcie.\nKażda twarda reguła wzięła się z czegoś, co zobaczyłem Projekt ma listę twardych reguł i żadna z nich nie wzięła się z tablicy. Każda wzięła się z patrzenia, jak to działa na Desktop Head Unit9, emulatorze ekranu samochodowego Google na PC, albo w aucie, i z zobaczenia, że robi coś źle.\nTwarda reguła Co zobaczyłem, że stała się regułą Fotoradar ostrzega tylko wtedy, gdy jest skierowany w twoją stronę alerty dla drugiej jezdni to szum, który uczy ignorować alerty Nic na ekranie auta, co nie działa dwa przyciski stop na ekranie, jeden z nich martwy Żadna funkcja pokazana dwa razy ta sama para, do tego dwa przyciski wyśrodkowania, dwa wskaźniki prędkości Jedno anulowanie, to od Google karta w rogu z X należy do samego Android Auto, rysowana z podróży publikowanej przez aplikację, więc własny przycisk stop aplikacji wyleciał Żadnego drgania na ekranie auta ekran More trząsł się na postoju, bo co sekundę wysyłał ponownie identyczny ekran, a Android Auto animuje każde odświeżenie Każdy przycisk po prawej stronie przyciski mapy siedziały w lewym górnym rogu, dopóki ekran auta nie zgłosił rozmiaru; teraz od początku jedna kolumna wzdłuż prawej krawędzi, nic naszego po lewej Nigdy wbudowanego klucza Maps niczyja jazda nie jest fakturowana na kogoś innego Drganie lubię najbardziej, bo jest takie małe, a poszłoby do wydania. Wiersz GPS na żywo tykał raz na sekundę. Każde tyknięcie wysyłało ponownie cały ekran, bez zmian, a host go animował, więc każdy wiersz poniżej podrygiwał, choć auto stało. Poprawka to jedno porównanie: przerysuj tylko wtedy, gdy linijka się zmieniła. Reguła jest większa niż poprawka. Ekran, który stoi w miejscu, musi wyglądać na nieruchomy, a sprawdza się to serią zrzutów ekranu, które muszą być identyczne.\nTo jest prawdziwa robota, gdy kod pisze AI. Nie męczy się i nie przeszkadza mu przepisywanie, ale nie widzi ekranu samochodu. Ty widzisz. Zapisanie tego, co zobaczyłeś, jako reguły, z datą, sprawia, że nie wraca to trzy sesje później.\nCo kod zrobił źle i jak to złapano Sporo. Nic egzotycznego, a każdy błąd złapało uruchomienie, a nie czytanie:\nUsterka Co robiła Jak ją złapano Trasa dopasowana do złego odcinka trasa Google spod zaparkowanego auta szła na północ, zawracała na rondzie i wracała na południe tą samą drogą. Dopasowywacz przypiął auto do odcinka w kierunku północnym oddalonego o 10 m, więc każdy fotoradar w kierunku południowym był „poza drogą” o ponad kilometr. Nic nie ostrzegło skryptowana jazda na stanowisku; log alertów mówił offRoad lateral=1204 dla każdego fotoradaru Za krótki strażnik mowy pozwalał na 1,5 s plus 70 ms na znak. Liczby mówi się dłużej, więc każdy alert drugiego etapu był ucinany w pół zdania zapisy mowy z przebiegu na stanowisku Ograniczenie częstotliwości w silniku przy trzysekundowym oknie, z dwóch fotoradarów na jednym skrzyżowaniu, jeden przepadał na dobre śledzenie alertów, które zamilkły podczas pierwszej prawdziwej jazdy Nieaktualny kurs emulator zgłasza kurs 0° bez względu na wszystko, więc na drodze w kierunku południowym każdy fotoradar oblewał sprawdzenie kierunku symulowany przejazd w dół A61 Zmiany limitu wypowiadane jako alerty o fotoradarach zmiana limitu przed tobą trafiała do kolejki jako alert pierwszego etapu log mowy na stanowisku Przy drugim warto się zatrzymać. Każdy pojedynczy test przechodził. Kod był poprawny według własnej miary. Miał po prostu limit czasu wybrany przez kogoś, kto nigdy nie słyszał, jak telefon czyta na głos odległość. Test, który to łapie, to prawdziwy głos, zmierzony, w prawdziwym przebiegu.\nPierwsza prawdziwa jazda 12 października wgrałem wersję release na telefon i wyjechałem nią XPENG G6 przez bezprzewodowe Android Auto. Dwie rzeczy poszły źle. Trasa ustawiona na postoju kasowała się w ciągu kilku sekund od ruszenia. A niektóre alerty były wypowiadane, a inne nie, bez żadnego wzoru, który bym widział.\nPotem gorszy problem. Nie zostało nic do przeczytania. ColorOS w moim telefonie wyrzuca linie logów aplikacji, więc jazda nie zostawiła żadnych dowodów. Czy to była aplikacja, SDK Google czy samo Android Auto? Nie umiałem powiedzieć.\nPoprawką po pierwszej jeździe nie była więc zmiana kodu. Były nią dowody. Aplikacja zapisuje teraz na telefonie przez cały czas dwa logi, jeden dla tras i mapy, drugi dla każdej decyzji o alercie, w 15-sekundowych paczkach, plus opcjonalny rejestrator jazdy, który zapisuje każdą pozycję, żeby jazdę dało się odtworzyć na stanowisku. Potem poprawiono zgadywanki, każdą napisaną tak, żeby robiła mniej i logowała, że to zrobiła. Każdy sposób, w jaki prowadzenie może się zakończyć, zapisuje teraz, kto je zakończył.\nOd tamtej pory na stanowisku Android Auto wywołało stop raz, 2 minuty i 35 sekund po starcie prowadzonej jazdy. Klikałem wtedy po head unicie, więc najpewniej był to X na jego własnej karcie. Nie zdarzyło się, gdy nikt nie dotykał ekranu. Następna jazda to rozstrzygnie, bo tym razem jazda zostawi ślad.\nCo dalej Lista na stanowisku wciąż jest długa. Następne jazdy sprawdzą przycisk anulowania, scenariusze łuku i jazdy pod prąd, przekazanie między GPS auta a GPS telefonu oraz to, czy wyświetlacz kierowcy w G6 w ogóle pokazuje karty manewrów z aplikacji zewnętrznej.\nPóźniejsze części serii porządnie wejdą w matematykę silnika alertów, obejścia ograniczenia prędkości, formaty PocketGPSWorld i samo stanowisko: jak testuje się aplikację Android Auto bez samochodu, ze skryptowanym GPS i emulatorem, który myśli, że każda droga biegnie na północ.\nMaszyna pisze, standard jest twój Nasłuchałem się sporo gadania o AI piszącej kod, głównie od ludzi, którzy ją sprzedają, albo od ludzi, którzy się jej boją. To, co znalazłem, jest nudniejsze niż jedno i drugie, i bardziej przydatne.\nPisze szybko i się nie nudzi. Przepisze ekran po raz czwarty bez westchnienia. Czego nie zrobi, to nie zauważy, że ekran More się trzęsie, że zdanie zostało ucięte albo że martwy przycisk siedzi obok żywego. Nie widzi samochodu. To ja miałem to zobaczyć, a jedynym powodem, dla którego to poprawiono, jest to, że każdą rzecz zapisałem jako regułę, którą musi przeczytać, zanim czegokolwiek dotknie.\nW związku z tym odpowiedzialność się nie przesuwa. Kod jest mój, bo to ja ustalam standard, któremu musi sprostać, i to ja siedzę w aucie. Nic z tego, co trzymało go w uczciwości, nie jest metodą od AI. Pisanie specyfikacji przed kodem, zapisywanie tego, czego się nauczyłeś, i zbieranie dowodów zamiast zgadywania to sposób, w jaki porządną inżynierię robiło się zawsze. Narzędzie tego nie zmienia. Pozwala tylko szybciej się dowiedzieć, kto to pomijał.\nApache License, Version 2.0 — licencja, na której opublikowano kod AutoNavAlerts.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nGoogle — Navigation SDK for Android: Android Auto — Car App Library zapewnia „a set of visual templates approved for driver safety”, a „Android Auto limits screen surface interaction to a series of SurfaceCallback methods”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nGoogle — Navigation SDK for Android: real-time disruptions — „real-time disruptions are not available on Android Auto”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nGoogle — Navigation SDK for Android: speed alerts — onSpeedingUpdated(float percentageAboveLimit, SpeedAlertSeverity speedAlertSeverity): procent ponad limit i poziom powagi, a nie sam limit.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\ngooglemaps/flutter-navigation-sdk issue #726 — „Incident reporting on Android Auto \u0026amp; CarPlay”, otwarte 17 czerwca 2026, wciąż otwarte.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nGoogle Maps Platform — Get started — „you must create a billing-enabled Cloud project and enable the desired APIs or SDKs”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nGoogle — Navigation SDK for Android: set up your project — „A Google Cloud console project with the Navigation SDK enabled.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nPocketGPSWorld — brytyjska baza fotoradarów, z której aplikacja się synchronizuje, z własną subskrypcją każdego użytkownika.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nAndroid Developers — Test using the Desktop Head Unit — emulator Google dla ekranu samochodowego Android Auto.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\n","permalink":"https://blogs.damiendye.uk/pl/android/autonavalerts-part-one-a-sat-nav-of-my-own/","summary":"AutoNavAlerts to aplikacja nawigacyjna dla Android Auto, którą buduję na Navigation SDK od Google: mapa Google, ruch drogowy, wyszukiwanie i prowadzenie zakręt po zakręcie, a na wierzchu system alertów o fotoradarach, który wczytuje moją własną subskrypcję PocketGPSWorld i ostrzega tylko o fotoradarach skierowanych w moim kierunku jazdy. Część pierwsza opisuje, co aplikacja robi dziś, na co Google pozwala aplikacji zewnętrznej na ekranie samochodu, a czego jej odmawia (zgłaszanie zdarzeń, ograniczenie prędkości, dotyk na własnych kontrolkach SDK), dlaczego każdy użytkownik przynosi własny klucz Maps i własne dane o fotoradarach, oraz jak kod został napisany z Claude: najpierw dokument projektowy, 87 commitów w niecałe dwa dni, twarde reguły, które wyszły z testów na stanowisku, błędy napisane przez agentów i to, jak każdy z nich został złapany, oraz pierwsza prawdziwa jazda samochodem.","title":"AutoNavAlerts, część pierwsza: własna nawigacja dla Android Auto"},{"content":"Gdy prosisz o stronę, nic się nie uruchamia W tym tygodniu projekt PHP wydał poprawki na PHP2Shell, a jego komunikat mówił, że atak może zadziałać „before any application code runs”1. O tym, co to znaczy dla PHP, pisałem w PHP: dwadzieścia dziewięć lat zostawiania otwartych drzwi. Ten wpis jest o drugiej połowie odpowiedzi. A co, jeśli nic się w ogóle nie uruchamia?\nTak właśnie działa ten blog. Kiedy poprosiłeś o tę stronę, żaden mój program nie wystartował, nie czytał bazy danych, nie sprawdzał logowania i nie składał żadnego HTML. Odesłano ci plik, który już istniał. To wszystko.\nTak wygląda ta różnica, zmierzona tego samego dnia na zwykłym WordPressie zainstalowanym od zera w labie i na tej stronie w takiej postaci, w jakiej działa teraz:\nZwykły WordPress 7.1.3 Ta strona Trasy REST API 133 0 Trasy REST przyjmujące zapis 62 0 Metody XML-RPC 80 0 Pliki wykonywane na serwerze 1514 PHP 0 Pliki zapisywalne przez użytkownika serwującego stronę 3785 z 3785 żadne: nic nie działa, więc nic nie zapisuje Baza danych 12 tabel, konto aplikacji ze wszystkimi uprawnieniami brak Strona logowania wp-login.php, działa brak; ta ścieżka zwraca 404 POST, PUT lub DELETE na stronę główną PHP i tak się uruchamia i renderuje stronę odrzucone na brzegu sieci z 405; nic się nie uruchamia Żadne z tych zer nie jest ustawieniem, które wyłączyłem. To zera, bo rzecz, którą liczą, tu nie istnieje. Nie zaatakujesz strony logowania, której nigdy nie zbudowano.\nCo zwykły WordPress wystawia do internetu Nie chciałem się o to spierać z pamięci, więc to zmierzyłem. Oficjalne obrazy kontenerów wordpress i mariadb, uruchomione w podmanie na mojej własnej maszynie i przypięte do localhosta, zainstalowane bez żadnych dodatków: żadnych wtyczek poza tymi w pakiecie, domyślny motyw, jeden administrator. WordPress 7.1.3 na PHP 8.3.36. Potem policzyłem, na co odpowiada.\nCo odpowiada na żądanie: WordPress kontra strona statyczna Żądanie do WordPressa Żądanie do tej strony internet serwer WWW PHP uruchamia kod przy każdym żądaniu rdzeń WordPressa: 1514 plików PHP plus każda wtyczka i motyw 133 trasy REST, 80 metod XML-RPC wszystko zapisywalne przez serwer baza danych, ALL PRIVILEGES logowanie, admin, cron, uploady internet brzeg sieci Cloudflare odsyłany jest plik 6343 pliki, zbudowane zawczasu nie działa żaden nasz kod POST, PUT, DELETE: 405 na serwerze nie ma gdzie pisać brak bazy danych brak logowania, admina i crona Co odpowiada na żądanie. W WordPressie każde wyświetlenie strony uruchamia PHP przez rdzeń, wtyczki i bazę danych, na plikach, które ten sam użytkownik może nadpisać. Tutaj odsyłany jest gotowy plik i nic się nie uruchamia. Największą pojedynczą powierzchnią jest REST API. Pięć przestrzeni nazw, 133 trasy, 257 par trasa i metoda oraz 62 trasy, które przyjmują jakiś zapis. Trafiło do rdzenia w WordPressie 4.7, „with REST API endpoints for posts, comments, terms, users, meta, and settings”2. A wyłączać go nie wolno: „You should not disable the REST API; doing so will break WordPress Admin functionality that depends on the API being active.”3 Więc zostaje włączone.\nCo jest domyślnie wystawione Co mówi o tym dokumentacja samego WordPressa XML-RPC, 80 metod włączone domyślnie od 3.5: „Enable XML-RPC by default, remove Writing Settings option”4 REST API, 133 trasy „content that is public on your site is generally publicly accessible via the REST API”5 lista użytkowników GET /wp/v2/users zwraca w widoku domyślnym nazwę wyświetlaną, slug, link i awatar każdego autora6 wp-login.php i xmlrpc.php „xmlrpc.php is a frequent brute‑force target”; „Apply rate limits to /wp-login.php and /xmlrpc.php globally.”7 wp-cron.php „WP-Cron works by checking, on every page load, a list of scheduled tasks to see what needs to be run.”8 edytor motywów i wtyczek „This is often the first tool an attacker will use if able to login, since it allows code execution.”9 Lista użytkowników zasługuje na drugie spojrzenie. W moim labie anonimowe żądanie do tego punktu końcowego zwróciło jedyne konto administratora, z nazwą wyświetlaną i slugiem. Ktoś, kto nigdy się nie zalogował, dowiaduje się, jakie konta ma strona, zanim w ogóle czegoś spróbuje, na świeżej instalacji, z założenia. Nikt nie musiał niczego źle skonfigurować.\nPotem pliki. Oficjalny obraz uruchamia Apache jako www-data, a www-data jest właścicielem całego katalogu WWW. Wszystkie 3785 plików, w tym 1514 plików PHP, są zapisywalne przez tego samego użytkownika, który uruchamia kod. Każdy plik. Kod też. wp-config.php, z hasłem do bazy danych w środku, leży w katalogu WWW z uprawnieniami 644. Konto bazy danych, którego używa WordPress, ma ALL PRIVILEGES na swojej bazie.\nTo jest model jednego procesu z wpisu o PHP, na żywo i bez zmian, prosto z oficjalnego obrazu. To nie jest źle prowadzona strona. To punkt wyjścia, od którego zaczyna każda strona na WordPressie, zanim trafi do niej pierwsza wtyczka.\nA większość bierze się właśnie z wtyczek. Patchstack naliczył w 2025 roku 11 334 nowe podatności w ekosystemie WordPressa. „91% of new vulnerabilities were found in plugins, and 9% were found in themes. There were only 6 vulnerabilities reported in the WordPress core.”10 Prawie połowa nie miała poprawki w chwili upublicznienia, a mediana czasu do masowego wykorzystania tych, na których zależało atakującym, wynosiła pięć godzin10.\nCo ta strona wystawia do internetu Ten blog to 6343 pliki. Oto wszystkie, według rodzaju:\nRodzaj pliku Liczba Co to jest .html 3486 strony, w pięciu językach .xml 1576 kanały RSS i mapy strony .svg 1181 diagramy, okładki, ikony .png 46 zrzuty ekranu .json 10 indeks wyszukiwania i znaczniki buildu .js 4 małe skrypty, które działają w twojej przeglądarce, nie na serwerze .css, fonty i reszta 40 style i pliki dołączone do wpisów Wykonywane na serwerze 0 Jest tam kilka plików .py i .sh. To skrypty dołączone do wpisów, do pobrania przez czytelników, i serwer wysyła je jako tekst. Nic na serwerze ich nie uruchamia. Nie ma tam nic, czym dałoby się je uruchomić.\nStrona jest wdrożona do Cloudflare jako zasoby statyczne, bez żadnego skryptu Workera. Konfiguracja wdrożenia nie ma punktu wejścia, a dokumentacja Cloudflare mówi, co to oznacza: „The main key is optional for assets-only Workers.”11 Gdy żądana ścieżka pasuje do pliku, „that file will be served” bez wywoływania kodu Workera, a „If no Worker script is present, a 404 Not Found response is returned.”12 Do tego nic nie kosztuje: „Requests to static assets are free and unlimited.”13\nCloudflare to wybór, nie wymóg. Wynik to katalog plików, a serwować go może dowolny serwer HTTPS, który umie wysłać plik: nginx, Caddy, Apache serwujący wyłącznie pliki statyczne albo bucket obiektowy za CDN. Linki są względne, więc ten sam build działa bez zmian z korzenia domeny i z podkatalogu; sprawdziłem to, serwując zbudowaną stronę pod /preview/ i potwierdzając, że wszystkie 592 lokalne odwołania na sześciu stronach się rozwiązują. Zmiana hostingu to skopiowanie katalogu. Jedyny element specyficzny dla Cloudflare to plik _headers; gdzie indziej te same nagłówki trafiają do konfiguracji samego serwera. Przenosi się to, co ważne. Cokolwiek ją serwuje, musi tylko wysyłać pliki, więc nigdy nie musi uruchamiać twojego kodu.\nWięc strona na żywo odpowiada tak:\n$ for m in POST PUT DELETE; do curl -s -o /dev/null -w \u0026#34;$m %{http_code}\\n\u0026#34; -X $m https://blogs.damiendye.uk/en/; done POST 405 PUT 405 DELETE 405 $ for p in wp-login.php xmlrpc.php wp-admin/ wp-json/; do curl -s -o /dev/null -w \u0026#34;%{http_code} $p\\n\u0026#34; https://blogs.damiendye.uk/$p; done 404 wp-login.php 404 xmlrpc.php 404 wp-admin/ 404 wp-json/ Nic nie odpowiada. Tak to zaprojektowano.\nNagłówki bezpieczeństwa wychodzą z każdym plikiem ze zwykłego pliku tekstowego _headers w repozytorium, który Cloudflare czyta przy wdrożeniu14. Content Security Policy przywiązuje każdy skrypt, styl, obraz, font i połączenie do tego jednego źródła. Powiem wprost o luce w niej: script-src i style-src wciąż mają 'unsafe-inline', bo motyw wpisuje do strony kilka małych skryptów. To zaległe zadanie w tym pliku i dokładnie tak jest zapisane w repozytorium.\nA publikowanie nie potrzebuje drzwi. W WordPressie publikacja to zapis przez HTTP: edytor, REST API i XML-RPC istnieją, bo tak wpisy trafiają na serwer, i każde z nich jest drogą do środka. Tutaj piszę wpis jako plik tekstowy i wypycham go do repozytorium Git, a build wysyła gotowe pliki przez API wdrożeń Cloudflare. Nic, co serwuje stronę, nie przyjmuje zapisu z sieci, bo nic tego nie potrzebuje. Repozytorium jest do tego prywatne. Poproś GitHub o nie bez moich danych logowania, a odpowiedzią jest 404, więc źródła, szkice i historia też nie leżą w internecie.\nPowierzchnia ataku to liczba, nie wrażenie OWASP definiuje powierzchnię ataku jako „the sum of all paths for data/commands into and out of the application, and the code that protects these paths”15 i mówi, że zmniejsza się ją przez „turning off features and interfaces that aren\u0026rsquo;t being used”15. Brytyjskie National Cyber Security Centre ujmuje to dosadniej: „If would-be attackers can\u0026rsquo;t reach an interface, they can\u0026rsquo;t attack it.”16 Jego program Cyber Essentials robi z tego wymóg: „remove or disable unnecessary software (including applications, system utilities and network services)”17.\nPolicz więc drogi, według tego, czym są, a nie ile ich jest:\nDroga do środka lub na zewnątrz WordPress Strona statyczna logowanie i zgadywanie haseł wp-login.php, XML-RPC brak interfejs administracyjny /wp-admin/, z edytorem kodu brak programowalne API REST i XML-RPC, z zapisem brak kod po stronie serwera przy każdym żądaniu rdzeń, motyw, każda wtyczka brak baza danych tak, osiągalna ze wszystkich powyższych brak zapisywalna pamięć na serwerze uploady, a w zwykłym obrazie wszystko brak zaplanowane zadania wyzwalane przez odwiedzających wp-cron.php przy ładowaniu strony brak cudzy kod, który musisz łatać każda wtyczka i motyw, na serwerze narzędzia buildu, poza serwerem co atakujący zyskuje z ukradzionej sesji stronę nie ma się do czego zalogować Dziewięć wierszy. Po stronie statycznej żaden z nich nie uruchamia kodu na serwerze. Każdy z tego samego powodu. Praca została wykonana, zanim ktokolwiek poprosił o stronę.\nTen przedostatni wiersz to uczciwy haczyk i o nim jest reszta tego wpisu. Strona statyczna wciąż uruchamia kod. Tylko robi to gdzie indziej, raz, przed publikacją.\nJak Hugo pilnuje uczciwości buildu Hugo to „a static site generator written in Go”18, więc program, który buduje, sam jest kompilowany i bezpieczny pamięciowo, co ma znaczenie po wpisie o PHP. Jego strona o bezpieczeństwie stawia granicę dokładnie tam, gdzie ten wpis: wynik „runs directly in the browser”, ale „during development and site building, the hugo executable itself is the runtime environment.”19 A o serwowaniu wprost: „We have no online production server”19. Dobrze.\nW obrębie buildu domyślnie wszystko jest zamknięte. „Hugo\u0026rsquo;s built-in security policy, which restricts access to os/exec, remote communication, and similar operations, is configured via allowlists. By default, access is restricted.”20\nDomyślne ustawienie Hugo Co blokuje „No arbitrary commands”19 szablon nie może wywołać powłoki na maszynie exec.allow ograniczone do Sass, Go, Git, Node i PostCSS20 tylko nazwane narzędzia, ze stałymi flagami funcs.getenv ograniczone do ^HUGO_ i ^CI$20 szablony nie mogą czytać twoich sekretów ze środowiska zdalne pobieranie odrzuca hosty będące adresem IP i localhostem20 szablon nie sięgnie do twojej własnej sieci moduły sprawdzane względem go.sum19 podmieniona zależność wywala build Ta strona celowo poszerza jedno z nich. Dodaje zmienne commitu z CI do funcs.getenv, żeby znacznik buildu pod /en/version.json mógł zapisać, który commit zbudował stronę na żywo. To wybór dokonany i zapisany, a o to w liście dozwolonych chodzi. Tym samym to nie dziura. To decyzja.\nDokąd przenosi się ryzyko: build Zabierz serwer, a ryzyko nie znika. Przenosi się na to, co buduje pliki. Framework SLSA nazywa oba zagrożenia dokładnie: „build integrity threat”, w którym przeciwnik wprowadza „behavior to an artifact without changing its source code”, oraz „dependency threat”, przez „compromising some other artifact that the former depends on at build time”21.\nGdzie działa kod: WordPress, ta strona i build offline GDZIE DZIAŁA KOD CO JEST OSIĄGALNE PUBLICZNIE WordPress publiczny serwer, przy każdym żądaniu PHP, wtyczki, baza danych Ta strona kontener buildu Cloudflare, przy pushu tylko pliki statyczne Budowana offline twoja własna maszyna, raz tylko pliki statyczne build nadal ufa Hugo, motywowi i maszynie, na której działa Gdzie działa kod w każdym modelu. WordPress uruchamia go na publicznym serwerze dla każdego odwiedzającego. Ta strona uruchamia go raz na każdy push, w kontenerze buildu Cloudflare. Budowany offline, uruchamia się raz na maszynie, która należy do ciebie. Ta strona jest w środkowym wierszu i nie będę udawał, że jest inaczej. Buduje się w kontenerze buildu Cloudflare przy każdym pushu do repozytorium. Ten kontener to nie serwer, który ci odpowiada, i znika, gdy build się kończy. Ale na czas buildu powierza mu się wszystko, co trafia na stronę.\nA build miał dwie luki, obie znalezione przy pisaniu tego wpisu. Jedna jest załatana. Druga to wybór.\nLuka Dlaczego to ważne Stan binarkę Hugo brano na wiarę: własne pobieranie w skrypcie nie sprawdzało sumy kontrolnej, a w CI i tak je pomijało i używało kopii zainstalowanej w obrazie buildu Cloudflare podmieniona binarka zbudowałaby, co by chciała załatane 23 października 2026: build zawsze sam pobiera Hugo, sprawdza je z opublikowaną sumą SHA-256 wydania22 i odmawia budowania przy niezgodności motyw śledzi gałąź master swojego upstreamu przy każdym buildzie zmiana w upstreamie może zmienić stronę na żywo bez żadnego commitu tutaj otwarte, z wyboru; poprawką jest przypięcie go do commitu albo przeniesienie do modułu Hugo objętego go.sum19 Pierwszą rzecz znajduje się tylko wtedy, gdy czyta się własny skrypt buildu linijka po linijce. Skrypt sprawdzał wersję. Ale ciąg wersji to coś, co binarka mówi sama o sobie. Nie dowodzi niczego o bajtach. Teraz sprawdzane są bajty:\nFetching Hugo Extended 0.167.0... Hugo verified: sha256 0163f5c3deddac1f494a1629ddc40c65d18de9d5794facd98f7f96ac2c7d8957 A kopia tego samego archiwum z jednym dodanym bajtem jest odrzucana:\nRefusing to build: hugo_extended_0.167.0_linux-amd64.tar.gz does not match the release checksum expected 0163f5c3deddac1f494a1629ddc40c65d18de9d5794facd98f7f96ac2c7d8957 got 92682d765d9d34bc53d6f818d56e598d34b5b8267a1cc3b9971da0f53c792251 Motyw to świadomy kompromis, aktualność kosztem powtarzalności, i tak jest zapisany. Ale to dokładnie zagrożenie zależności opisane przez SLSA i uczciwie jest to powiedzieć. Żadna z luk nigdy nie wystawiła strony na żywo na odwiedzającego. Obie były zaufaniem złożonym w buildzie, a wolę je wypisać, niż czekać, aż znajdzie je czytelnik.\nNawet suma kontrolna ma granicę. Dowodzi, że pobrany plik to ten sam plik, który jest na stronie wydania. Nie dowodzi, kto go tam umieścił: wśród plików wydania nie ma podpisów22. To integralność, nie autentyczność, i dziś to najwięcej, co projekt oferuje.\nBudowanie offline, raz Najsurowsza wersja zabiera build z cudzej maszyny. Buduj na maszynie, którą masz i kontrolujesz, sprawdź, co zbudowałeś, i wyślij tylko gotowe pliki. Nic w internecie nigdy nie uruchamia twojego buildu, a hosting nie widzi niczego poza wynikiem.\nKrok Po co zainstaluj dokładne wydanie Hugo i sprawdź je z opublikowaną sumą SHA-256 wiesz, która binarka zbudowała twoją stronę przypnij motyw i wszystkie moduły do commitów i zacommituj go.sum build zmienia się tylko wtedy, gdy ty go zmieniasz buduj do czystego katalogu wyjściowego, bez --buildDrafts publikujesz to, co zamierzałeś opublikować zanim wynik wyjdzie z maszyny, poszukaj w nim czegokolwiek wykonywalnego strona statyczna nie powinna zawierać nic, co serwer by uruchomił wyślij tylko katalog wyjściowy, z danymi uwierzytelniającymi służącymi wyłącznie do wdrożeń hosting nigdy nie trzyma twoich źródeł, narzędzi ani historii serwuj z hostingu, który przy plikach statycznych nie uruchamia żadnego kodu przy serwowaniu nie zostaje nic do łatania To kilka poleceń, nie projekt. I zmienia to, gdzie atakujący musi być, żeby ci zaszkodzić. Żeby zmienić stronę na WordPressie, potrzebuje jednego żądania do serwera. Żeby zmienić taką stronę, potrzebuje twojej maszyny do budowania. To dużo mniejszy cel, i to taki, który możesz odłączyć od prądu.\nDziesięć tysięcy stron, zmierzone Powierzchnia ataku to jeden koszt uruchamiania kodu przy każdym żądaniu. Prąd to drugi, dysk trzeci. Więc oba poddałem temu samemu obciążeniu: 10 000 żądań strony głównej, po dziesięć naraz, z tego samego laptopa, zwykłym HTTP po localhoście, żeby żadna strona nie płaciła za TLS. Z jednej strony zwykły WordPress z labu. Z drugiej prawdziwe zbudowane pliki tej strony serwowane przez nginx w kontenerze, bo na brzeg sieci Cloudflare licznika nie założę. Czas CPU zużyty przez każdy kontener odczytywałem z jego cgroup przed każdym przebiegiem i po nim, po trzy przebiegi na stronę.\n10 000 żądań stron Zwykły WordPress 7.1.3 Ta strona na nginx Czas CPU, trzy przebiegi 409 s, 530 s, 575 s 0,15 s, 0,18 s, 0,19 s Czas CPU na stronę od 41 do 57 ms od 15 do 19 µs Stron na sekundę od 168 do 236 od 23 679 do 28 044 Pamięć pod obciążeniem od 302 do 310 MiB, plus 145 MiB na bazę danych 15 MiB Nieudane żądania 0 0 To od dwóch do trzech i pół tysiąca razy więcej czasu procesora na te same dziesięć tysięcy stron. Każda z tych sekund CPU została pobrana z gniazdka i zamieniona w ciepło. Strona statyczna obsłużyła wszystkie 10 000 mniej więcej w takim czasie procesora, jaki WordPress zużył na trzy albo cztery swoje strony.\nDysk mówi to samo:\nNa dysku i w pamięci Zwykły WordPress Ta strona Obrazy kontenerów potrzebne do uruchomienia 803 MB WordPress, 334 MB MariaDB 166 MB nginx albo nic na Cloudflare Sama strona 115 MB katalogu WWW, dla pustej strony 114 MB, pięć języków, każdy wpis i diagram Baza danych 163 MB plików z 0,72 MB danych brak Pamięć w spoczynku 170 MiB, plus 139 MiB na bazę danych 13 MiB Liczby WordPressa to świeża instalacja z jednym przykładowym wpisem. Liczby statyczne to cały ten blog.\nGwoli uczciwości wobec WordPressa: wtyczka cache\u0026rsquo;ująca całe strony zamknęłaby sporą część różnicy w CPU. Ale spójrz, czym jest ta poprawka. To statyczna kopia każdej strony postawiona przed PHP, żeby PHP się nie uruchamiało. Lekarstwem jest dokładnie to, za czym ten wpis się opowiada, przykręcone z boku do tego, przeciw czemu się opowiada, a strona logowania, API i baza danych dalej stoją za nim.\nZ czego rezygnujesz Uczciwa lista, bo strona statyczna nie jest właściwym narzędziem do wszystkiego:\nRezygnujesz z Co robi zamiast tego ta strona komentarzy brak; czytelnicy mogą napisać maila wyszukiwania po stronie serwera indeks JSON budowany razem ze stroną, przeszukiwany w twojej przeglądarce formularzy wysyłanych na serwer brak logowania i stref dla członków brak; wszystko tutaj jest publiczne edycji w przeglądarce wpisy to pliki tekstowe w repozytorium git natychmiastowej publikacji bez buildu build trwa minutę albo dwie Jeśli potrzebujesz sklepu, strefy dla członków albo kont użytkowników, potrzebujesz czegoś, co działa na serwerze, i ten wpis nie twierdzi inaczej. Twierdzi, że blog, strona wizytówka albo zestaw dokumentacji niczego takiego nie potrzebuje. Większość stron na WordPressie to jedno z tych trzech. Bądź uczciwy co do tego, czym jest twoja.\nZbuduj raz i serwuj martwe Najbardziej uderza mnie, ile ryzyka dźwiga się bez żadnego powodu. Strona firmowa, która zmienia się dwa razy w roku, a działa na niej baza danych, strona logowania, API z 62 zapisywalnymi trasami i uruchamiacz zaplanowanych zadań, który odpala się przy każdej wizycie. Wszystko po to, żeby wyprodukować ten sam HTML co wczoraj. Codziennie.\nTo nie jest decyzja techniczna. To nawyk, i to nawyk, za który ktoś wystawia fakturę. Hosting, wtyczki, dodatki bezpieczeństwa, sprzątanie, gdy coś pójdzie nie tak. Wyceniony jest jako zarządzany plan WordPressa. Kosztuje każdą z tych dróg trzymaną otwartą, łataną i pilnowaną, dla treści, która mogła być katalogiem plików.\nStandard, jakiego trzymam się przy tej stronie, jest prosty. Nie działa nic, co nie musi. Każda luka jest zapisana tam, gdzie następna osoba ją znajdzie, łącznie z dwiema w buildzie, a jedna z nich jest już zamknięta. Nie chodzi o spryt. Standard to to, czego się trzymasz, gdy nikt nie sprawdza, a bloga nikt nie sprawdza aż do dnia, w którym zacznie serwować cudzy kod.\nWięc zbuduj raz, sprawdź, co zbudowałeś, i serwuj martwe. Cokolwiek zostało do zaatakowania, jest na twojej maszynie, tam gdzie jego miejsce.\nPHP — News archive 2026, 21st October — „We consider the risk highest for mod_php, with a demonstrated exploit where an unauthenticated request can trigger the attack before any application code runs”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nWordPress 4.7 release notes — „WordPress 4.7 comes with REST API endpoints for posts, comments, terms, users, meta, and settings.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nWordPress REST API Handbook — Frequently Asked Questions — „You should not disable the REST API; doing so will break WordPress Admin functionality that depends on the API being active.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nWordPress 3.5 release notes — „Enable XML-RPC by default, remove Writing Settings option”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nWordPress REST API Handbook — „content that is public on your site is generally publicly accessible via the REST API”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nWordPress REST API reference — Users — GET /wp/v2/users, kontekst domyślny „view”; name, slug, link, avatar_urls w kontekście view.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nWordPress — Brute force attacks — „xmlrpc.php is a frequent brute‑force target”; „Apply rate limits to /wp-login.php and /xmlrpc.php globally.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nWordPress Plugin Handbook — Cron — „WP-Cron works by checking, on every page load, a list of scheduled tasks to see what needs to be run.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nWordPress — Hardening WordPress — edytor w kokpicie „is often the first tool an attacker will use if able to login, since it allows code execution.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nPatchstack — State of WordPress Security in 2026 — dane za 2025: 11 334 nowe podatności; 91% we wtyczkach, 9% w motywach, 6 w rdzeniu; 46% bez poprawki na czas ujawnienia; mediana 5 godzin do masowego wykorzystania.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCloudflare — Wrangler configuration — „The main key is optional for assets-only Workers.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCloudflare — Workers static assets — pasujący plik „will be served” bez wywoływania kodu Workera; „If no Worker script is present, a 404 Not Found response is returned.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCloudflare — Static assets billing and limitations — „Requests to static assets are free and unlimited.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCloudflare — Static assets headers — nagłówki ustawiane przez „a plain text file called _headers”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nOWASP — Attack Surface Analysis Cheat Sheet — „the sum of all paths for data/commands into and out of the application, and the code that protects these paths”; zmniejsza się ją przez „turning off features and interfaces that aren\u0026rsquo;t being used”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNCSC — Making compromise difficult, 2.2 Reduce attack surface — „If would-be attackers can\u0026rsquo;t reach an interface, they can\u0026rsquo;t attack it.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNCSC — Cyber Essentials: Requirements for IT infrastructure v3.2 — „remove or disable unnecessary software (including applications, system utilities and network services)”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nHugo — Introduction — „Hugo is a static site generator written in Go, optimized for speed and designed for flexibility.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nHugo — Security model — „during development and site building, the hugo executable itself is the runtime environment”; „We have no online production server”; „No arbitrary commands”; niezgodność sumy kontrolnej w go.sum wywala build.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nHugo — Configure security — „By default, access is restricted”; domyślne listy dozwolonych dla exec, getenv i http.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nSLSA v1.2 — Threats — zagrożenie integralności buildu: „behavior to an artifact without changing its source code”; zagrożenie zależności: „compromising some other artifact that the former depends on at build time”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nHugo v0.167.0 release — 36 plików, w tym hugo_0.167.0_checksums.txt (SHA-256); brak plików podpisu, SBOM i atestacji.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\n","permalink":"https://blogs.damiendye.uk/pl/security/a-static-site-has-nothing-to-break-into/","summary":"Ten blog jest budowany w Hugo i serwowany jako 6343 zwykłe pliki, a przy żadnym żądaniu nie uruchamia się ani linijka mojego kodu. Naprzeciw niego zwykły WordPress 7.1.3 zmierzony w labie na podmanie: 133 trasy REST, z czego 62 przyjmują zapis, 80 metod XML-RPC, 1514 plików PHP, każdy z jego 3785 plików zapisywalny przez tego samego użytkownika, pod którym działa serwer WWW, i konto bazy danych ze wszystkimi uprawnieniami. Ten wpis liczy obie powierzchnie ataku, wyjaśnia, co model bezpieczeństwa Hugo robi w czasie budowania, przyznaje, dokąd przenosi się ryzyko, gdy przy serwowaniu nic nie działa, łącznie z dwiema lukami w tym, jak budowana była ta strona (jedna jest już załatana), i pokazuje, jak zbudować stronę statyczną offline, raz, i wysłać na serwer wyłącznie gotowe pliki.","title":"Do strony statycznej nie ma się jak włamać"},{"content":"PHP2Shell, w tym tygodniu 21 października 2026 projekt PHP wypuścił naraz cztery wydania, 8.5.12, 8.4.27, 8.3.36 i 8.2.35, żeby naprawić dwie krytyczne luki w samym interpreterze1. Nie w WordPressie. Nie we wtyczce. W PHP.\nObie mają ocenę 9,2 w CVSS 4.0. Obie pozwalają na zdalne wykonanie kodu bez logowania. Badacze, którzy je znaleźli, opisali zasięg wprost: „Every PHP version released in the last decade is affected by at least one of these vulnerabilities, going back to version 5.4.”2\nResztę mówi własny komunikat projektu PHP:\nCo mówi komunikat Co to znaczy dla ciebie „unauthenticated remote code execution” nikt nie potrzebuje konta na twojej stronie „risk highest for mod_php” najpopularniejsza staromodna konfiguracja Apache jest w najgorszym położeniu „before any application code runs” twój własny kod, choćby najstaranniejszy, nie ma nic do powiedzenia „There are no complete mitigations, updating is the only safe choice.” żadna zmiana konfiguracji cię nie uratuje „PHP 8.1 and older no longer receive updates” duża część sieci nie dostanie żadnej poprawki I wykorzystywano to, zanim ktokolwiek został poinformowany. Sieć honeypotów Amazona zarejestrowała próbę 17 października, cztery dni przed ujawnieniem3. watchTowr zaobserwował ataki w praktyce 21., a działające proof of concept były publiczne w ciągu kilku godzin od łatki4.\nOba błędy to błędy bezpieczeństwa pamięci. Jeden dotyczy tego, jak interpreter sprząta po wyczerpaniu pamięci. Drugi to use-after-free: pamięć należąca do jednego żądania zostaje zwolniona, a potem znowu odczytana, i następne żądanie na tym samym workerze może ją zobaczyć56. Zapamiętaj ten drugi. Wróci później.\nNic z tego nie jest nowe. Na tym polega sens tego wpisu. PHP2Shell to nie wypadek, który przytrafił się starannemu językowi. To najnowsza strona w historii długiej na prawie trzydzieści lat, a każda liczba w niej jest publiczna.\nJeden proces trzyma wszystko Od listopada 2014 do kwietnia 2017 byłem inżynierem Linuksa trzeciej linii na platformie chmurowej i hostingowej Pulsant. Częścią tej pracy była konfiguracja środowisk PHP-FPM dla klientów e-commerce i strojenie ich, żeby działały szybko.\nWłamania przez PHP były powszechne. Nie od czasu do czasu. Powszechne. I sprowadzały się do dwóch przyczyn: kiepskiego wdrożenia i braku rozdzielenia między frontendem a backendem.\nJęzyk sprawia, że to drugie jest ustawieniem domyślnym. Typowa strona w PHP to jeden proces. Szablon strony, logika biznesowa i SQL żyją w tym samym handlerze żądań, często w tym samym pliku. Ten proces działa jako jeden użytkownik systemu operacyjnego. Może przeczytać hasło do bazy danych, bo hasło leży w pliku obok kodu. I zwykle może pisać do własnego katalogu WWW, bo tak działają uploady i aktualizacje.\nJeden proces trzymający wszystko wobec warstw z własnymi granicami Zwykłe wdrożenie PHP Warstwy z własnymi granicami internet jeden worker, jeden użytkownik systemu szablony HTML logika biznesowa SQL, budowany w tym samym pliku wp-config.php: hasło do bazy uploads/: zapisywalny sam kod: zapisywalny jeden błąd sięga wszystkiego baza danych, pełne prawa internet frontend renderuje strony, bez danych logowania usługa backendu własny użytkownik, nie zapisze kodu odpowiada tylko na wąskie API baza danych, minimalne prawa Po lewej zwykła strona w PHP: wszystko w jednym workerze, jeden użytkownik, jeden błąd od całości. Po prawej warstwy z własnymi granicami: frontend nie trzyma żadnych danych uwierzytelniających, a backend nie może przepisać samego siebie. To nie moja opinia o tym, jak wdraża się PHP. Tak dokumentują to PHP i WordPress.\nŹródło Co mówi Podręcznik PHP, moduł Apache kiedy PHP działa jako moduł Apache, „it inherits Apache\u0026rsquo;s user permissions”, a „a malicious script could access and modify the database, even without a username and password”7 Podręcznik PHP, instalacja z Apache „The mod_php approach embeds PHP directly into every Apache httpd worker process.”8 WordPress, wp-config plik „is located in the root of your WordPress file directory and contains … database connection information”9 WordPress, uprawnienia plików wp-config.php „is initially created with 644 permissions, and it\u0026rsquo;s a hazard to leave it like that”10 WordPress, hardening użytkownik bazy danych „only needs” SELECT, INSERT, UPDATE i DELETE, a potem „it is NOT recommended to revoke these privileges”11 Przeczytaj jeszcze raz ostatni wiersz. Dostawca mówi ci, jak wyglądałyby minimalne uprawnienia, a potem mówi, żebyś tego nie robił, bo aktualizacje zmieniają schemat.\nPorównaj z wersją rozdzieloną. Frontend renderuje strony i nie trzyma żadnych sekretów. Backend to osobna usługa z własnym użytkownikiem, wąskim API i bez prawa zapisu do własnego kodu. Konto bazy danych może robić to, czego potrzebuje backend, i nic więcej. Wytyczne OWASP mówią to samo własnymi słowami: „The application\u0026rsquo;s backend database should be isolated from other servers”, w „a dedicated internal network segment”12. Własny podręcznik PHP mówi, że aplikacje „should never connect to the database as its owner or a superuser”13.\nNic z tego nie jest egzotyczne. Tak wygląda porządny proces. Tu ma to znaczenie z prostego powodu. W modelu rozdzielonym błąd we frontendzie daje atakującemu frontend. W zwykłym modelu PHP błąd gdziekolwiek daje mu szablony, kod, dane uwierzytelniające i dane, za jednym zamachem.\nPHP-FPM pomaga, a własny przewodnik instalacji PHP oznacza go teraz jako zalecany sposób uruchamiania PHP pod Apache8. Jego pule mogą uruchamiać workery „with different uid/gid/chroot/environment”14. Ale pula na stronę to wciąż jedna strona na proces, trzymający wszystko, co ta strona ma. To lepsza ściana między klientami. To nie jest ściana wewnątrz aplikacji.\nMiej ten obraz w głowie przez każdą sekcję poniżej. Każdy błąd z tej historii ląduje na tym procesie.\nDwadzieścia dziewięć lat CVE National Vulnerability Database wymienia każde CVE zgłoszone przeciwko interpreterowi PHP pod jednym identyfikatorem produktu, cpe:2.3:a:php:php. Zapytaj ją, a odpowie: 75715.\nCVE interpretera PHP rocznie, z udziałem uszkodzeń pamięci CVE zgłoszone przeciwko interpreterowi PHP, według roku publikacji wszystkie CVE: 757 uszkodzenia pamięci: co najmniej 288 40 80 120 114 120 1997 2002 2007 2012 2016 2021 2026 Każde CVE przeciwko interpreterowi PHP według roku publikacji, z nałożonym udziałem uszkodzeń pamięci. Policzone z API NVD 23 października 2026. Ta liczba to tylko interpreter. Bez WordPressa, bez Drupala, bez wtyczek, bez frameworków. Tylko program, który uruchamia twoje PHP.\nOkres CVE Uszkodzenia pamięci Co się działo 1997 do 2006 93 3 wczesna sieć, mało klasyfikacji 2007 114 19 Month of PHP Bugs 2008 do 2014 187 54 stałe tło 2015 do 2017 208 122 lata unserialize i pamięci 2018 do 2023 100 63 mniej, wciąż głównie pamięć 2024 do 2026 55 27 w tym oknie ląduje PHP2Shell Razem 757 288 Wyróżniają się dwa szczyty. Pierwszy to marzec 2007, kiedy były członek zespołu bezpieczeństwa PHP poprowadził Month of PHP Bugs, ujawniając luki w Zend Engine, rdzeniu PHP i jego rozszerzeniach „on a day by day basis”16. Założył PHP Security Response Team, potem z niego odszedł i powiedział dlaczego: „I dislike the ways bugs are handled”17. Kiedy założyciel zespołu bezpieczeństwa projektu odchodzi i publikuje jeden błąd dziennie, to mówi ci, jak szło w środku.\nDrugi szczyt to 2016: 120 CVE, z czego 65 to uszkodzenia pamięci. Więcej o tym niżej.\nLiczba dotycząca pamięci to minimum, nie szacunek. NVD oznacza sporą część starszych błędów jako „Other” zamiast typem słabości, łącznie z niektórymi use-after-free z następnej sekcji. Prawdziwa liczba jest wyższa. Używam tej, którą mogę pokazać.\nSilnik jest napisany w C Tu argument o bezpieczeństwie pamięci trzeba przeprowadzić ostrożnie, bo programista PHP całkiem słusznie zauważy, że jego kod nigdy nie wywołuje malloc. Skrypty PHP nie zarządzają pamięcią ręcznie. Nie napiszesz w PHP przepełnienia bufora tak, jak w C.\nNie musisz. Interpreter, który uruchamia twój skrypt, jest napisany w C, a jego rozszerzenia też są napisane w C. Każdy bajt niezaufanych danych, które dostaje twoja strona, każdy nagłówek, każdy upload, każde pole formularza, każde ciasteczko, jest parsowany przez ten kod w C, zanim zobaczy go twój kod. Kiedy ten C jest błędny, twoje staranne PHP nie ma znaczenia. PHP2Shell to udowodnił: komunikat mówi, że atak może zadziałać „before any application code runs”1.\nHistoria pokazuje, co ten C zepsuł:\nKlasa CWE Co to jest CVE interpretera PHP CWE-119 błędy bufora pamięci, ogólne 93 CWE-125 odczyt poza zakresem 50 CWE-190 przepełnienie liczby całkowitej 35 CWE-189 błędy numeryczne, starsze oznaczenie 33 CWE-416 use after free 27 CWE-787 zapis poza zakresem 26 CWE-476 dereferencja wskaźnika null 20 To są te klasy, o których mówią agencje bezpieczeństwa, kiedy mówią o bezpieczeństwie pamięci. W listopadzie 2022 NSA doradziła organizacjom „to consider making a strategic shift from programming languages that provide little or no inherent memory protection, such as C/C++, to a memory safe language when possible”18. W grudniu 2023 CISA, z brytyjskim National Cyber Security Centre wśród współautorów, podała liczbę: „two-thirds of reported vulnerabilities in memory unsafe programming languages still relate to memory issues”19.\nŻaden z tych dokumentów nie wymienia PHP. Nie muszą. Wymieniają język, z którego PHP jest zbudowany.\nNajgorszym powtarzającym się przykładem jest unserialize(), funkcja, która zamienia zapisany napis z powrotem w obiekty PHP. Miała ten sam rodzaj błędu, w tym samym miejscu, więcej niż raz:\nCVE Gdzie Co zapisuje NVD CVE-2014-8142 process_nested_data use-after-free w unserialize20 CVE-2015-0231 ta sama funkcja „exists because of an incomplete fix for CVE-2014-8142”21 CVE-2015-2787 obsługa __wakeup use-after-free w unserialize CVE-2016-5771 SPL, z odśmiecaniem pamięci use-after-free w unserialize22 CVE-2016-5773 ZipArchive, z odśmiecaniem pamięci use-after-free w unserialize Podręcznik PHP wie. Jego strona tej funkcji zawiera ostrzeżenie: „Do not pass untrusted user input to unserialize() regardless of the options value of allowed_classes.”23 To język, który mówi ci, że jedna z jego własnych wbudowanych funkcji nie jest bezpieczna dla tego, czym kod WWW zajmuje się przez cały dzień.\nDo tego PHP-FPM, menedżer procesów, który własny przewodnik instalacji PHP zaleca zamiast mod_php. W październiku 2019 CVE-2019-11043 pokazało, że „in certain configurations of FPM setup it is possible to cause FPM module to write past allocated buffers … opening the possibility of remote code execution”24. Chodziło o popularną konfigurację nginx. Poprawkę wydano 24 października 201925. CISA dodała to potem do swojego katalogu podatności wykorzystywanych w praktyce, z oznaczeniem, że użyto go w kampaniach ransomware26.\nPHP Foundation zleciła porządny audyt bezpieczeństwa kodu źródłowego interpretera i należy jej się za to uznanie. Wyniki, opublikowane 10 kwietnia 2025, wykazały 27 problemów, z czego 17 miało znaczenie dla bezpieczeństwa27. To dobra praktyka i powinna być normą. To także 17 kolejnych, w audycie kodu, który miał już za sobą prawie trzy dekady publicznych zgłoszeń błędów.\nJęzyk popełnił te same błędy piętro wyżej C to jedna warstwa. Język nad nią popełnił ten sam rodzaj błędu w swoim projekcie: ufał danym wejściowym, którym nie miał prawa ufać, i latami nie przestawał.\nFunkcja Co robiła Domyślnie wyłączona lub przestarzała Usunięta Czas register_globals zamieniała parametry żądania w zmienne skryptu wyłączona w 4.2.0, 22 kwietnia 200228 5.4.0, 1 marca 201229 dziesięć lat magic quotes automatycznie, i błędnie, escapowała dane wejściowe przestarzała w 5.3.0, 30 czerwca 2009 5.4.0, 1 marca 201230 trzy lata preg_replace /e wykonywała zamiennik jako kod PHP przestarzała w 5.5.0, 20 czerwca 201331 7.0.0, 3 grudnia 201532 dwa i pół roku allow_url_include pozwalała include pobierać kod przez sieć przestarzała w 7.4.033 metadane phar automatycznie deserializowane przy dostępie do pliku naprawione w 8.034 0 == \u0026quot;foobar\u0026quot; porównanie dawało prawdę naprawione w 8.035 register_globals zasługuje na osobny akapit. Przez lata każdy parametr w żądaniu, powiedzmy ?admin=1, stawał się zmienną w twoim skrypcie, a jeśli twój kod sprawdzał $admin przed jej ustawieniem, atakujący ustawił ją za ciebie. Sam podręcznik PHP nazwał jej wyłączenie „the most controversial change in PHP”29. Dziesięć lat od domyślnego wyłączenia do usunięcia. Tak długo projekt tolerował funkcję, o której wiedział, że jest niebezpieczna, bo jej usunięcie zepsułoby strony.\nPrzypadek phar to ten sam wzorzec warstwę niżej. W 2018 Sam Thomas pokazał na Black Hat, że zwykłe operacje na plikach ze ścieżką phar:// deserializują metadane podane przez atakującego, przenosząc problem unserialize() do funkcji, których nikt nie uważał za niebezpieczne36. PHP 8.0, pod koniec 2020, przestał robić to automatycznie, „to fix potential security vulnerabilities due to object instantiation, autoloading, etc.”34.\nPotem type juggling. Operator == w PHP konwertuje typy przed porównaniem, więc napisy, które wyglądają jak liczby, są porównywane jak liczby. RFC, które naprawiło część tego w PHP 8.0, ujęło to wprost: „This results in many surprising comparison results, the most notable of which is that 0 == \u0026ldquo;foobar\u0026rdquo; returns true.”35\nTa poprawka była prawdziwa. Była też częściowa. Oto ten sam test uruchomiony w oficjalnych kontenerach php:7.4-cli i php:8.5-cli, ten drugi w wersji 8.5.12, czyli wydaniu załatanym na PHP2Shell w tym tygodniu, z oboma wynikami obok siebie:\n$ php -r \u0026#39;var_dump(0 == \u0026#34;foobar\u0026#34;);\u0026#39; bool(true) # 7.4.33 bool(false) # 8.5.12 $ php -r \u0026#39;var_dump(\u0026#34;0e462097431906509019562988736854\u0026#34; == \u0026#34;0e830400451993494058024219903391\u0026#34;);\u0026#39; bool(true) # 7.4.33 bool(true) # 8.5.12 Dwa różne napisy, równe. Oba zaczynają się od 0e, po którym są cyfry, więc PHP czyta oba jako zero razy dziesięć do jakiejś potęgi, a zero równa się zero. Oba mają kształt skrótu MD5. Porównaj zapisany skrót hasła przez == zamiast === albo hash_equals(), a pasować będzie każde wejście, którego skrót przypadkiem zaczyna się w ten sposób. Jest to opisane od lat. Wciąż działa w najnowszym wydaniu.\nTo cały język w jednym przykładzie. Poprawka, która weszła, połowa problemu zostawiona, a bezpieczna wersja wymaga, żebyś wiedział, że istnieje inny operator.\nShell, prawie co roku Pytanie, które warto zadać o każdą platformę, to nie to, ile miała błędów. To, jak często ktoś mógł przejąć cały serwer bez hasła i bez tego, żeby ktokolwiek cokolwiek kliknął.\nNVD ocenia każde CVE. Przefiltruj 757 pod kątem oceny, która oznacza dokładnie to, atak przez sieć, bez uprawnień, bez interakcji użytkownika, wysoki wpływ na poufność i integralność, a dostaniesz 17215.\nOceny pełnego przejęcia bez uwierzytelnienia rocznie i potwierdzone wykorzystanie rocznie Ocenione jako pełne zdalne przejęcie, bez logowania, bez działania użytkownika CVE interpretera PHP, CVSS: sieć, bez uprawnień, bez interakcji, wysoki wpływ: 172 20 40 60 65 1997 2002 2007 2012 2016 2021 2026 Potwierdzone wykorzystanie: PHP i aplikacje w PHP w CISA KEV wpisy dodane rocznie, łącznie 81; katalog ruszył w listopadzie 2021 16 2021 16 2022 10 2023 8 2024 11 2025 20 2026 U góry: CVE interpretera ocenione jako pełne zdalne przejęcie bez logowania i bez działania użytkownika. Na dole: PHP i aplikacje w PHP dodawane co roku do katalogu CISA podatności wykorzystywanych w praktyce. 172 w 23 z 28 lat, w których w ogóle jest jakieś CVE dla PHP. Tylko pięć jest pustych. Sam 2016 ma ich 65.\nOcena powagi to ocena, nie włamanie. Druga połowa obrazu to więc katalog Known Exploited Vulnerabilities CISA, który wymienia tylko luki z potwierdzonym wykorzystaniem w praktyce26. Z jego 1754 wpisów według stanu na 21 października 2026, 81 to samo PHP albo aplikacje napisane w PHP:\nRok dodania PHP i aplikacje w PHP Cały katalog 2021 16 311 2022 16 555 2023 10 187 2024 8 186 2025 11 245 2026, do 21 października 20 270 2026 to już najgorszy rok dla PHP w katalogu, a PHP2Shell jeszcze w nim nie ma. Trzy tegoroczne wpisy dotyczą samego rdzenia WordPressa: dwa dodane 21 lipca i zdalne dołączanie plików 25 września.\nWpisy KEV, o których wiadomo, że użyło ich ransomware Co CVE-2019-11043 przepełnienie bufora w PHP-FPM CVE-2024-4577 wstrzykiwanie argumentów w PHP-CGI CVE-2021-3129 Laravel Ignition CVE-2018-7600, CVE-2018-7602 Drupal A katalog mocno zaniża liczby dla PHP. Jest zbudowany wokół amerykańskich systemów federalnych i wymaga CVE plus potwierdzonego wykorzystania. Ma 3 wpisy dotyczące wtyczek WordPressa. Ekosystem wtyczek WordPressa zanotował 11 334 podatności w samym 202537. Te 81 to część, którą ktoś oficjalny zapisał.\nWordPress to mnoży WordPress to 39,6% wszystkich stron internetowych i 58,3% stron, których system zarządzania treścią da się rozpoznać38. PHP jest językiem serwerowym 69,3% stron, na których to widać39. Jakakolwiek jest więc historia PHP, WordPress zanosi ją do bardzo dużej części sieci, a potem dokłada własną.\nRdzeń nie jest głównym problemem. Są nim wtyczki.\n2024 2025 Nowe podatności w ekosystemie WordPressa, Patchstack 796640 11 33437 We wtyczkach 96% 91% W rdzeniu 7 6 Nienaprawione przed publicznym ujawnieniem 33% 46% Mediana czasu do masowego wykorzystania, mocno atakowane błędy 5 godzin Wordfence, z własną bazą, naliczył 8223 za 2024, wzrost o 68% wobec 2023, i stwierdził, że „Roughly 35% of the vulnerabilities disclosed in 2024 remain unpatched in 2025”41. Różne bazy, różne sumy, ten sam kształt.\nZatrzymaj się na chwilę przy liczbach z 2025. Prawie połowa podatności nie miała poprawki od twórcy w chwili, gdy zostały upublicznione. A dla tych, za którymi atakujący naprawdę idą, mediana od ujawnienia do masowego wykorzystania to pięć godzin. Większość ludzi nie sprawdza aktualizacji wtyczek co pięć godzin. Większość nie może.\nMnożnikiem jest model wtyczek. Bezpieczeństwo strony zależy od najmniej starannego autora czegokolwiek, co jest na niej zainstalowane, a Wordfence stwierdził, że „over one third of developers are unreachable or unresponsive”, kiedy mówi się im o luce41. Patchstack naliczył 1614 wtyczek i motywów wycofanych z repozytorium w 2024 z powodu problemów bezpieczeństwa, których nikt nie naprawił40. A przez model jednego procesu każda wtyczka działa z pełnymi uprawnieniami strony.\nIncydentów jest długa lista. Oto te, za którymi stoją źródła pierwotne:\nRok Co Skala 2011 TimThumb, skrypt do obrazków dołączany do wielu motywów, pozwalał atakującym „upload and execute arbitrary PHP code”42 „many commercial and free themes” 2014 RevSlider, za kampanią SoakSoak43 „compromising over 100,000 WordPress sites” 2016 Mossack Fonseca, kancelaria od Panama Papers: jej strona „may have been breached via a vulnerable version of Revolution Slider”44 strona działała na podatnej wersji; jak wyciekły dane, nigdy nie wykazano 2017 Wstrzykiwanie treści przez REST API w WordPressie 4.7.0 i 4.7.1, włączone domyślnie45 66 000 podmienionych stron zaindeksowanych przez Google według Sucuri46; 1 893 690 według Wordfence cztery dni później47 2020 WP File Manager, wykonanie kodu bez uwierzytelnienia, wykorzystywane, zanim istniała łatka48 „over 700,000 active installations” 2025 SureTriggers, tworzenie konta administratora bez uwierzytelnienia49 „exploitation attempts observed within hours after disclosure” Z wierszem z 2016 obchodziłem się ostrożnie. Wordfence wykazał, że strona kancelarii działała na wersji slidera, którą trywialnie dało się wykorzystać. Nie wykazał, że tędy wyniesiono dokumenty, a ja nie zamierzam twierdzić więcej, niż pozwalają dowody.\nJak malware zostaje Dostanie się do środka to połowa. Druga połowa to zostanie w środku, a PHP to ułatwia z powodu, który prowadzi prosto z powrotem do obrazu jednego procesu.\nInterpreter uruchomi każdy plik .php, do którego sięga. Katalog WWW jest zwykle zapisywalny przez tego samego użytkownika, który uruchamia kod. Kiedy więc atakujący ma jakikolwiek sposób na zapisanie pliku, formularz uploadu, błąd we wtyczce, menedżer plików, może zapisać skrypt, który uruchomi się za każdym razem, gdy ktoś go zażąda. To jest web shell: mały plik, siedzący w twojej stronie i przyjmujący polecenia.\nCISA od lat mówi, w jakich językach są głównie pisane: „The most commonly observed web shells are written in languages that are widely supported, such as PHP and ASP.”50 Wspólne wytyczne NSA i Australian Signals Directorate nazywają je „a long-standing, pervasive threat that continues to evade many security tools”, trudnym do wykrycia, bo są „easily modified by attackers and often employ encryption, encoding, and obfuscation”51.\nLiczby z czyszczenia pokazują, jak często tam są:\nŹródło Ustalenie Sucuri, 2022, 43 374 wyczyszczone strony „69.63% of compromised websites were found to have at least one backdoor”; usunięto 1 188 864 backdoory52 Sucuri, 2022 „90% of credit card skimmers were found in the form of malicious PHP code”52 Sucuri, 2023, 39 594 wyczyszczone strony „49.21% of compromised websites were found with at least one website backdoor”; WordPress to 95,5% infekcji53 Wordfence, 2024 „just under one million distinct sites infected with malware”41 W najnowszym roku czyszczenia połowa zhakowanych stron wciąż miała więc na dysku drogę powrotną. Przywróć bazę danych, załataj wtyczkę, a atakujący wejdzie z powrotem przez plik, który zostawił.\nNie ma na to sprytnej poprawki. Jest ta nudna, porządna, a NSA ją spisała: „web applications should not have permission to write directly to a web accessible directory or modify web accessible code”51. To jedno zdanie to model rozdzielonych warstw z początku tego wpisu, wypowiedziany przez agencję wywiadowczą.\nGdzie to się psuje Mechanizm, który to zatrzymuje użytkownik środowiska uruchomieniowego może pisać do kodu kod należy do osobnego użytkownika wdrożeniowego, tylko do odczytu dla użytkownika środowiska uruchomieniowego uploady lądują w katalogu WWW przechowuj uploady „outside of the webroot” albo na innym serwerze54 PHP wykona wszystko w uploadach żadnego wykonywania skryptów dla ścieżek uploadu na serwerze WWW i „disable per directory configuration overrides on upload directories”54 nikt nie zauważa nowego pliku monitorowanie integralności plików względem znanej dobrej kopii51 konto bazy danych może wszystko minimalne uprawnienia dla użytkownika bazy danych13 Przewodnik hardeningu WordPressa, dla porządku, w ogóle nie wspomina o blokowaniu uruchamiania PHP w katalogu uploadów11. Dlatego tabela powołuje się zamiast tego na OWASP i NSA.\nZauważ, czego w tej tabeli nie ma. Własnych ustawień zabezpieczających PHP. Podręcznik jest co do nich uczciwy. disable_functions „can be circumvented and should not be considered a sufficient security measure for shared hosting environments”, a open_basedir „is just an extra safety net, that is in no way comprehensive, and can therefore not be relied upon when security is needed”55. Kiedy własna dokumentacja języka mówi ci, że jego pokrętła bezpieczeństwa nie są granicami bezpieczeństwa, uwierz jej. W związku z tym granica musi przyjść spoza procesu.\nNawet do php.net się włamano Gdyby własna infrastruktura projektu była solidna, można by twierdzić, że ta historia to trudny problem dobrze obsłużony. Włamano się do niej dwa razy.\nKiedy Co się stało 22 do 24 października 2013 „JavaScript malware was served to a small percentage of php.net users”; „two servers were compromised”, metoda „unknown at this time”56 28 marca 2021 „two malicious commits were pushed to the php-src repo” pod nazwiskami dwóch głównych deweloperów57 Ważny jest ten z 2021. Ktoś wypchnął kod do drzewa źródeł samego języka, podszywając się pod ludzi, którzy go utrzymują. Zostało to wyłapane. Odpowiedź projektu warto zacytować, bo jest właściwa i powiedziana wprost: „maintaining our own git infrastructure is an unnecessary security risk”, a repozytoria przeniesiono na GitHub57.\nNależy się uznanie: to była dobra decyzja, podjęta szybko i wyjaśniona otwarcie. Ale spójrz, do czego się przyznaje. Przez lata kanoniczne źródło języka, na którym działa większość sieci, żyło na samodzielnie utrzymywanej infrastrukturze, którą sam projekt uznał za ryzyko, którego nie powinien był ponosić.\nPołowa sieci działa na wersji, której nikt nie łata Wszystko powyżej zakłada, że strona jest aktualna. Ogromna liczba nie jest.\nphp.net wspiera obecnie cztery gałęzie. 8.2 dostaje tylko poprawki bezpieczeństwa, do 31 grudnia 2026. 8.3, 8.4 i 8.5 to reszta58. Wszystko starsze jest po końcu życia: 8.1 od 31 grudnia 2025, 8.0 od listopada 2023, 7.4 od listopada 202259.\nA teraz zmierzony udział tego, co naprawdę działa:\nIle PHP działa na wersjach, których php.net już nie łata Używana wersja PHP według statusu wsparcia php.net Strony PHP (W3Techs) 48,3% 18,0% 33,7% Instalacje WordPressa 34,7% 23,5% 41,8% bez wsparcia już teraz 8.2, bez wsparcia od 31 grudnia 2026 8.3 i nowsze Używana wersja PHP według statusu wsparcia. Strony PHP według udziałów wersji z W3Techs; instalacje WordPressa według statystyk samego wordpress.org. Oba odczytane 23 października 2026. Bez wsparcia dziś Bez wsparcia od 1 stycznia 2027 Strony PHP, W3Techs6061 48,3% około 66% Instalacje WordPressa, wordpress.org62 34,7% około 58% Samo PHP 7.4, bez wsparcia od prawie czterech lat, to mniej więcej piąta część wszystkich stron PHP, które pokazują swoją wersję. Strona wymagań WordPressa prosi o PHP 8.3, a potem mówi, że WordPress „also works with PHP 7.4+”, zaznaczając, że te wersje „have reached their official End Of Life”63. Dostawca, który wciąż działa na martwej wersji, to dostawca, który postanowił nie zmuszać cię do przejścia.\nDwa uczciwe zastrzeżenia. W3Techs widzi wersję tylko na stronach, które ją ogłaszają. A niektóre dystrybucje Linuksa przenoszą poprawki do starych buildów PHP, więc „bez wsparcia php.net” nie zawsze znaczy „niezałatane”. Ale PHP2Shell jest tego sprawdzianem. Projekt tym razem opublikował łatki źródłowe dla 7.4, 8.0 i 8.11, a ktoś wciąż musi je zbudować, wydać i zainstalować. Na hostingu współdzielonym z wersją, której nikt nie jest właścicielem, tym kimś jest nikt.\nPorzuciłem go. Ty też powinieneś rozważyć odejście. Kiedyś pisałem w PHP. Po Pulsant porzuciłem ten język, z powodu problemów, które powodował, i pracy, którą te problemy generowały. Nie jeden zły incydent. Lata tych samych dwóch przyczyn, na stronie za stroną, a sprzątanie spadało na tego, kto akurat miał dyżur.\nPowiem więc wprost. Jeśli wybór należy do ciebie, rozważ odejście od niego. Są dziś do tego lepsze narzędzia, a Go jest tym, które wskazałbym ci najpierw.\nNie dlatego, że jest modne. Dlatego, że domyślnie usuwa większość tego, co liczył ten wpis:\nZwykła strona w PHP Usługa w Go Bezpieczeństwo pamięci silnik napisany w C, 288 CVE z uszkodzeniem pamięci bezpieczne pamięciowo z założenia; wymieniają je i NSA, i CISA1819 Uruchamianie kodu parsowany i kompilowany od nowa przy każdym żądaniu, chyba że załadowany jest OPcache, rozszerzenie, które przed 8.5 dodajesz sam; potem uruchamiany przez interpreter napisany w C; JIT od 8.0, domyślnie wyłączony6465 kompilowane raz, z wyprzedzeniem, do natywnego kodu maszynowego66 Obsługa żądania serwer WWW przekazuje każde żądanie do interpretera jedna skompilowana binarka sama odpowiada na HTTP Plik wrzucony do katalogu WWW plik .php uruchamia się w chwili, gdy ktoś go zażąda nic nie uruchamia pliku z dysku z powodu jego ścieżki Wyjście HTML echo pisze surowo; escapowanie to funkcja, o której musisz pamiętać html/template escapuje domyślnie, według kontekstu67 SQL prepared statements istnieją w PDO, jeśli ich używasz udokumentowany sposób przekazuje parametry jako argumenty68 Znane luki w tym, od czego zależysz dowiadujesz się z wiadomości govulncheck zgłasza tylko te, które twój kod naprawdę wywołuje69 Gdzie leżą części kod, konfiguracja i uploady w jednym zapisywalnym drzewie binarka tylko do odczytu, a konfiguracja i uploady gdzie indziej Kompilacja liczy się podwójnie. Jest szybciej: programy w Go „are compiled ahead of time to native machine code”, bez maszyny wirtualnej pod spodem, a jednym z deklarowanych celów projektowych jest „to approach the performance of C for comparable programs”66. I jest bezpieczniej, bo na ścieżce żądania nie ma interpretera parsującego kod w czasie działania i nie ma silnika w C z 757 CVE stojącego między siecią a twoim programem. PHP, zostawiony sam sobie, robi odwrotnie. Bez OPcache ładuje, parsuje i kompiluje każdy skrypt przy każdym żądaniu, niepotrzebnie, tysiące razy na minutę na obciążonej stronie. OPcache istnieje, żeby to zatrzymać, „removing the need for PHP to load and parse scripts on each request”64. Ale nie jest włączony od razu po instalacji. Do 8.4 włącznie to osobne rozszerzenie współdzielone, które ktoś musi załadować przez zend_extension i skonfigurować. Dopiero PHP 8.5 ma go wbudowanego: „The Opcache extension is now always built into the PHP binary and is always loaded”70. Własne RFC projektu dla tej zmiany mówi, że „running PHP in production without OPcache is generally considered a mistake”71. W3Techs daje 8.5 na 4,5% stron PHP 860, więc dla prawie wszystkiego, co dziś działa, lekarstwo na kompilowanie każdego skryptu przy każdym żądaniu wciąż jest dodatkiem, o którym ktoś musiał pamiętać. A nawet załadowany, buforuje kod bajtowy, który uruchomi interpreter w C. Go kompiluje raz, zanim program zobaczy jakiekolwiek żądanie.\nSzybciej i bezpieczniej, pod warunkiem że jest porządnie napisane. Ten ostatni warunek to cała treść kolejnych kilku akapitów.\nPakiet szablonów Go streszcza swój projekt w jednej linii: generuje „HTML output safe against code injection”, a „The escaping is contextual, so actions can appear within JavaScript, CSS, and URI contexts.”67 Jego przewodnik po bazach danych jest równie prosty: „You can avoid an SQL injection risk by providing SQL parameter values as sql package function arguments.”68 To są ustawienia domyślne. W PHP to rzeczy, o których musisz wiedzieć, żeby po nie sięgnąć.\nWiersz, który bym podkreślił, to wrzucony plik. Połowa zhakowanych stron, które Sucuri wyczyściło w 2023, wciąż miała backdoor na dysku53, a to działa tylko dlatego, że interpreter uruchomi każdy skrypt, do którego sięga. Skompilowana usługa nie szuka skryptów. Wrzucony plik nie ma się do czego podpiąć.\nA teraz część uczciwa, bo język to nie lekarstwo. Go jest bezpieczniejsze pamięciowo, nie doskonale. Jego własny model pamięci mówi, że wyścig danych na wycinku (slice), mapie albo wartości interfejsu „can in turn lead to arbitrary memory corruption”72, a Go dostarcza narzędzie, żeby to wyłapać. Zbuduj z -race albo uruchom go test -race, a binarka zostanie skompilowana z detektorem, który zgłasza wyścig w chwili, gdy się zdarzy. Łapie wyścigi w czasie działania, nie w czasie kompilacji, i „can\u0026rsquo;t find races in code paths that are not executed”, więc należy do każdego przebiegu testów i pod realistycznym obciążeniem73. PHP nie ma nic podobnego. Trzymanie pamięci jednego żądania z dala od następnego zostaje w całości silnikowi, a PHP2Shell to ten silnik robiący to źle: pamięć zwolniona przez jedno żądanie, odczytana przez następne na tym samym workerze6. Poza tym Go zatrzymuje klasę uszkodzeń pamięci, którą liczył ten wpis, i sprawia, że bezpieczna droga jest łatwą drogą dla dwóch kolejnych. Nie zatrzyma zepsutego sprawdzania logowania, brakującego testu uprawnień ani zapytania sklejonego z napisów, jeśli się przy tym upierasz. Go publikuje też własne komunikaty bezpieczeństwa, przez swoją bazę podatności69. A usługa w Go uruchomiona jako root z zapisywalnego katalogu wciąż jest źle wdrożona.\nZmienia się ustawienie domyślne. Domyślne w PHP to jeden proces, który trzyma wszystko. Domyślne w Go to program, który robi jedną rzecz, czyli rozdzielenie z początku tego wpisu z większością pracy już zrobioną. Jeśli Go nie pasuje do twojego zespołu, drugim wyjściem jest Rust. Oba kompilują się z wyprzedzeniem do kodu natywnego. Rust działa „with no runtime or garbage collector”74, a kompilator i środowisko uruchomieniowe Go są „implemented in Go and assembler, without C” od Go 1.575.\nC# i Java też są na liście języków bezpiecznych pamięciowo według agencji18, ale nie są wyjściem z problemu, od którego zaczął się ten wpis. Każdy działa na maszynie wirtualnej napisanej w C++. HotSpot z OpenJDK to „around 3000 C/C++ header and source files, comprising more than 1.2 million lines of code”76, a odśmiecacz pamięci i kompilator JIT .NET to kod źródłowy C++ w drzewie CoreCLR77. To ten sam kształt co PHP: duży natywny silnik między siecią a twoim kodem. A Java z założenia ładuje kod do działającej aplikacji. Jej standardowy class loader istnieje „to load classes and resources from a search path of URLs referring to both JAR files and directories”78, a Log4Shell zamienił to w zdalne wykonanie kodu: atakujący, który kontrolował wiadomość logu, „can execute arbitrary code loaded from LDAP servers”79. Trafiło to prosto do katalogu CISA26. To te same drzwi co w PHP, tylko z większą ceremonią przed nimi.\nWybierz więc Go albo Rust. Najpierw przenieś backend, jeden endpoint naraz, a frontend w PHP zostaw bez niczego wartego kradzieży, dopóki i on nie będzie mógł odejść.\nJeśli wciąż wdrażasz to w ten sposób, czy możesz nazywać się profesjonalistą? Dowodów powyżej jest tyle, że to przestało być opinią. Oto więc pytanie, zadane wprost. Jeśli wciąż wdrażasz PHP jako jeden proces, który trzyma kod, dane uwierzytelniające i zapisywalny katalog WWW, czy możesz nazywać się profesjonalistą?\nTo zależy od tego, którą z trzech osób jesteś. A wiedza, którą, nie jest czymś, co ci się przytrafia. Upewnienie się, że wiesz, to twoja praca.\nMasz prawdziwe ograniczenie i masz je zapisane. Produkt, od którego zależy firma, istnieje tylko w PHP. Migracja jest wyceniona i jest w budżecie na przyszły rok. W porządku. To profesjonalne, pod warunkiem że powód jest na papierze z datą obok, użytkownik środowiska uruchomieniowego nie może pisać do kodu, uploady nie mogą się wykonywać, konto bazy danych jest przycięte, a PHP2Shell załatałeś w tym tygodniu. Świadomie prowadzisz znane ryzyko, ze ścianami, które możesz wokół niego postawić.\nNikt ci nigdy nie powiedział. Nikt nie pokazał ci tej historii, a tutorial, z którego się uczyłeś, wkładał wszystko do jednego katalogu. To luka, a luki ma każdy. Przestaje być luką w chwili, w której doczytałeś aż tutaj.\nWiesz i mimo to tak budujesz. Widziałeś liczby, albo wystarczająco wiele z nich. Wiesz, że hasło do bazy danych leży w katalogu WWW, a katalog WWW jest zapisywalny. Wdrażasz to tak, bo tak szybciej, bo klient nie zapłaci za lepiej i bo nikt nie kazał ci tego uzasadnić. To ten przypadek, w który celuje to pytanie. Porażką nie jest luka w twojej wiedzy. Jest nią budowanie ponad luką, którą już widziałeś i do której nigdy nie wróciłeś, żeby ją zamknąć.\nKażdy kiedyś tam był. Zostawanie tam z wyboru to ta część, której nie da się obronić.\nDrzwi zawsze były otwarte Kiedy czytam tę historię, uderza mnie nie to, że PHP ma błędy. Każdy język ma. Uderza mnie, jak mało z tego było kiedykolwiek zaskoczeniem.\nProjekt wiedział, że register_globals jest niebezpieczne, w 2002, a usunął je w 2012. Jego podręcznik mówi ci, żeby nie ufać unserialize(), nie ufać disable_functions, nie ufać open_basedir. Jego własna dokumentacja mówi, że skrypt pod mod_php może dosięgnąć bazy danych bez hasła. Agencje od lat mówią, że język, z którego jest zbudowany, to źródło dwóch trzecich błędów pamięci. Każde ostrzeżenie tam jest, na piśmie, od ludzi, którzy powinni wiedzieć.\nA on i tak wygrywał, bo był tani. Tani w hostingu, tani w nauce, tani w sprzedaży klientowi, który chciał stronę na piątek. Jeden katalog, jeden proces, jedno hasło w pliku i strona, która działała. Wyceniony był na plan hostingu współdzielonego. To, ile kosztował, nigdy nie trafiło na fakturę: sprzątanie, backdoory zostawione na dysku, numery kart klientów wyniesione przez złośliwe PHP, pięciogodzinne okno między ujawnieniem a atakiem.\nNa to nie mam cierpliwości. Nie na błędy. Na decyzję, podejmowaną raz za razem przez ludzi, którzy wiedzieli lepiej, że tania droga wystarczy, bo nikt nie sprawdzał. Standard to coś, czego trzymasz się, kiedy nikt nie sprawdza. Rozdzielenie frontendu i backendu, kod tylko do odczytu, przycięte konto bazy danych: nic z tego nie jest nowe, nic z tego nie jest drogie, a wszystko to zamieniłoby sporą część incydentów powyżej w nic, o czym warto by pisać.\nPHP2Shell to nie koniec tej historii. To po prostu wpis z tego tygodnia. Język go załata, hostingi w końcu wdrożą aktualizację, a udział wersji będzie powoli pełzł w górę, jak zawsze. To, czy następny cię kosztuje, nie zależy od PHP. Zależy od tego, czy postawiłeś ściany, których on ci nigdy nie dał, albo przeszedłeś na coś, co ma je w komplecie.\nPHP — News archive 2026, 21st October — „PHP 8.5.12, 8.4.27, 8.3.36 and 8.2.35 fix two critical vulnerabilities that can allow unauthenticated remote code execution”; „We consider the risk highest for mod_php, with a demonstrated exploit where an unauthenticated request can trigger the attack before any application code runs”; „There are no complete mitigations, updating is the only safe choice.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nWiz Research — PHP2Shell — 21 października 2026; „Every PHP version released in the last decade is affected by at least one of these vulnerabilities, going back to version 5.4”; „All of the disclosed vulnerabilities are memory-safety issues”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nAWS Security Blog — PHP2Shell exploitation prior to public disclosure in MadPot — próba wykorzystania zarejestrowana 17 października 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nwatchTowr — PHP2Shell FAQ — wykorzystanie zaobserwowane w praktyce 21 października 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNVD — CVE-2026-109618 — obsługa błędu braku pamięci zostawia częściowo zainicjalizowane dane żądania, które sprzątanie traktuje jako prawidłowe; zdalne wykonanie kodu.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNVD — CVE-2026-109619 — pamięć żądania użyta po zwolnieniu; zdalne wykonanie kodu; dotyczy wersji od 5.4.0.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nPHP manual — Installed as an Apache module — „When PHP is used as an Apache module it inherits Apache\u0026rsquo;s user permissions”; „a malicious script could access and modify the database, even without a username and password”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nPHP manual — Apache 2.x on Unix systems — „The mod_php approach embeds PHP directly into every Apache httpd worker process.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nWordPress — wp-config.php — leży w głównym katalogu WordPressa i zawiera informacje o połączeniu z bazą danych.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nWordPress — Changing file permissions — wp-config.php „is initially created with 644 permissions, and it\u0026rsquo;s a hazard to leave it like that”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nWordPress — Hardening WordPress — uprawnienia bazy danych, uprawnienia plików; brak wskazówek o blokowaniu wykonywania PHP w uploadach.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nOWASP — Database Security Cheat Sheet — „The application\u0026rsquo;s backend database should be isolated from other servers”; wydzielony wewnętrzny segment sieci.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nPHP manual — Database design — „Applications should never connect to the database as its owner or a superuser.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nPHP manual — FastCGI Process Manager — pule, które uruchamiają workery „with different uid/gid/chroot/environment”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNVD CVE API, virtualMatchString=cpe:2.3:a:php:php — zapytanie z 23 października 2026: 757 CVE. Uszkodzenia pamięci liczone jako CWE-119, 120, 121, 122, 125, 129, 131, 189, 190, 191, 415, 416, 476, 680, 787, 824, 843 lub 908: 288. Pełne zdalne przejęcie liczone jako CVSS 3.x AV:N/PR:N/UI:N/C:H/I:H albo, gdzie nie ma oceny 3.x, CVSS 2 przez sieć, bez uwierzytelnienia, z całkowitym wpływem na poufność i integralność: 172.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nMonth of PHP Bugs, php-security.org, Wayback Machine — „During March 2007 old and new security vulnerabilities in the Zend Engine, the PHP core and the PHP extensions will be disclosed on a day by day basis.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Register — Stefan Esser interview, 7th February 2007 — założyciel projektu Hardened-PHP, który niedawno odszedł z PHP Security Response Team: „I dislike the ways bugs are handled”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNSA — Software Memory Safety, November 2022, Wayback Machine — „a strategic shift from programming languages that provide little or no inherent memory protection, such as C/C++, to a memory safe language when possible.” Także: „Examples of memory safe language include C#, Go, Java®, Ruby™, Rust®, and Swift®.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCISA and partners — The Case for Memory Safe Roadmaps, December 2023 — współautorstwo m.in. brytyjskiego NCSC; „two-thirds of reported vulnerabilities in memory unsafe programming languages still relate to memory issues.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNVD — CVE-2014-8142 — use-after-free w process_nested_data podczas unserialize.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNVD — CVE-2015-0231 — use-after-free w unserialize, które „exists because of an incomplete fix for CVE-2014-8142”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNVD — CVE-2016-5771 — use-after-free w SPL wywołane przez unserialize i odśmiecanie pamięci.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nPHP manual — unserialize — „Do not pass untrusted user input to unserialize() regardless of the options value of allowed_classes.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNVD — CVE-2019-11043 — „in certain configurations of FPM setup it is possible to cause FPM module to write past allocated buffers … opening the possibility of remote code execution.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nPHP 7 ChangeLog — naprawione 24 października 2019 w 7.3.11, 7.2.24 i 7.1.33, błąd #78599.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCISA — Known Exploited Vulnerabilities catalogue — kanał JSON w wersji 2026.10.21, 1754 wpisy; 81 dla PHP albo aplikacji napisanych w PHP według dostawcy i produktu; użycie przez ransomware według zapisu w kanale.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe PHP Foundation — PHP core security audit results, 10th April 2025 — „The audit identified 27 issues, with 17 having security implications”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nPHP 4 ChangeLog — 4.2.0, 22 kwietnia 2002: „register_globals defaults to \u0026lsquo;off\u0026rsquo; now”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nPHP manual — Using Register Globals, Wayback Machine — „DEPRECATED as of PHP 5.3.0 and REMOVED as of PHP 5.4.0”; „the most controversial change in PHP”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nPHP manual — Magic Quotes, Wayback Machine — „DEPRECATED as of PHP 5.3.0 and REMOVED as of PHP 5.4.0”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nPHP manual — Deprecated features in PHP 5.5.x, Wayback Machine — „The preg_replace() /e modifier is now deprecated.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nPHP manual — Pattern Modifiers, Wayback Machine — e „DEPRECATED in PHP 5.5.0, and REMOVED as of PHP 7.0.0.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nPHP manual — Deprecated features in PHP 7.4 — „The allow_url_include ini directive is deprecated.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nPHP manual — Backward incompatible changes in PHP 8.0 — metadane phar „will no longer be automatically unserialized, to fix potential security vulnerabilities due to object instantiation, autoloading, etc.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nPHP RFC — Saner string to number comparisons — wdrożone w PHP 8.0; „the most notable of which is that 0 == \u0026ldquo;foobar\u0026rdquo; returns true.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nSam Thomas, Black Hat USA 2018 — It\u0026rsquo;s A PHP Unserialization Vulnerability Jim, But Not As We Know It — operacje na plikach ze ścieżkami phar:// deserializują metadane.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nPatchstack — State of WordPress Security in 2026 — dane za 2025: 11 334 nowe podatności, 91% we wtyczkach, 6 w rdzeniu, 46% nienaprawionych przed ujawnieniem, mediana 5 godzin do masowego wykorzystania.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nW3Techs — WordPress — „58.3% of all the websites whose content management system we know. This is 39.6% of all websites.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nW3Techs — PHP — „PHP is used by 69.3% of all the websites whose server-side programming language we know.” Odczytane 23 października 2026. Wersje główne wśród stron PHP: 8 to 65,3%, 7 to 26,9%, 5 to 7,7%.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nPatchstack — State of WordPress Security in 2025 — dane za 2024: 7966 nowych podatności, 96% we wtyczkach, 7 w rdzeniu, 33% nienaprawionych przed ujawnieniem.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nWordfence — 2024 Annual WordPress Security Report — 8223 podatności, wzrost o 68%; „Roughly 35% of the vulnerabilities disclosed in 2024 remain unpatched in 2025”; „just under one million distinct sites infected with malware”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nMark Maunder — Zero day vulnerability in many WordPress themes, 1st August 2011 — timthumb.php dołączany do „many commercial and free themes”; atakujący mogli „upload and execute arbitrary PHP code”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nSucuri — RevSlider vulnerability leads to massive WordPress SoakSoak compromise, 15th December 2014 — „compromising over 100,000 WordPress sites”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nWordfence — Mossack Fonseca breach, Revolution Slider possible cause, 7th April 2016, Wayback Machine — „may have been breached via a vulnerable version of Revolution Slider”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nSucuri — Content injection vulnerability in WordPress REST API, 1st February 2017 — „allows an unauthenticated user to modify the content of any post or page”; włączone domyślnie w 4.7.0 i 4.7.1.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nSucuri — WordPress REST API vulnerability abused in defacement campaigns, 6th February 2017 — „Google alone shows 66,000+ pages compromised”, dla jednej kampanii.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nWordfence — Rapid growth in REST API defacements, 10th February 2017, Wayback Machine — liczba podmienionych stron zaindeksowanych przez Google wzrosła „from 1,496,020 to 1,893,690”; wcześniejsze liczenie Sucuri dało 66 000.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nWordfence — 700,000 WordPress users affected by zero-day in File Manager plugin, 1st September 2020, Wayback Machine — „a WordPress plugin with over 700,000 active installations”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nPatchstack — SureTriggers vulnerability exploited within 4 hours, 10th April 2025 — tworzenie administratora bez uwierzytelnienia; „exploitation attempts observed within hours after disclosure”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCISA — Compromised Web Servers and Web Shells, TA15-314A — „The most commonly observed web shells are written in languages that are widely supported, such as PHP and ASP.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNSA and ASD — Detect and Prevent Web Shell Malware, April 2020, Wayback Machine — „web applications should not have permission to write directly to a web accessible directory or modify web accessible code”; monitorowanie integralności plików jako rozwiązanie awaryjne.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nSucuri — 2022 Website Threat Research Report — 43 374 wyczyszczone strony; 69,63% z co najmniej jednym backdoorem; usunięto 1 188 864 backdoory; 90% skimmerów kart w złośliwym kodzie PHP.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nSucuri — 2023 Hacked Website and Malware Threat Report — 39 594 wyczyszczone strony; 49,21% z co najmniej jednym backdoorem; WordPress to 95,5% infekcji.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nOWASP — File Upload Cheat Sheet — przechowuj uploady „outside of the webroot”; „disable per directory configuration overrides on upload directories”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nPHP manual — Description of core php.ini directives — disable_functions „can be circumvented”; open_basedir „can therefore not be relied upon when security is needed”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nPHP — News archive 2013, 24th October — malware serwowany od 22 do 24 października 2013; dwa serwery przejęte.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nPHP internals — Changes to Git commit workflow, 28th March 2021 — dwa złośliwe commity wypchnięte do php-src; serwer git.php.net wyłączony, a GitHub stał się kanoniczny.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nPHP — Supported versions — 8.2 z poprawkami bezpieczeństwa do 31 grudnia 2026; 8.3, 8.4 i 8.5 wspierane. Odczytane 23 października 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nPHP — Unsupported branches — koniec życia 8.1 31 grudnia 2025, 8.0 26 listopada 2023, 7.4 28 listopada 2022.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nW3Techs — PHP version 8 — udziały podwersji w PHP 8; połączone z udziałami wersji głównych dają 48,3% stron PHP na niewspieranych wersjach.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nW3Techs — PHP version 7 — 7.4 to 73,4% stron PHP 7.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nWordPress — Statistics — wersje PHP stron WordPressa raportujących do wordpress.org; 34,7% poniżej 8.2. Odczytane 23 października 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nWordPress — Requirements — „PHP version 8.3 or greater”; działa z 7.4+, które „reached their official End Of Life”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nPHP manual — OPcache introduction — „OPcache improves PHP performance by storing precompiled script bytecode in shared memory, thereby removing the need for PHP to load and parse scripts on each request.” Do PHP 8.4 rozszerzenie współdzielone ładowane przez zend_extension.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nPHP manual — OPcache runtime configuration — opcache.jit dostępne od PHP 8.0.0, domyślnie „disable”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nGo — Frequently Asked Questions — „Go programs are compiled ahead of time to native machine code”; środowisko uruchomieniowe „does not include a virtual machine”; „One of Go\u0026rsquo;s design goals is to approach the performance of C for comparable programs”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nGo — package html/template — „implements data-driven templates for generating HTML output safe against code injection”; „The escaping is contextual, so actions can appear within JavaScript, CSS, and URI contexts.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nGo — Avoiding SQL injection risk — „You can avoid an SQL injection risk by providing SQL parameter values as sql package function arguments.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nGo — Vulnerability management — kuratorowana baza podatności; govulncheck „only surfaces vulnerabilities that actually affect you, based on which functions in your code are transitively calling vulnerable functions”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nPHP manual — Backward incompatible changes in PHP 8.5 — „The Opcache extension is now always built into the PHP binary and is always loaded. The INI directives opcache.enable and opcache.enable_cli are still honored.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nPHP RFC — Make OPcache a non-optional part of PHP — wdrożone w PHP 8.5; „running PHP in production without OPcache is generally considered a mistake”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nGo — The Go Memory Model — wyścigi na wartościach wielosłowowych „can in turn lead to arbitrary memory corruption”; ThreadSanitizer przez go build -race zgłasza wyścigi.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nGo — Data Race Detector — uruchamiaj testy z go test -race; „The race detector only finds races that happen at runtime, so it can\u0026rsquo;t find races in code paths that are not executed.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRust — rust-lang.org — „Rust is blazingly fast and memory-efficient: with no runtime or garbage collector”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nGo 1.5 Release Notes — „The compiler and runtime are now implemented in Go and assembler, without C.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nOpenJDK — The HotSpot Group — „around 3000 C/C++ header and source files, comprising more than 1.2 million lines of code”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\ndotnet/runtime — src/coreclr — odśmiecacz pamięci (gc/gc.cpp) i JIT (jit/compiler.cpp) są w C++.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nJava SE 21 — URLClassLoader — „to load classes and resources from a search path of URLs referring to both JAR files and directories”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNVD — CVE-2021-44228 — „An attacker who can control log messages or log message parameters can execute arbitrary code loaded from LDAP servers”; dodane do CISA KEV 10 grudnia 2021.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\n","permalink":"https://blogs.damiendye.uk/pl/security/php-twenty-nine-years-of-leaving-the-door-open/","summary":"PHP2Shell, ujawniony 21 października 2026, to zdalne wykonanie kodu bez uwierzytelnienia w samym interpreterze PHP, w każdej wersji aż do 5.4, wykorzystywane, zanim powstała łatka. To najnowszy wpis w długiej historii: 757 CVE przeciwko interpreterowi od 1997 roku, z czego co najmniej 288 to uszkodzenia pamięci, a 172 ocenione jako pełne zdalne przejęcie bez logowania. Ten wpis liczy tę historię z NVD i katalogu KEV CISA, wyjaśnia, dlaczego silnik w C i język, który przez dekadę usuwał register_globals, popełniają ten sam błąd dwa razy, patrzy, co WordPress robi z tymi liczbami, jak web shelle zostają na miejscu i jak je zatrzymać, dwa włamania do samego php.net, odsetek sieci wciąż działający na wersjach, których nikt nie łata, i dlaczego zwykłe wdrożenie, jeden proces trzymający szablony, logikę, SQL i hasło do bazy danych, zamienia każdy z tych błędów w wszystko naraz. I dlaczego, skoro sam porzuciłem PHP, uważam, że powinieneś rozważyć odejście od niego do języka bezpiecznego pamięciowo, takiego jak Go.","title":"PHP: dwadzieścia dziewięć lat zostawiania otwartych drzwi"},{"content":"Każdej nazwie, którą twoja maszyna dziś sprawdziła, uwierzyła, i napisałem o tym cały wpis. Ten jest o tym, co dzieje się z pocztą po tym sprawdzeniu. W skrócie: idzie do serwera wybranego przez DNS, kanałem, który jest szyfrowany tylko wtedy, gdy nikt nie protestuje, niosąc wiadomość, którą każdy na trasie może przeczytać i zmienić, a prawie żadna z ochron wymyślonych, żeby to zatrzymać, nie jest włączona.\nTo nie jest jedna zepsuta rzecz. To siedem rzeczy, każda zaprojektowana tak, że gdy jest źle ustawiona, poczta i tak przechodzi. Bez błędu. Faktura dochodzi. Reset hasła dochodzi. Tyle że dochodzą też do kogoś albo przez kogoś, kto nigdy nie powinien był ich zobaczyć, i nigdzie nic o tym nie mówi.\nTen wpis to argument za tym, żeby każde z tych ustawień było poprawne, z dowodami, ile każde jest warte. Trzy kolejne wpisy budują to na prawdziwych serwerach: Postfix, Microsoft 365 i Stalwart. Ten mówi dlaczego.\nAtak, który standard opisuje, a potem zakazuje się przed nim bronić Zacznij od rury między dwoma serwerami pocztowymi, bo większość ludzi myśli, że to już rozwiązane. STARTTLS to polecenie, które podnosi połączenie SMTP do TLS. Większość serwerów pocztowych je obsługuje, większość poczty jest szyfrowana w drodze, i brzmi to jak problem rozwiązany, dopóki nie przeczytasz, jak to podniesienie jest oferowane.\nSerwer odbierający ogłasza STARTTLS w powitaniu. Serwer wysyłający widzi ofertę i ją przyjmuje. Nic tej oferty nie podpisuje i nic jej nie chroni. Więc maszyna na trasie między nimi może tę linię usunąć, a oto wynik, zarejestrowany w labie od nadawcy ustawionego na zwykłe oportunistyczne ustawienie domyślne:\n~\u0026gt; EHLO client.test [stripped] STARTTLS removed from the greeting *** Host did not advertise STARTTLS -\u0026gt; MAIL FROM:\u0026lt;carol@sender.test\u0026gt; -\u0026gt; Please pay invoice 1042 to sort code 20-00-00, account 12345678. \u0026lt;- 250 2.0.0 Ok: queued as D6A84132069C Nadawca nie zobaczył oferty STARTTLS, więc zrobił to, co znaczy „oportunistyczny”: wysłał i tak, jawnym tekstem. Maszyna pośrodku przeczytała całość, razem z fakturą i danymi bankowymi. Poczta została dostarczona. Żaden błąd do nikogo nie dotarł.\nNie wymyśliłem tego ataku. RFC 3207, standard definiujący STARTTLS, opisuje go dokładnie we własnych Security Considerations:\nA man-in-the-middle attack can be launched by deleting the \u0026ldquo;250 STARTTLS\u0026rdquo; response from the server. This would cause the client not to try to start a TLS session.1\nTa sama sekcja podaje obronę, i to oczywistą: móc wymagać TLS. „both clients and servers MUST be able to be configured to require successful TLS negotiation … for selected hosts before messages can be successfully transferred.”1 Skonfiguruj więc odbiorcę tak, żeby go wymagał, a sesja z usuniętym STARTTLS zostaje odrzucona:\n[stripped] STARTTLS removed from the greeting *** Host did not advertise STARTTLS -\u0026gt; MAIL FROM:\u0026lt;carol@sender.test\u0026gt; \u0026lt;** 530 5.7.0 Must issue a STARTTLS command first Tyle że nie możesz, nie na publicznym MX, bo ten sam standard tego zakazuje:\nA publicly-referenced SMTP server MUST NOT require use of the STARTTLS extension in order to deliver mail locally.2\nPrzeczytaj te dwa cytaty razem. Standard opisuje atak man-in-the-middle, mówi ci, że obroną jest wymaganie TLS, a potem mówi, że twój publiczny serwer pocztowy nie może go wymagać. Przeczytaj to dwa razy. Ta reguła została napisana w 2002 roku, żeby poczta płynęła między serwerami, które jeszcze nie wszystkie umiały TLS. Wciąż obowiązuje i to przez nią większość internetu nadal przyjmuje pocztę jawnym tekstem, i dlatego usuwanie STARTTLS działa do dziś.\nJest też kompetentna wersja atakującego. Odbiorca wymagający TLS cię nie ratuje, bo atakujący nie musi przekazywać sesji dalej jawnym tekstem. Może przeczytać zdegradowany jawny tekst od nadawcy i otworzyć własne, całkowicie poprawne połączenie TLS do odbiorcy, który widzi dobry certyfikat i jest zadowolony. Pokazałem w labie obie połowy: usunięcie STARTTLS, które odsłania nadawcę, i zwykłego klienta TLS, którego surowy odbiorca przyjmuje bez słowa skargi. Polityka odbiorcy tego nie zatrzyma. Zatrzyma to tylko nadawca, który odmówi wysyłki bez uwierzytelnionego TLS, i to jest cały argument za DANE3 i MTA-STS,4 które pojawią się dalej w tym wpisie.\nSiedem ustawień i jak każde zawodzi w stronę otwartą Rura to jeden z dwóch problemów. Drugi to tożsamość: wiadomość, która dociera zaszyfrowana, nadal tylko twierdzi, że jest od tego, od kogo mówi. Więc w grze jest siedem ustawień, podzielonych między te dwa zadania, a to, co mają wspólnego, warto poznać najpierw.\nSiedem ustawień, dwa pytania i co każde robi, gdy jest źle ustawione CZY RURA JEST PRYWATNA? transport: między dwoma serwerami CZY NADAWCA JEST PRAWDZIWY? tożsamość: od kogo wiadomość twierdzi, że jest STARTTLS szyfruje, jeśli nikt nie przeszkadza źle: usunięty, jawny tekst MTA-STS polityka HTTPS: TLS wymagany źle: „testing” nic nie egzekwuje DANE / TLSA DNSSEC przypina klucz serwera źle: stary rekord wstrzymuje pocztę TLS-RPT nadawcy zgłaszają błędy TLS brak: awarie niewidoczne SPF które hosty mogą wysyłać źle: ~all to wzruszenie ramion DKIM podpis nad wiadomością źle: brak selektora, nic do sprawdzenia DMARC co robić, gdy oba zawiodą źle: p=none na zawsze Pod obiema: IPv6. MX bez rekordu AAAA nie przyjmie poczty od nadawcy tylko z IPv6. Każde z nich może być źle ustawione, a poczta dalej płynie, dlatego nikt tego nie zauważa Oto każde z nich: co chroni i co robi, gdy jest źle ustawione. Zwróć uwagę na ostatnią kolumnę. Prawie zawsze mówi, że poczta i tak idzie.\nUstawienie Zadanie Co chroni Ustawione źle, i… STARTTLS transport szyfruje odcinek między dwoma serwerami usunięte z powitania, wysłane jawnym tekstem MTA-STS transport polityka opublikowana przez HTTPS mówiąca, że TLS jest wymagany zostawione w testing, niczego nie egzekwuje DANE / TLSA transport DNSSEC przypina klucz serwera, więc TLS nie da się zdegradować nieaktualny rekord i poczta do ciebie czeka w kolejce TLS-RPT transport nadawcy zgłaszają ci nieudane TLS5 nieopublikowane, a awarie są niewidoczne SPF tożsamość które serwery mogą wysyłać w imieniu domeny ~all to wzruszenie ramion, nie odmowa DKIM tożsamość podpis nad wiadomością brak opublikowanego selektora, nie ma czego sprawdzić DMARC tożsamość co zrobić, gdy SPF i DKIM zawiodą p=none patrzy i nic nie robi Sześć z tych siedmiu, ustawione źle, nadal dostarcza pocztę. Wyjątkiem jest DANE. To jedyne ustawienie na całej liście, które zawodzi w stronę zamkniętą: pomyl się, a twoja poczta stanie, zamiast wyciekać. Zapamiętaj to, bo okazuje się, że właśnie dlatego ludzie się go boją, i właśnie dlatego jest warte najwięcej.\nSłowo o każdym z trzech od tożsamości, bo reszta tej serii na nich się opiera. SPF wymienia serwery, które mogą wysyłać w imieniu domeny, i kończy się regułą: -all znaczy „nikt inny”, ~all znaczy „nikt inny, ale i tak dostarcz”. DKIM dodaje podpis kryptograficzny nad wiadomością, więc każda zmiana wychodzi na jaw, o ile domena faktycznie opublikowała klucz, którym da się to sprawdzić. DMARC wiąże te dwa i mówi odbiorcy, co robić, gdy zawiodą, oraz czy zgadzają się z adresem From:, który czytelnik faktycznie widzi. To RFC 7208, 6376 i 7489, i każde z nich jest warte osobnego wpisu.6 7 8\nSam DMARC przepuszcza podrobioną fakturę Warstwa tożsamości ma dziurę dokładnie tam, gdzie kosztuje najwięcej, i warto ją pokazać, bo „mamy DMARC na reject” to zdanie, które ludzie mówią, gdy myślą, że są chronieni.\nDMARC przechodzi, jeśli którykolwiek z SPF lub DKIM przejdzie i zgadza się z domeną From:. Którykolwiek, nie oba. Weź więc prawdziwą podpisaną wiadomość z jakiejś domeny, zmień dane bankowe w treści i wyślij ją dalej z tego samego miejsca:\nDMARC przepuścił zmienioną fakturę. Odrzucanie przy błędzie DKIM nie CO WYSŁANO CO DOTARŁO Faktura 1042, podpis DKIM sort code 20-00-00, 12345678 zmiana Ta sama wiadomość i podpis sort code 40-11-22, 87654321 SPF: pass z wymienionego adresu DKIM: fail skrót treści się nie zgadza DMARC: pass wystarczy jedno zaliczenie CO ROBI ODBIORCA Sam DMARC Dostarczona. Nowe dane bankowe docierają jak prawdziwe. Odrzucaj przy błędzie DKIM 554 5.7.1 DKIM signature does not verify Zapis z labu: Rspamd 3.12.1 ocenił ją R_SPF_ALLOW, R_DKIM_REJECT i DMARC_POLICY_ALLOW. DMARC pyta, czy przeszła którakolwiek kontrola. Zmieniona faktura z właściwego adresu przechodzi jedną SPF nadal przechodzi, bo wiadomość przyszła z autoryzowanego serwera. Podpis DKIM teraz nie przechodzi, bo treść została zmieniona. Ale DMARC potrzebuje tylko jednego zgodnego zaliczenia, SPF mu je dał, więc DMARC przechodzi, a wiadomość z nowym numerem konta zostaje dostarczona i wygląda dokładnie jak oryginał. Zarejestrowałem to w labie: Rspamd ocenił ją R_SPF_ALLOW, R_DKIM_REJECT i DMARC_POLICY_ALLOW i sam z siebie by ją dostarczył. Zatrzymała ją tylko reguła, która odrzuca wprost przy złamanym podpisie. Domena na p=reject nie jest chroniona przed podróbką, którą ten podpis miał wyłapać. Warto to wiedzieć, zanim uznasz robotę za skończoną.\nDANE jest tyle wart, co DNSSEC pod nim Teraz ustawienia transportu, które faktycznie zatrzymują kompetentnego atakującego, bo przenoszą decyzję na nadawcę. DANE jest z nich najsilniejsze. Pozwala domenie opublikować w DNS, w rekordzie TLSA, odcisk klucza, który pokaże jej serwer pocztowy, więc serwer wysyłający może odrzucić wszystko, co się nie zgadza.9 Bez urzędu certyfikacji, bez ufania temu, kto odpowiedział na uścisk dłoni TLS. Właściciel domeny mówi „to jest mój klucz” i na tym koniec.\nTyle że odpowiedzi DNS da się podrobić, więc odcisk opublikowany w zwykłym DNS jest nic niewart: ten sam atakujący, który usuwa STARTTLS, może ci podać fałszywy odcisk pasujący do fałszywego klucza. DANE coś znaczy tylko wtedy, gdy DNS, w którym siedzi, jest podpisany DNSSEC, więc samego odcisku nie da się podrobić. To cały łańcuch i dlatego ten wpis jest w serii, która zaczęła się od DNSSEC. Jeśli go jeszcze nie znasz, podstawy są w /pl/dns/dnssec-the-root-is-signed-you-are-not/, a wersja w jednej linijce brzmi: root jest podpisany, każda TLD warta wymienienia jest podpisana, a potem to staje w miejscu przy nazwach, których ludzie naprawdę używają.\nRekord TLSA jest wart tyle, co podpis nad nim PODPISANA: alpha.test NIEPODPISANA: plain.test Kotwica zaufania dla test. jedyny klucz, jaki dostaje resolver DS 38044 alpha.test podpisana, rodzic za nią ręczy RRSIG _25._tcp.mail.alpha.test TLSA 3 1 1 093a80cac907a52e… musi pasować klucz publiczny mail.alpha.test SHA-256 093a80cac907a52e… plain.test bez DS, bez podpisów nikt nie ręczy _25._tcp.mail.plain.test TLSA 3 1 1 0f09fe00d00d74c1… każdy mógłby go podrobić Nadawca go ignoruje żadnej polityki DANE JAK CZYTAĆ 3 1 1 3: własny klucz serwera, bez CA. 1: tylko klucz publiczny. 1: SHA-256. Odnawiaj certyfikat na tym samym kluczu, a rekordu nigdy nie trzeba zmieniać. Obie strefy publikują rekord TLSA. Tylko jedna potrafi to udowodnić Diagram pokazuje dwie domeny, które obie publikują rekord TLSA. Jedna siedzi w podpisanej strefie, z nieprzerwanym łańcuchem podpisów od roota aż do odcisku, więc nadawca może jej zaufać. Druga siedzi w niepodpisanej strefie, więc jej odcisk to tylko bajty, które mógł napisać ktokolwiek, a poprawny nadawca całkowicie go ignoruje i nie dostaje żadnej ochrony DANE. Ten sam rekord, opublikowany na dwa sposoby. Tylko jeden potrafi udowodnić, że jest prawdziwy.\nRekord do opublikowania to 3 1 1: własny klucz serwera, a nie klucz CA, klucz publiczny, a nie cały certyfikat, skrót SHA-256. Środkowa liczba to ta, która opłaca się operacyjnie, bo przypięcie klucza zamiast certyfikatu oznacza, że rekord przetrwa każde odnowienie, o ile zachowasz ten sam klucz. Wpis o Postfiksie ma pełną procedurę i pułapkę, w którą ludzie wpadają: zwykły sposób odnawiania certyfikatów za każdym razem tworzy nowy klucz i po cichu psuje rekord. Na tutaj wystarczy zapamiętać, że 3 1 1 plus ponowne użycie klucza to rekord, który publikujesz raz i zostawiasz w spokoju.\nZasady domu i ile każda kosztuje Wszystko powyżej zamienia się w krótką listę zasad, a kolejne trzy wpisy rozliczają z nich prawdziwe serwery. Nie są złagodzone i nie są darmowe. Oto one, z rachunkiem, bo zasada, której koszt ukrywasz, to zasada, której tak naprawdę nie postanowiłeś trzymać.\nZasada Co zatrzymuje Ile cię kosztuje Żadnego jawnego tekstu na wejściu czytanie i podrabianie na odcinku przychodzącym nadawca, którego serwer nie umie TLS, nie dotrze do ciebie Żadnego jawnego tekstu na wyjściu to samo na odcinku wychodzącym poczta do serwera bez TLS czeka w kolejce zamiast iść DANE lub MTA-STS na wyjściu kompetentnego man-in-the-middle nieaktualny rekord po ich stronie wstrzymuje twoją pocztę do nich IPv6 na każdym MX nieosiągalność dla nadawcy tylko z IPv6 rekordy AAAA i serwer dual-stack do utrzymania Przekazywanie tylko po zalogowaniu twój serwer piorący cudzy spam koniec wysyłki skądkolwiek po IP; użytkownicy muszą się uwierzytelnić Login wysyła jako on sam pracownika podszywającego się pod kolegę reguły per użytkownik, egzekwowane w kopercie i nagłówku Odrzucaj nieznane domeny nadawców backscatter i podrobionych nieistniejących nadawców nic prawowitego; tu nigdy nie było prawdziwego nadawcy Odrzucaj błędy SPF i DKIM podszywanie i podrabianie przekazana dalej poczta bez SRS zostaje odbita Koszt przekazywania dalej to ten, który gryzie, i jest prawdziwy: odrzucaj na samym SPF, a wiadomość przekazana z miejsca spoza rekordu SPF nadawcy zostanie odrzucona, bo dla odbiorcy forwarder wygląda dokładnie jak fałszerz. Są na to poprawki, SRS i ARC,10 a wpis o Postfiksie pokazuje tę awarię. Uczciwe stanowisko jest takie, że te zasady odbijają część poczty, którą luźniejszy serwer by dostarczył. Po to są. Część tej poczty powinna była zostać odbita, a reszta mówi ci o konfiguracji przekazywania, która liczyła na to, że nikt nie sprawdza.\nZawodzi w stronę otwartą, a oto dowód Teza, na której stoi cały ten wpis, jest taka, że te ustawienia zawodzą w stronę otwartą, po cichu, więc patrząc, nie odróżnisz działającego od zepsutego. To nie jest teoretyczne zmartwienie. Przy budowie serwera Postfix na następny wpis każda z tych awarii się zdarzyła, a każda była ustawieniem, które wyglądało na skonfigurowane i nic nie robiło.\nPięć awarii otwartych w labie i jedna zamknięta USTAWIENIE I KIEDY GRYZIE CO NAPRAWDĘ ZROBIŁO Postfix: dane cel nie publikuje TLSA OTWIERA SIĘ spada do oportunistycznego: jawny tekst Postfix: kontrola login-mismatch na porcie 25, gdzie nie ma logowania OTWIERA SIĘ pominięta z ostrzeżeniem: domena podrobiona Rspamd: local_addrs w local.d próba zawężenia listy OTWIERA SIĘ scalone, nie zastąpione: 10/8 i fd00::/8 bez kontroli Sam DMARC DKIM nie przechodzi, SPF tak OTWIERA SIĘ zmieniona faktura dostarczona TLSA w niepodpisanej strefie wygląda jak prawdziwy OTWIERA SIĘ zignorowany: zero DANE TLSA podpisany, zły certyfikat rekord jest nieaktualny ZAMYKA SIĘ wstrzymane: nic nie wysłano Każdy wiersz to zapis z labu, nie lektura podręcznika. Poczta dalej płynęła w pięciu z tych sześciu. W tym problem Sześć prawdziwych ustawień, każde z budowy serwera Postfix na następny wpis. Pięć zawiodło w stronę otwartą: dostarczyły pocztę, bez błędu, wyglądając pod każdym względem tak, jakby działały porządnie. Szóste, nieaktualny rekord DANE, zawiodło w stronę zamkniętą. To ten, którego wszyscy się boją, i jedyny, który ochronił wiadomość, zamiast ją wypuścić. Lekcja siedzi wprost w ostatniej kolumnie diagramu: ustawienie, którego ludzie unikają, bo mogłoby zatrzymać ich pocztę, jest jedynym, które zachowuje się tak, jak powinna zachowywać się kontrola bezpieczeństwa.\nKażdy wiersz to zapis z labu, a nie lektura podręcznika. Działające ustawienie od zepsutego odróżniasz tak, że wysyłasz wiadomość, którą ma zatrzymać, i patrzysz, co wraca. Powiem to raz tutaj i udowodnię trzy razy w reszcie serii.\nKto więc naprawdę cokolwiek z tego robi? Jedno to powiedzieć, że te ustawienia mają znaczenie. Drugie to zapytać, czy organizacje, których poczta znaczy najwięcej, je włączyły. Więc to zrobiłem, niczym więcej niż DNS tylko do odczytu i resolverem walidującym, 22 października 2026: dwadzieścia sześć domen odbierających pocztę, banki, duzi dostawcy, niemieccy specjaliści i urzędy certyfikacji, każda sprawdzona pod kątem siedmiu rzeczy z tego wpisu.11\nDomena MX ma AAAA DNSSEC DANE (TLSA) MTA-STS DMARC SPF Banki brytyjskie barclays.co.uk nie nie nie nie reject -all hsbc.co.uk nie nie nie nie reject brak lloydsbank.com nie nie nie nie reject -all natwest.com nie nie nie nie reject brak santander.co.uk nie nie nie nie reject brak nationwide.co.uk nie nie nie nie reject brak monzo.com wszystkie nie nie nie reject brak starlingbank.com nie nie nie nie reject brak Dostawcy poczty gmail.com wszystkie nie nie enforce brak bez all outlook.com nie nie nie enforce brak -all yahoo.com nie nie nie testing reject bez all icloud.com nie nie nie nie quarantine bez all fastmail.com nie nie nie testing brak ~all proton.me nie tak tak enforce quarantine ~all Dostawcy niemieccy posteo.de nie tak tak enforce brak ~all mailbox.org wszystkie tak tak enforce reject ~all gmx.de nie tak tak nie quarantine bez all web.de nie tak tak testing quarantine bez all t-online.de nie nie nie testing brak ~all Urzędy certyfikacji letsencrypt.org wszystkie nie nie nie reject -all digicert.com wszystkie nie nie nie quarantine brak sectigo.com nie nie nie nie reject -all globalsign.com wszystkie nie nie nie reject brak Brytyjski sektor publiczny hmrc.gov.uk nie nie nie enforce reject brak nhs.uk nie nie nie nie reject -all ncsc.gov.uk nie nie nie enforce reject -all Najpierw przeczytaj kolumnę DMARC, bo to ta, która jest w większości wypełniona. Większość z nich publikuje politykę DMARC, a większość banków jest na reject. DMARC to ustawienie, które się robi, bo o nie pyta audytor i to je dostawca może ci sprzedać, i jest widoczne: możesz je sprawdzić i odhaczyć. Jest też, samo w sobie, ustawieniem, które wcześniej w tym wpisie przepuściło podrobioną fakturę.\nTeraz przeczytaj kolumnę DANE, jedynego ustawienia tutaj, którego nie da się zdegradować ani podrobić. Pięć domen na dwadzieścia sześć. Każda z nich to niemiecki dostawca albo Proton. Ani jeden brytyjski bank. Ani jeden urząd certyfikacji, czyli firmy, których cały biznes polega na ręczeniu za klucze. Najsilniejszą ochronę przed dokładnie tym atakiem, od którego zaczął się ten wpis, stosuje garstka ludzi, którym zależy, i nikt, kto jest tylko zgodny z przepisami.\nBanki to najostrzejszy wiersz. Osiem, każdy na DMARC reject, a łącznie: zero DANE, zero wymuszonego MTA-STS i tylko jeden, Monzo, osiągalny przez IPv6. Dwa z czterech urzędów certyfikacji nie publikują żadnego rekordu SPF na własnej domenie głównej. HMRC i NatWest też nie. To nie są małe firmy, które nie zdążyły się za to zabrać. To organizacje, które wysyłają ci pocztę, której podrobienia boisz się najbardziej, a ochrona, jaką mają, to plakietka, która wygląda najmocniej i robi najmniej.\nKolumna IPv6 to osobny mały skandal. Dwadzieścia z dwudziestu sześciu w ogóle nie ma rekordu AAAA na serwerze pocztowym, więc nadawca w sieci tylko z IPv6 nie może do nich dotrzeć, a ta liczba idzie w jedną stronę. Napisałem /pl/networking/we-never-ran-out-of-addresses/ o tym, jak branża odmawia dokończenia tej roboty, i oto znowu to samo, tym razem na drodze poczty. To ten sam kształt co spis gov.uk w /pl/dns/dnssec-the-root-is-signed-you-are-not/: trudną część zrobiono lata temu, rejestry dają to za darmo, a ci, którzy najoczywiściej powinni z tego korzystać, tego nie robią. Centralnego gov.uk nawet nie ma w tabeli, bo nie publikuje w ogóle MX. Nie odbiera poczty. To też jakiś sposób na zdanie testu.\nJeśli nadal tego nie robisz, czy możesz nazywać siebie profesjonalistą? Każdy standard wymieniony w tym wpisie i spis pod nim wskazują w jedną stronę: to nie jest problem badawczy, tylko problem włączenia, a włączania nie robią ci, którzy są do tego najlepiej ustawieni. Gdy dowody są tak jednostronne, pytanie przestaje być akademickie i staje się takim, na które musisz odpowiedzieć o własnych serwerach. Jeśli prowadzisz pocztę dla organizacji, która obraca cudzymi pieniędzmi albo cudzym zdrowiem, a twój MX nie robi DANE, nie wymusza MTA-STS i nie da się do niego dotrzeć przez IPv6, czy możesz to nazwać profesjonalną robotą?\nSą trzy uczciwe odpowiedzi i tylko dwie pierwsze się bronią. Tak, z zapisanym powodem i datą obok: jesteś na platformie, która jeszcze nie oferuje DANE, zgłosiłeś to i jest linijka w przyszłorocznym planie. To profesjonalista zarządzający prawdziwym ograniczeniem i to jest w porządku. Tak, bo nie wiedziałeś, a teraz wiesz, i jeszcze w tym tygodniu sprawdzisz, jak stoi twój serwer. Nikt nie zaczynał, wiedząc to. I nie: wiedziałeś dość, żeby czuć niepokój, doczytałeś aż tutaj, a teraz zamkniesz kartę i nic nie zmienisz, bo poczta płynie, żaden błąd nie wyskakuje i nikt cię nie zmusza. To ostatnie nie jest luką w wiedzy. To decyzja, żeby rzecz, za którą odpowiadasz, została zepsuta, bo zepsuta jest cichsza.\nStandard cię do tego nie zmusza. W tym cały problem i zarazem cały sens. Wiedza nie jest czymś, co ci się przydarza, i nikt nie przyjdzie ci powiedzieć, że twój serwer pocztowy od dwóch lat po cichu wysyła jawnym tekstem. Jako takie, upewnienie się, że wiesz, to twoja robota, i niczyja inna.\nStandard to obietnica, której dotrzymujesz, gdy nikt nie patrzy Wszystkie elementy tego skończono lata temu. STARTTLS jest z 2002 roku, SPF, DKIM i DMARC mają dekadę albo więcej, DANE dla poczty opisano w 2015, MTA-STS w 2018. Nic z tego nie siedzi za licencją, nic nie wymaga dostawcy, a rejestry, które przeniosłyby rekordy DNSSEC, dają je za darmo. Trudna inżynieria jest zrobiona. Zostaje łatwa część, ta, która jest łatwa tylko wtedy, gdy komuś się chce: włączyć to, sprawdzić, że naprawdę jest włączone, i trzymać to włączone, gdy certyfikat się odnawia, a rekord musi za nim pójść.\nTa ostatnia część to w zasadzie wszystko. Standard to nie dokument. Dokument istnieje od dwudziestu lat, a poczta nadal idzie jawnym tekstem. Standard to coś, czego się trzymasz, gdy żaden komunikat o błędzie cię do tego nie zmusza, gdy poczta płynęłaby tak samo, gdybyś po cichu odpuścił, gdy jedyną osobą, która by się kiedykolwiek dowiedziała, jesteś ty. Każde z tych ustawień zawodzi w stronę otwartą właśnie po to, żeby nikt nie był zmuszony się przejmować. Co znaczy, że przejmowanie się to cała robota.\nNie dostajesz za to nagrody. Faktura, której nie zmieniono, wygląda dokładnie jak faktura, którą zmieniono. Reset hasła, którego nikt nie przeczytał w drodze, wygląda dokładnie jak ten, który ktoś przeczytał. Różnica jest tylko w te dni, kiedy ktoś próbował, a w te dni osoba, która wszystko włączyła i sprawdziła, że działa, nigdy się nie dowiaduje, że była atakowana, bo atak się nie udał. Tak z zewnątrz wygląda porządnie zrobiona robota: nic się nie dzieje, z powodów, których nikt nie widzi.\nWięc ustaw każde z tych ustawień poprawnie mimo wszystko. Nie dlatego, że ktoś sprawdza, bo nikt nie sprawdza. Zrób to, bo to ty powiedziałeś, że poczta jest bezpieczna, a u nas to wciąż coś znaczy.\nRFC 3207 §6 — SMTP Service Extension for Secure SMTP over TLS, Security Considerations: \u0026ldquo;A man-in-the-middle attack can be launched by deleting the \u0026ldquo;250 STARTTLS\u0026rdquo; response from the server\u0026rdquo;, oraz że klienci i serwery \u0026ldquo;MUST be able to be configured to require successful TLS negotiation … for selected hosts\u0026rdquo;.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 3207 §4 — \u0026ldquo;A publicly-referenced SMTP server MUST NOT require use of the STARTTLS extension in order to deliver mail locally. This rule prevents the STARTTLS extension from damaging the interoperability of the Internet\u0026rsquo;s SMTP infrastructure.\u0026rdquo;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 7672 — bezpieczeństwo SMTP przez oportunistyczne DANE TLS, definiujące rekord 3 1 1 dla poczty i ataki degradacji, którym się opiera.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 8461 — SMTP MTA Strict Transport Security (MTA-STS).\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 8460 — SMTP TLS Reporting (TLS-RPT).\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 7208 — Sender Policy Framework (SPF) do autoryzowania użycia domen w poczcie, wersja 1.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 6376 — podpisy DomainKeys Identified Mail (DKIM).\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 7489 — Domain-based Message Authentication, Reporting, and Conformance (DMARC).\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 6698 i RFC 7671 — rekord TLSA DNS-Based Authentication of Named Entities (DANE) i jego aktualizacja operacyjna.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 8617 — Authenticated Received Chain (ARC), który pozwala forwarderowi poręczyć, że uwierzytelnienie przeszło przed nim.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nZmierzone 22 października 2026 przez DNS tylko do odczytu wobec resolvera walidującego (1.1.1.1) i pobranie przez HTTPS każdej polityki MTA-STS. Dla każdej domeny: czy każdy host MX publikuje rekord AAAA; czy wyszukanie MX zostało zwalidowane (flaga AD); czy _25._tcp.\u0026lt;mx\u0026gt; ma rekord TLSA w podpisanej strefie; opublikowany tryb MTA-STS; polityka DMARC pod _dmarc.\u0026lt;domain\u0026gt;; oraz kwalifikator all w rekordzie SPF domeny głównej. Do żadnego z tych serwerów nic nie zostało wysłane.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\n","permalink":"https://blogs.damiendye.uk/pl/email/why-every-mail-setting-has-to-be-right/","summary":"Każda warstwa bezpieczeństwa poczty jest zaprojektowana tak, by w razie problemu dalej działać, a nie bezpiecznie się zatrzymać. Usuń linię STARTTLS z powitania, a nadawca oportunistyczny pośle dalej jawnym tekstem; RFC 3207 opisuje to jako atak i zarazem zabrania publicznemu serwerowi się przed nim bronić. Ten wpis rejestruje ten atak man-in-the-middle w labie, potem przechodzi przez siedem ustawień chroniących wiadomość w drodze i dla każdego pokazuje, co chroni, czego nie chroni i jak zawodzi w stronę otwartą, gdy jest źle ustawione. Dalej DANE: dlaczego rekord TLSA jest bezwartościowy bez DNSSEC pod spodem, dlaczego liczą się 3 1 1 i ponowne użycie klucza, i dlaczego nieaktualny rekord to jedyna awaria, która zamyka zamiast otwierać. Na koniec spis tylko do odczytu brytyjskich banków, dużych dostawców poczty i urzędów certyfikacji, liczący, ilu z nich robi cokolwiek z tego.","title":"Dlaczego każde ustawienie poczty musi być poprawne"},{"content":"Zainstaluj Postfiksa z dystrybucji, przyjmij ustawienia domyślne, a masz serwer pocztowy, który wysyła twoją pocztę jawnym tekstem do każdego serwera, który nie oferuje TLS, i przyjmuje pocztę od każdego, kto podaje się za kogokolwiek. Dostarczany przez Debiana main.cf ustawia oba poziomy TLS na may. Nic nie sprawdza SPF. Nic nie sprawdza DKIM. Domena nadawcy, która nie istnieje, jest przyjmowana.\nTo nie błąd. Tego standardy wymagały dwadzieścia lat temu i tak wciąż działa ogromna liczba serwerów pocztowych w internecie.\nTen wpis buduje ten drugi rodzaj. Bierze zasady domu z wpisu otwierającego tę serię i wkłada każdą z nich do działającego Postfiksa, razem z odpowiedzią, jaką każda daje, kiedy czegoś odmawia. Argumenty za tymi zasadami są w tamtym wpisie i nie będę ich powtarzał. Ten jest o budowie.\nZasada Postfix z Debiana, jak dostarczony Ta konfiguracja Co dostaje naruszenie Żadnego jawnego tekstu na wejściu TLS oferowany, nigdy wymagany encrypt na każdym nasłuchu 530 5.7.0 Must issue a STARTTLS command first Żadnego jawnego tekstu na wyjściu TLS, jeśli oferowany, jawny tekst, jeśli nie encrypt, DANE albo MTA-STS tam, gdzie opublikowane odroczone, dsn=4.7.4 albo dsn=4.7.5 IPv6 na wszystkim inet_protocols = all to samo plus AAAA na każdym MX każdy test poniżej szedł po obu rodzinach Przekazywanie tylko po zalogowaniu przekazuje dla mynetworks port 25 nigdy nie przekazuje, 587 i 465 wymagają loginu 554 5.7.1 … Relay access denied Login wysyła jako on sam nie sprawdzane koperta i From: powiązane z loginem 553 5.7.1 … not owned by user Domena nadawcy musi istnieć nie sprawdzane reject_unknown_sender_domain, kod 550 550 5.1.8 … Domain not found Błąd SPF, błąd DKIM nie sprawdzane Rspamd, z wymuszonymi odrzuceniami 554 5.7.1 SPF hard fail / DKIM signature does not verify Każda odpowiedź w tym wpisie została przechwycona z działającego serwera, po IPv4 i IPv6. Kilka ustawień okazało się nic nie robić, dopóki nie ustawiono też czegoś innego. Każde z nich znalazłem, patrząc, jak nic nie robi. Są wyraźnie opisane poniżej, bo to one cię ugryzą.\nLab Jedna odizolowana sieć, każdy host w obu rodzinach adresów DNS I POLITYKI sieć maillab: 10.89.50.0/24 i fd89:50::/64, wewnętrzna lab-ns BIND 9.20.30, podpisuje test. .10 i ::10 lab-resolver unbound 1.26.1, waliduje .11 i ::11 lab-tlspol postfix-tlspol 1.14.4 .25 i ::25 lab-alpha Postfix 3.10.13 alpha.test .20 i ::20 lab-bravo Stalwart 0.16.27 bravo.test .21 i ::21 lab-plain Postfix, bez TLS plain.test .22 i ::22 lab-client swaks, nadawca testowy sender.test .50 i ::50 SERWERY POCZTOWE Jednorazowy CA dla certyfikatów. Każdy test w tych wpisach szedł po obu rodzinach. Wszystko z tego wpisu najpierw uruchomiono tutaj. Nic stąd nie sięga internetu, więc nic stąd nie jest też zgadywaniem na temat internetu Element Wersja Zadanie Postfix 3.10.13, Debian trixie serwer MX i submission dla alpha.test Dovecot 2.4.1 hasła do logowania, każdy protokół pocztowy wyłączony Rspamd, Redis 3.12.1, 8.0.2 SPF, DKIM, DMARC, podpisywanie DKIM postfix-tlspol 1.14.4 polityka wychodząca z TLSA i MTA-STS BIND, unbound 9.20.30, 1.26.1 podpisana prywatna strefa test. i resolver, który ją waliduje Domena Do czego służy alpha.test serwer, który buduje ten wpis bravo.test Stalwart, który dostaje własny wpis plain.test zły sąsiad: niepodpisana strefa, bez STARTTLS sender.test SPF -all, DKIM, DMARC p=reject: do podrabiania, modyfikowania i przekazywania Każdy nasłuch wiąże obie rodziny, a każdy MX ma rekord A i AAAA. IPv6 nie jest tu dodatkiem. Serwer pocztowy bez niego to wada, a udowodnienie, że ten go ma, jest proste: uruchom każde sprawdzenie dwa razy.\nEtap po etapie Sesja SMTP to stała sekwencja i każda zasada w tej konfiguracji ma w niej swoje naturalne miejsce. Kolejność ma znaczenie z jednego powodu: odmawiaj tak wcześnie, jak pozwalają dowody. Domena nadawcy, która nie istnieje, jest znana przy MAIL FROM, więc nie ma powodu przyjmować treści, zanim się odmówi. Zmieniona treść jest znana dopiero po DATA, więc tam jest odrzucana.\nGdzie każda reguła gryzie i co powiedział serwer ETAP REGUŁA I ODPOWIEDŹ PRZECHWYCONA W LABIE EHLO STARTTLS AUTH MAIL FROM RCPT TO DATA AUTH niedostępne, dopóki nie ma TLS smtpd_tls_auth_only = yes pomiń go, a nic więcej nie zostanie przyjęte 530 5.7.0 Must issue a STARTTLS command first tylko 587 i 465; port 25 nie ma logowania 554 5.7.1 Client host rejected: Access denied domena nadawcy musi istnieć 550 5.1.8 Sender address rejected: Domain not found nasza własna domena wymaga loginu 554 5.7.1 Our own domain: send through submission login musi być właścicielem adresu 553 5.7.1 not owned by user alice@alpha.test port 25 nigdy nie przekazuje 554 5.7.1 Relay access denied Rspamd: SPF, DKIM, DMARC 554 5.7.1 SPF hard fail / DKIM does not verify nagłówek From: musi być loginem 554 5.7.1 You may only send as your own address Postfix wstrzymuje odrzucenia MAIL FROM do RCPT TO, więc te trzy odpowiedzi przychodzą krok później. Każda zasada ma swój etap. Odrzucaj tak wcześnie, jak pozwalają dowody Reszta wpisu przechodzi przez te etapy po kolei: TLS na wejściu, TLS na wyjściu, logowanie i przekazywanie, adresy nadawców, a potem to, co Rspamd robi z treścią.\nŻadnego jawnego tekstu na wejściu Jedna linia:\nsmtpd_tls_security_level = encrypt Klient, który próbuje pominąć STARTTLS, nie dostaje nic poza odmową:\n\u0026lt;- 220 mail.alpha.test ESMTP Postfix -\u0026gt; MAIL FROM:\u0026lt;carol@sender.test\u0026gt; \u0026lt;** 530 5.7.0 Must issue a STARTTLS command first Teraz przeczytaj, co o tym ustawieniu mówi podręcznik samego Postfiksa:\nAccording to RFC 2487 this MUST NOT be applied in case of a publicly-referenced SMTP server. Instead, this should be used on dedicated servers, for example submission (port 587).1\nRFC 2487 to stary numer RFC 3207, a ta zasada jest powodem, dla którego większość hostów MX w internecie nadal przyjmuje pocztę jawnym tekstem. Ja i tak stosuję to na publicznie wskazanym MX. Celowo. Wpis otwierający wyjaśnia, dlaczego uważam tę zasadę za błędną, a koszt jest prawdziwy: nadawca, którego serwer nie umie TLS, nie dotrze do ciebie. W 2026 roku to serwer, od którego i tak nie chcesz poczty.\nŻadnego jawnego tekstu na wyjściu To ta połowa, którą większość poradników robi źle, bo oczywiste ustawienie nie robi tego, co sugeruje jego nazwa.\nPostfix ma poziom bezpieczeństwa dane. Ustawisz go i spodziewasz się, że poczta wychodzi uwierzytelniona. Nie wychodzi. Oto co postconf(5) mówi, że robi, kiedy druga strona nic nie publikuje:\nWhen DNSSEC-validated TLSA records are not found the effective tls security level is \u0026ldquo;may\u0026rdquo;.2\nmay to oportunistyczny TLS, który TLS_README opisuje bez ogródek: „Otherwise, messages are sent in the clear.”3 Większość internetu nie publikuje rekordów TLSA. Więc samo smtp_tls_security_level = dane oznacza DANE dla garstki domen, które to robią, i jawny tekst dla wszystkich pozostałych, których serwer nie oferuje STARTTLS. Oportunizm z ładniejszą nazwą.\nRozwiązanie polega na tym, żeby encrypt było podłogą, a każde miejsce docelowe podnoszone ponad nią, kiedy publikuje coś lepszego. Podnoszeniem zajmuje się postfix-tlspol. To mały serwer polityk na licencji MIT, którego Postfix pyta o każdą domenę odbiorcy przez socketmap. Najpierw sprawdza, czy w podpisanej strefie są użyteczne rekordy TLSA, potem MTA-STS, i odpowiada polityką, której Postfix powinien użyć:\nsmtp_dns_support_level = dnssec smtp_tls_security_level = encrypt smtp_tls_mandatory_protocols = \u0026gt;=TLSv1.2 smtp_tls_policy_maps = socketmap:inet:[fd89:50::25]:8642:QUERYwithTLSRPT Trzy polityki, żadna z jawnym tekstem PYTANIE CO PUBLIKUJE DOMENA POLITYKA POSTFIKSA postfix-tlspol dla każdej domeny odbiorcy, przez DNSSEC Użyteczne TLSA w podpisanej strefie MTA-STS, enforce polityka pobrana przez HTTPS Żadne z nich większość internetu dane-only klucz serwera musi pasować secure match=… certyfikat CA, tylko wymienione MX encrypt TLS wymagany, bez uwierzytelnienia A GDY SIĘ NIE DA, POCZTA CZEKA brak STARTTLS: dsn=4.7.4 klucz nie pasuje: dsn=4.7.5 Dostarczany poziom dane dodałby czwarty wiersz: brak TLSA, wyślij jawnym tekstem. Ta konfiguracja go pomija Jego README precyzyjnie mówi, co zwraca: będzie „Verify TLSA records for correctness and supported parameters, only then the dane-only policy (Mandatory DANE) will be returned.”4 Zapytany o trzy domeny z labu powiedział dokładnie to:\nlevel=INFO msg=\u0026#34;Evaluated policy\u0026#34; origin=network domain=alpha.test policy=dane-only ttl=214 level=INFO msg=\u0026#34;Evaluated policy\u0026#34; origin=network domain=bravo.test policy=dane-only ttl=198 level=INFO msg=\u0026#34;No policy found\u0026#34; origin=network domain=plain.test ttl=1800 Brak polityki dla plain.test znaczy, że Postfix wraca do podłogi encrypt, a plain.test nie oferuje STARTTLS. Poczta czeka:\npostfix/smtp[194]: 78598130DA54: to=\u0026lt;someone@plain.test\u0026gt;, relay=mail.plain.test[fd89:50::22]:25, delay=0.02, delays=0.01/0.01/0.01/0, dsn=4.7.4, status=deferred (TLS is required, but was not offered by host mail.plain.test[fd89:50::22]) I przypadek, który dowodzi, że DANE coś robi. Na wczesnym etapie budowy Stalwart na bravo.test wciąż serwował własny certyfikat startowy, podczas gdy strefa publikowała rekord TLSA dla tego prawdziwego. Serwer z całkiem dobrym certyfikatem, tylko nie tym, za który ręczył właściciel domeny:\npostfix/smtp[196]: server certificate verification failed for mail.bravo.test[fd89:50::21]:25: num=65:no matching DANE TLSA records postfix/smtp[196]: 79160130DA56: to=\u0026lt;someone@bravo.test\u0026gt;, relay=mail.bravo.test[10.89.50.21]:25, delay=5.9, delays=0/0.01/5.9/0, dsn=4.7.5, status=deferred (Server certificate not verified) Odroczenie to właściwa odpowiedź w obu przypadkach. Odroczona wiadomość jest ponawiana przez całe dni, co daje drugiej stronie czas na naprawienie swojego końca, i nic nie ginie. Wiadomości wysłanej jawnym tekstem nie da się odwysłać. Jako takie, czekanie jest zawsze tańszą porażką.\nResolver jest częścią łańcucha zaufania smtp_dns_support_level = dnssec sprawia, że Postfix prosi swój resolver o zwalidowane odpowiedzi, a potem wierzy bitowi AD resolvera, fladze, która mówi „sprawdziłem podpisy”. Postfix sam niczego nie waliduje. Ufa. Resolver wymieniony w /etc/resolv.conf decyduje teraz, czy twoja poczta jest uwierzytelniona.\nZnajdziesz rady mówiące, że glibc wyrzuca ten bit, chyba że resolv.conf zawiera options trust-ad. Przetestowałem to i na tym Postfiksie nie robi to różnicy: DANE pasowało z tą opcją i bez niej. Źródła wyjaśniają dlaczego. Postfix sam ustawia tę flagę za każdym razem, kiedy pyta o DNSSEC:\nif (DNS_WANT_DNSSEC_VALIDATION(flags)) flags |= (RES_USE_EDNS0 | RES_TRUSTAD); To z src/dns/dns_lookup.c.5 Liczy się więc nie opcja resolvera, tylko to, na który resolver wskazujesz. Musi walidować, a droga do niego musi być taka, której ufasz, co w praktyce znaczy, że działa na samym serwerze pocztowym albo w sieci, do której nikt inny nie ma dostępu. Publiczny resolver po drugiej stronie internetu chętnie ustawi ci AD. Tak samo zrobi każdy, kto siedzi między tobą a nim.\nDANE: publikuj klucz, nie certyfikat Rekord TLSA przypina to, co serwer wysyłający powinien zobaczyć, kiedy się łączy. Ten, którego należy używać, to 3 1 1, a każda z trzech liczb to wybór:\nPole Wartość Znaczenie Dlaczego ta Usage 3, DANE-EE dopasuj własny certyfikat serwera brak CA w łańcuchu, któremu trzeba ufać albo które może zawieść Selector 1, SPKI hashuj tylko klucz publiczny przetrwa każde odnowienie na tym samym kluczu Matching 1, SHA-256 skrót, nie pełny klucz każdy klient DANE musi go obsługiwać RFC 7672 podaje powód tej kombinacji w jednej linii:\nthis record type works for all clients and need not change across certificate renewals with the same key.6\nHash to jeden potok poleceń, a oto on na certyfikacie z labu i rekordzie, który serwuje podpisana strefa:\n$ openssl x509 -in mail.alpha.test.crt -noout -pubkey \\ | openssl pkey -pubin -outform DER | sha256sum 093a80cac907a52eb41d17df20163c95f2e15d6702c76f65174d7fc32460c69f - $ dig +dnssec _25._tcp.mail.alpha.test TLSA ;; flags: qr rd ra ad; QUERY: 1, ANSWER: 2, AUTHORITY: 0, ADDITIONAL: 1 _25._tcp.mail.alpha.test. 165 IN TLSA 3 1 1 093A80CAC907A52EB41D17DF20163C95F2E15D6702C76F65174D7FC3 2460C69F Lab udowodnił część „need not change” przypadkiem. W połowie drogi ostrzejsze sprawdzanie certyfikatów w Pythonie 3.13 odrzuciło certyfikaty labu za brak identyfikatora klucza urzędu, więc każdy z nich wystawiono od nowa. Te same klucze prywatne, nowe certyfikaty. Nie zmienił się ani jeden rekord TLSA i ani jeden nadawca DANE niczego nie zauważył.\nTeraz pułapka. Większość ludzi odnawia certyfikaty certbotem, automatycznie, co kilka tygodni. Z dokumentacji samego certbota:\nNot reusing private keys is the default behavior of Certbot.7\nDomyślne odnowienie tworzy więc za każdym razem nowy klucz. Rekord TLSA przestaje pasować i każdy nadawca, który sprawdza DANE, zaczyna w dniu odnowienia odraczać twoją pocztę. Po twojej stronie nic się nie psuje. Nic ci tego nie mówi. Uruchamiaj certbota z --reuse-key, a rekord przeżyje każdy certyfikat, który za nim postawisz. Kiedy klucz naprawdę musi się zmienić, jest na to kolejność:\nTen sam klucz: nic do zrobienia. Nowy klucz: cztery kroki, po kolei ODNOWIENIE NA TYM SAMYM KLUCZU Odnów certyfikat ten sam klucz prywatny TLSA bez zmian 093a80… przed i po Nic do publikacji DANE nie zauważy ZMIANA KLUCZA 1. Nowe TLSA obok starego 2. Odczekaj dwa TTL cache: stary zestaw 3. Przełącz klucz serwer pokazuje nowy 4. Usuń stare dopiero teraz Pomiń krok 2 a każdy nadawca DANE, który zapamiętał stary rekord, odracza twoją pocztę, dopóki ten nie wygaśnie. Używaj ponownie klucza przy odnowieniu, a rekord TLSA przeżyje każdy certyfikat, który za nim postawisz Krok drugi to ten, który ludzie pomijają. Efektem jest odroczona poczta, dopóki stary rekord nie wygaśnie w każdym cache\u0026rsquo;u, a odraczają dokładnie ci nadawcy, którzy robią bezpieczeństwo porządnie.\nNikt nie przekazuje poczty bez loginu Przekazywanie (relaying) to wysyłanie poczty dalej, do domeny, dla której nie jesteś miejscem docelowym. Otwarty relay to sposób na wypranie spamu przez cudzą reputację. Dawniej zamykało się go, ufając zakresowi adresów, więc wszystko z sieci biurowej mogło przekazywać. To zaufanie według lokalizacji. W sieci z WiFi dla gości, użytkownikami VPN i jakimś przejętym laptopem lokalizacja jest warta bardzo niewiele.\nWięc żaden adres nie jest zaufany poza samą maszyną:\nmynetworks = 127.0.0.0/8 [::1]/128 smtpd_relay_restrictions = reject_unauth_destination Port 25 służy poczcie przychodzącej dla tej domeny i niczemu innemu. Nigdy nie przekazuje, dla nikogo:\n\u0026lt;** 554 5.7.1 \u0026lt;someone@plain.test\u0026gt;: Relay access denied Użytkownicy wysyłają przez submission: port 587 ze STARTTLS albo 465 z TLS od pierwszego bajtu. Oba chcą loginu, zanim cokolwiek zrobią. Hasła sprawdza Dovecot, z każdym protokołem pocztowym wyłączonym, żeby nie robił nic innego, a Postfix pyta go przez gniazdo. Nasłuch submission w master.cf:\nsubmission inet n - y - - smtpd -o smtpd_tls_security_level=encrypt -o smtpd_sasl_auth_enable=yes -o smtpd_tls_auth_only=yes -o smtpd_client_restrictions=permit_sasl_authenticated,reject -o smtpd_sender_restrictions=reject_sender_login_mismatch -o smtpd_relay_restrictions=permit_sasl_authenticated,reject smtpd_tls_auth_only oznacza, że serwer nawet nie oferuje AUTH, dopóki nie ma TLS, więc hasło nigdy nie przechodzi jawnym tekstem. Linii AUTH w odpowiedzi na EHLO bez szyfrowania: zero. Klient, który łączy się z 587 i próbuje wysłać bez logowania, nigdzie nie dochodzi:\n\u0026lt;** 554 5.7.1 \u0026lt;unknown[fd89:50::50]\u0026gt;: Client host rejected: Access denied Login jest właścicielem swoich adresów Login udowadnia, kim jesteś. Nic nie mówi o tym, jako które adresy wolno ci wysyłać. Bez tego powiązania każdy użytkownik na serwerze może wysłać pocztę jako dyrektor finansowy, a ta zostanie podpisana i dostarczona tak, jakby była prawdziwa. Postfix wiąże jedno z drugim mapą adresów do właścicieli:\nalice@alpha.test alice@alpha.test bob@alpha.test bob@alpha.test postmaster@alpha.test alice@alpha.test reject_sender_login_mismatch na portach submission egzekwuje to wobec nadawcy w kopercie. Zalogowana jako alice, próbuje wysłać jako bob:\n\u0026lt;** 553 5.7.1 \u0026lt;bob@alpha.test\u0026gt;: Sender address rejected: not owned by user alice@alpha.test To obejmuje kopertę. Nie obejmuje nagłówka From:, czyli adresu, który odbiorca naprawdę widzi, i postconf(5) mówi to wprost w uwagach do tej samej restrykcji:\nto enforce that the From: header address matches the envelope sender (MAIL FROM) address, use an external filter such as a Milter8\nRspamd jest tu już milterem, więc sprawdzenie nagłówka to krótka reguła w Lua, która porównuje zalogowanego użytkownika z adresem From:, plus wymuszone odrzucenie na symbolu, który ona podnosi:\nrspamd_config.AUTH_FROM_NOT_LOGIN = { callback = function(task) local user = task:get_user() if not user then return false end local from = task:get_from(\u0026#39;mime\u0026#39;) if not from or not from[1] or not from[1].addr then return true, \u0026#39;no From address\u0026#39; end if string.lower(from[1].addr) ~= string.lower(user) then return true, from[1].addr .. \u0026#39; is not \u0026#39; .. user end return false end, score = 0.0, description = \u0026#39;Authenticated user sent with a From: address that is not their own\u0026#39;, group = \u0026#39;headers\u0026#39;, } Alice wysyła z MAIL FROM:\u0026lt;alice@alpha.test\u0026gt; i From: bob@alpha.test:\n\u0026lt;** 554 5.7.1 You may only send as your own address Nazwa wyświetlana jest w porządku, zmiana wielkości liter też. Alice \u0026lt;ALICE@alpha.test\u0026gt; przechodzi, bo porównanie dotyczy adresu i ignoruje wielkość liter.\nSprawdzenie, które samo się wyłącza Oto pierwsze z ustawień, które po cichu nic nie robią. Oczywisty sposób, żeby obcy nie podrabiali twojej własnej domeny na porcie 25, to wstawić tam też sprawdzenia niezgodności loginu. Postfix przyjmuje konfigurację, startuje i loguje to:\nwarning: restriction `reject_authenticated_sender_login_mismatch\u0026#39; ignored: no SASL support warning: restriction `reject_unauthenticated_sender_login_mismatch\u0026#39; ignored: no SASL support Port 25 ma SASL wyłączony, całkiem słusznie, bo nikt się tam nie loguje. Więc sprawdzenie jest pomijane. Poczta jest przyjmowana. Jedynym śladem jest ostrzeżenie w logu, którego nikt nie czyta, a bez tego sprawdzenia każdy w internecie mógłby wysłać do tego serwera MAIL FROM:\u0026lt;alice@alpha.test\u0026gt; i dostarczyć to współpracownikom alice, jakby to ona napisała.\nRozwiązanie to odrzucać nasze własne domeny z nazwy na porcie 25, bo poczta od nas nigdy legalnie tam nie przychodzi:\nsmtpd_sender_restrictions = reject_non_fqdn_sender, reject_unknown_sender_domain, check_sender_access texthash:/etc/postfix/own_domains gdzie own_domains ma jedną linię, alpha.test REJECT Our own domain: send through submission with a login. Przetestowane z zewnątrz:\n\u0026lt;** 554 5.7.1 \u0026lt;alice@alpha.test\u0026gt;: Sender address rejected: Our own domain: send through submission with a login Domeny nadawców, które nie istnieją Jeśli domena w MAIL FROM nie istnieje, nic nie może zostać do niej odesłane i nic legalnego nigdy z niej nie przyszło. reject_unknown_sender_domain odrzuca pocztę, kiedy ta domena nie ma „no DNS MX and no DNS A record”.9 Domyślny kod odpowiedzi Postfiksa dla tego przypadku to 450, błąd tymczasowy, który zaprasza fałszerza, żeby spróbował później. Zmieniłem go na 550.\npostconf(5) mówi o tym ustawieniu bez ogródek: „Do not change this unless you have a complete understanding of RFC 5321.”10 W porządku. Oto rozumowanie. 4xx każe nadawcy zakolejkować i ponowić, co ma sens, kiedy odpowiedź może się zmienić. Domenie, która nie ma teraz rekordów, nie wyrosną one w ciągu pięciu minut. Postfix oddziela to od przypadku, w którym odpowiedź jeszcze nie jest znana: błąd DNS obsługuje unknown_address_tempfail_action, które nadal odracza. Zmiana kodu zmienia tylko ten przypadek, który ma odpowiedź.\nLab przetestował wszystkie trzy, plus ten, na którym zależy zasadzie IPv6. Sformułowanie w postconf mówi „A record”, a domena, której jedynym adresem jest rekord AAAA, nie powinna być traktowana jak nieistniejąca:\nDomena nadawcy DNS mówi Odpowiedź nosuch-lab.co.uk NXDOMAIN 550 5.1.8 \u0026lt;someone@nosuch-lab.co.uk\u0026gt;: Sender address rejected: Domain not found v6only-lab.co.uk tylko AAAA, bez A, bez MX przyjęta dnsfail-lab.co.uk SERVFAIL 450 4.1.8 … Sender address rejected: Domain not found, ponowione później sender.test MX, A, AAAA przyjęta W praktyce „A record” obejmuje AAAA, a domena tylko z IPv6 jest bezpieczna. Odmowa przychodzi przy MAIL FROM, zanim nadawca wyśle choć jeden bajt treści. Postfix domyślnie wstrzymuje odrzucenie MAIL FROM do pierwszego RCPT TO, więc odpowiedź przychodzi krok później, niż można by się spodziewać, i dlatego diagram etapów pokazuje ją właśnie tam.\nSPF, DKIM i DMARC, z zębami Te trzy są porządnie omówione we wpisie otwierającym. Po jednej linii na każde: SPF mówi, które serwery mogą wysyłać w imieniu domeny, DKIM podpisuje wiadomość, żeby zmiany były widoczne, a DMARC mówi, co zrobić, kiedy zawiodą, i czy pasują do widocznej domeny From:. Zasada domu to odrzucać przy twardym błędzie SPF i przy podpisie DKIM, który jest obecny i się nie weryfikuje. Poczta niepodpisana nie jest błędem DKIM. Tym zajmuje się DMARC p=reject w domenie nadawcy.\nRspamd robi wszystkie trzy w jednym milterze, plus podpisywanie DKIM dla poczty wychodzącej. Postfix przekazuje mu każdą wiadomość, a jeśli Rspamd nie odpowiada, poczta czeka, zamiast przechodzić niesprawdzona:\nsmtpd_milters = inet:127.0.0.1:11332 non_smtpd_milters = $smtpd_milters milter_default_action = tempfail Rspamd działa na punktach i to pierwsza rzecz, którą trzeba o nim zrozumieć. Prosto z pudełka nic nie jest odrzucane dlatego, że SPF zawiódł. Nic. Każdy wynik dodaje albo odejmuje kilka punktów, a wiadomość jest odrzucana, kiedy suma przekroczy 15. Moduł force_actions zamienia pojedynczy wynik w decyzję:\nrules { SPF_FAIL_REJECT { action = \u0026#34;reject\u0026#34;; expression = \u0026#34;R_SPF_FAIL\u0026#34;; message = \u0026#34;SPF hard fail: this host is not allowed to send for that domain\u0026#34;; } DKIM_FAIL_REJECT { action = \u0026#34;reject\u0026#34;; expression = \u0026#34;R_DKIM_REJECT\u0026#34;; message = \u0026#34;DKIM signature does not verify: the message was changed or forged\u0026#34;; } DMARC_REJECT { action = \u0026#34;reject\u0026#34;; expression = \u0026#34;DMARC_POLICY_REJECT\u0026#34;; message = \u0026#34;DMARC policy of the sender\u0026#39;s domain says reject\u0026#34;; } } Pięć wiadomości od sender.test, wysłanych z klienta w labie. Rekord SPF dopuszcza ip6:fd89:50::50 i nic więcej, więc ten sam klient wysyłający po IPv4 jest dla tej domeny nieuprawnionym serwerem. Dokładnie tak wygląda też przekazana dalej wiadomość:\nPrzypadek Wysłana jako SPF DKIM DMARC Wynik Rspamd Odpowiedź A podpisana, z wymienionego adresu IPv6 pass pass pass 3,59 z 15 przyjęta B podpisana, potem zmienione dane bankowe pass fail pass 2,30 z 15 554 5.7.1 DKIM signature does not verify C niepodpisana, z IPv4 fail none reject 5,00 z 15 554 5.7.1 SPF hard fail D podpisana i nienaruszona, z IPv4 fail pass pass 2,30 z 15 554 5.7.1 SPF hard fail E niepodpisana, z wymienionego adresu IPv6 pass none pass 3,80 z 15 przyjęta Spójrz na przypadek B. To faktura z kodem sortującym i numerem konta zmienionymi po podpisaniu. Innymi słowy oszustwo fakturowe. SPF przeszedł, bo wiadomość przyszła z właściwego serwera. DMARC przeszedł, bo przeszedł SPF i zgadzał się z domeną From:. Na podstawie punktów Rspamd dał jej 2,30 z 15 i by ją dostarczył. Jedyne, co ją zatrzymało, to wymuszone odrzucenie przy zepsutym podpisie. DMARC sam z siebie przepuszcza zmienioną wiadomość, dopóki jedno z dwóch sprawdzeń przetrwa, i warto to wiedzieć, zanim nazwiesz domenę chronioną, bo jej DMARC mówi reject.\nPrzypadek D to koszt i trzeba go powiedzieć wprost. Poprawnie podpisana, nietknięta wiadomość zostaje odrzucona, bo przyszła z serwera, którego nie ma w rekordzie SPF. To właśnie robi przekazywanie: serwer przekazujący wysyła twoją wiadomość dalej z własnego adresu. Odrzucanie na podstawie samego SPF oznacza, że przekazana poczta z domen z -all jest odbijana. SRS na serwerze przekazującym to naprawia, podobnie jak przedkładanie DKIM nad SPF, ale zasada domu to zasada domu, a koszt zostaje spisany.\nUstawienie domyślne, które ufa każdej sieci prywatnej Drugie ustawienie, które po cichu nic nie robi. Rspamd pomija SPF i kilka innych sprawdzeń dla adresów, które uważa za lokalne, a dostarczana lista w options.inc wygląda tak:\nlocal_addrs = [192.168.0.0/16, 10.0.0.0/8, 172.16.0.0/12, fd00::/8, 169.254.0.0/16, fe80::/10]; Każdy zakres prywatny, obie rodziny. Jeśli twój MX stoi za load balancerem, NAT-em albo proxy na adresie prywatnym, SPF jest po cichu pomijany dla wszystkiego. W labie, który jest cały na adresacji prywatnej, SPF nie zawiódł ani razu, dopóki tego nie zmieniono.\nOczywista poprawka nie działa. Rspamd ma dwa katalogi na ustawienia lokalne, a jego FAQ wyjaśnia różnicę: local.d „Merges with defaults. Collections and lists are combined”, a override.d „Replaces defaults.”11 Węższa lista w local.d/options.inc jest łączona z dostarczoną, co znaczy, że niczego nie zawęża. Musi trafić do override.d/options.inc:\nlocal_addrs = [127.0.0.0/8, ::1]; a rspamadm configdump options to sposób, żeby sprawdzić, z czym Rspamd naprawdę skończył, a nie co myślisz, że napisałeś.\nGreylisting jest w tej konfiguracji również wyłączony. Wysyła nieznanym nadawcom tymczasowe odrzucenie i przyjmuje ich przy ponownej próbie, co faktycznie zatrzymuje trochę spamu, ale greylisting w Rspamd odpowiada, zanim SPF i DMARC zdążą się wypowiedzieć, więc podczas testów widzisz odroczenie tam, gdzie spodziewałeś się werdyktu.12 Testy powyżej mają sens tylko z wyłączonym greylistingiem.\nTwoje własne odbicia, odrzucone przez twój własny DMARC Ostatnia pułapka wyszła, kiedy Stalwart w labie odrzucił odbicie (bounce) od tego serwera. Postfix wysyła odbicia z pustym nadawcą w kopercie i From: MAILER-DAEMON@mail.alpha.test. Bez nadawcy w kopercie jedyne pozostałe sprawdzenie SPF dotyczy nazwy, którą serwer podał w HELO, mail.alpha.test, a ta nie miała rekordu SPF. Odbicie nie było też podpisane. DMARC wrócił więc do polityki dla alpha.test, znalazł p=reject, a serwer odbierający zrobił dokładnie to, co kazała mu domena:\nsmtp.dmarc-fail … domain = \u0026#34;alpha.test\u0026#34;, policy = \u0026#34;reject\u0026#34;, result = DMARC check failed (dmarc.fail) { causedBy = Policy not aligned } Własna polityka domeny wyrzucała jej własne powiadomienia o niedoręczeniu. Każda nazwa hosta MX dostaje własny rekord SPF i to rozwiązuje sprawę:\nmail IN TXT \u0026#34;v=spf1 a -all\u0026#34; Sześć ustawień, które wyglądają na zrobione Pułapki powyżej mają wspólny kształt. Każda z nich to ustawienie, które wygląda na zrobione, nie daje żadnego błędu i nic nie robi.\nWygląda na zrobione Co naprawdę się dzieje Znalezione przez smtp_tls_security_level = dane jawny tekst wszędzie tam, gdzie nie opublikowano TLSA lekturę postconf(5) sprawdzenia niezgodności loginu na porcie 25 pominięte, jedno ostrzeżenie w logu wysłanie podróbki local_addrs zawężone w local.d połączone z domyślnymi, nic nie zawężone rspamadm configdump DMARC p=reject u nadawcy zmieniona poczta przechodzi, jeśli przejdzie SPF przypadek B odnowienia certbota nowy klucz, TLSA przestaje pasować lekturę dokumentacji certbota DMARC p=reject we własnej domenie twoje własne odbicia odrzucone odrzucone odbicie Dwa z nich są w dokumentacji, jeśli przeczytasz właściwy akapit właściwej strony. Pozostałe cztery wyszły tylko przez wysłanie wiadomości, którą zasada miała zatrzymać, i obejrzenie, co wróciło. Przeczytanie konfiguracji i przytaknięcie jej nie znalazło żadnego. Jeśli masz wynieść z tego wpisu jeden nawyk, wynieś ten, bo każdą linię tutaj można skopiować do serwera, a ona i tak może nie działać.\nUstawienia domyślne to cudza decyzja Każda odmowa w tym wpisie to ustawienie, które Postfix ma od lat. Nawet DANE, najnowsza rzecz tutaj, jest w nim od wersji 2.11.13 Nic z tego nie jest nowe, nic nie jest drogie, a serwer pod spodem to to samo wolne oprogramowanie co zawsze. Różnica między serwerem pocztowym, który przepuszcza zmienioną fakturę, a takim, który odrzuca ją przy DATA, to strona konfiguracji i popołudnie testów.\nTo dlaczego tak mała część internetu tak działa? Bo decydują ustawienia domyślne, a ustawiono je tak, żeby poczta przechodziła w internecie, w którym TLS był wyjątkiem. Wtedy to była rozsądna decyzja. Zostaw je w spokoju dzisiaj, a oddajesz swoje decyzje o bezpieczeństwie wyborowi, którego ktoś dokonał w 2002 roku, dla sieci, która już nie istnieje, w sprawie poczty, która nie była twoja.\nProwadzenie serwera pocztowego to decyzja, że odpowiadasz za to, co przez niego przechodzi. Te ustawienia to spisana decyzja. Ustawienia domyślne to to, co dostajesz, kiedy nikt jej nie podjął.\npostconf(5): smtpd_tls_security_level — poziom encrypt: \u0026ldquo;According to RFC 2487 this MUST NOT be applied in case of a publicly-referenced SMTP server.\u0026rdquo;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\npostconf(5): smtp_tls_security_level — poziom dane: \u0026ldquo;When DNSSEC-validated TLSA records are not found the effective tls security level is \u0026ldquo;may\u0026rdquo;.\u0026rdquo;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nPostfix TLS_README: Opportunistic TLS — \u0026ldquo;The SMTP transaction is encrypted if the STARTTLS ESMTP feature is supported by the server. Otherwise, messages are sent in the clear.\u0026rdquo;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\npostfix-tlspol on GitHub — serwer polityk MTA-STS i DANE dla Postfiksa na licencji MIT: \u0026ldquo;Verify TLSA records for correctness and supported parameters, only then the dane-only policy (Mandatory DANE) will be returned.\u0026rdquo; Użyta tu wersja 1.14.4.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nPostfix source, src/dns/dns_lookup.c — \u0026ldquo;Automatically turns on the RES_TRUSTAD flag on systems that support this flag\u0026rdquo; oraz kod, który robi to, kiedy żądana jest walidacja DNSSEC.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 7672 §3.1.1 — bezpieczeństwo SMTP przez oportunistyczne DANE TLS. Rekordy TLSA dla serwerów SMTP \u0026ldquo;should, in most cases, be \u0026ldquo;DANE-EE(3) SPKI(1) SHA2-256(1)\u0026rdquo; records\u0026rdquo;.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCertbot user guide, command-line options — --reuse-key: \u0026ldquo;When renewing, use the same private key as the existing certificate. (default: False)\u0026rdquo;, a przy --no-reuse-key: \u0026ldquo;Not reusing private keys is the default behavior of Certbot.\u0026rdquo;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\npostconf(5): reject_known_sender_login_mismatch — \u0026ldquo;to enforce that the From: header address matches the envelope sender (MAIL FROM) address, use an external filter such as a Milter\u0026rdquo;.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\npostconf(5): reject_unknown_sender_domain — odrzuca, kiedy domena MAIL FROM ma \u0026ldquo;no DNS MX and no DNS A record\u0026rdquo; albo zniekształcony MX.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\npostconf(5): unknown_address_reject_code — domyślnie 450: \u0026ldquo;Do not change this unless you have a complete understanding of RFC 5321.\u0026rdquo;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRspamd FAQ: the difference between local.d and override.d — local.d \u0026ldquo;Merges with defaults. Collections and lists are combined\u0026rdquo;; override.d \u0026ldquo;Replaces defaults. Entire sections are overwritten.\u0026rdquo;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRspamd greylisting module — \u0026ldquo;The greylisting module triggers a soft reject action, which is intended to be interpreted by the MTA as a temporary rejection\u0026rdquo;.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nPostfix TLS_README: DANE — \u0026ldquo;Postfix ≥ 2.11 supports the new dane and dane-only security levels\u0026rdquo;.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\n","permalink":"https://blogs.damiendye.uk/pl/email/postfix-dane-done-properly/","summary":"Prosto z pudełka Postfix wysyła jawnym tekstem, kiedy druga strona nie oferuje TLS, i przyjmuje pocztę od każdego, kto podaje się za kogokolwiek. To jest ta druga konfiguracja: Postfix 3.10.13 z Dovecotem do logowania, Rspamd do SPF, DKIM i DMARC oraz postfix-tlspol do DANE i MTA-STS. Żadnego jawnego tekstu na wejściu ani na wyjściu, port 25 nigdy nie przekazuje dalej, login jest właścicielem swoich adresów w kopercie i w nagłówku From, domeny nadawców, które nie istnieją, są odrzucane, a zmieniona albo podrobiona wiadomość nigdy nie przechodzi za DATA. Każda odpowiedź została przechwycona w labie po IPv4 i IPv6, razem z sześcioma ustawieniami, które po cichu nic nie robią, dopóki nie ustawi się czegoś jeszcze, domyślnym zachowaniem certbota, które psuje DANE przy odnowieniu, i tym, ile to wszystko kosztuje cię w przekazywanej poczcie.","title":"Postfix, DANE i każde ustawienie zrobione porządnie"},{"content":"Dwa poprzednie wpisy zbudowały serwer pocztowy spełniający zestaw reguł, raz z czterech pakietów, raz z jednej binarki. Prawie nikt tego nie robi. Płacą Microsoftowi, kierują domenę na Exchange Online i pozwalają mu załatwić całość. Uczciwe pytanie nie brzmi tu więc „jak to zbudować”, tylko „jeśli już płacę za platformę, na której działa większość kraju, czy mogę sprawić, żeby spełniała te same reguły?”\nOdpowiedź, z własnej dokumentacji Microsoftu i z wglądu tylko do odczytu w DNS prawdziwych tenantów, brzmi: niektóre dobrze, kilku wcale, a platforma nie powie ci, które są które. To wydanie Fisher-Price bezpieczeństwa poczty. Rogi są zaokrąglone, ostre narzędzia schowane, a kilku kontrolek, po które naprawdę byś sięgnął, nie ma, żeby je włączyć. Każde twierdzenie jest poparte stroną Microsoftu sprawdzoną 22 października 2026, a każdy wynik DNS da się odtworzyć dig.\nKarta wyników Oto reguły domu z wpisu otwierającego, /pl/email/why-every-mail-setting-has-to-be-right/, zestawione z tym, na co Exchange Online faktycznie pozwala administratorowi.\nReguła Exchange Online Werdykt Bez tekstu jawnego na wejściu TLS można wymagać tylko na konektorze partnera, po nazwanej domenie lub IP brak globalnego przełącznika Bez tekstu jawnego na wyjściu domyślnie oportunistyczne; wymuszone TLS wymaga konektora per cel nie domyślnie Wychodzące DANE domyślnie włączone; istnieje tryb Mandatory, per konektor dobrze Wychodzące MTA-STS zawsze włączone, walidowane automatycznie dobrze IPv6 przychodzące per zaakceptowana domena, wyłączane przez tenanta lub przez Microsoft w praktyce utknęło Porzucaj nieznane domeny nadawców brak udokumentowanej kontroli brak Przekazywanie wymaga logowania SMTP AUTH, ale basic auth włączone do końca 2026, a przekazywanie po IP wysyła jako dowolny adres zrobione w połowie Login wysyła jako on sam SMTP AUTH wymusza Send As; Direct Send nie wymaga uwierzytelnienia wcale dziura Odrzucaj błąd SPF nieodrzucane; domyślnie wyłączone ustawienie oznacza to jako spam nie Odrzucaj błąd DKIM żadna kontrola nie odrzuca na podstawie samego DKIM nie Przychodzące DANE + DNSSEC GA, ale na życzenie i nie na hoście, którego używa każdy tenant zaczęte, niedokończone Pięć z nich to płaskie „nie” albo brak. Kształt całości to trzy kolumny: rzeczy, o których decyduje Microsoft i robi je dobrze, garść tych, które wolno ci włączyć, i te, których po prostu nie ma, żeby je przełączyć.\nO czym decyduje Microsoft, co możesz przełączyć, a czego mieć nie możesz MICROSOFT DECYDUJE I ROBI TO DOBRZE Wychodzące DANE, wł. Wychodzące MTA-STS, wł. Host pocztowy Filtr spamu Niezawodne doręczanie Nie musiałeś prosić. Już było dobrze. MOŻESZ WŁĄCZYĆ DMARC nadawcy (wł.) Wymóg TLS do partnera IPv6, per domena Odrzuć Direct Send (opcja) Przejście na podpisany host Krótka lista, a większość to opcje na życzenie. NIE DA SIĘ WŁĄCZYĆ Wymóg TLS od wszystkich Odrzuć twardy błąd SPF Odrzuć błędny DKIM Porzuć nieznanego nadawcę DNSSEC na twoim hoście Kontrolki, których chciałeś najbardziej. Za szybą. Kontrolki, których najbardziej chcesz przeciw zagrożeniom z wpisu otwierającego, to te w prawej kolumnie Czytaj dalej, dlaczego każda jest tam, gdzie jest, bo powody obciążają bardziej niż werdykty.\nCo robi dobrze, powiedziane wprost Najpierw uznanie, bo jest zasłużone. Na ścieżce wychodzącej Exchange Online jest naprawdę dobry. Walidacja DANE jest domyślnie włączona od 2022, walidacja MTA-STS jest automatyczna, z „nothing administrators need to do to apply it”,1 a tryb DANE Mandatory per konektor przyszedł na początku 2026.2 To więcej, niż większość samodzielnie hostowanych serwerów daje od ręki.\nPrzychodzące DANE z DNSSEC weszło w ogólną dostępność 28 października 2024, a rekordy TLSA walidują się na tenancie, który przeszedł na nowy host.34 Możliwość więc istnieje. Haczyk to wszystko wokół niej, czyli reszta tego wpisu.\nBez tekstu jawnego na wejściu: nie ma przełącznika Pierwsza reguła domu mówi, że serwer odmawia poczty przychodzącej otwartym tekstem. W Exchange Online nie da się tego wymagać od każdego nadawcy. TLS można zażądać, ale tylko na konektorze partnera, ograniczonym do nazwanych domen lub zakresów IP, a parametr „applies only to Partner type connectors”.5 Dla wszystkich innych domyślnie jest oportunistycznie.6 Możesz wymagać TLS od nazwanych partnerów. Nie możesz wymagać go od internetu w ogóle, a to właśnie tych nadawców dotyczy reguła. Żadna globalna kontrola wymuszająca przychodzące TLS nie jest udokumentowana.\nPorzucaj nieznane domeny nadawców: w ogóle nieudokumentowane Budowa na Postfiksie odmawia poczty, której domena nadawcy nie istnieje, na MAIL FROM, przed treścią. Szukałem odpowiednika w Exchange Online w dokumentacji antyspamu, uwierzytelniania i antyphishingu, i go nie ma. Najbliżej jest uwierzytelnianie złożone, a Microsoft mówi wprost, że „a composite authentication failure doesn\u0026rsquo;t directly result in a message being blocked”.7 Powiem to więc ostrożnie: Microsoft nie dokumentuje żadnej kontroli, która porzuca pocztę z nieistniejącej domeny nadawcy. Czy w filtrowaniu dzieje się coś nieudokumentowanego, z zewnątrz nie widzę, i ty też nie, co jest właśnie sednem sprawy.\nOdrzucanie błędów SPF i DKIM: nie i nie To jest ta, która powinna zatrzymać administratora w pół kroku. Reguła domu każe odrzucić wiadomość, która twardo oblewa SPF albo której podpis DKIM jest obecny i się nie weryfikuje. Exchange Online nie robi na wejściu ani jednego, ani drugiego.\nDla SPF jest ustawienie, zakopane w zaawansowanym filtrze spamu. Domyślnie jest „Off”, a włączone nie odrzuca wiadomości: oznacza pocztę od nadawcy spoza listy „as high confidence spam”.8 Przeczytaj to dwa razy. Najmocniejsze, co Exchange Online zrobi z kimś, kto podrabia domenę, której SPF mówi -all, to wrzucić to do Śmieci, a i to jest od ręki wyłączone. Dla DKIM nie ma nic: żadne ustawienie nie odrzuca wiadomości wyłącznie dlatego, że jej podpis się nie zweryfikował. Nieudany podpis zasila DMARC i wynik złożony, i na tym koniec.\nOdrzucenie zdarza się w jednym przypadku: gdy domena nadawcy publikuje DMARC p=reject, Exchange Online domyślnie to honoruje i odmawia w czasie SMTP z 550 5.7.1.9 Dobrze, i domyślnie włączone, ale zależy całkowicie od tego, czy nadawca zrobił, co trzeba. Kontrolek, których inne budowy używały do ochrony twojej własnej poczty przychodzącej, odrzucania przy błędzie SPF i odrzucania przy złamanym podpisie, nie ma, żeby je włączyć.\nIPv6: dwa lata później NCSC jest przez nie nieosiągalne IPv6 jest w tej serii obowiązkowe. Exchange Online wspiera je na wejściu, per zaakceptowana domena, po włączeniu na życzenie, i z zastrzeżeniem, że Microsoft automatycznie wyłącza „a small percentage of our customers”.10 To wdrożenie ogłoszono w październiku 2024 jako trwające od trzech do sześciu miesięcy. Przeczytałem więc rekord AAAA na hoście pocztowym dwudziestu dwóch brytyjskich organizacji korzystających z Microsoft 365. Dziewięć, dwa lata później, nie ma żadnego.\nBez IPv6 na MX Z IPv6 hmrc.gov.uk ons.gov.uk ncsc.gov.uk met.police.uk nhs.net cam.ac.uk, ucl.ac.uk, kcl.ac.uk lloydsbank.com jisc.ac.uk, ja.net mod.uk, justice.gov.uk ofcom.org.uk ico.org.uk gov.wales vodafone.co.uk, bt.com sheffield.gov.uk, birmingham.gov.uk Własna skrzynka National Cyber Security Centre jest nieosiągalna przez IPv6, podobnie HMRC, usługa pocztowa NHS, Ministerstwo Obrony, Information Commissioner i Lloyds Bank.4 Czy każdą z nich wyłączył Microsoft, czy nigdy jej nie włączono, z DNS nie da się poznać. Skutek jest ten sam, a wszystkie dwadzieścia dwie siedzą na starym hoście pocztowym, którego, jak zaraz zobaczymy, nie da się podpisać.\nDNSSEC: nieplanowany dla hosta, którego faktycznie używasz Tu dokumentacja i DNS przestają się ze sobą zgadzać i to jest najostrzejsze ustalenie tego wpisu. Przychodzące DANE wymaga DNSSEC, a DNSSEC wymaga, żeby host pocztowy siedział w podpisanej strefie. Każdy zwykły tenant Exchange Online ma MX skierowany na host pod mail.protection.outlook.com. Sprawdziłem, czy ta strefa jest podpisana, i dowodnie nie jest:\n$ dig @1.1.1.1 +dnssec DS protection.outlook.com ;; flags: qr rd ra ad; ANSWER: 0 protection.outlook.com. 60 IN NSEC \\000.protection.outlook.com. NS RRSIG NSEC Hosta, którego używają wszyscy, nie da się podpisać; na ten, który można, nikt nie przeszedł TU JEST KAŻDY TENANT NOWY HOST, JEŚLI ZMIGRUJESZ *.mail.protection.outlook.com Strefa niepodpisana NSEC dowodzi: brak DS DANE tu nie zadziała Brak rekordu TLSA do publikacji Microsoft: nie planuje podpisać *.mx.microsoft Strefa podpisana DNSSEC Jest DS, łańcuch się waliduje TLSA 3 1 1, DANE działa Na życzenie, ręczna zmiana MX Żaden zbadany tenant z UK nie przeszedł Podpisane stwierdzenie, że delegacja jest niepodpisana. Prawie każdy tenant jest po lewej Strefa nadrzędna jest podpisana i zwraca uwierzytelniony rekord NSEC dowodzący, że dla protection.outlook.com nie ma DS. To podpisane stwierdzenie, że delegacja jest niepodpisana. Każdy MX *.mail.protection.outlook.com, czyli prawie każdy tenant Microsoft 365 na ziemi, jest więc w niepodpisanej strefie i nie może robić DANE.\nNowa, podpisana infrastruktura żyje pod inną nazwą, mx.microsoft, a przejście na nią to ręczna zmiana na życzenie. Ilu to zrobiło? Z mniej więcej trzydziestu pięciu brytyjskich domen, które sprawdziłem, ani jedna. Wszyscy tenanci, których znalazłem na podpisanym hoście, byli holenderscy. A własny wpis Microsoftu z kwietnia 2026 mówi, że w planach nie ma naprawy hosta, którego używają wszyscy:\nCurrently, there are no plans to enable DNSSEC on the mail flow domain mail.protection.outlook.com.2\nA więc: DNSSEC i DANE są dostępne na nowym hoście, jeśli się zgłosisz i zmigrujesz, a host, na którym faktycznie jest każdy istniejący tenant, według własnej deklaracji Microsoftu nie zostanie podpisany. Możliwość weszła do produkcji. Wartość domyślna się nie ruszyła i nie ruszy.\nDwie największe domeny samego Microsoftu pokazują ten podział, a jedna z nich jest gorsza niż tenanci, których poucza:\nmicrosoft.com outlook.com Host pocztowy mail.protection.outlook.com olc.protection.outlook.com Strefa podpisana nie nie Polityka DMARC p=reject p=none MTA-STS enforce enforce IPv6 na MX tak nie outlook.com, konsumencka usługa pocztowa, publikuje DMARC p=none: prosi świat, żeby sprawdzał jej pocztę, a potem nic nie robił z błędem, czyli ustawienie, które wpis otwierający nazywa wzruszeniem ramion.4 Domena korporacyjna Microsoftu wypada lepiej. Żaden z hostów nie jest podpisany.\nDokumentacja kłóci się sama ze sobą Gdy własna dokumentacja dostawcy przeczy sama sobie w sprawie kontroli bezpieczeństwa, to nie jest czepianie się. To klient, któremu mówi się dwie sprzeczne rzeczy o czymś, co decyduje, czy jego poczta jest bezpieczna, a ja zwracam na to uwagę tak, jak u każdego dostawcy, któremu płaci się za to, żeby było dobrze. Trzy przykłady, wszystkie ze stron opublikowanych przez Microsoft, wszystkie aktywne 22 października 2026.\nCo Jedna strona mówi Inna mówi Kwalifikator SPF all zalecany twardy błąd -all zalecany miękki błąd Wieloznaczny MX w MTA-STS publikuj mx: *.mail.protection.outlook.com symboli wieloznacznych „must not be used” DNSSEC na głównym hoście promuje DANE i DNSSEC „no plans to enable DNSSEC on mail.protection.outlook.com” Strona o SPF zaleca -all, „hard fail”.11 Wpis o Direct Send zaleca „a Soft Fail SPF configuration”.12 Oba są aktualne, a klient, który posłucha jednego, dostaje bury od drugiego. W sprawie MTA-STS strona o poczcie przychodzącej każe tenantowi publikować mx: *.mail.protection.outlook.com, na tej samej stronie mówi, że „wildcards or \u0026lsquo;*\u0026rsquo; must not be used as the MX prefix in all MTA-STS scenarios”,1 a potem drukuje przykład, który używa dokładnie tego symbolu wieloznacznego. Nie proszę Microsoftu, żeby cokolwiek wymyślał. Pytam, dlaczego strona, która mówi klientowi, jak chronić przepływ poczty, nie potrafi zgodzić się sama ze sobą co do jednej linijki, która tę ochronę zapewnia.\nPotem dziura Direct Send, czyli reguła tożsamości, reguła szósta, padająca w drzwiach wejściowych.\nJedne drzwi sprawdzają, kim jesteś; drugie nie UWIERZYTELNIONE WYSYŁANIE DIRECT SEND SMTP AUTH, port 587 Logowanie jest wymagane Send As jest wymuszane Zły nadawca jest odrzucany: 5.7.60 … send as this sender Drzwi, które cię sprawdzają Żadnego uwierzytelnienia Domyślnie włączone Reject Direct Send na życzenie I sprawdza tylko kopertę, nigdy widocznego From Drzwi, które nie sprawdzają Uwierzytelnione wysyłanie odmawia podrobionemu nadawcy. Drugie wejście nie pyta o nic Jest sposób, żeby wysłać pocztę do tenanta jako jeden z jego własnych użytkowników bez żadnego uwierzytelnienia, bo to „does not require any form of authentication”,12 i jest domyślnie włączony. Ustawienie, które to wyłącza, RejectDirectSend, jest domyślnie wyłączone, sprawdza tylko nadawcę z koperty, a nie widoczne From:, i po osiemnastu miesiącach nadal ma „no fixed date for General Availability”.12 Płatna platforma dostarczyła nieuwierzytelniony sposób na podszywanie się pod własną domenę tenanta, zostawiła go domyślnie włączonym, a poprawka to przełącznik na życzenie bez daty wydania i z luką w tym, co sprawdza. To ten rejestr, który rezerwuję dla dostawcy wychodzącego z tezą, że to trudne. To nie jest trudne. W związku z tym nie będę udawał, że jest. To wartość domyślna, którą ustawiono źle i tak zostawiono.\nCzy da się na tym zbudować to dobrze? Przeważnie nie Oto więc uczciwy rachunek, a nie brzmi on tak, że Microsoft 365 to zła poczta. Dostarcza niezawodnie, jego bezpieczeństwo wychodzące jest naprawdę dobre, a dla organizacji bez wiedzy o poczcie jest bezpieczniejszy niż serwer, który inaczej by źle skonfigurowali. Wszystko prawda i wszystko obok tego, co ta seria pokazuje.\nChodzi o kontrolę, a w kontrolkach, które najbardziej liczą się przeciw zagrożeniom z wpisu otwierającego, Exchange Online ci jej nie daje. Nie możesz wymagać przychodzącego TLS od internetu, odrzucić twardego błędu SPF, odrzucić podrobionego podpisu ani porzucić poczty z domeny, która nie istnieje. Jedyna niepodrabialna ochrona transportu, DANE z DNSSEC, jest wyłączona na hoście, na którym jesteś, i nie ma planów, żeby tam dotarła. A nieuwierzytelniona dziura w drzwiach wejściowych jest domyślnie otwarta i nie ma daty jej zamknięcia.\nTo właśnie znaczy wydanie Fisher-Price. Nie to, że jest dla dzieci, tylko to, że ostre narzędzia zabrano, dostajesz te zaokrąglone i słyszysz, że to dla twojego dobra. Co dla wielu firm jest prawdą. Dla wielu organizacji naprawdę jest. Dla każdego, kto doczytał do tego miejsca i zrozumiał, do czego były ostre narzędzia, to platforma, która zdecydowała za ciebie, których ustawień bezpieczeństwa wolno ci dotknąć. Te, których chciałeś najbardziej, są za szybą.\nPłacisz za to tak czy inaczej. Najmniej, co możesz zrobić, to wiedzieć, których z tych reguł po cichu zdecydowała, że nie wolno ci trzymać.\nMicrosoft Learn — Enhance mail flow with MTA-STS — automatyczna walidacja wychodzącego MTA-STS; także to, że „MTA-STS policy files aren\u0026rsquo;t something that Exchange Online can host”, oraz sprzeczne same ze sobą wskazówki o symbolach wieloznacznych.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nMicrosoft Tech Community — Modernizing DNS security for Exchange Online mail flow (23 kwietnia 2026) — tryby DANE/MTA-STS per konektor oraz „Currently, there are no plans to enable DNSSEC on the mail flow domain mail.protection.outlook.com.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nMicrosoft Tech Community — General Availability of Inbound SMTP DANE with DNSSEC (28 października 2024).\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nDNS sprawdzony 22 października 2026 poleceniem dig @1.1.1.1 +dnssec przez walidujący resolver. protection.outlook.com zwraca uwierzytelniony NSEC dowodzący braku DS (niepodpisana); mx.microsoft jest podpisana, a jej tenanci publikują walidujące się rekordy TLSA 3 1 1. Rekordy AAAA odczytane na hoście MX *.mail.protection.outlook.com dwudziestu dwóch brytyjskich organizacji; dziewięć, w tym ncsc.gov.uk, hmrc.gov.uk, nhs.net i mod.uk, nie ma żadnego.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nMicrosoft Learn — New-InboundConnector — parametr RequireTLS „applies only to Partner type connectors”, ograniczony przez SenderDomains lub IP nadawcy.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nMicrosoft Learn — Exchange Online uses TLS to secure email connections — „By default, Exchange Online always uses opportunistic TLS”, a jeśli odbiorca go nie oferuje, wysyła bez szyfrowania.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nMicrosoft Learn — Email authentication in EOP — „a composite authentication failure doesn\u0026rsquo;t directly result in a message being blocked.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nMicrosoft Learn — Advanced Spam Filter settings — ustawienie „SPF record: hard fail” jest domyślnie „Off” i oznacza pasującą pocztę jako spam o wysokim stopniu pewności, zamiast ją odrzucać.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nMicrosoft Learn — Configure DMARC to validate the From address — przy domyślnie włączonym Honor DMARC polityka nadawcy p=reject jest „Rejected during SMTP (550 5.7.1)”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nMicrosoft Tech Community — IPv6 updates for Exchange Online (30 października 2024) — wdrożenie na trzy do sześciu miesięcy i automatyczne wyłączenie „a small percentage of our customers”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nMicrosoft Learn — Set up SPF — „For Microsoft 365 domains, we recommend -all (hard fail).”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nMicrosoft Tech Community — Introducing more control over Direct Send (28 kwietnia 2025, zmieniony 20 maja 2026) — Direct Send „does not require any form of authentication”; RejectDirectSend ma domyślnie False, sprawdza tylko nadawcę z koperty, a „There is no fixed date for General Availability”; oraz zalecenie miękkiego błędu SPF.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\n","permalink":"https://blogs.damiendye.uk/pl/email/microsoft-365-the-fisher-price-it-edition/","summary":"Większość organizacji nie prowadzi własnego serwera pocztowego. Płacą Microsoftowi, a robotę wykonuje Exchange Online. Ten wpis przykłada więc do Microsoft 365 dokładnie te reguły domu, które spełniły budowy na Postfiksie i Stalwarcie, nie używając niczego poza własną dokumentacją Microsoftu i DNS tylko do odczytu na prawdziwych tenantach. Niektóre reguły spełnia dobrze: wychodzące DANE i MTA-STS są domyślnie włączone, a przychodzące DANE z DNSSEC wreszcie weszło w GA. Kilku nie spełnia wcale. Nie ma udokumentowanego sposobu, żeby wymagać przychodzącego TLS od każdego nadawcy, żeby odrzucić twardy błąd SPF już na wejściu, nic nie odrzuca na podstawie samego nieudanego podpisu DKIM i nie ma kontroli, która porzuca pocztę z nieistniejącej domeny nadawcy. DNSSEC jest wprost nieplanowany dla hosta pocztowego, którego faktycznie używa każdy tenant. Wdrożenie IPv6, które miało trwać sześć miesięcy, po dwóch latach zostawiło skrzynkę samego NCSC nieosiągalną przez IPv6. A dokumentacja przeczy sama sobie co do symboli wieloznacznych, SPF i DNSSEC. To platforma, na której działa większość poczty w kraju, i to jest to, na co pozwala, a na co nie.","title":"Microsoft 365: wydanie Fisher-Price IT"},{"content":"Budowa na Postfiksie z poprzedniego wpisu to cztery pakiety połączone ze sobą, z gniazdem miltera, gniazdem SASL i socketmapą trzymającymi je w zgodzie. Stalwart robi całość w jednej binarce. Wszystko.\nCztery połączone pakiety kontra jedna binarka CZTERY PAKIETY, POŁĄCZONE JEDNA BINARKA Postfix 3.10 MTA, TLS, przekaźnik Dovecot 2.4 logowania SASL Rspamd 3.12, Redis SPF, DKIM, DMARC postfix-tlspol 1.14 DANE, MTA-STS gniazdo sasl milter socketmap Stalwart 0.16.27 SMTP na wejściu i wyjściu IMAP i JMAP SPF, DKIM, DMARC, ARC podpisywanie DKIM DANE i MTA-STS raporty TLS filtr spamu skrypty Sieve magazyn poczty nic do łączenia Cztery pakiety i gniazda między nimi, zestawione z jednym procesem, który już zawiera to wszystko SMTP, IMAP i JMAP, magazyn poczty, SPF, DKIM, DMARC, ARC, podpisywanie DKIM, DANE, MTA-STS, raporty TLS, filtr spamu i silnik Sieve, w jednym procesie uruchamianym raz. Bez miltera do podpinania, bez demona polityk na gnieździe, bez drugiego pakietu, który musi się zgadzać z pierwszym. Na każdą regułę z tej serii, która na Postfiksie wymagała osobnego narzędzia, Stalwart ma odpowiedź już w środku.\nTo prawdziwa zaleta i ten wpis nie udaje, że jest inaczej. Ale „wbudowane” i „bezpieczne domyślnie” to różne twierdzenia, a przepaść między nimi to cały ten wpis. Przyłożyłem do Stalwarta 0.16.27 dokładnie te reguły domu, które spełniła budowa na Postfiksie, w tym samym labie, i zapisałem każdą odpowiedź. Wszystkie reguły da się włączyć. Włączenie ich to osobna sprawa.\nUstawienia to baza danych, nie plik Zacznij od rzeczy, która zaskakuje wszystkich, bo kształtuje wszystko, co potem. Postfix konfiguruje się w main.cf, pliku tekstowym, który możesz przeczytać, porównać i skopiować na następny serwer. Stalwart ma jeden plik konfiguracyjny i oto on cały:\n{\u0026#34;@type\u0026#34;:\u0026#34;RocksDb\u0026#34;,\u0026#34;path\u0026#34;:\u0026#34;/var/lib/stalwart/\u0026#34;} To nazywa bazę danych. Każde inne ustawienie, listenery, polityka TLS, reguły antyspamowe, skrypty Sieve, żyje w środku tej bazy, a zmieniasz je przez API JMAP albo stalwart-cli, po czym następuje przeładowanie:\nstalwart-cli apply --file house-policy.json stalwart-cli create Action/ReloadSettings Jest też interfejs webowy.1 Konfiguracja to stan działającej usługi, a nie plik na dysku, i to tnie w obie strony. Dostajesz żywe API i żadnego demona do ręcznego przeładowywania. Tracisz to, co plik tekstowy daje za darmo: diff, komentarz, commit, sprawdzoną kopię do ponownego wdrożenia. Ludzie, którzy prowadzą Stalwarta deklaratywnie, kończą z plikiem planu, który zjada apply, pod kontrolą wersji, co jest dobrym odruchem, a zarazem dokładnie tą konfiguracją opartą na pliku, której na początku nie mieli.\nCo przyjmuje po instalacji Zanim reguły zostaną włączone, oto Stalwart robiący to, co robi od ręki. To uczciwy punkt odniesienia i nie jest on uspokajający.\nPo instalacji Stalwart… sesja otwartym tekstem, bez STARTTLS przyjęta zmanipulowana podpisana faktura przyjęta wiadomość oblewająca SPF przyjęta podróbka jego własnej domeny przyjęta domena nadawcy, która nie istnieje przyjęta doręczenie do serwera tylko z tekstem jawnym wysłane otwartym tekstem otwarty przekaźnik na porcie 25 odmówione login z niewłaściwym nadawcą koperty odmówiony login podrabiający nagłówek From: przyjęty wysyłka do nieważnego certyfikatu, przy ponowieniu przyjęta Dwie z tych odmów to jedyne dobre wieści w kolumnie, a zalogowany użytkownik nadal mógł podrobić widoczne From:.\nNic z tego nie jest wyjątkowe dla Stalwarta. To ten sam zestaw liberalnych ustawień domyślnych, z którym przychodzi prawie każdy serwer pocztowy, z tego samego dwudziestoletniego powodu, i to cały argument wpisu otwierającego tę serię: /pl/email/why-every-mail-setting-has-to-be-right/. Serwer, który robi wszystko, nie jest serwerem, który robi wszystko bezpiecznie. To nadal ty musisz skonfigurować.\nCztery miejsca na regułę Tu konstrukcja z jedną binarką robi się w pracy naprawdę inna. Na Postfiksie prawie każda reguła przychodząca to linia smtpd_*_restrictions albo milter. Na Stalwarcie ten sam zestaw reguł ląduje w czterech osobnych mechanizmach i potrzebujesz wszystkich czterech.\nJedna binarka, cztery miejsca na konfigurację reguły MECHANIZM CO EGZEKWUJE I JAKA ODPOWIEDŹ Listener sieciowy NetworkListener Wysyłanie na 587 z TLS; przekazywanie wymaga logowania. 503 5.5.1 You must authenticate first. Wyrażenie na etapie MAIL MtaStageMail Brak TLS, nieznany nadawca lub nadawca nienależący do loginu. 550 5.7.1 Sender address not allowed. Tagi spamu na odrzucenie SpamTag Twardy błąd SPF, DMARC reject, nierozwiązywalny host nadawcy. 550 5.7.1 … excessive spam score. Systemowy skrypt Sieve SieveSystemScript DKIM musi się weryfikować; nagłówek From musi być loginem. 503 5.5.3 … does not verify / send as your own. Jedna binarka, ale reguła może być ustawieniem listenera, wyrażeniem, tagiem spamu albo skryptem Sieve Język wyrażeń, mapa tagów na akcje i skrypt Sieve to trzy różne składnie, a to jeszcze przed ustawieniami listenera. Jedna binarka, cztery rzeczy do nauczenia. Ale z zastosowaną polityką zapisy zgadzają się z budową na Postfiksie reguła po regule:\nReguła Odpowiedź Stalwarta Bez tekstu jawnego na wejściu 550 5.7.1 Sender address not allowed. Przekazywanie na porcie 25 550 5.1.2 Relay not allowed. Przekazywanie na 587 bez logowania 503 5.5.1 You must authenticate first. Login wysyłający jako inny nadawca koperty 501 5.5.4 You are not allowed to send from this address. Login podrabiający nagłówek From: 503 5.5.3 You may only send as your own address Podpisana, nienaruszona, zgodna wiadomość przyjęta Zmanipulowana podpisana wiadomość 503 5.5.3 DKIM signature does not verify Twardy błąd SPF 550 5.7.1 … excessive spam score. Każda odpowiedź pochodzi z działającego serwera w labie, przez IPv4 i IPv6. Reguły trzymają. Teraz trzy miejsca, w których dojście do tego czegoś mnie nauczyło.\nBłąd DKIM wymaga skryptu Sieve, a nie oczywistego ustawienia Stalwart ma wbudowany wynik DKIM i tag spamu dla nieudanego podpisu, DKIM_REJECT, a oczywiste jest odrzucać na jego podstawie. Nie łapie to przypadku, który się liczy. Gdy podpisanej wiadomości zmieni się treść w drodze, czyli przypadek oszustwa na fakturę, do którego cała seria wciąż wraca, weryfikator DKIM Stalwarta raportuje wynik jako neutral, a nie fail. Według źródeł mail-auth niezgodność skrótu treści ląduje w kubełku neutral, więc tag odrzucenia nigdy nie odpala, a zmanipulowana wiadomość zostaje doręczona.2\nReguła DKIM jest więc zamiast tego skryptem Sieve, który patrzy bezpośrednio na wynik weryfikacji i odmawia wszystkiego, co nie jest czystym przejściem albo faktycznym brakiem podpisu:\nif anyof (string :is \u0026#34;${env.dkim.result}\u0026#34; \u0026#34;neutral\u0026#34;, string :is \u0026#34;${env.dkim.result}\u0026#34; \u0026#34;fail\u0026#34;, string :is \u0026#34;${env.dkim.result}\u0026#34; \u0026#34;permerror\u0026#34;) { ereject \u0026#34;DKIM signature does not verify: the message was changed or forged\u0026#34;; stop; } Niepodpisana poczta zostawia wynik pusty i jest zostawiana w spokoju, bo brak podpisu nie jest błędem DKIM; tym zajmuje się DMARC z p=reject. Ze skryptem na miejscu zmanipulowana faktura zostaje odrzucona na DATA:\nB REFUSED (503, b\u0026#39;5.5.3 DKIM signature does not verify: the message was changed or forged\u0026#39;) Ten sam skrypt niesie regułę nagłówka From:, bo porównanie nagłówka z loginem to też robota dla Sieve. Dwie reguły, jeden skrypt, i żadna z nich nie jest ustawieniem, po które sięgnąłbyś najpierw.\nSprawdzenie nieznanego nadawcy jest słabsze, niż wygląda Na Postfiksie domena nadawcy, która nie istnieje, jest odrzucana na MAIL FROM, zanim zostanie wysłany choć bajt treści, czystym 550 5.1.8 Domain not found. Stalwart dochodzi do tej samej odmowy, ale później i bardziej krucho.\nSprawdzenie to tag spamu, FROMHOST_NORES_A_OR_MX, który odpala, gdy domena nadawcy nie rozwiązuje się na żaden rekord A ani MX. Odmowa przychodzi więc po odebraniu całej wiadomości, jako odrzucenie za wynik spamu:\n550 5.7.1 Message rejected due to excessive spam score. To właściwa odpowiedź dłuższą drogą, a dwie rzeczy w niej mają znaczenie. Po pierwsze, według źródeł filtra spamu sprawdzenie działa dopiero wtedy, gdy adres nadawcy przejdzie test „is valid”, gdzie ważny znaczy, że domena siedzi pod znanym sufiksem publicznym, więc wymyślona domena najwyższego poziomu całkiem omija sprawdzenie A i MX. Po drugie, i to jest to, co gryzie: wyszukiwanie traktuje błąd DNS inaczej niż brak w DNS. Domena zwracająca SERVFAIL, a nie czyste „no such name”, nie dostaje tagu i wiadomość zostaje przyjęta. Postfix ją odkłada. Stalwart ją wpuszcza. To przepuszczanie przy awarii dokładnie w tym niejednoznacznym przypadku, dla którego istnieje kontrola bezpieczeństwa, i jedyne miejsce w tej budowie, w którym Stalwart jest mierzalnie mniej bezpieczny niż odpowiednik na Postfiksie.\nIPv6 jest rezerwą, dopóki tego nie zmienisz IPv6 jest w tej serii obowiązkowe, w obu kierunkach. Stalwart nasłuchuje na obu rodzinach bez marudzenia. Haczyk jest na wyjściu: dostarczona trasa rozwiązuje najpierw IPv4, więc serwer docelowy z dual-stackiem jest osiągany przez IPv4, a IPv6 jest tylko rezerwą. W tym samym labie Postfix użył IPv6. Stalwart używał v4, dopóki trasy nie przestawiono na preferowanie v6:\n\u0026#34;ipLookupStrategy\u0026#34;: \u0026#34;v6ThenV4\u0026#34; Potem doręczenie do serwera z dual-stackiem idzie przez IPv6, co potwierdzają logi docierające do adresu v6. To jedno ustawienie. Nie jest też domyślne, a przy obowiązku IPv6 wartość domyślna jest odwrotnie, niż powinna.\nMTA-STS egzekwuje i odbija za wcześnie Stalwart publikuje własną politykę MTA-STS, co jest naprawdę miłym akcentem: nie trzeba osobnego serwera WWW, tak jak budowa na Postfiksie potrzebuje nginx. Ale przychodzi w trybie testing, który niczego nie egzekwuje, i jest serwowana pod certyfikatem hosta pocztowego, a nie takim, który pasuje do nazwy hosta polityki, więc weryfikujące pobranie zawodzi, dopóki nie naprawisz obu rzeczy. Ustaw tryb na enforce i załaduj certyfikat dla hosta mta-sts, a polityka jest serwowana i sprawdzana porządnie:\nmta-sts.policy-fetch strict = true mta-sts.authorized Strona wysyłająca też egzekwuje i odmawia celowi, którego polityka nie wymienia jego MX. Ale odmawia w zły sposób: niezgodność to trwały błąd przy pierwszej próbie, a wiadomość zostaje odbita. RFC 8461 mówi wprost, że nie powinna:\nIn all cases, MTAs SHOULD treat such failures as transient errors and retry delivery later.3\nStalwart pobiera politykę ponownie, zanim zawiedzie, więc twarda reguła standardu, że najpierw sprawdzasz, czy nie ma nowej polityki, jest spełniona. Łagodniejsze SHOULD, żeby traktować błąd jako tymczasowy i ponawiać, nie jest. Kosztem jest odbita wiadomość tam, gdzie odłożenie byłoby łaskawsze, przy błędzie, który zwykle jest przejściowy.\nWychodzące TLS: wymagane, a mocniejsze tam, gdzie się da Tak jak w budowie na Postfiksie, strona wychodząca ustawia encrypt jako podłogę i podnosi każdy cel ponad nią, gdy cel na to zasłuży. MtaTlsStrategy Stalwarta ustawia poziom dla każdego mechanizmu, a polityka domu wygląda tak:\nMechanizm Ustawienie domu Efekt STARTTLS require nigdy nie wysyłaj otwartym tekstem, do nikogo DANE optional uwierzytelniaj tam, gdzie opublikowano podpisany TLSA MTA-STS optional honoruj politykę enforce tam, gdzie ją opublikowano Nieważne certyfikaty wył. certyfikat, który się nie weryfikuje, odkłada pocztę require na STARTTLS to podłoga, której brakuje ustawieniu domyślnemu: od ręki strategia wychodząca przy ponowieniu cofała się do przyjęcia nieważnego certyfikatu. Z ustawioną podłogą cel, który nie oferuje używalnego TLS, zostaje odłożony, a nie zdegradowany.\nDANE jest, ale lab nie mógł tego dowieść Najmocniejsza kontrola wychodząca, DANE, jest wbudowana jak cała reszta, a jej wychodzące TLS przy awarii zamyka się tak, jak powinno: skierowany na serwer, którego certyfikatu nie mógł zweryfikować, Stalwart odmówił i wstrzymał wiadomość, zamiast wysłać ją otwartym tekstem. Czego zamknięty lab nie mógł zrobić, to pokazać DANE, które się udaje, i to prawdziwe ograniczenie, które warto odnotować.\nStalwart włącza DANE tylko wtedy, gdy sam może zwalidować klucz główny DNS, przez połączenie z resolverem, które nie jest zwykłym UDP. Prywatny korzeń w labie tego nie zapewni, więc Stalwart wyłącza DANE i loguje ostrzeżenie do ścieżki, która domyślnie nie istnieje. Łatwo przeoczyć. Gorzej, dla podpisanej strefy raportuje potem rekordy TLSA jako „not DNSSEC signed”, gdy prawdziwą przyczyną jest jego własny resolver. Komunikat obwinia nie to, co trzeba.\nStalwart dostarcza dokładnie na tę okazję diagnostykę doręczenia tylko do odczytu: endpoint, który przechodzi całą ścieżkę wychodzącą i nigdy nie wysyła wiadomości. Strumieniuje każdy krok na bieżąco:\nGET /api/live/delivery/\u0026lt;domain\u0026gt;?timeout=20 Krok Co raportuje Wyszukanie MX serwery pocztowe i to, czy wyszukanie się zwalidowało MTA-STS pobraną politykę i to, czy MX jest autoryzowany TLS-RPT adres raportowy, który publikuje domena TLSA rekordy DANE i to, czy są podpisane DNSSEC Connect, EHLO, STARTTLS sesję aż do TLS, z szyfrem Weryfikacja DANE, QUIT dopasowanie certyfikatu, potem czyste rozłączenie Bez MAIL FROM, bez RCPT TO, nic nie zostaje doręczone. To sprawdzenie, które należy puścić na prawdziwej domenie z DANE, żeby zobaczyć pozytywny przypadek, którego ten lab nie może pokazać.\nDowiedzenie pozytywnego przypadku DANE oznacza puszczenie tego na prawdziwych domenach publikujących DANE z instancji podłączonej do internetu. To jedyny test w tej serii, którego zamknięty lab nie może zrobić, i uczciwa granica tego, co lab może ci pokazać.\nCzy wbudowane jest więc lepsze? Oto rzecz, wokół której krąży cały wpis. Wbudowane to mniej do instalowania, mniej do łączenia, mniej do utrzymywania w zgodzie między wersjami, a jeden proces, w którym wynik SPF po prostu jest pod ręką dla sprawdzenia DKIM, a oba są pod ręką dla skryptu Sieve, bez gniazda między nimi, ma prawdziwą wartość. Dla małego wdrożenia, które chce jednej rzeczy do uruchamiania i aktualizowania, to naprawdę dobra odpowiedź, a nic powyżej nie jest powodem, żeby go nie używać.\nAle każda trudna część tej serii przetrwała przeprowadzkę do jednej binarki. Ustawienia domyślne nadal są liberalne. Reguły nadal trzeba znaleźć i włączyć, w czterech mechanizmach zamiast jednego. Odrzucanie przy błędzie DKIM nadal wymaga ręcznie napisanego skryptu. Sprawdzenie nieznanego nadawcy nadal przepuszcza przy błędzie DNS. MTA-STS nadal odbija, gdy powinno odłożyć. Nic z tego nie zrobiło się łatwiejsze dlatego, że kod żyje w jednym procesie. To właściwości problemu, a nie opakowania.\nZestaw obie budowy obok siebie, a wzór jest wyraźny:\nBudowa na Postfiksie Stalwart Części do uruchomienia 4 pakiety, 3 gniazda 1 binarka Konfiguracja main.cf, plik tekstowy baza danych, przez API SPF, DKIM, DMARC milter Rspamd wbudowane DANE, MTA-STS na wyjściu postfix-tlspol wbudowane Publikowanie MTA-STS osobny nginx wbudowane Odrzucanie przy błędzie DKIM wymuszona akcja Rspamd skrypt Sieve (wbudowany tag tego nie łapie) Nieznany nadawca 550 na MAIL FROM 550 po DATA, przy SERVFAIL przepuszcza Niezgodność MTA-STS na wyjściu odkłada, ponawia odbija przy pierwszej próbie IPv6 na wyjściu używane domyślnie rezerwa do przestawienia na najpierw v6 Ustawienia domyślne po instalacji liberalne liberalne I to jest uczciwy wniosek, ten sam, do którego wpis o Postfiksie doszedł inną drogą. Bezpieczeństwa poczty nie daje liczba binarek. Daje je ktoś, kto uznaje, że każda reguła ma znaczenie, znajduje, gdzie ona żyje, włącza ją i wysyła wiadomość, którą ma zatrzymać, żeby sprawdzić, że zatrzymała. Stalwart pozwala ci zrobić to wszystko, w jednym procesie, przez schludne API. Zostawiony sam sobie przyjmie też sesję otwartym tekstem, podrobionego nadawcę i zmienioną fakturę, dokładnie jak wszystko inne. Binarka jest jedna. Robota nie.\nStalwart documentation — konfiguracja przez API zarządzania JMAP i stalwart-cli, z ustawieniami trzymanymi w magazynie danych, a nie w pliku. Użyta tu wersja 0.16.27.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nmail-auth, the library Stalwart uses for DKIM — jej weryfikator DKIM raportuje niezgodność skrótu treści jako wynik neutralny, a nie błąd, i dlatego odrzucanie na podstawie samego tagu błędu nie łapie zmienionej treści.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 8461 §5 — SMTP MTA Strict Transport Security: przy błędzie walidacji polityki „In all cases, MTAs SHOULD treat such failures as transient errors and retry delivery later”, a wiadomość „MUST NOT be permanently failed”, zanim nadawca sprawdzi, czy nie ma zaktualizowanej polityki.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\n","permalink":"https://blogs.damiendye.uk/pl/email/stalwart-dane-and-the-rest-built-in/","summary":"Stalwart to cały serwer pocztowy w jednej binarce: SMTP, IMAP i JMAP, SPF, DKIM, DMARC, ARC, DANE, MTA-STS, raporty TLS, filtr spamu i magazyn poczty, bez miltera do podpinania i bez demona polityk obok. Ten wpis przykłada do niego te same reguły domu co do budowy na Postfiksie i zapisuje w labie każdą odpowiedź. Wszystkie reguły da się włączyć, ale historia siedzi w szczegółach: ustawienia żyją w bazie danych, a nie w pliku, domyślna instalacja przyjmuje tekst jawny i zmanipulowaną fakturę, każda reguła ląduje w innym z czterech mechanizmów konfiguracji, odrzucanie przy błędzie DKIM wymaga skryptu Sieve, bo wbudowane sprawdzenie raportuje zmienioną treść jako neutral, sprawdzenie nieznanego nadawcy działa dopiero po odebraniu całej wiadomości i przy błędzie DNS przepuszcza, a nadawca MTA-STS odbija pocztę przy pierwszej próbie tam, gdzie standard każe odłożyć. Wbudowane to naprawdę mniej do łączenia. To nie to samo co bezpieczne domyślnie.","title":"Stalwart: DANE i cała reszta, wbudowane"},{"content":"Jedno hasło na cały dom Hasło do WiFi znają wszystkie urządzenia, które kiedykolwiek się podłączyły. Laptopy, telefony, telewizor, kamera przy drzwiach z firmware\u0026rsquo;em, którego nikt nie aktualizował od montażu, gość, któremu podano je w święta, i każdy telefon, jaki ten gość miał od tamtej pory. Wszystkie siedzą w tej samej sieci. Każde z nich może rozmawiać z każdym innym.\nZwykły sposób na rozdzielenie tego to więcej SSID-ów. Jeden dla pracowników, jeden dla IoT, jeden dla gości, każdy z własnym hasłem i własnym VLAN-em. Działa. Potem hasło wycieka i chodzisz od urządzenia do urządzenia w tym SSID z nowym, a to dokładnie ta robota, której nikt nigdy nie robi.\nWolny port przewodowy jest gorszy. Żadnego hasła. Wpinasz się i jesteś w tym VLAN-ie, na jaki ustawiono port.\n802.1X z certyfikatami odwraca to. Każde urządzenie ma własny certyfikat i udowadnia, czym jest, zanim przejdzie choćby jeden pakiet, a potem to sieć, nie urządzenie i nie ten, kto rozdawał hasło, decyduje, dokąd trafi. Jeden SSID. Każdy port switcha taki sam. Laptop ląduje w VLAN-ie pracowników, kamera w VLAN-ie IoT, a urządzenie, któremu nigdy nie wystawiłeś certyfikatu, nie ląduje nigdzie.\nJedno wspólne hasło Jeden SSID na VLAN 802.1X, jeden SSID Kto wchodzi Każdy, kto zna hasło Każdy, kto zna hasło do tego SSID Tylko urządzenie z certyfikatem, który wystawiłeś Który VLAN Wszyscy w jednym Ten, do którego SSID się podłączyli Ten, który serwer RADIUS wskaże dla tego urządzenia Odcięcie jednego zgubionego urządzenia Zmiana hasła wszędzie Zmiana hasła do tego SSID wszędzie Odwołanie jednego certyfikatu Porty przewodowe Otwarte Otwarte To samo sprawdzenie co w WiFi SSID-y do rozgłaszania 1 Po jednym na VLAN 1 To właśnie buduje ten wpis. step-ca wystawia certyfikaty i wpisuje w nie rolę każdego urządzenia, FreeRADIUS sprawdza każdy certyfikat względem CA i jego listy odwołań, odczytuje z niego rolę i odpowiada VLAN-em, a switch albo punkt dostępowy umieszcza urządzenie tam, gdzie mu kazano. Sprzęt to Netgear albo TP-Link, rozmawiający z FreeRADIUS po TLS tam, gdzie się da. Wszystko to działało tutaj, zanim cokolwiek zbliżyło się do prawdziwego sprzętu: CA i serwer RADIUS w kontenerach, a port switcha i sieć WiFi w symulatorach.\nCztery elementy, a decyduje tylko jeden 802.1X nazywa trzy role1. Suplikant to urządzenie, które prosi o dołączenie. Authenticator to port switcha albo punkt dostępowy. Serwer uwierzytelniania to RADIUS. Dodaj CA, które wystawiło certyfikaty, i to cały system.\nKto co robi przy logowaniu 802.1X Urządzenie suplikant Switch lub AP authenticator przekazuje, nie decyduje FreeRADIUS wybiera VLAN step-ca certyfikaty i CRL EAP-TLS port się otwiera RadSec VLAN 10 CRL, HTTPS certyfikat, wystawiony raz Switch albo AP tylko przekazuje. EAP wędruje od urządzenia do FreeRADIUS wewnątrz EAPOL, a potem wewnątrz RADIUS, a odpowiedź wraca z VLAN-em w trzech atrybutach. step-ca nigdy nie widzi logowania; podpisało certyfikaty wcześniej i publikuje listę odwołań. Switch i AP o niczym nie decydują. Przekazują. Dopóki urządzenie się nie uwierzytelni, port przepuszcza EAP i nic więcej. Authenticator opakowuje ten EAP w RADIUS, wysyła go do serwera i działa według odpowiedzi. Access-Accept otwiera port. Jeśli Accept niesie atrybuty tunelu, port albo klient WiFi trafia do VLAN-u, który wskazują. RFC 3580 ustala, które to trzy atrybuty, zapożyczone z atrybutów tunelowych RADIUS23:\nAtrybut Wartość Znaczenie Tunnel-Type VLAN (13) Ten tunel to VLAN Tunnel-Medium-Type IEEE-802 (6) W sieci 802 Tunnel-Private-Group-Id \u0026quot;10\u0026quot; ID VLAN-u, wysyłane jako ciąg znaków Marka switcha ma więc mniejsze znaczenie, niż by się wydawało. Decyzja zapada na pudełku, które sam prowadzisz. Każdy producent obsługujący dynamiczne VLAN-y czyta te same trzy atrybuty. RFC mówi wprost, że ID VLAN-u jest „encoded as a string”3, i dlatego stoi w cudzysłowie.\nDlaczego certyfikaty i dlaczego tylko TLS 1.3 Metod EAP jest kilka, a większość używanych to hasło opakowane w TLS. Dla człowieka to działa. Dla kamery jest bezużyteczne, bo nie ma kto niczego wpisać, a hasło wspólne dla tysiąca kamer to znowu hasło do WiFi.\nMetoda Czym urządzenie się legitymuje Jeśli urządzenie zaufa złemu serwerowi Odcięcie jednego urządzenia EAP-TLS Własnym certyfikatem i kluczem prywatnym Serwer poznaje certyfikat, który i tak jest publiczny Odwołanie certyfikatu PEAP z MS-CHAPv2 Nazwą użytkownika i hasłem Serwer przechwytuje handshake, który da się złamać aż do hasła Zmiana hasła EAP-TTLS z PAP Nazwą użytkownika i hasłem Serwer dostaje samo hasło Zmiana hasła Ta środkowa kolumna to powód, dla którego EAP-TLS. MS-CHAPv2 jest złamany od ponad dekady. Komunikat samego Microsoftu mówi, że „an attacker who obtained the MS-CHAP v2 authentication traffic could then use the exploit code to decrypt a user\u0026rsquo;s credentials”4. Opakowanie go w PEAP chroni go tylko wtedy, gdy każde urządzenie sprawdza, z kim rozmawia, a jak pokazuje sekcja o urządzeniach, mnóstwo z nich tego nie robi. W EAP-TLS w wymianie nie ma sekretu do ukradzenia. Klucz prywatny nigdy nie opuszcza urządzenia5. Nie ma czego łamać.\nTLS 1.2 wysyła certyfikat w eter EAP-TLS na TLS 1.2 ma wadę, którą łatwo przeoczyć. Urządzenie wysyła swój certyfikat, zanim zacznie się szyfrowanie. Otwartym tekstem. Każdy, kto nasłuchuje WiFi, może go przeczytać, a ponieważ ten wpis wpisuje w certyfikat rolę urządzenia, może przeczytać i ją.\nZmierzone tutaj, przeszukując każdą wiadomość EAP wysłaną przez urządzenie pod kątem jego nazwy i roli:\nPrzebieg TLS Nazwa urządzenia otwartym tekstem Rola OU=staff otwartym tekstem Tożsamość laptop1 1.2 Tak Tak Tożsamość laptop1 1.3 Tak, w tożsamości Nie Tożsamość anonymous 1.3 Nie Nie TLS 1.3 to naprawia. RFC 9190 mówi, że przy TLS 1.3 „the use of privacy is mandatory and does not cause any additional round trips”6. Zewnętrzna tożsamość nadal idzie otwartym tekstem, więc ona też nie powinna zdradzać nazwy urządzenia. RFC zaleca tożsamość anonimową6. Nic tutaj nie potrzebuje prawdziwej, bo FreeRADIUS odczytuje, kim jest urządzenie, z certyfikatu. Z anonymous na zewnątrz ostatni wiersz pokazuje, co dostaje podsłuchujący: nic a nic.\nDlatego ten build działa wyłącznie na TLS 1.3. FreeRADIUS jest do niego przypięty z obu stron. Urządzenie, które go nie obsługuje, nie wchodzi. To ma swój koszt i jest on policzony w sekcji o urządzeniach, a nie schowany. Własna konfiguracja FreeRADIUS wciąż każe ci ograniczyć się do 1.2, wielkimi literami, bo „most EAP supplicants WILL NOT DO TLS 1.3 PROPERLY”7. Oddajmy sprawiedliwość: ta konfiguracja to najuczciwsza dokumentacja w całym tym wpisie i prawie każda pułapka opisana niżej jest gdzieś w niej zapisana, jeśli czytasz komentarze. W sieci, w której sam wybierasz urządzenia, to powód, żeby wybierać lepsze urządzenia.\nRola w certyfikacie O VLAN-ie decyduje to, czym jest urządzenie, a miejscem na tę informację jest certyfikat. step-ca może ją tam wpisać szablonem, tym samym mechanizmem, którego wpis o certyfikatach klienckich używa dla punktu dystrybucji CRL. Uruchomienie samego CA opisuje step-ca w kontenerze, a tu kontynuuję od tamtego miejsca, z CA o nazwie Home Network CA.\nKażdy certyfikat urządzenia dostaje swoją rolę w jednostce organizacyjnej (OU) podmiotu. Szablon bierze rolę z żądania i odrzuca wszystko, czego nie ma na liście8:\n{{- $roles := list \u0026#34;staff\u0026#34; \u0026#34;iot\u0026#34; \u0026#34;media\u0026#34; }} {{- if not (has .Insecure.User.role $roles) }} {{- fail \u0026#34;role must be one of staff, iot or media\u0026#34; }} {{- end }} { \u0026#34;subject\u0026#34;: { \u0026#34;commonName\u0026#34;: {{ toJson .Subject.CommonName }}, \u0026#34;organizationalUnit\u0026#34;: {{ toJson .Insecure.User.role }} }, \u0026#34;sans\u0026#34;: {{ toJson .SANs }}, \u0026#34;keyUsage\u0026#34;: [\u0026#34;digitalSignature\u0026#34;], \u0026#34;extKeyUsage\u0026#34;: [\u0026#34;clientAuth\u0026#34;], \u0026#34;crlDistributionPoints\u0026#34;: [\u0026#34;http://ca.home.example/1.0/crl\u0026#34;] } Daj mu własny provisioner, żeby urządzenia nigdy nie dostawały certyfikatów z ogólnego admin, z rokiem jako najdłuższym certyfikatem, jaki podpisze:\nstep ca provisioner add network --type JWK --create \\ --x509-max-dur 8760h --x509-default-dur 24h \\ --x509-template templates/device.tpl --x509-template kopiuje szablon do ca.json, zamiast wskazywać na plik, więc późniejsza edycja device.tpl niczego nie zmienia, dopóki znowu nie uruchomisz step ca provisioner update network --x509-template templates/device.tpl. Potem wystaw certyfikat każdego urządzenia z jego rolą:\nstep ca certificate laptop1 laptop1.crt laptop1.key \\ --provisioner network --not-after 8760h --set role=staff $ openssl x509 -in laptop1.crt -noout -subject -ext extendedKeyUsage subject=OU=staff, CN=laptop1 X509v3 Extended Key Usage: TLS Web Client Authentication Brak roli albo nieznana rola nie dostaje nic:\n$ step ca certificate norole norole.crt norole.key --provisioner network The request could not be completed: role must be one of staff, iot or media. .Insecure.User nazywa się „insecure”, bo to cokolwiek przyśle wnioskujący. Tutaj to nie problem. Provisioner network ma hasło, znasz je tylko ty, a ktoś, kto może nim podpisywać, i tak może zrobić dowolny certyfikat, więc rola, którą sam wpisał, nie daje mu nic ponad to.\nSerwer RADIUS też potrzebuje certyfikatu, żeby urządzenia mogły sprawdzić, z kim rozmawiają. Pochodzi z provisionera admin, jak każdy inny certyfikat serwerowy, i żyje domyślne 24 godziny, odnawiany przez step ca renew --daemon tak, jak wpis o step-ca robi to dla każdej usługi, która nie umie ACME. Urządzenia sprawdzają nazwę i CA, nie numer seryjny. Codzienne odnowienie niczego dla nich nie zmienia.\nCertyfikat Provisioner Ważność Rozszerzone użycie klucza Zawiera radius.home.example admin 24 godziny, odnawiany codziennie Serwer i klient Nazwę, którą sprawdzają urządzenia laptop1 network 1 rok Tylko klient OU=staff cam1 network 1 rok Tylko klient OU=iot tv1 network 1 rok Tylko klient OU=media switch1, ap1 nas 1 rok Tylko klient OU=nas, dla RadSec; patrz niżej FreeRADIUS: wybór VLAN-u FreeRADIUS 3.2.10, we własnym obrazie kontenera projektu. Robotę wykonują trzy kawałki konfiguracji: moduł EAP, polityka wybierająca VLAN i lista wyjątków.\nModuł EAP Tylko EAP-TLS, tylko TLS 1.3 i CRL sprawdzana przy każdym logowaniu:\neap { default_eap_type = tls tls-config tls-common { certificate_file = ${certdir}/eaptls/radius.crt private_key_file = ${certdir}/eaptls/radius.key ca_path = ${certdir}/eaptls/ca ca_file = ${certdir}/eaptls/ca/root_ca.crt check_crl = yes ca_path_reload_interval = 300 tls_min_version = \u0026#34;1.3\u0026#34; tls_max_version = \u0026#34;1.3\u0026#34; } tls { tls = tls-common } } Plik Zawiera radius.crt Certyfikat serwera, a za nim pośredni certyfikat step-ca, tak jak zapisuje go step ca certificate radius.key Jego klucz prywatny; jak wszystko tutaj, musi być czytelny dla użytkownika freerad, inaczej FreeRADIUS nie wystartuje ca/ Certyfikat główny, pośredni i CRL pośredniego, zahashowane przez openssl rehash ca/ Ten środkowy wiersz zatrzymał tu pierwszy start, choć nie przez klucz: Permission denied na certyfikacie głównym, bo każdy plik wyszedł z CA czytelny tylko dla właściciela. FreeRADIUS działa jako freerad, więc wszystkie trzy muszą być dla niego czytelne.\ncheck_crl = yes sprawdza certyfikat urządzenia względem CRL pośredniego. Nie sprawdza samego pośredniego, więc w odróżnieniu od nginx we wpisie o certyfikatach klienckich FreeRADIUS nie potrzebuje CRL głównego. check_all_crl to włącza, jeśli chcesz7. ca_path_reload_interval znaczy więcej, niż się wydaje, i ma niżej własną sekcję.\nPolityka Każdy certyfikat, jaki to CA kiedykolwiek wystawiło, przeszedłby sprawdzenie TLS. Łącznie z serwerami WWW, które dostały swoje przez ACME. Polityka wyrzuca więc wszystko, co nie powstało do tej roboty: brak użycia client-auth albo brak roli i certyfikat jest odrzucany.\nJak FreeRADIUS wybiera VLAN handshake TLS 1.3, CRL Użycie client-auth? Na liście urządzeń? Rola w certyfikacie? Brak roli: odrzuć Odrzuć Lista wygrywa: cam1, VLAN 99 staff, 10 iot, 20 media, 30 tak nie brak nie tak Lista dla poszczególnych urządzeń jest pytana pierwsza i wygrywa, gdy ma odpowiedź. W przeciwnym razie VLAN wybiera rola w certyfikacie. Certyfikat bez żadnej z nich jest odrzucany, i to właśnie powstrzymuje certyfikaty serwerów WWW z tego CA przed wejściem do sieci. vlan_by_certificate { if (\u0026amp;TLS-Client-Cert-X509v3-Extended-Key-Usage-OID !~ /1\\.3\\.6\\.1\\.5\\.5\\.7\\.3\\.2/) { reject } device_vlan if (!\u0026amp;reply:Tunnel-Private-Group-Id) { if (\u0026amp;TLS-Client-Cert-Subject =~ /\\/OU=([^\\/]+)/) { switch \u0026#34;%{1}\u0026#34; { case \u0026#34;staff\u0026#34; { update reply { \u0026amp;Tunnel-Private-Group-Id := \u0026#34;10\u0026#34; } } case \u0026#34;iot\u0026#34; { update reply { \u0026amp;Tunnel-Private-Group-Id := \u0026#34;20\u0026#34; } } case \u0026#34;media\u0026#34; { update reply { \u0026amp;Tunnel-Private-Group-Id := \u0026#34;30\u0026#34; } } case { reject } } } else { reject } } update reply { \u0026amp;Tunnel-Type := VLAN \u0026amp;Tunnel-Medium-Type := IEEE-802 } } To trafia do policy.d/vlan, a jedna linijka, vlan_by_certificate, na początek sekcji post-auth w sites-available/default. Post-auth to miejsce, gdzie szczegóły certyfikatu są dostępne, po zakończeniu handshake\u0026rsquo;u TLS9.\nLista wyjątków Rola decyduje o większości urządzeń. Nie o wszystkich. Lista jest dla tych kilku, o których decydować nie powinna: kamery, która zaczęła się dziwnie zachowywać i trzeba ją wrzucić do kwarantanny, zanim ustalisz dlaczego, albo urządzenia pożyczonego na tydzień. To moduł passwd czytający plik z dwiema kolumnami, z kluczem w postaci common name certyfikatu:\npasswd device_vlan { filename = ${modconfdir}/device_vlan/devices format = \u0026#34;*TLS-Client-Cert-Common-Name:=Tunnel-Private-Group-Id\u0026#34; delimiter = \u0026#34;,\u0026#34; } # certificate CN,VLAN cam1,99 = przed atrybutem wstawia go do odpowiedzi, a nie do elementów sprawdzanych10. Przeniesienie urządzenia to jedna linijka w pliku tekstowym, bez ponownego wystawiania certyfikatu i bez dotykania urządzenia.\nVLAN Rola Co tam mieszka 10 staff Laptopy i telefony, którym ufasz 20 iot Kamery, czujniki, wszystko, co dzwoni do domu 30 media Telewizory i odtwarzacze strumieniowe 99 Tylko z listy Kwarantanna: co najwyżej internet, nic lokalnego Dowód, zanim dotkniesz switcha eapol_test przychodzi z wpa_supplicant i gra jednocześnie urządzenie i switch, rozmawiając bezpośrednio z serwerem RADIUS. Użyj go najpierw. Gdy później coś nie zadziała, będziesz wiedział, w której połowie szukać.\nnetwork={ key_mgmt=WPA-EAP eap=TLS phase1=\u0026#34;tls_disable_tlsv1_3=0\u0026#34; identity=\u0026#34;anonymous\u0026#34; ca_cert=\u0026#34;/etc/pki/home/root_ca.crt\u0026#34; domain_match=\u0026#34;radius.home.example\u0026#34; client_cert=\u0026#34;/etc/pki/home/laptop1.crt\u0026#34; private_key=\u0026#34;/etc/pki/home/laptop1.key\u0026#34; } eapol_test -c laptop1.conf -a 192.0.2.10 -s \u0026lt;shared secret\u0026gt; Odpowiedzi, z własnego logu debugowania FreeRADIUS:\n(8) Sent Access-Accept (8) Tunnel-Private-Group-Id = \u0026#34;10\u0026#34; (8) Tunnel-Type = VLAN (8) Tunnel-Medium-Type = IEEE-802 Urządzenie Rola w certyfikacie Na liście Odpowiedź VLAN laptop1 staff Nie Accept 10 cam1 iot 99 Accept 99 tv1 media Nie Accept 30 laptop2 staff, odwołany Nie Reject, certificate revoked Brak radius.home.example Brak Nie Reject, brak roli Brak laptop1 z wyłączonym TLS 1.3 staff Nie Reject, protocol version Brak Ten ostatni wiersz warto znać przed uruchomieniem na produkcji. wpa_supplicant 2.11 wciąż przychodzi z wyłączonym TLS 1.3 dla EAP, opisanym jako „experimental - disabled by default”11. Pomiń linię phase1, a zupełnie dobry laptop zostanie odrzucony.\nPort switcha, zasymulowany eapol_test pomija switch. Żeby zobaczyć połowę switcha, hostapd ma sterownik przewodowy, który zamienia interfejs linuksowy w port 802.1X. Wirtualny kabel łączy go z wpa_supplicant grającym laptopa, a sam wskazuje na ten sam FreeRADIUS.\ninterface=port1 driver=wired ieee8021x=1 use_pae_group_addr=1 auth_server_addr=192.0.2.10 auth_server_port=1812 auth_server_shared_secret=\u0026lt;shared secret\u0026gt; Jak port widzi dobrego laptopa i odwołanego:\nport1: CTRL-EVENT-EAP-SUCCESS2 4a:42:cf:cf:09:5a port1: AP-STA-CONNECTED 4a:42:cf:cf:09:5a port1: STA 4a:42:cf:cf:09:5a IEEE 802.1X: authorizing port port1: CTRL-EVENT-EAP-FAILURE2 de:d8:8c:88:6e:f2 port1: IEEE 802.1X: Force disconnection of de:d8:8c:88:6e:f2 after EAP-Failure in 10 ms Włącz obsługę dynamicznych VLAN-ów, a zgłosi VLAN, który dostał, vlan=10 dla laptopa i vlan=99 dla kamery w kwarantannie, a potem powie, że could not add dynamic VLAN interface. To linuksowy port mówiący uczciwie: umie się otworzyć i zamknąć, ale nie umie przenieść sam siebie do VLAN-u. Zarządzany switch robi tę część sprzętowo, i to tę połowę opisują ustawienia producentów niżej.\nOdwołanie: CRL, którą FreeRADIUS ignoruje po HUP Zgubiony laptop to przypadek, dla którego to wszystko istnieje. Odwołaj go w CA. Provisioner admin podpisuje token odwołania dla numeru seryjnego, co działa bez klucza laptopa, bo laptopa nie będziesz miał:\nSERIAL=$(step certificate inspect laptop2.crt --format json | jq -r .serial_number) TOKEN=$(step ca token \u0026#34;$SERIAL\u0026#34; --revoke --provisioner admin) step ca revoke \u0026#34;$SERIAL\u0026#34; --token \u0026#34;$TOKEN\u0026#34; --reason \u0026#34;laptop lost\u0026#34; Certificate with Serial Number 306546036599704679037436836531698019860 has been revoked. step-ca od razu przebudowuje swoją CRL, gdy włączone jest generateOnRevoke, skonfigurowane tak, jak pokazuje wpis o certyfikatach klienckich. Skopiuj ją do katalogu ca/ FreeRADIUS i laptop jest odcięty. Tyle że nie jest. Wszedł z powrotem jak gdyby nigdy nic.\nCo zrobiono po tym, jak nowa CRL trafiła na dysk Odwołany laptop Nic Dalej wchodzi kill -HUP Dalej wchodzi. Log mówi HUP - No files changed. Ignoring Odczekano dłużej niż ca_path_reload_interval Odrzucony, certificate revoked Restart FreeRADIUS Odrzucony, certificate revoked HUP przeładowuje pliki konfiguracyjne, a CRL w ca_path do nich nie należy, więc FreeRADIUS sprawdza listę swoich plików konfiguracyjnych, nie znajduje żadnej zmiany i jedzie dalej ze starą CRL w pamięci. Tym, co ją podchwytuje, jest ca_path_reload_interval. W domyślnej konfiguracji jest wyłączone. Ustaw poniżej 300 sekund, a FreeRADIUS nadpisze cię przy starcie:\nca_path_reload_interval is set too low, reset it to 300 Więc 300. Odwołanie zaczyna działać w ciągu pięciu minut od pojawienia się nowej CRL. Pobieraj ją z timera, tak jak wpis o certyfikatach klienckich robi to już dla nginx, tylko do tego katalogu. Zrestartuj FreeRADIUS, jeśli pięć minut to za długo dla urządzenia, które właśnie zgubiłeś.\nCRL potrafi też odciąć wszystkich naraz. Czyli działa w obie strony. Oba poniższe przypadki przetestowano z dobrymi certyfikatami:\nStan CRL Co mówi FreeRADIUS Kto wchodzi Aktualna Nic Każde dobre urządzenie Brak w ca/ error 3 : unable to get certificate CRL Nikt Po terminie następnej aktualizacji error 12 : CRL has expired Nikt CRL step-ca domyślnie żyje 24 godziny. Jeśli timer, który ją pobiera, stanie, każde urządzenie w sieci padnie następnego dnia. allow_expired_crl istnieje, żeby to złagodzić7. Nie używaj go. Sieć, która wpuszcza wszystkich, bo lista się przeterminowała, przestała cokolwiek sprawdzać, a co za tym idzie, rozwiązaniem jest pilnowanie timera, a nie wyłączenie sprawdzania.\nRADIUS to wciąż MD5 i wspólny sekret Wszystko dotąd chroni rozmowę między urządzeniem a FreeRADIUS. EAP-TLS działa od końca do końca, a switch czy AP pośrodku nie może jej przeczytać. Pakiet RADIUS, który ją niesie, to inna sprawa.\nKlasyczny RADIUS to UDP ze wspólnym sekretem, a sekret używany jest przez MD5, co miałoby dużo mniejsze znaczenie, gdyby pakiet nie niósł nic wartościowego, ale Access-Accept dla klienta WiFi niesie klucze do ruchu tego klienta. MS-MPPE-Recv-Key i MS-MPPE-Send-Key to klucz główny, którym AP szyfruje ruch tego klienta, a RFC 2548 chroni je przez b(1) = MD5(S + R + A) i XOR, gdzie S to wspólny sekret12. Nie ma w tym poufności przyszłej. Przechwyć dziś ruch RADIUS, zdobądź sekret za rok z kopii zapasowej konfiguracji albo z running configu switcha, a każdy przechwycony klucz da się odszyfrować, razem z ruchem WiFi, który chronił.\nPytanie nie brzmi więc, czy sekret jest wystarczająco długi. Brzmi: dlaczego klucze do sieci bezprzewodowej w ogóle idą kablem pod MD5. Nie muszą.\nZagrożenie Zwykły RADIUS po UDP Z wymaganym Message-Authenticator RadSec, TLS 1.3, certyfikaty po obu stronach Sfałszowany Access-Accept (BlastRADIUS) Możliwy przy żądaniach bez EAP, w tym MAB Zablokowany Zablokowany Klucze WiFi odczytane z przechwyconego ruchu Każdy, kto kiedykolwiek pozna sekret Tak samo Potrzebne klucze sesji TLS, które nigdy nie są zapisywane Pudełko w sieci zarządzającej udające switch Potrzebuje tylko sekretu Tak samo Potrzebuje certyfikatu z rolą nas, ze znanego adresu Kto widzi, które urządzenie się zalogowało Każdy na trasie Tak samo Nikt BlastRADIUS i linijka, która go zatrzymuje BlastRADIUS, CVE-2024-3596, pozwala atakującemu na trasie między switchem a serwerem zamienić odrzucenie w akceptację, atakując MD5, które podpisuje odpowiedź13. Poprawką jest atrybut Message-Authenticator w każdym żądaniu i każdej odpowiedzi13. RFC 3579 od zawsze wymagał go we wszystkim, co niesie EAP14, więc EAP-TLS nigdy nie był słabym punktem. Był nim MAB, bo sprawdzenie adresu MAC nie niesie EAP, a mnóstwo switchy wysyłało je bez tego atrybutu.\nFreeRADIUS 3.2.10 wymaga go od razu po instalacji, przez require_message_authenticator = yes w radiusd.conf. Przetestowane tutaj ręcznie zbudowanym żądaniem MAB:\nŻądanie Odpowiedź Bez Message-Authenticator Brak odpowiedzi. W logu Packet does not contain required Message-Authenticator attribute Z Message-Authenticator Odpowiedź, Access-Reject dla nieznanego MAC Zostaw to ustawienie, jak jest. Konfiguracja ostrzega, że ustawienie go i limit_proxy_state obu na no „will allow MITM attackers to create fake Access-Accept packets to the NAS”15.\nTo zamyka fałszerstwo. Dla kluczy nie robi nic.\nRadSec: RADIUS wewnątrz TLS 1.3 Najwyższy dostępny standard to RadSec, RADIUS przenoszony po TLS z certyfikatem po każdej stronie16. Switch albo AP udowadnia, kim jest, certyfikatem, FreeRADIUS udowadnia, kim jest, własnym, a cała rozmowa RADIUS, łącznie z kluczami, siedzi wewnątrz TLS 1.3 z poufnością przyszłą. IETF przenosi go na ścieżkę standardów; szkic, który miałby zastąpić eksperymentalny RFC z 2012 roku, „Has enough positions to pass”17.\nSwitche i AP dostają certyfikaty od step-ca jak wszystko inne, z trzeciego provisionera, którego szablon wbija OU=nas i nic więcej. To oznacza, że certyfikatem urządzenia nie da się podszyć pod switch, a certyfikatem switcha, który nie niesie żadnej roli rozpoznawanej przez politykę VLAN, nie da się wejść do sieci.\nlisten { ipaddr = * port = 2083 type = auth proto = tcp virtual_server = default clients = radsec tls { certificate_file = ${certdir}/eaptls/radius.crt private_key_file = ${certdir}/eaptls/radius.key ca_path = ${certdir}/eaptls/ca ca_file = ${certdir}/eaptls/ca/root_ca.crt require_client_cert = yes check_crl = yes ca_path_reload_interval = 300 verify { tmpdir = ${run_dir} client = \u0026#34;${raddbdir}/nas-only.sh %{TLS-Client-Cert-Filename}\u0026#34; } tls_min_version = \u0026#34;1.3\u0026#34; tls_max_version = \u0026#34;1.3\u0026#34; } } clients radsec { client switch1 { ipaddr = 192.0.2.21 proto = tls secret = radsec } } #!/bin/sh # Accept a RadSec client certificate only if step-ca issued it with the nas role. openssl x509 -in \u0026#34;$1\u0026#34; -noout -subject -nameopt compat | grep -q \u0026#39;/OU=nas/\u0026#39; Sekret to naprawdę słowo radsec. Serio. Po TLS nic nie robi, a własny przykład FreeRADIUS mówi „TLS clients MUST have the shared secret set to «radsec»”18. Dwie rzeczy, które wyglądają naturalnie, nie działają, obie odkryte na własnej skórze. check_cert_cn = %{client:shortname} rozwija się w chwili handshake\u0026rsquo;u do niczego, więc każdy switch jest odrzucany z Certificate CN (switch1) does not match specified value (); stąd skrypt verify. A listener nie wystartuje pod freeradius -X, który wyłącza wątki: Threading must be enabled for TLS sockets to function properly. Debuguj go zamiast tego przez freeradius -fxx -l stdout.\nOchrona każdego odcinka do FreeRADIUS FreeRADIUS port 2083 tylko OU=nas Omada, hostapd RadSec wbudowany RadSec, TLS 1.3 Netgear tylko UDP radsecproxy ten sam VLAN zarz. UDP + Msg-Auth RadSec step-ca wystawia certyfikaty CRL po HTTPS, root przypięty Gdzie chroniony jest każdy odcinek. Sprzęt mówiący RadSec idzie prosto do FreeRADIUS po TLS 1.3. Sprzęt mówiący tylko po UDP rozmawia z radsecproxy w tym samym VLAN-ie zarządzającym i tylko ten krótki odcinek to zwykły RADIUS. CRL przychodzi ze step-ca po HTTPS z przypiętym certyfikatem głównym. Zasymulowany wcześniej port switcha, przebudowany na RadSec, w tych samych testach:\nSwitch przedstawia Skąd Wynik switch1, OU=nas Ze swojego adresu z listy TLS 1.3 zestawiony; laptop1 autoryzowany w VLAN-ie 10, odwołany laptop2 odrzucony Certyfikat laptop1 Z adresu switcha Odrzucony w handshake\u0026rsquo;u; skrypt verify zwraca 1 switch1, OU=nas Z adresu spoza listy Ignoring request … from unknown client Który sprzęt to potrafi Authenticator RadSec Uwagi hostapd 2.11 Tak, jeśli zbudowany z jego obsługą CONFIG_RADIUS_TLS=y jest zakomentowane w jego defconfig19. Pakiet Alpine\u0026rsquo;a zostawia to wyłączone i odrzuca konfigurację: unsupported RADIUS type 'TLS'. Zbudowany z obsługą zadziałał za pierwszym razem Punkty dostępowe i switche TP-Link Omada Od Controllera 6.1, z aktualnym firmware\u0026rsquo;em „Added support for RadSec (RADIUS over TLS) to secure SSID, MAC-Based, and 802.1X authentications on both APs and Switches”20 Proxy RADIUS TP-Link Omada Nie Własne proxy kontrolera „does not support the RadSec feature”21 Netgear M4250 i M4350 Nieudokumentowane Instrukcja CLI w ogóle nie wspomina RadSec i ogranicza wspólny sekret: „The secret must be an alphanumeric value not exceeding 16 characters”22 Punkty dostępowe Netgear WAX i WBE Nieudokumentowane Instrukcje opisują port RADIUS jako UDP, a domyślny sekret jako sharedsecret23 Czy mogę zapytać, dlaczego switch sprzedawany w 2026 roku jako w pełni zarządzany nie umie rozmawiać ze swoim serwerem RADIUS po TLS? Nie kto to zdecydował. Co w procesie pozwoliło, żeby tak trafił na rynek, skoro kontroler TP-Link, hostapd i darmowe proxy to potrafią. Szesnaście losowych znaków alfanumerycznych to około 95 bitów, a nie to się łamie. Rzecz w tym, że to jedyna oferowana ochrona: żadnej opcji TLS, schemat MD5 z 1999 roku pilnujący kluczy WiFi i AP, który przychodzi z sekretem ustawionym na słowo sharedsecret. Na sprzęcie Netgear radsecproxy nie jest opcjonalne.\nradsecproxy, dla sprzętu, który mówi tylko po UDP Tam, gdzie switch albo AP nie umie RadSec, postaw obok niego radsecproxy. Przyjmuje RADIUS po UDP i wysyła dalej RadSec24, więc otwarty odcinek to kilka metrów VLAN-u zarządzającego między switchem a proxy, a nie cała droga do serwera:\nListenUDP *:1812 tls stepca { CACertificateFile /etc/radsecproxy/root_ca.crt CertificateFile /etc/radsecproxy/radsecproxy.crt CertificateKeyFile /etc/radsecproxy/radsecproxy.key TlsVersion TLS1_3 } client switches { host 192.0.2.32/27 type udp secret \u0026lt;long random secret\u0026gt; RequireMessageAuthenticator on } server freeradius { host radius.home.example port 2083 type tls tls stepca secret radsec certificateNameCheck on } realm * { server freeradius } Używaj nazwy. Nie adresu. Z host 10.89.0.100 proxy słusznie odrzuciło serwer: No subjectaltname matching address 10.89.0.100. Z nazwą połączenie wstało jako TLSv1.3 with cipher TLS_AES_256_GCM_SHA384, a te same urządzenia dostały przez nie te same odpowiedzi: laptop1 VLAN 10, cam1 99, tv1 30, laptop2 odrzucony. Żądanie bez Message-Authenticator zatrzymało się na proxy: ignoring request from client switches … missing required message-authenticator.\nTrzymaj ten odcinek UDP w ryzach. Krótki i odgrodzony. Adres zarządzający switcha i proxy siedzą w VLAN-ie zarządzającym, do którego żaden VLAN klientów nie ma routingu, i firewall to potwierdza.\nPobieranie CRL też CRL jest podpisana, więc nikt jej nie podrobi. Może za to odtworzyć starszą, wciąż ważną, która ukryje odwołanie dokonane od tamtej pory. Pobieraj ją ze step-ca po HTTPS z przypiętym jego własnym certyfikatem głównym, a nie zwykłym HTTP:\ncurl -fsS --cacert /etc/freeradius/certs/eaptls/ca/root_ca.crt --tlsv1.3 \\ -o /tmp/crl.der https://ca.home.example:9000/1.0/crl Przy dowolnym innym certyfikacie głównym to samo polecenie kończy się kodem wyjścia curl 60, a FreeRADIUS zostaje przy liście, którą ma.\nDokąd to zmierza RFC 9765, RADIUS/1.1, całkowicie usuwa MD5 z RADIUS, gdy ten działa po TLS: „the RADIUS shared secret is no longer used, and all MD5-based packet authentication and attribute obfuscation methods are removed”25. Ma status Experimental. FreeRADIUS 3.2 ma go za flagą kompilacji, --with-radiusv11, „for testing interoperability”26, a oficjalny obraz 3.2.10 nie jest z nią zbudowany; opcji nie ma w binarce. RadSec z TLS 1.3 to najwyższy standard, jaki możesz dziś wdrożyć, a RADIUS/1.1 to jego następny krok.\nSwitch: Netgear i TP-Link Każdy zarządzany switch wart uwagi obsługuje 802.1X z dynamicznymi VLAN-ami, a ustawienia sprowadzają się do tych samych pięciu rzeczy, cokolwiek mówi logo. Różnica między tymi dwoma tkwi w szczegółach, a jeden szczegół po stronie TP-Link zmienia to, jak okablujesz biurko.\nUstawienie Netgear M4250 i M4350 Switche TP-Link Omada Serwer RADIUS Security \u0026gt; Management Security \u0026gt; RADIUS \u0026gt; Server Configuration27 RADIUS Profile w kontrolerze Omada28 Włączenie 802.1X Security \u0026gt; Port Authentication \u0026gt; Basic \u0026gt; 802.1X Configuration: Dot1x Admin Mode, Authentication Admin Mode27 Authentication \u0026gt; 802.1X, Authentication Type „Port Based”28 VLAN z RADIUS VLAN Assignment Mode, „The default is Disable”27 „enable «VLAN Assignment»”28 Brakujący VLAN Nie jest tworzony, chyba że włączony jest Dynamic VLAN Creation Mode, też domyślnie wyłączony27 „the switch will create the related VLAN automatically”29 Porty dostępowe Control Mode Auto 802.1X Control mode Auto28 Uplinki, port serwera RADIUS, porty AP Force Authorized 802.1X wyłączone: „Keep 802.1X authentication disabled on ports connected to the authentication server, the internet and the management computer”29 Tak czy inaczej najpierw utwórz VLAN-y na switchu. VLAN, który istnieje, bo wyczarowało go logowanie, to VLAN, którego nikt nie skonfigurował i na który nikt nie nałożył reguły firewalla.\nJeden VLAN na port w TP-Link Własny poradnik TP-Link mówi, że „VLAN Assignment takes effect only when the control type is Port Based”29. Port Based oznacza, że pierwsze urządzenie, które się uwierzytelni, ustawia VLAN dla całego portu. Wepnij w ten port switch biurkowy albo telefon z przepiętym przez niego komputerem, a drugie urządzenie wjedzie w VLAN-ie pierwszego, nikt go nawet nie zapyta o certyfikat. Na porcie pracowniczym znaczy to, że cokolwiek wepniesz z tyłu tego telefonu, jest w sieci pracowników.\nWięc w TP-Link: jedno urządzenie na port dostępowy. Nic między gniazdkiem w ścianie a urządzeniem. Tryb MAC-based w Netgear uwierzytelnia każde urządzenie na porcie osobno; instrukcja GS710TUP opisuje go jako pozwalający na „multiple supplicants connected to the same port”30.\nMAB, dla drukarki, która nic z tego nie umie Część sprzętu w ogóle nie ma klienta 802.1X. MAC Authentication Bypass pozwala switchowi wysłać do RADIUS adres MAC urządzenia jako nazwę użytkownika i hasło naraz, a obaj producenci obsługują to razem z 802.1X na tym samym porcie. Netgear najpierw próbuje 802.1X, a potem się wycofuje: „if a client tries 802.1X authentication… and authentication fails, the interface proceeds with MAB authentication”27. TP-Link wysyła MAC jako „12 hexadecimal digits, all lowercase and no punctuation”29.\nAdres MAC to nie tożsamość. Każdy może jednym poleceniem ustawić swojej karcie sieciowej MAC drukarki, z laptopa, który przyniósł, stojąc obok drukarki, której kabel właśnie sobie pożyczył. Dlatego MAB dostaje własną listę, a polityka da mu tylko VLAN IoT albo kwarantannę:\nmab { if (!\u0026amp;EAP-Message \u0026amp;\u0026amp; \u0026amp;User-Name =~ /^[0-9a-f]{12}$/ \u0026amp;\u0026amp; \u0026amp;User-Password == \u0026amp;User-Name) { mab_vlan if (ok \u0026amp;\u0026amp; \u0026amp;reply:Tunnel-Private-Group-Id =~ /^(20|99)$/) { update control { \u0026amp;Auth-Type := Accept } update reply { \u0026amp;Tunnel-Type := VLAN \u0026amp;Tunnel-Medium-Type := IEEE-802 } } else { reject } } } To trafia na sam początek authorize, z modułem passwd o nazwie mab_vlan, który czyta linie mac,vlan dokładnie tak jak lista urządzeń. Polityka certyfikatów jest opakowana w if (\u0026amp;EAP-Message), więc zostawia MAB w spokoju. Przetestowane:\nŻądanie MAB Wpis na liście Odpowiedź aabbccddeeff 20 Accept, VLAN 20 112233445566 Brak Reject ccddeeff0011 10, VLAN pracowników Reject. Polityka nie wpuści MAC-a do sieci pracowników, cokolwiek mówi lista Ktoś, kto podszywa się pod drukarkę, dostaje VLAN drukarki i nic więcej. To najwięcej, co adres MAC powinien kiedykolwiek załatwić.\nUstawienia switchy Omada opisane wyżej sprawdzono też na zasymulowanym Omada Software Controller 6.2.14.11, w kontenerze bez żadnego sprzętu za nim. Jego angielskie teksty interfejsu nazywają każde użyte tu ustawienie: opcję RadSec, przy której „a TLS-encrypted transmission tunnel will be established between the client and the RADIUS server”, „Enable VLAN Assignment for Wireless Network”, „Require Message-Authenticator”, „Limit Proxy-State” oraz import certyfikatu i klucza klienta dla RadSec. Kontroler konfiguruje; nie przepuszcza ruchu, więc dowodzi to tylko tego, że te ustawienia istnieją w tej wersji, i niczego więcej. Netgear nie ma nic odpowiedniego do uruchomienia, więc jego kolumna pochodzi z własnych instrukcji Netgeara i nie była tu testowana.\nPunkt dostępowy: jeden SSID, każdy VLAN Punkt dostępowy to miejsce, gdzie pojedynczy SSID się opłaca. Jedna sieć WPA-Enterprise, a każdy klient trafia do VLAN-u, który wskaże dla niego RADIUS. AP taguje ruch tego klienta jego VLAN-em i wysyła go kablem w górę, więc port switcha zasilający AP musi nieść, tagowany, każdy VLAN, jaki RADIUS może przydzielić. Pomiń jeden, a urządzenie uwierzytelni się bez zarzutu i nigdy nie dostanie adresu.\nJeden SSID, zasymulowany Zanim uwierzyłem któremuś producentowi na słowo, całość działała na zasymulowanych radiach. Linuksowy mac80211_hwsim tworzy wirtualne karty WiFi, które obsługują prawdziwe WPA-Enterprise. Jądro tej maszyny nie ma tego modułu, więc test uruchomił to samo jądro w małej maszynie wirtualnej KVM i załadował go tam, z własnego podpisanego pakietu Fedory, z hostapd 2.11 jako punktem dostępowym i trzema stacjami wpa_supplicant we własnych przestrzeniach nazw sieci31:\ninterface=wlan0 driver=nl80211 ssid=Home ieee8021x=1 wpa=2 wpa_key_mgmt=WPA-EAP rsn_pairwise=CCMP ieee80211w=1 auth_server_addr=192.0.2.10 auth_server_port=1812 auth_server_shared_secret=\u0026lt;shared secret\u0026gt; dynamic_vlan=2 vlan_tagged_interface=trunk0 vlan_bridge=brvlan dynamic_vlan=2 oznacza „wymagane”: logowanie bez VLAN-u w odpowiedzi jest odrzucane, a nie wrzucane do domyślnego. Każda stacja zalogowała się jako anonymous po TLS 1.3, a własny log AP pokazuje, co powiedział mu RADIUS:\nwlan0: STA 02:00:00:00:01:00 RADIUS: VLAN ID 10 wlan0: STA 02:00:00:00:02:00 RADIUS: VLAN ID 99 wlan0: STA 02:00:00:00:03:00 RADIUS: VLAN ID 30 WPA: group state machine entering state GTK_INIT (VLAN-ID 10) WPA: group state machine entering state GTK_INIT (VLAN-ID 30) WPA: group state machine entering state GTK_INIT (VLAN-ID 99) Jeden SSID, trzy VLAN-y laptop1 OU=staff cam1 na liście tv1 OU=media Punkt dostępowy SSID \"Home\" VLAN 10, klucz A VLAN 99, klucz B VLAN 30, klucz C Switch port trunk 10, 30, 99 tagowane jeden kabel Jeden SSID, trzy urządzenia, trzy VLAN-y. AP umieszcza każdego klienta na jego własnym interfejsie VLAN z własnym kluczem grupowym i wysyła wszystkie trzy jednym tagowanym trunkiem. Port switcha zasilający AP musi nieść każdy VLAN, który RADIUS może wskazać. Stacja Certyfikat VLAN Bridge Własna brama VLAN telewizora laptop1 OU=staff 10 brvlan10 Osiągalna Brak odpowiedzi cam1 OU=iot, na liście 99 brvlan99 Osiągalna tv1 OU=media 30 brvlan30 Osiągalna Linie z kluczem grupowym to ta część, którą ludzie przeoczają. Ramki broadcast i multicast w WiFi są szyfrowane kluczem grupowym wspólnym dla wszystkich w sieci, i gdyby wszystkie trzy VLAN-y dzieliły jeden, kamera mogłaby czytać z eteru broadcasty laptopa, cokolwiek myślałby switch. hostapd trzyma osobny klucz grupowy dla każdego VLAN-u, a log pokazuje, jak uruchamia po jednym dla każdego. Ten sam przebieg w WPA3-Enterprise, WPA-EAP-SHA256 z wymaganą ochroną ramek zarządzających, dał te same trzy VLAN-y i te same trzy klucze grupowe.\nUstawienie Netgear WAX i WBE TP-Link Omada EAP Zabezpieczenia WPA2 Enterprise albo WPA3 Enterprise WPA2-Enterprise albo WPA3-Enterprise, w tym tryb wyłączny z CCMP-128 VLAN z RADIUS Dynamic VLAN, Enable23 „Enable VLAN Assignment for Wireless Network”28 Brak VLAN-u w odpowiedzi Klient trafia do własnego VLAN-u SSID23 Nieudokumentowane; FreeRADIUS tutaj nigdy nie wysyła Accept bez VLAN-u Transport RADIUS Tylko UDP, więc radsecproxy RadSec od Controllera 6.1 z aktualnym firmware\u0026rsquo;em20 Dwa szczegóły Netgeara warto znać, zanim ugryzą. Klient, któremu serwer RADIUS nie da VLAN-u, jest „automatically assigned the VLAN ID that you configured for the SSID”23, więc ustaw własny VLAN SSID na kwarantannę, nie na pracowników; FreeRADIUS tutaj zawsze jakiś wysyła, ale awaryjne wyjście i tak powinno się zamykać. A dynamiczny VLAN „is mutually exclusive with a captive portal, NAT mode, wireless client isolation, and a multicast DNS (mDNS) gateway”23, więc portal dla gości w tym samym SSID odpada.\nWPA3-Enterprise na WAX620 to tryb 192-bitowy: „the encryption is automatically set to GCMP256”32, z wymaganą ochroną ramek zarządzających. Klienci, którzy nie umieją GCMP-256, do niego nie dołączą. Przetestuj swoje najstarsze urządzenie, zanim się przełączysz, tak samo jak przy TLS 1.3.\nUrządzenia i sprawdzenie, które wszyscy pomijają Każde urządzenie potrzebuje trzech rzeczy: własnego certyfikatu z kluczem, certyfikatu głównego i nazwy serwera RADIUS, której ma się spodziewać. Większość poradników opisuje dwie pierwsze. Pomiń cokolwiek z trzeciej, a dalej działa, i w tym właśnie problem.\nTo trzecia rzecz powstrzymuje urządzenie przed zaufaniem złemu serwerowi. Tutaj fałszywy serwer RADIUS postawiono dwa razy: raz z zupełnie poprawnym certyfikatem z tego samego CA, wystawionym dla ha.home.example, i raz z certyfikatem samopodpisanym. Laptopa skierowano na każdy z nich z trzema różnymi ustawieniami klienta:\nKlient sprawdza Prawdziwy serwer To samo CA, inna nazwa Samopodpisany CA i nazwę serwera Łączy się Odrzucony, Domain mismatch Odrzucony Tylko CA Łączy się Łączy się Odrzucony Nic Łączy się Łączy się Łączy się Spójrz na środkowy wiersz. Twoje CA podpisuje certyfikat dla każdego serwera WWW w domu. Urządzenie, które sprawdza tylko CA, zaufa każdemu z nich jako swojemu serwerowi RADIUS, więc każdy, kto dorwie jeden z tych kluczy, z zapomnianego pudełka testowego albo serwera WWW, którego nikt nie łatał, może postawić punkt dostępowy z twoim SSID, a twoje urządzenia dołączą do niego bez szemrania. Przy EAP-TLS nie oddają hasła, ale są w sieci atakującego i jej ufają. TLS 1.3 tego nie zmienia; te same trzy wiersze wyszły pod 1.3. Zmienia to tylko sprawdzanie nazwy.\nAndroid dotarł tam pierwszy. Opcję „Do not validate” usunięto „for security reasons”33, choć zaznaczono, że „saved enterprise configurations that are set up to turn off server certificate validation aren\u0026rsquo;t affected”33. Stary telefon wciąż może taką mieć.\nLinux (NetworkManager) macOS, iOS, iPadOS Android Certyfikat i klucz 802-1x.client-cert, 802-1x.private-key Payload tożsamości w profilu konfiguracyjnym Zainstalowany jako certyfikat Wi-Fi Certyfikat główny 802-1x.ca-cert Payload certyfikatu, zaufany przez PayloadCertificateAnchorUUID34 Pole certyfikatu CA Nazwa serwera 802-1x.domain-match35 TLSTrustedServerNames34 Pole domeny; setDomainSuffixMatch w API36 TLS 1.3 802-1x.phase1-auth-flags tls-1-3-enable TLSMinimumVersion i TLSMaximumVersion \u0026quot;1.3\u0026quot;; maksimum domyślnie wynosi \u0026quot;1.2\u0026quot;34 setMinimumTlsVersion(TLS_V1_3), od API level 34, jeśli urządzenie to obsługuje36 Na Linuksie całość to jedno polecenie. Sprawdzono je przez nmcli --offline, które wypisuje połączenie, jakie by utworzyło, nie dotykając działającego systemu:\nnmcli connection add type wifi con-name Home ifname \u0026#39;*\u0026#39; ssid Home \\ wifi-sec.key-mgmt wpa-eap 802-1x.eap tls 802-1x.identity anonymous \\ 802-1x.ca-cert /etc/pki/home/root_ca.crt \\ 802-1x.domain-match radius.home.example \\ 802-1x.client-cert /etc/pki/home/laptop1.crt \\ 802-1x.private-key /etc/pki/home/laptop1.key \\ 802-1x.private-key-password-flags not-required \\ 802-1x.phase1-auth-flags tls-1-3-enable Dla portu przewodowego to samo z type ethernet i bez SSID. Pułapką po stronie Apple jest maksymalna wersja TLS, domyślnie 1.2: profil, który jej nie ustawia, tworzy Maca, którego ta sieć odrzuci.\nIle kosztuje wyłącznie TLS 1.3 Uczciwą granicą tego buildu są urządzenia, które tego nie umieją. Kamera albo telewizor z wbudowanym suplikantem sprzed lat może obsługiwać EAP-TLS po 1.2 i nigdy po 1.3, a po twojej stronie nie ma ustawienia, które to naprawi. Wersja TLS jest uzgadniana, zanim FreeRADIUS zobaczy certyfikat, więc nie może zrobić wyjątku dla roli IoT.\nTestuj więc każde urządzenie, zanim je kupisz. Nie po. Skieruj je na FreeRADIUS z samym 1.3 i przeczytaj log: recv TLS 1.3 Handshake, ClientHello albo protocol version mówi wszystko, czego potrzebujesz. Urządzenie, które nie przejdzie, idzie na port przewodowy z MAB albo nie wchodzi do sieci wcale. Osłabianie całej sieci pod najgorszą rzecz, jaka w niej siedzi, to dokładnie to, od czego zaczęło się wspólne hasło.\nPełna konfiguracja, plik po pliku Wszystko powyżej jest przycięte do linijek, które pokazują daną rzecz. Tu jest całość. Każdy plik działał w labie, od pustego step-ca i zwykłego drzewa FreeRADIUS aż do laptopa w VLAN-ie 10, a kopie poniżej to te same pliki z adresami z labu zamienionymi na te z tabeli. Weź je jako jedno pobranie, eap-tls-configs.tar.gz, albo plik po pliku z linków.\nNazwa Adres Co to jest ca.home.example Tylko po nazwie step-ca, port 9000 radius.home.example 192.0.2.10 FreeRADIUS, RadSec na 2083 radsecproxy 192.0.2.11 radsecproxy, UDP na wejściu, RadSec na wyjściu switch1, ap1 192.0.2.21, 192.0.2.31 Sprzęt mówiący RadSec Sprzęt tylko z UDP od 192.0.2.32 do .63 Przez radsecproxy; linuksowy AP poniżej to ap2 na .33 Plik Gdzie trafia Jego zadanie step-ca/templates/device.tpl /home/step/templates/ w CA Rola do OU, tylko uwierzytelnianie klienta step-ca/templates/nas.tpl /home/step/templates/ w CA OU=nas, dla RadSec step-ca/setup.sh Uruchamiany raz w CA Dodaje provisionery network i nas step-ca/issue.sh Uruchamiany tam, gdzie step ufa CA Każdy certyfikat i przepis na odwołanie freeradius/install.sh Uruchamiany z freeradius/ Kładzie resztę na miejsce freeradius/mods-available/eap RADDB/mods-available/ EAP-TLS, TLS 1.3, sprawdzanie CRL freeradius/mods-available/device_vlan RADDB/mods-available/ Czyta listę urządzeń freeradius/mods-available/mab_vlan RADDB/mods-available/ Czyta listę MAB freeradius/mods-config/device_vlan/devices RADDB/mods-config/device_vlan/ Nazwa certyfikatu na VLAN freeradius/mods-config/device_vlan/mab RADDB/mods-config/device_vlan/ Adres MAC na VLAN freeradius/policy.d/vlan RADDB/policy.d/ Wybiera VLAN dla certyfikatu freeradius/policy.d/mab RADDB/policy.d/ Wybiera VLAN dla MAC-a, tylko 20 albo 99 freeradius/sites-available/default.patch Nakładany na RADDB Wywołuje obie polityki freeradius/sites-available/tls RADDB/sites-available/ Listener RadSec i jego klienci freeradius/nas-only.sh RADDB/ Wpuszcza tylko certyfikaty OU=nas freeradius/clients.conf RADDB/ UDP do testów na samej maszynie systemd/radius-crl-refresh /usr/local/sbin/ Pobiera i sprawdza CRL systemd/radius-crl-refresh.service /etc/systemd/system/ Uruchamia go systemd/radius-crl-refresh.timer /etc/systemd/system/ Co godzinę systemd/radius-cert-renew.service /etc/systemd/system/ Odnawia certyfikat serwera radsecproxy/radsecproxy.conf /etc/radsecproxy.conf UDP na wejściu, RadSec na wyjściu hostapd/hostapd-wired.conf /etc/hostapd/ Linuksowy port switcha 802.1X hostapd/hostapd-wifi.conf /etc/hostapd/ Linuksowy punkt dostępowy, jeden SSID clients/wpa_supplicant-wired.conf Urządzenie Logowanie przewodowe clients/wpa_supplicant-wifi.conf Urządzenie Logowanie przez WiFi clients/nmcli.sh Urządzenie To samo, przez NetworkManager FreeRADIUS mieszka w każdej dystrybucji gdzie indziej, a jego plikom jest to obojętne, bo każda ścieżka w nich jest budowana od katalogu konfiguracji. install.sh przyjmuje ten katalog jako RADDB. Uruchomiono go na wszystkich trzech poniżej i własne sprawdzenie konfiguracji FreeRADIUS, -XC, przeszło na każdym. Tylko oficjalny obraz przeszedł potem każdy test z tego wpisu; na dwóch pozostałych to sprawdzenie stanowi cały dowód, w kontenerze, więc SELinux na prawdziwej maszynie z Fedorą nie był jego częścią.\nOficjalny obraz Debian 13 Fedora FreeRADIUS 3.2.10 3.2.7 3.2.8 RADDB /etc/freeradius /etc/freeradius/3.0 /etc/raddb Działa jako freerad freerad radiusd Usługa Kontener freeradius radiusd Przetestowane Wszystko z tego wpisu install.sh i -XC install.sh i -XC Dwie jednostki systemd wskazują /etc/freeradius i usługę freeradius. Na Debianie albo Fedorze zmień oba zgodnie z tabelą. Nic więcej się nie przesuwa.\nstep-ca Szablon urządzenia to ten z sekcji Rola w certyfikacie, linijka w linijkę, z komentarzem na górze. Szablon nas to ten sam pomysł z ustaloną rolą:\nstep-ca/templates/nas.tpl\n{{- /* Certificates for switches, access points and radsecproxy, used for RadSec. OU=nas is what FreeRADIUS checks for; it maps to no VLAN, so a nas certificate cannot get a device on the network. */ -}} { \u0026#34;subject\u0026#34;: { \u0026#34;commonName\u0026#34;: {{ toJson .Subject.CommonName }}, \u0026#34;organizationalUnit\u0026#34;: \u0026#34;nas\u0026#34; }, \u0026#34;sans\u0026#34;: {{ toJson .SANs }}, \u0026#34;keyUsage\u0026#34;: [\u0026#34;digitalSignature\u0026#34;], \u0026#34;extKeyUsage\u0026#34;: [\u0026#34;clientAuth\u0026#34;], \u0026#34;crlDistributionPoints\u0026#34;: [\u0026#34;http://ca.home.example/1.0/crl\u0026#34;] } setup.sh dodaje oba provisionery. Uruchom go raz wewnątrz kontenera step-ca. Zapyta o hasło dla każdego, a blok CRL, który wypisze, trafia do ca.json ręcznie:\nstep-ca/setup.sh\n#!/bin/sh # Run inside the step-ca container, as the step user, once. # Adds the two provisioners this post uses. Each asks for a password for # its own key; keep both. set -e step ca provisioner add network --type JWK --create \\ --x509-max-dur 8760h --x509-default-dur 24h \\ --x509-template /home/step/templates/device.tpl step ca provisioner add nas --type JWK --create \\ --x509-max-dur 8760h --x509-default-dur 24h \\ --x509-template /home/step/templates/nas.tpl # Then add this block at the top level of /home/step/config/ca.json and # restart the container: # # \u0026#34;crl\u0026#34;: { # \u0026#34;enabled\u0026#34;: true, # \u0026#34;generateOnRevoke\u0026#34;: true, # \u0026#34;cacheDuration\u0026#34;: \u0026#34;24h\u0026#34;, # \u0026#34;idpURL\u0026#34;: \u0026#34;http://ca.home.example/1.0/crl\u0026#34; # } issue.sh tworzy każdy certyfikat z tego wpisu i trzyma przepis na odwołanie z sekcji o odwołaniach jako komentarz na dzień, w którym będzie potrzebny. Ten przepis też uruchomiono na tym CA, na laptop2 zrobionym specjalnie w tym celu:\nstep-ca/issue.sh\n#!/bin/sh # Issue the certificates. Run anywhere the step CLI trusts the CA. set -e # The RADIUS server: default 24 hours, renewed daily by radius-cert-renew.service. step ca certificate radius.home.example radius.crt radius.key --provisioner admin # Devices: a year each, the role decides the VLAN. step ca certificate laptop1 laptop1.crt laptop1.key --provisioner network --not-after 8760h --set role=staff step ca certificate cam1 cam1.crt cam1.key --provisioner network --not-after 8760h --set role=iot step ca certificate tv1 tv1.crt tv1.key --provisioner network --not-after 8760h --set role=media # Switches, APs and radsecproxy, for RadSec. step ca certificate switch1 switch1.crt switch1.key --provisioner nas --not-after 8760h step ca certificate ap1 ap1.crt ap1.key --provisioner nas --not-after 8760h step ca certificate radsecproxy radsecproxy.crt radsecproxy.key --provisioner nas --not-after 8760h # A lost device: revoke by serial, no key needed. # SERIAL=$(step certificate inspect laptop2.crt --format json | jq -r .serial_number) # TOKEN=$(step ca token \u0026#34;$SERIAL\u0026#34; --revoke --provisioner admin) # step ca revoke \u0026#34;$SERIAL\u0026#34; --token \u0026#34;$TOKEN\u0026#34; --reason \u0026#34;laptop lost\u0026#34; FreeRADIUS Uruchom install.sh z katalogu freeradius w pobranym archiwum. Kopiuje pliki, łata domyślną stronę i tworzy dowiązania. Nic więcej nie robi:\nfreeradius/install.sh\n#!/bin/sh # Puts these files into a stock FreeRADIUS 3.2 tree. Run from this # directory. RADDB is /etc/freeradius on the official image, # /etc/freeradius/3.0 on Debian and Ubuntu, /etc/raddb on Fedora. set -eu RADDB=${RADDB:-/etc/freeradius} cp mods-available/eap mods-available/device_vlan mods-available/mab_vlan \u0026#34;$RADDB/mods-available/\u0026#34; mkdir -p \u0026#34;$RADDB/mods-config/device_vlan\u0026#34; cp mods-config/device_vlan/devices mods-config/device_vlan/mab \u0026#34;$RADDB/mods-config/device_vlan/\u0026#34; cp policy.d/vlan policy.d/mab \u0026#34;$RADDB/policy.d/\u0026#34; cp sites-available/tls \u0026#34;$RADDB/sites-available/\u0026#34; cp clients.conf \u0026#34;$RADDB/\u0026#34; install -m 0755 nas-only.sh \u0026#34;$RADDB/nas-only.sh\u0026#34; patch -d \u0026#34;$RADDB\u0026#34; -p0 --forward \u0026lt; sites-available/default.patch for m in eap device_vlan mab_vlan; do ln -sfn ../mods-available/$m \u0026#34;$RADDB/mods-enabled/$m\u0026#34; done ln -sfn ../sites-available/tls \u0026#34;$RADDB/sites-enabled/tls\u0026#34; # The certificates go in $RADDB/certs/eaptls: radius.crt, radius.key, # and ca/ holding root_ca.crt, intermediate_ca.crt and the CRL. All of # it readable by the user FreeRADIUS runs as: freerad, or radiusd on # Fedora. mkdir -p \u0026#34;$RADDB/certs/eaptls/ca\u0026#34; Łatka to dwie linijki w zwykłej stronie domyślnej. Zrobiono ją na 3.2.10 i nakłada się na 3.2.7 i 3.2.8 z niczym gorszym niż przesunięcie:\nfreeradius/sites-available/default.patch\n--- sites-available/default +++ sites-available/default @@ -301,6 +301,9 @@ # Make *sure* that \u0026#39;preprocess\u0026#39; comes before any realm if you # need to setup hints for the remote radius server authorize { +\t# MAC Authentication Bypass, policy.d/mab. +\tmab + # # Take a User-Name, and perform some checks on it, for spaces and other # invalid characters. If the User-Name appears invalid, reject the @@ -810,6 +813,9 @@ # Once we KNOW that the user has been authenticated, there are # additional steps we can take. post-auth { +\t# The VLAN for a certificate login, policy.d/vlan. +\tvlan_by_certificate + # # If you need to have a State attribute, you can # add it here. e.g. for later CoA-Request with mods-available/eap zastępuje domyślny. W całości:\nfreeradius/mods-available/eap\n# EAP for 802.1X: EAP-TLS only, TLS 1.3 only, CRL checked on every login. # Replaces the stock mods-available/eap. mods-enabled/eap links to it. eap { default_eap_type = tls timer_expire = 60 ignore_unknown_eap_types = no max_sessions = ${max_requests} tls-config tls-common { # The server certificate followed by step-ca\u0026#39;s intermediate, # exactly as \u0026#34;step ca certificate\u0026#34; writes it. certificate_file = ${certdir}/eaptls/radius.crt private_key_file = ${certdir}/eaptls/radius.key # Root, intermediate and the intermediate\u0026#39;s CRL, hashed with # \u0026#34;openssl rehash\u0026#34;. radius-crl-refresh keeps the CRL current. ca_path = ${certdir}/eaptls/ca ca_file = ${certdir}/eaptls/ca/root_ca.crt check_crl = yes # A HUP does not reload a CRL. This does, at 300 s, the minimum. ca_path_reload_interval = 300 tls_min_version = \u0026#34;1.3\u0026#34; tls_max_version = \u0026#34;1.3\u0026#34; cipher_list = \u0026#34;DEFAULT\u0026#34; ecdh_curve = \u0026#34;\u0026#34; cache { enable = no } verify { } } tls { tls = tls-common } } policy.d/vlan to polityka z wcześniejszej części z opakowaniem if (\u0026amp;EAP-Message), o którym mówi sekcja o MAB:\nfreeradius/policy.d/vlan\n# Called first in post-auth. Picks the VLAN for a certificate login: # the per-device list first, then the role in the certificate\u0026#39;s OU. vlan_by_certificate { # Certificate logins only. MAB is decided in authorize. if (\u0026amp;EAP-Message) { # Only certificates made for this job: client auth, and a role. if (\u0026amp;TLS-Client-Cert-X509v3-Extended-Key-Usage-OID !~ /1\\.3\\.6\\.1\\.5\\.5\\.7\\.3\\.2/) { reject } # 1. The per-device list wins. device_vlan # 2. Otherwise the role in the certificate decides. if (!\u0026amp;reply:Tunnel-Private-Group-Id) { if (\u0026amp;TLS-Client-Cert-Subject =~ /\\/OU=([^\\/]+)/) { switch \u0026#34;%{1}\u0026#34; { case \u0026#34;staff\u0026#34; { update reply { \u0026amp;Tunnel-Private-Group-Id := \u0026#34;10\u0026#34; } } case \u0026#34;iot\u0026#34; { update reply { \u0026amp;Tunnel-Private-Group-Id := \u0026#34;20\u0026#34; } } case \u0026#34;media\u0026#34; { update reply { \u0026amp;Tunnel-Private-Group-Id := \u0026#34;30\u0026#34; } } case { reject } } } else { reject } } update reply { \u0026amp;Tunnel-Type := VLAN \u0026amp;Tunnel-Medium-Type := IEEE-802 } } } policy.d/mab to polityka z sekcji o MAB, a mods-available/device_vlan i nas-only.sh są takie, jak pokazano wcześniej, wszystkie trzy z dodanym komentarzem. Moduł listy MAB i obie listy:\nfreeradius/mods-available/mab_vlan\n# MAC Authentication Bypass: MAC address to VLAN, for kit with no # 802.1X client. The mab policy only accepts VLAN 20 or 99 from here. # mods-enabled/mab_vlan links to it. passwd mab_vlan { filename = ${modconfdir}/device_vlan/mab format = \u0026#34;*User-Name:=Tunnel-Private-Group-Id\u0026#34; delimiter = \u0026#34;,\u0026#34; } freeradius/mods-config/device_vlan/devices\n# Certificate CN,VLAN. Overrides the role in the certificate. # cam1 is quarantined while it is looked at. cam1,99 freeradius/mods-config/device_vlan/mab\n# MAC (12 hex digits, lowercase, no punctuation),VLAN. 20 or 99 only. aabbccddeeff,20 sites-available/tls zastępuje domyślny przykład RadSec. Katalog tymczasowy dla verify to ${run_dir}, który już istnieje i należy do użytkownika, jako który działa FreeRADIUS, więc nie trzeba niczego tworzyć:\nfreeradius/sites-available/tls\n# RadSec: RADIUS over TLS 1.3 on port 2083, for switches, access # points and radsecproxy. Replaces the stock sites-available/tls; # sites-enabled/tls links to it. Requests go to the default site. listen { ipaddr = * port = 2083 type = auth proto = tcp virtual_server = default clients = radsec limit { max_connections = 16 lifetime = 0 idle_timeout = 30 } tls { certificate_file = ${certdir}/eaptls/radius.crt private_key_file = ${certdir}/eaptls/radius.key ca_path = ${certdir}/eaptls/ca ca_file = ${certdir}/eaptls/ca/root_ca.crt require_client_cert = yes check_crl = yes ca_path_reload_interval = 300 # Only certificates from step-ca\u0026#39;s nas provisioner. verify { # Where FreeRADIUS writes the certificate for the script to read. tmpdir = ${run_dir} client = \u0026#34;${raddbdir}/nas-only.sh %{TLS-Client-Cert-Filename}\u0026#34; } tls_min_version = \u0026#34;1.3\u0026#34; tls_max_version = \u0026#34;1.3\u0026#34; cipher_list = \u0026#34;DEFAULT\u0026#34; ecdh_curve = \u0026#34;\u0026#34; cache { enable = no } } } # One entry per switch, AP and proxy, by management address. Over TLS # the secret does nothing, and FreeRADIUS requires it to be \u0026#34;radsec\u0026#34;. clients radsec { client switch1 { ipaddr = 192.0.2.21 proto = tls secret = radsec } client ap1 { ipaddr = 192.0.2.31 proto = tls secret = radsec } client radsecproxy { ipaddr = 192.0.2.11 proto = tls secret = radsec } } clients.conf zastępuje domyślny i wpuszcza eapol_test na samej maszynie, i nic poza tym. Switche i AP przychodzą przez RadSec albo przez proxy:\nfreeradius/clients.conf\n# UDP clients. Kit talks RadSec (sites-available/tls) or goes through # radsecproxy, so plain RADIUS is only for testing on this host with # eapol_test. Replaces the stock clients.conf. client localhost { ipaddr = 127.0.0.1 proto = * secret = CHANGE-ME-test-only require_message_authenticator = yes nas_type = other } Najpierw sprawdź konfigurację. Potem uruchom na pierwszym planie, z włączonymi wątkami, żeby RadSec działał:\nfreeradius -XC freeradius -fxx -l stdout Utrzymanie aktualności radius-crl-refresh pobiera CRL z przypiętym certyfikatem głównym i odrzuca taką, która nie jest podpisana przez certyfikat pośredni albo już jest przeterminowana, więc nieudane pobranie zostawia na miejscu starą listę. Nigdy nie zamienia dobrej listy na śmieci:\nsystemd/radius-crl-refresh\n#!/bin/sh # Fetch step-ca\u0026#39;s CRL over HTTPS with the root pinned, and put it where # FreeRADIUS reads it. FreeRADIUS picks it up within ca_path_reload_interval. # Installed as /usr/local/sbin/radius-crl-refresh. set -eu CA_URL=\u0026#34;${CA_URL:-https://ca.home.example:9000}\u0026#34; DIR=\u0026#34;${DIR:-/etc/freeradius/certs/eaptls/ca}\u0026#34; TMP=$(mktemp -d) trap \u0026#39;rm -rf \u0026#34;$TMP\u0026#34;\u0026#39; EXIT curl -fsS --cacert \u0026#34;$DIR/root_ca.crt\u0026#34; --tlsv1.3 -o \u0026#34;$TMP/crl.der\u0026#34; \u0026#34;$CA_URL/1.0/crl\u0026#34; openssl crl -inform DER -in \u0026#34;$TMP/crl.der\u0026#34; -out \u0026#34;$TMP/crl.pem\u0026#34; # Refuse a list that is not signed by our intermediate, or already stale. openssl crl -in \u0026#34;$TMP/crl.pem\u0026#34; -noout -CAfile \u0026#34;$DIR/intermediate_ca.crt\u0026#34; 2\u0026gt;\u0026amp;1 | grep -q \u0026#39;verify OK\u0026#39; next=$(date -d \u0026#34;$(openssl crl -in \u0026#34;$TMP/crl.pem\u0026#34; -noout -nextupdate | cut -d= -f2)\u0026#34; +%s) [ \u0026#34;$next\u0026#34; -gt \u0026#34;$(date +%s)\u0026#34; ] install -m 0644 \u0026#34;$TMP/crl.pem\u0026#34; \u0026#34;$DIR/intermediate.crl.pem.new\u0026#34; mv -f \u0026#34;$DIR/intermediate.crl.pem.new\u0026#34; \u0026#34;$DIR/intermediate.crl.pem\u0026#34; openssl rehash \u0026#34;$DIR\u0026#34; systemd/radius-crl-refresh.service\n[Unit] Description=Fetch step-ca\u0026#39;s CRL for FreeRADIUS Wants=network-online.target After=network-online.target [Service] Type=oneshot ExecStart=/usr/local/sbin/radius-crl-refresh systemd/radius-crl-refresh.timer\n[Unit] Description=Fetch step-ca\u0026#39;s CRL for FreeRADIUS every hour [Timer] OnBootSec=1min OnUnitActiveSec=1h RandomizedDelaySec=5min Persistent=true [Install] WantedBy=timers.target Certyfikat serwera żyje 24 godziny, więc odnawia się sam. Odnowienie tutaj zachowało klucz i uprawnienia obu plików, co ma znaczenie, bo FreeRADIUS czyta je jako freerad. Restartuje FreeRADIUS zamiast wysyłać HUP. Z tego samego powodu co przy CRL:\nsystemd/radius-cert-renew.service\n# Keeps FreeRADIUS\u0026#39;s 24-hour server certificate renewed, and restarts # FreeRADIUS on each renewal so it loads the new one. Once, as root: # step ca bootstrap --ca-url https://ca.home.example:9000 --fingerprint \u0026lt;root fingerprint\u0026gt; # chgrp freerad radius.key \u0026amp;\u0026amp; chmod 0640 radius.key # Renewal rewrites radius.crt and keeps the key and both files\u0026#39; modes. [Unit] Description=Renew FreeRADIUS\u0026#39;s server certificate from step-ca Wants=network-online.target After=network-online.target [Service] ExecStart=/usr/bin/step ca renew --daemon \\ --exec \u0026#34;systemctl restart freeradius\u0026#34; \\ /etc/freeradius/certs/eaptls/radius.crt /etc/freeradius/certs/eaptls/radius.key Restart=on-failure RestartSec=5min [Install] WantedBy=multi-user.target radsecproxy radsecproxy/radsecproxy.conf\n# radsecproxy beside switches and APs that only speak UDP RADIUS. # Takes UDP in on the management VLAN, sends RadSec over TLS 1.3 out. ListenUDP *:1812 LogLevel 3 LogDestination file:///var/log/radsecproxy.log tls stepca { CACertificateFile /etc/radsecproxy/root_ca.crt CertificateFile /etc/radsecproxy/radsecproxy.crt CertificateKeyFile /etc/radsecproxy/radsecproxy.key TlsVersion TLS1_3 } # The kit that only speaks UDP, from 192.0.2.32 to .63 on the management # VLAN. Netgear caps the secret at 16 alphanumeric characters, so use all # 16, random: # openssl rand -base64 32 | tr -dc \u0026#39;A-Za-z0-9\u0026#39; | head -c 16 client switches { host 192.0.2.32/27 type udp secret CHANGE-ME-16chars RequireMessageAuthenticator on } server freeradius { host radius.home.example port 2083 type tls tls stepca secret radsec certificateNameCheck on } realm * { server freeradius } hostapd Linuksowa maszyna w roli portu switcha, rozmawiająca po RadSec. To plik, na którym działał zasymulowany port:\nhostapd/hostapd-wired.conf\n# A Linux box as an 802.1X wired port, talking RadSec to FreeRADIUS. # Needs hostapd built with CONFIG_DRIVER_WIRED=y and CONFIG_RADIUS_TLS=y. interface=eth1 driver=wired ieee8021x=1 use_pae_group_addr=1 eap_reauth_period=3600 nas_identifier=switch1 auth_server_addr=192.0.2.10 auth_server_port=2083 auth_server_type=TLS auth_server_shared_secret=radsec auth_server_ca_cert=/etc/hostapd/root_ca.crt auth_server_client_cert=/etc/hostapd/switch1.crt auth_server_private_key=/etc/hostapd/switch1.key logger_syslog=-1 logger_syslog_level=2 I dla punktu dostępowego. Ten idzie przez radsecproxy po UDP, tak jak zrobiłby to AP Netgeara, i to plik, na którym działały zasymulowane radia:\nhostapd/hostapd-wifi.conf\n# A Linux access point: one WPA2/WPA3-Enterprise SSID, each client on the # VLAN RADIUS names. This one talks UDP to radsecproxy, like the Netgear # APs. For RadSec, build hostapd with CONFIG_RADIUS_TLS=y and use the # auth_server_* block from hostapd-wired.conf instead. interface=wlan0 driver=nl80211 ssid=Home country_code=GB hw_mode=g channel=6 ieee8021x=1 eapol_version=2 wpa=2 # WPA-EAP for WPA2-Enterprise; WPA-EAP-SHA256 with ieee80211w=2 for WPA3-Enterprise. wpa_key_mgmt=WPA-EAP WPA-EAP-SHA256 rsn_pairwise=CCMP ieee80211w=1 nas_identifier=ap2 own_ip_addr=192.0.2.33 auth_server_addr=192.0.2.11 auth_server_port=1812 auth_server_shared_secret=CHANGE-ME-16chars radius_require_message_authenticator=1 # 2 = required: no VLAN in the answer means no network. dynamic_vlan=2 vlan_naming=1 vlan_tagged_interface=eth0 vlan_bridge=brvlan ctrl_interface=/run/hostapd logger_syslog=-1 logger_syslog_level=2 Urządzenia nmcli.sh to polecenie z sekcji o urządzeniach i jego przewodowy bliźniak. Bez NetworkManagera wpa_supplicant przyjmuje takie pliki:\nclients/wpa_supplicant-wired.conf\n# Linux client, wired 802.1X. Run: wpa_supplicant -D wired -i eth0 -c this-file ctrl_interface=/run/wpa_supplicant ap_scan=0 network={ key_mgmt=IEEE8021X eapol_flags=0 eap=TLS phase1=\u0026#34;tls_disable_tlsv1_3=0\u0026#34; identity=\u0026#34;anonymous\u0026#34; ca_cert=\u0026#34;/etc/pki/home/root_ca.crt\u0026#34; domain_match=\u0026#34;radius.home.example\u0026#34; client_cert=\u0026#34;/etc/pki/home/laptop1.crt\u0026#34; private_key=\u0026#34;/etc/pki/home/laptop1.key\u0026#34; } clients/wpa_supplicant-wifi.conf\n# Linux client, WiFi, without NetworkManager. TLS 1.3, anonymous identity, # and the server name checked. ctrl_interface=/run/wpa_supplicant network={ ssid=\u0026#34;Home\u0026#34; key_mgmt=WPA-EAP WPA-EAP-SHA256 ieee80211w=1 eap=TLS phase1=\u0026#34;tls_disable_tlsv1_3=0\u0026#34; identity=\u0026#34;anonymous\u0026#34; ca_cert=\u0026#34;/etc/pki/home/root_ca.crt\u0026#34; domain_match=\u0026#34;radius.home.example\u0026#34; client_cert=\u0026#34;/etc/pki/home/laptop1.crt\u0026#34; private_key=\u0026#34;/etc/pki/home/laptop1.key\u0026#34; } Na czym przetestowano każdy plik Pliki Uruchomione na Wynik step-ca/ step-ca 0.30.2, nowe CA Wszystkie 7 certyfikatów wystawione z rolami; laptop2 wystawiony i odwołany według przepisu freeradius/ 3.2.10, zainstalowany przez install.sh laptop1 VLAN 10, cam1 99, tv1 30, certyfikat nas odrzucony; MAB aabbccddeeff VLAN 20, nieznany MAC odrzucony radius-crl-refresh step-ca po TLS 1.3 CRL zainstalowana i zahashowana; odwołany laptop odrzucony w ciągu pięciu minut, bez restartu radius-cert-renew.service step ca renew 0.30.2 Certyfikat odnowiony; klucz i uprawnienia nietknięte radsecproxy.conf radsecproxy 1.11.2 EAP-TLS przez niego zaakceptowany; MAB z Message-Authenticator VLAN 20, bez niego odrzucony hostapd-wired.conf hostapd 2.11, zbudowany z RadSec VLAN-y 10, 99 i 30 po TLS 1.3 hostapd-wifi.conf, wpa_supplicant-wifi.conf Zasymulowane radia, przez radsecproxy Trzy stacje w jednym SSID, VLAN-y 10, 99 i 30; plik klienta w tej postaci i stacja wyłącznie WPA3 dołączyły obie wpa_supplicant-wired.conf eapol_test 2.11 Te same odpowiedzi co w tabeli wyżej Jednostki systemd systemd-analyze verify Żadnej skargi poza tym, że oba programy nie są tu zainstalowane Co odcina wszystkich Każdy z tych przypadków trafił się albo został przetestowany przy budowaniu tego, z wyjątkiem brakującego VLAN-u na trunku, do którego pokazania potrzebny jest prawdziwy switch. Prawie wszystkie zawodzą w sposób zamknięty. To właściwy sposób zawodzenia, a i tak zły poranek.\nUsterka Co widzisz Poprawka CRL przeterminowana albo brakująca Każde urządzenie odrzucone; CRL has expired albo unable to get certificate CRL Pobieraj CRL z timera i monitoruj go Nowa CRL niepodchwycona Odwołane urządzenie dalej wchodzi ca_path_reload_interval = 300 albo restart FreeRADIUS Klient ma wyłączony TLS 1.3 protocol version, urządzenie odrzucone tls_disable_tlsv1_3=0, tls-1-3-enable albo klucze profilu Apple Pliki certyfikatów nieczytelne dla freerad FreeRADIUS nie startuje, Permission denied Udostępnij je do odczytu freerad, klucz tylko jemu Certyfikat bez roli Odrzucony przez politykę Wystaw ponownie przez provisioner network z --set role= VLAN-u nie ma na switchu ani na trunku AP Urządzenie się uwierzytelnia, nie dostaje adresu Utwórz VLAN i otaguj go na każdym trunku, do którego urządzenie może dotrzeć Zły wspólny sekret RADIUS Brak odpowiedzi; FreeRADIUS loguje invalid Message-Authenticator! (Shared secret is incorrect.), a switch ponawia, aż się podda Ten sam sekret w clients.conf i na switchu albo AP Urządzenie nie sprawdza nazwy serwera Nic. Działa, i działałoby też z oszustem Ustaw nazwę serwera na każdym urządzeniu Żądanie bez Message-Authenticator Po cichu odrzucone; switch ponawia i się poddaje Włącz go na switchu albo postaw przed nim radsecproxy Listener RadSec pod freeradius -X Threading must be enabled for TLS sockets freeradius -fxx -l stdout hostapd zbudowany bez RadSec unsupported RADIUS type 'TLS' Zbuduj z CONFIG_RADIUS_TLS=y albo użyj radsecproxy radsecproxy dostał adres serwera No subjectaltname matching address Użyj radius.home.example Dlaczego tego nie ma domyślnie w każdej sieci firmowej? Nic w tym wpisie nie jest nowe. EAP-TLS opublikowano w październiku 199937. Atrybuty VLAN przyszły we wrześniu 20033. Obaj producenci switchy z tego wpisu dokumentują dynamiczne VLAN-y we własnych instrukcjach, a CA, serwer RADIUS i proxy są open source i nic nie kosztują. Pójdź drogą komercyjną, a ta sama rzecz staje się pozycją na fakturze: Cisco umieszcza „RADIUS authentication, authorization, and accounting, including 802.1X, MAC authentication bypass” w poziomie Essentials ISE, licencjonowanym według „concurrent active endpoints”, gdzie punktem końcowym może być jedno z „printers, fax machines, or other types of network devices”38 w sieci. Tak czy inaczej ta możliwość leży w sprzęcie od ponad dwudziestu lat.\nDlaczego więc sieć firmowa w 2026 roku wciąż działa na haśle, które zna każdy?\nCzy mogę zapytać, dlaczego tylu adminów i MSP po prostu się tym nie przejmuje? Nie kto. Co pozwala, żeby to trwało. Uczciwe odpowiedzi są trzy, bo przypadki są trzy.\nNiektórzy nie wiedzą. I to jest uchybienie, a nie wymówka. Wiedza o tym, co potrafi twój własny switch, nie jest czymś, co ci się przydarza. Upewnienie się, że wiesz, to twoja robota, a instrukcja, która to mówi, jest do pobrania za darmo.\nNiektórzy wiedzą i zostawiają. Wspólne hasło działa. Nikt nie zakłada w tej sprawie zgłoszenia. Certyfikat na urządzenie to zestaw obowiązków, po których nie ma czym się pochwalić aż do dnia, w którym zginie laptop, i jako taki nigdy nie wygrywa miejsca na liście. Dla MSP rachunek jest jeszcze prostszy: płaska sieć z jednym hasłem jest tańsza w utrzymaniu, żadna umowa tego nie mierzy, a klient nigdy nie pyta. Seria o MSP pokazuje, dokąd prowadzą te zachęty, a to ten sam wzorzec na mniejszym rachunku. To ten przypadek jest celem pytania: admin, który ma switch, który to potrafi, doczytał aż tutaj i trzyma wspólny klucz, bo nikt mu nie każe się z tego tłumaczyć.\nNiektórzy naprawdę jeszcze nie mogą. Drukarka bez suplikanta, telewizor, który nie umie TLS 1.3, pudełko z oprogramowaniem biznesowym, którego producent nie zaktualizuje. To prawdziwe ograniczenie i odpowiedź brzmi: tak, da się tego bronić. MAB do odgrodzonego VLAN-u, powód zapisany, a obok data, kiedy to pudełko zniknie.\nUchybieniem nie jest mieć lukę. Każdy ma luki. Jest nim prowadzenie sieci firmowej nad luką, której nigdy nie poszedłeś zamknąć, na sprzęcie, który przyszedł z możliwością jej zamknięcia.\nKażdy kiedyś jechał na wspólnym haśle. Trzymanie go w sieci firmowej z wyboru to ta część, której nie da się obronić.\nDlaczego Cyber Essentials tego nie wymaga Bo nigdy nie miał. Cyber Essentials to wspierany przez rząd poziom bazowy, a „a growing number of organisations require suppliers to be certified to bid for work”39. Jest zbudowany przeciw „the most common internet based cyber security threats”39, a jego wymagania mówią wprost, gdzie się kończy. Sprzęt bezprzewodowy jest poza zakresem tam, gdzie atakujący nie dosięgnie go z internetu, bo „the Cyber Essentials scheme isn\u0026rsquo;t concerned with attacks that can only be launched within the signal range of the wireless device”40. Jego pięć kontroli to firewalle, bezpieczna konfiguracja, aktualizacje bezpieczeństwa, kontrola dostępu użytkowników i ochrona przed złośliwym oprogramowaniem40. Żadna z nich nie pyta, kto w ogóle może wejść do sieci. Najbliżej jest „change any default or guessable account passwords”40, a klucz WiFi wydrukowany na ladzie recepcji to nie konto.\nVLAN-y pojawiają się w nim raz. „Sub-set” organizacji, odseparowany „from the rest of the organisation by a firewall or VLAN”40, może być oceniany osobno. Jedyne miejsce, w którym program spotyka VLAN, to sposób na poprowadzenie granicy wokół mniejszej części sieci.\nNa jego własnych warunkach to uczciwe. To podłoga przeciw atakom z internetu i tak o sobie mówi. Kłopot w tym, co dzieje się z podłogą, gdy na ścianie zawiśnie certyfikat. Staje się celem, potem sufitem, a firma może go zdać z każdym urządzeniem w jednej płaskiej sieci za hasłem, które zna sprzątaczka. Każdy, kto przechodzi obok budynku z laptopem, jest w modelu zagrożeń, który się liczy, i poza tym, który oceniono.\nHasło to obietnica, której nikt nie dotrzymuje Uderzyło mnie przy budowaniu tego, jak mało z tego było trudne. Każda pułapka była gdzieś zapisana, w komentarzu konfiguracji albo w instrukcji producenta, i każda ustąpiła po popołudniu w labie.\nA dom wciąż działa na haśle do WiFi zapisanym na lodówce. Nie dlatego, że alternatywa jest trudna, tylko dlatego, że hasło jest domyślne, a domyślne nigdy nie musi się tłumaczyć. Wszyscy wiedzą, że jest wspólne. Wszyscy wiedzą, że wycieka. Nikt go nie zmienia, bo zmiana oznacza obejście każdego urządzenia w domu z nowym, więc zostaje takie samo latami, przez każdego gościa, każdego lokatora i każdy telefon, który trafił do recyklingu z hasłem wciąż zapisanym, i wpuszcza każdego, kto kiedykolwiek je miał.\nCertyfikat na urządzenie to inne wyobrażenie o tym, czemu sieć służy. Sieć powinna wiedzieć, czym coś jest, a nie tylko to, że ktoś kiedyś wpisał do niego właściwe słowo. To standard, którego trzymasz się, choć nikt nie sprawdza, i to jedyny rodzaj, który coś jest wart. Kamera nie siedzi obok laptopa tylko dlatego, że akurat była w tym samym SSID. Siedzi tam, gdzie ją postawiłeś, na sprzęcie, który jest twój, według reguły, którą napisałeś i możesz przeczytać. Gdy zaczyna wariować, przenosi się jedną linijką w pliku tekstowym. Gdy ginie, jedno polecenie ją odcina.\nCeną są obowiązki. CRL z timerem za plecami, certyfikaty z datą w kalendarzu, urządzenia testowane przed zakupem. Taki jest koszt i to jest właściwa kolejność: płacisz wysiłkiem, który widzisz, a nie hasłem, które od lat po cichu wpuszcza ludzi.\nRFC 3748 — Extensible Authentication Protocol (EAP) — EAP oraz role peera, authenticatora i serwera uwierzytelniania, między którymi działa.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 2868 — RADIUS Attributes for Tunnel Protocol Support — definiuje atrybuty tunelowe, które RFC 3580 wykorzystuje ponownie dla VLAN-ów.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 3580 — IEEE 802.1X RADIUS Usage Guidelines — sekcja 3.31, „Tunnel-Type=VLAN (13) Tunnel-Medium-Type=802 Tunnel-Private-Group-ID=VLANID” oraz „the VLANID integer value is encoded as a string”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nMicrosoft Security Advisory 2743314 — „An attacker who obtained the MS-CHAP v2 authentication traffic could then use the exploit code to decrypt a user\u0026rsquo;s credentials.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 5216 — The EAP-TLS Authentication Protocol — wzajemne uwierzytelnianie certyfikatami przez EAP.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 9190 — EAP-TLS 1.3 — „TLS 1.3 also encrypts certificates and some of the extensions. When using EAP-TLS with TLS 1.3, the use of privacy is mandatory and does not cause any additional round trips”; sekcja 2.1.7 zaleca anonimowe NAI w odpowiedzi z tożsamością.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nFreeRADIUS 3.2.10 — mods-available/eap — check_crl, check_all_crl „Check if intermediate CAs have been revoked”, allow_expired_crl oraz „most EAP supplicants WILL NOT DO TLS 1.3 PROPERLY”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nSmallstep — Certificate templates — dane użytkownika przekazane przez --set są dostępne w szablonie jako .Insecure.User; wartości zawsze opakowuj w toJson.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nFreeRADIUS 3.2.10 — dictionary.freeradius.internal — atrybuty TLS-Client-Cert-* czytane przez politykę, w tym TLS-Client-Cert-Subject i TLS-Client-Cert-X509v3-Extended-Key-Usage-OID.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nFreeRADIUS 3.2.10 — mods-available/passwd — „Attributes marked as «=» are added to reply_items instead of default configure_items”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nwpa_supplicant — wpa_supplicant.conf — „tls_disable_tlsv1_3=0 - enable TLSv1.3 (experimental - disabled by default)” oraz domain_match, „Constraint for server domain name”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 2548 — Microsoft Vendor-specific RADIUS Attributes — MS-MPPE-Send-Key i MS-MPPE-Recv-Key, szyfrowane jako „b(1) = MD5(S + R + A) c(1) = p(1) xor b(1)”, gdzie S to wspólny sekret.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nBlastRADIUS — CVE-2024-3596; zalecane zabezpieczenie to „to mandate that clients and servers always send and require Message-Authenticator attributes for all requests and responses”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 3579 — RADIUS Support For EAP — „the Message-Authenticator attribute MUST be used to protect all Access-Request, Access-Challenge, Access-Accept, and Access-Reject packets containing an EAP-Message attribute.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nFreeRADIUS 3.2.10 — radiusd.conf — require_message_authenticator i limit_proxy_state; ustawienie obu na „no” „will allow MITM attackers to create fake Access-Accept packets to the NAS!”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 6614 — TLS Encryption for RADIUS — RadSec, maj 2012, Experimental.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nIETF — RadSec: RADIUS over TLS and DTLS — zamierzony status Proposed Standard, zastępuje RFC 6614 i RFC 7360; stan IESG „Has enough positions to pass” przy sprawdzeniu 13 października 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nFreeRADIUS 3.2.10 — sites-available/tls — listener RadSec, require_client_cert, proto = tls oraz „TLS clients MUST have the shared secret set to «radsec»”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nhostapd 2.11 source — hostapd/defconfig: „Include support fo RADIUS/TLS into the RADIUS client”, #CONFIG_RADIUS_TLS=y.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nTP-Link — Omada Software Controller 6.1 release note — „Added support for RadSec (RADIUS over TLS) to secure SSID, MAC-Based, and 802.1X authentications on both APs and Switches”, z wymogiem najnowszego firmware\u0026rsquo;u AP i switchy.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nTP-Link Omada — 802.1X configuration — RADIUS Proxy: „It does not support the RadSec feature”; przy RadSec „it is recommended to disable Require Message-Authenticator”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNetgear — M4250 and M4350 CLI manual — radius server key: „The secret must be an alphanumeric value not exceeding 16 characters”; ani słowa o RadSec.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNetgear — WAX630 user manual — „Enter the number of the UDP port on the access point that is used to access the RADIUS server” oraz „By default, the password is sharedsecret.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nradsecproxy — „made to be able to deploy RadSec (RADIUS over TLS) so that all RADIUS communication across network links could be done using TLS, without modifying existing RADIUS software”. Przetestowane tutaj z wersją 1.11.2.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 9765 — RADIUS/1.1 — kwiecień 2025, Experimental: „the RADIUS shared secret is no longer used, and all MD5-based packet authentication and attribute obfuscation methods are removed.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nFreeRADIUS 3.2.10 — ChangeLog — RADIUS/1.1 jest „Disabled by default, can be enabled by passing --with-radiusv11 to the configure script. For now, this is for testing interoperability.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNetgear — M4250 user manual — VLAN Assignment Mode, „The default is Disable”; Dynamic VLAN Creation Mode; Authentication Order, „if a client tries 802.1X authentication (based on the user and client credentials) and authentication fails, the interface proceeds with MAB authentication.” Instrukcja M4350 ma ten sam tekst.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nTP-Link Omada — Dynamic VLAN with the VLAN Assignment function of RADIUS — switche: Authentication Type „Port Based”, „enable «VLAN Assignment»”, „make sure the 802.1X Control mode is Auto”; punkty dostępowe: „Enable VLAN Assignment for Wireless Network” w profilu RADIUS.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nTP-Link — Configuration guide for 802.1X VLAN assignment and MAB — „VLAN Assignment takes effect only when the control type is Port Based”; brakujące VLAN-y są tworzone automatycznie; MAB wysyła MAC jako „12 hexadecimal digits, all lowercase and no punctuation”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNetgear — GS710TUP user manual — kontrola portu MAC-based „allows multiple supplicants connected to the same port”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nhostapd — hostapd.conf — dynamiczny VLAN „parsed from following RADIUS attributes based on RFC 3580 and RFC 2868”; dynamic_vlan „2 = required; reject authentication if RADIUS server does not include VLAN ID”; vlan_tagged_interface i vlan_bridge. Odczytane z pakietu hostapd 2.11.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNetgear — WAX620 user manual — WPA3 Enterprise: „the encryption is automatically set to GCMP256”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nPixel Phone Help — Connect to Wi-Fi networks — „The «Do not validate» setting option used in EAP-PEAP, EAP-TLS and EAP-TTLS configurations has been removed for security reasons.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nApple — WiFi.EAPClientConfiguration — TLSTrustedServerNames, „If a server presents a certificate that isn\u0026rsquo;t in this list, the system doesn\u0026rsquo;t trust it”; TLSMaximumVersion domyślnie 1.2.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNetworkManager — 802-1x settings — domain-match: „Constraint for server domain name”, a także ca-cert, client-cert, private-key i phase1-auth-flags.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nAndroid Developers — WifiEnterpriseConfig — setDomainSuffixMatch; TLS_V1_3 „Added in API level 34”, a WifiManager.isTlsV13Supported() mówi „whether or not TLS v1.3 is supported”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 2716 — PPP EAP TLS Authentication Protocol — pierwotna specyfikacja EAP-TLS, październik 1999, zastąpiona później przez RFC 5216.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCisco — ISE licences — Essentials obejmuje „RADIUS authentication, authorization, and accounting, including 802.1X, MAC authentication bypass and easy connect”; „Concurrent active endpoints refer to the total number of supported users and devices… printers, fax machines, or other types of network devices.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNCSC — About Cyber Essentials — „A growing number of organisations require suppliers to be certified to bid for work”; chroni przed „the most common internet based cyber security threats”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNCSC — Cyber Essentials: Requirements for IT Infrastructure v3.3 — kwiecień 2026. Urządzenia bezprzewodowe są poza zakresem tam, gdzie nie da się ich zaatakować z internetu: „the Cyber Essentials scheme isn\u0026rsquo;t concerned with attacks that can only be launched within the signal range of the wireless device”; pięć kontroli technicznych; „change any default or guessable account passwords”; podzbiór „is part of the organisation whose network is segregated from the rest of the organisation by a firewall or VLAN”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\n","permalink":"https://blogs.damiendye.uk/pl/networking/eap-tls-one-ssid-every-device-on-its-vlan/","summary":"802.1X z certyfikatami (EAP-TLS) dla przewodowych portów switcha i jednego SSID WPA2/WPA3-Enterprise, w którym to serwer RADIUS decyduje, do którego VLAN-u trafia każde urządzenie. step-ca 0.30.2 wbija rolę w każdy certyfikat urządzenia i odmawia wystawienia certyfikatu bez niej; FreeRADIUS 3.2.10 tłumaczy tę rolę na VLAN, pozwala liście dla poszczególnych urządzeń ją nadpisać i działa wyłącznie na TLS 1.3. Dlaczego problemem jest wspólne hasło do WiFi, dlaczego certyfikaty i dlaczego TLS 1.3, pułapka z odwołaniami, w której FreeRADIUS ignoruje nową CRL po HUP, czemu zaufa urządzenie, które nie sprawdza nazwy serwera, ochrona samego ruchu RADIUS przez Message-Authenticator i RadSec na TLS 1.3, radsecproxy dla sprzętu, który mówi tylko po UDP, port przewodowy i sieć WiFi zasymulowane od końca do końca, ustawienia Netgear i TP-Link, ustawienia klientów Linux, Apple i Android, każdy plik konfiguracji w całości i do pobrania, oraz dlaczego tylu adminów i MSP wciąż się tym nie przejmuje, a Cyber Essentials nie każe im tego robić.","title":"Jeden SSID, każde urządzenie w swoim VLAN-ie: 802.1X z certyfikatami step-ca"},{"content":" Aktualizacja, 11 października 2026, 16:30: w międzyczasie wgrałem BIOS 1.30. Nie usuwa przesunięcia. tscsync dalej wyrównuje rdzenie, ale przy dwóch rozruchach z synchronizacją jądro i tak porzuciło TSC, tym razem przez watchdog źródła zegara, a nie przez test warpów: BIOS 1.30: synchronizacja trzyma, TSC i tak odpada. Po dodaniu tsc=nowatchdog TSC wytrzymał, a pięć minut pomiarów względem zegara czasu rzeczywistego nie wykazało ani warpów, ani dryfu: tsc=nowatchdog: pięć minut, zero warpów. Jeden rozruch to nie seria rozruchów, dlatego nazywam to stanem trzyma się, a nie naprawione.\nKażdy rozruch, to samo ostrzeżenie To siedziało w logu jądra mojego ThinkPada E595 przy każdym, ale to każdym rozruchu:\nTSC synchronization [CPU#0 -\u0026gt; CPU#2]: Measured 6601281288 cycles TSC warp between CPUs, turning off TSC clock. tsc: Marking TSC unstable due to check_tsc_sync_source failed clocksource: Switched to clocksource hpet Nic się nie wysypało. Nic nie wyskoczyło na pulpicie. Maszyna po cichu prowadziła cały swój zegar na wolniejszym układzie czasowym od chwili rozruchu i robiłaby to w nieskończoność, gdybym nie czytał journala w zupełnie innej sprawie.\nTime Stamp Counter (TSC) to licznik w każdym rdzeniu procesora, który tyka ze stałą częstotliwością. Odczyt to jedna instrukcja. Linux używa go jako głównego zegara, ale tylko wtedy, gdy wszystkie rdzenie zgadzają się co do stanu licznika1. Jeśli jeden rdzeń zostaje w tyle, jądro nie może mu ufać i przechodzi na High Precision Event Timer (HPET), osobne urządzenie czasowe. Autor tscsync zmierzył odczyt zegara na HPET na około 1,2 µs, wobec dziesiątek nanosekund na TSC, a jądro i pulpit czytają zegar dziesiątki tysięcy razy na sekundę1. To opóźnienie i bateria, płacone przy każdym rozruchu, za nic.\nIle więc ten rdzeń był w tyle? Ponad trzy sekundy. W laptopie z zegarem 2,1 GHz to 6,6 miliarda cykli.\nCo oddaje firmware Komunikat wymienia CPU 0 i CPU 2, ale winny nie jest CPU 2. W pomiarach tscsync z poziomu bootloadera i w pomiarach jądra po starcie obraz jest za każdym razem ten sam:\nRdzeń Przesunięcie względem CPU 0 Co to znaczy CPU 0, procesor rozruchowy (BSP) 0 punkt odniesienia, i ten, który odstaje CPU od 1 do 7, pozostałe rdzenie (AP) około +6,2 do +6,8 mld cykli zgadzają się między sobą co do 32 cykli Różnica przy 2096 MHz od 2,9 do 3,3 sekundy procesor rozruchowy jest w tyle, przy każdym rozruchu Siedem rdzeni się zgadza. Jeden spóźnia się o trzy sekundy. Firmware uruchamia procesor rozruchowy, wykonuje na nim swoją pracę i oddaje sterowanie bootloaderowi, ani razu nie wyrównując tego jednego licznika z resztą.\nTSC procesora rozruchowego przed tscsync i po nim Przed: tak, jak oddaje firmware Po: tscsync w trybie sync CPU 0 (BSP) CPU 1 CPU 2 CPU 3 CPU 4 CPU 5 CPU 6 CPU 7 CPU 0 (BSP) CPU 1 CPU 2 CPU 3 CPU 4 CPU 5 CPU 6 CPU 7 CPU 0 w tyle o ok. 6,8 mld cykli (3,25 s) CPU od 1 do 7 zgodne co do 32 cykli BSP przesunięty, każdy rdzeń w 45 cyklach Linux zachowuje TSC jako źródło zegara Po lewej: co oddaje firmware. Siedem procesorów aplikacyjnych zgadza się co do 32 cykli; procesor rozruchowy jest za nimi o około 6,8 mld cykli. Po prawej: gdy tscsync przesunie procesor rozruchowy do przodu w UEFI, każdy rdzeń mieści się w 45 cyklach i test warpów w jądrze przechodzi. Czemu Linux nie może po prostu tego naprawić? W procesorach Intela jest rejestr IA32_TSC_ADJUST, który pozwala jądru podkręcić licznik rdzenia, i kod synchronizacji w jądrze z niego korzysta, gdy jest dostępny2. Procesory AMD Zen go nie mają. Bez niego nic w Linuksie nie naprawi przesunięcia, a próbę bezpośredniego zapisu liczników z poziomu jądra (tsc=directsync) odrzucono upstream jako zawodną3.\nJądro robi więc jedyną uczciwą rzecz, jaka mu została. Mierzy, stwierdza, że między dwoma rdzeniami czas cofa się do tyłu, wypisuje ostrzeżenie i przestaje używać TSC2.\nCzterdzieści rozruchów, czterdzieści warpów Jeden rozruch to anegdota. Journal na tej maszynie sięga 30 maja 2026, więc go zapytałem.\nRozruchy Warp, cykle Warp przy 2096 MHz Od 30 maja do 11 października 2026 40 z 40 od 6,16 do 9,88 mld od 2,94 do 4,72 s Mediana 6,57 mld 3,14 s Po pełnym wyłączeniu na około 27 s 1 6,60 mld 3,15 s Z tscsync w trybie sync, BIOS 1.28 1 brak w logu TSC zachowany BIOS 1.30, tscsync wyłączony 1 6,13 mld 2,92 s BIOS 1.30, tscsync w trybie sync 2 brak w logu TSC porzucony przez watchdog, patrz niżej BIOS 1.30, tryb sync i tsc=nowatchdog 1 brak w logu TSC zachowany Każdy rozruch. Zimny start, restart, po wyłączeniu na tyle długim, że wszystko, co nieaktualne, powinno zniknąć. Wartość trochę się waha, co pasuje do ustaleń autora tscsync na Lenovo Legion: tam warp rośnie niemal idealnie proporcjonalnie do czasu, jaki maszyna spędza w firmware przed startem bootloadera3. Rozruch, który dłużej wisi na logo, wychodzi bardziej w tyle.\nKusząca poprawka to tsc=reliable w wierszu poleceń jądra, które każe Linuksowi przestać sprawdzać. Nie rób tego. Rdzenie naprawdę dzielą trzy sekundy, a wyłączenie testu niczego tu nie zmienia; pozwala tylko jądru używać zegara, który skacze do tyłu, gdy zadanie przeniesie się na inny rdzeń. README tscsync mówi to samo i wymienia zacinanie się dźwięku i obrazu, które z tego wynika1.\nMogę zapytać, czemu to dalej wychodzi na rynek? Nie pytam kto. Pytam, co w procesie Lenovo pozwoliło wypuścić BIOS, który przy każdym rozruchu zostawia jeden rdzeń trzy sekundy w tyle.\nOdpowiedź jest w notatkach projektowych tscsync i nie jest pochlebna. Fisher-Price OS (Windows) sam zapisuje liczniki TSC przy rozruchu3. Laptop testowany tylko na nim przechodzi, bo system operacyjny po cichu sprząta po firmware. Linux trzyma swój test bezpieczeństwa włączony i zgłasza to, co dostał, i właśnie dlatego usterka wychodzi tam, a nigdzie indziej.\nNiezręczne jest to, że podobno już to raz naprawiono. Użytkownicy zgłaszają, że Lenovo usunęło ten sam rodzaj błędu aktualizacją BIOS-u w ThinkPadach A485, T14s Gen 1 AMD i E4954. E495 to 14-calowy brat tej maszyny i oba mają jeden BIOS: plik readme Lenovo do tej paczki wymienia oba modele5.\nMój E595 miał wersję 1.28 i miał warp przy każdym rozruchu. Lenovo wydało od tamtej pory 1.29 i 1.30 i żadna lista zmian nie wspomina słowem o TSC; 1.30 naprawia „system randomly freeze since BIOS V1.27” i kilka problemów bezpieczeństwa5. Wgrałem więc 1.30 i zmierzyłem jeszcze raz. Pierwszy rozruch na nim, z wyłączonym tscsync, zapisał warp na 6 126 446 316 cykli: 2,92 sekundy, CPU#0 -\u0026gt; CPU#2, jak zawsze. 1.30 tego nie naprawia. Oba modele mają jeden BIOS, więc gdyby zgłoszenie o E495 było prawdziwe, ta maszyna też byłaby naprawiona. Zgłoszenie nie podaje wersji BIOS-u i nie linkuje żadnych logów4.\nCzy Lenovo wróci do laptopa z 2019 roku z usterką, którą system, na którym testują, przed nimi ukrywa? Nie.\ntscsync, najpierw pomiar tscsync to mały program UEFI, uruchamiany z GRUB-a albo systemd-boot tuż przed Linuksem. Prosi każdy rdzeń o jego TSC przez własne usługi wieloprocesorowe firmware, wylicza przesunięcie każdego rdzenia względem procesora rozruchowego, przesuwa opóźnione liczniki do przodu, aż się zgodzą, a potem sprawdza wynik testem wzorowanym na teście warpów z jądra1. Nigdy nie zapisuje flasha, NVRAM ani ustawień firmware; liczniki, które zmienia, zerują się po wyłączeniu zasilania1.\nTo sporo, by oddać to bootloaderowi, dlatego najpierw przeczytałem kod, w commicie 230eaa9, zanim go zbudowałem. Instalację zrobiłem potem tak, jak prosi projekt:\nKrok Polecenie Co wróciło Budowanie make pliki binarne dla GRUB-a i systemd-boot Instalacja, tylko odczyt sudo scripts/install.sh tryb pomiaru, nic nie zapisane do liczników Wyłączenie, rozruch, sprawdzenie tscsync-status CPU 0 2964 ms za wszystkimi 7 AP, AP zgodne co do mikrosekund Włączenie sudo scripts/set-mode.sh sync działa od następnego rozruchu Tryb pomiaru to ta część, którą warto skopiować do każdego takiego narzędzia. Pokazuje usterkę na twoim własnym sprzęcie, zanim dostanie zgodę na zmianę czegokolwiek, a zabezpieczenie przed zawieszeniem wyłącza go, jeśli rozruch nigdy nie dojdzie do Linuksa1.\nPierwszy rozruch w trybie sync, prosto z tscsync-status:\nsurvey (read-only): cpu 1 apic 1: offset 6815086011 rtt 126 BAD ... cpu 7 apic 7: offset 6815086010 rtt 378 BAD 0 ok, 7 not ok moving BSP forward by ~6815086010 cycles to match cpu 7: bsp vs cpu 7 apic 0: before 6815086001 after 3 rtt 357 iter 3 warps bsp/ap 0/0 OK AP pass (corrects any AP still off): 7 ok, 0 not ok total 121 ms I jądro, sekundę później:\nclocksource: Switched to clocksource tsc-early tsc: Refined TSC clocksource calibration: 2096.066 MHz clocksource: Switched to clocksource tsc Żadnej linii o warpie. Żadnego „unstable”. /sys/devices/system/clocksource/clocksource0/current_clocksource pokazuje tsc. 121 ms czasu rozruchu za zegar, który sprzęt miał mieć od początku. To było na BIOS-ie 1.28. Z 1.30 nie poszło już tak gładko.\n21 nanosekund, które Linux przegłosował W tym raporcie jest jedna linia, która wygląda gorzej, niż jest, i warto ją wyjaśnić, zamiast chować. Końcowa weryfikacja tscsync oznaczyła jeden rdzeń:\ncpu 7 apic 7: offset 45 rtt 357 warps bsp/ap 0/0 BAD 6 ok, 1 not ok RESULT: some APs out of sync (Linux will fall back to HPET) 45 cykli to około 21 nanosekund. tscsync celuje w zgodność w granicach mniej więcej 10 cykli1, więc według jego własnego celu CPU 7 nie trafił i program to powiedział. Potem Linux wystartował i wcale nie przeszedł na HPET.\nOba testy zadają różne pytania:\nWerdykt tscsync o przesunięciu Test warpów w jądrze Pytanie jak daleko od siebie są liczniki? czy czas kiedykolwiek cofa się między rdzeniami? Metoda szacunek z mierzonej podróży w obie strony rdzenie czytają na zmianę i porównują z ostatnim odczytem2 Próg około 10 cykli żaden odczyt niższy niż poprzedni CPU 7 przy tym rozruchu 45 cykli, BAD brak warpu, TSC zachowany warps bsp/ap 0/0 w tej samej linii to tscsync wykonujący test w stylu jądra. Nie zobaczył żadnego. Jądro też nie.\nProjekt wie już, że jego werdykt bywa surowszy niż werdykt jądra. IdeaPad z jego listy sprzętu miał cztery rdzenie oznaczone przy 28 do 42 cyklach, które jądro przyjęło, a od wersji 2.1 wolna podróż w obie strony jest zgłaszana jako UNSURE, a nie BAD4. Reguła z README na taki przypadek jest słuszna: decyduje test jądra, a jeśli źródłem zegara jest tsc, test przeszedł1. Podróż w obie strony na 357 cykli nie jest na tej maszynie wolna, więc wyszło BAD. Narzędzie, które pokazuje swoje obliczenia, a potem oddaje ostatnie słowo jądru, działa we właściwej kolejności.\nBIOS 1.30: synchronizacja trzyma, TSC i tak odpada Na 1.30 przełączyłem tscsync z powrotem w tryb sync i zrestartowałem dwa razy. Za każdym razem zrobił swoje. Przesunął procesor rozruchowy do przodu o około 6,17 mld cykli, każdy rdzeń wyszedł w granicach kilkudziesięciu cykli, a jądro nie zapisało żadnego warpu. Za każdym razem Linux i tak kilka sekund później wylądował na HPET:\ntsc: Detected 2095.890 MHz processor tsc: Refined TSC clocksource calibration: 2096.053 MHz clocksource: Watchdog remote CPU 5 read timed out clocksource: Marking clocksource tsc unstable due to frequency skew clocksource: Watchdog hpet interval: 495136113ns clocksource: Clocksource tsc interval: 496026671ns tsc: Marking TSC unstable due to clocksource watchdog To inny test. Test warpów działa, gdy każdy rdzeń się uruchamia, i pyta, czy czas kiedykolwiek cofa się między rdzeniami. Watchdog źródła zegara działa dalej po rozruchu. Mniej więcej co pół sekundy porównuje, o ile przesunął się TSC, a o ile HPET, i jeśli różnią się bardziej niż o mały margines, oznacza TSC jako niestabilny6. Raz oznaczony, zostaje taki do następnego rozruchu.\nDwa testy jądra i która opcja rozruchu pomija który Firmware CPU 0 ~3 s w tyle tscsync, w UEFI przesuwa CPU 0 Linux startuje rdzenie wstają Test warpów raz, przy rozruchu Watchdog co 0,5 s wobec HPET Domyślnie oba: TSC porzucony na 1.30 ✓\u0026#160;sprawdza ✓\u0026#160;sprawdza tsc=nowatchdog ten rozruch: TSC zachowany ✓\u0026#160;sprawdza ✗\u0026#160;pomija tsc=reliable odradzane: ukrywa prawdziwy warp ✗\u0026#160;pomija ✗\u0026#160;pomija TSC mogą odrzucić dwa osobne testy. Test warpów działa raz, gdy każdy rdzeń się uruchamia; to tscsync przeprowadza tę maszynę przez niego. Watchdog porównuje z HPET co pół sekundy. tsc=nowatchdog pomija tylko drugi, a tsc=reliable pomija oba i ukryłby prawdziwy warp. Rozruch na 1.30 Test warpów Interwał HPET Interwał TSC TSC względem HPET Pierwszy rozruch z sync zaliczony 495 426 793 ns 495 006 210 ns około 850 ppm za wolno Drugi rozruch z sync zaliczony 495 136 113 ns 496 026 671 ns około 1800 ppm za szybko Czy więc TSC chodzi ze złą częstotliwością? Nie. Na działającej maszynie mierzyłem TSC względem opartego na HPET surowego zegara jądra przez 30 sekund w oknach po 5 sekund. Każde okno dało 2096,062 MHz, około 4 części na milion od własnej kalibracji jądra. Prawdziwy błąd częstotliwości nie przeskakuje z za wolnego na za szybki między dwoma rozruchami, by potem zniknąć. Coś zaburza jedno półsekundowe okno na początku rozruchu, a linia remote CPU 5 read timed out tuż przed tym wskazuje na rdzeń, który na chwilę nie odpowiada. Pasowałoby to do firmware, które podkrada procesorom czas. Nie udowodniłem tego.\nDwa rozruchy to cały materiał dowodowy. Nie umiem jeszcze powiedzieć, czy to 1.30, przypadek, czy coś, co wyzwala zapis tscsync. Jedyny rozruch z sync na 1.28 zachował TSC, a dwa na 1.30 go straciły, i to za mało, żeby winić BIOS.\nNa ten przypadek jądro ma węższą opcję niż tsc=reliable. tsc=nowatchdog wyłącza watchdog źródła zegara dla TSC, a test warpów przy rozruchu zostawia w spokoju7. Gdyby tscsync kiedyś nie zdołał zsynchronizować rdzeni, jądro i tak złapie warp i przejdzie na HPET. To był następny test. Liczby i kilka proponowanych zmian w raportowaniu samego tscsync są w systemie zgłoszeń projektu8.\ntsc=nowatchdog: pięć minut, zero warpów Dodałem tsc=nowatchdog i zrestartowałem. tscsync przesunął procesor rozruchowy do przodu o 6 207 104 421 cykli, jądro nie zapisało ani warpu, ani rozjazdu częstotliwości, a current_clocksource pokazywał tsc. Pierwszy rozruch na 1.30, który go zachował.\nTo dowodzi tylko, że TSC porzucał watchdog. Nie dowodzi, że na TSC można bezpiecznie pracować, a z wyłączonym watchdogiem nic w jądrze już tego nie pilnuje. Pilnowałem więc sam.\nMój wcześniejszy test częstotliwości był tu bezużyteczny. Mierzył TSC względem CLOCK_MONOTONIC_RAW, co było w porządku, póki jądro chodziło na HPET. Na TSC ten zegar jest zbudowany z TSC, więc test porównywałby licznik z nim samym. HPET-u nie da się też czytać z przestrzeni użytkownika, bo jądro Fedory jest zbudowane bez CONFIG_HPET_MMAP. Zegar czasu rzeczywistego (RTC) da się. Chodzi na własnym krysztale, a jądro budzi program przy każdym tyknięciu jego licznika sekund9.\nNapisałem więc mały test, tsccheck. Przypina się do CPU 0 i co 15 sekund wykonuje cztery sprawdzenia:\nSprawdzenie Jak Jak wygląda usterka Częstotliwość cykle TSC liczone między tyknięciami sekund RTC MHz dryfujące w jedną stronę Przesunięcie 3000 podróży w obie strony z CPU 0 do każdego rdzenia, przesunięcie z najszybszej przesunięcie, które rośnie Warpy czy w którejś podróży rdzeń odczytał mniej niż wartość już widziana cokolwiek powyżej zera Źródło zegara odczyt current_clocksource cokolwiek innego niż tsc Sednem jest podróż w obie strony. CPU 0 czyta swój licznik i przekazuje go dalej, drugi rdzeń czyta swój i odsyła, a CPU 0 czyta jeszcze raz. Jeśli rdzenie się zgadzają, środkowy odczyt musi wypaść między dwoma pozostałymi:\nJedna podróż w obie strony między CPU 0 a innym rdzeniem CPU 0 CPU od 1 do 7, po kolei czas t0 t1 t2 środek przesunięcie przesunięcie = t1 − (t0 + t2) / 2 z najszybszej z 3000 podróży warp, gdy t1 \u0026lt; t0 lub t2 \u0026lt; t1 czas cofnął się: każdy to usterka Jedna podróż w obie strony. Odczyt drugiego rdzenia, t1, porównuje się ze środkiem dwóch odczytów CPU 0, a najszybsza z 3000 podróży daje przesunięcie. Każdy odczyt niższy niż już widziany to warp, niezależnie od przesunięcia. Pętla, która to robi:\nfor (int i = 0; i \u0026lt; ITERS; i++) { uint64_t t0 = rdtsc_o(); /* CPU 0 */ atomic_store(\u0026amp;pp.t0, t0); atomic_store(\u0026amp;pp.seq, 2 * i + 1); /* the other core reads t1 now */ while (atomic_load(\u0026amp;pp.seq) != 2 * i + 2) ; uint64_t t2 = rdtsc_o(); /* CPU 0 again */ uint64_t t1 = atomic_load(\u0026amp;pp.t1); if (t1 \u0026lt; t0 || t2 \u0026lt; t1) r.warps++; /* time went backwards */ if (i \u0026gt; 100 \u0026amp;\u0026amp; t2 - t0 \u0026lt; r.rtt) { r.rtt = t2 - t0; r.offset = (int64_t)(t1 - (t0 + (t2 - t0) / 2)); } } Cały program to zwykłe C dla Linuksa na x86-64, bez niczego związanego z tscsync czy tym laptopem. Potrzebuje roota do /dev/rtc0, a trzeci argument to wartość z twojego własnego jądra, z journalctl -k -b | grep 'Refined TSC':\ngcc -O2 -Wall -pthread -o tsccheck tsccheck.c sudo ./tsccheck 15 20 2096.073 \u0026#8615; tsccheck.c, cały test w 161 liniach tsccheck.c · 4 kB SHA-256 02eba1966a0097196acd5dfdcad9c4b315cafc1854c60f34c5b56080e6c38408.\nDwadzieścia próbek w ciągu pięciu minut, zaraz po rozruchu:\nMiara Wynik Źródło zegara tsc we wszystkich 20 próbkach, brak komunikatów jądra Warpy 0 na około 420 000 podróży w obie strony Największe przesunięcie względem CPU 0 85 cykli, około 41 ns, bez trendu Częstotliwość dla całego przebiegu 2096,027 MHz, w przedziale od 2096,022 do 2096,031 od pierwszej minuty Częstotliwość w 15-sekundowym oknie od 2095,943 do 2096,104 MHz Częstotliwość TSC w 15-sekundowym oknie i dla całego przebiegu +20 ppm 0 ppm -20 ppm -40 ppm -60 ppm 0 s 60 s 120 s 180 s 240 s 300 s wartość jądra, 2096,073 MHz 15 s: okno -11,3 ppm, cały przebieg -11,3 ppm 30 s: okno -61,1 ppm, cały przebieg -36,2 ppm 45 s: okno -23,5 ppm, cały przebieg -32,0 ppm 60 s: okno +15,0 ppm, cały przebieg -20,2 ppm 75 s: okno -21,6 ppm, cały przebieg -20,5 ppm 90 s: okno -21,8 ppm, cały przebieg -20,7 ppm 105 s: okno -19,6 ppm, cały przebieg -20,6 ppm 120 s: okno -50,5 ppm, cały przebieg -24,3 ppm 135 s: okno +5,8 ppm, cały przebieg -20,9 ppm 150 s: okno -20,3 ppm, cały przebieg -20,9 ppm 165 s: okno -23,6 ppm, cały przebieg -21,1 ppm 180 s: okno -13,7 ppm, cały przebieg -20,5 ppm 195 s: okno -29,5 ppm, cały przebieg -21,2 ppm 210 s: okno -22,3 ppm, cały przebieg -21,3 ppm 225 s: okno -20,0 ppm, cały przebieg -21,2 ppm 240 s: okno -24,7 ppm, cały przebieg -21,4 ppm 255 s: okno -19,1 ppm, cały przebieg -21,3 ppm 270 s: okno -22,2 ppm, cały przebieg -21,3 ppm 285 s: okno -62,0 ppm, cały przebieg -23,5 ppm 300 s: okno +9,2 ppm, cały przebieg -21,9 ppm jedno okno 15 s, 61 ppm za wolno cały przebieg do tej pory okno 15-sekundowe cały przebieg do tej pory Częstotliwość względem RTC, w częściach na milion od wartości jądra. Pojedyncze okna skaczą parami; wartość dla całego przebiegu wypłaszcza się na 21 do 22 ppm za wolno w ciągu pierwszej minuty i tak zostaje. Okna wyglądają gorzej, niż jest. Spóźnione tyknięcie RTC robi jedno okno dłuższym, a następne krótszym, więc błędy przychodzą parami, które się znoszą: 61 części na milion (ppm) za wolno po 30 sekundach, 15 ppm za szybko po 60. Dryf sam się nie znosi. Wartość dla całego przebiegu prawie się nie ruszyła.\nWartość dla całego przebiegu przez pełne pięć minut leży 22 ppm poniżej 2096,073 MHz podanych przez jądro. To różnica między dwoma kryształami i stała w miejscu. chrony, sterujący zegarem według internetowych serwerów czasu, miał go 16 do 19 ppm za wolno10. Ten sam kierunek, ta sama skala.\nPrzesunięcia skaczą między tymi samymi kilkoma wartościami, 10, 21 i 33 cykle w jedną i drugą stronę, i żaden rdzeń nie odjeżdża. To szum z podróży w obie strony trwającej około 550 cykli. Weryfikacja tscsync nazwałaby część z nich BAD. Jądro nie.\nCzy TSC wytrzymał? Tak, według każdej miary, jaką miałem. Pięć minut po jednym rozruchu to wciąż nie seria rozruchów. Następny będzie ten sam test po długim czasie pracy i znowu po kilku kolejnych restartach.\nPoprawka należy do firmware tscsync nie powinien musieć istnieć. Jego własne README tak mówi: producenci firmware mogą wziąć to podejście i kod, „which is where this should be fixed”1. Lenovo ma kod źródłowy. Autor tscsync miał tylko to, co powiedział mu jego laptop, i 80 rozruchów logów1.\nTo właśnie zostaje w głowie. Poprawka wymagała obcej osoby spoza firmy, która to zmierzyła, zdiagnozowała i obeszła, podczas gdy firma, która sprzedała sprzęt, testowała go na jedynym systemie, który usterkę ukrywa. Maszyna, której nie możesz naprawić, bo jej firmware jest zamknięte, nie jest tak naprawdę twoja, jest wypożyczona na warunkach. Otwarte firmware z podpisanymi aktualizacjami pozwoliłoby naprawić to raz, porządnie, każdemu, komu chciałoby się zajrzeć.\nA tymczasem dobra robota autora tscsync. Najpierw tryb pomiaru, zabezpieczenie przed zawieszeniem, liczby na widoku i uczciwy werdykt, nawet gdy nie zgadza się z jądrem. Tak powinno się budować niskopoziomowe narzędzia.\nKażdy host KVM z tym samym firmware Na laptopie kosztuje to trochę opóźnienia i trochę baterii. Na hiperwizorze płaci też każdy gość, a nic z poniższego nie wynika z Proxmoxa. Wszystko siedzi w kodzie KVM w jądrze Linuksa, więc jest tak samo na każdym hoście zbudowanym na KVM, cokolwiek na nim stoi: Proxmox VE, oVirt, OpenStack albo zwykłe QEMU z libvirt11.\nCo robi KVM, gdy host traci TSC KVM daje gościom stabilny zegar tylko wtedy, gdy sam host chodzi na TSC. W kodzie jądra master clock, jedno wspólne odniesienie czasu dla wszystkich vCPU w maszynie wirtualnej, jest włączany tylko wtedy, gdy host_tsc_clocksource ma wartość true12. Spadnij na HPET, a się wyłącza, i naraz zmienia się kilka rzeczy:\nHost na TSC Host na HPET, TSC oznaczony jako niestabilny Master clock KVM12 włączony wyłączony vCPU przenosi się na inny rdzeń12 nic do aktualizacji wymuszona aktualizacja zegara na każdym vCPU tej VM, do 10 na sekundę Przesunięcie TSC gościa12 nieruszane przepisywane przy każdym przeniesieniu i wprowadzane w tryb nadrabiania PVCLOCK_TSC_STABLE_BIT dla gości12 ustawiony nieustawiony clock_gettime() w gościu13 odczyt w przestrzeni użytkownika wywołanie systemowe, rozstrzygane raz, przy rozruchu gościa Odczyty zegara w gościu między vCPU14 niezależne każdy odczyt sprawdzany względem jednej wspólnej wartości globalnej Ostatni wiersz to ten, który źle się skaluje. Bez bitu stabilności jądro gościa nie może ufać, że zegary poszczególnych vCPU zgadzają się ze sobą, więc każdy odczyt porównuje się z „last_value, a global accumulator” i podmienia atomowym compare-and-exchange, jeśli jest nowszy14. Każdy vCPU gościa pisze do tej jednej wartości. Im więcej vCPU czyta zegar, tym dłużej stoją do niej w kolejce.\nNic z tego nie wychodzi jako błąd. Źródłem zegara w gościu nadal jest kvm-clock i nic w gościu nie powie ci, czemu zwolnił.\nJak źródło zegara hosta dociera do gościa KVM Host na TSC Źródło zegara hosta: tsc odczyt to jedna instrukcja master clock KVM włączony bit stabilności dla gości Gość czyta w przestrzeni użytk. vDSO, około 28 ns Host na HPET Źródło zegara hosta: hpet podróż do urządzenia czasowego master clock KVM wyłączony brak bitu, aktualizacje przy każdym ruchu vCPU Gość robi wywołanie systemowe jedna wspólna wartość, ok. 190 ns Ten sam kod jądra w Proxmox VE, oVirt, OpenStack i w zwykłym QEMU z libvirt Źródło zegara hosta decyduje, co dostaje każdy gość. Na TSC goście czytają zegar w przestrzeni użytkownika. Na HPET KVM porzuca master clock, każde przeniesienie vCPU wymusza aktualizacje zegara, a każdy odczyt zegara w gościu staje się wywołaniem systemowym sprawdzanym względem jednej wartości wspólnej dla wszystkich vCPU. Ile to kosztuje, zmierzone Zmierzyłem to na tym laptopie, zamiast zostawić jako teorię. Źródło zegara hosta da się przełączyć w locie, co wyłącza master clock KVM tak samo jak awaryjny powrót przy rozruchu. Jednorazowy gość wystartował na jądrze hosta z 4 vCPU i malutkim initramfs, którego jedyny program mierzy czas clock_gettime(). Po dwa przebiegi w każdym wariancie, najpierw host, potem gość:\nNanosekundy na odczyt zegara, host na TSC kontra host na HPET Host skala od 0 do 2400 ns Host, 1 wątek, host na TSC: 24 ns 24 ns Host, 1 wątek, host na HPET: 1542 ns 1542 ns 1 wątek Host, wszystkie 8 rdzeni, host na TSC: 29 ns 29 ns Host, wszystkie 8 rdzeni, host na HPET: 1922 ns 1922 ns wszystkie 8 rdzeni Gość, 4 vCPU skala od 0 do 300 ns Gość, 4 vCPU, 1 vCPU, host na TSC: 28 ns 28 ns Gość, 4 vCPU, 1 vCPU, host na HPET: 187 ns 187 ns 1 vCPU Gość, 4 vCPU, wszystkie 4 vCPU, host na TSC: 31 ns 31 ns Gość, 4 vCPU, wszystkie 4 vCPU, host na HPET: 244 ns 244 ns wszystkie 4 vCPU źródło zegara hosta tsc źródło zegara hosta hpet Nanosekundy na wywołanie clock_gettime(), średnia z dwóch przebiegów w każdym wariancie. Host na HPET zwalnia od 61 do 73 razy; gość około 7 razy z jednym vCPU i 8 razy ze wszystkimi czterema. Panele mają różne skale, bo słupki HPET hosta spłaszczyłyby słupki gościa. Gość nie płaci bezpośrednio ceny HPET, bo kvm-clock dalej czyta pod spodem TSC. Traci odczyt w przestrzeni użytkownika i niezależność między vCPU, i już samo to daje siedem razy wolniej. Gdy wszystkie cztery vCPU czytają naraz, koszt znowu rośnie, i to jest właśnie ta wspólna wartość globalna w akcji. Gość z 32 albo 64 vCPU stoi w tej kolejce mocniej. Tego nie mierzyłem.\nPodam liczbę. Gość, który czyta zegar milion razy na sekundę na jednym vCPU, zużywa na to 2,8% tego vCPU na zdrowym hoście, a 19% na tym. Bazy danych, maszyna wirtualna Javy (JVM) i wszystko inne, co oznacza swoją pracę znacznikami czasu, czytają zegar bardzo często.\nTen przebieg do tego zaniża wynik. Ręczne przełączenie źródła zegara wyłącza master clock, ale nie oznacza TSC jako niestabilnego, więc przepisywanie przesunięć z powyższej tabeli w ogóle się nie wykonało. Awaryjny powrót przy rozruchu na tym E595 oznacza go jako niestabilny, a host w takim stanie płaci za oba.\n\u0026#8615; clockbench.c, benchmark, do uruchomienia na hoście albo jako init gościa clockbench.c · 2 kB Sprawdzanie hosta i ograniczenia Dlaczego zegary gości są w ogóle kruche, opisałem w artykule o ptp_kvm; tu ten sam problem przychodzi od spodu. Sprawdzaj hosta, nie gościa:\njournalctl -k -b | grep -iE \u0026#39;TSC warp|TSC unstable\u0026#39; cat /sys/devices/system/clocksource/clocksource0/current_clocksource tscsync działa z GRUB-a albo systemd-boot1, co obejmuje większość hostów KVM. Proxmox VE używa GRUB-a, albo systemd-boot przy instalacji UEFI z ZFS jako systemem głównym i wyłączonym Secure Boot15. Zanim jednak to trafi w pobliże węzła produkcyjnego, uczciwie przyjrzyj się ograniczeniom.\nOgraniczenie Co z tym zrobić Tylko AMD Zen i Hygon1 hosty Intela z TSC_ADJUST jądro naprawia już samo Każda maszyna z jego listy sprzętu to laptop4 traktuj serwer jako nieprzetestowany i zgłoś wynik Tryb sync odmawia pracy na sprzęcie spoza listy, chyba że to świadomie włączysz1 przeczytaj dlaczego, zanim to obejdziesz Pierwszy rozruch z sync może się zawiesić najpierw tryb pomiaru, otwarta konsola out-of-band, jeden węzeł naraz Aktualizacja BIOS-u może usterkę usunąć przełącz potem z powrotem na pomiar i sprawdź1 Czysta synchronizacja wciąż może stracić TSC przez watchdog sprawdzaj current_clocksource po każdym rozruchu; tsc=nowatchdog, jeśli winny jest watchdog, a potem zmierz to sam Usterka firmware, która laptopa kosztuje trochę baterii, hiperwizor kosztuje kawałek każdego gościa, którego uruchamia, w każdej sekundzie pracy, a właściciele gości nie mają jak tego zobaczyć. To argument za sprawdzaniem current_clocksource na każdym hoście, jaki prowadzisz, kto by go nie zrobił.\ntscsync README — co robi, koszt odczytu zegara na HPET, dlaczego tsc=reliable nie jest poprawką, model bezpieczeństwa i reguła UNSURE.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLinux kernel — arch/x86/kernel/tsc_sync.c — obsługa TSC_ADJUST, test warpów i komunikat „Measured %Ld cycles TSC warp between CPUs, turning off TSC clock.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\ntscsync — docs/DESIGN.md — AMD Zen nie ma IA32_TSC_ADJUST, tsc=directsync odrzucone upstream, Windows sam zapisuje TSC przy rozruchu, a warp rośnie z czasem spędzonym w firmware na Legion Pro 5.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\ntscsync — docs/HARDWARE.md — przetestowane maszyny, rdzenie IdeaPada 5 przyjęte przy -28 do -42 cyklach i zgłoszone poprawki BIOS-u dla A485, E495 i T14s Gen 1.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLenovo — BIOS Update Utility readme, ThinkPad E495/E595, version 1.30 — oba modele w jednej paczce, historia wersji do 1.30 (14 maja 2024) i jej lista zmian.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLinux kernel — kernel/time/clocksource.c — watchdog źródła zegara, jego porównanie interwałów i komunikat „Marking clocksource %s unstable due to frequency skew”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLinux kernel — kernel-parameters — tsc=reliable wyłącza weryfikację w czasie pracy i testy stabilności przy rozruchu; tsc=nowatchdog wyłącza tylko watchdog źródła zegara.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\ntscsync issue #1 — Lenovo ThinkPad E595 — zgłoszenia dla 1.28 i 1.30, analiza watchdoga i proponowane zmiany.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLinux kernel — Real Time Clock (RTC) Drivers for Linux — „The clock can also be set to generate an interrupt upon every clock update, thus generating a 1Hz signal”, odczytywane przez /dev/rtc.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nchrony — chronyc manual — tracking: „The \u0026lsquo;frequency\u0026rsquo; is the rate by which the system\u0026rsquo;s clock would be wrong if chronyd was not correcting it.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nKVM — Management Tools — Proxmox VE, oVirt, OpenStack i narzędzia oparte na libvirt, wszystkie zarządzające KVM.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLinux kernel — arch/x86/kvm/x86.c — pvclock_update_vm_gtod_copy(): „If the host uses TSC clock, then passthrough TSC as stable to the guest”, a PVCLOCK_TSC_STABLE_BIT ustawiany tylko przy włączonym master clock.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLinux kernel — arch/x86/kernel/kvmclock.c — gość włącza zegar w przestrzeni użytkownika VDSO_CLOCKMODE_PVCLOCK tylko wtedy, gdy ustawiony jest PVCLOCK_TSC_STABLE_BIT.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLinux kernel — arch/x86/kernel/pvclock.c — bez PVCLOCK_TSC_STABLE_BIT każdy odczyt jest sprawdzany względem „last_value, a global accumulator” atomowym compare-and-exchange.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nProxmox VE — Host Bootloader — domyślnie GRUB, systemd-boot przy instalacjach UEFI z ZFS jako systemem głównym i wyłączonym Secure Boot.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\n","permalink":"https://blogs.damiendye.uk/pl/hardware/sorting-tsc-when-your-firmware-is-broken/","summary":"Przez cztery miesiące, przy każdym rozruchu, mój ThinkPad E595 oddawał Linuksowi jeden rdzeń procesora trzy sekundy za siedmioma pozostałymi, a jądro porzucało TSC na rzecz HPET. Co znaczy to ostrzeżenie, dlaczego maszyna z AMD Zen nie ma jak naprawić tego od środka Linuksa, co 40 rozruchów w journalu mówi o firmware, dlaczego tsc=reliable to zła odpowiedź i jak tscsync mierzy i przesuwa liczniki w UEFI, zanim jądro w ogóle je zobaczy, łącznie z jednym rdzeniem oznaczonym jako BAD, który Linux i tak przyjął. Uzupełnione o BIOS 1.30: nie usuwa przesunięcia, a watchdog źródła zegara w jądrze porzucił TSC przy dwóch rozruchach, nawet po tym, jak tscsync zsynchronizował rdzenie. Z tsc=nowatchdog TSC wytrzymał, a pięciominutowy test względem zegara czasu rzeczywistego, z kodem źródłowym, nie znalazł ani warpów, ani dryfu. Na koniec: co ten awaryjny powrót robi na każdym hiperwizorze KVM, z Proxmoxem czy bez: znika master clock, goście tracą szybki odczyt zegara, a na tym laptopie odczyt zegara w gościu wyszedł siedem razy wolniejszy.","title":"Naprawianie TSC, gdy firmware jest zepsuty"},{"content":"Dlaczego certyfikaty, a nie klucze SSH ufa przy pierwszym połączeniu. Łączysz się z nową maszyną, a ona pokazuje ci odcisk klucza i pyta, czy jesteś pewien. Nikt tego nie sprawdza. Wszyscy wpisują yes. To ten sam nawyk co przeklikiwanie ostrzeżenia w przeglądarce i dokładnie tego potrzebuje maszyna wpięta pośrodku.\nW drugą stronę wcale nie jest lepiej. Każdy serwer trzyma plik authorized_keys dla każdego użytkownika i każdy z nich rośnie. Klucze się dopisuje i nigdy nie usuwa. Ktoś odchodzi, a jego klucz zostaje na maszynie, o której nikt nie pamięta aż do dnia, w którym ma to znaczenie. Postawisz serwer od nowa i każdy klient krzyczy, że klucz hosta się zmienił, więc ludzie uczą się kasować również to ostrzeżenie.\nUrząd certyfikacji SSH kończy z jednym i drugim. CA podpisuje klucz każdego hosta, a klienci ufają CA, nie liście odcisków. CA podpisuje klucz każdego użytkownika na kilka godzin, a serwery ufają CA, nie liście kluczy. Nic do zaakceptowania przy pierwszym połączeniu, nic do sprzątania, kiedy ktoś odchodzi, i certyfikat użytkownika, który do jutra umiera sam.\nTo inna konfiguracja niż strona X.509 w step-ca, opisana w Własny urząd certyfikacji: step-ca w kontenerze, i dlatego ma osobny wpis. Ten sam kontener, inne klucze, inne pliki na każdej maszynie. Wszystko tutaj zostało uruchomione ze step-ca 0.30.2 i OpenSSH 10.0 w podzie Podmana.\nBez CA Ze step-ca Klient trafia na nowy serwer Pokazuje odcisk, ty wpisujesz yes Sprawdza certyfikat hosta względem CA, nic nie mówi Serwer zostaje postawiony od nowa Każdy klient ostrzega, że klucz się zmienił Podpisujesz nowy klucz, klienci niczego nie zauważają Użytkownik dostaje dostęp Jego klucz trafia do authorized_keys na każdym serwerze CA podpisuje jego klucz, każdy serwer go przyjmuje Użytkownik odchodzi Znajdź i usuń jego klucz na każdym serwerze Przestajesz podpisywać; jego certyfikat jest martwy w ciągu 16 godzin Co trzyma każdy serwer Jeden authorized_keys na użytkownika Jeden klucz publiczny CA Kto co podpisuje i kto komu ufa step-ca klucz CA hostów klucz CA użytk. Klient cert. użytk., 16 godz. ufa CA hostów Serwer cert. hosta, 30 dni ufa CA użytkowników podpisuje użytk. podpisuje hosta ssh, bez pytania każdy sprawdza cert. drugiego CA podpisuje obie strony. Klient musi ufać tylko kluczowi CA hostów, a serwer tylko kluczowi CA użytkowników. Żaden nie trzyma listy kluczy drugiej strony. Włączanie CA SSH Klucze SSH powstają przy pierwszej konfiguracji step-ca albo wcale. Ustaw DOCKER_STEPCA_INIT_SSH=true przy pierwszym uruchomieniu1, a w logu pojawią się dwa dodatkowe klucze:\nSSH Host CA Key: ecdsa-sha2-nistp256 AAAAE2VjZHNhLXNoYTItbmlzdHAyNTYAAAAIbmlzdHAy... SSH User CA Key: ecdsa-sha2-nistp256 AAAAE2VjZHNhLXNoYTItbmlzdHAyNTYAAAAIbmlzdHAy... Klucz Podpisuje Kto mu ufa CA hostów Klucz hosta każdego serwera Każdy klient, w known_hosts CA użytkowników Klucz logowania każdej osoby Każdy serwer, w sshd_config Dodaje też provisioner sshpop, dzięki któremu host może później sam odnowić swój certyfikat. Jeśli CA już działa bez SSH, nie ma żadnego przełącznika. To jest nowy CA.\nPodpisywanie hosta Weź istniejący klucz hosta serwera, podpisz go i oddaj certyfikat serwerowi:\nstep ssh certificate --host --sign \\ --provisioner admin --provisioner-password-file prov-pass \\ nas.home.example ssh_host_ecdsa_key.pub Kolejność ma znaczenie. Z flagami provisionera za nazwą hosta i plikiem klucza step odmówił:\ntoo many positional arguments were provided in \u0026#39;step ssh certificate \u0026lt;key-id\u0026gt; \u0026lt;key-file\u0026gt;\u0026#39; Daj wszystkie flagi na początek i podpisuje. Certyfikat w odczycie ssh-keygen -L:\nPole Wartość Type ecdsa-sha2-nistp256-cert-v01@openssh.com host certificate Key ID nas.home.example Principals nas.home.example Valid 30 dni, od 2026-10-09T18:34:30 do 2026-11-08T17:35:30 Principal to nazwa, której klient musi użyć do połączenia. Połącz się po nazwie, której nie ma w certyfikacie, a klient go nie przyjmie, więc podpisz każdą nazwę, na którą host odpowiada.\nSerwer Dwie linie w sshd_config2:\nHostCertificate /etc/ssh/ssh_host_ecdsa_key-cert.pub TrustedUserCAKeys /etc/ssh/ssh_user_ca_key.pub HostCertificate przekazuje klientom certyfikat hosta, a jego klucz „must match a private host key already specified”2. TrustedUserCAKeys to klucz publiczny CA użytkowników, „trusted to sign user certificates for authentication”2. Przed restartem uruchom sshd -t. Literówka w którejkolwiek ścieżce i sshd mówi Could not load host certificate, a dużo lepiej znaleźć to teraz niż z sesji, z której cię wycięło.\nNa serwerze testowym nie ma w ogóle authorized_keys. ls /home/damien/.ssh/authorized_keys zwraca No such file or directory, a logowania poniżej i tak działają.\nUżytkownik CA tworzy parę kluczy i podpisuje ją za jednym zamachem:\nstep ssh certificate damien id_ecdsa \\ --provisioner admin --provisioner-password-file prov-pass Pole Wartość Type user certificate Principals damien Valid 16 godzin Extensions permit-agent-forwarding, permit-port-forwarding, permit-X11-forwarding, permit-pty, permit-user-rc Szesnaście godzin to cały sens. Starcza na dzień pracy i umiera w nocy. Odebranie dostępu użytkownikowi sprowadza się głównie do tego, żeby jutro mu nie podpisać.\nKlient Jedna linia w known_hosts zastępuje każdy odcisk, który inaczej by się tam nazbierał3:\n@cert-authority *.home.example ecdsa-sha2-nistp256 AAAAE2VjZHNhLXNoYTItbmlzdHAy... Mówi ona: każdy host w home.example, którego certyfikat jest podpisany tym kluczem, jest prawdziwy. Znacznik @cert-authority sprawia, że to linia CA, a nie klucz jednego hosta.\nCo pokazał test Wszystkie cztery z klienta, który nie ma nic poza certyfikatem użytkownika i tą jedną linią w known_hosts, z StrictHostKeyChecking=yes, więc niczego nie dało się zaakceptować w locie:\nTest Wynik Podpisany klucz z certyfikatem, jako damien logged in as damien, kod wyjścia 0 Ten sam klucz, certyfikat usunięty Permission denied (publickey,password,keyboard-interactive) Certyfikat użyty do logowania jako root Permission denied: certyfikat wymienia tylko damien Klient bez linii CA hostów Host key verification failed. Trzeci to ten, który ludziom umyka. Certyfikat nie otwiera każdego konta na maszynie, tylko principale w nim wpisane. Klucz w czyimś authorized_keys tak nie potrafi.\nOdnawianie Host odnawia swój certyfikat kluczem, który już ma. To provisioner sshpop, który „allows a client to renew, revoke, or rekey an SSH certificate using that certificate for authentication with the CA”4. Bez hasła5:\nstep ssh renew --force ssh_host_ecdsa_key-cert.pub ssh_host_ecdsa_key Numer seryjny Ważny do Podpisany 15166325869329416997 2026-11-08 17:35:30 Odnowiony 6678957789797316768 2026-11-08 17:35:59 Nowy numer seryjny i świeże 30 dni. Wrzuć to na cotygodniowy timer i host nigdy nie wygaśnie. Po odnowieniu przeładuj sshd, bo inaczej stary certyfikat zostaje w pamięci.\nUżytkownicy odnawiają, prosząc jeszcze raz. Jedno step ssh certificate dziennie albo przy pierwszym logowaniu dnia i to cała robota.\nGdzie to się sypie Przypadek Co się dzieje Co zrobić CA leży Istniejące certyfikaty dalej działają; nikt nie dostaje nowego Postaw CA na czymś, co nie pada; użytkownicy mają 16 godzin zapasu Certyfikat hosta wygasa Klienci odrzucają hosta jak obcego Timer odnawiania i przeładowanie sshd po nim Użytkownik musi zniknąć dziś, nie jutro Jego certyfikat działa do wygaśnięcia RevokedKeys w sshd_config przyjmuje listę unieważnionych kluczy2 Nazwy hosta nie ma wśród principali Klient odrzuca hosta Podpisz każdą nazwę, na którą odpowiada CA SSH nie powstał przy konfiguracji Nie da się go dodać Nowy CA, postawiony z włączonym SSH Klucze SSH urzędu skradzione Kto je ma, zaloguje się wszędzie i podszyje pod każdy host Trzymaj CA na osobnej maszynie, z kopią zapasową, offline, jeśli się da Ostatni to cena. Każdy plik authorized_keys był osobnym małym ryzykiem. Teraz jest jedno duże, w jednym miejscu. To lepiej, bo jedno miejsce da się pilnować i zamknąć na cztery spusty, ale tylko jeśli ktoś to zrobi.\nZaufanie tam, gdzie da się je sprawdzić Pytanie o odcisk klucza i plik authorized_keys mają coś wspólnego. Jedno i drugie każe człowiekowi podejmować decyzję o zaufaniu bez żadnej informacji, codziennie, w nieskończoność. Ludzie są w tym kiepscy i zawsze będą, więc przestają decydować i zaczynają wpisywać yes.\nCA przenosi tę decyzję w jedno miejsce, raz, gdzie można ją podjąć porządnie. To cała idea i ta sama, która stoi za każdym standardem wartym posiadania: zrób staranną rzecz raz, zapisz ją i przestań kazać ludziom robić ją w głowie sto razy w tygodniu. Maszyna sprawdza podpis. Ty sprawdzasz CA. Taki podział pracy się trzyma.\nsmallstep/certificates — docker/entrypoint.sh — DOCKER_STEPCA_INIT_SSH=true dodaje --ssh do step ca init.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nOpenBSD manual — sshd_config(5) — HostCertificate: \u0026ldquo;The certificate\u0026rsquo;s public key must match a private host key already specified by HostKey\u0026rdquo;; TrustedUserCAKeys: \u0026ldquo;public keys of certificate authorities that are trusted to sign user certificates for authentication\u0026rdquo;; RevokedKeys: \u0026ldquo;Keys listed in this file will be refused for public key authentication\u0026rdquo;.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nOpenBSD manual — sshd(8), SSH_KNOWN_HOSTS FILE FORMAT — znacznik „@cert-authority”, \u0026ldquo;to indicate that the line contains a certification authority (CA) key\u0026rdquo;.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nSmallstep — Provisioners, SSHPOP — \u0026ldquo;An SSHPOP provisioner allows a client to renew, revoke, or rekey an SSH certificate using that certificate for authentication with the CA.\u0026rdquo;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nSmallstep — step ssh renew — polecenie użyte do odnowienia certyfikatu hosta.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\n","permalink":"https://blogs.damiendye.uk/pl/certificates/step-ca-ssh-certificates/","summary":"step-ca 0.30.2 jako urząd certyfikacji SSH, przetestowany z OpenSSH 10.0. Dlaczego certyfikaty wygrywają z authorized_keys i zaufaniem przy pierwszym połączeniu, włączenie CA SSH przy pierwszej konfiguracji step-ca, podpisanie klucza hosta (i kolejność argumentów, o którą łatwo się potknąć), dwie linie w sshd_config i jedna linia @cert-authority w known_hosts, 16-godzinny certyfikat użytkownika, cztery testy logowania, w tym zły użytkownik i niezaufany host, odnowienie certyfikatu hosta przez sshpop i miejsca, w których to się sypie.","title":"Logowanie SSH podpisane przez step-ca: koniec z authorized_keys"},{"content":"Dlaczego telefony są trudnym przypadkiem Ustawienia domyślne step-ca są zrobione pod serwery. Serwer co rano sam się odnawia, a Własny urząd certyfikacji: step-ca w kontenerze pokazuje, że to działa dla klientów ACME i wszystkiego, co potrafi uruchomić step ca renew. Tamten wpis omawia też uruchomienie CA, jego dwa hasła i zaufanie do roota, a ten zaczyna tam, gdzie tamten skończył. Telefon z certyfikatem klienckim dla aplikacji Home Assistant niczego nie odnowi, a kiedy jeden zginie, musisz go odciąć dziś, a nie wtedy, gdy wygaśnie jego certyfikat. Na drodze stoi pięć ustawień domyślnych i żadne nie krzyczy. Po prostu zostawiają cię z certyfikatami, które umrą jutro, i listą unieważnień, która odrzuca wszystkich.\nUstawienie domyślne Co robi telefonowi Poprawka Certyfikaty żyją najwyżej 24 godziny Certyfikat telefonu umiera jutro, a aplikacja Home Assistant nie umie go odnowić Podnieś maxTLSCertDuration w ca.json CRL wyłączona Unieważnienie zgubionego telefonu niczego nigdzie nie zmienia Włącz blok crl Zakres CRL nie pasuje do certyfikatów nginx odrzuca każdy telefon, także dobre Ustaw idpURL i dodaj szablon z crlDistributionPoints Brak CRL dla pośredniego nginx dalej odrzuca każdy telefon Raz w roku podpisz pustą CRL roota CRL żyje 24 godziny Kiedy wygaśnie, nginx znowu odrzuca każdy telefon Odświeżaj ją z timera Cloudflare robi za ciebie połowę dotyczącą CA w swoim darmowym planie, co pokazuje wersja z Cloudflare. Zrobienie tego samemu oznacza zrobienie wszystkich pięciu. Testy poniżej szły na CA o nazwie Home Assistant CA i to ta nazwa widnieje w wynikach.\nUstawienie pierwsze: certyfikaty żyją jeden dzień Poproś o rok, a CA odmówi:\nThe request was forbidden by the certificate authority: requested duration of 8760h1m0s is more than the authorized maximum certificate duration of 24h1m0s. To dobre ustawienie domyślne dla serwerów i klientów ACME, które odnawiają się cały dzień i nikt tego nie zauważa. Telefon jest wyjątkiem. Aplikacja Home Assistant nie ma jak odnowić własnego certyfikatu klienckiego, więc certyfikat na 24 godziny oznacza codzienny obchód wszystkich telefonów.\nOkres ważności to ustawienie i siedzi we własnej konfiguracji step-ca. Każdy provisioner w ca.json przyjmuje claims1:\n\u0026#34;claims\u0026#34;: { \u0026#34;maxTLSCertDuration\u0026#34;: \u0026#34;8760h\u0026#34;, \u0026#34;defaultTLSCertDuration\u0026#34;: \u0026#34;24h\u0026#34; } Claim Znaczenie Ustawione na maxTLSCertDuration Najdłuższy certyfikat, jaki ten provisioner podpisze 8760h, rok defaultTLSCertDuration Co dostajesz, jeśli nie prosisz Zostaje 24h, więc rok jest zawsze świadomym wyborem minTLSCertDuration Najkrótszy, jaki podpisze Bez zmian Zrestartuj kontener i rok przechodzi. Rok to ocena sytuacji, nie reguła. Krócej znaczy mniej czasu, w którym skradziony certyfikat się do czegoś przyda, i więcej rundek po domu z ponowną instalacją.\nUstawienie drugie: CRL jest wyłączona Lista unieważnionych certyfikatów (CRL) to podpisana lista certyfikatów, które CA wycofał. Tak odcina się zgubiony telefon, zanim jego certyfikat wygaśnie, a step-ca jej nie tworzy, dopóki mu się nie każe. Dokumentacja oznacza tę funkcję jako eksperymentalną1.\n\u0026#34;crl\u0026#34;: { \u0026#34;enabled\u0026#34;: true, \u0026#34;generateOnRevoke\u0026#34;: true, \u0026#34;cacheDuration\u0026#34;: \u0026#34;24h\u0026#34; } Pole Co robi Domyślnie enabled W ogóle tworzy CRL Wyłączone generateOnRevoke Przebudowuje listę w chwili unieważnienia certyfikatu Wyłączone cacheDuration Jak długo każda lista jest ważna 24 godziny1 idpURL URL, który według listy ona obejmuje Własna nazwa CA plus /1.0/crl2 Zapamiętaj te 24 godziny. Jeszcze wrócą.\nUstawienie trzecie: CRL, której nic nie przyjmie Z włączoną CRL unieważnij jeden telefon i sprawdź oba telefony:\n$ openssl verify -CAfile client-ca.pem -CRLfile crl.pem -crl_check phone1.crt phone2.crt CN=phone1 error 44 at 0 depth lookup: different CRL scope error phone1.crt: verification failed CN=phone2 error 44 at 0 depth lookup: different CRL scope error phone2.crt: verification failed Oba nie przechodzą, ten dobry też. Postaw tę listę przed nginx i nikt nie wejdzie.\nSama lista mówi dlaczego. step-ca oznacza każdą CRL krytycznym Issuing Distribution Point, który mówi „ta lista obejmuje certyfikaty, które wskazują tutaj”. Wystawione przez niego certyfikaty nie wskazują nigdzie:\n$ openssl crl -in crl.pem -noout -text X509v3 Issuing Distribution Point: critical Full Name: URI:https://localhost/1.0/crl $ openssl x509 -in phone1.crt -noout -ext crlDistributionPoints No extensions in certificate OpenSSL nie zastosuje listy, której zakres nie pasuje do certyfikatu. Więc zamyka drzwi. Co jest słuszne i nikomu do niczego się nie przyda.\nCRL mówi, że obejmuje Certyfikat mówi, że jego CRL jest pod Wynik Prosto z pudełka https://localhost/1.0/crl, krytyczne Nigdzie different CRL scope, wszyscy odrzuceni idpURL i szablon http://ca.home.example/1.0/crl http://ca.home.example/1.0/crl Dobre telefony przechodzą, unieważnione nie Domyślny URL nie jest nawet takim, na którym CA nasłuchuje. Kod źródłowy step-ca sam to przyznaje: „this is currently using the port 443 by default”2. Naprawiają to dwa ustawienia i oba muszą wskazywać ten sam URL. idpURL trafia do bloku crl w ca.json, a szablon na provisionerze wbija pasujące crlDistributionPoints w każdy certyfikat3:\n{ \u0026#34;subject\u0026#34;: {{ toJson .Subject }}, \u0026#34;sans\u0026#34;: {{ toJson .SANs }}, \u0026#34;keyUsage\u0026#34;: [\u0026#34;digitalSignature\u0026#34;], \u0026#34;extKeyUsage\u0026#34;: [\u0026#34;serverAuth\u0026#34;, \u0026#34;clientAuth\u0026#34;], \u0026#34;crlDistributionPoints\u0026#34;: [\u0026#34;http://ca.home.example/1.0/crl\u0026#34;] } \u0026#34;options\u0026#34;: { \u0026#34;x509\u0026#34;: { \u0026#34;templateFile\u0026#34;: \u0026#34;templates/leaf-crl.tpl\u0026#34; } } Wystaw telefonom certyfikaty od nowa, bo tylko nowe certyfikaty niosą to pole, a ta sama kontrola daje właściwą odpowiedź:\nCN=phone2 error 23 at 0 depth lookup: certificate revoked error phone2.crt: verification failed phone1.crt: OK Root też potrzebuje CRL Tamta kontrola patrzyła tylko na certyfikat telefonu. nginx patrzy na cały łańcuch. Ustawia flagę OpenSSL CRL_CHECK_ALL4, a jego dokumentacja mówi to wprost: „When using intermediate certificates, their CRLs should be specified in the same file”5. step-ca wystawia certyfikaty ze swojego pośredniego i wypisuje wyłącznie unieważnienia pośredniego. Nic nie mówi, czy sam pośredni jest nadal dobry:\n$ openssl verify -CAfile client-ca.pem -CRLfile crl.pem -crl_check_all phone1.crt O=Home Assistant CA, CN=Home Assistant CA Intermediate CA error 3 at 1 depth lookup: unable to get certificate CRL Która CRL pokrywa który certyfikat Root CA zaufany wprost Pośredni podpisuje wszystko phone1 dobry phone2 unieważniony Serwer ha.example.com podpisuje nginx sprawdza każde ogniwo ogniwo bez CRL jest odrzucane CRL roota 365 dni, z OpenSSL CRL step-ca 24 godziny, zawiera phone2 pokrywa pokrywa Każde ogniwo poniżej roota potrzebuje CRL od certyfikatu nad nim. step-ca pokrywa dolny rząd. Pośredniego nie pokrywa nic, dopóki sam nie podpiszesz CRL roota. Poprawka to CRL podpisana przez roota, która niczego nie unieważnia. OpenSSL robi ją z klucza roota i własnego pliku z hasłem CA, a może żyć rok, bo root na co dzień niczego nie unieważnia:\n[ca] default_ca = root [root] database = index.txt crlnumber = crlnumber default_md = sha256 default_crl_days = 365 private_key = root_ca_key certificate = root_ca.crt crl_extensions = crl_ext [crl_ext] authorityKeyIdentifier = keyid:always touch index.txt \u0026amp;\u0026amp; echo 1000 \u0026gt; crlnumber openssl ca -config root-crl.cnf -gencrl -passin file:password -out root.crl.pem Obie listy w jednym pliku i cały łańcuch się zgadza:\n$ openssl verify -CAfile client-ca.pem -CRLfile crl-chain.pem -crl_check_all phone1.crt phone2.crt CN=phone2 error 23 at 0 depth lookup: certificate revoked error phone2.crt: verification failed phone1.crt: OK Wpisz sobie datę w kalendarz za rok. Kiedy CRL roota wygaśnie, każdy telefon znowu zostaje za drzwiami.\nPublikacja CRL CRL musi być tam, gdzie wskazuje URL w każdym certyfikacie. Nie na samym CA.\nWybór Dlaczego Serwer WWW z przodu, nie port 9000 Port 9000 to całe API step-ca, razem z podpisywaniem. Nikt nie potrzebuje z niego niczego poza listą Zwykłe HTTP, nie HTTPS RFC 5280 mówi, że punkt dystrybucji „SHOULD include at least one LDAP or HTTP URI”6. Pobieranie po HTTPS wymaga sprawdzenia certyfikatu, które wymaga listy. HTTP przerywa to błędne koło Bez obaw o podmianę Lista jest podpisana. Zmień jeden bajt i podpis się nie zgadza Odpowiadają tylko dwie ścieżki CRL Wszystko inne to 404 Oba serwery WWW robią to w kilku linijkach i oba przekazują listę prosto ze step-ca, a CRL roota serwują jako plik:\nserver { listen 80; listen [::]:80; server_name ca.home.example; location = /1.0/crl { proxy_pass https://127.0.0.1:9000; proxy_ssl_trusted_certificate /etc/step/root_ca.crt; proxy_ssl_verify on; proxy_ssl_name localhost; } location = /root.crl { alias /etc/step/root.crl; default_type application/pkix-crl; } location / { return 404; } } http://ca.home.example { handle /1.0/crl { reverse_proxy https://127.0.0.1:9000 { transport http { tls_trust_pool file /etc/step/root_ca.crt tls_server_name localhost } } } handle /root.crl { header Content-Type application/pkix-crl root * /etc/step file_server } handle { respond 404 } } Żądanie nginx Caddy /1.0/crl 200, application/pkix-crl, wystawca to pośredni 200, application/pkix-crl, wystawca to pośredni /root.crl 200, application/pkix-crl 200, application/pkix-crl /roots.pem, /1.0/sign i reszta API 404 404 Oba odpowiadają po IPv6 tak samo jak po IPv4 i tak powinno być. Caddy domyślnie nasłuchuje na obu. nginx nasłuchuje tylko tam, gdzie mu powiesz, więc samo listen 80; to tylko IPv4 i potrzebuje obok listen [::]:80;. Sprawdzone przez ::1: lista wróciła z 200 od obu, gdy nginx dostał tę linijkę. Samo step-ca od razu nasłuchuje na obu.\nTest szedł na portach 8080 i 8081, więc URL w testowych certyfikatach zawierał port. W użyciu to port 80, a URL jest dokładnie taki, jak w szablonie.\nŻeby lista była świeża Każda CRL, którą robi step-ca, ma nextUpdate 24 godziny naprzód. Potem jest przeterminowana, a przeterminowana lista zawodzi dokładnie tak samo jak brakująca:\n$ openssl verify -CAfile client-ca.pem -CRLfile crl-chain.pem -crl_check_all \\ -attime $(( $(date +%s) + 172800 )) phone1.crt error 12 at 0 depth lookup: CRL has expired To jest ten dobry telefon. Dwa dni później. Za drzwiami, bo nic nie pobrało nowej listy.\nPublikacja CRL i utrzymanie jej świeżości step-ca :9000, całe API zostaje w środku nginx lub Caddy port 80, v4 i v6 /1.0/crl, /root.crl reszta to 404 Lista wygasa po 24 godzinach, każdy telefon odrzucony Timer co kilka godzin proxy mTLS ssl_crl, przeładowane CRL pobiera przeładowuje staje API step-ca zostaje w środku. Serwer WWW wydaje tylko dwie listy, a timer pobiera świeżą i przeładowuje proxy. Zatrzymaj timer, a lista wygaśnie dzień później i każdy telefon zostanie za drzwiami. nginx czyta ssl_crl tylko przy starcie albo przeładowaniu. Więc coś musi co kilka godzin pobrać listę, przebudować plik i przeładować nginx, tak długo, jak to działa, czy ktoś patrzy, czy nie.\n#!/bin/sh # Fetch step-ca\u0026#39;s CRL, add the root CRL, and reload nginx only if both parse. set -eu dir=${CRL_DIR:-/etc/nginx/pki} tmp=$(mktemp) trap \u0026#39;rm -f \u0026#34;$tmp\u0026#34; \u0026#34;$tmp.pem\u0026#34;\u0026#39; EXIT curl -fsS --max-time 20 \u0026#34;${CRL_URL:-http://ca.home.example/1.0/crl}\u0026#34; -o \u0026#34;$tmp\u0026#34; openssl crl -inform DER -in \u0026#34;$tmp\u0026#34; -out \u0026#34;$tmp.pem\u0026#34; openssl crl -in \u0026#34;$dir/root.crl.pem\u0026#34; -noout cat \u0026#34;$tmp.pem\u0026#34; \u0026#34;$dir/root.crl.pem\u0026#34; \u0026gt; \u0026#34;$dir/crl-chain.pem.new\u0026#34; mv \u0026#34;$dir/crl-chain.pem.new\u0026#34; \u0026#34;$dir/crl-chain.pem\u0026#34; ${RELOAD:-nginx -s reload} Przebieg Wynik Normalny Nowa lista na miejscu, nginx przeładowany, phone1 200, unieważniony phone2 400 CA nieosiągalny curl: (22) The requested URL returned error: 404, kod wyjścia 22, stara lista nietknięta, bez przeładowania Prawdziwą robotę wykonuje set -e. Nieudane pobranie nigdy nie może nadpisać dobrego pliku pustym, bo zepsuta lista zamyka drzwi przed wszystkimi tak samo pewnie jak przeterminowana. Uruchamiaj to co kilka godzin z timera systemd albo crona. To daje mu kilka podejść, zanim cokolwiek wygaśnie. Nic sprytnego, a to jest ten kawałek, dzięki któremu drzwi działają.\nWystawienie telefonowi certyfikatu Jeden certyfikat na telefon, nazwany od telefonu, na rok:\nstep ca certificate phone1 phone1.crt phone1.key \\ --provisioner admin --provisioner-password-file prov-pass \\ --not-after 8760h --kty EC Telefon chce certyfikat, jego klucz i pośredni w jednym pliku PKCS12, a step sam go buduje7:\nstep certificate p12 phone1.p12 phone1.crt phone1.key \\ --ca certs/intermediate_ca.crt MAC: sha256, Iteration 2048 PKCS7 Encrypted data: PBES2, PBKDF2, AES-256-CBC, Iteration 2048, PRF hmacWithSHA256 To nowoczesne szyfrowanie, czyli to, co dokumentacja Home Assistant Companion każe wypróbować najpierw, zanim sięgnie się po kontener w starym formacie8.\nTelefon potrzebuje od CA trzech rzeczy, nie jednej:\nPlik Instaluj jako Dlaczego root_ca.crt Certyfikat CA Żeby telefon ufał certyfikatowi serwera, który step-ca wystawił dla proxy intermediate_ca.crt Certyfikat CA Łańcuch między rootem a każdym certyfikatem, który CA faktycznie podpisuje phone1.p12 Certyfikat użytkownika VPN i aplikacji Własny klucz telefonu, to, co go wpuszcza Aplikacja Home Assistant na Androida ufa certyfikatom CA zainstalowanym przez użytkownika, tak samo jak wbudowanym9, więc certyfikat serwera ze step-ca działa. Do tej roboty to zresztą lepszy zamek. Nazwa hosta ma znaczenie tylko w domu i dla telefonów, a urządzenie bez twojego roota nie ufa nawet serwerowi, nie mówiąc już o tym, żeby przez niego przejść.\nKiedy telefon zginie:\nstep ca revoke --cert phone2.crt --key phone2.key --reason \u0026#34;phone lost\u0026#34; Certificate with Serial Number 89334534279272070053632987406394420097 has been revoked. Nowa lista powstaje od ręki, a najbliższe odświeżenie stawia ją przed nginx.\nCA to obietnica, którą dotrzymujesz codziennie Kiedy to uruchomiłem, uderzyło mnie, jak mało tej roboty to wystawianie certyfikatów. Jedno polecenie. I tyle. Cała robota siedzi w obietnicach dookoła: że unieważniony telefon zostaje za drzwiami, że dobry telefon zostaje w środku, że lista nigdy nie jest przeterminowana. step-ca dotrzymuje pierwszej, resztę zostawia tobie, a jego ustawienia domyślne zakładają, że jesteś flotą serwerów odnawiających się co rano.\nTo nie jest wada, po prostu dla takich go zbudowano. Ale to jest przepaść między tym, co narzędzie robi, a tym, jak się je sprzedaje. „Postaw własne CA” brzmi jak kontener i jedno popołudnie. To jest kontener, popołudnie, szablon, CRL roota z datą w kalendarzu i timer, o którego istnieniu zapomnisz aż do dnia, w którym stanie.\nI tak to zrób. CA, które sam prowadzisz, to takie, którego nikt inny nie wyłączy, nie przeceni i nie przeczyta. Wiedz tylko, że posiadanie kluczy oznacza posiadanie obowiązków, a to te obowiązki trzymają drzwi zamknięte.\nSmallstep — step-ca configuration — maxTLSCertDuration, defaultTLSCertDuration, minTLSCertDuration; blok crl jest „(experimental)”, cacheDuration „Defaults to 24h”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nsmallstep/certificates v0.30.2 — authority/tls.go — Issuing Distribution Point listy CRL to idpURL, jeśli jest ustawiony, a w przeciwnym razie własna nazwa CA plus /1.0/crl, oznaczony jako krytyczny.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nSmallstep — Certificate templates — crlDistributionPoints „defines URLs with the certificate revocation list”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nnginx — src/event/ngx_event_openssl.c — ssl_crl ustawia X509_V_FLAG_CRL_CHECK|X509_V_FLAG_CRL_CHECK_ALL.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nnginx — ngx_http_ssl_module, ssl_crl — „When using intermediate certificates, their CRLs should be specified in the same file.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 5280 — Internet X.509 PKI Certificate and CRL Profile — sekcja 4.2.1.13: DistributionPointName „SHOULD include at least one LDAP or HTTP URI”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nSmallstep — step certificate p12 — pakuje certyfikat, jego klucz i certyfikaty CA do pliku PKCS12.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nHome Assistant Companion — Networking, TLS Client Authentication — najpierw wypróbuj obecny domyślny PKCS12, a kontener OpenSSL -legacy tylko wtedy, gdy to zawiedzie.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nhome-assistant/android — network_security_config.xml — kotwice zaufania to system plus user: „Additionally trust user added CAs”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\n","permalink":"https://blogs.damiendye.uk/pl/certificates/step-ca-client-certificates-mtls/","summary":"step-ca 0.30.2 użyte do wystawiania certyfikatów klienckich dla wzajemnego TLS, sprawdzone od początku do końca z nginx 1.30.5 i Caddy 2.11.7. Dlaczego telefony są trudnym przypadkiem, podniesienie w ca.json 24-godzinnego limitu certyfikatu, włączenie CRL, dlaczego kończy się błędem „different CRL scope”, dopóki idpURL i szablon nie dodadzą pasującego punktu dystrybucji, CRL roota, której nginx potrzebuje dla całego łańcucha, publikacja CRL zwykłym HTTP po IPv4 i IPv6, zadanie odświeżające, które nie pozwala przeterminowanej CRL zamknąć drzwi przed wszystkimi, oraz wystawienie, spakowanie, instalacja i unieważnienie certyfikatu telefonu.","title":"Certyfikaty klienckie ze step-ca i ustawienia domyślne, które zamykają drzwi przed wszystkimi"},{"content":"Ten sam zamek, własne drzwi Aplikacja Home Assistant przez Cloudflare, zamknięta na certyfikat umieszcza zamek na brzegu sieci Cloudflare. Telefon ma certyfikat, Cloudflare go sprawdza, a nic bez certyfikatu nigdy nie dociera do domu. Działa, jest za darmo i oznacza, że Cloudflare trzyma bramę i czyta ruch, który przez nią przechodzi.\nTu jest ten sam zamek, z drzwiami we własnym domu. Certyfikat sprawdza nginx albo Caddy. Wystawia go twój własny urząd certyfikacji. Nikogo innego nie ma na ścieżce. Strona logowania dalej jest niewidoczna dla wszystkiego, co nie ma certyfikatu, więc zmienia się nie to, czy obcy wejdą. Zmienia się to, kto wykonuje pracę i kto ponosi ryzyko, gdy coś pójdzie nie tak.\nWszystko tutaj zostało zbudowane i przetestowane: nginx 1.30.5 i Caddy 2.11.7 w Podmanie, certyfikaty ze step-ca 0.30.2, każde proxy odpytane bez certyfikatu, z dobrym certyfikatem, z unieważnionym i z przejściem na WebSocket, po IPv4 i IPv6. Backendem w teście był mały zastępnik, który odsyła z powrotem nagłówki, jakie dostaje, więc wyniki pokazują dokładnie to, co dostałby Home Assistant.\nCo się zmienia, gdy Cloudflare znika mTLS w domu z nginx albo Caddy Telefon ma cert. Każdy inny brak cert. Zalew ruchu cert. zbędny Sieć domowa Router port 443 brak tarczy DDoS nginx albo Caddy łańcuch do twojego CA? nieunieważniony? IPv4 i IPv6 step-ca Home Assistant ufa proxy Odrzucony w handshake'u przejście odmowa Teraz wszystko trafia do twojego routera. Proxy odrzuca wszystko bez dobrego certyfikatu, zanim zobaczy to Home Assistant. Zalew ruchu nie potrzebuje certyfikatu, a skoro po drodze nie ma nikogo, kto by go wchłonął, ląduje na twoim łączu. Wersja z Cloudflare nginx albo Caddy w domu Kto sprawdza certyfikat brzeg sieci Cloudflare, regułą WAF twoje proxy, w trakcie handshake\u0026rsquo;u TLS Urząd certyfikacji zarządzany przez Cloudflare twój własny, step-ca dla certyfikatów klienta Kto widzi ruch odszyfrowany Cloudflare, potem Home Assistant twoje proxy i Home Assistant, nikt więcej Wejście z zewnątrz tunel, tylko wychodzący przekierowanie portu na proxy Atak DDoS ląduje na Cloudflare twoim domowym łączu Połączenie obcego kosztuje nic w domu handshake TLS na proxy, nigdy logowanie do Home Assistant IPv4 i IPv6 oba, Cloudflare odpowiada na każde oba, jeśli łącze ma oba, a proxy nasłuchuje na obu Unieważnianie wbudowane, sprawdzane przez regułę nginx sprawdza CRL; Caddy trzyma listę dozwolonych Gdy dostawca leży brak dostępu zdalnego nic się nie zmienia Koszty utrzymania darmowy plan za darmo, plus twój czas na CA Dwa najważniejsze wiersze ciągną w przeciwne strony. Nikt inny nie czyta twojego ruchu ani nie może cię wyłączyć, i to jest suwerenność, cały powód, żeby to robić. Ale przekierowanie portu wraca, więc skany i zalewy ruchu trafiają w twoje łącze zamiast w łącze Cloudflare. Różnica względem zwykłego przekierowania portu z porównania w artykule o Cloudflare polega na tym, co zastają, gdy dotrą: proxy, które zrywa połączenie w trakcie handshake\u0026rsquo;u, a nie stronę logowania Home Assistant.\nMiej jasność, co to daje, a czego nie. Własne reverse proxy nie daje żadnej ochrony przed DDoS. mTLS powstrzymuje obcego przed wejściem. Nie robi nic, żeby powstrzymać obcego przed zapchaniem twojego łącza, a zalew ruchu nie potrzebuje certyfikatu, żeby je zapchać. Cloudflare wchłania to za ciebie w każdym planie, łącznie z darmowym1. Tutaj nikt po drodze tego nie wchłonie, więc wystarczająco duży zalew odcina cały dom od internetu, a proxy może odrzucać tylko te połączenia, które w ogóle do niego dotrą.\nnginx czy Caddy Oba spełniają zadanie. Różnią się w jednym miejscu, które ma znaczenie. Unieważnianie.\nUnieważnianie z nginx i z Caddy nginx: CRL pobierana timerem step-ca unieważnij, nowa CRL /1.0/crl zwykły HTTP Timer pobierz, przeładuj nginx sprawdza łańcuch Caddy: lista dozwolonych, ręcznie Ty każde odnowienie Lista konkretne certy Przeładuj po każdej edycji Caddy weryfikator leaf nginx dostaje CRL od timera i sprawdza ją przy każdym połączeniu. Caddy nie obsługuje CRL, więc unieważnianie to lista konkretnych certyfikatów, którą prowadzisz ręcznie. nginx 1.30.5 Caddy 2.11.7 Brak certyfikatu handshake się kończy, 400 No required SSL certificate was sent handshake odrzucony, curl kończy kodem 55 Unieważniony certyfikat odrzucony, 400 The SSL certificate error wpuszczony bez przeszkód przy samej kontroli CA Metoda unieważniania CRL, sprawdzana w całym łańcuchu lista dozwolonych certyfikatów, weryfikator leaf WebSocket dla aplikacji trzeba ustawić nagłówki Upgrade i Connection działa bez dodatkowej konfiguracji IPv6 tylko po dodaniu listen [::]:443 domyślnie nasłuchuje na obu Konfiguracja około 30 linii około 15 linii Unieważnianie to to, o czym trzeba zdecydować. Dokumentacja Caddy wymienia dokładnie jeden weryfikator dostarczany ze standardowym Caddy, leaf, i sprawdza on, czy certyfikat „is one of a defined set of permitted certificates”2. Nie ma CRL ani OCSP dla certyfikatów klienta. Wskaż Caddy samo CA, a unieważniony telefon wejdzie. Test pokazał dokładnie to: phone2, unieważniony godzinę wcześniej, dostał 200. Lista dozwolonych zamyka tę lukę. To też lista, którą prowadzisz ręcznie, tak długo, jak to utrzymujesz.\nKonfiguracja nginx map $http_upgrade $connection_upgrade { default upgrade; \u0026#39;\u0026#39; close; } server { listen 443 ssl; listen [::]:443 ssl; server_name ha.example.com; ssl_certificate /etc/nginx/pki/server-chain.pem; ssl_certificate_key /etc/nginx/pki/server.key; ssl_protocols TLSv1.2 TLSv1.3; # The mTLS half: only certificates from our CA, and not revoked. ssl_client_certificate /etc/nginx/pki/client-ca.pem; ssl_verify_client on; ssl_verify_depth 2; ssl_crl /etc/nginx/pki/crl-chain.pem; location / { proxy_pass http://192.0.2.10:8123; proxy_http_version 1.1; proxy_set_header Host $host; proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for; proxy_set_header X-Forwarded-Proto $scheme; proxy_set_header Upgrade $http_upgrade; proxy_set_header Connection $connection_upgrade; } } Linia Po co tam jest listen [::]:443 ssl bez niej nginx działa tylko po IPv4, a telefon w sieci IPv6 nie ma gdzie wylądować ssl_verify_client on bez certyfikatu nie ma wejścia. optional przepuściłoby żądanie, żeby ocenić je później ssl_verify_depth 2 step-ca podpisuje z certyfikatu pośredniego, więc łańcuch to telefon, pośredni, główny. Domyślne 1 nie sięga do końca3 ssl_client_certificate certyfikat pośredni i główny w jednym pliku ssl_crl CRL ze step-ca i CRL z głównego CA w jednym pliku. nginx sprawdza każde ogniwo łańcucha, więc potrzebuje obu Upgrade i Connection aplikacja rozmawia z Home Assistant przez WebSocket. Bez nich aplikacja się ładuje, a potem stoi Plik CRL to część, która wymaga uwagi, i wszystko o nim jest w certyfikatach klienta ze step-ca: dlaczego CRL ze step-ca jest odrzucana, dopóki szablon nie poprawi jej zakresu, dlaczego nginx chce też CRL z głównego CA i timer, który odświeża ją, zanim wygaśnie. Pomiń to, a nginx zablokuje każdy telefon, dobre też.\nCo wróciło z testu:\nKlient IPv4 IPv6 Brak certyfikatu 400 No required SSL certificate was sent 400 phone1 200, X-Forwarded-For: 127.0.0.1 200, X-Forwarded-For: ::1 phone2, unieważniony 400 The SSL certificate error 400 phone1, przejście na WebSocket 200, Upgrade: websocket przekazany dalej 200, Upgrade: websocket przekazany dalej Zanim weszła linia listen dla IPv6, żądanie po IPv6 w ogóle się nie łączyło. curl kończył kodem 7.\nKonfiguracja Caddy ha.example.com { tls /etc/caddy/pki/server-chain.pem /etc/caddy/pki/server.key { client_auth { mode require_and_verify trust_pool file /etc/caddy/pki/client-ca.pem verifier leaf { file /etc/caddy/pki/allowed-phones.pem } } } reverse_proxy 192.0.2.10:8123 } require_and_verify oznacza, że certyfikat musi być i musi prowadzić łańcuchem do CA2. verifier leaf to unieważnianie. Wchodzą tylko certyfikaty z allowed-phones.pem, więc unieważnienie telefonu oznacza usunięcie jego certyfikatu z tego pliku i przeładowanie.\nKlient IPv4 IPv6 Brak certyfikatu handshake odrzucony handshake odrzucony phone1, na liście 200, X-Forwarded-For: 127.0.0.1 200, X-Forwarded-For: ::1 phone2, unieważniony, tylko kontrola CA 200 phone2, spoza listy handshake odrzucony handshake odrzucony phone1, przejście na WebSocket po HTTP/1.1 200, Upgrade: websocket przekazany dalej Lista dozwolonych ma własną pułapkę i test wpadł w nią prosto. Lista trzyma konkretne certyfikaty, a nie nazwy. Wystaw telefonowi nowy certyfikat, a nowego nie ma na liście. phone1 dostał nowy certyfikat w połowie testów i Caddy odrzucał go z tls alert bad certificate, dopóki lista nie została przebudowana. Każde odnowienie to teraz dwie roboty. Wystaw certyfikat, potem zaktualizuj listę. Zapomnij o drugiej, a telefon jest zablokowany za nic.\nCaddy przy starcie zapisuje też w logu enabling strict SNI-Host enforcement because TLS client auth is configured. To robi dokładnie to, co trzeba: żądanie musi prosić o tę samą nazwę hosta w handshake\u0026rsquo;u co w żądaniu HTTP, więc nikt nie przejdzie kontroli certyfikatu dla jednej strony, by potem poprosić o inną.\nStrona Home Assistant Te same ustawienia co w wersji z Cloudflare, wycelowane w inne proxy. W Ustawienia → System → Sieć → Serwer HTTP4:\nUstawienie Wartość Dlaczego Ufaj X-Forwarded-For włączone bez tego Home Assistant odrzuca żądania przez proxy Zaufane proxy tylko adres proxy, IPv4 i IPv6, na przykład 192.0.2.20 i 2001:db8::20 tylko ta maszyna może twierdzić, że przekazuje ruch za kogoś Włącz blokowanie IP włączone blokady trafiają w prawdziwy adres klienta, który przekazuje proxy Adres URL Home Assistant, Internet https://ha.example.com aplikacja bierze go jako swój adres zewnętrzny Wpisz adres IPv6 proxy, a nie tylko IPv4. Test pokazuje, że nginx po IPv6 przekazuje ::1 jako adres klienta, a w praktyce przekazuje to, z czego przyszedł telefon. Jeśli Home Assistant ufa tylko adresowi IPv4 proxy, każde żądanie, które dociera do niego od proxy po IPv6, zostaje odrzucone.\nTelefon Ze step-ca telefon potrzebuje trzech plików. Wszystko to opisuje artykuł o certyfikatach klienta ze step-ca, a uruchomienie samego CA Twój własny urząd certyfikacji.\nPlik Zainstaluj jako Certyfikat główny certyfikat CA Certyfikat pośredni certyfikat CA Plik PKCS12 telefonu certyfikat użytkownika VPN i aplikacji5 Certyfikat serwera na proxy też pochodzi ze step-ca. Aplikacja Home Assistant na Androida ufa certyfikatom CA instalowanym przez użytkownika6, więc go przyjmuje, i to jest drugi zamek, a nie utrapienie. Urządzenie, które nie ma twojego certyfikatu głównego, nie ufa serwerowi, zanim w ogóle pojawi się pytanie o jego własny certyfikat.\nPotem ustaw poziom bezpieczeństwa połączenia w aplikacji na Most secure, tak samo jak w wersji z Cloudflare7.\nGdzie to zawodzi Przypadek Co się dzieje Co zrobić CRL wygasa nginx odrzuca każdy telefon odświeżaj ją timerem, jak w artykule o step-ca CRL głównego CA wygasa to samo, rok później data w kalendarzu Caddy, telefon unieważniony wchodzi, chyba że zniknął z listy dozwolonych prowadź listę albo użyj nginx Caddy, telefon z nowym certyfikatem zablokowany, dopóki lista nie zostanie zaktualizowana aktualizuj listę przy każdym certyfikacie Domowe łącze za carrier-grade NAT, bez IPv6 nic nie dosięgnie przekierowania portu IPv6 albo wersja z Cloudflare Zalew ruchu wycelowany w domowe łącze odcina cały dom, a nie tylko Home Assistant wersja z Cloudflare, jeśli to martwi cię bardziej niż ktoś trzeci iPhone, Wear OS tak samo jak w wersji z Cloudflare: udokumentowana aplikacja to Android, Wear OS chce PKCS12 przy konfiguracji5 przetestuj, zanim zaczniesz na tym polegać Nic z tego nie jest ukryte. Każde to robota. Zapisz ją z datą albo poleceniem obok, a zostanie robotą, a nie niespodzianką.\nCała rzecz na własność Wersja z Cloudflare i ta trzymają z dala tego samego obcego. Różnica polega na tym, komu musisz przy tym ufać.\nZ Cloudflare ufasz firmie, że utrzyma bramę, odszyfruje ruch i dalej będzie to dawać za darmo. Tutaj ufasz sobie, że odświeżysz CRL, utrzymasz listę w porządku i zauważysz, kiedy nadejdzie jakaś data. Żadne nie obywa się bez zaufania. Jedno rozkłada je na kogoś, komu nic nie płacisz i do kogo nie możesz zadzwonić. Drugie trzyma je w domu, gdzie widzisz, jak się psuje, i możesz to naprawić.\nJeśli chodzi o frontowe drzwi domu, wiem, co wolę. Robota to kilka plików i timer. Jedyne, o co to naprawdę prosi, to żebyś o to dbał, i to właśnie zawsze znaczyło mieć coś na własność.\nCloudflare — DDoS Protection — automatyczne wykrywanie i łagodzenie DDoS, „Available on all plans”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCaddy — tls directive, client_auth — require_and_verify „Require clients to present a valid certificate that is verified”; „The one verifier, currently, shipped in standard Caddy is leaf”, który sprawdza, czy certyfikat „is one of a defined set of permitted certificates”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nnginx — ngx_http_ssl_module — ssl_verify_depth domyślnie 1; ssl_crl: „When using intermediate certificates, their CRLs should be specified in the same file.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nHome Assistant — HTTP integration — reverse proxy, zaufane proxy i blokowanie IP; ustawienia w interfejsie od 2026.8.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nHome Assistant Companion — Getting Started, TLS client authentication — instalacja jako „VPN \u0026amp; app user certificate”; Wear OS wymaga podania certyfikatu jako PKCS12 przy wdrażaniu.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nhome-assistant/android — network_security_config.xml — kotwice zaufania to system plus user: „Additionally trust user added CAs”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nHome Assistant Companion — Connection security level — Most secure używa nieszyfrowanego adresu URL tylko w sieci domowej.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\n","permalink":"https://blogs.damiendye.uk/pl/homeassistant/home-assistant-app-mtls-nginx-caddy/","summary":"Zamknięcie aplikacji Home Assistant na certyfikat klienta z nginx albo Caddy w domu, ze step-ca jako urzędem certyfikacji zamiast Cloudflare. Co się zmienia, gdy Cloudflare znika ze ścieżki, konfiguracja nginx i konfiguracja Caddy, każda przetestowana bez certyfikatu, z dobrym, z unieważnionym i z przejściem na WebSocket, po IPv4 i IPv6, dlaczego nginx potrafi sprawdzić CRL, a Caddy może tylko trzymać listę dozwolonych, ustawienia zaufanych proxy w Home Assistant, co trzeba zainstalować na telefonie i gdzie to wszystko zawodzi.","title":"Aplikacja Home Assistant zamknięta na certyfikat, z nginx albo Caddy i bez Cloudflare"},{"content":"Po co własny CA Spójrz, co dziś jest w domowej sieci. NAS, Proxmox, Home Assistant, drukarka, strona administracyjna routera. Każde z nich serwuje HTTPS z certyfikatem self-signed. Każda przeglądarka, która tam zagląda, wyrzuca ostrzeżenie. Ludzie je przeklikują. Potem przeklikują następne i kolejne, aż przeklikiwanie ostrzeżenia o certyfikacie staje się po prostu tym, co się robi. To nawyk, którego potrzebuje atakujący.\nPubliczny CA tego nie naprawi. Let\u0026rsquo;s Encrypt nie wystawi certyfikatu dla localhost, „because nobody uniquely owns it”1, i to samo dotyczy każdej nazwy, która istnieje tylko w domu. Nawet dla prawdziwej domeny każdy wystawiony certyfikat trafia do publicznych logów Certificate Transparency2. Weź certyfikat dla nas.yourname.uk, a nazwa twojego NAS-a staje się publicznym zapisem.\nWłasny CA naprawia jedno i drugie. Podpisuje dowolne nazwy, których używasz w środku. Nic nigdzie nie jest publikowane. Gdy każde urządzenie zaufa jego rootowi, ostrzeżenia znikają, a ostrzeżenie znowu zaczyna coś znaczyć.\nstep-ca to otwartoźródłowy CA od Smallstep i działa w jednym kontenerze. Wszystko tutaj uruchomiono na step-ca 0.30.2 w Podmanie, z Caddy 2.11.7 i nginx 1.30.5 jako klientami.\nZastosowanie Co daje mu step-ca Sekcja Każde urządzenie ufające twoim certyfikatom Jeden root do zainstalowania, raz Zaufanie do roota Wewnętrzne HTTPS dla wszystkiego, co mówi ACME Ten sam protokół co Let\u0026rsquo;s Encrypt, dla nazw wewnętrznych Wewnętrzne HTTPS przez ACME Usługi bez klienta ACME Certyfikaty, które same się odnawiają według zegara Usługi, które nie potrafią ACME Telefony i inne certyfikaty klienckie Klucze, którymi urządzenie się wpuszcza, i sposób na ich unieważnienie Własny wpis: ustawienia domyślne z tym walczą Logowania SSH Certyfikaty zamiast authorized_keys Własny wpis: inna konfiguracja Dwa z nich mają własne wpisy, bo każdy to osobna konfiguracja. Certyfikaty klienckie ze step-ca opisuje telefony i mTLS, gdzie trzeba zmienić pięć ustawień domyślnych. Logowania SSH podpisane przez step-ca opisuje SSH, które używa innych kluczy i innych plików na każdej maszynie.\nUruchomienie Obraz inicjalizuje się sam przy pierwszym uruchomieniu na podstawie kilku zmiennych środowiskowych3. Dwie z nich decydują o rzeczach, których później nie zmienisz bez zaczynania od nowa, więc ustaw je pierwszego dnia.\nZmienna Co robi DOCKER_STEPCA_INIT_NAME Nazwa wystawcy na każdym certyfikacie DOCKER_STEPCA_INIT_DNS_NAMES Nazwy, na których odpowiada CA DOCKER_STEPCA_INIT_ACME=true Dodaje provisioner ACME do wewnętrznego HTTPS DOCKER_STEPCA_INIT_SSH=true Tworzy też klucze CA dla hostów i użytkowników SSH Przełączniki ACME i SSH czyta entrypoint obrazu4. Włącz je teraz, nawet jeśli dziś chcesz tylko jednego. Dodanie SSH później oznacza budowę nowego CA.\npodman run -d --name step-ca \\ -v step:/home/step \\ -p 9000:9000 \\ -e DOCKER_STEPCA_INIT_NAME=\u0026#34;Home CA\u0026#34; \\ -e DOCKER_STEPCA_INIT_DNS_NAMES=\u0026#34;localhost,ca.home.example\u0026#34; \\ -e DOCKER_STEPCA_INIT_ACME=true \\ -e DOCKER_STEPCA_INIT_SSH=true \\ docker.io/smallstep/step-ca:0.30.2 Buduje roota, pośredni CA podpisany przez tego roota, klucze SSH i trzy provisionery, a potem serwuje na porcie 9000:\nX.509 Root Fingerprint: cd2f8d4c60af32a0a534781cd63b4e2a9ce362e2c1ae5983b56a370bfa2c2489 SSH Host CA Key: ecdsa-sha2-nistp256 AAAAE2VjZHNhLXNoYTItbmlzdHAyNTYAAAAIbmlzdHAy... SSH User CA Key: ecdsa-sha2-nistp256 AAAAE2VjZHNhLXNoYTItbmlzdHAyNTYAAAAIbmlzdHAy... Serving HTTPS on :9000 ... Provisioner Typ Podpisuje admin JWK Wszystko, o co poprosisz z jego hasłem acme ACME Certyfikaty dla klientów, którzy udowodnią, że są właścicielami nazwy sshpop SSHPOP Odnowienia certyfikatów hostów SSH Provisioner to wyobrażenie CA o tym, „kto pyta”. Każdy ma własne reguły, a większość tego, co dalej, to ustawianie tych reguł.\nJeden CA, pięć zastosowań kontener step-ca Root, pośredni jeden root do zaufania acme admin sshpop CRL provisionery Każde urządzenie ufa rootowi, raz Caddy, ACME 24 h, odnawia się sam Bez ACME step ca renew --daemon Telefony 1 rok, unieważniane CRL SSH osobny wpis Jeden root, zaufany raz, i provisioner dla każdej drogi wejścia. Klienci ACME i odnawiane usługi żyją z domyślnymi 24 godzinami; telefony potrzebują zmiany; SSH ma własny wpis. Przypnij wersję. latest to było 0.30.2 w dniu pisania, a CA to ostatnia rzecz, która powinna ci się zmienić pod nogami przy pobraniu obrazu.\nDwa hasła, nie jedno Przewodnik Smallstep po Dockerze mówi, że jedno wygenerowane hasło obejmuje zarówno „the encrypted CA keys and the default CA provisioner”, trzymane w secrets/password3. W tym obrazie tak się nie dzieje. Spróbuj wystawić certyfikat z tym hasłem, a provisioner odmówi:\nfailed to decrypt JWE: invalid password Wyjaśnia to entrypoint samego obrazu. Generuje dwa losowe hasła, jedno do kluczy CA i jedno do provisionera. Hasło provisionera jest raz wypisywane do logu, a potem niszczone4:\necho \u0026#34;👉 Your CA administrative password is: $(\u0026lt; $STEPPATH/provisioner_password )\u0026#34; ... shred -u $STEPPATH/provisioner_password Hasło Co odblokowuje Gdzie ląduje secrets/password Klucze roota i pośredniego CA W wolumenie, używane przy każdym starcie CA Hasło provisionera Provisioner admin, który podpisuje każdy certyfikat, o który poprosisz Log pierwszego uruchomienia i nigdzie indziej Przeczytaj więc log przy pierwszym starcie i schowaj to drugie hasło w bezpiecznym miejscu. Zgub je, a nie wystawisz kolejnego certyfikatu bez ręcznego wycinania provisionera. Ustaw DOCKER_STEPCA_INIT_PASSWORD przed pierwszym startem, jeśli wolisz wybrać hasło sam; entrypoint użyje go wtedy do obu4.\nZaufanie do roota Nic nie ufa twojemu CA, dopóki mu tego nie każesz. Maszyna z Debianem prosi Caddy o stronę podpisaną przez step-ca:\n$ curl https://nas.home.example/ curl: (60) SSL certificate problem: unable to get local issuer certificate Skopiuj roota, a to samo żądanie przechodzi:\ncp root_ca.crt /usr/local/share/ca-certificates/home-ca.crt update-ca-certificates $ curl https://nas.home.example/ internal service, certificate from step-ca To cała robota. Raz na urządzenie. step certificate install robi to samo dla systemu, na którym działa5. Do magazynu zaufania trafia tylko root. Pośredni CA podróżuje z każdym certyfikatem, a telefon, który ma przedstawiać certyfikat kliencki, też go potrzebuje, o czym jest wpis o certyfikatach klienckich.\nTraktuj roota jak klucz do drzwi wejściowych, którym właśnie się stał. Wszystko, co ma klucz prywatny roota, może wybić certyfikat dla dowolnej nazwy, a każde urządzenie, które mu ufa, w niego uwierzy.\nWewnętrzne HTTPS przez ACME ACME to protokół, którego używa Let\u0026rsquo;s Encrypt, a step-ca mówi nim dla nazw wewnętrznych6. Wszystko, co ma klienta ACME, dostaje certyfikaty wewnętrzne tak samo jak publiczne, łącznie z odnowieniami. Dla Caddy to dwie linie globalne:\n{ acme_ca https://ca.home.example:9000/acme/acme/directory acme_ca_root /etc/caddy/root_ca.crt } nas.home.example { reverse_proxy 192.0.2.30:5000 } Co Caddy zalogował przy pierwszym starcie:\n\u0026#34;msg\u0026#34;:\u0026#34;trying to solve challenge\u0026#34;,\u0026#34;identifier\u0026#34;:\u0026#34;nas.home.example\u0026#34;,\u0026#34;challenge_type\u0026#34;:\u0026#34;tls-alpn-01\u0026#34; \u0026#34;msg\u0026#34;:\u0026#34;certificate obtained successfully\u0026#34;,\u0026#34;identifier\u0026#34;:\u0026#34;nas.home.example\u0026#34; Sprawdzenie Wynik Wyzwanie tls-alpn-01, na które Caddy odpowiada na porcie 443 Wystawca Home CA Intermediate CA Czas życia 24 godziny, od 17:31 do 17:32 następnego dnia Odnowienie Robota samego Caddy, nic do ustawiania Certyfikat na 24 godziny brzmi niepokojąco. Niepotrzebnie. Klient ACME odnawia go na długo przed wygaśnięciem, codziennie, bez niczyjego udziału. Skradziony klucz jest wart jeden dzień. Na takim ustawieniu domyślnym zbudowano step-ca i tutaj jest ono dokładnie trafne.\nWyzwanie wymaga jednak, by CA dosięgnął nazwy, którą podpisuje. step-ca musi rozwiązać nas.home.example i połączyć się z nią na porcie 443 dla tls-alpn-01 albo na porcie 80 dla http-01. Wewnętrzny DNS, którego używają obie strony, to rzecz, którą trzeba ustawić dobrze jako pierwszą.\nUsługi, które nie potrafią ACME Mnóstwo sprzętu nie ma klienta ACME: interfejs WWW hiperwizora, drukarka, stare urządzenie. Dla nich wystaw certyfikat provisionerem admin i odnawiaj go przez step ca renew:\nstep ca certificate proxmox.home.example pve.crt pve.key step ca renew --force pve.crt pve.key Numer seryjny Ważny do Wystawiony 241943140971… 2026-10-10 17:33:03 Po step ca renew 206409156462… 2026-10-10 17:33:06 Nowy numer seryjny, świeże 24 godziny i żadnej prośby o hasło. Bieżący certyfikat dowodzi, kto pyta, i o to chodzi: odnowienie nie potrzebuje na maszynie żadnego sekretu poza kluczem, który już tam jest. Potrzebuje za to, by certyfikat był jeszcze ważny, więc odnowienie, które przegapi swoje okno, oznacza ponowne ręczne wystawienie.\nPozostawione w działaniu odnawia się samo. --daemon domyślnie odnawia po dwóch trzecich czasu życia, a --exec uruchamia polecenie po każdym odnowieniu, i tam idzie przeładowanie7:\nstep ca renew --daemon --exec \u0026#34;systemctl reload nginx\u0026#34; pve.crt pve.key Uruchom to z jednostki systemd, a maszyna sama o siebie zadba. Zapomnij o tym, a za 24 godziny usługa rzuci to samo ostrzeżenie, którego chciałeś się pozbyć.\nCA to łatwa część Uruchomienie step-ca zajęło jedno polecenie. Przekonanie maszyny z Debianem, by mu ufała, zajęło dwa. Caddy potrzebował dwóch linii i już o nic więcej nie prosił. To ta część, którą ludzie odkładają latami, żyjąc z ostrzeżeniem przeglądarki na każdej wewnętrznej stronie, a to najtańsza robota na tej liście.\nKosztuje wszystko, czego certyfikat dotyka po wystawieniu: root na każdym urządzeniu, odnowienia, których nikt nie pilnuje, ta jedna usługa, która nie potrafi ACME i o której trzeba pamiętać. Nic z tego nie jest trudne. Wszystko to jest robotą, która jest porządnie zrobiona tylko wtedy, gdy ktoś za nią odpowiada.\nDomowa sieć to małe gospodarstwo. Zasługuje na to samo, co dostaje porządne: jeden root, trzymany ostrożnie, zaufany świadomie, i ostrzeżenie, które coś znaczy, gdy się pojawia. W związku z tym CA nie jest sprytną częścią. Sprytna część to już nigdy niczego nie przeklikiwać.\nLet\u0026rsquo;s Encrypt — Certificates for localhost — nie może wystawić dla „localhost”, „because nobody uniquely owns it, and it’s not rooted in a top level domain”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLet\u0026rsquo;s Encrypt — Certificate Transparency logs — „Let\u0026rsquo;s Encrypt submits all certificates we issue to CT logs.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nSmallstep — Run a private CA in Docker — zmienne DOCKER_STEPCA_INIT_*; mówi, że wygenerowane hasło jest dla „the encrypted CA keys and the default CA provisioner”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nsmallstep/certificates — docker/entrypoint.sh — generuje osobne pliki password i provisioner_password, raz wypisuje hasło provisionera i je niszczy; jedno podane hasło zapisuje do obu.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nSmallstep — step certificate install — instaluje certyfikat roota w systemowym magazynie zaufania.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nSmallstep — ACME basics — provisioner ACME w step-ca i obsługiwane typy wyzwań.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nSmallstep — step ca renew — z --daemon „By default, it will renew the certificate before 2/3 of the validity period of the certificate has elapsed”; --exec zapewnia „certificate reloads on your services”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\n","permalink":"https://blogs.damiendye.uk/pl/certificates/step-ca-in-a-container/","summary":"step-ca 0.30.2 od Smallstep uruchomiony w kontenerze Podman albo Docker jako urząd certyfikacji dla wszystkiego w domu, wszystko przetestowane. Dlaczego prywatny CA bije certyfikaty self-signed i publiczne dla nazw wewnętrznych, start z włączonymi ACME i SSH, dwa hasła generowane przez obraz i gdzie trafia każde z nich, zaufanie do roota na każdym urządzeniu, wewnętrzne HTTPS dla Caddy albo czegokolwiek, co mówi ACME, i step ca renew dla usług, które tego nie potrafią. Certyfikaty klienckie i SSH mają każdy własny wpis.","title":"Własny urząd certyfikacji: step-ca w kontenerze"},{"content":"Problem z dostępem do Home Assistant z zewnątrz Home Assistant prowadzi tu dom: światła, ogrzewanie, klimatyzację, ładowarkę samochodu, alarmy. Aplikacja na telefonie to sposób, w jaki korzysta się z tego wszystkiego poza domem, i to także sposób, w jaki dom wie, gdzie są telefony, bo aplikacja w tle raportuje lokalizację i czujniki.\nMusi więc działać, kiedy nikogo nie ma w domu. Pytanie brzmi: jak.\nZwykła odpowiedź to wystawić Home Assistant do internetu z hostname i stroną logowania. To działa. Oznacza też, że każdy na tej planecie może dotrzeć do strony logowania, próbować na niej haseł i sondować to, co stoi za nią. Strona logowania to hasło stojące między internetem a zamkami w twoich drzwiach wejściowych.\nNie chciałem tego. Wymagania były krótkie:\nŻadnej strony logowania dostępnej publicznie. Nic nie odpowiada, chyba że urządzenie jest jednym z naszych. Aplikacja Home Assistant ma dalej działać w tle, bez nikogo, kto klika przez logowanie. Nic dodatkowego uruchomionego na telefonach. Żadnego agenta VPN. Darmowy plan Cloudflare. Tunel już jest. Te cztery eliminują większość zwykłych opcji, zanim jeszcze zaczniesz.\nCo każda opcja naprawdę ci daje Dokumentacja Home Assistant wymienia drogi dostępu: Home Assistant Cloud, VPN, reverse proxy albo przekierowanie portu1. Cloudflare dodaje własne wersje dwóch ostatnich. Oto jak wypadają wobec tych czterech wymagań, co może pójść źle z każdą i ile każda kosztuje baterii.\nOpcja Kto dociera do strony logowania Aplikacja działa w tle Dodatkowo na telefonie Ile to naprawdę kosztuje Ryzyka Koszt baterii IPv4 i IPv6 Przekierowanie portu do Home Assistant Wszyscy Tak Nic Za darmo na rachunku. Każdy skan i każda próba hasła wykonuje się na Home Assistant, a DDoS ląduje na twoim domowym łączu Strona logowania otwarta dla każdego skanera. Dziura w routerze prosto do LAN. Domowe łącze za carrier-grade NAT nie ma portu do przekierowania2. Aplikacja: działa na Androidzie i iPhonie, to tylko URL Normalny IPv4 wymaga własnego publicznego adresu, a nie carrier-grade NAT. IPv6 wymaga otworu w firewallu, a telefon w Wi-Fi tylko z IPv4 do niego nie dotrze Cloudflare Tunnel, nic więcej Wszyscy Tak Nic Za darmo. Cloudflare przyjmuje DDoS, ale każda próba hasła dalej wykonuje się na Home Assistant Strona logowania otwarta dla każdego skanera i każdej listy haseł. Jedno zgadnięte hasło i atakujący ma maszynę w twoim LAN. Aplikacja: działa na Androidzie i iPhonie, to tylko URL Normalny Oba. Cloudflare odpowiada na każdym3, a dom tylko wybiera połączenie na zewnątrz4 Tunel plus logowanie Cloudflare Access Tylko po zalogowaniu Nie, wywołania w tle trafiają na logowanie Nic Za darmo. Obcy zatrzymują się na Cloudflare, zero obciążenia Home Assistant Lokalizacja i czujniki przestają raportować i nikt tego nie zauważa. Opublikowany jest tylko Home Assistant, za logowaniem. Aplikacja: nie umie wysłać nagłówka tokena usługi, którego potrzebuje Access5 Normalny Oba, tak jak tunel Tunel plus sieć prywatna WARP Nikt z zewnątrz Tak Agent WARP Za darmo. Nic publicznego do skanowania Działa na portach UDP, które sieć hotelowa albo biurowa może blokować6. Android pozwala na jeden VPN naraz7. Trasa może dać cały LAN na każdy zapisany telefon8. Aplikacja: niczego nie potrzebuje, ale WARP ma klientów na Androida i iPhone\u0026rsquo;a, a żadnego na zegarek z Wear OS9 Wyższy, stale włączony VPN Oba. Agent dociera do Cloudflare po każdym6 Home Assistant Cloud Każdy, kto ma URL Tak Nic 6,50 £ miesięcznie albo 65 £ rocznie10. Próby haseł dalej wykonują się na Home Assistant Strona logowania publiczna. Drogę do środka trzyma cudza firma: kiedy ich usługa leży, nie ma jak wejść. Jedno zgadnięte hasło i atakujący ma maszynę w twoim LAN. Aplikacja: działa na Androidzie i iPhonie Normalny W domu każdy, łączy się na zewnątrz do przekaźnika Nabu Casa11. IPv6 dla telefonu nie jest udokumentowane Przekierowanie portu do nginx albo Caddy z certyfikatem klienta Tylko urządzenia z certyfikatem Tak Certyfikat i root własnego CA Za darmo na rachunku. Obcy kosztuje handshake TLS na proxy, nigdy logowanie do Home Assistant, a DDoS ląduje na twoim domowym łączu Dziura w routerze do proxy, a nie do Home Assistant. Ty prowadzisz CA, a nieaktualna CRL odcina każdy telefon. Aplikacja: jak w wierszu z certyfikatem niżej Normalny Jak przekierowanie portu. nginx trzeba kazać słuchać na IPv6, Caddy robi to domyślnie Tunel plus certyfikat klienta Tylko urządzenia z certyfikatem Tak Certyfikat Za darmo. Obcy odprawieni na krawędzi, zero obciążenia Home Assistant Zgubiony telefon wchodzi, dopóki go nie unieważnisz. Zwykłe HTTPS na 443, blokowane tylko tam, gdzie blokowana jest sieć WWW. Opublikowany jest tylko Home Assistant i tylko dla posiadaczy certyfikatu. Aplikacja: obsługiwane na Androidzie; aplikacja na iPhone\u0026rsquo;a nie jest udokumentowana; Wear OS potrzebuje pliku PKCS12 przy konfiguracji12 Normalny Oba, tak jak tunel Tunel zdejmuje też ze stołu kwestię IPv4 kontra IPv6. Cloudflare odpowiada telefonowi na tym, co telefon ma, a dom zawsze tylko łączy się na zewnątrz, więc domowe łącze za carrier-grade NAT albo takie z IPv6 i bez żadnego publicznego IPv4 działa tak samo jak każde inne. Przekierowanie portu wymaga własnego publicznego adresu IPv4 albo IPv6 po obu stronach. Dlaczego tyle domowych łączy wciąż nie ma ani jednego, ani drugiego, to osobna historia, w We Never Ran Out of Addresses. We Ran Out of Effort..\nSam tunel naprawia router, a nie ekspozycję. cloudflared nawiązuje wyłącznie połączenia wychodzące, więc nie ma portu przychodzącego do przekierowania13, ale hostname, który publikuje, dalej serwuje stronę logowania każdemu, kto o nią poprosi.\nCzy Cloudflare Access to naprawia? Dla przeglądarki tak, i tak używają go pulpity w Zero Trust VDI Without the Cloud Bill. Dla aplikacji to zły kształt. Access stawia człowieka przed stroną logowania, a ruch aplikacji w tle nie ma człowieka. Zwykłe obejście to token usługi wysyłany jako nagłówek, a aplikacja nie umie go wysłać. Jej web view nie daje możliwości dodania nagłówków do żądań POST ani do WebSocketów, a tak właśnie aplikacja rozmawia z Home Assistant, i dyskusja deweloperów kończy się na certyfikatach klienta jako „a better (more secure) alternative”5.\nWARP by to załatwił i odpadł, bo oznacza agenta na każdym telefonie. VPN kosztuje więcej baterii niż zwykłe łącze, bo to tunel trzymany otwarty cały dzień, niezależnie od tego, czy aplikacja coś mówi. Działa po UDP na portach, które sieć hotelowa albo biurowa może odrzucać, co zostawia cię odciętym dokładnie wtedy, gdy jesteś poza domem6. A Android uruchamia jeden VPN naraz7, więc WARP i służbowy VPN nie mogą działać jednocześnie. Home Assistant Cloud to dobra usługa i płaci za rozwój, ale to subskrypcja, a URL dalej serwuje stronę logowania temu, kto go znajdzie. Do tego oddaje drogę do twojego domu cudzej firmie. Ich usługa, ich konto, ich cena, ich warunki. To utrata suwerenności i to jest wymiana, o którą prosi cię każda oferta chmurowa: wygoda teraz, ktoś inny u sterów na zawsze.\nCloudflare nie różni się od tego co do istoty i byłoby nieuczciwe udawać, że jest inaczej. Każda opcja z tunelem w tej tabeli stawia go na ścieżce, a on kończy TLS na swojej krawędzi, i tylko dlatego reguła WAF w ogóle może odczytać wynik sprawdzenia certyfikatu. Różnica polega na tym, ile trzyma. Tutaj trzyma bramę. Home Assistant, jego dane i jego hasła zostają w domu, a jeśli Cloudflare zniknie, dom działa dalej, co jest ostatnim wierszem tabeli w sekcji „Gdzie to zawodzi”. Jeśli nawet to jest więcej zaufania, niż chcesz oddać, wersja z nginx i Caddy robi to samo sprawdzenie w twoim własnym domu, z twoim własnym CA, w zamian biorąc na siebie przekierowanie portu i obowiązki związane z CA.\nZostaje certyfikat klienta. Telefon dowodzi, czym jest, zanim Home Assistant zobaczy choćby jeden bajt.\nIle naprawdę kosztuje otwarcie na internet Za darmo na rachunku to nie to samo co za darmo. Wszystko, co odpowiada internetowi, płaci za to obciążeniem maszyny. Każda próba hasła na własnym logowaniu Home Assistant to sprawdzenie bcrypt z 12 rundami, wykonywane nawet wtedy, gdy nazwa użytkownika nie istnieje, więc zgadujący obcy kosztuje dokładnie tyle, co twoje logowanie14. To obciążenie ląduje na maszynie, która prowadzi dom, przez całą dobę, tak długo, jak skanery przychodzą. A przychodzą.\nZmierzyłem to na tej budowie. Hostname zaczął działać o 22:38 14 października 2026 i nie był nigdzie opublikowany. W ciągu dwóch godzin Cloudflare zalogował grubo ponad sto żądań do niego z dwudziestu kilku adresów w Singapurze, Kanadzie, Niemczech, Holandii, Grecji i Stanach Zjednoczonych, w większości jednego crawlera, który w kółko chodził po nowej nazwie. Nie umiem udowodnić, jak ją znaleźli, ale czas wskazuje na certificate transparency: Let\u0026rsquo;s Encrypt loguje każdy wystawiony certyfikat15, a skanery obserwują te logi. Każde z tych żądań zatrzymało się na krawędzi. Home Assistant nie zobaczył z tego nic. Ani jednego bajtu.\nPrzekierowanie portu jest jeszcze gorsze, bo wystawia na linię twój domowy adres. DDoS wymierzony w niego zapycha twój internet, a wtedy cały dom jest odcięty od sieci, nie tylko Home Assistant. Za tunelem powódź przyjmuje Cloudflare, w każdym planie, w tym Free16, i od 2017 nie wyrzucił klienta z powodu rozmiaru ataku17. Certyfikat robi ostatni krok. Obcy zostaje odprawiony na krawędzi, a Home Assistant nie wydaje na niego nic.\nDo tego dochodzi sieć, w której siedzi Home Assistant. To nie jest aplikacja webowa na wyspie. Siedzi w domowym LAN obok kamer, NAS i laptopów i trzyma poświadczenia do sporej części z nich. Przejdź przez jego logowanie, a masz maszynę w środku domu, a nie tylko pulpit. Przekierowanie portu to dziura w routerze wymierzona prosto w tę maszynę. WARP psuje się w drugą stronę, przez nadmierną hojność: trasa może opublikować całą sieć prywatną dla każdego zapisanego telefonu, a zawężenie tego to osobna polityka, o której napisaniu musisz pamiętać8. Zgub telefon z tym na pokładzie, a znalazca jest w twoim LAN. Certyfikat publikuje jeden hostname, dla urządzeń, które go mają, i nic innego w sieci nie jest w ogóle osiągalne z zewnątrz.\nmTLS w darmowym planie: która połowa jest za darmo Spora część porad w sieci mówi, że mTLS na Cloudflare wymaga Enterprise. Nie wymaga. Cloudflare sprzedaje mTLS dwa razy i tylko jedno z nich wymaga Enterprise.\nCertyfikaty klienta plus reguła WAF mTLS w Cloudflare Access Plan Free, Pro, Business, Enterprise Tylko Zero Trust Enterprise Urząd certyfikacji Zarządzany przez Cloudflare (własny to Enterprise) Tylko własny Certyfikaty w cenie 100 aktywnych na strefę Nie dotyczy Egzekwowane przez Własną regułę WAF, którą piszesz Politykę Access Unieważnianie Wbudowane, sprawdzane przez regułę Twoja własna CRL i Worker Pierwsza kolumna to ta, której chcemy. Własne CA na Cloudflare to Enterprise. Poza Cloudflare nic nie kosztuje, a omawiają to certyfikaty klienta z step-ca. Porównanie samego Cloudflare mówi to wprost: oferta Application Security zawiera 100 certyfikatów klienta na strefę za darmo, a mTLS w Access to funkcja Zero Trust Enterprise18. Plany Free, Pro i Business dostają 100 aktywnych certyfikatów na strefę, a unieważnienie jednego od razu zwalnia jego miejsce19. Dwa telefony zużywają dwa.\nDarmowy plan dostaje też pięć własnych reguł WAF20. To potrzebuje jednej.\nJak działa sprawdzenie Przepływ żądania przez mTLS Cloudflare do Home Assistant Telefon aplikacja HA ma certyfikat Ktoś inny skaner bez certyfikatu Krawędź Cloudflare, darmowy plan Handshake mTLS włączone dla ha.example.com prosi o certyfikat Reguła WAF zweryfikowany? nieunieważniony? inaczej Block Zablokowane nie dociera do HA Sieć domowa cloudflared tunel tylko wychodzący Home Assistant ufa tylko temu proxy banowanie IP włączone logowanie to drugi zamek przechodzi odpada Każde żądanie: krawędź prosi o certyfikat podczas handshake\u0026rsquo;u, reguła WAF blokuje wszystko niezweryfikowane albo unieważnione i dopiero wtedy żądanie idzie tunelem do Home Assistant. Cloudflare wykonuje pracę na swojej krawędzi. Kiedy mTLS jest włączone dla hostname, handshake TLS prosi klienta o certyfikat21. Samo to niczego nie blokuje. Klient, który nie wyśle certyfikatu, i tak się łączy. Po prostu przychodzi z polem weryfikacji ustawionym na false.\nBlokuje reguła WAF. Cloudflare udostępnia wynik sprawdzenia certyfikatu jako pola w swoim języku reguł22:\n(http.host eq \u0026#34;ha.example.com\u0026#34; and (not cf.tls_client_auth.cert_verified or cf.tls_client_auth.cert_revoked)) Action: Block Druga linijka jest tam nie bez powodu. Certyfikat, który unieważniono, dalej przechodzi weryfikację, bo cert_revoked równe true oznacza, że cert_verified też jest true23. Sprawdź tylko pierwsze pole, a unieważniony certyfikat wchodzi jak do siebie. Unieważnienie certyfikatu zgubionego telefonu nic nie znaczy, jeśli reguła o to nie pyta.\nOddajmy sprawiedliwość: ludzie z wątku o Home Assistant na Androida wypracowali tę regułę i ją opublikowali5. Dobry opis, oszczędził mi mnóstwo kopania.\nStrona Home Assistant Home Assistantowi trzeba powiedzieć, że stoi za proxy, i to nie jest opcjonalne. Żądania od reverse proxy są celowo blokowane, dopóki Home Assistant nie dostanie polecenia, żeby mu ufać24. Konektor cloudflared tunelu liczy się jako takie proxy.\nOd 2026.8 te ustawienia żyją w interfejsie, w Settings → System → Network → HTTP server, a nie w configuration.yaml24. Zapisanie ich restartuje Home Assistant, a administrator ma potem pięć minut na potwierdzenie nowych ustawień, zanim same się wycofają. To siatka bezpieczeństwa, o której warto wiedzieć, zanim zamkniesz się na zewnątrz.\nUstawienie Wartość Dlaczego Trust X-Forwarded-For Włączone Bez tego żądania przez proxy są odrzucane Trusted proxies Tylko adres maszyny z cloudflared Tylko ta maszyna może twierdzić, że przekazuje ruch za kogoś Enable IP banning Włączone, kilka prób Bany trafiają w prawdziwy adres klienta, a nie w adres Cloudflare Home Assistant URL, Internet https://ha.example.com Aplikacja bierze to jako swój zewnętrzny URL Wpis zaufanych proxy jest celowo wąski. Zaufaj całej podsieci, a każde urządzenie w niej może podrobić adres klienta, co czyni listę banów bezwartościową.\nPotem aplikacja. Dokumentacja aplikacji Companion omawia tę konfigurację z nazwy. Jeśli Home Assistant stoi za reverse proxy robiącym uwierzytelnianie klienta TLS, aplikacja prosi o certyfikat i chce go mieć zainstalowanego jako „VPN \u0026amp; app user certificate”12. Na telefonie bez certyfikatu dostajesz błąd albo pusty ekran, co jest właściwym wynikiem dla telefonu, który nie powinien wejść.\nUstaw poziom bezpieczeństwa połączenia w aplikacji na Most secure. Zwykły lokalny adres http:// jest wtedy używany tylko w domowym Wi-Fi, a wszędzie indziej aplikacja używa hostname HTTPS albo w ogóle odmawia połączenia25. Wymaga to uprawnienia do lokalizacji ustawionego na Androidzie na „Allow all the time”, którego aplikacja i tak potrzebuje do lokalizacji w tle.\nBudowa krok po kroku Krok Gdzie Co 1 Tunel Cloudflare Dodaj publiczny hostname, ha.example.com, wskazujący na Home Assistant w LAN. Najpierw przypnij adres maszyny. Mój to adres IPv6 zbudowany z jej MAC, więc nie może się przesunąć 2 SSL/TLS → Client Certificates Jeden certyfikat na telefon. Zrób klucz na własnej maszynie i daj Cloudflare CSR, które API przyjmuje26. Klucz nigdy nie opuszcza maszyny, która go zrobiła. Pozwól Cloudflare zrobić klucz, a zobaczysz go raz i nigdy więcej19 3 Client Certificates → Hosts Włącz mTLS dla ha 4 Security → WAF → Custom rules Dodaj regułę blokującą z góry 5 SSL/TLS → Edge Certificates Always Use HTTPS włączone, minimum TLS 1.2 6 Home Assistant → Network Zaufane proxy, banowanie IP, zewnętrzny URL, potem potwierdź w ciągu pięciu minut 7 Maszyna z Linuksem Zbuduj plik PKCS12 dla każdego telefonu 8 Każdy telefon Zainstaluj jako certyfikat użytkownika dla VPN i aplikacji, wybierz go w ustawieniach serwera w aplikacji, potem wymuś zatrzymanie aplikacji i otwórz ją ponownie. Ustaw aplikację na Most secure 9 Test Dane komórkowe, Wi-Fi wyłączone. Aplikacja się łączy. Przeglądarka bez certyfikatu zostaje zablokowana Jeden certyfikat na telefon, a nie jeden wspólny. Kiedy telefon zginie, unieważniasz ten telefon, a drugi działa dalej.\nTelefon chce mieć certyfikat i klucz w jednym pliku PKCS12. Cloudflare oddaje certyfikat jako PEM, a klucz już masz, więc je połącz:\nopenssl pkcs12 -export -in phone1.pem -inkey phone1.key \\ -name \u0026#34;ha-phone1\u0026#34; -out phone1.p12 Tu ludzie się zacinają. Android jest wybredny co do szyfrowania wewnątrz pliku, a dokumentacja Home Assistant mówi, żeby najpierw spróbować bieżącej wartości domyślnej, a do starszego kontenera z flagą -legacy OpenSSL sięgnąć tylko wtedy, gdy zostanie odrzucona27. Ta sama rada pojawia się w wątkach społeczności, gdzie plik, który dobrze zainstalował się na sprzęcie Apple, został odrzucony przez Androida5. Nie ma openssl na laptopie? Moduł cryptography Pythona zapisuje oba kontenery, bieżący i starszy, i to nim zbudowałem swoje.\nŚcieżka menu do instalacji zmienia się między producentami telefonów i wersjami Androida. Strona samego Google dla Pixela to punkt wyjścia28. Cokolwiek mówią menu, chcesz magazynu poświadczeń użytkownika, a nie magazynu CA.\nSzyfrowanie ostatniego odcinka Tunel kończy się na cloudflared, a cloudflared działa we własnej maszynie wirtualnej w domu. Stamtąd do Home Assistant pierwsza wersja szła zwykłym HTTP przez LAN. Jeden odcinek ścieżki bez TLS, wewnątrz sieci, w której są kamery. Za mało. W związku z tym dostał porządny certyfikat, a elementy są niżej.\nElement Ustawienie Dlaczego Dodatek Let\u0026rsquo;s Encrypt Wyzwanie DNS, dostawca dns-cloudflare, token z zakresem Zone, DNS, Edit na tej jednej strefie29 Wyzwanie HTTP nie może tu zadziałać. Walidator nie ma certyfikatu klienta, więc reguła WAF go blokuje Serwer HTTP Home Assistant Certyfikat /ssl/fullchain.pem, klucz /ssl/privkey.pem, zaufane proxy i banowanie IP w tym samym zapisie Jeden restart zamiast dwóch Ingress tunelu https://[address]:8123 z originServerName ustawionym na hostname30 cloudflared weryfikuje certyfikat originu, zamiast dostać polecenie, żeby nie patrzył Wewnętrzny DNS Hostname odpowiada w domu własnym adresem maszyny Telefony w domu idą prosto do niej. URL w LAN ma :8123; zewnętrzny nie może go mieć, bo Cloudflare nie przepuszcza tego portu przez proxy31 Odnowienie Automatyzacja uruchamia dodatek co noc i restartuje Home Assistant 1. i 15. dnia miesiąca Serwer HTTP ładuje certyfikat raz przy starcie i nigdy go nie odczytuje ponownie32 Po drodze ugryzły mnie dwie rzeczy. Zapisanie ustawień serwera HTTP restartuje Home Assistant, a kiedy wraca, mówi już tylko HTTPS, więc karta, z której zapisywałeś, nie może się ponownie połączyć. Otwórz adres HTTPS, zaloguj się tam, a pięciominutowe potwierdzenie zrobisz od tamtej strony.\nDruga to odnowienie. Let\u0026rsquo;s Encrypt daje ci dziewięćdziesiąt dni, a dodatek odnawia, gdy zostaje trzydzieści, więc restart dwa razy w miesiącu zawsze łapie nowy certyfikat z tygodniami zapasu. Codzienny restart byłby uciążliwy dla domu i nic by nie dawał.\nCzego nauczył mnie telefon Wszystko powyżej zostało napisane, zanim telefon trafił mi do ręki. Trzy rzeczy wyszły dopiero wtedy.\nCertyfikat ląduje w Credential storage w User credentials, oznaczony jako zainstalowany dla VPN i aplikacji, a nazwa, którą wpiszesz przy instalacji, to nazwa, którą potem pokazuje każde okno wyboru33. Zainstaluj go dwa razy, a dostaniesz dwa wpisy. Oba działają. Tak się o tym dowiedziałem.\nPotem przeglądarki. Z zainstalowanym certyfikatem Chrome przy pierwszym trafieniu na hostname wyświetlił systemowe okno wyboru, wysłał certyfikat i wylądował na stronie logowania. Helium, odgooglowany build Chromium, którego też używam, poszedł prosto na stronę blokady i w ogóle nie zapytał pęku kluczy. Ten sam telefon, ten sam certyfikat, ta sama minuta.\nKlient Pyta pęk kluczy Androida Co zobaczyła krawędź Chrome Tak, z oknem wyboru Certyfikat zweryfikowany, przejście do Home Assistant Helium Nie Zablokowane, każde żądanie Aplikacja Companion, web view Tak, kiedy ustawienie serwera wskazuje certyfikat Pulpit załadowany Aplikacja Companion, klient natywny Tak, ale dopiero po wymuszonym zatrzymaniu Wysyłki do webhooka blokowane do tego czasu, potem 200 To aplikacja kosztowała czas. Ma dwa klienty: web view, który rysuje pulpit, i natywny, który wysyła czujniki i lokalizację do webhooka. Ustaw certyfikat klienta TLS w ustawieniach serwera, a pulpit działa od razu. Wysyłki do webhooka dalej były blokowane na krawędzi, bo natywny klient zbudował swoją konfigurację TLS przy starcie aplikacji i jej nie przebudowuje. Wymuś zatrzymanie aplikacji, otwórz ją ponownie, a log krawędzi pokazuje wysyłki docierające do Home Assistant z 200. Nic w aplikacji ci o tym nie mówi.\nI URL. Z wyłączonym domowym Wi-Fi aplikacja próbowała hostname na porcie 8123, bo zewnętrzny URL, który wpisałem, przeniósł port z tego w LAN. Ten port idzie do Cloudflare, Cloudflare na nim nie słucha, a aplikacja tkwiła na dziesięciosekundowych timeoutach, zgłaszając, że nie może się połączyć. Zewnętrzny URL to goły hostname. Port zostaje w środku.\nGdzie to zawodzi Nic tu nie jest wolne od szorstkich krawędzi, więc oto one.\nPrzypadek Co się dzieje Co zrobić Telefon zgubiony albo sprzedany Jego certyfikat działa, dopóki go nie unieważnisz Unieważnij go w Client Certificates. Reguła sprawdza unieważnienie Zegarek z Wear OS Nie może użyć certyfikatu zainstalowanego w telefonie Dostarcz plik PKCS12 podczas konfiguracji samego zegarka12 iPhone Dokumentacja Companion oznacza tę sekcję jako tylko dla Androida Przetestuj, zanim na tym polegniesz Przeglądarka na laptopie poza domem Zablokowana, brak certyfikatu Zainstaluj certyfikat w przeglądarce albo się z tym pogódź Przeglądarka, która pomija pęk kluczy Androida Helium idzie prosto na stronę blokady Chrome albo aplikacja. Nic po stronie serwera nie pomoże Certyfikat odnowiony na Home Assistant Stary jest serwowany do restartu Restart dwa razy w miesiącu w automatyzacji Cloudflare leży Brak jakiegokolwiek dostępu zdalnego Dom dalej działa lokalnie. Po to się go uruchamia lokalnie Ten z przeglądarką to funkcja, a nie usterka. Wszystko bez certyfikatu jest obce, łącznie z moim własnym laptopem, dopóki mu go nie dam.\nKlucz, nie hasło Hasło to coś, co wiesz, a wszystko, co wiesz, można zgadnąć, wyłudzić phishingiem, użyć ponownie albo wyciec z cudzego wycieku. Wystaw stronę z hasłem do internetu, a wchodzisz w grę liczb przeciwko każdemu z botnetem i listą słów. Możesz w niej wygrywać latami. Wystarczy, że przegrasz raz.\nCertyfikat to coś, co trzyma urządzenie. Nikt go nie zgaduje. Nikt nie próbuje go milion razy, bo żądanie jest odrzucane na krawędzi, zanim jest na czym próbować. Strona logowania wciąż tam jest i wciąż ma znaczenie, ale teraz jest drugim zamkiem, a nie jedynym.\nTo, co stoi za tą stroną, nie jest aplikacją webową. To zamki, ogrzewanie, ładowarka samochodu i kamery. Traktuj to jak drzwi wejściowe, bo tym właśnie jest.\nRzecz, do której ciągle wracam, to to, że nic z tego nic nie kosztuje. Cloudflare rozdaje certyfikaty i regułę w darmowym planie. Home Assistant dokumentuje stronę aplikacji we własnej dokumentacji Companion. Jedyny koszt to wieczór porządnego czytania instrukcji, a w związku z tym domyślna strona z hasłem wystawiona na cały internet to wybór, którego ludzie dokonują przez to, że ich nie czytają.\nHome Assistant — Remote access — Home Assistant Cloud, VPN, reverse proxy i przekierowanie portu jako drogi dostępu.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 6598 — IANA-Reserved IPv4 Prefix for Shared Address Space — zakres 100.64.0.0/10 dla Carrier-Grade NAT, gdzie wielu klientów dzieli jeden publiczny adres i żaden nie dostaje portu przychodzącego.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCloudflare — IPv6 compatibility — domyślnie włączone w każdym planie; Cloudflare „auto generates AAAA DNS records to allow IPv6 clients to connect” do hostname\u0026rsquo;ów za proxy.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCloudflare — Tunnel run parameters, edge-ip-version — cloudflared domyślnie łączy się z Cloudflare po IPv4; 6 albo auto każe mu używać IPv6.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nhome-assistant/android PR #3593 — Add custom header support — web view nie umie dodać nagłówków do żądań POST ani WebSocket; certyfikaty klienta sugerowane zamiast tokenów usług; użytkownicy zgłaszają problemy z formatem certyfikatu na Androidzie.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCloudflare — Cloudflare One client firewall requirements — WireGuard na UDP 2408 z zapasowymi UDP 500, 1701 i 4500; MASQUE na UDP 443.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nAndroid Developers — VpnService — „There can be only one VPN connection running at the same time.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCloudflare — Connect an IP/CIDR — „You can connect an entire private network, a subnet, or an application defined by a static IP”; polityki sieciowe Gateway filtrujące ten ruch to osobny, zalecany krok.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCloudflare — Download Cloudflare One Client — klienty dla Windows, macOS, Linuksa, iOS 15+, Androida 5.0+ i ChromeOS; żaden klient dla Wear OS nie jest wymieniony.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNabu Casa — Pricing — Home Assistant Cloud za 6,50 £ miesięcznie albo 65,00 £ rocznie, bez podatku.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNabuCasa/hass-nabucasa — remote.py — Home Assistant rejestruje się w Nabu Casa, dostaje przekaźnik server i łączy się z nim na zewnątrz.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nHome Assistant Companion — Getting Started, TLS client authentication — instalacja jako „VPN \u0026amp; app user certificate”; Wear OS potrzebuje certyfikatu dostarczonego jako PKCS12 podczas wdrażania.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCloudflare — Cloudflare Tunnel — cloudflared tworzy wyłącznie połączenia wychodzące, więc na originie nie ma nasłuchu przychodzącego.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nHome Assistant core — auth/providers/homeassistant.py — hasła haszowane bcrypt z 12 rundami; nieznana nazwa użytkownika i tak uruchamia pozorne checkpw „to make timing the same as if user was found”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLet\u0026rsquo;s Encrypt — Certificate Transparency logs — „submits all certificates we issue to CT logs”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCloudflare — DDoS Protection — automatyczne wykrywanie i łagodzenie DDoS, „Available on all plans”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCloudflare blog — Unmetered Mitigation — „Cloudflare will no longer terminate customers, regardless of the size of the DDoS attacks they receive, regardless of the plan level they use.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCloudflare — Use mTLS with Cloudflare protected resources — „100 Client Certificates per Zone are included for free”; mTLS w Access to „Zero Trust Enterprise only feature”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCloudflare — Create a client certificate — 100 aktywnych certyfikatów na strefę w Free, Pro i Business; unieważnienie zwalnia miejsce; certyfikat i klucz nie są ponownie pokazywane po utworzeniu.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCloudflare — WAF custom rules — tabela dostępności: pięć własnych reguł w planie Free.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCloudflare — Enable mTLS — włączanie mTLS dla hostname, a potem egzekwowanie go własną regułą WAF.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCloudflare — Client certificate variables — pola mTLS dostępne we własnych regułach WAF.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCloudflare — cf.tls_client_auth.cert_revoked — „When true, the cf.tls_client_auth.cert_verified field is also true.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nHome Assistant — HTTP integration — reverse proxy, zaufane proxy i banowanie IP; ustawienia przeniesione do interfejsu w 2026.8 i wycofywane, jeśli nie zostaną potwierdzone w ciągu pięciu minut.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nHome Assistant Companion — Connection security level — Most secure używa nieszyfrowanego URL tylko w sieci domowej; wymaga lokalizacji „Allow all the time” na Androidzie.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCloudflare API — Create Client Certificate — przyjmuje csr i validity_days; klucz prywatny zostaje u ciebie.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nHome Assistant Companion — Networking, TLS Client Authentication — najpierw spróbuj bieżącej wartości domyślnej PKCS12, a kontenera OpenSSL -legacy tylko wtedy, gdy to zawiedzie.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nGoogle — Pixel Phone Help, Add \u0026amp; remove certificates — ręczna instalacja certyfikatu na Pixelu.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nHome Assistant Let\u0026rsquo;s Encrypt add-on — documentation — wyzwanie DNS; token Cloudflare „requires only the Zone:DNS:Edit permission”; certyfikaty odnawiają się tylko przy ponownym uruchomieniu dodatku.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCloudflare — Origin configuration parameters — originServerName, hostname, którego cloudflared oczekuje w certyfikacie originu.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCloudflare — Network ports — stała lista portów HTTP i HTTPS, które Cloudflare przepuszcza przez proxy; 8123 na niej nie ma.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nhome-assistant/core — components/http/server.py — _create_ssl_context wywołuje load_cert_chain raz, z async_bind.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nAndroid Developers — KeyChain — poświadczenia zainstalowane przez użytkownika i okno wyboru choosePrivateKeyAlias, które aplikacja wywołuje, żeby jedno wybrać.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\n","permalink":"https://blogs.damiendye.uk/pl/homeassistant/home-assistant-app-over-cloudflare-mtls/","summary":"Dostęp do Home Assistant z aplikacji na Androida poza domem bez wystawiania strony logowania do internetu. Jak opcje zdalnego dostępu wypadają pod względem ekspozycji, prawdziwego kosztu (obciążenie maszyny i DDoS, a nie tylko rachunek), ryzyka zablokowania i baterii, dlaczego Cloudflare Access i tokeny usług nie pasują do aplikacji, jak certyfikaty klienta z darmowego planu i własna reguła WAF zamykają hostname tunelu dla telefonów, które mają certyfikat, których ustawień Home Assistant potrzebuje reverse proxy, budowa pliku PKCS12, certyfikat Let\u0026rsquo;s Encrypt na originie i dlaczego odnowienie wymaga restartu, co zrobiły skanery w pierwszych dwóch godzinach i co telefon, Chrome, Helium i dwa klienty aplikacji Companion zrobiły z certyfikatem. Wersja z własnym nginx albo Caddy to osobny wpis.","title":"Aplikacja Home Assistant przez Cloudflare, zamknięta na certyfikat, w darmowym planie"},{"content":"Loguję się do laptopa YubiKeyem. PIN, dotyk, pulpit. Żadnego wpisanego hasła.\nPotem startuje pierwsza aplikacja, która chce zapisanego sekretu, i GNOME wyrzuca okienko: „An application wants access to the keyring \u0026lsquo;Login\u0026rsquo;, but it is locked.” Przy każdym logowaniu. To samo okienko, to samo pytanie, o hasło, którego przed chwilą miałem nie potrzebować.\nŻaden pojedynczy element nie jest zepsuty. Każda część robi to, do czego ją zbudowano. Kłopot w tym, że keyring zaprojektowano przy założeniu, że logowanie zawsze wiąże się z hasłem, a logowanie bez hasła łamie to założenie, nikomu o tym nie mówiąc.\nDlaczego logowanie kluczem głodzi keyring Keyring logowania to miejsce, w którym pulpit trzyma sekrety, które przekazują mu aplikacje: klucze Wi-Fi, klucze magazynu przeglądarki, tokeny, dzięki którym komunikatory, menedżery haseł i aplikacje do wideokonferencji pozostają zalogowane. Leży na dysku zaszyfrowany twoim hasłem logowania, a Secret Service API1 to sposób, w jaki aplikacje proszą o to, co jest w środku.\nNormalnie w ogóle go nie widzisz. Wpisujesz hasło na ekranie logowania, stos PAM sprawdza je z kontem, a moduł keyringu niżej w tym samym stosie po cichu podnosi to samo hasło i otwiera nim keyring, zanim pulpit skończy się rysować. Jedno hasło, dwie roboty.\nMój stos zaczyna się od tej linii:\nauth sufficient pam_u2f.so cue sufficient znaczy, że udany YubiKey kończy uwierzytelnianie od razu. Dokładnie tak Yubico dokumentuje logowanie bez hasła2. Działa. Oznacza też, że krok z hasłem nigdy się nie wykonuje, więc w stosie nie ma hasła, które moduł keyringu mógłby podnieść. Keyring zostaje zablokowany, dopóki coś o niego nie poprosi, a tym czymś jest aplikacja, która wystartuje pierwsza.\nDwie drogi wejścia i co każda daje keyringowi Dwie drogi wejścia i co każda daje keyringowi Keyring otwiera się tylko hasłem. Logowanie YubiKeyem go nie wytwarza, więc dostarcza je skrypt. Logowanie hasłem pam_unix sprawdza hasło pam_oo7 daje to samo hasło oo7-daemon keyring logowania odszyfrowuje się nim keyring otwarty, bez okienka Logowanie YubiKeyem (PIN + dotyk) pam_u2f to sufficient, więc kończy stos auth brak kroku z hasłem, brak hasła oo7-daemon nie dostaje nic keyring zamknięty, okienko przy użyciu Skrypt autostartu PIN + dotyk, klucz oddaje hmac-secret odszyfrowuje hasło, odblokowuje keyring Aplikacje czytające keyring czekają z uruchomieniem, aż się otworzy, więc żadna nie wywoła okienka pierwsza. Logowanie hasłem daje keyringowi jedyną rzecz, którą da się go otworzyć. Logowanie kluczem nie daje mu nic. Skrypt autostartu po prawej to budowa opisana w tym wpisie. Zwykłe poprawki i ile każda kosztuje Są cztery popularne odpowiedzi. Każda z nich z czegoś rezygnuje.\nPoprawka Co dostajesz Ile to kosztuje Wpisać hasło w okienku Nic do budowania Okienko przy każdym logowaniu. Klucz nic ci nie dał Puste hasło keyringu Okienko znika Każdy zapisany sekret leży na dysku niezaszyfrowany Hasło i klucz przy logowaniu Porządne dwa składniki, keyring otwiera się sam Wpisywanie hasła przy każdym logowaniu, czyli to, czego klucz miał oszczędzić Hasło zapieczętowane w TPM, odblokowane przy logowaniu Bez okienka, bez pisania Każdy, kto dostanie sesję na tej maszynie, dostaje sekrety. Bez PIN-u, bez klucza YubiKey hmac-secret (ten wpis) Bez okienka, PIN + dotyk, logowanie hasłem dalej działa Drugi PIN i dotyk po zalogowaniu oraz skrypt do pilnowania Puste hasło to rozwiązanie, na którym kończy się większość wątków na forach, i jest najgorsze ze wszystkich. Droga przez TPM jest przyzwoita, ale TPM nigdy o nic cię nie pyta, więc chroni dysk wyjęty z laptopa, a nie sesję, przy której ktoś usiadł, kiedy ty robiłeś herbatę. Chciałem, żeby keyring był przywiązany do tego samego, do czego przywiązane jest moje logowanie: do klucza i PIN-u, który do niego należy.\nKlucz potrafi przechować sekret Klucz FIDO2 robi więcej, niż mówi tak albo nie. Standard CTAP 2.1 ma rozszerzenie o nazwie hmac-secret, które „is used by the platform to retrieve a symmetric secret from the authenticator when it needs to encrypt or decrypt data using that symmetric secret”3.\nDziała to dość prosto. Gdy tworzysz poświadczenie, klucz generuje losowe wartości i trzyma je w sobie. Później wysyłasz mu sól, a on oddaje HMAC tej soli z kluczem w postaci swojej ukrytej wartości. To samo poświadczenie, ta sama sól, za każdym razem ta sama odpowiedź. Inny klucz: nic.\nSzczegół, który tu się liczy: klucz trzyma dwie takie ukryte wartości, CredRandomWithUV i CredRandomWithoutUV3. UV to weryfikacja użytkownika, co na tym kluczu oznacza PIN. Zapytaj z PIN-em, a dostaniesz jeden sekret. Zapytaj samym dotykiem, a dostaniesz zupełnie inny. PIN nie jest więc sprawdzeniem przykręconym przed sekretem. Jest częścią sekretu.\nWejście Gdzie mieszka Samo w sobie daje ci ID poświadczenia i sól ~/.local/share/yubikey-keyring/, zwykłe pliki Nic. Nie są tajne Zaszyfrowane hasło keyringu Ten sam folder, password.enc Nic bez sekretu do odszyfrowania Ukryta wartość poświadczenia W YubiKeyu, nigdy go nie opuszcza Nic bez soli i dotyku PIN Twoja głowa Wybiera sekret z PIN-em. Zły PIN, brak sekretu, a klucz liczy próbę Wszystkie cztery razem oddają hasło konta. Zabierz którekolwiek i jesteś przy okienku, czyli tam, gdzie i tak byś był.\nCo zbudowałem z Claude Hasło keyringu to celowo moje hasło konta. Dzięki temu logowanie hasłem działa normalnie: wpisujesz je na ekranie logowania, a stos PAM sam otwiera keyring, bez żadnego skryptu. Pomocy potrzebuje ścieżka przez YubiKey.\nElement Zadanie yubikey-keyring-setup Jednorazowo. Tworzy na kluczu poświadczenie FIDO2 z włączonym hmac-secret. Potrzebuje PIN-u i dotyku yubikey-keyring-reset Pyta o hasło konta, sprawdza je z prawdziwym kontem przez unix_chkpwd, zanim cokolwiek ruszy, szyfruje je sekretem chronionym PIN-em, robi kopię starego keyringu i tworzy nowy yubikey-keyring-unlock Działa przy logowaniu. Okno PIN-u, dotyk, odszyfrowanie, odblokowanie. Dwie próby PIN-u, potem się poddaje i zostawia ci normalne okienko wait-for-keyring Opakowuje wpisy autostartu każdej aplikacji, która czyta keyring. Wstrzymuje każdą do 60 sekund, aż keyring będzie otwarty Sekret wychodzi z fido2-assert4 z -h dla hmac-secret, -p dla dotyku i -v dla PIN-u. Hasło jest szyfrowane OpenSSL-em, AES-256 z 200 000 rund PBKDF2 na wyprowadzonym sekrecie. Przy logowaniu hasło podróżuje wyłącznie przez potok. Wyprowadzony sekret i, podczas resetu, wpisane hasło leżą przez chwilę w prywatnym katalogu tymczasowym pod /tmp, który na Fedorze jest tmpfs w RAM-ie, i są usuwane, gdy tylko zostaną użyte. Żadne z nich nigdy nie trafia do wiersza poleceń, w którym mógłby je zobaczyć ps.\nwait-for-keyring to element, który ludzie by pominęli. Nie pomijaj. Kolejność autostartu nie jest gwarantowana i jeśli któraś aplikacja poprosi o token sekundę przed tym, jak skończę wpisywać PIN, GNOME wyświetla stare okienko na moim, a poprawka wygląda na zepsutą, choć nie jest.\nSkrypty możesz wziąć: yubikey-keyring.zip, SHA-256 9b3670cf0f38c1b93e7738d2f68abef0380786d918491973e3ebefa5143e6263. Są w nim skrypty, instalator, README i uprząż testowa opisana niżej. Nie ma w nim żadnego poświadczenia, soli ani hasła. Te powstają na twojej własnej maszynie, gdy uruchamiasz setup. Przeczytaj README, a potem uruchom test/run.sh, zanim pozwolisz czemukolwiek z tego zbliżyć się do twojego prawdziwego keyringu.\nCo wyszło przy budowie To miała być godzina roboty. Większość wieczoru zeszła na rzeczy, o których dokumentacja nie wspomina.\nDemon zmienił mi się pod nogami Każdy poradnik do tego problemu, jaki przeczytałem, rozmawia z gnome-keyring-daemon i każdy z nich posłałby mnie w złą stronę, bo procesem odpowiadającym na mojej maszynie był oo7-daemon 0.7.0, beta. Laptop przeszedł na Fedorę 45 wcześniej tego samego wieczoru, transakcją dnf w 5464 krokach, i oo7 przyszedł razem z nią.\noo7 to implementacja Secret Service w Ruście, z własnym serwerem i własnym modułem PAM5. Trzeba mu oddać, że implementuje prywatny interfejs D-Bus gnome-keyringu do odblokowywania hasłem, więc istniejące narzędzia dalej działają. Ten interfejs nazywa się org.gnome.keyring.InternalUnsupportedGuiltRiddenInterface6. Nazwa mówi ci, na ile mu ufać. Działa, przetestowałem to, a i tak spodziewam się, że kiedyś się zmieni.\nPierwsze wpisane hasło staje się hasłem keyringu To jedno wyjaśniło cały wieczór.\nGdy oo7 startuje i nie znajduje pliku keyringu, nie tworzy go, tylko pokazuje aplikacjom zablokowany zamiennik o nazwie login, a pierwsze hasło, którym ktokolwiek odblokuje ten zamiennik, staje się hasłem keyringu, choć sam plik zapisuje się dopiero wtedy, gdy jakaś aplikacja zapisze swój pierwszy sekret.\nMój plik keyringu powstał o 20:45, a jego pierwszy element pochodził od aplikacji, która wystartowała kilka sekund wcześniej. Czyli o 20:45 wpisałem coś w okienko, którego chciałem się pozbyć, i to stało się hasłem. Nic, czego potem próbowałem, go nie otworzyło. Kod odblokowujący też nie był winny: udowodniłem to na jednorazowym keyringu ze znanym hasłem, który zablokował się, odblokował i usunął bez zarzutu.\nPotem sprawdziłem zamiennik na jednorazowym demonie. Zanim plik istnieje, odblokowuje go dowolne hasło, także błędne. Nic ci więc w danej chwili nie mówi, że właśnie ustawiłeś hasło. Dowiadujesz się przy następnym logowaniu, kiedy właściwe hasło, o ile wiesz, zostaje odrzucone.\nStan Odblokowanie dowolnym hasłem Co zostaje zapisane Brak pliku keyringu, pokazany zamiennik Udaje się Jeszcze nic Zapisany pierwszy element nie dotyczy Plik utworzony, zaszyfrowany tym, co wpisano Każde kolejne logowanie Działa tylko hasło z 20:45 nie dotyczy Przestałem więc za tym gonić. Reset robi kopię starego keyringu, odblokowuje zamiennik hasłem konta i od razu zapisuje element-znacznik, żeby plik powstał od ręki, z hasłem, które znam.\nNarzędzia FIDO2 biorą PIN tylko z terminala fido2-cred i fido2-assert czytają PIN z terminala sterującego i znikąd indziej. Skrypt uruchomiony przy logowaniu nie ma terminala. Jest więc mały wrapper, który uruchamia narzędzie pod pseudoterminalem, czeka na słowo PIN w jego wyjściu i wpisuje PIN z okna dialogowego. Dwadzieścia linii Pythona. Nie jest to piękne, ale robi swoje, a PIN nigdy nie dotyka pliku ani listy argumentów.\nTestuj tam, gdzie nie może ci zaszkodzić Najbardziej przydatne, co zrobił Claude Code, to odmowa zaufania skryptowi resetu na moim prawdziwym keyringu. Najpierw przepuścił cały przebieg przez drugi oo7-daemon na prywatnej sesji D-Bus (dbus-run-session), z jednorazowym katalogiem domowym, fałszywym starym keyringiem i testowym hasłem z £, @, \u0026quot; i # w środku.\nPierwsze uruchomienie się nie powiodło. Dobrze. Reset przeniósł stary keyring do kopii, zrestartował demona, zobaczył zamiennik login od oo7, wziął go za prawdziwy keyring i stanął. Na mojej maszynie zostawiłoby mnie to w ogóle bez keyringu i z kopią do ręcznego przywracania. Skrypt teraz odblokowuje zamiennik zamiast go odrzucać, a jeśli cokolwiek zawiedzie po zrobieniu kopii, sam przywraca stary keyring.\nWłasne zabezpieczenie Claude Code zatrzymało też wcześniejszą wersję resetu na prawdziwym keyringu, dopóki tego nie potwierdziłem. Irytujące w tamtej chwili. Dobra decyzja.\nTest, na jednorazowym demonie Wynik Reset z okienka w terminalu, stary keyring w kopii Zaliczony Stare hasło wobec nowego keyringu Odrzucone Świeży demon, jak przy logowaniu Startuje zablokowany Złe hasło Odrzucone Poprawne hasło, ta sama ścieżka co przy logowaniu hasłem Odblokowuje Świeży demon, PIN + dotyk przez skrypt odblokowujący Odblokowuje Skrypt odblokowujący przy już otwartym keyringu Kończy się od razu, bez prośby o dotyk A potem jeszcze raz na prawdziwym, z keyringiem zablokowanym ręcznie i skryptem odblokowującym uruchomionym tak, jak uruchamia go logowanie: PIN, dotyk, otwarte.\nSzorstkie krawędzie To działająca konfiguracja, a nie skończony produkt, a to są fragmenty, o których wiem.\nDwa wpisania PIN-u przy logowaniu kluczem. Jedno na ekranie logowania dla PAM, jedno dla keyringu. To osobne żądania do klucza i klucz ich nie połączy. Keyring na sam dotyk oszczędziłby jedno, kosztem tego, że PIN po zalogowaniu niczego by nie chronił. Zmień hasło konta, a przechowywana kopia się przeterminuje. Skrypt odblokowujący mówi o tym w powiadomieniu, zamiast zawodzić po cichu. Uruchom reset jeszcze raz i załatwione. Zgub klucz, a wracasz do wpisywania hasła. Nic nie przepada, bo hasło to dalej hasło konta. Niektóre aplikacje przepisują własne pliki autostartu. Jeśli któraś kiedyś znowu wywoła okienko, to dlatego, a wrapper trzeba założyć z powrotem. oo7 to beta, a wywołanie odblokowujące idzie przez interfejs z „Unsupported” w nazwie. Każdą aktualizację oo7 warto sprawdzić testowym logowaniem, zanim się na niej oprze. Na koniec Keyring nigdy nie był zepsuty. Klucz też nie. Zbudowano je na różnych założeniach o tym, czym jest logowanie, i nikt wyżej ich nie połączył. Logowanie bez hasła jest udokumentowane przez Yubico, dostarczane w profilach authselect Fedory i włączane jedną flagą funkcji. Nic w tym wszystkim nie mówi ci, że w chwili, gdy go użyjesz, każdy sekret trzymany przez twój pulpit zostaje zamknięty za hasłem, którego już nie wpisujesz.\nW związku z tym ta luka spada na tego, kto siedzi przy maszynie, a poprawka jest tak dobra, jak jego zrozumienie tego, gdzie sekret naprawdę mieszka. Łatwa odpowiedź, puste hasło, to ta, do której kieruje się większość ludzi, a ona wymienia okienko dialogowe na niezaszyfrowany plik z każdym tokenem, jaki masz. To nie jest poprawka. To ciche poddanie się.\nWłaściwy kształt był tam cały czas. Klucz potrafi przechować sekret, standard mówi to dosłownie, a PIN może być częścią tego sekretu, a nie drzwiami przed nim. Połączenie tego zajęło wieczór i uprząż testową. Nie powinno było wymagać ani jednego, ani drugiego.\nfreedesktop.org, Secret Service API Draft — API D-Bus, którego aplikacje pulpitu używają do zapisywania i pobierania sekretów, implementowane zarówno przez gnome-keyring, jak i oo7.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nYubico, pam-u2f — „For a passwordless experience, where the authenticator PIN can be used in place of the user password”, z przykładową linią auth sufficient pam_u2f.so authfile=/etc/u2f_mappings cue pinverification=1.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nFIDO Alliance, Client to Authenticator Protocol 2.1, section 12.5 HMAC Secret Extension — „This extension is used by the platform to retrieve a symmetric secret from the authenticator when it needs to encrypt or decrypt data using that symmetric secret” oraz „The authenticator generates two random 32-byte values (called CredRandomWithUV and CredRandomWithoutUV)”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nYubico, libfido2 fido2-assert manual — narzędzie wiersza poleceń do żądania asercji, z opcjami hmac-secret, obecności użytkownika i PIN-u.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nlinux-credentials/oo7 on GitHub — „server: org.freedesktop.secrets server implementation” oraz „pam: PAM integration for the server implementation”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\noo7 source, server/src/gnome/internal.rs — implementacja w oo7 wewnętrznego interfejsu odblokowania gnome-keyringu, w tym UnlockWithMasterPassword.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\n","permalink":"https://blogs.damiendye.uk/pl/random/yubikey-login-locked-keyring/","summary":"Logujesz się YubiKeyem, a GNOME i tak prosi o hasło, bo keyring logowania jest zaszyfrowany hasłem, którego twoje logowanie nigdy nie wytworzyło. Ten wpis opisuje, dlaczego pam_u2f jako sufficient głodzi keyring, ile kosztują zwykłe poprawki (puste hasło, wpisywanie go mimo wszystko, TPM) i poprawkę, którą zbudowałem: FIDO2 hmac-secret klucza, chroniony PIN-em i dotykiem, odszyfrowujący przechowywaną kopię hasła konta i odblokowujący oo7-daemon przy logowaniu. Potem to, co wyszło przy budowie: Fedora 45 zamieniła gnome-keyring na oo7, zastępczy keyring oo7 bierze pierwsze wpisane hasło za swoje, narzędzia FIDO2 czytają PIN tylko z terminala, a skrypt resetu zostawiłby mnie bez żadnego keyringu, co wyłapał test na jednorazowym demonie. Skrypty, instalator i ta uprząż testowa są do pobrania.","title":"YubiKey mnie loguje. Mojemu keyringowi nikt o tym nie powiedział."},{"content":"Licencja już jest w firmware Mnóstwo ludzi ma licencję na Fisher-Price OS (Windows), nigdy nie widząc jej klucza produktu. Przyszła z maszyną, a klucz żyje w firmware tej maszyny, w małej tabeli ACPI o nazwie MSDM.\nPotem maszyna przestaje być miejscem, gdzie toczy się praca. Albo jej właściciel chce mieć tę licencję w VM, którą teraz wynajmuje od ciebie, albo samą maszynę się czyści, zamienia w host Proxmox, a kopię systemu, z którą przyszła, chce się z powrotem jako VM na wierzchu.\nMechanicznie to jedna opcja QEMU. I w tym problem. QEMU przekazuje gościowi każdą tabelę bez sprawdzania, gość aktywuje się dowolnym kluczem, jaki znajdzie, a nic nigdzie w stosie nie pyta, czy licencja na cokolwiek z tego pozwala. Ten wpis opisuje, czym jest tabela, jak wprowadzić ją do VM bez przekazania uszkodzonej, co warunki Microsoftu mówią o jej przenoszeniu i dlaczego licencja zbiorowa nigdy się do niej nie zbliża.\nCzym jest tabela Od OEM Activation 3.0 producent PC nie drukuje już klucza na naklejce na spodzie obudowy, gdzie każdy z aparatem w telefonie może go skopiować, tylko klucz trafia do firmware maszyny. Fabryczne narzędzia Microsoftu „injects the product keys into the firmware”, a ich krok walidacji sprawdza „that the MSDM table exists” i że jej nagłówek oraz wpisy „comply with the correct formats”1. Maszyna przygotowana w ten sposób jest „activated by using the OA3 DPK in the firmware”2. MSDM to zwykła tabela ACPI, a w Linuksie czyta się ją wprost z firmware:\nsudo cat /sys/firmware/acpi/tables/MSDM \u0026gt; msdm.bin Laptop, na którym to pisałem, ma taką. 85 bajtów.\nOpublikowana specyfikacja Microsoftu definiuje standardowy 36-bajtowy nagłówek ACPI z sygnaturą MSDM, po czym się kończy. Wszystko za nagłówkiem to „Proprietary data structure that contains all the licensing data necessary to enable Windows activation”3.\nBajty Zawierają Wiadomo z 0 do 35 standardowy nagłówek ACPI: sygnatura MSDM, długość, suma kontrolna, OEM ID specyfikacji Microsoftu 36 do 55 20 bajtów pól: wersja, typ danych, długość danych prawdziwych tabel, nie z opublikowanej specyfikacji 56 do 84 29-znakowy klucz produktu, pięć grup po pięć prawdziwych tabel, nie z opublikowanej specyfikacji QEMU przekaże wszystko, co mu dasz -acpitable file= w QEMU bierze „whole ACPI table from the specified files, including all ACPI headers (possible overridden by other options)”4, a gość widzi wtedy tabelę MSDM dokładnie tak, jak przedstawiłoby ją firmware laptopa. Sprawdziłem to celowo fałszywym kluczem. Bajty wyszły po drugiej stronie identyczne, od sygnatury po ostatni znak.\nQEMU niczego nie odrzuca. Oto, co hw/acpi/core.c robi z zepsutym uploadem5:\nCo jest nie tak z plikiem Co robi QEMU Co widzi gość Długość w nagłówku nie zgadza się z plikiem ostrzega, potem nadpisuje długość prawdziwym rozmiarem poprawny nagłówek Suma kontrolna nie sumuje się do zera przelicza ją, w każdej tabeli, za każdym razem poprawną sumę kontrolną Klucz obcięty lub zniekształcony nic, dane za nagłówkiem to nie jego sprawa poprawnie wyglądającą tabelę wokół zepsutego klucza Gość nie ma jak poznać różnicy, ty też nie, dopóki ktoś nie otworzy zgłoszenia do supportu. Pierwsze, co ktokolwiek o tym usłyszy, to klient, któremu nie udała się aktywacja.\nJeśli więc klienci je przesyłają, sprawdzaj je, zanim QEMU w ogóle je zobaczy:\n#!/usr/bin/env python3 \u0026#34;\u0026#34;\u0026#34;Refuse anything that is not a well-formed MSDM table before QEMU sees it.\u0026#34;\u0026#34;\u0026#34; import re, struct, sys t = open(sys.argv[1], \u0026#39;rb\u0026#39;).read() fail = lambda why: sys.exit(f\u0026#34;{sys.argv[1]}: {why}\u0026#34;) if len(t) \u0026lt; 56: fail(f\u0026#34;{len(t)} bytes, too short for an MSDM table\u0026#34;) sig, length = t[:4], struct.unpack_from(\u0026#39;\u0026lt;I\u0026#39;, t, 4)[0] if sig != b\u0026#39;MSDM\u0026#39;: fail(f\u0026#34;signature is {sig!r}, not MSDM\u0026#34;) if length != len(t): fail(f\u0026#34;header says {length} bytes, file is {len(t)}\u0026#34;) if sum(t) \u0026amp; 0xff: fail(\u0026#34;checksum does not sum to zero\u0026#34;) ver, _, dtype, _, dlen = struct.unpack_from(\u0026#39;\u0026lt;5I\u0026#39;, t, 36) if (ver, dtype) != (1, 1): fail(f\u0026#34;version {ver}, data type {dtype}: expected 1 and 1\u0026#34;) if dlen != 29 or 56 + dlen != length: fail(f\u0026#34;data length {dlen}: expected 29\u0026#34;) key = t[56:].decode(\u0026#39;ascii\u0026#39;, \u0026#39;replace\u0026#39;) if not re.fullmatch(r\u0026#39;([0-9A-Z]{5}-){4}[0-9A-Z]{5}\u0026#39;, key): fail(\u0026#34;data is not a 5x5 product key\u0026#34;) print(f\u0026#34;OK OEM {t[10:16].decode(errors=\u0026#39;replace\u0026#39;).strip()!r} key *****-*****-*****-*****-{key[-5:]}\u0026#34;) Sprawdzenia Trzymają plik w Niepowodzenie oznacza Sygnatura, długość, suma kontrolna udokumentowanym nagłówku Microsoftu plik jest zepsuty Wersja, typ danych, długość danych, kształt klucza kształcie, jaki mają prawdziwe tabele obejrzyj ten ręcznie, a nie „to podróbka” Nigdy nie wypisuje klucza, tylko ostatnią grupę. Klucz produktu w pliku logu to klucz produktu, którego może użyć ktoś inny.\nUruchomiony na dobrej tabeli i trzech jej zepsutych kopiach:\nOK OEM \u0026#39;EXMPLE\u0026#39; key *****-*****-*****-*****-EEEEE bad-sum.bin: checksum does not sum to zero bad-trunc.bin: header says 85 bytes, file is 70 bad-sig.bin: signature is b\u0026#39;SLIC\u0026#39;, not MSDM Gdzie trafia i kto może ją tam umieścić Od uploadu klienta do klucza, którym aktywuje się gość Tabela klienta msdm.bin, 85 bajtów z jego własnej maszyny Walidator sygnatura, długość, suma, kształt klucza Zapisana /etc/pve/priv/ tylko root, każdy węzeł args VM -acpitable file= ustawia tylko root QEMU przepisuje długość, przelicza sumę kontrolną, niczego nie odrzuca Gość MSDM w ACPI, aktywacja czyta klucz Walidator stoi przed QEMU, bo QEMU naprawi zepsuty nagłówek, zamiast go odrzucić. Tabela żyje w prywatnej połowie systemu plików klastra, więc idzie za VM na każdy węzeł, a czytać ją może tylko root. Klucz produktu jest sekretem. Nie ma czego szukać nigdzie, gdzie www-data może go przeczytać, a pmxcfs daje ci w /etc/pve dokładnie jedno miejsce, gdzie nie może6:\nGdzie tabela mogłaby żyć Kto może ją czytać Na każdym węźle, na który VM może migrować /etc/pve/priv tylko root tak gdziekolwiek indziej w /etc/pve czytelna dla grupy, łącznie z www-data interfejsu webowego tak katalog na jednym węźle cokolwiek ustawisz nie Przy 85 bajtach jest daleko od limitu pliku pmxcfs wynoszącego 1 MiB7:\nmkdir -p /etc/pve/priv/msdm check-msdm.py upload.bin \u0026amp;\u0026amp; cp upload.bin /etc/pve/priv/msdm/9000.bin qm set 9000 --args \u0026#34;-acpitable file=/etc/pve/priv/msdm/9000.bin\u0026#34; qm set --args zastępuje całą linię. Jeśli VM już ma w args opcje SMBIOS lub firmware, wypisz je wszystkie razem. A ponieważ args jest tylko dla roota, to robota dla twojego provisioningu, a nie coś, co klient może zrobić z interfejsu webowego. I tak jest dobrze. Klient dostarcza plik, twoje narzędzia go sprawdzają i podpinają.\nTabela przenosi klucz, a nie prawo Tu ta funkcja wymaga trzeźwej głowy. Przeniesienie tabeli MSDM do VM przenosi klucz. Nie licencję.\nMówią to własne warunki Microsoftu, a linijki, które się liczą, mieszczą się w tabeli:\nPrzypadek Co mówi Microsoft Źródło Licencja OEM, przenoszenie przenośna na innego użytkownika „only with the licensed device” warunki licencji OEM8 Licencja OEM, ile instalacji „only one instance of the software for use on one device, whether that device is physical or virtual” warunki licencji OEM8 Licencja OEM, prostymi słowami „locked” do oryginalnego PC „and cannot be transferred to any other PC” blog Microsoftu dla małych firm9 Wyjątek postanowienia o przeniesieniu „do not apply”, gdy oprogramowanie nabyto w Niemczech lub w jednym z wymienionych innych krajów warunki licencji OEM8 Hostowanie jej dla klientów Services Provider License Agreement jest dla „hosted applications to end customers” SPLA10 Wydania desktopowe jako hostowane VM „VMs must be hosted by a Qualified Multitenant Hoster (QMTH)” Microsoft Learn11 Tabela zawsze pochodzi z własnej licencjonowanej maszyny klienta, nigdy z twoich hostów. Przypadek, który mieści się w brzmieniu całkowicie, jest najprostszy: maszyna, z którą sprzedano licencję, teraz działająca na Proxmox, z tą samą kopią Fisher-Price OS (Windows) przeniesioną do jednej VM na niej. To nadal jedna instancja na jednym urządzeniu, a warunki OEM na to pozwalają „whether that device is physical or virtual”8. Druga VM albo inna maszyna i już nie.\nW tym jednym przypadku maszyna klienta i hiperwizor to to samo pudło, więc nie ma czego przesyłać ani kopiować. Jądro Proxmox już wystawia tabelę MSDM z firmware pod /sys/firmware/acpi/tables/, czytelną tylko dla roota, a QEMU na Proxmox działa jako root, więc może wziąć tabelę prosto stamtąd:\nqm set 100 --args \u0026#34;-acpitable file=/sys/firmware/acpi/tables/MSDM\u0026#34; Wskazanie żywej tabeli zamiast kopii ma dwie konsekwencje. Ścieżka jest czytana na tym węźle, na którym VM startuje, więc to pasuje do samodzielnego hosta, a nie do klastra: zmigruj VM, a albo dostanie tabelę tamtego węzła, inną licencję z innej maszyny, albo w ogóle nie wystartuje, bo QEMU odmawia przy brakującym pliku z can't open file … No such file or directory. I to jedna linijka, czyli jedna linijka do wklejenia w drugą VM. Ta druga VM to przypadek, którego warunki nie obejmują, więc dostaje ją jedna VM i żadna inna.\nZbuduj więc tę funkcję. Mechanizm jest solidny i są klienci uprawnieni do korzystania z niego; ten, który kupił licencję w Niemczech, może się wśród nich znaleźć. Ale umieść uprawnienie tam, gdzie jego miejsce: w twoim regulaminie klient oświadcza, że ma licencję, która obejmuje uruchomienie jej w twojej VM, i robi to, zanim przycisk uploadu cokolwiek zrobi. Walidator dowodzi, że tabela jest dobrze zbudowana. Nic nie dowodzi, że wolno mu jej używać.\nLicencje zbiorowe nigdy nie zbliżają się do tabeli Czy klient z licencją zbiorową może użyć tej samej drogi? Nie. Tabela nie ma czego nieść.\nMSDM należy do kanału OEM i do niczego więcej. Własny przewodnik planowania Microsoftu mówi, że aktywacja OEM „is available only for computers that are purchased through OEM channels and have the Windows operating system preinstalled”12. Licencje zbiorowe aktywują się przez jeden z trzech innych modeli, „Multiple Activation Keys (MAK)”, „KMS” i „Active Directory-based activation”12, a w każdym z nich klucz jest instalowany w systemie operacyjnym. Nic nie czyta go z firmware.\nMetoda Gdzie żyje klucz Z czym rozmawia gość W VM na Proxmox OEM, OA 3.0 tabela MSDM w firmware serwery aktywacji Microsoftu droga -acpitable opisana wyżej MAK zainstalowany w gościu z Microsoftem, raz, liczone do aktywacji klucza działa z dostępem do internetu lub przez telefon KMS klucz ogólny (GVLK) w gościu host KMS klienta na TCP 1688 wymaga trasy do niego oraz 25 klientów lub 5 serwerów, zanim cokolwiek aktywuje Active Directory GVLK w gościu kontrolery domeny klienta, co najmniej co 180 dni wymaga dołączenia VM do jego domeny AVMA klucz ogólny w gościu własna licencja Datacenter hosta Hyper-V w ogóle niedostępne Dla klienta z licencją zbiorową nie ma więc czego budować na hiperwizorze. Jego klucz trafia do jego obrazu, a twoją częścią jest ścieżka sieciowa: port 1688 do jego hosta KMS albo VPN do jego kontrolerów domeny. Miejsce na MSDM zostaje puste i tak powinno być.\nDwie rzeczy zaskakują ludzi. Klucz ogólny na nośniku zbiorowym sam niczego nie aktywuje, bo „the GVLK doesn\u0026rsquo;t work unless a valid KMS host key can be found”12, więc VM zbudowana z ISO Enterprise klienta bez trasy do domu stoi nieaktywowana. A desktopowa licencja zbiorowa nie jest samodzielną licencją. Programy zbiorowe „cover upgrades to Windows client operating systems only”, a „an existing retail or OEM operating system license is needed for each computer”12. Licencja zbiorowa siedzi na wierzchu licencji bazowej, bardzo często tej samej OEM, o której była poprzednia sekcja, a to, czy wolno jej działać w twojej VM, nadal jest pytaniem o hostowanie z tamtej tabeli, a nie o aktywację.\nAVMA zasługuje na własną linijkę, bo to ona wygląda na odpowiedź. To sposób Microsoftu, żeby host aktywował własnych gości serwerowych, wiążąc „the VM activation to the licensed virtualization host”, i wymaga „a Windows Server Datacenter edition with the Hyper-V server host role installed”13. O reszcie Microsoft mówi wprost: „AVMA doesn\u0026rsquo;t work with other server virtualization technologies”13. Na Proxmox goście serwerowi aktywują się przez twoje klucze SPLA albo przez własny KMS klienta.\nNic w stosie nie sprawdza papierów Każda warstwa robi tu swoją robotę i nic więcej. Firmware przechowuje klucz. QEMU kopiuje bajty i porządkuje nagłówek. Gość czyta klucz i się nim aktywuje. Żadna z nich nie umie powiedzieć, czy maszyna pod spodem to ta, z którą sprzedano licencję, i żadna nigdy nie miała tego robić.\nSprawdzenie spada więc na tego, kto prowadzi hiperwizor. Licencja to umowa między osobą, która ją kupiła, a Microsoftem, i twoja platforma nie jest jej stroną, ale to ona przenosi klucz, a to czyni pytanie twoim, czy o nie prosiłeś, czy nie.\nZapisz odpowiedź, zanim przycisk uploadu cokolwiek zrobi. Jedna maszyna, jedna VM, własna licencja klienta i jego słowo, że to obejmuje. Nic nie kosztuje, a chroni ciebie tak samo jak jego. Oprogramowanie przeniesie każdy klucz, jaki dostanie. Czy powinno było, to pytanie, na które odpowie tylko człowiek, więc dopilnuj, żeby ktoś odpowiedział.\nMicrosoft Learn, OA 3.0 on the factory floor — „injects the product keys into the firmware”; /Validate sprawdza „that the MSDM table exists”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nMicrosoft Learn, Validate an OEM Activation key — „is activated by using the OA3 DPK in the firmware”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nMicrosoft, Microsoft Software Licensing Tables (SLIC and MSDM) — tabela 2, przesunięcie 36: „Proprietary data structure that contains all the licensing data necessary to enable Windows activation.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nQEMU, System Emulation, Invocation — pola -smbios dla każdego typu; -acpitable „For file=, take whole ACPI table from the specified files, including all ACPI headers”; -boot „Currently Seabios for X86 system support it.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nQEMU v11.0.3, hw/acpi/core.c — „ACPI table has wrong length” to warn_report, po czym długość zostaje nadpisana, a suma kontrolna przeliczona.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\npve-cluster, src/pmxcfs/pmxcfs.c — ścieżki pod priv są maskowane do 0777700, wszystko inne do 0777750.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\npve-cluster, src/pmxcfs/memdb.h — #define MEMDB_MAX_FILE_SIZE (1024 * 1024) // 1 MiB.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nMicrosoft, Windows 11 OEM licence terms — „you may transfer the license to use the software directly to another user, only with the licensed device”; postanowienia o przeniesieniu „do not apply if you acquired the software in Germany” lub w wymienionych krajach. Kopia archiwalna; żywa strona odrzuca zautomatyzowane żądania.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nMicrosoft, small business blog archive — „the OEM Windows license is \u0026rsquo;locked\u0026rsquo; to the original PC it comes with and cannot be transferred to any other PC.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nMicrosoft, Services Provider License Agreement — „for service providers and software development companies licensing eligible Microsoft products to provide software services and hosted applications to end customers.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nMicrosoft Learn, Windows subscription activation for VDA — „VMs must be hosted by a Qualified Multitenant Hoster (QMTH).”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nMicrosoft Learn, Plan for volume activation — trzy modele aktywacji zbiorowej; progi KMS „at least five computers” dla serwerów i „at least 25 computers” dla klientów, na porcie TCP 1688; aktywacja oparta na Active Directory wymagająca domeny „at least once every 180 days”; „the GVLK doesn\u0026rsquo;t work unless a valid KMS host key can be found”; licencje zbiorowe „cover upgrades to Windows client operating systems only”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nMicrosoft Learn, Automatic Virtual Machine Activation in Windows Server — „AVMA requires a Windows Server Datacenter edition with the Hyper-V server host role installed”; „AVMA doesn\u0026rsquo;t work with other server virtualization technologies.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\n","permalink":"https://blogs.damiendye.uk/pl/proxmox/moving-an-oem-licence-into-a-proxmox-vm/","summary":"Licencja OEM na Fisher-Price OS (Windows) żyje w firmware PC jako tabela ACPI o nazwie MSDM, a QEMU przekaże gościowi każdą taką tabelę bez sprawdzania. Wpis opisuje, co tabela zawiera, walidator, który odrzuca źle zbudowane tabele, zanim QEMU po cichu naprawi ich nagłówki, przechowywanie ich w prywatnej połowie systemu plików klastra Proxmox, warunki Microsoftu dotyczące przenoszenia licencji OEM, jedyny przypadek, na który wyraźnie pozwalają, pobranie tabeli prosto z hosta, gdy licencjonowana maszyna jest hiperwizorem, oraz to, dlaczego aktywacja MAK, KMS, Active Directory i AVMA nigdy nie dotyka tabeli.","title":"Przenoszenie licencji OEM do VM w Proxmox i co przenosi się razem z nią"},{"content":"Co widzi twój klient, kiedy twoja VM startuje Sprzedajesz maszyny wirtualne pod własną nazwą. Klient włącza jedną z nich, a pierwsze, co widzi na ekranie, to cudze logo.\nTak wygląda VM z Proxmoxa prosto z pudełka. Nic tu nie jest zepsute i Proxmox nie robi nic złego: to ich produkt i ich nazwa, napisali firmware i interfejs, w którym się pojawia, i mają pełne prawo ją tam umieścić, tak samo jak producent serwera przykręca swoją plakietkę z przodu obudowy. Tyle że to nie jest twoje.\nLogo to dopiero początek. Tak przedstawia się standardowy gość UEFI na obecnym firmware Proxmoxa, pve-edk2-firmware 4.2026.08-1, odczytany z wnętrza gościa przez dmidecode:\nGdzie patrzy gość Co odczytuje Czyja nazwa Ekran startowy logo Proxmoxa Proxmox Producent firmware\u0026rsquo;u (SMBIOS typ 0) Proxmox distribution of EDK II Proxmox Wersja firmware\u0026rsquo;u 4.2026.08-1 wersja pakietu Proxmoxa Producent systemu (typ 1) QEMU QEMU Nazwa produktu (typ 1) Standard PC (Q35 + ICH9, 2009) QEMU Producent obudowy (typ 3) QEMU QEMU Płyta główna (typ 2) w ogóle jej nie ma niczyja Webowy interfejs zarządzania logo Proxmoxa, w lewym górnym rogu Proxmox Logo startowe nie kończy się zresztą na firmware. Firmware UEFI przekazuje narysowany obraz systemowi operacyjnemu przez tabelę ACPI o nazwie BGRT, Boot Graphics Resource Table, która istnieje po to, żeby powiedzieć „an image was drawn on the screen during boot”1, a system operacyjny rysuje go potem jeszcze raz na własnym ekranie startowym. Fisher-Price OS (Windows) umieszcza go nad swoim kółkiem ładowania, a Microsoft nazywa BGRT „the standard interface that Windows uses to access the logo”2. Domyślny motyw Plymouth w Fedorze robi to samo na Linuksie3. Gość na firmware Proxmoxa pokazuje więc logo Proxmoxa dwa razy, zanim ktokolwiek się zaloguje.\nNic z tego nie jest trudne do zmiany. Trudne jest utrzymanie tej zmiany. Następne apt full-upgrade po cichu przywróci połowę, a ta połowa, której nie przywróci, to właśnie ta, która powinna cię martwić, i o niej jest większość tego wpisu.\nGdzie każdy element marki wchodzi do startu Włączenie QEMU buduje SMBIOS i ACPI z konfiguracji Firmware OVMF rysuje swoje wbudowane logo, SeaBIOS splash Przekazanie tabele SMBIOS, ACPI z BGRT i MSDM Ekran startu OS rysuje ponownie logo firmware'u z BGRT Działający gość czyta ciągi, aktywacja czyta klucz MSDM konfiguracja VM plik pakietu konfiguracja VM plik pakietu konfiguracja VM w /etc/pve, przetrwa każdą aktualizację pod /usr/share, apt go podmienia Marka wchodzi do procesu startu w pięciu miejscach. Trzy pochodzą z konfiguracji samej VM i przetrwają wszystko, co zrobi apt. Dwa pochodzą z plików należących do pakietu Proxmoxa i to właśnie je aktualizacja zabiera z powrotem. Tabela MSDM w tym przekazaniu to w ogóle nie jest branding. Niesie klucz licencyjny, a przeniesienie go do VM ma własny wpis: Moving an OEM Licence Into a Proxmox VM.\nWszystko pod /usr/share należy do apt Jedna zasada rozstrzyga każdy wybór poniżej. Plik zainstalowany przez pakiet jest plikiem pakietu. Edytujesz go na miejscu, a następna aktualizacja tego pakietu nadpisze twoją zmianę bez słowa, bo z punktu widzenia dpkg po prostu odkłada własny plik tam, gdzie go zostawił.\nKażdy element marki musi więc mieszkać gdzieś, czego apt nie posiada. Węzeł Proxmoxa ma trzy takie miejsca, a każde kosztuje coś innego:\nGdzie mieszka Jak się tam dostaje Przetrwa aktualizację Ile cię to kosztuje Konfiguracja VM w /etc/pve smbios1, a args do całej reszty Tak, żaden pakiet nie dotyka konfiguracji args jest tylko dla roota i nie widać go w GUI Plik, który dpkg ma polecone zostawić w spokoju dpkg-divert Tak, kopia pakietu trafia zamiast tego pod nazwę .distrib Aktualizacje nie docierają już do pliku, co ma znaczenie, gdy tym plikiem jest firmware Twój własny katalog, poza drzewem pakietów /usr/local, wskazany z args Tak, żaden pakiet go nie posiada Musisz go sam rozłożyć na każdy węzeł Najjaśniej opisuje dywersję sam Debian: „a way of forcing dpkg not to install a file into its location, but to a diverted location”4. To załatwia interfejs WWW. Dla firmware\u0026rsquo;u to jedna z dwóch opcji, i to ta groźniejsza.\nObudowa to garść ciągów znaków i sprawdzenie uprawnień SMBIOS to tabela, w której maszyna opisuje samą siebie: kto ją zrobił, jaki to model, jaki ma numer seryjny, jaka jest płyta i obudowa5. Czyta ją dmidecode, czyta ją każde narzędzie do inwentaryzacji, jakie kiedykolwiek puściłeś na sieć, czyta ją panel informacji o systemie w Fisher-Price OS (Windows), i czyta ją też większość kontroli licencyjnych, które decydują, czy dany program w ogóle uruchomi się na danej maszynie. Na VM pisze ją QEMU. Stąd QEMU i Standard PC w tabeli powyżej.\nTyp 1 przez smbios1 Proxmox wystawia w konfiguracji VM jedną strukturę SMBIOS: typ 1, System Information, jako smbios16. Przyjmuje manufacturer, product, version, serial, sku, family i uuid.\nHaczyk siedzi w qemu-server, nie w dokumentacji. Każde pole poza uuid musi pasować do wzorca base64, [A-Za-z0-9+\\/]+={0,2}, więc zwykła wartość ze spacją jest odrzucana od razu. Prawdziwe ciągi koduje się w base64 z ustawionym base64=1, a qemu-server dekoduje je z powrotem, zanim zbuduje wiersz poleceń QEMU7. Edytor SMBIOS w GUI robi to przy każdym zapisie, z komentarzem „smbios values can be arbitrary, so encode and mark config as such”8. W wierszu poleceń to twoje zadanie:\nb() { printf %s \u0026#34;$1\u0026#34; | base64 -w0; } qm set 9000 --smbios1 \u0026#34;uuid=$(qm config 9000 | sed -n \u0026#39;s/.*uuid=\\([0-9a-f-]*\\).*/\\1/p\u0026#39;),base64=1,\\ manufacturer=$(b \u0026#39;Example Cloud Ltd\u0026#39;),product=$(b \u0026#39;EC Compute Instance\u0026#39;),\\ version=$(b \u0026#39;2026.10\u0026#39;),family=$(b \u0026#39;General Purpose\u0026#39;),sku=$(b \u0026#39;ec-gp-4c16g\u0026#39;)\u0026#34; Zwróć uwagę, że uuid wraca na miejsce. To tożsamość maszyny gościa, a cokolwiek przekażesz do --smbios1, zapisuje się jako cała opcja, więc najpierw ją odczytaj i zachowaj.\nBrandinguj szablon, nie każdą VM osobno. Klon w Proxmoxie dostaje świeżo wygenerowany UUID i zachowuje każde inne pole smbios1, więc każdy klon wychodzi z własną tożsamością i twoimi ciągami9, z jednym wyjątkiem, opisanym niżej.\nTypy 0, 2, 3 i 11 przez args smbios1 kończy się na typie 1. Producent firmware\u0026rsquo;u, płyta główna, obudowa i ciągi OEM idą przez args, wiersz, który Proxmox przekazuje prosto do QEMU i który jego własna dokumentacja określa jako „for experts only”6. Opcja -smbios w QEMU przyjmuje pola dla każdego typu10:\nargs: -smbios \u0026#39;type=0,vendor=Example Cloud Ltd,version=EC-FW 1.0,date=10/04/2026,uefi=on\u0026#39; -smbios \u0026#39;type=2,manufacturer=Example Cloud Ltd,product=EC Virtual Board,version=1.0\u0026#39; -smbios \u0026#39;type=3,manufacturer=Example Cloud Ltd,version=1.0,asset=EC-ASSET-123,sku=ec-gp\u0026#39; -smbios \u0026#39;type=11,value=example-cloud:instance=123\u0026#39; Po uruchomieniu w QEMU z tymi wierszami dmidecode w gościu odczytuje:\nStruktura Pole Standardowo Z marką Typ 0 Vendor Proxmox distribution of EDK II Example Cloud Ltd Typ 0 Version 4.2026.08-1 EC-FW 1.0 Typ 1 Manufacturer QEMU Example Cloud Ltd Typ 1 Product Name Standard PC (Q35 + ICH9, 2009) EC Compute Instance Typ 1 Family nieokreślone General Purpose Typ 2 Manufacturer brak struktury Example Cloud Ltd Typ 2 Product Name brak struktury EC Virtual Board Typ 3 Manufacturer QEMU Example Cloud Ltd Typ 3 Asset Tag nieokreślone EC-ASSET-123 Typ 11 String 1 brak struktury example-cloud:instance=123 Po drodze wyszły cztery pułapki. Wszystkie cztery są ciche.\nPodanie typu 0 usuwa „UEFI is supported”. OVMF zapisuje własny typ 0 tylko wtedy, gdy QEMU nie dostarczył swojego; pętla, która przechodzi po tabelach QEMU, ustawia NeedSmbiosType0 = FALSE w chwili, gdy natrafi na typ 011. Twój ciąg producenta zastępuje ten od Proxmoxa, i o to chodzi. Ale typ 0 od QEMU zastępuje też charakterystykę firmware\u0026rsquo;u z OVMF, i bez uefi=on wiersz „UEFI is supported” znika z dmidecode. Przywróć go przez uefi=on. Dla gości UEFI jest zresztą lepsze miejsce na ciąg producenta, w samym firmware, o czym dalej.\nTypu obudowy nie da się ustawić. Typ 3 w QEMU przyjmuje manufacturer, version, serial, asset i sku, i nic więcej10. Zostaje Other.\nDwie definicje jednego typu się scalają, a wygrywa późniejsza. qemu-server wstawia swoje -smbios type=1 wcześnie w wierszu poleceń, a twoje args na sam koniec12, więc drugie -smbios type=1,manufacturer=… w args nie wyrzuca pierwszego: QEMU scalił je pole po polu, producent przyszedł z args, a UUID został tam, gdzie wstawił go smbios1. To ma znaczenie dla czwartej pułapki.\nObie połowy mają różnych właścicieli. qemu-server sprawdza uprawnienia opcja po opcji. smbios1 siedzi wśród opcji sprzętowych i wymaga VM.Config.HWType, a args spada do przypadku domyślnego na samym dole, który mówi „only root can set”13. Płyta, obudowa, producent firmware\u0026rsquo;u i ciągi OEM należą tylko do ciebie. Typ 1 nie. Każdy, komu dałeś uprawnienia do sprzętu, może go przepisać, a w produkcie hostowanym tym kimś może być klient. Jeśli ciąg producenta ma znaczenie, ustaw go także w args. Późniejsza definicja wygrywa.\nNumer seryjny już jest w konfiguracji Większość tego, co należy do typu 1, już leży w konfiguracji VM. Nazwa nadaje się na numer seryjny, bo qemu-server przyjmuje tam tylko nazwę DNS14: krótką, drukowalną, nigdy z przecinkiem, i to jedyną rzecz w VM, którą klient rozpozna.\nPole typu 1 Skąd Dla VM z 4 rdzeniami i 16 GiB o nazwie web-01, z tagami production;web Serial Number name web-01 SKU Number cores × sockets i memory ec-4c16g Family pierwszy wpis w tags production UUID UUID z smbios1, który już ma bez zmian Manufacturer, Product twoje własne stałe ciągi Example Cloud Ltd, EC Compute Instance Dwie rzeczy zostają poza tym. Węzeł zmienia się przy każdej migracji, a vmgenid ma się zmieniać: całe jego zadanie to powiedzieć gościowi, że został odtworzony ze snapshotu albo zbudowany z szablonu15. Żadne z nich nie jest tożsamością.\n#!/bin/bash # /usr/local/sbin/ec-smbios VMID: rebuild smbios1 from the VM\u0026#39;s own config. set -euo pipefail id=$1 cfg=$(qm config \u0026#34;$id\u0026#34; --current) get() { sed -n \u0026#34;s/^$1: //p\u0026#34; \u0026lt;\u0026lt;\u0026lt;\u0026#34;$cfg\u0026#34;; } b() { printf %s \u0026#34;$1\u0026#34; | base64 -w0; } name=$(get name) [ -n \u0026#34;$name\u0026#34; ] || { echo \u0026#34;VM $id has no name to use as a serial\u0026#34; \u0026gt;\u0026amp;2; exit 1; } cores=$(get cores); sockets=$(get sockets); vcpu=$(( ${cores:-1} * ${sockets:-1} )) mem=$(get memory); mem=${mem#current=}; mem=${mem%%,*}; mem=${mem:-512} (( mem % 1024 )) \u0026amp;\u0026amp; size=\u0026#34;${mem}m\u0026#34; || size=\u0026#34;$(( mem / 1024 ))g\u0026#34; tag=$(get tags); tag=${tag%%;*} uuid=$(get smbios1 | grep -o \u0026#39;uuid=[0-9a-fA-F-]*\u0026#39; | cut -d= -f2 || true) uuid=${uuid:-$(cat /proc/sys/kernel/random/uuid)} s=\u0026#34;uuid=$uuid,base64=1,manufacturer=$(b \u0026#39;Example Cloud Ltd\u0026#39;),product=$(b \u0026#39;EC Compute Instance\u0026#39;)\u0026#34; s+=\u0026#34;,serial=$(b \u0026#34;$name\u0026#34;),sku=$(b \u0026#34;ec-${vcpu}c${size}\u0026#34;)\u0026#34; [ -n \u0026#34;$tag\u0026#34; ] \u0026amp;\u0026amp; s+=\u0026#34;,family=$(b \u0026#34;$tag\u0026#34;)\u0026#34; qm set \u0026#34;$id\u0026#34; --smbios1 \u0026#34;$s\u0026#34; Wartości domyślne pochodzą od samego qemu-server, jeden rdzeń, jedno gniazdo i 512 MiB16, więc konfiguracja, która je pomija, i tak dostaje prawdziwe SKU. Puszczony na konfigurację z tabeli, z qm zastąpionym skryptem, który ją serwował, wiersz, który zapisał, trafił do QEMU zdekodowany tak, jak dekoduje go qemu-server, a dmidecode w gościu odczytał web-01, ec-4c16g, production i UUID, który już tam był. VM bez nazwy jest odrzucana, zamiast dostać pusty numer seryjny.\nOczywistym miejscem na to jest hookscript. To złe miejsce. qemu-server uruchamia hook pre-start wewnątrz blokady konfiguracji, którą wziął, żeby wystartować VM, a wiersz poleceń QEMU buduje z konfiguracji wczytanej, zanim hook się uruchomił17. Hook, który przepisuje numer seryjny, zmienia następny start, nie ten.\nUruchamiaj to więc z własnego provisioningu, w czterech momentach, w których zmieniają się dane wejściowe: utworzenie, klonowanie, zmiana nazwy i zmiana rozmiaru. To klonowanie gryzie. Klon zachowuje każde pole smbios1 poza UUID9, więc jeśli je pominiesz, każda VM zbudowana z web-template poda nazwę szablonu jako swój numer seryjny.\nLogo startowe mieszka w dwóch różnych miejscach To, które logo pokazuje gość, zależy od jego firmware\u0026rsquo;u. Dwa firmware\u0026rsquo;y, które dostarcza Proxmox, biorą je z zupełnie różnych miejsc:\nSeaBIOS (bios: seabios, domyślny) OVMF (bios: ovmf, UEFI) Skąd pochodzi logo JPEG, który QEMU przekazuje przy starcie bitmapa wkompilowana w firmware Plik Proxmoxa /usr/share/qemu-server/bootsplash.jpg, 640×480 Logo.bmp, 400×120, 8 bitów, wbudowany w OVMF_CODE_4M*.fd Pakiet-właściciel qemu-server pve-edk2-firmware-ovmf Zmiana per VM args: -boot splash=… args wskazujące VM inny firmware Zmiana bez przebudowy czegokolwiek tak nie Trafia do systemu gościa przez BGRT nie tak SeaBIOS: JPEG w wierszu poleceń qemu-server dokłada tę samą opcję -boot do każdej VM, którą uruchamia, menu=on,strict=on,reboot-timeout=1000,splash=/usr/share/qemu-server/bootsplash.jpg18. Dokumentacja QEMU mówi, że obraz jest pokazywany „when option splash=sp_name is given and menu=on, If firmware/BIOS supports them. Currently Seabios for X86 system support it”10. OVMF nie bierze z tego nic poza splash-time, którego używa jako limitu czasu menu startowego, a w OvmfPkg nie ma nigdzie żadnego odwołania do pliku splash19.\nPodmiana to jeden wiersz w konfiguracji VM:\nargs: -boot splash=/etc/pve/branding/splash.jpg Drugie -boot nie kłóci się z pierwszym. QEMU scala je tak samo jak -smbios, wygrywa późniejsza wartość, a przy dwóch podanych plikach splash zrzut ekranu pokazał drugi. /etc/pve to właściwe miejsce na ten plik, bo to klastrowy system plików i każdy węzeł widzi ten sam splash, a jego limit 1 MiB na plik jest daleko poza zasięgiem JPEG-a 640×48020.\nSam obraz musi spełnić trzy warunki, a pomyłka w którymkolwiek kosztuje cię logo albo jego kolory:\nWarunek Dlaczego Co się dzieje w przeciwnym razie JPEG albo 24-bitowy BMP QEMU sprawdza plik, zanim VM wystartuje splash file … format not recognized; must be JPEG or 24 bit BMP JPEG baseline, chroma 4:2:0 dekoder SeaBIOS nie obsługuje niczego innego21 ERR_NOT_SEQUENTIAL_DCT albo ERR_NOT_YCBCR_221111 i pusty ekran 640×480, jak u samego Proxmoxa SeaBIOS prosi VGA BIOS o tryb dokładnie w rozmiarze obrazu brak pasującego trybu, brak splasha Większość narzędzi graficznych domyślnie zapisuje baseline 4:2:0, więc zwykły sposób na utratę logo to jedna z opcji „zapisz dla sieci”, która po cichu włącza kodowanie progresywne, wygląda identycznie w każdej przeglądarce obrazów, jaką masz, i zostawia SeaBIOS, który nie rysuje zupełnie nic.\nPułapka z kolorami Ta kosztowała całe popołudnie. Ten sam JPEG, wyrenderowany przez dwie kompilacje SeaBIOS 1.17.0, wychodzi w dwóch różnych kolorach:\nSiedzi to w jpeg.c SeaBIOS. Procedura zapisu dla 24 bitów na piksel ma gałąź little-endian, która wstawia niebieski w pierwszy bajt każdego piksela, a procedura dla 32 bitów na piksel, PIC_32, takiej gałęzi nie ma i wstawia tam czerwony21. Na buforze ramki little-endian zamienia to czerwony z niebieskim. Niebieski wychodzi złoty, a pomarańczowy wyszedłby niebieski.\nKtóra procedura się uruchomi, zależy od trybu wideo, jaki oferuje VGA BIOS:\nFirmware Tryb VBE dla 640×480 Bity na piksel Kolory Gotowy SeaBIOS 1.17.0 z upstreamu QEMU, tak jak dostarcza go pve-qemu-kvm 11.0.3-4 0x111 16 poprawne, skwantyzowane do 65 536 Własna kompilacja seabios 1.17.0-10 w Fedorze 44 0x142 32 czerwony z niebieskim zamienione Numery trybów pochodzą z tabeli samego SeaBIOS22, a wiersz Proxmoxa sprawdzono na tych samych blobach, które są w pakiecie: bajt w bajt identycznych z gotowym rel-1.17.0-0-gb52ca86e094d od QEMU. Na Proxmoxie twoje kolory są więc poprawne, tylko że jest ich zaledwie 65 536, a subtelny gradient wyjdzie w pasy. A jeśli twoje logo kiedyś pojawi się w złych kolorach na jakimś innym hypervisorze, to nie wina twojego JPEG-a.\nLogo UEFI jest wkompilowane w firmware Goście UEFI to trudniejsza połowa, a na współczesnym Proxmoxie to większość gości.\nNie ma tu opcji splash do nadpisania. Logo to bitmapa wewnątrz obrazu firmware\u0026rsquo;u, a kompilacja Proxmoxa wstawia ją tam jednym wierszem w debian/rules:\ndebian/setup-build-stamp: cp -a debian/Logo.bmp MdeModulePkg/Logo/Logo.bmp To kopiuje ich Logo.bmp, 400×120, 8 bitów, w miejsce tego od TianoCore, zanim edk2 zostanie zbudowany23. Ten sam plik ustawia producenta firmware\u0026rsquo;u jako stałą czasu kompilacji, PcdFirmwareVendor=L\u0026quot;Proxmox distribution of EDK II\u0026quot;, i stąd bierze się producent typu 0 z pierwszej tabeli23.\nNowe logo, nowy firmware. Żeby dostać taki, który zachowuje się dokładnie jak ten od Proxmoxa, trzeba go zbudować dokładnie tak jak Proxmox: ich drzewo na tagu odpowiadającym pakietowi, który dostarczają, ich łatki, ich flagi i jedna podmieniona bitmapa. pve-edk2-firmware 4.2026.08-1 przypina edk2 na 2970e56, czyli tagu upstreamu edk2-stable20260823.\ngit clone https://git.proxmox.com/git/pve-edk2-firmware.git cd pve-edk2-firmware git checkout f37039e52d228a7844a90aa2aaf1e161ebd04fcd # 4.2026.08-1 git submodule update --init --recursive cd edk2 QUILT_PATCHES=../debian/patches quilt push -a cp /path/to/your/Logo.bmp MdeModulePkg/Logo/Logo.bmp . ./edksetup.sh \u0026amp;\u0026amp; make -C BaseTools F=\u0026#34;-DNETWORK_HTTP_BOOT_ENABLE=TRUE -DNETWORK_IP6_ENABLE=TRUE -DNETWORK_TLS_ENABLE -DSECURE_BOOT_ENABLE=TRUE -DPVSCSI_ENABLE=TRUE -DTPM2_ENABLE=TRUE --pcd PcdUninstallMemAttrProtocol=TRUE -DFD_SIZE_4MB\u0026#34; P=(--pcd \u0026#34;PcdFirmwareVendor=LExample Cloud Ltd\\\\0\u0026#34; --pcd \u0026#34;PcdFirmwareVersionString=L4.2026.08-1+ec1\\\\0\u0026#34;) build -a IA32 -a X64 -t GCC -p OvmfPkg/OvmfPkgIa32X64.dsc $F \u0026#34;${P[@]}\u0026#34; -b RELEASE cp Build/Ovmf3264/RELEASE_GCC/FV/OVMF_CODE.fd OVMF_CODE_4M.fd rm -rf Build/Ovmf3264 build -a IA32 -a X64 -t GCC -p OvmfPkg/OvmfPkgIa32X64.dsc $F -DSMM_REQUIRE=TRUE \u0026#34;${P[@]}\u0026#34; -b RELEASE cp Build/Ovmf3264/RELEASE_GCC/FV/OVMF_CODE.fd OVMF_CODE_4M.secboot.fd Flagi są przepisane z debian/rules w stanie z tego commita. Uważaj na ciąg producenta: ich Makefile zapisuje go w podwójnych cudzysłowach, powłoka make je zdejmuje, a edk2 dostaje go gołego, więc tak właśnie jest tu przekazany, a ujęcie go w cudzysłów drugi raz kończy się błędem kompilacji. Zostaw bitmapę w 400×120 i 8 bitach jak u nich, a nic innego na ekranie startowym się nie przesunie.\nPotrzebujesz obu obrazów. qemu-server uruchamia każdą VM Q35 z 4-megabajtowym dyskiem EFI na OVMF_CODE_4M.secboot.fd, kompilacji z wymaganym SMM, a zwykłego OVMF_CODE_4M.fd używa tylko dla i440fx24. Na obecnym Proxmoxie to obraz secboot uruchamia niemal każdy gość UEFI.\nZbudowany w ten sposób, bez żadnych zmian w drzewie Proxmoxa poza bitmapą i dwoma ciągami, obraz SMM startuje tak:\nA to, jak gość widzi swój firmware, zmienia się razem z nim, bez ani jednej opcji -smbios w wierszu poleceń:\nOdczytane w gościu 4.2026.08-1 od Proxmoxa Przebudowany z tego samego drzewa Producent firmware\u0026rsquo;u Proxmox distribution of EDK II Example Cloud Ltd Wersja firmware\u0026rsquo;u 4.2026.08-1 4.2026.08-1+ec1 „UEFI is supported” jest jest Tabele ACPI BGRT, WSMT i reszta ten sam zestaw To sprawia, że producent ustawiony przy kompilacji jest lepszą odpowiedzią dla gości UEFI. To własny typ 0 od OVMF, więc bit UEFI zostaje na miejscu i nikt nie musi pamiętać o uefi=on. Droga przez args dla typu 0 jest dla gości SeaBIOS i dla każdego, kto w ogóle nie przebudowuje firmware\u0026rsquo;u.\nDwa sposoby, żeby dać VM nowy firmware qemu-server ma na sztywno wpisane, gdzie szuka firmware\u0026rsquo;u: OVMF.pm trzyma tabelę ścieżek pod /usr/share/pve-edk2-firmware/, z kluczem w postaci typu maszyny i opcji Secure Boot, i nigdzie w konfiguracji VM, w GUI ani w API nie ma opcji, która wybierałaby inny plik24. Zostają dwie drogi.\nBudowa OVMF z marką i dwa sposoby, żeby dać go VM Drzewo Proxmoxa pve-edk2-firmware 4.2026.08-1 Twoja marka Logo.bmp + ciąg producenta Ta sama kompilacja, te same flagi OVMF_CODE_4M.fd + .secboot.fd A: dywersja na każdym węźle dostaje go każda VM UEFI, bez zmian w konfiguracji VM B: per VM przez args włączasz VM po VM, pliki Proxmoxa nietknięte apt full-upgrade nowy firmware Proxmoxa ląduje, twój zostaje stary hook Post-Invoke wersje się różnią, przebuduj przed następnym startem Jedna kompilacja, dwie drogi wejścia. Tak czy inaczej następna aktualizacja instaluje nowy firmware Proxmoxa obok twojego i zostawia twój bez zmian, i właśnie dlatego istnieje hook na dole. Droga A: dywersja na każdym węźle. Powiedz dpkg, że dwa obrazy kodu Proxmoxa należą teraz gdzie indziej, i wstaw swoje tam, gdzie były:\nD=/usr/share/pve-edk2-firmware for f in OVMF_CODE_4M.fd OVMF_CODE_4M.secboot.fd; do dpkg-divert --package example-branding --add --rename --divert \u0026#34;$D/$f.distrib\u0026#34; \u0026#34;$D/$f\u0026#34; install -m 0644 \u0026#34;/root/branding/$f\u0026#34; \u0026#34;$D/$f\u0026#34; done Od następnego startu każda VM UEFI na węźle uruchamia twój firmware. Żadnych zmian w konfiguracji VM.\nDroga B: wskaż go wybranym VM. Trzymaj obrazy we własnym katalogu i nadpisuj firmware po jednej VM. Od przejścia na -blockdev qemu-server dołącza obraz kodu jako węzeł blokowy o nazwie pflash0 i podaje go w -machine24, a QEMU scala drugie -machine tak samo jak -boot, więc args może dodać własny węzeł i skierować na niego pflash0:\nargs: -blockdev driver=raw,node-name=brandcode,read-only=on,file.driver=file,file.filename=/usr/local/share/example-branding/OVMF_CODE_4M.secboot.fd -machine pflash0=brandcode Sprawdzono to okrężną drogą. Firmware secboot od Proxmoxa dołączono jako pflash0 dokładnie tak, jak robi to qemu-server, z włączonym SMM, potem dodano po nim ten wiersz args, a gość uruchomił obraz z marką, z logo i z ciągiem producenta, i stąd pochodzi zrzut ekranu powyżej.\nDroga A, dywersja Droga B, args per VM Które VM go dostają każda VM UEFI na węźle tylko te, na których go ustawisz Pliki Proxmoxa przeniesione do .distrib nietknięte Konfiguracja VM bez zmian wiersz args, tylko root Typ maszyny musi pasować załatwione, oba obrazy są przekierowane twoje zadanie: obraz secboot dla Q35 Cofnięcie dpkg-divert --remove --rename usuń wiersz Migracja węzeł docelowy też musi mieć dywersję węzeł docelowy musi mieć plik Obraz kodu ma około 3,5 MB, przy limicie 1 MiB na plik w pmxcfs20. W związku z tym nie może trafić do /etc/pve, i niezależnie od wybranej drogi musisz go rozłożyć na każdy węzeł. Zmigruj VM na węzeł, który go nie ma, a dostaniesz jeden z dwóch wyników, zależnie od drogi: przy drodze A z powrotem firmware i logo Proxmoxa, a przy drodze B VM, która w ogóle nie wystartuje, bo QEMU nie może otworzyć pliku, którego nie ma.\nAktualizacja, która zostawia cię w tyle Dywersja to właściwe narzędzie do logo. Firmware to co innego.\nDywersja oznacza, że aktualizacje Proxmoxa nie docierają już do pliku. Dokładnie o to prosiłeś. To też dokładnie to, co zatrzymuje poprawki bezpieczeństwa edk2 w drodze do twoich gości: dziennik zmian Proxmoxa dla 4.2026.08-1 zaczyna się od „Besides many bug and security fixes” i dalej wymienia poprawkę CVE-2024-1374525, a kompilacja z marką z poprzedniego wydania nie ma z tego nic. Nic ci o tym nie powie.\nTo sprawdzono, a nie założono. W kontenerze z Debianem trixie i repozytorium Proxmoxa zainstalowano pve-edk2-firmware-ovmf 4.2025.05-3, oba obrazy kodu przekierowano, a pakiet zaktualizowano do 4.2026.08-1:\nPo aktualizacji Wynik dpkg-query -W pve-edk2-firmware-ovmf 4.2026.08-1 Nowy obraz Proxmoxa zainstalowany jako OVMF_CODE_4M.fd.distrib, hash się zmienił Obraz z marką bez zmian, wciąż zbudowany z 4.2025.05-3 Cokolwiek na konsoli na ten temat nic, aż do hooka poniżej Dodaj więc hook. apt uruchamia listę poleceń DPkg::Post-Invoke po każdym przebiegu dpkg26. Zapisz, z której wersji Proxmoxa budowałeś, i porównuj po każdym z nich:\ncat \u0026gt; /usr/local/sbin/example-branding-check \u0026lt;\u0026lt;\u0026#39;EOF\u0026#39; #!/bin/sh built=$(cat /usr/local/share/example-branding/ovmf.built-from 2\u0026gt;/dev/null) now=$(dpkg-query -W -f \u0026#39;${Version}\u0026#39; pve-edk2-firmware-ovmf 2\u0026gt;/dev/null) [ \u0026#34;$built\u0026#34; = \u0026#34;$now\u0026#34; ] \u0026amp;\u0026amp; exit 0 echo \u0026#34;W: branded OVMF was built from pve-edk2-firmware-ovmf $built, Proxmox now ships $now.\u0026#34; \u0026gt;\u0026amp;2 echo \u0026#34;W: guests still boot the old firmware. Rebuild before the next VM restart.\u0026#34; \u0026gt;\u0026amp;2 exit 0 EOF chmod +x /usr/local/sbin/example-branding-check echo \u0026#39;DPkg::Post-Invoke { \u0026#34;/usr/local/sbin/example-branding-check\u0026#34;; };\u0026#39; \\ \u0026gt; /etc/apt/apt.conf.d/80example-branding Przy tej samej aktualizacji wypisał:\nW: branded OVMF was built from pve-edk2-firmware-ovmf 4.2025.05-3, Proxmox now ships 4.2026.08-1. W: guests still boot the old firmware. Rebuild before the next VM restart. Kończy się kodem 0 celowo. apt przerywa pracę, jeśli polecenie Post-Invoke zawiedzie26, a kontrola brandingu to żaden powód, żeby zostawić węzeł w pół aktualizacji. Głośne ostrzeżenie wystarczy.\nJeszcze jedno. Restarty. Gość podchwytuje nowy firmware dopiero wtedy, gdy restartuje się jego proces QEMU, więc przebudowa oznacza zatrzymanie i uruchomienie z poziomu Proxmoxa, a nie reboot z wnętrza gościa, i dokładnie tak samo aktualizacje firmware\u0026rsquo;u od Proxmoxa docierają do działającej VM. Tyle że one nie wymagają, żebyś najpierw pamiętał o przebudowie.\nAlbo zostaw firmware Proxmoxa w spokoju Każda dotychczasowa droga do logo zmienia firmware, a poprzednia sekcja to rachunek za to. Jest jedna, która tego nie robi, i powstał jej prototyp na potrzeby tego wpisu.\nUrządzenie PCI w QEMU może nieść option ROM, dowolny plik wskazany przez romfile=27, a OVMF uruchamia sterownik EFI, który tam znajdzie. Kompilacja Proxmoxa uruchamia go niezależnie od tego, czy jest podpisany: OVMF ustawia PcdOptionRomImageVerificationPolicy na 0x00, czyli zawsze wykonuj28. OVMF rysuje własne logo późno w fazie wyboru urządzenia startowego29, a BGRT buduje dopiero przy ReadyToBoot, tuż przed przekazaniem sterowania do programu rozruchowego. A sterownik BGRT z edk2 przyjmuje obraz zastępczy przez EDKII_BOOT_LOGO2_PROTOCOL i przebudowuje tabelę przy ReadyToBoot za każdym razem, gdy obraz się zmienił30.\nTo wszystko, czego trzeba. Sterownik czeka na ReadyToBoot na TPL_NOTIFY, który uruchamia się przed handlerem TPL_CALLBACK samego sterownika BGRT, czyści ekran, rysuje swoje logo i przekazuje ten sam obraz dalej. Po zbudowaniu to jeden plik o rozmiarze 8 KB, dołączany jednym wierszem:\nargs: -device pci-testdev,romfile=/etc/pve/branding/brandrom.rom Przy 8 KB mieści się z dużym zapasem w limicie 1 MiB pmxcfs20, więc w odróżnieniu od 3,5-megabajtowego obrazu firmware\u0026rsquo;u może mieszkać w /etc/pve i jechać za VM na każdy węzeł.\nPrzetestowano go na własnym firmware Proxmoxa, prosto z pve-edk2-firmware-ovmf 4.2026.08-1: OVMF_CODE_4M.secboot.fd z kluczami Microsoftu wstępnie zapisanymi w OVMF_VARS_4M.ms.fd, na Q35 z SMM, z uruchomieniem przez podpisany shim Fedory, tak żeby Secure Boot był włączony i egzekwowany:\nOdczytane z gościa Bez ROM-u Z ROM-em Zmienna SecureBoot 1 1 Na ekranie logo Proxmoxa logo Proxmoxa przez około 250 ms, potem twoje Obraz BGRT, 400×120 w 440,340 od Proxmoxa, SHA-256 be5afe4b… z ROM-u, SHA-256 6c494576… Zmienione pliki firmware\u0026rsquo;u żadne żadne Ostatni wiersz to sedno. Firmware Proxmoxa jest nietknięty, więc ich następne wydanie z poprawkami bezpieczeństwa dociera do twoich gości przy następnym restarcie, a nic z poprzedniej sekcji nie ma zastosowania.\nNie jest to za darmo:\nKoszt Dlaczego Logo Proxmoxa widać przez mniej więcej ćwierć sekundy OVMF rysuje je, zanim jakikolwiek sterownik z option ROM dostanie ekran; uniknąć tego da się tylko przebudową Gość widzi jedno urządzenie PCI więcej, bez sterownika ROM musi jechać na jakimś urządzeniu, a pci-testdev to urządzenie QEMU, które nic nie robi Typ 0 nadal mówi Proxmox ciąg producenta jest wkompilowany; ustaw go przez args z uefi=on, jak wyżej Tylko root to wiersz args A wniosek, który leży pod spodem, trzeba powiedzieć wprost. Niepodpisany sterownik uruchomił się w firmware gościa z zapisanymi kluczami Microsoftu i egzekwowanym Secure Boot, bo OVMF od Proxmoxa nie sprawdza option ROM-ów. Tutaj to się przydaje. Oznacza to też, że na tym firmware Secure Boot sprawdza programy rozruchowe, a nie to, co dołącza konfiguracja sprzętowa VM, a skoro args pisze tylko root, jest to pytanie o to, kto ma roota na twoich węzłach.\nTo prototyp. Działał na QEMU 10.2.2 z firmware Proxmoxa, jeszcze nie na węźle Proxmoxa, a to, co poniżej, to kod źródłowy, nie produkt:\ngithub.com/damo2929/RebrandPCIRom: sterownik option ROM, konwerter logo i kompilacja w kontenerze.\nInterfejs WWW to dwa pakiety Logo w lewym górnym rogu interfejsu WWW nie jest w pve-manager. Workspace.js prosi o komponent proxmoxLogoSvg z prefiksem pwt, a ten mieszka w proxmox-widget-toolkit, który dzielą ze sobą Backup Server i Mail Gateway31. W pve-manager są tylko ikony kart:\nCo Plik Pakiet Logo w nagłówku, rysowane w 200×35 /usr/share/javascript/proxmox-widget-toolkit/images/proxmox_logo.svg proxmox-widget-toolkit Ikona karty przeglądarki /usr/share/pve-manager/images/favicon.ico pve-manager Ikona 128×128, także ikona dotykowa /usr/share/pve-manager/images/logo-128.png pve-manager Wszystkie trzy to zwykłe pliki, więc to robota dla dpkg-divert, a koszt z poprzedniej sekcji w ogóle tu nie obowiązuje, bo logo nie ma poprawek bezpieczeństwa, które mogłyby go ominąć, i niczyj gość nie jest ani trochę mniej bezpieczny przez węzeł, który wciąż serwuje favicon z zeszłego miesiąca.\ndivert() { dpkg-divert --package example-branding --add --rename --divert \u0026#34;$1.distrib\u0026#34; \u0026#34;$1\u0026#34; install -m 0644 \u0026#34;$2\u0026#34; \u0026#34;$1\u0026#34; } divert /usr/share/javascript/proxmox-widget-toolkit/images/proxmox_logo.svg /root/branding/logo.svg divert /usr/share/pve-manager/images/favicon.ico /root/branding/favicon.ico divert /usr/share/pve-manager/images/logo-128.png /root/branding/logo-128.png Przetestowane w tym samym kontenerze, na prawdziwych pakietach:\nKrok Wynik Dywersja na proxmox-widget-toolkit 5.2.9, instalacja własnego SVG SVG Proxmoxa przemianowany na proxmox_logo.svg.distrib Aktualizacja do 5.2.10 własny SVG wciąż na miejscu, kopia 5.2.10 od Proxmoxa w .distrib dpkg --verify proxmox-widget-toolkit bez zastrzeżeń, dpkg wie o dywersji apt-get install --reinstall proxmox-widget-toolkit własny SVG wciąż na miejscu dpkg-divert --remove --rename oryginał Proxmoxa z powrotem, bajt w bajt Dwie rzeczy zostają przy Proxmoxie. Obraz w nagłówku jest rysowany w stałym polu 200×35, więc narysuj swój SVG w tym kształcie, inaczej zostanie ściśnięty. A tekst alt mówi Proxmox, a obraz linkuje do https://www.proxmox.com, i jedno, i drugie wpisane w komponent JavaScript, a nie w plik, który da się przekierować31. Zmiana tego oznacza łatanie zminifikowanego pakietu, który psuje się przy każdej aktualizacji. Nie warto dla tekstu alternatywnego.\nCzego wymagają od ciebie licencja i znak towarowy Proxmoxa Proxmox VE jest objęty licencją AGPL w wersji 332, a sekcja 13 tej licencji to klauzula sieciowa: „if you modify the Program, your modified version must prominently offer all users interacting with it remotely through a computer network … an opportunity to receive the Corresponding Source of your version”33. Czy podmiana trzech obrazów to modyfikacja Programu? To pytanie do prawnika. Tania odpowiedź to wystawić swoje obrazy i skrypt z dywersją gdzieś publicznie i podlinkować je ze strony logowania. Nie kosztuje to nic i zamyka temat.\nStrona znaku towarowego jest jaśniejsza. Media kit Proxmoxa mówi: „Don\u0026rsquo;t alter the logo or incorporate the logo or symbol into your logo”34. Zastąp więc ich logo w całości własnym, nigdy przekolorowaną czy przerobioną jego wersją, i trzymaj Proxmoxa z dala od nazwy swojego produktu.\nTwoja nazwa na produkcie to twoje utrzymanie Branding VM jest tani. Garść ciągów SMBIOS, JPEG, bitmapa i trzy obrazy w interfejsie WWW: popołudnie pracy, w większości spędzone na ustalaniu, co gdzie mieszka.\nUtrzymanie go to właściwa robota. To też ta część, którą się pomija.\nCiągi SMBIOS i splash pilnują się same, bo mieszkają w konfiguracji, której żaden pakiet nigdy nie dotknie, a logo interfejsu WWW pilnuje się samo, bo dpkg został o nim powiadomiony. Firmware nie. W dniu, w którym wkładasz swoje logo do obrazu firmware\u0026rsquo;u, przejmujesz kawałek cudzego procesu wydawniczego, a Proxmox buduje, testuje i wydaje nowy firmware z poprawkami bezpieczeństwa, które ich klienci dostają z następną aktualizacją, a twoi wtedy, kiedy zabierzesz się za przebudowę.\nTaka wymiana jest w porządku, jeśli robisz ją świadomie. Firma hostingowa, której goście startują na firmware dwa wydania w tyle, bo logo liczyło się bardziej niż dziennik zmian, nie zbudowała produktu. Zbudowała naklejkę.\nJeśli twoja nazwa jest na ekranie startowym, to firmware za nią jest twój i ty masz go trzymać aktualnym, niezależnie od tego, kto go napisał. Nikt tego nie sprawdzi. Właśnie dlatego trzeba to zrobić.\nUEFI Forum, ACPI Specification 6.6, §5.2.23 Boot Graphics Resource Table — „The Boot Graphics Resource Table (BGRT) is an optional table that provides a mechanism to indicate that an image was drawn on the screen during boot”. Kopia archiwalna; strona na żywo zwraca 403 na zautomatyzowane zapytania.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nMicrosoft Learn, Boot screen components — „This is the standard interface that Windows uses to access the logo.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nFedora Project, Changes/FlickerFreeBoot — „a new plymouth theme which incorporates the firmware\u0026rsquo;s bootsplash image”; plymouth.spec Fedory ustawia bgrt jako motyw domyślny.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nDebian, dpkg-divert(1), trixie — „File diversions are a way of forcing dpkg(1) not to install a file into its location, but to a diverted location.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nDMTF, DSP0134 System Management BIOS Reference Specification 3.10.0 — typ 1 System Information, typ 2 płyta główna, typ 3 „the system\u0026rsquo;s mechanical enclosure(s)”, typ 11 „free-form strings defined by the OEM”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nProxmox VE, qm.conf(5) — smbios1: „Specify SMBIOS type 1 fields”; args: „Arbitrary arguments passed to kvm … this option is for experts only.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nqemu-server, src/PVE/QemuServer.pm, the smbios1 format and command-line builder — każde pole poza uuid ma wzorzec [A-Za-z0-9+\\/]+={0,2}; wartości są dekodowane, gdy ustawione jest base64.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\npve-manager, www/manager6/Parser.js, printQemuSmbios1 — „smbios values can be arbitrary, so encode and mark config as such”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nqemu-server, src/PVE/API2/Qemu.pm, clone — „auto generate a new uuid”, pozostałe pola smbios1 są zachowywane.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nQEMU, System Emulation, Invocation — pola -smbios dla każdego typu; -acpitable „For file=, take whole ACPI table from the specified files, including all ACPI headers”; -boot „Currently Seabios for X86 system support it.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nedk2-stable202608, OvmfPkg/SmbiosPlatformDxe/SmbiosPlatformDxe.c — OVMF dodaje własny typ 0 tylko wtedy, gdy NeedSmbiosType0 jest nadal ustawione po przejściu przez tabele QEMU.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nqemu-server, src/PVE/QemuServer.pm, custom args — args są dzielone i dokładane na koniec wiersza poleceń.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nqemu-server, src/PVE/API2/Qemu.pm, config permission checks — smbios1 to opcja sprzętowa wymagająca VM.Config.HWType; przypadek domyślny „catches args, lock, etc.” i kończy się błędem „only root can set”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nqemu-server, src/PVE/QemuServer.pm, the name option — format =\u0026gt; 'dns-name'.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nqemu-server, src/PVE/QemuServer.pm, vmgenid — „notify the guest operating system when the virtual machine is executed with a different configuration (e.g. snapshot execution or creation from a template)”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nqemu-server, src/PVE/QemuServer/Memory.pm — pamięć default =\u0026gt; 512; cores i sockets mają domyślnie 1 w QemuServer.pm.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nqemu-server, src/PVE/QemuServer.pm, vm_start — lock_config w wierszu 5457, exec_hookscript($conf, $vmid, 'pre-start', 1) w 5581 i config_to_command w 5634 z tym samym $conf, bez ponownego wczytania pomiędzy.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nqemu-server, src/PVE/QemuServer.pm, -boot — menu=on,strict=on,reboot-timeout=1000,splash=/usr/share/qemu-server/bootsplash.jpg.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nedk2-stable202608, OvmfPkg/Library/QemuBootOrderLib/QemuBootOrderLib.c — OVMF czyta etc/boot-menu-wait, czyli wartość splash-time, i nic więcej z -boot.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\npve-cluster, src/pmxcfs/memdb.h — #define MEMDB_MAX_FILE_SIZE (1024 * 1024) // 1 MiB.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nSeaBIOS, src/jpeg.c — PIC zapisuje najpierw niebieski na little-endian, PIC_32 w wierszu 946 zapisuje najpierw czerwony, bez gałęzi zależnej od kolejności bajtów; ERR_NOT_SEQUENTIAL_DCT i ERR_NOT_YCBCR_221111 to jedyne odrzucane formaty.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nSeaBIOS, vgasrc/svgamodes.c — tryb 0x111 to 640×480 w 16 bitach, 0x142 to 640×480 w 32.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\npve-edk2-firmware, debian/rules at 4.2026.08-1 — cp -a debian/Logo.bmp MdeModulePkg/Logo/Logo.bmp, ciąg PcdFirmwareVendor i flagi kompilacji OVMF.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nqemu-server, src/PVE/QemuServer/OVMF.pm — wpisana na sztywno tabela firmware\u0026rsquo;u pod /usr/share/pve-edk2-firmware/, wybór SMM i węzeł blokowy pflash0.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\npve-edk2-firmware, debian/changelog — 4.2026.08-1: „Besides many bug and security fixes … fix CVE-2024-13745”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nDebian, apt.conf(5), trixie — „Pre-Invoke, Post-Invoke: This is a list of shell commands to run before/after invoking dpkg(1) … should any fail APT will abort.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nQEMU v11.0.3, hw/pci/pci.c — DEFINE_PROP_STRING(\u0026quot;romfile\u0026quot;, PCIDevice, romfile), właściwość, którą ma każde urządzenie PCI.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nedk2-stable202608, OvmfPkg/OvmfPkgIa32X64.dsc — gEfiSecurityPkgTokenSpaceGuid.PcdOptionRomImageVerificationPolicy|0x00, plik platformy, który buduje Proxmox.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nedk2-stable202608, OvmfPkg/Library/PlatformBootManagerLib/BdsPlatform.c — BootLogoEnableLogo (), wywoływane z PlatformBootManagerAfterConsole.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nedk2-stable202608, BootGraphicsResourceTableDxe.c — SetBootLogo2 w wierszu 239 kopiuje obraz; handler ReadyToBoot w 417 odinstalowuje i ponownie instaluje tabelę „If BGRT data change happens”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nproxmox-widget-toolkit, src/Logo.js — proxmoxLogoSvg, 200×35, alt: 'Proxmox', z linkiem do proxmox.com; używany z pve-manager Workspace.js z prefix: 'pwt'.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nProxmox VE wiki, FAQ — „Proxmox VE code is licensed under the GNU Affero General Public License, version 3.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nGNU Affero General Public License v3, §13 Remote Network Interaction — zacytowane w całości w tekście powyżej.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nProxmox, Media kit — „Don\u0026rsquo;t alter the logo or incorporate the logo or symbol into your logo.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\n","permalink":"https://blogs.damiendye.uk/pl/proxmox/branding-a-proxmox-vm/","summary":"VM z Proxmoxa prosto z pudełka pokazuje przy starcie logo Proxmoxa, w ciągu producenta firmware\u0026rsquo;u ma Proxmoxa, a w każdej tabeli SMBIOS przedstawia się jako QEMU. Tu podmieniasz to wszystko na nazwę swojego produktu: SMBIOS typy 0, 1, 2, 3 i 11, z numerem seryjnym i SKU wziętymi z nazwy i rozmiaru samej VM, splash SeaBIOS i jego pułapkę z kolorami, OVMF z twoją marką zbudowany z drzewa samego Proxmoxa albo sterownik w option ROM, który podmienia logo i BGRT przy włączonym Secure Boot bez dotykania firmware\u0026rsquo;u, oraz logo interfejsu WWW. Każda zmiana leży tam, gdzie aktualizacja nie cofnie jej po cichu, a ta jedna, którą aktualizacja może zostawić niebezpiecznie przestarzałą, czyli firmware, dostaje hook, który o tym mówi.","title":"Własna marka na VM w Proxmoxie, i to taka, która przetrwa następną aktualizację"},{"content":"Wszystko w tym wpisie zostało uruchomione na NetBox 4.7.2 na moim własnym biurku, z załadowaną prawdziwą infrastrukturą: jedna lokalizacja, jedna szafa, czternaście urządzeń, okablowanych, zasilonych i zaadresowanych dla trzech klientów. Każdy zrzut ekranu to ta instancja i każdy komunikat o błędzie to taki, który naprawdę dostałem.\nKolejność jest taka, w jakiej to spotkasz. Czym to jest, po co ci to, fork, o którym usłyszysz w ciągu tygodnia szukania, jak to postawić, w jakiej kolejności musisz to wypełnić, a potem co z tego dostajesz. Dostosowywanie i rozszerzanie jest na końcu, bo nic z tego nie ma sensu, dopóki nie zobaczysz kształtu tego, co rozszerzasz.\nCzym jest NetBox NetBox to baza danych z bardzo konkretnym zdaniem na temat tego, z czego składa się sieć, plus aplikacja webowa na wierzchu. To aplikacja Django na PostgreSQL, jest open source na licencji Apache 2.0 od czasu, gdy DigitalOcean wypuścił ją w czerwcu 2016, a dziś projektem opiekuje się NetBox Labs razem z zespołem wolontariuszy.12\nPod spodem to 149 modeli w dziesięciu aplikacjach, dostępnych przez 146 endpointów REST i jeden endpoint GraphQL. Policzone na instancji, którą do tego zbudowałem, a nie przepisane ze strony z funkcjami:\nAplikacja Modele Aplikacja Modele dcim 56 virtualization 7 extras 23 tenancy 6 ipam 18 wireless 3 circuits 11 users 7 vpn 10 core 8 Pięćdziesiąt sześć z nich to DCIM, warstwa fizyczna: lokalizacje, pomieszczenia, szafy, typy urządzeń, urządzenia i każdy rodzaj portu, wnęki i zakończenia kabla, jaki urządzenie może mieć. Osiemnaście to IPAM. Reszta obejmuje łącza, tunele i polityki IKE, maszyny wirtualne i klastry, łącza bezprzewodowe, dzierżawców i mechanizmy, które sprawiają, że całość da się rozszerzać.\nLiczba nie jest tu najważniejsza. Najważniejsze są powiązania, a najszybciej zobaczysz to na ekranie, z którego NetBox jest najbardziej znany.\nZacznij od szafy, bo to ekran, który sprzedaje całą rzecz.\nTen widok jest rysowany z danych, a nie wgrany. Każde urządzenie jest tam, bo coś mówi, że zajmuje te jednostki, od tej strony, a kolory biorą się z roli, którą mu nadałeś. Zajętość miejsca wynosi 28,6%, bo NetBox to policzył. Nikt tej liczby nie utrzymuje.\nWynikają z tego dwie rzeczy, które są warte więcej niż sam obrazek.\nMożesz zapytać, które jednostki są wolne, i dostać odpowiedź, na podstawie której da się działać. Możesz też zarezerwować jednostki, zanim cokolwiek w nich zamontujesz, a to jest różnica między sprzedawaniem miejsca, które masz, a sprzedawaniem miejsca, które wydaje ci się, że masz.\nCzego celowo nie robi Produkt, który wie, czym nie jest, spotyka się rzadziej niż taki, który wszystko robi źle, a dokumentacja NetBoxa mówi o tym bez ogródek. Nie zapewnia monitoringu sieci, usługi DNS, RADIUS-a, zarządzania konfiguracją ani zarządzania obiektem.1\nCo ważniejsze, przechowuje zamierzony stan twojej sieci, a nie jej stan operacyjny, a dokumentacja mówi, że automatyczny import żywego stanu sieci jest „strongly discouraged”, bo każdy rekord powinien najpierw sprawdzić człowiek.1\nNa tej decyzji opiera się wszystko inne i to z nią ludzie się kłócą. Argument brzmi: przecież źródło prawdy powinno być prawdą, więc wykryj sieć i ją załaduj. Odpowiedź jest taka, że wykryta sieć mówi ci, co tam jest, a to, co tam jest, obejmuje każdy błąd, jaki ktokolwiek kiedykolwiek popełnił. Port przełącznika zostawiony w złym VLAN-ie w 2021 roku jest faktem. Nie jest zamiarem.\nNetBox przechowuje zamiar. Twój monitoring przechowuje rzeczywistość. Ciekawą liczbą jest różnica między nimi, a różnicy nie policzysz z jednego wejścia.\nDruga zasada jest wyrażona równie wprost: mając wybór między stosunkowo prostym rozwiązaniem na osiemdziesiąt procent a dużo bardziej złożonym kompletnym, wybierz to proste.1 Poczujesz to za pierwszym razem, gdy zechcesz zamodelować coś, czego on nie modeluje, a pod koniec jest cała seria rozdziałów o tym, co wtedy zrobić.\nNetBox robi NetBox nie robi Zapisuje, co powinno tam być Odpytuje, co tam jest Trzyma zamierzony VLAN dla portu Mówi ci, że port leży Mówi, do którego klienta należy prefiks Wystawia mu za to fakturę Renderuje konfigurację urządzenia z szablonu Wgrywa ją na urządzenie Śledzi łącze, dostawcę i zobowiązanie Monitoruje łącze Mówi, w której szafie jest urządzenie i na którym U Otwiera szafę Czytaj prawą kolumnę jako listę narzędzi, których wciąż potrzebujesz. Przeczytaj ją źle, a spróbujesz zrobić z NetBoxa je wszystkie, i tak właśnie źródło prawdy staje się kolejnym systemem, któremu nikt nie ufa.\nPo co ci on Zapytaj dostawcę usług zarządzanych, gdzie leży wiarygodny zapis sieci klienta, a dostaniesz odpowiedź. Zapytaj osobno dwóch jego inżynierów, a dostaniesz dwie.\nJeden wskaże arkusz kalkulacyjny. Drugi wskaże diagram ostatnio zapisany przez kogoś, kto odszedł w 2023. Ktoś jeszcze powie, że dokumentacją jest konfiguracja firewalla, co jest przynajmniej uczciwe, bo konfiguracja opisuje, co pudełko robi. Nie opisuje tylko, dlaczego, kto o to prosił ani który z czterech klientów za tym pudełkiem płaci za daną regułę.\nPorażka nigdy nie przychodzi w dniu, w którym zauważasz, że zapis jest błędny. Przychodzi w dniu, w którym ktoś go potrzebuje.\nMoment Co musisz pokazać Ile kosztuje, gdy nie możesz Rozmowa o przedłużeniu umowy Rozpisane, co kupuje miesięczna opłata Oferta konkurencji jest rozpisana, bo oni poszli i policzyli Inżynier składa wypowiedzenie Wszystko, co wiedział, spisane Pół roku dowiadywania się, zgłoszenie po zgłoszeniu Klient odchodzi Opis jego własnej infrastruktury Trzy tygodnie składania tego w całość i referencje, których udzieli szczerze Audytor pyta o zakres Które systemy przechowują dane osobowe i gdzie fizycznie stoją Regulator, któremu powiedziano coś, co później okazuje się nieprawdą Migrację trzeba wycenić Liczba tego, co naprawdę tam jest Licytujesz na podstawie szacunku i pokrywasz różnicę z własnej kieszeni Nic z tego nie jest egzotyczne. To zwykły wtorek.\nTo, co z tego dostajesz, nie jest dokumentacją. Dokumentacja to coś, co piszesz, a potem przestajesz utrzymywać. Dostajesz bazę danych, która odmawia przechowania sprzeczności i która odpowiada na pytania, których nikt wcześniej nie pomyślał jej zadać. Dalej w tym wpisie jest szafa, która okazuje się zapełniona w 28,6 procent sprzętem i w 90,7 procent mocą. Nikt nie wyruszył, żeby to znaleźć. Wypadło to z jednorazowego wpisania mocy na typie urządzenia.\nRazem z tym przychodzi uczciwe zastrzeżenie i o nim jest ostatni rozdział. Zapis jest wart tyle, ile kosztuje cię utrzymanie go w poprawności. Ale alternatywą jest firma, która nie potrafi opisać samej siebie, a pierwszą osobą, która się o tym dowiaduje, jest zwykle klient.\nTen drugi: Nautobot Natkniesz się na niego mniej więcej w ciągu tygodnia szukania, więc warto wiedzieć, co się stało.\nW 2021 roku Network to Code zrobił fork NetBoxa i nazwał wynik Nautobot. Nie miękki fork ani dystrybucja: twardy fork, który rozchodzi się od pięciu lat. Jego własne notatki do wydania v1.0 opisują go jako „a divergent fork of NetBox 2.10”, repozytorium powstało 19 lutego 2021, a v1.0.0 wyszło 26 kwietnia 2021.3\nPodane przez nich powody są na ich własnym blogu i warto je przeczytać ich słowami, a nie moimi. Kierowały nimi trzy rzeczy. Chcieli sprzedawać wsparcie dla firm: „We need to offer high-touch support models with Service Level Agreements (SLAs) we can guarantee. We need flexibility to offer Long-term Support (LTS) for customers who can\u0026rsquo;t upgrade at the pace of a fast moving open source project.” Chcieli, żeby źródło prawdy było w centrum platformy automatyzacji, zamiast służyć dokumentacji. I „there became a growing divergence in our vision about what a Source of Truth for networking should look like and how to get there”.4\nTen pierwszy powód wymaga dopisania daty, bo przestał być prawdziwy. W lutym 2021 za NetBoxem nie stała żadna firma, która mogłaby ci cokolwiek sprzedać. NetBox Labs powstał dopiero w 2023 roku, wydzielony z NS1 po przejęciu tej firmy przez IBM, współzałożony przez głównego maintainera NetBoxa.5\nI nie jest to ktoś z zewnątrz, kto zbudował biznes na cudzym projekcie. NetBox Labs jest opiekunem NetBoxa: dokumentacja projektu mówi „the open source project is stewarded by NetBox Labs and a team of volunteer maintainers”.1 Sprzedają NetBox Enterprise do instalacji we własnym zakresie, hostują go dla ciebie jako NetBox Cloud i oferują wsparcie 24/7.6\nWięc „nie da się kupić wsparcia dla NetBoxa” było uczciwym stwierdzeniem, gdy Network to Code robił forka, a dziś uczciwe nie jest. Za oboma projektami stoi komercyjna firma, która coś podpisze, a w przypadku NetBoxa jest to firma, która opiekuje się projektem.\nZdanie, które większość ludzi przeocza, jest następne i to ono sprawia, że to nie jest brudna historia: „the NetBox project team suggested that we should consider forking.”\nTo mniej więcej tak cywilizowany fork, jak to tylko możliwe. Dwie grupy chciały różnych rzeczy, mówiły o tym przez długi czas i rozeszły się, zamiast walczyć o jeden kod. Obie połowy wciąż są na Apache 2.0. Nikt nie wziął niczego, do czego nie miał prawa.\nPo co naprawdę był ten fork Notatki do wydania Nautobot 1.0 wymieniają, co dodał względem NetBox 2.10, i ta lista opowiada spór lepiej niż jakikolwiek wpis na blogu:3\nCo Nautobot dodał w 2021 Gdzie jest teraz NetBox Obsługa GraphQL NetBox ją ma Integracja z Git jako źródło danych NetBox ją ma, jako synchronizowane źródła danych Single sign-on NetBox go ma Sekrety NetBox je ma przez wtyczkę Skrypty i raporty połączone w Jobs NetBox w 4.7 przenosi skrypty do wtyczki Pola własne na wszystkich modelach NetBox ma szeroką obsługę pól własnych API wtyczek do walidacji danych NetBox ma własne reguły walidacji Konfigurowalne statusy jako obiekty w bazie Statusy NetBoxa to wciąż zestaw wyborów w Pythonie Relacje między modelami definiowane przez użytkownika NetBox nie ma odpowiednika Klucze główne UUID NetBox używa kluczy całkowitych Rozszerzenia API wtyczek Framework wtyczek NetBoxa bardzo od tego czasu urósł Większość górnej połowy się zbiegła. Kilka rzeczy, które Nautobot wypuścił w 2021, trafiło później do NetBoxa, co zwykle się dzieje, gdy dwa projekty rozwiązują publicznie te same problemy.\nDolne trzy się nie zbiegły i są architektoniczne, a nie kosmetyczne. Sprawdziłem dziś oba kody źródłowe, zamiast ufać notatkom z 2021.\nStatus w Nautobocie to model bazodanowy, opisany w jego własnym kodzie jako „Model for database-backend enum choice objects”, więc status to wiersz, który ktoś może dodać w interfejsie. Statusy NetBoxa pochodzą z zestawu wyborów w Pythonie i dlatego rozdział FIELD_CHOICES dalej dodaje jeden przez edycję configuration.py i restart. Nautobot ma modele Relationship i RelationshipAssociation, więc relację między dwoma istniejącymi typami obiektów zdefiniujesz bez pisania kodu. Odpowiedzią NetBoxa na ten problem jest wtyczka, która dostaje własną serię rozdziałów dalej. A klucze główne Nautobota to UUID, podczas gdy w NetBoxie to liczby całkowite.\nZrobili też to, po co robili forka. Na dziś Nautobot wydaje 3.2.x i 2.4.x tego samego dnia, czyli prawdziwą linię długoterminowego utrzymania obok bieżącej, a to był jeden z trzech podanych powodów.\nKtóry wybrać Najpierw uczciwe liczby. NetBox ma 21 625 gwiazdek i 3133 forki; Nautobot ma 1617 i 422.7 Do obu coś wypchnięto w ciągu ostatnich dwóch dni, oba są na Apache 2.0 i za oboma stoi teraz komercyjna firma sprzedająca wsparcie i hosting.\nTa różnica nie jest werdyktem co do jakości. Odzwierciedla pięć lat przewagi na starcie i to, że większość ludzi szukających źródła prawdy najpierw trafia na NetBoxa. Ale rozstrzyga o tym, co zwykle liczy się bardziej niż funkcje, czyli ile wtyczek, integracji, modułów Ansible, odpowiedzi na forach i kolegów znajdziesz dla tego, który wybierzesz.\nWięc: jeśli chcesz inwentarza i źródła prawdy, które czytają inne systemy, i chcesz największego ekosystemu i najłatwiejszej rekrutacji, odpowiedzią jest NetBox i o nim jest reszta tego wpisu. Jeśli powodem, dla którego chcesz źródła prawdy, jest konkretnie sterowanie z niego automatyzacją, albo chcesz, żeby statusy i relacje definiował twój zespół, a nie plik konfiguracyjny i restart, to porządnie przyjrzyj się Nautobotowi, zanim zdecydujesz.\nNie pozwól nikomu sprzedać ci żadnego z nich na samo wsparcie. Obie strony mają to teraz załatwione, a różnice, które nadal będą za pięć lat, to te z tabeli powyżej.\nCzego nie powinieneś robić, to wybierać jednego dlatego, że ktoś ci powiedział, że drugi jest martwy. Żaden nie jest i oba wydały w tym tygodniu nowe wersje.\nJak go uruchomić Dwie drogi i obie przeszedłem do tego wpisu. Kontenery, jeśli chcesz, żeby działał za dwadzieścia minut, pakiety na hoście, jeśli ma dźwigać prawdziwy ciężar.\nStos kontenerów Społeczność utrzymuje netbox-docker, i to jest szybka odpowiedź:8\ngit clone -b release https://github.com/netbox-community/netbox-docker.git cd netbox-docker tee docker-compose.override.yml \u0026lt;\u0026lt;\u0026#39;EOF\u0026#39; services: netbox: ports: - 8000:8080 EOF docker compose pull docker compose up To daje ci aplikację, PostgreSQL, Redis i proces roboczy w tle, połączone ze sobą. Zbudowałem to samo ręcznie pod podmanem, żeby zobaczyć części, a części warto znać, bo dwie z nich łapią ludzi:\nKontener Co robi Jeśli go pominiesz netbox Aplikacja Django za gunicornem nic nie działa postgres Baza danych, 15 lub nowsza nic nie działa redis / valkey Dwie bazy: jedna na zadania, jedna na cache nic nie działa netbox-worker rqworker, który opróżnia kolejkę zadań webhooki nigdy się nie odpalają, zadania w tle nigdy się nie wykonują i nic cię o tym nie ostrzega netbox-housekeeping Okresowe sprzątanie wpisy dziennika zmian nigdy nie wygasają Ten czwarty wiersz jest najważniejszy. Bez procesu roboczego wszystko wygląda zdrowo. Reguły zdarzeń ustawiają się w kolejce i tam leżą.\nDwie rzeczy ugryzły mnie przy pierwszym uruchomieniu i żadnej nie ma w komunikacie o błędzie, którego mógłbyś szukać.\nPierwsza migracja trwa długo. Nie minutę. Na tej maszynie kilka, bo NetBox 4.7 zastępuje django-mptt PostgreSQL-owym ltree i po drodze przebudowuje każdą tabelę hierarchiczną. Kontener po prostu siedzi i nakłada migracje. Zostaw go w spokoju.\nBez API_TOKEN_PEPPERS nie utworzysz tokena API v2, a jedynym znakiem jest ostrzeżenie w logu:\nUserWarning: API_TOKEN_PEPPERS is not defined. v2 API tokens cannot be used. Ustaw co najmniej jeden, o długości co najmniej pięćdziesięciu znaków, zanim zaczniesz szukać, czemu API cię odrzuca.\nNa hoście, z pakietów Udokumentowana droga jest testowana na Ubuntu 24.04. Przeszedłem ją od początku do końca na czystej instalacji i skończyło się na tym:\nKomponent Co dało mi 24.04 Czego potrzebuje NetBox 4.7 PostgreSQL 16.15 15 lub nowszy Redis 7.0.15 6.0 lub nowszy Python 3.12.3 3.12, 3.13 lub 3.14 Django 6.1.1 przychodzi z NetBoxem NetBox v4.7.2 Te minima są NetBoxa, a 4.7 podniosła próg zarówno dla PostgreSQL, jak i dla Redisa.9\nCała robota to pięć kroków.\n# 1. the services sudo apt install -y postgresql redis-server sudo -u postgres psql -c \u0026#34;CREATE DATABASE netbox;\u0026#34; sudo -u postgres psql -c \u0026#34;CREATE USER netbox WITH PASSWORD \u0026#39;something-you-generated\u0026#39;;\u0026#34; sudo -u postgres psql -c \u0026#34;ALTER DATABASE netbox OWNER TO netbox;\u0026#34; sudo -u postgres psql -d netbox -c \u0026#34;GRANT CREATE ON SCHEMA public TO netbox;\u0026#34; # 2. the build dependencies sudo apt install -y python3 python3-pip python3-venv python3-dev build-essential libxml2-dev libxslt1-dev libffi-dev libpq-dev libssl-dev zlib1g-dev git # 3. the application, at a release tag rather than at main sudo mkdir -p /opt/netbox \u0026amp;\u0026amp; cd /opt/netbox sudo git clone https://github.com/netbox-community/netbox.git . sudo git checkout v4.7.2 sudo adduser --system --group netbox sudo chown -R netbox /opt/netbox/netbox/media/ /opt/netbox/netbox/scripts/ /opt/netbox/netbox/reports/ # 4. the configuration: five values, no more cd /opt/netbox/netbox/netbox/ sudo cp configuration_example.py configuration.py python3 /opt/netbox/netbox/generate_secret_key.py # run it twice sudo $EDITOR configuration.py # 5. let the upgrade script do the rest sudo /opt/netbox/upgrade.sh Te pięć wartości to ALLOWED_HOSTS, DATABASES, REDIS, SECRET_KEY i API_TOKEN_PEPPERS. Wygeneruj dwie ostatnie osobno i nie używaj jednej jako drugiej. Dlatego uruchom generator kluczy dwa razy i wklej wyniki w różne linie.\nupgrade.sh buduje środowisko wirtualne, instaluje każdą zależność Pythona, wykonuje migracje, buduje dokumentację do użytku offline i zbiera pliki statyczne. Gdy skończy na świeżej maszynie, wypisuje ostrzeżenie, które wygląda groźnie, a groźne nie jest:\nWARNING: No existing virtual environment was detected. A new one has been created. Update your systemd service files to reflect the new Python and gunicorn executables. (If this is a new installation, this warning can be ignored.) Potem superużytkownik i działa:\nsource /opt/netbox/venv/bin/activate cd /opt/netbox/netbox \u0026amp;\u0026amp; python3 manage.py createsuperuser Do czegokolwiek prawdziwego postaw przed nim gunicorna zamiast runserver. Konfiguracja i pliki jednostek są już w repozytorium, i to jest szczegół warty uwagi, bo ludzie piszą własne:\nsudo cp /opt/netbox/contrib/gunicorn.py /opt/netbox/gunicorn.py sudo cp -v /opt/netbox/contrib/*.service /etc/systemd/system/ sudo systemctl daemon-reload sudo systemctl enable --now netbox netbox-rq netbox.service uruchamia gunicorna na 127.0.0.1:8001, netbox-rq.service uruchamia proces roboczy, a nginx albo Apache idzie z przodu, żeby kończyć TLS i serwować /static. Dwie usługi, a druga to ten sam proces roboczy, którego potrzebuje stos kontenerów.\nKolejność, w jakiej musisz go wypełniać Świeży NetBox to pusta baza danych z poglądami, a pierwszą godzinę z nim zwykle spędza się na odkrywaniu, jakie to poglądy. Idziesz dodać urządzenie, a on ci nie pozwala.\nTe czerwone gwiazdki to cała lekcja. NetBox nie zapisze rzeczy, zanim nie będą istnieć rzeczy, na których ona wisi, i nie robi tego na złość: urządzenie bez typu to wiersz, który nie odpowie na żadne z pytań, do których służy urządzenie.\nWięc zamiast zgadywać, zapytałem model, które klucze obce są naprawdę obowiązkowe, a potem próbowałem złamać każdą regułę przez API, żeby zobaczyć, co wraca.\nPOST /api/dcim/device-types/ no manufacturer {\u0026#34;manufacturer\u0026#34;: [\u0026#34;This field is required.\u0026#34;]} POST /api/dcim/devices/ no device type {\u0026#34;device_type\u0026#34;: [\u0026#34;This field is required.\u0026#34;]} POST /api/dcim/interfaces/ no device {\u0026#34;device\u0026#34;: [\u0026#34;This field is required.\u0026#34;]} POST /api/ipam/aggregates/ no RIR {\u0026#34;rir\u0026#34;: [\u0026#34;This field is required.\u0026#34;]} POST /api/circuits/circuits/ no provider, no type {\u0026#34;provider\u0026#34;: [\u0026#34;This field is required.\u0026#34;], \u0026#34;type\u0026#34;: [\u0026#34;This field is required.\u0026#34;]} POST /api/virtualization/virtual-machines/ nothing at all {\u0026#34;__all__\u0026#34;: [\u0026#34;A virtual machine must be assigned to a site, cluster, or device.\u0026#34;]} Każda próba odrzucona, z dokładną informacją, czego brakuje. Oto te same informacje jako lista warunków wstępnych:\nŻeby utworzyć Najpierw wymagane Opcjonalne, ale chcesz to mieć wcześniej Tenant nic Tenant group Region, Site group nic rodzic tego samego rodzaju, zagnieżdżają się Site nic Region, Site group, Tenant Location Site nadrzędna Location, Tenant Rack type Manufacturer Rack Site Location, Rack group, Rack role, Rack type, Tenant Device type Manufacturer Device role nic nadrzędna Device role, zagnieżdżają się Device Device role, Device type, Site Rack i pozycja, Platform, Tenant Interface i każdy inny komponent Device Cable dwie rzeczy, na których się kończy Tenant Aggregate RIR Tenant VLAN nic VLAN group, Role, Tenant Prefix nic Site, VLAN, Role, VRF, Tenant IP address nic Interface, do którego go przypisać, Tenant Circuit Provider i Circuit type Tenant Circuit termination Circuit Site, na którym ląduje Cluster Cluster type Cluster group, Site, Tenant Virtual machine Site, Cluster albo Device Platform, Tenant VM interface Virtual machine To druga kolumna kosztuje. Prefiksy, adresy IP, VLAN-y i dzierżawcy nie wymagają niczego, więc nic nie powstrzyma cię przed utworzeniem ich pierwszego dnia w dowolnej kolejności. Czy będą do czegoś przydatne, to inna sprawa, bo adres bez interfejsu za nim to wiersz na liście, a urządzenie bez dzierżawcy to urządzenie, które później będziesz edytować jeszcze raz.\nKolejność, w jakiej naprawdę pracować To daje sekwencję. Idź po niej w dół, a nic ci nigdy nie odmówi.\nNajpierw rzeczy, na których wisi wszystko inne. Żadna z nich nie jest ekscytująca i każdą tanio jest zrobić źle.\nGrupy dzierżawców, potem dzierżawcy. Zrób je przed czymkolwiek innym. Dwadzieścia osiem modeli przyjmuje dzierżawcę, w tym Site, Location i Rack, więc jeśli klientów jeszcze nie ma, nie przypiszesz ich na bieżąco i później będziesz robić masową edycję. Regiony i grupy lokalizacji. Oba opcjonalne, oba zagnieżdżają się same w sobie i są od siebie niezależne. Regiony są do geografii, grupy lokalizacji do funkcji, a możesz użyć jednego, obu albo żadnego. Lokalizacje (Site). Korzeń prawie wszystkiego. Lokalizacja nie wymaga niczego i dlatego jest pierwszą rzeczą, którą faktycznie możesz utworzyć. Pomieszczenia (Location). Wymagają lokalizacji i zagnieżdżają się, więc hala zawierająca rzędy zawierające pody to jeden model na trzech poziomach. Role szaf i grupy szaf. Obie opcjonalne. Grupy szaf są płaskie i stoją obok pomieszczeń jako druga oś, co przydaje się na rzędy i pody. Producenci, potem typy szaf. Typ szafy wymaga producenta. Pomiń typy szaf, jeśli nie modelujesz samych szaf. Szafy. Wymagają lokalizacji. Jeśli dasz szafie także pomieszczenie, to pomieszczenie musi należeć do tej lokalizacji, a NetBox to sprawdza. Potem katalog sprzętu, a nie sam sprzęt. Zanim dodasz choćby jedno urządzenie, potrzebujesz producentów, typów urządzeń, ról urządzeń i w praktyce platform.\nProducenci. Możesz już jakichś mieć z kroku 6, bo typy szaf też ich potrzebują. Typy modułów również. Typy urządzeń, każdy wymaga producenta. Role urządzeń, które się zagnieżdżają, oraz platformy. To jest krok, który ludzie pomijają, i to jest krok, który decyduje, ile pisania wymaga reszta roboty. Typ urządzenia niesie własne interfejsy, porty i wnęki jako szablony, więc każde urządzenie, które z niego utworzysz, przychodzi już z właściwymi komponentami. Zrób typ dobrze raz, a zamontowanie czterdziestu sztuk to czterdzieści nazw.\nPlatforma jest na tej liście wyjątkiem, bo urządzenie formalnie jej nie wymaga. I tak zrób to teraz. To ona później niesie szablon konfiguracji i sterownik NAPALM, a wracanie, żeby ustawić ją na całej infrastrukturze, to ten sam wieczór, który spędziłbyś na dzierżawcach.\nPotem sam sprzęt.\nUrządzenia. Rola, typ i lokalizacja są wymagane. Szafa i pozycja są opcjonalne, a jeśli je podasz, muszą być spójne z lokalizacją. Komponenty, jeśli typ urządzenia ich jeszcze nie dostarczył. Kable między komponentami. Potem adresacja, bo adres chce mieć interfejs, na którym żyje, a interfejs istnieje dopiero po kroku 12.\nRIR-y, potem agregaty. Role prefiksów i VLAN-ów, VRF-y, grupy VLAN-ów, potem VLAN-y. Prefiksy, potem pojedyncze adresy IP. Potem warstwa handlowa.\nDostawcy, konta dostawców i typy łączy. Łącza, potem ich zakończenia w lokalizacjach. I infrastruktura wirtualna, która odzwierciedla fizyczną.\nTypy klastrów i grupy klastrów, potem klastry. Maszyny wirtualne, które potrzebują lokalizacji, klastra albo urządzenia, a potem ich interfejsy. Kroki od 1 do 10 to jedno popołudnie i wyglądają na papierologię. Nie ma w nich nic efektownego. To też jest popołudnie, które decyduje, czy krok 11 zajmie poranek, czy dwa tygodnie.\nReguły, które gryzą później Pola wymagane to łatwiejsza połowa, bo zawodzą od razu i mówią dlaczego. Ludzi łapią reguły spójności, które odpalają się dopiero wtedy, gdy masz wystarczająco danych, żeby sam sobie zaprzeczyć:\ndevice at Leeds, put in a Manchester rack {\u0026#34;rack\u0026#34;: [\u0026#34;Rack MCR1-A07 (A07) does not belong to site Leeds Edge.\u0026#34;]} device at Leeds, in a Manchester location {\u0026#34;location\u0026#34;: [\u0026#34;Location Hall 2 does not belong to site Leeds Edge.\u0026#34;]} rack at Leeds, in a Manchester location {\u0026#34;__all__\u0026#34;: [\u0026#34;Assigned location must belong to parent site (Leeds Edge).\u0026#34;]} a second device in a unit that is already taken {\u0026#34;position\u0026#34;: [\u0026#34;U39.0 is already occupied or does not have sufficient space to accommodate this device type: MX204 (1.0U)\u0026#34;]} Ten ostatni wskazałbym, gdyby ktoś zapytał, po co to wszystko. NetBox wie, że urządzenie ma 1U, wie, co jest w szafie, i nie pozwoli ci zapisać dwóch rzeczy w tym samym miejscu. Twój arkusz kalkulacyjny pozwoli ci na to przez całe popołudnie i słowem się nie odezwie, a dowiesz się, gdy ktoś będzie stał w hali z pudłem w rękach.\nŻadnej z tych reguł nie da się skonfigurować i żadnej nie powinno się dać. To one są różnicą między zapisem a pobożnym życzeniem.\nUżywanie: co daje ci każdy ekran Z załadowaną infrastrukturą, oto co naprawdę z niej dostajesz. Wszystko poniżej to ta sama instancja: jedna szafa, czternaście urządzeń, okablowanych i zaadresowanych dla trzech klientów.\nUrządzenie to jego komponenty Kliknij w jeden z tych hiperwizorów, a ciekawą zakładką nie jest podsumowanie, tylko interfejsy.\nPrzeczytaj jeden wiersz w poprzek. Interfejs, jego prędkość, co o nim napisałeś, adres na nim, etykieta na kablu i port na drugim końcu. To jedno zapytanie i odpowiedź na pytanie, które wszyscy naprawdę zadają, czyli „do czego to jest wpięte”.\nZwróć uwagę, gdzie siedzi adres. Jest na eno1, a nie na serwerze. Brzmi to jak pedanteria aż do chwili, gdy masz pudełko z interfejsem zarządzania, dwoma interfejsami danych i loopbackiem, a ktoś pyta, który adres za nie odpowiada. Model, który wiesza adresy na urządzeniach, nie powie ci tego. Ten powie, a do tego obsłuży całkiem zwyczajny przypadek czterech adresów na jednym interfejsie.\nIdź za kablem Kable kończą się na komponentach, a nie na urządzeniach. Interfejs na jednym końcu, interfejs na drugim, albo port przedni, port tylny, gniazdo zasilania, zakończenie łącza. Na tym szczególe opiera się cała funkcja i dlatego lista interfejsów powyżej mogła wypisać drugi koniec we własnej kolumnie, nikt jej tego nie musiał mówić.\nZamodeluj kabel od urządzenia do urządzenia, a narysowałeś obrazek. Zakończ go na portach, a NetBox może po nim przejść.\nTu jeden przeskok, bo to kabel DAC. Wstaw pośrodku panele krosowe, a przejdzie przez nie, panel po panelu, i powie ci, co jest na końcu trasy przez trzy szafy. To robota, która w przeciwnym razie wymaga latarki i kogoś trzymającego drugi koniec sondy tonowej.\nŚledzenie wypisuje też pełną lokalizację każdego końca. Lokalizacja, hala, szafa, strona, jednostka. Jeśli kiedykolwiek próbowałeś przez telefon wytłumaczyć technikowi remote hands, na które pudło ma patrzeć, ta jedna linia to cała wartość.\nAdresy jako drzewo, a nie zakładka IPAM to połowa, dla której ludzie przychodzą.\nWcięcia są liczone z samych adresów. Nie mówisz NetBoxowi, że 10.20.20.0/24 siedzi wewnątrz 10.20.0.0/16, on to wylicza i będzie to wyliczał dalej, gdy ktoś w przyszłym roku doda /26 w środku.\nKażdy wiersz niesie to, po czym naprawdę filtrujesz: VLAN, do którego się mapuje, rolę i klienta, do którego należy. Zajętość też jest liczona.\nOtwórz jeden, a dostaniesz adresy w nim i luki.\nTe zielone wiersze to wolne miejsce, pokazane w jednej linii z zajętym. Jest wywołanie API, które podaje ci następny wolny adres z prefiksu, i to jest jedyny kawałek automatyzacji IPAM, który zwraca się od razu, bo to rzecz, którą ludzie w przeciwnym razie robią, mrużąc oczy nad arkuszem i mając nadzieję.\nInterfejs przyjmuje tyle adresów, ile chcesz, z obu rodzin, a ty wskazujesz po jednym z każdej jako główny adres urządzenia.\nDwa IPv4 i dwa IPv6 na jednym porcie, co jest zwykłym wtorkiem i czymś, czego model skupiony na urządzeniach w ogóle nie wyrazi.\nWpisuj adresy z maską sieci, w której są, a nie jako /32. NetBox przyjmie 10.20.20.11/32 i zaliczy go do właściwego prefiksu, bo zawieranie jest liczone z adresu hosta. Czego nie zrobi, to poprawiać cię potem: maska jest zapisywana dokładnie tak, jak ją wpisałeś, i oddawana temu, co ją czyta, więc /32 na adresie w LAN-ie wyrenderuje /32 do konfiguracji urządzenia. Ugryzie cię to za trzy miesiące w szablonie konfiguracji, a nie dziś w formularzu.\nJedna instalacja, trzech klientów Większość obiektów w NetBoxie można przypisać do dzierżawcy (tenant). Przedsiębiorstwo używa tego dla jednostek biznesowych. Jeśli sprzedajesz usługi zarządzane, tworzysz jednego na klienta.\nTen panel po prawej to odpowiedź na pytanie „co ma ten klient” i złożył się sam. Bez raportu, bez arkusza, bez pytania inżyniera, który to budował.\nWarto uważać, co oznacza dzierżawa, bo pomyłka pierwszego dnia to rok rozplątywania później. Dzierżawca oznacza, że obiekt jest dedykowany temu klientowi. Router, który obsługuje tylko jego, dostaje jego dzierżawcę. Firewall obsługujący czterech z nich nie należy do żadnego, więc nie dostaje żadnego, a relacja trafia gdzie indziej. Więcej o tym dalej, bo to moment, w którym większość ludzi odkrywa, że musi dodać coś własnego.\nWpisz liczby na typie urządzenia To jest krok, który oddziela inwentarz od czegoś, co odpowiada na pytania, i kosztuje około dziesięciu minut na typ urządzenia.\nTyp urządzenia może nieść swoją wagę, a przez szablony portów zasilania swój pobór mocy. Wpisz je na typie raz, a każde urządzenie, które kiedykolwiek z niego utworzysz, je odziedziczy. Pomiń je, a NetBox z radością powie ci, że szafa jest zapełniona w 28,6% i nic więcej.\nWpisałem wagę na wszystkich pięciu typach, dałem każdemu dwa szablony portów zasilania z maksymalnym i przydzielonym poborem, dałem typowi PDU wejście i dwanaście gniazd, a potem utworzyłem panel zasilania i dwa zasilania do szafy i okablowałem całość: PSU1 każdego urządzenia do PDU A, każdy PSU2 do PDU B, a wejście każdego PDU do jego zasilania.\nWtedy strona szafy zmienia się zupełnie.\nZajętość miejsca 28,6%. Zajętość mocy 90,7%.\nTa szafa jest w jednej trzeciej pełna sprzętu i prawie bez mocy, a to fakt o twojej infrastrukturze, którego żaden arkusz nigdy sam z siebie nie poda. To też fakt, który decyduje, czy następne zamówienie zostanie tam zamontowane, czy gdzie indziej, i wypadł z danych, które wpisałeś raz, na typach.\nDwie rzeczy, przez które pokaże zero Na początku dostałem 0,0%, dwa razy, i obie przyczyny warto znać, bo żadna nie daje błędu.\nGniazda muszą wskazywać na wejście. Gniazdo zasilania na PDU ma pole power_port wskazujące na port wyżej w łańcuchu na tym samym urządzeniu. Zostaw je puste, a łańcuch jest przerwany: NetBox nie ma jak wiedzieć, że tych dwanaście gniazd jest zasilanych przez to wejście, więc nic się nie sumuje.\nZostaw pola poboru na wejściu puste. To jest ta wbrew intuicji. NetBox liczy pobór portu zasilania z tego, co jest do niego wpięte, tylko jeśli oba jego własne pola poboru są puste:\nif self.allocated_draw is None and self.maximum_draw is None: ...aggregate the downstream power ports... # otherwise return {\u0026#39;allocated\u0026#39;: self.allocated_draw or 0, ...} Usłużnie ustawiłem maximum_draw: 7400 na wejściu PDU, bo na tyle PDU jest znamionowane. NetBox więc mi uwierzył, uznał allocated_draw za nieustawione i zgłosił zero. Wyczyść oba, a sam to policzy:\nmcr1-pdu-a INPUT -\u0026gt; allocated 5340 VA, maximum 8480 VA, across 12 outlets mcr1-pdu-b INPUT -\u0026gt; allocated 5340 VA, maximum 8480 VA, across 12 outlets feed MCR1-A07-A: available 5888 VA (230 V x 32 A x 80% max utilisation) RACK power utilisation: 90.7 % RACK weight: 166.6 kg of 900 kg Więc reguła brzmi: wpisz prawdziwe liczby na liściach, a porty pośrednie zostaw puste, żeby NetBox mógł je zsumować. Wartość zdefiniowana administracyjnie zawsze wygrywa z wyliczoną, co jest poprawnym zachowaniem i dokładnie tym, czego nie należy robić na PDU.\nChłodzenie, które jest nowe Wersja 4.7 dodała chłodzenie do DCIM i przyszło z tą połową, która robi się droga. Szafa niesie możliwość chłodzenia (powietrze, hybryda albo ciecz) i wydajność w kilowatach; typ urządzenia niesie metodę chłodzenia. Nad tym są źródła chłodzenia dla agregatów wody lodowej i jednostek CRAC, zasilania chłodzenia reprezentujące pętlę do szafy oraz komponenty wlotu i wylotu na samych urządzeniach, dla płyt chłodzących i rozdzielaczy.\nSzafa powyżej pokazuje Hybrid, 15,00 kW, bo tak powiedziałem szafie. Jeśli w tym roku odbierasz sprzęt chłodzony cieczą, to jest model dla rzeczy, którą obecnie trzymasz w arkuszu.\nJedna instalacja, wielu klientów Dzierżawa to powód, dla którego dostawca może prowadzić jeden NetBox, a nie po jednym na klienta, i warto rozumieć, co robi, a co ważniejsze, czego nie robi.\nDwadzieścia osiem modeli NetBoxa ma pole dzierżawcy. Lokalizacje, pomieszczenia, szafy i rezerwacje w szafach. Urządzenia, kable i wirtualne konteksty urządzeń. Prefiksy, adresy IP, zakresy, agregaty, VLAN-y, grupy VLAN-ów, VRF-y, route targety, numery ASN. Łącza i grupy łączy. Klastry i maszyny wirtualne. Tunele, L2VPN-y, sieci bezprzewodowe i łącza. Zasilania i zasilania chłodzenia.\nTo każdy rzeczownik, za który się wystawia fakturę. Ustawiaj to konsekwentnie, a „co ma ten klient” przestaje być śledztwem.\nAle dzierżawca to etykieta, a nie zamek. Mówi, że obiekt jest dedykowany temu klientowi. Nie powstrzymuje nikogo, kto może się zalogować, przed przeczytaniem całości, co jest w porządku wewnątrz jednej firmy i zupełnie bezużyteczne w chwili, gdy klient ma konto.\nWynikają z tego dwie rzeczy, a druga to ta, którą ludzie robią źle.\nDzierżawca oznacza dedykowany. Router, który obsługuje tylko jednego klienta, dostaje jego dzierżawcę. Firewall obsługujący czterech z nich nie należy do żadnego, więc nie dostaje nic, a relację zapisujesz zamiast tego na rzeczy, którą faktycznie sprzedałeś. Wciskanie dzierżawcy na współdzielony sprzęt sprawia, że każdy raport zbudowany na dzierżawie jest po cichu błędny.\nA dostęp to zupełnie osobny mechanizm.\nIzolacja żyje w uprawnieniach Uprawnienia do obiektów w NetBoxie przyjmują ograniczenie w JSON, a to ograniczenie jest filtrem Django ORM. Zawęża queryset, zanim cokolwiek zostanie z niego zbudowane, więc każdy widok, eksport, wywołanie API i wyszukiwanie jest zawężane razem z nim.\nRobotę robią trzy pola. Typy obiektów, do których się odnosi, akcje, które przyznaje, i to ograniczenie na dole. Cała reszta to księgowość.\nOto lista urządzeń widziana przez administratora.\nA oto ten sam URL, ta sama instalacja, zalogowany jako klient.\nDwa wiersze zamiast czternastu, i spójrz na menu po lewej. Skurczyło się do czterech rzeczy, których to konto może dotykać. Nikt tego nie konfigurował. Nawigacja jest budowana z tych samych uprawnień, więc klient nigdy nie widzi linku do czegoś, co by mu odmówiło.\nDwa sposoby, w jakie mówi nie To jest szczegół wart poznania, bo te dwie odmowy znaczą co innego i obie są celowe.\nToken klienta prosi o Dostaje /api/dcim/devices/ 200, jeden wiersz z dwóch /api/dcim/devices/1/, własne 200 /api/dcim/devices/2/, cudze 404 /api/tenancy/tenants/ 403 /api/dcim/sites/, nigdy nieprzyznane 403 w ogóle bez tokena 403 404 oznacza, że typ jest twój, ale ten wiersz nie. Ograniczenie usunęło go z querysetu, więc z punktu widzenia żądania on nie istnieje. 403 w tym miejscu potwierdziłoby, że istnieje, i pozwoliłoby ciekawskiemu klientowi policzyć twoją infrastrukturę, przechodząc po ID.\n403 oznacza, że typ nigdy nie był twój. Dzierżawcy i lokalizacje nigdy nie zostały przyznane, więc odmowa jest od razu, a klient nie może wyliczyć, kto jeszcze jest na platformie.\nPotem pozwól im pisać Tylko do odczytu to łatwy przypadek. Prawdziwe pytanie brzmi, czy klientowi z prawem edycji można to prawo powierzyć, więc przyznałem change z tym samym ograniczeniem i zacząłem szukać wyjścia.\nPróba Wynik Edycja własnego urządzenia 200, zapisane Edycja urządzenia innego klienta 404 Edycja własnego urządzenia z przeniesieniem go do dzierżawcy innego klienta 403 Usunięcie własnego urządzenia 403, usuwanie nigdy nie zostało przyznane Trzeci wiersz jest tym, który się liczy. Przepisanie własnego urządzenia do cudzego dzierżawcy to oczywista ucieczka, bo obiekt jest wewnątrz twojego ograniczenia, gdy żądanie przychodzi, i poza nim potem. NetBox sprawdza ograniczenie względem stanu, w jakim obiekt zostałby zostawiony, więc odmawia. Odczytałem urządzenie z powrotem, zamiast ufać kodowi statusu, i dzierżawca się nie zmienił.\nTo jest dziura, którą większość domowej roboty wielodzierżawności zostawia otwartą, i zwykle znajduje ją klient, a nie test.\nZmienne, które muszą się dziedziczyć Oto rozróżnienie, które ludzie robią źle, a zrobienie go dobrze oszczędza mnóstwo edycji.\nPole własne (custom field) to wartość na jednym obiekcie. Ustawiasz je dla każdego obiektu osobno i tam zostaje. Dobre na fakt o samej rzeczy: numer inwentarzowy, numer umowy serwisowej, datę uruchomienia.\nConfig context to wartość przypięta do cechy, którą dziedziczy wszystko, co tę cechę ma. Dobre na zmienną, która powinna spływać w dół: twoje serwery NTP, cele syslogu, community SNMP, domenę DNS, VLAN zarządzania, okno kopii zapasowych.\nJeśli łapiesz się na ustawianiu tego samego pola własnego na tę samą wartość na czterdziestu urządzeniach, chciałeś config contextu.\nKontekst to dowolny JSON i można go przypiąć do regionu, grupy lokalizacji, lokalizacji, pomieszczenia, typu urządzenia, roli, platformy, klastra, typu klastra, grupy klastrów, grupy dzierżawców, dzierżawcy albo tagu. Dzierżawca jest na tej liście, co dla dostawcy oznacza, że fakt prawdziwy dla jednego klienta wszędzie idzie za nim na każde urządzenie, jakie kiedykolwiek dla niego dodasz.\nScalanie odbywa się po kluczu, a waga decyduje, kto wygrywa każdy z nich.\nPrzeczytaj prawy panel względem lewego. Region dostarcza cztery klucze z wagą 1000. Lokalizacja dostarcza jeden klucz z wagą 2000. Wyrenderowany kontekst zachowuje nietknięte domenę, serwery NTP i community z regionu, a bierze serwer syslog z lokalizacji, bo to jedyny klucz, o który był spór.\nPiszesz wyjątek, a nie świeżą kopię wszystkiego z wyjątkiem w środku. To jest cała wartość i dlatego to się skaluje, a plik zmiennych na urządzenie nie.\nKontekst lokalny bije wszystko powyżej Stos dziedziczenia ma szczyt i jest nim sam obiekt. Lokalne dane kontekstu na urządzeniu wygrywają z każdym kontekstem źródłowym, który się do niego odnosi, niezależnie od wag.\nUstawiłem to na mcr1-core-01:\n{\u0026#34;syslog_servers\u0026#34;: [\u0026#34;10.20.10.99\u0026#34;], \u0026#34;note\u0026#34;: \u0026#34;this box logs somewhere else\u0026#34;} a jego wyrenderowany kontekst stał się taki:\n{ \u0026#34;note\u0026#34;: \u0026#34;this box logs somewhere else\u0026#34;, \u0026#34;domain\u0026#34;: \u0026#34;mcr1.example.net\u0026#34;, \u0026#34;ntp_servers\u0026#34;: [\u0026#34;172.16.10.22\u0026#34;, \u0026#34;172.16.10.33\u0026#34;], \u0026#34;snmp_community\u0026#34;: \u0026#34;n0rthwest\u0026#34;, \u0026#34;syslog_servers\u0026#34;: [\u0026#34;10.20.10.99\u0026#34;] } Lokalny serwer syslog pobił zarówno nadpisanie z lokalizacji z wagą 2000, jak i region z wagą 1000. Wszystko, o czym nic nie mówił, nadal się odziedziczyło, więc domena, serwery NTP i community przeszły nietknięte, a nowy klucz po prostu został dodany.\nTo jest wyjście awaryjne dla tego jednego pudełka, które naprawdę jest inne, a panel mówi ci wprost, że nadpisuje wszystkie konteksty źródłowe. Jeśli łapiesz się na używaniu tego na wielu urządzeniach, a nie na jednym, znalazłeś cechę, którą te urządzenia dzielą, i chciałeś kontekstu przypiętego do niej.\nTrzy pułapki Kontekst bez zakresu jest globalny. Utwórz go i zapomnij do czegoś przypisać, a obejmie każde urządzenie i każdą maszynę wirtualną, jaką masz. To udokumentowane zachowanie i czasem dokładnie to, czego chcesz. Jest też ciche.\nKlucze nie mogą mieć myślników, jeśli chcesz się do nich łatwo dostać. Dane kontekstu to JSON, więc ntp-servers jest całkowicie legalne, ale nazwy zmiennych w Jinja to nie klucze JSON. {{ ntp-servers }} jest parsowane jako odejmowanie i rzuca UndefinedError: 'ntp' is undefined. Napisz {{ ntp_servers }} przy danych z myślnikiem, a dostaniesz pusty ciąg, HTTP 200 i nigdzie żadnego ostrzeżenia. Używaj podkreśleń w kluczach, a oczywisty szablon zadziała.\nProfil może zatrzymać literówki. Profil config contextu grupuje powiązane konteksty i wymusza na ich danych schemat JSON przy zapisie. Dałem jednemu schemat wymagający syslog_servers jako tablicy ciągów IPv4, a potem popełniłem dwa błędy, które ludzie popełniają naprawdę:\n{\u0026#34;syslog-server\u0026#34;: [\u0026#34;10.1.1.1\u0026#34;]} singular, by accident 400 Data does not conform to profile schema: \u0026#39;syslog-servers\u0026#39; is a required property {\u0026#34;syslog_servers\u0026#34;: [...], \u0026#34;syslog_port\u0026#34;: 99999} 400 Data does not conform to profile schema: 99999 is greater than the maximum of 65535 Odrzucone tam, gdzie ktoś je popełnił, a nie czterysta urządzeń później.\nRenderowanie konfiguracji Dane kontekstu plus szablon Jinja dają ci plik konfiguracyjny. Urządzenie jest w zasięgu jako device, jego scalony kontekst jest w zasięgu jako zwykłe zmienne, a po jego komponentach możesz iterować.\nWszystko na tej stronie przyszło z innego miejsca i o to właśnie chodzi:\nLinia Skąd się wzięła host-name mcr1-core-01 z urządzenia domain-name mcr1.example.net z regionalnego config contextu location \u0026quot;Manchester DC1 / MCR1-A07 / U39\u0026quot; z lokalizacji, szafy i pozycji w niej server 172.16.10.22 z kontekstu regionalnego, waga 1000 host 10.20.10.99 any notice z własnego lokalnego kontekstu urządzenia, który bije i lokalizację, i region family inet address 10.20.10.11/24 z adresu na tym interfejsie, z maską taką, jak wpisano Szablon jest szukany na urządzeniu, potem na roli, potem na platformie, a żądanie kończy się błędem, jeśli żadne z trzech go nie ma. Więc przypisujesz szablon do platformy raz, a każde urządzenie z tym oprogramowaniem renderuje się z niego, chyba że jego rola albo samo urządzenie mówi inaczej. Do tego służy platforma: rodzina systemu operacyjnego albo oprogramowania producenta, a nie sprzęt.\nNetBox renderuje. Nie wgrywa. Dostarczenie wyniku na pudełko to robota twojej automatyzacji, a w dniu, w którym błąd w szablonie przekonfigurowałby czterysta urządzeń, będziesz zadowolony, że to dwa różne systemy.\nWtyczki Wtyczka to aplikacja Django zainstalowana obok NetBoxa. Może dodawać modele, strony, rozszerzać oba API, wstrzykiwać treść do istniejących szablonów, dodawać nawigację, kolejki zadań w tle i ładować kolejne aplikacje Django. Niewiele jest rzeczy, których nie potrafi, bo pod spodem to po prostu Django.\nInstalacja to cztery polecenia i restart:\nsource /opt/netbox/venv/bin/activate pip install netbox-topology-views netbox-qrcode # add the package names to PLUGINS in configuration.py, then python3 manage.py migrate python3 manage.py collectstatic --no-input sudo systemctl restart netbox netbox-rq Na stosie kontenerów te same pakiety idą do plugin_requirements.txt i przebudowujesz obraz. Tak czy inaczej, przypnij wersje i najpierw sprawdź macierz zgodności, bo wtyczka, która nie nadąża za wydaniem NetBoxa, nie wyłączy się sama, tylko nie pozwoli wystartować całej aplikacji.\nOpublikowany katalog wymienia 31. Oto te, które warto znać, z licencją, na jakiej każda faktycznie jest wydawana:\nWtyczka Co robi Licencja DNS Strefy, rekordy i serwery nazw jako źródło prawdy MIT BGP Sesje, community i polityki routingu Apache 2.0 Topology Views Graficzne mapy topologii budowane z twoich kabli Apache 2.0 Floorplan Graficzne mapy lokalizacji i pomieszczeń LGPL 3.0 QR Code Kody na szafach, urządzeniach i kablach, do etykiet inwentarzowych Apache 2.0 ACLs Listy dostępu i reguły Apache 2.0 Prometheus SD Podaje Prometheusowi listę hostów prosto z NetBoxa MIT Documents Dokumenty przypięte do łączy i urządzeń Apache 2.0 Lifecycle Koniec życia sprzętu, licencje i umowy Apache 2.0 Contract Umowy i faktury MIT Reorder Rack Przeciąganie jednostek w szafie Apache 2.0 Branching Izolowane, scalalne gałęzie twoich danych NetBox Limited Use Custom Objects Nowe typy obiektów definiowane w interfejsie NetBox Limited Use Prometheus SD to uczciwy kształt całej idei. NetBox wie, co istnieje, więc niech NetBox powie to systemowi monitoringu, a ty przestań utrzymywać drugą listę hostów, która się rozjeżdża.\nJedna rzecz, którą trzeba wiedzieć, zanim zbudujesz coś na dwóch ostatnich wierszach. Sam NetBox jest na Apache 2.0 od czasu, gdy DigitalOcean wypuścił go w 2016 roku, a dziś projektem opiekuje się NetBox Labs razem z zespołem wolontariuszy.21 NetBox Branching i NetBox Custom Objects nie są: są wydawane na NetBox Limited Use License 1.0, która pozwala na użycie „only as part of a NetBox installation obtained from NetBox Labs or a NetBox distributor authorized by NetBox Labs, and only for your own internal use” i nie daje prawa do użycia oprogramowania „to provide a managed service or software products that includes, integrates with, or extends NetBox in a way that competes with any product or service of NetBox Labs”. Jeśli zainstalowałeś NetBox Community z GitHuba i prowadzisz go w imieniu klientów, przeczytaj warunki sam, zanim postawisz na nich schemat.10 Własny przewodnik instalacji NetBoxa poleca obie wtyczki, nie wspominając o tym.11\nPola własne Pole własne dodaje atrybut do istniejącego modelu. Wartości są przechowywane jako JSON obok każdego obiektu, więc nie ma migracji ani restartu, a typów jest trzynaście, w tym odwołania do jednego i wielu obiektów NetBoxa.\nDwa pola, zgrupowane pod wybranym przeze mnie nagłówkiem „Asset”. Zwróć uwagę na panel Dimensions po ich prawej: 9,5 kg, czego nikt nie wpisał na tym urządzeniu. Przyszło z typu urządzenia.\nPola własne są walidowane i warto wiedzieć, że są, bo to realna różnica względem drogi opisanej niżej. Dałem polu umowy wyrażenie regularne i API je wymusiło:\nPATCH {\u0026#34;custom_fields\u0026#34;: {\u0026#34;support_contract\u0026#34;: \u0026#34;nonsense\u0026#34;}} {\u0026#34;__all__\u0026#34;: [\u0026#34;Invalid value for custom field \u0026#39;support_contract\u0026#39;: Value must match regex \u0026#39;^[A-Z]{2,4}-[0-9]{6}$\u0026#39;\u0026#34;]} W 4.7 zmieniły się dwie rzeczy, które mają znaczenie w skali. Utworzenie pola z wartością domyślną albo usunięcie pola musi przepisać zapisane dane każdego obiektu, którego dotyczy, więc na dużej tabeli ta praca jest przekazywana do zadania w tle, a pole zgłasza „provisioning” albo „deleting”, dopóki ono trwa. Pole działa tylko wtedy, gdy jest aktywne: podczas każdej z tych operacji nie pojawia się na obiektach, w formularzach, w filtrach ani w żadnym z API. To wymaga działającego procesu roboczego, inaczej pole zostaje w tym stanie bez końca.\nUżyj pola własnego, gdy dodajesz fakt o samej rzeczy. Użyj config contextu, gdy wartość ma spływać w dół. Użyj następnego rozdziału, gdy rzecz, której potrzebujesz, nie istnieje.\nWłasne menu wyboru i nadpisywanie tego, co jest w pudełku Pod tym nagłówkiem żyją dwa różne mechanizmy i rozwiązują różne problemy. Jeden jest dla twoich własnych pól. Drugi przepisuje pola NetBoxa.\nZestaw wyborów dla twojego własnego pola wyboru Pole własne typu „selection” bierze opcje z zestawu wyborów (choice set), czyli obiektu, którym zarządzasz w interfejsie jak wszystkim innym. Więc „poziom wsparcia” staje się prawdziwą listą rozwijaną zamiast wolnego tekstu, który ktoś zapisze na trzy sposoby.\nJest wymuszany, także przez API:\nPATCH {\u0026#34;custom_fields\u0026#34;: {\u0026#34;support_tier\u0026#34;: \u0026#34;platinum\u0026#34;}} {\u0026#34;__all__\u0026#34;: [\u0026#34;Invalid value for custom field \u0026#39;support_tier\u0026#39;: Invalid choice (platinum) for choice set Support tier.\u0026#34;]} Zestawy wyborów są współdzielone, więc jeden zestaw może obsługiwać to samo pole na kilku modelach, a zmiana listy w jednym miejscu zmienia ją wszędzie.\nFIELD_CHOICES dla własnych pól NetBoxa O tym ludzie nie wiedzą, że istnieje. Kilka wbudowanych pól wyboru NetBoxa można rozszerzyć albo zastąpić z configuration.py, w tym status urządzenia, status lokalizacji, status szafy, status łącza i wiele innych.12\nDopisz znak plus, żeby dodać do tego, co jest w pudełku. Pomiń go, żeby zastąpić listę w całości.\nFIELD_CHOICES = { # add to what NetBox ships with \u0026#39;dcim.Device.status+\u0026#39;: ( (\u0026#39;burn-in\u0026#39;, \u0026#39;Burn-in\u0026#39;, \u0026#39;cyan\u0026#39;), {\u0026#39;value\u0026#39;: \u0026#39;awaiting-rma\u0026#39;, \u0026#39;label\u0026#39;: \u0026#39;Awaiting RMA\u0026#39;, \u0026#39;color\u0026#39;: \u0026#39;orange\u0026#39;, \u0026#39;description\u0026#39;: \u0026#39;Faulty, with the vendor\u0026#39;}, ), # replace the stock list outright \u0026#39;dcim.Site.status\u0026#39;: ( (\u0026#39;surveyed\u0026#39;, \u0026#39;Surveyed\u0026#39;, \u0026#39;purple\u0026#39;), (\u0026#39;building\u0026#39;, \u0026#39;Building out\u0026#39;, \u0026#39;orange\u0026#39;), (\u0026#39;active\u0026#39;, \u0026#39;Active\u0026#39;, \u0026#39;green\u0026#39;), (\u0026#39;closing\u0026#39;, \u0026#39;Closing\u0026#39;, \u0026#39;red\u0026#39;), ), } Wpisałem dokładnie to na tej instancji. Status urządzenia wrócił z siedmioma standardowymi wartościami i moimi dwiema:\noffline, active, planned, staged, failed, inventory, decommissioning, burn-in, awaiting-rma a status lokalizacji wrócił tylko z moimi, bez standardowej listy:\nsurveyed, building, active, closing Wybór może być zwykłą krotką wartości, etykiety i koloru albo słownikiem, który przyjmuje też opis pokazywany w formularzu jako podtytuł. I zachowują się jak natywne wartości wszędzie, bo z punktu widzenia reszty NetBoxa są natywnymi wartościami:\nTa plakietka to mój status, w moim kolorze, sortujący się i filtrujący jak każdy inny.\nTrzy rzeczy, które warto wiedzieć, zanim tego użyjesz.\nZastąpienie usuwa standardowe wartości z menu, a nie z bazy danych. Każdy obiekt, który już ma jedną z nich, ją zachowuje, ale wartość nie jest już oferowana i nie będzie poprawnym wyborem, gdy ktoś następnym razem edytuje ten obiekt. Jeśli zastępujesz listę, sprawdź, czy nic nie siedzi na wartości, którą właśnie usunąłeś.\nTo żyje w pliku konfiguracyjnym, więc wymaga restartu i nie jest czymś, co użytkownik interfejsu może zmienić. Dla dostawcy to właściwy kierunek: zestaw statusów, które uznaje twoja firma, to decyzja z zakresu zarządzania, a nie z wtorkowego popołudnia.\nRozszerzaj, zanim zastąpisz. Standardowe wartości to to, czego oczekuje każda wtyczka, skrypt i integracja. Dopisanie nic nie kosztuje. Zastąpienie to decyzja, której jesteś właścicielem na zawsze.\nWłasne obiekty Oto prawdziwa luka. NetBox modeluje klastry, maszyny wirtualne i dyski wirtualne. Nie modeluje datastore, na którym te dyski naprawdę żyją, a dla każdego, kto prowadzi Proxmoxa albo VMware, to jest obiekt, który łączy kupiony przez ciebie storage z obciążeniem, które go używa.\nWtyczka Custom Objects pozwala zdefiniować nowy typ obiektu z interfejsu albo przez API, bez pisania kodu. Więc:\nSiedem pól, z których dwa to cały sens. cluster to pojedyncze odwołanie do prawdziwego klastra NetBoxa, ustawione na protect, żeby nikt nie mógł usunąć klastra spod jego storage\u0026rsquo;u. provisioned_by to odwołanie do wielu obiektów, czyli urządzeń, które faktycznie go serwują.\nTo daje ci pełnoprawny obiekt z własnym wpisem w nawigacji, widokiem listy, filtrami, importem i eksportem:\nA ponieważ odwołania są prawdziwe, relację widać też z drugiej strony. Otwórz klaster, a datastore\u0026rsquo;y są przy nim wymienione.\nWłasny typ obiektu dziedziczy większość tego, co czyni obiekt NetBoxa obiektem NetBoxa: widoki listy i szczegółów, wpis w nawigacji, endpointy REST, wyszukiwanie pełnotekstowe, dziennik zmian, journaling, tagi, zakładki, import i eksport, reguły zdarzeń i powiadomienia. Nic z tego nie trzeba było pisać.\nTo też nie jest blob JSON udający tabelę. Wtyczka wykonuje prawdziwy DDL, a w PostgreSQL pojawia się prawdziwa tabela z prawdziwymi ograniczeniami:\nTable \u0026#34;public.custom_objects_2\u0026#34; Column | Type | Nullable | Default -----------------+----------+----------+------------------ id | bigint | not null | identity name | varchar | | cluster_id | bigint | | backing | varchar | | capacity_gb | bigint | | thin_provisioned| boolean | | Indexes: \u0026#34;custom_objects_2_name_key\u0026#34; UNIQUE CONSTRAINT, btree (name) Foreign-key constraints: ... FOREIGN KEY (cluster_id) REFERENCES virtualization_cluster(id) ON DELETE RESTRICT protect, o które prosiłem, stało się ON DELETE RESTRICT i działa: próba usunięcia tego klastra wraca z 409 i nazwą tego, co od niego zależy.\nDwie rzeczy, które trzeba wiedzieć, zanim zaczniesz na tym polegać Walidacja jest w formularzu, a nie w API. To jest ta, która złapałaby automatyzację. Zadeklarowałem required, wyrażenie regularne i granice liczbowe na polach własnego typu obiektu, a potem zapisałem do nich przez REST API:\nCo zadeklarowałem Co wysłałem Wynik validation_regex wartość niepasującą do niczego 201 Created required: true pole całkiem pominięte 201 Created validation_minimum: 1 liczbę ujemną 201 Created unique: true duplikat 400, odrzucone on_delete_behavior: protect usunięcie obiektu, do którego jest odwołanie 409, odrzucone Dwie, które wytrzymały, to te dwie, które stały się ograniczeniami w bazie danych. Reszta istnieje tylko w formularzu webowym, więc człowiek, który pisze, jest ograniczony, a nocna synchronizacja nie. Porównaj to ze zwykłym polem własnym wyżej, gdzie to samo wyrażenie regularne było wymuszane przez API. Dopóki to się nie zmieni, wszystko, od czego zależy faktura, postaw za prawdziwym ograniczeniem.\nUsunięcie typu usuwa tabelę. Usunięcie pola usuwa kolumnę. To DDL z formularza webowego, wykonywany przez każdego, kto ma uprawnienie, a dokumentacja mówi to wprost.13 Ogranicz, kto może je usuwać.\nKiedy zamiast tego napisać prawdziwą wtyczkę Jeśli obiekt ma znaczenie, jeśli automatyzacja do niego pisze i jeśli byłbyś zły, znajdując w nim śmieci, napisz model sam. Minimalna wtyczka NetBoxa to PluginConfig, model, serializer, viewset, tabela, formularz, kilka widoków i mapa URL-i, i wychodzi poniżej dwustu linii, w większości deklaracji. Dziedziczenie po PrimaryModel daje ci za darmo tagi, pola własne, dziennik zmian, journaling, szablony eksportu i własność, a każde ograniczenie, które nałożysz na model, jest wymuszane wszędzie, bo uruchamia je mechanizm serializerów samego NetBoxa.\nJest szablon cookiecutter i pełny samouczek wtyczek utrzymywane przez społeczność. Zacznij od nich, a nie od pustego katalogu.\nI jest na licencji, którą sam wybierzesz, a której nikt później nie zmieni.\nWłasna walidacja i klasy walidacji Wszystko powyżej dotyczy zapisywania tego, co jest. To dotyczy odmowy zapisania tego, czego być nie powinno.\nNetBox waliduje każdy obiekt, zanim go zapisze, a ty możesz dodać na wierzch własne reguły. Są trzy mechanizmy, wszystkie żyją w configuration.py i razem obejmują prawie wszystko, czego potrzebuje wewnętrzny standard.\nPierwszy: zwykłe reguły, bez kodu Walidator może być zwykłym odwzorowaniem nazw pól na warunki. Bez Pythona, a przenosi się między instalacjami, bo to po prostu dane.\nCUSTOM_VALIDATORS = { \u0026#39;dcim.site\u0026#39;: ( {\u0026#39;description\u0026#39;: {\u0026#39;required\u0026#39;: True}}, ), \u0026#39;dcim.device\u0026#39;: ( {\u0026#39;name\u0026#39;: {\u0026#39;regex\u0026#39;: r\u0026#39;^[a-z0-9]+-[a-z]+-([0-9]{2}|[a-z])$\u0026#39;}}, ), } Dostępne warunki to min, max, min_length, max_length, regex, required, prohibited, eq i neq. Możesz sięgnąć do powiązanego obiektu przez ścieżkę z kropkami, więc region.name na lokalizacji jest w porządku, i możesz dopasowywać po request.user.username, choć dokumentacja całkiem słusznie mówi ci, żeby do tego używać uprawnień.\nObie te reguły odpalają się od razu:\nPOST a site with no description {\u0026#34;__all__\u0026#34;: [\u0026#34;Custom validation failed for description: [\u0026#39;This field must not be empty.\u0026#39;]\u0026#34;]} POST a device named \u0026#34;Server1\u0026#34; {\u0026#34;__all__\u0026#34;: [\u0026#34;Custom validation failed for name: [\u0026#39;Enter a valid value.\u0026#39;]\u0026#34;]} Ta druga to standard nazewnictwa, wymuszony. Nie napisany na stronie wiki, nie w czyjejś głowie, nie coś, za co nowa osoba dostanie burę na przeglądzie trzy tygodnie później. Baza danych tego nie przyjmie.\nDrugi: klasa walidatora, gdy reguła jest zdaniem Zwykłe reguły sprawdzają jedno pole względem stałej. Prawdziwe zasady domowe są zwykle warunkowe: to ma znaczenie tylko wtedy, gdy tamto. Do nich dziedziczysz po CustomValidator, nadpisujesz validate() i wywołujesz fail().\nWstawiłem trzy do modułu w /opt/netbox/netbox/house_rules.py:\nfrom extras.validators import CustomValidator class BillableKitNamesItsCustomer(CustomValidator): \u0026#34;\u0026#34;\u0026#34;Anything in a role we sell has to say whose it is.\u0026#34;\u0026#34;\u0026#34; BILLABLE_ROLES = {\u0026#39;hypervisor\u0026#39;} def validate(self, instance, request): role = getattr(instance, \u0026#39;role\u0026#39;, None) if role and role.slug in self.BILLABLE_ROLES and not instance.tenant: self.fail( f\u0026#34;A {role} is billable kit, so it must name the customer it belongs to.\u0026#34;, field=\u0026#39;tenant\u0026#39;, ) class RackedDeviceNeedsAPosition(CustomValidator): \u0026#34;\u0026#34;\u0026#34;A device in a rack with no rack unit is a device nobody can find.\u0026#34;\u0026#34;\u0026#34; def validate(self, instance, request): if instance.rack and instance.position is None: if instance.device_type and instance.device_type.u_height: self.fail( \u0026#34;A device in a rack needs a rack unit. Somebody has to find it.\u0026#34;, field=\u0026#39;position\u0026#39;, ) class CustomerPrefixNeedsATenant(CustomValidator): \u0026#34;\u0026#34;\u0026#34;A customer prefix that names no customer cannot be billed.\u0026#34;\u0026#34;\u0026#34; def validate(self, instance, request): role = getattr(instance, \u0026#39;role\u0026#39;, None) if role and role.slug == \u0026#39;customer\u0026#39; and not instance.tenant: self.fail( \u0026#34;A customer prefix must be assigned to a tenant.\u0026#34;, field=\u0026#39;tenant\u0026#39;, ) i podpiąłem je przez ścieżkę z kropkami:\nCUSTOM_VALIDATORS = { \u0026#39;dcim.device\u0026#39;: ( {\u0026#39;name\u0026#39;: {\u0026#39;regex\u0026#39;: r\u0026#39;^[a-z0-9]+-[a-z]+-([0-9]{2}|[a-z])$\u0026#39;}}, \u0026#39;house_rules.BillableKitNamesItsCustomer\u0026#39;, \u0026#39;house_rules.RackedDeviceNeedsAPosition\u0026#39;, ), \u0026#39;ipam.prefix\u0026#39;: ( \u0026#39;house_rules.CustomerPrefixNeedsATenant\u0026#39;, ), } Zwróć uwagę, że model przyjmuje krotkę walidatorów, zwykłe reguły i klasy wymieszane dowolnie, i wszystkie się uruchamiają. Nawet pojedynczy walidator trzeba podać jako obiekt iterowalny, a na tym łatwo stracić pięć minut.\nPotem reguły robią, co mówią:\nPOST a hypervisor with no tenant {\u0026#34;tenant\u0026#34;: [\u0026#34;A Hypervisor is billable kit, so it must name the customer it belongs to.\u0026#34;]} POST a device into a rack with no position {\u0026#34;position\u0026#34;: [\u0026#34;A device in a rack needs a rack unit. Somebody has to find it.\u0026#34;]} POST a prefix with role \u0026#34;customer\u0026#34; and no tenant {\u0026#34;tenant\u0026#34;: [\u0026#34;A customer prefix must be assigned to a tenant.\u0026#34;]} POST a leaf switch with no tenant accepted, because a leaf switch is not in BILLABLE_ROLES Ponieważ fail() przyjmuje field, komunikat ląduje przy właściwym polu formularza, a nie na górze strony, i to jest różnica między regułą, której ludzie się uczą, a regułą, której nie znoszą.\nTo jest też odpowiedź na lukę z rozdziału o własnych obiektach. Tamta walidacja istniała tylko w formularzu webowym. CustomValidator działa w warstwie modelu, więc obejmuje interfejs, REST API, mutacje GraphQL, importy masowe i wszystko, co robi skrypt. Jest jedno miejsce, w którym piszesz regułę, i nie ma jak jej obejść.\nTrzeci: reguły ochrony, przy usuwaniu CUSTOM_VALIDATORS pilnuje zapisów. PROTECTION_RULES pilnuje usunięć i przyjmuje dokładnie te same dwie formy.\nPROTECTION_RULES = { \u0026#39;dcim.device\u0026#39;: ( {\u0026#39;status\u0026#39;: {\u0026#39;eq\u0026#39;: \u0026#39;offline\u0026#39;}}, ), } To mówi, że urządzenie można usunąć tylko wtedy, gdy jest offline. Co daje:\nDELETE an active device {\u0026#34;detail\u0026#34;: \u0026#34;Deletion is prevented by a protection rule: [\\\u0026#34;Custom validation failed for status: [\u0026#39;Ensure this value is equal to offline.\u0026#39;]\\\u0026#34;]\u0026#34;} set it to offline, then DELETE 204 No Content Dwa naciśnięcia klawiszy oporu między kimś a działającym urządzeniem, i to najtańsze ubezpieczenie w całej aplikacji. Niech proces wycofywania z eksploatacji będzie tym, co odblokowuje przycisk usuwania.\nTa, która cię złapie Istniejące dane nie są sprawdzane, dopóki ich następnym razem nie dotkniesz. Dodanie reguły nie wraca i nie waliduje tego, co już jest. Siedzi cicho, aż ktoś zapisze obiekt, który ją łamie, a wtedy dostaje błąd o decyzji, z którą nie miał nic wspólnego.\nWidziałem, jak to się dzieje. mcr1-hv-06 został utworzony, zanim napisałem cokolwiek z tego, jako hiperwizor bez dzierżawcy. Siedział tam całkiem zadowolony. Potem zmieniłem mu opis:\nPATCH {\u0026#34;description\u0026#34;: \u0026#34;touching it to trigger revalidation\u0026#34;} {\u0026#34;tenant\u0026#34;: [\u0026#34;A Hypervisor is billable kit, so it must name the customer it belongs to.\u0026#34;]} Edycja nie miała nic wspólnego z dzierżawcą. Reguła i tak się odpaliła, bo walidacja działa na całym obiekcie.\nTo poprawne zachowanie i zarazem sposób, w jaki nowa reguła zamienia się w zgłoszenie do wsparcia. Zanim ją włączysz, puść zapytanie o obiekty, które by jej nie przeszły, i najpierw je popraw. API to ułatwia: reguła jest filtrem, więc poproś o urządzenia z tą rolą i bez dzierżawcy, i masz swoją listę.\nRegułę włącz potem. Wtedy łapie już tylko nowe błędy, a po to jest.\nSterowanie z Ansible Źródło prawdy, którego nic nie czyta, zgnije. Kolekcja netbox.netbox to sposób, w jaki większość ludzi temu zapobiega, i działa w obie strony: NetBox mówi Ansible, co istnieje, a Ansible mówi NetBoxowi, co zbudował.\nJest w wersji 3.23.0, na licencji GPL-3.0, i pobrano ją z Galaxy ponad 13,4 mln razy. Zawiera 91 modułów i jedną wtyczkę inwentarza.14 Wszystko poniżej zostało uruchomione na tej samej instancji, z kontenera, w którym nie było nic poza ansible-core 2.21.4, pynetbox 7.8.0 i kolekcją.\nInwentarz jest zapytaniem, a nie plikiem To jest połowa, która zwraca się pierwszego popołudnia. nb_inventory buduje twój inwentarz Ansible bezpośrednio z NetBoxa:\nplugin: netbox.netbox.nb_inventory api_endpoint: http://netbox:8080 token: \u0026#34;{{ lookup(\u0026#39;env\u0026#39;, \u0026#39;NETBOX_TOKEN\u0026#39;) }}\u0026#34; config_context: false group_by: - sites - device_roles - tenants - racks device_query_filters: - has_primary_ip: true To daje taki wynik, bez nikogo, kto utrzymuje listę hostów:\n@sites_manchester-dc1: @device_roles_hypervisor: |--mcr1-core-01 |--mcr1-hv-01 |--mcr1-core-02 |--mcr1-hv-02 |--mcr1-hv-01 |--mcr1-hv-03 |--mcr1-hv-02 |--mcr1-hv-04 ... |--mcr1-hv-05 @racks_MCR1-A07: @tenants_ravenscroft-legal: |--mcr1-core-01 |--mcr1-hv-01 |--mcr1-core-02 |--mcr1-hv-02 ... @tenants_padgate-foods: @device_roles_core-router: |--mcr1-hv-03 |--mcr1-core-01 |--mcr1-hv-04 |--mcr1-core-02 @tenants_hartley-components: |--mcr1-hv-05 Spójrz na prawą kolumnę. Ponieważ dzierżawa jest ustawiona na urządzeniach, dostajesz grupę na klienta za darmo, więc --limit tenants_ravenscroft-legal uruchamia play na sprzęcie dokładnie jednego klienta. Dodaj urządzenie w NetBoxie, a przy następnym uruchomieniu jest w grupie. Wycofaj jedno, a znika. Nikt niczego nie edytuje.\nKażdy host przychodzi z tym, co NetBox o nim wie:\nansible_host \u0026#34;2001:db8:20:20::11\u0026#34; primary_ip4 \u0026#34;10.20.20.11\u0026#34; primary_ip6 \u0026#34;2001:db8:20:20::11\u0026#34; device_roles [\u0026#34;hypervisor\u0026#34;] sites [\u0026#34;manchester-dc1\u0026#34;] racks [\u0026#34;MCR1-A07\u0026#34;] tenants [\u0026#34;ravenscroft-legal\u0026#34;] device_types [\u0026#34;sys-1029u-tn10rt\u0026#34;] manufacturers [\u0026#34;supermicro\u0026#34;] status {\u0026#34;label\u0026#34;: \u0026#34;Active\u0026#34;, \u0026#34;value\u0026#34;: \u0026#34;active\u0026#34;} Łącznie dwadzieścia dwa klucze, a jeden z nich warto zauważyć, zanim cię zaskoczy. ansible_host to adres IPv6, bo to urządzenie ma ustawiony główny adres v6. Sprawdziłem to na dwóch innych, które mają tylko v4, i wróciły z v4, więc reguła jest taka, że wtyczka woli v6 tam, gdzie istnieje główny v6. Co jest poprawne, a zarazem jest rzeczą, którą wolisz odkryć teraz niż wtedy, gdy będziesz się zastanawiać, czemu play łączy się ścieżką, o której nie pomyślałeś.\nZapis w drugą stronę Moduły to drugi kierunek, a ten, który warto mieć, to przydzielanie adresów IP, bo NetBox wie, co jest wolne, a twój playbook nie.\n- name: Rack the device netbox.netbox.netbox_device: netbox_url: \u0026#34;{{ nb_url }}\u0026#34; netbox_token: \u0026#34;{{ nb_token }}\u0026#34; data: name: mcr1-hv-07 device_type: SYS-1029U-TN10RT device_role: Hypervisor site: Manchester DC1 rack: MCR1-A07 position: 14 face: Front tenant: Hartley Components state: present - name: Let NetBox pick the next free address out of the customer prefix netbox.netbox.netbox_ip_address: netbox_url: \u0026#34;{{ nb_url }}\u0026#34; netbox_token: \u0026#34;{{ nb_token }}\u0026#34; data: prefix: 10.20.22.0/24 tenant: Hartley Components assigned_object: device: mcr1-hv-07 name: eno1 state: new Zwróć uwagę, czego tam nie ma. Adresu IP. Podajesz prefiks, a NetBox oddaje następny wolny:\nTASK [Let NetBox pick the next free address out of the customer prefix] **** changed: [localhost] \u0026#34;device : mcr1-hv-07 (created)\u0026#34; \u0026#34;interface: eno1 (created)\u0026#34; \u0026#34;address : 10.20.22.1/24 (allocated)\u0026#34; I sekundę później jest w interfejsie, jeszcze do niczego niepodłączony kablem, ale zamontowany, przypisany do dzierżawcy i zaadresowany:\nPułapka w tym playbooku Uruchom go drugi raz bez zmiany ani jednej linii, a stanie się to:\n\u0026#34;device : mcr1-hv-07 (already correct)\u0026#34; \u0026#34;interface: eno1 (already correct)\u0026#34; \u0026#34;address : 10.20.22.2/24 (allocated)\u0026#34; Urządzenie i interfejs są idempotentne. Adres nie jest, i to nie jest błąd. state: present znaczy „niech to wygląda tak”. state: new znaczy „daj mi nowy”, za każdym razem, i dokładnie to zrobił: dwa adresy na jednym interfejsie po dwóch uruchomieniach.\nTo w porządku, gdy naprawdę przygotowujesz coś nowego, i po cichu zje ci prefiks, jeśli wstawisz to do zadania uruchamianego co noc. Przydziel raz i zapisz wynik albo użyj state: present z adresem, który już masz. Moduł robi to, o co prosiłeś. Pytanie brzmi, czy prosiłeś o to, o co ci chodziło.\nTo nie tylko Ansible Kolekcja zbiera uwagę, bo Ansible to miejsce, gdzie większość zespołów sieciowych już jest, ale produktem jest API, a mówi nim mnóstwo rzeczy.\nRzecz Czym jest Licencja pynetbox Klient Pythona, którego używa sama kolekcja Apache 2.0 terraform-provider-netbox Zarządzanie obiektami NetBoxa jako zasobami Terraform, aktywnie utrzymywane przez e-breuninger MPL 2.0 nornir_netbox NetBox jako inwentarz Nornira, dla ludzi piszących w Pythonie zamiast YAML Apache 2.0 Prometheus SD Podaje Prometheusowi cele do odpytywania z NetBoxa MIT go-netbox Klient w Go, choć nikt go nie ruszał od maja 2025 zobacz repozytorium Diode Własny potok NetBox Labs do wpychania wykrytych danych NetBox Limited Use Ten od Terraform to ciekawa pozycja dla każdego, kto już tak zarządza infrastrukturą, bo pozwala jednemu planowi utworzyć zasób w chmurze i rekord w NetBoxie, który go dokumentuje, zamiast zostawiać drugą połowę czyjejś pamięci.15\nDiode ma tę samą licencję co Branching i Custom Objects, więc ta sama lektura obowiązuje, zanim coś na nim zbudujesz.\nCo naprawdę kupuje to popołudnie Wszystko powyżej zajęło mi dzień na jednej maszynie, a większość tego dnia to było wprowadzanie danych, żeby ekrany miały co pokazać. Instalacja to dwadzieścia minut tak czy inaczej. Liczą się decyzje i wszystkie zapadają w pierwszej godzinie: dzierżawcy przed wszystkim, typy urządzeń przed urządzeniami, liczby na typach, a nie na sprzęcie.\nTo, co za to dostajesz, nie jest dokumentacją. Nikt nie robi tego rozróżnienia, dopóki nie miał obu: dokumentacja to coś, co piszesz, a potem przestajesz utrzymywać. Dostajesz bazę danych, która odmawia przechowania sprzeczności: nie pozwoli ci wstawić dwóch rzeczy w jedną jednostkę szafy, szafy w pomieszczenie należące do innej lokalizacji ani urządzenia na typie, który nie istnieje. Każda z tych odmów to kłótnia, której nie będziesz mieć za pół roku.\nI powie ci rzeczy, o które nikt nie pytał. Ta szafa jest zapełniona w 28,6% sprzętem i w 90,7% mocą. Nikt nie wyruszył, żeby to znaleźć. Wypadło to z jednorazowego wpisania mocy na typie urządzenia i to jest różnica między zamontowaniem tam następnego zamówienia a przekonaniem się na własnej skórze.\nUczciwe zastrzeżenie jest to samo, które ma każde źródło prawdy. Jest warte tylko tyle, ile kosztuje cię utrzymanie go w poprawności, a jedyna wersja, która przetrwa pracowity kwartał, to ta, w której coś widocznie się psuje, gdy dane są błędne. Podepnij monitoring, provisioning albo reguły firewalla tak, żeby z niego czytały, a błędny wpis przestaje być problemem z dokumentacją, którym ktoś się kiedyś zajmie. Staje się awarią o wpół do dziesiątej we wtorek, z nazwiskiem przy niej. Brzmi jak koszt. To cały mechanizm.\nNikt ci też za to nie podziękuje. Poprawny zapis widać jako migrację, która zajęła dwa tygodnie zamiast kwartału, audyt, który zajął popołudnie, klienta, który dostał przez telefon prostą odpowiedź. Nic z tego nie pojawia się w raporcie obok twojego nazwiska.\nI tak to zrób. Alternatywą jest firma, która nie potrafi opisać samej siebie, a firma, która nie potrafi opisać samej siebie, nie jest prowadzona. Jest pamiętana, przez coraz mniej ludzi każdego roku.\nNetBox, Introduction — „Today, the open source project is stewarded by NetBox Labs and a team of volunteer maintainers”, oraz początki w DigitalOcean w 2015, udostępnienie jako open source w czerwcu 2016.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNetBox, LICENSE.txt — Apache License 2.0, copyright DigitalOcean, LLC. Pochodzenie i opieka nad projektem według wprowadzenia.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNotatki do wydania Nautobot v1.0.0 — „a divergent fork of NetBox 2.10”, opublikowane 26 kwietnia 2021, oraz lista tego, co dodał względem NetBox 2.10.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNetwork to Code, \u0026ldquo;Why Did Network to Code Fork NetBox?\u0026rdquo;, 25 lutego 2021 — uzasadnienie SLA i wsparcia długoterminowego, rozbieżność wizji oraz „the NetBox project team suggested that we should consider forking”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNetBox Labs powstał w 2023 roku jako spółka wydzielona z NS1 po jej przejęciu przez IBM, współzałożony przez głównego maintainera NetBoxa Jeremy\u0026rsquo;ego Stretcha, i w kwietniu 2023 ogłosił rundę Series A na 20 mln $: NetBox Labs, \u0026ldquo;Let\u0026rsquo;s Go: Announcing NetBox Labs\u0026rdquo; oraz ogłoszenie Series A.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNetBox Labs, NetBox Enterprise — komercyjna edycja do samodzielnego hostowania, z „24/7 expert assistance from the NetBox Labs team”; NetBox Cloud to oferta hostowana. Konkretne warunki SLA nie są na tej stronie opublikowane.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLiczby gwiazdek i forków, daty wydań i licencje obu projektów odczytane z API GitHuba 30 września 2026: netbox-community/netbox i nautobot/nautobot. Równoległe wydania Nautobota 3.2.x i 2.4.x mają obie datę 28 września 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nnetbox-community/netbox-docker — stos kontenerów społeczności, Apache 2.0.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNetBox, Installation — tabela wspieranych wersji oraz notatki do wydania v4.7 z podniesionymi minimami PostgreSQL i Redisa. Wersja i edycja odczytane z netbox/release.yaml.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNetBox Limited Use License 1.0 — dołączona do netbox-custom-objects i, w identycznym brzmieniu, do netbox-branching. Obie cytowane klauzule są dosłowne.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNetBox, HTTP Server installation, \u0026ldquo;What\u0026rsquo;s Next?\u0026rdquo; — „Some of the most popular plugins include” NetBox Branching, NetBox Custom Objects, NetBox DNS i NetBox BGP, bez wzmianki o warunkach licencji.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNetBox, Data Validation configuration — FIELD_CHOICES i przyrostek ze znakiem plus, który rozszerza zamiast zastępować: „To replace the available choices, specify the app, model, and field name separated by dots \u0026hellip; To extend the available choices, append a plus sign”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nDokumentacja netboxlabs/netbox-custom-objects — „Deleting a Custom Object Type drops an entire database table and should be done with caution.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nnetbox.netbox w Ansible Galaxy i netbox-community/ansible_modules — wersja 3.23.0, GPL-3.0, 91 modułów plus wtyczka inwentarza nb_inventory. Liczba pobrań odczytana z Galaxy 30 września 2026. Wszystko pokazane zostało uruchomione z ansible-core 2.21.4 i pynetbox 7.8.0.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLicencje, aktywność i liczby gwiazdek odczytane z każdego projektu 30 września 2026: pynetbox (Apache 2.0), terraform-provider-netbox (MPL 2.0, v6.0.0-rc.1 w rejestrze Terraform), nornir_netbox (Apache 2.0), netbox-plugin-prometheus-sd (MIT), go-netbox (ostatni push 9 maja 2025) oraz Diode, który ma tę samą NetBox Limited Use License 1.0 co Branching i Custom Objects.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\n","permalink":"https://blogs.damiendye.uk/pl/netbox/what-is-netbox/","summary":"Praktyczny przegląd NetBox 4.7.2 z załadowaną prawdziwą infrastrukturą zamiast pustego demo. Co zawiera każdy ekran i co z nim robisz: widoki szaf, śledzenie kabli, drzewo IPAM, interfejsy dual-stack i szafa, która okazuje się zapełniona w 90,7 procent mocą, a tylko w 28,6 procent sprzętem. Jak postawić go jako stos kontenerów i na hoście z pakietów, obie drogi przetestowane od początku do końca. Kolejność, w jakiej musisz go wypełniać, wyprowadzona z tego, które klucze obce są naprawdę obowiązkowe. Jak podzielić jedną instalację między klientów, tak by urządzenie innego klienta zwracało 404, a nieprzyznany typ obiektu 403. Config contexts i dziedziczenie, które czyni je cenniejszymi niż pola własne. Dodawanie własnych wartości do menu statusów samego NetBoxa. Trzy sposoby na dodanie obiektu, na którym stoi twój biznes, w tym datastore zamodelowany bez linijki kodu. Jak pisać reguły walidacji i klasy walidatorów, żeby baza danych odrzucała to, czego zabrania twój wewnętrzny standard. Do tego historia forka z 2021 roku, z którego powstał Nautobot, po co był i co się od tamtej pory zbiegło. A na koniec sterowanie całością z kolekcji Ansible netbox.netbox, gdzie inwentarz jest zapytaniem, a nie plikiem, a jeden argument modułu po cichu przydziela nowy adres przy każdym uruchomieniu.","title":"NetBox: co przechowuje i jak sprawić, żeby przechowywał twoje"},{"content":"Każdej nazwie, którą twoja maszyna dziś rozwiązała, uwierzyła. Twój bank, twoje aktualizacje, twój serwer poczty. Odpowiedź przyszła z sieci i nic, nigdzie, nie sprawdziło, czy pochodzi od organizacji, do której należy nazwa, czy od kogoś, kto pierwszy zdołał wcisnąć pakiet. Na zwykłej odpowiedzi DNS nie ma podpisu, nie ma czego weryfikować i nie ma niczego, co zauważyłoby, że coś jest nie tak. W 1983 roku był to rozsądny projekt i dawno przestał nim być.\nDNSSEC jest poprawką dokładnie na to i nie jest ani nowy, ani drogi. Właściciel strefy podpisuje swoje rekordy. Strefa nad nim publikuje skrót jego klucza i podpisuje go, i tak dalej w górę, aż łańcuch dojdzie do jednego klucza root, który twój resolver zna od urodzenia. Wszystko, co sprawdza łańcuch, odróżni prawdziwą odpowiedź od sfałszowanej. To standard od 2005 roku, root jest podpisany od lipca 2010, a rejestry publikują rekordy za darmo.1 2\nWierzchołek drzewa jest skończony. Na potrzeby tego wpisu policzyłem żywą strefę root i 1351 z 1438 domen najwyższego poziomu jest podpisanych, w tym każda z 1038 domen generycznych. Potem spada z urwiska. Z 2390 domen gov.uk, które wciąż się rozwiązują, podpisanych jest trzydzieści dziewięć, a dziewięć z nich to rady parafialne. MI6 dało radę. National Cyber Security Centre nie.\nOto ile naprawdę kosztuje sfałszowana odpowiedź i co robi z nią podpis, policzone na żywej strefie root 27 września 2026, a potem w dół przez administrację, banki, dystrybucje, z których instalujesz, i urzędy certyfikacji. Jedno polecenie na domenę, bez niczyjej zgody, i każda nazwa wymieniona, żebyś mógł kłócić się z moimi wyborami, a nie z moją arytmetyką. Pod spodem jest pytanie, na które naprawdę chciałem odpowiedzi. Czterdzieści dwa lata po tym, jak Mockapetris spisał DNS, czy powodem, dla którego prawie nikt nie podpisuje, jest to, że prawie nikt nigdy nie zrozumiał, co DNS obiecywał?\nCzym jest DNSSEC i do czego służy W jednym zdaniu: DNSSEC kładzie podpis kryptograficzny na odpowiedziach DNS, żeby resolver mógł udowodnić, że odpowiedź pochodzi od właściciela strefy, a nie od tego, kto zdążył odpowiedzieć pierwszy.\nTo nie szyfrowanie, to nie firewall i to nie filtr. To podpis i łańcuch kluczy sięgający jednego klucza, któremu twój resolver już ufa. Cała idea na tym polega.\nTeraz atak, bo protokół ma sens dopiero wtedy, gdy zobaczysz, przed czym chroni.\nResolver pytający o nazwę wysyła zapytanie i czeka. Odpowiedź jest dopasowywana po garści pól: nazwie z zapytania, typie, adresach i portach źródłowych i docelowych oraz 16-bitowym identyfikatorze transakcji. Każdy, kto wyprodukuje pakiet pasujący do tych pól, zanim przyjdzie prawdziwa odpowiedź, wygrywa. Resolver zapisuje fałszerstwo w pamięci podręcznej i podaje je każdemu klientowi, który zapyta, tak długo, jak napastnik kazał.\nPraca Dana Kaminsky\u0026rsquo;ego z 2008 roku to ta, którą wszyscy pamiętają do połowy.3 Liczy się w niej nie to, że zatruwanie pamięci podręcznej istniało, bo wiedziano o nim od lat. Liczy się to, że znalazł sposób, by ponawiać zgadywanie w nieskończoność. Pytasz o nazwę, która nie istnieje, i każda nieudana próba nic nie kosztuje i pozwala od razu spróbować znowu, więc napastnik nie ściga się już raz z zapisanym rekordem, który żyje dobę. Branża odpowiedziała dodaniem losowości: losowe porty źródłowe na dokładkę do losowego identyfikatora transakcji, co zmieniło szansę z jednej na 65 536 na mniej więcej jedną na dwa miliardy.\nTo większa liczba. To nie jest dowód.\nResolver dopasowuje po polach, które napastnik może zgadnąć BEZ PODPISU: WYGRYWA PIERWSZY PASUJĄCY PAKIET resolver pyta i czeka prawdziwy serwer odpowiada w swoim czasie napastnik spoza ścieżki musi tylko być pierwszy Przyjęty, jeśli pasuje pięć pól, a każde z nich da się zgadnąć: nazwa · typ · adresy · port źródłowy · 16-bitowy ID transakcji Z PODPISEM: ODPOWIEDŹ NIESIE DOWÓD Podpis łączący się z jedynym kluczem root, który resolver już miał. Zgadywaniem go nie uzyskasz. Resolver dopasowuje po polach, które napastnik może zgadnąć. Podpis zastępuje zgadywanie arytmetyką I od tamtej pory to zabezpieczenie się kruszy, bo każde z tych pól to zgadywanie utrudnione, a nie fakt, który da się sprawdzić. Losowość portów niweczy NAT, który przepisuje porty przewidywalnie. Ataki na fragmentację całkiem omijają dopasowanie. Ataki spoza ścieżki wracają w nowych formach, i każdy dostaje własną łatkę.\nPodpis kończy spór. Podpisana odpowiedź albo weryfikuje się kluczem, który resolver potrafi połączyć łańcuchem z root, albo nie, i żadne zgadywanie nie da napastnikowi ważnego podpisu.\nCo naprawdę daje im wygranie tego wyścigu Mówmy konkretnie, bo „zatruwanie pamięci podręcznej” brzmi abstrakcyjnie, a skutki abstrakcyjne nie są.\nCo fałszują Co dostają Rekord A twojej strony Ruch i formularz logowania, który wygląda jak twój Twoje rekordy MX Każdy przychodzący e-mail, łącznie z resetami haseł Nazwę, którą sprawdza urząd certyfikacji Ważny certyfikat dla domeny, która nie jest ich Nazwę, z której twoje maszyny pobierają aktualizacje Nic nie przychodzi i nikt się nie dowiaduje Twoją delegację NS Wszystko powyższe naraz, tak długo, jak mówi TTL Trzeci wiersz zamienia problem DNS w problem certyfikatów. Wydawanie z walidacją domeny działa tak, że każe ci opublikować rekord, a potem go sprawdza. Jeśli napastnik kontroluje odpowiedź, którą CA widzi przy tym sprawdzeniu, CA wystawia mu prawdziwe papiery na twoją nazwę, i od tej chwili kłódka w przeglądarce jest jego. Wszystko, czego użytkownika nauczono sprawdzać, powie, że ze stroną wszystko w porządku.\nCzwarty wiersz jest ten cichy. Sfałszowana odpowiedź nie musi nikogo nigdzie wysyłać. Wystarczy skierować usługę aktualizacji w czarną dziurę, a nic w całym stosie nie jest zbudowane, żeby krzyczeć o aktualizacjach, które nigdy nie przyszły.\nCo robi z tym podpis Mechanizm jest prostszy niż jego reputacja.\nKażda podpisana strefa ma parę kluczy. Właściciel strefy podpisuje każdy zestaw rekordów połówką prywatną i publikuje obok niego RRSIG. Połówka publiczna trafia do strefy jako DNSKEY. Na razie to niczego nie dowodzi, bo napastnik, który potrafi sfałszować rekord A, potrafi sfałszować i pasujący do niego DNSKEY.\nDomyka to rekord DS, a DS mieszka w strefie nadrzędnej, nie w twojej. To skrót twojego klucza, opublikowany i podpisany przez strefę nad tobą. Czyli uk ręczy za twój klucz, root ręczy za uk, a twój resolver od urodzenia wie dokładnie jedną rzecz: klucz root.2\nKażdy rodzic ręczy za dziecko, a jeden brakujący DS psuje wszystko pod nim JEDYNE, CO RESOLVER WIE OD URODZENIA klucz root dostarczany z resolverem Wszystkiego innego uczy się, pytając, a dowodzi tego poziom wyżej. DS dla uk uk podpisany, root za niego ręczy DS dla twojej strefy damiendye.uk podpisuje rekordy przez RRSIG DS to skrót klucza dziecka, opublikowany i podpisany przez rodzica. Więc tylko rodzic może wpisać cię do łańcucha. Nie ty. A JEŚLI BRAKUJE JEDNEGO DS Łańcuch kończy się tam. Wszystko niżej jest nieweryfikowalne, choćby strefę pod spodem podpisano starannie. Każdy rodzic ręczy za swoje dziecko, a jeden brakujący DS psuje wszystko pod nim Robotę wykonują trzy typy rekordów i warto wiedzieć, który jest który, bo tylko jeden z nich jest cudzym zadaniem:\nRekord Mieszka w Mówi DNSKEY twojej strefie oto mój klucz publiczny RRSIG twojej strefie oto mój podpis pod tym zestawem rekordów DS strefie twojego rodzica ręczę za ten klucz Pierwsze dwa możesz publikować sam przez całe popołudnie i nic to nie zmienia. Dopóki rodzic nie opublikuje DS, jesteś podpisaną strefą, której nikt nie może zweryfikować, czyli tym samym co strefa niepodpisana, tylko z dodatkową robotą.\n$ dig +short @127.0.0.53 uk DS 43876 8 2 A107ED2AC1BD14D924173BC7E827A1... $ dig +short @127.0.0.53 damiendye.uk DS 2371 13 2 A5B2825C57899A5A15EE9703832C8358E0D19EF29DC72DD83C691ED77C33BD7F $ dig +short @127.0.0.53 bbc.co.uk DS (nothing) To w środku jest strefa tej strony. uk za nią ręczy, algorytm 13 to ECDSA P-256, a resolver walidujący może więc udowodnić każdą odpowiedź o niej aż do root. bbc.co.uk nie zwraca nic, więc nie może.\nJedno polecenie mówi ci, czy strefa jest w łańcuchu zaufania. Jeśli rodzic nie publikuje dla ciebie DS, nie jesteś podpisany, cokolwiek jeszcze skonfigurowałeś, a resolver walidujący potraktuje każdą odpowiedź o twojej domenie jako niemożliwą do zweryfikowania.\nTen jeden rekord to cały test.\nCzego nie robi Warto to powiedzieć wprost, bo przesadne zachwalanie to połowa powodów, dla których ludzie mu nie ufają.\nCzego nie robi Dlaczego Nie szyfruje niczego Każda nazwa, o którą pytasz, nadal leci otwartym tekstem. Do tego jest DNS over TLS, i jedno nie zastępuje drugiego Nie czyni przejętej strefy bezpieczną Napastnik, który ma twój panel DNS, podpisze swoje fałszerstwa twoim kluczem, bez żadnego problemu Nie chroni ostatniego odcinka Między resolverem walidującym a aplikacją, chyba że ten odcinek też jest zaufany Nie powstrzyma odebrania ci nazwy Rejestrator albo sąd nadal może to zrobić, a podpis przez cały czas będzie w pełni ważny Nie mówi niczego o treści Podpisana odpowiedź jest autentyczna, nie uczciwa. Malware też może podpisać swoją strefę, i podpisuje Na tym ostatnim wierszu ludzie się potykają. DNSSEC dowodzi, że odpowiedź przyszła od tego, kto kontroluje strefę. Nie ma żadnego zdania na temat tego, czy to porządni ludzie.\nRobi dokładnie jedną rzecz. Sprawia, że sfałszowanie odpowiedzi jest arytmetycznie niewykonalne, a nie tylko mało prawdopodobne.\nJak sprawdzić dowolną strefę, także cudzą To ta część, dzięki której reszta wpisu jest możliwa, i wymaga jednego polecenia.\nStrefa jest w łańcuchu zaufania, jeśli jej rodzic publikuje dla niej DS. To cały test i możesz go uruchomić wobec kogokolwiek, bez pozwolenia, z dowolnej maszyny:\ndig +short damiendye.uk DS Coś wróciło, znaczy podpisana. Nic nie wróciło, znaczy niepodpisana, cokolwiek jeszcze strefa ma skonfigurowane.\nJeśli chcesz więcej niż tak lub nie, warto znać jeszcze trzy:\nPolecenie Mówi ci dig +short \u0026lt;zone\u0026gt; DS Czy rodzic w ogóle ręczy za tę strefę delv @1.1.1.1 \u0026lt;zone\u0026gt; A Czy łańcuch waliduje się od końca do końca, a jeśli nie, gdzie pęka resolvectl query \u0026lt;zone\u0026gt; Do czego dochodzi resolver walidujący, z werdyktem napisanym słowami dig +dnssec \u0026lt;zone\u0026gt; SOA RRSIG i datę jego wygaśnięcia, czyli to, co trzeba monitorować Dwie pułapki, o których trzeba wiedzieć, zanim zaufasz własnym wynikom, bo w obie wpadłem przy liczeniu do tego wpisu.\ndig +short … DS wypisze łańcuch CNAME, jeśli nazwa jest aliasem, a nazwa hosta zawierająca cyfry wygląda na tyle podobnie do rekordu DS, że oszuka naiwny skrypt. Prawdziwy DS ma cztery pola: znacznik klucza, algorytm, typ skrótu, skrót szesnastkowo. Dopasuj ten kształt, bo inaczej policzysz niepodpisane strefy jako podpisane.\nDS pod niepodpisanym rodzicem nic nie znaczy. Łańcuch musi dojść do root. update.microsoft.com ma DS, a microsoft.com nie, więc ta gałąź i tak jest nieweryfikowalna. Zawsze sprawdzaj całą ścieżkę, nie jeden poziom.\nWszystko, co policzono w dalszej części wpisu, zmierzono w ten sposób. Żadnego skanera, żadnego zewnętrznego dashboardu, żadnego rankingu od dostawcy. Zapytaj rodzica, czy ręczy za dziecko, i wymagaj, żeby odpowiedź parsowała się jako DS.\nStrefa root jest skończona Tutaj obiegowa wiedza jest po prostu nieaktualna. Ludzie wciąż mówią o DNSSEC, jakby problemem była infrastruktura.\nPobrałem żywą strefę root 27 września 2026, numer seryjny 2026092701, i policzyłem delegacje względem rekordów DS.4\ndelegacje podpisane udział gTLD (.com, .org, .dev, wszystkie) 1038 1038 100% TLD IDN 151 136 90,1% ccTLD 248 176 71,0% arpa 1 1 100% Razem 1438 1351 93,9% Każda bez wyjątku generyczna domena najwyższego poziomu jest podpisana. Wszystkie 1038, bez wyjątków, bo Registry Agreement ICANN wymaga tego od wszystkiego, co delegowano w programie nowych gTLD. 87 niepodpisanych to prawie wyłącznie kody krajów, a lista to głównie małe terytoria i garść państw:\nae ao aq ba bb bo bs cd cf cg ck cu cv cw do eg fk gb gf gh gm gp gq gt gu hm im iq jm jo kh km kn kp mh mk mo mp mq mt mv mw mz ne ni np nr om pa pf pk pn ps qa sd sl sm so st sv sy sz td tg tj tk to va vg vi ye zw Jest tam gb, co jest raczej ciekawostką niż problemem, bo nikt go do niczego nie używa. Są też Watykan, Korea Północna, Kuba i Syria. Jest tk, przez lata największe źródło darmowych domen w internecie i razem z tym niezawodne źródło nadużyć.\nWierzchołek drzewa jest więc zrobiony. Rejestry wykonały część trudną, część drogą i część wymagającą koordynacji międzynarodowej, i ją skończyły. W związku z tym niczego poniżej tego punktu nie da się zrzucić na infrastrukturę.\nDziewięćdziesiąt cztery procent na górze, półtora na dole ŁAŃCUCH JEST ZBUDOWANY root podpisany od 2010 1351 z 1438 TLD każdy gTLD, bez wyjątku nazwa, którą ludzie wpisują i tu się kończy UDZIAŁ PODPISANYCH, 27 WRZEŚNIA 2026 TLD w strefie root 93,9% Dystrybucje Linux i BSD 20% Banki w UK 13% Rejestry pakietów 18% Strefy Microsoftu 15% Urzędy certyfikacji 11% każda domena gov.uk 1,63% 39 podpisanych z 2390 w oficjalnym rejestrze, które wciąż się rozwiązują Policzone, nie oszacowane. Łańcuch jest zbudowany aż do TLD, a potem nikt z niego nie korzysta A potem wszystko staje Poniżej TLD obraz odwraca się całkowicie.\nKażdy zbiór poniżej zmierzyłem tak samo: zapytaj rodzica o DS, przyjmij tylko rekord, który naprawdę parsuje się jako DS. Wszystko tu policzono 27 września 2026.\nCo Podpisane Udział TLD w strefie root 1351 / 1438 93,9% Dystrybucje Linuksa i BSD 19 / 96 20% Brytyjskie banki i kasy budowlane 13 / 98 13% Rejestry pakietów i łańcuch dostaw 4 / 22 18% Strefy Microsoftu 4 / 26 15% Urzędy certyfikacji 1 / 9 11% Każda domena gov.uk, która wciąż się rozwiązuje 39 / 2390 1,63% Dziewięćdziesiąt cztery procent na górze. Półtora procent na dole. Łańcuch zaufania to łańcuch, którego jeden koniec przykręcono do ściany, a drugi leży na podłodze.\nUwaga o metodzie, bo tak zła liczba na nią zasługuje. Wiersz gov.uk to spis, a nie próba: to każda domena drugiego poziomu z własnego, opublikowanego rejestru rządu, przefiltrowana do 2390, które wciąż się rozwiązują. Pozostałe wiersze to dobrane listy organizacji, których sfałszowanie naprawdę by zabolało, co jest kwestią oceny, i każdą nazwę z nich wymieniam poniżej, żebyś mógł się nie zgadzać z moimi wyborami, a nie z moją arytmetyką.\nSpis rządowy: 39 z 2390 Oficjalna lista domen gov.uk, którą publikuje rząd, liczy 3004 nazwy drugiego poziomu. Z nich 2390 wciąż się rozwiązuje. Trzydzieści dziewięć jest podpisanych.\nZanim przejdę do szczegółów, jedna rzecz o tym rejestrze. Najnowsza wersja, jaką publikuje gov.uk, nosi datę 1 października 2016.5 Dziesięć lat, dla autorytatywnej listy domen, pod którymi odpowiada brytyjskie państwo. To osobne małe odkrycie i na tym je zostawię.\nA teraz zobacz, które to trzydzieści dziewięć.\nPodpisane Niepodpisane mi6.gov.uk, sis.gov.uk gchq.gov.uk, mi5.gov.uk nationalcrimeagency.gov.uk ncsc.gov.uk, cyberessentials.ncsc.gov.uk cheltenham.gov.uk, cotswold.gov.uk, somerset.gov.uk, waverley.gov.uk, southribble.gov.uk, sedgemoor.gov.uk, fdean.gov.uk, westoxon.gov.uk birmingham.gov.uk, manchester.gov.uk, leeds.gov.uk, glasgow.gov.uk, sheffield.gov.uk, liverpool.gov.uk, bristol.gov.uk, cardiff.gov.uk, edinburgh.gov.uk, belfast.gov.uk peakdistrict.gov.uk, snowdonia-npa.gov.uk, eryri-npa.gov.uk hmrc.gov.uk, dvla.gov.uk, dwp.gov.uk, nhs.uk, homeoffice.gov.uk, mod.uk, parliament.uk dziewięć rad parafialnych i miejskich companieshouse.gov.uk, landregistry.gov.uk, police.uk, met.police.uk, tfl.gov.uk, ons.gov.uk Przeczytaj jeszcze raz pierwszą kolumnę. Secret Intelligence Service podpisała swoją strefę. National Cyber Security Centre nie.\nNie zrobiło tego też GCHQ, które jest organizacją macierzystą NCSC. Nie zrobił tego program Cyber Essentials, który istnieje po to, żeby certyfikować, że bezpieczeństwo innych jest wystarczające. Nie będę udawał, że to coś innego niż rzecz zdumiewająca.\nA dziewięć z trzydziestu dziewięciu to rady parafialne i miejskie. Abinger. Aldenham. Ashmansworth. Wheathampstead. Frampton on Severn. Miejsca z sekretarzem, stroną prowadzoną na pół etatu i budżetem, który nie pokryłby jednego dnia konsultingu w Whitehall. Dały radę. HMRC, które trzyma dane podatkowe każdego dorosłego w kraju, nie.\nCzy mogę zapytać, co w procesie na to pozwala. Nie kto: co. Bo NCSC publikuje wytyczne każące innym wdrażać DNSSEC, a urząd, który pisze te wytyczne, nie zrobił tego, co w nich stoi. Albo to ważne, i wtedy instytucja, która tak mówi, powinna była to zrobić lata temu, albo nie, i wtedy wytyczne powinny mówić właśnie to.\nWymówką będzie skala i dziedzictwo starych systemów. Nie przetrwa pierwszej kolumny. somerset.gov.uk to władza jednolita obsługująca 580 000 ludzi i jest podpisana. birmingham.gov.uk to władza jednolita obsługująca 1,1 miliona i nie jest. Ten sam kraj, ten sam rejestr, ci sami rejestratorzy, te same pieniądze na tych samych dostawców. Jedna to zrobiła.\nOprogramowanie, z którego się aktualizujesz To ta część, która powinna martwić cię bardziej niż banki, i ta, której prawie nikt nie mierzy.\nKażda maszyna, którą uruchamiasz, pobiera kod skądś według harmonogramu, a to „skądś” znajduje, pytając DNS.\nDziewięćdziesiąt dziewięć dystrybucji i BSD, dziewięćdziesiąt sześć wciąż się rozwiązuje. Podpisanych jest dziewiętnaście.\nPodpisane (19) debian.org, fedoraproject.org, opensuse.org, gentoo.org, almalinux.org, artixlinux.org, cachyos.org, garudalinux.org, getsol.us, linuxmint.com, q4os.org, system76.com, tails.net, whonix.org, freebsd.org, netbsd.org, hardenedbsd.org, midnightbsd.org, opnsense.org Duże komercyjne ubuntu.com, canonical.com, redhat.com, suse.com, oracle.com, rockylinux.org, centos.org, eurolinux.com Odmiany Ubuntu kubuntu.org, xubuntu.org, lubuntu.me, ubuntustudio.com, ubuntukylin.com Rodzina Arch archlinux.org, arcolinux.com, endeavouros.com, manjaro.org, blackarch.org Niezależne i minimalne alpinelinux.org, voidlinux.org, nixos.org, devuan.org, slackware.com, antixlinux.com, mxlinux.org, puppylinux.com, tinycorelinux.net, slitaz.org, porteus.org, funtoo.org, calculate-linux.org Nastawione na desktop zorin.com, elementary.io, deepin.org, uniontech.com, bodhilinux.com, peppermintos.com, sparkylinux.org, neon.kde.org, nobaraproject.org, ultramarine-linux.org, vanillaos.org, solus-project.com Bezpieczeństwo i prywatność kali.org, parrotsec.org, qubes-os.org, backbox.org, pentoo.ch, trisquel.info, pureos.net, hyperbola.info, dragora.org Regionalne i państwowe altlinux.org, astralinux.ru, rosa.ru, openkylin.top, openeuler.org, opencloudos.org, openanolis.cn, mageia.org, openmandriva.org, pclinuxos.com Wbudowane, niezmienne, urządzenia openwrt.org, dd-wrt.com, librecmc.org, raspberrypi.com, armbian.com, flatcar.org, talos.dev, bottlerocket.dev, truenas.com, pfsense.org BSD openbsd.org, dragonflybsd.org, ghostbsd.org I dwie najważniejsze kernel.org, gnu.org Dziewiętnaście na dziewięćdziesiąt sześć. A nazwy z tej niepodpisanej listy nie są niszowe: Ubuntu, Red Hat, SUSE, Oracle, Arch, Alpine, NixOS, Rocky, każda odmiana Ubuntu, a także kernel.org i gnu.org.\nPo dystrybucjach nastawionych na bezpieczeństwo i prywatność spodziewałem się czegoś innego i przeważnie się zawiodłem. Tails i Whonix podpisały, co pasuje. Kali, Parrot, Qubes, Trisquel i PureOS nie, co nie pasuje. OpenBSD zbudował dwudziestopięcioletnią reputację na robieniu dokładnie takich rzeczy dobrze i nie podpisał openbsd.org, podczas gdy FreeBSD, NetBSD, HardenedBSD i MidnightBSD podpisały.\nRejestry pakietów prawie w komplecie lądują w złej kolumnie: npm, crates.io, RubyGems, Packagist, Docker Hub i Quay są niepodpisane. Wyjątkiem jest pypi.org, i oddajmy mu sprawiedliwość, bo to też jeden z najczęściej atakowanych.\nMicrosoft i kanał aktualizacji Cztery z dwudziestu sześciu stref Microsoftu są podpisane i wszystkie leżą w jednym kącie posiadłości:\nPodpisane Niepodpisane live.com, outlook.com, office.com, office365.com microsoft.com, windows.com, windowsupdate.com, update.microsoft.com azure.com, azurewebsites.net, microsoftonline.com, windows.net github.com, npmjs.com, linkedin.com, visualstudio.com, xbox.com, bing.com Nazwy Outlooka i Office są podpisane i nic poza nimi, co wygląda na decyzję jednego zespołu, a nie firmy. Zwróć uwagę, co stoi w prawej kolumnie obok usługi aktualizacji: github.com i npmjs.com, dwa z największych punktów dystrybucji kodu w internecie, oba należące do Microsoftu, oba niepodpisane.\n$ dig +short @127.0.0.53 windowsupdate.com DS (nothing) $ dig +short @127.0.0.53 microsoft.com DS (nothing) $ dig +short @127.0.0.53 com DS 19718 13 2 8ACBB0CD28F41250A80A491389424... com jest podpisany, więc nic technicznego nie stoi na przeszkodzie. Microsoft mógłby opublikować DS jeszcze dziś po południu.\nStandardowa odpowiedź na pytanie, czemu to nie ma znaczenia, brzmi: DNS to tylko jedna warstwa. Ładunki aktualizacji są podpisane kodowo, klient sprawdza podpis, a ruch idzie po TLS. Złam DNS, a i tak nie uruchomisz kodu.\nTa odpowiedź zależy w całości od tego, czy podpisywanie jest solidne. Nie było.\nKiedy Co stało się z zaufaniem do podpisów Microsoftu 2012 Flame sfałszował certyfikat łączący się łańcuchem z Microsoft Root Authority, używając kolizji MD5 przeciw ścieżce rejestracji licencjonowania Terminal Services, a potem użył go na fałszywym serwerze aktualizacji6 2021 Netfilter stał się pierwszym znalezionym rootkitem z podpisem WHQL wydanym bezpośrednio przez Microsoft, po przejściu przez Windows Hardware Compatibility Program w czasie, gdy rozmawiał z serwerem dowodzenia i kontroli7 2021 FiveSys, kolejny sterownik z certyfikatem WHQL, okazał się rootkitem, który instalował własny certyfikat główny i przepuszczał przez proxy ruch HTTP i HTTPS maszyny7 2022 Złośliwe sterowniki podpisane przez Microsoft pojawiły się w atakach ransomware, a Microsoft unieważnił podpisy i zawiesił konta deweloperów7 2023 Storm-0558 zdobył klucz podpisujący Microsoftu dla kont konsumenckich ze zrzutu awaryjnego, po przejęciu konta inżyniera, i fałszował tokeny uwierzytelniania akceptowane dla poczty firmowej w około 25 organizacjach, w tym w agencjach rządowych8 Bądźmy precyzyjni co do ostatniego wiersza, bo ludzie go przesadzają. Skradziony klucz podpisywał tokeny tożsamości, nie pliki binarne. Jest w tabeli z innego powodu: zawiodło przechowywanie materiału podpisującego Microsoftu, niewykryte przez dwa lata, przez zrzut awaryjny i przejęte konto inżyniera.\nWiersze nad nim to porażki podpisywania kodu, i są gorsze. Dwa razy w jednym roku własny program certyfikacji sprzętu Microsoftu położył podpis Microsoftu na działającym rootkicie i go wypuścił. Nie sfałszowany certyfikat, nie skradziony klucz. Prawowity proces, podpisujący malware, dokładnie tak, jak go zaprojektowano.\nObrona, która pozwala traktować DNS jako opcjonalny, została więc przełamana fałszerstwem, nadużyciem procesu i kradzieżą klucza, na przestrzeni jedenastu lat. Napastnik z podpisem, który maszyna zaakceptuje, to nie eksperyment myślowy. Dla aktora wspieranego przez państwo to problem zakupowy, a nie badawczy.\nDaj temu napastnikowi sfałszowaną odpowiedź DNS i obraz jest pełny: podpisany kod, który kontroluje, dostarczony z serwera, który maszyna uważa za serwer Microsoftu, połączeniem, którego nic w stosie nie zakwestionuje. To jest Flame, z lepszym materiałem kluczowym.\nDNSSEC to jedyna warstwa w tym łańcuchu, której nie obchodzi, czyj klucz podpisujący ma napastnik. Nie waliduje ładunku, waliduje to, dokąd maszynę wysłano, i zawodzi niezależnie od każdego certyfikatu i podpisu w grze. Czyli dokładnie to, czego chcesz od drugiej warstwy, i dokładnie dlatego nie powinna być tą wyłączoną.\nA jest też tańszy atak, który nie potrzebuje żadnego klucza. Sfałszuj odpowiedź tak, żeby usługa aktualizacji rozwiązywała się donikąd, a maszyna po prostu nigdy się nie załata. Żadnego błędu, na który użytkownik zareaguje, żadnego alarmu, tylko flota po cichu zostająca w tyle, podczas gdy dashboard mówi, że wszystko gra. Gdybym chciał mieć infrastrukturę gotową do wykorzystania za pół roku, niczego bym na nią nie wypychał. Dopilnowałbym tylko, żeby nic nie dochodziło.\nBanki, w całości Tym razem nie próba. Dziewięćdziesiąt osiem brytyjskich banków i kas budowlanych, każdy rozwiązujący się tego dnia, od głównych ulic po kasy z jednym oddziałem i wiktoriańską nazwą.\nPodpisanych jest trzynaście.\nPodpisane (13) lloydsbank.com, halifax.co.uk, bankofscotland.co.uk, tsb.co.uk, co-operativebank.co.uk, smile.co.uk, monzo.com, aldermore.co.uk, hampshiretrustbank.co.uk, investec.com, handelsbanken.co.uk, allica.bank, weatherbys.bank Banki z głównych ulic, niepodpisane hsbc.co.uk, firstdirect.com, barclays.co.uk, natwest.com, rbs.co.uk, ulsterbank.co.uk, santander.co.uk, nationwide.co.uk, virginmoney.com, clydesdalebank.co.uk, metrobankonline.co.uk, bankofireland.co.uk, aibgb.co.uk, danskebank.co.uk Cyfrowe i pretendenci, niepodpisane starlingbank.com, revolut.com, chase.co.uk, marcus.co.uk, atombank.co.uk, zopa.com, tandem.co.uk, kroo.com, monese.com, cashplus.com, anna.money, mettle.co.uk Handlowe, niepodpisane tescobank.com, sainsburysbank.co.uk, marksandspencer.com, johnlewisfinance.com MŚP i specjalistyczne, niepodpisane shawbrook.co.uk, paragonbank.co.uk, oaknorth.co.uk, recognisebank.co.uk, redwoodbank.co.uk, ccbank.co.uk, closebrothers.com, unitedtrustbank.co.uk, gbbank.co.uk, cynergybank.co.uk, securetrustbank.com Banki prywatne, niepodpisane coutts.com, hoaresbank.co.uk, arbuthnotlatham.co.uk, rathbones.com, brownshipley.com, butterfieldgroup.com Kasy budowlane, niepodpisane każda sprawdzona: coventrybuildingsociety.co.uk, ybs.co.uk, skipton.co.uk, leedsbuildingsociety.co.uk, principality.co.uk, westbrom.co.uk, newcastle.co.uk, thenottingham.com, cumberland.co.uk, progressivebs.co.uk, saffronbs.co.uk, newburybs.co.uk, monbs.com, furnessbs.co.uk, ipswichbuildingsociety.co.uk, leekbs.co.uk, theloughborough.co.uk, mansfieldbs.co.uk, marsdenbs.co.uk, themelton.co.uk, familybuildingsociety.co.uk, penrithbs.co.uk, scottishbs.co.uk, srbs.co.uk, swansea-bs.co.uk, teachersbs.co.uk, thetipton.co.uk, thevernon.co.uk, beverleybs.co.uk, chorleybs.co.uk, dudleybuildingsociety.co.uk, esbs.co.uk, ecology.co.uk, harpendenbs.co.uk, hrbs.co.uk, darlington.co.uk, hanley.co.uk, bathbuildingsociety.co.uk Trzydzieści osiem kas budowlanych. Ani jedna nie jest podpisana. To instytucje, które trzymają hipoteki na bardzo wielu domach.\nW kolumnie podpisanych wyróżniają się dwa wzorce. Lloyds Banking Group podpisał trzy swoje marki, lloydsbank.com, halifax.co.uk i bankofscotland.co.uk, a Co-operative Bank obie swoje. Decyzję podejmuje się więc raz, na poziomie organizacji, a potem stosuje. Żadnej przeszkody na poziomie pojedynczej domeny.\nI Monzo podpisało, a Starling nie. Dwa banki-pretendenci założone w odstępie roku, na porównywalnej nowoczesnej infrastrukturze, z tym samym regulatorem i tymi samymi rejestratorami do dyspozycji. Jeden to zrobił.\nJedyne miejsce, gdzie robią to wszyscy Spójrz na dwie ostatnie nazwy w kolumnie podpisanych: allica.bank i weatherbys.bank.\n.bank to zastrzeżona domena najwyższego poziomu prowadzona przez fTLD Registry Services, a jej wymagania bezpieczeństwa czynią DNSSEC obowiązkowym, obok TLS i uwierzytelniania poczty, z coroczną ponowną weryfikacją każdego rejestrującego.9\nTe same instytucje, dwa reżimy Podpisane Na zwykłej domenie, gdzie DNSSEC jest opcjonalny 13 z 98 Na .bank, gdzie jest obowiązkowy i sprawdzany co roku oba Dwa to mała liczba, więc traktuj to jako demonstrację, a nie statystykę. Wymóg i tak jest jedynym, co się zmieniło.\nTo jest odpowiedź na każdą wymówkę dalej w tym wpisie, i przychodzi przed wymówkami. Te same banki, ci sami dostawcy, te same budżety i te same umiejętności dają 13% zgodności, kiedy to opcjonalne, i 100%, kiedy ktoś sprawdza co roku. Nic technicznego się nie ruszyło. Ktoś po prostu zapytał.\nNikt nie pilnuje strażników Jeden urząd certyfikacji na dziewięć.\nPodpisane Niepodpisane entrust.com letsencrypt.org, digicert.com, sectigo.com, globalsign.com, identrust.com, buypass.com, zerossl.com, certum.eu To organizacje, których cały biznes polega na udowadnianiu, że coś jest tym, za co się podaje. To też organizacje, które sprawdzają kontrolę nad domeną przez DNS, każąc ci opublikować rekord, a potem go sprawdzając. Zapytanie, które decyduje, czy dostaniesz certyfikat dla domeny, jest w ośmiu z tych dziewięciu zapytaniem, którego nikt nie może zweryfikować.\nTo nie hipoteza. To udokumentowany schemat: sfałszuj zapytanie walidacyjne, dostań wystawiony certyfikat i od tej chwili masz ważne papiery na nazwę, która nie jest twoja. DNSSEC to jedna z niewielu rzeczy, które to wyraźnie utrudniają, a ci, których chroniłby najbardziej, go nie wdrożyli.\nPowiem ci to za darmo. Jeśli twój model biznesowy to tożsamość, a nie podpisałeś własnej strefy, argument, że to trudne, nie jest dla ciebie dostępny.\nA kto właściwie sprawdza? Podpisywanie to tylko połowa. Podpisana strefa nikogo nie chroni, jeśli coś po drugiej stronie nie weryfikuje podpisu, i tu obraz robi się gorszy, a nie lepszy.\nWalidacja może się odbywać w dwóch miejscach i nie są one równoważne:\nWalidacja w resolverze zostawia jeden nieuwierzytelniony odcinek. Walidacja na urządzeniu nie DWA MIEJSCA, GDZIE MOŻNA SPRAWDZIĆ DOWÓD, I TO NIE TO SAMO Walidacja w resolverze twoja aplikacja wierzy bitowi jeden bit AD nieuwierzytelniony resolver sprawdza podpisy łańcuch zweryfikowany podpisana strefa RRSIG i DS Dostajesz werdykt, nie dowód, przez ten jeden odcinek, któremu całe to ćwiczenie każe nie ufać. Walidacja na urządzeniu twoja aplikacja sprawdza je sama łańcuch zweryfikowany od końca do końca, tam gdzie odpowiedź jest używana podpisana strefa RRSIG i DS Nic pomiędzy nie może cię okłamać, bo nikogo pomiędzy się nie pyta. Niemal cała walidacja na świecie to ta górna. Windows nie potrafi dolnej przy żadnym ustawieniu. Jedno z nich daje ci werdykt. Drugie daje ci dowód Niemal cała walidacja na świecie jest tego pierwszego rodzaju. Google, Cloudflare i Quad9 walidują i razem obsługują ogromną liczbę użytkowników. To się liczy. Ale oznacza, że większość ludzi ma właściwość mój resolver mówi, że było w porządku.\nCo potrafi każdy system operacyjny Waliduje na urządzeniu Domyślnie Jak to uzyskać Linux z systemd-resolved Tak, w pełni wyłączone jedna linia w pliku drop-in Linux z lokalnym unbound lub knot-resolver Tak, w pełni n/d zainstaluj, skieruj na niego stub FreeBSD z local_unbound Tak, w pełni wyłączone service local_unbound onestart macOS Ventura i nowsze, iOS 16 i nowsze Tak wyłączone dla aplikacji lub dla zapytania, w kodzie macOS i iOS sprzed nich tylko API wyłączone kDNSServiceFlagsValidate, aplikacja musi poprosić Android platforma tego nie oferuje n/d biblioteka zewnętrzna, we własnej aplikacji Fisher-Price OS (Windows) Nie. Nie potrafi n/d niedostępne za żadne pieniądze Dwa z nich zasługują na więcej niż wiersz.\nApple po cichu odrobił zadanie. iOS 16 i macOS Ventura dodały walidację DNSSEC po stronie klienta, słowami samego Apple na WWDC 2022: „iOS 16 and macOS Ventura now support client side DNSSEC validation.”10 Trzeba ją włączyć, nie działa automatycznie, ale włącza się ją z właściwą szczegółowością, więc aplikacja, której zależy, może o nią poprosić dla sesji albo dla pojedynczego zapytania:\nlet configuration = URLSessionConfiguration.default configuration.requiresDNSSECValidation = true Prawdziwy resolver walidujący w telefonie, sprawdzający podpisy na urządzeniu, i prawie nikt nie zauważył, że wszedł. Wcześniej mDNSResponder udostępniał kDNSServiceFlagsValidate każdemu, kto chciał użyć API w C.\nAndroid tego nie oferuje. Resolver DNS jest aktualizowalnym modułem od Androida 10, a DNS over TLS dostał w Androidzie 9, więc platforma nie stała w miejscu, jeśli chodzi o DNS. Ale ani dokumentacja resolvera AOSP, ani publiczne API DnsResolver nie opisują walidacji DNSSEC, a powód, dla którego biblioteki takie jak MiniDNS istnieją i reklamują się tym, że przynoszą „DNSSEC close to your application”, jest taki, że platforma go nie przynosi. Nie znalazłem źródła pierwotnego, które mówiłoby wprost, że to niemożliwe, więc nie powiem więcej niż tyle: nie jest oferowane i pisałbyś to sam.\nI wyrzuca się ją nawet tam, gdzie działa Jeszcze jedno, z tej maszyny, czego się nie spodziewałem.\nResolver nadrzędny tutaj waliduje i to mówi. systemd-resolved z DNSSEC=no wyrzuca to, zanim zobaczy to jakakolwiek aplikacja:\n# ---- before: stock Fedora, DNSSEC=no ---------------------------------- $ dig @192.0.2.53 damiendye.uk A | grep flags # the upstream ;; flags: qr rd ra ad $ dig @127.0.0.53 damiendye.uk A | grep flags # the local stub ;; flags: qr rd ra # ---- the fix: two lines in a drop-in ---------------------------------- $ sudo mkdir -p /etc/systemd/resolved.conf.d $ printf \u0026#39;[Resolve]\\nDNSSEC=allow-downgrade\\n\u0026#39; \\ | sudo tee /etc/systemd/resolved.conf.d/10-dnssec.conf $ sudo systemctl restart systemd-resolved # ---- after: same query, same stub, nothing else changed --------------- $ resolvectl status | grep -m1 DNSSEC= DNSSEC=allow-downgrade/supported $ dig @127.0.0.53 damiendye.uk A | grep flags ;; flags: qr rd ra ad Ta sama nazwa, ta sama odpowiedź, ta sama sekunda. Przed plikiem drop-in resolver nadrzędny wykonał pracę, ustawił bit AD, a lokalny demon upuścił go na podłogę, więc domyślne ustawienie to nie po prostu tu nie walidujemy, tylko tu nie walidujemy i nie przekażemy werdyktu nikogo, kto to zrobił. Po nim bit wraca, i tym razem jest nasz, a nie czyjąś deklaracją.\nresolvectl podaje werdykt słowami i rozdziela te dwa, które mają znaczenie:\n$ resolvectl query damiendye.uk | tail -2 -- Data is authenticated: yes; Data was acquired via local or encrypted transport: no $ resolvectl query ncsc.gov.uk | tail -2 -- Data is authenticated: no; Data was acquired via local or encrypted transport: no Zwróć uwagę, czym ten drugi nie jest. Nie jest błędem. Niepodpisana strefa wraca jako nieuwierzytelniona, a nie fałszywa, rozwiązywanie się udaje i nic nigdzie się nie skarży. To cały problem 1,63% wyrażony jako polecenie: włączenie walidacji nie sprawia, że niepodpisane strefy przestają działać, sprawia, że stają się widoczne, i to tylko dla tego, kto ich szuka.\nNajwiększy system kliencki oblewa najbardziej podstawowy test Teraz drugi koniec skali, i nie jest blisko.\nKlient DNS Windows jest, według własnego opisu Microsoftu, „security-aware”, ale „non-validating”. Nie wykonuje walidacji DNSSEC. Nie da się go do tego zmusić. Zamiast tego prosi skonfigurowany serwer DNS o walidację, a potem szuka bitu AD w odpowiedzi.11\nTrzy rzeczy w tej sprawie, i żadna nie jest mała:\nNigdy nie sprawdza podpisu. Najsilniejsza gwarancja dostępna dla największego klienckiego systemu operacyjnego na świecie to jeden bit ustawiony przez maszynę, która akurat odpowiedziała. Domyślnie nie robi nawet tego. Klient ustawia bit DO i wymaga AD tylko dla przestrzeni nazw wymienionych w Name Resolution Policy Table, obiekcie Group Policy, który ktoś musi celowo skonfigurować. Bez reguły w nim zapytanie nie niesie żadnego oczekiwania DNSSEC. Microsoft mówi, że bit wymaga IPsec, żeby cokolwiek znaczyć. Ich dokumentacja mówi wprost, że skoro klient nie waliduje i opiera się na serwerze, „IPsec is used to establish this trust relationship”. Bit AD przychodzący nieuwierzytelnionym łączem to deklaracja od tego, kto dotarł pierwszy, czyli dokładnie ten atak, który cała ta technologia ma powstrzymać. Na desktopie z największą bazą instalacji, prosto z pudełka: brak walidacji, brak wymogu AD i brak uwierzytelnionego kanału do resolvera. Najbardziej podstawowy test nie jest po prostu wyłączony. Nigdy go nie zaimplementowano.\nA zwykła obrona, że klienckie systemy operacyjne po prostu takich rzeczy nie robią, umarła w 2022. Apple wypuścił walidację na urządzeniu na każdy iPhone i Maca w tym samym roku, w którym Microsoft tego nie zrobił. Porównanie nie dotyczy już desktopu i serwera ani urządzeń mobilnych i stacjonarnych. To jeden dostawca, który to zbudował, przeciw drugiemu, który nie.\nTo ma większe znaczenie niż ta sama luka na Linuksie, ze względu na to, kogo dotyczy. Serwer z Linuksem zwykle prowadzi ktoś, kto mógłby włączyć walidację jeszcze dziś po południu i wie, czym jest rekord DS. Maszyny, które nie potrafią walidować wcale, przy żadnym ustawieniu, to te stojące na biurkach w organizacjach, których strefy są niepodpisane w tabelach powyżej. systemd-resolved dostarcza tę możliwość wyłączoną, co jest decyzją, którą cofniesz jedną linią.12 Fisher-Price OS (Windows) dostarcza się bez tej możliwości.\nUsługa, którą trzyma w kupie DNS Wszystko dotąd dotyczyło nazw w publicznym internecie. Ta sama dziura istnieje wewnątrz budynku, i tam jest nośna.\nActive Directory nie ma stałego adresu dla niczego. Maszyna przyłączona do domeny nie wie, gdzie mieszka jej kontroler domeny, więc pyta DNS. Proces lokalizatora pyta _ldap._tcp.dc._msdcs.\u0026lt;domain\u0026gt; o kontrolery i _kerberos._tcp o KDC, a cokolwiek wróci, wobec tego się uwierzytelnia.13\ndig +short _ldap._tcp.dc._msdcs.corp.example SRV Sfałszuj tę odpowiedź, a maszyna zaniesie swój ruch uwierzytelniający do hosta, którego wybrałeś. Powiedzmy uczciwie, czym to jest, a czym nie: Kerberos nie da biletu oszustowi, który nie ma kluczy, więc samo w sobie nie jest to przejęcie domeny. To pozycja na ścieżce, a z tego buduje się ciekawe ataki. Wymuś powrót do NTLM i przekaż go dalej. Usiądź w środku ruchu, który miał trafić do kontrolera. Albo skieruj całą infrastrukturę w nicość i patrz, jak logowania stają.\nSfałszowany rekord lokalizatora nie oddaje domeny, stawia napastnika na ścieżce GDZIE JEST MÓJ KONTROLER DOMENY? ODPOWIEDŹ TO TYLKO REKORD DNS Niepodpisana strefa `_msdcs` serwer członkowski _ldap._tcp.dc SRV pierwsza odpowiedź wygrywa host napastnika teraz na ścieżce powrót do NTLM, relay albo brak logowań Kerberos nie wyda biletów oszustowi, więc to nie przejęcie domeny. To pozycja. Podpisana strefa, walidujący klient serwer członkowski sprawdza podpis fałszerstwo odrzucone twój kontroler podpisana odpowiedź Odrzucone, zanim cokolwiek spróbuje się uwierzytelnić. Windows Server potrafi podpisać tę strefę od 2012 roku. Klient, który ją czyta, wciąż nie potrafi walidować. Nie przejęcie domeny. Pozycja na ścieżce, a na tym buduje się resztę Group Policy, skrypty logowania, mapowane dyski i każde zaufanie za logowaniem znajduje się w ten sam sposób. To najcenniejszy zbiór nazw, jaki ma większość organizacji, i leży sobie niepodpisany.\nMicrosoft zbudował serwerową połowę poprawki, i zbudował ją dobrze. Strefę zintegrowaną z AD można podpisać, podpisywanie online stref dynamicznych przyszło w Windows Server 2012, a ponieważ strefa żyje w katalogu, prywatne klucze podpisujące replikują się na pozostałe serwery DNS przez samą replikację AD.14 Naprawdę niewygodną część DNSSEC, dostarczenie kluczy do maszyn, które ich potrzebują, rozwiązano tu czternaście lat temu tym, przez co strefa i tak już się replikowała.\nPotem staje w tych samych dwóch miejscach co wszystko inne:\nDwie połowy Co dostarczył Microsoft Co dostajesz prosto z pudełka Podpisanie strefy _msdcs podpisywanie online dynamicznych stref zintegrowanych z AD, klucze replikowane przez samo AD nic, dopóki administrator jej nie podpisze Sprawdzenie podpisu niewalidujący klient z poprzedniej sekcji reguła w tabeli zasad plus IPsec, albo bit nic nie znaczy Więc strefa wewnętrzna, która decyduje, która maszyna zostanie twoim kontrolerem domeny, jest w większości infrastruktur tak samo niepodpisana jak publiczna. Różnica polega na tym, że żaden obcy nie może jej policzyć, więc w tym wpisie nie ma tabeli, która by kogoś zawstydzała. Zanim cokolwiek założysz, idź i sprawdź własną.\nSystem operacyjny powinien to robić, i to domyślnie Co prowadzi mnie do tej części, o którą chcę się spierać, a nie ją liczyć.\nWalidacja odpowiedzi DNS to praca systemu operacyjnego. Należy do tej samej klasy zadań co utrzymywanie właściwego czasu zegara, przechowywanie magazynu zaufanych certyfikatów i posiadanie stosu TLS, i z tych samych powodów: każda aplikacja jej potrzebuje, prawie żadna nie powinna jej pisać, a sprawdzenie musi się odbyć raz, w miejscu, gdzie da się je zrobić porządnie. Ten spór o certyfikaty rozstrzygnęliśmy dawno temu. Nikt nie wypuszcza klienta poczty z własną prywatną opinią o głównych CA.\nTrzy z czterech platform powyżej już to potrafią. Żadna nie robi tego prosto z pudełka:\n$ grep DNSSEC= /usr/lib/systemd/resolved.conf # Fedora 44, systemd 259.9 #DNSSEC=no To wkompilowane ustawienie domyślne, wypisane w komentarzu, żeby administrator widział, jakie jest. Własny podręcznik systemd ma inne zdanie: zaleca ogólnie allow-downgrade, a true wszędzie tam, gdzie można polegać na resolverze nadrzędnym.15 Kod jest dostarczany, kotwica zaufania root jest dostarczana, a dokumentacja jest dostarczana z zaleceniem, żeby to włączyć. Ustawienie domyślne nadal mówi nie.\nPlatforma Kto musi zadziałać, zanim podpis zostanie sprawdzony systemd-resolved administrator, raz, w pliku drop-in macOS 13 i nowsze, iOS 16 i nowsze autor każdej pojedynczej aplikacji Android autor każdej aplikacji, z biblioteką zewnętrzną Windows nikt nie może Ta kolumna to cały problem. Wymóg to jedna dźwignia, a liczba z .bank wyżej pokazuje, co robi. Ustawienie domyślne to ta sama dźwignia bez potrzeby egzekwowania czegokolwiek, bo przesądza o wyniku dla każdego, kto nigdy nie otwiera pliku konfiguracyjnego, a to prawie wszyscy. Opcjonalność dała nam 1,63% w administracji i 13% w bankowości. Ludzie nie włączają zabezpieczeń, których nie widzą, i racja co do technologii ani razu tego nie zmieniła.\nUczciwy zarzut jest taki, że domyślna walidacja psuje życie użytkownikom, gdy zepsuty jest resolver nadrzędny, a nie strefa. Do tego jest allow-downgrade, i to prawdziwy kompromis, a nie darmowy, bo do obniżenia napastnik może doprowadzić celowo. Mimo to dostarczanie allow-downgrade zamiast gołego no byłoby ogromną poprawą i przeniosłoby awarię tam, gdzie jej miejsce: na tego, kto w 2026 roku wciąż prowadzi resolver, który nie radzi sobie z DNSSEC.\nWłączanie walidacji, i która część jest Fedory Prawie wszystko, co następuje, należy do systemd, a nie do Fedory, i działa tak samo na Debianie, Ubuntu czy Archu. Dwie rzeczy tutaj naprawdę należą do dystrybucji:\nsystemd upstream Fedora 44, po instalacji Wkompilowane default-dnssec allow-downgrade no Główny plik konfiguracyjny /usr/lib/systemd/resolved.conf, każde ustawienie domyślne zakomentowane dla informacji dostarcza też /etc/systemd/resolved.conf z Cache=yes, który go zastępuje Upstream wybiera allow-downgrade w meson_options.txt, co jest ustawieniem kompromisowym, a nie odważnym.16 Fedora kompiluje to na no, a potem dostarcza drugi główny plik konfiguracyjny, a ponieważ używany jest tylko pierwszy znaleziony, ten, który dokumentuje wartości domyślne, nie jest już tym, który obowiązuje.15 Nie edytuj więc żadnego z nich. Kopia dostawcy należy do pakietu i aktualizacja odda ci zmianę z powrotem; kopia w /etc to plik, którego pozostałych linii po cichu brakuje.\nUżyj zamiast tego pliku drop-in, tak jak robi to blok wyżej. Nadpisuje ten główny plik, który wygrał, przetrwa aktualizacje pakietów i zawiera tylko to, co zmieniłeś. Sprawdź wynik przez systemd-analyze cat-config systemd/resolved.conf, które wypisuje każdy plik w kolejności stosowania i rozstrzyga, co naprawdę wygrało.\nTrzy ustawienia, a wybór między dwoma ostatnimi jest prawdziwym wyborem:\nDNSSEC= Co robi Ile cię kosztuje no nie waliduje niczego i wyrzuca też werdykt resolvera nadrzędnego fałszerstwo przychodzi po cichu, tak jak dziś allow-downgrade waliduje i ustępuje, gdy resolver nadrzędny sobie nie radzi napastnik może celowo doprowadzić do ustąpienia yes waliduje, kropka, bez drogi powrotu twoje nazwy padają razem z resolverem nadrzędnym w dniu, w którym się zepsuje Zacznij od allow-downgrade, bo wtedy zepsuty resolver nic cię nie kosztuje. Przejdź na yes, gdy resolvectl status przez dwa tygodnie pokazuje supported i wiesz, czym naprawdę jest twój resolver nadrzędny. Szczegóły dla każdej dystrybucji innej niż Fedora są we wpisie o resolved.12\nCo właściwie powstrzymuje ludzi Dobra. Liczby są, jakie są. Dlaczego?\nPodaje się cztery powody i nie wszystkie są bzdurą.\nPowód Ile w nim prawdy Zarządzanie kluczami jest trudne Było prawdą. Dziś w dużej mierze zautomatyzowane przez dostawcę DNS Może wyrzucić twoją domenę z internetu Prawda, i to ten prawdziwy Wsparcie rejestratorów i dostawców jest nierówne W dużej mierze rozwiązane i łatwe do sprawdzenia przed decyzją Brak widocznej korzyści, brak bata w postaci zgodności Prawda, i pewnie rozstrzygające Zarządzanie kluczami było prawdziwą przeszkodą i w większości już nie jest. Podpisywanie oznaczało kiedyś prowadzenie własnych ceremonii kluczy, pamiętanie o ponownym podpisaniu przed wygaśnięciem podpisów i ręczną rotację kluczy według harmonogramu, którego trzeba było samemu pilnować. Na większości zarządzanych platform tę pracę wykonuje dziś dostawca DNS, a podpisywanie to przełącznik. To nie jest nic, ale to już nie jest projekt.\nTryb awarii to uczciwy zarzut i jedyny z czterech, do którego mam prawdziwą sympatię. Zrób DNSSEC źle, a twoja domena nie degraduje się, tylko znika. Każdy resolver walidujący odrzuca twoje rekordy, co jest dokładnie tym, co ma robić, a ludziom, którzy nie mogą się do ciebie dostać, nie możesz powiedzieć dlaczego, bo powiedzenie im tego wymaga DNS.\nTrzy rzeczy sprawiają, że to gorsze niż zwykła awaria:\nPada według zegara, a nie po zmianie. Podpisy mają datę ważności. Strefa, której nikt nie dotykał od wtorku, może zniknąć do niedzieli, bo zadanie ponownego podpisywania po cichu przestało działać. Pada dla jednych, a dla innych nie. Odrzucają cię tylko resolvery walidujące. Twój własny monitoring, jeśli nie waliduje, zgłosi stronę jako w pełni zdrową, podczas gdy rosnąca część internetu nie może się do niej dostać. Pada na warstwie, której używasz do naprawiania. Zdalny dostęp, twoja strona statusu i twoja własna poczta mogą wszystkie siedzieć pod nazwą, która właśnie zniknęła. Ten strach jest racjonalny, zdejmował z anteny dużych operatorów i każda uczciwa obrona DNSSEC musi się z nim zmierzyć, a nie go zbywać.\nAle zauważ jego kształt: to strach przed dyscypliną operacyjną, której obecnie nie masz, a nie strach przed technologią.\nNiepodpisana zawodzi po cichu na użytkownikach. Źle skonfigurowana głośno na tobie DWA SPOSOBY, BY TO POSZŁO ŹLE, I MÓWI SIĘ TYLKO O JEDNYM Niepodpisana Sfałszowanej odpowiedzi się wierzy. Nic jej nie loguje. Nic nie alarmuje. Trwa tyle, ile TTL napastnika. Twój monitoring jest zielony. Koszt spada na tego, kto zaufał odpowiedzi. Nie na ciebie. Podpisana i zepsuta Domena po prostu znika. Pada według zegara, nie po zmianie. Tylko dla resolverów walidujących, więc twoje testy mogą wyglądać dobrze. Koszt spada na ciebie, głośno, z twoim nazwiskiem na incydencie. Dlatego drugi dostaje uzasadnienie biznesowe, a pierwszy nie. Nikt nie odpowiada za atak, którego nigdy nie wykryto. Niepodpisana zawodzi po cichu, na twoich użytkownikach. Źle skonfigurowana zawodzi głośno, na tobie I zauważ, kto płaci w każdej kolumnie. Niepodpisana strefa, którą ktoś sfałszuje, kosztuje twoich klientów, po cichu, i nikt nigdy nie zgłasza incydentu, bo nikt się nigdy nie dowiaduje. Podpisana strefa, która wygasa, kosztuje ciebie, natychmiast, publicznie, z twoim nazwiskiem na raporcie poawaryjnym. Obie to porażki. Tylko jedna z nich pojawia się w czyichkolwiek celach.\nCertyfikaty miały ten sam problem i rozwiązały go podwójnie: awarię uczyniono widoczną, a potem ją zautomatyzowano. Ostrzeżenie przeglądarki sprawiło, że wygasły certyfikat stał się problemem wszystkich, potem przyszedł monitoring, a potem Let\u0026rsquo;s Encrypt sprawił, że odnowienie robiło zadanie cron o trzeciej nad ranem. Nic z tego nie uczyniło certyfikatów łatwiejszymi w zasadzie. Sprawiło, że trudniej o nich zapomnieć.\nWsparcie dostawców warto sprawdzić przez dziesięć minut, zamiast zakładać. Niektórzy rejestratorzy wciąż robią z publikacji DS zgłoszenie do supportu. Wielu nie.\nA ten ostatni to prawdziwa odpowiedź, co rejestr .bank już udowodnił wyżej w tym wpisie. Nie ma kłódki w przeglądarce dla DNSSEC. Żaden klient nigdy nie wybrał banku, bo jego strefa była podpisana, żaden audytor cię za to nie obleje i żadna ogólna regulacja w Wielkiej Brytanii tego nie wymaga. Korzyść jest całkowicie niewidoczna, gdy działa, kosztem błędu jest awaria z twoim nazwiskiem, a osoba, która tę awarię dźwiga, nie jest osobą, która dostałaby uznanie.\nPostaw wymóg i coroczną kontrolę przed tymi samymi instytucjami, a zgodność idzie z 13% do każdej bez wyjątku. Między tymi dwiema liczbami w technologii nic się nie zmieniło. W budżetach, dostawcach i umiejętnościach też nic. Jedyną zmienną było to, czy ktokolwiek miał zamiar spojrzeć.\nPrzy takich bodźcach zaskakujące nie jest to, że podpisanych jest 1,63% domen rządowych. Zaskakujące jest to, że trzydzieści dziewięć z nich jest.\nWłączanie bez zdejmowania się z anteny Całe ryzyko siedzi w jednym miejscu, więc tam włóż wysiłek. Wygaśnięcie podpisu to awaria, która przychodzi, chociaż nikt niczego nie dotknął, więc ustaw na nie alarm:\ndig +dnssec damiendye.uk SOA | awk \u0026#39;/RRSIG/ {print \u0026#34;sig expires\u0026#34;, $9}\u0026#39; Traktuj to jak certyfikat. Pilnuj daty, alarmuj dużo wcześniej i zautomatyzuj odnowienie, żeby alarm był zabezpieczeniem, a nie procedurą.\nPotem włącz to w spokojnym czasie, na czymś, co nie jest twoją główną domeną, i odczekaj dwa tygodnie, zanim zrobisz tę, która się liczy. Jeśli twój DNS jest na zarządzanej platformie, samo podpisywanie to bardzo prawdopodobnie przełącznik, a jedynym naprawdę ręcznym krokiem jest złożenie DS u rejestratora.\nCzy to ta sama porażka co IPv6? To oczywiste porównanie, więc zmierzyłem oba standardy w tych samych populacjach tego samego dnia. Te same organizacje, ci sami ludzie, dwie decyzje.\nn DNSSEC podpisane IPv6 osiągalne Brytyjskie banki i kasy budowlane 98 13,3% 36,7% Dystrybucje Linuksa i BSD 96 19,8% 67,7% Każda działająca domena gov.uk 2380 1,6% 31,2% Trudna migracja wygrywa z łatwą, trzy do jednego i dziewiętnaście do jednego TE SAME ORGANIZACJE, OBA STANDARDY, TEN SAM DZIEŃ podpisane DNSSEC osiągalne przez IPv6 Banki w UK 98 zbadanych 13,3% 36,7% Linux i BSD 96 zbadanych 19,8% 67,7% Każda działająca gov.uk 2380 domen 1,6% 31,2% IPv6 dotyka każdego routera i hosta. DNSSEC to jeden rekord u rejestratora. Te same organizacje, oba standardy, zmierzone tego samego dnia Dziewiętnaście razy dalej w administracji, na tych samych domenach.\nA teraz zastanów się, co jest czym. IPv6 dotyka każdego routera, każdego hosta i każdej aplikacji, i wymaga dual stacku działającego równolegle przez lata. Podpisanie DNSSEC to przełącznik i jeden rekord wklejony u rejestratora.\nZnacznie trudniejsze zadanie wygrywa z łatwym wszędzie, gdzie spojrzałem. Co wyklucza wygodne wytłumaczenie, że tak już idą standardy infrastrukturalne, powoli i niechętnie. DNSSEC nie posuwa się powoli. Nie posuwa się wcale.\nJedna różnica należy wyłącznie do DNSSEC. Wdroż IPv6, a coś dostajesz z powrotem: osiągalność, brak carrier-grade NAT do kupienia. Podpisz swoją strefę, a ty osobiście nic nie dostajesz. Ochrona ląduje na twoich użytkownikach, i to tylko na tych za resolverem walidującym. Bierzesz na siebie stałe ryzyko awarii w imieniu ludzi, których nigdy nie spotkasz, a to trudniej postawić przed zarządem niż jakąkolwiek przeszkodę techniczną z tego wpisu.\nPołowę tego argumentu dotyczącą IPv6 opisałem gdzie indziej i nie będę jej tu powtarzał.17\nCzy chodzi o to, że wciąż nie rozumiemy DNS? Czterdzieści dwa lata od chwili, gdy Mockapetris spisał go w listopadzie 1983.18 Szesnaście od podpisania root.\nMyślę, że problem ze zrozumieniem jest prawdziwy, i myślę, że jest bardziej konkretny niż to, że ludzie nie wiedzą, jak działa DNS. Mnóstwo kompetentnych inżynierów potrafi doskonale opisać rekursję, delegację i pamięć podręczną. Brakuje jednego kroku dalej, i to tego kroku, który ma znaczenie.\nPrawie nikt nie przyswoił sobie, że DNS jest systemem autoryzacji.\nTraktuje się go jak hydraulikę. Tablicę wyszukiwania. Coś, co zamienia nazwy na liczby i należy do tego, kto prowadzi sieć, odłożone w głowie obok DHCP. A to ujęcie jest błędne w sposób, który po cichu przesądza o bardzo wielu rzeczach, bo w praktyce to odpowiedź DNS decyduje, do której maszyny trafia twój ruch, z którego serwera przychodzą twoje aktualizacje i który host urząd certyfikacji uważa za twój. Kto kontroluje odpowiedź, kontroluje wszystkie trzy.\nTo niezrozumienie widać we wzorcu tego, kto podpisał. Nie budżet i nie umiejętności, a kiedy się to ustawi obok siebie, trudno czytać to inaczej niż jako wzorzec tego, czym dla każdego z nich jest DNS:\nKto podpisał Czym jest dla nich DNS Rejestry i operatorzy TLD, 100% gTLD samym produktem Służba wywiadowcza powierzchnią ataku, bo w ich modelu zagrożeń jest fałszerstwo Dziewięć rad parafialnych przełącznikiem, który zaoferował ich hosting i który ktoś pstryknął Klienci danego dostawcy DNS ustawieniem domyślnym, które odziedziczyli Kto nie podpisał Banki, ministerstwa, dostawcy, CA hydrauliką, poziomem poniżej ciekawych problemów Ci, którzy są najbliżej DNS jako rzeczy samej w sobie, podpisali wszyscy. Ci, którzy konsumują go jak media, nie podpisali, prawie bez wyjątku, niezależnie od tego, jak dobrze są wyposażeni i jak bardzo uważają się za świadomych bezpieczeństwa. GCHQ nie podpisało. Osiem z dziewięciu urzędów certyfikacji nie podpisało. To nie są organizacje, którym brakuje mądrych ludzi albo modeli zagrożeń.\nDlatego też odpowiedzią na Kaminsky\u0026rsquo;ego w 2008 roku było utrudnienie zgadywania, a nie dokończenie wdrażania tego, co czyni zgadywanie bez znaczenia. Utrudnienie zgadywania to poprawka hydrauliczna, a w hydraulice branża miała DNS zaszufladkowany.\nCałe pokolenie nauczyło się DNS jako katalogu i nigdy nie poprawiło tego wpisu, kiedy po cichu stał się tym, co decyduje, z kim rozmawiasz.\nZbudowaliśmy to, a potem zostawiliśmy Rejestry, operatorzy i ludzie od standardów wykonali trudną część. Napisali to, przepychali przez IETF przez dekadę, podpisali root na ceremonii ze świadkami i doprowadzili do podpisania 100% generycznych domen najwyższego poziomu. To prawdziwy kawałek wspólnej inżynierii i jest skończony.\nA potem reszta z nas nie zrobiła swojej części, bo nasza część jest nudna, niewidoczna, niesie całe osobiste ryzyko i zero uznania, i nikt nie sprawdza.\nTaki kształt ma każdy standard, którego nikt nie egzekwuje: koszt ponosi się w pojedynkę, a korzyść pojawia się dopiero wtedy, gdy dość innych też go poniosło. Więc rejestry go poniosły, a ci, którzy publikują wytyczne o jego ponoszeniu, nie.\nTyle że zadanie było tu mniejsze niż prawie każde z nich. Łańcuch był już zbudowany i opłacony, przez kogoś innego. Został jeden rekord.\nA jeśli to jest ta część, którą widać Ostatnia myśl, i chcę jasno powiedzieć, że to wniosek, a nie pomiar, bo wszystko inne w tym wpisie jest policzone, a to nie.\nDNSSEC to mniej więcej najłatwiejsze do oceny zabezpieczenie, jakie istnieje. Nic nie kosztuje, roboty jest na popołudnie, standard jest skończony od dwudziestu lat i każdy może go sprawdzić z zewnątrz jednym poleceniem, bez pytania o pozwolenie. Żadnego audytu, żadnego kwestionariusza, żadnego NDA. Jeden dig.\nCo więc 1,6% mówi ci o zabezpieczeniach, których stąd nie widać?\nZabezpieczenie Czy obcy może je sprawdzić Kosztuje pieniądze Widoczne, gdy działa Rekord DS u twojego rejestratora Tak, jednym poleceniem nie nie MFA na kontach, które się liczą nie tak nie Kopie zapasowe odtworzone w tym roku, a nie tylko zrobione nie tak nie Segmentacja sieci nie tak nie Każdy wiersz pod pierwszym jest trudniejszy niż podpisanie strefy, kosztuje prawdziwe pieniądze, wymaga kogoś, kto za to odpowiada, i dzieli dokładnie tę właściwość, która zatopiła DNSSEC: niewidoczne, gdy działa, i nikt z zewnątrz nie sprawdza. Jedyne, co oddziela górny wiersz od reszty, to to, że możesz go sprawdzić, za darmo, u każdego, w tej chwili.\nJeśli organizacja nie zrobiła darmowej rzeczy, która zajmuje popołudnie i którą obcy może zweryfikować jednym poleceniem, nie mam ochoty zakładać, że zrobiła drogie rzeczy, które wymagają całego programu i które może zweryfikować tylko ktoś, kogo wpuści.\nOczywistym ruchem jest sprawdzić to na historii włamań, i spróbowałem. Z 23 brytyjskich organizacji z udokumentowanymi poważnymi incydentami 22 są niepodpisane.\nTa liczba niczego nie dowodzi i nie zamierzam udawać, że jest inaczej. Przy częstości bazowej 1,6% jedna podpisana organizacja na liście 23 to dokładnie to, co przewiduje przypadek. Gorzej, podpisany zbiór to dziewięć rad parafialnych i trzy parki narodowe, a niepodpisany to każde duże ministerstwo i każde duże miasto, więc wielkość decyduje i o tym, kto jest atakowany, i o tym, kto trafia do wiadomości. Każde porównanie częstości włamań między tymi dwiema grupami mierzyłoby, jak duża jest organizacja, a nie czy podpisała.\nWięc nie, nie potrafię ci pokazać, że podpisane organizacje są rzadziej włamywane. Nikt nie potrafi, nie na danych, które ktokolwiek może zdobyć, a kto mówi inaczej, ten żartuje.\nOrganizacje, które dostały, spisały, co zawiodło Nie potrzebujesz mojego wniosku, bo same to opublikowały, a to, co zawiodło, to lista powyżej.\nBritish Library jest z nich najlepsza, bo spisała to dobrowolnie i szczegółowo po ataku ransomware w 2023 roku. Jej własny przegląd wymienia przyczyny: wejście najprawdopodobniej przez konto podmiotu zewnętrznego na serwerze Terminal Services bez uwierzytelniania wieloskładnikowego, potem przestarzała infrastruktura i ograniczona segmentacja sieci, które pozwoliły napastnikom przemieszczać się po całości, przy czym rosnącą złożoność dostępu podmiotów zewnętrznych zgłoszono wewnętrznie jako ryzyko w 2022 roku i rok później wciąż tam była.19 ICO doszło do tych samych wniosków.20\nTrzy wiersze tabeli powyżej, potwierdzone od środka przez samą organizację, a nie wywnioskowane przeze mnie z zewnątrz.\nA zanim ktoś użyje tego jak kija, British Library zasługuje na coś odwrotnego, i powiem dobitnie dlaczego.\nByli otwarci. Prawie nikt inny nie jest. Nie mieli żadnego obowiązku spisywać ani słowa. Standardowy scenariusz po incydencie to powiedzieć tyle, ile wymaga prawo, przepuścić to przez dział komunikacji, nie potwierdzać niczego konkretnego i czekać, aż cykl informacyjny pójdzie dalej. Tak zrobiła większość organizacji z niepodpisanych kolumn powyżej, kiedy przyszła ich kolej, i dlatego napisanie tej sekcji w ogóle zależy od decyzji jednej instytucji, żeby zachować się inaczej.\nZamiast tego opublikowali osiemnastostronicowy przegląd wymieniający ich własne błędy, publicznie, żeby inne instytucje mogły się na nich uczyć. To zachowanie, którego chciałbyś od każdej organizacji w tym wpisie, a nie dostajesz od prawie żadnej. Mogę ci pokazać, co naprawdę zawodzi wewnątrz włamanej organizacji, tylko dlatego, że British Library postanowiła ci to powiedzieć.\nI jest drugi powód, dla którego reszta milczy, gorszy niż strategia komunikacyjna. Niektórych już nie ma.\nKNP Logistics woziło towary jako Knights of Old od 1865 roku. W czerwcu 2023 weszła grupa Akira, zaszyfrowała firmę i zażądała około pięciu milionów funtów. Do września grupa była niewypłacalna, a 730 osób straciło pracę.21 Sto pięćdziesiąt osiem lat, przepadło w czternaście tygodni, i nikt tam nie spisuje dla ciebie żadnych wniosków.\nKiedy więc niepodpisane kolumny powyżej wyglądają na spokojne, ten spokój składa się z trzech różnych rzeczy: organizacji, w które jeszcze nie uderzono, organizacji, w które uderzono i które powiedziały tyle, ile wymaga prawo, i organizacji, w które uderzono i których już nie ma. Tylko pierwsza grupa ma jeszcze czas, żeby działać.\nCo czyni następną część uczciwym testem mojego własnego argumentu, a nie tanim chwytem. Sprawdziłem ich strefę:\n$ dig +short bl.uk DS (nothing) $ dig +short bl.uk DNSKEY (nothing) bl.uk jest niepodpisana. britishlibrary.co.uk też. Dwa lata po ataku ransomware, który na miesiące wyłączył instytucję, po publicznym przeglądzie, po ustaleniach ICO i po najdokładniejszej rundzie uwagi poświęconej bezpieczeństwu, jaką kiedykolwiek dostaje organizacja, darmowe zabezpieczenie, które zajmuje popołudnie i które obcy może zweryfikować jednym poleceniem, wciąż nie jest zrobione.\nNie czytam tego jako zaniedbania i nie uważam, że czyni ich to gorszymi od niepodpisanych organizacji, które nie opublikowały niczego. Czytam to jako najmocniejszy dowód w tym wpisie na to, o co w tym wszystkim chodziło. Jeśli DNSSEC nie zostaje zrobiony tutaj, w organizacji, która przeszła przez ogień, spisała wnioski i której sprawę przejrzał regulator, to nie jest pomijany dlatego, że ludzie są niedbali. Jest pomijany, bo nic i nikt nigdy nie wpisuje go na listę.\nTo uczciwa wersja argumentu. Nie niepodpisane strefy powodują włamania, czego nie da się udowodnić i co pewnie jest fałszem. Raczej: zabezpieczenia, których nikt z zewnątrz nie widzi, są, według opublikowanych dowodów organizacji, które przez to przeszły, tak samo zaniedbane jak to jedno zabezpieczenie, które widzi każdy z zewnątrz. DNSSEC nie jest przyczyną. Jest próbką, którą wolno ci pobrać.\nDlatego ten pomiar w ogóle warto robić. Nie dlatego, że niepodpisana strefa sama w sobie jest końcem świata, ale dlatego, że to jedna z bardzo niewielu właściwości bezpieczeństwa, które obcy może sprawdzić uczciwie, za darmo, u każdego, bez bycia wpuszczonym. Traktuj ją jak czujnik dymu, a nie wyrok, a potem idź i zadaj trudniejsze pytania temu, kto go uruchomił.\nJedyna część, którą kontrolujesz Co zostawia jedyną część, którą ktokolwiek z nas naprawdę kontroluje. Twoją własną strefę. Nie NCSC, nie Microsoftu, nie twojego banku.\nIdź i zapytaj rodzica, czy za ciebie ręczy:\ndig +short yourdomain.uk DS Jeśli wraca pusto, nie jesteś podpisany, a na większości zarządzanego DNS w 2026 roku poprawką jest przełącznik i rekord DS u rejestratora. Włącz to, a potem pilnuj daty wygaśnięcia tak, jak już pilnujesz certyfikatów, bo to jest dyscyplina, której cała ta rzecz naprawdę potrzebuje.\nTo cała robota. Jeden rekord i data w twoim monitoringu.\nWięc proszę, zrób przynajmniej to jedno. Nie dlatego, że nadchodzi regulator, bo dla większości z was nie nadchodzi, i nie dlatego, że ktoś ci podziękuje, bo nikt nie podziękuje. Zrób to dlatego, że nikt nie nadchodzi, a standard, którego trzymasz się, gdy nikt nie sprawdza, to jedyny rodzaj, który kiedykolwiek był coś wart.\nTrzydziestu dziewięciu sekretarzy parafialnych i jeden szpieg dali radę. Weź się w garść i zrób to.\nRFC 4033 — „DNS Security Introduction and Requirements”, Arends i in., marzec 2005. Obecna specyfikacja DNSSEC, obok RFC 4034 i RFC 4035.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nIANA root trust anchors — XML publikowany przez IANA. Pierwszy skrót klucza ma validFrom=\u0026quot;2010-07-15\u0026quot;, datę podpisania root; obecny KSK, znacznik klucza 20326, ma validFrom=\u0026quot;2017-02-02\u0026quot;.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCERT VU#800113 — „Multiple DNS implementations vulnerable to cache poisoning”, komunikat z 2008 roku dotyczący techniki Kaminsky\u0026rsquo;ego i źródło skoordynowanej odpowiedzi w postaci losowych portów źródłowych.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe root zone file — pobrany 27 września 2026, numer seryjny SOA 2026092701. Liczby w tym wpisie pochodzą z bezpośredniego parsowania delegacji NS i rekordów DS w tym pliku.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nList of gov.uk domain names — własny rejestr rządu. Najnowszy opublikowany plik nosi datę 1 października 2016 i wymienia 3004 domeny drugiego poziomu.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nMicrosoft Security Response Center — Flame malware collision attack explained — „An attacker took advantage of the Terminal Services licensing system\u0026rsquo;s enrollment process for certificates that chained up to the Microsoft Root Authority which did not require internal access to Microsoft PKI”; sfałszowany certyfikat „could be used to sign code that chained up to the Microsoft Root Authority and worked on all versions of Windows”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nSentinelOne — Driving Through Defenses: targeted attacks leverage signed malicious Microsoft drivers i analiza FiveSys od Bitdefendera — złośliwe sterowniki jądra z podpisami wydanymi bezpośrednio przez Microsoft w ramach Windows Hardware Compatibility Program, w tym sterowniki użyte później w atakach ransomware.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nMicrosoft Security Response Center — Results of major technical investigations for Storm-0558 key acquisition — klucz podpisujący dla kont konsumenckich wyciekł do zrzutu awaryjnego przez wyścig, został przejęty po kompromitacji firmowego konta inżyniera i użyty do fałszowania tokenów, które system pocztowy błędnie akceptował dla kont firmowych.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nfTLD Registry Services security requirements — rejestr .bank i .insurance. „.BANK domain names must be signed with DNSSEC with strong cryptographic algorithms”, obok obowiązkowego TLS i uwierzytelniania poczty, z coroczną ponowną weryfikacją każdego rejestrującego.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nApple, WWDC 2022 session 10079, \u0026ldquo;Improve DNS security for apps and servers\u0026rdquo; — „iOS 16 and macOS Ventura now support client side DNSSEC validation”, włączane dla sesji lub zapytania przez requiresDNSSECValidation na URLSessionConfiguration, URLRequest lub NWParameters.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nMicrosoft Learn — Understanding DNSSEC in Windows — klient DNS Windows „is non-validating, which means it does not perform DNSSEC validation and relies on its local DNS servers”; oczekiwanie bitu AD wynika z Name Resolution Policy Table, a „IPsec is used to establish this trust relationship” z serwerem DNS.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nResolved: The Resolver You Are Already Running — zmierzony stan systemd-resolved, w tym dlaczego każda popularna dystrybucja dostarcza DNSSEC=no w czasie kompilacji i jak to zmienić.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nMS-ADTS: DNS-Based Discovery — specyfikacja protokołu Active Directory dotycząca lokalizowania kontrolera domeny, w tym zapytania SRV _ldap._tcp.dc._msdcs, które klient wysyła, by znaleźć kontrolery dla kontekstu nazw.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nMicrosoft Learn — Sign DNS zones with DNSSEC on Windows Server i What is DNSSEC on DNS Server in Windows Server? — podpisywanie stref pojawiło się w Windows Server 2008 R2, ale wykluczało aktualizacje dynamiczne, a Windows Server 2012 dodał podpisywanie online stref dynamicznych. W strefie zintegrowanej z Active Directory prywatne klucze podpisujące replikują się na pozostałe podstawowe serwery DNS przez replikację Active Directory.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nresolved.conf(5), systemd 259.9 w wersji dostarczanej w Fedorze 44 — podręcznik zaleca allow-downgrade, a true w systemach, gdzie można polegać na resolverze nadrzędnym, podczas gdy domyślne ustawienie pakietu w /usr/lib/systemd/resolved.conf to DNSSEC=no.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nsystemd meson_options.txt — option('default-dnssec', type : 'combo', choices : ['yes', 'allow-downgrade', 'no'], value : 'allow-downgrade'). Domyślnym wyborem upstreamu jest allow-downgrade; #DNSSEC=no w pliku dostawcy Fedory to to, co ustawiła zamiast tego ta kompilacja.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nWe Never Ran Out Of Addresses — wersja tego argumentu dotycząca IPv6, w tym 463 brytyjskie organizacje mające przydziały IPv6, które nie ogłaszają żadnego IPv6, oraz uwaga, że CGNAT ma zamówienie zakupu, a zrobienie tego porządnie nie ma żadnego.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 882 — „Domain Names: Concepts and Facilities”, P. Mockapetris, listopad 1983. Pierwotna specyfikacja, zastąpiona przez RFC 1034 i RFC 1035 w 1987 roku.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nBritish Library, \u0026ldquo;Learning Lessons from the Cyber-Attack\u0026rdquo;, 8 marca 2024 — własny przegląd Biblioteki dotyczący ataku ransomware z października 2023, wymieniający brak uwierzytelniania wieloskładnikowego na koncie użytym do wejścia, przestarzałą infrastrukturę, ograniczoną segmentację sieci i złożoność dostępu podmiotów zewnętrznych zapisaną jako ryzyko w 2022 roku.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nICO statement on the British Library\u0026rsquo;s 2023 ransomware attack, kwiecień 2025.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Record — UK logistics firm blames ransomware attack for insolvency, 730 redundancies — KNP Logistics Group, spółka matka 158-letniego Knights of Old, zaatakowana przez Akirę w czerwcu 2023 po złamaniu metodą siłową hasła pracownika bez uwierzytelniania wieloskładnikowego, niewypłacalna do września.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\n","permalink":"https://blogs.damiendye.uk/pl/dns/dnssec-the-root-is-signed-you-are-not/","summary":"Trudną część DNSSEC skończono lata temu. Licząc na żywej strefie root 27 września 2026, 1351 z 1438 domen najwyższego poziomu ma rekord DS, a podpisany jest każdy z 1038 gTLD. Potem wszystko staje w miejscu. Spis każdej domeny gov.uk z oficjalnego rejestru znajduje 39 podpisanych z 2390, które wciąż się rozwiązują, w tym dziewięć rad parafialnych, a nie ma wśród nich HMRC, NHS, GCHQ ani National Cyber Security Centre. Podpisał jeden urząd certyfikacji na dziewięć. Jedna dystrybucja Linuksa lub BSD na pięć też. windowsupdate.com nie ma żadnego DS. Oto ile naprawdę kosztuje sfałszowana odpowiedź, co robi z nią podpis, dlaczego zwykłe wymówki nie wytrzymują zderzenia z liczbami i czy czterdzieści dwa lata po Mockapetrisie prawdziwy problem polega na tym, że prawie nikt nie rozumie, co DNS naprawdę obiecuje.","title":"DNSSEC: chroń swój ruch przed fałszerstwem"},{"content":"Na twojej maszynie działa w tej chwili resolver DNS. Nie instalowałeś go, prawdopodobnie nigdy go nie konfigurowałeś, a odpowiada na każde zapytanie o nazwę, jakie wysyła system. Na Fedorze, Ubuntu i większości desktopowego Linuksa to systemd-resolved i siedzi tam po cichu od dnia instalacji systemu.\nPotrafi trzy rzeczy, które warto mieć. Buforuje, więc to samo zapytanie nie idzie przez sieć dwa razy. Weryfikuje DNSSEC, więc podrobiona odpowiedź zostaje odrzucona, zamiast zostać przyjęta na wiarę. I mówi DNS over TLS, więc sieć lokalna nie może czytać każdej nazwy, o którą pytasz.\nDomyślnie robi dokładnie jedną z tych rzeczy. Pozostałe dwie są wyłączone, a w niektórych dystrybucjach wyłączone na etapie kompilacji, co oznacza, że ustawienie, które byś zmienił, nawet nie jest tym, które o tym zdecydowało. Z walidatora, który nigdy nie waliduje, nie ma ani pożytku, ani ozdoby.\nOto co ta rzecz naprawdę robi, zmierzone na działającej Fedorze 44 z systemd 259, i co się zmienia, kiedy włączysz pozostałe dwie. Łącznie z tym, co twoja dystrybucja zdecydowała za ciebie przy kompilacji, i z tym, ile z tego możesz po prostu unieważnić.\nCo naprawdę odpowiada na twoje zapytania Zacznij od uczciwego obrazu, bo „używa /etc/resolv.conf” od lat nie jest na tych systemach prawdą.\nsystemd-resolved wystawia się na cztery różne sposoby, a to, którego używa program, decyduje o tym, co dostaje z powrotem.1 Ścieżka glibc to nss-resolve, podpięta przez /etc/nsswitch.conf. Ścieżki natywne to D-Bus i Varlink, które niosą werdykt DNSSEC i zakres interfejsu, czego getaddrinfo w żaden sposób nie potrafi wyrazić. Do tego stub listener, prawdziwy serwer DNS na pętli zwrotnej dla wszystkiego, co mówi surowym DNS i nie wie nic o żadnym z powyższych.\nCztery drzwi, jeden demon.\nNa tej maszynie to okablowanie wygląda tak:\n$ ls -l /etc/resolv.conf lrwxrwxrwx. 1 root root 39 May 30 13:56 /etc/resolv.conf -\u0026gt; ../run/systemd/resolve/stub-resolv.conf $ cat /etc/resolv.conf nameserver 127.0.0.53 options edns0 trust-ad search damiendye.uk $ grep ^hosts: /etc/nsswitch.conf hosts: files myhostname mdns4_minimal [NOTFOUND=return] resolve [!UNAVAIL=return] dns resolve w tej linii to nss-resolve. dns za nim to tradycyjny nss-dns, który siedzi tam jako zapas i odpala się tylko wtedy, gdy resolved w ogóle nie działa.\nCztery wejścia, jeden demon i decyzja o trasie, zanim cokolwiek opuści maszynę JAK PYTA PROGRAM CO ROBI DEMON DOKĄD IDZIE nss-resolve glibc, bez werdyktu D-Bus, Varlink natywnie, pełny werdykt 127.0.0.53 pełny stub 127.0.0.54 stub proxy systemd-resolved 1. hosts i syntetyczne 2. cache 3. walidator DNSSEC 4. trasowanie 5. transport stub proxy pomija 2 i 3 LLMNR na 5355 DNS upstream Cztery wejścia, jeden demon i decyzja o trasie, zanim cokolwiek opuści maszynę Stub listenery są dwa, nie jeden Każdy wie o 127.0.0.53. Mniej osób wie, że jest drugi.\n$ ss -lntup | grep \u0026#39;:53 \u0026#39; udp UNCONN 0 0 127.0.0.54:53 0.0.0.0:* udp UNCONN 0 0 127.0.0.53%lo:53 0.0.0.0:* tcp LISTEN 0 4096 127.0.0.54:53 0.0.0.0:* tcp LISTEN 0 4096 127.0.0.53%lo:53 0.0.0.0:* To nie są dwa adresy tej samej rzeczy. Drugi celowo robi mniej:2\n127.0.0.53 127.0.0.54 Rola Pełny lokalny resolver Tylko tryb proxy Cache Tak Nie Walidacja DNSSEC Tak, gdy włączona Nigdy LLMNR i Multicast DNS Tak Nie Nazwy syntetyczne (localhost, _gateway) Tak Nie Podnosi połączenie do DNS over TLS Tak Tak Nazwa syntetyczna dla niego _localdnsstub _localdnsproxy Dostajesz z powrotem To, co zdecydował resolved To, co powiedział upstream Dokumentacja mówi o drugiej kolumnie bez ogródek. Będzie „pass most DNS messages relatively unmodified to the current upstream DNS servers and back, but not try to process the messages locally, and hence does not validate DNSSEC, or offer up LLMNR/MulticastDNS”.2\nTo czyni 127.0.0.54 właściwym celem dla programu, który chce sam walidować, albo dla takiego, który potrzebuje surowej odpowiedzi z upstreamu, a nie jej interpretacji przez resolved.\nOba adresy mają nazwy syntetyczne, _localdnsstub i _localdnsproxy, które rozwiązują się bez żadnej konfiguracji.\nCztery tryby dla /etc/resolv.conf, nie trzy Tryb jest wykrywany automatycznie na podstawie tego, czym jest plik, a trybów jest cztery.1\n/etc/resolv.conf to Co to oznacza Klienci omijający NSS dowiązanie do run/systemd/resolve/stub-resolv.conf Tryb zalecany. Wymienia 127.0.0.53 i bieżące domeny wyszukiwania Idą przez resolved dowiązanie do /usr/lib/systemd/resolv.conf Statyczny, wymienia 127.0.0.53, nie zawiera domen wyszukiwania Idą przez resolved dowiązanie do run/systemd/resolve/resolv.conf Wymienia prawdziwe serwery upstream, utrzymywane na bieżąco Całkowicie omijają resolved zwykły plik zarządzany przez coś innego resolved czyta go jako konsument, nie dostawca Całkowicie omijają resolved Ten trzeci wiersz łapie ludzi. Wygląda na schludną opcję, jest aktualizowany na bieżąco i po cichu oznacza, że każdy program, który czyta resolv.conf bezpośrednio, rozmawia z resolverem twojego dostawcy internetu bez cache, bez walidacji i bez szyfrowania, niezależnie od tego, co ustawiłeś w resolved.conf.\nOpcja trust-ad w pliku powyżej też ma znaczenie. Bez niej glibc zdejmuje bit AD z odpowiedzi, zanim zobaczy ją twój program, z rozsądnego założenia, że twierdzenie przypadkowego resolvera, iż coś zwalidował, nic nie jest warte. Gdy serwerem nazw jest 127.0.0.53, to twierdzenie pochodzi z twojej własnej maszyny, więc trust-ad jest tu poprawne i resolved sam je wpisuje.\nO spiskowych teoriach na temat systemd Zanim przejdę do szczegółów, bo to temat, przy którym zawsze się pojawiają.\nJeśli twój zarzut wobec tego, co dalej, to teoria o Lennarcie Poetteringu osobiście, o motywach Red Hata albo o tym, że systemd to spisek, żeby ci coś odebrać, to możesz się pakować, bo nie interesuje mnie słuchanie twoich bajek.\nWszystko w tym wpisie pochodzi z działającej maszyny: kod źródłowy, flagi kompilacji, dostarczona binarka, strony man i zmierzone zachowanie. Przy każdym twierdzeniu stoi polecenie, które możesz sam uruchomić i sprawdzić. Flagi kompilacji są publiczne. Kod źródłowy jest publiczny. Jedno ustawienie domyślne, które uważam za naprawdę złe, wybrali ludzie, którzy zapisali swoje uzasadnienie tam, gdzie każdy może je przeczytać i się z nim spierać, i dokładnie to robię dalej.\nTo o wiele więcej przejrzystości, niż dostajesz od większości oprogramowania, które uruchamiasz bez słowa skargi.\nPrzynieś dowody albo daj spokój.\nCache to część, która po prostu działa To jedyna funkcja włączona domyślnie wszędzie i to ona zarabia na siebie bez żadnej konfiguracji.\nPomiar, na tej maszynie, na 32 domenach. Wyczyść cache, odpytaj wszystkie, odpytaj je ponownie i odczytaj czas zapytania, który podaje dig, zamiast mierzyć czas procesu:\n$ resolvectl flush-caches $ for n in $NAMES; do dig +tries=1 @127.0.0.53 \u0026#34;$n\u0026#34; A | grep \u0026#39;Query time\u0026#39;; done mediana średnia p90 maks. łącznie dla 32 nazw zimny cache 103,5 ms 106,7 ms 184 ms 238 ms 3414 ms ciepły cache 0,0 ms 0,5 ms 1 ms 3 ms 16 ms 3414 milisekund wobec 16. To cały argument za lokalnym cache i powód, dla którego jest on domyślny.\nWarto jednak uczciwie powiedzieć, czym ta liczba jest. To oszczędność na serii trzydziestu dwóch nazw, o które nikt wcześniej nie pytał, wobec tej samej serii powtórzonej, a żadne prawdziwe obciążenie nie wygląda jak żadna z nich. Przydatną liczbą jest ogon, a nie mediana: najgorsze zapytanie w tym zestawie kosztowało 238 ms na zimno i 3 ms na ciepło. Strona, która wciąga osiem nazw hostów, nie przejmuje się twoją medianą, tylko czeka na najwolniejsze zapytanie.\nPokrętła [Resolve] Cache=yes # yes | no-negative | no CacheFromLocalhost=no # default: do not cache answers from 127.0.0.1 StaleRetentionSec=0 # serve expired records when upstream is down Ustawienie Domyślnie Co robi Cache=yes włączone Buforuje odpowiedzi pozytywne i negatywne Cache=no-negative Tylko odpowiedzi pozytywne, gdy masz dość czekania, aż wygaśnie negatywny TTL CacheFromLocalhost=no włączone W ogóle nie buforuje, gdy upstream jest na 127.0.0.1 StaleRetentionSec=0 wyłączone Serwuje przeterminowane rekordy, gdy upstream przestaje odpowiadać DNSCacheSize=4096 4096 Rekordy trzymane na zakres. Tylko systemd 261 i nowsze Ten trzeci wiersz gryzie. Jeśli twoim upstreamem jest dnsmasq albo unbound na pętli zwrotnej, resolved w ogóle nie zbuforuje jego odpowiedzi, bo to, z czym rozmawia, już jest cache\u0026rsquo;em. Skieruj resolved na resolver filtrujący na innym hoście, a dostaniesz dwie warstwy buforowania. Skieruj go na taki na pętli zwrotnej, a dostaniesz jedną.\nStaleRetentionSec= jest tym ciekawym i domyślnie jest wyłączony. Ustaw go, a kiedy upstream przestanie odpowiadać, resolved będzie dalej serwował rekordy po upływie ich TTL, zamiast zwracać błąd.2 Zawsze najpierw próbuje upstreamu. Nie dotyczy to NXDOMAIN, bo to, że nazwa nie istnieje, jest całkowicie poprawną odpowiedzią i nie ma w niej nic przeterminowanego. Dla laptopa, który wchodzi w zasięg i z niego wypada, albo maszyny, która musi działać mimo awarii DNS, warto to mieć:\n[Resolve] StaleRetentionSec=1d systemd 261 dodał do tego rozmiar cache dla każdego protokołu osobno, z DNSCacheSize=, MulticastDNSCacheSize= i LLMNRCacheSize=, każde domyślnie 4096 rekordów i z limitem 2^24.3 Nie na tej maszynie, która ma 259, i nie w żadnym obecnym stabilnym wydaniu dystrybucji. Warto wiedzieć, że to nadchodzi, bo dotąd rozmiaru cache w ogóle nie dało się regulować.\nDemon czyści też wszystko pod presją pamięci, co jest rozsądne, a czasem zaskakujące, kiedy próbujesz ustalić, czemu współczynnik trafień w cache wygląda słabo.\nSplit DNS to powód, żeby go zostawić Jeśli masz z tego wynieść jedną rzecz, wynieś tę sekcję, bo to funkcja, która naprawdę robi coś, czego stary resolver stub nie potrafił.\nTradycyjny resolv.conf ma jedną listę serwerów nazw dla całej maszyny. Jedną listę. Podnieś VPN i coś musi ją nadpisać, co oznacza, że albo działają twoje nazwy wewnętrzne, a reszta DNS idzie przez firmowy resolver, albo odwrotnie. Trzeciej opcji nie ma. Plik nie potrafi jej wyrazić.\nresolved trasuje każde zapytanie osobno, dla każdego interfejsu osobno.1 Każde łącze ma własne serwery i własne domeny, a zapytanie trafia na łącze, którego domena najlepiej pasuje do nazwy, według liczby etykiet.\nKonfiguracja Zapisywana jako Efekt Domena wyszukiwania damiendye.uk Sufiks dla nazw jednoetykietowych oraz kierowanie pasujących zapytań na to łącze Domena tylko do trasowania ~internal.example Kieruje pasujące zapytania na to łącze, nigdy nie jest używana jako sufiks Trasa łap-wszystko ~. Wysyła na to łącze wszystko, co nie pasuje nigdzie indziej Trasa domyślna DNSDefaultRoute=yes Przejmuje niedopasowane zapytania, nie zgłaszając ~. Więc laptop z podniesionym firmowym VPN-em dostaje to:\nresolvectl domain tun0 \u0026#39;~corp.example\u0026#39; \u0026#39;~10.in-addr.arpa\u0026#39; resolvectl dns tun0 10.0.0.53 Nazwy pod corp.example i zapytania odwrotne dla 10.0.0.0/8 idą tunelem. Wszystko inne dalej wychodzi przez łącze lokalne, jak wcześniej. Niczyj resolv.conf nie został nadpisany, a kiedy tunel padnie, trasy znikną razem z nim.\nJedno zapytanie, dwa łącza i decyzja o trasie według liczby etykiet ZAPYTANIE DECYZJA ŁĄCZE db01.corp.example 14.0.10.in-addr.arpa blogs.damiendye.uk Wygrywa więcej etykiet Każde łącze ma własne serwery i domeny. tun0 ~corp.example wlp4s0 DefaultRoute Tylda tylko trasuje. Bez tyldy także dopisuje sufiks do nazw jednoetykietowych. Jedno zapytanie, dwa łącza i decyzja o trasie podjęta na podstawie liczby etykiet Jedną zasadę warto powiedzieć wprost, bo po nią ludzie sięgają i robią to źle. ~. na łączu oznacza preferuj to łącze dla wszystkiego. Niejawnie powoduje też, że żadne inne łącze nie może być trasą domyślną. Chcesz, żeby łącze przejmowało resztki, nie zgłaszając całej przestrzeni nazw? Ustaw DNSDefaultRoute=yes i zostaw ~. w spokoju.\nSprawdzaj, co zdecydował, zamiast zakładać:\n$ resolvectl status Link 3 (wlp4s0) Current Scopes: DNS LLMNR/IPv4 LLMNR/IPv6 Protocols: +DefaultRoute LLMNR=resolve -mDNS -DNSOverTLS DNSSEC=no/unsupported Current DNS Server: 192.0.2.53 DNS Servers: 192.0.2.53 2001:db8:1::53 DNS Domain: damiendye.uk Default Route: yes Każdy adres w tym wpisie pochodzi z zakresów dokumentacyjnych, 192.0.2.0/24 i 2001:db8::/32, więc nie wklejaj ich do konfiguracji w oczekiwaniu na odpowiedź.4 5 Liczby i zachowanie są prawdziwe, z działającej maszyny. Adresy są zastępcze, bo globalny adres IPv6 zbudowany w zwykły sposób niesie w dolnej połowie MAC interfejsu, a opublikowanie go oddaje kawałek inwentarza sprzętu w pakiecie.\nTo -DNSOverTLS i to DNSSEC=no to dwie następne sekcje.\nPotrafi walidować DNSSEC Upstream opisuje demona jako „a caching and validating DNS/DNSSEC stub resolver”.1 Połowa walidująca jest prawdziwa, nie jest nakładką na coś innego i działa. Po prostu nie jest włączona.\nWłączenie jej dla łącza nie wymaga sudo, bo resolvectl przechodzi przez polkit, a aktywna sesja lokalna ma na to pozwolenie:\n$ resolvectl dnssec wlp4s0 yes $ resolvectl status wlp4s0 | grep DNSSEC DNSSEC=yes/supported Ten przyrostek /supported to resolved raportujący, co znalazł, sondując upstream, niezależnie od tego, o co poprosiłeś. yes/supported oznacza, że poprosiłeś o walidację i serwer potrafi ją przenieść. no/unsupported na domyślnej instalacji oznacza, że nikt nie poprosił, więc nikt nie sondował.\nPo włączeniu każde zapytanie wraca z werdyktem, a werdykty są trzy.\nSecure, insecure i bogus to trzy różne odpowiedzi CZY RODZIC PUBLIKUJE DS I CZY PODPISY SIĘ ZGADZAJĄ? SECURE damiendye.uk Podpisana, a łańcuch się zgadza. Dane zwrócone. INSECURE systemd.io Brak DS. Niepodpisana, nie ma czego sprawdzać. Dane zwrócone. BOGUS dnssec-failed.org Twierdzi, że podpisana. Dowód zawodzi. Zapytanie odrzucone. Dwa z trzech zwracają dane. Włączenie walidacji nie psuje niepodpisanych stron. Secure, insecure i bogus to trzy różne odpowiedzi i tylko jedna z nich jest porażką Oto wszystkie trzy na tej maszynie, dla prawdziwych nazw:\n$ resolvectl query damiendye.uk -- Data is authenticated: yes; Data was acquired via local or encrypted transport: no $ resolvectl query systemd.io -- Data is authenticated: no; Data was acquired via local or encrypted transport: no $ resolvectl query dnssec-failed.org dnssec-failed.org: resolve call failed: DNSSEC validation failed: missing-key (DNSKEY Missing: no SEP matching the DS found for dnssec-failed.org.) damiendye.uk jest podpisana, więc łańcuch od korzenia się waliduje, a dane są uwierzytelnione. systemd.io nie jest podpisana, więc nie ma czego sprawdzać i resolved uczciwie to mówi, zamiast udawać. To własna domena projektu systemd, do czego jeszcze wrócę. dnssec-failed.org jest publikowana z celowo zepsutymi podpisami. Ta pada twardo, z diagnozą, która dokładnie nazywa problem.\nOto rozróżnienie, które się gubi. Insecure to nie porażka. Niepodpisana strefa zwraca dane i mówi ci, że nie dało się ich zweryfikować. Odrzucona zostaje tylko strefa, która twierdzi, że jest podpisana, a potem nie potrafi tego udowodnić.\nSam łańcuch jest widoczny, jeśli chcesz go zobaczyć:\n$ dig +short @127.0.0.53 uk DS 43876 8 2 A107ED2AC1BD14D924173BC7E827A1... $ dig +short @127.0.0.53 damiendye.uk DS 2371 13 2 A5B2825C57899A5A15EE9703832C8358E0D19EF29DC72DD83C691ED77C33BD7F $ dig +short @127.0.0.53 damiendye.uk DNSKEY 256 3 13 oJMRESz5E4gYzS/q6XDrvU1qMPYIjCWz... 257 3 13 mdsswUyr3DPW132mOi8V9xESWE8jTo0d... Korzeń poręcza za uk, uk poręcza za damiendye.uk, a klucz 257 podpisuje klucz 256, który podpisuje rekordy. Algorytm 13 to ECDSA P-256, i tego chcesz na nowej strefie zamiast RSA, którego nadal używa DS dla uk powyżej.\nPrzez zwykły stub program, który nigdy nie słyszał o resolved, dostaje ten sam werdykt w postaci flagi AD:\n$ dig @127.0.0.53 ietf.org A | grep flags ;; flags: qr rd ra ad; $ dig @127.0.0.53 dnssec-failed.org A | grep status ;; -\u0026gt;\u0026gt;HEADER\u0026lt;\u0026lt;- status: SERVFAIL A demon prowadzi bieżące zestawienie, co jest najszybszym sposobem, żeby zobaczyć, czy walidacja w ogóle coś robi:\n$ resolvectl statistics DNSSEC Verdicts Secure: 134 Insecure: 62 Bogus: 0 Indeterminate: 2 Ile kosztuje walidacja Tu cię rozczaruję, bo próbowałem zmierzyć to porządnie i nie dałem rady.\nNa ciepło jest czysto i to nic. Te same 32 nazwy przy pełnym cache kosztowały 16 ms bez walidacji i 23 ms z nią. Nazwij to błędem zaokrąglenia.\nNa zimno koszt powinien być widać, a pojedynczy klient nie potrafi go wyizolować. Przepuściłem serię w obie strony i dostałem sprzeczne odpowiedzi: przy jednej kolejności walidacja wyglądała na 74% wolniejszą, przy drugiej na szybszą, co jest niemożliwe i mówi ci, co naprawdę jest mierzone. Seria, która idzie druga, korzysta z tego, że resolver upstream już pobrał wszystko, o co pytała pierwsza. Dominującą zmienną nie jest walidacja, tylko to, czyj cache był ciepły.\nWięc nie podam ci liczby, za którą nie umiem stanąć. Prawdziwy jest mechanizm, a dokumentacja opisuje jego kształt wprost: walidacja „requires retrieval of additional DNS data, and thus results in a small DNS lookup time penalty”.2 Zimne zapytanie z walidacją idzie łańcuchem delegacji, pobierając DS i DNSKEY na każdym poziomie, zanim będzie mogło odpowiedzieć, więc kosztuje dodatkowe rundy na nazwach, o które jeszcze nikt nie pytał, i nic na nazwach, o które ktoś już pytał.\nDlatego ta sama strona ostrzega, że wyłączenie cache „comes at a performance penalty, which is particularly high when DNSSEC is used”.2 Te dwie funkcje nie są niezależne. Walidacja jest przystępna właśnie dlatego, że dzięki cache płacisz za nią raz.\nJeśli chcesz prawdziwej liczby dla własnej sieci, zmierz ją tam. Jeden klient na jednym połączeniu ci jej nie poda.\nWięc czemu walidacja jest wyłączona Bo twoja dystrybucja wyłączyła ją, kiedy budowała pakiet, i zrobiła to z powodu, który zapisała.\nUpstream systemd dostarcza walidację włączoną. Tak mówi opcja kompilacji:\noption(\u0026#39;default-dnssec\u0026#39;, type : \u0026#39;combo\u0026#39;, choices : [\u0026#39;yes\u0026#39;, \u0026#39;allow-downgrade\u0026#39;, \u0026#39;no\u0026#39;], value : \u0026#39;allow-downgrade\u0026#39;) i podręcznik upstream się z tym zgadza: DNSSEC= „Defaults to allow-downgrade”.6\nTeraz spójrz, co Fedora przekazuje do tej kompilacji:7\n-Ddefault-dnssec=no -Ddefault-dns-over-tls=no -Ddefault-mdns=no -Ddefault-llmnr=resolve A co przekazują Debian i Ubuntu:8\n-Ddefault-dnssec=no -Ddefault-llmnr=no -Ddefault-mdns=no -Ddns-over-tls=openssl Więc plik /usr/lib/systemd/resolved.conf na Fedorze, ten z nagłówkiem „Entries in this file show the compile time defaults”, zawiera #DNSSEC=no. Przeczytaj to jeszcze raz, bo robi coś podstępnego: linia wygląda, jakby oprogramowanie mówiło ci, jakie jest jego własne ustawienie domyślne, a tak naprawdę wypisuje ci flagę kompilacji Fedory, a prawdziwego domyślnego ustawienia upstreamu nie ma na tej stronie nigdzie.\nUstawienie Domyślne upstream Kompilacja Fedory Kompilacja Debiana/Ubuntu Wynik na tej maszynie DNSSEC= allow-downgrade no no DNSSEC=no DNSOverTLS= no no no (skompilowane z OpenSSL) -DNSOverTLS MulticastDNS= yes no no -mDNS LLMNR= yes resolve no LLMNR=resolve Każde z nich zgadza się z tym, co resolvectl status wypisuje na tej maszynie. Kod źródłowy, flaga kompilacji, działający system: wszystkie trzy się zgadzają.\nUzasadnienie Fedory jest w propozycji zmiany i jest odświeżająco bezpośrednie. Funkcja „is known to cause compatibility problems with certain network access points”, a Fedora „is not prepared to handle an influx of DNSSEC-related bug reports”, więc zostaje wyłączona.9\nCzy mogę zapytać, czemu odpowiedzią na funkcję, która psuje się w złych sieciach, jest wyłączenie jej wszystkim, zamiast dostarczać allow-downgrade jak upstream i pozwolić jej wyłączyć się samej tam, gdzie musi? Nie kto zdecydował. Co w procesie do tego doprowadziło. Bo allow-downgrade istnieje właśnie na przypadek captive portalu, jest domyślne w upstreamie dokładnie z tego powodu, a dostarczanie no zamiast niego oznacza, że maszyna w całkowicie porządnej sieci też nie dostaje walidacji.\nŻeby być wobec nich uczciwym: allow-downgrade ma własny problem i to prawdziwy. Ten tryb wykrywa resolver, który nie umie DNSSEC, i po cichu przestaje walidować. Napastnik, który może kształtować twoje odpowiedzi DNS, może celowo wywołać to wykrycie, a dokumentacja mówi to wprost: to „makes DNSSEC validation vulnerable to \u0026lsquo;downgrade\u0026rsquo; attacks”.2 Funkcja bezpieczeństwa, którą każdy napastnik może wyłączyć, robi mniej, niż na to wygląda.\nWięc żadne z ustawień domyślnych nie jest dobre. no nie daje ci nic. allow-downgrade daje ci coś, co napastnik może zabrać, a yes daje ci prawdziwą rzecz plus wszystko z następnej sekcji.\nIle sieci jest w ogóle podpisane Zanim włożysz dużo wysiłku w walidację, warto wiedzieć, jaki ułamek twoich zapytań może ona w ogóle chronić. Więc zapytałem resolved o werdykt dla wierzchołków trzydziestu dwóch domen, których ten temat naprawdę dotyczy: organizacji, które napisały standard, firm, które dostarczają resolver, i infrastruktury, którą każdy rozwiązuje, czy chce, czy nie.\nSzesnaście z trzydziestu dwóch. Połowa.\nPodpisane Niepodpisane Standardy i rejestry ietf.org, iana.org, icann.org, rfc-editor.org, ripe.net, isc.org, nlnetlabs.nl, nic.cz, afnic.fr, verisign.com brak Dystrybucje i dostawcy debian.org, fedoraproject.org, opensuse.org, almalinux.org redhat.com, ubuntu.com, canonical.com, suse.com, rockylinux.org, archlinux.org Sam systemd brak systemd.io, freedesktop.org Infrastruktura cloudflare.com, gov.uk github.com, kernel.org, google.com, wikipedia.org, mozilla.org, apache.org, gnu.org, quad9.net Przeczytaj pierwszą kolumnę z góry na dół. Każda organizacja standaryzacyjna i każdy rejestr podpisał. Dziesięć na dziesięć, bez wyjątków: ludzie, którzy napisali DNSSEC, i ludzie, którzy prowadzą rejestry publikujące rekordy DS dla wszystkich innych. Zrobili robotę na własnych strefach.\nTeraz przeczytaj trzeci wiersz. systemd.io nie ma DS. Projekt, który napisał walidujący resolver, o którym jest cały ten wpis, nie podpisał własnej domeny, podobnie jak freedesktop.org, gdzie leży jego dokumentacja. Niżej quad9.net też jest niepodpisana, i warto się przy tym na chwilę zatrzymać: publiczny resolver, którego cała oferta polega na tym, że waliduje za ciebie DNSSEC, na strefie, której nikt nie może zwalidować.\nA dostawcy dzielą się czysto wzdłuż jednej linii. Dystrybucje społecznościowe podpisały. debian.org, fedoraproject.org, opensuse.org, almalinux.org. Firmy nie. redhat.com, ubuntu.com, canonical.com, suse.com. To te cztery organizacje pakują i dostarczają ten resolver do większości linuksowego świata.\nNie ma tu żadnej luki w technologii. Protokół nadaje się do wdrożenia od ponad piętnastu lat, narzędzia są darmowe, a rejestry przyjmują rekord DS bez opłat. Powiem ci to za darmo: ludzie, którzy napisali standard, podpisali, a większość ludzi, którzy dostarczają oprogramowanie, nie.\nOstrzejsza wersja tej samej tezy to gov.uk, która jest podpisana, a potem robi coś takiego:\n$ dig +short @127.0.0.53 www.gov.uk CNAME www-cdn.production.govuk.service.gov.uk. $ dig +short @127.0.0.53 service.gov.uk DS (nothing) uk ma DS. gov.uk ma DS. service.gov.uk nie ma żadnego, więc łańcuch tam się urywa, a www.gov.uk rozwiązuje się jako insecure, choć wierzchołek nad nią jest porządnie podpisany. Ktoś zrobił robotę na gov.uk, a potem skierował właściwą stronę na niepodpisaną delegację. Pół roboty.\nDlatego, jeśli podpisujesz strefę, sprawdź nazwy, które ludzie naprawdę wpisują. Podpisany wierzchołek, który przez CNAME prowadzi do niepodpisanej strefy CDN, nic ci nie daje.\nDNS over TLS działa, pod warunkami DNS over TLS jest zaimplementowany, wkompilowany w każdą popularną kompilację i działa. Domyślnie jest wszędzie wyłączony, także w upstreamie, gdzie DNSOverTLS= „Defaults to no”.6\nKonfiguracja to dwie linijki, a druga to ta, którą ludzie przeoczają:\n[Resolve] DNS=9.9.9.9#dns.quad9.net 149.112.112.112#dns.quad9.net DNSOverTLS=yes To #dns.quad9.net nie jest ozdobą. Ustawia nazwę używaną do SNI i do weryfikacji certyfikatu. Pomiń ją, a certyfikat zostanie „checked against the server\u0026rsquo;s IP”.2 To działa u dużych dostawców, bo wpisują adresy IP do SAN-ów swoich certyfikatów, ale to słabsze sprawdzenie, psuje się w chwili, gdy dostawca przestanie to robić, i nie chroni cię przed przekierowaniem na inny adres, który akurat ma ważny certyfikat dla samego siebie. Własny artykuł Fedora Magazine na ten temat pomija nazwę hosta,10 a szkoda, bo składnia jest tuż obok, w komentarzach dostarczanego pliku konfiguracyjnego.\nTryb ścisły i oportunistyczny to bardzo różne ustawienia Tryb Na serwerze, który obsługuje DoT Na serwerze, który nie obsługuje Uwierzytelnia serwer yes Szyfrowane Wszystkie zapytania zawodzą Tak opportunistic Szyfrowane Po cichu otwartym tekstem Nie no Otwartym tekstem Otwartym tekstem nie dotyczy opportunistic brzmi jak rozsądny środek i w większości nim nie jest. Dokumentacja mówi to otwarcie: w tym trybie „the resolver is not capable of authenticating the server, so it is vulnerable to \u0026lsquo;man-in-the-middle\u0026rsquo; attacks”,2 a każdy, kto może zrzucić twój ruch na porcie 853, może wymusić degradację. Chroni cię przed biernym podsłuchem w sieci, w której nikt nie próbuje. Przeciw komuś, kto próbuje, nie robi nic.\nyes to uczciwe ustawienie. Oznacza też, że gdy nie może się połączyć, nie masz DNS w ogóle, i warto to wiedzieć, zanim włączysz go na maszynie, do której nie możesz podejść.\nSpróbowałem ścisłego DoT do Quad9 z tej maszyny i zapytanie zawisło. Żadnego błędu, żadnego limitu czasu, nic w dzienniku między wyczyszczeniem cache a moim wycofaniem zmiany dwie minuty później:\nSep 27 17:12:11 systemd-resolved[40105]: wlp4s0: Bus client set DNS server list to: 9.9.9.9#dns.quad9.net, ... Sep 27 17:12:14 systemd-resolved[40105]: wlp4s0: Bus client set DNSOverTLS setting: yes Sep 27 17:12:15 systemd-resolved[40105]: Flushed all caches. Sep 27 17:14:39 systemd-resolved[40105]: wlp4s0: Bus client set DNS server list to: 192.0.2.53, ... Nie umiem ci stąd powiedzieć, czy port 853 jest osiągalny na tym połączeniu, bo powłoka, z której robiłem test, nie mogła dosięgnąć też portu 443 i sama była wyraźnie filtrowana. Dziennik pokazuje natomiast tryb awarii: ścisły DoT, który nie może się połączyć, nie zgłasza niczego przydatnego. Czeka. Jeśli to włączysz i twój DNS ucichnie, sprawdź ss -tn dport = :853, zanim zaczniesz szukać w resolved.\nJak to porządnie przetestować # does the transport actually come up resolvectl flush-caches resolvectl query ietf.org # expect: acquired via ... encrypted transport: yes # is anything still going out in the clear sudo tcpdump -ni any \u0026#39;port 53 and not host 127.0.0.53\u0026#39; Drugie polecenie to to, które mówi prawdę. Przy działającym DoT nic nie powinno opuszczać maszyny na porcie 53, a cokolwiek to robi, to program, który znalazł drogę obok stuba.\nDNS over HTTPS tu nie istnieje Prosta odpowiedź na pytanie: systemd-resolved nie obsługuje DNS over HTTPS. Ani częściowo, ani za flagą, ani z opcją kompilacji, której nikt nie włącza. W ogóle nie ma tam DoH.\nI nie jest to odczytane z dokumentacji, która mogłaby po prostu być nieaktualna. To jest to, co zawiera binarka:\n$ strings /usr/lib/systemd/systemd-resolved | grep -icE \u0026#39;application/dns-message|dns-query|:443\u0026#39; 0 $ grep -oE \u0026#39;name=\u0026#34;DNSOver[A-Za-z]*\u0026#34;\u0026#39; /usr/share/dbus-1/interfaces/org.freedesktop.resolve1.Manager.xml name=\u0026#34;DNSOverTLS\u0026#34; Żadnego formatu przewodowego DoH, żadnego HTTP/2, jedna właściwość szyfrowania w interfejsie D-Bus i jest nią TLS. Pełna lista dyrektyw resolved.conf w upstreamie liczy siedemnaście ustawień i żadne nie wspomina o HTTPS.6\nProszono o to. Zgłoszenie #8639, „Add support for DNS-over-HTTPS to systemd-resolved”, otwarto 2 kwietnia 2018 i wciąż jest otwarte, z dwoma dołączonymi pull requestami i niczym scalonym.11 Osiem lat i dalej się liczy.\nTen sam ładunek, to samo szyfrowanie, inny port OBA NIOSĄ TO SAMO ZAPYTANIE DNS W TYM SAMYM TLS DNS over TLS DNS over HTTPS tcp/853 tcp/443 W systemd-resolved tak, od v239 nie, wcale Obserwator widzi nazwy nie nie Sieć może go zablokować tak, własny port nie bez bólu Możesz audytować własny tak nie Zgłoszenie systemd 8639, kwiecień 2018. Wciąż otwarte. Ten sam ładunek, to samo szyfrowanie. Różnica to port, na którym jest, i kto potrafi to rozpoznać Czy to zła decyzja? Niekoniecznie, a argument za DoT jest przyzwoity. Oba niosą DNS wewnątrz TLS i oba zatrzymują tego samego biernego obserwatora. Przewaga DoH polega na tym, że chowa się na porcie 443 razem z całą resztą, więc sieć, która chce blokować szyfrowany DNS, musi się dużo bardziej napracować. To naprawdę przydatne, jeśli przeciwnikiem jest operator sieci.\nDziała to też w drugą stronę. Tam, gdzie operatorem jesteś ty, ta nieodróżnialność oznacza, że nie możesz też audytować własnego DNS, a każda aplikacja dostarczająca własnego klienta DoH przestaje używać systemowego resolvera, i tak właśnie dostajesz przeglądarkę, która ignoruje twój split DNS, twój cache i twoje strefy wewnętrzne. Na twoim własnym sprzęcie resolver widoczny na znanym porcie to zaleta.\nWięc: jeśli DoT dociera do twojego resolvera, używaj go i nic nie tracisz. Jeśli port 853 jest zablokowany, resolved nie ma odpowiedzi i potrzebujesz przed nim proxy DoH, dnscrypt-proxy albo cloudflared na pętli zwrotnej, z resolved skierowanym na niego. Buforowanie i walidacja zostają zadaniem resolved. Przenosi się tylko transport.\nCo naprawdę dostarcza twoja dystrybucja Ten sam demon zachowuje się bardzo różnie w zależności od tego, kto go spakował. Włączenie usługi to łatwiejsza połowa. Połowa, którą się pomija, to podłączenie go do narzędzi sieciowych, których dystrybucja faktycznie używa, a w jednej z tych czterech naprawdę nie jest podłączony, dopóki nie zrobisz tego sam.\nZainstalowany Włączony nss-resolve podpięty Konfiguracja przychodzi przez Wspierany Fedora (33+) tak tak tak, w systemd-libs NetworkManager tak Ubuntu tak tak tak netplan, potem NM albo networkd tak Debian (12+) osobny pakiet nie nie, osobny pakiet sam wybierasz i podpinasz tak RHEL / Rocky / Alma (9, 10) tak nie tak NetworkManager, gdy mu powiesz Technology Preview Walidacja i pełny cache: same ustawienia To te same cztery linijki wszędzie, bo resolved.conf to resolved.conf w każdej dystrybucji. Różni się tylko to, jak reszta konfiguracji dociera do demona, czyli następne cztery sekcje.\n# /etc/systemd/resolved.conf.d/60-local.conf [Resolve] DNSSEC=allow-downgrade Cache=yes CacheFromLocalhost=no StaleRetentionSec=1d Użyj drop-inu zamiast edytować /etc/systemd/resolved.conf, bo główny plik ma niższy priorytet niż dowolny drop-in, a aktualizacja pakietu może się z tobą o niego kłócić. Numeracja to udokumentowana konwencja: dostawcy biorą od 10 do 40 pod /usr/, ty bierzesz od 60 do 90 pod /etc/, więc twój wygrywa.6\nNa systemd 261 i nowszym warto dodać piątą linijkę, bo do tej pory rozmiaru cache w ogóle nie dało się regulować:\nDNSCacheSize=16384 # systemd 261+; default 4096, max 2^24 Zastosuj to i potwierdź, że demon zgadza się z plikiem, zamiast zakładać, że go przeczytał:\nsystemd-analyze cat-config systemd/resolved.conf # every fragment, in precedence order systemctl restart systemd-resolved resolvectl status | grep -E \u0026#39;DNSSEC|Protocols\u0026#39; resolvectl statistics # verdicts should start moving DNSSEC=allow-downgrade to ustawienie, które dałbym na maszynę, której nie zamierzam niańczyć, z powodów z sekcji wyżej. DNSSEC=yes to uczciwe ustawienie i zawodzi w sposób zamknięty. Wybierz świadomie.\nPodłączanie do stosu sieciowego Włączenie usługi to jedno polecenie. Sprawienie, żeby własne narzędzia sieciowe twojej dystrybucji przekazały jej konfigurację DNS, to część, która się różni, i właśnie tam „włączony” i „działa porządnie” się rozjeżdżają.\nSkąd pochodzi konfiguracja DNS Żeby włączyć DNSSEC Żeby ustawić rozmiar cache Potrzebne dodatkowe podpięcie Fedora NetworkManager, automatycznie drop-in drop-in brak Ubuntu netplan, potem NM albo networkd drop-in albo dla łącza w .network drop-in brak Debian ten stos, który wybrałeś drop-in albo dla łącza w .network drop-in libnss-resolve plus stos poniżej Rodzina RHEL NetworkManager, gdy mu powiesz drop-in drop-in dns=systemd-resolved Fedora Najpełniejsza integracja z czterech i jedyna, w której wszystko jest już podłączone.\nNetworkManager zarządza siecią i przekazuje DNS do resolved bez proszenia. Na tej maszynie nie ma nigdzie w /etc/NetworkManager/ linii dns=, a i tak działa, bo NetworkManager wykrywa działającego demona i go używa. /etc/resolv.conf to dowiązanie do stuba, a glibc jest podpięte, bo libnss_resolve.so.2 jest w systemd-libs, który nie jest opcjonalny:\n$ rpm -qf /usr/lib64/libnss_resolve.so.2 systemd-libs-259.9-1.fc44.x86_64 $ grep ^hosts: /etc/nsswitch.conf hosts: files myhostname mdns4_minimal [NOTFOUND=return] resolve [!UNAVAIL=return] dns Więc na Fedorze drop-in powyżej to cała robota. Nie ma nic więcej do podłączania.\nUbuntu Włączony domyślnie, a nss-resolve jest podpięty w ten sam sposób. Różnica polega na tym, że konfiguracja zwykle przychodzi przez netplan:\nnetwork: version: 2 ethernets: enp1s0: dhcp4: true nameservers: addresses: [9.9.9.9, 149.112.112.112] search: [example.com] Netplan przekazuje to swojemu rendererowi, NetworkManagerowi na desktopie albo systemd-networkd na serwerze, a renderer przekazuje to do resolved. Zwróć uwagę, czego netplan nie potrafi wyrazić. Nie ma klucza netplanu dla DNSSEC= ani dla DNSOverTLS=. Te idą do drop-inu powyżej, gdzie i tak jest ich miejsce.\nJeśli używasz systemd-networkd, ustawienia dla łącza są też dostępne natywnie w pliku .network, a ustawienie dla łącza wygrywa z globalnym:\n# /etc/systemd/network/10-lan.network [Network] DNS=9.9.9.9#dns.quad9.net DNSSEC=yes DNSOverTLS=yes Domains=~. Debiana trzeba podłączyć ręcznie To jest ta, która naprawdę nie jest podłączona, i powód, dla którego istnieje sekcja wyżej.\nOd Debiana 12 systemd-resolved to osobny pakiet, a informacje o wydaniu mówią wprost o aktualizacji: „The new systemd-resolved package will not be installed automatically on upgrades” oraz „until it has been installed, DNS resolution might no longer work since the service will not be present on the system.”12 Te same informacje rozstrzygają szersze pytanie: „systemd-resolved was not, and still is not, the default DNS resolver in Debian.”\nInstalacja to dwa pakiety, nie jeden, a drugi to ten, który wszyscy przeoczają:\napt install systemd-resolved libnss-resolve systemctl enable --now systemd-resolved libnss-resolve jest tylko w Suggests:, a nie w zależnościach,13 a Suggests to jedyna relacja, na którą apt nie reaguje. Więc nikt go nie instaluje.\nPowód, dla którego nikt tego nie zauważa, jest ciekawszy niż powód, dla którego nikt go nie instaluje. Pomiń go, a glibc i tak dociera do resolved, bo /etc/resolv.conf wskazuje na stub, a zwykły nss-dns z nim rozmawia. Większość demona dalej działa:\nBez libnss-resolve Z nim Cache Tak, przez stub Tak Walidacja DNSSEC Tak, odbywa się w demonie Tak DNS over TLS Tak Tak Bit AD dociera do glibc Tak, resolv.conf zawiera trust-ad Tak Secure kontra insecure kontra bogus Nie, tylko jeden bit Tak Adresy z zakresem łącza Nie Tak /etc/hosts czytany przez demona Nie Tak Nic w lewej kolumnie nie wygląda na zepsute, więc nic nie zostaje naprawione. Tracisz to, czego format przewodowy DNS nie potrafi przenieść, a najczytelniejszy przypadek to adres z przypisanym zakresem:\n$ getent hosts _gateway # via nss-resolve fe80::5054:ff:fe12:3456 _gateway $ dig +short @127.0.0.53 _gateway # via the stub, as nss-dns would 192.0.2.1 Ta sama nazwa, ten sam demon, dwie różne odpowiedzi. Adres IPv6 link-local nic nie znaczy bez interfejsu, do którego jest przypisany, a w odpowiedzi DNS nie ma gdzie tego zapisać, więc stub może oddać tylko IPv4. Natywne API ma na to miejsce i daje ci adres, którego naprawdę chciałeś.\nWiersz z werdyktem to ten sam problem. AD to jeden bit, podpisane albo nie. Natywne API oddziela secure od insecure i od bogus, i to jest różnica między „nikt tego nie podpisał” a „ktoś to podpisał, a ktoś inny przy tym grzebał”. Aplikacja, której na tym zależy, nie odróżni tych przypadków przez sieć.\nTo jest przepaść między usługą, która działa, a usługą, która jest podłączona, i pozostaje niewidoczna, dopóki nie zaczniesz jej szukać.\nSprawdź, czy zadziałało:\ngrep ^hosts: /etc/nsswitch.conf # wants \u0026#39;resolve [!UNAVAIL=return] dns\u0026#39; Cztery wejścia na Debianie i to jedno, którego nikt za ciebie nie zainstaluje SKĄD PRZYCHODZI KONFIGURACJA JAK WCHODZI DEMON ifupdown, statycznie ifupdown, DHCP systemd-networkd NetworkManager shim resolvconf = resolvectl resolved 127.0.0.53 I TO, CZEGO NIKT NIE INSTALUJE glibc getaddrinfo() libnss-resolve Tylko Suggests:. Bez niego glibc dalej działa, a werdykt nigdy do niego nie dociera. Cztery wejścia na Debianie i to jedno, którego nikt za ciebie nie zainstaluje Jak reszta twojej sieci do niego dociera zależy od tego, na którym ze stosów Debiana jesteś.\nPakiet deklaruje Provides: resolvconf i Conflicts: resolvconf, openresolv,13 więc przejmuje interfejs resolvconf w całości. /usr/sbin/resolvconf staje się dowiązaniem do resolvectl, który jest binarką wielowywołaniową: wywołany pod tą nazwą mówi protokołem resolvconf(8) i przekazuje wszystko, co dostanie, prosto do resolved.14 Wszystko, co już woła resolvconf -a, działa więc dalej bez zmian, z systemd-resolved jako jedynym wspieranym backendem.\nNie cały interfejs przetrwał, a luki zawodzą głośno, a nie po cichu:\nOpcja resolvconf Pod systemd-resolved -a \u0026lt;iface\u0026gt; Rejestruje DNS dla łącza odczytany ze stdin. Ta, która ma znaczenie -d \u0026lt;iface\u0026gt; Wyrejestrowuje, tak samo jak resolvectl revert -x Mapowane na domenę trasowania ~. -p Oznacza łącze jako niebędące trasą domyślną (systemd 257+) -f Sprawia, że -a i -d nie narzekają na nieistniejący interfejs -m Akceptowane i po cichu ignorowane -u, -i, -I, -l, -r, -R, -v, -V Nieobsługiwane. Polecenie zawodzi Jedna pułapka, o której warto wiedzieć, zanim zaczniesz debugować: shim zapisuje /etc/resolv.conf tylko wtedy, gdy ten plik jest dowiązaniem do /run/systemd/resolve/resolv.conf, a nie wtedy, gdy jest plikiem statycznym.14\nifupdown, domyślny przy instalacji serwerowej Debiana. Zwrotkę dns-nameservers w /etc/network/interfaces zawsze realizowały hooki starego pakietu resolvconf, a systemd-resolved jest z tym pakietem w konflikcie i nie dostarcza własnych hooków w /etc/network/if-up.d/. Dla statycznego interfejsu nie polegaj na tej zwrotce. Ustaw serwery na łączu jawnie i pozwól resolved nimi zarządzać:\n# /etc/network/interfaces auto enp1s0 iface enp1s0 inet static address 192.0.2.10/24 gateway 192.0.2.1 up /usr/sbin/resolvconf -a $IFACE \u0026lt;\u0026lt;\u0026lt; \u0026#39;nameserver 192.0.2.53\u0026#39; down /usr/sbin/resolvconf -d $IFACE DHCP na ifupdown jest już obsłużone. isc-dhcp-client dostarcza hooki nazwane od demona, /etc/dhcp/dhclient-enter-hooks.d/resolved-enter i /etc/dhcp/dhclient-exit-hooks.d/resolved,15 więc serwery DNS z dzierżawy lądują na właściwym łączu bez żadnej konfiguracji.\nsystemd-networkd to najczystsza opcja i nie potrzebuje żadnego shimu, bo obie połowy pochodzą z tego samego projektu. DNS, DNSSEC i DoT dla łącza to natywne klucze w pliku .network, dokładnie jak w przykładzie z Ubuntu powyżej.\nNetworkManager na desktopie z Debianem trzeba raz o tym poinformować:\n# /etc/NetworkManager/conf.d/10-resolved.conf [main] dns=systemd-resolved Wybierz jeden i wiedz, który wybrałeś. Tryb awarii nie polega tu na demonie, który odmawia startu, tylko na dwóch stosach, które oba wierzą, że są właścicielami /etc/resolv.conf, co wygląda jak sporadyczne kłopoty z DNS i marnuje popołudnie. resolvectl status mówi, na którym łączu wylądowały serwery. Jeśli na żadnym, to nic nie zasila demona, i to jest błąd.\nRHEL, Rocky i Alma A to jest ta, którą warto przeczytać dwa razy. Pakiet jest, nss-resolve jest dostępny, NetworkManager potrafi nim sterować, a dokumentacja Red Hata mówi tak:\nsystemd-resolved is an unsupported Technology Preview.16\nTo sformułowanie jest w informacjach o wydaniu RHEL 9 od 9.0 i wciąż tam jest w 9.8. Technology Preview oznacza brak produkcyjnego SLA, a Red Hat wprost nie zaleca używania tego w produkcji.\nNie jest też włączony. Na tych systemach resolv.conf należy do NetworkManagera, więc włączenie to ustawienie NetworkManagera, a nie samo włączenie jednostki:\n# /etc/NetworkManager/conf.d/10-resolved.conf [main] dns=systemd-resolved systemctl enable --now systemd-resolved systemctl reload NetworkManager resolvectl status # confirm NM actually handed the servers over Potem drop-in powyżej działa bez zmian, a walidacja i cache zachowują się dokładnie tak jak na Fedorze.\nWięc na RHEL masz decyzję, której w pozostałych nie ma. Chcesz walidującego, buforującego lokalnego resolvera ze split DNS na wspieranej maszynie z RHEL? Wtedy wspieraną odpowiedzią nie jest ten. Jest nią unbound albo dnsmasq przez własne dns=dnsmasq NetworkManagera, za którymi Red Hat naprawdę stanie.\nTa etykieta nie jest komentarzem do kodu. Jest komentarzem do tego, za czym Red Hat postawi SLA, a buforujący, walidujący resolver to rzecz, o którą klienci otwierają zgłoszenia. W porządku. Ale jeśli kupujesz RHEL dla wsparcia, to uruchomienie rozwiązywania nazw na niewspieranym komponencie jest decyzją do podjęcia świadomie i zapisania, a nie czymś, w co się wpada, bo akurat było w repozytorium.\nNic nie jest naprawdę okaleczone, a oto jak to udowodnić Warto przetestować założenie, bo „moja dystrybucja to wyłączyła, będę musiał przekompilować” to odruch, a tutaj jest błędny.\nsystemd ma dwa zupełnie różne rodzaje opcji kompilacji, a mówi się o nich, jakby były jednym:17\nOpcja kompilacji Rodzaj Upstream Fedora Debian i Ubuntu Zmienialna w czasie działania resolve możliwość włączona zbudowana true nie, i oba ją budują nss-resolve możliwość enabled zbudowana, w systemd-libs enabled, jako libnss-resolve nie, i oba ją budują dns-over-tls możliwość auto auto, wychodzi OpenSSL openssl nie, i oba ją wkompilowują openssl możliwość enabled enabled enabled nie, i oba ją włączają default-dnssec tylko domyślna allow-downgrade no no tak, w drop-inie default-dns-over-tls tylko domyślna no no domyślna upstream tak, w drop-inie default-mdns tylko domyślna yes no no tak, w drop-inie default-llmnr tylko domyślna yes resolve no tak, w drop-inie Przeczytaj ostatnią kolumnę. Każde ustawienie, na które ten wpis narzekał, jest w dolnej połowie i każde jest ustawieniem domyślnym, a nie możliwością. Kod jest wkompilowany w obu. Nikt niczego nie usunął.\nDowód jest wcześniej w tym wpisie i nie wymagał kompilatora. Na fabrycznym pakiecie Fedory, z wbudowanym DNSSEC=no, jedno polecenie włączyło walidację i zadziałała w pełni: podpisana strefa została uwierzytelniona, niepodpisana uczciwie zgłoszona, zepsuta odrzucona z precyzyjną diagnozą. Gdyby to było wykompilowane, resolvectl status nigdy nie powiedziałby yes/supported.\nWięc sprawdź własną kompilację, zanim sięgniesz po zestaw narzędzi:\n# is the crypto there at all systemctl --version | tr \u0026#39; \u0026#39; \u0026#39;\\n\u0026#39; | grep -E \u0026#39;^[+-](OPENSSL|GNUTLS|GCRYPT)$\u0026#39; # ask for the feature and read back what the daemon says it can do resolvectl dnssec \u0026lt;link\u0026gt; yes resolvectl status \u0026lt;link\u0026gt; | grep DNSSEC # yes/supported means the code is there Na tej Fedorze to -GCRYPT +GNUTLS +OPENSSL, co w zupełności wystarcza: DNSSEC potrzebuje jednej z nich, a DoT jest budowany na OpenSSL.\nCo dystrybucje naprawdę wycinają Jest jedna rzecz, którą obie wyjmują, i nie ma jej na liście, na którą ktokolwiek narzeka.\nUpstream wkompilowuje w binarkę zapasową listę serwerów DNS: Cloudflare, Google i Quad9.17 Zarówno Fedora, jak i Debian budują z -Ddns-servers= ustawionym na nic, i możesz to potwierdzić na dostarczonej binarce, zamiast wierzyć mi na słowo:\n$ strings /usr/lib/systemd/systemd-resolved | grep -ciE \u0026#39;quad9|one\\.one\\.one|dns\\.google\u0026#39; 0 Nic. Żaden hiperskaler nie jest wypieczony w pliku wykonywalnym.\nTo jedyne miejsce, w którym obie dystrybucje poprawiły upstream, i warto to powiedzieć wprost, skoro tyle tego wpisu było o ustawieniach domyślnych, które uważam za złe. Maszyna, która traci konfigurację DNS, powinna zawieść głośno i czekać na ciebie. Nie powinna po cichu kierować każdej nazwy, o którą pytasz, do resolvera w innej jurysdykcji, którego nigdy nie wybrałeś. Chcesz zapasu? Ustaw FallbackDNS= i wybierz, kto nim jest.\nJeśli naprawdę potrzebujesz przekompilowania Istnieje jeden prawdziwy przypadek: minimalna albo wbudowana kompilacja, w której ktoś przekazał -Ddns-over-tls=false i transportu naprawdę nie ma. Najpierw sprawdź poleceniami powyżej, bo to rzadkie i wygląda identycznie jak zwykłe wyłączone ustawienie.\nJeśli tego potrzebujesz, przebuduj pakiet, nigdy make install:\n# Fedora dnf download --source systemd rpmbuild --rebuild --define \u0026#39;_with_upstream 1\u0026#39; systemd-*.src.rpm # Debian and Ubuntu apt source systemd cd systemd-*/ \u0026amp;\u0026amp; editor debian/rules # change the -Ddefault-* flags dpkg-buildpackage -us -uc -b Nie uruchamiałem żadnego z nich na tej maszynie, więc traktuj je jako zarys roboty, a nie przetestowany przepis. Liczy się zasada. systemd to PID 1, a ręcznie zbudowane make install na kopii twojej dystrybucji wyjmuje go spod menedżera pakietów: koniec z aktualizacjami bezpieczeństwa, a następna aktualizacja będzie się z tobą bić o pliki. Budowanie pakietu zachowuje jedno i drugie. Dla prawie każdego uczciwa odpowiedź jest taka, że czterolinijkowy drop-in robi to samo w dwadzieścia sekund, i dlatego ta sekcja istnieje głównie po to, żeby cię od tego odwieść.\nTrzy konfiguracje, które warto uruchomić Nie menu wszystkich opcji. Trzy stanowiska, z których każdego naprawdę bym bronił.\nLaptop, wrogie sieci Serwer, twoja własna sieć Ścisła Przed czym się bronisz Kawiarnia i portal hotelowy Nic lokalnego; upstream już waliduje Ścieżka resolvera, której nie ufasz DNSSEC= allow-downgrade no yes DNSOverTLS= opportunistic no yes StaleRetentionSec= 1d 1d nieustawione Przetrwa captive portal Tak nie dotyczy Nie Przetrwa filtrowane .arpa Tak Tak Nie Przetrwa zablokowany port 853 Tak nie dotyczy Nie Napastnik może go zdegradować Tak, oba ustawienia nie dotyczy Nie Laptop w sieciach, których nie kontrolujesz. Zaszyfruj transport i przyjmij ryzyko degradacji w zamian za to, że całość dalej działa za captive portalem.\n# /etc/systemd/resolved.conf.d/60-local.conf [Resolve] DNS=9.9.9.9#dns.quad9.net 149.112.112.112#dns.quad9.net DNSOverTLS=opportunistic DNSSEC=allow-downgrade Cache=yes StaleRetentionSec=1d Serwer w sieci, którą sam prowadzisz, z walidującym upstreamem. To już się stało jeden przeskok dalej. Nie rób tego dwa razy i nie uzależniaj się od publicznego resolvera.\n[Resolve] DNSSEC=no DNSOverTLS=no Cache=yes CacheFromLocalhost=no StaleRetentionSec=1d Maszyna, na której chcesz prawdziwej rzeczy. Ściśle na obu frontach, nic, co napastnik mógłby zdegradować, i sprawdziłeś, że upstream to przeniesie.\n[Resolve] DNS=9.9.9.9#dns.quad9.net 149.112.112.112#dns.quad9.net DNSOverTLS=yes DNSSEC=yes Cache=yes Ta trzecia zepsuje odwrotny DNS, jeśli cokolwiek na twojej ścieżce filtruje .arpa, zepsuje się całkowicie, jeśli port 853 jest zablokowany, i zawodzi w sposób zamknięty, a nie po cichu. Takie są warunki. Poznaj je przed wdrożeniem, nie po, bo maszyna, która nie potrafi rozwiązać żadnej nazwy, to długa jazda, jeśli nie stoi w pokoju obok.\nCokolwiek wybierzesz, zastosuj to, a potem sprawdź, co demon naprawdę zdecydował, a nie co napisałeś:\nsystemd-analyze cat-config systemd/resolved.conf # every file, in order systemctl restart systemd-resolved resolvectl status # the state it is really in resolvectl status jest tu wyrocznią, tak samo jak kompilacja jest wyrocznią dla strony w Hugo. Ustawienie w pliku to zamiar. To, co wypisuje status, to rzeczywistość.\nPozostałe polecenia warto znać, bo razem odpowiadają na prawie każde pytanie o tego demona, bez czytania dziennika:\nPolecenie Co ci mówi resolvectl status Serwery, domeny i protokoły dla każdego łącza oraz bieżący stan DNSSEC i DoT resolvectl query NAME Odpowiedź, użyty protokół, werdykt DNSSEC i czy przyszła z cache resolvectl statistics Trafienia w cache wobec chybień i bieżące zestawienie secure/insecure/bogus resolvectl show-cache Wszystko, co jest teraz w cache, dla każdego zakresu resolvectl flush-caches Opróżnia cache bez restartu demona resolvectl dns LINK ... Ustawia serwery na jednym łączu w czasie działania, bez pliku konfiguracyjnego resolvectl dnssec LINK yes Włącza walidację na jednym łączu, żeby przetestować przed zapisaniem resolvectl domain LINK ~x Ustawia domeny trasowania i wyszukiwania na jednym łączu resolvectl revert LINK Wyrzuca każdą zmianę z czasu działania na tym łączu resolvectl show-server-state Sondowanie funkcji każdego serwera: co obsługuje każdy upstream resolvectl monitor Podgląd zapytań i odpowiedzi na żywo, co bije zgadywanie Wszystko w środkowym bloku działa tylko w czasie działania i nie przetrwa ponownego podniesienia łącza, co czyni to właściwym sposobem na wypróbowanie ustawienia przed zapisaniem go w drop-inie. Oznacza to też, że nmcli device reapply po cichu cofnie twoje testy, więc sprawdzaj status po, a nie przed.\nUstawienia domyślne to stanowisko, nie przypadek Trzy funkcje w pudełku. Jedna włączona.\nKusi, żeby czytać to jako lenistwo. To nie lenistwo. O każde z tych ustawień domyślnych spierali się ludzie, którzy widzieli kolejkę błędów po drugiej stronie decyzji, a Fedora przynajmniej uczciwie zapisała, że nie dałaby rady z obciążeniem wsparcia. To prawdziwe ograniczenie i nie będę udawał, że jest inaczej.\nAle ustawienie domyślne to stanowisko, a to mówi, że zapytanie, którego nikt nie może zweryfikować, jest akceptowalną podstawą do budowania. Standard mamy od 2005. Rejestry publikują rekordy za darmo, resolver na twojej maszynie implementuje całość, a powód, dla którego leży odłogiem, jest taki, że zbyt duża część internetu nigdy niczego nie podpisała, więc włączenie go sprawia, że to twoja maszyna wygląda na zepsutą. Tak wygląda każdy standard, którego nikt nie egzekwuje. Robienie tego porządnie to koszt, który ponosisz sam, a korzyść pojawia się dopiero wtedy, gdy wystarczająco wielu innych też go poniosło.\nDlatego spis jest tą częścią, na podstawie której naprawdę bym działał. Nie ustawienia. Ustawienia to dwadzieścia minut. Spis mówi, że organizacje publikujące wytyczne, dostarczające resolver i hostujące kod źródłowy świata w większości nie podpisały własnych stref, a gov.uk podpisała wierzchołek, po czym skierowała jedyną stronę, której nikt nie może uniknąć, na niepodpisaną delegację. Ktoś zrobił trudną część, a potem nigdy nie sprawdził nazwy, którą ludzie wpisują.\nMożesz naprawić tylko swoje. Jeśli prowadzisz strefę, podpisz ją, zgłoś DS, a potem idź i odpytaj nazwę www tak, jak zrobiłby to odwiedzający, i potwierdź, że łańcuch przetrwa do końca. To jedno popołudnie. Zrób to, a argument za walidacją przestaje być teoretyczny dla każdego, kto rozwiązuje twoją nazwę, i to jedyna część tej sprawy, którą każdy z nas naprawdę może naprawić.\nsystemd-resolved.service(8) — „implements a caching and validating DNS/DNSSEC stub resolver”; cztery interfejsy klienckie, dwa stub listenery, rekordy syntetyczne, zasady trasowania i cztery tryby /etc/resolv.conf.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nresolved.conf(5), w wersji dostarczanej z systemd 259.9 na Fedorze 44 — DNSSEC=, DNSOverTLS=, Cache=, CacheFromLocalhost=, StaleRetentionSec= i opis stuba proxy 127.0.0.54.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nresolved.conf(5) — DNSCacheSize=, MulticastDNSCacheSize= i LLMNRCacheSize=, „Each defaults to 4096”, dodane w systemd 261.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 5737 — „IPv4 Address Blocks Reserved for Documentation”: 192.0.2.0/24, 198.51.100.0/24 i 203.0.113.0/24.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 3849 — 2001:DB8::/32 zarezerwowany do dokumentacji, „to reduce the likelihood of conflict and confusion when relating documented examples to deployed systems”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nresolved.conf(5), najnowsza wersja upstream — DNSSEC= „Defaults to allow-downgrade”, DNSOverTLS= „Defaults to no”, konwencja numeracji drop-inów i pełna lista dyrektyw bez opcji DNS over HTTPS.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nFedora systemd.spec, rawhide — flagi kompilacji meson -Ddefault-dnssec=no, -Ddefault-dns-over-tls=no, -Ddefault-mdns=no, -Ddefault-llmnr=resolve.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nPakietowanie systemd w Debianie, debian/rules — -Ddefault-dnssec=no, -Ddefault-llmnr=no, -Ddefault-mdns=no, -Ddns-over-tls=openssl. systemd w Ubuntu wywodzi się z tego pakietowania.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nFedora Change: systemd-resolved — Fedora 33 uczyniła go domyślnym resolverem; zmienia ustawienie domyślne „from the upstream default DNSSEC=allow-downgrade to DNSSEC=no”, bo funkcja „is known to cause compatibility problems with certain network access points”, a Fedora „is not prepared to handle an influx of DNSSEC-related bug reports”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nFedora Magazine — Use DNS over TLS — zalecana konfiguracja DNSOverTLS=yes, podana z gołymi adresami IP i bez formy SNI #hostname.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nZgłoszenie systemd #8639 — „Add support for DNS-over-HTTPS to systemd-resolved”, otwarte 2 kwietnia 2018, wciąż otwarte.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nInformacje o wydaniu Debiana 12, 5.2.3 — „The new systemd-resolved package will not be installed automatically on upgrades”; „until it has been installed, DNS resolution might no longer work”; „systemd-resolved was not, and still is not, the default DNS resolver in Debian.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nPakietowanie systemd w Debianie, debian/control — zwrotka systemd-resolved: Provides: resolvconf, Conflicts: resolvconf, openresolv, Replaces: resolvconf, a libnss-resolve wymieniony tylko w Suggests:.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nresolvconf(1), tryb zgodności resolvectl — resolvectl „is a multi-call binary. When invoked as \u0026lsquo;resolvconf\u0026rsquo; \u0026hellip; it is run in a limited resolvconf(8) compatibility mode”; systemd-resolved „is the only supported backend”; które opcje są obsługiwane, ignorowane lub odrzucane; oraz zasada, że /etc/resolv.conf jest zapisywany tylko wtedy, gdy jest dowiązaniem do /run/systemd/resolve/resolv.conf.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLista plików isc-dhcp-client w Debianie — dostarcza /etc/dhcp/dhclient-enter-hooks.d/resolved-enter i /etc/dhcp/dhclient-exit-hooks.d/resolved.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nInformacje o wydaniu RHEL 9.4, Technology Previews — „Note that systemd-resolved is an unsupported Technology Preview.” Przenoszone bez zmian od RHEL 9.0 do 9.8.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nsystemd meson_options.txt — podział na opcje możliwości (resolve, nss-resolve, dns-over-tls, openssl) i opcje wartości domyślnych (default-dnssec, default-dns-over-tls, default-mdns, default-llmnr) oraz wkompilowana zapasowa lista dns-servers.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\n","permalink":"https://blogs.damiendye.uk/pl/dns/resolved-the-resolver-you-are-already-running/","summary":"systemd-resolved działa w tej chwili na większości desktopów z Linuksem, buforuje każde zapytanie i nie weryfikuje żadnego. Ten wpis przechodzi ścieżkę rozwiązywania nazw od nss-resolve do dwóch stub listenerów, mierzy, ile cache jest wart na prawdziwej maszynie, włącza DNSSEC i pokazuje trzy werdykty, które może zwrócić, oraz wyjaśnia, czemu walidacja jest domyślnie wyłączona, skoro upstream dostarcza ją włączoną. Potem spis tego, jak mała część sieci jest naprawdę podpisana, DNS over TLS z pułapką trybu ścisłego i oportunistycznego oraz obsługa DNS over HTTPS, o którą proszono od 2018 i która wciąż nie istnieje. Na koniec co dostarczają Fedora, Ubuntu, Debian i rodzina RHEL, jak go podłączyć w każdej z nich i czemu funkcje wyłączone przez twoją dystrybucję to ustawienia domyślne, a nie brakujący kod.","title":"Resolved: resolver, który już u ciebie działa"},{"content":"Istnieje sposób, żeby cokolwiek w twojej sieci sprawdziło nazwę, a twój serwer DNS nigdy nie usłyszał pytania. Żadne ustawienie na maszynie się nie zmieniło, żadnych uprawnień administratora, nic, co znalazłbyś w logu. Zapytanie wychodzi jako zwykłe żądanie HTTPS na porcie 443, trafia do jakiegoś resolvera gdzieś w internecie i wraca z odpowiedzią, której twój własny resolver odmówiłby udzielenia.\nBlocklista nigdy nie zadziała. Feed zagrożeń nigdy nie dostanie zapytania. Linia w logu, której byś potem szukał, nigdy nie została zapisana.\nNazywa się to DNS over HTTPS, w skrócie DoH, i zbudowano to z dobrego powodu. Zwykły DNS podróżuje otwartym tekstem na porcie 53, więc kawiarnia, lotnisko i twój dostawca internetu mogą przeczytać każdą nazwę, którą rozwiązujesz, i podmienić odpowiedzi, jeśli przyjdzie im ochota. DoH owija zapytanie tym samym szyfrowaniem co resztę sieci i chowa je w tłumie. Jako środek ochrony prywatności dla człowieka we wrogiej sieci robi dokładnie to, co obiecuje.\nKłopot w tym, że to, co pokonuje, i to, na czym polegasz, to jedna i ta sama rzecz.\nTwój resolver to nie tylko usługa wyszukiwania. To punkt kontroli: miejsce, gdzie na znaną złą domenę odpowiada się niczym, gdzie zapytanie do serwera sterującego pojawia się w logu, gdzie Protective DNS odrzuca domenę malware, zanim połączenie w ogóle powstanie. DoH zabiera zapytanie twojemu resolverowi i oddaje je takiemu, którego nigdy nie wybrałeś, a każde zabezpieczenie, które zawiesiłeś na tamtym resolverze, idzie razem z nim.\nZwykły DNS idzie przez twój resolver. DoH go omija. Ten sam laptop, to samo pytanie. Jedna odpowiedź przechodzi kontrolę, druga jej nie spotyka. Zwykły DNS, port 53 DNS over HTTPS, port 443 Laptop pyta o nazwę Twój resolver sprawdza blocklistę i feed zapisuje zapytanie klienta zła nazwa: NXDOMAIN Internet tylko jeśli przeszło Laptop pyta o nazwę Twój resolver nigdy niepytany nic do blokowania nic do zapisania HTTPS do resolvera przez siebie wybranego Cudzy resolver odpowie na wszystko Firewall widzi jeszcze jedno szyfrowane połączenie webowe. Ma ich tysiące na minutę, a na kablu to wygląda jak reszta. Ten sam laptop zadaje to samo pytanie. Po lewej idzie przez twój resolver, który sprawdza nazwę, zapisuje ją i dopiero wtedy pyta internet. Po prawej wychodzi prosto przez HTTPS do resolvera wybranego przez klienta. Twój resolver nigdy go nie słyszy, więc nie ma czego blokować ani czego zapisać, a na granicy to jeszcze jedno szyfrowane połączenie webowe wśród tysięcy. To nie jest argument przeciw szyfrowaniu DNS. Szyfrowany DNS jest słuszny, a ostatnia część tego wpisu mówi, jak go prowadzić. To argument o tym, kto wybiera resolver, bo ten wybór to cała gra, a DoH zaprojektowano tak, żeby odebrać go tobie i dać przeglądarce, aplikacji i, jeśli nie uważasz, napastnikowi.\nCzym DoH jest naprawdę Zdejmij z niego marketing, a DoH to zwykłe żądanie webowe, które akurat niesie pytanie DNS.\nZwykły DNS to mała binarna wiadomość wysyłana przez UDP albo TCP na port 53. DoH wkłada tę samą wiadomość, albo jej wersję w JSON, do żądania HTTPS do serwera WWW, który zna ten protokół; odpowiedź to odpowiedź HTTPS1. Na tym polega cały pomysł.\nRFC 8484 ustandaryzował to w październiku 2018 i nikt nie ukrywał zamiaru. Cel, jak mówi jego własny wstęp, to „allowing web applications to access DNS information via existing browser APIs”1.\nIstniejące API przeglądarki. Strona internetowa. Nikt tego nie odkrył po latach jako niezręcznego skutku ubocznego. Stoi w pierwszym akapicie standardu, zapisane jako cel.\nOto zapytanie zrobione po DoH-owemu, z wiersza poleceń, do publicznego resolvera, o example.com:\n$ curl -s -H \u0026#39;accept: application/dns-json\u0026#39; \\ \u0026#39;https://cloudflare-dns.com/dns-query?name=example.com\u0026amp;type=A\u0026#39; {\u0026#34;Status\u0026#34;:0,\u0026#34;TC\u0026#34;:false,\u0026#34;RD\u0026#34;:true,\u0026#34;RA\u0026#34;:true,\u0026#34;AD\u0026#34;:true,\u0026#34;CD\u0026#34;:false, \u0026#34;Question\u0026#34;:[{\u0026#34;name\u0026#34;:\u0026#34;example.com\u0026#34;,\u0026#34;type\u0026#34;:1}], \u0026#34;Answer\u0026#34;:[{\u0026#34;name\u0026#34;:\u0026#34;example.com\u0026#34;,\u0026#34;type\u0026#34;:1,\u0026#34;TTL\u0026#34;:146, \u0026#34;data\u0026#34;:\u0026#34;23.192.228.80\u0026#34;}]} Żadnego specjalnego klienta. Żadnego portu poza 443. Jedno żądanie HTTPS, w tym samym kształcie co pobranie strony, i nazwa rozwiązana przez maszynę po drugiej stronie świata, która nigdy nie słyszała o twojej sieci ani twoich regułach. Google prowadzi taki sam endpoint, Quad9 też, i dziesiątki innych.\nTeraz popatrz, co widzi twój firewall. Połączenie TLS do serwera WWW na 443, do którego środka nie zajrzy, bo na tym polega TLS, i którego nie odróżni od setek innych otwieranych co sekundę do sieci CDN, analityki i reklam. Pytanie DNS zniknęło. Wyszło z budynku przebrane za ruch webowy i nikt przy drzwiach nie zobaczył jego twarzy.\nNa kablu zapytanie DoH to pytanie DNS zapieczętowane w żądaniu webowym. To samo pytanie. Jedno na kopercie, drugie zapieczętowane trzy warstwy głębiej. Zwykły DNS, port 53 DoH, port 443 Zapytanie DNS name=badsite.example type=A Firewall czyta to w całości. Widzi nazwę, sprawdza, blokuje lub zapisuje. Rekord TLS (tylko to widzi firewall) Żądanie HTTP do serwera WWW Zapytanie DNS (zapieczętowane) name=badsite.example type=A Na porcie 443 firewall widzi tylko zewnętrzną warstwę. Połączenie TLS z serwerem WWW, jak ładowanie strony, reklama czy beacon analityki. Nazwa nie wypływa. Zwykłe zapytanie DNS jest napisane na kopercie: firewall czyta nazwę i na nią reaguje. Zapytanie DoH to to samo pytanie zapieczętowane w żądaniu HTTP wewnątrz rekordu TLS, a firewall widzi tylko zewnętrzną warstwę, połączenie z serwerem WWW na 443, które wygląda jak każde inne. Nazwa nigdy nie wypływa tam, gdzie mogłoby ją dosięgnąć jakieś zabezpieczenie. Klient może przesłać zapytanie DNS na trzy sposoby i warto je położyć obok siebie, bo różnica między nimi to cały ten wpis.\nTransport Port Twój resolver go widzi Do odrzucenia na granicy Szyfrowany Zwykły DNS 53 (UDP/TCP) Tak, jeśli go przez niego wymusisz Tak, zamknij 53 na wyjściu Nie DNS over TLS (DoT) 853 Tylko jeśli wskazuje na twój Tak, zamknij 853 na wyjściu Tak DNS over HTTPS (DoH) 443 Tylko jeśli wskazuje na twój Nie, 443 nie zamkniesz Tak Zwykły DNS da się czytać i blokować, i właśnie dlatego łatwo go było kontrolować i łatwo szpiegować. DoT szyfruje zapytanie, ale zostaje na własnym porcie, więc wciąż możesz go odrzucić na granicy. DoH to ten, za który nie ma jak chwycić: szyfrowany jak DoT, ale na jedynym porcie, którego nigdy nie zamkniesz, więc jedyna dźwignia, jaka zostaje, to który resolver wybrał klient, i o tej dźwigni jest ten wpis.\nKto wybiera resolver Ma to znaczenie, bo współczesna maszyna ma na sobie pięć różnych rzeczy, z których każda może zdecydować, dokąd idzie DNS, a domyślnie kontrolujesz dokładnie jedną z nich.\nPięć rzeczy na jednej maszynie może wybrać resolver. Ty ustawiasz jedną. Kto decyduje, dokąd idzie zapytanie Warstwa Kto wybiera resolver Domyślnie twoje? System operacyjny Twoja sieć, przez DHCP lub ogłoszenia routera Tak Przeglądarka Domyślnie producent, chyba że twoja polityka zmieni Tylko z twoją polityką Aplikacja lub jej biblioteka Autor kodu, przy kompilacji Nie Skrypt na stronie Właściciel strony lub każdy ładowany skrypt Nie Malware Operator, na sztywno, często po adresie, nie nazwie Nie Trzy dolne nie potrzebują uprawnień admina, zmiany ustawień ani niczego widocznego w systemie. Pięć warstw na jednej maszynie, każda zdolna wybrać własny resolver. System operacyjny używa tego, który rozdaje twoja sieć, i ten jest twój. Przeglądarka używa domyślnego resolvera producenta, chyba że twoja polityka mówi inaczej. Aplikacja, skrypt na stronie i malware wybierają same i niczego od ciebie do tego nie potrzebują. System operacyjny pyta resolver, który twoja sieć rozdała przez DHCP albo ogłoszenia routera. Ten jest twój, i to jest model, który zakładało wszystko starsze niż mniej więcej 2019: jeden resolver, rozdawany przez sieć, i dlatego kontrola DNS na poziomie sieci działała przez trzydzieści lat.\nPrzeglądarka to zepsuła. Firefox i Chrome mają wbudowaną maszynerię do własnego DoH, do resolvera wybranego przez ich producenta, ponad twoją głową, i wycofują się dopiero, gdy wykryją zarządzaną sieć. A aplikacja może nosić własnego klienta DoH i zaszyty w kodzie resolver, ustalony przy kompilacji; nie czyta twojego DHCP i nie pyta. Mnóstwo legalnego oprogramowania już tak robi.\nSkrypt na stronie internetowej to ten, który powinien cię zatrzymać, bo nie wymaga instalowania czegokolwiek. Polecenie curl powyżej to jedno żądanie HTTPS, a przeglądarka żyje z wysyłania żądań HTTPS. Kilka linijek JavaScriptu na dowolnej stronie, którą użytkownik otworzy, może wysyłać zapytania do publicznego endpointu DoH, bo duzi dostawcy celowo zezwalają na żądania cross-origin, żeby aplikacje webowe mogły z nich korzystać, co jest celem zapisanym w RFC 8484. Strona, którą właśnie czytasz, mogłaby w tej chwili rozwiązywać nazwy przez resolver w innym kraju, a ty zobaczyłbyś jeszcze jedno połączenie HTTPS.\nA malware wybiera własny resolver z oczywistego powodu: nie chce, żebyś widział, dokąd dzwoni. Nosi resolver w swoim kodzie, często sięga do niego po adresie, żeby nie było żadnego początkowego zapytania do wyłapania, i na nic z tego nie potrzebuje twojej zgody.\nPrzeczytaj tę kolumnę jeszcze raz. Trzy dolne nie potrzebują uprawnień administratora, zmiany ustawień ani niczego, co pokaże się w systemie operacyjnym. Zabezpieczenie, które budowałeś latami, jeden resolver, jedna blocklista, jeden log, zakładało, że górny wiersz jest jedynym wierszem. Od lat nie jest.\nTa sama sztuczka, której bali się producenci przeglądarek Przypadek strony internetowej nie jest ani teoretyczny, ani nowy. Tak właśnie nadużywa się pomocników protokołów: strona emituje bajty, coś dalej w łańcuchu na nie reaguje i nie potrafi stwierdzić, że przyszły ze strony napastnika, a nie od prawdziwego klienta, bo na kablu są identyczne. Przy DoH tym czymś dalej jest publiczny resolver, który odpowiada bez żadnej możliwości dowiedzenia się, że pytający JavaScript pochodzi ze strony phishingowej, a twój resolver, ten z blocklistą i logiem, w ogóle nie stał na drodze, żeby mieć zdanie. To nie dziura wybita w twoich zabezpieczeniach, tylko droga zbudowana dookoła nich, wyłożona tym samym szyfrowaniem, którego używania od wszystkich wymagasz.\nTo już jest kanał autorów malware Nie musisz sobie wyobrażać, jak to się wykorzystuje. Jest to udokumentowane od lat, przez nazwanych badaczy, na prawdziwych próbkach, a kierunek jest tylko jeden: od przestępczego bota w 2019 do narzędzia państwowego wywiadu rok później, i z każdym rokiem gęściej, z nowymi backdoorami pojawiającymi się jeszcze w 2026.\nPróbka Zgłoszona Sprawca Co niósł DoH Godlua 1 lipca 20192 Przestępczy botnet Zapytanie o nazwę serwera sterującego PsiXBot 6 września 20193 Przestępcy (infostealer) Rozwiązywanie domen C2, przez DoH Google OilRig (APT34) II kw. 20204 Powiązani z państwem irańskim Skradzione dane, wyprowadzane przez DoH do Google i Cloudflare ChamelDoH 16 czerwca 20235 ChamelGang (APT) Cały kanał sterowania, DNS TXT przez DoH do Google i Cloudflare BRICKSTORM 4 grudnia 20256 Backdoor powiązany z Chinami C2 schowane pod HTTPS i zagnieżdżonym TLS, DoH wśród warstw Dohdoor 26 lutego 20267 Nieustalony (UAT-10027) Zapytania o C2 wysyłane do DoH Cloudflare na 443 Godlua, pierwszy szeroko opisany przypadek, był backdoorem na Linuksa i Windows, o którym raport zapisał, że „uses DNS over HTTPS to get the C2 name to ensure secure communication between the bots, the Web Server and the C2”2. W sieci, która obserwuje port 53, rozwiązywanie nazwy własnego serwera sterującego to prezent dla obrońcy. Przez DoH nie ma czego obserwować.\nZdanie Proofpointa o PsiXBocie jest tym, które warto zacytować: dostawca analiz zagrożeń mówi na głos to, co zwykle się przemilcza. Użycie DoH do sterowania, napisali, „should be a warning shot for the cybersecurity community as there are no simple solutions to help identify an infected host or the process of receiving instructions”3. Żadnych prostych rozwiązań, od ludzi, których praca polega na ich znajdowaniu.\nPotem OilRig podniósł poprzeczkę. Opis Kaspersky\u0026rsquo;ego to dokładnie ta zmiana, o której jest ten wpis: „instead of plain text requests to port 53, they would use port 443 in encrypted packets”, z narzędziem, które „allows DoH queries to Google and Cloudflare services”4. Państwowa operacja wywiadowcza, używająca publicznych dostawców DoH jako rury do wynoszenia skradzionych danych obok wszystkiego, co pilnowało DNS.\nI na tym się nie skończyło. Rozlało się. W 2023 ChamelGang miał linuksowy backdoor w C++, ChamelDoH, prowadzący cały swój kanał sterowania przez DoH, wysyłający zapytania DNS TXT do własnych serwerów nazw przez Google i Cloudflare; badacz, który go znalazł, zauważył, że zarówno wykrywanie, jak i zapobieganie „become difficult”, bo szyfrowanego transportu nie da się przechwycić, a złośliwego żądania nie da się odróżnić od prawdziwego5. W grudniu 2025 CISA rozebrała BRICKSTORM, backdoor powiązany z Chinami, który układa w stos HTTPS, WebSockety i zagnieżdżony TLS i „also uses DNS-over-HTTPS (DoH)”, żeby zakopać swoje C2 w zwykłym ruchu webowym6. W lutym 2026 to był już zwykły warsztat: Cisco Talos złapał Dohdoor, który „securely sends encrypted DNS requests to Cloudflare\u0026rsquo;s DNS server over HTTPS port 443”, żeby znaleźć swój serwer sterujący, i wchodził phishingiem do amerykańskich szkół i szpitali7.\nTak to wygląda. Nie technika, która miała swoje pięć minut i przeminęła, ale taka, po którą co roku sięga więcej rąk. Problem się pogarsza, nie poprawia, a nowa rodzina pojawia się jak w rozkładzie jazdy.\nW każdym z tych przypadków robotę wykonała jedna właściwość: zapytanie wyszło jako HTTPS na 443 i resolver obrońcy nigdy go nie zobaczył. Nie słabość, którą ktoś może kiedyś znajdzie. Funkcja, którą napastnicy wdrażali raz po raz, kilku z nich to państwa.\nI powiedzmy jasno, dlaczego ta tabela rok w rok się zapełnia. Każda rodzina w niej przechodzi przez drzwi, o których autorów DoH ostrzegano, że zostawiają je otwarte, w tekście samego standardu, a i tak zostawili je otwarte8. To nie było przeoczenie. To była krótkowzroczność, wybrana świadomie, przez ludzi, wśród których był technolog samego ICANN. Więc nazwę to po imieniu: w tej sprawie ICANN to pomocnicy cyberprzestępczości. Ostrzeżeni w tekście własnego standardu, co się zepsuje, jego ludzie i tak się pod tym podpisali, a tabela powyżej to to, co przeszło przez lukę. Przestępczość nie jest zaskoczeniem. To rachunek za decyzję, a czyja to była decyzja, to reszta tego wpisu.\nA mimo wszystko DoH nie kupuje nawet tego, co ludzie zakładają: ochrony przed sfałszowaną odpowiedzią. Szyfrowanie odcinka do resolvera to nie uwierzytelnienie tego, co resolver oddaje, a serwer DoH wciąż może zwrócić sfałszowany rekord. Standard to przyznaje, mówiąc, że zakaz nieskonfigurowanych serwerów „does not guarantee protection against invalid data”9.\nJedyny mechanizm, który uwierzytelnia odpowiedź DNS, to DNSSEC, a DoH nim nie jest. Gorzej, dla niemal każdego klienta DNSSEC jest walidowany na resolverze rekurencyjnym, nie na urządzeniu: klient po prostu wierzy resolverowi na słowo, że odpowiedź przeszła kontrolę. Więc DNSSEC zawsze chronił cię tylko na tyle, na ile ufałeś resolverowi, który sprawdza, a prawdziwy ruch DoH polega na oddaniu tego zaufania zdalnemu operatorowi, którego nie widzisz i nie skontrolujesz.\nW związku z tym DoH może sprawić, że łatwiej trafisz na sfałszowaną stronę, nie trudniej: lokalne zabezpieczenia, które wyłapałyby przejętą odpowiedź, feed Protective DNS, własne filtrowanie operatora, to właśnie to, co ominąłeś, a zostaje tylko słowo jednego zdalnego operatora, przyjęte na wiarę.\nDoH zmienia, komu ufasz co do odpowiedzi. Nie usuwa potrzeby zaufania. Komuś trzeba zaufać. DoH tylko zmienia komu: na kogoś, kogo nie skontrolujesz. Twój własny resolver Zdalny resolver DoH Twoje urządzenie Resolver, który kontrolujesz Waliduje DNSSEC za ciebie Ma twoją blocklistę i log Możesz go sprawdzić i audytować Jeśli kłamie, jest twój: sprawdzisz Twoje urządzenie szyfrowana rura Resolver, którego nie kontrolujesz Waliduje DNSSEC, wierzysz na słowo Nie widzisz go ani nie audytujesz Twoja blocklista jest poza drogą Gdy fałszuje, nic lokalnie nie złapie Szyfrowanie chroni rurę, nie prawdziwość odpowiedzi. DNSSEC sprawdza resolver, więc i tak mu ufasz. DoH tylko daje ci takiego, którego nie widzisz. DoH nie usuwa potrzeby zaufania resolverowi co do odpowiedzi, tylko ją przenosi. Twój własny resolver waliduje DNSSEC, nosi twoją blocklistę i da się go skontrolować; zdalny resolver DoH waliduje w twoim imieniu, a ty wierzysz mu na słowo, przez szyfrowaną rurę, która zabezpiecza odcinek i nic nie mówi o tym, czy odpowiedź jest prawdziwa. Przed czym DoH ma rzekomo chronić Czy chroni? Podsłuch na odcinku do resolvera Tak, zapytanie jest szyfrowane Manipulacja na tym odcinku Tak Sfałszowany rekord od samego resolvera Nie, to zadanie DNSSEC, nie DoH Złośliwy, przymuszony lub przejęty resolver Nie, teraz ufasz mu całkowicie Blokowanie malware, trackerów i nakazów sądowych Nie, omija je I nic z tego nie jest nowym pomysłem, o który DoH potknął się przypadkiem. Filtrowanie złośliwych domen na resolverze to dokładnie to, co OpenDNS robi od blisko dwudziestu lat, blokując phishing i malware dla milionów użytkowników, zanim odpowiedź w ogóle do nich dotarła, i to jest model, za który Cisco zapłaciło w 2015, żeby go mieć10. Dwie dekady bezpieczeństwa na poziomie resolvera, które chroniło ludzi, którzy nigdy niczego nie konfigurowali, a DoH podkopał cały ten model jednym ciosem: skieruj aplikację na jej własny resolver, i OpenDNS, albo cokolwiek wybrała twoja sieć, nie stoi już na drodze.\nDlaczego stara odpowiedź przestała działać Dopóki DNS żył na porcie 53, odpowiedź sieciowa była prosta. Zmuś każdego klienta do używania twojego resolvera i zablokuj wychodzący port 53 wszędzie indziej na granicy. Maszyna sięgająca do zewnętrznego serwera DNS dostawała odmowę, więc musiała iść przez twój, więc twoje zabezpieczenia obejmowały wszystko. Toporne, ale działało.\nDoH zabija to jednym ruchem, używając 443. Wychodzącego 443 nie zablokujesz. To jest sieć WWW. Więc port, który zamknąłbyś, żeby przepchnąć DNS przez swój resolver, jest tym, którego nigdy nie zamkniesz, a szyfrowanie, które powstrzymuje twojego ISP przed podglądaniem, powstrzymuje też ciebie przed odróżnieniem zapytania DoH od ładowania strony.\nDwie rzeczy, którymi odzyskałbyś kontrolę, zamknięcie portu i czytanie ruchu, obie zniknęły z założenia. Pokonanie dokładnie tych dwóch, w rękach wrogiej sieci, to to, do czego DoH zbudowano.\nA czytanie ruchu nie jest takim wyjściem, na jakie wygląda, bo da się to zrobić tylko w jeden sposób: rozszyfrować i przejrzeć całość. Żeby zobaczyć DNS wewnątrz połączenia na 443, musisz zrobić man-in-the-middle na każdym połączeniu HTTPS w sieci, wgrać własny certyfikat główny na każde urządzenie i odszyfrowywać i ponownie szyfrować wszystko. Do tego właśnie ucieka się coraz więcej administratorów, żeby odzyskać widoczność, którą kiedyś dawała im za darmo jedna reguła firewalla.\nI to o wiele gorsza wymiana: osłabiłeś TLS dla wszystkiego, wstawiłeś skrzynkę deszyfrującą w drogę każdego logowania i każdej sesji bankowej i zbudowałeś jeden cel, którego przejęcie kompromituje całość, czyli postawę, przed którą US-CERT wprost ostrzegał11. Proporcjonalne zabezpieczenie zostało złamane, więc zostaje nieproporcjonalne.\nI na tym polega pułapka. Mechanizm, który chroni dziennikarza na lotniskowym WiFi przed wrogą siecią, to ten sam, który chroni malware w twojej sieci przed tobą, a protokół nie odróżni jednego od drugiego. Omijany resolver nie wie, czy jest cenzorem, czy zespołem bezpieczeństwa. Wie tylko, że został odcięty.\nPoprawną odpowiedzią zawsze był DNS over TLS Oto część, która zdradza całą grę. Szyfrowanie DNS nigdy niczego takiego nie potrzebowało. Zrobiono je dwa lata przed DoH, w sposób, który zostawiał osobie prowadzącej sieć możliwość wykonywania jej pracy.\nDNS over TLS, RFC 7858, pochodzi z maja 2016. Jego streszczenie mówi, do czego służy, w pierwszej linijce: ma „provide privacy for DNS”, szyfrowanie, które „eliminates opportunities for eavesdropping and on-path tampering with DNS queries in the network”12. To cała sprawa prywatności, załatwiona: kawiarnia i ISP odcięci dokładnie tak samo jak przy DoH, bo zapytanie jest szyfrowane od końca do końca.\nA współautorem był Paul Hoffman, który potem był też współautorem standardu DoH1. To więc nie dwa rywalizujące obozy. Ci sami ludzie, którzy już rozwiązali prywatność, rozwiązali ją jeszcze raz, inaczej.\nTo, kim jest Hoffman, ma znaczenie, bo mówi, skąd to przyszło. Nie jest przypadkowym obserwatorem DNS: jego nazwisko widnieje na ponad osiemdziesięciu RFC, w tym na standardzie terminologii DNS, a pracuje jako technolog w ICANN13. Standard, który schował DNS na 443, współtworzono więc z wnętrza ICANN, amerykańskiego organu, który decyduje, co trafia do roota.\nA ICANN nie jest bezinteresownym opiekunem, jak sugeruje to słowo. Jego historię opisałem osobno: zbudowany w Kalifornii, odpowiadający przed Kalifornią i gotów używać swojej pozycji nad przestrzenią nazw do własnych celów. To nie była kampania o prywatność z obrzeży. To był establishment, który trzyma root, załatwiający po raz drugi sprawę prywatności, którą załatwił już w 2016, w sposób, który usunął operatora sieci.\nZapytaj więc, co dodał ten drugi sposób, bo prywatnością to nie było.\nStandard Rok Port Szyfruje DNS Operator nadal widzi, że to DNS DNS over TLS (RFC 7858) 2016 853 Tak Tak DNS over HTTPS (RFC 8484) 2018 443 Tak Nie Prywatność rozwiązał DoT w 2016. DoH przyszedł dwa lata później i dodał tylko obejście. Szyfrowany DNS: co było pierwsze, a co potem Maj 2016 DNS over TLS (RFC 7858), port 853 Szyfruje DNS. Operator nadal widzi, że to DNS. Prywatność rozwiązana. Paź 2018 DNS over HTTPS (RFC 8484), port 443 Ten sam główny autor. To samo szyfrowanie. Operator już go nie widzi. Lip 2019 Godlua: pierwsze malware chowające C2 w DoH Lip 2019 ISPA nazywa Mozillę „Internet Villain” za DoH, potem się wycofuje Wrz 2019 PsiXBot rozwiązuje domeny C2 przez DoH Google Lut 2020 Firefox domyślnie włącza DoH w USA, resolver Cloudflare II kw. 2020 OilRig (APT34) wyprowadza dane przez DoH Prywatność była kompletna w 2016. Wszystko poniżej drugiej kropki to obejście i to, do czego go użyto. Nic z tego nie wymagało nowego standardu prywatności. Kolejność jest argumentem. DNS over TLS rozwiązał problem prywatności w 2016, na porcie, którym operator sieci nadal może zarządzać. DNS over HTTPS przyszedł dwa lata później od tego samego głównego autora, nie dodał do prywatności niczego poza przejściem na port 443, a wszystko poniżej tego drugiego punktu to obejście i to, do czego obejścia użyto. Zmieniło się tylko ostatnie pole. DoT działa na własnym porcie, 853, więc operator widzi, że to DNS, i decyduje, co z nim zrobić: przepuścić do zatwierdzonego resolvera, odrzucić gdzie indziej. DoH kładzie to samo szyfrowane zapytanie na 443 i miesza je z siecią WWW, gdzie operator nie potrafi go wyłowić.\nTa sama prywatność, to samo szyfrowanie. Jedyna różnica między tymi dwoma standardami polega na tym, czy osoba prowadząca sieć nadal widzi własny DNS. To nie jest funkcja prywatności. Prywatność dostarczono w 2016. To funkcja obejścia, i jedyna rzecz, którą DoH dodaje.\nI wiedzieli o tym. To udokumentowane, nie wywnioskowane. Własne Operational Considerations w RFC 8484 mówią to wprost: „Filtering or inspection systems that rely on unsecured transport of DNS will not function in a DNS over HTTPS environment due to the confidentiality and integrity protection provided by TLS”8.\nTe systemy to narzędzia bezpieczeństwa, które już chroniły użytkowników: blokowanie malware i serwerów sterujących, feedy Protective DNS, filtry ochrony dzieci, inspekcja w firmach. Standard wymienia je, we własnym tekście, jako rzeczy, które przestaną działać. Zepsucie narzędzi, które już broniły ludzi, było wyborem, podjętym z otwartymi oczami i wdrożonym jako domyślne. Znać skutek i mimo to go wybrać to decyzja, z której można ich rozliczyć.\nDlatego narracja o prywatności nie przetrwa zderzenia z osią czasu. Skoro DoT istnieje, prywatność nie może być powodem DoH, bo prywatność była już załatwiona, przez tego samego autora, dwa lata wcześniej. Prywatność była więc zasłoną dymną.\nOdsuń ją i zobacz, co drugi standard faktycznie uruchomił: wyścig zbrojeń. Wziął zabezpieczenie, które było jedną linijką w firewallu, i zamienił je w niekończący się pościg, resolvery przeciw blocklistom przeciw nowym resolverom, z operatorem przegrywającym domyślnie i garstką amerykańskich firm trzymających na końcu otwarty tekst.\nNazwij to skutkiem ubocznym funkcji prywatności, jeśli chcesz. Na podstawie dowodów, przy już wdrożonym DoT i standardzie, który sam przyznaje, że zepsuje filtrowanie, to jest cel, a prywatność była słowem namalowanym na pudełku. I forsowano to mocno pod tym słowem, przez strony, które zyskały.\nForsowali i wdrażali DoH Kim jeszcze są Mozilla Współautorka RFC 8484, potem włączyła DoH domyślnie w amerykańskim Firefoksie14, resolver Cloudflare Google Wdraża DoH w Chrome, prowadzi duży publiczny resolver DoH i jest firmą reklamową Cloudflare Domyślny resolver amerykańskiego Firefoksa, więc dostaje te zapytania Ludzie, którzy sprzedawali to jako prywatność, to producenci przeglądarek, a beneficjentami nie byli wyłącznie użytkownicy.\nCzy mogę zapytać, dlaczego, skoro celem była prywatność, odpowiedzią nie był standard szyfrowanego DNS, który już istniał i zostawiał operatora w obiegu, tylko drugi, zbudowany tak, żeby operator go nie widział? Nie pytam, kto to zatwierdził. Pytam, która część „prywatności” wymagała wycięcia jedynej osoby odpowiedzialnej za sieć.\nBo to jest prawdziwy cel, i jest nim administrator sieci: profesjonalista odpowiedzialny za bezpieczeństwo sieci, traktowany domyślnie jak przeciwnik. DoH nie usuwa nawet inwigilacji, na którą narzekała opowieść o prywatności. Jak wyłożył Bert Hubert z PowerDNS, DNS był „typically provided by the operator of a network”, a przeniesienie go domyślnie do strony trzeciej to „a net-negative for privacy for everyone”, bo ta strona trzecia „gets a complete log per device of all DNS queries, in a way that can even be tracked across IP addresses”15.\nZapytania nie są ukryte. Są oddane amerykańskiemu operatorowi resolvera zamiast administratorowi, a administrator to jedyna strona, którą usunięto. Producenci też o tym wiedzą. Logika „wykryj zarządzaną sieć i się wycofaj” z następnej części istnieje właśnie dlatego, że ustawienie domyślne przesłania administratora, a oni dołożyli wyłącznik, zamiast zmienić ustawienie domyślne.\nTeraz zapytaj, kto zyskuje na prowadzeniu DNS obok operatora. Sztandarowym przykładem jest dziennikarz na wrogim lotniskowym WiFi, i ten człowiek istnieje naprawdę. Tak samo jak branża reklamowa i śledząca, której domeny przechodzą obok blocklisty sieci w chwili, gdy aplikacja albo przeglądarka rozwiąże je przez DoH.\nBlokowanie na poziomie sieci, Pi-hole, firmowa blocklista, filtrujący resolver, działa przez odpowiadanie na nazwę trackera niczym. DoH to sposób, żeby nazwa i tak dostała odpowiedź. A największym operatorem publicznego resolvera DoH jest Google16, firma reklamowa, która wdraża też DoH we własnej przeglądarce17.\nFunkcja prywatności, sprzedawana przez firmę, która sprzedaje śledzenie, i zaprojektowana tak, że pokonuje narzędzie, którego ludzie używają, żeby to śledzenie blokować. Wyciągnij z tego, co chcesz. Ja już wyrobiłem sobie zdanie.\nNawet toporna wersja tego zarzutu została wygłoszona. W lipcu 2019 brytyjskie stowarzyszenie branżowe ISP nominowało Mozillę do tytułu „Internet Villain” za DoH, który miałby „bypass UK filtering obligations and parental controls, undermining internet safety standards in the UK”18. Wybrali niezgrabny cel i jeszcze gorszą ramę, zostali zakrzyczani i się wycofali.\nZdejmij jednak politykę, a obserwacja pod spodem była trafna, i trzyma się niezależnie od tego, czy omijane zabezpieczenie to filtr ochrony dzieci, firmowa blocklista czy Pi-hole w wolnym pokoju. DoH jest zbudowany, żeby przeprowadzić DNS obok tego, kto prowadzi sieć.\nI to nie jest drobna sprawa, bo DoH jest teraz najtrudniejszy do zablokowania z całej trójki. DoT siedzi na 853, gdzie sieć wciąż może go odrzucić. DoH nie, więc ze wszystkich sposobów, w jakie DNS może opuścić sieć, to ten, za który nie ma jak chwycić, co czyni go największym pojedynczym ryzykiem ze wszystkich.\nTo sięga prawa, nie tylko bezpieczeństwa. W Wielkiej Brytanii blokowanie, które ma moc prawną, odbywa się u ISP przez DNS: lista materiałów przedstawiających wykorzystywanie seksualne dzieci prowadzona przez Internet Watch Foundation i nakazy w sprawach praw autorskich, które High Court wydaje na podstawie sekcji 97A, są egzekwowane przez filtrowanie DNS i IP na resolverze, który klient dostaje19.\nPrzeprowadź połowę DNS obok tego przez DoH, a blokada nie obejmuje tego klienta. Sąd może nakazać zablokowanie strony, sieci można kazać to egzekwować, a przeglądarka rozwiązująca przez DoH i tak znajdzie adres, kanałem, którego sieć nie widzi i nie może zamknąć. Egzekwowanie prawa cybernetycznego albo nakazu sądowego na poziomie sieci, tam, gdzie zawsze się to robiło, staje się prawie niemożliwe.\nI tu rachunek spada na wszystkich, nie tylko na sieć. Złam proporcjonalne zabezpieczenie, to chirurgiczne, które blokowało nazwaną domenę na resolverze na mocy nakazu sądu, a państwo się nie podda. Sięgnie po tępsze narzędzie. Brytyjski Online Safety Act jest tym narzędziem: rozległe obowiązki dla platform, obowiązkowa weryfikacja wieku i stojący za tym Ofcom z karami, reżim, który dotyka każdego użytkownika i każdej usługi w kraju20.\nNie bronię tej ustawy. Wskazuję, skąd wziął się nacisk na nią. Kiedy wąskie narzędzie, które egzekwowało prawo w sieci, przestaje działać, nie dostajesz mniej egzekucji, dostajesz egzekucję bardziej toporną, szerszą i bardziej inwazyjną, wymierzoną we wszystkich, bo wersja celowana już nie działa. Taka jest cena złamania podstawowego zabezpieczenia, a ci, którzy je złamali, nie są tymi, którzy płacą.\nA ICANN ma to w nosie, bo z Kalifornii to nie jego problem. Kiedy blokada zawodzi albo platforma łamie swoje obowiązki, to nie ICANN staje przed sądem, tylko operator, platforma, firma, przed Ofcomem i karami. Skutki spadają na wszystkich poniżej decyzji, z której organ, który ją podjął, nigdy nie musi się tłumaczyć.\nZłam chirurgiczne zabezpieczenie, a państwo sięgnie po młot. Płacą wszyscy. Złam proporcjonalne zabezpieczenie, a zastąpi je tępsze Zabezpieczenie chirurgiczne Blokada jednej domeny na resolverze, z nakazu sądu Precyzyjne, proporcjonalne, wymierzone tylko w cel DoH je łamie zapytanie już nie przechodzi przez resolver Tępe narzędzie Online Safety Act: weryfikacja wieku wszystkich, obowiązki każdej platformy, Ofcom z karami Wymierzone w cały kraj Złam wąskie narzędzie, a państwo się nie podda. Sięgnie po szerokie, wymierzone we wszystkich, bo wersja celowana już nie działa. A ci, którzy złamali wąskie narzędzie, nie płacą za szerokie. Chirurgiczne zabezpieczenie blokowało jedną nazwaną domenę na resolverze na mocy nakazu sądu. DoH je łamie, więc państwo sięga po tępe narzędzie: Online Safety Act, wymierzony w każdego użytkownika i każdą platformę w kraju. Złam wąskie narzędzie, a nie dostaniesz mniej egzekucji, tylko szerszą, której nikt nie potrafi wycelować. Ustaw konsekwencje w rzędzie, a wszystkie mają ten sam kształt: coś, co sieć egzekwowała na resolverze, a już nie może.\nCo egzekwowała sieć Jak to robiono Przy DoH Blokowanie malware i serwerów sterujących blocklista resolvera i feed zagrożeń ominięte; Godlua, PsiXBot i OilRig zrobiły dokładnie to Blokowanie reklam i trackerów Pi-hole albo filtrujący resolver ominięte; nazwa trackera i tak się rozwiązuje Nakazy sądowe i lista IWF filtrowanie DNS u ISP blokada oparta na DNS nie obejmuje tego klienta DoT był uczciwą odpowiedzią. Szyfruje twój DNS i zostawia operatorowi możliwość wykonywania pracy. DoH zachował szyfrowanie i dodał na wierzch jedną rzecz: operator już tego nie widzi. Wszystko inne w nim wynika z tego jednego wyboru.\nZrobione w USA, sporne wszędzie indziej Nic z tego nie zatrzymuje się na kanale La Manche, a czytanie tego jako brytyjskiego problemu zmniejsza go do ułamka prawdziwej wielkości. Ten sam kształt biegnie przez całą Europę aż do Australii. Z jednej strony instrument prawny, z drugiej blokada DNS w sieci.\nW Australii Sąd Federalny nakazuje ISP odcięcie dostępu do zagranicznych stron naruszających prawa na podstawie sekcji 115A Copyright Act21. Portugalia całkiem pomija sąd: administracyjne memorandum, na mocy którego właściciele praw zgłaszają sprawy organowi o nazwie MAPINET, a ISP blokują przez DNS w ciągu piętnastu dni roboczych22. Różne ustawy, jedno nośne założenie, i to jest założenie, które DoH wybija spod nich wszystkich. Że klient rozwiązuje nazwy przez resolver, który dostał.\nZobacz więc, co robi państwo, kiedy to założenie zawodzi. Przestaje naciskać na ISP i zaczyna nakazywać samym publicznym resolverom zwracanie złej odpowiedzi. To nie prognoza. To stos wyroków, i rośnie.\nKraj Nakaz blokady Publiczny resolver Co się stało Włochy Piracy Shield AGCOM, nazwy blokowane w 30 minut nakaz filtrowania, łącznie z 1.1.1.1 Cloudflare odmówił, dostał karę €14 247 698 i się odwołuje23 Francja nakaz Canal+ dotyczący streamingu sportu wymienieni Google, Cloudflare i OpenDNS Cloudflare podaje HTTP 451, Google po cichu nie odpowiada, OpenDNS wyłączył się dla kraju24 Belgia ponad 100 domen pirackiego sportu te same trzy resolvery Cloudflare stosuje się z 451, Google milczy, OpenDNS też wyszedł z Belgii24 Niemcy Universal Music przeciw Cloudflare nakaz w pierwszej instancji, łącznie z 1.1.1.1 uchylony w apelacji, Kolonia uznała resolver za „passive, automatic and neutral”25 Holandia dynamiczna blokada BREIN na poziomie ISP, resolver jeszcze nie Ziggo, KPN i reszta blokują po DNS i IP, aktualizowane na żądanie26 Czytaj to jako jedną rzecz, nie pięć. Kilka amerykańskich firm przepisało DNS dla całej planety na własną rękę, złamało proporcjonalne zabezpieczenie, które zbudował każdy z tych krajów, i zostawiło sądom ustalenie, co zrobić z gruzami. Odpowiedzi tych firm, ciąganych co kilka miesięcy przed inny sąd, mówią ci dokładnie, ile reszta świata dla nich waży. Jedna się odwołuje i krzyczy o cenzurze. Druga nie odpowiada na zapytanie i nic użytkownikowi nie mówi. A OpenDNS, resolver, który przez dwadzieścia lat po cichu filtrował malware i który ten wpis już stawiał za wzór do naśladowania, w ogóle się nie spiera. Wyłącza się dla Francji i dla Portugalii, zamiast obsługiwać je na takich warunkach27.\nZatrzymaj się przy tym ostatnim. To dobry przykład z całego tego tekstu wychodzący z pokoju. Usługa, która chroniła ludzi, którzy nigdy niczego nie konfigurowali, uznaje teraz, że łatwiej porzucić cały kraj, niż go obsługiwać, a powód prowadzi prosto do decyzji projektowej podjętej w Kalifornii przez ludzi, którzy nigdy nie musieli myśleć o francuskim czy portugalskim sądzie.\nTaki jest wzór, i nazwę go. To właśnie amerykańska inżynieria platform robi wszędzie, gdzie nie są Stany Zjednoczone. Buduje dla własnego rynku, wysyła wynik w świat jako ustawienie domyślne i traktuje prawo każdego innego kraju, każdego regulatora, każdą społeczność za zmianą jako cudzy bałagan do posprzątania.\nA rząd macierzysty wspiera te firmy po całości. W lutym 2025 Biały Dom podpisał się pod memorandum przedstawiającym cyfrowe prawo innych krajów jako „overseas extortion” wobec amerykańskich firm, wymieniającym Wielką Brytanię i UE i kierującym przedstawiciela handlowego w stronę ceł jako odpowiedzi28. Pół roku później amerykański regulator napisał do kilkunastu amerykańskich firm technologicznych, ostrzegając, że stosowanie się do brytyjskiego Online Safety Act albo unijnego Digital Services Act może samo w sobie naruszać prawo USA29. Przeczytaj to dwa razy. Kraj, którego firmy złamały zabezpieczenia, mówi teraz tym firmom, że wykroczeniem jest stosowanie się do odpowiedzi innej demokracji na te szkody.\nTo mówi wszystko. Ustawa uchwalona przez wybrany parlament w Westminsterze albo w Brukseli zostaje z Waszyngtonu przedstawiona jako atak na Amerykę, a firmom mówi się, żeby ją ignorowały. Nie chodzi o to, że zważyli resztę świata i zdecydowali przeciw niej. Reszty świata nigdy nie było na wadze.\nNaprawą nie jest zakaz szyfrowania Leniwy wniosek brzmi więc „zablokuj DoH”, i jest błędny, tak samo jak „zablokuj ICMP” jest błędne na firewallu. Nie chcesz z powrotem nieszyfrowanego DNS. Zapytania otwartym tekstem na porcie 53 to realna ekspozycja, a powrót do nich, żeby odzyskać widoczność, to zamiana jednej dziury na drugą.\nTo, co naprawdę straciłeś, to nie szyfrowanie. To wybór resolvera. Odbierz więc to, a szyfrowanie zostaw dokładnie tam, gdzie jest.\nZachowaj szyfrowanie. Odbierz wybór resolvera. Szyfrowane całą drogę. Jedna maszyna mówi DNS do świata. Klienci 53, DoT lub DoH, tylko do twojego resolvera DDR mówi im, dokąd Twój resolver sam obsługuje DoH i DoT blocklista, feed zagrożeń, log kanarek: odpowiedź NXDOMAIN Granica tylko to Upstream albo rooty klient prosto na 53, 853 lub do publicznego DoH: odrzucony Nic tu nie wyłącza szyfrowania. Klientowi zabiera się tylko prawo wyboru cudzego resolvera. Poprawiony układ. Klienci mogą używać zwykłego DNS, DNS over TLS albo DNS over HTTPS, ale tylko do twojego własnego resolvera, który teraz obsługuje wszystkie trzy. Ten resolver zachowuje blocklistę i log i jest jedyną maszyną, która może wysłać DNS dowolnego rodzaju poza granicę. Port 53, port 853 i znane publiczne resolvery DoH są odrzucane dla wszystkiego innego. Nic tu nie wyłącza szyfrowania. Jedyne, co zabiera się klientowi, to prawo wyboru cudzego resolvera. Kształt jest ten sam, który naprawia DNS w domenie Active Directory: argument nigdy nie brzmi „wyłącz funkcję”, tylko „zdecyduj, kto może nią sterować”. Oto co to znaczy, po kawałku.\nProwadź szyfrowany DNS sam. Postaw resolver, który obsługuje DoH i DoT, nie tylko port 53, żeby klient, który chce szyfrowania, dostał je od ciebie. Nie możesz mówić klientom „żadnego DoH” na serio, jeśli nie oferujesz im własnego szyfrowanego resolvera. Daj im go i trzymaj na nim blocklistę, feed zagrożeń i logowanie, jak wcześniej.\nOgłoś go, żeby klienci znajdowali go celowo. Discovery of Designated Resolvers (RFC 9462) pozwala klientowi odpytać specjalną nazwę, poznać szyfrowany resolver własnej sieci i automatycznie przejść na DoH albo DoT do niego30. Klient obsługujący DDR szyfruje wtedy swój DNS i używa twojego: prywatność, której chciał użytkownik, i kontrola, której potrzebowałeś, jednym ruchem.\nOdpowiedz na wyłącznik samej przeglądarki. Firefox sprawdza domenę kanarka, use-application-dns.net, zanim domyślnie włączy DoH: odpowiedz na nią NXDOMAIN albo SERVFAIL, a Firefox wycofa się na systemowy resolver31. Dwa uczciwe ograniczenia, oba słowami Mozilli. Kanarek „only applies to users who have DoH enabled as the default option. It does not apply for users who have made the choice to turn on DoH by themselves”31. To więc sygnał wyłączający ustawienie domyślne, nie zamek, i nic nie robi z aplikacją i malware, które nigdy przeglądarki o nic nie pytały.\nUstaw politykę przeglądarki tam, gdzie zarządzasz maszyną. Na urządzeniu, które należy do ciebie, nie polegaj na kanarku. DnsOverHttpsMode w Chrome przyjmuje off, automatic i secure, a dokumentacja Google mówi, że gdy nie jest ustawiona, „for managed devices DNS-over-HTTPS queries will not be sent”32; Chrome wyłącza własne automatyczne DoH w chwili, gdy zobaczy politykę firmową17. Skieruj ją na swój resolver albo ustaw off i niech szyfrowanie niesie DDR. Firefox ma odpowiadające przełączniki Enabled, ProviderURL i Locked33. Zarządzana maszyna, zarządzana decyzja, i wiersz, który naprawdę możesz zamknąć.\nOdrzucaj alternatywy na granicy. Reguły są krótkie i wszystkie mówią to samo: DNS dowolnego rodzaju, na zewnątrz, tylko z twojego resolvera.\nReguła Skąd Efekt Zablokuj wychodzący port 53 Wszystko poza twoim resolverem Żadnego zwykłego DNS na zewnątrz Zablokuj wychodzący port 853 Wszystko poza twoim resolverem Żadnego DoT do zewnętrznego resolvera Zablokuj HTTPS do adresów publicznych resolverów DoH Wszystko poza twoim resolverem Odcina znanych dostawców DoH Skieruj upstream swojego resolvera na Protective DNS Twój resolver Domeny malware odrzucone przed połączeniem Nie złapiesz każdego endpointu DoH po adresie, i nie możesz, bo nowy to po prostu serwer WWW, a serwerów WWW jest bez końca. Zastanów się więc, ile ta blokada teraz kosztuje. Żeby zrobić dla DoH to, co block 53 outbound robiło za darmo, ściągasz listę adresów serwerów DoH, którą ktoś inny dla ciebie ciągle skanuje: utrzymywane blocklisty istnieją, bo to jedyny sposób, jaki został, a jedna z nich co godzinę rozwiązuje każdą znaną publiczną domenę DoH na jej aktualne adresy IP, zaplanowanym zadaniem, i publikuje zmiany34. Taką wymianę wymusiło obejście.\nBlokowanie zewnętrznego DNS Kiedyś, na porcie 53 Teraz, DoH na 443 Reguła jedna linijka: block 53 outbound subskrypcja blocklisty IP serwerów DoH Kompletność kompletna w chwili zapisania nigdy kompletna; ciągle pojawiają się nowe endpointy Utrzymanie żadne skanowana co godzinę, pobierana i stosowana ponownie Czego wymaga firewalla firewalla plus cudzego utrzymywanego feedu Zabezpieczenie, które było jedną statyczną linijką, jest teraz subskrypcją ruchomego celu, gonitwą za serwerami WWW, które każdy postawi szybciej, niż lista zdąży je nazwać. Protective DNS zamyka drugi koniec: skieruj upstream swojego resolvera na usługę filtrującą, jak PDNS od NCSC, który „was built to hamper the use of DNS for malware distribution and operation”35, a złe domeny zostaną odrzucone, zanim połączenie powstanie, dla każdego klienta, który przechodzi przez twój resolver, czyli, gdy te reguły są na miejscu, dla wszystkich.\nZestaw to z pięcioma wierszami z wcześniej, a każdy z nich ma zabezpieczenie, które go zamyka. Taki jest test naprawy: nie „czy zablokowaliśmy DoH”, tylko „dla każdej rzeczy, która może wybrać resolver, co powstrzymuje ją przed wybraniem złego”.\nKto wybiera resolver Co to zamyka System operacyjny DDR kieruje go na twój resolver; utrzymaj to Przeglądarka Polityka na zarządzanych maszynach; kanarek na reszcie Aplikacja / biblioteka Blokada na granicy dla 53, 853 i publicznych resolverów DoH Skrypt na stronie Ta sama blokada na granicy; Protective DNS na upstreamie Malware Ta sama blokada na granicy plus Protective DNS odrzucający domenę Nic z tego nie wyłącza ani jednego bitu szyfrowania. Klienci nadal dostają DoH, tylko od ciebie, a ci, którzy próbują dostać go skądinąd, odbijają się od ściany. Prywatność jest nietknięta, a kontrola wróciła. W związku z tym jedyne, co ktokolwiek stracił, to swoboda wyboru resolvera, którego nigdy nie zatwierdziłeś, a to nigdy nie należało do nich w sieci, za którą odpowiadasz.\nCzy mogę zapytać, co wybrało ten resolver Oto pytanie, które warto zadać każdemu, kto mówi ci, że sieć jest w porządku taka, jaka jest.\nKiedy maszyna w twojej sieci rozwiązuje nazwę, co zdecydowało, który resolver odpowiedział? Jeśli uczciwa odpowiedź brzmi „to, co dostał system”, dobrze, ale tylko jeśli zamknąłeś pozostałe cztery wiersze tamtej tabeli, bo inaczej brzmi ona „to, co dostał system, chyba że przeglądarka, aplikacja, strona internetowa albo coś paskudniejszego wybrało inaczej, a wtedy nie mam pojęcia ani zapisu”. To nie jest konfiguracja DNS. To nadzieja, a nadzieja niczego nie złapie.\nNie pytam, kto prowadzi resolver. Pytam, co na każdej maszynie może go wybrać i czy umiałbyś wymienić resolver, do którego wczoraj poszło każde zapytanie. W sieci, gdzie DoH nie jest zarządzany, nie umiesz, a luka to każda aplikacja z własnym resolverem, każda strona, którą otwiera użytkownik, i każdy kawałek malware, który przeczytał te same badania, które właśnie podlinkowałem. Trzech nazwanych sprawców zbudowało swoje kanały dokładnie na tej luce, a jeden odpowiada przed rządem.\nProtokół, który odbiera sieci wybór resolvera, zawsze musiał być prezentem dla tego, kogo sieć próbowała pilnować, a udawanie, że jest inaczej, bo marketing powiedział „prywatność”, to sposób, w jaki ważne zabezpieczenie zostaje domyślnie wyłączone, a nikt nie zapisuje dnia, w którym to się stało.\nSzyfruj swój DNS. Prowadź resolver sam. Ogłoś go, odpowiedz kanarkowi, ustaw politykę, zamknij granicę. Zachowaj szyfrowanie i zachowaj wybór. Możesz mieć jedno i drugie, a jeśli prowadzisz sieci zawodowo, posiadanie jednego i drugiego to twoja praca.\nPrywatność była słowem na pudełku Oddajmy więc honor tam, gdzie się należy. Dziękujemy ICANN, amerykańskiemu organowi, który trzyma root i współtworzył to od środka, za odegranie jeszcze raz amerykańskiego scenariusza technologicznego: weź problem, który już był rozwiązany, owiń poprawkę w szlachetne słowo i scentralizuj wynik w garstce amerykańskich firm, które kończą, trzymając otwarty tekst.\nI zawsze są to USA. Organ, który trzyma root, resolver, na który domyślnie wskazują teraz dwie przeglądarki, firma reklamowa prowadząca największy publiczny resolver, kraj, w którym ląduje otwarty tekst: za każdym razem amerykańskie. To wzór, nie seria pecha.\nPrywatność była zasłoną dymną. DNS był szyfrowany, prywatny i nadal dał się zarządzać na porcie 853 w 2016, i każdy, kto się liczył, o tym wiedział. To, co establishment dorzucił na wierzch, to protokół zbudowany, żeby oślepić jedyną osobę odpowiedzialną za sieć, niekończący się wyścig zbrojeń blocklist skanowanych co godzinę i nakazy sądowe, które zatrzymują się na przeglądarce.\nCzy to była nieudolność, czy chciwość, zostawiam tobie, choć zapis, który podlinkowałem, wskazuje w jedną stronę. Tak czy inaczej, wygrało ze zdrowym rozsądkiem.\nA takie decyzje jak ta są powodem, dla którego wezwania do odebrania roota ICANN wciąż wracają, i dlaczego trafiają: żeby społeczność międzynarodowa miała głos, zamiast instytucji jednego kraju decydującej o DNS za wszystkich innych i nazywającej to opieką.\nKiedyś robiliśmy to wszystko jedną linijką.\nRFC 8484 — DNS Queries over HTTPS (DoH), październik 2018. Wstęp podaje cel: „allowing web applications to access DNS information via existing browser APIs in a safe way consistent with Cross Origin Resource Sharing (CORS)”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\n360 Netlab — An Analysis of Godlua Backdoor, 1 lipca 2019. Zapisuje, że próbka „uses DNS over HTTPS to get the C2 name to ensure secure communication between the bots, the Web Server and the C2”. To pierwsze szeroko opisane malware nadużywające DoH.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nProofpoint — PsiXBot Now Using Google DNS over HTTPS, 6 września 2019. Opisuje malware rozwiązujące zaszyte domeny C2 przez usługę DoH Google i ostrzega, że to „should be a warning shot for the cybersecurity community as there are no simple solutions to help identify an infected host or the process of receiving instructions”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nKaspersky Securelist — APT trends report Q2 2020. O OilRig (APT34): narzędzie DNSExfiltrator „allows the threat actor to use the DNS over HTTPS (DoH) protocol [\u0026hellip;] instead of plain text requests to port 53, they would use port 443 in encrypted packets [\u0026hellip;] which allows DoH queries to Google and Cloudflare services”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Hacker News — ChamelDoH: New Linux Backdoor Utilizing DNS-over-HTTPS Tunneling for Covert CnC, 16 czerwca 2023, o odkryciu Stairwell (Daniel Mayer). Linuksowy implant ChamelGang w C++ to „a tool for communicating via DNS-over-HTTPS (DoH) tunneling”, wysyłający zapytania DNS TXT do fałszywych serwerów nazw przez legalnych dostawców DoH, tak że „both detection and prevention become difficult”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCISA — Malware Analysis Report: BRICKSTORM Backdoor, AR25-338a, 4 grudnia 2025. „For C2, BRICKSTORM uses multiple layers of encryption (HTTPS, WebSockets, nested Transport Layer Security [TLS]) to hide its communications with the cyber actors\u0026rsquo; C2 server. It also uses DNS-over-HTTPS (DoH)”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCisco Talos — New Dohdoor malware campaign, 26 lutego 2026. Backdoor, przypisany sprawcy UAT-10027, „securely sends encrypted DNS requests to Cloudflare\u0026rsquo;s DNS server over HTTPS port 443”, żeby rozwiązać nazwę swojego serwera sterującego, i atakuje amerykańską edukację i opiekę zdrowotną przez phishing.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 8484, sekcja 10, Operational Considerations: „Filtering or inspection systems that rely on unsecured transport of DNS will not function in a DNS over HTTPS environment due to the confidentiality and integrity protection provided by TLS.” Wpływ na filtrowanie w sieci jest zapisany w samym standardzie.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 8484, sekcja 9, Security Considerations: serwer DoH „can give a client invalid data in response to a DNS query”, a choć standard zabrania odpowiedzi od nieskonfigurowanych serwerów, „this prohibition does not guarantee protection against invalid data, but it does reduce the risk.” DoH zabezpiecza transport, nie autentyczność rekordu; to zadanie DNSSEC.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nOpenDNS — rekurencyjny resolver DNS założony przez Davida Ulevitcha w 2005/2006, zapewniający filtrowanie bezpieczeństwa (blokowanie phishingu i malware) i filtrowanie treści na resolverze dla użytkowników domowych i firm; przejęty przez Cisco w 2015, obecnie część Cisco Umbrella. Bezpieczeństwo DNS na poziomie resolvera jest dużo starsze niż DoH.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nUS-CERT / CISA — HTTPS Interception Weakens TLS Security, alert TA17-075A, 16 marca 2017. Ostrzega, że przechwytywanie HTTPS przez podstawianie lokalnie zaufanego certyfikatu i odszyfrowywanie ruchu osłabia bezpieczeństwo, bo wiele produktów przechwytujących nie weryfikuje poprawnie certyfikatów i obniża zabezpieczenia połączenia.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 7858 — Specification for DNS over Transport Layer Security (TLS), maj 2016. Streszczenie: „This document describes the use of Transport Layer Security (TLS) to provide privacy for DNS. Encryption provided by TLS eliminates opportunities for eavesdropping and on-path tampering with DNS queries in the network.” Współautor P. Hoffman (ICANN), który był też współautorem RFC 8484. DoT używa dedykowanego portu 853.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nPaul Hoffman (engineer) — „the author or co-author of over 80 Requests for Comments (RFCs)” i „currently a technologist at ICANN”; jego profil w IETF datatracker wymienia dorobek, w tym RFC 7858 (DoT), RFC 8484 (DoH) i RFC 8499 (terminologia DNS).\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Register — Firefox now defaults to DNS-over-HTTPS for US netizens, 25 lutego 2020. „Mozilla has started rolling out encrypted DNS-over-HTTPS (DoH) by default for US users”, z „the DNS resolver in Firefox to Cloudflare by default”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nBert Hubert (PowerDNS) — Centralised DoH is bad for Privacy, in 2019 and beyond, RIPE Labs. DNS jest „typically provided by the operator of a network”; scentralizowane DoH „by default” to „a net-negative for privacy for everyone”, bo strona trzecia „gets a complete log per device of all DNS queries, in a way that can even be tracked across IP addresses”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nGoogle — DNS-over-HTTPS (DoH) — JSON API. Google Public DNS, jeden z największych publicznych resolverów, prowadzi endpoint DoH (dns.google) obok własnej obsługi DoH w Chrome.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nChromium Blog — A safer and more private browsing experience with Secure DNS, maj 2020. „If you are an IT administrator, Chrome will disable Secure DNS if it detects a managed environment via the presence of one or more enterprise policies.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nTechCrunch — Internet group brands Mozilla \u0026lsquo;internet villain\u0026rsquo; for supporting DNS privacy feature, 5 lipca 2019 (kopia w Wayback). Nominacja ISPA mówiła, że DoH miałby „bypass UK filtering obligations and parental controls, undermining internet safety standards in the UK”; nominację i kategorię Internet Villain wycofano po fali krytyki.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nWeb blocking in the United Kingdom — lista obrazów wykorzystywania dzieci prowadzona przez Internet Watch Foundation i nakazy w sprawach praw autorskich na podstawie sekcji 97A Copyright, Designs and Patents Act 1988 są wdrażane przez ISP; „The technical measures used to block sites include DNS hijacking, DNS blocking, IP address blocking, and Deep packet inspection.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRząd Wielkiej Brytanii — Online Safety Act: explainer. „The Online Safety Act 2023 [\u0026hellip;] puts a range of new duties on social media companies and search services”, z „strongest protections [\u0026hellip;] designed for children”, w tym wymogami uniemożliwienia dzieciom dostępu do treści szkodliwych i nieodpowiednich dla wieku; egzekwowany przez Ofcom.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCopyright Act 1968 (Australia), sekcja 115A, „Injunctions relating to online locations outside Australia”: Sąd Federalny może nakazać dostawcy usług telekomunikacyjnych „take reasonable steps to disable access to the online location”, australijska forma blokowania stron po DNS i IP na poziomie ISP.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nEDRi — Portugal: \u0026ldquo;Voluntary\u0026rdquo; agreement against copyright infringements. Na mocy memorandum of understanding z 2015 właściciele praw zgłaszają sprawy do MAPINET, który przekazuje je regulatorowi IGAC, a „IGAC then contacts Internet Service Providers (ISPs) to restrict access to the websites through \u0026lsquo;Domain Name System (DNS) blocking\u0026rsquo;” w ciągu 15 dni roboczych, bez nakazu sądu.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nTorrentFreak — Italy Fines Cloudflare €14 Million for Refusing to Filter Pirate Sites on Public 1.1.1.1 DNS. W ramach włoskiego Piracy Shield AGCOM (zarządzenie 49/25/CONS) nakazał dostawcom DNS, w tym publicznemu resolverowi Cloudflare, blokowanie; Cloudflare, nazywając to „unreasonable and disproportionate”, odmówił i dostał karę €14 247 698, od której się odwołuje.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nTorrentFreak — DNS Piracy Blocking Orders: Google, Cloudflare, and OpenDNS Respond Differently, 11 maja 2025. Na mocy nakazów Canal+ dotyczących streamingu sportu we Francji i Belgii publicznym resolverom nakazano blokowanie: Cloudflare zwraca HTTP 451, Google po cichu odrzuca zapytanie, a OpenDNS „pulled the plug” na oba kraje, zamiast się podporządkować.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nTorrentFreak — Cloudflare Applauds Court for Rejecting DNS Piracy Blocking Order. W sprawie Universal Music przeciw Cloudflare (sprawa DDL-Music) sąd niższej instancji nakazał Cloudflare blokowanie na resolverze 1.1.1.1; Wyższy Sąd Krajowy w Kolonii odmówił rozciągnięcia obowiązku na resolver, który „contributes to the connection of internet domains in a purely passive, automatic and neutral manner”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nTorrentFreak — Dutch ISPs Must Block Pirate Bay Proxies and Mirrors Again, Court Rules, 15 października 2020. BREIN ma „dynamiczny” nakaz blokady wobec Ziggo, KPN i innych; sąd traktuje blokowanie DNS jako środek „clear and verifiable”, a nowe domeny i proxy dodaje się do blocklisty ISP na żądanie.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nComplete Music Update — OpenDNS pulls plug on France and Portugal after web-blocking injunctions. OpenDNS od Cisco: „Due to a court order in France issued under the French Sport code and a court order in Portugal issued under the Portuguese Copyright Code, the OpenDNS service is not currently available to users in France [\u0026hellip;] and in Portugal.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe American Presidency Project — White House Fact Sheet: Directive to Prevent the Unfair Exploitation of American Innovation, 21 lutego 2025. Memorandum poleca przedstawicielowi handlowemu USA rozważenie ceł w odpowiedzi na podatki cyfrowe i regulacje innych krajów, w tym UE i Wielkiej Brytanii, przedstawiane jako zawłaszczanie przez zagraniczne rządy „America\u0026rsquo;s tax base”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nA\u0026amp;O Shearman — FTC chairman warns major tech companies of censorship in EU DSA and UK Online Safety Act, o listach z 21 sierpnia 2025: „Compliance with the requirements of non-US laws, such as the requirements in the EU Digital Services Act (DSA) and UK Online Safety Act, may result in companies censoring content”, co według regulatora może kolidować z prawem USA.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 9462 — Discovery of Designated Resolvers (DDR), listopad 2023. Określa, jak klient odkrywa „a resolver\u0026rsquo;s encrypted DNS configuration” i na nią przechodzi, odpytując _dns.resolver.arpa o Designated Resolver sieci.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nMozilla — Canary domain — use-application-dns.net. „The canary domain only applies to users who have DoH enabled as the default option. It does not apply for users who have made the choice to turn on DoH by themselves.” Odpowiedź inna niż NOERROR z rekordem A/AAAA (na przykład NXDOMAIN albo SERVFAIL) sygnalizuje Firefoksowi wyłączenie DoH w aplikacji.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nGoogle — DnsOverHttpsMode policy. Wartości off, automatic i secure; „If this policy is unset, for managed devices DNS-over-HTTPS queries will not be sent.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nMozilla — Policy templates: DNSOverHTTPS. Enabled włącza lub wyłącza DoH, ProviderURL ustawia resolver, Locked „prevents the user from changing DNS over HTTPS preferences”, ExcludedDomains i Fallback dostrajają resztę.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\ndibdot/DoH-IP-blocklists — utrzymywana lista nazw domen i rozwiązanych adresów IPv4/IPv6 publicznych serwerów DoH, do blokowania na firewallu; skrypt wyszukujący „runs automatically every hour via GitHub actions” i aktualizuje listy adresów, gdy się zmieniają. jameshas/Public-DoH-Lists to drugi, generowany automatycznie odpowiednik. To, że muszą istnieć i być ciągle skanowane, jest właśnie sednem.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNCSC — Protective Domain Name Service (PDNS). „PDNS was built to hamper the use of DNS for malware distribution and operation [\u0026hellip;] a recursive resolver which prevents access to domains known to be malicious.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\n","permalink":"https://blogs.damiendye.uk/pl/dns/dns-over-https-walks-past-your-controls/","summary":"DNS over HTTPS szyfruje twoje zapytania, i to dobrze, i wysyła je do resolvera wybranego przez klienta na porcie 443, i to jest problem. Twój resolver nigdy nie widzi zapytania, więc blocklista, którą by zastosował, feed zagrożeń, który by trafił, i linia w logu, którą by zapisał, po prostu znikają. Ten wpis przechodzi przez mechanizm: dlaczego jedno szyfrowane połączenie webowe wśród tysięcy jest niewidoczne na granicy, kto na maszynie może wybrać resolver, którego ty nigdy nie wybrałeś (system operacyjny, przeglądarka, dowolna aplikacja, dowolny skrypt na dowolnej stronie i malware), oraz udokumentowane przypadki, od JavaScriptu strony odpytującego publiczny endpoint DoH, który zezwala na żądania cross-origin, przez Godlua i PsiXBot chowające swój kanał sterowania w DoH, po APT OilRig wyprowadzające nim dane. Potem teza, że historia o prywatności to przykrywka: DNS over TLS szyfrował DNS już w 2016, na porcie, którym operator sieci nadal może zarządzać, więc jedyne, co DoH dodaje, to pokonanie administratora, i dlatego zyskali producenci przeglądarek, którzy go napisali i wdrożyli, oraz firma reklamowa prowadząca największy publiczny resolver DoH. Potem naprawa, która nie polega na zakazie szyfrowania. Postaw własny resolver DoH i DoT, ogłoś go przez Discovery of Designated Resolvers, odrzucaj na granicy port 53, port 853 i znane publiczne resolvery DoH, i odpowiedz na kanarka Firefoksa, żeby przeglądarka się wycofała. Zachowaj szyfrowanie. Odbierz wybór resolvera. Na koniec skutki: ta sama egzekucja oparta na DNS działa w całej Europie i w Australii, a sądy we Włoszech, Francji, Belgii i Niemczech nakazują teraz blokowanie samym publicznym resolverom: Cloudflare ukarany grzywną i w apelacji, Google odmawia po cichu, OpenDNS wyłącza się dla całych krajów. Pod spodem leży wzór: amerykański projekt narzucony światu i amerykański rząd, który przedstawia prawo innych krajów jako wymuszenie na amerykańskich firmach i ostrzega je przed jego przestrzeganiem.","title":"DNS over HTTPS przechodzi prosto obok twoich zabezpieczeń"},{"content":"Klikasz link do lokalnej gazety i ładuje się nagłówek, potem zdjęcie, potem pierwsze trzy akapity, i zaczynasz czytać, zanim cokolwiek innego się wydarzy. Potem strona robi się pusta. Albo zamienia się w stertę linków bez stylów, z logo rozciągniętym na całą szerokość ekranu. Albo wysuwa się okienko, które każe ci zaakceptować śledzenie albo płacić 2,99 £ miesięcznie, bez trzeciego przycisku.\nArtykuł był na twojej maszynie. Serwer wydawcy przysłał go już w całości, tekst i arkusze stylów, a twoja przeglądarka już go narysowała. Zabrał go kod, który wydawca postanowił uruchomić potem, na twoim komputerze, kupiony od komercyjnego dostawcy, którego produktem jest odbieranie tego, co właśnie dostarczono.\nW domu mam Pi-hole1, który blokuje hosty reklamowe i śledzące dla każdego urządzenia w sieci. Na rosnącej liście brytyjskich serwisów informacyjnych to wystarczało, żeby strona została zniszczona. Więc 22 września 2026 zbudowałem rozszerzenie Chrome, które ma to zatrzymać, i nazwałem je Keep The Page. Kod jest na GitHubie w damo2929/browserplugin, na licencji MIT, a to jest opis tego, co robi, co znalazłem w tych stronach podczas budowy i poprawek, które pogorszyły sprawę, zanim pojawiła się właściwa.\nTo nie jest obejście paywalla. Jeśli serwer nigdy nie przysłał artykułu, nic tutaj go nie wyczaruje. The Times pozostał zamknięty i tak ma być. Rozszerzenie zatrzymuje to, co już ci przysłano.\nArtykuł przychodzi, a potem znika Z zewnątrz każdy z nich działa tak samo. HTML przychodzi kompletny, a potem skrypt, zwykle ładowany z hosta należącego do dostawcy, a nie do gazety, uznaje, że nie zasługujesz, żeby go zobaczyć, i go usuwa.\nCo usuwa i jak, zależy od tego, którego dostawcę kupił wydawca. Oto czterech, na których trafiłem, każdy odczytany z żywej strony w trakcie budowy:\nWydawca Co przychodzi Co strona potem robi sama sobie Newsquest (269 tytułów)2 cały artykuł buduje mur, uruchamia ładunek eval, wywołuje okno confirm() notebookcheck.net cały artykuł kasuje \u0026lt;body\u0026gt; po około 7 sekundach, potem okna dialogowe, potem pętla przeładowań National World (The Scotsman, Yorkshire Post)3 artykuł plus około 68KB własnego CSS co 100 ms kasuje każdy \u0026lt;link\u0026gt; i \u0026lt;style\u0026gt;, bez końca Reach plc (Mirror, Daily Record, Manchester Evening News, Liverpool Echo i inne)4 cały artykuł zasłania go komunikatem „zaakceptuj śledzenie albo płać 2,99 £/mies.” Liczba 269 nie pochodzi z komunikatu prasowego, który mówi o „ponad 200 markach”. To liczba domen na własnych certyfikatach TLS Newsquest, czyli lista, której rozszerzenie potrzebowało, żeby wiedzieć, gdzie działać.\nPrzypadek National World powinien najbardziej martwić wydawców, bo psuje stronę z powodów, które nie mają nic wspólnego z reklamą. Usuwacz arkuszy stylów ma partnera, który pobiera CSS z powrotem z hosta dostawcy. Mój Pi-hole blokuje ten host. Usuwanie więc zadziałało, a przywrócenie nigdy nie nadeszło, i własny układ gazety został na stałe uzależniony od tego, czy serwer dostawcy reklam jest osiągalny. To nie jest mur. To wydawca oddający wygląd własnej witryny komuś trzeciemu i niezauważający tego.\nCzy mogę zapytać, dlaczego arkusz stylów gazety musi czekać na serwer firmy reklamowej, zanim wolno mu zostać na stronie? Nie ma ku temu żadnego powodu po stronie czytelnika. Żadnego.\nDlaczego nazywam to malware Używam tego słowa celowo, jako opisu tego, co kod robi, a nie jako ustalenia prawnego wobec kogokolwiek. Ładunki anty-adblockowe spełniają zwykłe znaczenie tego słowa w czterech punktach, a każdy zaobserwowałem bezpośrednio:\nTest Co widziałem Działa bez zgody, wbrew twojemu interesowi nikt o niego nie prosił, a jego zadaniem jest zabrać treść, którą już masz Niszczy dane już ci dostarczone artykuł i jego CSS przychodzą nienaruszone, potem kod na stronie je kasuje Zaciemniony, żeby utrudnić czytanie permutowane tablice napisów w rodzaju o[293 * (r + 450) % e], wykonywane przez eval Unika blokowania i karze za ingerencję maskowanie CNAME, żeby ominąć listy blokujące DNS, kontrole antymanipulacyjne eskalujące do okna dialogowego albo pętli przeładowań Zaciemnianie to nie minifikacja. Zminifikowany kod jest mały. To jest kod ułożony tak, żebyś nie mógł grepem znaleźć, co robi, a ładunek jest potem przepuszczany przez eval, więc nic na dysku nie odpowiada temu, co się wykonuje.\nMaskowanie to znana technika z własną literaturą badawczą5. Loader jest pobierany z czegoś, co wygląda na subdomenę gazety, a ta nazwa rozwiązuje się do dostawcy:\na02342.\u0026lt;publisher-domain\u0026gt; -\u0026gt; cdn-52-x.privacy-mgmt.com (Sourcepoint) fb.html-load.com -\u0026gt; adshield-fallback-dev-wskxz.b-cdn.net Subdomena jest losowana osobno dla każdego tytułu. W związku z tym lista blokująca, która wymienia hosty, nie nadąża, i właśnie o to chodzi.\nA kod traktuje ingerencję jako dowód winy. Rozszyfrowane komunikaty błędów w ładunku, który opiekunowie list filtrów przypisują Ad-Shield6, to dosłownie Vital API blocked i Vital API blocked (eval). Loader Sourcepoint zapisuje atrybut, od razu go odczytuje i rzuca wyjątek, jeśli wartość się zmieniła:\nz.call(O,\u0026#39;src\u0026#39;,G), O[x](\u0026#39;src\u0026#39;) !== G \u0026amp;\u0026amp; throw E … catch (W) { try { await l(W) } catch (x) { o(W) } } // o() raises the dialog Sourcepoint sprzedawał to otwarcie. Jego własna dokumentacja mówiła „on average about 30% of messaged users will turn off their adblockers”7. Nie opisuję więc złośliwego skryptu, który ktoś przemycił. To produkt, kupiony i wdrożony celowo przez wydawcę.\nMury zgoda-albo-płać to inna kategoria i nie nazywam ich malware. Nie niszczą tego, co dostarczono, i nie ukrywają się przed listami blokującymi. Są przymusem w inny sposób, o czym jest następna sekcja.\nZaakceptuj 1467 partnerów albo zapłać 2,99 £ Mur na tytułach Reach to Quantcast Choice, teraz prowadzony przez InMobi8 i serwowany z cmp.inmobi.com. Daje dwie możliwości. Zaakceptuj albo płać 2,99 £ miesięcznie. Darmowego „nie” nie ma.\nAkceptacja udostępnia twoje dane 1467 wymienionym partnerom i zapisuje ciasteczko euconsent-v2, które żyje 13 miesięcy. Nikt nie czyta listy 1467 firm, nikt nie byłby w stanie ocenić, co każda z nich zrobiłaby z danymi, nawet gdyby ją przeczytał, a sama liczba mówi ci, o jaki rodzaj zgody tu chodzi.\nUK GDPR mówi, że zgoda musi być dobrowolna, a oceniając, czy była, sprawdza się, czy usługę uzależniono od zgody na przetwarzanie, którego ona nie potrzebuje9. ICO opublikowało wytyczne mówiące, że model zgoda-albo-płać może być zgodny z prawem10, wytyczne, które teraz według niego są w przeglądzie, a Europejska Rada Ochrony Danych stwierdziła, że w przypadku dużych platform oferujących tylko te dwie opcje w większości przypadków nie będzie11. Nie będę udawał, że regulator to zakazał. Nie zakazał.\nWięc powiem jasno, gdzie stoję. Postanowiłem usunąć mur i odmówić zgody. To znaczy, że czytam artykuł w darmowej gałęzi, nie płacąc i nie oddając swoich danych 1467 firmom. To decyzja. Rozszerzenie mówi to na własnej stronie ustawień i nie przebieram tego za coś neutralnego. Zgoda, której nie możesz odmówić, jest ceną, a ja nie zapłacę ceny przebranej za pytanie.\nUsunięcie okienka to łatwa jedna trzecia całości. Pozostałe dwie trzecie są w sekcji Porządna odpowiedź na pytanie o zgodę, bo baner, który skasujesz bez odpowiedzi, wraca za każdym razem.\nJeden dzień, osiem commitów Całość powstała w jeden dzień. Było kilka godzin grzebania w stronach, zanim cokolwiek trafiło do commita, a potem osiem commitów między 20:32 a 22:50. Zbudowałem to z Claude Code, a sporą część harówki, czyli czytania zaciemnionego skryptu inline linijka po linijce, wykonał agent, podczas gdy ja patrzyłem, co strony robią na ekranie. Ten podział zadziałał dobrze, a to, gdzie poszło źle, jest niżej, bo poszło źle w sposób, który warto znać.\nGodzina Commit 20:32 pierwszy commit: Newsquest, notebookcheck, National World, Reach, Page Six 20:46 dostawca stojący za każdym mechanizmem, wpisany do README 20:56 50 linków ze strony głównej Google News jako niewybrana próbka 21:02 odpowiedź w API zgody z odmową każdego celu 21:11 rozbrojone linki społecznościowe 22:50 przełączane zabezpieczenia, MSN i Bing, odmowa zgody kliknięciem, 77 testów To rozszerzenie Manifest V3 z dwoma uprawnieniami, declarativeNetRequest i storage, bez uprawnień do hostów i bez własnego dostępu do sieci, więc nie może niczego pobrać, przepisać odpowiedzi ani rozmawiać z serwerem w twoim imieniu. To ograniczenie ukształtowało projekt bardziej niż cokolwiek innego, bo ciekawa robota musi się dziać wewnątrz strony.\nDwa światy, jeden atrybut w dół i jedno zdarzenie w górę Kod strony i ustawienia rozszerzenia żyją w różnych światach Storage rozszerzenia chrome.storage.local zabezpieczenia kanały śledzenia ustawienia social ostatnie 50 błędów czytane i zapisywane przez stronę opcji Świat izolowany bridge.js social.js portal.js czyta chrome.storage nie dotknie własnych funkcji strony Świat strony (MAIN) walls.js guard.js portal-early.js opakowuje setTimeout, cookie, __tcfapi, window.adLight zero chrome.* W dół: atrybut na elemencie html, tylko to, co wyłączone \u0026lt;html data-ktp-off=\"cookies,dom\"\u0026gt; domyślna instalacja: nic nie zapisuje W górę: zdarzenie ktp-report detail: napis JSON obiekt nie przechodzi niezawodnie Chrome uruchamia skrypty rozszerzeń w dwóch światach. Świat strony sięga do własnego JavaScriptu strony, ale nie ma API rozszerzeń. Świat izolowany może czytać ustawienia, ale nie dotknie funkcji strony. Wszystko przechodzi między nimi jako atrybut w dół i zdarzenie w górę. Świat MAIN w Chrome dzieli własne środowisko JavaScriptu strony12. Skrypt w nim może podmienić setTimeout, opakować document.cookie albo zdefiniować window.adLight, zanim zrobi to strona, a dokładnie tego potrzeba do walki z tymi murami. W praktyce nie może wywołać chrome.storage. Świat izolowany może, ale nie widzi funkcji strony. Mały most czyta więc ustawienia i zapisuje je na \u0026lt;html\u0026gt;, a błędy wracają w górę jako CustomEvent, którego detail jest napisem JSON, bo obiekt nie przechodzi przez tę granicę niezawodnie.\nAtrybut idący w dół wymienia tylko to, co wyłączyłeś. Domyślna instalacja nie zapisuje na stronie zupełnie nic. To ważne, bo stały znacznik na \u0026lt;html\u0026gt; to właśnie coś, czego te SDK szukają, i oznacza to, że awaria storage psuje się w stronę obrony strony, a nie od niej.\nZnajdź bramkę, nie walcz z murem Poprawka dla Newsquest to dwie linijki rozumowania i to ona była miarą dla całej reszty.\nCały ich mur siedzi za jedną flagą na stronie:\nvar adLight = false; // line 1647 if (adLight !== true) { …} // line 2020: loader, eval payload, confirm() adLight to flaga subskrybenta „light ads”. Jeśli jest true, mur nigdy się nie buduje. Rozszerzenie definiuje więc window.adLight jako true przy document_start, zanim uruchomi się własny skrypt strony, z setterem, który ignoruje wszystko, co do niego zapisano:\nObject.defineProperty(window, \u0026#39;adLight\u0026#39;, { configurable: false, enumerable: true, get() { return true; }, set() { /* ignore the page\u0026#39;s \u0026#34;false\u0026#34; */ } }); var na początku skryptu nie redefiniuje właściwości, którą obiekt globalny już ma. Tylko ją przypisuje13. Własne var adLight = false strony wykonuje się więc, trafia na setter i nic nie robi. Loader muru nigdy nie startuje, ładunek eval nigdy nie przychodzi i nie ma kontroli antymanipulacyjnej do wywołania, bo niczym nie manipulowano. Flaga po prostu powiedziała tak.\nTo jedyna właściwość w całym rozszerzeniu, która jest niekonfigurowalna. Musi taka być, żeby przetrwać deklarację. Wszystko inne jest configurable: true, więc żadna strona nigdy nie ma żadnego ze swoich API przejętego na dobre.\nObejmuje 269 tytułów i nie da się jej wyłączyć w ustawieniach, które mówią dlaczego: działa, zanim chrome.storage zdąży odpowiedzieć, a raz ustawionej nie da się cofnąć. Pole wyboru byłoby dekoracją.\nKażda poprawka, która pogorszyła sprawę To jest użyteczna sekcja, bo każdy błąd tutaj to oczywista rzecz do spróbowania.\nCo próbowałem Co się stało Zablokować host loadera host to losowy CNAME pierwszej strony dla każdego tytułu; a nieudane pobranie samo jest sygnałem wykrycia Pilnować setAttribute na wstrzykniętych skryptach wyzwoliło kontrolę odczytu Sourcepoint, która wywołała okno, które miało zostać zatrzymane Odpowiedzieć na confirm() przez Anuluj w tym SDK Anuluj znaczy przeładuj, więc wyszła nieskończona pętla przeładowań Zrobić migawkę \u0026lt;body\u0026gt; przy DOMContentLoaded, żeby potem przywrócić mur czyści stronę w trakcie parsowania, więc migawka była pustym body Pilnować remove() i removeChild() mur czyści stronę jednym innerHTML = '', a nie węzeł po węźle Pilnować wszystkiego naraz na notebookcheck mur eskalował do okna, potem do pętli przeładowań; zdecydowanie gorzej niż nic nie robić Przekierować host dostawcy na lokalny stub reguła redirect przy samym declarativeNetRequest unieważniła cały ruleset, po cichu zabijając regułę Newsquest na 269 stronach Uruchamiać zabezpieczenia strony na każdej witrynie łatało globalne prototypy na każdej odwiedzanej stronie, łącznie z moim bankiem To z przekierowaniem warto obejrzeć drugi raz. Chrome daje regule block niejawny dostęp, a na cokolwiek więcej chce uprawnień do hosta14. Jego dokumentacja mówi, że nieprawidłowe reguły statyczne są ignorowane15. To, co zobaczyłem, było gorsze: zniknął cały plik, bez żadnego błędu na stronie, a reguła 1 po prostu przestała istnieć na 269 witrynach. Dlatego dwie reguły dla MSN żyją teraz we własnym rulesecie, żeby zła edycja jednej nie mogła położyć drugiej.\nPętla przeładowań nauczyła drugiej twardej zasady. location.reload nie da się przechwycić. Obiekt Location jest w standardzie HTML niepodrabialny16, więc jego metody są nie do zapisania i nie do skonfigurowania, a próba daje ci:\nObject.defineProperty(location,\u0026#39;reload\u0026#39;,...) -\u0026gt; TypeError: Cannot redefine property: reload Żadnego muru, którego ścieżka awaryjna brzmi „przeładuj stronę”, nie da się zatrzymać, kiedy już jest na tej ścieżce. Nic tego nie zrobi. Jedyna poprawka to dopilnować, żeby nigdy tam nie dotarł. To ta sama lekcja co z adLight, wyuczona boleśnie: każda próba walki z murem, który już działa, pogarszała sprawę, a każda poprawka, która zadziałała, nie pozwalała murowi wystartować.\nSzkodę zrobił jeden timer notebookcheck nie ma adLight. Mur działa zawsze. Z włączonym śledzeniem rozszerzenie pokazało, co planuje:\ndropped setTimeout(7005ms) scheduled from eval \u0026lt;- the body.remove() dropped setTimeout(1251ms) / 105ms / 0ms x8 dropped setInterval(15000ms) Jeden z tych timerów robi całą szkodę: ten po 7 sekundach, który usuwa \u0026lt;body\u0026gt;. Wszystko po nim to reakcja, bo pusta strona rzuca wyjątek, wyjątek wywołuje okno, okno przeładowuje stronę i całość zaczyna się od początku ze świeżym zestawem timerów.\nPoprawka to więc jedna reguła. Porzuć timer, jeśli zaplanowano go z kodu przepuszczonego przez eval, strona nosi sygnaturę tego SDK, a handler jest funkcją. Stos mówi ci, skąd przyszło wywołanie, a eval zostawia w nim swój ślad.\nbefore: 4 page loads, 3 confirms, reload loop after: 1 page load, 0 confirms, alive 40,378ms, content intact Jeden timer i wszystko, co po nim następuje notebookcheck: szkodę robi jeden timer, reszta to reakcja Jak serwowane artykuł i CSS narysowane loader z html-load.com ładunek eval planuje timery 7,0 s: timer rusza body.remove() pusta strona rzuca, wywołane confirm() przeładowanie i start od nowa 4 ładowania, 3 okna, pętla przeładowań Z rozszerzeniem artykuł i CSS narysowane loader z html-load.com ładunek eval planuje timery każdy timer eval od razu porzucony 1 ładowanie, 0 okien, żyje po 40 sekundach notebookcheck bez rozszerzenia i z nim. Nic za 7-sekundowym timerem nie wymaga naprawy, bo nic z tego się nie dzieje, kiedy ten timer zostanie porzucony. W tamtym momencie w kodzie były jeszcze dwa inne mechanizmy: przekierowanie loadera na stub i element-wabik do wchłaniania zapisów muru. Oba działały i oba leczyły objawy tego jednego timera, co stało się oczywiste dopiero wtedy, gdy reguła timera została przetestowana sama i okazała się wystarczająca. Oba więc wyleciały, a ich usunięcie zabrało ze sobą jedno uprawnienie i wszystkie uprawnienia do hostów. Zawsze sprawdź, czy sama ostatnia zmiana załatwia sprawę, zanim zostawisz rusztowanie wokół niej.\nSygnatura to atrybut data-sdk na tagu loadera i dopasowuje kształt, l/\u0026lt;n\u0026gt;.\u0026lt;n\u0026gt;, a nie wersję. W jeden dzień pojawiły się trzy wersje. Raz złapana zostaje i nigdy nie zapamiętuje wyniku negatywnego, bo tag loadera może nie być jeszcze sparsowany, kiedy planowane są pierwsze timery, a zapamiętane „nie” rozbroiłoby ją na dobre na stronie, która ten mur jednak ma.\nSonda mówiła, że jest dobrze. Ekran nie The Scotsman i Yorkshire Post zostały zgłoszone jako naprawione na podstawie sondy, która mierzyła tekst. Strona miała go 8808 znaków, 22 elementy pod \u0026lt;body\u0026gt;, stabilnie po 2, 8 i 16 sekundach. Według tej miary była nienaruszona.\nNie była. Patrzyłem na nią, a każdy arkusz stylów zniknął, linki były surową listą, logo SVG wypełniało ekran i był poziomy pasek przewijania. Wszystkie słowa były na miejscu, a tylko to ta sonda mogła widzieć. Musiałem wskazać na ekran i to powiedzieć.\nCo zmierzyła sonda, a co było na ekranie Yorkshire Post przed poprawką: ta sama strona, zmierzona na dwa sposoby Co zmierzyła sonda innerText.length8808 dzieci body22 po 2 s, 8 s, 16 sbez zmian Werdykt: nienaruszona Co było na ekranie document.styleSheets.length0 linki jako surowa lista, logo na całą szerokość, poziomy pasek przewijania Werdykt: zepsuta Po porzuceniu usuwacza w chwili planowania: 2 arkusze stylów, 532 reguły, strona się renderuje Ta sama strona zmierzona na dwa sposoby. Długość tekstu mówiła, że strona jest zdrowa. Liczba arkuszy stylów mówiła, że jest zepsuta, i liczba arkuszy stylów miała rację. Przyczyną był usuwacz z pierwszej tabeli i nie pasował do reguły timera, bo to zwykły skrypt inline, a nie eval. Sygnaturą jest więc jego własne źródło: powtarzane zadanie, którego treść wywołuje querySelectorAll('link,style'), a potem remove(). Nic uczciwego tego nie robi. Zostaje porzucone w chwili planowania, nic nigdy nie jest usuwane i nic nie wymaga przywracania. Yorkshire Post przeszedł z 0 arkuszy stylów do 2, z 532 regułami, i się wyrenderował.\nZnalezienie tego wymagało śladu stosu, a nie zgadywania. Załataj Element.prototype.remove tak, żeby logował stos za każdym razem, gdy usuwa STYLE albo LINK, a za pierwszym razem wskazał skrypt inline i forEach.\nOd tamtej pory document.styleSheets.length trafiło do każdej kontroli. Strona bez arkuszy jest zepsuta, ile by tekstu nie miała. Mierzenie jest trudniejsze, niż by się wydawało, a to są pułapki, które złapały budowę tego dnia:\nPułapka Co mówiła Jak było naprawdę długość tekstu jako kontrola renderowania „nienaruszona” markup bez stylów jedna próbka po załadowaniu mury Reach „nieobecne” na ośmiu tytułach mur żyje około 600 ms i był już sprzątnięty pusta konsola po nawigacji „zabezpieczenie nie działa” komunikaty z ładowania nie przeżywają nawigacji próbkowanie po 1 s i 4 s notebookcheck zdrowy czyści stronę po 5 do 8 sekundach cssRules liczone między originami ESPN miał 5 reguł arkusze z innych originów rzucają wyjątek, więc wychodzi za mało Poprawka na te 600 ms to odpytywanie co 100 ms od chwili, gdy strona się ładuje. Na Wales Online mur pojawił się po 425 ms i zniknął po 1129 ms.\nPotem kontrole przeprowadzono naprawdę. 52 artykuły w 26 domenach, po dwa na witrynę, dobrane tak, żeby pokryć każdy mechanizm: 52 z 52 z arkuszami stylów, żadnego muru na ekranie, żadnych pętli przeładowań. Potem 50 linków prosto ze strony głównej Google News UK, nie wybranych przeze mnie: 45 wyrenderowało się normalnie, 2 to były hosty, które mój Pi-hole celowo blokuje, 1 to był prawdziwy paywall The Times, a 2 to ten sam artykuł trafiony dwa razy, bo Google przebudowuje kolejność linków przy każdym ładowaniu. Żadnego z zerem arkuszy. W tym przebiegu trafiły się trzy tytuły National World, których nigdy nie testowałem, z tym samym SDK, i wszystkie trzy się wyrenderowały, a do tego właśnie służy dopasowywanie kształtu zamiast listy witryn.\nJest 77 testów jednostkowych, w repozytorium razem z całą resztą. Na tej maszynie nie ma Node, więc uruchamiają się na gjs, i ładują prawdziwe walls.js na zastępczym DOM, więc testowane są wzorce produkcyjne. Każdy został sprawdzony przez zepsucie tego, czego pilnuje, i patrzenie, jak robi się czerwony. Testują wyłącznie decyzje. To, że przechodzą, nie znaczy, że strona się renderuje, i właśnie przez Scotsmana to zdanie jest w README.\nPorządna odpowiedź na pytanie o zgodę Skasowanie banera zgody zostawia pytanie bez odpowiedzi. Ma to dwie konsekwencje, a pierwsza jest taka, że baner jest budowany od nowa przy każdym ładowaniu strony. A wydawca, który wstrzymuje treść, dopóki API zgody nie odpowie, po prostu zawiśnie, podczas gdy dostawca, który nie dostał odpowiedzi, może uznać, że pytania nigdy nie zadano. Milczenie to nie odmowa.\nRozszerzenie więc odpowiada, w tej kolejności:\nOdmów, odpowiedz nie, nic nie zapisuj, dopiero potem usuń Na baner zgody się odpowiada, a nie tylko go kasuje Na ekranie jest własny kontener dostawcy zgody #qc-cmp2-container #onetrust-consent-sdk sp_message_container 1. Wciśnij ich odmowę Reject all, Decline, Only essential, Continue without accepting tylko cała etykieta, maks. 40 znaków pasuje do Accept: budowa pada 2. Odpowiedz API: nie __tcfapi każdy cel, funkcja i dostawca odrzuceni tcString \"\" tcloaded 3. Nigdy nie zapisuj rekordu euconsent-v2 addtl_consent OptanonConsent didomi_token zapisy cookie i localStorage są odrzucane Wciąż na ekranie w następnym takcie? tak: usuń, odblokuj przewijanie nie: odmowa obowiązuje Trzy odpowiedzi i plan awaryjny. Przycisk odmowy zostaje wciśnięty, jeśli jest, API zgody słyszy „nie” na wszystko, rekord nigdy nie jest zapisywany, a usuwany jest tylko baner, który wciąż stoi w następnym takcie. Najpierw wciska ich przycisk odmowy. Tylko przyciski, których cała etykieta jest odmową: „Reject all”, „Decline”, „Only essential”, „Continue without accepting” i kilka innych, każda zakotwiczona, wszystko powyżej 40 znaków ignorowane. Test jednostkowy podaje mu „I Accept”, „Accept All”, „Agree and close”, „Allow all”, „Got it”, „Subscribe” i „Pay £2.99/mo” i przerywa budowę, jeśli którakolwiek pasuje. Kliknięcie złego przycisku wyraziłoby zgodę w twoim imieniu, a to jedyna rzecz, której ten projekt nigdy nie może zrobić. Na msn.com wciśnięcie „Reject All” pozbyło się banera Microsoftu i nie wrócił po przeładowaniu, bo Microsoft trzyma odmowę na własnych serwerach.\nOdpowiada w API zgody „nie”. Framework IAB daje każdej stronie zbierającej zgodę funkcję o nazwie __tcfapi, żeby zapytać, na co się zgodziłeś17. Tam, gdzie istnieje, rozszerzenie odpowiada odmową każdego celu, każdej funkcji specjalnej i każdego dostawcy, pustym napisem zgody i eventStatus: 'tcloaded', co oznacza, że odpowiedź jest ostateczna. Pojawia się tylko tam, gdzie framework zgody już jest na stronie, więc witryna, która nigdy nie pytała, tego nie widzi.\nNigdy nie zapisuje rekordu. document.cookie i localStorage po cichu odrzucają euconsent-v2, addtl_consent, OptanonConsent, didomi_token i resztę, więc zgoda, której nigdy nie dałeś, nigdy nie zostaje zapisana ani odtworzona 1467 partnerom na następnej stronie. Brytyjskie prawo już wymaga zgody, zanim cokolwiek w tym celu zostanie zapisane na twoim urządzeniu18. Rozszerzenie egzekwuje to „nie”.\nKażda nazwa na tej liście jest zakotwiczona z obu stron, i stoi za tym historia. Ciasteczka Sourcepoint zaczynają się od _sp_. Leniwy wzorzec sp_ pasuje też do sp_dc i sp_t Spotify, które są sesją logowania, i wylogowywałby mnie ze Spotify na każdej stronie. Test pilnuje i tego.\nUsuwanie to plan awaryjny. Tylko dla banera, który wciąż jest na ekranie po kliknięciu, i tylko dla banera, który faktycznie się wyświetla. Kilku dostawców zostawia na stronie stały wrapper, niezależnie od tego, czy baner jest widoczny. euronews trzyma hosta Didomi o zerowej wysokości, a wyrwanie go psuje stronę bez żadnego zysku. Ten od Reach siedział trzy poziomy pod \u0026lt;body\u0026gt; w dwóch wrapperach, które same nie są fixed, więc kontrola musi zejść w dół do okienka, które jest.\nPrzyciski udostępniania i portal, który ignoruje własne ustawienia Dwie kolejne rzeczy na tych stronach istnieją, żeby służyć komuś innemu niż czytelnik, i wymagały innego potraktowania niż mury.\nPrzyciski udostępniania i obserwowania. Każdy link do Facebooka, Instagrama, X, TikToka czy LinkedIna jest przepisywany na http://localhost/removeme, a oryginał trafia do atrybutu, żeby nic nie przepadło. Potem drugi przebieg kasuje to, co jest ewidentnie wyposażeniem (ikona bez tekstu, „Share on X”, cokolwiek w kontenerze, który nazywa siebie share albo social), a resztę ukrywa. Znacznik jest po to, żeby jeden selektor pokazał wszystko, co ma zniknąć, a tryb samego oznaczania zatrzymuje się po pierwszym przebiegu, żebyś mógł popatrzeć, zanim zaufasz mu na danej witrynie.\nNaiwna wersja psuje strony na trzy sposoby i każdy z nich jest teraz testem:\nNaiwna wersja Co psuje Co robi się zamiast tego a[href*=\u0026quot;x.com\u0026quot;] pasuje też do netflix.com, linux.com, phoenix.com sparsuj host i porównuj całe etykiety usuń każdy link społecznościowy znika „Continue with Facebook” i ludzie zostają odcięci linki do logowania, OAuth, prawne i deweloperskie zostają nietknięte usuń link w zdaniu słowa znikają razem z nim domyślnie ukryj; opcja go rozpakowuje i zostawia słowa Ten ostatni to kompromis, na który poszedłem świadomie. Pożegnanie BBC przy włączonej opcji brzmi „follow BBC Manchester on , , and .”. Popatrzyłem na to i i tak wybrałem ukrywanie. Opcja zachowania słów jest dla każdego, kto się nie zgadza.\nMSN i Bing. Oba napędzają te same web components, na stronie głównej około 160 shadow rootów. Zwykłe zapytanie do dokumentu znalazło 1 link. Przejście po shadow rootach znalazło 73, w tym kafelki Facebooka i X. Cokolwiek po nich nie przechodzi, nie widzi prawie nic.\nMSN ma własne ustawienia treści. Są trzymane na serwerach Microsoftu przy anonimowym ID, a nie w ciasteczku, więc znikają po wyczyszczeniu ciasteczek, w nowym profilu i w trybie incognito. Do Binga w ogóle nie sięgają. A przy wszystkich wyłączonych i 11 700 pikselach przewinięcia w kanale wciąż było to:\nWłasny przełącznik MSN, wyłączony Wciąż na stronie Casual Games kafelek gier Shopping kafelki reklamowe Booking, Temu i eBay Comments 501 linków do komentarzy Weather, Finance, Sports zniknęły, do następnego czyszczenia ciasteczek Przełącznik podpisany Comments, który zostawia na stronie 501 linków do komentarzy, to deklaracja złożona użytkownikowi, i to fałszywa. Rozszerzenie więc samo je usuwa, celując w stabilne nazwy komponentów MSN, a nie w nazwy klas, które zmieniają się przy każdym buildzie.\nJedna rzecz, której się tam nauczyłem, a która dotyczy dużo więcej niż MSN: usunięcie obrazka ze strony nie zatrzymuje jego ładowania. Chrome zaczyna pobieranie w chwili ustawienia src, nawet dla obrazka, który nigdy nie trafił na stronę19. Zanim skrypt treści zobaczy kartę, jej miniatura już jest w drodze. Dane kanału są więc blokowane na dwóch endpointach, które je serwują, a nigdy na hostach obrazków, bo th.bing.com obsługuje też wyszukiwanie obrazów Binga.\nA kanał MSN wciąż na chwilę mignie na ekranie, zanim zniknie. Cztery próby wcześniejszego ukrycia go wszystkie zmierzyły się jako działające i żadna nie zatrzymała mignięcia, co znaczy, że to, co się maluje, nie jest tym, co rozszerzenie ukrywa. Strona ustawień mówi to otwarcie. Wolę, żeby to mówiła, niż sugerowała czyste ładowanie, którego nie zapewnia.\nCzego nie zrobi Nie zrobi Bo nie otworzy prawdziwego paywalla jeśli serwer wstrzymuje artykuł, ten zostaje wstrzymany nie zgaduje witryn domena trafia na listę dopiero, gdy widziano tam jej mur; dwie witryny News Corp, które miały pasować do Page Six, nie pasowały i znów wyleciały nie rusza witryny bez sygnatury na BBC każdy hook jest zainstalowany i nic nie jest logowane, żaden timer porzucony, żaden węzeł ruszony nie dzwoni do domu bez uprawnień do hostów, bez dostępu do sieci, bez telemetrii; log błędów zostaje w twojej przeglądarce nie udaje mignięcie MSN jest nierozwiązane, a jeden wariant Ad-Shield, wp-ls/…, jeszcze nie pasuje; jego strona wyrenderowała się dobrze, więc jest zapisany, a nie poprawiony na zgadywanie Strona, którą ci przysłano, jest twoja Kiedy serwer przyśle twojej przeglądarce stronę, ta kopia jest na twojej maszynie. Uruchamianie na niej potem kodu, żeby ją zabrać, to nie jest model biznesowy, który uznaję. To stara sztuczka: sprzedać ci coś, a potem trzymać na tym rękę.\nGazeta była kiedyś czymś, co się kupowało i potem miało: ktoś na rogu ulicy miał stos, dawałeś pieniądze, a ona szła z tobą do domu i była twoja do czytania, składania, pożyczania albo rozpalania w kominku. Nikt nie przychodził godzinę później do domu wyciąć drugiej strony, bo pominąłeś reklamy. Wersja internetowa rozdała gazetę za darmo, a potem sprzedała czytelnika. Najpierw reklamodawcom, potem 1467 partnerom, a teraz dostawcy, którego cały produkt polega na decydowaniu, czy zachowałeś się dość dobrze, żeby zatrzymać to, co ci dano.\nRzecz, której nie potrafię przełknąć, to arkusz stylów. Gazeta, która pozwala serwerowi firmy reklamowej decydować, czy jej własny układ przetrwa, oddała własną pierwszą stronę. Nie będzie o tym wiedziała, bo nikt w środku nie blokował tego hosta, więc pierwszą osobą, która się dowiedziała, był czytelnik z Pi-hole, patrzący na stronę pełną surowych linków i słyszący od okna dialogowego, że to jego wina. Nie była.\nDziennikarstwo ma swoją cenę i nie mam problemu, żeby ją płacić. Na co się nie zgodzę, to na to, żeby skrypt decydował, co już dostałem. Ta granica jest wyznaczana w mojej przeglądarce, nie w ich.\nPi-hole documentation — „The Pi-hole® is a DNS sinkhole that protects your devices from unwanted content, without installing any client-side software.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNewsquest — About us — „We are the leading local news publisher in the UK with a portfolio of more than 200 brands.” Marki to nie domeny, stąd wyższa liczba z certyfikatów.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nDaily Business, 18 grudnia 2024 — „National World, owner of The Scotsman and Yorkshire Post, has reached agreement on a £65.1 million takeover by Irish publisher Media Concierge.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nReach plc — About us, zarchiwizowane 5 września 2026 — „120+ brands, from household names like the Mirror, Express, Daily Record and Daily Star, to local titles like MyLondon, BelfastLive and the Manchester Evening News”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nDimova et al., \u0026ldquo;The CNAME of the Game: Large-scale Analysis of DNS-based Tracking Evasion\u0026rdquo;, PETS 2021 — maskowanie CNAME „effectively bypasses antitracking measures that rely on fixed hostname-based block lists.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nuBlockOrigin/uAssets issue #30988, zgłoszone pod etykietą opiekunów „Ad-Shield”, z komunikatem serwowanym z error-report.com: „Failed to load website properly since html-load.com is blocked.” Zobacz też Jacob Desforges, \u0026ldquo;Ad-Shield ad reinsertion\u0026rdquo;, 12 kwietnia 2026. Przypisanie pochodzi od społeczności list filtrów; dostawca niczego nie ujawnia.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nSourcepoint — Anti-adblock FAQs, zarchiwizowane 25 maja 2022 — „Historical experience shows on average about 30% of messaged users will turn off their adblockers.” Ta sama strona pyta, czy „a CNAME applied to a 1st-party subdomain” powstrzymałby blokowanie skryptu wykrywającego.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nAdExchanger, 16 sierpnia 2023 — „InMobi acquired Quantcast’s consent management platform, called Quantcast Choice”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nUK GDPR, Article 7 — „utmost account shall be taken of whether, inter alia, the performance of a contract, including the provision of a service, is conditional on consent”. Recital 42: zgoda nie jest dobrowolna, „if the data subject has no genuine or free choice”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nICO — Consent or pay, opublikowane 23 stycznia 2025 — „«Consent or pay» models can be compliant with data protection law if you can demonstrate that people can freely give their consent”. Strona mówi teraz, że wytyczne są w przeglądzie po uchwaleniu Data (Use and Access) Act.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nEDPB Opinion 08/2024, przyjęta 17 kwietnia 2024 — „In most cases, it will not be possible for large online platforms to comply with the requirements for valid consent if they confront users only with a binary choice”. Dotyczy dużych platform internetowych, a nie gazet regionalnych.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nChrome for Developers — content_scripts manifest key — „Choosing the «MAIN» world means the script will share the execution environment with the host page\u0026rsquo;s JavaScript.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nECMAScript — CreateGlobalVarBinding — „If a binding already exists, it is reused and assumed to be initialized.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nChrome for Developers — declarativeNetRequest — „provides implicit access to allow , allowAllRequests and block rules”, a w pozostałych przypadkach „you must request host permissions before you can perform any action on a host.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nChrome for Developers — declarativeNetRequest — „Errors and warnings about invalid static rules are only displayed for unpacked extensions. Invalid static rules in packed extensions are ignored.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nHTML Standard — the Location interface oznacza swoje składowe jako [LegacyUnforgeable], co w Web IDL znaczy „the property will be non-configurable and will exist as an own property on the object itself”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nIAB Tech Lab — TCF v2 CMP API — „Every consent manager MUST provide the following API function: __tcfapi(command, version, callback, parameter)”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nPECR, regulation 6 — „a person must not store information, or gain access to information stored, in the terminal equipment of a subscriber or user”, ze zgodą jako warunkiem w Schedule A1, w brzmieniu zmienionym przez Data (Use and Access) Act 2025.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nHTML Standard — update the image data — uruchamia się „whenever that element is created or has experienced relevant mutations”, w tym przy ustawieniu src; bycie w dokumencie nie jest warunkiem.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\n","permalink":"https://blogs.damiendye.uk/pl/random/the-news-site-sent-me-the-article-then-deleted-it/","summary":"Newsquest, National World, Reach i inni wysyłają twojej przeglądarce kompletny artykuł z arkuszami stylów, a potem uruchamiają komercyjny kod anty-adblockowy i zgodowy, który czyści stronę, co 100 ms kasuje każdy arkusz stylów albo zasłania ją wyborem między 1467 partnerami śledzącymi a 2,99 £ miesięcznie. Tu jest opisane, co ten kod robi, cztery powody, dla których nazywam go malware, i rozszerzenie Chrome, które zbudowałem w jeden dzień, żeby zatrzymać stronę: przypięcie flagi adLight Newsquest, zanim mur się zbuduje, porzucanie timerów zaplanowanych z eval, zabicie usuwacza arkuszy stylów w chwili planowania i porządna odmowa zgody przez odpowiedź „nie” w API TCF, wciśnięcie przycisku odmowy samego dostawcy i niezapisywanie rekordu. Dalej poprawki, które pogorszyły sprawę, sonda, która twierdziła, że zepsuta strona jest w porządku, przyciski udostępniania i kanał MSN, i czego rozszerzenie nie zrobi.","title":"Serwis informacyjny przysłał mi artykuł, a potem go skasował"},{"content":"Od węgla do zera w czternaście lat Dashboard National Grid prowadzony przez Kate Morley pozwala ustawić okno czasowe i patrzeć, jak liczby się ruszają.1 Dane zaczynają się w 2012, który akurat był szczytem węgla, więc kolumna „cały okres” to całe sprzątanie w jednej liczbie.\nCały okres (2012–) Ostatni rok Ostatni tydzień Ostatnia doba Emisyjność 251 g/kWh 124 g/kWh 98 g/kWh 67 g/kWh Węgiel 12,4% 0,0% 0,0% 0,0% Gaz 33,5% 27,0% 21,2% 15,9% Wiatr 19,5% 34,8% 46,0% 64,1% Słońce 3,7% 7,4% 8,3% 11,1% Atom 18,3% 12,0% 12,0% 12,9% Paliwa kopalne razem 45,8% 27,0% 21,2% 15,9% OZE razem 24,4% 43,6% 55,8% 76,6% Zapotrzebowanie 32,6 GW 30,9 GW 28,4 GW 25,8 GW Cena £70,13/MWh £92,77/MWh £125,01/MWh £27,18/MWh Wiatr jest teraz największym pojedynczym źródłem elektryczności w Wielkiej Brytanii. 34,8% przez cały rok, wobec 27% gazu i 12% atomu. Nie w dobry dzień. Dwanaście miesięcy.\nWęgiel to zero. Nie mało. Zero, przez rok. Ostatnia elektrownia została zamknięta 30 września 2024, sto czterdzieści dwa lata po tym, jak pierwsza na świecie ruszyła w Londynie w styczniu 1882, co znaczy, że ten kraj wynalazł energetykę węglową, a potem spędził większą część półtora wieku, zanim zabrał się do jej wyłączenia.1 Emisyjność spadła o połowę względem średniej z czternastu lat, z 251 do 124. Połowa, w czternaście lat.\nZapotrzebowanie, które zniknęło Spójrz jeszcze raz na wiersz zapotrzebowania. 32,6 GW w długiej średniej, 30,9 w ostatnim roku. Spada od dwudziestu lat, o mniej więcej 5 TWh rocznie od 2005.\n2005 2023 Zapotrzebowanie gospodarstw domowych 126 TWh 93 TWh Zapotrzebowanie przemysłu 117 TWh 86 TWh Przeciętne gospodarstwo domowe 4662 kWh (2007) 3449 kWh Gospodarstwa domowe spadły w tym okresie o 33 TWh, a w tym samym czasie kraj podłączył półtora miliona aut elektrycznych i ćwierć miliona pomp ciepła.2 Dużą część tej roboty wykonały unijne przepisy Ecodesign; same regulacje oświetleniowe zaoszczędziły w UE w 2020 roku 81 TWh.3 Efektywność nie tylko wchłonęła auta elektryczne, ona je zalała.\nDwa zastrzeżenia, bo z tym się przesadza. Zapotrzebowanie przemysłu też spadło, ze 117 TWh do 86, i to głównie przez zamykane fabryki, a nie fabryki, które zmądrzały. A spadek się skończył. 2024 był pierwszym rokiem od prawie dwóch dekad, w którym zapotrzebowanie znów wzrosło.2\nAuta, które miały to zepsuć Oto flota, którą sieć wchłonęła, prosto z tabel licencyjnych DVLA. Pojazdy w pełni elektryczne zarejestrowane w Wielkiej Brytanii na koniec każdego roku.4\nRok Osobowe Dostawcze Autobusy Ciężarowe Motocykle Razem 2015 20 472 4786 194 314 917 26 756 2017 41 222 6401 303 283 1046 49 334 2019 89 581 10 479 504 269 2790 103 724 2021 374 597 28 245 1295 331 9118 413 908 2023 916 576 64 988 3188 732 14 142 1 000 092 2024 1 266 421 84 959 4821 983 14 039 1 371 779 2025 1 708 499 111 837 7450 1472 13 460 1 843 395 Osobowych jest osiemdziesiąt trzy razy więcej niż dziesięć lat temu, całej floty sześćdziesiąt dziewięć razy. Milionowy pojazd elektryczny pojawił się pod koniec 2023 przy stanie 1 000 092, czyli mniej więcej tak blisko okrągłej liczby, jak statystyka w ogóle potrafi trafić. Nikt tego nie planował.\nTrzy rzeczy w tej tabeli, których nie zobaczysz w nagłówku.\nCiężarówki ledwie zaczęły. 1472 elektryczne ciężarowe w całej Wielkiej Brytanii, a ich liczba między 2015 a 2020 wręcz spadła, do 253. Osobowe zawsze były łatwą częścią. To jest trudna część i tak naprawdę jeszcze się nie zaczęła.\nMotocykle elektryczne się cofają. 14 142 w 2023, potem 14 039, teraz 13 460. Dwa lata spadku, jedyna kategoria, która się kurczy, gdy wszystko inne rośnie wykładniczo.\nProcenty zwalniają, a blacha nie. Wzrost aut osobowych wyniósł 114% w 2020 i 35% w 2025. Ale 2025 wprowadził na drogi 442 000 aut wobec 350 000 w 2024. Malejący procent dużej liczby wciąż bije duży procent małej.\nJeśli chodzi o to, dokąd to zmierza, Future Energy Scenarios NESO z 2025 roku dają Wielkiej Brytanii do 2050 roku 31 milionów pojazdów elektrycznych w scenariuszu Holistic Transition, 33,4 miliona w Electric Engagement i 36,1 miliona w Hydrogen Evolution.5 Dzisiejsze 1,84 miliona to mniej więcej sześć procent drogi.\nJeden szczegół z tych scenariuszy, który warto odnotować: elastyczność dostępna dzięki inteligentnemu ładowaniu w tym roku spadła, z 16 GW do 10 GW. Większe baterie oznaczają rzadsze, dłuższe ładowania i mniej do przesuwania.5\nZapotrzebowanie, które w ogóle się nie pojawiło Jest jeszcze druga rzecz, która ciągnie zapotrzebowanie w dół, i nie jest to efektywność.\nAutokonsumpcja Fotowoltaika bez baterii 30–40% Fotowoltaika z baterią 80–90%6 W Wielkiej Brytanii są już dwa miliony instalacji słonecznych, razem 22,3 GW, a ponad 30% nowych systemów montuje się z baterią, wobec 10% pięć lat temu.6 Postaw magazyn za panelami, a większość tego, co wyprodukuje dach, nigdy nie przejdzie przez licznik.\nTa energia nie jest zaoszczędzona. Po prostu przestano ją liczyć. Licznik to jedyne, co się zmieniło.\nRok Dodana moc fotowoltaiki 2021 ~0,4 GW 2022 ~0,5 GW 2023 1,9 GW 2024 2,3 GW 2025 2,6 GW Sześciokrotnie w pięć lat, a kształt mówi dlaczego. 2021 i 2022 były płaskie. Potem przyszły rachunki, ludzie policzyli, i fotowoltaika przestała być wyborem ekologicznym, a stała się finansowym.\nNasz dom jest gdzieś w tej tabeli. Dziewięć kilowatów na dachu, trzydzieści kilowatogodzin baterii pod nim, dwa auta i klimatyzacja pijące dzienną produkcję. Z punktu widzenia National Grid ten adres od lat po cichu się kurczy. Z punktu widzenia fizyki nie. Energia po prostu przestała się pojawiać na czyimkolwiek wykresie.\nWojna z tym, co zadziałało Nic z powyższego nie stało się przypadkiem, a trwa żywa próba powstrzymania reszty.\nReform przejął w maju 2025 dziesięć angielskich rad i zapowiedział, że użyje „every lever”, każdej dźwigni, żeby blokować nowe projekty wiatrowe, słoneczne i bateryjne. Carbon Brief oszacował zagrożoną moc na około 6 GW: 5076 MW projektów bateryjnych, 786 MW fotowoltaiki i 56 MW wiatru w tych dziesięciu obszarach.7 Rzecznik partii ds. energii napisał do deweloperów w Lincolnshire, że „this is war”, to wojna, i wysłał formalne zawiadomienie do prezesów SSE Renewables, Octopus Energy, Centrica i Equinor, że rząd Reform podrze ich umowy.7\nSprawdzamy argument o ziemi rolnej Podany powód to ziemia rolna i bezpieczeństwo żywnościowe. To twierdzenie da się sprawdzić, więc je sprawdźmy.\nUżytkowanie ziemi Powierzchnia Udział w UK Fotowoltaika naziemna, wrzesień 2024 21 200 ha ~0,1%8 To samo, badanie satelitarne 15 580–17 364 ha 0,06–0,07%9 Pola golfowe 125 000 ha ~0,5%10 70 GW fotowoltaiki do 2035 n/d poniżej 1% ziemi rolnej10 Fotowoltaika pokrywa około jednej dziesiątej procenta tego kraju. Golf pokrywa mniej więcej pięć razy tyle, a przez wszystkie lata, gdy ktoś na głos martwił się o brytyjskie bezpieczeństwo żywnościowe, nikt ani razu nie napisał do klubu golfowego, żeby wypowiedzieć mu wojnę. Ani jednego listu.\nPod tym hałasem kryje się prawdziwy argument i zasługuje na to, by powiedzieć go wprost. CPRE ustaliło, że 59% największych farm słonecznych w Anglii stoi na produktywnej ziemi rolnej, a 31% tej powierzchni zaklasyfikowano jako najlepszą i najbardziej uniwersalną.11 Jakość ziemi to uczciwy argument. Ilość nie, a to właśnie argument o ilości się podnosi.\nI spójrz jeszcze raz, co naprawdę jest w tych 6 GW. Fotowoltaika to 786 MW. Baterie to 5076 MW, ponad cztery piąte mocy, o którą toczy się walka.7 Argument o ziemi rolnej celuje w mniejszą liczbę. Prawdziwym celem jest magazynowanie, a magazyn niczego nie hoduje.\nSprawdzamy argument o pożarach Projekty bateryjne odrzuca się z powodu ryzyka pożaru. Nie wszędzie tam, gdzie rządzi Reform, oddajmy sprawiedliwość. To szeroki lokalny sprzeciw, a nie kampania jednej partii, i działa. Ponad 900 sprzeciwów wobec projektu koło Allerton Bywater w Leeds. Teren w zielonym pasie koło Eaglesham odrzucony z obawy przed pożarami litu po 250 sprzeciwach. Projekt 49,9 MW w Devon odrzucony wbrew zaleceniu samego urzędnika planistycznego.12\nPostawmy więc pożary obok sprzeciwów.\nLiczba Pożary baterii sieciowych w UK, w całej historii 3 znane13 Korea Południowa, skupisko 2017–2019 2814 Globalna baza incydentów EPRI, od 2011 ~95 wpisów14 Sprzeciwy wobec jednego projektu w Leeds 900+12 Jeden wniosek planistyczny w Leeds zebrał więcej sprzeciwów, niż od 2011 roku odnotowano pożarów baterii sieciowych gdziekolwiek na ziemi. Trzy w tym kraju, w ogóle. Jeden z nich na terenie wciąż w budowie.13\nA 27 z 30 incydentów na świecie w latach 2018 i 2019 miało miejsce w Korei Południowej. Jedno krajowe skupisko, na tyle poważne, że zatrzymało tamtejszy rynek magazynowania, i powód, dla którego ta baza w ogóle istnieje.14 Wyjmij je, a globalny rejestr jest jeszcze chudszy.\nTymczasem wskaźnik się zawalił. Liczba awarii rocznie pozostała mniej więcej płaska, podczas gdy wdrożenia wzrosły z 11 GWh w 2018 do ponad 300 GWh w 2024. To spadek wskaźnika awarii o 99% na jednostkę zainstalowaną, bo normy nadrobiły zaległości.14 W 2024 roku 0,3% projektów miało awarię, która doprowadziła do pożaru budzącego obawy o bezpieczeństwo.14 Omówiłem to, oraz pożar w Moss Landing, który wszyscy przytaczają, w tekście o energii odrzuconej.\nJest jeszcze dlaczego zawodzą, i to jest część, która powinna zakończyć spór.\nPrzyczyna źródłowa Udział w awariach Integracja, montaż i budowa 36%15 Eksploatacja 29% Projekt 21% Wada produkcyjna 4% 89% incydentów w ogóle nie zaczyna się od baterii.15 Tylko trzy w całej bazie mają źródło w wadzie ogniwa lub modułu. Naprawdę psuje się reszta systemu: okablowanie DC i AC, HVAC, sam sprzęt gaśniczy. A 72% awarii zdarza się podczas budowy, uruchamiania albo w ciągu pierwszych dwóch lat.15\nWięc to nie chemia. To montaż. Byle jaki montaż, chodzenie na skróty przy instalacji, uruchamianie z monitoringiem, który jeszcze nie działa, więc wyciek albo błąd izolacji ma czas, żeby rozwinąć się w coś, co wymaga wozu strażackiego, zanim jakikolwiek alarm zadzwoni gdzieś, gdzie usłyszy go człowiek. Innymi słowy, partactwo.\nTo ważne, bo zmienia odpowiedź. Gdyby lit sam z siebie miał skłonność do zapalania się, miałbyś rację, trzymając go z dala od wsi. Nie ma. To problem jakości wykonawstwa i inspekcji, czyli coś, co już umiemy naprawiać. Tak samo jak każdy inny kawałek instalacji elektrycznej: porządne normy, porządny odbiór, ktoś kompetentny sprawdzający robotę.\nCo prowadzi z powrotem do przepisów planistycznych, gdzie jest prawdziwa luka warta załatania. Rady nie mają prawnego obowiązku konsultowania wniosku BESS ze strażą pożarną, więc jedne wymagają pełnego planu zarządzania ryzykiem pożarowym, a inne uznają bezpieczeństwo za coś całkiem poza planowaniem.12\nZarzut brzmi: „te rzeczy się palą”. Dane mówią: palą się rzeczy źle zamontowane. Jedno to argument za odmową pozwolenia. Drugie to argument za inspekcją budowy. Załataj lukę, a usuniesz argument. Zostaw ją, a dalej będzie działał jako argument.\nWarto powiedzieć, że jak dotąd nic z tego nie działało szczególnie dobrze. Rok później te rady przekonały się, że blokowanie dużej fotowoltaiki łatwiej ogłosić w komunikacie prasowym niż przeprowadzić na komisji planistycznej, a kilka projektów i tak przeszło.7\nIdź za pieniędzmi Jeśli chodzi o to, skąd pochodzi scenariusz, finansowanie jest sprawą publiczną.\nGrupa Pieniądze Od kogo Heartland Institute $676 000+ (1998–2007) ExxonMobil16 Heartland Institute dalsze nieujawnione kwoty fundacje powiązane z Kochami16 GWPF / Net Zero Watch $500 000+ fundusz powiązany z Kochami17 GWPF / Net Zero Watch $210 525 Sarah Scaife Foundation, przez swoje amerykańskie ramię17 Heartland to amerykańska organizacja negująca zmiany klimatu, która otworzyła brytyjski oddział, z Nigelem Farage\u0026rsquo;em jako honorowym gościem na otwarciu.16 Global Warming Policy Foundation prowadzi tu kampanie jako Net Zero Watch, zarejestrowana organizacja charytatywna prowadząca swoje kampanie przez prywatną spółkę.17\nAmerykańskie pieniądze z paliw kopalnych, amerykańskie hasła, brytyjska partia powtarzająca je przeciw technologii, w której ten kraj jest dowodnie dobry. Sam połącz kropki.\nHasła przychodzą razem z prezydentem.\nTwierdzenie Co mówią dowody Hałas turbin powoduje raka Całkowicie bezpodstawne. Żadnych dowodów, że ten dźwięk w ogóle szkodzi zdrowiu.18 Morski wiatr zabija wieloryby NOAA i National Marine Fisheries Service nie znajdują żadnych dowodów naukowych. Wyrzucenia na brzeg to zderzenia ze statkami, sprzęt rybacki i ocieplająca się woda.18 Ich produkcja daje „tremendous fumes” Turbina zwraca energię zużytą na jej budowę w 5 do 8 miesięcy. Wiatr emituje 37× mniej CO₂ niż gaz i 77× mniej niż węgiel.19 Nad tym ostatnim warto się zatrzymać, bo odwraca się idealnie. Wiatr ma najmniejszy ślad węglowy ze wszystkich technologii wytwarzania, które mierzy amerykański Department of Energy.19 Mediany IPCC dają lądowej energetyce wiatrowej 11 g/kWh, a węglowi 820. Rozpisałem to w tekście o energii odrzuconej. To, co oskarża się o produkowanie zanieczyszczeń, produkuje ich najmniej.\nTo o ptakach przynajmniej zaczyna się od czegoś prawdziwego, więc postawmy je obok innych rzeczy, które zabijają ptaki.\nPrzyczyna śmierci ptaków w USA Rocznie Turbiny wiatrowe 140 000–330 00018 Budynki ~600 milionów18 Koty 2 miliardy+18 Turbiny odpowiadają za mniej więcej jednego ptaka na sześć tysięcy. Nikt nigdy nie występował w telewizji w sprawie kotów. Z kotami najwyraźniej wszystko w porządku.\nA wątek dobrostanu zwierząt nie wyszedł od nikogo, kto obserwuje ptaki. Koordynował go konserwatywny think tank finansowany przez grupę branżową wspieraną przez ExxonMobil, Chevron i Marathon Oil.18 Te same pieniądze co w tabeli wyżej, inna droga dostawy.\nTo jest trzeci kanał. Think tanki to piszą, gazety drukują, a w sieci rozchodzi się to hurtowo. Badanie Brown University wykazało, że konta botów odpowiadały za blisko 40% tweetów nazywających naukę o klimacie fałszem.20 Nie twierdzę, że wiem, kto je prowadzi, a to badanie dotyczy negowania zmian klimatu ogólnie, nie brytyjskiej fotowoltaiki w szczególności. Ale wzorzec się trzyma, z którego końca by go nie podnieść: te twierdzenia są błędne, są stare i ktoś za nie zapłacił.\nTen sam język Oto część, którą moim zdaniem się przeocza. Zapytaj, dlaczego Heartland otworzył oddział w Londynie, a nie w Lyonie czy Lipsku.\nBo tutaj działa tak, jak jest napisane. Bez tłumaczenia, bez lokalizacji, bez dostosowywania argumentu do kraju, który mierzy w systemie metrycznym i ogrzewa domy z sieci ciepłowniczej. Komunikat prasowy ląduje po angielsku i idzie tego samego dnia.\nStoi za tym zmapowana struktura, a nie tylko wspólne słownictwo.\nMost Atlas Network, Waszyngton wspiera 450+ organizacji w 90+ krajach21 Finansowany przez Donors Trust i Charles Koch Foundation21 55 Tufton Street, Westminster GWPF, IEA, TaxPayers\u0026rsquo; Alliance, Centre for Policy Studies, Adam Smith Institute, Civitas21 Powiązania USA–UK zmapowane przez DeSmog ~200021 Negacjoniści klimatyczni stawili się licznie na konferencji Reform we wrześniu 2025.21 Nic z tego nie wymagało przetłumaczenia ani jednego słowa.\nA ruch idzie w obie strony. Udokumentowano, że brytyjskie skrajnie prawicowe kanały na Telegramie wzmacniały dezinformację o uczciwości amerykańskich wyborów. Ta sama rura, skierowana w drugą stronę.22 Badacze opisują, jak publikacje anglojęzyczne ustalają narracje, które potem podchwytują i powtarzają media w innych językach, co stawia nas na początku kolejki, a nie na końcu.22\nCzytelnik francuski czy niemiecki dostaje opóźnienie i tłumacza, a tłumaczenie jest filtrem. Ktoś musi uznać, że twierdzenie warto przenieść, i sprawdzić je na tyle, żeby podpisać się pod nim własnym nazwiskiem. My dostajemy je na surowo, w tempie retweeta, z rynku medialnego czterdzieści razy większego od naszego, który i tak konsumujemy dla rozrywki.\nTo jest prawdziwa podatność. Nie to, że Amerykanie kłócą się o własną sieć. Mogą z nią robić, co chcą. Chodzi o to, że słyszymy każde słowo, we własnym języku, o naszej sieci, od ludzi, którzy nigdy jej nie widzieli.\nNiska emisja, drogi prąd Jedna rzecz się nie poprawiła. Elektryczność kosztowała w ostatnim roku średnio £92,77/MWh, wobec £70,13 w całym zbiorze danych. Mniej więcej o jedną trzecią drożej, podczas gdy emisje spadły o połowę.1\nCzytałeś, że to przez OZE. Czytałeś to wiele razy.\nBrytyjska prasa ogólnokrajowa, 2025 Artykuły redakcyjne krytykujące OZE 4223 Pierwszy rok, w którym antyodnawialne przewyższyły liczbą pro-, od 201423 Prawicowe artykuły redakcyjne o klimacie odrzucające działania klimatyczne 81%23 Krytyczne artykuły redakcyjne stawiające na pierwszym miejscu koszt 86%23 Więc argumentem jest koszt. Nie ptaki, nie krajobraz, nie niestabilność. Koszt, w siedmiu na osiem.\nDashboard to rozstrzyga, bo co pół godziny publikuje cenę i miks razem. Oto 20 września 2026, od podwieczorku.1\nGodzina Cena Gaz Udział gazu Emisyjność Słońce Wiatr 16:00 −£19,03 2,85 GW 11,3% 71 g/kWh 6,33 11,30 16:30 £38,19 3,74 GW 15,1% 88 g/kWh 5,19 10,84 17:00 £103,70 4,46 GW 18,3% 109 g/kWh 4,06 10,21 17:30 £134,16 6,23 GW 25,6% 133 g/kWh 2,64 9,68 18:00 £175,57 7,96 GW 32,2% 150 g/kWh 1,53 8,96 19:30 £195,65 8,87 GW 39,9% 162 g/kWh 0,02 6,99 Słońce zaszło. Gaz się potroił, z 2,85 GW do 8,87. A cena poszła z minus dziewiętnastu funtów do prawie dwustu w trzy i pół godziny. Plus £57 w półgodzinie do wpół do piątej, kolejne £65 do piątej, kolejne £41 do szóstej. Emisyjność w tym czasie wzrosła ponad dwukrotnie.\nWeź cały dzień, a nie tylko jego ciekawy kawałek, i zależność trzyma się we wszystkich czterdziestu ośmiu okresach rozliczeniowych.\n20 września 2026, wszystkie 48 półgodzin Udział gazu w zakresie 7,4% do 39,9% Cena w zakresie −£19,03 do £195,65 Całkowita rozpiętość £214,68/MWh Korelacja udziału gazu z ceną r = 0,933 Półgodziny z ujemną ceną 18, od 01:00 do 16:00 Zero przecinek dziewięćdziesiąt trzy, w jeden dzień, przy stałych kontraktach gazowych. A przez dziewięć godzin Wielka Brytania płaciła ludziom za to, żeby odbierali od niej prąd. Gaz na poziomie 7,4%, słońce bliskie 10 GW, cena poniżej zera.\nPotem słońce zaszło i kosztowało to £195,65. Te same druty. Te same farmy wiatrowe. Ten sam kraj.\nMechanizm to wycena krańcowa. Cenę hurtową ustala koszt pracy najdroższej elektrowni potrzebnej w danej półgodzinie, a to prawie zawsze gaz. W czasie kryzysu gaz ustalał cenę przez 98% czasu, dostarczając około 40% elektryczności; w 2021 przez 97% czasu przy 37% produkcji.24 Najwyższy odsetek ze wszystkich krajów Europy.\nUdział w produkcji Udział w ustalaniu ceny Gaz 27,0% w ostatnim roku1 97–98% okresów24 Wiatr, słońce, atom, woda, biomasa 73,0% reszta Bądźmy uczciwi co do jednej rzeczy w tych danych, bo ktoś ją wyłapie. Średnia z całego okresu to £70,13/MWh przy brudniejszym miksie niż dziś, taniej niż £92,77 z ostatniego roku. To nie wiatr podnosi ceny. To lata 2012–2020 były latami taniego gazu. Na przestrzeni epok dominuje cena gazu; w obrębie jednego dnia dominuje pogoda. Oba wskazują tego samego winowajcę.\nWięc ćwierć miksu wycenia całość. Wiatr mógłby być darmowy w miejscu wytwarzania, i w dużej części praktycznie jest, a liczba na twoim rachunku by nie drgnęła, bo stawkę wciąż ustala ostatnia elektrownia gazowa w kolejce.\nTo nie OZE robią prąd drogim. To projekt rynku z lat 90. spotyka sieć, która już nie wygląda jak w latach 90.\nRozstrzyga to scenariusz alternatywny. Weź jeden skok cen gazu, taki, jaki już przeżyliśmy, i zamodeluj go na dwóch różnych sieciach.24\nTen sam skok cen gazu uderza w sieć, w której… Rachunki gospodarstw rosną o osiągnięto cele OZE na 2030 8% nie ma żadnych OZE wspieranych przez CfD 45% Ten sam skok. Ten sam gaz. Jedyna różnica to ile wiatru i słońca stoi obok, nie przejmując się tym, ile kosztuje gaz. Więcej OZE, mniejszy cios. Pięć i pół raza.\nWięc farmy wiatrowe są powodem, dla którego ostatni kryzys dało się przetrwać, a nie powodem, dla którego się wydarzył. Trzy osobne testy, jedna odpowiedź: w obrębie dnia cena podąża odwrotnie za wiatrem, na przestrzeni epok za ceną gazu, a w modelach to OZE łagodzą skok. Przyczyną jest gaz. To nawet nie jest blisko i tak naprawdę nie ma o czym dyskutować.\nCo naprawiłoby tamten wieczór Teraz połóż to obok osiemnastu półgodzin wcześniej tego samego dnia, gdy cena siedziała poniżej zera. To dokładnie taki kształt problemu, jaki rozwiązuje bateria. Ładuj ją, gdy sieć płaci ludziom za odbieranie prądu, oddaj w popołudniowy szczyt, a ostatnia elektrownia gazowa w kolejce nigdy nie zostanie wezwana. Rozpiętość 20 września wyniosła £214,68 za megawatogodzinę. Baterie istnieją po to, żeby zjadać takie rozpiętości.\nCo sprowadza nas z powrotem do tych 5076 MW projektów bateryjnych w dziesięciu radach i partii, która obiecała przeciw nim każdą dźwignię. Blokowanie magazynowania nie tylko odkłada jakąś redukcję emisji. Chroni marżę gazu, półgodzina po półgodzinie, dokładnie w te wieczory, gdy gaz jest wart najwięcej.\nCzy taki jest zamiar, idź za pieniędzmi. Taki jest skutek tak czy inaczej, a finansowanie stojące za tym argumentem, według tabeli wyżej, należy do branży, która zgarnia różnicę.\nOpłaty, i kto sprawdził liczby I opłaty, skoro przytacza się je jako dymiący pistolet:\nSkładnik rachunku, 2025 Kwota Udział Koszty polityczne na prądzie £148,45 17% rachunku za prąd25 Koszty polityczne na gazie £50,86 6% rachunku za gaz25 Siedemnaście procent, a od kwietnia 2026 rząd przeniósł 75% Renewables Obligation z rachunków na ogólne podatki, czyli około £92 rocznie z przeciętnej obniżki o £150.25 Prawdziwe pieniądze, warte sporu, i ani trochę nie główne wydarzenie. Głównym wydarzeniem jest 27% produkcji, które wycenia pozostałe 73%.\nNie powiem ci, ile z tych 42 artykułów redakcyjnych było kłamstwami, bo udowodnienie zamiaru to nie coś, co mogę zrobić zza biurka. Co da się pokazać, to wskaźnik błędów, a jest marny. Skarga na jeden tekst Daily Mail wskazała piętnaście błędów merytorycznych; regulator zażądał jednego sprostowania.26 Mail on Sunday i The Times podały, że NESO ustaliło, iż koszt zera netto wyniesie do 2050 roku £4,5 biliona. NESO nie ustaliło niczego takiego, a był to trzeci raz, gdy gazety przeinaczyły ustalenia tej samej instytucji.26\nZanim ktoś zacytuje mi małą liczbę uznanych skarg: w komisji skarg IPSO nie zasiada żaden zawodowy naukowiec, nie konsultuje ona ekspertów w sprawach technicznych i rutynowo traktuje błędną liczbę jak opinię.26 Jedna uznana skarga na piętnaście błędów mierzy regulatora, a nie artykuł.\nWyciągnij własne wnioski. Mój jest taki, że najczęściej powtarzany argument przeciw OZE w brytyjskiej prasie to ten, który rozpada się najszybciej, gdy postawisz go obok licznika samej sieci.\nA ceny gazu nie ustalamy my Oto co naprawdę stało się z gazem, według europejskiego benchmarku TTF.27\nCena gazu TTF Średnia sprzed 2021 ~€20/MWh Grudzień 2021 €180 Marzec 2022 €220 Szczyt w sierpniu 2022 ~€340 Początek 2026 €35–45 Połowa września 2026 €83,40 W szczycie siedemnaście razy normalna stawka. I spójrz na ostatni wiersz. Gaz poszedł w tym miesiącu do €83 na obawach o dostawy i magazyny, i dokładnie dlatego spokojny, bezwietrzny niedzielny wieczór w brytyjskiej sieci był wyceniony na £179,70/MWh. Łańcuch jest krótki: rusza się europejski rynek gazu, gaz ustala brytyjską cenę, twój rachunek idzie za nią.\nZauważ też, że „powrót do normy” nim nie jest. Dzisiejsza podłoga €35–45 to wciąż dwa razy tyle co przed kryzysem, i skacze na plotkę.\nŻadna z tych decyzji nie zapada tutaj, a nasze narażenie rośnie.28\nDostawy gazu w UK Udział Morza Północnego w zapotrzebowaniu, 2025 około połowy Gaz importowany, 2025 464 TWh w tym norweskim gazociągiem 69% importu w tym LNG 31% importu LNG jako udział w całych dostawach teraz 14% Udział LNG do 2030 ponad 25% Udział LNG do 2035 blisko 50% Wydobycie z Morza Północnego spada o 12–13% rocznie i według prognoz do 2035 będzie o 78% niższe niż w 2025.28 Lukę wypełniają tankowce z Kataru i Stanów Zjednoczonych, kupowane na globalnym rynku spot w konkurencji z kupującymi w Azji, którzy mogą nas przelicytować w każdy mroźny poranek, w który zechcą.\nWięc argument, że powinniśmy trzymać sieć na gazie ze względu na rachunki, stawia sprawę na głowie. Gaz to ta część, której nie kontrolujemy, wyceniana przez wydarzenia, na które nie mamy wpływu, z pól, które się wyczerpują. Wiatr i słońce to ta część, która dzieje się tutaj za darmo, kiedy sprzęt już stoi.\nIle to kosztuje, a za ile się to sprzedaje Jest różnica między tym, ile coś kosztuje, a tym, ile ci za to liczą, i cały ten interes siedzi w tej szczelinie.\nKoszt prowadzenia tej sieci spadł. Połowa emisji, zero węgla, jedna trzecia produkcji pochodzi teraz z pogody, która przychodzi za darmo i nie wystawia faktury. To jest koszt. Cena poszła w drugą stronę, bo zatrzymaliśmy regułę z lat 90., która pozwala najdroższej elektrowni w systemie ustalać stawkę dla wszystkiego innego, a potem importowaliśmy paliwo dla tej elektrowni z rynku, na którym fala mrozu w Azji zmienia to, ile emeryt w Barnsley płaci za ciepło.\nNikt tego nie ukrywa. Jest to zapisane w półgodzinnych danych rozliczeniowych, za darmo, na stronie, którą prowadzi jedna kobieta.\nWciąż wracam do tego, kto korzysta na tym zamieszaniu. Bo ludzie, którzy mówią ci, że to zrobiły farmy wiatrowe, są, gdy pójdziesz za pieniędzmi wstecz, finansowani przez to, co naprawdę to zrobiło. To nie przypadek i to nie niekompetencja. To najstarsza sztuczka, jaka istnieje: rozzłościć ludzi na najtańszą część systemu, żeby nikt nie patrzył na najdroższą.\nA atakowana część to jedyna, którą posiadamy na własność. Turbina gazowa potrzebuje tankowca z Kataru i ceny ustalonej w Rotterdamie. Farma wiatrowa przy ujściu Humber potrzebuje konserwacji. Jedno to suwerenność, a drugie to stałe zlecenie przelewu, i wygląda na to, że zaraz wygadamy sobie rezygnację z pierwszego, żeby chronić drugie.\nZbudowaliśmy to. Działa. Ktoś powinien ludziom powiedzieć.\nŹródła Kate Morley — National Grid: Live — miks wytwarzania, emisyjność, zapotrzebowanie i cena w Wielkiej Brytanii, do wyboru za ostatnią dobę, tydzień, rok i cały zbiór danych od 2012; także zamknięcie ostatniej elektrowni węglowej 30 września 2024.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nDrax — 2024, the year GB electricity demand turned a corner — dwie dekady spadającego zapotrzebowania, obciążenie dodane przez pojazdy elektryczne i pompy ciepła oraz odwrócenie trendu w 2024.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nEuropean Commission — Light sources, energy label and ecodesign — regulacje ekoprojektu dla oświetlenia i 81 TWh elektryczności, które zaoszczędziły w UE w 2020.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nDepartment for Transport — Vehicle licensing statistics data tables, VEH0141 — zarejestrowane pojazdy plug-in na koniec każdego kwartału według typu nadwozia i rodzaju paliwa. Liczby powyżej to kolumna pojazdów w pełni elektrycznych dla Wielkiej Brytanii w IV kwartale każdego roku.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNational Energy System Operator — Future Energy Scenarios — przyrost pojazdów elektrycznych do 2050 w poszczególnych ścieżkach, moc vehicle-to-grid i korekta elastyczności inteligentnego ładowania.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nMCS — UK homes installing a small-scale renewable every 90 seconds — łączna liczba certyfikowanych instalacji, próg dwóch milionów i moc zainstalowana oraz udział nowych systemów słonecznych łączonych z magazynem bateryjnym.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCarbon Brief — Reform-led councils threaten 6GW of solar and battery schemes across England — moc w dziesięciu radach przejętych w maju 2025, zobowiązanie „every lever”, listy wysłane do deweloperów i prezesów firm energetycznych oraz to, co od tamtej pory naprawdę stało się z projektami.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nHouse of Commons Library — Planning for solar farms — fotowoltaika naziemna zajmowała pod koniec września 2024 szacunkowo 21 200 hektarów, około 0,1% całkowitej powierzchni UK.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLancaster University — Researchers use satellite imagery to shed light on UK solar farm land use — pomiar satelitarny dający farmom słonecznym od 15 580 do 17 364 hektarów, od 0,06% do 0,07% powierzchni UK.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nFriends of the Earth — Fact check: British farming and renewables — powierzchnia pól golfowych wobec fotowoltaiki i udział ziemi rolnej wynikający z celu 70 GW do 2035.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCPRE — Two-thirds of mega solar farms built on productive farmland — 59% największych działających farm słonecznych w Anglii na produktywnej ziemi rolnej, 31% tej powierzchni zaklasyfikowane jako najlepsza i najbardziej uniwersalna.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nHouse of Commons Library — Battery energy storage systems — sprzeciwy i odmowy planistyczne, w tym projekty w Allerton Bywater, Eaglesham i Devon, niekontrolowany wzrost temperatury jako mechanizm pożaru i brak prawnego obowiązku rad, by konsultować wniosek BESS ze strażą pożarną.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nHouse of Commons Library — Battery energy storage systems — udokumentowane pożary sieciowych BESS w UK, w tym Liverpool we wrześniu 2020 i teren w budowie w Essex w lutym 2025, oraz uwaga, że nie istnieje wiarygodny publiczny rejestr liczby incydentów.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nEPRI — BESS Failure Incident Database — globalny rejestr awarii w skali sieciowej od 2011, południowokoreańskie skupisko z lat 2017–2019, spadek wskaźnika awarii na jednostkę zainstalowaną wobec wzrostu wdrożeń oraz zastrzeżenie, że baza obejmuje tylko publicznie zgłoszone incydenty.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nUtility Dive — Cells and modules not responsible for most battery energy storage system failures — analiza przyczyn źródłowych EPRI: integracja, montaż i budowa 36% awarii, eksploatacja 29%, projekt 21%, wady produkcyjne 4%; 89% incydentów niemających źródła w baterii; i koncentracja awarii w okresie budowy, uruchamiania i pierwszych dwóch lat eksploatacji.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLeft Foot Forward — What is the Heartland Institute? — otwarcie brytyjskiego oddziału, obecni na nim oraz finansowanie Heartland przez ExxonMobil i fundacje powiązane z Kochami.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nopenDemocracy — Net Zero Watch: how dark oil money is funding influential UK climate sceptics — finansowanie GWPF i Net Zero Watch przekazywane przez American Friends of the GWPF, w tym wpłaty Sarah Scaife Foundation.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nClimate Power — Fact check: Trump\u0026rsquo;s wind turbine claims — twierdzenia o raku i wielorybach wobec stanowiska NOAA i National Marine Fisheries Service, szacunki US Fish and Wildlife Service dotyczące zderzeń ptaków z turbinami w porównaniu z budynkami i kotami oraz pochodzenie argumentu o dobrostanie zwierząt z pracy think tanków finansowanych przez branżę paliw kopalnych.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCNN — Fact check: five things Trump got wrong about wind turbines — twierdzenie o „tremendous fumes” i śladzie węglowym wobec stanowiska Department of Energy, zwrot energetyczny przeciętnej turbiny w pięć do ośmiu miesięcy i emisje wiatru w porównaniu z gazem i węglem.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nInstitute at Brown for Environment and Society — Shadowy Twitter bots spread climate disinformation — udział tweetów opisujących naukę o klimacie jako fałsz, które przypisano kontom botów. Uwaga: to badanie z 2021 roku o negowaniu zmian klimatu ogólnie, nie konkretnie o brytyjskich OZE.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nDeSmog — 55 Tufton Street i Mapped: how a US-UK network pushes climate science denial — westminsterskie skupisko i jego członkowie, zasięg Atlas Network i jej finansowanie przez Donors Trust i Charles Koch Foundation, około dwóch tysięcy zmapowanych powiązań transatlantyckich oraz obecność grup negujących zmiany klimatu na konferencji Reform w 2025.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nDFRLab — UK-based far-right Telegram channels amplified disinformation targeting US election integrity — udokumentowane transatlantyckie wzmacnianie w obu kierunkach i rola publikacji anglojęzycznych w ustalaniu narracji powtarzanych potem przez media w innych językach.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nPress Gazette — Record opposition to climate action in UK national newspapers in 2025 — liczba artykułów redakcyjnych krytykujących energię odnawialną, pierwszy rok od 2014, w którym przewyższyły liczbą przychylne, udział prawicowych artykułów o klimacie odrzucających działania klimatyczne i koszt jako dominująca linia ataku.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCarbon Brief — Q\u0026amp;A: Why does gas set the price of electricity, and is there an alternative? — wycena krańcowa w Wielkiej Brytanii, udział okresów rozliczeniowych, w których gaz ustala cenę, wobec jego udziału w produkcji, oraz modelowany skutek skoku cen gazu z OZE wspieranymi przez CfD w systemie i bez nich.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nHouse of Commons Library — What costs make up an electricity bill? — koszty polityczne na rachunkach za prąd i gaz w kwotach i jako udział, Renewables Obligation jako największy pojedynczy koszt polityczny oraz przeniesienie 75% jego kosztu na ogólne podatki od kwietnia 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCarbon Commentary — Climate misinformation and press regulation — piętnaście nieścisłości wskazanych w jednym artykule Daily Mail wobec jednego wymaganego sprostowania, powtarzające się przeinaczanie ustaleń NESO o koszcie zera netto oraz skład i podejście komisji skarg IPSO w sprawach technicznych.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nTrading Economics — EU natural gas (TTF) price history — holenderski benchmark TTF od poziomu sprzed 2021 przez skok 2021–22 do szczytu w sierpniu 2022 i obecnych poziomów, w tym ruch we wrześniu 2026 na obawach o dostawy i magazyny.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nICIS — Ebbing North Sea gas production to raise UK gas prices and exposure to LNG imports — wydobycie z Morza Północnego pokrywające około połowy zapotrzebowania w 2025, wolumen i struktura importu, tempo spadku UKCS oraz prognozowana zależność od LNG do 2030 i 2035.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\n","permalink":"https://blogs.damiendye.uk/pl/energy/the-grid-we-did-fix/","summary":"Wielka Brytania w czternaście lat zmniejszyła o połowę emisyjność swojej elektryczności, przeszła cały rok bez węgla i uczyniła wiatr swoim największym pojedynczym źródłem. W tym czasie zapotrzebowanie spadało przez dwie dekady, a kraj podłączył 1,8 miliona pojazdów elektrycznych. Oto co pokazują liczby, łącznie z kawałkami, które psują tę historię.","title":"Sieć, którą naprawiliśmy"},{"content":"Liczba, którą wszyscy cytują i nikt nie czyta Lawrence Livermore wypuściło niedawno swój wykres przepływów energii za 2024 rok. Wynika z niego, że Ameryka zużyła 94,61 quada energii i 62,27 z nich wyrzuciła.1\nNo dobrze. Quad to biliard brytyjskich jednostek ciepła (BTU). Nie żadna waluta. W całym tym artykule nie ma ani grosza, a jeśli oko ci uparcie czyta to jako pieniądze, to moje też tak miało. Amerykanie prowadzą swoje krajowe rachunki energetyczne w quadach, a reszta z nas liczy w watogodzinach, więc oto przelicznik, który nadaje temu sens: jeden quad to około 293 TWh, odrobinę więcej, niż cała brytyjska sieć dostarcza w ciągu roku.\nEnergia odrzucona to grzeczna nazwa tych 62,27. Tej części, która nie wykonała żadnej użytecznej pracy. Ciepło w komin, ciepło z kaloryfera, ciepło z rury wydechowej. Prawie całość to ciepło odpadowe ze spalania czegoś.\nTeraz uważaj na jednostki, bo sam to na początku pomyliłem, i myli to większość internetu. 62,27 to quady, nie procenty. Zestaw je z 32,34 quada, które zrobiły coś pożytecznego, i udział wychodzi 65,8%. Dwie trzecie wszystkiego, co wywiercono, wykopano, przepompowano i przewieziono, poszło w ciepłe powietrze.\n2024 W brytyjskich sieciach Energia na wejściu 94,61 quada 27 726 TWh 102 lata Odrzucona 62,27 quada 18 249 TWh 67 lat Usługi energetyczne 32,34 quada 9477 TWh 35 lat To ostatnia kolumna do mnie trafiła. Sieć Wielkiej Brytanii dostarcza około 271 TWh rocznie.2 Czyli energia odrzucona przez Amerykę w samym 2024 roku to sześćdziesiąt siedem lat całej brytyjskiej sieci, wyrzucone jako ciepło w ciągu dwunastu miesięcy.\nInaczej mówiąc: zasilaj ten kraj od dziś aż do 2093 roku, a i tak nie wytworzysz tyle, ile Stany Zjednoczone zmarnowały w zeszłym roku.\nTę liczbę cytuje się wszędzie. To, jak wykres liczy, nie cytuje się prawie wcale. A to jest ciekawa część.\nJedna uwaga porządkowa, skoro tekst o Ameryce pisze człowiek z Yorkshire. Tam, gdzie Amerykanie mówią gasoline i gas station, ja mówię petrol i forecourt; po polsku to zawsze benzyna i stacja paliw. A klimatyzacja zostaje klimatyzacją.\nWiatr i słońce liczone są na 100% Tu ludzie się potykają. Livermore stosuje konwencję Energy Information Administration, a według niej cztery źródła wchodzą do wykresu bez żadnych strat konwersji.3\nŹródło Jak wchodzi do wykresu Gdzie idą straty Węgiel, gaz, ropa energia paliwa na wejściu ~60–70% do odrzuconej Atom energia cieplna na wejściu ~67% do odrzuconej Wiatr na lądzie energia elektryczna na wyjściu nic odrzuconej Słońce, farmy i dachy energia elektryczna na wyjściu nic odrzuconej Hydroenergetyka energia elektryczna na wyjściu nic odrzuconej Elektrownię gazową liczy się po energii zawartej w gazie, więc dwie trzecie, które wyrzuca jako ciepło, lądują w bloku energii odrzuconej. Turbinę liczy się po prądzie, który dostarcza. Nie ma tam pozycji „energia w wietrze”, od której można by coś stracić.\nNa tym wykresie każda terawatogodzina, która przechodzi z elektrowni cieplnej na farmę wiatrową, robi więc dwie rzeczy naraz. Dodaje do użytecznej, odejmuje od odrzuconej. Liczy się podwójnie.\nCo oznacza, że argument, jakoby likwidacja wiatru i słońca zmniejszyła straty, biegnie pod prąd tego samego diagramu, na którym się go buduje. Słyszałem go na serio od ludzi, którzy powinni wiedzieć lepiej. To nie jest kwestia sporna. To odwrócony znak.\nGdzie naprawdę są straty Podziel wykres na sektory, a przestaje być abstrakcją.1\nSektor Energia na wejściu Odrzucona Użyteczna Sprawność Mieszkalny 11,23 3,93 7,30 65% Usługowy 9,49 3,32 6,17 65% Przemysłowy 26,39 13,46 12,93 49% Transport 28,29 22,35 5,94 21% Elektrownie tracą jeszcze 19,21 quada w chłodniach kominowych, zanim cokolwiek dotrze do tych czterech.\nTransport jest najgorszy, i to z dużym zapasem. Bierze największą część energii i zamienia 21% z niej w ruch. Te 22,35 zmarnowanego quada to 36% wszystkiego, co Ameryka wyrzuca. Ponad jedna trzecia krajowych strat w jednym sektorze.\nSilnik benzynowy zamienia może 16–25% paliwa w ruch. Reszta to ciepło i hałas.4\nUżyteczne na kołach Stracone jako ciepło Silnik benzynowy 16–25% 75–84% Napęd EV (od baterii do kół) 87–91% 9–13% To nie jest drobny zysk. To różnica między maszyną, która głównie grzeje niebo, a taką, która głównie wiezie samochód. Ta sama podróż, inna fizyka.\nI to ciągnie się przez cały łańcuch, nie tylko w pojeździe. Dowiezienie paliwa płynnego na stację kosztuje energię, zanim spali się choć kroplę.\nEtap Energia stracona po drodze Rafinacja ropy 7–15% wsadu5 Tankowiec, rurociąg, cysterna do tego jeszcze Przesył i dystrybucja w sieci ~5%6 Tankowce jako część światowej floty ~28% nośności (DWT)7 Ropa i produkty przewożone morzem rocznie ~4,4 mld ton7 Transport drogowy to mniej więcej połowa światowego popytu na ropę. Zelektryfikuj go, a spora część floty tankowców nie będzie miała czego wozić.\nWarto tu być uczciwym, bo przesadzanie to sposób na przegranie sporu, który się wygrywało. Straty w sieci są realne i to jest ciepło rezystancyjne. EV płaci zimą za ogrzewanie kabiny, które silnik spalinowy dostaje za darmo. Tyle że to darmowe ciepło jest darmowe tylko dlatego, że silnik już wyrzucił trzy czwarte paliwa. Jest darmowe tak, jak darmowe jest ciepło od płonącego domu.\nNajwiększa pojedyncza rzecz, jaką Ameryka mogłaby zrobić Lekkie pojazdy to 58,5% energii transportu, ta część, która elektryfikuje się bez czekania na nową technologię.8 Przelicz zamianę samego napędu przy wszystkim innym bez zmian.\nLekki transport drogowy Quady Energia na wejściu dziś 16,55 Użyteczna praca, którą faktycznie daje 3,47 Ta sama praca przez napęd EV 4,09 prądu …wytworzone z gazu, przy sprawności CCGT 9,08 pierwotnej …wytworzone z wiatru, słońca lub wody 4,09 pierwotnej Oszczędność energii 7,5 do 12,5 quada Nawet ładując każdy z nich z turbin gazowych, oszczędzasz jakieś siedem i pół quada. Z wiatru i słońca dwanaście i pół. Osiem do trzynastu procent wszystkiego, co spalają Stany Zjednoczone, z jednej zamiany.\nTo największy zysk sprawności dostępny gdziekolwiek na wykresie, i nie wymaga żadnego wynalazku, przełomu, programu pilotażowego ani nowej fizyki, bo każdy pojazd potrzebny do tego jest już dziś budowany i sprzedawany w dużych ilościach. Samochody istnieją. Cały trik.\nTyle że lepszy silnik nie naprawi układu miasta EV nadal musi przejechać tę odległość, i tu siedzi druga połowa problemu.\nStany Zjednoczone Europa Mile samochodem na osobę rocznie ~12 400 ~62009 Udział codziennych podróży autem 85% 50–65%9 Podróże poniżej mili autem ~70% ~30%9 Miejsca parkingowe na samochód ~8 nie liczono9 Spójrz na trzeci wiersz, bo odbiera wymówkę geograficzną. Mniej więcej 30% codziennych podróży to odcinki poniżej mili po obu stronach Atlantyku. Te same sprawy, te same odległości. Amerykanie siedem na dziesięć z nich przejeżdżają autem. Europejczycy siedem na dziesięć przechodzą pieszo, przejeżdżają rowerem albo czymś publicznym.\nTo nie geografia. Pogoda też nie. To strefowanie, które postawiło domy tutaj, a sklepy trzy mile dalej, podparte minimalnymi normami parkingowymi, przez które w kraju zbudowano prawie osiem miejsc na każdy samochód.9 Od lat dwudziestych do sześćdziesiątych amerykańskie miasta przebudowano pod samochód, a spora część Europy Zachodniej je skopiowała. Od końca lat sześćdziesiątych Europa przestała i zaczęła to odkręcać.9\nDwanaście i pół quada to więc sufit samej elektryfikacji. Zmniejsz o połowę także przebieg, a zmniejszysz o połowę to, co zostało. Jedno to robota inżynierska, drugie planistyczna, a z planistycznej nikt nie wykupi się jednym zakupem.\nA najtańszy pasażerokilometr to wspólny Jest trzecia dźwignia, i Ameryka mniej więcej przestała za nią ciągnąć.\nŚrodek transportu Energia na pasażerokilometr Samochód benzynowy 1,9 do 3,5 MJ10 Miejska kolej elektryczna, pełna 0,3 do 0,6 MJ10 Cztery do sześciu razy lepiej, zanim ktokolwiek zmieni napęd. Samochód z jedną osobą w środku emituje 7,7 razy więcej CO₂ na pasażeromilę niż pełny autokar.10\nA teraz stan gry.\nStany Zjednoczone Europa Udział pasażeromil w transporcie publicznym 0,40%11 wielokrotnie więcej Podróże samochodem 95%11 50 do 65% Zelektryfikowane tory 1,7% (obie Ameryki)11 ~57% w UE11 Zero przecinek cztery procent. To nie system transportowy z komponentem publicznym. To kraj, który jeździ autem, z paroma autobusami w środku.\nA 1,7% elektryfikacji znaczy, że amerykańska kolej to wciąż przytłaczająco diesel. Każdy argument za przeniesieniem towarów i pasażerów na kolej dotyczy więc sieci, która dalej jedzie na ropie. Zelektryfikuj tory, a z jednej roboty masz i zmianę środka transportu, i zmianę paliwa.\nTeraz uczciwa część, bo tnie w drugą stronę i ktoś ją podniesie. Transport publiczny jest sprawny tylko wtedy, gdy jest pełny. Obłożenie autobusów w USA spada od dekad, a energia na pasażeromilę w autobusach wzrosła od 1970 roku o 63%.10 Prawie pusty autobus na pięćdziesięciominutowej pętli wokół osiedla jest gorszy niż samochód, który miał zastąpić. To prawdziwa liczba, i to duża.\nAle zobacz, co sprawia, że autobus jest pusty. Nikt nie mieszka w zasięgu spaceru od przystanku, na drugim końcu nie ma dokąd iść, a układ stawia osiem miejsc parkingowych przy każdych drzwiach. Puste autobusy to nie fakt o autobusach. To fakt o tym, co zbudowano wokół przystanku.\nCo prowadzi do rzeczy, która naprawdę wyciąga ludzi z samochodów, a luka jest tam szersza, niż sugeruje udział w podróżach.\nStany Zjednoczone Europa Miasta z metrem 13 6012 Miasta z siecią tramwajową 30 znacznie więcej12 Wzrost długości linii metra od 2000 roku punkt odniesienia trzy razy szybciej12 Trzynaście. W kraju trzystu czterdziestu milionów ludzi. Europa ma sześćdziesiąt i od przełomu wieków kładzie nowe tory trzy razy szybciej, więc różnica rośnie, zamiast maleć.\nLiczy się też rodzaj. Badania europejskich miast wykazały, że metro wyciąga ludzi z samochodów w sposób, w jaki sieci tramwajowe w dużej mierze tego nie robią, co pasuje do oczekiwań: metro w godzinach szczytu jest szybsze od auta, a tramwaj zwykle nie.12 Szybkość to cały produkt. Zbuduj coś wolniejszego od samochodu, a zbudowałeś dopłatę dla ludzi, którzy nie mają wyboru, a nie alternatywę dla tych, którzy go mają.\nTo jedyna naprawdę droga pozycja na liście. Reforma strefowania kosztuje wolę polityczną i nowy projekt planu. Tunele kosztują miliardy. Ale kupują to, czego dwie pozostałe nie kupią. Przewozisz ludzi przez gęste miasto na prądzie, przy 0,3 do 0,6 MJ na pasażerokilometr, i szybciej, niż dojechaliby autem. Wtedy zostawienie samochodu w domu przestaje być wyrzeczeniem i staje się oczywistym ruchem. I wtedy ludzie naprawdę to robią.\nCo znaczy, że te poprawki to jedna poprawka w różnych czapkach. Elektryfikacja zdejmuje z napędu 7,5 do 12,5 quada. Strefowanie zmniejsza przebieg. Gęstość sprawia, że transport publiczny opłaca się utrzymywać, a transport publiczny sprawia, że w gęstości da się żyć. Pociągnij jedną dźwignię, a dostaniesz tyle, ile daje jedna. Pociągnij wszystkie trzy, a się mnożą.\nAmeryka obecnie kłóci się o pierwszą.\nNic z tego jednak nie ruszy bez najtańszego kroku ze wszystkich, który zarazem wygląda na najtrudniejszy. Ktoś musi głośno powiedzieć, że jest problem.\nDiagnozy nie brakuje. Co roku publikuje ją federalne laboratorium, za darmo, na publicznej stronie, na diagramie na tyle prostym, że czyta się go w minutę. Sześćdziesiąt pięć przecinek osiem procent zmarnowane. Transport to jedna trzecia tego. Dwadzieścia jeden procent sprawności w największym bloku na stronie. Nikt nie musi zamawiać badania ani czekać na naukę. Nauka wyszła w sierpniu. Ludzie przeczytali liczbę z nagłówka, źle ją zrozumieli i poszli dalej.\nTo powinno zaboleć. Żaden kraj nie wydaje miliardów na drążenie tuneli pod swoimi miastami, żeby naprawić coś, co uważa za w porządku, a Ameryka po cichu odłożyła 22,35 zmarnowanego quada rocznie do szuflady „w porządku”. Nie przedyskutowała i nie odrzuciła. Po prostu nigdy nie położyła tego na stole.\nResztki muszą gdzieś trafić Ciepło jest odpadem tylko wtedy, gdy nie ma go gdzie oddać. To decyzja planistyczna, nie luka technologiczna, i w większości zapadła dekady temu.\nUdział ciepłownictwa systemowego w zapotrzebowaniu na ciepło Dania ~66%13 Szwecja, Finlandia, Polska, kraje bałtyckie powyżej 50% Średnia UE ~13% Wielka Brytania ~3%14 Stany Zjednoczone tylko kampusy, szpitale i centra miast Europa ma około 111 650 obiektów handlowych i przemysłowych na transkrytycznym CO₂ według stanu na 2025 rok, mniej więcej jedną trzecią całego handlu spożywczego.15 Centrum danych Mety w Odense od 2019 roku wpycha do lokalnej sieci około 100 000 MWh rocznie. To ciepło, które inaczej poszłoby w suchą chłodnicę. Zamiast tego ogrzewa 12 000 domów.13\nMy mamy w Wielkiej Brytanii około 14 000 sieci ciepłowniczych, a one wciąż pokrywają tylko 3% zapotrzebowania na ciepło.14 Czternaście tysięcy sztuk i prawie nic z tego, bo są małe, rozdrobnione i w większości doczepione do mieszkań komunalnych. Ofgem przejął regulację w styczniu, a strefowanie rusza w tym roku. Cel: 7% do 2035 roku, mniej więcej jedna piąta ciepła w budynkach do 2050.16\nDania nie robi niczego sprytnego, czego my nie potrafimy. Dania położyła rury pod ulicami. My nie. I tyle. Na tym polega różnica.\nPompy ciepła i czynnik, którego nikt się nie spodziewa Ta sama logika w małej skali. Grzejnik rezystancyjny nie przebije współczynnika wydajności (COP) 1,0. Taka jest jego definicja. Pompa ciepła przenosi ciepło, zamiast je wytwarzać, więc wypada lepiej.\nSystem COP Warunki Element rezystancyjny (PTC) maksymalnie 1,0 dowolne Samochodowa pompa ciepła 2,0–3,2 0 do 15 °C Hyundai/Kia na propanie R290 deklarowane 3,8 −15 °C VW na R-744 (CO₂) 3,1 −20 °C17 ADAC przepuścił 28 aut elektrycznych przez zimowy test w −7 °C. Modele z pompą ciepła traciły średnio o 22% mniej zasięgu niż te tylko z grzałką rezystancyjną.18\nWiersz R-744 zasługuje na drugie spojrzenie. To sam dwutlenek węgla, pracujący jako czynnik chłodniczy, w VW ID.3 i ID.4. Wyższa gęstość pary na ssaniu utrzymuje wydajność, gdy robi się zimniej, czyli dokładnie wtedy, kiedy jej potrzebujesz.17\nA CO₂ w jakości chłodniczej to produkt uboczny produkcji amoniaku, etanolu i nawozów, wychwycony i oczyszczony, zamiast wypuszczony.19 Strumień odpadów, który grzeje i chłodzi, przy potencjale tworzenia efektu cieplarnianego równym 1 wobec 1430 dla R-134a. Kiedy ten wycieknie, nic się nie dzieje.\nTo nie jest wychwyt dwutlenku węgla i nie będę udawał, że jest; napełnienie to poniżej kilograma. Rzecz jest węższa i lepsza. Czynnik roboczy to coś, czego już mieliśmy za dużo.\nNa czym sam jadę Sprzęt Parametry Po co Instalacja PV 9 kW dach jest skierowany jak trzeba, więc go używam Bateria 30 kWh przesuwa dzienną produkcję na wieczór EV MG4, Xpeng G6 ładowane z paneli, nie na stacji Klimatyzacja zasilana z własnego prądu chodzi na tym, co dają panele Sterowanie Home Assistant wrzuca duże odbiorniki w tanie okno Nic egzotycznego na tej liście i nic nowego. Ta sama zasada co dopasowanie nośnika danych do wzorca IO. Dawaj energię tam, gdzie na siebie zarabia, mierz, co faktycznie dostajesz, i przestań wierzyć etykiecie na pudełku.\nZaskoczyło mnie, jak duża część oszczędności wzięła się z tego, że nie wozi się paliwa. Bez tankowca, bez stacji, bez rafinerii, która po drodze bierze swoją działkę. Panele są trzydzieści stóp, jakieś dziewięć metrów, od samochodu.\nWykres jest lustrem Livermore publikuje je od lat i są dobre. Uczciwie zrobione, naprawdę przydatne, darmowe. Warte godziny czasu każdego.1\nAle diagram Sankeya nie ma zdania. Pokazuje ci, co kraj postanowił zrobić ze swoją energią, narysowane w skali. Te 65,8% to nie prawo fizyki. To obraz wyborów dotyczących silników, rur i planowania, podejmowanych jeden po drugim przez jakieś siedemdziesiąt lat, i wyglądałby inaczej, gdyby te wybory były inne.\nWykres Danii wygląda inaczej, bo Dania kopała.\nŹródła Lawrence Livermore National Laboratory — Energy Flow Charts — coroczne diagramy Sankeya dla energii w USA, w tym wykres za 2024 rok i jego suma 94,6 biliarda BTU.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nKate Morley — National Grid: Live — zapotrzebowanie Wielkiej Brytanii na energię elektryczną, średnio 30,9 GW w ostatnim roku, co daje około 271 TWh rocznie. O tym, co pokazuje ten pulpit, pisałem w Sieć, którą naprawiliśmy.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nHawai\u0026rsquo;i State Energy Office — Statewide Energy Flowchart — opisuje metodologię EIA stosowaną przez Livermore, w której rozproszone PV, hydroenergetyka, wiatr na lądzie i farmy słoneczne wchodzą przy założeniu 100% sprawności wytwarzania, bez strat cieplnych.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nEVreporter — Understanding the complete efficiency picture of electric vehicles — sprawność od zbiornika do kół i od baterii do kół dla napędów spalinowych i elektrycznych.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nConcawe — EU refinery energy systems and efficiency — zużycie własne energii w rafinerii jako udział wsadu ropy, od 3–4% przy prostej destylacji do 7–10% i więcej w zakładach pełnej konwersji.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nUS Energy Information Administration — How much electricity is lost in transmission and distribution? — roczne straty przesyłu i dystrybucji w USA wynosiły średnio około 5% przesłanej energii w latach 2018–2022.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nUNCTAD — World seaborne trade — udział tankowców w światowej flocie według nośności oraz ilości ropy i produktów naftowych przewożonych morzem.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nUS Energy Information Administration — Light-duty vehicles\u0026rsquo; share of transportation energy use — lekkie pojazdy to 58,5% energii transportu w USA, średnie i ciężkie ciężarówki oraz autobusy 23,9%, a lotnictwo to jedyny inny rodzaj powyżej 5%.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCar dependency — Wikipedia i CNN — This little-known rule shapes parking in America — kilometry samochodem na mieszkańca w USA wobec Europy, udział codziennych podróży i podróży poniżej mili odbywanych autem po obu stronach Atlantyku, mniej więcej osiem miejsc parkingowych na samochód wynikających z norm parkingowych oraz rozejście się polityki miejskiej od końca lat sześćdziesiątych.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nBureau of Transportation Statistics — Energy intensity of passenger modes i Public transport versus private cars: a passenger-kilometre energy comparison — energia na pasażerokilometr dla aut benzynowych wobec pełnej miejskiej kolei elektrycznej, stosunek emisji między autem z jedną osobą a pełnym autokarem oraz wzrost energii na pasażeromilę w autobusach wraz ze spadkiem obłożenia.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nTransportation in the United States — Wikipedia i Statista — Share of the rail network which is electrified in Europe — udział pasażeromil w USA w transporcie publicznym i w pojazdach prywatnych oraz zelektryfikowane tory jako część sieci w UE wobec obu Ameryk.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nStreetsblog USA — Other countries are building transit while the US falls behind i Metros reduce car use in European cities but trams do not — liczba miast amerykańskich i europejskich z metrem i tramwajami, tempo wzrostu długości linii metra od 2000 roku po obu stronach oraz ustalenie, że metro zastępuje podróże autem tam, gdzie tramwaje w dużej mierze tego nie robią.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nState of Green — Utilising excess heat to warm up Danish homes — udział duńskiego ciepłownictwa systemowego w zapotrzebowaniu domów na ciepło oraz odzysk nadwyżki ciepła z centrów danych, w tym dane o eksporcie z Odense.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nGreater London Authority — Heat networks data report, February 2026 — rozdrobniony zasób brytyjskich sieci ciepłowniczych i ich obecny udział w zapotrzebowaniu na ciepło.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nATMOsphere — European transcritical CO₂ installations — 111 650 europejskich obiektów handlowych i przemysłowych na transkrytycznym CO₂ w 2025 roku, obejmujących około jednej trzeciej sklepów spożywczych.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nDepartment for Energy Security and Net Zero — Heat Network Zoning: government response — ramy strefowania, regulacja przez Ofgem od stycznia 2026 roku oraz cele na 2035 i 2050 rok.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNaturalRefrigerants.com — CO₂ heat pumps found to offer high efficiency at low ambient temperature in electric vehicles — osiągi samochodowych pomp ciepła na R-744 w niskiej temperaturze otoczenia oraz wdrożenia w VW ID.3 i ID.4.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nInsideEVs — For maximum winter EV driving range, you want a car with this feature — zimowy test ADAC na 28 pojazdach elektrycznych i różnica w utracie zasięgu przy −7 °C.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNaturalRefrigerants.com — FAQs — CO₂ w jakości chłodniczej jako odzyskany produkt uboczny produkcji amoniaku, alkoholu i nawozów oraz jego potencjał tworzenia efektu cieplarnianego równy 1.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\n","permalink":"https://blogs.damiendye.uk/pl/energy/rejected-energy-what-the-livermore-chart-shows/","summary":"Lawrence Livermore publikuje co roku diagram Sankeya, który pokazuje, dokąd idzie amerykańska energia. W 2024 roku 62,27 z 94,61 quada nie wykonało żadnej użytecznej pracy. Czym jest energia odrzucona i czym jest quad, dlaczego sama metoda wykresu sprawia, że odnawialne źródła zmniejszają straty, zamiast je powiększać, dlaczego sam transport to ponad jedna trzecia krajowej sumy, i trzy rzeczy, które naprawdę by to naprawiły.","title":"Energia odrzucona: co naprawdę pokazuje wykres z Livermore"},{"content":"Webex rozciąga na górze okna żółty pasek. Offline - No internet connection. Usługi telefoniczne pokazują się jako rozłączone, nic się nie synchronizuje, a do spotkania, które zaczęło się półtorej minuty temu, nie dołączysz.\nTo nie jest niedogodność, kiedy chodzi o twój służbowy telefon. Przez Webexa przychodzą moje połączenia i przez niego idzie moja linia VoIP, więc klient, który nie chce się uwierzytelnić, to telefon na biurku, który nie zadzwoni, spotkanie, na którym mnie nie ma, i kolega, który trafia na pocztę głosową. Zatrzymało mi to pracę. Nie spowolniło, nie pogorszyło. Zatrzymało.\nI nic z tego nie było moje, ani do spowodowania, ani do zapobieżenia. Dzień pracy rozjechał się przez kontrolę jakości, której nikt nie przeprowadził, u dostawcy, który bierze pieniądze, przy produkcie sprzedawanym z umową wsparcia na platformę, którą jego własna strona wymagań wymienia jako wspieraną. Niczego źle nie skonfigurowałem. Zainstalowałem pakiet dostawcy, z repozytorium dostawcy, na platformie z listy dostawcy, i ten pakiet nie potrafił otworzyć połączenia TLS. Potem spędziłem wieczór własnego czasu na ustaleniu dlaczego, a to czas, którego nie spędzili ludzie, którzy ten pakiet podpisali.\nMaszyna nie jest offline. Przeglądarka obok ładuje strony. Poczta przychodzi, terminal ciągnie z repozytorium zdalnego, a jeśli zapytasz system operacyjny, czy ma dostęp do internetu, odpowie, że tak. Sam Webex się z tym zgadza, we własnym logu, jedenaście sekund zanim powie ci coś przeciwnego.\nTak naprawdę stało się to, że kopia OpenSSL, którą Cisco wkłada do Webexa, nie może znaleźć ani jednego urzędu certyfikacji, bo została skompilowana tak, żeby szukać ich w /workspace/.conan2/p/b/cisco8ee8b59cf93de/p/ssl. To katalog w kontenerze buildów Cisco. Nigdy nie istniał na twoim komputerze i nigdy nie będzie istniał. Każde połączenie TLS, które otwiera aplikacja, pada na weryfikacji certyfikatu, tokenu logowania nie da się odświeżyć, piętnastosekundowy licznik dobiega końca, a interfejs sięga po jedyne wyjaśnienie, na jakie ma gotowy napis.\nPasek myli się więc w sposób konkretny i bezużyteczny. Wskazuje na twoją sieć. Usterka to ścieżka w ich buildzie.\nMowa o wersji 46.8.0.35631, na Fedorze 44, z jądrem 7.2.4. To wspierana platforma. Cisco publikuje wymagania systemowe dla Linuksa i dostarcza podpisany .rpm, webex-46.8.0.35631-1.x86_641. Dalej jest to, jak udowodnić problem w jakieś dziesięć minut, dlaczego żadna z oczywistych poprawek nie działa, ta jedna, która działa, a potem część ważniejsza od tego wszystkiego: to nie jest subtelny błąd. To build, którego nikt nigdy nie uruchomił na maszynie innej niż ta, która go zbudowała.\nCo naprawdę mówi ci ten pasek Webex steruje wyświetlaniem łączności złożoną maszyną stanów, siedmioma podmaszynami, każda z własnymi licznikami czasu. Przy starcie inicjalizują się tak:\nConnectivityStateMachine::ConnectivityBanner - Initializing with state: Connected ConnectivityStateMachine::Network - Initializing with state: NoNetwork ConnectivityStateMachine::Services - Initializing with state: Connected ConnectivityStateMachine::Mercury - Initializing with state: Disconnected ConnectivityStateMachine::Authentication - Initializing with state: UserNotAuthenticated ConnectivityStateMachine::Syncing - Initializing with state: Synced ConnectivityStateMachine::Survivability - Initializing with state: SurvivabilityHide Czterdzieści milisekund później system operacyjny odpowiada, a aplikacja to zapisuje:\nNetworkManagerPowerNetworkWatcher.cpp:93 onConnectivityCheckSuccess:: The host is connected to a network, that appears to be able to reach the full Internet. Ta linia jest w tym samym pliku, w tej samej sesji, co pasek twierdzący, że nie ma połączenia z internetem. Aplikacja wiedziała. Miała odpowiedź w ręku o 08:25:12.131, a o 08:25:27.132 pokazała coś przeciwnego.\nPomiędzy tymi dwiema chwilami stało się to:\nCzas Co się stało 08:25:12.131 System operacyjny potwierdza pełny dostęp do internetu 08:25:12.218 Wykrywanie proxy: brak, połączenie bezpośrednie 08:25:12.241 Pierwsze żądanie HTTPS pada, errorCode: 167772294 Error in SSL handshake 08:25:12.569 Odświeżenie tokenu dostępu CloudApps pada, ten sam kod 08:25:12.571 Odświeżenie tokenu dostępu Kms pada, ten sam kod 08:25:15.684 Ponowna próba, oba padają 08:25:21.745 Ponowna próba, oba padają 08:25:27.132 Mija piętnastosekundowy licznik, pasek przechodzi na NoInternet 08:26:12.091 Mijają sześćdziesięciosekundowe liczniki, usługi spadają do DisconnectedShortTerm Podmaszyna Authentication nigdy nie wychodzi ze stanu UserNotAuthenticated, więc Services uznaje się za rozłączone, więc pasek się zapala. Każdy etap to poprawne zachowanie przy takich danych wejściowych. Błędne są dane wejściowe, a są nimi liczba: 167772294, przy każdym nieudanym żądaniu, od pierwszego do ostatniego.\nTa liczba to cały ten wpis. Zapamiętaj ją.\nTrzy ścieżki, z których żadna nie istnieje Webex nie używa systemowego OpenSSL. Przynosi własny, razem z własnym libcurl, a ten libcurl linkuje się z dołączoną kopią, nie z twoją:\n$ ldd /opt/Webex/bin/libcurl.so | grep -E \u0026#39;ssl|crypto\u0026#39; libssl.so.3 =\u0026gt; /opt/Webex/bin/../lib/libssl.so.3 libcrypto.so.3 =\u0026gt; /opt/Webex/bin/../lib/libcrypto.so.3 Na razie w porządku. Dołączenie biblioteki TLS to decyzja, której da się bronić, i wielu dostawców tak robi. Liczy się to, co zostało w nią wpieczone, a OpenSSL powie ci to, jeśli zapytasz:\n$ strings /opt/Webex/lib/libcrypto.so.3 | grep -E \u0026#39;OPENSSLDIR|ENGINESDIR|MODULESDIR\u0026#39; OPENSSLDIR: \u0026#34;/workspace/.conan2/p/b/cisco8ee8b59cf93de/p/ssl\u0026#34; ENGINESDIR: \u0026#34;/workspace/.conan2/p/b/cisco8ee8b59cf93de/p/lib/engines-3\u0026#34; MODULESDIR: \u0026#34;/workspace/.conan2/p/b/cisco8ee8b59cf93de/p/lib/ossl-modules\u0026#34; Trzy. Nie jedno ustawienie, które się prześlizgnęło. Cały prefiks instalacji, przeniesiony z maszyny, która to skompilowała, w bibliotece, która trafia do klienta jako podpisany pakiet na wspieranej platformie.\nOPENSSLDIR ustawia się raz, przy konfiguracji, opcją --openssldir, a dokumentacja budowania OpenSSL mówi bez ogródek, do czego służy: „Directory for OpenSSL configuration files, and also the default certificate and key store.”2 Wszystko, co dotyczy zaufania, wisi na tym katalogu. Domyślny plik CA to cert.pem w środku, a domyślny katalog CA to certs w środku3. /workspace to cache buildów Conana. Conan to menedżer pakietów C++, którym buduje Cisco, a każdy pakiet przechowuje pod skrótem jego danych wejściowych builda4. Skrót cisco8ee8b59cf93de to fakt o kontenerze, który najpewniej został usunięty kilka minut po zakończeniu builda.\nZapytaj bibliotekę, czym jest, a okaże się, że to nawet nie zwykły OpenSSL:\nVERSION CiscoSSL 3.5.5.8.5.4 27 Jan 2026 BUILT_ON built on: Wed Feb 25 06:29:18 2026 UTC PLATFORM platform: conan-Release-Linux-x86_64-gcc-13 DIR OPENSSLDIR: \u0026#34;/workspace/.conan2/p/b/cisco8ee8b59cf93de/p/ssl\u0026#34; Utrzymywany wewnętrzny fork, z własnym schematem wersji, zbudowany w lutym, wydany w sierpniu i wciąż niosący katalog roboczy, w którym powstał.\nGdzie każda kopia OpenSSL na maszynie szuka kotwic zaufania Jedna maszyna, dwie kopie OpenSSL i tylko jedna wie, gdzie są certyfikaty Żadnej nikt tego nie mówi w czasie działania. Każda ma odpowiedź jako wkompilowany napis, ustawiony przez tego, kto robił build. Kopia systemowa: OpenSSL 3.5.8, Fedora 44 wkompilowany OPENSSLDIR /etc/pki/tls katalog istnieje cert.pem \u0026#8594; tls-ca-bundle.pem certs/ \u0026#8594; kotwice ze skrótami łańcuch sprawdzany z prawdziwymi kotwicami Handshake się udaje. Każdy inny program działa. Dlatego użytkownik jest pewien, że sieć jest w porządku. Kopia z Webexem: CiscoSSL 3.5.5.8.5.4 wkompilowany OPENSSLDIR /workspace/.conan2/p/b/cisco8ee8b59cf93de/p/ssl nie ma go na żadnej maszynie klienta cert.pem \u0026#8594; brak certs/ \u0026#8594; brak magazyn ładuje zero kotwic zaufania Handshake pada: błąd 0x0A000086, dziesiętnie 167772294. Pasek, który widzi użytkownik, mówi, że sieć nie działa. Dwie kopie OpenSSL na jednej maszynie. Żadnej z nich nikt w czasie działania nie mówi, gdzie mieszka zaufanie. Każda niesie wkompilowany napis, a jeden z tych napisów wskazuje katalog, który istniał tylko na cudzej maszynie buildów. Nie bierz strings za odpowiedź. Zapytaj bibliotekę strings znajduje tekst w pliku. Nie dowodzi, że biblioteka go używa. Załaduj więc dostarczoną bibliotekę i zapytaj ją wprost, co zajmuje około dwunastu linijek Pythona i nie wymaga roota:\nimport ctypes c = ctypes.CDLL(\u0026#34;/opt/Webex/lib/libcrypto.so.3\u0026#34;) for f in (\u0026#34;X509_get_default_cert_file\u0026#34;, \u0026#34;X509_get_default_cert_dir\u0026#34;, \u0026#34;X509_get_default_cert_file_env\u0026#34;, \u0026#34;X509_get_default_cert_dir_env\u0026#34;): getattr(c, f).restype = ctypes.c_char_p print(f\u0026#34;{f:34} {getattr(c, f)().decode()}\u0026#34;) X509_get_default_cert_file /workspace/.conan2/p/b/cisco8ee8b59cf93de/p/ssl/cert.pem X509_get_default_cert_dir /workspace/.conan2/p/b/cisco8ee8b59cf93de/p/ssl/certs X509_get_default_cert_file_env SSL_CERT_FILE X509_get_default_cert_dir_env SSL_CERT_DIR Masz to z ust samej biblioteki. Kiedy cokolwiek w Webexie prosi tę kopię OpenSSL o domyślny magazyn zaufania, dostaje plik i katalog, które nie istnieją. Tak działa SSL_CTX_set_default_verify_paths i tak robi prawie każdy klient, jeśli nie powiedziano mu inaczej.\nDwie ostatnie linie są warte uwagi, bo to wyjście awaryjne: biblioteka pozwoli SSL_CERT_FILE i SSL_CERT_DIR nadpisać obie wartości5. To też zapamiętaj. Okaże się ważne, i to nie w sposób, jakiego byś się spodziewał.\nOdtworzenie dokładnego kodu błędu Dowód przez oględziny to nie dowód. Weź dostarczone libssl.so.3 i libcrypto.so.3, wykonaj prawdziwy handshake z prawdziwym hostem, mając tylko domyślne ustawienia biblioteki, i zobacz, co wraca.\nCiekawe jest uruchomienie, w którym ustawienia domyślne wskazują na nic. SSL_CERT_FILE i SSL_CERT_DIR nadpisują dokładnie te dwie wartości, które brakujący OPENSSLDIR zostawia wiszące, więc skierowanie ich na nieistniejącą ścieżkę dokładnie odtwarza stan, w jakim pakiet trafił do klienta:\n$ SSL_CERT_FILE=/nonexistent/cert.pem SSL_CERT_DIR=/nonexistent/certs python3 tls.py set_default_verify_paths -\u0026gt; 1 set_fd -\u0026gt; 1 SNI -\u0026gt; 1 SSL_connect -\u0026gt; -1 SSL_get_error -\u0026gt; 1 verify result 20: unable to get local issuer certificate err: 0xa000086 error:0A000086:SSL routines::certificate verify failed 0x0A000086 dziesiętnie to 167772294.\nTo liczba z każdej nieudanej linii logu Webexa i nie pochodzi ona od Webexa. Pochodzi z własnej biblioteki TLS Cisco, uruchomionej poza ich aplikacją, padającej z dokładnie jednego powodu: nie miała kotwic zaufania, względem których mogłaby sprawdzić łańcuch. Ta sama biblioteka, ten sam błąd, żadnej aplikacji po drodze.\nSkieruj te same dwie zmienne na prawdziwy pakiet certyfikatów Fedory i ta sama ścieżka kodu dochodzi do końca:\n$ SSL_CERT_FILE=/etc/pki/ca-trust/extracted/pem/tls-ca-bundle.pem python3 tls.py SSL_connect -\u0026gt; 1 SSL_get_error -\u0026gt; 0 verify result 0: ok Między tymi dwoma uruchomieniami w sieci nie zmieniło się nic. Zmieniła się jedna ścieżka do pliku.\nKażdy krok sieciowy się udaje. Pada odczyt lokalnego pliku. Cztery kroki idą przez sieć i się udają. Piąty czyta plik i pada. Uruchomione na dostarczonych libssl.so.3 i libcrypto.so.3, poza Webexem, tylko z domyślnymi ustawieniami biblioteki. połączenie TCP :443 ok ClientHello, SNI ok ServerHello, łańcuch ok, łańcuch odebrany sprawdzenie łańcucha brak kotwic co zwraca biblioteka SSL_connect -\u0026#62; -1 verify result 20: unable to get local issuer certificate err: 0xa000086 error:0A000086:SSL routines::certificate verify failed 0x0A000086 to dziesiętnie 167772294, liczba z każdej nieudanej linii logu Webexa. Aplikacja nigdzie nie napisała słowa „certyfikat”. Zalogowała „Error in SSL handshake” i liczbę dziesiętną, a interfejs zamienił to w „Offline - No internet connection”, czyli dokładnie to, czym maszyna dowodnie nie była. Nic tu nie jest usterką sieci. Brakowało tylko katalogu. Cztery kroki przechodzą przez sieć i kończą się powodzeniem, łącznie z odebraniem pełnego łańcucha certyfikatów serwera. Krok, który pada, otwiera lokalny plik. Użytkownik dostaje komunikat o swoim połączeniu z internetem. Dlaczego nic cię nie ostrzegło Dwie rzeczy razem sprawiają, że to się dzieje po cichu, i tylko jedna z nich jest winą Cisco.\nCo nigdy nie wyda z siebie słowa Czyj to projekt Dlaczego milczy Ładowanie magazynu zaufania, którego nie ma OpenSSL, celowo SSL_CTX_set_default_verify_paths zwraca 1 niezależnie od tego, czy ścieżki są prawdziwe. „A missing default location is still treated as a success”3 Brak czegokolwiek zapasowego Cisco, i słusznie Certyfikaty weryfikowane, samopodpisane odrzucane, ponawianie SSL wyłączone, więc nie ma trybu awaryjnego, który zamaskowałby usterkę Pierwsza jest rozsądna. Program, który dostarcza własne kotwice osobno, nie powinien być zmuszany do przejmowania się tym, więc wywołanie się udaje, magazyn jest pusty i nigdzie w całym stosie nic nie mówi załadowałem zero urzędów certyfikacji. Pierwszą rzeczą, która to zauważa, jest błąd weryfikacji pół sekundy później. Uruchomiłem to wywołanie na dostarczonej bibliotece ze ścieżkami skierowanymi na /nonexistent i zwróciło 1. Jest w wyniku powyżej.\nDruga to polityka, która przychodzi z usługi, a log ją zapisuje:\nWdm.cpp:1162 parseDeviceJson: Adding policy \u0026lt;\u0026lt; allowSelfSignedCertificate with value: false NetworkManager.cpp:1738 onConfigReady: ...httpRequestSSLRetryEnabled: 0 HttpRequestManager.cpp:1883 rawHttpRequest: {\u0026#34;validateCertificates\u0026#34;:\u0026#34;true\u0026#34;,\u0026#34;useClientCertificate\u0026#34;:\u0026#34;false\u0026#34;} Te trzy flagi to jedyny powód, dla którego ta usterka jest awarią, a nie czymś znacznie gorszym, i warto się nad tym zatrzymać, zamiast przelecieć dalej.\nPrzemyśl to do końca. Dołączona biblioteka ładuje zero kotwic zaufania, a nic poniżej warstwy polityki nigdy by tego nie zauważyło, bo awaria jest z założenia cicha na całej drodze w dół. W pasek zamieniły ją trzy flagi. Odwróć którąkolwiek z nich tak, jak dostarcza je mnóstwo klientów, a ten sam build w ogóle nie zawiedzie. Połączy się, z czymkolwiek, co ma jakikolwiek certyfikat, bo nie ma go z czym porównać.\nTen sam zepsuty magazyn zaufania, jedną flagę polityki od zupełnie innej usterki Ścieżka zaufania jest tak samo zepsuta w obu kolumnach. Tylko polityka decyduje, jak się dowiesz. Wspólne dla obu: wkompilowany OPENSSLDIR nie istnieje, więc magazyn ładuje zero urzędów certyfikacji Tak, jak wydaje go Webex validateCertificates: true allowSelfSignedCertificate: false httpRequestSSLRetryEnabled: 0 Nie ma względem czego weryfikować, więc odmawia. Handshake pada. Pasek. Tracisz dzień. Głośno i nieszkodliwie. Dowolna z nich ustawiona odwrotnie validateCertificates: false albo samopodpisane dozwolone albo ponowienie bez weryfikacji Nie ma względem czego weryfikować, więc idzie dalej. Handshake się udaje. Z czymkolwiek. Cicho i wcale nie nieszkodliwie. Oba wyniki rozdzieliła wartość polityki ustawiona przez inny zespół, za usterką, z niezwiązanych powodów. Ścieżka zaufania nigdy nikogo nie chroniła. Była zepsuta od początku, a otwarte było tylko to, jak zawiedzie. Różnica między „Webex jest dziś offline” a „Webex zaufał temu, co odpowiedziało” to wartość polityki ustawiona przez inny zespół, za usterką, z powodów, które nie mają z nią nic wspólnego. Problemem jest to, jak to się objawia. Użytkownik dostaje „Offline - No internet connection”. Log dostaje „Error in SSL handshake” i liczbę całkowitą w zapisie dziesiętnym. Słowo certyfikat nie pojawia się nigdzie, gdzie zajrzy użytkownik albo inżynier pierwszej linii wsparcia, a jedynym śladem diagnostycznym jest liczba, którą trzeba przeliczyć na szesnastkową, zanim cokolwiek znaczy.\nPoprawki, które nie zadziałały Obie oczywiste zawodzą, z różnych powodów, i oba warto znać.\nEdycja dostarczonego openssl.cnf Webex dostarcza plik konfiguracyjny w /opt/Webex/lib/openssl.cnf i w tej postaci aktywuje on jednego dostawcę (provider):\n[provider_sect] fips = fips_sect Tylko FIPS. Nie dostawcę default, w którym mieszkają zwykłe algorytmy TLS6. Dopisanie go to edycja jednej linii i nie zmienia absolutnie nic, bo dołączony OpenSSL nigdy tego pliku nie czyta. Szuka openssl.cnf wewnątrz OPENSSLDIR7, a OPENSSLDIR to ścieżka, która nie istnieje. Plik leży w katalogu instalacji i wygląda na ten właściwy. Nic go nie czyta.\nTo druga usterka schowana za pierwszą. Nawet gdyby problem ze ścieżką naprawić jutro, kierując OPENSSLDIR na /opt/Webex/lib, ta konfiguracja zostałaby wtedy załadowana i aktywowałaby tylko FIPS. A sam moduł FIPS ładuje się z MODULESDIR, trzeciej martwej ścieżki z tego samego drzewa, więc fips.so dostarczonego w /opt/Webex/lib też nie da się znaleźć. Trzy ścieżki, jeden zły prefiks i każda zepsuta tak, że zasłania następną.\nUstawienie zmiennych środowiskowych Biblioteka respektuje SSL_CERT_FILE i SSL_CERT_DIR. Udowodniłem to wyżej. Udane uruchomienie jest tam czarno na białym. Oczywistym ruchem jest więc ustawić je we wpisie pulpitu (desktop entry) i to właśnie wypróbowano:\nExec=env OPENSSL_CONF=/opt/Webex/lib/openssl.cnf \\ SSL_CERT_FILE=/etc/pki/ca-trust/extracted/pem/tls-ca-bundle.pem \\ SSL_CERT_DIR=/etc/pki/tls/certs/ /opt/Webex/bin/CiscoCollabHost %U Bez zmian. I powodem nie jest to, że Webex ignoruje zmienne. Powodem jest to, że proces nigdy ich nie dostał:\n$ tr \u0026#39;\\0\u0026#39; \u0026#39;\\n\u0026#39; \u0026lt; /proc/20293/environ | grep -E \u0026#39;SSL|OPENSSL|CURL\u0026#39; $ tr \u0026#39;\\0\u0026#39; \u0026#39;\\n\u0026#39; \u0026lt; /proc/20293/environ | wc -l 99 Dziewięćdziesiąt dziewięć zmiennych w działającym procesie Webexa i ani jedna z tych trzech, które ustawiono. Bo na tej maszynie są dwa wpisy pulpitu o tej samej nazwie:\nPlik Co uruchamia jego linia Exec Kto go zapisał /usr/share/applications/webex.desktop linię env z trzema zmiennymi z góry, w całości .rpm, potem ręczna edycja ~/.local/share/applications/webex.desktop /opt/Webex/bin/CiscoCollabHost %U, bez żadnego środowiska własny launcher Webexa A specyfikacja nie pozostawia wątpliwości, który wygrywa: „The base directory defined by $XDG_DATA_HOME is considered more important than any of the base directories defined by $XDG_DATA_DIRS.”8 $XDG_DATA_HOME to ~/.local/share. Kopia użytkownika przesłania tę z pakietu, za każdym razem, na każdym pulpicie, który trzyma się specyfikacji9.\nWebex instaluje więc drugą kopię własnego launchera w twoim katalogu domowym i to tę kopię uruchamia twój pulpit. Zmieniaj plik z pakietu, ile chcesz. Edytujesz dokument, którego nic nie czyta.\nDwa wpisy pulpitu o tej samej nazwie, a wygrywa ten, który Webex zapisuje sobie sam Środowisko ustawiono w pliku, którego pulpit nigdy nie czyta Dwa wpisy, jedna nazwa. Kolejność wyszukiwania jest spisana i nie faworyzuje kopii z pakietu. Edytowany ręcznie i przegrywa /usr/share/applications/webex.desktop Exec=env OPENSSL_CONF=... SSL_CERT_FILE=... nieczytany, dopóki istnieje ten drugi Zapisany przez Webexa i wygrywa ~/.local/share/applications/webex.desktop Exec=/opt/Webex/bin/CiscoCollabHost %U żadnego środowiska odrzucony uruchomiony Specyfikacja XDG Base Directory: katalog bazowy zdefiniowany przez $XDG_DATA_HOME jest ważniejszy niż którykolwiek z katalogów bazowych zdefiniowanych przez $XDG_DATA_DIRS. Dowód z działającego procesu, a nie z rozumowania: tr '\\0' '\\n' \u0026#60; /proc/20293/environ | grep -E 'SSL|OPENSSL' \u0026#8594; pusto, 99 zmiennych, żadna z tych Poprawka była prawdziwa, plik był prawdziwy, a proces, dla którego była, uruchomiono zupełnie skądinąd. Środowisko ustawiono w pliku, którego pulpit nigdy nie czyta. Webex zapisuje własny wpis w katalogu danych użytkownika, specyfikacja mówi, że ten ma pierwszeństwo przed wpisem z pakietu, a dowodem jest działający proces: dziewięćdziesiąt dziewięć zmiennych środowiskowych i żadnej z tych trzech. Poprawka, która działa Skoro biblioteka upiera się przy ścieżce, daj jej tę ścieżkę. Utwórz katalog, którego chce z kompilacji, i wypełnij go dowiązaniami symbolicznymi do prawdziwych plików:\n#!/bin/bash # Point the bundled CiscoSSL at the system trust store by building the # directory it was compiled to look for. Tested: Fedora 44, Webex 46.8.0.35631. set -euo pipefail OPENSSLDIR=$(strings /opt/Webex/lib/libcrypto.so.3 \\ | grep -oP \u0026#39;(?\u0026lt;=OPENSSLDIR: \u0026#34;)[^\u0026#34;]+\u0026#39;) [ -n \u0026#34;$OPENSSLDIR\u0026#34; ] || { echo \u0026#34;no OPENSSLDIR found in the shipped library\u0026#34;; exit 1; } for p in /etc/pki/ca-trust/extracted/pem/tls-ca-bundle.pem \\ /etc/ssl/certs/ca-certificates.crt \\ /etc/pki/tls/certs/ca-bundle.crt \\ /etc/ssl/cert.pem; do [ -f \u0026#34;$p\u0026#34; ] \u0026amp;\u0026amp; { CA_BUNDLE=\u0026#34;$p\u0026#34;; break; } done [ -n \u0026#34;${CA_BUNDLE:-}\u0026#34; ] || { echo \u0026#34;no system CA bundle found\u0026#34;; exit 1; } echo \u0026#34;OPENSSLDIR: $OPENSSLDIR\u0026#34; echo \u0026#34;CA bundle: $CA_BUNDLE\u0026#34; sudo mkdir -p \u0026#34;$OPENSSLDIR\u0026#34; sudo ln -sf \u0026#34;$CA_BUNDLE\u0026#34; \u0026#34;$OPENSSLDIR/cert.pem\u0026#34; sudo ln -sf \u0026#34;$(dirname \u0026#34;$CA_BUNDLE\u0026#34;)\u0026#34; \u0026#34;$OPENSSLDIR/certs\u0026#34; sudo tee \u0026#34;$OPENSSLDIR/openssl.cnf\u0026#34; \u0026gt; /dev/null \u0026lt;\u0026lt;\u0026#39;CONF\u0026#39; openssl_conf = openssl_init [openssl_init] providers = provider_sect [provider_sect] default = default_sect fips = fips_sect [default_sect] activate = 1 CONF echo \u0026#34;done. now restart Webex\u0026#34; Uruchom ponownie, a ta sama sekwencja startowa daje przeciwny wynik. Ta sama binarka. Te same linie logu. Odświeżenie tokenu, które wcześniej padało w ciągu sześćdziesięciu milisekund, teraz kończy się w trzysta trzydzieści:\nAuthTokenRequester.cpp:579 Managed to fetch a new Kms access token. AuthTokenRequester.cpp:579 Managed to fetch a new CloudApps access token. AuthTokenSupervisor.cpp:310 Auth tokens refreshed. Expires in [64799 secs]. AuthenticationManager.cpp:1860 onUserAuthenticated: User authenticated. ConnectivityStateMachine::Authentication - UserNotAuthenticated -\u0026gt; UserAuthenticated Uwierzytelnienie w około 750 ms, więc piętnastosekundowy licznik nigdy nie odpala, a pasek się nie pojawia. Usługi telefoniczne przechodzą z Disconnected do Connecting, stanu, którego zepsuta sesja nie osiągnęła przez minutę prób.\nPrzed Po Test sieci przechodzi przechodzi Pierwsze żądanie HTTPS 167772294 Error in SSL handshake HTTP 200 Token CloudApps błąd pobrany Token Kms błąd pobrany Uwierzytelnienie utknęło na UserNotAuthenticated UserAuthenticated Pasek po 15 s „Offline - No internet connection” brak Usługi telefoniczne nigdy nie próbowano łączenie Czas do uwierzytelnienia nigdy ~750 ms Zwróć uwagę, co ta poprawka robi z twoim systemem plików, bo powinno cię to uwierać. Tworzy na twojej maszynie katalog najwyższego poziomu o nazwie /workspace, nazwie, dla której Filesystem Hierarchy Standard nie ma miejsca10, a w nim ścieżkę cache Conana i skrót builda należące do firmy, od której kupiłeś oprogramowanie. Tak wygląda lekarstwo, jakie zostawiło ci Cisco: zamontuj cudze środowisko buildów w korzeniu własnego.\nDo tego to się zepsuje. Na trzy sposoby:\nKiedy się psuje Dlaczego Co robisz Aktualizacja Webexa cisco8ee8b59cf93de wynika z danych wejściowych builda, więc przebudowana zależność oznacza nowy katalog Uruchom skrypt ponownie; czyta ścieżkę z nowej binarki, zamiast zakładać starą Zmiana dystrybucji Cel dowiązania to decyzja dystrybucji, nie standard11 Przestaw go; skrypt sprawdza cztery znane lokalizacje Ponowna instalacja /workspace nie jest kopiowany zapasowo, pakowany ani przez nic posiadany Uruchom go znowu, za każdym razem, na zawsze Nic z tego nie jest utrzymaniem. To ty zastępujesz krok w cudzym pipeline buildów, bez końca, za darmo. Łatanie usterki w czasie działania, na każdej maszynie, którą masz, bo dostawca nie chciał jej załatać raz, w czasie budowania.\nZnali zasadę i zastosowali ją do połowy builda Oto co zmienia to ze zgłoszenia błędu w argument.\nPrzeczytaj sekcję dynamiczną dostarczonych binarek:\n$ readelf -d /opt/Webex/bin/libcurl.so | grep RUNPATH 0x1d (RUNPATH) Library runpath: [$ORIGIN:$ORIGIN/../lib] $ readelf -d /opt/Webex/bin/CiscoCollabHost | grep RUNPATH 0x1d (RUNPATH) Library runpath: [$ORIGIN/../lib] $ORIGIN rozwija się w czasie ładowania do katalogu, w którym leży sam obiekt12. To właściwe narzędzie dla przenośnego pakietu i użyli go poprawnie. Musieli: Webex dostarcza to samo drzewo dwa razy, raz do /opt/Webex i raz do ~/.local/share/WebexLauncher/46.8.0.35631_9e6196c9-…/, a launcher wybiera między nimi przy starcie. Dwa prefiksy, jeden build, a linker znajduje swoje biblioteki w obu.\nLudzie, którzy zrobili ten pakiet, rozumieli więc problem dokładnie. Ścieżki bezwzględne nie przeżywają wysyłki. Rozwiązali to dla kodu.\nA potem ścieżki danych zostawili jako bezwzględne napisy wskazujące kontener, który je skompilował. Ten sam build. To samo popołudnie.\nJedna ścieżka w pakiecie sama się przenosi. Druga wskazuje maszynę w jakimś centrum danych. Wiedzieli, że pakiet musi być przenośny. Zastosowali to tylko do kodu. Obie wartości ustawili przy budowaniu ci sami ludzie tego samego dnia. Jedna rozwija się przy ładowaniu, druga nigdy. Skąd pochodzi kod: zapisane jako wyrażenie względne RUNPATH w libcurl.so $ORIGIN:$ORIGIN/../lib /opt/Webex/lib znaleziona ~/.local/share/WebexLauncher/46.8.0.35631_.../lib też znaleziona Poprawnie, i celowo. To samo drzewo trafia dwa razy pod dwa prefiksy, a linker znajduje je w obu. Skąd pochodzi zaufanie: zapisane jako czyjś katalog roboczy OPENSSLDIR w libcrypto.so.3 /workspace/.conan2/p/b/cisco8ee.../p/ssl nie ma takiej ścieżki nieznaleziona ENGINESDIR i MODULESDIR: to samo drzewo, ten sam wynik Trzy bezwzględne ścieżki do kontenera buildów, u każdego klienta, w produkcie sprzedawanym z umową wsparcia. Dzieli obie połowy tego obrazu jedna osoba uruchamiająca spakowany artefakt na maszynie, która go nie zbudowała. To cała usterka. Nie trudny błąd. Nieprzetestowany. Ten sam build, ten sam dzień, ci sami inżynierowie. Ścieżka wyszukiwania bibliotek jest zapisana jako wyrażenie, które rozwiązuje się tam, gdzie wyląduje drzewo. Ścieżka zaufania jest zapisana jako czyjś katalog roboczy. Nie da się więc tego odłożyć do szuflady nie wiedzieli. Na $ORIGIN nie wpada się przypadkiem. Sięgasz po niego, bo zrozumiałeś, że ścieżka bezwzględna wpieczona w dostarczany artefakt to usterka, i zrozumiałeś to na tyle dobrze, żeby pójść i naprawić to w linkerze. A potem ten sam build wpisuje trzy ścieżki bezwzględne do tych samych bibliotek i je wysyła.\nZnać zasadę i zastosować ją do połowy builda to gorzej niż jej nie znać. Niewiedza to problem szkoleniowy, a na szkolenie jest sposób. Tu mamy pakiet, w którym był właściwy pomysł, na piśmie, w nagłówku ELF, gdzie każdy mógł go przeczytać, i mimo to wyszedł za drzwi zepsuty. A to mówi ci, że nic za kompilatorem nie patrzyło na wynik. Zupełnie nic.\nKontener już tam był Skąd wziął się /workspace, to żadna tajemnica i nie musisz zgadywać. Stoi w nagłówku pakietu:\n$ rpm -qi webex | grep -E \u0026#39;Build Host|Build Date|Vendor\u0026#39; Build Date : Sat 08 Aug 2026 20:47:43 BST Build Host : c964ea9239ae Vendor : Cisco c964ea9239ae to nie nazwa hosta, którą ktoś wpisał. To dwanaście znaków szesnastkowych, czyli to, co kontener podaje jako nazwę hosta, kiedy nic jej nie ustawia. Pakiet zbudowano więc w kontenerze, w firmie, która ewidentnie ma obrazy, rejestr i orkiestrację, żeby to robić, a trzy osobne artefakty na tej maszynie mówią to niezależnie od siebie:\nDowód, odczytany z zainstalowanego pakietu Wartość Czego dowodzi Build Host w nagłówku RPM c964ea9239ae ID kontenera, nie maszyna buildów OPENSSLDIR w libcrypto.so.3 /workspace/.conan2/… ścieżka istniejąca tylko w tym kontenerze PLATFORM w tej samej bibliotece conan-Release-Linux-x86_64-gcc-13 skonteneryzowany toolchain Conana Requires w RPM glibc \u0026gt;= 2.28 celowo wybrana, bardzo stara podłoga ABI Potem to podpisali. Build skończył się o 20:47:43, a podpis ma datę 21:02:07 tego samego wieczoru, ID klucza 9995e5bbb5ccde3c. Piętnaście minut. Jest więc bramka wydania, ktoś albo coś ją obsługuje, a to, co poświadcza, to kto zrobił pakiet, a nie to, czy pakiet działa. Podpis to stwierdzenie o pochodzeniu. Nigdy nie był stwierdzeniem o przydatności, a proces, który ma jedno bez drugiego, ma priorytety w złej kolejności.\nBo brakujący krok jest tym tanim. Kontener już jest w pipeline. Weź artefakt, który właśnie z niego wyszedł, uruchom czysty obraz każdej dystrybucji, którą deklarujesz jako wspieraną, zainstaluj go, odpal i przeczytaj pierwsze sto linii logu:\ndocker run --rm fedora:44 sh -c \u0026#39; dnf -y install ./webex-46.8.0.35631-1.x86_64.rpm \u0026amp;\u0026amp; timeout 25 /opt/Webex/bin/CiscoCollabHost \u0026amp; sleep 20 grep -c \u0026#34;Error in SSL handshake\u0026#34; ~/.local/share/Webex/current_log.txt\u0026#39; Wynik niezerowy, za każdym razem, na tym buildzie. Instalacja ma 1,1 GB, więc przyjmij minutę na cel przy rozgrzanym cache. Sześć dystrybucji to sześć minut pracy maszyny, która i tak już chodzi, na sprzęcie, który Cisco już ma, w pipeline, który już istnieje. Nikt tego nie uruchomił. Ani razu.\nI to jest odpowiedź na to, co ludzie wciąż powtarzają o Linuksie, że wspieranie kilku dystrybucji jest trudne. Przestało być trudne w dniu, w którym pojawiły się te narzędzia, a to te same narzędzia, którymi kompilują. Jeden obraz bazowy na cel. Ten sam artefakt do każdego. Macierz to pętla.\nPipeline, który buduje w kontenerze i nigdy nie uruchamia w nim wyniku, to nie pipeline. To kompilator z cronem z przodu i kluczem do podpisywania z tyłu, a wszystko, co z niego wychodzi, to zgadywanie.\nBudują w kontenerze i nigdy nie uruchamiają w nim wyniku Kontener już jest w pipeline. Służy tylko do tej połowy, która pasuje dostawcy. Każda wartość poniżej jest odczytana z pakietu leżącego na maszynie, nie wywnioskowana. Build, w kontenerze Build Host: c964ea9239ae /workspace/.conan2/p/b/... conan-Release-Linux-x86_64-gcc-13 trzy osobne dowody kontenera Podpis i publikacja build 20:47:43 podpis 21:02:07 piętnaście minut i bramka wydania, która poświadcza kto, nigdy czy działa Klient dnf install webex otwiera go „Offline - No internet” Krok, którego nie ma nigdzie w pipeline docker run --rm fedora:44 sh -c 'dnf -y install ./webex.rpm \u0026amp;\u0026amp; CiscoCollabHost \u0026amp; sleep 20; grep -c \"Error in SSL handshake\" ~/.local/share/Webex/current_log.txt' Ta sama infrastruktura. Jeden obraz na dystrybucję. Poniżej minuty na każdą, a na tym buildzie pada głośno. Budowanie dla wielu dystrybucji przestało być trudne, gdy pojawiły się te narzędzia, a kompilują tymi samymi. Pipeline, który buduje w kontenerze i nie uruchamia w nim wyniku, to kompilator z cronem z przodu i kluczem z tyłu. Trzy niezależne dowody w dostarczonym pakiecie, że build szedł w kontenerze, podpis nałożony piętnaście minut po buildzie i jeden krok, którego nie ma nigdzie: uruchomienie gotowego pakietu w czystym obrazie każdej platformy, którą sprzedaje się jako wspieraną. Dlaczego wydanie z 2026 roku jest budowane na libc z 2018? Pakiet deklaruje, czego potrzebuje, a ciekawa jest pierwsza linia:\n$ rpm -q --requires webex | grep glibc glibc \u0026gt;= 2.28 glibc 2.28 wyszło 1 sierpnia 201813. To wersja z Red Hat Enterprise Linux 814, wydania, którego pełne wsparcie skończyło się w 2024. To produkt z 2026, skompilowany w 2026, celujący w bibliotekę C z 2018. A do tego dostarczający własną kopię libstdc++.so.6 o rozmiarze 2,5 MB do katalogu domowego użytkownika, bo środowisko uruchomieniowe C++, które pasuje do tak starej bazy, nie udźwignie tego kodu.\nPo co ktokolwiek wciąż by tak robił? Bo nie chcą linkować statycznie.\nTo wszystko. W chwili, gdy linkujesz dynamicznie z biblioteką C hosta, najstarsza dystrybucja, jaką chcesz wspierać, staje się ograniczeniem dla maszyny, na której kompilujesz. Nie możesz użyć symbolu, o którym najstarszy cel nigdy nie słyszał, więc przypinasz build do prastarego obrazu bazowego i tam zostajesz. Co roku przepaść rośnie. Każda nowa funkcja języka czy biblioteki przychodzi z kłótnią, czy podłogę da się przesunąć. Dostarcz własne libstdc++, żeby zakleić najgorsze, i od tej chwili utrzymujesz też prywatne środowisko uruchomieniowe.\nTen kompromis miał sens, kiedy host buildów był fizyczną maszyną w szafie, którą ktoś musiał przeinstalować. Od dekady sensu nie ma. Jeśli musisz linkować z libc hosta, kontener na każdy cel daje ci prawdziwy build na prawdziwej wersji każdej platformy i żaden z nich nie ogranicza pozostałych.\nAle spójrz, co ta dyscyplina starych celów tu naprawdę kupiła. To konserwatyzm ABI za sporą cenę: ośmioletnia podłoga, dołączone środowisko C++, macierz wsparcia zamrożona wokół tego. A klient i tak nie startuje. Bo zepsuła się ścieżka do pliku, a żadna troska o wersje symboli nie chroni ścieżki do pliku. Zapłacili podatek od zgodności i podatek od pakowania wszystkiego razem, a pominęli jedyny test, który nic nie kosztuje. Oba rachunki. Zero produktu.\nZapłacili za samowystarczalny pakiet i go nie dostali Od dawna sposobem na dostarczanie komercyjnego oprogramowania na Linuksa jest zależeć od hosta tak mało, jak się da. Statycznie, gdzie można, samowystarczalne drzewo, gdzie nie można, i żadnych założeń co do dystrybucji pod spodem. To nie jest eleganckie i nikt nie udaje, że jest. Istnieje z powodu alternatywy. Binarka, która potrzebuje konkretnej wersji konkretnej biblioteki w konkretnym miejscu, zamienia maszynę każdego klienta w zgłoszenie do wsparcia.\nCisco poszło drugą drogą i spakowało wszystko razem. Oto rachunek:\nCo zawiera pakiet Rozmiar lub liczba Obiekty współdzielone w /opt/Webex/lib 150 Własne libcurl, CiscoSSL, zlib-ng, ICU, Kerberos, klient CUPS, hunspell i silnik inferencji wszystkie Zainstalowane w /opt/Webex 1,1 GB Druga kopia w ~/.local/share/WebexLauncher, na użytkownika 1,1 GB Na dysku dla klienta czatu i połączeń 2,2 GB Dwa gigabajty zależności. To pełna cena pakowania wszystkiego razem: pobieranie, dysk, duplikacja, ciężar bezpieczeństwa bycia jedyną stroną, która może cokolwiek z tego załatać, całość. Zapłać to, a kupujesz program, któremu jest obojętne, co jest zainstalowane na hoście, który zachowuje się tak samo na Fedorze, Debianie, Archu i na czymkolwiek klient ustandaryzował się w tym roku, i którego nie zepsuje aktualizacja dystrybucji, o której nigdy nie słyszał.\nTyle że nie jest mu obojętne. Bardzo zależy mu na jednym katalogu, a to katalog na serwerze buildów.\nDostarczyli własnego Kerberosa, własne ICU i własny słownik ortograficzny, a nie umieli dostarczyć działającej ścieżki do certyfikatów. Całym sensem tego pakietu jest samowystarczalność, a nie jest samowystarczalny dokładnie w tym jednym, co sprawia, że przestaje działać. Każdy z tych 1,1 GB jest odnajdywany poprawnie przez $ORIGIN. Czterdzieści kilka bajtów, które znaczą najwięcej, nie.\nI to mnie najbardziej bierze. Pakowanie wszystkiego razem to opcja droga. Ponieśli ten koszt, zrobili trudną inżynierię, dobrze ustawili przenośność dla stu pięćdziesięciu bibliotek w dwóch prefiksach instalacji. A potem jedyną część, która decyduje, czy cokolwiek z tego działa, skierowali na maszynę, której żaden klient nigdy nie posiadał.\nNikt tego też nie udokumentował Obok pierwszej leży druga porażka i to ona wyłapałaby tę pierwszą.\nZapytaj pakiet, jaką dokumentację dostarcza:\n$ rpm -qd webex | wc -l 0 $ rpm -qc webex | wc -l 0 Żadnych plików dokumentacji. I żadnych plików konfiguracyjnych. Zero wpisów oznaczonych %config w pakiecie, który dostarcza openssl.cnf. To nie kosmetyka. RPM oznacza plik jako %config po to, żeby menedżer pakietów zachował to, co zmienił administrator, zapisując .rpmsave zamiast to nadpisać1516. /opt/Webex/lib/openssl.cnf jest dostarczany jako zwykły plik, więc następna aktualizacja nadpisze każdą twoją zmianę i nic ci nie powie. Jedyny plik, który klient mógłby z uzasadnionych powodów chcieć dostosować, pakowanie traktuje jako jednorazowy.\nNic opublikowanego nie mówi, jakiego magazynu zaufania używa klient, jakie zmienne środowiskowe respektuje ani skąd czyta konfigurację TLS. Nie ma strony do sprawdzenia. Żadnej nie napisano. Jedynym sposobem, w jaki cokolwiek z tego ustaliłem, były strings, readelf, ldd i ctypes na dostarczonych binarkach. Inżynieria wsteczna wspieranego produktu, żeby odpowiedzieć na pytanie, na które jego dokumentacja powinna była odpowiedzieć jednym zdaniem.\nA oto dlaczego to ważniejsze, niż brzmi. Pisanie tej dokumentacji samo w sobie jest testem. Posadź kogokolwiek u dostawcy przed pustą stroną z nagłówkiem skąd Webex dla Linuksa czyta certyfikaty CA i pierwsze, co musi zrobić, to pójść i sprawdzić. W chwili, gdy sprawdzi, znajdzie /workspace/.conan2/p/b/cisco8ee8b59cf93de/p/ssl, a następną rzeczą, jaka z niego wyjdzie, będzie pytanie. Udokumentowane ścieżki konfiguracji to nie papierologia dla wygody klienta. To najtańszy audyt, jaki dostawca może przeprowadzić na własnym buildzie, a pominięcie go to sposób, w jaki taka ścieżka dożywa do wydania.\nNic z tego nie jest wielkim wymaganiem. Powiedz, gdzie leży twoja konfiguracja. Powiedz, jakie zmienne środowiskowe respektujesz. Oznacz pliki konfiguracyjne jako konfigurację, żeby aktualizacja ich nie zjadła. Wtedy klient, który trafi na usterkę, ma gdzie zajrzeć, i nie jest to edytor szesnastkowy.\nNikt tego nie uruchomił Brakujący krok padł powyżej wystarczająco wiele razy. Warto zapytać, dlaczego zniknął na tej platformie, a nie na innych.\nW każdym razie nie na Fedorze. Na macOS i na Fisher-Price OS (Windows) ta klasa usterek nie może wyjść w ten sam sposób, bo te platformy mają systemowy stos TLS z magazynem zaufania zarządzanym przez system operacyjny. Linux nie ma czegoś takiego. OpenSSL jest magazynem zaufania, a zatem ten, kto go dostarcza, odpowiada za to, gdzie szuka. Jedyna platforma, na której dołączona biblioteka jest nośna, to więc platforma, która wyszła nieprzetestowana, a to decyzja o tym, którzy klienci są warci smoke testu.\nCałe dochodzenie zajęło wieczór: przeczytanie logu, zauważenie, że wykrywanie sieci przeszło, zanim pasek twierdził co innego, wyciągnięcie wkompilowanej ścieżki z binarki, odtworzenie dokładnego kodu błędu na dostarczonej bibliotece. Wszystko z agentem AI, który robił korelację logów i uprząż ctypes, podczas gdy ja ustalałem, o co go pytać. Wspominam o tym z jednego powodu: diagnoza, której dostawca nigdy nie postawił przed podpisaniem tego pakietu i wstawieniem go do własnego repozytorium, jest teraz w zasięgu wieczoru dla każdego klienta, który ma cierpliwość, żeby zajrzeć. Inżynierowie Cisco mają dostęp do Claude tak samo jak wszyscy inni, a on zbudowałby to porządnie. Nie da się poprosić go o wpieczenie /workspace/.conan2 w dostarczany artefakt bez tego, żeby ci powiedział, co się stanie, kiedy artefakt opuści workspace. Narzędzia, żeby to wyłapać, nie są już rzadkie, wiedza też nie. Brakuje kogokolwiek u dostawcy, czyim zadaniem byłoby spojrzeć.\nTymczasem ścieżka wsparcia dla osoby, która na to trafi, to pasek mówiący, że nie działa jej internet. Zrestartuje router. Zadzwoni do dostawcy internetu. Założy zgłoszenie, które donikąd nie prowadzi, bo objaw, który Cisco postanowiło wyświetlić, wskazuje z dala od Cisco.\nTo pełna lista tego, co poszło źle. Warto powiedzieć, jak wyglądałoby dobrze, bo każda pozycja na niej ma ustaloną odpowiedź starszą niż ten produkt.\nJak to powinno być zbudowane Dość o tym, co poszło źle. Oto standard i nic w nim nie jest nowe. Tego wymaga dostarczanie binarki na cudzy komputer od dwudziestu lat.\nZacznij od decyzji, którą Cisco podjęło dobrze w zasadzie i źle w wykonaniu: od ilu rzeczy na hoście chcesz zależeć. Linkowanie statyczne to najmocniejsza odpowiedź i warto mówić o nim konkretnie, bo „po prostu zlinkuj statycznie” rzucają ludzie, którzy nigdy nie musieli, a zbywają ludzie, którzy nigdy nie próbowali.\nCo usuwa Ile kosztuje RUNPATH i każdy sposób, by go zepsuć, bo w czasie ładowania nic się nie wyszukuje glibc nie linkuje się statycznie czysto: wyszukiwanie nazw i użytkowników idzie przez dlopen, więc binarka i tak sięga po moduły NSS hosta17 Podłogę glibc, więc najstarsza dystrybucja przestaje dyktować, na czym wolno ci kompilować Części na LGPL niosą obowiązek ponownego linkowania, więc zostają dynamiczne albo dostarczasz to, co potrzebne do przelinkowania Awarie po aktualizacji dystrybucji, zmianie nazwy biblioteki albo nieaktualnym cache ldconfig Każda łatka jest twoja: żadna aktualizacja bezpieczeństwa dystrybucji nie dotrze do twoich klientów dlopen wersjonowanego .so z katalogu, którego może nie być Większe pobieranie i brak współdzielenia stron między procesami I jedna linia w lewej kolumnie, którą pozostałe tylko podpierają: artefakt, który wyprodukował twój pipeline, to artefakt, który uruchamia klient, bajt w bajt. Przetestuj go, a przetestowałeś to, co wysłałeś. To jest ta właściwość, o której braku traktuje cały ten wpis.\nO prawej kolumnie warto mówić uczciwie. To prawdziwe koszty i powód, dla którego ludzie sięgają po musl albo godzą się na hybrydę. Ale spójrz na trzeci wiersz. Bycie właścicielem każdej łatki dotyczy dokładnie tak samo tego, co Cisco już zrobiło: dołączone drzewo 150 bibliotek to to samo zobowiązanie bez żadnej z gwarancji w czasie ładowania. Zapisali się na łatanie wszystkiego tak czy inaczej i nic za to nie dostali.\nZasada jest więc prosta i to jest zasada, którą złamali: czego nie da się wlinkować, to musisz znajdować ścieżką względną wobec binarki. $ORIGIN dla kodu i ta sama dyscyplina, celowo, dla każdej ścieżki danych, której biblioteka będzie szukać. Tutaj są cztery i każda ma udokumentowany uchwyt:\nCzego szuka biblioteka Co dostarczono Co powinno być Kotwice zaufania OPENSSLDIR/cert.pem, ustalone przy budowaniu dostarczone w drzewie albo SSL_CERT_FILE ustawione przy starcie5 Konfiguracja OPENSSLDIR/openssl.cnf, ta sama ścieżka, nigdy nieznaleziona OPENSSL_CONF, skierowane na kopię w pakiecie5 Dostawcy, w tym FIPS MODULESDIR, bezwzględna, więc fips.so jest nieosiągalny OPENSSL_MODULES, „the directory from which cryptographic providers are loaded”5 Silniki (engines) ENGINESDIR, bezwzględna OPENSSL_ENGINES albo nic, bo OpenSSL 4.0 całkiem usunął obsługę silników5 Cztery ścieżki, cztery zmienne środowiskowe, wszystkie na jednej stronie podręcznika, z którą ich własna biblioteka przychodzi. Jeśli jakikolwiek napis w twoim artefakcie zaczyna się od / i został ustalony w czasie budowania, to usterka czekająca, aż znajdzie ją klient. Nie ma trzeciej opcji, w której bezwzględna ścieżka builda jest w porządku.\nPoprawki dla tego przypadku i test, który to wyłapuje Od zasady do tej konkretnej usterki. Sześć zmian, ani jedna nie wymaga badań:\nPoprawka Wysiłek Dlaczego jest właściwa Ustawić --openssldir=/opt/Webex/lib/ssl i dostarczyć to drzewo jedna flaga configure Ścieżka istnieje wtedy w pakiecie, a do tego służy ta flaga2 Ustawić SSL_CERT_FILE/SSL_CERT_DIR w CiscoSSLUtils przy starcie, sprawdzając znane ścieżki dystrybucji kilkanaście linii Standardowe, udokumentowane, już obsługiwane przez ich własną bibliotekę5 Samemu dostarczać pakiet certyfikatów CA w paczce tylko pakowanie Pełna kontrola nad zaufaniem, za cenę odpowiedzialności za jego aktualność Poprawić openssl.cnf, żeby aktywował dostawcę default jedna linia Potrzebne tak czy inaczej, a teraz zamaskowane przez usterkę ścieżki6 Oznaczyć openssl.cnf jako %config jedna linia spec Aktualizacja przestaje po cichu zjadać zmiany administratora15 Opublikować ścieżki i respektowane zmienne jedna strona Najtańszy audyt, jaki istnieje, a znajduje tę usterkę już w trakcie pisania Pierwsza to poprawka jedną flagą i z nią produkt wyszedłby działający. To pojedyncza wartość w skrypcie builda, ustawiona raz, którą ustawili źle, bo nic dalej jej nigdy nie sprawdziło.\nTest jest mniejszy niż poprawka:\n# in CI, on the packaged artefact, in a clean container test -d \u0026#34;$(strings lib/libcrypto.so.3 | grep -oP \u0026#39;(?\u0026lt;=OPENSSLDIR: \u0026#34;)[^\u0026#34;]+\u0026#39;)\u0026#34; \\ || { echo \u0026#34;shipping a trust store path that does not exist\u0026#34;; exit 1; } Jedna linia. Wywaliłaby to wydanie głośno, w lutym, na maszynie, która je zrobiła, w kontenerze, który je zrobił, zanim pakiet został podpisany. Nie ma jej nie z powodu trudności ani kosztu. Nie ma jej, bo nikt nie dostał polecenia, żeby ją napisać, więc to, czy spakowany artefakt zachowuje się jak oprogramowanie, nie było niczyim zadaniem.\nIle niechlujny proces budowania kosztuje wszystkich innych Wszystko powyżej to proces budowania jednego produktu widziany od środka i nie będę cię po nim prowadził drugi raz. Warto zapytać, czy taki standard staranności zatrzymuje się na jednym zespole.\nPostaw więc obok niego zapis z zewnątrz. CISA prowadzi katalog podatności o których wiadomo, że są wykorzystywane w praktyce. Nie teoretycznych, nie ocenionych. Zaobserwowanych w użyciu przeciwko ludziom. Według stanu na 14 września 2026 zawiera 1710 wpisów18:\nDostawca Wpisy w katalogu KEV Microsoft 388 Cisco 98 Apple 94 Adobe 81 Google 74 Oracle 46 Fortinet 30 VMware 26 Drugie miejsce, za monopolistą systemów operacyjnych i przed wszystkimi innymi. Najnowszy wpis Cisco trafił tam 14 września 2026, dzień przed napisaniem tego tekstu.\nTen sam plik liczyłem trzy tygodnie wcześniej do /pl/random/is-your-msp-lying-to-you-part2/: wersja 2026.08.27, 1685 wpisów, Cisco z 96. Dwa więcej od tamtej pory, w dwadzieścia jeden dni.\nBądź uczciwy co do tego, czego ta tabela sama w sobie dowodzi, a czego nie. Duża baza instalacji w cennych miejscach przyciąga uwagę, a uwaga znajduje błędy, więc każdy dostawca tej skali będzie miał długą listę. Ta liczba to założenie wstępne, nie wyrok.\nSkład trudniej zbyć niż sumę. Dwadzieścia pięć z dziewięćdziesięciu ośmiu wpisów Cisco dotyczy linii bezpieczeństwa: firewalli, urządzeń, koncentratorów VPN, bramek poczty i WWW, usług tożsamości. A cztery ostatnie wpisy dodane przeciwko nim, pod rząd, to dwa razy Secure Firewall Management Center, Secure Firewall ASA i Secure Email Gateway, ten ostatni 14 września 202618. Nie przełączniki. Nie sprzęt do współpracy. Produkty sprzedawane właśnie po to, żeby chronić wszystkich pozostałych.\nI to jest zdanie, do którego zmierzał cały ten wpis, więc oto ono, wprost. To firma, której biznesem jest sprzedaż urządzeń bezpieczeństwa, a nie potrafi sprawić, żeby klient na pulpit sprawdził certyfikat. Nie trudny przypadek. Nie nowatorski atak. Najbardziej rutynowa operacja bezpieczeństwa w informatyce, wykonywana przez każdą przeglądarkę przy każdym ładowaniu strony, w bibliotece, którą sami sforkowali, a oni wysłali ją skierowaną na katalog, który nigdy nie istniał na maszynie klienta. A potem ją podpisali.\nTen wpis dodaje próbkę procesu, który za tym stoi. Nie podatność. Zwykłą usterkę pakowania, najmniej subtelną klasę błędu, jaka istnieje, na wspieranej platformie, wyłapywaną przez każdy smoke test, jaki ktokolwiek chciałby uruchomić, i mimo to wysłaną. Jeśli pipeline buildów postawi coś takiego przed płacącym klientem, nie wiadomo, co by zatrzymał. Nic tego nie zatrzymało.\nCzy mogę zapytać, dlaczego to podpisano? Czy mogę zapytać, dlaczego pakiet, który nie potrafi zakończyć handshake\u0026rsquo;u TLS, został podpisany i opublikowany dla platformy, którą wasza własna strona wymagań wymienia jako wspieraną? Nie kto go podpisał. Nazwisko mnie nie interesuje i nie o nie tu chodzi. Co na to pozwoliło, bo coś pozwoliło, piętnaście minut po zakończeniu builda, i cokolwiek to jest, wciąż działa.\nTeraz wersja bez owijania. To nie jest projekt, który ściągnąłem z jakiejś kuźni kodu i zaryzykowałem. Za to się płaci. Stoi za tym umowa, linia wsparcia, strona wymagań, która coś twierdzi o Linuksie, i klucz podpisujący, który zapewnia, że pakiet pochodzi od Cisco i nadaje się do instalacji. Każda z tych rzeczy to oświadczenie wobec klienta, a przy tym wydaniu każda była nic niewarta, bo nikt nigdy nie otworzył wyniku.\nA standard, którego tu nie dotrzymano, nie jest mój. Jest ich. Cztery zmienne, które poniosłyby te ścieżki, są opisane na stronie podręcznika, którą dostarczacie w środku pakietu. Ich własny format pakowania ma znacznik %config, którego nie użyli, i sekcję dokumentacji, którą zostawili pustą. Ich własny build szedł w kontenerze, którego nigdy nie użyli do uruchomienia wyniku. Nie proszę firmy od sieci i współpracy, żeby cokolwiek wymyślała. Pytam, dlaczego nie przeczytała własnych podręczników.\nDlatego wymówką, której nie przyjmę, jest to, że to trudne. Nie jest trudne dla nikogo, a już na pewno nie dla firmy, która robi to codziennie, w tej skali, za te pieniądze. Profesjonaliści, którzy robią to na co dzień, nie mają wymówki, a bycie dużym nią nie jest.\nI czy mogę zapytać o jeszcze jedno, bo to ono naprawdę się liczy. Sprzedajecie firewalle. Sprzedajecie bramkę pocztową, koncentrator VPN, usługę tożsamości, centrum zarządzania tym wszystkim, a przy każdym z nich przekaz brzmi, że rozumiecie to lepiej niż klient. Jak więc firma, która przedstawia się jako autorytet od bezpieczeństwa sieci, wydaje klienta, który nie potrafi zweryfikować certyfikatu? Nie zawodzi przy sprytnej weryfikacji. Nie umie nawet żadnego znaleźć, bo katalogu nigdy tam nie było.\nNie ma takiej wersji odpowiedzi, którą chciałbym usłyszeć, zaczynającej się od tego, że zespół od pulpitu jest oddzielny od zespołu od urządzeń. To ten sam podpis, ten sam pipeline, to samo opublikowane twierdzenie o wspieranej platformie i ten sam brakujący krok na końcu, czyli otwarcie pudełka. Jeśli weryfikacja certyfikatów nie jest sprawdzana przed wysyłką w produkcie, w którym awaria jest głośna i nieszkodliwa, nie mam powodu wierzyć, że jest sprawdzana w produkcie, w którym awaria jest cicha i droga.\nI część szczera, powiedziana wprost. Nic z tego mnie nie zaskoczyło. Nauczyłem się oczekiwać takiego standardu od tego dostawcy i dlatego tam, gdzie wybór należy do mnie, nie kupuję ich sprzętu i nie buduję na nim. To nie jest preferencja co do logo. To ta sama ocena, jaką wydałbym o każdym dostawcy: zmierzyłem ich pracę, nie raz, i wynik wciąż wraca taki sam. Katalog powyżej to jeden pomiar. To, co trzeba było zrobić, żeby napisać pierwszą połowę tego wpisu, to drugi.\nJedynym powodem, dla którego w ogóle siedziałem na Webexie, jest to, że wybór nie należał do mnie, i warto to nazwać, bo w takim położeniu jest większość czytających. Rzadko masz możliwość ominięcia dostawcy, którego jakość już zmierzyłeś. Ktoś inny podpisuje umowę, sprzęt przychodzi, a pierwszą osobą, która odkrywa, co pominięto w buildzie, jesteś ty, przy biurku, ze spotkaniem, które właśnie się zaczyna.\nWysyłanie czegoś, czego nigdy nie uruchomiłeś Będzie wewnętrzne wyjaśnienie. Napięty sprint, pipeline, który zmienił właściciela, platforma bez opiekuna. Nic z tego nie jest warte wysłuchania, bo każde opisuje to samo: pracy nie wykonano, a nic w procesie jej nie wymagało.\nJest stary standard z pracy fachowców, który nigdy nie trafił do oprogramowania: nie schodzisz z roboty, dopóki nie uruchomisz tego, co zrobiłeś. Napełniasz instalację i sprawdzasz każde złącze. Podajesz napięcie na rozdzielnię i testujesz każdy obwód. Nie dlatego, że wątpisz w swoją robotę. Dlatego, że klient będzie z tego korzystał, a dowiedzenie się przy nim to nie jest profesjonalny wynik. Nikt nie patrzy, jak to robisz. I tak to robisz. Na tym polega całe znaczenie tego słowa.\nOprogramowanie przez trzydzieści lat przekonywało, że jest inne, że build jest produktem do oddania, a instalacja to czyjś inny problem, że zielony pipeline to to samo co działający produkt, a tak nie jest. Build, którego nigdy nie wykonano poza kontenerem, który go wyprodukował, nie został skończony, tylko porzucony w miejscu, gdzie kończenie robi się nudne. Wszystko za nim to twierdzenie o pracy, której nie wykonano.\nPoprawka to jedna flaga configure. Test to jedna linia powłoki. Ciekawy nie jest koszt żadnej z nich; ciekawa liczba to ilu ludzi wpisało dane logowania w okno Webexa, zobaczyło, że ich internet nie działa, i w to uwierzyło, bo Cisco im tak powiedziało, a Cisco to firma sieciowa. To właśnie kupił brakujący test: nie błąd, tylko kłamstwo, które produkt mówi pewnym głosem, przy każdym uruchomieniu, ludziom, którzy nie mają jak wiedzieć lepiej.\nI to jest granica, którą warto wyznaczyć, zanim zamkniesz kartę, bo dwie połowy tego wpisu to nie dwa tematy. Ścieżka zaufania wskazująca na kontener buildów i obejście uwierzytelnienia na urządzeniu brzegowym to ta sama porażka przy innej stawce. Obie to wartość, której nikt nie sprawdził, w artefakcie, którego nikt nie uruchomił, podpisanym przez proces, który poświadcza pochodzenie, a nie przydatność. Ta przede mną była z tych nieszkodliwych. Zepsuła się głośno, na moim własnym biurku, a ja dowiedziałem się pierwszy. Ta druga nie robi ci takiej uprzejmości.\nTen sam brakujący test przy dwóch stawkach i tylko jeden ci o tym mówi Jeden brakujący test, dwie stawki. Tylko jedna mówi ci, że tam jest. Ta sama porażka: niesprawdzona wartość, nieuruchomiony artefakt, podpis poświadczający tylko pochodzenie Ten, który psuje się głośno co to było ścieżka magazynu zaufania, która nie istnieje kto to znalazł klient, przy pierwszym uruchomieniu ile kosztowało jeden wieczór, jedno biurko kto się dowiedział ja, od razu Kończy spisane publicznie. Ten, który niczego nie psuje co to było długość, której zakresu nikt nie sprawdził kto to znalazł ten, kto szukał ile kosztowało incydent kto się dowiedział klient, z raportu Kończy jako 1 z 98 wpisów Cisco w katalogu. Proces, który nie wyłapie lewej kolumny, nigdy nie wyłapałby prawej. Różnica to szczęście, nie staranność. Usterka z tego wpisu i wpisy w tamtym katalogu to ta sama porażka w innym ubraniu. Jedna ogłosiła się na moim biurku przy pierwszym uruchomieniu. Ta druga ogłasza się najpierw komuś innemu. Nikt w Cisco nie postanowił wysłać firewalla, który da się wykorzystać, tak samo jak nikt nie postanowił wysłać klienta, który nie łączy się z internetem. To nie jest obrona. To jest zarzut. Żadne nie wymaga decyzji i dokładnie w tym problem: oba to to, co wychodzi na drugim końcu, kiedy pipeline kompiluje, podpisuje i publikuje, a nikt nie odpowiada za otwarcie wyniku. Proces, który nie wyłapie katalogu, który nie istnieje, nigdy nie wyłapałby długości, której nikt nie sprawdza, a dostawca, który sprzedaje ci urządzenie pilnujące twojego perymetru, nie ma prawa do takiego procesu.\nWięc kiedy nazwa jakiegoś dostawcy wciąż pojawia się na tej liście, nie daj się wygodnemu wyjaśnieniu, że jest po prostu duży i często atakowany. Skala tłumaczy liczbę. Nie tłumaczy rodzaju. Spójrz zamiast tego, co jego proces budowania robi z nudnymi rzeczami, bo nudne rzeczy da się zmierzyć z zewnątrz, samemu, dzisiaj, na sprzęcie, który już masz.\nSprawdź własne pakiety. strings, readelf i dwadzieścia minut powiedzą ci, którzy z twoich dostawców wysyłają ścieżkę do maszyny, której nigdy nie zobaczysz. Tak naprawdę nie mierzysz ścieżki. Mierzysz, czy ktokolwiek tam patrzył, a jeśli odpowiedź brzmi nie przy czymś tak tanim do wyłapania, to już wiesz, jak brzmi przy rzeczach, które takie nie są.\nCisco — Webex App system requirements — lista wspieranych platform, łącznie z Linuksem.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nOpenSSL — INSTALL.md, --openssldir — „Directory for OpenSSL configuration files, and also the default certificate and key store.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nOpenSSL — SSL_CTX_load_verify_locations(3) — domyślny plik CA to cert.pem, a domyślny katalog CA to certs, oba w domyślnym katalogu OpenSSL; a o wartościach zwracanych: „A missing default location is still treated as a success.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nConan 2 — conan cache — binarki pakietów leżą pod ścieżką ze skrótem w lokalnym cache, i stąd bierze się /workspace/.conan2/p/b/\u0026lt;hash\u0026gt;/p.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nOpenSSL — openssl-env(7) — SSL_CERT_DIR i SSL_CERT_FILE „specify the default directory or file containing CA certificates”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nOpenSSL — provider(7) — dostawca domyślny i co staje się niedostępne w konfiguracji, która go pomija.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nOpenSSL — config(5) — plik konfiguracyjny, który OpenSSL ładuje przy inicjalizacji, i gdzie go szuka.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nfreedesktop.org — XDG Base Directory Specification — „The base directory defined by $XDG_DATA_HOME is considered more important than any of the base directories defined by $XDG_DATA_DIRS.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nfreedesktop.org — Desktop Entry Specification — gdzie szuka się plików .desktop i jak jeden przesłania inny o tej samej nazwie.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nFilesystem Hierarchy Standard 3.0 — katalogi, które powinien zawierać główny system plików; /workspace nie jest wśród nich.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nupdate-ca-trust(8) — jak powstaje zbiorczy pakiet certyfikatów w /etc/pki/ca-trust/extracted na Fedorze i pokrewnych.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nld.so(8) — $ORIGIN rozwija się do katalogu zawierającego program albo obiekt współdzielony, i to sprawia, że dołączone drzewo jest przenośne.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nglibc timeline — „2018-08-01 GLIBC 2.28 — The GNU C Library version 2.28 is now available”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nglibc — Release wiki — tabela wersji i dystrybucji; Red Hat Enterprise Linux 8 to glibc 2.28.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRPM — spec file reference — %config i co menedżer pakietów robi z plikiem oznaczonym jako konfiguracja.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nFedora packaging guidelines — configuration files — kiedy dostarczany plik musi być oznaczony %config.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nglibc FAQ — dlaczego statycznie zlinkowana binarka glibc wciąż potrzebuje modułów NSS hosta w czasie działania.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCISA — Known Exploited Vulnerabilities Catalog — policzone z opublikowanego kanału JSON, wersja katalogu 2026.09.14, 1710 wpisów.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\n","permalink":"https://blogs.damiendye.uk/pl/certificates/webex-certificates-on-a-build-server/","summary":"Webex 46.8.0.35631 na Fedorze 44 stoi za żółtym paskiem z napisem „Offline - No internet connection”, a każdy inny program na tej maszynie łączy się z internetem bez problemu. Linia VoIP stanęła w miejscu. Sieć nigdy nie była problemem: Cisco dołącza własny fork OpenSSL i zbudowało go z OPENSSLDIR ustawionym na /workspace/.conan2/p/b/cisco8ee8b59cf93de/p/ssl, katalog, który istnieje w kontenerze buildów i nigdzie indziej, więc biblioteka nie ładuje żadnych kotwic zaufania i każdy handshake się wykłada. Wpis idzie po kolei: czym naprawdę jest ten zepsuty stan, pytanie dostarczonej biblioteki, gdzie jej zdaniem leżą certyfikaty, odtworzenie dokładnego kodu błędu poza Webexem, dlaczego nic cię nie ostrzega, dwie poprawki, które nie działają, i dlaczego, oraz ta, która działa. Potem proces budowania: użyli $ORIGIN dla kodu, a trzy ścieżki danych zostawili bezwzględne, nagłówek RPM podaje ID kontenera, więc kontener już był w pipeline i nigdy nie posłużył do uruchomienia wyniku, pakiet wymaga glibc z 2018 roku, bo nie chcą linkować statycznie, 2,2 GB jest dostarczane dwa razy, a do tego nie ma ani dokumentacji, ani jednego pliku oznaczonego jako konfiguracja. Potem to, jak powinno to być zbudowane, sześć poprawek i jednolinijkowy test, który to wyłapuje. I na koniec zestawienie: Cisco ma 98 wpisów w katalogu CISA podatności wykorzystywanych w praktyce, ustępując tylko Microsoftowi, a ścieżka zaufania, której nikt nie sprawdził, i obejście, którego nikt nie sprawdził, to ta sama porażka przy innej stawce.","title":"Webex szuka twoich certyfikatów na serwerze buildów Cisco"},{"content":"VPN to nie produkt. To dwie roboty skręcone ze sobą, a twoja maszyna ma już program do każdej z nich.\nPierwsza robota to stworzenie łącza wirtualnego: interfejsu, który wygląda jak karta sieciowa, przyjmuje pakiety IP i oddaje je gdzie indziej. Druga to przeniesienie bajtów tego łącza z jednego końca na drugi. Kupujesz urządzenie VPN i kupujesz obie roboty z licencją przypiętą zszywaczem; robisz to sam i każda z nich to jeden program, który już jest zainstalowany. Na Linuksie pierwszą robotę można zrobić na dwa sposoby i ten wpis buduje oba: pppd, który przynosi cały protokół łącza (negocjowane adresy, sprawdzanie, czy druga strona żyje, ramkowanie), oraz urządzenie tap, które nie przynosi niczego i jest dziurą w jądrze, w którą wpychasz ramki. Różne kompromisy, nie konkurenci, a druga połowa wpisu stawia je obok siebie.\nTen protokół to PPP, a powód, dla którego to działa, jest zapisany w jego pierwszym akapicie: PPP to protokół łącza dla połączeń punkt-punkt1 i nie określa, z czego to łącze jest zrobione. Modem i linia telefoniczna były pierwotną odpowiedzią. Nigdy nie były jedyną. PPTP włożył PPP do GRE2. L2TP włożył je do UDP3. PPPoE włożył je do ramek Ethernetu. Każde z nich to ten sam protokół z innym kurierem i żadne nie wymagało zmiany PPP.\nPytanie nie brzmi więc, czy da się puścić PPP po gnieździe TCP albo UDP, tylko po którym i ile to kosztuje. Krótka odpowiedź, z pokazanym rachunkiem: używaj UDP. Puszczanie protokołu strumieniowego wewnątrz niezawodnego strumienia to jedyny błąd w tym wpisie, który na biurku wygląda dobrze, a na prawdziwym łączu się rozsypuje.\nVPN to dwie roboty. Obie już masz. Zdejmij marketing z dowolnego tunelu i zostają trzy rzeczy: coś wystawia interfejs wirtualny i zamienia pakiety w strumień bajtów, coś przenosi ten strumień przez sieć, która już działa, a coś go szyfruje albo nic go nie szyfruje.\nKażdy tunel to połowa łącza, nośnik i trochę kryptografii Za każdym razem te same trzy części. Zmienia się tylko nośnik i kryptografia. TUNEL POŁOWA ŁĄCZA NOŚNIK KRYPTOGRAFIA PPP dial-up, 1994 PPP modem i linia telefoniczna brak PPPoE PPP ramki Ethernetu brak PPTP PPP GRE MPPE: złamane, nie używaj L2TP po IPsec PPP UDP IPsec Ten wpis, budowa pierwsza PPP po pty gniazdo UDP, przez netcata DTLS Ten wpis, budowa druga urządzenie tun albo tap gniazdo UDP, przez socat DTLS WireGuard interfejs jądra UDP Noise, bez negocjacji Każdy tunel na tej liście ma ten sam kształt. Różnice są w tym, do jakiego nośnika trafiają bajty i czy cokolwiek je szyfruje. PPP robi połowę łącza od 1994 roku, i dlatego pojawia się pod trzema z nich, choć dla żadnego nie zostało przeprojektowane. Urządzenie tun albo tap robi tę samą połowę bez żadnego protokołu i to jest druga budowa w tym wpisie. PPP robi połowę łącza porządnie: negocjację adresów, sprawdzanie żywotności, kompresję nagłówków, kilka protokołów warstwy sieci na jednym łączu, krok uwierzytelnienia, jeśli go chcesz. Mnóstwo skończonej roboty, która leży w /usr/sbin i nic nie robi. Czego nie robi, to przejmować się nośnikiem: daj mu deskryptor pliku, który przenosi bajty w obie strony, i będzie po nim działać. Netcat to program, którego jedynym celem jest bycie takim deskryptorem.\nSzyfrowanie to część, której nikt ci nie poda na tacy, i to na nie idzie większość tego wpisu, bo netcat nie ma na nie odpowiedzi, a udawanie, że ma, to sposób, w jaki ludzie budują rzeczy, których nie powinni.\nEtapy i dlaczego idą w tej kolejności Wszystko poniżej jest budowane etapami, a każdy dodaje jedną rzecz do poprzedniego. To nie jest chwyt dydaktyczny. Tak właśnie należy to budować, bo kiedy psuje się etap szósty, musisz wiedzieć, czy etap drugi nadal działa, a wiesz to tylko wtedy, gdy etap drugi był kiedyś czymś, co uruchomiłeś osobno.\nSześć etapów, każdy dodaje jedną rzecz do osobnego sprawdzenia Buduj w tej kolejności, a zawsze zejdziesz z powrotem 1 Surowo, po TCP pppd z pty albo urządzenie tap i zwykły nasłuch netcata. Działa na stole. Rozpada się na prawdziwej ścieżce: dwa liczniki retransmisji walczą. 2 Surowo, po UDP To samo łącze, nośnik datagramowy. Zgubiony datagram to jeden zgubiony pakiet. To fundament. Wszystko powyżej jest opcjonalne; to nie. 3 TLS, po TCP ncat, stunnel albo openssl owijają nośnik. Weryfikuj certyfikat na obu końcach, inaczej masz szyfrowanie bez tożsamości i żadnej kontroli dostępu. 4 DTLS, po UDP socat albo openssl, kształt docelowy: szyfrowany, uwierzytelniony, wciąż datagramy. Zgubiony pakiet zostaje zgubionym pakietem, zamiast kłótni dwóch stosów. 5 Kompresja zstd między interfejsem a nośnikiem. Trzymaj okno przez ramki, gdy nośnik dostarcza po kolei; gdy nie, jedna samodzielna ramka na datagram plus słownik. 6 Oba, po kolei Kompresuj, potem szyfruj. Nigdy odwrotnie: szyfrogram się nie kompresuje. I znaj koszt: kompresja przed szyfrowaniem zdradza długość tekstu. Dla własnego ruchu w porządku. Sześć etapów, każdy dodaje jedną rzecz do tego pod nim. Surowo po TCP to miejsce, od którego zaczynają wszyscy, i jedyny szczebel, który jest ślepą uliczką: działa na stole, a na prawdziwej ścieżce się rozpada. Surowo po UDP to fundament, na którym stoi cała reszta. Potem szyfrowanie, potem kompresja, potem jedno i drugie. Każdy etap to łącze, które możesz podnieść, przepingować i zostawić działające, więc kiedy szczyt drabiny źle się zachowuje, możesz po niej schodzić szczebel po szczeblu. Samo łącze jest budowane w ten sam sposób i na tym opiera się jednosekundowa rozgrzewka opisana niżej: tunel wstaje na surowo, udowadnia, że potrafi przenieść ramkę, i dopiero wtedy zaczyna kombinować. Budowa, która włącza wszystko naraz, wysypuje się jako jedna bryła, a ty spędzasz wieczór na zgadywaniu, która warstwa to zrobiła.\nCzego pppd naprawdę chce: deskryptora pliku pppd został napisany dla portów szeregowych, więc naiwne odczytanie jest takie, że potrzebuje portu. Nie potrzebuje. Potrzebuje urządzenia terminala i zrobi je sobie sam:\npty script — Specifies that the command script is to be used to communicate rather than a specific terminal device. Pppd will allocate itself a pseudo-tty master/slave pair and use the slave as its terminal device. The script will be run in a child process with the pseudo-tty master as its standard input and output.4\nPrzeczytaj to jeszcze raz, bo cała budowa jest właśnie tam. pppd tworzy pseudoterminal, zatrzymuje stronę slave, a stronę master oddaje poleceniu jako stdin i stdout. Co to polecenie robi z bajtami, to już nie sprawa pppd. Uruchom tam nc i pójdą do gniazda.\npppd, pseudoterminal, netcat i gniazdo Jeden pakiet, od ppp0 do ppp0, i każde ręce, przez które przechodzi HOST A HOST B ppp0 interfejs jądra pppd ramkowanie HDLC para pty slave dla pppd master dla potomka ncat stdin i stdout para pty master dla potomka slave dla pppd ncat stdin i stdout pppd ramkowanie HDLC ppp0 interfejs jądra gniazdo: TCP albo UDP Dwa pola w środku to jedyna część, którą wybierasz. Wszystko po bokach jest takie samo, czy nośnikiem jest linia telefoniczna, konsola szeregowa, strumień TCP, datagramy UDP czy sesja TLS, i dlatego późniejsza zmiana nośnika kosztuje jedno słowo. Pseudoterminal nie ma pinu wykrywania nośnej, więc pppd czeka na nośną, która nie przyjdzie. Zatrzymuje to opcja `local`. pppd mówi asynchronicznym HDLC do strony slave pseudoterminala, który sam sobie przydzielił. Polecenie wskazane przez pty dziedziczy stronę master jako stdin i stdout. Netcat kopiuje stdin do gniazda, a gniazdo na stdout, więc dwie instancje pppd rozmawiają ze sobą przez parę pty i sieć, a żadna nie wie, że istnieje jakieś gniazdo. Jest druga droga, notty, która zamiast tego używa własnego stdin i stdout pppd. Ale uruchamia ona proces pośredniczący, przez który przechodzi każdy bajt, więc „increases the latency and CPU overhead”4. Używaj pty, chyba że masz powód, by tego nie robić.\nTrzy praktyczne fakty przed pierwszym poleceniem, wszystkie sprawdzone na maszynie, na której to pisałem: Fedora 44, ppp-2.5.1-7.fc44:\n$ pppd --version pppd version 2.5.1 $ ls -l /usr/bin/pppd /dev/ppp -rwxr-xr-x. 1 root root 393784 Jan 17 2026 /usr/bin/pppd crw-------. 1 root root 108, 0 Sep 14 08:34 /dev/ppp $ pppd noauth nodetach pty \u0026#39;true\u0026#39; pppd: using the noauth option requires root privilege Potrzebuje roota. Nie da się tego obejść. Binarka na Fedorze nie ma setuid, /dev/ppp ma tryb 0600 i należy do roota, a opcje, których potrzebujesz, i tak są uprzywilejowane. To coś, co uruchamiasz jako root albo z pliku unit, a nie coś, co użytkownik robi od niechcenia. Ma to znaczenie później, kiedy dojdziemy do tego, co to oznacza dla twojej polityki ruchu wychodzącego.\nStrona jądra jest modułowa. ppp_generic obsługuje interfejs, ppp_async ramkowanie z wypychaniem bajtów, którego potrzebuje pty, a ppp_deflate/bsd_comp/ppp_mppe kompresję i szyfrowanie; ładują się na żądanie. Jeśli w okrojonym obrazie kontenera brakuje ppp_async, łącze wstaje i nie przenosi nic. Paskudne pół godziny, jeśli nie wiesz, gdzie patrzeć.\nNa pty nie ma linii sterujących modemu. Bez pinu wykrywania nośnej pppd czeka na nośną, która nigdy nie przyjdzie. Poprawka to jedno słowo, local, które każe mu ignorować linie sterujące modemu4. Pomiń je i nic się nie dzieje, bez żadnego błędu wartego czytania.\nNetcat to nie jeden program Przed budową pułapka, która zjada najwięcej czasu: „netcat” to co najmniej cztery programy z niezgodnymi flagami, a to, który dostaniesz, zależy od dystrybucji. Na tej maszynie /usr/bin/nc to dowiązanie symboliczne do /usr/bin/ncat, przepisanej wersji z Nmapa. Więc polecenie skopiowane z piętnastoletniej strony wiki pada z powodów, które nie mają nic wspólnego z PPP.\nImplementacja Nasłuch na porcie UDP Działa dalej po rozłączeniu drugiej strony Ncat (Nmap) ncat -l 443 -u -k / --keep-open OpenBSD netcat nc -l 443 -u -k Tradycyjny netcat nc -l -p 443 -u nie GNU netcat nc -l -p 443 -u nie Zanim więc zrzucisz winę na pppd, sprawdź, który masz:\nreadlink -f \u0026#34;$(command -v nc)\u0026#34; nc --version 2\u0026gt;\u0026amp;1 | head -1 || nc -h 2\u0026gt;\u0026amp;1 | head -1 Poniżej będę używał ncat wprost. To ten z wbudowanym TLS, co ma znaczenie później, a jawność oznacza, że polecenia nie znaczą po cichu czegoś innego na twojej maszynie.\nEtap pierwszy: budowa po TCP, bo to ją każdy próbuje najpierw Jeden koniec nasłuchuje, drugi się łączy. Adresy są tu z zakresu dokumentacyjnego, więc wklej je prosto do laboratorium i nic routowalnego nie ucierpi. Port przez cały czas to 443 i to celowe: ruch wychodzący na 443 jest domyślnie otwarty niemal w każdej sieci. Owiń nośnik w TLS kilka etapów dalej, a ruchu na nim nie da się odróżnić od żadnej sesji HTTPS. Postawienie tam nasłuchu wymaga roota, a daleki koniec, czyli własna maszyna atakującego albo przekaźnik, go ma. To cały argument o egressie w jednym numerze portu i jeszcze do niego wrócę.\nNa stronie nasłuchującej:\npppd nodetach noauth local passive \\ nodefaultroute noipdefault \\ 192.0.2.1:192.0.2.2 \\ lcp-echo-interval 10 lcp-echo-failure 3 \\ mtu 1400 mru 1400 \\ pty \u0026#39;ncat --listen --keep-open 443\u0026#39; Na stronie łączącej się:\npppd nodetach noauth local \\ nodefaultroute noipdefault \\ 192.0.2.2:192.0.2.1 \\ lcp-echo-interval 10 lcp-echo-failure 3 \\ mtu 1400 mru 1400 \\ pty \u0026#39;ncat 198.51.100.10 443\u0026#39; Każde słowo robi tu swoją robotę, a jedno z nich, noauth, po cichu robi szkodę. Tunel nie ma kontroli dostępu, o czym jest osobna sekcja dalej.\nKażde słowo w linii pppd i co robi Linia poleceń budowy po UDP, słowo po słowie nodetach pierwszy plan: widzisz wyjście i możesz dać go nadzorcy noauth brak uwierzytelnienia rozmówcy: to jest dziura, tunel nie ma kontroli dostępu local ignoruj linie sterujące modemu, których pty nie ma. Bez tego nic nie wstanie passive czekaj na poprawny pakiet LCP, zamiast kończyć: jak gniazdo serwera nodefaultroute nie zabieraj trasy domyślnej po IPCP. Dodaj potrzebną trasę sam noipdefault nie proponuj własnego adresu maszyny jako lokalnego końca 192.0.2.1:192.0.2.2 local:remote, przypięte: pppd odrzuca inną odpowiedź w IPCP lcp-echo-interval / -failure sprawdzanie żywotności: osobna sekcja niżej mtu / mru 1400 zostaw miejsce na to, czym nośnik owinie każdą ramkę pty '...' polecenie, którego stdin i stdout stają się łączem: tu gniazdo netcata Strona łącząca się to ta sama linia bez `passive`: inicjuje, zamiast czekać. Każda opcja w linii i co robi. Uważaj na noauth: wyłącza uwierzytelnianie drugiej strony, więc nasłuch przyjmuje każdego, kto przyjdzie. nodefaultroute i noipdefault nie pozwalają łączu po cichu przepisać twojego routingu, local sprawia, że na pty w ogóle wstaje, a przypięta para local:remote nie pozwala pppd przyjąć innej odpowiedzi podczas IPCP. Strona łącząca się to ta sama linia bez passive. Podnieś oba końce, a dostaniesz ppp0 na każdym, trasę punkt-punkt do dalekiego adresu i interfejs, który możesz pingować, przez który możesz routować i na którym możesz puścić tcpdump. To jest VPN: bez instalowania pakietu, bez konfigurowania demona, bez wymiany kluczy, i właśnie w tym problem, do którego jeszcze wrócę.\nCo wynegocjował i jak to obserwować Dodaj debug, a pppd zaloguje wymianę protokołu sterującego, którą warto raz przeczytać, nawet jeśli nigdy więcej do niej nie zajrzysz. Łącze wstaje etapami i każdy etap może zawieść sam.\nLCP, potem uwierzytelnienie, potem protokół sterujący na rodzinę adresów Trzy etapy, a każdy zawodzi z własnego powodu 1 LCP: samo łącze MRU, mapa znaków sterujących, magiczna liczba na zapętloną linię i czy któraś strona chce uwierzytelnienia. Awaria tutaj: nośnik nie przenosi bajtów czysto w obie strony. Sprawdź gniazdo, a nie opcje PPP. 2 Uwierzytelnienie: opcjonalne PAP wysyła hasło otwartym tekstem. CHAP robi wyzwanie i odpowiedź MD5. Tu pominięte. Oba dowodzą, kim jest rozmówca. Żaden nie szyfruje ani bajtu z tego, co dalej. 3a IPCP Adres IPv4 na każdym końcu. 3b IPV6CP 64-bitowe ID interfejsu. Te dwa są niezależne. IPv6 może wstać, gdy IPv4 jeszcze się kłóci, a awaria jednego nie kładzie drugiego. Interfejs zaczyna przenosić ruch danej rodziny w chwili, gdy kończy się jej protokół sterujący. LCP ustala samo łącze: jak duża może być ramka, które znaki sterujące trzeba escapować, oraz magiczną liczbę, która wykrywa zapętloną linię. Uwierzytelnienie jest opcjonalne i tu pominięte. Potem jeden protokół sterujący na każdą warstwę sieci: IPCP dla IPv4, IPV6CP dla IPv6. Są od siebie niezależne, więc łącze może przenosić IPv6, gdy IPv4 jeszcze się kłóci, a awaria jednego nie kładzie drugiego. Dwa przydatne narzędzia do debugowania są już zainstalowane i nikt ich nie używa:\n# log every frame in both directions to a file pppd ... debug record /tmp/ppp-trace # then read it back in a human-readable form pppdump -h /tmp/ppp-trace | less record zapisuje ze znacznikami czasu zrzut każdego bajtu, pppdump zamienia go w coś czytelnego4, a z tcpdump -ni ppp0 widzisz obie strony: ramkowanie pod spodem i pakiety na wierzchu.\nRamka na kablu i dlaczego 0x7E jest wszędzie PPP po linii szeregowej (a pty jest nią z punktu widzenia pppd) używa asynchronicznego ramkowania HDLC i zrozumienie go to różnica między strojeniem a zgadywaniem. Każda ramka zaczyna się i kończy tym samym bajtem: „Each frame begins and ends with a Flag Sequence, which is the binary sequence 01111110 (hexadecimal 0x7e)”5. Skoro 0x7e oznacza granicę, nie może pojawić się wewnątrz ramki, więc jest escapowany. Tak samo bajt escape 0x7d i wszystko inne, o co poprosi którykolwiek koniec.\nRamka, bajt flagi i ile kosztuje escapowanie Jedna ramka i dwa bajty, które nigdy nie mogą pojawić się w środku 0x7E flaga 0xFF adres 0x03 sterowanie protokół 1 lub 2 bajty ładunek: twój pakiet IP do uzgodnionego maksymalnego MRU FCS 16-bitowe CRC 0x7E flaga ESCAPOWANIE, JEDYNA REGUŁA Każdy bajt, który można wziąć za granicę, zastępuje 0x7D, a po nim oryginalny bajt XOR 0x20. ładunek 0x7E wysłany jako 0x7D 0x5E ładunek 0x7D wysłany jako 0x7D 0x5D Te dwa są obowiązkowe. Resztę decyduje mapa asynchronicznych znaków sterujących: 32 bity, po jednym na znak. Mapa na zero: domyślne w pppd i poprawne na gnieździe Dwa escapowane bajty z 256. Narzut, którego nie zmierzysz. Gniazdo to czysta ścieżka 8-bitowa i nic więcej nie trzeba. Wszystkie 32 oznaczone: ostrożne ustawienie modemowe Przy ładunku skompresowanym lub szyfrowanym co ósmy bajt jest poniżej 0x20, więc się podwaja. Około 12% łącza za nic. Ramka to flaga, adres, pole sterujące, protokół, ładunek, sekwencja kontrolna ramki, flaga. Każdy bajt w środku, który można by wziąć za granicę, zastępowany jest przez 0x7D, a po nim oryginalny bajt XOR 0x20. ACCM decyduje, ile innych bajtów potraktować tak samo: zero na czystej ścieżce 8-bitowej, trzydzieści dwa, jeśli któryś koniec poprosi o ostrożne ustawienie domyślne, zakładające modem zjadający znaki sterujące. Reguła escapowania jest dokładna: „Each Flag Sequence, Control Escape octet, and any octet which is flagged in the sending Async-Control-Character-Map (ACCM), is replaced by a two octet sequence consisting of the Control Escape octet followed by the original octet exclusive-or\u0026rsquo;d with hexadecimal 0x20”5.\nTa ostatnia część to pokrętło do strojenia. ACCM ma 32 bity, po jednym na każdy znak sterujący, a 1 oznacza „escapuj to”. Poproś o wszystkie, a przy zaszyfrowanym ładunku, gdzie bajty są w praktyce losowe, mniej więcej co ósmy bajt jest poniżej 0x20: około 12% narzutu za nic.\nWspółczesny pppd robi tu już to, co trzeba. Czytaj stronę man, a nie legendy:\nIf no asyncmap option is given, the default is zero, so pppd will ask the peer not to escape any control characters.4\nWięc asyncmap 0 to ustawienie domyślne, a nie sztuczka, a gniazdo to czysta ścieżka 8-bitowa, która nie potrzebuje escapowania poza dwoma obowiązkowymi bajtami. Zostaw to w spokoju; ustawiaj bity tylko wtedy, gdy coś po drodze naprawdę zjada znaki sterujące: serwer terminali, koncentrator szeregowy, kiepskie proxy konsoli. Sekwencja kontrolna ramki na końcu to 16-bitowe CRC i to dzięki niej działa budowa po UDP, która jest następna.\nTCP po TCP to zły nośnik Powyższa budowa działa. Na stole laboratoryjnym, po loopbacku albo w cichej sieci LAN działa pięknie, i właśnie dlatego ludzie ją wdrażają.\nPotem trafia na prawdziwą ścieżkę z prawdziwymi stratami. I przewraca się w sposób, który wygląda na wszystko, tylko nie na to, czym jest.\nProblem to dwa niezależne liczniki retransmisji położone jeden na drugim, przy czym zewnętrzny ukrywa stratę przed wewnętrznym. Olaf Titz napisał rozstrzygające wyjaśnienie, które otwiera dokładnie ta budowa:\nA frequently occurring idea for IP tunneling applications is to run a protocol like PPP, which encapsulates IP packets in a format suited for a stream transport (like a modem line), over a TCP-based connection. […] Unfortunately, it doesn\u0026rsquo;t work well. Long delays and frequent connection aborts are to be expected.6\nJeden zgubiony pakiet, dwa nośniki, dwa bardzo różne wyniki Ginie jeden pakiet. Co dalej robi każdy nośnik. NOŚNIK TCP: tunel ukrywa stratę 1 Nośnik gubi segment. 2 Nośnik go retransmituje. Bajty przychodzą późno, a nie wcale: i w tym cały problem. 3 Tunelowane TCP nie widzi nośnika. Odczytuje opóźnienie jako przeciążenie, podwaja licznik i retransmituje dane, które już lecą niżej. 4 Teraz nośnik winien jest oryginał i duplikat, po łączu, które właśnie dowiodło, że gubi pakiety. Kolejka rośnie szybciej, niż warstwy ją opróżniają. Przepustowość pada dużo wcześniej niż łącze. NOŚNIK UDP: strata trafia do warstwy, do której należy 1 Nośnik gubi pakiet i nic nie mówi. 2 Ramka PPP w środku nie przechodzi sumy kontrolnej i idzie do kosza. Następna flaga resynchronizuje. 3 Tunelowane TCP widzi prawdziwą stratę, bo choć raz usłyszało prawdę o ścieżce. 4 Zmniejsza okno o połowę i retransmituje raz. Kontrola przeciążenia robi dokładnie to, do czego ją zaprojektowano. Zgubiony pakiet kosztuje pakiet. TCP nośnika gwarantuje dostarczenie, więc zgubiony segment jest retransmitowany, a bajty przychodzą późno, a nie wcale. Tunelowane TCP w środku widzi tylko opóźnienie, uznaje, że sieć jest zatłoczona, zwalnia i retransmituje te same dane, które nośnik teraz też musi dostarczyć. Licznik każdej warstwy próbuje naprawić problem, który już należy do drugiej warstwy, a kolejka rośnie szybciej, niż którakolwiek zdąży ją opróżnić. Nośnik UDP gubi pakiet, wewnętrzne TCP widzi prawdziwą stratę, a jego kontrola przeciążenia robi to, do czego została zaprojektowana. Tak to wygląda. Oba TCP ustawiają licznik retransmisji na podstawie czasu podróży w obie strony. Kiedy nośnik zgubi segment, retransmituje go, więc dane wewnętrznego połączenia przychodzą późno. A wewnętrzne TCP, które nie widzi nośnika, odczytuje spóźnienie jako przeciążenie i też retransmituje. Teraz nośnik ma do dostarczenia oryginał i duplikat, po łączu, które już gubi pakiety. Wewnętrzny licznik się podwaja, zewnętrzna kolejka rośnie, a przepustowość zapada się na długo przed samym łączem. Nic w logach nie mówi dlaczego.\nTo nie jest subtelna kwestia wydajności. To różnica między tunelem, który degraduje się łagodnie, a takim, który przestaje przepuszczać ruch przy może 2% strat, podczas gdy ping po tej samej ścieżce wciąż wygląda dobrze. To jest powód, by używać UDP, a TCP trzymać w odwodzie tylko dla ścieżki, która nie przepuści niczego innego.\nWięc używaj UDP, i to jako ustawienia domyślnego, a nie preferencji.\nEtap drugi: budowa po UDP, czyli fundament Ten sam pppd, inny nośnik. Jedyna zmiana jest w poleceniu pty.\nStrona nasłuchująca:\npppd nodetach noauth local passive \\ nodefaultroute noipdefault \\ 192.0.2.1:192.0.2.2 \\ lcp-echo-interval 10 lcp-echo-failure 3 \\ mtu 1400 mru 1400 \\ pty \u0026#39;ncat --udp --listen 198.51.100.10 443\u0026#39; Strona łącząca się:\npppd nodetach noauth local \\ nodefaultroute noipdefault \\ 192.0.2.2:192.0.2.1 \\ lcp-echo-interval 10 lcp-echo-failure 3 \\ mtu 1400 mru 1400 \\ pty \u0026#39;ncat --udp 198.51.100.10 443\u0026#39; Dwie rzeczy w nasłuchu UDP, które cię zaskoczą, i żadna nie jest problemem PPP.\nNasłuch nie może odpowiedzieć, dopóki ktoś się do niego nie odezwie. Gniazdo UDP nie ma połączenia do przyjęcia, więc netcat nie wie, dokąd wysyłać odpowiedzi, dopóki nie przyjdzie datagram. Przywiązuje się do pierwszego adresu i portu źródłowego, od którego coś usłyszy, i rozmawia z nim. To oznacza, że strona łącząca się musi nadać pierwsza, co pppd robi sam, bo koniec niepasywny od razu zaczyna strzelać żądaniami konfiguracji LCP. Oznacza to też, że jeśli zmieni się port źródłowy klienta, nośnik po cichu rozmawia z niewłaściwym miejscem. Za NAT-em z krótkim limitem czasu dla UDP to tunel, który umiera co kilka minut bez widocznego powodu.\n--keep-open nie robi na UDP tego, czego chcesz. Ncatowe -k utrzymuje nasłuch TCP w gotowości do przyjmowania po odejściu drugiej strony. Na UDP nie ma czego przyjmować, więc odzyskanie oznacza restart nośnika, i do tego służą persist i holdoff, opisane niżej.\nOba punkty przemawiają za socat, który ostrożniej obchodzi się z rozmówcami UDP, i za nadzorcą procesu, zamiast ufać, że samo się utrzyma.\nDlaczego PPP przeżywa zgubiony datagram Oczywisty zarzut wobec nośnika UDP jest taki, że PPP oczekuje strumienia bajtów, a UDP nim nie jest: datagramy przychodzą w całości albo wcale i mogą przyjść w złej kolejności. Mimo to działa, dzięki dwóm bajtom, które ramkowanie niosło od zawsze.\nZgubiony datagram kosztuje ramkę, a następny bajt flagi naprawia łącze Granice się nie pokrywają i nie ma to znaczenia RAMKI PPP TAK, JAK ZAPISAŁ JE pppd 7E ramka A + FCS 7E ramka B + FCS 7E ramka C + FCS 7E ramka D + FCS CO NOŚNIK NAPRAWDĘ WYSŁAŁ: netcat czyta bufor, nie ramkę datagram 1 datagram 2: zgubiony datagram 3 datagram 4 Ramka B traci środek, więc suma kontrolna się nie zgadza i ramka idzie do kosza. Ramka C traci początek i kończy tak samo. Dwie zgubione ramki to dwa zgubione pakiety IP. Warstwa wyżej je retransmituje, wiedząc, że ścieżka coś zgubiła, a to dokładnie ten sygnał, który nośnik TCP ukryłby, dostarczając je po prostu później. Netcat czyta to, co jest w buforze, i zapisuje to do datagramu, więc granice ramek i granice datagramów nie mają ze sobą nic wspólnego. Zgub datagram, a odbiorca widzi ramkę, w której brakuje bajtów: sekwencja kontrolna się nie zgadza i ramka jest odrzucana, dokładnie tak jak na zaszumionej linii szeregowej. Następne 0x7E resynchronizuje strumień. Jedna utracona ramka kosztuje jeden pakiet, a warstwa wyżej go retransmituje. To jest sygnał straty, którego wewnętrzne TCP potrzebowało i którego po nośniku TCP nigdy nie dostało. PPP po asynchronicznym HDLC zostało zaprojektowane dla linii, która psuje bajty. Każda ramka niesie 16-bitową sekwencję kontrolną; ramka, która jej nie przejdzie, jest odrzucana, a następny bajt flagi resynchronizuje odbiorcę. Zmiana kolejności zdarza się rzadziej niż strata i daje ten sam wynik: złe FCS, odrzucona ramka, resynchronizacja.\nZgubiony datagram kosztuje więc jedną ramkę PPP, czyli jeden pakiet IP, a to normalny stan każdej sieci, jaką kiedykolwiek zbudowano. Właściciel pakietu go retransmituje, a kontrola przeciążenia widzi prawdziwą stratę i reaguje poprawnie. To cały argument za UDP: pozwala ruchowi w tunelu poznać prawdę o ścieżce.\nNie pozwól jednak, by ramki urosły na tyle, że nośnik musiałby je fragmentować. Wtedy jeden zgubiony fragment zabija cały datagram, a twoja efektywna stopa strat się mnoży. Trzymaj MTU PPP wyraźnie poniżej MTU ścieżki.\nAdresy, trasy i porządne IPv6 ppp0 to interfejs punkt-punkt, bez podsieci i bez ARP, więc local:remote to cała adresacja, a routujesz przez niego jawnie. Dla pojedynczego hosta, który ma sięgnąć do jednej sieci za dalekim końcem:\n# on the client, after the link is up ip route add 203.0.113.0/24 via 192.0.2.1 dev ppp0 Żeby daleki koniec przekazywał ruch w imieniu klienta, standardowe dwa kroki:\nsysctl -w net.ipv4.ip_forward=1 nft add rule inet nat postrouting oifname \u0026#34;eth0\u0026#34; ip saddr 192.0.2.2/32 masquerade proxyarp sprawi, że serwer będzie odpowiadał na ARP za klienta we własnym segmencie4, co jest zgrabne, dopóki drugi klient nie zechce tego samego. Potem zrób to, co większość ludzi pomija. Puść po tym IPv6: łącze punkt-punkt bez NAT-u, bez domeny rozgłoszeniowej i bez niedoboru adresów to najłatwiejsze miejsce w twojej sieci, żeby zrobić IPv6 porządnie:\npppd nodetach noauth local \\ +ipv6 ipv6 ::1,::2 \\ nodefaultroute noipdefault \\ 192.0.2.2:192.0.2.1 \\ pty \u0026#39;ncat --udp 198.51.100.10 443\u0026#39; +ipv6 włącza IPV6CP; ipv6 \u0026lt;local\u0026gt;,\u0026lt;remote\u0026gt; ustawia dwa 64-bitowe identyfikatory interfejsu4, łącze wstaje z adresami link-local, a ty dokładasz na wierzch globalne /647. IPV6CP jest niezależne od IPCP8, więc noip nie przenosi nic poza IPv6. Rozsądna rzecz do zbudowania w 2026 roku, jednym słowem.\nUtrzymanie łącza, gdy nośnik umiera po cichu To awaria, która marnuje całe popołudnie, więc dostaje własną sekcję.\nNośnik TCP, który umiera brzydko (daleki koniec wyłączony, wygasły wpis w tablicy NAT, urządzenie pośrednie, które przestało przekazywać), nie zamyka się. Nie ma FIN, nie ma RST, nie ma nic. Netcat siedzi z gniazdem, które nigdy nie dostarczy kolejnego bajtu, pppd siedzi z pty, które nigdy nie zobaczy kolejnej ramki, a ip link radośnie raportuje ppp0 jako UP. Nośnik UDP nie ma w ogóle stanu połączenia, więc niczego nie zauważa.\nPPP ma wbudowaną odpowiedź, i jest ona domyślnie wyłączona:\nlcp-echo-interval 10 lcp-echo-failure 3 To wysyła echo LCP co dziesięć sekund i rozbiera łącze, gdy trzy pozostaną bez odpowiedzi4: trzydzieści sekund na wykrycie martwego nośnika, dokładnie w przypadku, który wymienia strona man, „no hardware modem control lines”4, czyli w każdym pty, jakie kiedykolwiek powstało. Potem zdecyduj, co dzieje się dalej:\npersist maxfail 0 holdoff 5 Wykrycie martwego nośnika w trzydzieści sekund i odbudowa Nośnik może umrzeć bez zamknięcia. Tak PPP to zauważa i wraca. Nośnik umiera po cichu daleki koniec wyłączony · brak wpisu NAT · pośrednik przestaje przekazywać Nic tego nie zgłasza brak FIN, brak RST · ip link nadal mówi ppp0 UP · UDP nie ma stanu Detektor lcp-echo-interval 10 lcp-echo-failure 3 echo co 10 s, w dół po 3 brakach: 30 s Odbudowa persist maxfail 0 holdoff 5 restart, bez poddawania się, 5 s między próbami Jeden nadzorca unit systemd, Restart=always, pppd ponownie uruchamia pty: świeży netcat i gniazdo Ustaw echo na obu końcach. Echo dowodzi tylko ścieżki, którą wróciła odpowiedź. Włóż `ip route` do /etc/ppp/ip-up.d/, a trasy IPv6 do /etc/ppp/ipv6-up.d/, żeby routing wracał przy każdym powrocie łącza, a nie był ustawiony raz ręcznie i stracony przy pierwszym ponownym połączeniu. lcp-echo-interval 10 lcp-echo-failure 3 to detektor: echo co dziesięć sekund, łącze w dół po trzech nieodebranych. persist maxfail 0 holdoff 5 to odbudowa: restart, nigdy się nie poddawaj, odczekaj pięć sekund, żeby migocząca ścieżka nie stała się fork bombą. pppd ponownie uruchamia polecenie pty, więc razem z nim przychodzi świeży netcat i świeże gniazdo. Ustaw echo na obu końcach; jeden nadzorca, unit systemd z Restart=always, jest lepszy niż dwa kłócące się procesy. Włóż ip route do /etc/ppp/ip-up.d/, żeby routing wracał razem z łączem. Nie ma szyfrowania ani uwierzytelniania Wszystko powyżej to działający tunel. Nie jest to tunel bezpieczny, a ta luka to nie szczegół.\nNie ma szyfrowania. Nie słabe szyfrowanie. Żadne. Każdy pakiet, który przez to przepuścisz, leci po kablu otwartym tekstem, owinięty w ramkę HDLC, którą każde narzędzie do przechwytywania rozkoduje od ręki. tcpdump pokaże ci zawartość cudzego tunelu równie chętnie jak twojego.\nNie ma uwierzytelnienia drugiej strony. noauth mówi to wprost. Nasłuch netcata przyjmuje wszystko, co przyjdzie na port: pierwsze połączenie albo datagram skądkolwiek. Kto pierwszy, ten dostaje routowane łącze do twojej sieci. PPP ma uwierzytelnianie (PAP otwartym tekstem, CHAP jako wyzwanie i odpowiedź9) i oba udowadniają, kim jest druga strona, nie szyfrując ani jednego bajtu tego, co potem. CHAP daje ci tu tunel, który wie, z kim rozmawia, i nadal publikuje zawartość każdemu na ścieżce.\nW rodzinie PPP jest opcja szyfrowania: MPPE10, moduł siedzący w ppp_mppe.ko. Nie sięgaj po nią: to RC4 kluczowane z wymiany MS-CHAPv2, publicznie złamane od ponad dekady, i powód, dla którego PPTP nie żyje. Budowanie na tym nowego tunelu w 2026 roku to wybór znanego jako złamany szyfru zamiast działającego, który nic nie kosztuje.\nUczciwe podsumowanie na tę chwilę: routowane łącze bez poufności i bez kontroli dostępu. Dobre do laboratorium, dobre wewnątrz łącza, które już jest szyfrowane, niedobre nigdzie indziej. Poprawka to zaszyfrować nośnik. O tym są dwie następne sekcje i to jest powód, by używać ncat, a nie tego netcata, którego akurat dostarczyła twoja dystrybucja.\nEtap trzeci: owinięcie nośnika w TLS Czysta odpowiedź zostawia pppd dokładnie takim, jaki jest, a nośnik zastępuje takim, który robi TLS. pppd nigdy się nie dowie, że cokolwiek się zmieniło.\nNajpierw certyfikat. Wystarczy samopodpisany, pod warunkiem że klient go weryfikuje. Niezweryfikowana sesja TLS to szyfrowana rozmowa z kimś, kogo nie zidentyfikowałeś, a to nikogo nie zatrzyma:\nopenssl req -x509 -newkey rsa:4096 -days 825 -nodes \\ -keyout tunnel.key -out tunnel.crt \\ -subj \u0026#34;/CN=tunnel.example.net\u0026#34; \\ -addext \u0026#34;subjectAltName=DNS:tunnel.example.net\u0026#34; Ncat Ncat ma wbudowany TLS. Potrafi też łączyć się przez proxy, --proxy host:port --proxy-type http|socks4|socks511, więc nośnik może kończyć się na przekaźniku, a nie na dalekim końcu tunelu. Na tym punkcie obraca się sekcja o egressie. Strona nasłuchująca:\npppd nodetach noauth local passive \\ nodefaultroute noipdefault 192.0.2.1:192.0.2.2 \\ lcp-echo-interval 10 lcp-echo-failure 3 mtu 1400 mru 1400 \\ pty \u0026#39;ncat --listen --keep-open --ssl --ssl-cert tunnel.crt --ssl-key tunnel.key 443\u0026#39; Strona łącząca się:\npppd nodetach noauth local \\ nodefaultroute noipdefault 192.0.2.2:192.0.2.1 \\ lcp-echo-interval 10 lcp-echo-failure 3 mtu 1400 mru 1400 \\ pty \u0026#39;ncat --ssl --ssl-verify --ssl-trustfile tunnel.crt tunnel.example.net 443\u0026#39; --ssl-verify to słowo, które się liczy. Bez niego --ssl daje ci szyfrowanie przeciw biernemu podsłuchowi i nic przeciw temu, kto pierwszy odpowie na porcie; z nim Ncat weryfikuje zaufanie i nazwę domeny względem pliku zaufania12. Ncat nie ma jednak po stronie serwera sprawdzania certyfikatu klienta, więc serwer nie potrafi zidentyfikować klienta. Połącz to z CHAP albo użyj jednego z dwóch następnych.\nStunnel Tradycyjna nakładka i ta, która porządnie robi wzajemne uwierzytelnienie:\n[ppp] accept = 443 connect = 127.0.0.1:6001 cert = /etc/stunnel/tunnel.crt key = /etc/stunnel/tunnel.key CAfile = /etc/stunnel/clients.crt verify = 2 verify = 2 wymaga certyfikatu klienta podpisanego przez CA z CAfile: to kontrola dostępu, której budowa na netcacie nigdy nie miała. Klient uruchamia stunnel w trybie klienta, a polecenie pty w pppd łączy się z lokalną stroną otwartego tekstu.\nSocat socat robi całość w jednym procesie na każdym końcu, z weryfikacją włączoną domyślnie:\n# listening end pppd ... pty \u0026#39;socat - OPENSSL-LISTEN:443,reuseaddr,cert=tunnel.pem,cafile=clients.crt,verify=1\u0026#39; # connecting end pppd ... pty \u0026#39;socat - OPENSSL:tunnel.example.net:443,cafile=tunnel.crt,verify=1\u0026#39; socat nie jest zainstalowany na maszynie, na której to pisałem, więc to jest z jego dokumentacji. Sprawdź własne flagi. To ten, po który sięgnąłbym ja, bo jako jedyny z czterech mówi też DTLS.\nOpenssl, kiedy nie ma nic innego openssl jest na każdej maszynie, która w ogóle ma TLS, a s_server/s_client przeniosą potok:\n# listening end pppd ... pty \u0026#39;openssl s_server -quiet -accept 443 -cert tunnel.crt -key tunnel.key\u0026#39; # connecting end pppd ... pty \u0026#39;openssl s_client -quiet -verify_return_error -CAfile tunnel.crt -connect tunnel.example.net:443\u0026#39; -quiet tłumi baner, który inaczej wylądowałby w twoim strumieniu PPP, a -verify_return_error sprawia, że nieudana weryfikacja zamyka połączenie, zamiast ostrzec i jechać dalej. To narzędzia do debugowania i tak się zachowują, ale na maszynie, na której nie możesz niczego zainstalować, podniosą łącze.\nZwykły, TLS po TCP albo DTLS po UDP Ta sama połowa łącza na obu końcach. Zmienia się tylko środek. pppd albo tap0 zwykły netcat, UDP ncat --udp --listen 6000 pppd albo tap0 Otwartym tekstem po kablu, a nasłuch bierze tego, kto pierwszy dotrze do portu. Bez poufności i kontroli dostępu. pppd albo tap0 TLS po TCP: ncat, stunnel albo openssl ncat --ssl --ssl-verify --ssl-trustfile tunnel.crt host 6000 pppd albo tap0 Chronione, a certyfikat mówi, kim jest daleki koniec. Ale nośnik to znów TCP, i tylko ten kształt kompresuje strumień. pppd albo tap0 DTLS po UDP: socat albo openssl socat - OPENSSL-DTLS-CLIENT:host:6000,cafile=tunnel.crt,verify=1 pppd albo tap0 Szyfrowany, uwierzytelniony i wciąż datagramy. Zgubiony pakiet zostaje zgubionym, bez kłótni dwóch stosów. Celuj tutaj. Przez cały czas ten sam pppd na obu końcach; zmienia się tylko polecenie pty. Zwykły netcat daje łącze, którego nic nie chroni. TLS po TCP chroni bajty i przywraca problem TCP w nośniku. DTLS po UDP to kształt, do którego warto dążyć: szyfrowany, uwierzytelniony i wciąż datagramowy, więc zgubiony pakiet pozostaje zgubionym pakietem, zamiast stać się walką o retransmisje między dwoma stosami. Etap czwarty: DTLS, bo nośnik nadal powinien być UDP Tu zaczyna się niewygodna część i powód, dla którego ta sekcja jest osobna. Każda opcja TLS powyżej działa po TCP, więc owinięcie nośnika w TLS unieważnia argument za UDP i oddaje ci z powrotem rozpad. Szyfrowanie i właściwy transport nie powinny być wyborem jedno albo drugie. DTLS to TLS po datagramach i właśnie tego chcesz: zachowuje ochronę warstwy rekordów, porzuca gwarancje kolejności i retransmisji i zostawia zgubione pakiety zgubionymi, a to dokładnie to, co sekwencja kontrolna ramki PPP ma wchłaniać.\nNcat tego nie potrafi. socat i openssl potrafią:\n# listening end pppd ... pty \u0026#39;socat - OPENSSL-DTLS-LISTEN:443,cert=tunnel.pem,cafile=clients.crt,verify=1\u0026#39; # connecting end pppd ... pty \u0026#39;socat - OPENSSL-DTLS-CLIENT:tunnel.example.net:443,cafile=tunnel.crt,verify=1\u0026#39; A z samym openssl, gdzie -dtls wybiera dowolną wersję DTLS:\n# listening end pppd ... pty \u0026#39;openssl s_server -quiet -dtls -accept 443 -cert tunnel.crt -key tunnel.key\u0026#39; # connecting end pppd ... pty \u0026#39;openssl s_client -quiet -dtls -verify_return_error -CAfile tunnel.crt -connect tunnel.example.net:443\u0026#39; Pilnuj rozmiaru ramek. Rekordu DTLS nie da się podzielić tak, jak rekord TLS rozkłada się po strumieniu TCP, więc wszystko musi zmieścić się w MTU ścieżki naraz.\nStos narzutów i pozostałe wewnętrzne MTU Licz w dół od MTU ścieżki i użyj tego, co zostanie nagłówek IP20 (v4) / 40 (v6) nagłówek UDP8 rekord DTLS + znacznik≈ 30 ramkowanie PPP / Ethernetkilka wewnętrzne MTU, czyli co tunel przeniesie: cel 1400, minimum 1280 Rekordu DTLS nie da się podzielić jak rekordu TLS w strumieniu TCP, więc wszystko to musi zmieścić się w MTU ścieżki naraz. Ten sam kształt co OpenVPN od 2001: nośnik datagramowy, DTLS, interfejs wirtualny. Nic dziwacznego, tylko rozebrane. Licz w dół od 1500: 20 bajtów nagłówka IPv4 albo 40 IPv6, 8 na UDP, mniej więcej 30 na rekord DTLS i jego znacznik, kilka na ramkowanie, a reszta to wewnętrzne MTU, które tunel może przenieść. Celuj w 1400 na zwykłej ścieżce; 1280 to bezpieczne minimum, jeśli coś po drodze samo jest tunelem. Ten kształt (nośnik datagramowy, DTLS, interfejs wirtualny na wierzchu) to mniej więcej to, co OpenVPN robi od 2001 roku. Nic dziwacznego, po prostu rozebrane na części. Strojenie budowy PPP: MTU, kompresja i co naprawdę pomaga Cztery pokrętła, wszystkie to opcje pppd. Budowa na tap w następnej sekcji nie ma żadnego z nich, bo nie ma żadnej maszynerii, którą one konfigurują.\nCztery pokrętła pppd: jedno ustaw, jedno zostaw, dwa wyłącz Jedno ustaw, jedno zostaw, dwa wyłącz USTAW MTU i MRU Oba końce, z zapasem: 1400 zwykle, 1280 pod tunelem. Pofragmentowana ramka gubi cały pakiet. ZOSTAW ACCM Domyślnie zero, co jest dobre na czystym gnieździe. Ruszaj tylko, gdy coś zjada znaki sterujące. WYŁĄCZ novj kompresja nagłówków Van Jacobsona Oszczędza błąd zaokrąglenia, kosztuje CPU na pakiet i psuje się przy stratach. Wyłącz powyżej modemu. WYŁĄCZ nodeflate nobsdcomp Ładunek to już TLS/DTLS: kompresja szyfrogramu to czysta praca, a przez granicę bezpieczeństwa atak. Nic z tego nie przyspiesza tunelu. PPP nie jest wąskim gardłem: PPPoE robi 2 Gbit na tym samym demonie, bo ścieżka danych zostaje w jądrze. Kosztem jest tu pty: każdy bajt idzie do przestrzeni użytkownika i z powrotem. To wina pty, nie PPP. MTU i MRU to to, co się liczy: ustaw oba na obu końcach z zapasem, bo ramka, którą nośnik musi fragmentować, przy każdej stracie traci cały pakiet. ACCM jest już zerowe i poprawne na czystym gnieździe. Kompresję nagłówków Van Jacobsona wyłącz przez novj powyżej prędkości modemu: oszczędza błąd zaokrąglenia, kosztuje CPU na każdy pakiet i psuje się przy stratach. Wyłącz deflate/bsdcomp: ładunek jest już zaszyfrowany, a kompresja przez granicę bezpieczeństwa to atak, a nie funkcja. Nic z tego nie przyspiesza tunelu, a powód ma znaczenie, bo obwinia się za to PPP, a nie powinno. PPP nie jest wąskim gardłem. PPPoE przenosi 2 Gbit na tym samym demonie, bo jego ścieżka danych nigdy nie opuszcza jądra: ppp_generic i pppoe robią ramkowanie i przekazywanie, a pppd obsługuje tylko płaszczyznę sterowania. To, co cię tu kosztuje, to pty: każdy bajt przechodzi do przestrzeni użytkownika, przez netcata, do gniazda i z powrotem, a PPPoE nigdy tej drogi nie robi. To sprawa pseudoterminala, nie PPP.\nTo dobry moment, żeby spojrzeć na drugi sposób, w którym pty w ogóle nie ma.\nDrugi sposób: urządzenie tap i w ogóle bez PPP Wszystko do tej pory używało PPP do połowy łącza. Jest drugi sposób na zrobienie interfejsu wirtualnego i nie potrzebuje on żadnego protokołu.\nSterownik TUN/TAP w jądrze daje ci interfejs i deskryptor pliku związane ze sobą: zapisz pakiet do deskryptora, a pojawi się na interfejsie, jakby przyszedł z kabla; czytaj, a dostaniesz pakiet, który jądro chciało wysłać. To cały interfejs13 i jest w Linuksie od 1999 roku.\nip tuntap add dev tap0 mode tap user damien group damien ip link set tap0 mtu 1400 up ip addr add 192.0.2.1/30 dev tap0 Urządzenie tap to interfejs z jednej strony i deskryptor pliku z drugiej Bez demona, bez protokołu, bez pseudoterminala. Jeden deskryptor pliku. JĄDRO tap0 zwykły interfejs, z adresem i trasą /dev/net/tun TUNSETIFF nazywa otrzymane urządzenie twój proces socat albo pięćdziesiąt linii Pythona trzymających fd gniazdo UDP jedna ramka na datagram sieć i daleki koniec jeden odczyt = jedna ramka Czego brak względem PPP: negocjowanego rozmiaru ramki, sprawdzania żywotności, wymiany adresów, uwierzytelniania. Oba końce ustawiasz ręcznie i nigdy o tym nie rozmawiają. Nic nie pilnuje łącza, więc nic nie powie, że umarło. Bez demona i bez protokołu. Jądro wystawia tap0 jako zwykły interfejs, a jego drugą stronę oddaje temu procesowi, który otworzył /dev/net/tun. Jeden odczyt zwraca dokładnie jedną ramkę Ethernetu; jeden zapis wstrzykuje dokładnie jedną. Wszystko, co negocjował pppd (adresy, rozmiary ramek, żywotność), konfigurujesz teraz ręcznie na obu końcach, a te dwa końce nigdy o niczym z tego nie rozmawiają. Dwa szczegóły w tym pierwszym poleceniu są warte więcej, niż na to wyglądają.\nuser damien sprawia, że urządzenie jest trwałe i nieuprzywilejowane. Utworzone w ten sposób przeżywa proces, który go używa, a wskazany użytkownik może je otworzyć, nie będąc rootem. Root tworzy urządzenie raz; to, co przerzuca ramki, w ogóle nie potrzebuje roota. Zapamiętaj to do sekcji o egressie.\nmode tun to druga połowa tego samego sterownika i to ją większość ludzi naprawdę chce. Tun przenosi pakiety IP. Tap przenosi ramki Ethernetu. Różnica jest na tyle ważna, że dostaje własną sekcję niżej.\nW porównaniu z PPP tracisz wszystko, co PPP negocjuje: nie ma LCP, więc nie ma uzgodnionego rozmiaru ramki ani sprawdzania żywotności; nie ma IPCP/IPV6CP, więc oba końce konfigurujesz ręcznie; nie ma uwierzytelniania, nie ma kompresji nagłówków. Urządzenie tap to dziura w jądrze, a protokół, który przez nią idzie, to cokolwiek tam włożysz. Zyskujesz brak jakiegokolwiek narzutu ramkowania, brak escapowania, brak kanału sterującego i interfejs, który można zmostkować.\nTap po UDP, gdzie jeden datagram to jedna ramka To najczystsze odwzorowanie w całym wpisie i wynika wprost z konstrukcji. Urządzenie tap jest urządzeniem datagramowym (jeden read() zwraca dokładnie jedną ramkę), a gniazdo UDP jest gniazdem datagramowym, jeden sendto() na datagram. Ramka idzie więc do datagramu, przychodzi jako ramka i nie ma czego rozgraniczać, buforować ani resynchronizować. Zgub datagram, a zgubiłeś jedną ramkę, i tak właśnie wygląda zgubiony pakiet.\nZ socat każdy koniec to jedno polecenie:\n# listening end socat TUN:192.0.2.1/30,tun-type=tap,tun-name=tap0,iff-up UDP-LISTEN:443 # connecting end socat TUN:192.0.2.2/30,tun-type=tap,tun-name=tap0,iff-up UDP:198.51.100.10:443 socat nie jest zainstalowany na maszynie, na której to pisałem, więc te dwa polecenia są z jego dokumentacji, a nie z uruchomienia tutaj. Sprawdź nazwy adresów we własnej wersji, zanim im zaufasz. Warto go mieć: to jedyne narzędzie w tym wpisie, które robi tun, tap, TLS i DTLS w jednym procesie.\nTam, gdzie nie możesz niczego zainstalować, cała robota to około pięćdziesięciu linii bez zależności poza biblioteką standardową. Serce tego, z IFF_NO_PI wyłączającym czterobajtowy nagłówek, który sterownik inaczej by doklejał:\nTUNSETIFF, IFF_TAP, IFF_NO_PI = 0x400454CA, 0x0002, 0x1000 # IFF_TUN is 0x0001 def open_tap(name): fd = os.open(\u0026#34;/dev/net/tun\u0026#34;, os.O_RDWR) fcntl.ioctl(fd, TUNSETIFF, struct.pack(\u0026#34;16sH\u0026#34;, name.encode(), IFF_TAP | IFF_NO_PI)) return fd # ... learn the peer from the first datagram (UDP has no accept), then shovel: while True: ready, _, _ = select.select([tap, sock], [], []) if tap in ready and peer: sock.sendto(os.read(tap, MTU), peer) # one read = one frame = one datagram if sock in ready: frame, src = sock.recvfrom(MTU) peer = src # last speaker wins — see the note below if frame: os.write(tap, frame) Pełny plik (parsowanie argumentów, IPv6 przez getaddrinfo, datagram o zerowej długości, który mówi nasłuchowi UDP, dokąd odpowiadać, i kompresja, którą dodaje następna sekcja) jest w paczce:\n\u0026#8615; tapcat.py: całość, około stu linii tapcat.py · 6 kB peer = src przy każdym datagramie to część do przeczytania dwa razy. Kto ostatni wysłał ramkę, ten staje się rozmówcą. Wygodne za NAT-em, którego port źródłowy ciągle się przesuwa, i otwarte drzwi w niezaufanej sieci, gdzie każdy, kto potrafi wysłać jeden datagram na ten port, przejmuje tunel. W porządku wewnątrz sesji DTLS, a tam to zmierza; nie w porządku samo w sobie. Część skryptu od gniazd została tu przećwiczona po loopbacku IPv6: otwierający datagram dociera, nasłuch poznaje rozmówcę, ramka przechodzi, a odpowiedź wraca. Część od tap wymaga roota i to jedyna część, której nie mogłem uruchomić.\nPo TCP ramkowanie musisz wymyślić sam Teraz zamień nośnik na TCP i patrz, jak pojawia się cały problem, który PPP po cichu rozwiązało w 1994 roku.\nTCP to strumień bajtów bez granic rekordów i bez żadnej obietnicy co do tego, jak bajty zostaną pogrupowane po dotarciu: dwie ramki zapisane jedna po drugiej mogą przyjść w jednym odczycie, a jedna ramka w trzech. Odbiorca trzyma stertę bajtów, nie mając pojęcia, gdzie kończy się jedna ramka, a urządzenie tap przyjmuje tylko całe ramki.\nJeden datagram na ramkę albo prefiks długości do wymyślenia Jeden odczyt z urządzenia tap to jedna ramka. Utrzymanie tego to robota nośnika. PO UDP: granica za darmo datagram = ramka A datagram = ramka B datagram = ramka C datagram = ramka D Jeden odczyt, jeden datagram, jeden zapis na dalekim końcu. Nic do rozgraniczania, buforowania ani resynchronizacji. PO TCP: granic nie ma i musisz je przywrócić jeden strumień bajtów: dwie ramki w jednym odczycie, jedna ramka w trzech dł. ramka A dł. ramka B dł. ramka C dł. ramka D Dwa bajty długości big-endian przed każdą ramką i odbiorca, który czyta długość, a potem dokładnie tyle bajtów. Działa, ale nie umie się odzyskać. HDLC resynchronizuje się na następnym 0x7E, bo flaga jest jednoznaczna; strumień z prefiksem, który zgubi miejsce, czyta każdą dalszą długość ze środka ramki. Dodaj znacznik i sumę kontrolną, a odbudujesz HDLC. Po UDP jedna ramka to jeden datagram i granica przychodzi za darmo. Po TCP granic nie ma, więc nadawca musi dodać prefiks długości do każdej ramki, a odbiorca musi na jego podstawie ją złożyć. PPP nie ma tego problemu, bo przynosi własne ramkowanie (bajt flagi na każdym końcu i sumę kontrolną), i to też pozwala mu się resynchronizować po uszkodzeniu. Strumień z prefiksem długości tego nie potrafi: przesuń się o jeden bajt, a każda następna ramka jest zła. Po TCP piszesz więc własne ramkowanie. Dwa bajty długości w kolejności big-endian przed każdą ramką to zwykła odpowiedź:\n# sending sock.sendall(struct.pack(\u0026#34;!H\u0026#34;, len(frame)) + frame) # receiving def recv_exactly(sock, n): buf = b\u0026#34;\u0026#34; while len(buf) \u0026lt; n: chunk = sock.recv(n - len(buf)) if not chunk: raise ConnectionError(\u0026#34;carrier closed\u0026#34;) buf += chunk return buf length = struct.unpack(\u0026#34;!H\u0026#34;, recv_exactly(sock, 2))[0] frame = recv_exactly(sock, length) To działa i jest bezwzględnie gorsze od wersji po UDP. To znowu problem TCP po TCP; dodaje dwa bajty i pętlę składania na każdą ramkę; i nie ma powrotu po błędzie, bo strumień z prefiksem długości, który zgubi miejsce, czyta każdą kolejną długość ze środka ramki. HDLC resynchronizuje się na następnym 0x7E; to tutaj nie potrafi, chyba że wymyślisz HDLC od nowa i gorzej. Trzeci argument za UDP i najmocniejszy: po nośniku datagramowym nie ma problemu ramkowania, bo nośnik ma już jedyną funkcję, której potrzebowałeś.\nTun czy tap: warstwa 3, chyba że naprawdę potrzebujesz warstwy 2 Ten sam sterownik daje ci dwa urządzenia, a ludzie ciągle wybierają złe, bo jakiś poradnik kazał użyć tap.\ntun tap Co przechodzi pakiety IP ramki Ethernetu Narzut na pakiet żaden 14-bajtowy nagłówek Ethernetu ARP, DHCP, rozgłoszenia nie tak, wszystko, przez tunel Protokoły inne niż IP nie tak Może wejść do mostka nie tak Odpowiednik łącze punkt-punkt, jak ppp0 kabel sieciowy Tun to łącze routowane, jak interfejs PPP z pierwszej połowy: dwa adresy, trasa, pakiety tam i z powrotem. Tap to wirtualny kabel Ethernet, więc każde rozgłoszenie, zapytanie ARP i każdy kawałek szumu multicastowego w segmencie przechodzi teraz przez twój tunel i pali pasmo.\nZmień jedną linię w skrypcie, żeby się przełączyć:\nIFF_TUN = 0x0001 # instead of IFF_TAP Używaj tap, gdy naprawdę potrzebujesz warstwy 2. Są prawdziwe powody: protokół, który nie jest IP, heartbeat klastra, który oczekuje rozgłoszeń, serwer DHCP, który musi dosięgnąć klientów przez tunel, albo zmostkowanie dwóch segmentów w jeden.\nTen ostatni to częsty przypadek i ten, przy którym trzeba uważać:\nip link add br0 type bridge ip link set tap0 master br0 ip link set eth1 master br0 ip link set br0 up Teraz zdalny segment jest częścią twojego lokalnego: jego rozgłoszenia, jego drzewo rozpinające, jego rotacja adresów MAC i, jeśli ktoś był niedbały, jego serwer DHCP. Zmostkowanie dwóch lokalizacji, które obie używają 192.168.1.0/24, to złe popołudnie; takie, które zapętla się z powrotem do tego samego segmentu, to zły tydzień. Domyślnie wybieraj tun, sięgaj po tap, gdy potrafisz nazwać rzecz z warstwy 2, której potrzebujesz, i mostkuj dopiero po sprawdzeniu, co nadaje rozgłoszenia po obu stronach.\nTe same nakładki, jeden proces na koniec Budowa na tap ma tę samą dziurę co budowa na PPP: nośnik idzie otwartym tekstem, a nasłuch przyjmuje tego, kto przyjdzie pierwszy. Poprawka jest ta sama, a z socat sprowadza się do jednego polecenia na koniec, bo tworzy on urządzenie i kończy sesję DTLS w jednym procesie:\n# listening end socat TUN:192.0.2.1/30,tun-type=tap,tun-name=tap0,iff-up \\ OPENSSL-DTLS-LISTEN:443,cert=tunnel.pem,cafile=clients.crt,verify=1 # connecting end socat TUN:192.0.2.2/30,tun-type=tap,tun-name=tap0,iff-up \\ OPENSSL-DTLS-CLIENT:tunnel.example.net:443,cafile=tunnel.crt,verify=1 To najkrótsza poprawna budowa w tym wpisie. Interfejs wirtualny, nośnik datagramowy, wzajemne uwierzytelnienie certyfikatami i szyfrowanie. Dwa polecenia. Bez demona, bez negocjacji protokołu.\nverify=1 nie jest opcjonalne. To ten sam punkt co --ssl-verify, a przy opisanym wyżej zachowaniu peer = src niezidentyfikowany ktoś jest jeden datagram od przejęcia twojego tunelu. Jeśli utknąłeś ze skryptem w Pythonie, nie doklejaj do niego TLS: skieruj go na port na loopbacku i postaw nakładkę przed nim, albo użyj socat. Ręcznie skręcona nakładka TLS wokół ręcznie skręconego tunelu to dwie szanse, żeby pomylić się w ciekawej części.\nEtap piąty: kompresja strumienia przez zstd Jest jeszcze jedna rzecz warta włożenia do zaplecza i w przeciwieństwie do opcji kompresji w pppd może się naprawdę opłacić: kompresuj ramki przez zstd, zanim trafią do nośnika.\nWażne słowo to ramki, w liczbie mnogiej. Kompresuj strumień, a nie każdy pakiet osobno. To pojedynczy największy zmierzony efekt w tym wpisie.\nRuch sieciowy jest powtarzalny w sposób, który widać dopiero między pakietami: te same nagłówki, nazwy hostów i klucze JSON, w kółko. Kompresor, który zaczyna od zera na każdej 1400-bajtowej ramce, nie widzi nic z tego; taki, który trzyma okno przez kolejne ramki, widzi wszystko.\nKompresuj przed szyfrowaniem i trzymaj okno, jeśli nośnik pozwala Kolejność jest stała. Decyzją jest tryb. tap0jeden odczyt, jedna ramka kompresjazstd, poziom 1 szyfrowanieDTLS albo TLS nośnikUDP albo TCP Nigdy odwrotnie. FLUSH_BLOCK: zachowaj okno Wypycha wszystko dotąd, trzyma historię. Każda ramka kodowana względem wszystkich wcześniejszych. Bez opóźnień: ramka na wejściu, ramka na wyjściu. 5,0% na ruchu powtarzalnym · 7,5% na logach Wymaga dostarczenia każdej ramki, po kolei. Czyli: TCP albo TLS po TCP. Nie UDP, nie DTLS. FLUSH_FRAME: wyrzuć przy każdym pakiecie Każdy datagram to pełna ramka zstd i dekoduje się sam, więc datagram N działa, choć zginęły 1 do N-1. Jedyny tryb dla nośnika datagramowego. 14,8% na tym samym ruchu · 24,2% na logach Wytrenowany słownik odzyskuje większość: 5,3% i 15,1%, wciąż odporny na straty. Kompresja siedzi między urządzeniem tap a nośnikiem i przed szyfrowaniem, bo szyfrogram się nie kompresuje. FLUSH_BLOCK to tryb, który się liczy: wypycha wszystko do tej pory, więc jedna ramka na wejściu daje jedną ramkę na wyjściu bez dodatkowego opóźnienia, a historia kompresji zostaje dla następnej ramki. FLUSH_FRAME wyrzuca tę historię przy każdym pakiecie i to czyni go bezpiecznym na nośniku ze stratami, i to samo czyni go trzy razy gorszym na kablu. Na aktualnej Fedorze nie trzeba niczego instalować: Python 3.14 wprowadził zstd do biblioteki standardowej14; ta maszyna ma 3.14.7 z zstd 1.5.7:\nfrom compression.zstd import ZstdCompressor, ZstdDecompressor # Python 3.14+ _c, _d = ZstdCompressor(level=1), ZstdDecompressor() # FLUSH_BLOCK: emit everything so far, keep the window for the next frame. out = _c.compress(frame, mode=ZstdCompressor.FLUSH_BLOCK) frame = _d.decompress(out) Jeden kompresor na kierunek, żywy przez cały czas istnienia łącza. Jeden FLUSH_BLOCK na ramkę, więc ramka wychodzi w chwili, gdy przyjdzie, bez buforowania, a daleki koniec oddaje jedną ramkę na blok.\nIle jest warte okno, zmierzone Liczby z tej maszyny. Te same 1400-bajtowe ramki, ten sam poziom 1, a jedyna różnica to, czy kompresor zachowuje historię:\nRuch w tunelu strumień, FLUSH_BLOCK na pakiet, FLUSH_FRAME na pakiet z wytrenowanym słownikiem Powtarzalne wywołania API i telemetria 5,0% 14,8% 5,3% Linie logów 7,5% 24,2% 15,1% Zwykły tekst i pliki konfiguracyjne 37,8% 51,3% 45,3% Losowe bajty, w zastępstwie TLS 100%+ 100,7% n/d Przepustowość na poziomie 1 wyniosła 205 MB/s na tekście i ponad 1 GB/s na ruchu powtarzalnym: im bardziej kompresowalne, tym szybciej, bo jest mniej do zakodowania.\nRuch logów spada do 7,5% pierwotnego rozmiaru, wobec 24,2% na pakiet: trzykrotnie, te same dane, ten sam poziom, dzięki jednej fladze. A poziom 1 to właściwy poziom: poziom 3 dał mniej więcej jeden punkt procentowy, poziom 9 kolejny, zbijając przepustowość z 211 MB/s do 61.\nHaczyk, i to ten sam haczyk co we wszystkim tutaj Wspólne okno oznacza, że każda ramka zależy od poprzednich: zgub jedną, a historia dekompresora przestaje się zgadzać i nic po niej się nie rozkoduje. Dlatego kompresja strumienia potrzebuje nośnika, który dostarcza wszystko i po kolei: TCP albo TLS po TCP, nie UDP ani DTLS. To jedyny uczciwy argument za nośnikiem TCP w całym tym wpisie. Jeśli to, co przechodzi przez twój tunel, naprawdę dobrze się kompresuje (syslog, replikacja bazy danych otwartym tekstem, telemetria, gadatliwe API), sesja TLS ze skompresowanym strumieniem przenosi jedną trzecią bajtów, które przeniósłby nośnik datagramowy, a na przyzwoitej ścieżce to może przebić karę za retransmisje. Zmierz to na własnym ruchu.\nPo UDP słownik robi to, co robiłoby okno Tam, gdzie nośnikiem jest UDP albo DTLS, a domyślnie powinien być, okna utrzymać się nie da: każdy datagram stoi sam, czyli FLUSH_FRAME i słabsza kolumna powyżej. Wytrenowany słownik daje kompresorowi kontekst między pakietami, który dałoby okno, bez żadnej zależności między datagramami15:\n# capture a few thousand real frames off the link first, one per file zstd --train frames/* -o tunnel.dict --maxdict=110000 from compression.zstd import ZstdCompressor, ZstdDecompressor, ZstdDict d = ZstdDict(open(\u0026#34;tunnel.dict\u0026#34;, \u0026#34;rb\u0026#34;).read()) _c = ZstdCompressor(level=1, zstd_dict=d) # load it ONCE, not per frame out = _c.compress(frame, mode=ZstdCompressor.FLUSH_FRAME) Na ruchu powtarzalnym to sprowadziło kompresję na pakiet z 14,8% do 5,3%, odzyskując 96% różnicy względem pełnej kompresji strumienia przy zachowaniu odporności na straty; na liniach logów 55% różnicy, na zwykłym tekście 44%.\nIdą z tym trzy zasady. Oba końce muszą załadować ten sam słownik, inaczej nic się nie rozkoduje; sprawdzone tutaj: ramka skompresowana ze słownikiem rzuca bez niego ZstdError. Trenuj na zrzucie prawdziwego ruchu, bo słownik to założenie wstępne, a złe kosztuje: słownik tekstowy pogorszył inny tekst odrobinę. I załaduj go raz do długo żyjącego kompresora; przekazywanie go przy każdym wywołaniu dało w pomiarze 5 MB/s i to nie jest literówka.\nBajt nagłówka i jednosekundowa rozgrzewka Dwie drobne rzeczy, które sprawiają, że to nie jest kruche.\nKażdy datagram niesie jednobajtowy nagłówek, który nazywa tryb, a nie tylko mówi „skompresowane”: 0x00 ramka taka, jaka jest, 0x01 samodzielna ramka zstd, 0x02 blok z ciągnącego się strumienia. Odbiorca może wtedy rozkodować cokolwiek wybrał daleki koniec, bez konfigurowania go pod to, i już samo to jest warte tego bajtu.\nW trybie ramek nadawca wysyła postać skompresowaną tylko wtedy, gdy jest faktycznie mniejsza, bo kompresja nie zawsze się opłaca: losowe bajty wyszły na 100,7%, a 64-bajtowe ACK TCP kompresuje się do 73, czyli dziesięciobajtowy nagłówek zstd na pakiecie, w którym nie ma czego ścisnąć. Na prawdziwym łączu w liczbie pakietów dominują małe pakiety, więc bez tego sprawdzenia nadmuchałbyś większość ruchu, żeby zmniejszyć mniejszość. W trybie strumienia zawsze wysyła postać skompresowaną, bo pominięcie jednej rozjechałoby oba okna.\nA łącze startuje na surowo: przez pierwszą sekundę każda ramka wychodzi bez kompresji, niezależnie od ustawień, a każdy kierunek rozgrzewa się sam:\nRAMP = 1.0 # seconds of raw frames before compression starts def pack(self, frame): if self.c is None or time.monotonic() - self.started \u0026lt; RAMP: return RAW + frame out = self.c.compress(frame, mode=ZstdCompressor.FLUSH_BLOCK) return ZSTD + out if len(out) \u0026lt; len(frame) else RAW + frame To idea etapów z początku wpisu zastosowana do pojedynczego łącza. Tunel wstaje najprostszą drogą, jaką ma, udowadnia, że potrafi przenieść ramkę, i dopiero wtedy zaczyna robić cokolwiek sprytnego. Kiedy się zepsuje, wiesz, w której sekundzie.\nEtap szósty: skompresowane i zaszyfrowane, i ile kosztuje kolejność Kolejność ma znaczenie i działa tylko jedna: najpierw kompresja, potem szyfrowanie. Szyfrogram się nie kompresuje, co pokazuje wiersz ze 100,7%, i dlatego też TLS 1.3 usunął własną kompresję, zostawiając twoją warstwę jako jedyne miejsce, gdzie można to zrobić. Ta kolejność ma znany problem, ten sam, który podniosłem przeciw deflate: kompresja przed szyfrowaniem przecieka otwarty tekst przez długość szyfrogramu, a tam, gdzie atakujący może wstrzyknąć wybrane dane obok sekretu i obserwować rozmiary, ten przeciek nieraz był działającym atakiem: CRIME i BREACH przeciw TLS16 oraz VORACLE przeciw dokładnie takiemu kształtowi17.\nTo nie jest powód, żeby nigdy nie kompresować. To powód, żeby wiedzieć, w którym przypadku jesteś:\nŁącze niosące twój własny ruch między dwiema maszynami, które są twoje (replikacja, kopie zapasowe, logi, telemetria) nie ma wybranego przez atakującego otwartego tekstu podróżującego razem z sekretami. Kompresuj, i to strumień. Łącze niosące dowolne przeglądanie użytkowników, gdzie cudze treści webowe idą razem z twoimi danymi logowania, to przypadek, o którym napisano VORACLE. Zostaw to wyłączone. Powód, dla którego spokojnie wkładam to do budowy na tap, a nie do budowy na PPP, to nie zasada: tutaj świadomie wybierasz nowoczesny algorytm, dla ruchu, któremu się przyjrzałeś, a deflate w pppd domyślnie kompresuje wszystko algorytmem z 1996 roku, czy przypadek do tego pasuje, czy nie.\nCo budowa na tap zyskuje, a z czego rezygnuje Postaw obie połowy obok siebie, bo nie konkurują. To różne kompromisy.\npppd po gnieździe tap albo tun po gnieździe Ramkowanie wbudowane (HDLC, resynchronizuje się po uszkodzeniu) po UDP żadne, bo żadne nie jest potrzebne; po TCP do wymyślenia Ustawienie adresów negocjowane przez IPCP i IPV6CP konfigurowane ręcznie na obu końcach Żywotność echo LCP, wbudowane brak; dodajesz sam albo łącze umiera po cichu Uwierzytelnianie dostępne PAP albo CHAP, oba słabe żadne Warstwa tylko 3 3 z tun, 2 z tap Mostkowanie nie tak, z tap Narzut flaga, nagłówek i FCS na ramkę, plus escapowanie nic, albo 14 bajtów z tap Kompresja deflate i BSD, domyślnie włączone, z 1996 roku żadna, albo zstd na ramkę, które dodajesz i kontrolujesz Potrzebny root tak, przez cały czas do utworzenia urządzenia; nie do używania Ruchome części jeden demon, trzydziestoletni jeden deskryptor pliku PPP daje ci wynegocjowane, samo się pilnujące łącze i każe za to zapłacić protokołem. Urządzenie tap daje ci surową dziurę za nic, a brakujące części dostarczasz sam albo się bez nich obywasz. Dla tunelu zostawionego w działaniu tym, co gryzie, jest brak sprawdzania żywotności: pppd zauważa martwy nośnik w trzydzieści sekund i go odbudowuje, a budowa na tap nie zauważa niczego, bo nic w niej nie pilnuje. Dodaj keepalive, uruchom to pod czymś, co to restartuje, albo użyj budowy, która już to ma.\nKiedy to właściwe narzędzie, a kiedy nie To nigdy tak naprawdę nie jest właściwe narzędzie i nie zamierzam udawać, że jest inaczej. Wszystko powyżej działa i nic z tego nie jest tym, co powinieneś puścić na produkcji. Uczciwa wersja poradnika zawiera część, w której odkładasz narzędzie, i to jest ta część.\nDo czego to naprawdę się nadaje, to pokazanie ci, jak coś działa. VPN rozebrany na części, a w następnej sekcji to, jak naprawdę zachowuje się egress, gdy ktoś jest w twojej sieci z rootem. To są powody, dla których warto było to przeczytać. Wąskie przypadki poniżej są prawdziwe, ale to nie dla nich ten wpis istnieje.\nSięgnij po budowę na PPP, gdy:\nNośnik w ogóle nie jest IP: konsola szeregowa, gadżet USB, łącze radiowe, nazwany potok, kanał SSH. pppd nie obchodzi, po czym jadą bajty, a urządzenie tap tu ci nie pomoże. Coś ratujesz: maszynę z konsolą szeregową, bez sieci i z robotą, którą trzeba skończyć dziś w nocy. PPP po tej konsoli to routowane łącze, zainstalowane na obu końcach, bez niczego do kopiowania. Chcesz, żeby łącze samo o siebie dbało. Echo LCP, negocjacja adresów i restart są za darmo; pisanie ich samemu to sposób, w jaki budowa na tap staje się małym, zawodnym produktem. Sięgnij po budowę na tap, gdy:\nPotrzebujesz warstwy 2: protokołu innego niż IP, heartbeatu klastra, który chce rozgłoszeń, DHCP przez tunel albo dwóch segmentów, które muszą być jednym. Chcesz jak najmniej ruchomych części: po UDP z DTLS to dwa polecenia, bez demona, bez negocjacji, bez niczego do escapowania. Roota jest mało. Utwórz urządzenie raz z user, a proces przerzucający ramki już nigdy nie potrzebuje uprawnień. Oba są właściwym narzędziem, kiedy się uczysz. Każda warstwa jest widoczna i osobno wymienialna, i nie ma lepszego sposobu, by zrozumieć, co robi produkt VPN, niż zbudować go z części i patrzeć, jak każda wstaje.\nŻadne nie jest właściwym narzędziem, kiedy chcesz VPN. Do tego użyj WireGuard. Jest w jądrze, to ułamek kodu, robi kryptografię porządnie, bez niczego do negocjowania i bez niczego, co można popsuć, i jest protokołem datagramowym z założenia. ssh -w daje ci urządzenie tun po istniejącej sesji SSH jednym poleceniem, a OpenVPN to dojrzała, audytowana wersja opisanego wyżej kształtu DTLS po tap. Wszystkie trzy robią to lepiej niż cokolwiek zbudowanego tutaj.\nBuduj to, bo chcesz wiedzieć, co jest w środku rzeczy, którą kupujesz. Nie dlatego, że to było sprytne.\nCo to naprawdę pokazuje: egress od strony atakującego To jest powód, by przeczytać wpis o budowie, której właśnie kazano ci nie używać. Odwróć to i spójrz z wnętrza własnej sieci, jako osoba, która właśnie tam wylądowała z rootem. Każde prawdziwe włamanie tam się kończy: przez ukradziony klucz, ucieczkę z kontenera, niezałataną usługę, kogoś z wewnątrz. Pytanie, które wtedy decyduje, jak zły będzie ten dzień, nie brzmi „co mogą uruchomić”, bo mogą uruchomić wszystko. Brzmi: „co może wyjść i czy zdecydowałeś o tym, zanim przyszli”.\nJeśli ruch wychodzący jest domyślnie otwarty, odpowiedź brzmi: wszystko, i niewiele możesz już zrobić. Nic tu nie było egzotyczne. pppd, ncat, socat i ip to podpisane pakiety dystrybucji, które już są na maszynie; nakładka tap to pięćdziesiąt linii biblioteki standardowej. Jeden dozwolony port wychodzący (a jest to 443, ten, który każda sieć domyślnie otwiera) i masz routowane łącze z twojej sieci do cudzej: szyfrowane, uwierzytelnione, przeżywające restarty, niosące IPv4 i IPv6 i nie do odróżnienia na twojej granicy od dowolnej sesji HTTPS, jaką twoi użytkownicy otwierają dziesięć tysięcy razy dziennie. Zrób to na tap i zmostkuj, a to, co opuściło budynek, nie jest trasą. To jest segment.\nSkaner nie ma tu czego złapać: nie ma sygnatury malware, bo nie ma malware, nie ma dziwnego protokołu, bo to zwykły uścisk dłoni TLS na 443, nie ma nietypowej binarki, bo każdą zainstalował twój własny menedżer pakietów. Proxy loguje połączenie i liczbę bajtów, a jedno i drugie wygląda jak praca.\nA cel nie jest nawet stały. Gniazdo nie musi kończyć się tam, gdzie lądują pakiety, bo nośnik można skierować przez proxy: przekaźnik, który jest niczym więcej niż dwoma połączeniami i potokiem, a następna sekcja buduje go w jednej linii powłoki. ncat przyjmuje --proxy z --proxy-type http, socks4 albo socks5, więc sesja TLS, którą widzi twoja granica, kończy się tam, przez co atakujący kazał jej się połączyć (wewnętrzny jump host, dozwolony punkt końcowy SaaS, który akurat przekazuje CONNECT, przekaźnik w chmurze), a tunel jedzie stamtąd dalej, gdzieś, czego nigdy nie zobaczysz. HTTP CONNECT i SOCKS robią to z założenia, bo do tego jest proxy. Wpis na liście dozwolonych dla celu, któremu ufasz, jest więc zawsze zaufaniem do tego celu i do wszystkiego, do czego on przekaże ruch, a tego nie kontrolujesz i nie potrafisz wyliczyć. Punkt końcowy w logu twojej zapory to proxy. Nigdy nie był to daleki koniec.\nNiewygodna prawda jest więc taka: gdy ktoś jest w środku z rootem, a ruch wychodzący jest liberalny, tunel nie jest czymś, czemu możesz zapobiec. Części są zainstalowane, wyjście jest otwarte i nawet nie prowadzi tam, gdzie się wydaje. Twoja jedyna szansa, żeby to utrudnić, była zanim atakujący przyszedł, na granicy, przez zdecydowanie, co może wyjść.\nTo jest egress z domyślną blokadą i to jest cała lekcja. Ruch wychodzący domyślnie zablokowany; krótka, nazwana lista dozwolonych, na której ktoś uzasadnił każdy cel i port; wszystko inne odrzucane, logowane i alarmowane. Nie dlatego, że to od razu zatrzyma zdeterminowanego atakującego (dozwolony cel to dozwolony tunel), ale dlatego, że alternatywą jest brak jakiejkolwiek decyzji do egzekwowania. Polityka ruchu wychodzącego zapisana jako lista dozwolonych portów to polityka o numerach portów. Nigdy nie była polityką o tym, co wychodzi, a gdy ktoś ma roota, numery portów to wszystko, co chroni.\nTo ten sam wniosek co w wpisie o pingu, który buduje tunel z ICMP echo, i w wpisie o pomocnikach protokołów, gdzie twoja zapora sama otwiera dziury. Trzy drogi do środka, jeden wniosek: kontrola, którą myślałeś, że masz, dotyczyła protokołów, a żaden z tych protokołów nie jest tym, za co się podaje. Granica, zdecydowana z góry i z domyślną blokadą, to jedyna kontrola, która kiedykolwiek była prawdziwa.\nProxy to dwa połączenia i potok Warto zobaczyć, jak niewiele znaczy przekaźnik, bo to wyjaśnia, dlaczego z bliskiego końca nie da się wnioskować o dalekim. Proxy to nie jest specjalne oprogramowanie. To jedno połączenie dołączone do drugiego potokiem. Najstarsza forma używa nazwanego potoku, FIFO, do przenoszenia kierunku powrotnego: jeden ncat nasłuchuje, drugi łączy się dalej, a FIFO spina między nimi drogę odpowiedzi.\nmkfifo backpipe ncat -l 7000 0\u0026lt;backpipe | ncat farend.example.net 7100 1\u0026gt;backpipe Czytaj to jak hydraulikę: wyjście nasłuchu płynie do drugiego ncat i dalej do dalekiego końca, a odpowiedzi wracają przez FIFO do klienta. Dwa gniazda, jeden potok, oba kierunki, a połączenie klienta kończy się tutaj, na przekaźniku, podczas gdy pakiety jadą dalej do farend i z powrotem. Uruchomiłem dokładnie to na loopbacku z trzecim ncat odbijającym echo na dalekim końcu i wysłana linia wróciła, przebywszy całą drogę.\nPrzekaźnik to dwa gniazda połączone potokiem, więc punkt końcowy się przesuwa Jedno połączenie wchodzi, drugie wychodzi, potok pomiędzy. To jest proxy. klient otwiera sesję TLS PRZEKAŹNIK: cel, który loguje twoja granica ncat -l 7000 kończy połączenie klienta ncat farend zaczyna nowy skok daleki koniec prawdziwa druga strona stdout backpipe (FIFO) niesie odpowiedzi z powrotem klient → przekaźnik przekaźnik → daleki koniec Połączenie klienta kończy się na przekaźniku. Pakiety nie. Twoja zapora zalogowała połączenie do tej maszyny. Dokąd ono idzie dalej, decyduje się w środku, a łańcuch trzech takich odsuwa daleki koniec o trzy potoki: log każdego skoku pokazuje tylko schludne lokalne połączenie do następnego. Przekaźnik to dwa gniazda i potok. Nasłuch kończy połączenie klienta. Drugi netcat nawiązuje nowe połączenie dalej, a FIFO przenosi między nimi kierunek powrotny. Sesja TLS klienta kończy się tutaj, na przekaźniku, i zaczyna się nowy skok, więc cel zalogowany przez twoją granicę to ta maszyna, a pakiety jadą dalej, dokądkolwiek ona je przekaże. Połącz trzy w łańcuch, a daleki koniec jest trzy potoki dalej, a zapora każdego skoku widzi tylko schludne lokalne połączenie do następnego. Ncat zrobi to samo w jednym procesie, uruchamiając połączenie dalej dla każdego klienta, który przyjdzie:\nncat -l 7000 --keep-open --sh-exec \u0026#39;ncat farend.example.net 7100\u0026#39; Ten sam kształt, mniej części: gniazdo nasłuchu jest połączone z gniazdem uruchomionego ncat potokiem, który powłoka stawia między nimi. Połącz trzy w łańcuch, a tunel przechodzi przez trzy sieci, kończąc się i zaczynając na nowo na każdej, a zapora każdego skoku loguje schludne lokalne połączenie do następnego i nic dalej.\nTo cały trik i to dlatego log granicy nie jest dowodem na cel. Każdy przekaźnik jest dalekim końcem, na ile maszyna przed nim jest w stanie stwierdzić, a prawdziwy drugi koniec jest tyle potoków dalej, ile ich było, i nikt ich nie pilnował.\nTeraz postaw te przekaźniki na maszynach, które nie należą do atakującego.\nŁańcuch przekaźników na przejętych hostach pierze punkt końcowy Każdy skok to cudza maszyna, a każdy właściciel widzi tylko środek atakujący jedyna jego maszyna przekaźnik 1 sieć innej firmy przekaźnik 2 porwany VPS przekaźnik 3 domowy router cel dokąd to szło widzi: 1←→2 widzi: 2←→3 widzi: 3←→cel Żaden skok nie widzi dalej niż swoich dwóch sąsiadów. Bez źródła, bez celu, tylko środek. Ruch jest prany przez ciąg cudzych systemów, na każdym ten sam przekaźnik z dwóch gniazd i potoku pod kontrolą atakującego. Dlatego ruch z przejętego hosta tak często prowadzi do kolejnej ofiary, a nie do atakującego: 20 lat C2. Każdy skok to przejęty host (maszyna innej firmy, porwany VPS, domowy router), na którym działa ten sam przekaźnik z dwóch gniazd i potoku pod dowodzeniem i kontrolą atakującego. Żaden skok nie widzi dalej niż swoich dwóch sąsiadów: właściciel przekaźnika 2 widzi połączenie od przekaźnika 1 i jedno do przekaźnika 3, i nic więcej. Ruch jest prany przez ciąg cudzych systemów i dlatego ruch wychodzący z przejętego hosta tak często prowadzi do kolejnej ofiary, a nie do atakującego. Każdy właściciel w tym łańcuchu widzi tylko połączenie od skoku przed nim do skoku po nim: bez źródła, bez celu, tylko środek. To nie jest nowy pomysł, którym kogoś obdarowuję. Tak od dwudziestu lat działają łańcuchy pivotowania i sieci C2, i dlatego ruch wychodzący z przejętego hosta tak często prowadzi do kolejnej ofiary, a nie do atakującego. Twoje logi pokazują, że rozmawiałeś z maszyną gdzieś w jakimś centrum danych. Czyja jest i dokąd przekazuje, tego w nich nigdy nie było.\nObronny ciężar mieści się w jednej linii: nie możesz przypisać ani zaufać celowi, którego nie ograniczyłeś z góry. Zanim ruch wychodzi, adres, do którego wychodzi, mówi ci prawie nic, bo to przekaźnik na cudzej maszynie, a prawdziwy punkt końcowy jest wyprany za nim.\nŁącze nigdy nie było produktem Co mnie uderza, po rozebraniu tego na części, to jak mało w tym nowego i jak wiele z tego się sprzedaje.\nRFC 1661 jest z 1994 roku. pppd jest w każdej dystrybucji Linuksa od trzydziestu lat, moduły jądra to osiem plików w jednym katalogu, a całość tego, co czyni VPN VPN-em (interfejs wirtualny, wynegocjowane łącze, szyfrowany nośnik, trasa), to cztery programy i certyfikat. Nic z tego nie jest trudne ani tajne. Udokumentowali każdy bajt i oddali to za darmo, a między tobą a tym wyrosła cała branża, sprzedająca te same cztery części w pudełku z licencją na stanowisko i umową wsparcia, która wygasa. Części nie stały się lepsze. Zostały opakowane.\nTo nie jest argument za puszczaniem tego na produkcji. Właśnie ci powiedziałem, żebyś tego nie robił. To argument za tym, żeby wiedzieć, co jest w pudełku, które kupujesz, bo w dniu, w którym dostawca zmieni licencjonowanie, zostanie przejęty albo wygasi twój model, różnica między złym kwartałem a złym rokiem polega na tym, czy ktokolwiek u ciebie wie, z czego ta rzecz była zrobiona.\nPoświęć wieczór i zbuduj tunel z części. Patrz, jak negocjuje LCP, zerwij łącze i patrz, jak wraca, wyciągnij certyfikat i zobacz, co staje. Potem przeczytaj jeszcze raz kartę katalogową swojego dostawcy VPN i zobacz, ile z niej rozpoznajesz.\nTen sam wieczór kupuje drugą połowę. Jeśli routowane łącze z twojej sieci to cztery zainstalowane programy i certyfikat, osoby, która właśnie dostała roota na jednej z twoich maszyn, nie powstrzymuje to, jak trudno zbudować tunel. To nie jest trudne. Powstrzymuje ją tylko to, co zdecydowałeś, zanim przyszła, że może wyjść. Zbuduj to raz, a przestaniesz myśleć o egressie jako o czymś, co egzekwuje produkt, i zaczniesz myśleć o nim jako o decyzji, którą albo podjąłeś, albo nie.\nNiewiele z tego to magia. Większość to rok 1994 z warstwą farby, a z rokiem 1994 nie ma nic złego. Działał, był udokumentowany i nadal chodzi.\nRFC 1661 — The Point-to-Point Protocol (PPP), 1994. Definiuje łącze, LCP i rodzinę protokołów sterujących warstwy sieci, które na nim siedzą.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 2637 — Point-to-Point Tunneling Protocol (PPTP), który przenosi PPP wewnątrz GRE.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 3931 — Layer Two Tunneling Protocol w wersji 3, standardowy potomek protokołu, który przenosi PPP wewnątrz UDP.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\npppd(8) — strona podręcznika demona PPP. Źródło dla pty, notty, local, passive, noipdefault, proxyarp, record, receive-all, opcji echa LCP i domyślnej wartości asyncmap: „If no asyncmap option is given, the default is zero, so pppd will ask the peer not to escape any control characters.” Cytaty odczytane z man pppd w ppp 2.5.1.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 1662 — PPP in HDLC-like Framing. Sekwencja flagi, reguła wypychania oktetów i Async-Control-Character-Map: „Each frame begins and ends with a Flag Sequence, which is the binary sequence 01111110 (hexadecimal 0x7e).”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nOlaf Titz, Why TCP Over TCP Is A Bad Idea — standardowe wyjaśnienie nakładania się retransmisji, otwierające się dokładnie tą budową. Pierwotny adres już nie serwuje artykułu; to zrzut z Internet Archive.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 5072 — IP Version 6 over PPP. IPV6CP i 64-bitowe identyfikatory interfejsu, niezależne od IPCP.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 1332 — The PPP Internet Protocol Control Protocol (IPCP), który negocjuje adresy IPv4 na każdym końcu łącza.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 1994 — PPP Challenge Handshake Authentication Protocol (CHAP). Udowadnia tożsamość drugiej strony; niczego nie szyfruje.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 3079 — Deriving Keys for use with Microsoft Point-to-Point Encryption (MPPE). Konstrukcja RC4 kluczowana z wymiany MS-CHAP i powód, dla którego PPTP nie jest żywą opcją.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNcat Users\u0026rsquo; Guide — connecting through a proxy — --proxy i --proxy-type dla HTTP CONNECT i SOCKS 4/5, więc nośnik TLS kończy się na proxy, a nie na dalekim końcu tunelu.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNcat Users\u0026rsquo; Guide — opcje --ssl, --ssl-verify i --ssl-trustfile oraz tryby nasłuchu i UDP. Wersja testowana tutaj: Ncat 7.92.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nUniversal TUN/TAP device driver — własna dokumentacja jądra dla /dev/net/tun, TUNSETIFF i różnicy między tun a tap.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nPEP 784 — Adding Zstandard to the standard library, i dlatego compression.zstd nie wymaga żadnego pakietu w Pythonie 3.14. Mierzone tutaj na Pythonie 3.14.7 i zstd 1.5.7.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nzstd(1) — tryb --train i --maxdict, do budowania słownika, który muszą załadować oba końce.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 7457 — Summarizing Known Attacks on TLS and DTLS, który omawia CRIME i ogólny kształt przecieku długości przy kompresji przed szyfrowaniem.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nOpenVPN — the VORACLE attack — ten sam przeciek przeciw VPN-owi, który kompresuje przed szyfrowaniem, i powód, dla którego OpenVPN odradza teraz kompresję.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\n","permalink":"https://blogs.damiendye.uk/pl/networking/a-vpn-out-of-parts-and-what-egress-really-is/","summary":"VPN to dwie roboty: coś, co tworzy łącze wirtualne, i coś, co przenosi bajty. PPP robi pierwszą od 1994 roku i nie obchodzi go, czym jest druga. Dlatego PPTP, L2TP i każda linia dial-up, z jakiej kiedykolwiek korzystałeś, to ten sam protokół na różnych nośnikach. Netcat jest nośnikiem. Ten wpis buduje to na oba sposoby. Najpierw pppd: opcja pty i co robi z pseudoterminalem, wersja po TCP, którą każdy próbuje najpierw, dlaczego protokół strumieniowy wewnątrz TCP rozpada się przy stratach, wersja po UDP, której należy używać, asynchroniczne ramkowanie HDLC i ACCM, który decyduje, ile pasma idzie na escapowanie znaków sterujących, adresacja, routing i IPV6CP, oraz utrzymanie łącza, gdy nośnik umiera bez słowa. Potem ten sam tunel w ogóle bez PPP: urządzenie tap, jeden datagram na ramkę po UDP, prefiks długości, który po TCP musisz wymyślić sam, tun kontra tap i mostkowanie. Potem część, na którą netcat nie ma odpowiedzi: owinięcie nośnika w TLS za pomocą ncat, stunnel i openssl, oraz w DTLS za pomocą socat, czyli kształt, którego naprawdę chcesz. To nigdy nie jest właściwe narzędzie i właśnie o to chodzi: pokazuje, jak zachowuje się egress, gdy atakujący ma roota w twojej sieci, a ruch wychodzący nie był domyślnie zablokowany, i dlaczego domyślna blokada na granicy to jedyna kontrola, która kiedykolwiek była prawdziwa.","title":"VPN z części: PPP, urządzenia tap i netcat"},{"content":"Na twoim firewallu jest funkcja, która czyta wnętrze twoich pakietów, znajduje w tekście adres IP i numer portu i otwiera dla nich przychodzącą dziurę. Bez reguły. Bez wniosku o zmianę. Bez wpisu w logu, na który kiedykolwiek byś spojrzał. Na większości sprzętu, który ją ma, jest domyślnie włączona i jest tak od dobrych dwudziestu pięciu lat, podczas gdy branża, która ją tam wstawiła, spędziła ostatnie dwadzieścia na cichym dochodzeniu do wniosku, że należy ją wyłączyć: w dokumentach standardów, w domyślnych ustawieniach jądra i w czterech osobnych rundach awaryjnych łatek do przeglądarek.\nNazywa się to helperem protokołu albo Application Level Gateway, ALG, session helperem, fixupem, silnikiem inspekcji, helperem conntrack. Jedno i to samo. Istnieje, bo NAT zepsuł garstkę protokołów, które wpisują adresy we własny ładunek, a ktoś uznał, że najmniej złym rozwiązaniem będzie nauczyć translator czytać i przepisywać ten ładunek w locie.\nOto część, która powinna cię zatrzymać.\nHelper nie potrafi stwierdzić, kto napisał tekst. Czyta bajty z połączenia i działa na ich podstawie natychmiast, nikogo i o nic nie pytając. Nie ma jak się dowiedzieć, czy ciąg PORT 192,168,1,29,4,0 wytworzył prawdziwy klient FTP robiący prawdziwy transfer, czy ukryty formularz na stronie WWW, którą twój użytkownik otworzył przez przypadek. W sieci wyglądają identycznie, bo w sieci są identyczne. Więc obcy w internecie, który zdoła namówić cokolwiek w twojej sieci do wysłania właściwych bajtów (przeglądarkę, klienta czatu, cokolwiek, co wyśle, co mu każą), wybiera, który port przychodzący otworzy twój firewall i dokąd.\nTo nie jest błąd w parserze jednego producenta. To jest to, co ta funkcja robi: urządzenie bezpieczeństwa przyjmuje polecenia konfiguracyjne z niezaufanych danych i stosuje je natychmiast. Zgłoszenia błędów i CVE to szczegóły na wierzchu tego kształtu.\nSamy Kamkar zademonstrował wersję przeglądarkową w styczniu 20101, znacznie lepszą w październiku 20202, a trzy miesiące później Armis rozszerzył ją tak, że otwierany port nie musi nawet być na maszynie, która kliknęła: może być na twojej drukarce, twojej kamerze albo sterowniku PLC dwa VLAN-y dalej3. W międzyczasie IETF zapisało, że helpery powinny być domyślnie wyłączone4, Linux wyłączył je w jądrze5, a producenci przeglądarek wypuścili listę zablokowanych portów, która niemal linijka w linijkę wygląda jak listing katalogu modułów conntrack Linuksa6. Każda z tych rzeczy to poprawka zastosowana gdzie indziej, bo to, co naprawdę wymagało poprawienia, siedzi w pudełku, którego nikt nie zamierza załatać.\nDoszedłem do wniosku, że helpery protokołów powinny być domyślnie wyłączone wszędzie i faktycznie wyłączone w każdej sieci, za którą odpowiadasz. Nie dostrojone. Nie ograniczone na początek do zaufanych podsieci. Wyłączone, z dwoma czy trzema prawdziwymi wyjątkami zapisanymi i opatrzonymi datą, dokładnie tak, jak udokumentowałbyś każdą inną regułę przychodzącą, bo tym właśnie są.\nDalej jest mechanizm, ataki w kolejności, w jakiej je odkryto, sytuacja zgodności (w Wielkiej Brytanii to zwykłe niespełnienie kontroli, którą możesz już mieć certyfikowaną) i polecenia, żeby to naprawić.\nCo obcy z tego ma Zacznij od skutku, bo mechanizm łatwiej obchodzi człowieka, kiedy już widział rachunek. Ktoś otwiera link. To cały jego wkład. Strona uruchamia JavaScript, który rozmawia z serwerem atakującego, a ten serwer kształtuje rozmowę (dopełnia ją, mierzy, potwierdza jedne jej części, a inne nie), aż jeden segment dociera do twojego firewalla, wyglądając dokładnie jak wiadomość otwierająca połączenie VoIP. Twój firewall w to wierzy, bo wierzenie w to jest tą funkcją. Tworzy przychodzące mapowanie, a atakujący łączy się z powrotem prosto przez nie.\nW wersji z 2020 roku port otwiera się na maszynie, która kliknęła, więc każda usługa nasłuchująca na tym hoście jest osiągalna z internetu, dopóki żyje mapowanie2. Udostępnianie plików. Pulpit zdalny, którego nikt nie zamierzał zostawić nasłuchującego. Co do Fisher-Price OS (Windows) Armis zwrócił uwagę na rzecz oczywistą: dosięgnij portu udostępniania plików i dzieli cię jeden niezałatany host od drogi, którą poszedł WannaCry3.\nWersja z 2021 roku jest gorsza i to ona powinna przesądzić sprawę. Ponieważ helper H.323 obsługuje przekierowanie połączeń, jedna wiadomość może wskazać trzeci adres zamiast któregoś z końców połączenia, więc atakujący nie jest już ograniczony do maszyny, która kliknęła, i może zamiast tego przejść przez twój wewnętrzny zakres, otwierając port na każdym adresie i odczytując to, co odpowie. Armis zademonstrował dokładnie to: port 80 w całym zakresie, zebrane banery, wybrany cel, potem otwarty surowy port druku drukarki i wysłane do niej zadanie. Ich druga demonstracja dotarła do sterownika PLC na jego nieuwierzytelnionym porcie zarządzania i przepisała jego program3.\nNa żadnym z tych urządzeń nie wykorzystano żadnej podatności. Wszystkie działały dokładnie tak, jak miały, a jedyną rzeczą, która zawiodła, była granica, i zawiodła, robiąc dokładnie to, co miała skonfigurowane. Pomyśl też, kto jest wewnątrz tej granicy. Nie tylko twoi pracownicy: gość w sieci dla gości, laptop podwykonawcy, każdy z przeglądarką. Atak nie potrzebuje danych uwierzytelniających, przyczółka ani złośliwego oprogramowania, bo mechanizmem dostarczenia jest przeglądarka, która już jest zainstalowana i już jest zaufana.\nFirewall jest po to, żeby nic z zewnątrz nie zaczynało rozmowy z niczym w środku, chyba że na to pozwoliłeś. Helper jest wyjątkiem, przyznawanym na podstawie ciągu znaków w pakiecie.\nCzym właściwie jest helper protokołu Zwykły NAT jest rzeczą głupią i uczciwą. Przychodzi pakiet, NAT przepisuje adres i port źródłowy w nagłówku, zapisuje wiersz, żeby odpowiedź dało się odwrócić z powrotem, i przekazuje pakiet dalej. Nigdy nie zagląda poniżej nagłówka warstwy transportowej i nie wie ani nie obchodzi go, czy bajty w środku to żądanie WWW, zapytanie do bazy danych czy zdjęcie psa.\nTo działa, dopóki protokół nie wpisze adresu we własny ładunek. FTP to robi, jawnym tekstem w strumieniu poleceń: połącz się ze mną z powrotem pod tym adresem, na tym porcie. SIP robi to w polach Via, Contact i SDP, H.323 to robi, a IRC robi to przy bezpośrednich transferach. Wszystkie zaprojektowano, kiedy adres hosta był jego adresem i każda maszyna mogła dosięgnąć każdej innej, i przy tym założeniu jest to rozsądne. Wstaw translator na ścieżkę, a adres w ładunku staje się kłamstwem.\nZwykły translator czyta nagłówek. Helper czyta ładunek i otwiera dziurę na podstawie tego, co znajdzie. To samo miejsce ścieżki. Jedno z nich czyta oprócz koperty także list. Zwykły translator Helper protokołu Przychodzący pakiet [IP hdr 192.168.1.29:51000] [ payload ] Przychodzący pakiet [IP hdr 192.168.1.29:51000] [ PORT 192,168,1,29,4,0 ] Co robi Przepisuje adres i port źródłowy w nagłówku Poprawia sumy kontrolne Zapisuje wiersz, żeby odwrócić odpowiedź Przekazuje pakiet dalej Co robi Wszystko to, a potem czyta ładunek i znajduje w nim adres i port przepisuje także je i przesuwa numery sekwencyjne zapisuje drugi wiersz: dopuść to połączenie przychodzące Tabele, które prowadzi Tylko tabela translacji. Wiersz, przepływ, odwracalne. Nic w ładunku nie może dodać wiersza. Tabele, które prowadzi Tabela translacji i tabela oczekiwań. Wiersz w drugiej to przychodząca reguła firewalla. Druga tabela to cały temat. Mówi: kiedy z zewnątrz przyjdzie połączenie pasujące do tego wzorca, przepuść je. Nikt jej nie napisał, nikt nie zatwierdził. Dwa urządzenia w tym samym miejscu ścieżki. Zwykły translator przepisuje nagłówek i nigdy nie czyta ładunku. Helper czyta ładunek, przepisuje znaleziony tam adres i dodaje wiersz do drugiej tabeli, który później dopuszcza połączenie przychodzące. Ta druga tabela jest tematem tego wpisu. Więc wymyślono helper. Czyta ładunek, znajduje adres, przepisuje go na publiczny, a potem robi to, co wszyscy pomijają: tworzy regułę dopuszczającą połączenie przychodzące, które ładunek właśnie opisał. Netfilter nazywa taką regułę oczekiwaniem (expectation). Cisco nazywa ją pinhole albo drzwiami NAT7. Palo Alto nazywa ją dynamicznym pinhole NAT8. Juniper nazywa ją bramką (gate). Inne słowo, identyczny obiekt: dziura wybita w granicy na podstawie czegoś odczytanego z pakietu.\nIETF nazwało ten wzorzec, zanim większość tych produktów powstała. ALG, mówi RFC 2663, to „application specific translation agent”, który „may interact with NAT to set up state [\u0026hellip;] modify application specific payload and perform whatever else is necessary to get the application running across disparate address realms”9. Przeczytaj to z przeciwnikiem w głowie: whatever else is necessary, napędzane przez application specific payload. A w lutym 2002 taksonomia middleboxów IETF nazywała mechanizm po imieniu, odnotowując, że niektóre ALG powodują problemy z fragmentacją, „although in this case the problem is arguably the result of a deliberate layer violation (e.g., mucking with the application data stream of an FTP control connection by twiddling TCP segments on the fly)”10.\nCelowe naruszenie warstw. Grzebanie w segmentach TCP w locie. Taki jest mechanizm, nazwany przez ludzi, którzy skatalogowali go dwadzieścia cztery lata temu, a każdy opisany tu atak przechodzi prosto przez niego.\nOczekiwanie to cały problem Oczekiwanie to wstępnie autoryzowane połączenie: krotka złożona z adresu źródłowego, portu źródłowego, adresu docelowego, portu docelowego i protokołu, z częścią pól wypełnionych i częścią pozostawionych jako symbole wieloznaczne, plus zegar. Kiedy przychodzi pasujący pakiet, firewall traktuje go jako powiązany z istniejącym dozwolonym przepływem, a nie jako nowe połączenie przychodzące, przepuszcza go i zużywa oczekiwanie. W zdrowym systemie ich lista jest pusta i o to chodzi: oczekiwania mają być rzadkie, krótkotrwałe i wynikać z czegoś, o co host wewnętrzny naprawdę poprosił.\nOczekiwanie to reguła przychodząca z lukami, a luki to cały model bezpieczeństwa Jeden obiekt, pięć pól i zegar. To, które pola są puste, to cały model bezpieczeństwa. expect proto=tcp src=\u0026lt;kto może się połączyć\u0026gt; sport=\u0026lt;dowolny\u0026gt; dst=\u0026lt;gdzie trafi\u0026gt; dport=\u0026lt;który port\u0026gt; timeout=300 Helper Kto może się połączyć Gdzie trafia Który port Najgorszy przypadek FTP serwer, przypięty klient, przypięty z ładunku dowolny port na jednym hoście IRC dowolny adres klient, przypięty z ładunku dowolny port, od każdego H.323 dowolny adres z ładunku z ładunku dowolny port na dowolnym hoście Niebieski: ustalone przez firewall z widocznego połączenia.\u0026#160;\u0026#160;Złoty: z ładunku.\u0026#160;\u0026#160;Różowy: celowo otwarte. 1. Które pola są symbolami wieloznacznymi? Wieloznaczne źródło oznacza, że dziura nie jest zarezerwowana dla drugiego końca rozmowy, która ją utworzyła. Każdy, kto pierwszy dotrze do twojego interfejsu zewnętrznego, może ją zająć. Helper IRC musi tak robić, bo protokół naprawdę nie wie, kto się połączy, co dobrze opisuje protokół, któremu w ogóle nie powinno się pomagać. 2. Kto dostarczył wartości? Nie firewall. Zrobił to ładunek, a ładunek napisał ten koniec rozmowy, który helper akurat czytał. W tym zdaniu nigdzie nie ma uwierzytelnienia. 3. W co może celować dziura? W większości helperów w host, który ją utworzył. W H.323 w to, co mówi ładunek, bo przekierowanie wskazuje stronę trzecią. Oczekiwanie to reguła firewalla z częścią pól pozostawionych pustych i z zegarem. Trzy pytania rozstrzygają, czy jest bezpieczne, i to właściwe trzy pytania do zadania każdemu helperowi na każdej platformie. Dwie z tych odpowiedzi są gorsze, niż ludzie się spodziewają. Wartości pochodzą z ładunku, a nie z firewalla, więc pochodzą z tego końca rozmowy, który helper akurat czytał. A w helperze IRC adres źródłowy jest z założenia symbolem wieloznacznym, bo protokół nie może wiedzieć, kto się połączy: helper „creates expectations whose destination address is the client address and source address is any address”11.\nOto zdanie, które warto zabrać dalej. Oczekiwanie to przychodząca reguła firewalla, tworzona z prędkością łącza przez niezaufaną stronę, bez żadnego zapisu, kto o nią poprosił i dlaczego. Zatrzymaj je do sekcji o Cyber Essentials, bo jest całym tamtejszym argumentem.\nZgodnie z projektem: FTP mówi PORT, a firewall wierzy Weź najprostszy helper i popatrz, jak działa poprawnie, bo atak to ta sama sekwencja z jednym uczestnikiem podmienionym. Aktywne FTP używa dwóch połączeń. Klient otwiera połączenie sterujące do serwera na porcie 21 i wydaje mu polecenia zwykłym ASCII, a gdy potrzebny jest transfer, otwiera gniazdo nasłuchujące i wysyła polecenie PORT wskazujące adres i port, pod który trzeba się połączyć z powrotem, po czym serwer łączy się do środka. Taki jest protokół według specyfikacji i działa tak od 1985 roku. W sieci to sześć liczb, cztery na adres i dwie na port, najpierw bardziej znaczący bajt:\nPORT 192,168,1,29,4,0 To jest 192.168.1.29, port 1024, bo 4 × 256 + 0 = 1024.\nAktywne FTP przez helper: cztery kroki, wszystkie poprawne, i tylko dwie rzeczy sprawdzone Aktywne FTP dokładnie według specyfikacji i co sprawdzono, zanim otworzyła się dziura Klient FTP 192.168.1.29 Firewall + helper 203.0.113.10 Serwer FTP 198.51.100.7 1\u0026#160;\u0026#160;wychodzące połączenie sterujące na port 21: dozwolone, zaczęło się w środku 2\u0026#160;\u0026#160;klient nasłuchuje, potem wpisuje własny adres do strumienia PORT 192,168,1,29,4,0 3\u0026#160;\u0026#160;helper działa przepisuje adres, tworzy oczekiwanie PORT 203,0,113,10,4,0 expect src=198.51.100.7 dst=192.168.1.29 dport=1024 4\u0026#160;\u0026#160;serwer łączy się do środka, oczekiwanie pasuje, dane płyną Zobacz, co firewall sprawdził, zanim krok czwarty stał się możliwy. Że bajty szły połączeniem na port 21. Że zaczynały się od czterech znaków PORT. To wszystko, bo nic więcej nie ma do sprawdzenia. FTP nie niesie podpisu, klucza sesji ani niczego innego do testu. Aktywne FTP przez helper, poprawne na każdym kroku. Zauważ, co firewall sprawdził przed otwarciem dziury: że bajty szły na porcie 21 i zaczynały się od PORT. Nic więcej, bo nie ma nic więcej do sprawdzenia. Helper obserwuje ten strumień, wyłapuje PORT, przepisuje adres z prywatnego na publiczny, korygując numery sekwencyjne, bo ciąg zmienił długość, i tworzy oczekiwanie dopuszczające przychodzące połączenie serwera na wskazanym porcie. Naprawdę użyteczne, całkowicie rozsądne przy ograniczeniach roku 1994 i poprawne na każdym kroku.\nNic poza tym nie zostało sprawdzone, bo nie ma nic poza tym do sprawdzenia: FTP nie ma do zaoferowania żadnego podpisu, klucza sesji ani jakiegokolwiek uwierzytelnienia, a helper czyta strumień, którego nie jest stroną.\nW tym kodzie żyje jeszcze jedna rzecz, i to ostrzeżenie, które autorzy napisali sami sobie. Jeśli adres w poleceniu PORT nie jest własnym adresem klienta (jeśli klient prosi serwer, żeby połączył się zupełnie gdzie indziej), linuksowy helper domyślnie odmawia, a komentarz w źródle mówi dlaczego: „DMZ machines opening holes to internal networks, or the packet filter itself”12. Ustaw parametr modułu loose, a ta odmowa znika. Ludzie, którzy napisali helper, dokładnie wiedzieli, do czego da się go zmusić. Wypuścili bezpieczne ustawienie domyślne i przełącznik, a dwadzieścia pięć lat później przełącznik wciąż tam jest.\nNiezgodnie z projektem: te same bajty, ze strony WWW Helper czyta strumień bajtów i dopasowuje wzorzec. Nie sprawdza, i z samej budowy nie może sprawdzić, czy to, co jest po drugiej stronie, jest klientem, za którego się podaje. Samy Kamkar opublikował konsekwencję w styczniu 2010 roku i nazwał ją NAT Pinning1. Mechanika jest żenująco mała: umieść formularz na stronie WWW, skieruj go na serwer atakującego na porcie 6667 i ułóż treść tak, żeby zawierała żądanie bezpośredniego czatu.\nPRIVMSG samy :^ADCC CHAT samy 3325256705 22^A Przeglądarka go wysyła, przekonana, że robi HTTP POST. Helper IRC w routerze, obserwujący połączenie na porcie 6667, widzi przelatujące DCC CHAT z adresem i portem i robi to, do czego został zbudowany. Adres to tutaj 198.51.100.1 zapisany jako jedna liczba dziesiętna, bo tak koduje go protokół, a port to 22; niczego w tym ciągu nie wybrała ofiara. Wariant FTP to ten sam pomysł wycelowany w port 21, z użyciem linii odpowiedzi trybu pasywnego1.\nBez cross-site scriptingu. Bez fałszowania żądań w zwykłym sensie. Bez podatności w przeglądarce. Przeglądarka zrobiła to, co robią przeglądarki, firewall zrobił to, co miał skonfigurowane, a wynikiem jest przekierowanie portu do atakującego.\nDwie kolumny, których helper nie odróżni, bo w sieci nie ma czego odróżniać Protokół zgodnie z projektem i strona WWW. Helper widzi jeden obraz. Prawdziwy klient Ukryty formularz na stronie Co to uruchamia Człowiek otwiera klienta FTP lub IRC i się łączy Klient otwiera gniazdo i podaje je w strumieniu PORT 192,168,1,29,4,0 Co to uruchamia Człowiek otwiera stronę. To cały jego wkład. Formularz wysyła POST do serwera atakującego, ten sam port PORT 192,168,1,29,4,0 Co sprawdza helper port docelowy pasuje\u0026#160;\u0026#160;\u0026#160;\u0026#160;\u0026#160;\u0026#160;\u0026#160;\u0026#160;\u0026#160;\u0026#160;\u0026#160;\u0026#160;\u0026#160;tak słowo kluczowe na początku danych\u0026#160;\u0026#160;tak składnia się parsuje\u0026#160;\u0026#160;\u0026#160;\u0026#160;\u0026#160;\u0026#160;\u0026#160;\u0026#160;\u0026#160;\u0026#160;\u0026#160;\u0026#160;\u0026#160;\u0026#160;tak adres i port obecne\u0026#160;\u0026#160;\u0026#160;\u0026#160;\u0026#160;\u0026#160;\u0026#160;\u0026#160;\u0026#160;\u0026#160;\u0026#160;\u0026#160;\u0026#160;\u0026#160;tak Co sprawdza helper port docelowy pasuje\u0026#160;\u0026#160;\u0026#160;\u0026#160;\u0026#160;\u0026#160;\u0026#160;\u0026#160;\u0026#160;\u0026#160;\u0026#160;\u0026#160;\u0026#160;tak słowo kluczowe na początku danych\u0026#160;\u0026#160;tak składnia się parsuje\u0026#160;\u0026#160;\u0026#160;\u0026#160;\u0026#160;\u0026#160;\u0026#160;\u0026#160;\u0026#160;\u0026#160;\u0026#160;\u0026#160;\u0026#160;\u0026#160;tak adres i port obecne\u0026#160;\u0026#160;\u0026#160;\u0026#160;\u0026#160;\u0026#160;\u0026#160;\u0026#160;\u0026#160;\u0026#160;\u0026#160;\u0026#160;\u0026#160;\u0026#160;tak port przychodzący otwiera się identycznie w obu kolumnach Różnią się trzy rzeczy, których helper nie widzi. Czy był w tym klient. Czy użytkownik tego chciał. Kto wybrał adres i port. Żadna z nich nie zostawia śladu w sieci, więc żadna staranność parsera ich nie odzyska. Obie kolumny są poprawne. Ten sam helper, to samo dopasowanie wzorca, to samo oczekiwanie, i nigdzie na obrazku nie ma klienta FTP ani IRC. Każde sprawdzenie, które wykonuje helper, wypada identycznie w obu kolumnach, bo w sieci nie ma żadnej różnicy do znalezienia. To był rok 2010. Szesnaście lat temu. Producenci przeglądarek dodali porty IRC do swojej listy zablokowanych, co zamknęło te konkretne drzwi, a pokój, na który się otwierały, zostawiło dokładnie takim, jaki był.\nPowiedz to wprost, bo ginie pod nazwami producentów i numerami CVE. Te ataki nie wykorzystują wady helperów. Używają helperów poprawnie. Każdy pakiet jest dobrze uformowany i każde sprawdzenie przechodzi uczciwie. Funkcja wykonuje swoją pracę, a jej praca jest problemem.\nUstawianie bajtów tam, gdzie helper je przeczyta Między NAT Pinning a czymś znacznie gorszym stała prawdziwa przeszkoda, a sposób jej obejścia to najsprytniejsza rzecz w tym wpisie. Większość helperów nie dopasuje wzorca w dowolnym miejscu strumienia: sprawdzają, czy słowo kluczowe jest na początku części danych pakietu, bo tak wygląda prawdziwa wiadomość protokołu, a ciało HTTP nigdy tak nie wygląda, bo przychodzi po stercie nagłówków, których atakujący nie kontroluje. Samy cytuje zachowanie samego jądra: procedura obsługi rezygnuje, chyba że metoda występuje na początku danych2.\nWięc atakujący potrzebuje, żeby przeglądarka wysłała segment, którego pierwszym bajtem jest słowo kluczowe. Nagłówków napisać nie może, ale może napisać ciało i zrobić je tak długie, jak chce, co zamienia problem w arytmetykę.\nPrzesuwanie granicy segmentu, aż słowo kluczowe wyląduje tam, gdzie czyta helper Helper czyta pierwszy bajt segmentu. Więc atakujący przesuwa miejsca podziału segmentów. Tak, jak wysłałaby to przeglądarka segment 1 POST / HTTP/1.1 Host: ... segment 2 ...nagłówki... PORT 192,168,... segment 3 ...1,29,4,0 dopełnienie dopełnienie Słowo kluczowe jest w środku segmentu drugiego, więc helper je pomija i nic nie robi. Gdy atakujący ustawi rozmiar segmentu albo potwierdzi tylko część strumienia segment 1 POST / HTTP/1.1 Host: ... segment 2 ...nagłówki i dopełnienie... segment 3 PORT 192,168,1,29,4,0 Słowo kluczowe jest teraz pierwszym bajtem segmentu. Helper je czyta i otwiera port. Dwie dźwignie, i żadna nie jest atakiem na TCP. Serwer atakującego to jeden koniec połączenia, więc ogłasza maksymalny rozmiar segmentu, którego użyje stos ofiary, i decyduje, ile strumienia potwierdzić. Potwierdź część, a ofiara retransmituje od przesunięcia wybranego przez atakującego. Jedno i drugie to zwykłe, zgodne ze standardem TCP, użyte celowo. Dlaczego dopełnienie ma znaczenie. Helper czyta słowo kluczowe protokołu tylko wtedy, gdy jest pierwszym bajtem segmentu, więc atakujący, który kontroluje tylko ciało, musi przesuwać granicę segmentu, aż wyląduje dokładnie tam. Obie dźwignie to zwykłe TCP, użyte celowo. Przeglądarka wysyła duże żądanie z rozpoznawalnym znacznikiem zakopanym w ciele; serwer atakującego go wyłapuje, mierzy, ile bajtów nagłówków przyszło wcześniej, i zna już przesunięcie. Potem albo ogłasza taki rozmiar segmentu, żeby żądany bajt wypadł na granicy, albo wysyła częściowe potwierdzenie, tak żeby ofiara retransmitowała, zaczynając dokładnie tam. Armis dodaje, że w tych potwierdzeniach da się też spreparować okno TCP, „in order to fully control how the TCP stream is to be segmented”3. To cała sztuczka i nie używa niczego poza drugim końcem połączenia, które otworzyła przeglądarka samej ofiary.\nKiedy już to masz, przeglądarka jest generatorem pakietów wycelowanym we wnętrze twojego firewalla. Musi tylko postawić właściwe trzydzieści bajtów na początku segmentu.\nPrace z 2021 roku pominęły większość arytmetyki. Połączenie przekaźnikowe przeglądarki po TCP niesie kontrolowane przez atakującego pole nazwy użytkownika, wysyłane wcześnie, które akceptuje znaki nowej linii i bajty zerowe. Armis pokazał zrzut, w którym to pole ma wartość \\r\\nPORT 192,168,1,29,4,0\\r\\n3. Co gorsza, ta ścieżka w ogóle nie sprawdzała listy zablokowanych portów przeglądarki, więc jedyne zabezpieczenie, które branża wypuściła dwukrotnie, po prostu zostało ominięte.\nNAT Slipstreaming od początku do końca Złóż kawałki razem, a tak wygląda cały atak, po kolei.\nOd kliknięcia do połączenia przychodzącego w sześciu krokach, z których żaden nie jest podatnością Sześć kroków. Cztery to zwykłe WWW i TCP. Jeden to twój firewall. Jeden to atakujący. 1 Ofiara otwiera stronę Reklama, link w wiadomości, cokolwiek. To cały udział użytkownika. zwykłe WWW 2 Strona poznaje adres wewnętrzny Podany przez interfejs mediów przeglądarki albo zawężony mierzeniem czasu typowych adresów bramy. zwykłe WWW 3 Atakujący mierzy ścieżkę Za duże żądanie ze znacznikiem i przechwytywanie na drugim końcu, żeby zobaczyć, gdzie są podziały. zwykłe TCP 4 Strona wysyła właściwy ładunek Dopełniony tak, żeby słowo kluczowe wypadło na granicy segmentu, jak na poprzednim diagramie. zwykłe TCP 5 Twój firewall otwiera port Helper rozpoznaje wiadomość, przepisuje w niej adres i zapisuje oczekiwanie. twój firewall 6 Atakujący łączy się do środka Na twój adres publiczny, na zmapowany port. Oczekiwanie pasuje, a firewall przekazuje to do środka. twój firewall Policz podatności wykorzystane na maszynie ofiary. Nie ma żadnej. Przeglądarka była załatana. System operacyjny był załatany. Nic nie zainstalowano, nie użyto żadnych danych logowania. Minęły sekundy, jedno kliknięcie, a jedynym elementem, który mógł odmówić, był ten zbudowany do odmawiania. Pełny łańcuch, od kliknięcia do połączenia przychodzącego. Kroki od pierwszego do czwartego to zwykłe zachowanie WWW i TCP. Krok piąty to funkcja firewalla działająca dokładnie tak, jak ją udokumentowano, i to jedyny element, który mógł odmówić. Łączny czas: sekundy. Interakcja użytkownika: jedno kliknięcie. Podatności wykorzystane na maszynie ofiary: żadne.\nHarmonogram ujawnienia jest dowodem sam w sobie. Samy opublikował atak 31 października 2020, a między 6 stycznia a 26 lutego 2021 Chrome, Edge, Safari i Firefox wypuściły zabezpieczenia3, śledzone jako CVE-2020-16043, CVE-2021-23961 i CVE-2021-1799.\nCzterech producentów przeglądarek wypuściło awaryjne łatki na funkcję firewalla. Armis wyjaśnia dlaczego, własnymi słowami: „While the underlying issue of this attack is the way NATs are implemented (in various ways in routers and firewalls, throughout numerous vendors and applications), the easiest and fastest way to mitigate was through a patch to browsers”3.\nTo nie jest poprawka. To cztery inne branże układające worki z piaskiem wokół cudzych drzwi, bo samych drzwi nikt nigdy nie zamierzał wymienić.\nPrzekierowanie połączeń H.323 celuje w cokolwiek w twojej sieci Większość helperów ogranicza szkody, nie mając tego w zamiarze. Helper FTP przypina adres docelowy oczekiwania do klienta, który je utworzył, więc najgorsze, co dostaje atakujący, to port na maszynie, która kliknęła: źle, ale do przeżycia.\nH.323 to katastrofa, a powodem jest funkcja telefoniczna.\nCentrala musi obsługiwać przekierowanie połączeń, a przekierowane połączenie to z definicji połączenie do kogoś, kogo nie ma na linii. Więc sygnalizacja musi wskazać trzeci punkt końcowy, a helper musi otworzyć do niego ścieżkę, inaczej przekierowanie w ogóle nie działa przez NAT. Każda poważna implementacja to obsługuje, a helper netfilter dokumentuje to zachowanie wprost, z diagramem13. Armis przeczytał kod i ujął konsekwencję w jednym zdaniu: „a single H.323 packet sent over TCP port 1720 that initiates call forwarding can open a pinhole (named an expectation in the conntrack subsystem) to any TCP port of any internal IP on the network”3.\nPrzypięte do jednego hosta albo wycelowane w cokolwiek w sieci Większość helperów sięga tylko maszyny, która kliknęła. Jednego nie da się ograniczyć wcale. FTP, SIP, IRC H.323, z przekierowaniem połączeń Oczekiwanie mówi dst = host, którego połączenie je utworzyło Oczekiwanie mówi dst = jakikolwiek adres podał ładunek maszyna, która kliknęła 192.168.1.29 drukarka port 9100 kamera hasło domyślne sterownik bez uwierzytelnienia Zasięg rażenia Jedna maszyna. Każdy jej port, przez życie reguły, co jest dość złe i do przeżycia. Urządzenie jest zarządzane, łatane i działa na nim coś, co loguje. Zasięg rażenia Każdy adres w sieci, po jednej wiadomości na adres. Przejdź zakres, odczytaj banery, wybierz cel. Żadne z tych urządzeń o nic nie prosiło ani nie miało przeglądarki. Przekierowanie połączeń to cała różnica, i jest funkcją, a nie błędem. Przekierowane połączenie to połączenie do kogoś spoza linii, więc sygnalizacja wskazuje stronę trzecią, a helper słucha. Dlaczego jeden helper jest w innej kategorii niż reszta. Przypnij oczekiwanie do hosta, który je utworzył, a atakujący dosięga jednej maszyny. Pozwól, żeby przekierowanie połączenia wskazało stronę trzecią, jak wymaga protokół, a przechodzi przez cały twój zakres adresów. Dowolny port TCP. Dowolny adres wewnętrzny. Z jednego pakietu, który atakujący namówił przeglądarkę do wysłania.\nWięc atak przestaje dotyczyć maszyny ofiary i staje się skanowaniem portów twojej sieci wewnętrznej, prowadzonym z internetu, z wynikami odczytywanymi przez połączenia, które autoryzuje twój własny firewall. Urządzenia, które znajduje, są sednem, bo nie są załatane, często nie da się ich załatać, a cały model bezpieczeństwa większości z nich brzmi jest w środku. Armis podał liczbę: rok po publikacji 97% sterowników przemysłowych podatnych na jeden zestaw krytycznych luk wciąż było niezałatanych3. Taką rzeczywistość podtrzymuje to „w środku”.\nWięc H.323 to helper do załatwienia jako pierwszy, na każdej platformie, bo sięga dalej niż ofiara. To też ten, którego prawie nikt nie używa, co czyni go najtańszą poprawą bezpieczeństwa w tym wpisie. Wyłącz go. Nikt nie zadzwoni.\nHelper może odpalić wiadomość, której nie wysłałeś Jeden wariant zasługuje na osobną sekcję, bo łamie założenie, po które ludzie sięgają, kiedy szukają powodu, żeby nic nie robić: dobrze, ale wyzwalacz musi przyjść ze środka, więc kontroluj przeglądarki, a kontrolujesz problem.\nNie.\nW lipcu 2022 David Leadbeater znalazł dwa błędy w linuksowym helperze IRC14. Moduł szuka ciągu \\1DCC gdziekolwiek w strumieniu, zamiast sprawdzać, czy to poprawnie obramowana wiadomość we właściwym miejscu, a jego kontrola adresu porównuje z adresem serwera czatu zamiast z hostem za translatorem, więc publicznie znany adres publicznego serwera ją spełnia. Złóż to razem, a atakujący wysyła klientowi ofiary ping klient-klient (rzecz zupełnie zwyczajną do otrzymania od dowolnego innego użytkownika) z żądaniem bezpośredniego transferu w środku:\nPRIVMSG ExampleUser :^APING ^ADCC CHAT x 3325256705 22^A Zgodnie z regułami protokołu klient odpowiada na ping, odsyłając ładunek z powrotem, więc klient ofiary posłusznie wysyła ten ciąg na zewnątrz, a helper, obserwując strumień wychodzący, znajduje w nim DCC i otwiera port.\nPort otwarty przez wiadomość, której ofiara nigdy nie napisała Nikt w środku niczego nie kliknął. Wyzwalacz wysłał na żądanie klient samej ofiary. Klient ofiary 192.168.1.29 Firewall + helper IRC czyta strumień Obcy dowolny użytkownik, dowolna sieć 1\u0026#160;\u0026#160;zwykły ping, z żądaniem bezpośredniego czatu ukrytym w ładunku PRIVMSG ExampleUser :^APING ^ADCC CHAT x 3325256705 22^A 2\u0026#160;\u0026#160;protokół każe odpowiedzieć na ping echem ładunku, więc klient to robi 3\u0026#160;\u0026#160;obie kontrole helpera przechodzą, a żadna nie powinna szuka słowa kluczowego gdziekolwiek w strumieniu, a nie na początku wiadomości sprawdza adres względem serwera czatu, a nie hosta za translatorem 4\u0026#160;\u0026#160;oczekiwanie istnieje, a port 22 jest otwarty do ofiary Wszystko w tej sekwencji trzymało się specyfikacji. Obcy wysłał poprawną wiadomość. Klient odpowiedział tak, jak wymaga protokół. Helper dopasował wzorzec, do którego go napisano. Nikt niczego nie postanowił, a nic w żadnym logu nie wygląda dziwnie. Wyzwalacz nie musi pochodzić od kogoś, komu ufasz, ani z przeglądarki, ani z niczego, co użytkownik zrobił celowo. Każdy program tutaj trzymał się swojej specyfikacji, a wynikiem jest otwarty port i nic dziwnego w żadnym logu. Nikt w środku nie zrobił nic złego i nikt nie kliknął. Klient trzymał się specyfikacji, a specyfikacja razem z helperem wytworzyły przychodzącą dziurę do portu 22 na maszynie wewnątrz sieci. Stało się to CVE-2022-2663, a opis w krajowej bazie podatności jest godny podziwu w swojej prostocie: „A firewall may be able to be bypassed when users are using unencrypted IRC with nf_conntrack_irc configured”15.\nZwróć uwagę na słowo unencrypted. To też zatrzymaj.\nRekomendacja samego autora to miejsce, do którego reszta tego wpisu dochodzi z innej strony: „Potentially entirely deprecate and remove nf_conntrack_irc, it\u0026rsquo;s unclear it has much use anymore”14.\nParsery to druga połowa sprawy Wszystko do tej pory dotyczyło helperów działających poprawnie. Jest drugi, osobny problem: to parsery protokołów napisane w C, na szybkiej ścieżce urządzenia bezpieczeństwa, na danych dostarczonych przez obcych, z taką częstością błędów, jakiej byś się spodziewał. I nie jest to problem Linuksa ani tanich routerów: pojawia się u każdego producenta, w kodzie, za który biorą najwięcej.\nCVE Komponent Co robi spreparowany pakiet CVE-2018-0051 Junos SIP ALG Wywala demona przepływów na SRX i MX; odnotowuje też, że SIP ALG jest domyślnie włączony, poza modelami z najwyższej półki CVE-2018-15454 Cisco ASA / FTD, inspekcja SIP Restartuje urządzenie albo zajmuje CPU do oporu CVE-2022-2663 Linux nf_conntrack_irc Otwiera porty przez firewall, jak wyżej CVE-2023-22412 Junos SIP ALG „Specific SIP messages” wywalają demona przepływów, powtarzalnie CVE-2023-22415 Junos H.323 ALG Zapis poza granicami z „specific H.323 packets” CVE-2024-21616 Junos SIP ALG Jeden pakiet SIP wyczerpuje pulę NAT, więc prawdziwy ruch przestaje być translowany CVE-2024-26851 Linux nf_conntrack_h323 Przesunięcie bitowe poza zakresem przy dekodowaniu mapy bitowej H.323 CVE-2024-39551 Junos H.323 ALG Pamięć wyczerpana przez „specific packets”, aż ruch staje Każdy z nich jest osiągalny z sieci bez uwierzytelnienia, przez każdego, kto potrafi dostarczyć pakiet do interfejsu zewnętrznego, czyli przez wszystkich. I przeczytaj sformułowania: specific SIP messages, specific H.323 packets, a specific SIP packet. To nie protokół zawodzący pod obciążeniem. To ktoś, kto celowo buduje pakiet.\nZatrzymaj się przy przypadku Cisco. CVE-2018-15454 opublikowano 31 października 2018 z oceną 8,6, było wykorzystywane w praktyce, a biuletyn mówił, że aktualizacja oprogramowania nie jest jeszcze dostępna16. Zabezpieczenie Cisco, w ich własnym biuletynie, to no inspect sip. Więc odpowiedzią producenta na aktywnie wykorzystywaną lukę w funkcji było wyłączenie funkcji, co rodzi pytanie, na którym zbudowana jest reszta tego wpisu. Jeśli wyłączenie jej jest akceptowalną odpowiedzią w czasie incydentu, na jakiej podstawie jest włączona przez resztę czasu?\nHelper działa tylko wtedy, gdy nie szyfrujesz Ta część powinna sama zakończyć spór, a dostaje najmniej uwagi. Helper protokołu czyta twój ładunek i nie umie przeczytać zaszyfrowanego. Więc helper w ogóle cokolwiek robi tylko na ruchu, który postanowiłeś zostawić jawnym, a utrzymanie działającego helpera oznacza utrzymanie tego ruchu jawnym.\nKażdy protokół z tej listy ma tryb szyfrowany od grubo ponad dekady. FTP ma TLS od 2005 roku17; włącz go, a wymiany PORT i PASV stają się niewidoczne i helper nic nie robi. SIP ma TLS od specyfikacji bazowej, z szyfrowanymi mediami obok. H.323 ma własny aneks bezpieczeństwa. Czat ma TLS od bardzo dawna, a oficjalna rada przy CVE-2022-2663 brzmiała dosłownie: używaj go, żeby helper nie widział twoich żądań transferu15.\nHelper potrzebuje jawnego tekstu, więc zostawić helper to zostawić jawny tekst Możesz mieć szyfrowanie albo helper. Trzeciej kolumny nie ma. Kanał sterujący szyfrowany Helper działa Co widzi helper 17 03 03 01 a4 9c 2f e1 8b 44 d0 ... szyfrogram Bez słowa kluczowego. Bez adresu. Bez portu. Nic do dopasowania. Co widzi helper REGISTER sip:example ... Contact: 192.168.1.29:5060 I tak samo każde inne urządzenie między tobą a nimi. Ile cię to kosztuje Helper nie robi zupełnie nic, więc punkty końcowe muszą same rozwiązać swój problem translacji, co każdy z tych protokołów potrafi od dekady. Ile cię to kosztuje Dane do rejestracji, kto dzwonił do kogo i każdy adres wewnętrzny, jawnym tekstem, przez każdą sieć między końcami. Żadnej z nich nie kontrolujesz. Tryb szyfrowany istnieje od tak dawna FTP po TLS od 2005\u0026#160;\u0026#160;\u0026#183;\u0026#160;\u0026#160;SIP po TLS z szyfrowanymi mediami od standardu bazowego\u0026#160;\u0026#160;\u0026#183;\u0026#160;\u0026#160;czat po TLS od dekad\u0026#160;\u0026#160;\u0026#183;\u0026#160;\u0026#160;H.323 ma własny aneks bezpieczeństwa Więc uczciwa wersja „potrzebujemy helpera SIP” to zdanie, którego nikt nie mówi na głos. Brzmi: nasza sygnalizacja ma iść jawnym tekstem przez niezaufane sieci, żeby cudze pudełko mogło ją przepisać. Wymiana, której nikt nie zapisuje. Helper działa tylko na ładunku, który umie przeczytać, więc te dwie kolumny wzajemnie się wykluczają. Prawa to ta, na którą działający SIP ALG prosi cię się zgodzić. Więc uczciwa wersja zdania „potrzebujemy SIP ALG” brzmi: potrzebujemy, żeby nasza sygnalizacja połączeń szła jawnym tekstem przez niezaufane sieci, tak żeby middlebox, którego nie kontrolujemy, mógł ją przepisywać. Powiedz to tak na przeglądzie projektu i zobacz, jak daleko zajdzie.\nJest ostrzejsza wersja i to dlatego nie jest to kwestia na styk. Pozostawienie włączonego helpera to stała zachęta przeciw szyfrowaniu: w dniu, w którym ktoś włącza SIP po TLS, połączenia się psują, winny jest helper, więc zmianę się wycofuje, a jawny tekst zostaje na kolejny rok. Zapytaj kogokolwiek, kto próbował tego za firewallem klasy konsumenckiej, jak mu poszło.\nKażdy inny protokół w internecie poszedł w przeciwną stronę: ruch WWW domyślnie szyfrowany, DNS szyfrowany, transport poczty szyfrowany, QUIC szyfrujący sam nagłówek transportowy, żeby middleboxy nie mogły go czytać. Era middleboxów skończyła się w otwartym internecie lata temu, a ostatnie miejsca, które polegają na urządzeniu na ścieżce czytającym ładunek, to te, gdzie ktoś zostawił włączony helper.\nIPsec to ten, przy którym helper nie umie przeczytać niczego Co rodzi oczywiste pytanie o protokół, który jest samym szyfrowaniem. Odpowiedź jest gorsza, niż byś zgadywał.\nESP nie ma numerów portów, bo jest samodzielnym protokołem IP, a translator rozdziela ruch powrotny według portu. Więc przy dwóch klientach za jednym adresem, idących do tej samej bramy, nie ma niczego, co odróżniłoby ich pakiety przychodzące. RFC 3715 zapisało to w marcu 2004: NAT nie może poznać mapowania przez inspekcję, a „it is possible that the NAT will deliver the incoming IPsec packets to the wrong destination”18.\nWięc producenci zbudowali helper. Obserwuje wymianę IKE na UDP 500, której wczesne pakiety są jawne, zbiera ciasteczka i indeks parametrów bezpieczeństwa (SPI) i otwiera bramkę, żeby przychodzące ESP niosące tę wartość trafiło do właściwego hosta w środku. Juniper opisuje to wprost: „When ESP traffic hits the IKE ALG gates, sessions are created to capture subsequent ESP traffic”19. inspect ipsec-pass-thru Cisco robi to samo dla ESP i AH „associated with an IKE UDP port 500 connection”, z domyślną mapą, która nie ustawia żadnego limitu połączeń ESP na klienta20.\nTen sam obiekt, ta sama władza, tyle że helper nawet nie dopasowuje słowa kluczowego. Nie umie parsować ESP, bo ESP to właśnie zaszyfrowana część; kieruje pakiety według 32-bitowej liczby, którą widział przelatującą jawnym tekstem. Sekcja RFC 3715, która to opisuje, nosi bez cienia ironii tytuł „Helper Incompatibilities” i odnotowuje, że rozdzielanie według ciasteczek „results in problems with re-keying”, a urządzenia parsujące ładunki ISAKMP „may not handle all payload ordering combinations”18. Zgadywanie w miejsce reguły i ręcznie pisany parser na ścieżce pakietów, zapisane dwadzieścia dwa lata temu.\nPoprawka przyszła dziesięć miesięcy później, w protokole: RFC 3947 pozwala obu końcom wykryć translator podczas wymiany kluczy, a RFC 3948 opakowuje ESP w UDP 4500, więc porty znowu są21. Juniper mówi potem na głos to, czego się głośno nie mówi: „IKE NAT-T traffic on floating port 4500 is not processed in an IKE ALG”19. Zrób to porządnie, a helper jest całkowicie pomijany, co jest tym samym zdaniem co przy pasywnym FTP i przy ICE.\nGłówna linia Linuksa nigdy tego nie przyjęła. Wśród protokołów conntrack nie ma modułu ESP, a łatka z 2021 roku dodająca śledzenie oparte na SPI przeszła przegląd na liście netfilter i nigdy nie została scalona22. Producenci, którzy to dostarczają, dostarczają to poza drzewem, na pudełkach, które najmniej prawdopodobnie zostaną zaktualizowane.\nOblewa Cyber Essentials, punkt po punkcie Do tego miejsca był to argument o bezpieczeństwie. Dla każdego, kto certyfikuje się w Wielkiej Brytanii, to również argument o zgodności i nie ma w nim żadnej sprytnej interpretacji: trzy punkty przeciw trzem punktom. Cyber Essentials to wspierany przez rząd Wielkiej Brytanii program realizowany przez IASME, jego pierwszą kontrolą techniczną są firewalle, a aktualny dokument wymagań to wersja 3.3 z kwietnia 2026. Oto, do czego cię zobowiązuje, dosłownie23:\nblock unauthenticated inbound connections by default ensure inbound firewall rules are approved and documented by an authorised person, and include the business need in the documentation remove or disable unnecessary firewall rules, when they are no longer needed Trzy wymagania dotyczące firewalla i co helper robi z każdym z nich Cyber Essentials, kontrola pierwsza, firewalle. Trzy obowiązki i odpowiedź helpera na każdy. Co mówi dokument wymagań Co robi helper protokołu Wynik \"block unauthenticated inbound connections by default\" Pierwszy obowiązek i powód, dla którego ta kontrola istnieje. Dopuszcza je na podstawie ciągu znaków w pakiecie. Strona, która dostarczyła ciąg, nie uwierzytelniła się wobec niczego. pada \"ensure inbound firewall rules are approved and documented by an authorised person, and include the business need\" Pisana z prędkością łącza przez moduł jądra. Nikt jej nie zatwierdził, nikt jej nie widział, brak dokumentu, brak zapisanej potrzeby. pada \"remove or disable unnecessary firewall rules, when they are no longer needed\" Co zakłada, że ktoś uznał je za potrzebne. Usuwana przez zegar. Zegar to nie przegląd i nikt nigdy nie ocenił, czy reguła w ogóle była potrzebna. pada To pierwsza z pięciu kontroli technicznych, a nie przypadek brzegowy w piątej. Słowami samego programu dotyczy firewalli brzegowych, komputerów, laptopów, routerów i serwerów. Trzy wymagania dotyczące firewalla w kontrolach technicznych Cyber Essentials i to, co helper protokołu robi z każdym z nich. Trzy wymagania, trzy porażki, na pierwszej z pięciu kontroli. Oczekiwanie istnieje właśnie po to, żeby dopuścić połączenie przychodzące, które inaczej byłoby zablokowane, a strona, której dane je spowodowały, nie uwierzytelniła się wobec niczego, więc pierwszy punkt pada od razu. Regułę napisał moduł jądra z prędkością łącza, więc nie ma dokumentu, nie ma zapisanej potrzeby biznesowej i nie ma upoważnionej osoby nigdzie w łańcuchu. Poproś o zapis zatwierdzenia reguły, która pozwoliła połączeniu dotrzeć do portu 9100 na twojej drukarce, a nie masz żadnego i nie możesz go zrobić, bo reguła istniała przez dziewięćdziesiąt sekund osiemnaście miesięcy temu. A reguły helpera usuwa zegar, co nie jest przeglądem.\nTrzy wymagania, trzy porażki, na pierwszej kontroli z pięciu, mającej zastosowanie, słowami samego programu, do „boundary firewalls, desktop computers, laptops, routers, servers”23, czyli do wszystkiego, co masz.\nBądź uczciwy co do tego, co to znaczy, bo nie jestem jednostką certyfikującą. Audytor pracuje na zestawie pytań i dowodach, które mu dajesz, a ten zestaw pyta, czy domyślnie blokujesz nieuwierzytelnione połączenia przychodzące i czy twoje reguły przychodzące są udokumentowane i zatwierdzone. Odpowiedz „tak” z włączonym helperem, a ta odpowiedź nie jest prawdziwa. Całkiem możliwe, że i tak przejdziesz. Przejście i zgodność to nie to samo, a luka wychodzi na jaw po incydencie.\nDo tego jest to tylko wyjątkowo jasno sformułowane: standard branży kart płatniczych, kwestionariusz klienta i formularz wniosku twojego ubezpieczyciela pytają o to samo innymi słowami. Więc to jest sekcja, którą trzeba zanieść temu, kto podpisuje certyfikat. Nie ataki i nie CVE. Trzy punkty i uczciwa odpowiedź na każdy.\nBranża już to rozstrzygnęła, dwadzieścia lat temu Nic z tego nie jest nowe ani sporne. Godne uwagi jest to, jak długo decyzja jest podjęta, a ustawienia domyślne i tak trwają.\nDwadzieścia pięć lat tego samego ustalenia i jedyny wiersz, którego nigdy nie ma Wniosek zapadł w 2007 roku. Ustawienia domyślne się nie ruszyły. Kiedy Co się stało Kto mógł działać sty 2001 RFC 3027 kataloguje każdy protokół, który psuje NAT, i co ALG musi z każdym zrobić organ normalizacyjny lut 2002 RFC 3234 nazywa mechanizm „a deliberate layer violation” i ostrzega przed punktami ataku organ normalizacyjny sty 2007 RFC 4787, Best Current Practice: ALG NAT dla protokołów UDP SHOULD być wyłączone organ normalizacyjny sty 2010 NAT Pinning: ukryty formularz na stronie WWW otwiera port przychodzący u odwiedzającego badacz 2012 netfilter dostaje jawny mechanizm dołączania i przełącznik wyłączający automat jądro kwi 2016 Linux zmienia ustawienie domyślne: helpery nic nie robią bez jawnej reguły. Od 4.7 jądro paź 2020 NAT Slipstreaming, potem wariant ze stycznia 2021 sięgający każdego urządzenia w sieci badacze lis 2020 Czterech producentów przeglądarek łata; standard WWW dostaje listę zakazanych portów przeglądarki sie 2022 Helper IRC okazuje się reagować na wiadomość, której ofiara nigdy nie napisała badacz 2023\u0026#8211;24 Cztery kolejne podatności ALG we flagowej linii firewalli jednego producenta badacze Teraz przeczytaj kolumnę „kto mógł działać” i zauważ, kogo w niej nigdy nie ma. W dwudziestu pięciu latach ani jeden wiersz to nie producent firewalli wypychający aktualizację, która wyłącza funkcję w sprzęcie w terenie. Normalizatorzy prosili, jądro zmieniło źródła, a żadne nie sięgnęło pudełek. Dwadzieścia pięć lat tego samego wniosku, do którego doszli ludzie, którzy nie mogli naprawić rzeczy wymagającej naprawy. Jedyny wiersz, który nigdy się nie pojawia, to producent firewalli wyłączający funkcję w sprzęcie, który już działa w terenie. RFC 3027 skatalogowało każdy protokół, który psuje NAT, w styczniu 200124. RFC 3234 rok później umieściło ALG w taksonomii middleboxów i bez ogródek opisało koszt dokładania pudełek na ścieżkę: to „creates extra points of attack, reduces or eliminates the ability to perform end to end encryption, and complicates trust models”10. Potem, w styczniu 2007, RFC 4787 (Best Current Practice, a nie sugestia) określiło, jak NAT ma się zachowywać, a wymaganie dziesiąte mówiło tak:\nREQ-10: To eliminate interference with UNSAF NAT traversal mechanisms and allow integrity protection of UDP communications, NAT ALGs for UDP-based protocols SHOULD be turned off.4\nWyłączone. Dziewiętnaście lat temu, z podanym powodem: helpery wchodzą w drogę mechanizmom, które naprawdę działają, i nie pozwalają ci chronić własnego ruchu. Ta sama sekcja odnotowuje ze zmęczeniem, że niektóre produkty mają ALG „turned on permanently”4.\nTrzy lata później NAT Pinning pokazał stronę WWW otwierającą port1. Netfilter odpowiedział w 2012 roku celem CT, który dołącza helper do nazwanego przepływu jawną regułą, i przełącznikiem, który całkowicie wyłącza automatyczne przypisywanie11. Potem 25 kwietnia 2016 jądro zmieniło ustawienie domyślne, w opisie commita, który warto przeczytać w całości dla tego, jak zmęczony się wydaje:\nFour years ago we introduced a new sysctl knob to disable automatic helper assignment [\u0026hellip;] This knob kept this behaviour enabled by default to remain conservative. This measure was introduced to provide a secure way to configure iptables and connection tracking helpers through explicit rules. Give the time we have waited for this, let\u0026rsquo;s turn off this by default now, worse case users still have a chance to recover the former behaviour by explicitly enabling this back through sysctl.5\nTo weszło do Linuksa 4.7 i od tamtej pory pudełko z załadowanymi tymi modułami nic z nimi nie robi, dopóki nie napiszesz reguły dołączającej któryś do przepływu. Wszystko, co było potem, jest na diagramie powyżej, aż po sam standard platformy WWW, który zyskał listę portów25.\nTeraz popatrz na listę pod kątem tego, czego brakuje. W dwudziestu pięciu latach ani jeden jej wiersz to nie producent firewalli wypychający aktualizację firmware\u0026rsquo;u, która wyłącza helpery na już wdrożonym sprzęcie. Organ normalizacyjny prosił. Jądro zrobiło to u źródła. Przeglądarki za to zapłaciły. Pudełka robiły swoje dalej.\nA lista zablokowanych portów jest tu wskazówką. Porty 69, 137, 161, 554, 1719, 1720, 1723, 5060, 5061, 6566 i 10080 wszystkie na niej są6: TFTP, NetBIOS, SNMP, RTSP, dwa razy H.323, PPTP, dwa razy SIP, protokół skanerów i protokół kopii zapasowych Amanda. Wylistuj moduły helperów w drzewie jądra Linuksa, a okaże się, że przeczytałeś tę samą listę dwa razy. To nie przypadek i nie kontrola bezpieczeństwa: to jedna branża utrzymująca stałą, rosnącą listę zakazanych portów, bo druga nie chce zmienić ustawienia domyślnego.\nPod większością logo siedzi Linux Szczegóły netfilter to ważna część, a nie dygresja w kształcie Linuksa. Bardzo duża część pudełek robiących NAT na tej planecie to Linux z netfilter pod interfejsem producenta: każda pochodna OpenWrt, czyli większość rynku routerów konsumenckich i dla małych firm, większość routerów domowych od dostawców internetu, sporo sprzętu NAT klasy operatorskiej i mnóstwo komercyjnych urządzeń, których interfejs WWW nie zdradza, co jest pod spodem. Helper parsujący twój SIP to bardzo często ten sam nf_conntrack_sip.c, który jest w głównej linii jądra, skompilowany przez kogoś innego i sterowany z menu.\nDowód jest w samych badaniach. Kiedy Samy szukał SIP ALG w routerze Netgear, rozpakował firmware i znalazł moduł jądra zawierający ftp_decode i sip_decode2. Lista przetestowanych przez Armis obejmowała OpenWrt i VyOS oraz kategorię nazwaną po prostu „various consumer grade Linux routers”, a analiza H.323, z której wyszło ustalenie o dowolnym hoście wewnętrznym, wzięła się z czytania źródeł netfilter i została potem potwierdzona na komercyjnych firewallach trzech producentów3.\nDomyślne ustawienie jądra do ciebie nie dociera. Linux 4.7 wyłączył automatyczne przypisywanie helperów w 2016 roku, ale tylko jeśli jądro jest dość nowe i nikt tego z powrotem nie włączył. Armis znalazł VyOS jawnie ustawiający nf_conntrack_helper z powrotem na 1 i odnotował, że mnóstwo produktów opartych na Linuksie włącza to ponownie, „as it is still useful for many users”3. Jądro z 2014 roku w produkcie z 2026 roku daje zachowanie z 2014 roku, a aktualne jądro z przestawionym przełącznikiem daje to samo. Żadne z tych nie pojawia się w karcie katalogowej.\nZnajomość modelu netfilter mówi ci, o co pytać każde inne pudełko. Trzy pytania z sekcji o oczekiwaniach to nie są pytania o Linuksa. To są te pytania. Każdy producent ma ten sam obiekt pod inną nazwą, dokumentacja prawie nigdy nie daje ci odpowiedzi, a wiedza o tym, co robi implementacja referencyjna, to sposób, żeby ustalić, co testować.\nZrób porządnie robotę na Linuksie, a potem czytaj każdego innego producenta na jej tle.\nHelpery w Linuksie, porządnie Zacznij od tego, co naprawdę jest załadowane:\nlsmod | grep -E \u0026#39;nf_conntrack|nf_nat\u0026#39; Moduły helperów to te nazwane od protokołów: nf_conntrack_ftp, _sip, _h323, _irc, _tftp, _pptp, _snmp, _amanda, _sane, _netbios_ns i _talk, każdy z pasującym nf_nat_* tam, gdzie przepisuje się adresy. Potem sprawdź automatyczne przypisywanie, przełącznik decydujący, czy załadowany moduł robi cokolwiek sam z siebie:\nsysctl net.netfilter.nf_conntrack_helper Zero to to, czego chcesz, i ustawienie domyślne od Linuksa 4.7 wzwyż5. Jedynka oznacza, że każdy załadowany helper działa na każdym przepływie pasującym do jego portu, z dowolnego adresu: zachowanie z 2015 roku i to, które zakładają ataki z tego wpisu.\nPotem obserwuj conntrack -L expect na działającym firewallu. Z wyłączonymi helperami pozostaje puste; z włączonymi postaw obok przechwytywanie ruchu i patrz, jak pojawiają się wiersze, gdy ludzie korzystają z sieci. Warto to zrobić raz: nic nie przekonuje szybciej niż patrzenie, jak przychodzące uprawnienie, którego nie napisałeś, pojawia się i znika na twoich oczach.\nJeśli automatyczne przypisywanie jest wyłączone, a nadal chcesz helpera na konkretnym przepływie, usankcjonowanym sposobem jest jawna reguła, która ogranicza go do jednego celu i jednego portu:\niptables -t raw -A PREROUTING -p tcp --dport 21 -d 192.0.2.10 -j CT --helper ftp Odpowiednik w nftables deklaruje obiekt ct helper i dołącza go przez ct helper set w łańcuchu prerouting, co jest tą samą dyscypliną z lepszą składnią.\nZauważ, czym jest ta reguła: udokumentowanym, zatwierdzonym, uzasadnionym biznesowo wyjątkiem przychodzącym, napisanym przez człowieka, tam, gdzie audytor może go przeczytać. Czym wersja automatyczna nigdy nie mogła być.\nJeśli chcesz, żeby zniknęły, a nie tylko drzemały, a na firewallu powinieneś, w ogóle zatrzymaj ładowanie modułów:\nfor m in ftp sip h323 irc tftp pptp snmp amanda sane netbios_ns talk; do echo \u0026#34;install nf_conntrack_$m /bin/false\u0026#34; done \u0026gt; /etc/modprobe.d/no-conntrack-helpers.conf install ... /bin/false zamiast blacklist to celowy wybór: blacklist zatrzymuje tylko ładowanie po aliasie, a cokolwiek prosi o moduł po nazwie, i tak go dostaje. A jeśli warstwa firewalla dystrybucji ładuje je za ciebie (firewalld robi to, gdy strefa ma włączoną usługę FTP albo TFTP), to tę warstwę trzeba poprawić, bo usłużnie wstawi je z powrotem.\nKażde inne logo i jak to wyłączyć Sprawdź własną wersję, zamiast ufać czemukolwiek w internecie, łącznie ze mną; te ustawienia domyślne zmieniają się między wydaniami i modelami.\npfSense i OPNsense to dowód, że spór jest zakończony. Nie ma tam SIP ALG do wyłączenia, bo nigdy nie było go do włączenia. To jedne z najszerzej wdrożonych dystrybucji firewalli, jakie istnieją, obsługują telefonię w ogromnej liczbie organizacji, a gdyby helper był naprawdę wymagany do nowoczesnego VoIP, nie byłoby to możliwe. Proxy FTP poszło tą samą drogą: Netgate usunął je z systemu bazowego w styczniu 2015.\nProjekt OpenBSD to ten, który wszyscy inni powinni byli skopiować. pf w ogóle nie przepisuje ładunków na ścieżce przekazywania. Jeśli chcesz pomocy dla FTP, uruchamiasz ftp-proxy, osobnego demona w przestrzeni użytkownika, i piszesz jawną regułę divert-to, która kieruje do niego połączenie sterujące26. Od razu wynikają z tego trzy właściwości: jest wyłączony, dopóki celowo go nie włączysz, widzi tylko ruch, który wskazałeś w regule, a błąd w nim wywala proces w przestrzeni użytkownika, a nie ścieżkę pakietów. Tak wygląda opt-in, kiedy ktoś go projektuje, zamiast dokręcać.\nOpenWrt nie dostarcza modułów ALG, a automatyczne przypisywanie zostaje wyłączone, jeśli je doinstalujesz.\nCisco ASA i FTD mają silniki inspekcji w domyślnej polityce globalnej, a no inspect sip to rada samego Cisco w czasie incydentu:\npolicy-map global_policy class inspection_default no inspect sip no inspect h323 h225 no inspect h323 ras no inspect skinny Na FTD to configure inspection sip disable z CLI urządzenia16. IPsec pass-through to ten, który Cisco zrobiło dobrze: inspect ipsec-pass-thru w ogóle nie jest w domyślnej polityce, więc jeśli nikt go celowo nie dodał, nie ma czego usuwać20.\nCisco IOS i IOS XE też mają to domyślnie włączone („NAT support for SIP is enabled by default on port 5060”, słowami samego Cisco7), i tak samo H.323:\nno ip nat service sip tcp port 5060 no ip nat service sip udp port 5060 no ip nat service h225 Juniper SRX włącza SIP i H.323 na modelach oddziałowych, a na tych z najwyższej półki nie, co samo w sobie mówi ci, co inżynierowie Junipera o nich myślą. Sprawdź, gdzie stoisz, przez show security alg status, a potem:\nset security alg h323 disable set security alg sip disable set security alg ftp disable set security alg ike-esp-nat disable FortiGate domyślnie przeprowadza inspekcję VoIP przez profil VoIP, z helperem sesji w jądrze pod spodem. Udokumentowana przez Fortinet sekwencja najpierw usuwa helper27:\nconfig system session-helper show delete \u0026lt;the sip entry\u0026gt; end config system settings set default-voip-alg-mode kernel-helper-based end Odczytaj numer wpisu z własnego wyniku show, zamiast go kopiować; zmienia się między modelami i wydaniami, a Fortinet ostrzega, że często potrzebny jest restart.\nCheck Point jest niewygodny w audycie, bo nie ma jednego przełącznika. Helper jest właściwością obiektu usługi w regule, więc predefiniowana usługa SIP daje ci obsługę protokołu i wszystko, co ona robi. Uniknięcie tego oznacza własną zwykłą usługę UDP albo TCP na porcie 5060 z typem protokołu ustawionym na brak, umieszczoną nad wszystkim, co wciąż używa wbudowanych. Pytanie „czy ALG jest włączony?” nie jest więc pytaniem, na które odpowie strona ustawień. W związku z tym ostrożnie przyjmuj czyjekolwiek zapewnienie, że jest wyłączony.\nPalo Alto daje przełącznik dla każdej aplikacji, a ich własna dokumentacja mówi, że SIP ALG „creates dynamic NAT pinholes”8. Objects, Applications, znajdź sip, zaznacz Disable ALG, commit.\nMikroTik dostarcza dziesięć helperów pod /ip firewall service-port (SIP, H.323, FTP, IRC, TFTP, PPTP, RTSP i inne), udokumentowanych po linijce każdy, bez żadnego ostrzeżenia o bezpieczeństwie na stronie. Najpierw wylistuj, potem wyłącz to, co znajdziesz:\n/ip firewall service-port print /ip firewall service-port set [find name=sip] disabled=yes /ip firewall service-port set [find name=h323] disabled=yes /ip firewall service-port set [find name=ftp] disabled=yes Routery konsumenckie i od dostawców internetu. Szukaj „SIP ALG”, „SIP helper”, „VoIP passthrough”, „IPsec passthrough” albo „application layer gateway”, zwykle w zaawansowanych ustawieniach NAT. W wielu od dostawców internetu nie ma żadnego ustawienia, co mówi ci, czy to pudełko ma miejsce w sieci, za którą odpowiadasz.\nBez względu na platformę kończ tak samo: udowodnij to. Postaw przechwytywanie na interfejsie zewnętrznym, wyślij z zewnątrz spreparowaną linię PORT albo REGISTER na odpowiedni port i potwierdź, że nic się nie otwiera. Ustawienie, którego nie przetestowałeś, jest przekonaniem.\nWiększość tego, co się psuje, już nie żyje Bądź uczciwy co do kosztu, bo na nim opiera się proszenie kogokolwiek, żeby to zrobił. Wyłączenie helpera SIP w sieci ze źle skonfigurowanymi telefonami może zepsuć połączenia, zwykle dźwięk w jedną stronę albo rejestracje, które spadają. Wyłączenie helpera FTP psuje wychodzące FTP w trybie aktywnym. Wyłączenie helpera H.323 psuje H.323, jeśli jeszcze jakiekolwiek masz. Spodziewaj się przynajmniej jednego z tych, jeśli zrobisz to jedną zmianą w sieci, do której nikt nie zaglądał od lat.\nTeraz przeczytaj listę jeszcze raz i zauważ, że prawie każdy protokół obsługiwany przez helper to taki, który reszta branży już pochowała. H.323 przegrał z SIP dwadzieścia lat temu. PPTP jest nie do obrony od 1998 roku, o czym pisałem szeroko w IPsec Was a Good Idea. Bezpośrednie transfery IRC należą do dekady, za którą nikt nie tęskni. Usługa nazw NetBIOS, wersje SNMP z community string, protokół wykrywania skanerów i stary protokół kopii zapasowych to relikty sieci lokalnej, które nigdy nie miały przekraczać granicy. Zwykłe FTP całkowicie zniknęło z przeglądarek: Firefox usunął je w lipcu 2021, a Chrome w październiku, oba z uzasadnieniem, że użycie jest znikome, a bezpieczeństwo nie jest warte utrzymania28.\nWięc „nie możemy wyłączyć helpera, coś się zepsuje” to zwykle argument za trzymaniem martwego protokołu pod respiratorem, żeby usprawiedliwić funkcję otwierającą porty obcym. Wyłączenie go nie psuje twojej sieci. Ujawnia jedyną rzecz w niej, którą trzeba było wycofać lata temu, a to informacja, której i tak chciałeś.\nSIP to prawdziwy wyjątek i jedyny. Wszystko inne na tej liście to argument, który powinieneś z radością przegrać, i nic z tego nie jest nie do naprawienia, bo każdy z tych protokołów rozwiązał własny problem translacji lata temu, w protokole, tam, gdzie jego miejsce.\nCo robić w zamian Odpowiedź middleboxa i odpowiedź punktów końcowych obok siebie Ten sam problem, rozwiązany dwa razy. Jedna odpowiedź umieściła decyzję pośrodku. Decyduje pudełko na ścieżce Decydują oba końce Jak to działa Urządzenie czyta przelatujący ładunek Przepisuje adres, który w nim znajdzie Otwiera dziurę dla opisanego połączenia Nikt na żadnym końcu nie wie, że to się stało Jak to działa Każdy koniec pyta serwer, jak wygląda z zewnątrz Każdy oferuje wszystkie ścieżki: lokalną, NAT, przekaźnik Oba końce testują ścieżki wobec siebie Działającą utrzymują otwartą własnym ruchem Czego to od ciebie wymaga Czytelnego ładunku, więc bez szyfrowania kanału sterującego. Tego urządzenia na tej ścieżce. Tylko jednego translatora, więc operatorski CGNAT dalej to psuje. I zaufania do autora tekstu, o czym nikt nie pomyślał aż do 2010 roku. Czego to od ciebie wymaga Dostępu wychodzącego i niczego więcej. Działa przez translatory, których nie masz i nie widzisz, przez dwa naraz, przez sieć komórkową i z kanałem sterującym szyfrowanym od końca do końca, bo nic pośrodku go nie czyta. Dla plików jest jeszcze prościej: tryb pasywny, w którym klient otwiera oba połączenia na zewnątrz i helper nie ma już nic do roboty. Prawa kolumna to nie propozycja. To robi już twoja przeglądarka. Tak negocjowana jest każda rozmowa wideo w przeglądarce, przez każdy rodzaj translatora, bez ALG na ścieżce. Ten sam problem, rozwiązany dwa razy. Jedna odpowiedź umieściła decyzję w pudełku pośrodku. Druga pozwoliła obu końcom dogadać się między sobą, i tak każda przeglądarka już robi przy każdej rozmowie wideo. FTP. Tryb pasywny, w specyfikacji od 1985 roku i domyślny w każdym kliencie od dwudziestu lat: oba połączenia otwierają się na zewnątrz i helper nie ma już nic do roboty. A jeśli w 2026 roku przesyłasz pliki między organizacjami, FTP nie jest do tego protokołem: SFTP i FTPS są szyfrowane i żaden helper nie dotyka żadnego z nich.\nSIP i wszystko inne czasu rzeczywistego. Punkt końcowy pyta serwer w internecie, jak jego publiczny adres i port wyglądają z zewnątrz, oferuje każdą ścieżkę kandydującą, jaką ma, a oba końce testują je wobec siebie i zostawiają jedną, która działa, z przekaźnikiem tam, gdzie nie ma ścieżki bezpośredniej. To STUN, TURN i ICE, i to robi każda przeglądarka na ziemi przy każdej rozmowie wideo, przez każdy rodzaj translatora, bez ALG na ścieżce. Jeśli twój system telefoniczny nie umie tego w 2026 roku, problemem jest twój system telefoniczny.\nIPsec. NAT traversal, czyli RFC 3947 i RFC 3948: oba końce zauważają translator podczas wymiany kluczy i przez resztę sesji opakowują ESP w UDP 450021, bez bramki na żadnym pudełku pomiędzy.\nH.323. Wycofaj. SIP wygrał ten spór około 2005 roku, więc nie ma migracji do planowania, tylko usunięcie. Bezpośrednie transfery, TFTP, SNMP, NetBIOS, wykrywanie skanerów i protokół kopii zapasowych idą tą samą drogą: żaden z nich nie ma czego szukać po drugiej stronie granicy.\nIPv6. Nic z tego tam nie istnieje, bo nie ma translacji, więc helper nie ma czego przepisywać. Host ma własny adres, adres w ładunku jest prawdziwy, a stanowy firewall dopuszcza to, co mu kazałeś, i nic więcej. Każdy problem z tego wpisu wywodzi się z translacji adresów, a ta wywodzi się z niewdrażania IPv6, o czym pisałem gdzie indziej i czego nie będę powtarzał.\nTeraz część, w której nie zamierzam być dyplomatą.\nJeśli ktoś każe ci to włączyć (dostawca, instalator telefonii, usługa zarządzana, integrator z umowy ramowej), to nie jest inżynier sieci i nie jest specjalista od bezpieczeństwa. Może być bardzo dobry w tym, czym naprawdę się zajmuje, i to nie będzie to. Właściwą odpowiedzią na system telefoniczny, który potrzebuje, żeby firewall przepisywał mu sygnalizację, jest naprawienie systemu telefonicznego, a każdy, kto zamiast tego każe ci otworzyć granicę dla parsera dopasowującego ciągi znaków, albo nie wie, czym jest oczekiwanie, albo go to nie obchodzi. To nie jest godzina dla amatorów. Od 2007 roku w dokumentach ścieżki standardów jest właściwy sposób, żeby to zrobić, a „po prostu włącz helper SIP” to dźwięk kogoś sięgającego po to, co dziś zamknie zgłoszenie.\nZapytaj ich, na sali, na co ustawiony jest symbol wieloznaczny adresu źródłowego oczekiwania. Jeśli pytanie spada na nich jak niespodzianka, masz odpowiedź, i nigdy nie chodziło o protokół.\nJeśli wciąż je masz włączone, czy możesz nazywać siebie profesjonalistą? To prawdziwe pytanie i zasługuje na prawdziwą odpowiedź, więc oto trzy, bo są trzy przypadki. Wszystko zależy od tego, czy wiesz, a wiedza to nie coś, co ci się przydarza. Upewnienie się, że wiesz, to twoja praca.\nJeśli na granicy, za którą odpowiadasz, jest włączony helper SIP, H.323 albo FTP, a ty nie umiesz bez sprawdzania powiedzieć, czym jest oczekiwanie, które z jego pól są symbolami wieloznacznymi, kto dostarcza wartości i co twoje zgłoszenie certyfikacyjne twierdzi o regułach przychodzących, to nie. Nie w tej sprawie. Nie wybrałeś konfiguracji, odziedziczyłeś ustawienie domyślne i nigdy go nie przeczytałeś. Porażką nie jest luka; każdy ma luki i ja miałem tę. Jest nią budowanie granicy w poprzek luki, której nigdy nie zamknąłeś, a potem podpisanie czegoś, co mówi, że granica jest solidna.\nJeśli dokładnie wiesz, co to robi, a jest włączone, bo regulator wymienia ten protokół z nazwy, albo sprzęt partnera nie zakańcza niczego innego, albo system telefoniczny wymieniacie w marcu i to musi wytrzymać do tego czasu, to tak, oczywiście, i wykonujesz tę pracę porządnie. To prawdziwe ograniczenia i obchodziłem gorsze. Tym, co czyni to profesjonalnym, a nie zaniedbaniem, jest to, że zapisałeś, który helper, na którym interfejsie, dla którego przepływu, dlaczego i jakiego dnia zostanie wyłączony. A to jest papierologia, o którą i tak prosiła kontrola firewalla.\nPrzypadkiem nie do obrony jest ten środkowy. Wiedzieć dość, żeby czuć niepokój, i zostawić to, bo nikt nie kazał ci tego uzasadnić. To nie jest inżynieria. To przyzwyczajenie z doczepionym numerem zmiany i tak funkcja, którą Best Current Practice kazała ci wyłączyć w styczniu 2007, jest wciąż włączona w 2026.\nTo ma największe znaczenie, kiedy płacisz komuś za osąd, bo osądu nie da się sprawdzić przy odbiorze. Więc sprawdź go przed podpisaniem. Zapytaj, co ich standardowa konfiguracja robi z helperami protokołów i dlaczego, zapytaj, co się stanie, jeśli ktoś w sieci dla gości otworzy link, i zapytaj, które urządzenia wewnętrzne byłyby osiągalne przy włączonym helperze H.323, a potem patrz, czy powiedzą „tylko maszyna, która kliknęła”, bo to błędna odpowiedź, jaką daje ktoś, kto brzmi kompetentnie. W ciągu dwóch minut będziesz wiedział, czy ktoś ci coś mówi, czy ci czyta, a dwie minuty to znacznie tańszy test niż incydent.\nJeśli odpowiedź wraca jako wzruszenie ramion, a ty i tak podpisujesz, to też jest decyzja. Tylko że przestała być ich, a stała się twoja.\nNikt nigdy nie musiał tego uzasadniać Chcę być uczciwy wobec ludzi, którzy to zbudowali, bo na to zasługują. W 1994 roku helper był rozsądną odpowiedzią na prawdziwy problem. Adresów zaczynało brakować, NAT był pragmatyczną poprawką, garstka ważnych protokołów tego nie przetrwała, a do wyboru było zmienić każdego klienta FTP na ziemi albo nauczyć pudełko czytać. Nauczyli pudełko czytać, wypuścili najbezpieczniejsze ustawienia domyślne, jakie przyszły im do głowy, i wpisali w źródła ostrzeżenia o tym, do czego da się to zmusić. Te ostrzeżenia wciąż tam są. Jedno zacytowałem.\nTo, co poszło źle potem, nie jest porażką techniczną. Chodzi o to, że nic w tej branży nigdy nie wymagało od nikogo, żeby jeszcze raz na to spojrzał. IETF powiedziało „wyłączcie je” i nie miało władzy, żeby kogokolwiek zmusić. Jądro zmieniło ustawienie domyślne i nie mogło dosięgnąć urządzeń już wysłanych. Badacze udowodnili to cztery razy w szesnaście lat i za każdym razem poprawka lądowała gdzieś indziej niż na firewallu. A ustawienie domyślne tymczasem zostało włączone: nie dlatego, że ktoś go bronił, tylko dlatego, że ustawienie domyślne, o które nikt się nie kłóci, przetrwa w nieskończoność, a żaden dział nigdzie nie ma kończenia rzeczy w zakresie obowiązków.\nTaki jest wzorzec i jest większy niż jedna funkcja firewalla. Ta branża jest świetna w utrzymywaniu i beznadziejna w kończeniu. Utrzymanie ma budżet, ludzi, da się je fakturować i jest bezpieczne; wycofanie wymaga jednej osoby, która postawi swoje nazwisko na zmianie bez żadnego zysku, jeśli pójdzie dobrze, i z nazwiskiem wszędzie, jeśli pójdzie źle. Więc rzecz zostaje, a pewnego dnia ktoś odkrywa, że otwiera porty do twojej drukarki.\nWskazówką jest dla mnie to sformułowanie w dokumentacji samego Cisco: ALG tworzy drzwi NAT. Nie filtr. Nie kontrolę. Drzwi, w murze, za który zapłaciłeś, otwierane przez każdego, kto dostarczy do nich pakiet z właściwymi słowami na początku, a ustaloną odpowiedzią było proszenie przechodniów, żeby nie próbowali klamki.\nSwoje możesz zamknąć dziś po południu i to jest część, na której warto skończyć. Nie ataki; ataki to tylko to, co się dzieje, kiedy nikt tego nie robi. Idź i zobacz, co twoja granica przepuszcza do środka, a czego nigdy nie zapisałeś, zdecyduj, czy tak chciałeś, i usuń to, czego nie chciałeś, stawiając datę przy tym, co zostawiłeś.\nTym zawsze była granica: listą rzeczy, na które ktoś postanowił pozwolić i umiał powiedzieć dlaczego. Cokolwiek jest na niej, a nikt tego nie wybrał, nie jest bezpieczeństwem. To meble.\nSamy Kamkar — NAT Pinning, 5 stycznia 2010. Pierwotny atak z przeglądarki na ALG, wykorzystujący ukryty formularz, żeby przeglądarka wysłała IRC DCC CHAT albo linię odpowiedzi FTP 227, tak by helper routera otworzył port przychodzący. „No XSS or CSRF required.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nSamy Kamkar — NAT Slipstreaming, 31 października 2020, zaktualizowane w styczniu 2021. Autor streszcza atak jako pozwalający „an attacker to remotely access any TCP/UDP service bound to a victim machine, bypassing the victim\u0026rsquo;s NAT/firewall (arbitrary firewall pinhole control), just by the victim visiting a website”. Zawiera technikę granicy segmentu, uwagę, że procedura obsługi SIP „will bail unless the method (eg, REGISTER) occurs at the start of the data portion of the packet”, i analizę firmware\u0026rsquo;u Netgear.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nBen Seri i Gregory Vishnepolsky, Armis — NAT Slipstreaming v2.0, 26 stycznia 2021. Prymityw przekierowania połączeń H.323, obejście listy zastrzeżonych portów przeglądarek przez przekaźnik, lista przetestowanych produktów (OpenWrt, VyOS, konsumenckie routery z Linuksem, FortiGate, Cisco ASAv i csr1000v, HPE vsr1000, SonicWall TZ300), harmonogram ujawnienia i wniosek, że „resolving the issue will require a fundamental change of their implementations by various router/firewall vendors”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 4787 — Network Address Translation (NAT) Behavioral Requirements for Unicast UDP, styczeń 2007, BCP 127. Sekcja 7 zawiera REQ-10 i spostrzeżenie, że „Certain NATs have these ALGs turned on permanently, others have them turned on by default but allow them to be turned off”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nPablo Neira Ayuso — netfilter: nf_ct_helper: disable automatic helper assignment, commit 3bb398d9, 25 kwietnia 2016, wydany w Linuksie 4.7. Zmienia ustawienie domyślne nf_conntrack_helper z włączonego na wyłączone.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nŹródła Chromium — net/base/port_util.cc. Jego tablica kRestrictedPorts zawiera 69, 137, 139, 161, 554, 1719, 1720, 1723, 5060, 5061, 6566 i 10080. Ogłoszenie Adama Rice\u0026rsquo;a o portach SIP, 5 listopada 2020: „a carefully-crafted HTTP request to port 5060 on an attacker\u0026rsquo;s server can fool some NAT devices into treating it as a SIP packet and setting up port forwarding.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCisco — SIP ALG Hardening for NAT and Firewall, IP Addressing Configuration Guide, Cisco IOS XE 17.x. „SIP ALG creates a firewall pinhole or a Network Address Translation (NAT) door based on the first value in the Via header field.” Obsługa NAT dla SIP jest „enabled by default on port 5060”. Zobacz też Using Application-Level Gateways with NAT, gdzie napisano, że SIP i H.323 są domyślnie włączone.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nPalo Alto Networks — Disable the SIP Application-level Gateway (ALG). „SIP ALG creates dynamic NAT pinholes but may interfere with VoIP applications that have NAT traversal capabilities, causing communication failures.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 2663 — IP Network Address Translator (NAT) Terminology and Considerations, sierpień 1999. W sekcji 2.9 zdefiniowano Application Level Gateway.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 3234 — Middleboxes: Taxonomy and Issues, luty 2002. Zdanie o naruszeniu warstw jest w sekcji 2.11; koszt dodatkowych pudełek na ścieżce w sekcji 5.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nEric Leblond, Pablo Neira Ayuso, Patrick McHardy, Jan Engelhardt i Mr Dash Four — Secure use of iptables and connection tracking helpers. „This system relies on parsing of data coming either from the user or the server. It is therefore vulnerable to attack.” Źródło cytatu o symbolu wieloznacznym w IRC; dokumentuje sysctl nf_conntrack_helper i cel CT --helper.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nŹródła jądra Linuksa — net/netfilter/nf_conntrack_ftp.c. Parametr modułu loose ma domyślnie wartość false i pilnuje przypadku, gdy adres w PORT nie jest własnym adresem klienta; komentarz nazywa ryzyko „DMZ machines opening holes to internal networks, or the packet filter itself”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nnetfilter — H.323 conntrack/NAT helper, od autora modułu. Zawiera scenariusz przekierowania połączenia, który pozwala sesji wskazać adres strony trzeciej.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nDavid Leadbeater — NAT-Again: IRC NAT helper flaws, sierpień 2022. Demonstruje wyzwalacz przez echo pingu, zauważa, że da się nim też skanować, demaskować ukrytych użytkowników i rozłączać ich przez wskazanie portu 0, i zaleca: „Potentially entirely deprecate and remove nf_conntrack_irc, it\u0026rsquo;s unclear it has much use anymore.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCVE-2022-2663 — „An issue was found in the Linux kernel in nf_conntrack_irc where the message handling can be confused and incorrectly matches the message. A firewall may be able to be bypassed when users are using unencrypted IRC with nf_conntrack_irc configured.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCisco — biuletyn dla CVE-2018-15454, 31 października 2018. Podane zabezpieczenie to no inspect sip na ASA i configure inspection sip disable na FTD; NVD odnotowuje, że w chwili publikacji „Software updates that address this vulnerability are not yet available.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 4217 — Securing FTP with TLS, październik 2005.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 3715 — IPsec-Network Address Translation (NAT) Compatibility Requirements, marzec 2004. Sekcja 2.1 punkt (f) dotyczy wyboru SPI wobec NAT; sekcja 2.3 nosi tytuł Helper Incompatibilities i zawiera cytowane zdania o rozdzielaniu według ciasteczek IKE i parsowaniu ładunków ISAKMP.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nJuniper — IKE and ESP ALG, Application Layer Gateways User Guide. Źródło opisu bramek, uwagi, że ruch NAT-T na porcie 4500 nie jest przetwarzany przez ALG, i ostrzeżenia, że gdy dwóch klientów dzieli przetłumaczony adres, urządzenie „will be unable to distinguish and route return traffic properly”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCisco — IPsec Pass Through Inspection, ASA Firewall CLI Configuration Guide 9.20. „IPsec Pass Through application inspection provides convenient traversal of ESP (IP protocol 50) and AH (IP protocol 51) traffic associated with an IKE UDP port 500 connection.” Nie ma tego w domyślnej polityce; dostarczona _default_ipsec_passthru_map „sets no maximum limit on ESP connections per client”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 3947 — Negotiation of NAT-Traversal in the IKE oraz RFC 3948 — UDP Encapsulation of IPsec ESP Packets, oba ze stycznia 2005.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCole Dishington — netfilter: nf_conntrack: Add conntrack helper for ESP/IPsec, maj 2021, trzecia wersja. Przejrzana na netfilter-devel i nie scalona; net/netfilter w głównej linii wciąż nie zawiera nf_conntrack_proto_esp.c.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNCSC i IASME — Cyber Essentials: Requirements for IT Infrastructure v3.3, kwiecień 2026. Kontrola 1, Firewalls, dotyczy „boundary firewalls, desktop computers, laptops, routers, servers, IaaS, PaaS, SaaS”; trzy cytowane wymagania to jej własne słowa.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 3027 — Protocol Complications with the IP Network Address Translator, styczeń 2001. „The purpose of this document is to identify the protocols and applications that break with NAT enroute.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nWHATWG Fetch — pull request 1109, zmiana w standardzie, która dodała wpisy zakazanych portów we wszystkich przeglądarkach.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nOpenBSD — ftp-proxy(8). Połączenia sterujące docierają do niego tylko dlatego, że je tam wysłałeś: „FTP control connections should be redirected into the proxy using the pf(4) divert-to command, after which the proxy connects to the server on behalf of the client.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nFortinet — Technical Tip: Disabling VoIP Inspection. Dokumentuje usunięcie wpisu SIP z config system session-helper, set default-voip-alg-mode kernel-helper-based i odnotowuje, że ponowne włączenie wymaga restartu.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nMozilla — Stopping FTP support in Firefox 90, 20 lipca 2021, oraz Google — Deprecations and removals in Chrome 95, październik 2021: „Use of FTP in the browser is sufficiently low that it is no longer viable to invest in improving the existing FTP client.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\n","permalink":"https://blogs.damiendye.uk/pl/networking/protocol-helpers-turn-them-off/","summary":"Helper protokołu (SIP ALG, helper FTP, H.323 ALG, helper conntrack, nazwij go, jak nazywa go twój producent) czyta ładunek połączenia, znajduje w tekście adres i port i otwiera dla nich przychodzącą dziurę. Nie potrafi odróżnić, czy ten tekst przyszedł od prawdziwego klienta FTP, czy z ukrytego formularza na stronie WWW, bo nie ma w nim nic, co by to mówiło. Samy Kamkar udowodnił przypadek przeglądarki w 2010 roku. NAT Slipstreaming udowodnił to ponownie w 2020, a Armis w 2021 rozszerzył atak tak, że sięga dowolnego urządzenia w twojej sieci, nie tylko maszyny, która kliknęła. IETF poprosiło o domyślne wyłączenie helperów w 2007 roku, Linux wyłączył je w 2016, a producenci przeglądarek skończyli z listą zablokowanych portów, która czyta się jak katalog modułów conntrack. Ten wpis przechodzi przez mechanizm diagram po diagramie (tabela oczekiwań, sztuczka z wyrównaniem segmentów, przekierowanie połączeń H.323, helper IRC uruchamiany cudzą wiadomością), omawia helper IPsec pass-through, który w ogóle nie umie czytać ESP i kieruje pakiety przychodzące według SPI podejrzanego jawnym tekstem, zestawia całość z kontrolą firewalla Cyber Essentials, której ewidentnie nie spełnia, i podaje polecenia, żeby wszystko wyłączyć na Linuksie, Cisco, Juniperze, FortiGate i MikroTiku.","title":"Twój firewall słucha poleceń obcych. Wyłącz helpery protokołów."},{"content":"IPsec był dobrym pomysłem. Umieść szyfrowanie w warstwie sieciowej, pod wszystkim, a każdy protokół działający na IP odziedziczy poufność i integralność, nikt nie musi mu nic mówić. Żadnej biblioteki do dołączenia. Żadnego certyfikatu dla każdej aplikacji. Żadnego przepisywania tego, co już wydałeś. Pakiet wychodzi chroniony i dociera chroniony, a routery po drodze przenoszą go, nie wiedząc i nie dbając, co jest w środku.\nTen projekt opiera się na jednym założeniu i jest ono zapisane w standardzie, a nie domyślne: adres pakietu identyfikuje maszynę, z której pakiet przyszedł. Skojarzenie bezpieczeństwa wyszukuje się po adresie docelowym, numerze protokołu i SPI1. Authentication Header idzie dalej i podpisuje sam nagłówek IP, łącznie z adresem źródłowym i docelowym2. Dla IPsec adres nie jest metadaną routingu. Jest częścią tożsamości i częścią kontroli integralności.\nA potem ta branża spędziła trzydzieści lat na zabieraniu adresu.\nNajpierw NAT, żeby biuro zmieściło się za jednym łączem. Potem NAT operatorski, żeby kilkaset domów zmieściło się za jednym adresem, bo włączenie IPv6 było pracą, a kupienie pudełka było zakupem. To jest cały temat wpisu We Never Ran Out of Addresses. We Ran Out of Effort. i nie będę tu do tego wracał. Dla tego wpisu liczy się skutek. Jedyna rzecz, na której zbudowano IPsec, to jedyna rzecz, której nowoczesna sieć dostępowa już nie zapewnia.\nWięc IPsec połatano. Owiń zaszyfrowany pakiet w UDP, żeby translator miał port do przepisania. Wyzeruj sumę kontrolną, żeby nic jej ponownie nie sprawdzało. Wysyłaj jednobajtowy pakiet co dwadzieścia sekund, na zawsze, żeby tablica w cudzym sprzęcie nie zapomniała, że istniejesz. Przenieś tożsamość z adresu na nazwę. Porzuć Authentication Header, bo z samej konstrukcji nie przeżyje przepisanego nagłówka. Kiedy hotel blokuje UDP, owiń całość jeszcze w TCP3.\nKażda z tych poprawek jest prawdziwa, ustandaryzowana i wspierana przez producentów. Razem tworzą protokół trzymany w miejscu przez własne rusztowanie. I to rusztowanie jest argumentem: nie podpierasz czegoś przez ćwierć wieku, jeśli jest w gruncie rzeczy zdrowe.\nDoszedłem do wniosku, że IPsec należy wycofać w całości. Nie dostroić, nie zaproponować na nowo z lepszymi szyframi, nie zostawić do połączeń site-to-site, bo ta część wciąż działa. Wycofać, z datami, tak jak PPTP powinien był zostać wycofany dekadę przed tym, zanim ktoś się do tego zabrał. Dalej są dowody, diagramy, dokumentacja producentów, która mówi to wszystko ich własnymi słowami, oraz, ponieważ większość czytających wciąż musi w poniedziałek utrzymać te rzeczy przy życiu, działająca metoda diagnozowania usterek IPsec w międzyczasie.\nIle to naprawdę kosztuje, w zgłoszeniach Zanim przejdziemy do standardów, oto rachunek, w kolejności, w jakiej go spotkasz.\nTunel pada według zegara. Co godzinę, albo co osiem, albo po dwudziestu minutach bez ruchu. Wraca, gdy ktoś otworzy plik, więc połowa użytkowników nigdy tego nie zgłasza, a druga połowa zgłasza to jako „VPN jest wolny”. Nikt niczego nie zmieniał.\nDwie osoby w tym samym domu nie mogą połączyć się jednocześnie. Druga się łączy, pierwsza się rozłącza. Dzwonią do service desku osobno, więc zgłoszenia nigdy się nie spotykają i przez dwa tygodnie nikt nie zauważa wzorca.\nMałe rzeczy działają, duże wiszą. Logowanie działa. Teams działa. Ping działa. Kopiowanie pliku staje za każdym razem w tym samym miejscu, a otwarcie dużej strony w wewnętrznej aplikacji wisi, aż minie limit czasu.\nTunel jest zestawiony i nie przechodzi żaden ruch. Obie strony mówią „established”. Obie strony są z siebie zadowolone. Nic się nie rusza.\nNic nie może wejść z zewnątrz. Połączenie site-to-site do oddziału, który przeszedł na światłowód u alternatywnego operatora, nie zestawia się już w kierunku, w którym zestawiało się kiedyś, i nikt nie potrafi powiedzieć dlaczego, tylko że „zmienił im się IP”.\nWłączenie QoS zepsuło szyfrowanie. Ktoś nadał priorytet głosowi i teraz druga strona odrzuca pakiety jako powtórzenia.\nŻadne z nich nie jest błędną konfiguracją w zwykłym sensie. Każde z nich to IPsec zderzający się z siecią taką, jaka jest dziś. Reszta tego wpisu to wyjaśnienie dlaczego, po kolei, i jak udowodnić, który przypadek masz.\nIPsec nie jest przenoszony przez sieć. On jest siecią. Zacznij od tego, czym był, bo projekt jest naprawdę dobry, a awarie mają sens tylko na jego tle.\nESP nie jest protokołem działającym nad TCP czy UDP. ESP jest protokołem transportowym, protokołem IP numer 50, osadzonym bezpośrednio na IP w tym samym miejscu, w którym siedzą TCP i UDP. AH to protokół 51. Żaden z nich nie ma pola portu, bo żaden go nie potrzebuje: w internecie, dla którego projektowano IPsec, adres docelowy wskazuje już dokładnie jedną maszynę, a SPI w nagłówku ESP wskazuje, które skojarzenie bezpieczeństwa na tej maszynie. Adres plus protokół plus SPI. Ta trójka jest kluczem wyszukiwania1.\nProjekt zgodny ze specyfikacją: adres wskazuje maszynę, więc porty nie są potrzebne, a każda strona może zacząć IPsec według specyfikacji: adres jest tożsamością Host A 203.0.113.10 Routery tylko przekazują Host B 198.51.100.7 każda strona może zacząć Co wychodzi z maszyny zewnętrzny nagłówek IP źr. 203.0.113.10 do 198.51.100.7 protokół 50 = ESP SPI 4 B sekwencja 4 B zaszyfrowany ładunek twój pakiet, nieczytelny w drodze ICV 16 B Wyszukiwanie skojarzenia = adres docelowy + protokół + SPI. Nigdzie nie ma pola portu, bo nie jest potrzebne. Trzy założenia tego projektu, wszystkie prawdziwe w 1995 roku: Adres na pakiecie to maszyna. Nic po drodze nie przepisuje nagłówka. Do każdej strony można zadzwonić. Authentication Header idzie jeszcze dalej i podpisuje sam zewnętrzny nagłówek, ze źródłem i celem, więc odbiorca może udowodnić, że po drodze nikt nie ruszył adresów. Nie w skali. Narzut ESP zależy od szyfru; liczby to AES-GCM w trybie tunelowym na IPv4. Projekt zgodny ze specyfikacją. ESP siedzi bezpośrednio na IP jako protokół 50, bez portów, bo ich nie potrzebuje: adres docelowy wskazuje hosta, a SPI skojarzenie na nim. AH podpisuje sam nagłówek IP. Obie strony mają prawdziwy, osiągalny adres, każda z nich może zacząć rozmowę i nic po drodze nie musi rozumieć ładunku. Popatrz, co to daje. Nie ma portu negocjacji do wystawienia, nie ma warstwy sesji, w której można się pomylić, nie ma aplikacji, która musi się zgodzić. Każda strona może zacząć. Środek sieci jest głupi, a dokładnie taki powinien być środek sieci. Router przekazuje protokół 50 tak samo jak protokół 6, a to, że nie może odczytać ładunku, jest celem, a nie ograniczeniem.\nTo czysty projekt. W 2026 roku jest też opisem internetu, którego większość czytających nie może kupić.\nA potem ktoś wstawił translator na każdą ścieżkę NAT przepisuje adres źródłowy, a często także port źródłowy, żeby kilka maszyn mogło dzielić jeden adres. Tylko tyle robi. Dla IPsec to niemal całkowita rozbiórka, a IETF był na tyle uczciwy, żeby opublikować cały dokument wyliczający kawałki: RFC 3715, IPsec-Network Address Translation (NAT) Compatibility Requirements4. Szesnaście osobnych niezgodności. Oto te, które mają znaczenie.\nAH jest skończony, z samej konstrukcji. Słowami samego RFC 3715: „Since the AH header incorporates the IP source and destination addresses in the keyed message integrity check, NAT or reverse NAT devices making changes to address fields will invalidate the message integrity check.”4 Nie ma na to poprawki i nigdy nie miało być. Protokół, który podpisuje nagłówek, nie przejdzie przez pudełko, którego całą pracą jest przepisywanie nagłówka. AH nie obejściono. AH porzucono.\nNie ma portów do przetłumaczenia. NAT z translacją portów potrzebuje portu. ESP go nie ma. Cisco ujęło to wprost w przewodniku konfiguracji Catalyst: „If PAT found a legislative IP address and port, it would drop the Encapsulating Security Payload (ESP) packet.”5 Pakiet nie jest odrzucany z powodu polityki. Jest wyrzucany, bo pudełko nie ma gdzie zapisać tego, co musi zapisać.\nTożsamość przestaje pasować do pakietu. Znowu z RFC 3715: „Where IP addresses are used as identifiers in Internet Key Exchange Protocol (IKE) Phase 1 or Phase 2, modification of the IP source or destination addresses by NATs or reverse NATs will result in a mismatch between the identifiers and the addresses in the IP header.”4 Schemat tożsamości, który nazywa maszyny po adresie, nie przeżyje urządzenia, które zawodowo zmienia maszynom nazwy.\nDwie maszyny mogą wybrać to samo SPI. SPI wybiera odbiorca i musi być unikalne tylko dla niego. Postaw dwa hosty za jednym adresem, a translator ma dwa skojarzenia i nic, co by je odróżniało.\nNic nie może wejść pierwsze. NAT buduje swoją tablicę z pakietów wychodzących. Nie ma pakietu wychodzącego, dopóki ktoś nie zacznie, a na łączu za NAT zacząć może tylko strona wewnętrzna. Połowa symetrii protokołu zniknęła.\nJeden translator na ścieżce psuje pięć rzeczy naraz, a każda poprawka coś kosztuje Jeden translator na ścieżce i pięć rzeczy psuje się naraz Host 192.0.2.20 Translator przepisuje źródło na 203.0.113.5 Brama 198.51.100.7 z tej strony nic nie może zacząć Co niszczy przepisanie 1 Podpisany nagłówek przestaje pasować. AH obejmuje adres źródłowy i docelowy, więc kontrola integralności zawodzi z konstrukcji. Nie ma poprawki. AH przez translator nie działa. 2 Nie ma portu do przepisania. ESP to protokół IP 50 bez pola portu, więc translator z translacją portów nie ma z czym pracować i wyrzuca pakiet. 3 Tożsamość nie pasuje do pakietu. Wymiana kluczy nazwała drugą stronę po adresie. Adres w nagłówku jest teraz cudzy. 4 Dwa hosty mogą wybrać to samo SPI. Wybiera je odbiorca i gwarantuje unikalność tylko u siebie, więc translator ma dwa nierozróżnialne skojarzenia. 5 Połowa symetrii zniknęła. Tablica powstaje z pakietów wychodzących, więc zacząć może tylko wnętrze. Kompromis i koszt każdej jego części Owiń cały pakiet ESP w UDP na porcie 4500, żeby translator miał coś, co rozumie. Porzuć Authentication Header całkowicie, bo nic go nie uratuje. Wyzeruj sumę kontrolną UDP, bo suma po przepisanych adresach i tak by zawiodła. Przenieś tożsamość z adresu na nazwę, którą deklaruje druga strona. Wysyłaj jeden bajt co dwadzieścia sekund, na zawsze, żeby cudza tablica o tobie nie zapomniała. To działa, nikt temu nie przeczy. Ale nic zdrowego nie potrzebuje pięciu ustępstw, żeby przejść przez jedno pudełko. Ten sam tunel z jednym translatorem na ścieżce. Pięć rzeczy psuje się naraz: podpisany nagłówek przestaje się zgadzać, translator nie ma portu do przepisania, tożsamość nie pasuje już do adresu źródłowego, dwa hosty mogą wybrać to samo SPI i nic z zewnątrz nie może zacząć rozmowy. Wiersz pod spodem pokazuje, co branża z tym zrobiła, a każda poprawka to coś oddanego. Poprawka była prawdziwa i każda jej część coś kosztowała NAT traversal działa. Nie jest to przedmiotem sporu i nie zamierzam udawać, że jest inaczej. Przepuściłem mnóstwo tuneli przez mnóstwo NAT-ów. Chcę natomiast, żeby rachunek był zapisany, bo płaci go codziennie każdy, a prawie nikt go nie rozpisuje.\nMechanizm to RFC 3948: wykryj translator podczas wymiany kluczy, a potem włóż cały pakiet ESP do datagramu UDP na porcie 4500, żeby translator miał coś, co rozumie6. Opis formatu na kablu u Cisco jest dokładny: po zaszyfrowaniu „a UDP header and a non-IKE marker (which is 8 bytes in length) are inserted between the original IP header and ESP header”5. Opis Juniper jest krótszy i mówi to samo: „NAT-T encapsulates both IKE and ESP traffic within UDP with port 4500 used as both the source and destination port.”7\nA teraz rachunek z pozycjami.\nAuthentication Header zniknął. Nie grzecznie wycofany. Bezużyteczny. RFC 8221 mówi dziś wprost, że łączenie ESP z AH jest NOT RECOMMENDED8, a uczciwy powód jest taki, że jedyna rzecz, którą AH robił, a ESP nie, to dokładnie ta rzecz, którą niszczy NAT.\nSuma kontrolna UDP jest celowo zerowana. RFC 3948 tego wymaga: przy przepisanych adresach suma liczona po nich by się nie zgadzała, więc odpowiedzią standardu jest przestać ją liczyć. „If the protocol header after the ESP header is a UDP header, set the checksum field to zero in the UDP header.”6 Warstwa wykrywania błędów usunięta, żeby warstwa przepisywania adresów mogła dalej działać.\nTeraz wysyłasz pakiety, żeby tablica nie wystygła. RFC 3948 definiuje keepalive jako jeden bajt, 0xFF, wysyłany, gdy przez konfigurowalny czas nic innego nie wyszło, a domyślnie ten czas to dwadzieścia sekund6. Juniper podaje powód bez ozdobników: „Because NAT devices age out stale UDP translations, keepalive messages are required between the peers.”7 Więc laptop w pociągu, który nic nie robi, nadaje co dwadzieścia sekund, na zawsze, bo tablica w pudełku, którego nie posiada żadna ze stron, inaczej o nim zapomni. Pomnóż to przez całą flotę. To radio, które się budzi, bateria, która się rozładowuje, i sieć komórkowa przenosząca ruch, którego jedynym celem jest zapobieganie zapominaniu.\nTeraz filtrujesz dwa porty zamiast jednego protokołu, a własna lista ograniczeń Cisco wymaga, żeby statyczne reguły translacji dla 500 i 4500 były na miejscu, zanim cokolwiek z tego zadziała5.\nI przeczytaj resztę tej listy ograniczeń, bo to producent mówi ci, jak ta rzecz wygląda. Dynamiczne polityki NAT: nieobsługiwane. Ruch IPv6: niezgodny z tą funkcją. IPsec i NAT na tym samym urządzeniu: nie mogą działać jednocześnie5. To nie jest przewodnik konfiguracji. To lista miejsc, do których rusztowanie nie sięga.\nNic w tym nie jest eleganckie i nic z tego nie jest niczyją winą w szczególności. Tak to wygląda, gdy utrzymujesz przy życiu protokół warstwy 3 w sieci, która przestała szanować warstwę 3.\nNAT operatorski zabrał to, co zostało Zwykły NAT zabrał adres maszynie i dał go lokalizacji. Translator wciąż był twój, więc mogłeś przekierować port, przypiąć mapowanie, wydłużyć zegar albo postawić koncentrator przed nim.\nNAT operatorski zabiera adres lokalizacji i daje go kilkuset obcym ludziom, a translator należy do twojego dostawcy internetu. Wszystko, co kiedyś mogłeś z tym zrobić, jest teraz poza twoim zasięgiem.\nI miej jasność, co naprawdę jest na ścieżce, bo tu ludzie się mylą. Router w domu nadal robi NAT. Nikt go nie wyłączył. Nadal tłumaczy twojego laptopa z 192.168.1.20 na adres, który ma łącze, tyle że łącze ma teraz 100.64.12.7, czyli przestrzeń współdzieloną, a nie adres publiczny. Operator tłumaczy to jeszcze raz. Więc pakiet przechodzi przez dwa translatory, zanim dotrze do internetu, i to jest zwykły przypadek, a nie nietypowy.\nNAT operatorski to dwie translacje, dwa zegary i żadnego osiągalnego adresu w żadnej z nich NAT operatorski to dwie translacje, nie jedna Laptop 192.168.1.20 Router w domu translacja pierwsza Łącze 100.64.12.7 Translator operatora translacja druga, na 203.0.113.9 twój, jedyna tablica, którą widzisz ich, dzielony z kilkuset domami, dla ciebie niewidoczny z internetu nic nie dotrze do żadnego z tych adresów Dwie tablice, dwa zegary, wygrywa krótszy. Twój keepalive musi wyprzedzić ten z dwóch, który wygaśnie pierwszy, a odczytasz tylko jeden. Liczy się ten, którego nie widzisz. Przekierowanie portów działa i nic nie daje. Router chętnie przekierowuje port z adresu, do którego internet nie dotrze. UPnP i PCP meldują sukces i otwierają drzwi na korytarz. Dlatego „przekierowałem 500 i 4500, a dalej nie wstaje” to tak częste i tak mylące zgłoszenie. Roli respondenta nie ma. Dwa oddziały na konsumenckim światłowodzie nie połączą się wcale. Ktoś pośrodku musi je sobie przedstawić, a ty zależysz od firmy, której nie wybrałeś. Tożsamość to nie adres. Kilku abonentów dociera na drugi koniec jako jeden adres, więc rozróżnia ich coś innego niż pole, którego miał używać IPsec. I jest opublikowany sufit: na większych SRX Juniper podaje maksymalnie 1000 tuneli z jednego przetłumaczonego adresu. Najszybsze potwierdzenie nic nie kosztuje: odczytaj adres WAN w routerze. Jeśli zaczyna się od 100.64, to przestrzeń współdzielona z RFC 6598, jesteś za NAT-em operatorskim, a pół strony ustawień to dekoracja. Łącze firmowe z prawdziwym stałym adresem ma jedną translację i osiągalny punkt końcowy. To właśnie sprzedaje ci dodatkowa miesięczna opłata: coś, co kiedyś każda maszyna miała za darmo. Pakiet jest tłumaczony dwa razy: raz przez router w domu, raz przez operatora. Żaden z adresów, które niesie, nie jest osiągalny z zewnątrz. To oznacza dwie tablice mapowań z dwoma niezależnymi zegarami, z których widzisz tylko jeden, przekierowanie portów, które się udaje i niczego nie daje, brak roli respondenta i tożsamość drugiej strony, która nie może już być adresem. Jesteś za podwójnym NAT-em, a tylko jedna z tablic jest twoja. Dwie translacje to dwie tablice mapowań, dwa zegary wygasania i dwie szanse, że mapowanie zniknie. Twój keepalive musi wyprzedzić ten, który wygaśnie pierwszy, a odczytać możesz dokładnie jeden z nich. Co gorsza, te dwa wchodzą sobie w drogę: router w domu może mieć własny pomysł na IPsec i próbować pomóc bramą aplikacyjną, więc port źródłowy, którego według klienta używa, nie jest tym, który wychodzi z domu, ani tym, który wychodzi od operatora.\nPrzekierowanie portów nadal działa i nie robi zupełnie nic. To zgłoszenie, które zjada najwięcej czasu. Ktoś przekierowuje UDP 500 i 4500 na domowym routerze, router to przyjmuje, strona ustawień mówi, że reguła jest aktywna, a i tak nic nie może z niej skorzystać, bo przekierowuje z adresu, do którego internet nie może dotrzeć. UPnP i PCP zachowują się tak samo: klient prosi o mapowanie, router je przyznaje, a port otwiera się na korytarz. Wszystko melduje sukces i nic nie działa. Pudełko powie ci wszystko, co chcesz usłyszeć.\nNajszybszy sposób, żeby to rozstrzygnąć, nic nie kosztuje. Odczytaj adres WAN w routerze. Jeśli zaczyna się od 100.64, to przestrzeń współdzielona wydzielona w RFC 6598, jesteś za NAT-em operatorskim, a połowa tej strony ustawień jest dekoracją.\nRola respondenta już nie istnieje. Urządzenie za CGNAT nie może być stroną, do której ktoś dzwoni. Połączenie site-to-site między dwoma oddziałami na konsumenckim światłowodzie, czyli coś normalnego, taniego i dokładnie tego, czego chce mała firma, wymaga, żeby co najmniej jedna strona miała prawdziwy adres, albo żeby ktoś trzeci pośrodku ich sobie przedstawił. Ten ktoś trzeci to firma, od której teraz zależysz, bo twój dostawca nie chciał dać ci adresu.\nZegar należy do kogoś innego. RFC 4787 mówi operatorom NAT, że mapowanie UDP „MUST NOT expire in less than two minutes”, i zaleca pięć minut lub więcej9. To minimum i rada, a nie obietnica, a tego, co twój operator robi naprawdę, nie możesz sprawdzić. Dlatego keepalive przestaje być opcją strojenia. Jest nośny, na zegarze, którego wartość zgadujesz.\nTożsamość drugiej strony nie może być jej adresem. Kilku abonentów dociera do drugiego końca jako jeden adres. Czegokolwiek koncentrator używa, żeby ich rozróżnić, nie jest to nagłówek IP, czyli to, czego IPsec miał używać z założenia.\nJest twardy sufit i producenci go publikują. Juniper dokumentuje, że na SRX5400, SRX5600 i SRX5800 „the total number of tunnels from a given public translated IP cannot exceed 1000 tunnels”7. Przeczytaj to jak operator, a nie jak linijkę specyfikacji. Twój koncentrator VPN ma limit na jeden współdzielony adres, współdzieleniem zajmuje się operator, z którym nie masz umowy, a to, jak blisko tego limitu jesteś, zależy od tego, ilu twoich użytkowników akurat siedzi za tym samym adresem. Nie ma licznika, na który możesz spojrzeć. Jest tylko dzień, w którym zaczyna się psuć u jednych, a u innych nie.\nWszystko w tej sekcji wynika z jednej decyzji, którą ten kraj podjął i podejmował dalej. Opisałem tę sprawę w całości gdzie indziej i nie będę jej powtarzał. Tutaj chodzi o coś węższego: sieć dostępowa usunęła podstawowe założenie IPsec, a IPsec od tamtej pory żyje na obejściach.\nSieć tylko z IPv6 też go nie ratuje Tu muszę być uczciwy wbrew własnemu argumentowi, bo oczywista odpowiedź na wszystko powyżej brzmi: dobrze, więc daj każdej maszynie prawdziwy adres IPv6 i IPsec znów działa zgodnie ze specyfikacją.\nDziała, między dwiema stronami, które obie taki adres mają. To nie jest sieć, w której jest większość ludzi.\nSieci dostępowe tylko z IPv6, które naprawdę istnieją, zwłaszcza komórkowe, docierają do internetu IPv4 przez NAT64, który w zwykłym sensie wcale nie jest NAT-em. To translator protokołów, przepisujący pakiet IPv6 na pakiet IPv4. A RFC 6146 wymienia, co będzie przenosić, i wymienia, czego nie będzie, bez żadnej dwuznaczności:\n\u0026ldquo;The current specification only defines how stateful NAT64 translates unicast packets carrying TCP, UDP, and ICMP traffic. Multicast packets and other protocols, including the Stream Control Transmission Protocol (SCTP), the Datagram Congestion Control Protocol (DCCP), and IPsec, are out of the scope of this specification.\u0026rdquo;10\nIPsec, z nazwy, poza zakresem. A pakiety niosące cokolwiek spoza tej listy „SHOULD be discarded”10.\nWięc na telefonie albo laptopie tylko z IPv6, który próbuje dotrzeć do koncentratora IPv4, a takich jest większość, natywne ESP nie jest odrzucane przez zaporę ani zniekształcane przez translator. Po prostu nigdy nie jest przenoszone. Translator robi dokładnie to, co każe mu jego standard.\nOdpowiedzią branży jest, nieuchronnie, kolejna warstwa: 464XLAT, który daje urządzeniu lokalny stos IPv4 i tłumaczy dwa razy, z IPv4 i z powrotem, żeby rzeczy, których NAT64 nie przenosi, i tak działały11. Jest już na liście przykręcanych dodatków we wpisie o IPv6 i nie będę tego argumentu powtarzał. Warto tu natomiast powiedzieć o kształcie: protokół, który zepsuł się na NAT w 2004 roku, psuje się też na translacji zbudowanej dla przejścia na IPv6 w 2011 roku, a w obu przypadkach odpowiedzią jest owinięcie go w coś innego.\nTo jest test, który protokół musi zdać, żeby mieć miejsce w 2026 roku. Czy działa w sieci, którą ludzie naprawdę mają: za współdzielonym adresem operatora, w komórkowej sieci tylko z IPv6, przez hotel, który przepuszcza tylko TCP 443? Wszystko zbudowane na porcie UDP zdaje wszystkie trzy bez dodatkowych instrukcji. IPsec potrzebuje innego obejścia dla każdego z nich, a w trzecim potrzebuje jeszcze enkapsulacji w TCP3.\nBrak portów to także brak drugiego łącza Oto awaria, która nie ma nic wspólnego z NAT, jest czysto współczesna i prawie nikt o niej nie mówi.\nRoutery i przełączniki rozkładają ruch na równoległe ścieżki. Agregacja łączy, równokosztowy multipath: oba działają tak samo, haszując piątkę. Adres źródłowy, adres docelowy, protokół, port źródłowy, port docelowy. ESP nie ma portów. Więc każdy pakiet tunelu między tymi samymi dwoma adresami daje ten sam hasz i cały tunel ląduje na jednym łączu składowym, niezależnie od tego, ile ich kupiłeś.\nDwa łącza 10G i jeden tunel IPsec dają ci 10G. Cztery dają ci 10G. Sprzęt działa dokładnie tak, jak go zaprojektowano.\nObejście ma zwykły kształt. Niektóre układy potrafią zamiast tego haszować po SPI, bo każde SPI wskazuje jedno skojarzenie, a więc jeden przepływ, ale to funkcja, którą trzeba było kupić, a nie coś, co można założyć o ścieżce, która nie jest twoja. Jest aktywny draft IETF, którego jedynym celem jest owinięcie ESP w jeszcze jeden nagłówek UDP, żeby zwykłe routery mogły go haszować, i mówi on w jednym zdaniu dlaczego: „Although the ESP SPI field within the IPsec packets can be used as the load-balancing key, but it cannot be used by legacy switches and routers.”12 Jego opis problemu jest równie bezpośredni co do tego, co ludzie robią zamiast tego: „Many cloud service providers allow customers to establish multiple IPsec VPN tunnels in parallel to enable ECMP and increase aggregate bandwidth. However, this approach is not ideal, as each tunnel typically requires its own public IP address, leading to higher public IP consumption and increased operational overhead.”12\nZatrzymaj się nad tym na chwilę. Zalecany sposób na przyspieszenie szyfrowanego łącza to zbudowanie kilku takich łączy, z których każde spala publiczny adres IPv4, w czasie niedoboru adresów, bo protokół nie ma numeru portu, po którym można haszować. Tymczasem tunel oparty na UDP dostaje multipath za darmo, ze sprzętu, który wszedł na rynek piętnaście lat temu, bo ma port jak wszystko inne w nowoczesnym internecie.\nTo nie jest problem dziedzictwa, który sam wymrze. To żywy limit dla nowych wdrożeń, dziś, przy dokładnie tych prędkościach, które ludzie teraz kupują.\nPodatek od MTU i kto go płaci Każdy tunel kosztuje bajty. IPsec kosztuje więcej niż większość, a sposób, w jaki się psuje, gdy ich zabraknie, to najgorszy rodzaj usterki: sporadyczny, zależny od rozmiaru i niewidoczny w każdym teście, który ktokolwiek robi na początku.\nIle każdy tunel wydaje na pakiet, zanim trafią do niego twoje dane Bajty zużyte przed twoimi danymi, w skali nagłówki, na pakiet razem Natywne ESP tunel, AES-GCM IP 20 ESP 8 IV 8 trailer + znacznik 18 54 B ESP w UDP port 4500, dla NAT IP 20 UDP 8 ESP 8 IV 8 trailer + znacznik 18 62 B L2TP/IPsec AES-CBC, NAT-T IP 20 UDP 8 ESP 8 IV 16 UDP 8 L2TP 6 PPP 4 trailer + znacznik 18 88 B PPTP GRE, protokół 47 IP 20 GRE 16 PPP 4 bez znacznika integralności 40 B WireGuard jeden port UDP IP 20 UDP 8 nagłówek 16 znacznik 16 60 B Zacieniowane bloki to cena cudzego translatora. W wierszu L2TP trzy z nich siedzą wewnątrz szyfrowania: drugi nagłówek UDP, warstwa sesji i ramkowanie z modemu dial-up. PPTP jest najtańszy, bo nic nie chroni. Za 40 bajtów nie ma kontroli integralności, a MS-CHAPv2 w 2012 roku sprowadzono do jednej operacji DES. Miarą nie jest taniość. Miarą jest to, co kupują bajty. Jedna przykładowa konfiguracja na wiersz, IPv4. Liczby zmieniają się z szyfrem, trybem i rodziną adresów. Bajty wydane na każdy pakiet, zanim trafią do niego jakiekolwiek twoje dane, dla jednej przykładowej konfiguracji każdego rodzaju. Natywne ESP jest oszczędne. Owinięcie go dla NAT kosztuje osiem bajtów więcej. L2TP/IPsec niesie wewnątrz szyfrowania nagłówek UDP, nagłówek L2TP i nagłówek PPP: ramkowanie z czasów modemów, zaszyfrowane, w 2026 roku. PPTP wygląda tanio, bo w ogóle nie niesie znacznika uwierzytelnienia, i na tym polega cały jego problem. Przelicz to dla jednej konfiguracji, zamiast machać rękami. ESP w trybie tunelowym na IPv4 z AES-GCM: 20 bajtów zewnętrznego nagłówka IP, 8 nagłówka ESP, 8 nonce, minimum 2 trailera, 16 znacznika integralności. 54 bajty, zanim cokolwiek z twojego pakietu trafi do środka. Owiń to dla NAT traversal, a nagłówek UDP daje 62. Na ścieżce 1500 bajtów zostaje 1438, a gdy tylko coś wyżej działa na PPPoE z 1492, znowu jesteś niżej.\nA teraz część, która robi z tego usterkę, a nie zadanie z arytmetyki. Nadawca dowiaduje się, że pakiet był za duży, wyłącznie wtedy, gdy dostanie z powrotem błąd ICMP: Fragmentation Needed w IPv4, Packet Too Big w IPv6. Jeśli cokolwiek na ścieżce odrzuca te błędy, nadawca nigdy się nie dowie i dalej wysyła pakiety, które dalej giną. To klasyczna czarna dziura: negocjacja się kończy, bo negocjacje są małe, a transfer wisi, bo transfery małe nie są.\nCisco od czasów GRE i IPsec utrzymuje na ten temat cały dokument i wciąż jest to jedno z lepszych wyjaśnień tej interakcji w czyjejkolwiek bibliotece13. Musi być utrzymywany dlatego, że ludzie wciąż blokują ICMP hurtem, a potem się dziwią, czemu tunele zachowują się dziwnie.\nObie połowy tego argumentu już opisałem i obowiązują tutaj bez powtarzania: które komunikaty ICMP są nośne, a który nie, w Ping: The Diagnostic Tool That Opens a Whole Lot More, oraz jak znaleźć dokładnie ten skok, który zjada twój ruch, w The Firewall Is Eleven Hops Away. Krótka wersja dla tego wpisu: błędy są mechanizmem, echo nie jest, a polityka na granicy, która odrzuca całe ICMP, zepsuła ci VPN w sposób, za który obwiniony zostanie VPN.\nA twoja własna jakość usług też może go zepsuć Jeszcze jedna rzecz, bo łapie dobrych inżynierów, którzy robią właściwą rzecz.\nESP niesie numer sekwencyjny, a odbiorca trzyma okno ochrony przed powtórzeniem, na platformach Cisco domyślnie 64 pakiety14. Teraz nadaj priorytet głosowi na routerze nadawczym. Kolejkowanie o niskim opóźnieniu robi to, o co prosiłeś, i zmienia kolejność pakietów względem sekwencji, w której je zaszyfrowano. Jeśli pakiet do chwili dotarcia wypadnie poza okno, druga strona odrzuca go jako powtórzenie, a licznik, który rośnie, jest licznikiem bezpieczeństwa.\nWłasne słowa Cisco: „Certain QoS features, such as Low Latency Queueing (LLQ), could cause IPsec packet delivery to become out-of-order and dropped by the receiving endpoint due to a replay check failure.”14 Ich odpowiedź to poszerzyć okno do 1024 tam, gdzie platforma to obsługuje, albo przyjąć rozszerzenie z wieloma przestrzeniami numerów sekwencyjnych, które mapuje klasy QoS na osobne przestrzenie sekwencji w jednym skojarzeniu14.\nCzyli: włączenie standardowej funkcji twojej własnej sieci psuje twój własny tunel, a lekarstwem jest kolejne rozszerzenie protokołu. To ten sam kształt co wszystko powyżej.\nL2TP: ramkowanie z czasów modemów, zaszyfrowane, w 2026 roku L2TP nie jest protokołem bezpieczeństwa i nigdy nie twierdził, że jest. RFC 2661 to protokół tunelowania do przenoszenia sesji PPP, opublikowany w 1999 roku, bez własnej poufności; jego własna sekcja o bezpieczeństwie odsyła cię do IPsec po ochronę na poziomie pakietów15. To połączenie opisuje RFC 3193, a wynikiem jest stos z diagramu powyżej: zewnętrzny nagłówek IP, nagłówek UDP dla NAT traversal, ESP, a potem wewnątrz szyfrowania kolejny nagłówek UDP na porcie 1701, nagłówek L2TP i nagłówek PPP.\nPPP. Ramkowanie z modemów dial-up, niesione w zaszyfrowanym tunelu, przez internet, w 2026 roku, bo do przenoszenia tego właśnie napisano L2TP.\nPolicz, ile to kosztuje na przykładzie: zewnętrzne IP 20, UDP 8, nagłówek ESP i IV 24, wewnętrzne UDP 8, L2TP 6, PPP 4, trailer i znacznik 18, a wydajesz około 88 bajtów na pakiet, żeby przenieść dane, które natywne ESP przenosi za 54. Trzydzieści cztery bajty, w każdym pakiecie, za warstwę sesji, która nie dodaje niczego, czego chciałeś, i warstwę łącza zaprojektowaną dla linii telefonicznej.\nNarzut to najmniejszy problem.\nMnoży problem NAT, zamiast go dzielić. L2TP/IPsec zwyczajowo używa ESP w trybie transportowym, czyli w trybie, któremu NAT szkodzi najbardziej, a dobrze znany skutek jest taki, że wiele implementacji w ogóle nie obsługuje dwóch klientów za jednym adresem. Dwie osoby w jednym domu, czterdzieści w jednym biurze albo kilkaset za współdzielonym adresem operatora. Druga strona widzi jeden adres i nie potrafi rozróżnić sesji, więc drugie połączenie zastępuje pierwsze. To zgłoszenie z początku tego wpisu i nie jest to błąd w niczyim produkcie: to problem tożsamości przez adres, który dociera tam, gdzie spotyka go najwięcej ludzi.\nA w praktyce zwykle wdraża się go z jednym wspólnym sekretem dla wszystkich. Ponieważ sekret jest konfigurowany w profilu klienta i rozdawany razem z instrukcją konfiguracji, klucz współdzielony jest w dokumencie wdrożeniowym, na stronie wiki, w mailu do nowych pracowników i na każdym laptopie, który kiedykolwiek opuścił firmę. To nie jest drugi czynnik. To hasło, które uwierzytelnia bramę wobec nikogo w szczególności i nigdy ani razu nie zostało zmienione.\nL2TP nie jest protokołem, który źle się zestarzał. Jest protokołem, który od pierwszego dnia przenosił niewłaściwą rzecz i został przykręcony do IPsec, żeby nadrobić to, czego sam w ogóle nie potrafił.\nPPTP nigdy nie był bezpieczny i nadal jest w sprzedaży PPTP zasługuje na dwa akapity, a nie na sekcję, a dostaje je dlatego, że ludzie wciąż go dostarczają.\nNigdy nie był standardem. RFC 2637 ma status Informational. Spisany protokół producenta, a nie coś, co IETF kiedykolwiek zalecił. Przenosi PPP wewnątrz GRE, protokołu IP 47, który tak jak ESP nie ma portów, więc wymaga własnej, specjalnej obsługi w każdym NAT-cie na ścieżce: to pole wyboru „PPTP passthrough”, które na bardzo wielu domowych routerach obsługuje dokładnie jedną sesję naraz.\nBezpieczeństwo skończyło się publicznie w 2012 roku. Marlinspike i Hulton pokazali, że bezpieczeństwo MS-CHAPv2 sprowadza się do jednej operacji DES niezależnie od długości hasła, zbudowali chapcrack do wyciągania negocjacji i podpięli go do usługi łamania, która w ciągu doby zwracała klucz za dwadzieścia dolarów, ze skutecznością 100%, a nie z jakimś prawdopodobieństwem16. Ich wniosek był taki, że ruch PPTP należy uważać za nieszyfrowany. Apple zgodziło się czynem i w 2016 roku usunęło PPTP z wbudowanego klienta w macOS Sierra i iOS 10, a ostrzeżenie publikuje do dziś17.\nDziesięć lat później PPTP wciąż jest pozycją w menu routerów sprzedawanych w tym roku, wciąż jest na stronach z instrukcjami producentów, wciąż jest tym, co ktoś włącza, bo to ta opcja działa za pierwszym razem. Działa za pierwszym razem, bo nie wykonuje swojej pracy.\nWszystko, co nazywa się VPN IPsec „VPN IPsec” to nie jest protokół. To rodzina, a długość listy poniżej jest argumentem, bo żadne dwa produkty nie implementują tego samego jej podzbioru, a szczeliny między tymi podzbiorami to miejsca, w których naprawdę mieszka każde zadanie integracyjne, którego kiedykolwiek nienawidziłeś.\nElement Co dodaje Gdzie stoi ESP, protokół IP 50 Samo szyfrowanie i integralność RFC 4303, aktualny18 AH, protokół IP 51 Integralność także nagłówka IP RFC 4302, bezużyteczny przez NAT2 IKEv1 Pierwotna wymiana kluczy Wycofany, RFC przeniesione do Historic19 IKEv2 Obecna wymiana kluczy RFC 729620 IPComp, protokół IP 108 Kompresuje przed szyfrowaniem, z własnymi skojarzeniami RFC 317321 PF_KEY v2 API jądra, przez które demon ładuje klucze RFC 236722 NAT traversal Owija ESP w UDP 4500, żeby translator sobie poradził RFC 3947 / 39486 Enkapsulacja w TCP Dla sieci, które blokują także UDP RFC 9329, zastępuje RFC 82293 Fragmentacja IKEv2 Bo sama wymiana kluczy przerosła MTU RFC 738323 MOBIKE Żeby tunel przeżył zmianę adresu RFC 455524 Dead peer detection Puls, bo nic innego ci nie powie RFC 370625 XAUTH Uwierzytelnianie użytkownika: hasło, token, RADIUS Nigdy nie było RFC. Wygasły draft, 200126 Mode-Config Daje klientowi adres, DNS i trasy To też nigdy nie było RFC26 L2TP/IPsec Przenosi PPP wewnątrz tunelu RFC 2661 + RFC 319327 GRE lub VTI nad IPsec Daje interfejs z routingiem, na którym można uruchomić protokół Architektura producenta nad ESP DMVPN mGRE plus NHRP plus IPsec, żeby oddziały znalazły się nawzajem Architektura producenta, NHRP RFC 233228 GETVPN Klucze grupowe, bez żadnego tunelu parami GDOI, RFC 640729 PPTP To, co IPsec miał zastąpić RFC 2637, Informational, nigdy standard30 Teraz spójrz na dwa pogrubione wiersze, bo to one powinny cię zatrzymać.\nPrzez większą część dwóch dekad standardowym sposobem logowania użytkownika do firmowego VPN IPsec był XAUTH: twoja nazwa użytkownika i hasło, twój token, twój serwer RADIUS, a Mode-Config dawał klientowi adres, serwery DNS i trasy. Razem stanowią całe doświadczenie dostępu zdalnego. Każdy klient „Cisco IPsec”, każda ikonka VPN w zasobniku, każda instrukcja dołączania.\nŻaden z nich nie jest standardem. XAUTH był indywidualnym draftem internetowym, który wygasł w 2001 roku i trafił do archiwum, nigdy nie stając się RFC26. Podany powód warto przeczytać, bo to komitet wyjaśniający, dlaczego nie wykona swojej pracy: draft zapisuje, że grupa robocza IPSRA nie przyjmie żadnego protokołu rozszerzającego ISAKMP lub IKE, a grupa robocza IPsec odmówiła przyjęcia czegokolwiek, co dotyczy dostępu zdalnego26. Tak więc najszerzej wdrożona część najszerzej wdrożonego protokołu VPN została bezdomna, a i tak każdy producent ją zaimplementował według własnego odczytania wygasłego draftu i dostarczył milionom użytkowników.\nIKEv2 w końcu naprawił oba i warto to powiedzieć: uwierzytelnianie przeszło na EAP, a ładunki konfiguracji klienta trafiły do podstawowej specyfikacji20. Ale przeczytaj daty. Najczęściej używana funkcja najczęściej używanego protokołu VPN działała na wygasłym drafcie przez mniej więcej dekadę, zanim w ogóle miała standard, a zainstalowana baza używała wersji z draftu jeszcze przez lata potem. Rodzina protokołów nie dostaje zasługi za to, że w końcu ustandaryzowała część, której wszyscy już używali.\nTo jest rodzina, którą utrzymujesz. Część jest na ścieżce standardów i aktualna. Część jest Historic. Część nigdy nie doszła do tego, żeby być czymkolwiek. A produkt, który ma „VPN IPsec” w karcie katalogowej, nie powiedział ci prawie nic o tym, które z tych osiemnastu rzeczy robi, i dlatego połączenie dwóch takich produktów to dwa tygodnie, arkusz z propozycjami i telefon do kogoś, kto już to kiedyś robił.\nFisher-Price OS (Windows) nigdy naprawdę nie współpracował To ta część, w której ktoś mówi, że problemem jest tak naprawdę Linux, więc zróbmy to ze źródłami.\nDomyślnie klient Windows w ogóle nie połączy się z serwerem IPsec stojącym za NAT. Nie „będzie miał trudności”. Odmówi. Poprawką jest wartość rejestru o nazwie AssumeUDPEncapsulationContextOnSendRule pod HKEY_LOCAL_MACHINE\\SYSTEM\\CurrentControlSet\\Services\\PolicyAgent, ustawiona na 1, jeśli serwer jest za translatorem, albo na 2, jeśli obie strony są, na każdym kliencie i na serwerze, a potem restart31. Własne słowa Microsoftu: „By default, Windows Vista and Windows Server 2008 don\u0026rsquo;t support Internet Protocol security (IPsec) network address translation (NAT) Traversal (NAT-T) security associations to servers that are located behind a NAT device.”31\nDwie rzeczy na ten temat. Pierwsza: Microsoft jest współautorem standardu NAT traversal, którego odmawia używać. Ich nazwa jest na RFC 3947 i RFC 39486. Druga: strona, która każe ci edytować rejestr, była ostatnio poprawiana w lutym 202631. Dwadzieścia lat później hack w rejestrze na każdym punkcie końcowym wciąż jest odpowiedzią i wciąż jest utrzymywany jako odpowiedź.\nI przeczytaj zdanie, które Microsoft umieszcza tuż nad nim: „If you must use IPsec for communication, use public IP addresses for all servers that you can connect to from the Internet.”31\nTo jest cały ten wpis, w dokumentacji samego producenta. Nie stawiaj IPsec za NAT. Daj każdej maszynie prawdziwy adres. Zapisali to, a potem branża spędziła dwie dekady, robiąc dokładnie odwrotnie i wystawiając faktury za różnicę.\nNa NAT się nie kończy. Przeczytaj, co otwarta brama musi udokumentować, żeby przyjąć klienta Windows.\nCertyfikat bramy potrzebuje rozszerzonego użycia klucza, które istnieje do tego i do niczego więcej. serverAuth, OID 1.3.6.1.5.5.7.3.1, plus IP Security IKE Intermediate, OID 1.3.6.1.5.5.8.2.232. Twojemu CA trzeba kazać wystawić OID, o którym większość narzędzi nigdy nie słyszała, inaczej połączenie pada z błędem polityki i bez użytecznego komunikatu. Potrzebna jest druga wartość rejestru, zanim klient zaproponuje przyzwoitą kryptografię. strongSwan dokumentuje dodanie NegotiateDH2048_AES256 pod Rasman\\Parameters, żeby dostać AES-256-CBC i grupę 2048-bitową33. Przeczytaj to odwrotnie, bo tak to ma znaczenie: bez edycji rejestru domyślna propozycja jest słabsza. Klienci za NAT odrzucają rekeying inicjowany przez serwer, a udokumentowanym obejściem jest wyłączenie rekeyingu na bramie i pozwolenie, żeby zaczynał go klient33. Standardowych rozszerzeń IKEv2 po prostu brakuje: nie ma przekierowania IKE ani wielu rund uwierzytelniania33. Żadne z nich nie jest błędem Linuksa. Każde to otwarty projekt zapisujący, co musi zrobić, żeby dostosować się do tego, jak jeden producent odczytuje standard, który sam pomagał pisać.\nTaki jest wzorzec i ma trzydzieści lat. PPTP był protokołem Microsoftu, spisanym jako Informational i nigdy nieustandaryzowanym30. MS-CHAPv2 i MPPE były uwierzytelnianiem i szyfrowaniem Microsoftu i oba zostały publicznie złamane16. SSTP to tunel Microsoftu, którego nikt inny nie terminuje. DirectAccess był IPsec i z założenia był Windowsem po obu stronach, a teraz jest wycofany i usuwany, a klienci są przepychani na Always On VPN34. Żaden z nich nigdy nie był protokołem, przy którym reszta z nas mogła spotkać się w połowie drogi. To były protokoły, do których się dołączało, a jeśli nie miałeś właściwego systemu operacyjnego po obu stronach, dostawałeś hack w rejestrze, dziwny OID i stronę z obejściem.\nPowiem więc wprost, bo to mój blog. Fisher-Price OS (Windows) nigdy nie był prawdziwym równorzędnym uczestnikiem otwartego stosu protokołów, bo bycie równorzędnym uczestnikiem nigdy nie było jego celem. Ukrywa maszynę przed osobą, która z niej korzysta, i to jest cel projektu, a stosu, którego nie widzisz, nie zmusisz do współpracy. Jeśli to jedyny system operacyjny, jakim kiedykolwiek administrowałeś, sekcje poniżej o czytaniu liczników jądra i obserwowaniu kabla będą brzmiały jak obcy język, i to jest ta luka. Nie preferencja, luka.\nNic z tego nie musi czytelnika nic kosztować. Każda diagnostyka w tym wpisie działa z dowolnego Uniksa w sieci, wycelowana w to, co jest zepsute, i w najmniejszym stopniu nie obchodzi jej, co działa po drugiej stronie. A jeśli ten system operacyjny jest jedynym, jaki masz, sekcja diagnostyczna poniżej ma też narzędzia dla niego: przechwytywanie, dwa cmdlety i kody błędów z tym, co każdy z nich naprawdę mówi. Zepsuty tunel i tak trzeba naprawić w poniedziałek. A zamiennik, za którym argumentuję na końcu, ma jednego klienta, zachowującego się tak samo na każdej platformie, łącznie z tą, i po raz pierwszy od trzydziestu lat można to powiedzieć o VPN.\nHistoria wycofań czyta się jak nekrolog Odłóż na bok obejścia i po prostu przeczytaj, co przez lata zrobiły z tą rodziną organizacje standaryzacyjne. Nie opinie. Poziomy wymagań w opublikowanych RFC.\nCo Gdzie stoi dziś Źródło IKEv1 Wycofany; RFC 2407, 2408 i 2409 przeniesione do Historic RFC 9395, 202319 DES w ESP MUST NOT RFC 82218 3DES w ESP SHOULD NOT RFC 82218 HMAC-MD5-96 MUST NOT RFC 82218 ESP razem z AH NOT RECOMMENDED RFC 82218 ESP tylko z szyfrowaniem Wykazane jako niebezpieczne i złamane w praktyce w 2007 roku Degabriele i Paterson35 IPsec na węźle IPv6 Obniżony z MUST do SHOULD RFC 6434, 201136 PPTP Nigdy standard; tylko Informational RFC 263730 Przedostatni wiersz to ten, który położyłbym przed każdym, kto mi mówi, że z IPsec wszystko w porządku, a problemem jest sieć. IPv6 pierwotnie wymagał IPsec: to była cała opowieść o bezpieczeństwie, wpisana w wymagania dla węzłów. W 2011 roku IETF zmienił zdanie: „Previously, IPv6 mandated implementation of IPsec and recommended the key management approach of IKE. This document updates that recommendation by making support of the IPsec Architecture a SHOULD for all IPv6 nodes.”36\nNawet rodzina adresów, która oddałaby IPsec wszystko, co zabrał NAT, przestała go wymagać piętnaście lat temu. To nie sieć zawiodła IPsec. To ludzie, którzy projektowali sieć, uznali, że na ten obowiązek nie zasłużył.\nZłożoność została zgłoszona w 1999 roku, na piśmie Nic z tego nie jest mądrością po fakcie i właśnie dlatego warto to zapisać.\nW 1999 roku Niels Ferguson i Bruce Schneier dostali zlecenie oceny IPsec. Ich raport jest krótki, prosty i warto przeczytać go w całości. Zaczyna się od „IPsec was a great disappointment to us. Given the quality of the people that worked on it and the time that was spent on it, we expected a much better result.”37 Wskazuje przyczynę: „Our main criticism of IPsec is its complexity. IPsec contains too many options and too much flexibility; there are often several ways of doing the same or similar things. This is a typical committee effect.”37\nI zawierał trzy zalecenia, które dziś czyta się jak listę rzeczy, które i tak się wydarzyły, dwadzieścia lat za późno i w trudny sposób:\nUsunąć tryb transportowy. „We therefore recommend that transport mode be eliminated.”37 Tryb transportowy to tryb, którego używa L2TP/IPsec, i tryb, któremu NAT szkodzi najbardziej. Usunąć AH. „We conclude that eliminating transport mode allows the elimination of the AH protocol as well, without loss of functionality.”37 Zamiast tego usunął go NAT, z gorszego powodu. Nigdy nie dopuszczać szyfrowania bez uwierzytelnienia. Ostrzegali, że administratorzy „will be quite likely to configure ESP for only encryption, believing that it provides security.”37 Osiem lat później to ostatnie przestało być ostrzeżeniem. Degabriele i Paterson opublikowali ataki, które „break any RFC-compliant implementation of IPsec making use of encryption-only ESP”, wyłącznie na szyfrogramach, potrzebujące jedynie możliwości obserwowania ruchu i wstrzykiwania pakietów35. Przewidywanie było w publicznym zapisie przez osiem lat, a standard nadal dopuszczał taką konfigurację.\nWerdykt tego raportu z 1999 roku to zdanie, do którego wciąż wracam: „We have found serious security weaknesses in all major components of IPsec. As always in security, there is no prize for getting 90% right; you have to get everything right.”37\nJeszcze dwa punkty danych i na tym poprzestanę.\nLogjam, 2015. Zespół, który za nim stał, przeskanował pod kątem IKE 1% próbkę przestrzeni IPv4 i ustalił, że 86,1% serwerów IKEv1 i 91,0% serwerów IKEv2 obsługiwało 1024-bitową Oakley Group 2, a 66,1% sprofilowanych serwerów IKEv1 ją preferowało. Ich wniosek: wstępne obliczenia dla drugiej 1024-bitowej grupy „would allow decryption of traffic to 66% of IPsec VPNs”, a opublikowane dokumenty wywiadowcze o atakach na VPN są „consistent with having achieved such a break”38. Zwinność kryptograficzna, której IPsec ma najwięcej, to właśnie to, co pozwoliło prawie wszystkim siedzieć na tej samej słabej grupie przez piętnaście lat.\nCVE-2016-1287. Przepełnienie bufora w kodzie IKEv1 i IKEv2 na Cisco ASA, osiągalne przez wysłanie spreparowanych pakietów UDP, dające zdalne wykonanie kodu przed uwierzytelnieniem39. Pomyśl, gdzie stoi to pudełko. To urządzenie, które celowo wystawiłeś na cały internet, z protokołem najbardziej obładowanym opcjami w całym środowisku, z mechanizmem składania fragmentów przed parserem, trzymające klucze do wszystkiego w środku. Złożoność, przed którą ostrzegali Ferguson i Schneier, nie jest abstrakcją. To powierzchnia ataku, na jedynej maszynie, której nie możesz niczym zasłonić.\nDiagnozowanie, dopóki go jeszcze utrzymujesz Nie wyłączysz tego wszystkiego dziś po południu, więc oto jak nad tym pracować. To metoda, w kolejności od najtańszego, z tym, co każdy wynik naprawdę znaczy.\nSześć sposobów, w jakie się poddaje, na ścieżce tam, gdzie każdy zachodzi Gdzie naprawdę mieszka każda awaria Klient polityka i trasy Router domowy translacja pierwsza Operator translacja druga Internet filtry i MTU Brama selektory i tożsamość 1 2 3 4 5 6 1 Na kablu nic. Ruch nie dotarł do IPsec. Przestań patrzeć na kryptografię. ip xfrm policy oraz trasa i to, co robi zapora hosta. 2 Port 500 w obie strony, 4500 nigdy. NAT traversal nie został wynegocjowany. tcpdump -ni eth0 'udp port 500 or udp port 4500 or ip proto 50' Gołe ESP tego nie przeżyje. 3 Umiera w ciszy, ożywa przy użyciu. Wygasło mapowanie na jednym z dwóch translatorów. Twój keepalive przegrywa z zegarem, którego nie odczytasz. Skróć go i nie ufaj domyślnemu. 4 Wychodzący rośnie, przychodzący stoi. ESP ginie w jednym kierunku, po drodze. ip -s xfrm state po obu stronach, potem znajdź skok, który je zjada. 5 Login działa, duże pliki wiszą. MTU ścieżki, a błędy ICMP nie wracają. ping -M do -s 1400 schodząc w dół, potem przytnij MSS i popraw regułę ICMP. 6 Zestawiony, a nic nie przechodzi. Selektory ruchu, polityka albo routing, nie klucze. A jeśli drugi użytkownik wyrzucił pierwszego z tunelu, to tożsamość, nie pojemność. Jedno trzydziestosekundowe przechwycenie na granicy odpowiada na pierwsze trzy. Zrób je przed konsolą. Sześć awarii w kolejności, w jakiej należy je testować, z objawem, sprawdzeniem i znaczeniem odpowiedzi. Każdy wiersz to inna warstwa stosu, która się poddaje, a na pierwsze trzy odpowiada trzydzieści sekund obserwowania kabla. Dlatego to jest pierwsza rzecz do zrobienia, a nie ostatnia. Najpierw obserwuj kabel, nie konsolę Obie konsole powiedzą ci, w co wierzą. Kabel powie ci, co się stało. Jedno przechwycenie na granicy, trzydzieści sekund, odpowiada na pierwsze trzy pytania naraz:\ntcpdump -ni eth0 \u0026#39;udp port 500 or udp port 4500 or ip proto 50 or ip6 proto 50\u0026#39; W ogóle nic nie wychodzi: problem jest przed IPsec, w routingu, polityce albo zaporze hosta. Przestań patrzeć na kryptografię. Tylko ruch wychodzący, nic nie wraca: twoje pakiety wychodzą, a odpowiedzi nie docierają. Filtrowanie po drodze, martwa druga strona albo druga strona po cichu odrzuca. UDP 500 w obie strony, ale 4500 nigdy się nie pojawia: NAT traversal nie został wynegocjowany. Albo jedna strona ma go wyłączonego, albo wykrywanie zawiodło. Protokół 50 na kablu, gdy jedna strona jest za NAT: negocjacja uznała, że translatora nie ma, a on jest. To nigdy nie wróci. Jak czytać awarię wymiany kluczy IKEv2 mówi ci, dlaczego odmówił, a nazwy komunikatów notify są na tyle konkretne, że wystarczą do diagnozy. Dobrze jest najpierw mieć przed sobą kształt całej wymiany, bo każdy notify poniżej należy do konkretnego jej szczebla.\nWymiana IKEv2 krok po kroku i usterka, która mieszka na każdym kroku Każdy krok wymiany i usterka, która na nim mieszka Klient za translatorem Brama prawdziwy adres Co tu zawodzi żądanie IKE_SA_INIT: UDP 500 nic nie wraca: 809 ERROR_VPN_TIMEOUT odpowiedź IKE_SA_INIT: UDP 500 NO_PROPOSAL_CHOSEN, INVALID_KE_PAYLOAD wykryto NAT, obie strony na 4500 brak przejścia: proto 50 ginie na translatorze IKE_AUTH: UDP 4500, zaszyfrowany za duży, zgubiony fragment, retransmisja, timeout odpowiedź IKE_AUTH: utworzono CHILD_SA AUTHENTICATION_FAILED: 13801, 13806 ESP w UDP 4500: twój ruch TS_UNACCEPTABLE: zestawiony, nic się nie rusza keepalive: 1 bajt co 20 s, na zawsze brak keepalive: mapowanie wygasa w ciszy Przejście to zawias. Powyżej wszystko to UDP 500. Poniżej wszystko to UDP 4500. Jeśli przejście nie nastąpi, wkładasz protokół 50 do translatora, który nie ma czego przepisać, i to nigdy nie wróci. Usterka rozmiaru mieszka na jednym szczeblu. IKE_AUTH niesie łańcuch certyfikatów, więc to jedyny duży komunikat na tej drabinie. Klucz współdzielony, który łączy tam, gdzie certyfikat nie, to zgubiony fragment, a nie zły certyfikat. Utworzone to nie to samo co działające. Skojarzenie potomne może istnieć i nic nie nieść, jeśli strony nie zgadzają się, jaki ruch obejmuje. Każda usterka z prawej kolumny trafia do klienta jako timeout, czymkolwiek naprawdę była. Wymiana od pierwszego pakietu do stanu ustalonego, z usterką, która mieszka na każdym kroku. Przejście z 500 na 4500 to zawias: wszystko powyżej to jeden port, wszystko poniżej to drugi, a jeśli przejście nigdy nie nastąpi, wkładasz protokół 50 do translatora, który nie może go przenieść. IKE_AUTH to jedyny duży komunikat, i dlatego klucz współdzielony może się połączyć tam, gdzie certyfikat nie: to zgubiony fragment, a nie zły certyfikat. Notify Co naprawdę znaczy Gdzie szukać NO_PROPOSAL_CHOSEN Żadna z oferowanych kombinacji szyfru, integralności, grupy DH i PRF nie jest do przyjęcia dla drugiej strony Obie listy propozycji; spodziewaj się wycofanego algorytmu po jednej stronie INVALID_KE_PAYLOAD Niezgodność grupy Diffiego-Hellmana: zaproponowałeś jedną grupę, druga strona chce innej Grupa DH, pierwsza rzecz w propozycji AUTHENTICATION_FAILED Zły klucz, certyfikat albo tożsamość: niezgodny klucz współdzielony, wygasły certyfikat albo ID inne, niż oczekuje druga strona Tożsamość, nie tylko sekret TS_UNACCEPTABLE Selektory ruchu się nie pokrywają: prosisz o ochronę podsieci, których druga strona nie będzie chronić Konfiguracja selektorów po obu stronach INVALID_SPI Pakiet przyszedł do skojarzenia, które już nie istnieje, zwykle po jednostronnym restarcie Czy jedna strona zrobiła rekey albo się zrestartowała Wytyczne Juniper dla fazy 2 mówią to samo o najczęstszym z nich: „no proposal chosen” oznacza, że „the device did not accept any of the IKE Phase 2 proposals that the peer sent”, a poprawką jest propozycja do przyjęcia dla obu stron, a nie kolejny restart40.\nNa strongSwanie stan wszystkiego w jednym poleceniu:\nswanctl --list-sas # what is established, and what it negotiated swanctl --log # the negotiation as it happens Na Cisco show crypto ikev2 sa i show crypto ipsec sa, z debug crypto ikev2, gdy tunel nie chce wstać41. Na Junos show security ike security-associations i show security ipsec security-associations, z negocjacją w show log kmd-logs42.\nCzy NAT traversal naprawdę został wynegocjowany? To sprawdzenie, które ludzie pomijają, a wyjaśnia ono dużą część przypadków „działa z biura, a z domu nie”.\nKażda strona wysyła hasze adresów i portów, które według niej są w grze. Jeśli hasz, który druga strona wyliczy z otrzymanego pakietu, nie zgadza się z wysłanym, między wami jest translator i obie strony przechodzą na UDP 4500. Jeśli wykrywanie zawiedzie, bo jedna strona ma traversal wyłączony albo coś pośrodku zniekształca wymianę, obie strony dalej używają gołego ESP, które translatora nie przeżyje.\nWięc: zobacz port 4500 w przechwyceniu, w obu kierunkach, albo traversal nie zachodzi. Nie wierz konsoli na słowo.\nPotem sprawdź, czy keepalive naprawdę działa i czy jego interwał jest krótszy niż czas, po jakim twój operator wygasza mapowania. Domyślnie to dwadzieścia sekund6; minimum ze standardu dla operatorów NAT to dwie minuty9; co robi twój konkretny operator, tego nie widzisz. Jeśli tunel umiera po bezczynności i ożywa przy ruchu, to za każdym razem jest ta usterka.\nLiczniki jądra, których prawie nikt nie czyta Na Linuksie warstwa transformacji prowadzi pełny podział błędów i to najszybszy sposób, żeby zamienić „nie działa” w konkretną przyczynę. Liczniki dokumentuje samo jądro43.\ncat /proc/net/xfrm_stat # error counters, by cause ip -s xfrm state # per-SA packet and byte counters ip xfrm policy # what should be protected, and in which direction Lepiej czyta się to jako ścieżkę niż jako listę. Pakiet przechodzi przez pięć etapów i każdy ma własny licznik:\nPięć etapów i licznik, który nazywa ten, na którym zginął twój pakiet Śledź jeden pakiet i niech licznik nazwie etap, na którym zginął Twoja polityka czy ten ruch jest chroniony? XfrmOutPolBlock odrzucasz go sam, celowo, w polityce Twoje skojarzenie szyfruj, zapieczętuj, numeruj XfrmOutNoStates polityka pasowała, a nie ma skojarzenia, które by go przeniosło Ścieżka translator, MTU, filtry nic nie rośnie, po żadnej stronie tu mieszkają NAT, MTU i filtrowanie, a żaden licznik tego nie widzi Ich skojarzenie cel + protokół + SPI XfrmInNoStates \u0026#183; XfrmInStateProtoError \u0026#183; XfrmInStateSeqError dotarł, a kryptografia zawiodła: złe SPI, zły klucz, poza oknem Ich polityka czy to miało być chronione? XfrmInTmplMismatch \u0026#183; XfrmInNoPols kryptografia była dobra, a polityka nie zgodziła się, czy miało być Etap trzeci nie ma licznika. Wszystko, co ćwierć wieku translacji zrobiło temu protokołowi, dzieje się tutaj, a warstwa transformacji po żadnej stronie nie widzi z tego ani pakietu. Dlatego przechwycenie idzie przed konsolą. Etapy czwarty i piąty to przeciwne usterki. Czwarty: kryptografia zawiodła. Piąty: zadziałała, a coś nie zgodziło się, czy powinna była. Prawie zawsze ogląda się je w złej kolejności, bo piąty wygląda na usterkę kryptografii, a nią nie jest. Nazwy liczników są z Linuksa. Na Junos te same etapy pokazuje show security ipsec statistics; na Fisher-Price OS (Windows) Get-NetIPsecQuickModeSA i dziennik Windows Firewall with Advanced Security. Pięć etapów i licznik, który nazywa ten, na którym zginął twój pakiet. Etap trzeci jako jedyny nie ma żadnego licznika: mieszkają tam translator, MTU i każdy filtr pośrodku, a warstwa transformacji po żadnej ze stron nie widzi z tego ani jednego pakietu. To cały argument za sięgnięciem po przechwycenie przed konsolą. Etapy czwarty i piąty to przeciwne usterki i prawie zawsze ogląda się je w złej kolejności. Obserwuj, który się rusza, gdy usterka występuje:\nLicznik Opis jądra Co znaczy w praktyce XfrmInNoStates „No state is found i.e. Either inbound SPI, address, or IPsec protocol at SA is wrong” Ich pakiety przychodzą do skojarzenia, którego nie masz; zwykle jednostronny rekey albo restart XfrmInStateSeqError „Sequence error i.e. Sequence number is out of window” Zmiana kolejności albo kłopoty z oknem ochrony przed powtórzeniem; zobacz interakcję z QoS powyżej XfrmInStateProtoError „Transformation protocol specific error e.g. SA key is wrong” Klucze się nie zgadzają: skojarzenie przeżyło rekey tylko po jednej stronie XfrmInTmplMismatch „No matching template for states e.g. Inbound SAs are correct but SP rule is wrong” Skojarzenie jest dobre, a polityka zła XfrmInNoPols „No policy is found for states e.g. Inbound SAs are correct but no SP is found” Przychodzi chroniony ruch, o którego ochronę nic nie prosiło XfrmOutPolBlock „Policy discards” Odrzucasz go sam, celowo, w polityce XfrmOutNoStates „No state is found” Ruch pasował do polityki bez skojarzenia, które by go przeniosło: tunel nigdy nie wstał XfrmInTmplMismatch i XfrmInNoPols to dwa, które warto znać z widzenia, bo oba znaczą, że kryptografia jest w porządku, a polityka nie, czyli odwrotnie, niż wszyscy szukają na początku.\nMówi, że jest zestawiony, i nic się nie rusza Obie strony zestawione, brak ruchu. Odczytaj liczniki poszczególnych skojarzeń w obu kierunkach:\nip -s xfrm state Bajty wychodzące rosną, przychodzące stoją: szyfrujesz i wysyłasz, a nic nie wraca. Albo twoje ESP do nich nie dociera, albo ich nie dociera do ciebie. Poproś drugą stronę o ich licznik wychodzący; jeśli też rośnie, pakiety giną po drodze, a następne pytanie brzmi gdzie, i jest to pytanie o TTL, a nie o kryptografię. Oba stoją: nic nie jest podawane do tunelu. Routing albo polityka, nie IPsec. W konfiguracji opartej na trasach sprawdź, czy trasa naprawdę wskazuje na interfejs tunelu; w konfiguracji opartej na politykach sprawdź selektory. Oba rosną, a aplikacje dalej nie działają: to nie tunel. Zobacz, co jest po drugiej stronie. Wytyczne Juniper dla tego przypadku to ten sam instynkt w ich języku: jeśli rośnie tylko licznik pakietów wychodzących w sesji, potwierdź z drugą stroną, czy ruch w ogóle dociera44.\nMałe rzeczy działają, duże wiszą MTU. Zawsze MTU. Test zajmuje dziesięć sekund:\nping -M do -s 1400 10.0.0.1 # inside the tunnel, do-not-fragment set ping -M do -s 1300 10.0.0.1 # step down until it succeeds Miejsce, w którym zaczyna się udawać, mówi ci, jaki jest naprawdę użyteczny rozmiar. Potem niech TCP samo to ustala, przez przycięcie ogłaszanego rozmiaru segmentu do ścieżki, zamiast liczyć na to, że każdy błąd ICMP przetrwa podróż:\nnft add rule inet filter forward tcp flags syn tcp option maxseg size set rt mtu I napraw też przyczynę, którą prawie zawsze jest zbyt szeroka reguła ICMP gdzieś na granicy. Odrzucaj echo, jeśli chcesz. Gdzie indziej argumentowałem, że na to zasługuje. Ale zostaw Fragmentation Needed i Packet Too Big. To mechanizm, a nie uprzejmość.\nPada według zegara Mierz czas awarii. Sam interwał nazywa przyczynę.\nStały okres zgodny ze skonfigurowanym czasem życia: rekey. Skojarzenie wygasa, a negocjacja zastępcza zawodzi albo wpada w wyścig. Sprawdź czasy życia po obu stronach; różne wartości są normalne i w porządku, ale twardy czas życia po jednej stronie krótszy niż miękki po drugiej daje dokładnie to. Po okresie bez ruchu, wraca przy pierwszym użyciu: wygasło mapowanie NAT. Interwał keepalive albo jego brak. Dead peer detection zrywa tunel, choć łącze jest sprawne: giną sondy, a nie druga strona, często dlatego, że sondy są jedynym ruchem, a mapowanie już zniknęło. Drugi użytkownik zabija pierwszego Dwie strony docierają do koncentratora z jednego adresu, uwierzytelniając się tą samą tożsamością. Brama ma wybór między zachowaniem starego skojarzenia a zastąpieniem go, a częstym ustawieniem domyślnym jest zastąpienie. Więc drugie połączenie wygrywa, a pierwsze po cichu umiera.\nDaj każdej stronie naprawdę unikalną tożsamość, a nie adres ani wspólną nazwę, i ustaw bramę tak, żeby trzymała wiele skojarzeń z jednego adresu, zamiast zakładać jedno na stronę. Potem przetestuj to jedynym sposobem, który się liczy: dwóch klientów, jeden adres, w tym samym czasie. Jeśli w twoim teście odbiorczym nigdy nie było dwóch użytkowników za jednym NAT-em, nie przetestowałeś przypadku, w którym jest większość twoich użytkowników.\nTe same usterki na Fisher-Price OS (Windows) Każde sprawdzenie powyżej działa z maszyny uniksowej i jeśli masz taką w tej sieci, to jej użyj, bo szybciej powie ci prawdę i nie obchodzi jej, co działa po drugiej stronie. Ale wielu czytelników ma klienta, który nie chce się połączyć, system operacyjny, który celowo ukrywa przed nimi maszynę, i nic innego do oglądania. Więc oto ta sama metoda jeszcze raz, w tej samej kolejności, z narzędziami, które ten system naprawdę dostarcza.\nObserwuj kabel. Nie ma tcpdump, ale jest przechwytywanie. Uruchom je z podwyższonymi uprawnieniami, odtwórz awarię, zatrzymaj:\nnetsh wfp capture start cab=on file=ipsec netsh wfp capture stop To zapisuje plik .cab. W środku jest zapis tego, co platforma filtrowania i wymiana kluczy naprawdę robiły w czasie usterki, a to więcej, niż przyzna którakolwiek z konsol. Żeby zajrzeć na żywo zamiast do archiwum, ten sam zestaw poleceń wypisuje na konsolę z file=-: netsh wfp show state „Displays the current state of WFP and IPsec”, a netsh wfp show ikeevents „Displays recent Internet Key Exchange (IKE) epoch events matching the specified parameters”, z filtrem na jedną drugą stronę45.\nnetsh wfp show state file=- netsh wfp show ikeevents remoteaddr=203.0.113.5 file=- show ikeevents to tutaj najbliższy odpowiednik dziennika wymiany, który każdy inny stos zapisuje bez proszenia. Warto wiedzieć, że istnieje. W przeciwnym razie interfejs daje ci trzycyfrową liczbę i nic więcej, a ty diagnozujesz wymianę kluczy na zgadywanie.\nOdczytaj skojarzenia, i to oba. Odpowiednikami ip -s xfrm state i swanctl --list-sas są dwa cmdlety, a podział między nimi to cała diagnoza:\nGet-NetIPsecMainModeSA Get-NetIPsecQuickModeSA Main mode to wymiana kluczy. Quick mode przenosi pakiety. Microsoft opisuje tę relację wprost: „There is only one main mode SA between a pair of computers, but there can be many quick mode SAs”46. Więc main mode obecny przy pustym quick mode to ta sama usterka co IKE_SA zestawione bez CHILD_SA pod spodem i znaczy to samo: obie strony uzgodniły, jak rozmawiać, a potem nie uzgodniły, co chronić. Patrz na selektory ruchu, nie na szyfry.\nCzytaj dzienniki, w dwóch miejscach, w których się chowają. Awarie na poziomie połączenia trafiają do dziennika Application ze źródłem RasClient, a użyteczna jest własna uwaga Microsoftu o ich czytaniu: „All error messages return the error code at the end of the message”47. Ta liczba jest diagnozą, a następna sekcja mówi, co te liczby znaczą. Decyzje polityki i filtrowania trafiają zupełnie gdzie indziej, do Applications and Services Logs, do kanałów Windows Firewall with Advanced Security. Dwa dzienniki, dwa zespoły, jedna usterka.\nZbierz to porządnie, gdy musisz eskalować. Wspierany pakiet to TSS: TSS.ps1 -Scenario NET_VPN na kliencie, TSS.ps1 -Scenario NET_RAS na serwerze, uruchomione przed odtworzeniem usterki i zatrzymane po nim48. Naucz się go, zanim ktoś cię o niego poprosi.\nKiedy wisi na „Łączenie” i kończy się limitem czasu To usterka, która zapełnia zgłoszenia, a słowo w komunikacie błędu kłamie. Zacznij od nazwania kodu. Kod jest konkretny, nawet gdy komunikat jest bezużyteczny.\nTimeout połączenia to jedna z trzech rzeczy i żadna nie jest zegarem Co klient nazywa timeoutem i czym to naprawdę było Klient mówi: timeout 809, 718, 828, 930, 638: pięć kodów, jedno słowo i żaden nie jest zegarem To jedna z trzech rzeczy, a jeden test mówi która Nic nie dotarło przypadek ciszy Test: przechwyć u klienta. Czy UDP 500 wychodzi, a nic nie wraca? Filtrowanie na ścieżce albo brak NAT traversal, więc 4500 nigdy nie wysłano. Dotarło, za duże przypadek fragmentu Test: czy klucz współdzielony łączy tam, gdzie certyfikat nie? IKE_AUTH niesie łańcuch, więc się fragmentuje, a fragment ginie na ścieżce. To nie tunel przypadek złej warstwy Test: czy brama w tej samej sekundzie loguje błąd uwierzytelniania? 930 to RADIUS. 812 to metoda uwierzytelniania. 13801 i 13806 to certyfikaty. Żadna z trzech nie jest zegarem. Wydłużenie limitu czasu to jedyne, do czego zachęca interfejs, i jedyne, co ani razu niczego z tego nie naprawiło. To słowo tam jest, bo warstwa zgłaszająca awarię nie widzi dość daleko. Testuj w tej kolejności: pierwsze to 30 sekund przechwytywania, drugie jedna próba połączenia, trzecie dziennik. Pięć kodów błędów ma w nazwie słowo timeout i żaden z nich nie jest zegarem. To jedna z trzech rzeczy, a rozdziela je jeden test: przechwycenie mówi, czy cokolwiek w ogóle wróciło, jedna próba połączenia z kluczem współdzielonym mówi, czy wymiana certyfikatów była po prostu za duża, żeby dotrzeć, a dziennik samej bramy mówi, czy tunel w ogóle był problemem. Testuj je w tej kolejności, bo to także kolejność ich kosztu. Kod Nazwa w raserror.h Co naprawdę się stało 809 ERROR_VPN_TIMEOUT Nic w ogóle nie wróciło. Przyczyna podana przez Microsoft: „the UDP 500 or 4500 ports on the VPN server or firewall are blocked”47, ale zablokowane obejmuje trzy różne rzeczy i tylko jedna z nich to reguła deny. Zwykle 4500 nigdy nie został wysłany, bo NAT traversal nigdy nie został wynegocjowany, albo pomocnik, który kiedyś go przenosił, został wyłączony. Czytaj dalej, zanim poprosisz o zmianę na zaporze 789 ERROR_OAKLEY_GENERAL_PROCESSING „The L2TP connection attempt failed because the security layer encountered a processing error during initial negotiations”: poświadczenia albo certyfikaty, nie sieć 718 ERROR_PPP_TIMEOUT Część IPsec zadziałała. PPP wewnątrz tunelu L2TP nie dostało odpowiedzi 828 ERROR_IDLE_TIMEOUT „The connection was terminated because of idle timeout”: ustawienie po stronie serwera, celowe 930 ERROR_AUTH_SERVER_TIMEOUT RADIUS nie odpowiedział na czas. Nie ma to nic wspólnego z IPsec 638 ERROR_REQUEST_TIMEOUT Ten ogólny. Traktuj go jako brak informacji i idź do kabla Każdy z nich pochodzi z listy błędów samego Microsoftu49. Teraz przeczytaj jeszcze raz 809. Nazywa się ERROR_VPN_TIMEOUT, a udokumentowaną przyczyną jest zablokowany port. Klient nie przekracza limitu czasu, bo druga strona jest wolna. Przekracza go, bo druga strona milczy, a milczenie to jedyny rodzaj awarii, jaki może zgłosić protokół bez portów i bez wglądu w negocjację.\nUważaj jednak z tym słowem zablokowane, bo dźwiga więcej, niż jest w stanie. Noszą je trzy różne rzeczy i tylko jedna z nich to reguła deny.\nNic nigdy nie wysłało 4500. NAT traversal nie został wynegocjowany, więc klient dalej mówił ESP, a ESP nie daje translatorowi nic do przepisania. Ustawienie domyślne na tej platformie samo w sobie wystarcza za powód: bez wartości rejestru w ogóle nie utworzy skojarzenia NAT-T z serwerem za translatorem31. Więc 4500 nie jest zablokowany. Nigdy go nie próbowano.\nPomocnik, który kiedyś to łatał, został wyłączony. Zapory i domowe routery mają pomocników dla poszczególnych protokołów, czyli IPsec passthrough w sprzęcie konsumenckim i całą rodzinę bram warstwy aplikacji za nim, którzy czytają protokół, z którym NAT sobie nie radzi, i otwierają dla niego ścieżkę powrotną. Na Linuksie automatyczną formę tego wyłączono domyślnie w jądrze 4.7 „for security reasons”, a od tamtej pory zalecenie brzmi: podpinaj pomocnika świadomie regułą albo wcale; wśród objętych pomocników jest ten dla PPTP50.\nA wyłączenie ich było słuszne. Pomocnik to kawałek twojej zapory, który parsuje ładunek, a potem wybija dziurę na podstawie tego, co przeczytał. NAT Slipstreaming jest rachunkiem za to: przeglądarka odwiedza stronę, ruch jest ukształtowany tak, że pomocnik SIP albo H.323 w routerze czyta go jako połączenie, i przez NAT otwiera się dziura, w wersji z 2021 roku do dowolnego adresu wewnętrznego, a nie tylko do maszyny, która załadowała stronę51. Wyłączenie pomocników to zamyka. Przestaje też działać twój IPsec. Obie rzeczy są prawdą naraz, a druga nie jest argumentem za cofnięciem pierwszej.\nTo znowu cały ten wpis w miniaturze. Protokół działał tylko dlatego, że pudełka pośrodku czytały ruch, który nie był ich, i otwierały w jego imieniu dziury, a branża spędziła ostatnią dekadę, słusznie decydując, żeby z tym skończyć.\nWięc przechodź przez przyczyny w tej kolejności, od najtańszej.\nJeden: nic nie wraca. Przechwyć ruch na kliencie albo zapytaj bramę. Jeśli UDP 500 wychodzi, a nic nie wraca, to filtrowanie albo osiągalność i żaden zegar tego nie naprawi. Jeśli 500 przechodzi w obie strony, a 4500 nigdy się nie pojawia, NAT traversal nie został wynegocjowany. A jeśli któraś strona jest za translatorem, wracasz do wartości rejestru z wcześniejszej części wpisu: AssumeUDPEncapsulationContextOnSendRule, 1 albo 2, na obu maszynach, potem restart31. Bez niej klient odmawia z założenia i zgłasza to jako przekroczenie limitu czasu.\nDwa: odpowiedź jest za duża, żeby dotrzeć. Ta zjada całe popołudnia. Uwierzytelnianie certyfikatem sprawia, że druga wymiana jest duża, bo niesie łańcuch, a duża wymiana się fragmentuje. Fragmenty są odrzucane przez te same urządzenia pośrednie co wszystko inne w tym wpisie, klient retransmituje w tę samą dziurę, potem się poddaje i mówi timeout. Objaw sam w sobie jest diagnozą: klucz współdzielony się łączy, a certyfikat nie. To nie usterka certyfikatu. To usterka rozmiaru, bo wymiana z kluczem współdzielonym jest na tyle mała, że się mieści. Standardowa fragmentacja IKEv2 istnieje właśnie po to23, a strongSwan zapisuje, kiedy ta platforma ją dostała: „IKEv2 fragmentation is supported since the v1803 release of Windows 10 and Windows Server”33. Cokolwiek starszego albo brama z wyłączoną fragmentacją i polegasz na ścieżce, która przeniesie pofragmentowany datagram UDP. Wiele takich nie przeniesie.\nTrzy: łączy się, a potem pada według zegara. Zmierz czas. Jeśli umiera po stałym okresie bezczynności, to 828 i jest to konfiguracja, a nie usterka: -IdleDisconnectSeconds na serwerze, a -SALifeTimeSeconds, -MMSALifeTimeSeconds i -SADataSizeForRenegotiationKilobytes to pozostałe trzy zegary, które mogą zakończyć sesję52. Ten ostatni kończy ją według ilości danych, a nie czasu, i dlatego sesja może niezawodnie umierać podczas kopiowania dużego pliku i nigdy podczas całego dnia z pocztą. A jeśli umiera przy rekeyu, gdy klient jest za NAT, to udokumentowana usterka współpracy z wcześniejszej części: klient odrzuca rekey inicjowany przez serwer z błędem Microsoftu 13863, a odpowiedzią po stronie bramy jest przestać go inicjować i zostawić to klientowi33.\nCztery: to w ogóle nie tunel. 930 to RADIUS. 812 to metoda uwierzytelniania, której serwer nie przyjął47. 13801 i 13806 to certyfikaty: złe rozszerzone użycie klucza, wygaśnięcie, brak certyfikatu głównego albo nazwa serwera, która nie pasuje do podmiotu certyfikatu47. We wszystkich czterech przypadkach negocjacja tunelu była w porządku, a jeśli spędzisz popołudnie na szyfrach, nie znajdziesz żadnego z nich.\nOto, co warto wynieść z tej tabeli. Sześć kodów błędów, pięć z nich ze słowem timeout w nazwie, i żaden z nich nie jest w rzeczywistości przekroczeniem limitu czasu. To zablokowany port, zgubiony fragment, decyzja polityki i serwer RADIUS, wszystkie w tym samym słowie, bo warstwa zgłaszająca awarię nie widzi dość z tego, co się stało, żeby powiedzieć coś bardziej użytecznego. Wydłużenie zegara nie naprawia żadnego z nich, a wydłużenie zegara jest dokładnie tym, do czego zachęca cię interfejs.\nCzego używać zamiast tego Nie będę udawał, że zamiennik jest egzotyczny. Jest w jądrze i jest tam od lat.\nWireGuard to jeden port UDP, jeden klucz na stronę, żadnej negocjacji szyfrów i żadnej zwinności protokołu. Stanowisko autora w tej sprawie jest świadome i wypowiedziane: „It intentionally lacks cipher and protocol agility. If holes are found in the underlying primitives, all endpoints will be required to update. As shown by the continuing torrent of SSL/TLS vulnerabilities, cipher agility increases complexity monumentally.”53 Ta jedna decyzja usuwa za jednym zamachem NO_PROPOSAL_CHOSEN, INVALID_KE_PAYLOAD, ataki typu downgrade i wynik Logjam, bo nie ma czego negocjować i nie ma czego obniżać.\nJest też uczciwy co do kosztu, ja również: brak zwinności oznacza, że gdy jakiś prymityw naprawdę padnie, aktualizujesz całą flotę, zamiast przestawić jedną linijkę konfiguracji. To prawdziwy koszt operacyjny i jest to właściwy koszt do zapłacenia.\nReszta zgadza się z listą powyżej niemal punkt po punkcie. Posiadanie portu UDP oznacza, że NAT i CGNAT traktują go jak każdy inny przepływ, a ECMP i LAG haszują go jak każdy inny przepływ. Roaming jest wbudowany, a nie przykręcony: uwierzytelniony pakiet z nowego adresu przenosi punkt końcowy drugiej strony, więc telefon przechodzący z WiFi na sieć komórkową niczego nie negocjuje od nowa. Na nieuwierzytelniony pakiet nie odpowiada niczym, więc skaner znajduje zamknięty port tam, gdzie przy IPsec znalazłby koncentrator do rozmowy. I ma poniżej 4000 linii kodu53, wobec stosu, który potrzebuje dokumentu wyliczającego jego szesnaście niezgodności z jednym urządzeniem pośrednim.\nPod względem wydajności po prostu wypadł w pomiarach szybciej niż obie konfiguracje IPsec, z którymi go porównano: 1011 Mbit/s wobec 881 i 825, przy niższym opóźnieniu53. Nie wycofywałbym protokołu z powodu benchmarku. Wspominam o tym, bo ostatnim argumentem, który zostaje przy IPsec, jest zwykle wydajność, a to też nie jest prawda.\nJeśli chodzi o dostęp człowieka do aplikacji, a nie sieci do sieci, odpowiedzią w ogóle nie jest tunel. Tożsamość przy drzwiach wejściowych, aplikacja opublikowana przez nie, nic nie jest routowane. Zbudowałem to z Proxmoksem i Cloudflare Access we wpisie Zero Trust VDI Without the Cloud Bill, a dla tego wpisu istotne jest to, że użytkownik, który potrzebuje trzech wewnętrznych aplikacji, nie potrzebuje trasy do całego twojego środowiska.\nI powiedz głośno to, o czym się milczy w sprawie sprzętu. Tak, są karty sieciowe i układy ASIC z odciążaniem ESP i to prawdziwy argument za IPsec na konkretnym sprzęcie przy konkretnych prędkościach. To argument o krzemie, który ktoś już ci sprzedał, a nie o tym, że protokół jest słuszny. Dlatego się starzeje, i to szybko. PPTP przetrwał dokładnie w ten sam sposób, dokładnie tak długo, jak istniało pole wyboru.\nWycofać to porządnie Wycofanie to plan z datami, a nie uczucie. Oto plan, pod którym bym się podpisał.\nZatrzymaj nowe wdrożenia IPsec teraz. Nie „preferuj alternatyw”. Zatrzymaj. Każdy nowy tunel to tunel, który ktoś będzie musiał później migrować, a te budowane dziś będą działać jeszcze w 2035 roku, chyba że ktoś w tym tygodniu powie nie.\nNajpierw zrób dostęp zdalny, bo tam każda awaria z tego wpisu uderza najmocniej: CGNAT, współdzielony adres, keepalive, drugi użytkownik w tym samym domu, czarna dziura MTU w przypadkowej sieci hotelowej. To także najłatwiejsze do przeniesienia, bo punkty końcowe są zarządzane, a zmiana dotyczy klienta.\nPotem site-to-site przez publiczny internet, czyli ten sam zestaw problemów z mniejszą liczbą punktów końcowych i oknem serwisowym.\nNa koniec zostaw tunele, których oba końce nie są twoje: partnera, regulatora, usługę zarządzaną operatora. One przesuwają się, gdy przesuwa się umowa, a sposób, żeby je przesunąć, to następny punkt.\nPrzestań kupować sprzęt, którego jedynym tunelem jest IPsec. Wpisz to do przetargu. Linijka wymagająca nowoczesnego tunelu opartego na portach, z obsługą roamingu, to linijka, na którą producent albo odpowie, albo nie, i tak argument z zainstalowanej bazy w końcu przegrywa. Ten argument jako jedyny trzyma cokolwiek z tego przy życiu i pokonują go wyłącznie zakupy.\nZapisz, które tunele zostały i dlaczego, i postaw przy każdym datę. Protokół, którego nikt nie był właścicielem przez dziesięć lat, to sposób, w jaki PPTP dotrwał do 2026 roku. Inwentarz z datami to różnica między wycofaniem czegoś a samym nielubieniem tego.\nJeśli wciąż go wdrażasz, czy możesz nazywać się profesjonalistą? To szczere pytanie i odpowiem na nie uczciwie, bo do niego zmierzała cała reszta tego wpisu.\nTo zależy od tego, czy wiesz. A wiedza nie jest czymś, co ci się przydarza. Upewnianie się, że wiesz, to twoja praca.\nJeśli w tym roku stawiasz nową usługę dostępu zdalnego na IPsec i nie potrafisz powiedzieć, bez sprawdzania czegokolwiek, dlaczego ESP nie ma portów, co robi z nim łącze domowe za NAT-em operatorskim, dlaczego sieć z NAT64 w ogóle go nie przeniesie albo do czego naprawdę służy ten jednobajtowy pakiet co dwadzieścia sekund, to nie. Nie w tej sprawie, jeszcze nie. Nie wybierasz protokołu. Powtarzasz kształt, bo poprzedni tak wyglądał, a nikt w pokoju nie zapytał dlaczego, łącznie z tobą. Porażką nie jest luka. Każdy ma luki. Porażką jest budowanie nad luką, której nigdy nie poszedłeś zamknąć. Dlatego osoba, która odziedziczy to w 2035 roku, dostanie dekadę zgłoszeń, których dało się uniknąć w dniu, w którym to narysowałeś.\nNazwę to właściwym słowem, bo grzeczna wersja krąży od dwudziestu lat i niczego nie zmieniła. Ktoś, kto wdraża protokół, którego nie potrafi wyjaśnić, nie jest inżynierem. Jest naśladowcą. Czyta z kartek: architektury referencyjnej producenta, ostatniego wniosku o zmianę, diagramu, który ktoś narysował w 2014 roku i którego nikt od tamtej pory nie otworzył, czyta je z prawdziwym przekonaniem, a za tym występem nie ma nigdzie zrozumienia. Z zewnątrz wygląda to dokładnie jak kompetencja. I dalej wygląda dokładnie jak kompetencja aż do pierwszej awarii, której kartki nie obejmują, a od tej chwili to jedyna rzecz w pokoju, która ma znaczenie.\nKartki są też powodem, dla którego ten protokół wciąż tu jest. Nikt w 2026 roku nie stanął przy tablicy i nie argumentował za IPsec na podstawie jego zalet. Wdrożono go znowu, bo był na kartce, a kartkę napisał producent, którego interesem jest, żebyś dalej kupował pudełko, które go terminuje. Tak coś przeżywa własny nekrolog o dwadzieścia lat: nie dlatego, że ktoś tego broni, tylko dlatego, że ani razu nie musiało się wytłumaczyć w pokoju, w którym ktoś potrafiłby odróżnić jedno od drugiego.\nI to się wytyka. Na głos, w pokoju, w tamtej chwili, a nie mruczy potem na korytarzu. Jeśli ktoś stawia słowo profesjonalista obok swojego nazwiska, to słowo przychodzi z zaproszeniem do pytań, a pytanie nie jest niegrzeczne. Bycie zapytanym i posiadanie odpowiedzi to cała różnica między tym słowem a wizytówką.\nNajbardziej ma to znaczenie, gdy za to płacisz. Firma doradcza, MSP, dział usług profesjonalnych producenta, integrator z umowy ramowej: to, co kupujesz, to osąd, a osąd to jedyna rzecz, której nie możesz sprawdzić przy odbiorze. Więc sprawdź go wcześniej. Zapytaj, dlaczego ten protokół, a nie inny. Zapytaj, co się z nim dzieje na łączu z NAT-em operatorskim, w komórkowej sieci tylko z IPv6, na ścieżce, która po cichu gubi fragmenty. Zapytaj, na które z tych rzeczy osobiście trafili i co z tym zrobili. W ciągu dwóch minut będziesz wiedział, czy ktoś ci coś mówi, czy coś ci odczytuje, a dwie minuty to znacznie tańszy test niż cztery lata zgłoszeń. A jeśli odpowiedzią są kartki, a ty i tak podpisujesz, to też jest decyzja, tyle że teraz jest twoja, a nie ich.\nJeśli potrafisz to wszystko powiedzieć, a i tak to wdrażasz, bo regulator wymienia protokół z nazwy, bo sprzęt partnera nie terminuje niczego innego albo bo zamiennik jest w przyszłorocznym budżecie, a to musi działać w marcu, to tak, oczywiście, i robisz swoją pracę porządnie. Ograniczenia są prawdziwe, a ja budowałem wokół gorszych. Tych dwóch nie odróżnia protokół na diagramie. Odróżnia ich to, czy zapisałeś dlaczego i czy obok jest data.\nNie do obrony jest pozycja środkowa. Wiedzieć dość, żeby czuć niepokój, i i tak to budować, bo nikt nie kazał ci tego uzasadnić. To nie inżynieria. To nawyk z dołączonym numerem zmiany i dokładnie w ten sposób L2TP trafił do karty katalogowej wydrukowanej w tym roku.\nWięc zadaj sobie to pytanie, zanim zamknie się przetarg, a nie po nim. Profesjonalista to nie słowo o tym, jakie protokoły znasz. To słowo o tym, czy potrafisz obronić ten, który wybrałeś, na głos, przed kimś, kto zna sposoby, w jakie zawodzi. Jeśli potrafisz, wdrażaj to, czego wymagają ograniczenia, i śpij spokojnie. Jeśli nie potrafisz, właśnie znalazłeś to, co dziś wieczorem masz przeczytać, i to nie jest obelga. Każdy był kiedyś naśladowcą, bez wyjątku, ja też. Nie do obrony jest wybór, żeby nim zostać, i nazywanie tego karierą.\nDobry pomysł ma prawo się skończyć Chcę być wobec IPsec uczciwy, bo na to zasługuje.\nTo był właściwy instynkt. Bezpieczeństwo należy nisko w stosie, gdzie wszystko je dziedziczy i żadnej aplikacji nie trzeba ufać, że zrobi to dobrze. Związanie skojarzenia z adresem nie było błędem w 1995 roku: adres był maszyną, a budowanie na tym było słuszne. Ludzie, którzy to pisali, byli poważnymi ludźmi rozwiązującymi prawdziwy problem, a najlepiej ujmuje to, ze wszystkich dokumentów, właśnie artykuł o WireGuardzie: warstwowa budowa IPsec jest zdrowa, wszystko jest na właściwym miejscu, z akademicką doskonałością53.\nA potem grunt się przesunął. Nie dlatego, że IPsec zrobił coś źle, tylko dlatego, że ta branża uznała adresy za koszt, którym trzeba zarządzać, a nie za coś, co dostaje każda maszyna, i zbudowała dwadzieścia pięć lat translacji, żeby uniknąć alternatywy. Fundament IPsec po cichu wycofano, a zamiast to przyznać, podkładaliśmy podkładki. Enkapsulacja w UDP. Potem keepalive. Potem enkapsulacja w TCP dla sieci, które blokują UDP. Potem kolejny nagłówek UDP, żeby router znalazł coś do haszowania. Każda poprawka rozsądna sama w sobie; ich stos to protokół trzymany w pionie przez ludzi, którym płaci się za trzymanie go w pionie.\nTo jest część, na którą warto się złościć, i tak naprawdę wcale nie chodzi w niej o IPsec. Nasza branża jest bardzo dobra w utrzymywaniu rzeczy i bardzo słaba w ich kończeniu. Utrzymanie jest fakturowalne, zabudżetowane, obsadzone i bezpieczne. Wycofanie to decyzja, którą ktoś musi podpisać własnym nazwiskiem, bez natychmiastowej nagrody. Więc PPTP żył czternaście lat po dowodzie, że jest bezwartościowy, L2TP wciąż jest dostarczany na pudełkach sprzedawanych w tym roku, a IKEv1 negocjował tunele jeszcze przez dekadę po tym, jak trafił do Historic. Nie dlatego, że ktoś ich bronił. Dlatego, że nikt nigdy nie musiał ich zabić.\nNie ma nagrody za zrobienie 90% dobrze. Ferguson i Schneier napisali to o IPsec w 1999 roku, a to, co wydarzyło się od tamtej pory, to trzydzieści lat, w których branża za każdym razem w nowy sposób robi źle ostatnie 10% i nazywa łatkę rozwiązaniem.\nDobry pomysł wciąż ma prawo się skończyć. Wiedza, kiedy przestać coś utrzymywać, jest umiejętnością, i to właśnie tą, w której ten zawód jest najgorszy. Ktoś musi być tym, kto mówi, że protokół przeżył swoje, zapisuje datę i ponosi konsekwencje tego, że to on to powiedział. Inaczej w 2040 roku wciąż będziemy wysyłać jednobajtowy pakiet co dwadzieścia sekund, żeby tablica nie wystygła w pudełku, które nie jest nasze, w sieci, która zabrała nam adresy i jeszcze kazała sobie za to zapłacić.\nRFC 4301 — Security Architecture for the Internet Protocol, grudzień 2005. Definiuje skojarzenie bezpieczeństwa i trójkę, po której się je wyszukuje: adres docelowy, protokół bezpieczeństwa i SPI.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 4302 — IP Authentication Header, grudzień 2005. Kontrola integralności AH obejmuje niezmienne pola nagłówka IP, łącznie z adresem źródłowym i docelowym.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 9329 — TCP Encapsulation of Internet Key Exchange Protocol (IKE) and IPsec Packets, listopad 2022, zastępuje RFC 8229. Istnieje, bo urządzenia pośrednie w sieciach publicznych blokują UDP.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 3715 — IPsec-Network Address Translation (NAT) Compatibility Requirements, marzec 2004. Szesnaście wyliczonych niezgodności, w tym: „Since the AH header incorporates the IP source and destination addresses in the keyed message integrity check, NAT or reverse NAT devices making changes to address fields will invalidate the message integrity check” oraz „Where IP addresses are used as identifiers in Internet Key Exchange Protocol (IKE) Phase 1 or Phase 2, modification of the IP source or destination addresses by NATs or reverse NATs will result in a mismatch between the identifiers and the addresses in the IP header.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCisco — Configuring IPsec NAT-Traversal, Security Configuration Guide, Cisco IOS XE 17.15.x (Catalyst 9300 Switches). „If PAT found a legislative IP address and port, it would drop the Encapsulating Security Payload (ESP) packet”; nagłówek UDP i 8-bajtowy znacznik non-IKE są wstawiane między zewnętrzny nagłówek IP a nagłówek ESP; lista ograniczeń obejmuje statyczne reguły dla portów 500 i 4500, brak obsługi dynamicznych polityk NAT, brak IPv6 oraz to, że IPsec i NAT nie mogą działać jednocześnie na tym samym urządzeniu.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 3948 — UDP Encapsulation of IPsec ESP Packets, styczeń 2005, z negocjacją w RFC 3947. Definiuje keepalive jako „a one-octet-long payload with the value 0xFF”, wysyłany „if no other packet to the peer has been sent in M seconds. M is a locally configurable parameter with a default value of 20 seconds”, i wymaga wyzerowania sumy kontrolnej UDP: „If the protocol header after the ESP header is a UDP header, set the checksum field to zero in the UDP header.” Microsoft, Cisco, F-Secure, Nortel i SafeNet są na listach autorów RFC 3947 i RFC 3948.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nJuniper — Route-Based and Policy-Based VPNs with NAT-T, Junos OS IPsec VPN User Guide. „NAT-T encapsulates both IKE and ESP traffic within UDP with port 4500 used as both the source and destination port”; „Because NAT devices age out stale UDP translations, keepalive messages are required between the peers”; a na SRX5400, SRX5600 i SRX5800 „the total number of tunnels from a given public translated IP cannot exceed 1000 tunnels.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 8221 — Cryptographic Algorithm Implementation Requirements and Usage Guidance for ESP and AH, październik 2017. ENCR_DES MUST NOT, ENCR_3DES SHOULD NOT, AUTH_HMAC_MD5_96 MUST NOT; ESP połączone z AH jest NOT RECOMMENDED.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 4787 — Network Address Translation (NAT) Behavioral Requirements for Unicast UDP, styczeń 2007. REQ-5: „A NAT UDP mapping timer MUST NOT expire in less than two minutes”, przy czym „a default value of five minutes or more for the NAT UDP mapping timer is RECOMMENDED”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 6146 — Stateful NAT64: Network Address and Protocol Translation from IPv6 Clients to IPv4 Servers, kwiecień 2011. „The current specification only defines how stateful NAT64 translates unicast packets carrying TCP, UDP, and ICMP traffic. Multicast packets and other protocols, including the Stream Control Transmission Protocol (SCTP), the Datagram Congestion Control Protocol (DCCP), and IPsec, are out of the scope of this specification.” Pakiety niosące cokolwiek innego „SHOULD be discarded”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 6877 — 464XLAT: Combination of Stateful and Stateless Translation, kwiecień 2013. Daje urządzeniu tylko z IPv6 lokalny stos IPv4, żeby ruch, którego NAT64 nie przenosi, i tak działał.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nIETF — draft-xu-ipsecme-esp-in-udp-lb, Encapsulating IPsec ESP in UDP for Load-balancing. „Although the ESP SPI field within the IPsec packets can be used as the load-balancing key, but it cannot be used by legacy switches and routers”; „Many cloud service providers allow customers to establish multiple IPsec VPN tunnels in parallel to enable ECMP and increase aggregate bandwidth. However, this approach is not ideal, as each tunnel typically requires its own public IP address, leading to higher public IP consumption and increased operational overhead.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCisco — Resolve IPv4 Fragmentation, MTU, MSS, and PMTUD Issues with GRE and IPsec. Wieloletnie źródło o narzucie tuneli, wykrywaniu MTU ścieżki i o tym, co się psuje, gdy błędy ICMP nie wracają.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCisco — Troubleshoot IPsec Anti-Replay Check Failures. „Certain QoS features, such as Low Latency Queueing (LLQ), could cause IPsec packet delivery to become out-of-order and dropped by the receiving endpoint due to a replay check failure.” Domyślne okno 64 pakiety; 1024 na nowszych platformach; alternatywnym lekarstwem jest wiele przestrzeni numerów sekwencyjnych na skojarzenie.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 2661 — Layer Two Tunneling Protocol \u0026ldquo;L2TP\u0026rdquo;, sierpień 1999. Protokół tunelowania dla PPP bez własnej poufności na poziomie pakietów; jego sekcja o bezpieczeństwie odsyła do IPsec.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nMoxie Marlinspike i David Hulton — Divide and Conquer: Cracking MS-CHAPv2 with a 100% Success Rate, 2012; narzędzie pod adresem github.com/moxie0/chapcrack. Bezpieczeństwo MS-CHAPv2 sprowadza się do jednej operacji DES niezależnie od długości hasła; ówczesny opis w The Register. Ich wniosek był taki, że ruch PPTP należy uważać za nieszyfrowany.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nApple — If you see a \u0026ldquo;VPN Using PPTP May Not Be Secure\u0026rdquo; alert. PPTP usunięto z wbudowanego klienta w macOS Sierra i iOS 10, 2016.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 4303 — IP Encapsulating Security Payload (ESP), grudzień 2005. Protokół IP 50; nagłówek ESP niesie SPI i numer sekwencyjny i nie ma pola portu.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 9395 — Deprecation of the Internet Key Exchange Version 1 (IKEv1) Protocol and Obsoleted Algorithms, kwiecień 2023. „Internet Key Exchange Version 1 (IKEv1) has been deprecated, and RFCs 2407, 2408, and 2409 have been moved to Historic status.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 7296 — Internet Key Exchange Protocol Version 2 (IKEv2), październik 2014. Obecna wymiana kluczy i źródło nazw komunikatów notify w tabeli diagnostycznej.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 3173 — IP Payload Compression Protocol (IPComp), wrzesień 2001. Własny numer protokołu IP i własne skojarzenia, negocjowane obok ESP.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 2367 — PF_KEY Key Management API, Version 2, lipiec 1998. Interfejs jądra, którego demon kluczy używa do instalowania skojarzeń.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 7383 — IKEv2 Message Fragmentation, listopad 2014. „This document describes a way to avoid IP fragmentation of large Internet Key Exchange Protocol version 2 (IKEv2) messages.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 4555 — IKEv2 Mobility and Multihoming Protocol (MOBIKE), czerwiec 2006. Pozwala zestawionemu tunelowi przeżyć zmianę adresu.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 3706 — A Traffic-Based Method of Detecting Dead Internet Key Exchange (IKE) Peers, luty 2004.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\ndraft-beaulieu-ike-xauth — Extended Authentication within IKE (XAUTH). Ostatnia rewizja 02, październik 2001, status Expired, „Expired \u0026amp; archived”, nigdy nie opublikowany jako RFC. Draft zapisuje, że zgłoszono go jako Informational, ponieważ „the IPSRA working group will not accept any protocol which extends ISAKMP or IKE, and the IPsec working group refuses to accept any protocols that deal with remote access.” Mode-Config podzielił ten sam los.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 3193 — Securing L2TP using IPsec, listopad 2001. Współautorstwo w Microsofcie.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 2332 — NBMA Next Hop Resolution Protocol (NHRP), kwiecień 1998. Element, dzięki któremu oddziały w DMVPN znajdują się nawzajem.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 6407 — The Group Domain of Interpretation, październik 2011. Klucze grupowe, jak w GETVPN.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 2637 — Point-to-Point Tunneling Protocol (PPTP), lipiec 1999. Kategoria: Informational. Spisany protokół producenta, nigdy standard.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nMicrosoft — Configure L2TP/IPsec server behind NAT-T device, KB 926179, ostatnio poprawiany 12 lutego 2026. „By default, Windows Vista and Windows Server 2008 don\u0026rsquo;t support Internet Protocol security (IPsec) network address translation (NAT) Traversal (NAT-T) security associations to servers that are located behind a NAT device”; wartość DWORD AssumeUDPEncapsulationContextOnSendRule pod HKEY_LOCAL_MACHINE\\SYSTEM\\CurrentControlSet\\Services\\PolicyAgent przyjmuje 0 (domyślnie, nie może), 1 (serwer za NAT) lub 2 (obie strony za NAT), a maszynę trzeba zrestartować. Także: „If you must use IPsec for communication, use public IP addresses for all servers that you can connect to from the Internet.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nstrongSwan — Windows Certificate Requirements. Certyfikat bramy potrzebuje EKU serverAuth, OID 1.3.6.1.5.5.7.3.1, oraz EKU IP Security IKE Intermediate, OID 1.3.6.1.5.5.8.2.2.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nstrongSwan — Windows Clients. Dokumentuje dodanie wartości DWORD NegotiateDH2048_AES256 pod Rasman\\Parameters, żeby uzyskać AES-256-CBC i MODP-2048; obejście rekeyingu dla klientów za NAT (rekey_time = 0 na bramie, inicjuje klient); oraz to, że klient Windows „does not currently support IKE redirection (RFC 5685) and multiple authentication rounds (RFC 4739).” Także: „IKEv2 fragmentation is supported since the v1803 release of Windows 10 and Windows Server”, a klienci za NAT odrzucają inicjowany przez serwer rekey CHILD_SA z błędem Microsoftu 13863.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nMicrosoft — DirectAccess i Remote Access Always On VPN migration overview. DirectAccess jest wycofany i zostanie usunięty w przyszłym wydaniu Windows Server; klienci są kierowani do Always On VPN.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nJean Paul Degabriele i Kenneth G. Paterson — Attacking the IPsec Standards in Encryption-only Configurations, IEEE Symposium on Security and Privacy, 2007. Ataki, które „break any RFC-compliant implementation of IPsec making use of encryption-only ESP”, wyłącznie na szyfrogramach, wymagające jedynie możliwości podsłuchu i wstrzykiwania ruchu.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 6434 — IPv6 Node Requirements, grudzień 2011. „Previously, IPv6 mandated implementation of IPsec and recommended the key management approach of IKE. This document updates that recommendation by making support of the IPsec Architecture [RFC4301] a SHOULD for all IPv6 nodes.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNiels Ferguson i Bruce Schneier — A Cryptographic Evaluation of IPsec, Counterpane Internet Security, 1999. „IPsec was a great disappointment to us”; „Our main criticism of IPsec is its complexity”; „We therefore recommend that transport mode be eliminated”; „We conclude that eliminating transport mode allows the elimination of the AH protocol as well, without loss of functionality”; oraz „We have found serious security weaknesses in all major components of IPsec. As always in security, there is no prize for getting 90% right; you have to get everything right.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nDavid Adrian i in. — Imperfect Forward Secrecy: How Diffie-Hellman Fails in Practice, ACM CCS 2015. Wstępne obliczenia dla drugiej 1024-bitowej grupy „would allow decryption of traffic to 66% of IPsec VPNs”; 86,1% przeskanowanych serwerów IKEv1 i 91,0% serwerów IKEv2 obsługiwało Oakley Group 2, a 66,1% sprofilowanych serwerów IKEv1 ją preferowało.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCVE-2016-1287 i komunikat Cisco Cisco ASA Software IKEv1 and IKEv2 Buffer Overflow Vulnerability. Zdalne wykonanie kodu przed uwierzytelnieniem, osiągane spreparowanymi pakietami UDP wysłanymi do usługi IKE.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nJuniper — How to Analyze IKE Phase 2 VPN Status Messages. „No proposal chosen” oznacza, że urządzenie „did not accept any of the IKE Phase 2 proposals that the peer sent”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCisco — Understand and Use Debug Commands to Troubleshoot IPsec oraz Troubleshoot Common L2L and Remote Access IPsec VPN Issues.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nJuniper — Troubleshoot a VPN Tunnel That is Down.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nJądro Linuksa — XFRM proc counters. Opisy w tabeli pochodzą z dokumentacji samego jądra.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nJuniper — Troubleshoot a VPN That Is Up But Not Passing Traffic. „If only the pkts counter in the out direction of the session is incrementing, then validate with the VPN peer that the traffic is being received.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nMicrosoft — netsh wfp, Windows Commands. netsh wfp capture start „Starts a capture session for network events processed by WFP” i domyślnie zapisuje wfpdiag.cab; netsh wfp show state „Displays the current state of WFP and IPsec”; netsh wfp show ikeevents „Displays recent Internet Key Exchange (IKE) epoch events matching the specified parameters” i przyjmuje filtr remoteaddr=. Ustawienie file=- w którymkolwiek z poleceń show wypisuje wynik na konsolę zamiast zapisywać XML.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nMicrosoft — Get-NetIPsecQuickModeSA, moduł NetSecurity. „There is only one main mode SA between a pair of computers, but there can be many quick mode SAs”, a ich monitorowanie „can provide information about which peers are currently connected to this computer, and which protection suite is protecting the data exchanged between them.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nMicrosoft — Troubleshoot Always On VPN, ostatnio poprawiany 12 lutego 2026. O czytaniu dzienników klienta: „look for events labeled RasClient. All error messages return the error code at the end of the message.” Przyczyna błędu 809: „You can encounter this issue when the UDP 500 or 4500 ports on the VPN server or firewall are blocked.” Błąd 812 to niezgodność metody uwierzytelniania między polityką serwera a profilem klienta. Cztery wymienione przyczyny błędu 13801 to certyfikat maszyny bez Server Authentication w Enhanced Key Usage, wygasły certyfikat maszyny RAS, klient bez certyfikatu głównego oraz klient, u którego „VPN server name doesn\u0026rsquo;t match the subjectName value on the server certificate”; 13806 to „IKE can\u0026rsquo;t find a valid machine certificate”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nMicrosoft — Guidance for troubleshooting Remote Access (VPN and AOVPN). Wspierany sposób zbierania to TSS, uruchamiany z podwyższonymi uprawnieniami: TSS.ps1 -Scenario NET_VPN na kliencie i TSS.ps1 -Scenario NET_RAS na serwerze, z odtworzeniem usterki między startem a zatrzymaniem i śladami zapisywanymi do C:\\MS_DATA.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nMicrosoft — Routing and Remote Access Error Codes, kody zdefiniowane w raserror.h. 638 ERROR_REQUEST_TIMEOUT; 718 ERROR_PPP_TIMEOUT; 789 ERROR_OAKLEY_GENERAL_PROCESSING, „The L2TP connection attempt failed because the security layer encountered a processing error during initial negotiations with the remote computer”; 809 ERROR_VPN_TIMEOUT, „The network connection between your computer and the VPN server could not be established because the remote server is not responding”; 828 ERROR_IDLE_TIMEOUT, „The connection was terminated because of idle timeout”; 930 ERROR_AUTH_SERVER_TIMEOUT, „The authentication server did not respond to authentication requests in a timely fashion”.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nfirewalld — Automatic Helper Assignment. „With kernel 4.7 and up the automatic helper assignment in kernel has been turned off by default”, sterowane przez sysctl w /proc/sys/net/netfilter/nf_conntrack_helper, oraz „for the secure use of iptables and connection tracking helpers it is recommended to turn AutomaticHelpers off”. Własny komunikat jądra o tej zmianie podaje powód i zamiennik: domyślne automatyczne przypisywanie pomocników „has been turned off for security reasons”, zamiast tego pomocników podpina się celem CT. Objęte pomocniki to m.in. ftp, irc, sip, h323, tftp, snmp i pptp.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nSamy Kamkar — NAT Slipstreaming, v1 31 października 2020, v2 26 stycznia 2021 z Benem Serim i Gregorym Vishnipolskym z Armis. Atak nadużywa „the Application Level Gateway (ALG) connection tracking mechanism built into NATs, routers, and firewalls”, żeby „bypass victim NAT and connect directly back to any port on any machine on the network, exposing previously protected/hidden services and systems”. v1 używał bramy SIP na porcie 5060; v2 używał H.323 na 1720, co pozwalało wycelować dziurę w dowolny host wewnętrzny, a nie tylko w maszynę, która załadowała stronę.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nMicrosoft — Set-VpnServerConfiguration, moduł RemoteAccess. -IdleDisconnectSeconds „Specifies the time, in seconds, after which an idle connection is terminated”; -SALifeTimeSeconds i -MMSALifeTimeSeconds ustawiają czasy życia quick mode i main mode; -SADataSizeForRenegotiationKilobytes „Specifies the number of kilobytes that are allowed to transfer using a security association (SA), after which the SA will be renegotiated.”\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nJason A. Donenfeld — WireGuard: Next Generation Kernel Network Tunnel, NDSS 2017. „It intentionally lacks cipher and protocol agility. If holes are found in the underlying primitives, all endpoints will be required to update. As shown by the continuing torrent of SSL/TLS vulnerabilities, cipher agility increases complexity monumentally”; „implemented for Linux in less than 4,000 lines of code”; „it is important to stress, however, that the layering of IPsec is correct and sound; everything is in the right place with IPsec, to academic perfection.” Benchmarki: 1011 Mbit/s wobec 881 i 825 dla dwóch zestawów szyfrów IPsec oraz ping 0,403 ms wobec 0,501 i 0,508.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\n","permalink":"https://blogs.damiendye.uk/pl/networking/ipsec-was-a-good-idea-turn-it-off/","summary":"IPsec miał rację w 1995 roku: szyfrować pod aplikacją, związać skojarzenie bezpieczeństwa z adresem IP i pozwolić, żeby każdy protokół je odziedziczył. Potem przyszedł NAT, NAT operatorski dokończył dzieła, a poprawką było owinąć całość w UDP i trzymać włączony zegar, żeby tablica translacji o tobie nie zapomniała. Ten wpis pokazuje, jak to się sypie, diagram po diagramie: skojarzenie bezpieczeństwa, które nie przeżyje przepisanego nagłówka, dwa translatory, które ma dziś każde łącze z CGNAT, standard NAT64, który wprost wyłącza IPsec ze swojego zakresu, tunel, który nie może użyć drugiego łącza, bo ESP nie ma portów, MTU, które nie należy do nikogo, oraz L2TP i PPTP jako dwa protokoły, które nigdy nie nadawały się do tej roli. Zawiera dokumentację producentów, Cisco, Juniper i Microsoftu, która przyznaje każdą z tych rzeczy, osiemnaście elementów nazywających się VPN IPsec, w tym dwa, które nigdy nie były standardami, wyjaśnienie, dlaczego Fisher-Price OS (Windows) nigdy naprawdę nie współpracował z otwartym stosem, działającą metodę diagnozowania IPsec, dopóki jeszcze go utrzymujesz, i argumenty za wycofaniem całości, z datami.","title":"IPsec był dobrym pomysłem. Czas go wyłączyć."},{"content":"Ile naprawdę kosztuje Azure Virtual Desktop Azure Virtual Desktop dostarcza pulpit Windows w przeglądarce. To naprawdę robi i to działa. Pytanie brzmi, ile kosztuje utrzymanie tego w działaniu.\nCena z cennika nie jest ceną. Stos licencji Microsoftu dla AVD wygląda mniej więcej tak1:\nLicencja Microsoft 365 obejmująca uprawnienie do Windows Enterprise: E3 albo E5, ewentualnie odpowiednik Business Premium Moc obliczeniowa Azure pod pulpitem: VM rozliczana za godzinę albo instancja zarezerwowana rozliczana za miesiąc Storage Azure na dysk systemowy i profil użytkownika Sieć Azure na ruch między pulpitem a całą resztą Opcjonalnie Microsoft Entra ID P1 albo P2 dla polityk dostępu warunkowego Windows 365 Cloud PC upraszcza rozliczenie do stałej kwoty za użytkownika na miesiąc, ale ta kwota nie jest mała. Konfiguracja 2 vCPU / 8 GB / 128 GB, czyli skromny pulpit biurowy, to £35,60 za użytkownika na miesiąc2. Dodaj GPU, a skacze do £269,40 w poziomie GPU Standard. Pomnóż przez liczbę pracowników i masz poważną pozycję w budżecie, co miesiąc, na zawsze.\nTo jest produkt, który ten wpis zastępuje.\nPrzeglądarka dowolne urządzenie bez klienta RDP bez VPN HTTPS Cloudflare Access\u0026#160;+\u0026#160;IdP uwierzytelnia RDP w przeglądarce za darmo ≤\u0026#160;50 osób bez otwartych portów VPN niepotrzebny polityka zero trust tunel LXC cloudflared własny VLAN firewall: tylko cele RDP RDP VM\u0026#160;Windows GPU VF\u0026#160;0\u0026#160;·\u0026#160;RDP VM\u0026#160;Windows GPU VF\u0026#160;1\u0026#160;·\u0026#160;RDP VM\u0026#160;Windows GPU VF\u0026#160;2\u0026#160;·\u0026#160;RDP Host Proxmox\u0026#160;·\u0026#160;Intel Arc Pro SR-IOV Arc Pro seria B PF → host VF 0 → VM VF 1 → VM VF 2 → VM Przeglądarka, dostawca tożsamości i tunel: bez VPN, bez otwartych portów, bez chmurowego rachunku za stanowisko Cała ścieżka: przeglądarka, Cloudflare Access dla tożsamości, tunel do LXC za firewallem i RDP do maszyn Windows z wirtualnymi funkcjami Intel Arc Pro. Bez VPN, bez otwartych portów, bez chmurowego rachunku za stanowisko. Jak wygląda stos zastępczy Trzy warstwy, każda niezależna, żadna nie rozliczana za stanowisko:\nWarstwa GPU to konfiguracja Intel Arc Pro SR-IOV z poprzedniego wpisu. Jedna karta Arc Pro dzieli się na sprzętowe funkcje wirtualne przez standardowe PCIe SR-IOV: bez licencji vGPU, bez subskrypcji NVIDIA. Każda maszyna Windows dostaje własną VF i własny pulpit akcelerowany przez GPU. Liczbę stanowisk wyznacza karta, a nie serwer licencji.\nWarstwa dostępu to Cloudflare Access z RDP renderowanym w przeglądarce. Użytkownik otwiera URL w dowolnej przeglądarce, uwierzytelnia się u twojego dostawcy tożsamości, a Cloudflare renderuje sesję RDP bezpośrednio w karcie przeglądarki. Bez zainstalowanego klienta RDP. Bez VPN. Bez portów wystawionych do internetu. Access federuje się z dowolnym dostawcą OAuth albo OIDC, w tym z dostawcami on-prem, takimi jak Keycloak czy Authentik, postawionymi na twoim istniejącym Active Directory, czy to Samba 4 AD, czy kontroler domeny Windows. Katalog dalej robi to, co już robi: konta użytkowników, zasady grupy, maszyny wirtualne w domenie. Keycloak albo Authentik federuje się z nim i dokłada warstwę OAuth/OIDC i MFA, której potrzebuje Cloudflare Access. Płaszczyzna tożsamości zostaje na twoim własnym sprzęcie. Subskrypcja Entra ID nie jest potrzebna. Cloudflare Access zajmuje się tym, co dzieje się potem: kontroluje, do czego uwierzytelniony użytkownik może dotrzeć w twojej sieci, czyli do których aplikacji, jakimi protokołami i do których hostów. Pulpit jest za tunelem Cloudflare i nieosiągalny skądkolwiek inaczej niż przez politykę Access, a polityka decyduje zarówno o tożsamości, jak i o zakresie.\nWarstwa tunelu to proces cloudflared działający w kontenerze LXC na Proxmoxie, na własnym VLAN-ie: /30 dla IPv4 z własnym dedykowanym prefiksem IPv6, nic więcej w domenie rozgłoszeniowej. Firewall Proxmoxa kontroluje, do czego LXC może dotrzeć, a odpowiedź jest krótka: TCP 3389 do maszyn z pulpitami i nic poza tym. Jeśli punkt końcowy tunelu zostanie przejęty, zasięg szkód to jeden kontener na poza tym pustym VLAN-ie, a jedyne, z czym może rozmawiać, to to, na co firewall już pozwala. To dużo mniejsza powierzchnia niż koncentrator VPN, który rozdaje routowaną podsieć.\nCloudflare Zero Trust jest darmowy do 50 użytkowników3. Płacisz od 51. użytkownika. Azure Virtual Desktop liczy od pierwszego stanowiska.\nArchitektura Użytkownik każde urządzenie każda przeglądarka HTTPS Cloudflare Access IdP OAuth robi tożsamość\u0026#160;+\u0026#160;MFA Access kontroluje zakres\u0026#160;sieci renderuje RDP tunel Twoja siedziba LXC cloudflared własny\u0026#160;VLAN /30\u0026#160;IPv4 Firewall Proxmox tylko\u0026#160;TCP\u0026#160;3389 RDP Windows VM-y funkcje wirtualne GPU Arc\u0026#160;Pro\u0026#160;SR-IOV Ścieżka sesji: użytkownik uwierzytelnia się na brzegu Cloudflare, tunel ląduje w LXC za firewallem na własnym VLAN-ie, a firewall przepuszcza tylko RDP do maszyn z pulpitami. Ścieżka, którą idzie sesja pulpitu:\nUżytkownik otwiera https://vdi.example.com w dowolnej przeglądarce, na dowolnym urządzeniu Cloudflare Access przechwytuje żądanie i przekierowuje do twojego dostawcy tożsamości: Keycloak albo Authentik sfederowany z twoim Active Directory Dostawca OAuth weryfikuje tożsamość użytkownika w AD i obsługuje MFA Access ocenia politykę: dostawca potwierdził, kim jest użytkownik, a Access decyduje, do czego może dotrzeć w twojej sieci Cloudflare zestawia sesję RDP przez tunel do docelowej maszyny Sesja RDP jest renderowana w przeglądarce: bez klienta, bez wtyczki, bez pobierania Tunel kończy się w kontenerze LXC na hoście Proxmox, na zamkniętym VLAN-ie LXC przekazuje RDP do maszyny Windows, która ma funkcję wirtualną GPU z karty Arc Pro W żadnym momencie maszyna Windows nie ma publicznego IP. W żadnym momencie port 3389 nie jest otwarty do internetu. Jedyne, co nasłuchuje w publicznym internecie, to Cloudflare, a jedyne, co przechodzi przez Cloudflare, to użytkownik, który przeszedł politykę Access.\nPunkt końcowy tunelu: LXC na własnym VLAN-ie Proces cloudflared musi gdzieś działać, a to, gdzie go postawisz, jest decyzją bezpieczeństwa.\nUruchomienie go bezpośrednio na hoście Proxmox to najprostsza opcja i najgorsza. Punkt końcowy tunelu, który dzieli przestrzeń nazw sieci z hostem, sięga wszędzie tam, gdzie host, a na hiperwizorze to znaczy wszędzie. Przejęty tunel staje się furtką do płaszczyzny zarządzania.\nUruchomienie go w pełnej VM jest czyste, ale ciężkie. Przekaźnik tunelu to pojedyncza binarka w Go, która prawie nie używa CPU i zajmuje kilkaset megabajtów RAM. Dawanie jej pełnego jądra i dysku wirtualnego to przesada.\nKontener LXC ma właściwy kształt. Dostaje własną przestrzeń nazw sieci, własny VLAN (/30 IPv4 i dedykowany prefiks IPv6, nikt więcej w domenie rozgłoszeniowej) i własne reguły w firewallu Proxmoxa. Dzieli jądro z hostem, ale nie jego stos sieciowy. Firewall przepuszcza TCP 3389 do maszyn z pulpitami, DNS do ich rozwiązywania i HTTPS wychodzący do brzegu Cloudflare. Dzięki temu nawet przejęty punkt końcowy tunelu może rozmawiać tylko z tym, z czym i tak miał rozmawiać, a na jego VLAN-ie nie ma innych mieszkańców, do których mógłby dotrzeć.\nKonfiguracja LXC, reguły firewalla Proxmoxa dla VLAN-u i ustawienie tunelu cloudflared są w następnym wpisie.\nJak to się składa w Cloudflare Access Są tu dwie połowy. Dostawca OAuth, czyli Keycloak albo Authentik sfederowany z twoim Active Directory (Samba 4 albo Windows), zajmuje się weryfikacją tożsamości i MFA. Udowadnia, że użytkownik jest tym, za kogo się podaje, korzystając z tego samego katalogu, w którego domenie są maszyny wirtualne. Cloudflare Access zajmuje się wszystkim potem: do czego uwierzytelniony użytkownik może dotrzeć, jakim protokołem i jak renderowana jest sesja.\nCloudflare Access renderuje sesję RDP bezpośrednio w przeglądarce. To nie jest pobieranie ani wtyczka: brzeg Cloudflare uruchamia bezgłowego klienta RDP i strumieniuje wynik jako canvas w karcie przeglądarki. Użytkownik widzi pulpit Windows. Przeglądarka widzi HTTPS do Cloudflare. Maszyna Windows widzi połączenie RDP z tunelu cloudflared.\nAplikacja Access to aplikacja self-hosted wskazująca na ingress RDP tunelu. Polityka Access to miejsce, w którym spotykają się obie połowy. Dostawca OAuth już potwierdził tożsamość i przeszedł wyzwanie MFA. Access bierze ten token i decyduje, co z nim zrobić: do której aplikacji użytkownik może dotrzeć, czy stan jego urządzenia przechodzi kontrolę, czy jego lokalizacja jest dozwolona. Dostawca mówi kto. Access mówi co.\nTworzenie tunelu, reguły ingress, konfiguracja LXC, reguły firewalla Proxmoxa i sama polityka Access są w następnym wpisie. Ten pokazuje, czym jest stos i po co istnieje. Następny go buduje.\nCo widzi użytkownik Cloudflare Access zawiera App Launcher, czyli portal zasobów wymieniający każdą aplikację, do której uwierzytelniony użytkownik może dotrzeć. Po zalogowaniu przez dostawcę OAuth portal pokazuje mu dostępne pulpity, wewnętrzne aplikacje webowe i wszelkie inne zasoby za tunelem, wszystko w jednym miejscu. Jeden URL, jedno logowanie i kafelek dla każdej rzeczy, do której ma dostęp. To strona startowa całego stosu, a nie tylko RDP.\nUżytkownik klika kafelek pulpitu i dostaje pulpit Windows w karcie przeglądarki. Bez klienta, bez wtyczki, bez pobierania. Działa na dowolnym urządzeniu, które już ma: firmowym laptopie, prywatnym komputerze, Chromebooku, tablecie. O to chodzi. System jest zbudowany dla firm, które pozwalają ludziom używać własnego sprzętu.\nSchowek, dźwięk i wiele monitorów nie są obsługiwane w sesji renderowanej w przeglądarce. To celowe, a nie przypadkowe. Każdy z tych kanałów to droga wycieku danych. Schowek przechodzący przez granicę wynosi pliki. Przechwytywanie dźwięku wynosi rozmowy. Wiele monitorów z lokalnym pulpitem obok zdalnego sprawia, że przeciągnij i upuść staje się trywialne. Odcięcie tych kanałów oznacza, że użytkownik może pracować wewnątrz pulpitu, ale nie może wyciągnąć z niego pracy bocznym kanałem. Polityka Access kontroluje, kto wchodzi. Renderowanie w przeglądarce kontroluje, co wychodzi.\nJeśli firma potrzebuje schowka albo dźwięku do konkretnego procesu, Cloudflare Access obsługuje też natywnego klienta RDP przez tunel: ten sam tunel, ta sama polityka, ta sama kontrola tożsamości. Ścieżka natywna daje pełne funkcje RDP tym użytkownikom, którzy ich potrzebują, a ścieżka przeglądarkowa zostaje zamknięta dla wszystkich pozostałych. Dwie metody dostępu, jeden silnik polityk, jeden tunel.\nPorównanie kosztów Konkretny przykład. Jeden serwer, 42 pulpity akcelerowane przez GPU:\n64-rdzeniowy CPU z hyperthreadingiem daje 128 wątków. Każda maszyna dostaje 8 vCPU, czyli porządny przydział dla pulpitu, a nie cienki klient. 42 × 8 = 336 vCPU, czyli na papierze dużo ponad 128 wątków. Ale to jest VDI. Pulpity biurowe przez większość czasu są bezczynne. Użytkownik czytający dokument albo piszący maila nie obciąża 8 rdzeni. Nadsubskrypcja nie jest tu ryzykiem, jest założeniem projektu. Proxmox pozwala przydzielić więcej vCPU niż fizycznych wątków, bo planista wie, że większość z nich śpi. CPU jest dobrany pod szczyt, a szczyt to garstka użytkowników kompilujących albo renderujących naraz, a nie wszyscy 42. To nie jest droga na skróty: hiperskalerzy chmurowi nadsubskrybują dokładnie tak samo. Każda maszyna w Azure, którą wynajmujesz, dzieli fizyczne rdzenie z innymi dzierżawcami na tym samym hoście. Model wydajności jest identyczny. Różnica polega na tym, kto jest właścicielem hosta. 12 GB RAM na maszynę to solidny pulpit biurowy. 42 × 12 GB = 504 GB, plus 4 GB dla samego Proxmoxa = 508 GB na papierze. W praktyce KSM zwija identyczne strony tych 42 obrazów Windows, więc potrzebny fizyczny RAM jest znacznie mniejszy, ale zaplanuj 512 GB w modułach DIMM i pozwól KSM dać ci zapas. Trzy podwójne karty Intel Arc Pro B60 w płycie takiej jak Supermicro H13SSL-NT. Każda fizyczna karta pokazuje systemowi dwa GPU, więc trzy karty dają 6 GPU. Każde GPU obsługuje 7 funkcji wirtualnych SR-IOV4. To 42 pulpity akcelerowane przez GPU z trzech slotów PCIe. B60 kosztuje w cenniku około $599 do $799 za kartę. B70 to większa opcja, $949 na premierę za 32 GB i 4 funkcje wirtualne na GPU5, czyli mniej stanowisk, ale więcej VRAM na stanowisko. Windows 365 Cloud PC dla 42 użytkowników2:\nNawet bez GPU liczby nie są małe. Poziom Basic (2 vCPU, 4 GB, 128 GB) to £26,90 za użytkownika na miesiąc. Poziom Standard (2 vCPU, 8 GB, 128 GB, czyli skromny pulpit biurowy) to £35,60 za użytkownika na miesiąc. Dla 42 użytkowników na Standard to £1495,20 miesięcznie, £17 942,40 rocznie, zanim doliczysz którykolwiek z dodatków poniżej.\nZ GPU jest gorzej. Poziom GPU Standard to £269,40 za użytkownika na miesiąc. Dla 42 użytkowników to £11 314,80 miesięcznie, £135 777,60 rocznie.\nOba poziomy dokładają potem:\nLicencje Microsoft 365, jeśli jeszcze ich nie masz Sieć Azure: ruch przychodzący i wychodzący są rozliczane osobno, a pulpit strumieniowany do przeglądarki nie jest lekki, jeśli chodzi o ruch wychodzący Azure Backup albo rozwiązanie kopii zapasowych innej firmy: migawki maszyn i storage profili nie są zabezpieczane za darmo Publiczne adresy IPv4: Azure liczy za każdy publiczny IP przypięty do zasobu, a cena tylko rośnie Ceny bazowe Azure są w USD, więc koszty w GBP zmieniają się z kursem: słaby funt podraża każdą pozycję, a ty nie masz kontroli nad żadną stroną tej wymiany Rachunek nigdy się nie kończy. Piąty rok kosztuje tyle samo co pierwszy. Ten stos dla 42 użytkowników, koszt budowy:\nPłyta główna Supermicro H13SSL-NT: ~£700 64-rdzeniowy CPU AMD EPYC: ~£1500 512 GB DDR5 ECC RDIMM (8 × 64 GB): ~£5200 Trzy podwójne karty B60: ~£1800 Obudowa, zasilacz, dyski SSD rozruchowe: ~£800 Sprzęt razem: mniej więcej £10 000 Rozłożone na pięć lat życia to £2000 rocznie kosztu kapitałowego. Dolicz:\nCloudflare Zero Trust: darmowy do 50 użytkowników Prawa VDI dla Windows 11 Enterprise: Software Assurance na Pro podnosi do Enterprise, co obejmuje dostęp VDI do czterech maszyn na użytkownika, albo licencja przez Microsoft 365 E3/E56 Prąd, i tu warto podać liczbę Budżet mocy przy szczytowym poborze: 64-rdzeniowy EPYC z TDP 360 W, trzy podwójne karty B60 po 400 W (1200 W), 512 GB RAM około 80 W, plus storage, wentylatory i straty zasilacza około 150 W. To w przybliżeniu 1800 W z gniazdka przy pełnym obciążeniu. Pulpity VDI nie są pod pełnym obciążeniem: praca biurowa to głównie bezczynny CPU i lekkie GPU, więc realistyczna średnia jest bliżej 1000 do 1200 W. Przyjmijmy 1100 W.\nPrzy 35p za kWh, 1,1 kW pracujące 24/7 to:\n1,1 × 24 × 365 = 9636 kWh rocznie 9636 × £0,35 = £3373 rocznie za prąd Więc łączny roczny koszt tego stosu to mniej więcej £5400 rocznie: £2000 w amortyzacji sprzętu i £3400 za prąd, przed licencjami Windows i internetem. Postaw to obok rachunku z Azure: £5400 wobec £135 778 za poziom GPU albo £17 942 za podstawowe pulpity bez GPU. Nawet przy najtańszym poziomie Azure ten stos kosztuje mniej niż jedną trzecią. Przy poziomie GPU to 4% rachunku z Azure.\nDlaczego VDI pasuje do Proxmoxa VDI to jedno z obciążeń, w których Proxmox jest po cichu bardzo dobry, z dwóch powodów, które nie mają nic wspólnego z samym hiperwizorem.\nKSM. Proxmox od razu po instalacji włącza KSMd, demona scalania identycznych stron w jądrze. Dwadzieścia maszyn Windows zbudowanych z tego samego obrazu dzieli ogromne ilości identycznych stron pamięci: system operacyjny, bazowe biblioteki, niezmienione części profilu użytkownika. KSMd znajduje te duplikaty i zwija je w jedną fizyczną stronę, z kopiowaniem przy zapisie. W efekcie dwadzieścia pulpitów mieści się w pamięci, której w przeciwnym razie potrzebowałbyś na osiem albo dziesięć. Na hoście VDI, gdzie każda maszyna działa z tego samego obrazu, KSM nie jest marginalną optymalizacją. To on sprawia, że na tę gęstość cię stać.\nbcache. Jeśli twój storage to Ceph na HDD z bcache na Optane, VDI jest dla niego obciążeniem z najlepszego scenariusza. Burze rozruchowe i burze logowań to intensywny, powtarzalny odczyt, czyli dokładnie wzorzec, który cache pochłania. Gdy zestaw roboczy jest rozgrzany, pulpity czytają z Optane z opóźnieniem NVMe, a talerze ledwo się ruszają. Zapisy to zmiany w profilach użytkowników i pliki tymczasowe, które są na tyle małe i sekwencyjne, że writeback bcache obsługuje je, nigdy nie dławiąc HDD.\nProfile: dwie opcje, obie na Ceph. Profile użytkowników to druga połowa storage\u0026rsquo;u VDI i są dwa czyste sposoby, żeby je obsłużyć bez wychodzenia z klastra.\nKontenery profili FSLogix to standardowy sposób na roaming profilu pulpitu Windows i działają na storage\u0026rsquo;u obiektowym zgodnym z S3. Ceph w Proxmoxie wystawia bramę S3 przez RADOS Gateway, więc magazyn profili żyje na tym samym klastrze co dyski maszyn. Bez osobnego serwera plików, bez rachunku za Azure Files, bez zewnętrznej zależności.\nDruga opcja to całkowite pominięcie FSLogix i użycie przekierowania folderów Windows do udziałów SMB serwowanych przez klastrową Sambę na CephFS. Pulpity przekierowują Dokumenty, Pulpit, AppData i resztę do udziału Samby opartego na CephFS, a klaster Samby obsługuje przełączanie awaryjne. Żadnego kontenera profilu: pliki leżą w systemie plików jako zwykłe pliki, a CephFS zajmuje się replikacją. To prostsze w zarządzaniu, prostsze w kopiach zapasowych i całkowicie omija licencjonowanie FSLogix, co przydaje się, jeśli koszt licencji jest problemem albo po prostu chcesz mniej ruchomych części. Tak czy inaczej profile leżą na twoim własnym storage\u0026rsquo;u, w tej samej puli Ceph, a kosztem jest dysk, który już kupiłeś.\nGdy KSM odzyskuje pamięć, bcache odzyskuje opóźnienia storage\u0026rsquo;u, a profile lądują na Ceph, czy to przez FSLogix na S3, czy przez przekierowanie folderów na CephFS, jeden host Proxmox z dyskami HDD i umiarkowaną ilością RAM obsługuje więcej pulpitów, niż sugeruje karta katalogowa. Azure liczy za każdy gigabajt wszystkich trzech. Tutaj infrastruktura robi tę robotę za darmo.\nKopie zapasowe, odporność i zgodność Trzymanie wszystkiego wewnątrz VDI to nie tylko decyzja kosztowa. To decyzja dotycząca zgodności i odporności.\nGdy pulpit żyje na serwerze, dane żyją na serwerze. Nic nie ląduje na urządzeniu użytkownika. Skradziony laptop to utracony ekran, a nie utracony zbiór danych. Nie ma lokalnego dysku do szyfrowania, lokalnej kopii do wyniesienia ani punktu końcowego do kryminalistycznego obrazowania po włamaniu. Dane nigdy nie opuściły infrastruktury, którą kontrolujesz.\nTo sprawia, że kopie zapasowe są proste. Dyski maszyn i magazyny profili są na Ceph, a migawki Ceph są atomowe i natychmiastowe. Jedna polityka migawek obejmuje każdy pulpit i każdy profil. Przywrócenie pulpitu do wczorajszego stanu to wycofanie migawki, a nie przebudowa. Przywrócenie profilu to ta sama operacja na innej puli. Celem kopii jest klaster, a nie dwadzieścia rozrzuconych punktów końcowych.\nUpraszcza to też zgodność. Miejsce przechowywania danych łatwo udowodnić, gdy dane są na sprzęcie, który posiadasz, w szafie, którą możesz wskazać palcem, w jurysdykcji, którą wybrałeś. Ślady audytowe leżą w twoich własnych logach. Dostęp jest bramkowany politykami Cloudflare, które sam napisałeś, uwierzytelniany przez IdP, który sam prowadzisz, i rejestrowany przez systemy, które kontrolujesz. Między tobą a dowodami, o które prosi audytor, nie stoi żaden zewnętrzny dostawca chmury.\nOdporność idzie tą samą drogą. Martwa maszyna z pulpitem to nowa maszyna ze złotego obrazu z ponownie podpiętym profilem. Użytkownik loguje się jeszcze raz i pulpit wraca. Nie ma punktu końcowego do przebudowy, systemu do ponownego wgrania ani sprzętu do wysyłki. Jednostką odtwarzania jest maszyna wirtualna, a jej uruchomienie zajmuje minuty.\nZ czego rezygnujesz To nie jest darmowe w każdym sensie. Rzeczy, którymi zajmuje się Azure Virtual Desktop, a ten stos nie:\nMicrosoft zarządza łatkami i aktualizacjami. Tutaj robisz to ty. Intune i Endpoint Manager integrują się natywnie z AVD. Tutaj zarządzasz maszynami Windows sam albo narzędziami, które wybierzesz. Sieć Azure to problem Azure. Tutaj twoje łącze internetowe jest drogą do pulpitu. Jeśli padnie, pulpity są nieosiągalne, dopóki nie wróci. Skalowanie w Azure jest na wyciągnięcie karty kredytowej. Tutaj skalowanie oznacza kupno kolejnej karty albo kolejnego hosta. AVD domyślnie daje użytkownikowi pełny zestaw funkcji RDP. Tutaj ścieżka przeglądarkowa celowo odcina schowek, dźwięk i wiele monitorów. Użytkownicy, którzy potrzebują tych funkcji, dostają natywnego klienta RDP przez ten sam tunel i tę samą politykę, ale domyślna jest zamknięta przeglądarka, i to jest właściwe ustawienie domyślne dla pracowników na własnym sprzęcie. Nic z tego nie jest błahe. Czy ma to znaczenie, zależy od tego, co masz: jeśli już prowadzisz Proxmoxa, już zarządzasz Windowsem i już masz kogoś, kto zaopiekuje się hiperwizorem, to wszystko to są rzeczy, które już robisz. Jeśli nie, to Azure sprzedaje ci ludzi, których nie masz, a to jest naprawdę coś warte.\nPytanie brzmi, czy jest warte £18 000 rocznie za 42 podstawowe pulpity, albo £136 000 za te z GPU, co roku, plus sieć, kopie zapasowe, IPv4 i licencje na wierzchu, z ceną ustalaną przez kogoś innego, sprzętem należącym do kogoś innego i rachunkiem w walucie, której nie kontrolujesz. Czy też wydajesz £5400 rocznie na sprzęt i prąd, a resztę zatrzymujesz.\nTo właśnie przedstawia ten wpis. Następny to buduje: tunel cloudflared, LXC, reguły firewalla Proxmoxa, politykę Cloudflare Access i działający pulpit w karcie przeglądarki.\nŹródła Azure Virtual Desktop pricing — moc obliczeniowa, storage i sieć rozliczane osobno, ponad uprawnienie z Microsoft 365.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nWindows 365 plans and pricing — stała kwota za użytkownika na miesiąc, konfiguracje z GPU w poziomie Enterprise.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCloudflare Zero Trust pricing — darmowy do 50 użytkowników, płatność za użycie od 51. użytkownika.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nIntel Arc Pro B60 specifications — 24 GB GDDR6, 20 rdzeni Xe2, PCIe 5.0 x8, SR-IOV z maksymalnie 7 funkcjami wirtualnymi.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nIntel Arc Pro B70 specifications — 32 GB GDDR6, 32 rdzenie Xe2, PCIe 5.0 x16, SR-IOV z maksymalnie 4 funkcjami wirtualnymi.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nWindows 11 Licensing for Virtual Desktops — Software Assurance na kwalifikującym się systemie (np. Pro) podnosi go do Enterprise, dając prawa VDI do czterech maszyn na użytkownika na twoim własnym serwerze on-prem.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\n","permalink":"https://blogs.damiendye.uk/pl/networking/zero-trust-vdi-cloudflare-access/","summary":"Część pierwsza: architektura i rachunek kosztów zastąpienia Azure Virtual Desktop przez Proxmox, Intel Arc Pro SR-IOV i Cloudflare Access. OAuth on-prem dla tożsamości, RDP renderowany prosto w przeglądarce, tunel w LXC za firewallem na własnym VLAN-ie, KSM dla gęstości pamięci i profile na Ceph. Następny wpis to buduje.","title":"VDI Zero Trust bez rachunku za chmurę: Proxmox, Intel Arc Pro i Cloudflare Access"},{"content":"Ping nie jest narzędziem diagnostycznym. Jest tunelem. Echo ICMP (żądanie, które maszyna wysyła, i odpowiedź, którą dostaje z powrotem) przeniesie dowolne bajty, jakie w nim umieścisz, w obu kierunkach, po protokole, który większość zapór przepuszcza bez inspekcji, a większość systemów logowania zlicza, zamiast czytać. Sieć, która „przepuszcza tylko ping”, ma już pełny, szyfrowalny VPN na zewnątrz, a każdy, kto może dosięgnąć tej sieci, potrafi go napędzić.\nTo jest stare i jest udokumentowane. Loki1 opublikował tę technikę w Phrack 49 w 1996 roku. Ptunnel2 przenosi całe sesje TCP wewnątrz pinga od dwudziestu lat i jest o jedną instalację pakietu na dowolnej maszynie z Linuksem. Żadnego zero-daya. Protokół zachowujący się dokładnie tak, jak go wyspecyfikowano.\nTaka jest przyczyna: standard, a nie błąd w czyimś produkcie. Każdy host na świecie jest zobowiązany, by wziąć dane z żądania echa i oddać je prosto z powrotem, bez zmian. Dowolne dane do środka, te same dane na zewnątrz: to jest całość tego, czego potrzebuje tunel, i jest to nakazane od 1981 roku.\nNaprawa to jedna wąska zmiana. Odrzuć echo ICMP, żądanie i odpowiedź, na IPv4 i IPv6, na granicy, a zachowaj każdy inny komunikat ICMP. Błędy, Time Exceeded, Packet Too Big, Destination Unreachable, są nośne; zablokuj je, a zepsujesz Path MTU Discovery i traceroute za nic. Więc to nie jest „zablokuj ICMP”. To odrzuć ten jeden komunikat, który jest zagrożeniem, i zachowaj te, które niosą prawdę.\nCo twoja reguła ruchu wychodzącego naprawdę dopuściła Jeśli prowadzisz sieć, w której ruch wychodzący jest filtrowany (a jeśli nie, to osobna rozmowa), to jest to rachunek za jedną linię w tej regule. Polityka, która mówi „blokuj wszystko na zewnątrz, dopuść ICMP, bo musimy pingować różne rzeczy”, nie jest polityką ruchu wychodzącego. Jest pełnym tunelem z dokumentacją złożoną pod hasłem diagnostyka. Cokolwiek w środku potrafi wysłać żądanie echa i odczytać odpowiedź, może przenieść dane wszędzie na zewnątrz, co na nie odpowie, z taką przepustowością, jaką łącze udźwignie, i obok każdej kontroli treści, za którą zapłaciłeś. W logach to ktoś sprawdza, czy internet działa, i nic więcej. Złośliwe oprogramowanie dostarcza to od lat dokładnie z tego powodu. Cicho, standardowo i zwykle już dopuszczone.\nDlatego jest to kanał pierwszego wyboru dla kogoś, kto już jest w środku, a być go nie powinno. To zasiedzenie, a nie napad z wyłamaniem. Ktoś, kto szuka trwałej drogi do środka i na zewnątrz, unika portu, który wywołuje alert. Stawia tunel na echu i zostawia go działającym przez miesiące. Host, który dużo pinguje, to host, którego nikt nie obserwuje. Dwukierunkowa łączność do majątku: polecenia do środka, dane na zewnątrz, po jednym protokole, którego nikt nie ogranicza przepustowością, nie alarmuje ani nie czyta. I jest szyfrowany, tak jak szyfruje go każde prawdziwe narzędzie, więc na łączu ładunek to losowo wyglądające bajty, które ping i tak niesie, a inspekcja treści nie ma nic do odczytania. Rozmiar i czas wciąż mogą go zdradzić komuś, kto naprawdę patrzy. Zajrzenie do wnętrza pakietu nie może.\nA maszyna, która go napędza, nie musi należeć do kogokolwiek, kto tam pracuje. Wystarczy coś, co potrafi dosięgnąć twojej sieci i wypuścić pinga do internetu, a dosięgnięcie twojej sieci jest łatwiejsze, niż ktokolwiek chciałby przyznać. WiFi niesie się poza mury, do korytarza, na parking, do mieszkania na górze. Port ethernet w ścianie sali konferencyjnej, w recepcji albo przy pustym biurku pod oknem, bardzo często jest aktywny i odezwie się do wszystkiego, co podepniesz, bez żadnego 802.1X pytającego, kim jesteś. Sygnał w zasięgu albo gniazdo, którego nikt nie zabezpieczył. To jest opłata wstępna. Bez identyfikatora, bez konta, bez zaproszenia.\nWyobraź sobie gościa, którego naprawdę zaprosiłeś. Jest na spotkaniu, miły, robi notatki, wnosi coś od siebie. Jego laptop nie. W chwili, gdy dosięgnął twojej sieci, przez powietrze albo przez port pod stołem, znalazł się za murem, a jeśli ta sieć potrafi wyemitować żądanie echa, ma drogę na zewnątrz. Nic nie zostało podrzucone w twoim majątku. Żadnego konta, żadnych uprawnień do czegokolwiek, co posiadasz, nic, co twoje agenty na punktach końcowych mogłyby złapać, bo twoich agentów nie ma na jego maszynie. Osoba siedzi po drugiej stronie stołu. Ruch wychodzi przez twoje frontowe drzwi, zaszyfrowany, nie do odróżnienia od laptopa, który pinguje więcej, niż powinien.\nGość w zasięgu sygnału albo przy otwartym porcie dostaje tunel na zewnątrz przez zaporę, która widzi tylko pingi Gość w zasięgu albo przy otwartym porcie dostaje drogę na zewnątrz wewnątrz muru: twoja sieć WiFi sięga korytarza, parkingu, mieszkania na górze laptop gościa bez identyfikatora, bez konta aktywny port w ścianie bez 802.1X pytającego, kim jesteś zapora graniczna widzi tylko pingi serwer w internecie żądanie echa\u0026#160;\u0026#8594; \u0026#8592;\u0026#160;odpowiedź echa dowolny ruch IP, zaszyfrowany, jadący wewnątrz pingów Opłatą wstępną jest dostęp do sieci, czyli sygnał WiFi w zasięgu albo aktywny port w ścianie bez 802.1X, a wyjściem jest echo przez granicę. Dla zapory to host, który pinguje; wewnątrz tych pingów jest dowolny ruch IP, zaszyfrowany, zmierzający do serwera w internecie. Dwie rzeczy, po które sięgniesz, nie pomagają. NAT to tablica translacji, a nie filtr: żądanie echa od wewnętrznego hosta otwiera mapowanie oparte na identyfikatorze ICMP, który NAT traktuje dokładnie tak, jak traktuje port, a odpowiedź wraca przez nie jak każdy inny przepływ. Uruchomiłem klienta za moim własnym domowym NAT-em i nigdy nie zauważył, że NAT w ogóle tam jest. Osobny gościnny VLAN nie jest lepszy. Segregacja trzyma gościa z dala od twoich serwerów, ale nie robi nic, by trzymać go z dala od internetu, a internet, dosięgnięty pingiem, to cały wymóg. Jedna kontrola tego dotyczy: czy ta sieć wypuszcza echo?\nNie da się tego usunąć inspekcją ani segregacją. Zamykasz drzwi. Wszystko po tym to wyjaśnienie, dlaczego standard zostawia je otwarte, trzy sposoby na zbudowanie tunelu, żeby teza stała na czymś więcej niż moim słowie, oraz ta jedna zmiana, która to zamyka.\nCzęść ICMP, która nie jest ci nic winna użytecznego Zacznij od tego, co naprawdę mówi standard, bo cały argument opiera się na jednym zdaniu, a ludzie machają na nie ręką, nie czytając go.\nŻądanie echa niesie pole danych. W IPv4 RFC 7923 mówi wprost, że \u0026ldquo;the data received in the echo message must be returned in the echo reply message\u0026rdquo;. IPv6 zaostrzyło to sformułowanie, zamiast je rozluźnić: RFC 44434 definiuje to pole jako \u0026ldquo;zero or more octets of arbitrary data\u0026rdquo;, a następnie wymaga, by \u0026ldquo;MUST be returned entirely and unmodified in the ICMPv6 Echo Reply message\u0026rdquo;.\nOdczytaj to jako operator, a jest to keepalive. Odczytaj to jako ktoś przenoszący dane, a jest to prezent. Standard zobowiązuje każdy osiągalny host, by przyjął blok bajtów, który wybierzesz, i odesłał je prosto z powrotem do ciebie, bez zmian, na żądanie. Dowolna długość. Dowolna treść. Bez uzgadniania, bez portu, bez aplikacji po drugiej stronie, która musiałaby się na cokolwiek zgodzić. Robi to jądro, zanim jakikolwiek proces w przestrzeni użytkownika zdąży cokolwiek zobaczyć.\nI dotyczy to obu rodzin. Przejście na IPv6 tego nie uprząta. Otwiera to szerzej. RFC 792 mówiło, że dane \u0026ldquo;must be returned\u0026rdquo;; RFC 4443 mówi, że \u0026ldquo;MUST be returned entirely and unmodified\u0026rdquo;, a to te same drzwi z mocniejszym zamkiem trzymającym je otwarte. Jako taki kanał istnieje na echu ICMP i na echu ICMPv6 tak samo, a reguła, która zamyka go w jednej rodzinie, a nie w drugiej, nie zamknęła niczego. Tunel po prostu przenosi się do rodziny, którą zostawiłeś otwartą. Cokolwiek z tym robisz, zrób to na ip i ip6 razem.\nNic innego w protokole tego nie robi. Time Exceeded niesie nagłówek pakietu, który zginął, i nic więcej. Destination Unreachable to raport o czymś, co już się wydarzyło. Te komunikaty mówią ci fakty o sieci. Echo niesie to, co w nim umieścisz, w obu kierunkach, i nazywa to diagnostyką.\nBłędy są nośne. Echo nie. To jest rozróżnienie, którego ekipa „po prostu zablokuj ICMP” nigdy nie robi, a jest w tym cały sens, więc zrobię je raz i porządnie.\nBlokowanie błędów ICMP psuje sieć po cichu. Odfiltruj Packet Too Big, a zabijesz Path MTU Discovery: uzgadnianie się kończy, małe transfery działają, a cokolwiek niesie pakiet pełnego rozmiaru, wisi w nieskończoność z niczym w logach. Na IPv6 to nawet nie jest kwestia gustu. Routery nie fragmentują, więc RFC 48905 wymienia Packet Too Big wśród komunikatów, których zapora \u0026ldquo;must not drop\u0026rdquo;, i ostrzega, że bez niego \u0026ldquo;parts of the Internet will become inaccessible\u0026rdquo;. Odfiltruj Time Exceeded, a zepsujesz traceroute, który RFC 18126 wskazuje jako powód, dla którego ten komunikat jest obowiązkowy w pierwszej kolejności. To nie są opcje. To sprzężenie zwrotne, które czyni sieć samokorygującą się, a koszt ich utraty opisałem obszernie poprzednio.\nTeraz odrzuć echo i poszukaj, co się zepsuło. ping przez granicę przestaje działać. To cała lista. Cała lista.\nPath MTU Discovery ma to w nosie, bo działa na Packet Too Big, które jest błędem. Traceroute ma to w nosie, bo traceroute -T i -U chodzą po TCP i UDP i czytają błędy, które wracają. Żaden z nich nie wysyła echa. Neighbour Discovery na IPv6 ma to w nosie, bo to typy od 133 do 137, a te zachowujesz, inaczej segment umiera. Sztuczka z odwróconym TTL z poprzedniego wpisu działa na dowolnej odpowiedzi, a uzgadnianie TCP ci ją daje. Wszystko, co sprawiało, że diagnostyka z poprzedniego wpisu działała, działa dalej, bo ani jeden pomiar w nim nie wysłał żądania echa.\nWięc dwie połowy protokołu nie mogłyby być bardziej różne. Jedna połowa to sieć mówiąca ci prawdę o sobie, i psujesz ją na własne ryzyko. Druga połowa to nakazana usługa odsyłania ładunku, która akurat nazywa się diagnostyką, a najsilniejsze, co ktokolwiek może powiedzieć na rzecz trzymania jej otwartą, to że ping jest poręczny. Jest poręczny. Jest też jedyną częścią ICMP, którą napastnik może napędzić, i mogę ci pokazać dokładnie, czym ją napędza.\nZachowaj błędy ICMP, z ograniczeniem przepustowości; odrzuć tylko echo, oba kierunki i obie rodziny Dwie połowy jednego protokołu, a tylko jedna z nich jest zagrożeniem ZACHOWAJ ograniczaj tempo, nie blokuj Destination Unreachable niesie, dlaczego pakiet nie mógł zostać dostarczony Packet Too Big Path MTU Discovery od niego zależy Time Exceeded traceroute od niego zależy Parameter Problem zgłasza zniekształcony nagłówek Neighbour Discovery 133\u0026#8211;137 IPv6: lokalny segment od niego zależy Zepsuj te, a sieć psuje się po cichu. ODRZUĆ oba kierunki, obie rodziny Żądanie echa typ 8 (IPv4) · typ 128 (IPv6) Odpowiedź echa typ 0 (IPv4) · typ 129 (IPv6) Nic nie potrzebuje tych poza poleceniem ping . Wszystko, co napędza napastnik przez ICMP, idzie przez nie. Tunel zostawiony otwarty w jednej rodzinie nie jest zamknięty. Błędy ICMP są nośne: Path MTU Discovery, traceroute i Neighbour Discovery w IPv6 zależą od nich wszystkich, a zablokowanie ich psuje sieć po cichu. Echo to jedyna część, od której nic nie zależy poza ping, i jedyna część, którą napastnik może napędzić. Odrzuć to, zachowaj resztę, w obu rodzinach. Dowód: VPN zrobiony z pinga Narzędziem jest Hans7, napisany przez Friedricha Schöllera. Jego własny opis to jedna linia: \u0026ldquo;makes it possible to tunnel IPv4 through ICMP echo packets, so you could call it a ping tunnel.\u0026rdquo; Podnosi interfejs tun na każdym końcu, nadaje im adresy i przenosi każdy pakiet między nimi wewnątrz echa ICMP. Dla sieci pośrodku to ktoś pingujący serwer i serwer odpowiadający. Dla mnie to trasa.\nCały pakiet IP podróżuje wewnątrz pola danych jednego pinga Cały pakiet jedzie wewnątrz jednego pinga Pakiet, który wysyła twoja sesja SSH nagłówek IP źr. / cel nagłówek TCP port 22 dane aplikacji twoje naciśnięcia klawiszy, twój plik Hans kopiuje cały pakiet do pola danych echa Pakiet, który wychodzi na łącze nagłówek IP ty do serwera żądanie echa ICMP typ 8 · id · seq pole danych echa cały pakiet powyżej, bez zmian Dla zapory granicznej to jedno żądanie echa, a log zapisuje pinga. Wewnątrz pola danych jest pakiet zmierzający wszędzie, dokąd drugi koniec sięga. Standard wymaga, by drugi koniec odesłał te dane prosto z powrotem, więc odpowiedź też jest pakietem. Każdy pakiet, który niesie tunel, jest kopiowany do pola danych żądania echa ICMP. Standard zobowiązuje drugi koniec, by oddał te dane bez zmian, więc odpowiedź też niesie pakiet. Zapora zlicza pinga; ładunek idzie wszędzie, dokąd drugi koniec potrafi trasować. Uruchomiłem go na własnym łączu, serwer na adresie publicznym i klient za moim domowym NAT-em, i przepchnąłem przez niego prawdziwy ruch. Nie syntetyczne pingi z ustawioną flagą. Logowanie SSH i pobranie pliku, jadące wewnątrz echa.\nJest o jedną instalację pakietu tam, gdzie uruchomiłem serwer, a wszędzie indziej buduje się ze źródeł Schöllera. Serwer musi być na Linuksie i potrzebuje roota, bo otwarcie urządzenia tun i surowego gniazda ICMP tego wymaga. Składnia jest celowo mała:\n# on the server (public IP), pick the tunnel network and a password hans -s 10.8.0.0 -p \u0026#39;\u0026lt;password\u0026gt;\u0026#39; # server takes 10.8.0.1; clients are handed 10.8.0.2 and up # on the client, point it at the server\u0026#39;s public address hans -c \u0026lt;server-public-ip\u0026gt; -p \u0026#39;\u0026lt;password\u0026gt;\u0026#39; Gdy oba końce są podniesione, po każdej stronie jest nowy interfejs z adresem w sieci tunelu i zachowuje się jak każde inne łącze punkt-punkt:\nNic w tej sesji nie wie, że jest wewnątrz pinga. SSH otwiera połączenie TCP do 10.8.0.1, jądro trasuje je przez tun0, Hans pakuje każdy pakiet jako ładunek żądania echa, a drugi koniec go rozpakowuje i podaje własnemu tun0. Odpowiedź wraca jako ładunek odpowiedzi echa. Z punktu widzenia SSH rozmawia po zwykłym łączu. Z punktu widzenia zapory nikt niczego nie otworzył. Host jest pingowany.\nJak to wygląda na łączu To jest część, która kończy spór, więc patrz z perspektywy zapory, a nie mojej.\nTo, co naprawdę się dzieje, i to, co loguje zapora, to nie ten sam obraz Jeden tunel, dwa obrazy Co naprawdę się dzieje twój host tun0 · 10.8.0.2 serwer tun0 · 10.8.0.1 wszędzie, dokąd może sięgnąć SSH, pobrania plików trasowane na zewnątrz dowolny ruch IP, przez tunel jako zwykłe pakiety Co zapora graniczna widzi i loguje twój host 198.51.100.9 serwer 192.0.2.7 żądanie echa odpowiedź echa icmp echo request 198.51.100.9 \u0026gt; 192.0.2.7 icmp echo reply 192.0.2.7 \u0026gt; 198.51.100.9 icmp echo request 198.51.100.9 \u0026gt; 192.0.2.7 ... liczone jako pingi, treść nieczytana To samo łącze. Zapora nigdy nie widzi pakietów w środku. Tunel przenosi prawdziwy ruch między dwoma hostami, a potem na zewnątrz, wszędzie, dokąd serwer sięga. Na granicy to tylko żądanie echa i odpowiedź echa: zapora loguje pingi i nigdy nie widzi pakietów niesionych w środku. Usiądź na interfejsie zewnętrznym z tcpdump i przechwyć tylko ICMP, gdy trwa sesja SSH. Żaden TCP do portu 22 nie przekracza granicy. To, co ją przekracza, to żądanie echa i odpowiedź echa, tam i z powrotem, każde grubsze niż prawdziwy ping, bo niesie wycinek segmentu TCP w swoim ładunku:\n# on the boundary, watch only ICMP echo while traffic runs over the tunnel tcpdump -ni \u0026lt;wan-iface\u0026gt; \u0026#39;icmp[icmptype] = icmp-echo or icmp[icmptype] = icmp-echoreply\u0026#39; Odczytaj dwie rzeczy, które mają znaczenie w tym przechwyceniu. Po pierwsze, długości ładunku: normalny ping wysyła 56 bajtów i każda linia jest tego samego rozmiaru, a te zmieniają się i są duże, bo rozmiar rzeczy, którą przenosisz, przecieka w rozmiar pinga. Po drugie, tempo: ping diagnostyczny to jeden na sekundę, a to powódź, bo przenosi plik. Żadne z nich nie jest ukryte. Oba siedzą na widoku, na protokole, na który nikt nie patrzy.\nI w tym cały sens. Nie w tym, że to sprytne albo trudne do wypatrzenia, gdy już spojrzysz. Prawie nikt nie patrzy, bo urządzenie jest skonfigurowane, by dopuszczać ICMP, logi liczą to jako pingi, a alarmowanie dostrojono pod porty, o które ktoś pamiętał, by się martwić. Ruch wychodzi, wyglądając jak kontrola stanu, a kontrola stanu to trasa wszędzie, dokąd serwer sięga.\nPrawdziwy VPN pełnotunelowy, zbudowany ręcznie Hans dowodzi, że kanał tam jest, ale robi za ciebie interfejs i adresowanie i oddaje ci trasę, więc nie do końca pokazuje, co zbudowałeś. Żeby zobaczyć, że to VPN w pełnym sensie, czyli ruch całej maszyny wychodzący przez ping, a nie łącze między dwoma nazwanymi hostami, złóż to ręcznie. icmptunnel8, autorstwa Dhavala Kapila, jest do tego, a jego własny opis to jedna linia: \u0026ldquo;Transparently tunnel your IP traffic through ICMP echo and reply packets.\u0026rdquo; Ten sam pomysł, urządzenie tun i ładunki echa, ale instalację układasz sam i nic nie chowa się w pliku binarnym.\nNa serwerze uruchamiasz tunel, podnosisz interfejs, a potem robisz rzecz, która zdradza całą grę: mówisz jądru, by samo przestało odpowiadać na pingi, żeby jego własne odpowiedzi echa nie walczyły z tymi, które wysyła tunel.\nsudo ./icmptunnel -s 10.0.1.1 # server mode; creates tun0, then blocks # from a second shell, bring the interface up (iproute2, not the net-tools the repo ships) sudo ip addr add 10.0.1.1/24 dev tun0 sudo ip addr add 2001:db8:1::1/64 dev tun0 sudo ip link set tun0 mtu 1472 up # 1500 − 20 (IP) − 8 (ICMP); see below # stop the kernel replying to pings — echo now belongs to the tunnel sudo sysctl -w net.ipv4.icmp_echo_ignore_all=1 sudo sysctl -w net.ipv6.icmp.echo_ignore_all=1 # let the server route the client\u0026#39;s packets onward sudo sysctl -w net.ipv4.ip_forward=1 Przeczytaj linię icmp_echo_ignore_all jeszcze raz, bo mówi więcej, niż na to wygląda. To pokrętło jest własne jądra i wysyłane jest jako obrona: ustaw je, a, słowami jądra, \u0026ldquo;will ignore all ICMP ECHO requests sent to it\u0026rdquo;9, więc operator może zdjąć host z radaru pingów całkowicie. Jest teraz w obu rodzinach. net.ipv4.icmp_echo_ignore_all od lat, a net.ipv6.icmp.echo_ignore_all dodane później, by to dopasować.10 Tunel przełącza ten obronny przełącznik w przeciwnym celu: gdy jądro nie odpowiada już samo na echo, jego dwa końce mogą swobodnie używać echa jako czystego transportu. I to jest znak. Ludzie, którzy napisali stos, już traktują echo jako coś, czego host może rozsądnie odmówić, a reguła z tego wpisu podejmuje tę samą decyzję raz, na granicy, dla każdego hosta za nią.\nNa kliencie podnosisz interfejs, a potem kierujesz trasę domyślną w dół, przez niego. Nie jeden host osiągany przez tunel. Wszystko.\nsudo ./icmptunnel -c \u0026lt;server-public-ip\u0026gt; # client mode; creates tun0 sudo ip addr add 10.0.1.2/24 dev tun0 sudo ip addr add 2001:db8:1::2/64 dev tun0 sudo ip link set tun0 mtu 1472 up # keep the route to the server itself OUT of the tunnel... sudo ip route add \u0026lt;server-public-ip\u0026gt; via \u0026lt;gateway\u0026gt; dev \u0026lt;iface\u0026gt; # ...then send everything else down it sudo ip route replace default dev tun0 Własne client.sh i server.sh projektu wciąż sięgają po net-tools ifconfig i route. Powyższe polecenia ip to odpowiedniki z iproute2 i robią tę samą robotę. Ta trasa do serwera to linia, o której ludzie zapominają: trzymaj ją poza tunelem, bo inaczej pakiety echa niosące tunel próbują podróżować w dół tunelu, i nic nie wychodzi. Wszystko inne idzie teraz przez tun0, opakowane w echo, i dociera do serwera. Czy pójdzie dalej, to wybór trasowania. Pojedyncza reguła maskarady na serwerze wystawiłaby je do publicznego internetu pod własnym adresem serwera, i celowo jej tu nie ma, bo pokazywaną rzeczą jest tunel, a on jej nie potrzebuje.\nTo jest VPN pełnotunelowy, zbudowany z pinga w garstce poleceń. Każdy pakiet, który klient wysyła, web, DNS, SSH, wszystko, jest wychwytywany do tun0 i wychodzi jako żądanie echa do serwera, a odpowiedzi wracają jako odpowiedzi echa. Maszyna w sieci, która „przepuszcza tylko ICMP”, właśnie oddała cały swój ruch wychodzący pudełku na zewnątrz, a granica zalogowała host, który lubi pingować.\nZrobione samemu, w Pythonie Oto część, która powinna zaniepokoić każdego, kto liczy na obronę przed tym przez wypatrywanie narzędzia. Ani Hans, ani icmptunnel nie robi niczego, czego nie napisałbyś sam w jedno popołudnie. Otwórz urządzenie tun, opakuj każdy pakiet jako ładunek żądania echa, rozpakuj te, które wracają. To cały mechanizm, a goły tunel to jakieś sześćdziesiąt linii Pythona ze standardowej biblioteki, bez niczego do instalowania w ogóle. Wersja poniżej dodaje na wierzchu jedną rzecz: szyfruje ładunek, i to jedyna część, która ściąga zależność.\n#!/usr/bin/env python3 # pingvpn.py — a VPN tunnel over ICMP echo, in one short file. # # Not a product. It exists to show the channel is trivial to rebuild, so a # defence that hunts for a known tool is chasing the wrong thing entirely. # Linux, needs root (a tun device and a raw ICMP socket both do), and the # `cryptography` package for the AES (pip install cryptography). # # server: sudo python3 pingvpn.py --server # client: sudo python3 pingvpn.py --client \u0026lt;server-public-ip\u0026gt; # # The payload is encrypted with AES-128-GCM under a pre-shared key before it # goes on the wire, so what a firewall sees in the echo data is random bytes — # the same as a real ping\u0026#39;s padding, and nothing for content inspection to read. import argparse import fcntl import hashlib import os import select import socket import struct import sys from cryptography.hazmat.primitives.ciphers.aead import AESGCM TUNSETIFF = 0x400454CA IFF_TUN = 0x0001 IFF_NO_PI = 0x1000 MAGIC = 0x4954 # \u0026#39;IT\u0026#39; in the id field, so we ignore real pings ECHO_REQUEST = 8 ECHO_REPLY = 0 PSK = b\u0026#34;change-me-to-a-shared-secret\u0026#34; # pre-shared secret, both ends KEY = hashlib.sha256(PSK).digest()[:16] # 128-bit key -\u0026gt; AES-128-GCM AEAD = AESGCM(KEY) def open_tun(name=b\u0026#34;tun0\u0026#34;): fd = os.open(\u0026#34;/dev/net/tun\u0026#34;, os.O_RDWR) fcntl.ioctl(fd, TUNSETIFF, struct.pack(\u0026#34;16sH\u0026#34;, name, IFF_TUN | IFF_NO_PI)) return fd def encrypt(data): # -\u0026gt; nonce || ciphertext+tag nonce = os.urandom(12) return nonce + AEAD.encrypt(nonce, data, None) def decrypt(blob): # raises on a packet that is not ours return AEAD.decrypt(blob[:12], blob[12:], None) def checksum(data): if len(data) % 2: data += b\u0026#34;\\x00\u0026#34; total = sum(struct.unpack(\u0026#34;!%dH\u0026#34; % (len(data) // 2), data)) total = (total \u0026gt;\u0026gt; 16) + (total \u0026amp; 0xFFFF) total += total \u0026gt;\u0026gt; 16 return ~total \u0026amp; 0xFFFF def build_echo(icmp_type, payload): head = struct.pack(\u0026#34;!BBHHH\u0026#34;, icmp_type, 0, 0, MAGIC, 0) csum = checksum(head + payload) return struct.pack(\u0026#34;!BBHHH\u0026#34;, icmp_type, 0, csum, MAGIC, 0) + payload def main(): ap = argparse.ArgumentParser(description=\u0026#34;a VPN tunnel over ICMP echo\u0026#34;) group = ap.add_mutually_exclusive_group(required=True) group.add_argument(\u0026#34;--server\u0026#34;, action=\u0026#34;store_true\u0026#34;) group.add_argument(\u0026#34;--client\u0026#34;, metavar=\u0026#34;SERVER_IP\u0026#34;) args = ap.parse_args() out_type = ECHO_REQUEST if args.client else ECHO_REPLY in_type = ECHO_REPLY if args.client else ECHO_REQUEST peer = args.client # None on the server until a client is seen tun = open_tun() sock = socket.socket(socket.AF_INET, socket.SOCK_RAW, socket.IPPROTO_ICMP) print(\u0026#34;tun0 created. bring it up with an address and route, then send traffic.\u0026#34;, file=sys.stderr) while True: readable, _, _ = select.select([tun, sock], [], []) if tun in readable: # a packet wants to leave this host packet = os.read(tun, 65535) if peer: sock.sendto(build_echo(out_type, encrypt(packet)), (peer, 0)) if sock in readable: # something arrived over ICMP data, _ = sock.recvfrom(65535) ihl = (data[0] \u0026amp; 0x0F) * 4 # skip the IP header the kernel adds icmp = data[ihl:] if len(icmp) \u0026lt; 8 or icmp[0] != in_type or icmp[4:6] != struct.pack(\u0026#34;!H\u0026#34;, MAGIC): continue try: packet = decrypt(icmp[8:]) # wrong key or a real ping -\u0026gt; skip except Exception: continue if args.server: peer = socket.inet_ntoa(data[12:16]) # reply to whoever sent os.write(tun, packet) # hand the carried packet to the stack if __name__ == \u0026#34;__main__\u0026#34;: main() To cały tunel. Otwiera tun0 i surowe gniazdo ICMP i przewozi pakiety między nimi: to, co opuszcza host, jest opakowane jako żądanie echa, albo odpowiedź echa na serwerze, i wysłane na drugi koniec; to, co przychodzi po ICMP, jest rozpakowane i oddane z powrotem stosowi. Pole id jest przypięte do jednej wartości, żeby przeskakiwało prawdziwe pingi, a serwer dowiaduje się, dokąd odpowiadać, ze źródła pierwszego pakietu, który widzi.\nSzyfrowanie to część warta zatrzymania się, bo to robią prawdziwe narzędzia i dlatego nie złapiesz tego, patrząc do wnętrza pakietu. Ładunek jest zapieczętowany AES-128-GCM pod kluczem współdzielonym, zanim zostanie opakowany, więc bajty w danych echa są nie do odróżnienia od losowego wypełnienia, które niesie prawdziwy ping. Wytnij dwie linie kryptografii, a tunel wciąż działa na niczym poza standardową biblioteką: jedyny powód, dla którego potrzebuje pip install cryptography, to AES, a AES to dokładnie ta część, która zamienia czytelny tunel w nieczytelny. Podnieś go tak samo jak wcześniej, bez maskarady. Nie potrzebujesz jej, by dowieść tezy:\n# server: start it (creates tun0, then blocks), then configure from the same shell sudo python3 pingvpn.py --server \u0026amp; sudo ip addr add 10.9.0.1/24 dev tun0 sudo ip addr add 2001:db8:9::1/64 dev tun0 sudo ip link set tun0 mtu 1400 up sudo sysctl -w net.ipv4.icmp_echo_ignore_all=1 sudo sysctl -w net.ipv6.icmp.echo_ignore_all=1 # client sudo python3 pingvpn.py --client \u0026lt;server-public-ip\u0026gt; \u0026amp; sudo ip addr add 10.9.0.2/24 dev tun0 sudo ip addr add 2001:db8:9::2/64 dev tun0 sudo ip link set tun0 mtu 1400 up sudo sysctl -w net.ipv4.icmp_echo_ignore_all=1 sudo sysctl -w net.ipv6.icmp.echo_ignore_all=1 sudo ip route add \u0026lt;server-public-ip\u0026gt; via \u0026lt;gateway\u0026gt; dev \u0026lt;iface\u0026gt; sudo ip route replace default dev tun0 Powód, by to rozpisać, nie jest narzędziem. Jest nim to, że narzędzie jest jednorazowe. Krótki plik, bez zależności, dopóki nie dodasz szyfrowania, a każda kopia, którą ktoś wpisze, wygląda na łączu trochę inaczej. Więc sygnatura, która łapie tę jedną, nie łapie niczego w przyszłym tygodniu. Nie da się wyblokować z tego, nazywając oprogramowanie, bo nie ma oprogramowania do nazwania.\nNie potrzebuje nawet powłoki. Logika to bajty do środka, bajty na zewnątrz, więc przenosi się na wszystko, co potrafi otworzyć gniazdo. Nawet WebAssembly: piaskownica przeglądarki normalnie odmawia stronie surowego gniazda wprost, ale tam, gdzie ta bariera jest zniesiona (przeglądarka, której użytkownik nadał uprawnienie, na maszynie, gdzie użytkownik działa z przywilejami wystarczającymi, by otworzyć surowe gniazdo), ten sam krótki program działa wewnątrz karty. I to jest niewygodna połowa tego. Nie możesz tu ufać swoim użytkownikom. Host napędzający tunel jest w środku, w rękach kogoś, kogo uznałeś za bezpiecznego, bo siedzi za zaporą, a zapora jest tą rzeczą, przez którą się tuneluje. Zaufanie obwodowe zakłada, że zagrożenie jest poza murem. To zaczyna się w środku, za każdym razem.\nPilnuj MTU i podłogi 1280 w IPv6 Tunel nie jest darmowy na łączu. Każdy pakiet, który niesiesz, zyskuje zewnętrzny nagłówek IP i nagłówek ICMP, zanim wyjdzie, więc wewnętrzny interfejs musi siedzieć poniżej tego, co ścieżka udźwignie. Na IPv4 kosztuje to napastnika prawie nic. Ustaw niską wewnętrzną MTU (1472 w icmptunnel to 1500 minus 20 na zewnętrzny nagłówek IP i 8 na nagłówek ICMP, a Python powyżej schodzi do 1400 dla zapasu), a tam, gdzie liczba wciąż jest zła, IPv4 fragmentuje zbyt duży pakiet i składa go na drugim końcu, zamiast go odrzucać. Między niską podłogą, którą możesz wybrać, a fragmentacją łatającą resztę, tunel działa przez prawie każdą ścieżkę. Ta elastyczność to dokładnie to, co czyni IPv4 wygodnym miejscem, by to robić.\nFragmentacja i zapas MTU w IPv4 pozwalają tunelowi działać wszędzie; IPv6 nie ma żadnego, więc zawodzi zamknięty Dlaczego działa wszędzie na IPv4 i zawodzi zamknięty na IPv6 IPv4 nagł. IP 20 B ICMP 8 B pakiet wewnętrzny tun MTU 1472 B Za duży? IPv4 fragmentuje i składa z powrotem, tunel działa przez niemal każdą ścieżkę. IPv6 nagł. IPv6 40 B ICMPv6 8 B pakiet wewnętrzny nie może zejść poniżej 1280 B 1280 B twarda podłoga (RFC 8200) Za duży? Routery IPv6 go odrzucają, bez fragmentacji, tunel zawodzi zamknięty. Zapasowe furtki IPv4, podłoga, którą możesz wybrać, i fragmentacja na resztę, czynią tunel niezawodnym. IPv6 nie ma żadnej, więc atak, który działa niemal wszędzie na IPv4, jest kruchy na IPv6. Bezpieczniejsza rodzina tutaj. Packet Too Big, błąd, który zachowujesz, a nie echo, pozwala nadawcy znaleźć rozmiar, który pasuje. Nie w skali. Tunel traci z każdego pakietu zewnętrzny nagłówek IP i ICMP. IPv4 pozwala zeskrobać wewnętrzną MTU i fragmentuje to, co wciąż jest za duże, więc działa niemal wszędzie; IPv6 ustawia twardą podłogę 1280 bajtów, a jego routery nie fragmentują, więc zbyt duży pakiet jest odrzucany i tunel zawodzi, zamykając się, co czyni tu IPv6 bezpieczniejszą rodziną. IPv6 jest mniej wyrozumiałe i tym razem to po twojej stronie. Podłoga jest twarda: RFC 820011 §5 wymaga, by \u0026ldquo;every link in the Internet have an MTU of 1280 octets or greater\u0026rdquo;, a routery IPv6 nie fragmentują w tranzycie. To usuwa obie zapasowe furtki IPv4 naraz i gryzie tunel w obu kierunkach. Puść go przez ICMPv6, a każde łącze na ścieżce musi unieść 1280, więc ścieżka, która spada poniżej, kładzie transport, i nie ma zeskrobywania poniżej podłogi tak jak na IPv4. Nieś IPv6 wewnątrz tunelu, a spotkasz tę samą ścianę z drugiej strony: wewnętrzny interfejs też nie może zejść poniżej 1280, podczas gdy zewnętrzny opakunek ICMPv6, 40 bajtów nagłówka i 8 na ICMPv6, już wydaje część budżetu, więc ścieżka musi mieć do dyspozycji 1280 plus narzut. Chybisz w którymkolwiek miejscu, a pakiet jest odrzucany, a nie przycinany, by się zmieścił: tunel się podnosi, drobiazgi działają, cokolwiek pełnego rozmiaru wisi. Więc IPv6 jest tu bezpieczniejszą rodziną, a nie ryzykowniejszą. Atak, który działa przez niemal wszystko na IPv4, jest kruchy na IPv6 i zawodzi, zamykając się. Bezpieczniejsze to nie to samo co bezpieczne, uważaj: kanał echa jest otwarty również na IPv6, więc reguła wciąż odrzuca go w obu rodzinach, napastnik po prostu nie może oprzeć się na IPv6 tak, jak opiera się na IPv4.\nOdzyskanie po tym to błąd ICMP, który starannie zachowałeś. Packet Too Big jest tym, co pozwala nadawcy znaleźć działający rozmiar, a jest błędem, a nie echem, więc reguła, o którą ten wpis zabiega, zostawia go w spokoju. Odrzuć tunel i zachowaj diagnostykę, to cały projekt, a MTU to jeszcze jedno miejsce, gdzie zarabia na siebie.\nReguła, zawężona do echa Poprzedni wpis podał pełny zestaw reguł tranzytowych: dopuść błędy z ograniczeniem przepustowości, odrzuć echo. Nie zamierzam go przedrukowywać. Zmiana, o którą ten wpis zabiega, to jedna para linii, i to para, która wykonuje robotę:\n# permit the ICMP errors — these are load-bearing, keep them ip protocol icmp icmp type { destination-unreachable, time-exceeded, parameter-problem } \\ limit rate 100/second accept ip6 nexthdr ipv6-icmp icmpv6 type { destination-unreachable, packet-too-big, \\ time-exceeded, parameter-problem } limit rate 100/second accept # drop the tunnel — echo, both directions, both families ip protocol icmp icmp type { echo-request, echo-reply } drop ip6 nexthdr ipv6-icmp icmpv6 type { echo-request, echo-reply } drop Reguła nie jest jednak linuksowa. To ta sama intencja na dowolnej zaporze wartej tej nazwy: dopuść błędy, ogranicz ich przepustowość, odrzuć echo w obie strony w obu rodzinach. Więc oto ona w dialektach, które masz większą szansę trzymać w ręku.\nBSD pf (pfSense, OPNsense, OpenBSD, FreeBSD):\n# permit the errors; block echo both directions, both families pass in proto icmp icmp-type { unreach, timex, paramprob } pass in proto icmp6 icmp6-type { unreach, toobig, timex, paramprob, \\ routersol, routeradv, neighbrsol, neighbradv } block in proto icmp icmp-type { echoreq, echorep } block in proto icmp6 icmp6-type { echoreq, echorep } Zachowaj typy Neighbour Discovery w linii icmp6; to te, które kładą segment, jeśli je stracisz.\nCisco IOS (rozszerzone ACL, zastosowane na brzegu):\nip access-list extended ICMP-EDGE permit icmp any any unreachable permit icmp any any time-exceeded permit icmp any any parameter-problem deny icmp any any echo deny icmp any any echo-reply ! ipv6 access-list ICMP6-EDGE permit icmp any any packet-too-big permit icmp any any unreachable permit icmp any any time-exceeded permit icmp any any parameter-problem permit icmp any any nd-ns permit icmp any any nd-na deny icmp any any echo-request deny icmp any any echo-reply Na IPv4 typem echa jest echo; na IPv6 jest to echo-request. Ograniczanie przepustowości mieszka w CoPP, a nie w ACL.\nJuniper Junos (firewall filter; filtr inet6 jest jego lustrem i zachowuje Neighbour Discovery):\nfirewall family inet filter icmp-edge { term errors { from { protocol icmp; icmp-type [ unreachable time-exceeded parameter-problem ]; } then { policer icmp-cap; accept; } } term drop-echo { from { protocol icmp; icmp-type [ echo-request echo-reply ]; } then discard; } } MikroTik RouterOS: odrzuć dwa typy echa, potem dopuść resztę ICMP, co zachowuje błędy, a na v6 Neighbour Discovery:\n/ip firewall filter add chain=forward protocol=icmp icmp-options=8:0 action=drop comment=\u0026#34;echo request\u0026#34; add chain=forward protocol=icmp icmp-options=0:0 action=drop comment=\u0026#34;echo reply\u0026#34; add chain=forward protocol=icmp action=accept comment=\u0026#34;keep the errors (add limit= to cap)\u0026#34; /ipv6 firewall filter add chain=forward protocol=icmpv6 icmp-options=128:0 action=drop comment=\u0026#34;echo request\u0026#34; add chain=forward protocol=icmpv6 icmp-options=129:0 action=drop comment=\u0026#34;echo reply\u0026#34; add chain=forward protocol=icmpv6 action=accept comment=\u0026#34;keep errors and ND\u0026#34; Inna składnia, jedna reguła. Dopuść komunikaty, które niosą prawdę, odrzuć ten, który niesie twoje bajty.\nDwie przestrogi, obie ugryzą cię, jeśli przeczytasz pobieżnie.\nOdrzuć echo na granicy, a nie na łączu między hostem a jego własnym routerem. Na IPv6 Neighbour Discovery to ICMP, typy od 133 do 137, nd-router-solicit przez nd-redirect, i to tak segment wykonuje robotę, którą ARP wykonuje w IPv4. Przenieś odrzucanie echa na łańcuch link-local albo hosta bez zachowania tych typów, a segment przestanie działać w ciągu minut, i nie będzie to wyglądać na usterkę zapory. Filtruj echo tam, gdzie ruch opuszcza twoją sieć, a wewnętrzne łańcuchy zostaw w spokoju.\nOdrzuć je w obu kierunkach, inaczej przestaje być użyteczne w żaden sposób. Blokowanie tylko żądania zatrzymuje pingowanie twoich hostów, ale wciąż wypuszcza odpowiedź, a tunel da się zbudować na samych odpowiedziach odrobinę większym wysiłkiem. Odrzuć żądanie i odpowiedź, na IPv4 i IPv6, a kanał jest zamknięty w obie strony.\nIle naprawdę kosztuje cię odrzucenie pinga Bądź uczciwy co do straty, bo kontrola, którą przereklamowałeś, to kontrola, którą ktoś po cichu cofa, gdy tylko okaże się niewygodna.\nTracisz ping przez granicę. To jest koszt, podany w całości. To realny koszt. ping to odruch, jest w palcach każdego, i dzień po tym, jak to wdrożysz, ktoś powie, że internet nie działa, bo jego ping do bramy się przeterminował. Nie leży. Powiedziałeś bramie, by przestała odpowiadać na żądanie, które zawsze było tylko wygodą.\nTestowanie osiągalności nie potrzebuje echa. Połączenie TCP do portu, o którym wiesz, że jest otwarty, mówi ci, że host działa i ścieżka działa, i mówi więcej niż ping, bo dowodzi, że usługa odpowiedziała, a nie tylko jądro:\n# \u0026#34;is it up and reachable?\u0026#34; without sending a single echo nc -zv \u0026lt;host\u0026gt; 443 # did the TCP handshake complete? traceroute -T -p 443 \u0026lt;host\u0026gt; # walk the path on TCP, read the errors back Oba jadą na błędach ICMP, które zachowałeś, i na TCP, którym prawdziwa usługa już mówi. Żadne nie wysyła echa. Więc uczciwa wymiana jest taka: oddajesz najmniej informatywne narzędzie w zestawie, to, które odpowiada na „czy jądro chce odpowiedzieć” i nic więcej, a w zamian zamykasz jedyną część ICMP, którą napastnik może zamienić w trasę z twojej sieci. Diagnostyka, po którą naprawdę sięgasz w zły dzień, jest cała po drugiej stronie linii, nietknięta.\nFisher-Price OS (Windows) nie jest z tego wyjściem Jeśli prowadzisz firmę na Fisher-Price OS (Windows), możesz to czytać jako cudzy problem. Nie jest. Zagrożenie tkwi w protokole, a nie w systemie operacyjnym. Standard zobowiązuje każdy host, który odpowiada na pinga, by oddał twoje bajty, i nie zatrzymuje się, by najpierw zapytać, na czym host działa.\nPudełko na tym systemie robi całkiem dobry koniec tunelu. Hans dostarcza klienta na Windows, więc wewnętrzna maszyna może być końcem klienckim i przepuszczać swój ruch na zewnątrz wewnątrz echa jak każda inna. Czym nie może łatwo być, to końcem serwerowym, bo ten chce urządzenia tun i trzymanego otwartego surowego gniazda ICMP, a na tym systemie tylko członkowie grupy Administratorzy mogą tworzyć gniazda typu SOCK_RAW12, słowami samego Microsoftu. Więc serwer siedzi na prawdziwym systemie operacyjnym, jak mój, a pudełko za zaporą po cichu wypingowujące się na zewnątrz to to, o którym powiedziano ci, że jest bezpieczne, bo było w środku.\nI to jest sedno dla każdego, kto tego broni. Reguła graniczna ma w nosie, na czym działa wnętrze. Odrzuć echo tam, gdzie ruch opuszcza sieć, a każdy host za nią jest objęty, te, którymi administrujesz, i ten, o którym cię zapewniono, że chowa się za NAT-em. Nie prowadzę tej rzeczy i nie zamierzam udawać, że tunel ją szanuje. Naprawa to ta sama reguła, w tym samym miejscu, w cokolwiek punkt końcowy jest uruchomiony.\nJeśli hartujesz samo pudełko (pudełko, a nie sieć), PowerShell przynajmniej zatrzyma je przed odpowiadaniem na pinga albo emitowaniem go na własny rachunek:\nforeach ($t in 8,0) { New-NetFirewallRule -DisplayName \u0026#34;Drop ICMPv4 Echo $t\u0026#34; -Protocol ICMPv4 -IcmpType $t -Direction Inbound -Action Block } foreach ($t in 128,129) { New-NetFirewallRule -DisplayName \u0026#34;Drop ICMPv6 Echo $t\u0026#34; -Protocol ICMPv6 -IcmpType $t -Direction Inbound -Action Block } Dodaj bliźniaki -Direction Outbound, by zatrzymać je przed sięganiem na zewnątrz jako klient tunelu, zamiast siedzenia tam jako cel, a typy błędów ICMPv6 i Neighbour Discovery zostaw w spokoju, z tego samego powodu, dla którego zostawia się je w spokoju wszędzie indziej na tej stronie. Ale nie myl tego z kontrolą. Zapora hosta to nie zapora tranzytowa. Hartuje pudełko i nie zmienia nic co do granicy, a granica to miejsce, gdzie to się naprawdę zamyka.\nPodnieś to dziś z tym, kto prowadzi twoją granicę Prawdopodobnie doczytałeś aż tu, myśląc o sieci, która nie jest twoja do zmiany. Większość ludzi tak ma. Więc użyteczną rzeczą do zrobienia nie jest sięgnięcie po zaporę, lecz postawienie pytania temu, kto ją trzyma, twojemu własnemu zespołowi sieciowemu, twojemu MSP albo dostawcy, którego pudełko stoi na brzegu, i postawienie go dziś, bo to otwarte drzwi od 1996 roku, a kolejny tydzień tego to wybór.\nZapytaj wprost i spodziewaj się pustego spojrzenia, bo postawiłbym całe PKB Wielkiej Brytanii, że nikt tam nie poświęcił echu drugiej myśli. To ten jeden pakiet, który każdy dopuszcza i nikt nie jest jego właścicielem, a reguła bez właściciela to dokładnie ta, która siedzi źle od lat i nikt tego nie zauważa.\nZapytaj ich o cztery rzeczy, tymi słowami, żeby nie było miejsca na przytakiwanie i niezmienianie niczego:\nCzy odrzucamy żądanie echa i odpowiedź echa ICMP na granicy, na IPv4 i IPv6 razem? Nie „czy dopuszczamy ICMP”, lecz konkretny komunikat, oba kierunki, obie rodziny. Jeśli odpowiedź brzmi tylko jedna rodzina, to żadna odpowiedź, bo tunel po prostu przenosi się do drugiej. Czy wciąż dopuszczamy błędy ICMP? Destination Unreachable, Time Exceeded, Parameter Problem, a na IPv6 Packet Too Big, pod ograniczeniem przepustowości, a nie blokadą. Jeśli nie potrafią powiedzieć, szanse są równe, że albo zostawili wszystko otwarte, albo zablokowali całość, a oba są błędne. Czy zachowaliśmy Neighbour Discovery IPv6 na wewnętrznych łańcuchach? Typy od 133 do 137. To ten, który zamienia „zahartowaliśmy ICMP” w segment, który umiera po cichu tydzień później, i to błąd, który robi pospieszna zmiana. Pokaż mi regułę. Nie deklarację polityki, lecz faktyczną linię na faktycznym pudełku i datę, kiedy ją wpisano. Kontrola, której nikt nie potrafi wskazać, to kontrola, której nie ma. Czy pudełko przyszło od dostawcy z tym już zamkniętym? Nie przyszło. Domyślnie niemal wszędzie jest przepuszczanie echa i zapisywanie go jako liczby pakietów, co jest całym powodem, dla którego tunel w ogóle działa. To nie wykorzystywanie błędu, lecz używanie konfiguracji, która wysyłana jest jako standard. Nikt nie zamyka drzwi, o których nigdy mu nie powiedziano, że są otwarte.\nPowodem, by upierać się przy sformułowaniu, jest to, że leniwą naprawą tego wpisu jest „dobra, zablokujemy ICMP”, a ta naprawa jest gorsza niż dziura. Psuje Path MTU Discovery i traceroute, każe ci gonić wiszące transfery z niczym w logach, a na IPv6 zdejmuje części internetu ze stołu całkowicie. Jeśli osoba, którą pytasz, sięga po to, zatrzymaj ją. Instrukcja jest wąska celowo: odrzuć echo, zachowaj błędy, zachowaj Neighbour Discovery. Jako taki każdy, kto prowadzi zapory zawodowo, powinien umieć zrobić tę zmianę w jedno popołudnie i powiedzieć ci, że jest zrobiona.\nA jeśli to MSP, któremu płacisz za prowadzenie tego: dostawca, który nie potrafi powiedzieć ci z głowy twojej własnej postawy wobec echa i błędów, albo który odpowiada „blokujemy ICMP”, jak gdyby to była bezpieczna opcja, właśnie powiedział ci coś o reszcie majątku. Następnym razem, gdy usterka usiądzie między dwiema sieciami i obie powiedzą, że są czyste, pamiętaj, który z nich nie potrafił opisać, co jego własna zapora robi z pingiem.\nDiagnostyka, która nigdy nie była diagnostyką Ping miał dobry czas. Mike Muuss napisał go w 1983 roku, by sprawdzać, czy host odpowiada, nazwał go od sonaru, i robił tę jedną robotę tak dobrze, że stał się pierwszą rzeczą, po którą każdy sięga, i ostatnią, którą ktokolwiek kwestionuje. Czterdzieści lat później to pamięć mięśniowa, a pamięć mięśniowa to dokładnie sposób, w jaki zagrożenie przetrwa. Nikt nie bada na nowo rzeczy, którą robił zawsze.\nAle spójrz na to, czym naprawdę jest, odarte z nawyku. Komunikat, który nie niesie żadnego faktu o sieci, na który każdy host jest zobowiązany odpowiedzieć twoimi własnymi bajtami oddanymi z powrotem, który działa po protokole, którego kontrole nie badają, a logi nie czytają. Wszystko, co sprawia, że wydaje się nieszkodliwy, że to tylko diagnostyka, że to tylko keepalive, że każdy to dopuszcza, to ta sama rzecz, która czyni go najczystszą drogą z filtrowanej sieci, jaka istnieje. Branża blokuje błędy ICMP, które niosą prawdę i psują sieć, gdy ich nie ma, a przepuszcza echo, które niesie to, co w nie załadujesz. Ma protokół dokładnie do góry nogami.\nNaprawa nie jest sprytna. Zachowaj komunikaty, które mówią ci prawdę, a odrzuć ten, który tylko oddaje twoje bajty z powrotem. Kosztuje cię polecenie, którego i tak nie miałeś prawa ufać dla diagnozy, i zamyka drzwi, które stoją otworem od 1996 roku, udokumentowane w hakerskim zinie, pakowane od dwóch dekad i zostawione na oścież, bo zamknięcie ich oznaczałoby, że ktoś nie mógłby pingować. Wiedz, ile rzecz kosztuje, a nie ile jest wyceniona. Ping jest wyceniony na nic. Kosztuje cię ten jeden kanał, którego nie możesz zobaczyć.\nLoki, Phrack 49 — kanał dowodzenia niesiony wewnątrz ładunków echa ICMP, 1996.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nPtunnel — przenosi sesję TCP wewnątrz echa ICMP.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 792 — ICMP: \u0026ldquo;the data received in the echo message must be returned in the echo reply message\u0026rdquo;.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 4443 — ICMPv6: dane echa \u0026ldquo;MUST be returned entirely and unmodified in the ICMPv6 Echo Reply message\u0026rdquo;.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 4890 — komunikaty ICMPv6, których zapora nie może odrzucać.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 1812 — wymagania wobec routerów: Time Exceeded jest MUST, nazwane dla traceroute.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nHans — tunel IP po echu ICMP, autorstwa Friedricha Schöllera.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nicmptunnel — tuneluje ruch IP przez pakiety echa i odpowiedzi ICMP, autorstwa Dhavala Kapila.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLinux kernel — IP sysctl — icmp_echo_ignore_all: \u0026ldquo;the kernel will ignore all ICMP ECHO requests sent to it\u0026rdquo;.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLinux commit e6f86b0f — \u0026ldquo;ipv6: Add icmp_echo_ignore_all support for ICMPv6\u0026rdquo; — odpowiednik dla IPv6, autorstwa Virgile\u0026rsquo;a Jarry\u0026rsquo;ego.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 8200 §5 — IPv6 wymaga, by każde łącze miało MTU co najmniej 1280 oktetów.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nMicrosoft — TCP/IP raw sockets — \u0026ldquo;only members of the Administrators group can create sockets of type SOCK_RAW\u0026rdquo;.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\n","permalink":"https://blogs.damiendye.uk/pl/networking/ping-the-diagnostic-tool-that-opens-a-whole-lot-more/","summary":"To ping, a nie reszta ICMP, jest zagrożeniem: echo to kanał, na który każdy host musi odpowiedzieć twoimi własnymi bajtami, więc sieć, która „przepuszcza tylko ping”, ma już pełny VPN na zewnątrz. Wpis zaczyna od zagrożenia, od tego, ile kosztuje twoje wyjście i jak gość w twoim WiFi albo przy niezablokowanym porcie ethernet może je otworzyć, potem pokazuje trzy działające tunele oparte na samym pingu (Hans, icmptunnel i krótki tunel w Pythonie z AES-128), pułapki MTU i IPv6 oraz regułę, która to zamyka: odrzuć echo, zachowaj błędy, w nftables, pf, Cisco, Junos, MikroTik i Windows.","title":"Ping: narzędzie diagnostyczne, które otwiera znacznie więcej"},{"content":" Is Your MSP Lying To You — 3 parts\nCzy twój MSP okłamuje cię, żeby sprzedać ci produkty premium?you are here Co zbudował ci twój MSP i kto jeszcze może się do tego dostać Kiedy coś się psuje, kto naprawdę za to odpowiada? Krótka odpowiedź: niektórzy tak.\nDłuższa odpowiedź jest gorsza i to ona jest warta twojego czasu. Większość z nich nigdy nie musi kłamać, bo układ robi to za nich. Płacą im producenci, których produkty polecają, według stawek, które zmieniają się zależnie od tego, jaki produkt weźmiesz i ile go potem zużyjesz, a nikt nie ma obowiązku wspomnieć o tym ani słowem. Postaw firmę w takiej sytuacji na trzydzieści lat, a nieuczciwość staje się zbędna. Krótka lista pisze się sama.\nZ twojego miejsca, po stronie tego, kto dostaje fakturę, kłamstwo i ustawiony proces kosztują dokładnie tyle samo.\nTa część dotyczy sprzedaży: kto płaci osobie, która ci doradza, co nigdy nie trafia na krótką listę, dlaczego lepsza odpowiedź to ta, której ci nie zaproponują, i co po cichu wynajmujesz. Część druga to to, co zostaje zbudowane po podpisaniu papierów, i kto jeszcze może się do tego dostać. Część trzecia to to, kto ponosi koszt, gdy coś się wywali, i ile kosztuje odejście. Część z tego widziałem na własne oczy. Reszta jest w publicznych aktach z nazwą regulatora na wierzchu, a każde twierdzenie tutaj ma link.\nNic z tego nie wymaga, żebyś był techniczny. Wystarczy pytać.\nŁatwa naprawa zdradza wszystko Weź częsty przypadek. Pracownik zdalny nie może zmusić laptopa do utrzymania tunelu VPN do biura. Dostawca to ogląda i wraca z czymś, co klient ma zmienić po stronie domowej. Nie po ich stronie. Po stronie domowej.\nTunel to L2TP przez IPsec do Cisco Meraki MX, a tak naprawdę zepsute jest przechodzenie przez NAT. Klient wciąż negocjuje na UDP 500, zamiast przejść na UDP 4500, bo NAT-T nigdy nie skonfigurowano po stronie biura. RFC 3947 mówi o tym bez ogródek: po wykryciu NAT inicjator „MUST set both UDP source and destination ports to 4500”. Nigdy tego nie robi. Tunel umiera w NAT. Za każdym razem.\nOdpowiedź siedzi na ich własnym firewallu, wyłączona. Ten sam MX obsługuje AnyConnect, który „will attempt to connect using both TLS, and DTLS (Datagram TLS) over TCP and UDP 443 respectively”. Zwykły TLS na zwykłym porcie. NAT rozumie to doskonale: nie ma czego przechodzić i nie ma czego konfigurować. Działałoby to tego samego popołudnia, w którym ktoś by to włączył.\nNikt nie robi przechwytywania pakietów. Nikt nie sprawdza, na jakim porcie klient faktycznie rozmawia. To pierwsze dwie rzeczy, które się robi, i zakończyłyby sprawę w minutę.\nTeraz drugi przypadek od tego samego dostawcy, i nie ma w nim nigdzie żadnej sieci. Drukarka etykiet i etykieta wysyłkowa, która ma wyjść we właściwym formacie. To całe zgłoszenie. To też jedyna rzecz, jaką drukarka etykiet robi.\nWróciła odpowiedź, że to niemożliwe.\nTo była opcja w sterowniku drukarki. Pole w oknie ustawień, w oprogramowaniu, którym oni administrują, a cała robota polegała na zaznaczeniu go i wydrukowaniu strony testowej. Nikt nie musiał niczego kupować. Nikt nie musiał niczego projektować. Nie chcieli go zaznaczyć.\nZauważ, że „niemożliwe” to odpowiedź bez żadnego pomiaru i to jedyna odpowiedź, która zamyka zgłoszenie bez tego, żeby ktokolwiek musiał cokolwiek zrobić. Im dłużej stoi, tym trudniej się z niej wycofać, bo pójście teraz i sprawdzenie oznacza przyznanie, że było co sprawdzać.\nNa taki kształt trzeba uważać, i to ten sam kształt dwa razy. Usterkę da się naprawić za darmo, naprawa siedzi w sprzęcie, który dostawca już ma i za którego prowadzenie już mu się płaci, a zamiast niej wraca albo polecenie, żeby klient coś zmienił u siebie, albo płaskie stwierdzenie, że tego nie da się zrobić. Gdy tania odpowiedź zostaje zbyta bez pomiaru, nie dostajesz diagnozy. Jesteś zarządzany.\nInżynier, który znalazł usterkę, mówi ci, co to za usterka. Ktoś, kto jej nie znalazł, mówi ci, że nie da się tego zrobić, albo mówi ci, co kupić.\nKto płaci twojemu doradcy Zacznij od pieniędzy, bo wszystko inne idzie za nimi.\nGdy twój MSP poleca hyperscalera, nie jest neutralny. Własna dokumentacja rozliczeniowa Microsoftu opisuje partner earned credit: kredyt naliczany od opłat za twoje zużycie Azure, który zarabia partner mający uprawnienia administratora do zarządzania nim. Twój rachunek rośnie, oni dostają kawałek. Obok tego są marże resellerskie, progi wolumenowe, rabaty za certyfikacje, fundusze rozwoju rynku i kwartalne cele, u każdego producenta w całym stosie, a nie tylko u tego jednego.\nNic z tego nie jest tajemnicą i nic z tego nie łamie żadnych zasad. Jest opublikowane, jest normalne i tak kanał sprzedaży działa od trzydziestu lat.\nTwojemu doradcy płacą dwie strony, a tylko jedna z nich to ty Ty Pytasz, jaki produkt kupić Twój dostawca Pisze krótką listę, z której wybierzesz Producent Ustala, ile zarabia rekomendacja abonament jedna opcja rabat Rabat, marża, rejestracja transakcji, cel sprzedażowy O niczym z tego nie trzeba ci mówić Doradcy finansowemu może płacić tylko klient (FCA Handbook, COBS 6.1A). Doradcy IT mogą płacić obie strony i nic nie zmusza go do powiedzenia, która płaci więcej. Za tę samą rekomendację płacą dwie strony. Tylko jedna z nich siedzi na spotkaniu i tylko o jednej z płatności trzeba wspomnieć. Oto fragment, który powinien cię niepokoić. Nikt nie musi ci mówić o niczym z tego: ani o stawce, ani o celach, ani o kredycie. Osobie, która poleca produkt, płaci firma, która ten produkt robi, według stawki zależnej od tego, który produkt ci wciśnie i ile go potem zużyjesz, i nigdzie nie ma obowiązku, żeby choć słowo o tym znalazło się w ofercie, którą czytasz.\nInna branża przyjrzała się dokładnie takiemu układowi i go zakazała. Według zasad FCA doradca finansowy ma „only be remunerated for the personal recommendation \u0026hellip; by adviser charges”, czyli brać pieniądze za rekomendację wyłącznie z opłat za doradztwo, i ma „not solicit or accept \u0026hellip; any other commissions, remuneration or benefit”. Ty płacisz swojemu doradcy. Dostawca produktu nie płaci. Ta zasada istnieje, bo regulator zrozumiał coś oczywistego. Nie da się odróżnić porady od sprzedaży, gdy sprzedawcy płaci producent.\nIT nigdy nie miało takiego rozliczenia. CMA przeszło przez rynek chmury i przyjrzało się z bliska zobowiązaniom wydatkowym, opłatom za transfer wychodzący i zmianie dostawcy, ale nikt jeszcze nie przyjrzał się warstwie pośrodku. Firmie, która siedzi między tobą a producentem i ma jednocześnie obowiązek wobec ciebie i cel od niego.\nWarto też nazwać rzecz po imieniu.\nZachęta to płatność od jednej strony, która ma kształtować decyzję, na której polega inna strona. Taki jest mechanizm, jakkolwiek program nazywa się na stronie producenta. Producent płaci, klient polega, a rekomendacja się przesuwa.\nPo stronie MSP to też jest przymus, i tej połowy nikt nie ogląda. Nie dobijesz do progu, a nie tracisz po prostu premii. Twoja cena zakupu rośnie na wszystkim, co sprzedajesz przez następne dwanaście miesięcy. Presja nie brzmi więc „sprzedaj to, a dostaniesz nagrodę”. Brzmi „sprzedaj to, albo cały twój biznes zdrożeje”. Nikt w takiej sytuacji nie wybiera swobodnie, i nigdy nie miało to wyglądać na wybór.\nPrawo angielskie już zna ten kształt. Bribery Act 2010 nie potrzebuje w pobliżu żadnego urzędnika publicznego: sekcja 3 obejmuje „any activity connected with a business” i zaczyna gryźć tam, gdzie od osoby wykonującej tę działalność oczekuje się działania „in good faith”, albo „impartially”, albo gdy jest „in a position of trust”. Przeczytaj te trzy warunki. Potem przeczytaj ofertę na swoim biurku.\nNie oskarżam niczyjego opiekuna klienta o przestępstwo. To, co się dzieje, jest nudniejsze i trudniejsze do naprawienia. Układ stoi o włos po właściwej stronie granicy, a jedyne, co go tam trzyma, to fakt, że nikt nigdy nie ustalił, że MSP w ogóle jest ci winien bezstronność. Doradztwo finansowe to ustaliło i prowizje się skończyły. Tutaj nikt tego nie ustalił, więc się nie skończyły.\nNazwij zachętę łagodną formą korupcji, a ludzie się jeżą. Połóż płatność, cel i krótką listę na jednej stronie, a potem zapytaj, jak inaczej to nazwać.\nMały dostawca nigdy nie pada z nazwy Lista dostawców, którą ci pokazano, to nie lista dostawców, którzy istnieją. To lista tych, z którymi twój MSP już ma konto.\nŻeby trafić na tę listę, producent potrzebuje programu partnerskiego. Progi, akredytacje, rabaty, rejestracja transakcji, dystrybutor gotów prowadzić linię produktów. To maszyna. Jej prowadzenie kosztuje pieniądze, które nie mają absolutnie nic wspólnego z tym, jak dobry jest produkt. W tym kraju jest mnóstwo małych firm, które budują lepszy sprzęt i lepsze oprogramowanie niż logo w twojej ofercie, i nigdy się w niej nie pojawią, bo mają dwunastu pracowników i żadnego zespołu kanałowego.\nPopatrz, co ta maszyna robi z rekomendacją.\nRejestracja transakcji wiąże twojego MSP z producentem, zanim ktokolwiek porozmawia z tobą o wymaganiach. Rejestrują szansę sprzedaży, dostają lepszą cenę zakupu i ochronę przed innym partnerem, który wyceniłby ci to samo, i od tej chwili mają powód, żeby sterować projektem w stronę tego producenta, a ten powód nie ma nic wspólnego z twoim biznesem.\nResztę robią progi. Złoty, platynowy, jakkolwiek nazywa się to w tym roku, status zależy od rocznego wolumenu i ustala ich rabat na wszystko inne, co sprzedają przez cały rok. Twój projekt może być tym, co przepchnie ich przez próg. Nikt ci tego nie powie.\nPotem dystrybutor decyduje, co zostaje. MSP kupuje przez dystrybutora, dystrybutor prowadzi te linie, na które ma umowy, a producent, którego nie ma w cenniku, równie dobrze mógłby nie istnieć.\nTo, ile cię to kosztuje, nie jest abstrakcją. Mniejszy dostawca zwykle połączy cię telefonicznie z ludźmi, którzy napisali oprogramowanie, zamiast ze skryptem pierwszej linii, zmieni coś, bo go o to poprosiłeś, i za rok nadal będzie przed tobą odpowiadał, bo jesteś realną częścią jego przychodu, a nie błędem zaokrąglenia. Nic z tego nie mieści się w macierzy porównawczej i nic z tego nie płaci nikomu rabatu.\nZapytaj więc, czego trzeba, żeby jedna z tych mniejszych firm trafiła na krótką listę. Odpowiedź powie ci, dla kogo ta lista została sporządzona.\nA mandat przychodzi z jednego kraju Popatrz na logotypy w ofercie. Hiperwizor, chmura, sprzęt sieciowy, firewall, pakiet biurowy, CRM, cel kopii zapasowych, monitoring. Prawie wszystkie amerykańskie.\nNic z tego nie jest wyrokiem w sprawie jakości. Tak to wygląda, gdy drogą na rynek jest program kanałowy, bo firmy dość duże, żeby prowadzić taki program w skali globalnej, siedzą w jednym kraju. Cele, które dźwiga twój MSP, rabaty, które kształtują twoją krótką listę, i próg, który ustala jego marżę, są więc pisane w Stanach Zjednoczonych.\nDlatego warto wiedzieć, jak ten kraj traktuje obecnie zasady zdobywania interesów za granicą.\n10 lutego 2025 prezydent podpisał rozporządzenie wykonawcze zatytułowane „Pausing Foreign Corrupt Practices Act Enforcement to Further American Economic and National Security”. Poleciło ono prokuratorowi generalnemu, na 180 dni, „cease initiation of any new FCPA investigations or enforcement actions”, z deklarowanym uzasadnieniem, że ściganie amerykańskich firm „for routine business practices in other nations” szkodzi amerykańskiej konkurencyjności.\nFCPA ściga przekupywanie zagranicznych urzędników. To jest ta opisywana praktyka.\nTo, co nastąpiło potem, jest w aktach. Nowe wytyczne Departamentu Sprawiedliwości z 9 czerwca 2025 zawęziły ściganie do spraw dotyczących karteli, bezpośredniej szkody dla amerykańskich firm albo bezpieczeństwa narodowego. Przez cały 2025 rok Komisja Papierów Wartościowych i Giełd nie wniosła ani jednej cywilnej sprawy z FCPA i rozwiązała swoją jednostkę FCPA, a Departament Sprawiedliwości zamknął mniej więcej połowę aktywnych dochodzeń. Nie pojawił się też na marcowym posiedzeniu Grupy Roboczej OECD ds. Przekupstwa w 2025 roku.\nTa sama ustawa, inny kierunek. Zabrała $772 mln francuskiej firmie inżynieryjnej w 2014 roku i to przez nią państwo francuskie zamówiło raport o tym, czy amerykańskie prawo eksterytorialne działa jak broń handlowa. Omówiłem to w jak daleko sięga prawo jednego kraju. Prawo sięga więc przez granice po firmy zagraniczne i zostaje odwołane wobec krajowych, przez rząd kraju, z którego pochodzi cała twoja lista produktów.\nNie licz też na to, że Wielka Brytania zapełni tę lukę. Słabym punktem nie jest tu prawo: Bribery Act 2010 miejscami idzie dalej niż ustawa amerykańska, a sekcja 7 czyni przestępstwem to, że organizacja komercyjna nie zapobiegła przekupstwu przez kogokolwiek działającego w jej imieniu. Surowe, szerokie i obowiązujące od piętnastu lat.\nSłabym punktem jest to, że egzekwowanie w tej skali działa tylko jako operacja wspólna. Airbus to największa ugoda w sprawie przekupstwa, w jakiej ten kraj brał udział, a własny komunikat Airbusa pokazuje jej kształt: EUR 3598 mln kar 31 stycznia 2020, z czego EUR 2083 mln dla francuskiej Parquet National Financier, EUR 984 mln dla Serious Fraud Office, EUR 526 mln dla Departamentu Sprawiedliwości i EUR 9 mln dla Departamentu Stanu, przy czym SFO i PNF prowadziły to jako wspólny zespół dochodzeniowy. Pieniądze przechodzą przez kilka krajów i dowody też, a żadna pojedyncza agencja nie może sama wymusić wydania wszystkiego. Potrzeba, żeby stawili się wszyscy.\nZwróć uwagę na datę. Styczeń 2020 przypada na pierwszą administrację Trumpa, a ówczesny Departament Sprawiedliwości chętnie wziął z tego swoje EUR 526 mln. Wstrzymanie przyszło pięć lat później, od tego samego prezydenta w drugiej kadencji. To nie jest różnica między administracjami. To decyzja podjęta w 2025 roku.\nJeden z nich przestał się stawiać, i sięga to głębiej niż puste krzesło. Prokurator, który nie otwiera spraw, nie wytwarza niczego, czym mógłby się dzielić. Żadnych wezwań, żadnych wydanych dokumentów, żadnych współpracujących oskarżonych, żadnych świadków pod presją: dowody, które umożliwiły sprawę Airbusa, istniały, bo ktoś poszedł i je zdobył. Zamknij połowę spraw i nie wnoś nowych, a we wspólnej puli nie zostaje nic, z czego mógłby czerpać ktokolwiek inny. To nie jest kraj, który odmawia przekazania czegoś. To kraj, który nie ma już czego przekazać.\nZamyka to też drugie drzwi. Własny komunikat Airbusa przypisuje wynik „reporting, cooperation and new compliance standards” w firmie. Firmy zgłaszają się same z powodu tego, co je spotka, jeśli tego nie zrobią. Usuń to, co je spotka, a samozgłoszenia, od których zaczyna się większość tych spraw, przestają napływać. W Londynie tak samo jak w Waszyngtonie.\nBribery Act nie słabnie, gdy to się dzieje. Traci po prostu dopływ dowodów, który czynił go użytecznym dokładnie w tych sprawach, dla których go napisano.\nOsiemnaście miesięcy tego, a nie przesunęło to ani jednej krótkiej listy w tej branży. Nikt nie ma tego w rejestrze ryzyk, nikt nie pyta o to w formularzu zakupowym i nikt, kto sprzedaje ci pięcioletnią subskrypcję, o tym nie wspomniał.\nBudżet szkoleniowy poszedł pierwszy Jest drugi powód, dla którego produkt ciągle wygrywa, i jest mniej cyniczny niż pierwszy. Wielu ludzi, którzy ci sprzedają, nie umiałoby zrobić tego drugiego.\nInwestycje pracodawców w szkolenia spadają w tym kraju od dwudziestu lat. Analiza Employer Skills Survey 2024 przygotowana przez Learning and Work Institute podaje, że to realnie o 36% mniej na pracownika niż w 2005 roku: GBP 1700 wobec GBP 2634. Od badania z 2022 roku spadło o kolejne 13%. Podatek od praktyk zawodowych wprowadzono w 2017 roku właśnie po to, żeby to odwrócić, a wydatki na pracownika razem z tym podatkiem spadły od tego czasu o 23%.\nPotem popatrz, które sektory cięły najmocniej między 2022 a 2024. Administracja publiczna o 50%, usługi finansowe o 47%, a informacja i komunikacja o 30%. Ten ostatni to nasz. Prawie jedna trzecia w dwa lata, w branży, która zmienia się najszybciej.\nTymczasem to, czego się broni, urosło. Policzyłem opublikowane podatności po obu stronach dekady prosto z National Vulnerability Database: 6595 CVE opublikowanych w 2015 roku i 49 972 w 2025. Siedem i pół raza więcej w dziesięć lat, przy budżecie szkoleniowym, który spadł o jedną trzecią. Te dwie linie idą w przeciwnych kierunkach i idą tak od lat.\nŚrodki kontroli, które pokazałyby różnicę, też nie są wdrożone. Rządowe Cyber Security Breaches Survey 2025/2026 podaje uwierzytelnianie dwuskładnikowe u 47% firm: ten sam środek kontroli, który agencje Five Eyes wskazały dla kont MSP w 2022 roku, i ten sam, za którego brak ICO nałożyło na Advanced Computer Software Group karę £3,07 mln w marcu 2025. To samo badanie pokazuje spadek formalnych polityk cyberbezpieczeństwa z 59% do 52% w ciągu roku, a planów ciągłości działania obejmujących cyberbezpieczeństwo z 53% do 44%. Nie stoją w miejscu. Spadają.\nA potem podłóż pod to wszystko dzierżawę w chmurze. Mała firma nie administruje swoją sama. MSP trzyma uprawnienia global admin, buduje model tożsamości, ustawia dostęp warunkowy, decyduje, która przestrzeń dyskowa jest publiczna, a która nie, i jest właścicielem konsoli. Dokładnie po to go zatrudniono. Więc gdy dzierżawa okazuje się źle skonfigurowana, ręce na niej należały do wykonawcy. Nie do klienta, który kliknął nie to pole.\nZmienił się też zasięg rażenia. Serwer źle skonfigurowany w 2005 roku sięgał mniej więcej tak daleko jak kabel, do którego był podpięty. Dzierżawa źle skonfigurowana dziś jest w internecie w sekundzie zapisania, to ta sama dzierżawa dla każdego systemu, jaki firma prowadzi, a poświadczenie, które nią administruje, ma ktoś, kogo nigdy nie spotkali, w firmie, której nie wolno im skontrolować.\nAgencje bezpieczeństwa pięciu krajów napisały o tym ostrzeżenie w 2022 roku, a pierwsze działanie na ich liście dotyczy kont, których dostawca używa, żeby wejść do twoich systemów. Postawili to na pierwszym miejscu, bo tędy się wchodzi.\nDo tego dochodzi to, co ta branża nazywa szkoleniem. Certyfikat producenta to szkolenie produktowe. Uczy, gdzie są przyciski w konsoli jednej firmy i jak ta firma postanowiła nazwać swoje funkcje, pisze go i wycenia firma, której produktów dotyczy, a posiadanie odpowiedniej ich liczby jest warunkiem progu partnerskiego, który ustala marżę. To kanał sprzedaży w birecie.\nZnajomość konsoli to nie znajomość tego, jak rzecz działa. Inżynier z pięcioma certyfikatami mógł nigdy nie przeczytać RFC, nigdy nie zrobić przechwytywania pakietów i ani razu nie ustalić od podstaw, dlaczego coś zawiodło. Postaw taką osobę przed tunelem, który nie chce wstać, a uczciwa odpowiedź jest poza jej zasięgiem. Zrzucenie winy za IPv6 na domową sieć klienta już nie.\nTak spotykają się dwie połowy. Płaci im się za sprzedaż produktu, a coraz częściej produkt to jedyna odpowiedź, jaką mają. Klient, który płaci za wiedzę fachową, nie dostaje ani jednego, ani drugiego.\nNikt nie spisał, czego potrzebowałeś Poproś o swoje wymagania. Nie ofertę, nie wycenę, nie diagram architektury z twoim logo. Wymagania.\nPorządne zebranie wymagań jest nudne i nie jest krótkie. Co usługa ma robić i dla kogo. Ile osób, skąd, na czym. Która godzina jest najbardziej obciążona i jaki jest wzrost w ciągu trzech lat. Jak długo może nie działać, zanim zacznie to kosztować prawdziwe pieniądze, i ile danych możesz sobie pozwolić stracić. Co nigdy nie może opuścić kraju i pod czyim prawem. Co musi przetrwać pożar w jednym budynku. Za co odpowiadasz umownie wobec własnych klientów. Jaki jest budżet, inwestycyjny i operacyjny, rozpisany osobno. Co już masz, co jeszcze ma przed sobą życie. Kto to potem utrzymuje i co już umie prowadzić.\nTo poranek pracy z właściwymi ludźmi w pokoju, i powinien skończyć się dokumentem, który zatwierdzasz, zanim ktokolwiek narysuje choć jeden prostokąt.\nJeśli nikt nie zapytał cię o większość z tego, nie dostałeś projektu. Dostałeś to, co już sprzedają, z nazwą twojej firmy na okładce.\nUważaj też na sygnał w drugą stronę. Jeśli wymiarowanie odbyło się na pierwszym spotkaniu, zanim ktokolwiek spojrzał, jakie jest twoje rzeczywiste obciążenie, to liczby pochodzą z szablonu, a nie z twojego środowiska, a prawdziwe wymiarowanie potrzebuje danych. Ktoś musi patrzeć, co twój sprzęt faktycznie robi teraz, wystarczająco długo, żeby zobaczyć koniec miesiąca i zamknięcie kwartału.\nJedna opcja to nie wybór Projekt to zestaw wyborów z dołączonym uzasadnieniem. Czyli opcje, i koszty przy wszystkich, a nie tylko przy tej jednej, którą chcą, żebyś wziął.\nPowinieneś dostać wariant „nic nie robić”, wyceniony, łącznie z tym, ile cię kosztuje, gdy coś się zepsuje. Powinieneś dostać najtańszą rzecz, która spełnia wymagania. Powinieneś dostać rekomendację i powinieneś dostać wariant przewymiarowany dla ciebie, żebyś widział, gdzie jest granica. Każdy z tym, ile kosztuje zakup, ile kosztuje utrzymanie przez pięć lat, czego nie robi i co musiałbyś zrobić dalej, gdybyś z niego wyrósł.\nI co kluczowe, powinieneś dostać listę tego, co odrzucono, i dlaczego. To ta część pokazuje, że ktoś faktycznie myślał.\nJeśli dostałeś dokładnie jedną odpowiedź, a ta odpowiedź to akurat producent, u którego mają certyfikaty, i model licencyjny płatny co miesiąc, nie dostałeś projektu. Dostałeś wycenę przebraną za projekt. Nic więcej.\nCo krótka lista odsiewa, zanim w ogóle cokolwiek zobaczysz Cztery odpowiedzi na to samo wymaganie Open source z umową wsparcia Marża to praca samego dostawcy Mniejszy brytyjski dostawca Brak programu partnerskiego To, co już masz, skonfigurowane Nic do zafakturowania przy odnowieniu Producent z programem partnerskim Rabat, rejestracja transakcji, cel Czy płaci? Czy jest w programie? Co trafia na twoje biurko Jedna opcja, wyceniona Bez porównania, bez wycenionej alternatywy Pozostałych trzech nigdy nie wyceniono, więc nie wiesz, ile kosztowałyby a ich brak wygląda, jakby nie było o czym mówić Filtr działa, zanim cokolwiek zobaczysz. Trzy odpowiedzi na to samo wymaganie nigdy nie zostają wycenione, więc ich brak wygląda tak, jakby nie było czego porównywać. Jest proste pytanie, które to wypłukuje, i zadałbym je na spotkaniu. Co jeszcze rozważaliście i ile to kosztowało? Ktoś, kto wykonał pracę, ma liczby pod ręką i nawet lubi, gdy się go pyta. Ktoś, kto jej nie wykonał, powie ci, że alternatywy nie mają wsparcia, nie są klasy korporacyjnej albo że nie podpisałby się pod nimi. Żadne z tego nie jest liczbą.\nOpen source nigdy nie trafia na listę Nie chodzi o to, że go nienawidzą. Nie ma na nim marży, nie ma od niego rabatu, nie ma certyfikatu do sprzedania i żadnego kwartalnego celu, który by przesunął.\nZarzut jest zawsze ten sam i to jedyne twierdzenie w tym wpisie, które jest po prostu nieprawdziwe: „to nie ma wsparcia”. Całość ma wsparcie, komercyjne, z umową, SLA i kimś, do kogo można zadzwonić: Proxmox sprzedaje subskrypcje na gniazdo procesora, a Red Hat, SUSE i Canonical sprzedają wsparcie dla całego stosu. Wybierasz, kto zapewnia wsparcie, a nie to, czy wsparcie w ogóle jest. Przestajesz płacić za prawo do używania oprogramowania, które już masz.\nDo tego dochodzi sprzęt, który już stoi na miejscu. Jest całkowicie pomijany. U poprzedniego pracodawcy zbudowałem prywatną chmurę z wycofanych węzłów HPC, z Proxmoxem, Cephem i pełnym łańcuchem Ansible na wierzchu, i skończyłem z 7 serwerami, 480 rdzeniami, 15 TiB RAM i 1,8 PiB przestrzeni dyskowej, bez budżetu i z trzema osobami. MSP wyceniający to samo wymaganie policzyłby nowy sprzęt i subskrypcję: w sprzęcie, który już kupiłeś i za który zapłaciłeś, nie ma nic dla nich.\nDruga połowa tego to sprzęt, który już stoi u ciebie, i to ta połowa, której nigdy się w ogóle nie wycenia. Serwer nie przestaje działać w dniu, w którym kończy się jego umowa serwisowa. „Koniec wsparcia” to data wybrana przez producenta, a nie pomiar sprzętu, który ktokolwiek wykonał, a maszyna z pięcioma dobrymi latami przed sobą jest warta więcej dla ciebie niż dla kogokolwiek, kto sprzedaje jej następcę. Open source to właśnie to, co pozwala ci jej dalej używać, bo licencji nie obchodzi, jak stary jest procesor ani czy logo z przodu jest jeszcze na gwarancji.\nTo jest ten fragment, który nikomu nie płaci. Nie ma rabatu od sprzętu, który już masz, nie ma punktów do progu za maszynę, która zostaje na miejscu, i nie ma odnowienia licencji, której nikt nie musiał kupować. Nie jest więc proponowany, a zamiast tego sięga się po frazę „koniec życia”, która brzmi jak inżynieria, a jest datą sprzedażową.\nPoproś, żeby opcję open source porządnie wyceniono, ze wsparciem, obok pozostałych, i poproś o wariant, który wykorzystuje to, co masz, wyceniony obok wariantu, który tego nie robi. Nie po to, żeby ktoś odwiódł cię od komercyjnej. Po to, żeby zobaczyć różnicę, i żeby decyzja była twoja.\nJak alternatywa wygląda naprawdę Na prawie wszystko w ofercie jest wspierana odpowiedź open source, a warto zacząć od części, która kosztuje cię najwięcej, bo to nigdy nie są serwery.\nOprogramowanie licencjonowane na stanowisko. Tu są pieniądze cykliczne i tu nigdy nie wspomina się o alternatywie. Pakiet biurowy: LibreOffice, ONLYOFFICE albo Collabora Online, która sprzedaje wspierane wdrożenia i daje ci edycję w przeglądarce, o której ludzie myślą, że jest tylko z jednego miejsca. Poczta, kalendarze i wspólne kontakty: grommunio mówi MAPI, więc Outlook łączy się z nim tak jak z Exchange, i jest sprzedawane ze wsparciem; SOGo i mailcow pokrywają to samo pole inaczej. Pliki, udostępnianie i to, do czego ludzie faktycznie używają dysku w chmurze: Nextcloud, z umową korporacyjną za plecami. Czat i spotkania, czyli połowa od Teams: Mattermost i Rocket.Chat to najbliższe odpowiedniki, oba do postawienia u siebie, ze wsparciem do kupienia, a Zulip jest na licencji Apache i porządnie obsługuje wątki. Matrix z Elementem, Nextcloud Talk i Jitsi pokrywają resztę. A połowę od SharePointa, czyli intranet, biblioteki dokumentów i strony zespołów, pokrywają razem XWiki, BookStack, OpenProject, Seafile i Nextcloud.\nAplikacje biznesowe. ERP: Odoo Community, ERPNext, Dolibarr. CRM: SuiteCRM, do którego firma za nim stojąca sprzedaje wsparcie, albo EspoCRM. Księgowość: GnuCash albo księga wbudowana w Dolibarr i ERPNext. Zarządzanie dokumentami: Paperless-ngx. Raportowanie: Metabase. Service desk i ewidencja zasobów, za które twój MSP kasuje cię jak za produkt: GLPI i Zammad.\nTożsamość i sekrety, na których wisi wszystko inne. Keycloak, FreeIPA albo Samba jako kontroler domeny. Do haseł: Bitwarden można postawić u siebie, Vaultwarden to lekki serwer na AGPL, który rozmawia z tymi samymi klientami, a Passbolt i KeePassXC robią to samo inaczej. W większości ofert to miesięczna pozycja na użytkownika.\nZarządzanie urządzeniami, czyli pozycja Intune na twoim rachunku. Fleet robi inwentaryzację, polityki i rejestrację urządzeń na platformach, które środowisko faktycznie zawiera, zbudowany na osquery. MicroMDM obsługuje rejestrację Apple, Headwind obsługuje Androida, a Ansible, Puppet albo Salt robią konfigurację pod spodem czegokolwiek z tego. Do połowy od zdalnego dostępu, czyli tematu całej sekcji części drugiej, MeshCentral jest na licencji Apache, a RustDesk na AGPL, i oba działają na serwerze, który jest twój. Czyli odpowiedź na pytanie „jakie narzędzie zdalne siedzi na moich maszynach i kto może zalogować się do konsoli” może być taka, którą sam hostujesz i łatasz, a nie taka, o której dowiadujesz się po fakcie.\nA samo aktualizowanie nie jest już czarną magią, jako którą się je sprzedaje. Nawet w Fisher-Price OS (Windows) aktualizacje aplikacji idą teraz przez winget, na licencji MIT, z repozytorium manifestów społeczności na tej samej licencji; Chocolatey i Scoop robią to samo dłużej, a każdy Unix ma to od lat 90. Więc gdy zarządzanie łatkami pojawia się w ofercie jako zarządzana pozycja premium, popatrz, co faktycznie jest sprzedawane. Mechanizm jest darmowy i dostarcza go producent platformy, a ustawienie go to jedno popołudnie. Potem to zaplanowane zadanie. Wpis w cronie, albo jak to tam konsola nazywa, działający na maszynie, która już była. Płacisz miesięczny abonament za robotę, która robi się sama.\nOdpowiedź na to ma brzmieć tak, że płacisz za kogoś, kto patrzy na wynik i działa, gdy coś zawiedzie, i to byłoby warte pieniędzy. Popatrz więc na dowody tego patrzenia. W Capita, którą rozbiera na części część druga, alert został zgłoszony w dziesięć minut, a zareagowano na niego niemal trzy dni później, przy celu jednej godziny, w zespole, który regulator uznał za niedoobsadzony. W internecie wciąż stoją firewalle z podatnościami, które trafiły do katalogu wykorzystywanych lata po wydaniu poprawki. Patrzenie to ta część, która uzasadniałaby fakturę, i to ta część, na której dzianie się jest najmniej dowodów.\nSystem telefoniczny, jedna z najstarszych miesięcznych pozycji na numer wewnętrzny. Asterisk robi to od dwudziestu pięciu lat, FreePBX kładzie na nim interfejs webowy, FreeSWITCH to drugi silnik, a Kamailio i OpenSIPS obsługują routing SIP w skali operatora. Jeśli wolisz to w pudełku niż do złożenia, Wazo, FusionPBX i Issabel dostarczają to gotowe.\nWarto też pamiętać, co stało się z tym zamkniętym, który proponuje większość dostawców. W marcu 2023 CISA opublikowała ostrzeżenie, że „3CXDesktopApp — a voice and video conferencing app — was trojanized, potentially leading to multi-staged attacks against users employing the vulnerable app”. Nikt nie musiał znaleźć podatności i jej wykorzystać. Przyszło to jako podpisana aplikacja samego producenta, jego własnym kanałem aktualizacji, na każde biurko, na które partner ją wdrożył.\nAdobe, czyli subskrypcja na stanowisko jak wszystko inne. Większość firm w ogóle nie płaci za pakiet kreatywny. Płacą za Acrobata i za podpisy. Stirling PDF to zestaw narzędzi do postawienia u siebie, który robi łączenie, dzielenie, zaczernianie, OCR i wypełnianie formularzy, dla których kupuje się Acrobat Pro, a Okular albo LibreOffice Draw pokrywają resztę. Do podpisywania Documenso i DocuSeal są oba na AGPL i oba do postawienia u siebie, a opłata za kopertę za podpisanie dokumentu to chyba najczystszy przykład w tym wpisie na naliczanie licznikiem czegoś, co twój własny serwer zrobiłby za darmo. Tam, gdzie naprawdę jest zespół projektowy: GIMP i Krita do grafiki rastrowej, Inkscape do wektorowej, Scribus do składu, darktable i RawTherapee do fotografii, Kdenlive do wideo, Blender do 3D i kompozycji, Audacity i Ardour do dźwięku.\nWideo, które zasługuje na osobny akapit. Kamery sprzedaje się jako zarządzany produkt z licencją na kanał i rejestratorem, do którego środka nie wolno ci zajrzeć. Frigate jest na licencji MIT i wykrywa obiekty lokalnie na sprzęcie, który jest twój; ZoneMinder jest na GPL od dwudziestu lat. Do wideokonferencji Jitsi i BigBlueButton. I pamiętaj, za który produkt Cisco zapłaciło $8,6 mln i kolejne $6 mln w ramach ugody, o czym mówi część druga. Oprogramowanie do monitoringu wideo, sprzedawane organom państwowym. Kamerowy stos premium nie przychodzi z dołączonym bezpieczeństwem.\nPrzestrzeń dyskowa i systemy plików, i zauważ, że tu nikt nigdy nie daje ci żadnego wyboru. OpenZFS do przestrzeni z sumami kontrolnymi, migawkami i send/receive, Btrfs, XFS, CephFS. System plików pod twoimi danymi to decyzja inżynierska z prawdziwymi konsekwencjami dla tego, ile z nich odzyskasz po złym dniu, a zwykle przychodzi jako to, z czym akurat został dostarczony sprzęt.\nInfrastruktura, na końcu, bo to najtańsza część rachunku. Hiperwizor i klaster: Proxmox VE. Przestrzeń dyskowa: Ceph, który chętnie pójdzie na dyskach, które już masz, zamiast na nowej macierzy. Firewall i routing: nftables, OPNsense. VPN: WireGuard albo strongSwan. W przypadku sieci nakładkowej typu mesh, którą wszyscy teraz sprzedają, warto mieć dobry obraz. Klienci Tailscale są open source, a jego własny hostowany serwer koordynacyjny nie jest: firma podaje, że „remains proprietary as part of our managed service”. Ale istnieje otwarty serwer koordynacyjny, i to poważny: Headscale jest na licencji BSD, to „an open source, self-hosted implementation of the Tailscale control server”, a Tailscale zatrudnia jego głównego opiekuna, mówiąc jednocześnie, że „does not set Headscale\u0026rsquo;s product direction”. Całość może więc działać na twoim własnym sprzęcie. NetBird i Nebula to inne drogi. Równoważenie obciążenia: HAProxy i keepalived. Monitoring: Prometheus, Grafana, Zabbix. Kopie zapasowe: Proxmox Backup Server, Bareos, restic. Zarządzanie konfiguracją: Ansible. A do prac integracyjnych, które wycenia się albo jako rozwój na zamówienie, albo jako subskrypcję automatyzacji w chmurze płatną za uruchomienie, Node-RED jest na licencji Apache, działa na maszynie, która jest twoja, i nie bierze od ciebie opłaty za wykonanie.\nTrzy miejsca, w których nie będę udawał, że zamiana jest czysta. Po pierwsze, Teams i SharePoint. Problemem nie jest cel, cokolwiek ci powiedzą: produkty wyżej są dojrzałe i firmy na nich działają. Problemem jest migracja: lata nagromadzonych stron, dziedziczenie uprawnień, którego nikt nigdy nie udokumentował, przepływy Power Automate, które ktoś zbudował i zostawił, i zachowanie przy współedycji, którego pracownicy oczekują, choć nie umieją go nazwać. To prawdziwa robota i powinna być wyceniona jak prawdziwa robota, a nie zbywana machnięciem ręki w którąkolwiek stronę. Zauważ jednak także, czego przestajesz dźwigać. Te przepływy i te strony to procesy biznesowe działające w cudzym centrum danych, na platformie, której nie możesz zrestartować. Gdy staną, nie naprawiasz ich. Czekasz i mówisz własnym klientom, że czekasz. Po drugie, brytyjska księgowość ma twardą krawędź: VAT trzeba składać przez oprogramowanie uznawane przez HMRC, a HMRC publikuje listę. Drogi open source do Making Tax Digital istnieją, GnuCash ma most społecznościowy, ERPNext ma moduł brytyjskiego VAT, ale są utrzymywane przez społeczność, a nie są produktem z umową wsparcia za plecami. To prawdziwe ograniczenie i należy do porównania. Po trzecie, działająca agencja projektowa żyje albo umiera na wymianie plików, a klienci, którzy przysyłają ci .psd i oczekują go z powrotem, to prawdziwy problem, a nie kwestia zasad. Dla wszystkich innych, którzy muszą wypełnić PDF i dać go do podpisu, nie ma w ogóle czego zamieniać. Wystarczy przestać płacić.\nDlaczego lepszego biznesu nigdy się nie sprzedaje Dlaczego więc nic z tego nie jest oferowane? Bo byłoby to dla nich lepszym biznesem, a nie gorszym, co czyni odmowę bardziej interesującą, a nie mniej.\nNa kliencie można zarabiać na dwa sposoby. Odsprzedaj licencję, a marżę ustala ktoś inny, on ją ogranicza, on zmienia cenę przy odnowieniu, i jest wypłacana niezależnie od tego, czy w danym miesiącu wykonałeś jakąkolwiek pracę. Wdróż i prowadź otwarty stos, a marżą jest twoja własna praca po twojej własnej stawce, bez nikogo, kto bierze działkę po drodze, i bez producenta, który mógłby zmienić liczbę w kwietniu przyszłego roku. Drugie jest warte więcej na klienta i coś buduje. Inżynier, który umie prowadzić Cepha albo postawić serwer pocztowy, z którym rozmawia Outlook, jest wart więcej w przyszłym roku niż w tym. Ktoś, kto zawsze tylko obsługiwał konsolę, jest wart w przyszłym roku dokładnie tyle samo, i tylko tak długo, jak ta konsola istnieje.\nJest to też trudniejsze, i w tym cała rzecz. Trzeba na to zasłużyć co miesiąc od nowa. Potrzeba inżynierów, a nie administratorów, a inżynierowie są drodzy, rosną latami i mogą wyjść i założyć własną firmę. Licencja nigdy nie odchodzi.\nTo jest zobowiązanie, a zobowiązania właśnie się unika. Odsprzedaż niczego od nikogo nie wymaga. Wybierz producenta w tym roku, innego w przyszłym, a gdy coś się wywali, to nigdy nie był twój projekt. Prowadzenie stosu samemu oznacza wybranie go, porządne nauczenie się go i stanięcie za nim przed klientem o drugiej w nocy. Jedno wymaga, żebyś coś wiedział. Drugie wymaga loginu do portalu.\nTo też rozbija arytmetykę, na której działa model. Usługę zarządzaną wycenia się na dźwigni: jak najwięcej klientów na inżyniera, młodsi pracownicy idący po runbookach, eskalacja dopiero wtedy, gdy runbook się kończy. Działa to, bo pracę sprowadzono do kroków. Wstaw stos, który ktoś musi faktycznie rozumieć, a proporcja się sypie, koszty płac rosną, a firma odkrywa, że zależy od ludzi, którzy mogliby odejść i zabrać ze sobą klientów.\nPytanie pod krótką listą nigdy więc nie brzmiało, który produkt jest lepszy. Brzmi, czy firma chce być taką, która zatrudnia ludzi, którzy coś wiedzą.\nI tu wraca liczba szkoleniowa z wcześniej. Sektor, który ściął wydatki na umiejętności o 30% w dwa lata, nie może sprzedawać umiejętności, więc sprzedaje licencje. Sprzedawanie licencji oznacza, że nigdy nie musi tych umiejętności zdobyć, więc szkolenia pozostają ścięte, a w przyszłym roku ma do zaoferowania jeszcze mniej. To pętla, i kręci się tylko w jedną stronę.\nReszta to zachęty, a przez nie już przeszliśmy. Producent płaci rabat od licencji i nic od pracy. Handlowiec jest wynagradzany od produktu. A gdy hyperscaler ma awarię, to wina hyperscalera, podczas gdy klaster, który zbudowałeś sam, jest twój, więc odsprzedaż kupuje komuś miejsce, gdzie można położyć winę. To jest warte prawdziwych pieniędzy dla firmy, która wolałaby nie odpowiadać za nic.\nNic z tego nie czyni tego właściwą odpowiedzią dla ciebie. Wyjaśnia tylko, dlaczego porównanie nigdy nie zostaje napisane.\nPodatek od IPv4 To najczystszy przykład w całym wpisie, bo można wycenić obie strony.\nZbudują ci usługę tylko na IPv4. Potem sprzedadzą ci publiczne adresy, których potrzebujesz, żeby się do niej dostać, za adres, za miesiąc, na zawsze. Poproś o kolejny, a jest formularz, uzasadnienie i pozycja przy odnowieniu.\nTymczasem IPv6 nie kosztuje nic ekstra. Przydział przychodzi z członkostwem w rejestrze, za które już płacisz, a cennik RIPE na 2026 rok to płaskie EUR 1800 za konto LIR, cokolwiek masz. RIPE-690 mówi, że lokalizacja końcowa dostaje /48 albo /56. Po stronie v6 nie ma licznika na adres. Nie ma czego liczyć.\nLiczby po drugiej stronie też są publiczne. AWS pobiera $0,005 na godzinę za każdy publiczny adres IPv4, podpięty czy nie, co daje około $43,80 rocznie za sztukę. Na rynku transferów średnia cena w pierwszej połowie 2026 wynosiła $20,04 za adres, a typowa stawka dzierżawy około $0,59 za adres miesięcznie. Adres jest więc wart mniej więcej dwadzieścia dolarów przy zakupie na własność i wynajmuje się hurtowo za około siedem rocznie, a odsprzedaje się go tobie jako zasób deficytowy. Miesięczna pozycja na rachunku i formularz do wypełnienia, gdy chcesz kolejny.\nNiedobór jest prawdziwy. Powód, dla którego wciąż za niego płacisz, nie jest. Uruchomienie usługi w dual-stack to popołudnie pracy i zamienia opłatę cykliczną w jednorazowy wniosek o zmianę, i właśnie dlatego nigdy nie jest proponowane.\nJeśli chcesz pełnego obrazu tego, kto w tym kraju faktycznie się przyłożył, policzyłem wszystko: Nigdy nie zabrakło nam adresów. Zabrakło nam wysiłku.\nChmura domyślnie, gdy wszystko, co masz, jest na miejscu Pomyśl, gdzie praca faktycznie się dzieje. Zakład produkcyjny. Warsztat samochodowy. Firma cateringowa.\nKażdy użytkownik jest w budynku. Każdy bit danych powstaje w budynku: maszyny, kasy, karty zleceń, magazyn, CAD, programy CNC, zamówienia przychodzące przez ladę. Wszystko, co z tych danych korzysta, też jest w budynku. Żadnej drugiej lokalizacji, żadnych pracowników w terenie, żadnych klientów uderzających w front webowy i żadnego miesiąca, w którym obciążenie się podwaja.\nPostaw aplikację w cudzym centrum danych, a każdy z tych bajtów opuszcza teraz teren i wraca prosto z powrotem. Ci sami użytkownicy. Te same dane. To samo przetwarzanie. Plus WAN pośrodku, miesięczny rachunek i zależność od łącza, które nie jest twoje.\nNic, w czym chmura jest naprawdę dobra, nie ma tu zastosowania. Elastyczna skala jest dla obciążenia, które się zmienia, a hala produkcyjna na dwie zmiany się nie zmienia. Globalny zasięg jest dla użytkowników, którzy są gdzie indziej, a twoi stoją przy maszynie. Cudzy budynek to prawdziwa odpowiedź na odtwarzanie po awarii, ale odtwarzanie po awarii to cel kopii zapasowej, a nie miejsce, z którego prowadzisz linię.\nTo, co ci to kupuje, to nowy sposób na zatrzymanie się. U siebie padnięte łącze szerokopasmowe to niedogodność, a praca trwa, dopóki ktoś tego nie naprawi. W chmurze to przestój: łącze pada, warsztat nie może otworzyć zlecenia, kuchnia nie może przyjąć zamówienia, produkcja stoi, a ty czekasz na cudzego inżyniera według SLA, którego nigdy nie negocjowałeś.\nDokąd naprawdę idzie praca, gdy aplikacja opuszcza budynek Na miejscu Twój budynek Ludzie Stoją przy maszynie Dane Wszystkie powstają tutaj Aplikacja Też tutaj Nic nie opuszcza terenu. Padnięte łącze to niedogodność, a praca trwa, dopóki ktoś go nie naprawi. Chmura domyślnie i trasa, którą to naprawdę idzie Twój budynek Ci sami ludzie, te same dane Centrala w której kończy się twoje łącze Rdzeń twojego ISP i ten, od kogo kupuje tranzyt Punkt wymiany ruchu albo sieć brzegowa dostawcy Centrum danych Aplikacja mieszka teraz tutaj Trzy budynki, które nie są twoje, do których nie zadzwonisz i których nie wybrałeś a każdy bajt wraca tą samą drogą, przy każdym zapisie i każdym wyszukaniu Padnięte łącze to teraz przestój. Warsztat nie otworzy zlecenia, kuchnia nie przyjmie zamówienia, produkcja stoi, a ty czekasz na cudzego inżyniera według SLA, którego nigdy nie negocjowałeś. Ci sami użytkownicy, te same dane, to samo przetwarzanie. Różnicą są sieci czterech innych firm pośrodku, a do żadnej z nich nie zadzwonisz, gdy stanie. A twoje łącze to tylko połowa. Druga połowa jest ich i też pada. Własne podsumowanie po zdarzeniu AWS za październik 2025 opisuje zakłócenie w jego głównym regionie w północnej Wirginii trwające od 23:48 19 października do 14:20 20 października, czyli dobre piętnaście godzin, podczas którego klienci i inne usługi AWS „were unable to establish new connections”. Przyczyną, ich słowami, była „a latent defect within the service\u0026rsquo;s automated DNS management system”. Dziewięć dni później Azure Front Door pociągnął za sobą Microsoft 365, Outlooka i portal Azure na większą część dnia roboczego. Microsoft prowadzi bieżącą historię takich zdarzeń i nie jest to krótki dokument.\nPrzestoje to też nie wszystko. Drugą rzeczą sprzedawaną na okładce oferty była pojemność na żądanie, a ona ma własny, udokumentowany tryb awarii. Microsoft publikuje stronę zatytułowaną „Troubleshooting Azure VM allocation failures”. AWS publikuje „How do I troubleshoot InsufficientInstanceCapacity errors when I start or launch an EC2 instance?”. Przeczytaj te tytuły jeszcze raz. Obaj producenci utrzymują stałą dokumentację na wypadek, gdy prosisz o maszynę, a jej nie ma: żadnej usterki, żadnej awarii, po prostu w tym regionie nic dziś nie zostało. Na to wszystko nakładają się limity, ustalane na subskrypcję, czyli drugi sposób, żeby usłyszeć „nie”.\nElastyczna skala w ofercie ma więc zastrzeżenie, którego oferta nie ma. Elastyczna w granicach tego, co zostało wolne, w tym regionie, w dniu, w którym prosisz. A dostawcy i tak wpisują klientów do regionów z ograniczoną pojemnością, bo podpis liczy się w tym kwartale, a sprawdzenie pojemności nie. Dowiadujesz się przy wdrożeniu, czyli w najgorszym możliwym momencie: po tym, jak migracja jest przesądzona, po tym, jak sprzęt na miejscu zniknął, i po tym, jak wariant awaryjny rozebrano, żeby zapłacić za przeprowadzkę.\nPrzeczytaj, co to wszystko znaczy dla warsztatu i kuchni. Na twoim własnym sprzęcie awaria to ktoś, do kogo możesz zadzwonić, albo maszyna, do której ktoś może podejść i ją zrestartować. W cudzej chmurze nie ma żadnej dźwigni. Nie możesz eskalować, nie możesz nadać priorytetu własnemu odtwarzaniu, i dostawca, któremu płacisz, też nie może. Odświeża tę samą stronę statusu co wszyscy inni. To, co kupiłeś jako odporność, okazuje się zależnością dzieloną z kilkoma milionami innych klientów, a w dniu awarii twoja pozycja jest taka sama jak ich.\nDlaczego więc to zawsze jest rekomendacja? Bo zakup inwestycyjny płaci twojemu MSP raz. Subskrypcja płaci mu co miesiąc, procentowo, z kredytem od producenta na wierzchu. Migracja zdejmuje mu też sprzęt z głowy, a to część usługi, do której najtrudniej mu znaleźć ludzi. Trzy powody wskazujące w tę samą stronę, a żaden z nich nie jest twój.\nDo tego dochodzi to, gdzie lądują twoje dane. Zgodnie z 18 U.S.C. § 2713, dodanym przez CLOUD Act, amerykański dostawca musi wydać dane będące w jego „possession, custody, or control”, gdy zostanie prawidłowo wezwany, „regardless of whether such communication, record, or other information is located within or outside of the United States”. Więc „to jest w regionie brytyjskim” to prawdziwa odpowiedź na pytanie, którego nie zadałeś. Region mówi ci, gdzie jest dysk. Ustawa idzie za tym, kto jest właścicielem firmy.\nNikt nie przedstawił ci tego jako decyzji. Przyszło jako założenie, wewnątrz oferty, napisanej przez kogoś, kto dostaje więcej, gdy powiesz „tak”.\nO tej zależności pisałem obszernie w ile kosztuje wynajmowanie technologii.\nWszystko to wydarzyło się, zanim cokolwiek zbudowano Zauważ, kiedy to wszystko się dzieje. Zanim jakakolwiek maszyna trafi do szafy, zanim ktokolwiek się gdziekolwiek zaloguje, na spotkaniach i w arkuszach, na których cię przeważnie nie było. Rabat, wymagania, których nikt nie zebrał, jedna opcja, brakująca pozycja open source, adresy, które będziesz teraz wynajmować przez cały okres umowy, centrum danych, którego nikt w budynku nie potrzebował: nic z tego nie jest techniczne, a wszystko zostaje przesądzone w pierwszych dwóch tygodniach.\nDlatego jest to warte twojej uwagi, nawet jeśli nigdy nie otworzyłeś przełącznika. Dlatego też tak trudno to potem rozplątać. Wszystko dalej dziedziczy te dwa tygodnie. Środowisko zostaje zbudowane tak, jak powiedziała krótka lista. Narzędzia się pojawiają, bo to te, które dostawca już ma i już zna. Klucze lądują tam, gdzie kładzie je ich proces. A umowa podpisana na końcu decyduje, z wieloletnim wyprzedzeniem, kto ponosi stratę tego ranka, gdy coś stanie.\nWięc część druga to to, co faktycznie zbudowano: pudło, od którego nie da się ich odwieść, sprzęt brzegowy z najgorszym wynikiem na liście wykorzystywanych podatności, podstawy, które były tym, co kupiłeś, i narzędzia, które sięgają do każdej twojej maszyny z konsoli, której nigdy nie widziałeś. Dwie z opisanych tam porażek mają dołączone ustalenie regulatora. Żadna nie przytrafiła się klientowi. Przytrafiły się dostawcy, a klienci byli niżej w łańcuchu.\nIs Your MSP Lying To You — 3 parts\nCzy twój MSP okłamuje cię, żeby sprzedać ci produkty premium?you are here Co zbudował ci twój MSP i kto jeszcze może się do tego dostać Kiedy coś się psuje, kto naprawdę za to odpowiada? Źródła Pobrano 28 sierpnia 2026.\nJak działają pieniądze.\nDokumentacja rozliczeń Microsoft Partner Center — partner earned credit naliczany od opłat za zużycie Azure przez klienta. FCA Handbook, COBS 6.1A — opłaty za doradztwo: zasada, że firmie za rekomendację może płacić wyłącznie klient i że nie może ona przyjmować prowizji od dostawcy produktu. Dochodzenie CMA w sprawie rynku usług chmurowych — prace brytyjskiego regulatora konkurencji nad rynkiem chmury. Adresy.\nCennik RIPE NCC na 2026 — EUR 1800 za konto LIR, płasko. RIPE-690 — /48 albo /56 dla lokalizacji końcowej, październik 2017. Opłata AWS za publiczne IPv4 — $0,005 za adres na godzinę, od lutego 2024. Rynek transferów IPv4, pierwsza połowa 2026 — średnio $20,04 za adres, stawka dzierżawy około $0,59 za adres miesięcznie, jako podsumowanie analizy CircleID transakcji z jawnymi cenami. VPN.\nPrzewodnik Cisco Meraki po rozwiązywaniu problemów z AnyConnect — TLS i DTLS na 443, bez problemu z NAT do rozwiązania. RFC 3947 i RFC 3948 — przechodzenie IPsec przez NAT i przejście na UDP 4500. Wsparcie, które naprawdę można kupić.\nSubskrypcje Proxmox VE — jeden przykład komercyjnego wsparcia dla infrastruktury open source. Szkolenia i umiejętności.\nLearning and Work Institute, 24 grudnia 2025 — inwestycje pracodawców w szkolenia realnie niższe o 36% na pracownika od 2005 roku i o 30% niższe w informacji i komunikacji między 2022 a 2024, na podstawie Employer Skills Survey 2024. National Vulnerability Database — liczba publikacji CVE według roku, sumowana kwartałami: 6595 w 2015 wobec 49 972 w 2025. Cyber Security Breaches Survey 2025/2026 — uwierzytelnianie dwuskładnikowe u 47% firm, formalne polityki spadły do 52%, plany ciągłości obejmujące cyberbezpieczeństwo spadły do 44%. Ostrzeżenie CISA, 30 marca 2023 — strojanizowana aplikacja desktopowa 3CX. Prawo i polityka.\nRozporządzenie wykonawcze, 10 lutego 2025 — wstrzymanie egzekwowania Foreign Corrupt Practices Act, słowami samej administracji. Just Security o roku, który nastąpił — wytyczne egzekucyjne z czerwca 2025, rozwiązana jednostka FCPA w SEC i zamknięte dochodzenia. Bribery Act 2010 i sekcja 7 — brytyjska ustawa i przestępstwo korporacyjnego niezapobieżenia przekupstwu. Airbus, 31 stycznia 2020 — relacja samej firmy o trójstronnej ugodzie i o podziale kar między PNF, SFO, DoJ i DoS. Jurysdykcja.\n18 U.S.C. § 2713 — przepis CLOUD Act: ujawnienie niezależnie od tego, gdzie dane są przechowywane. Gdy platforma staje.\nPodsumowanie AWS po zdarzeniu, październik 2025 — zakłócenie DynamoDB i DNS w us-east-1, słowami samego Amazona. Historia statusu Azure — bieżący zapis incydentów prowadzony przez samego Microsoftu. ","permalink":"https://blogs.damiendye.uk/pl/random/is-your-msp-lying-to-you-part1/","summary":"Część 1 z 3. Niektórzy kłamią. Większość nigdy nie musi, bo płaci im producent produktu, który polecają, a nikt nie ma obowiązku ci o tym powiedzieć. Sygnały, że ktoś ci sprzedaje, zamiast projektować dla ciebie, i to, co nigdy nie trafia na krótką listę.","title":"Czy twój MSP okłamuje cię, żeby sprzedać ci produkty premium?"},{"content":" Is Your MSP Lying To You — 3 parts\nCzy twój MSP okłamuje cię, żeby sprzedać ci produkty premium? Co zbudował ci twój MSP i kto jeszcze może się do tego dostaćyou are here Kiedy coś się psuje, kto naprawdę za to odpowiada? Część pierwsza była o sprzedaży. Ta jest o tym, co postawiono.\nPapiery są podpisane, faktura przychodzi co miesiąc i jest sprzęt. Część twoja, część ich, większość wybrana, zanim ktokolwiek zapytał, czym właściwie firma zajmuje się między ósmą a szóstą. Dalej jest o samym sprzęcie: co się wybiera, co zostało w nim włączone i kto jeszcze może dosięgnąć maszyn, za które zapłaciłeś, z konsoli, do której nigdy się nie logowałeś.\nDwie z opisanych tu awarii mają ustalenia regulatora z kwotą na końcu. Żadna nie przytrafiła się klientowi: przytrafiły się dostawcy, a klienci byli niżej w łańcuchu. Każde twierdzenie ma link.\nPudełko, od którego nie da się ich odwieść Teraz ta niezręczna część. Chcę to zrobić na dowodach, nie na twierdzeniach, bo to jest sekcja, w której ludzie sięgają po słowo spisek, a sięgnięcie po to słowo to sposób, żeby temat porzucić, zanim ktokolwiek musiał mu się przyjrzeć.\nCisco to domyślna rekomendacja w większości tej branży. Popatrz więc, co sam producent opublikował o nieudokumentowanym dostępie do własnego sprzętu.\nW marcu 2018 opublikowali komunikat o CVE-2018-0141: do Prime Collaboration Provisioning można było zalogować się przez SSH z powodu „a hard-coded account password on the system”. Osiem miesięcy później CVE-2018-15439 w przełącznikach Small Business, gdzie „the affected software enables a privileged user account without notifying administrators of the system”, bez poprawionego oprogramowania w dniu publikacji i z obejściem zaproponowanym w zamian. W październiku 2023 CVE-2023-20101: Emergency Responder był dostarczany z kontem root mającym „default, static credentials that cannot be changed or deleted”, dane logowania „typically reserved for use during development”.\nKonto, o którym nikomu nie powiedziano, którego nie możesz usunąć, z rootem na pudełku w twoim środowisku. Nazwij to, jak chcesz. To jest to, co opisuje komunikat samego producenta.\nDo tego dochodzą materiały Snowdena, które mają już ponad dekadę i nigdy nie zostały odwołane. W grudniu 2013 Der Spiegel opublikował katalog ANT, pisząc, że jeden z wydziałów NSA „has burrowed its way into nearly all the security architecture made by the major players in the industry \u0026ndash; including American global market leader Cisco and its Chinese competitor Huawei”. Te same teksty opisywały, jak sprzęt tam trafia: przesyłki kierowane do tajnych warsztatów w procesie, który NSA nazywa interdiction, gdzie „at these so-called \u0026rsquo;load stations,\u0026rsquo; agents carefully open the package in order to load malware onto the electronics, or even install hardware components that can provide backdoor access”. Wewnętrzny biuletyn NSA z 2010 roku, opublikowany w 2014 razem ze zdjęciami, opisał ten proces słowami samej agencji: urządzenia „being delivered to our targets throughout the world are intercepted”, a potem „re-packaged and placed back into transit to the original destination”.\nTe teksty nie pokazują współudziału. Der Spiegel napisał wprost, że nic w dokumentach nie sugerowało, że producenci wiedzieli albo pomagali, Cisco zaprzeczyło wtedy jakiemukolwiek udziałowi, a w maju 2014 jego główny radca prawny powiedział to oficjalnie: „as a matter of policy and practice, Cisco does not work with any government, including the United States Government, to weaken our products”. Poskarżyli się w tej sprawie prezydentowi. Na pierwszy rzut oka oni też byli tu ofiarą.\nPrzyjmij to za dobrą monetę. Nie zmienia to niczego w pudełku w twojej szafie, bo interdiction nigdy nie potrzebowało pomocy producenta. A warto wiedzieć, ile waży to zaprzeczenie, bo słowo Cisco było już sprawdzane w sądzie. W 2019 zawarli ugodę w postępowaniu z False Claims Act na 8,6 mln $ na szczeblu federalnym, plus 6 mln $ z grupą stanów, w sprawie oprogramowania do monitoringu wideo sprzedawanego instytucjom publicznym z „flaws that would permit unauthorized access to the system, with the potential to control and otherwise manipulate security cameras and the recorded footage”. Według prokuratora generalnego Nowego Jorku Cisco wiedziało o tych lukach w 2009 roku i nie naprawiło ich aż do 2013, kiedy dochodzenie już trwało. Ugoda nie jest przyznaniem się do odpowiedzialności i nie będę udawał, że jest inaczej. To wciąż cztery lata sprzedawania policji i instytucjom publicznym produktu ze znaną drogą do środka bez słowa o tym.\nBilans jest więc taki: nieudokumentowane konta root, z ich własnego przyznania, katalog sprzed dekady, który ich wymienia, łańcuch dostaw, który da się skompromitować, co wykazano, i okres, w którym wiedzieli o dziurze i dalej sprzedawali. Każdą z tych rzeczy z osobna dałoby się zbyć wzruszeniem ramion. Razem tworzą wzorzec. Oświadczenie strony zainteresowanej wzorca nie rozstrzyga.\nOdpowiedzią na to są mechanizmy kontrolne, nie zakaz. To ryzyko należy do dokumentu projektowego razem z całą resztą, a alternatywy się wycenia, zamiast je zbywać. Zapytaj, jaki konkurencyjny sprzęt oceniano i ile kosztował. Zapytaj, jaka jest polityka weryfikacji i aktualizacji firmware i kto ją sprawdza. Zapytaj, jak sprzęt jest przyjmowany i kontrolowany, i przez kogo. Zapytaj, co się dzieje, gdy numer seryjny nie zgadza się z zamówieniem.\nI zwróć uwagę, którzy producenci w twojej branży są tak prześwietlani, a którzy nie. Ta sama branża, która wpisała Huawei do rejestru ryzyk z powodu zdolności, której nikt publicznie nie pokazał, wpisze Cisco do projektu szczegółowego bez jednej linijki uzasadnienia, na podstawie odznaki partnera. Pisałem o tym, co dzieje się z tym argumentem, kiedy stosujesz tę samą miarę do wszystkich. Odznaka partnera to relacja handlowa z przypiętymi celami sprzedażowymi. Jako taka nie jest ustaleniem bezpieczeństwa.\nFirewall jest drogą do środka Poszerz to z jednego producenta na całą kategorię, bo firewall to produkt, który MSP sprzedaje najmocniej. To pozycja na fakturze, która uzasadnia część umowy dotyczącą bezpieczeństwa.\nCISA prowadzi katalog podatności wykorzystywanych w praktyce: nie teoretycznie groźnych, tylko faktycznie użytych przeciw komuś. Pobrałem ten katalog i policzyłem go według producentów. Wersja 2026.08.27 ma 1685 wpisów. Cisco odpowiada za 96 z nich, ustępując tylko 386 wpisom Microsoftu, a 42 z nich dotyczą linii firewalli i urządzeń brzegowych. Fortinet ma 29. Palo Alto Networks ma 15. Dla skali: Ivanti ma 35, a SonicWall 17.\nPopatrz, czym te wpisy właściwie są, bo wzorzec się nie zmienia. To interfejs zarządzania albo VPN, czyli ta część, która celowo jest wystawiona do internetu.\nJedyna część tej osi czasu, którą zamykasz ty Jedna podatność, od publikacji do łatki na twoim pudełku Opublikowana istnieje numer CVE Łatka dostępna producent zrobił swoje Potwierdzone ataki dodana do katalogu CISA Twoje pudełko załatane przez tego, komu płacisz Twoja ekspozycja Wiadomo, że używana przeciw komuś, a wciąż na twoim perymetrze Cisco 96 wpisów, Fortinet 29, Palo Alto 15. To liczby producentów i są publiczne. Długość zacienionego odcinka jest twoja i nikt o nią nie pyta. Każdy dostawca ma tę liczbę. To ten sam pomiar, który ICO zrobiło w Capicie. Suma producenta jest publiczna i to nie ona decyduje, czy oberwiesz. Decyduje zacieniony odcinek, a ten należy do tego, komu płacisz. CVE-2024-3400 w Palo Alto to wstrzyknięcie poleceń w funkcji GlobalProtect w PAN-OS, z wynikiem 10,0, wykorzystywane jako zero-day. Później tego samego roku CVE-2024-0012 pozwalało „an unauthenticated attacker with network access to the management web interface” przejść prosto obok uwierzytelnienia, z wynikiem 9,8, i było łączone z wstrzyknięciem poleceń w tym samym interfejsie.\nCVE-2022-40684 w Fortinecie to „authentication bypass using an alternate path or channel” z wynikiem 9,8. Jego CVE-2018-13379, path traversal w SSL VPN, trafiło do katalogu w listopadzie 2021. Lata po tym, jak istniała poprawka, bo pudełka wciąż stały w internecie niezałatane i ludzie po prostu do nich wchodzili.\nCVE-2023-20198 w interfejsie WWW IOS XE od Cisco miało wynik 10,0. CVE-2025-20333, w serwerze WWW VPN w oprogramowaniu Secure Firewall ASA i FTD, miało 9,9 we wrześniu zeszłego roku.\nA potem jest CVE-2026-20316, dodane do katalogu 29 lipca 2026. Cisco Secure Firewall Management Center, „use of hard-coded password”, pozwalające „an unauthenticated, remote attacker to log in to an affected device”. Statyczne dane logowania w pudełku, które zarządza firewallami, potwierdzone jako wykorzystywane, miesiąc przed tym wpisem. Ta sama wpadka co w 2018 i 2023 w sekcji powyżej, na maszynie, która administruje twoim perymetrem.\nTeraz pożyteczna część, bo „niektórzy producenci są gorsi od innych” to tak naprawdę nie jest lekcja. Każdy z nich ma publiczną historię i nic z niej nie trafia do oferty. A co ważniejsze, suma producenta to nie jest liczba, która decyduje, czy oberwiesz. Twoja ekspozycja to odstęp między wpisaniem podatności do tego katalogu a załataniem twojego pudełka. Tego odstępu nie zamyka producent. Należy do tego, komu płacisz za utrzymanie tego sprzętu.\nTo ten sam pomiar, który ICO zrobiło w Capicie, w następnym rozdziale. Alert po dziesięciu minutach, reakcja po pięćdziesięciu ośmiu godzinach, przy celu jednej. Nikt nie prosi swojego dostawcy o tę liczbę dla łatania firewalli, a to jest liczba, którą ma każdy dostawca.\nKiedy podstawy są tym, co kupiłeś To jest to, co przyszło po sprzedaży, w dwóch przypadkach, w których dochodzenie prowadził regulator i opublikował, co znalazł.\nW marcu 2025 Information Commissioner nałożył na Advanced Computer Software Group karę 3,07 mln £ za incydent z ransomware w sierpniu 2022. Advanced „provides IT and software services to organisations, including the NHS and other healthcare providers”. Napastnicy weszli „via a customer account that did not have multi-factor authentication”. NHS 111 zostało zakłócone, personel medyczny nie miał dostępu do dokumentacji pacjentów, a dane osobowe 79 404 osób zostały wyniesione. Ustalenie ICO co do przyczyny warto przeczytać powoli: „while Advanced had installed multi-factor authentication across many of its systems, the lack of complete coverage meant hackers could gain access”. To była też pierwsza kara, jaką ICO nałożyło na podmiot przetwarzający, a nie na organizację, do której dane należały.\nW październiku 2025 ten sam regulator nałożył na Capitę karę 14 mln £ za atak z 2023 roku, w którym wyniesiono dane osobowe 6,6 mln osób. Złośliwy plik trafił na urządzenie pracownika 22 marca 2023. Alert o wysokim priorytecie zadziałał w ciągu dziesięciu minut. Urządzenia nie poddano kwarantannie przez 58 godzin, przy docelowym czasie reakcji jednej godziny, a ICO ustaliło, że Security Operations Centre „was understaffed, and in at least six months before the incident fell well below the target response times for responding to security alerts”, obok niewystarczających testów penetracyjnych i oceny ryzyka.\nPrzeczytaj, co łączy te dwa ustalenia. Nie sprytny przeciwnik. Nie zero-day. Nie coś, czego nikt nie mógł zobaczyć. Uwierzytelnianie wieloskładnikowe, które kupiono, ale nie dokończono, i kolejka alertów, do której nikt nie przydzielił ludzi. Jedno i drugie to pozycje, które ktoś zatwierdził i zaraportował na zielono.\nI nic z tego nie zaskoczyło branży. 11 maja 2022, trzy miesiące przed incydentem w Advanced, agencje cyberbezpieczeństwa Wielkiej Brytanii, Australii, Kanady, Nowej Zelandii i Stanów Zjednoczonych wydały wspólny komunikat o zagrożeniach dla dostawców usług zarządzanych i ich klientów, bo były „aware of recent reports that observe an increase in malicious cyber activity targeting managed service providers”. Pierwsze działanie taktyczne na liście to wymuszenie uwierzytelniania wieloskładnikowego na kontach MSP, które sięgają do środowiska klienta.\nAgencje bezpieczeństwa pięciu krajów zapisały to publicznie i nazwały mechanizm kontrolny. Trzy lata później regulator wciąż karze ludzi za to, że go nie dokończyli.\nŻadna z tych historii nie dotyczy małej firmy. Oto taka, która dotyczy. W piątek 24 listopada 2023 CTS, dostawca IT dla sektora prawnego, padł w wyniku cyberincydentu. Gazeta samego Law Society podała, że około 80 kancelarii nie mogło finalizować transakcji, z wyłączonymi systemami i zablokowanymi umowami. To kancelarie zajmujące się przenoszeniem własności nieruchomości, w większości małe, a ich klientami byli ludzie w trakcie przeprowadzki. Jedna z nich powiedziała to wprost: „This leaves us with so much uncertainty — with movers needing to be booked, days needing to be taken off work at potentially short notice and lives put on hold.” CTS mogło tylko powiedzieć, że jest „unable to give a precise timeline for full restoration”.\nNikt w tym łańcuchu nie wybierał CTS. Wybrała je kancelaria, a każdy klient niżej odziedziczył tę decyzję, nikt go o nic nie pytając.\nTo kupujesz, kupując usługę zarządzaną.\nA jak byś się o tym dowiedział? Zauważ jedno w każdym incydencie z sekcji powyżej. Żaden nie przytrafił się klientowi. Przytrafiły się dostawcy, a klienci siedzieli niżej w łańcuchu, pod czyimś złym tygodniem.\nZadaj więc pytanie wprost. Jeśli zostaniecie zhakowani, czy usłyszymy to od was? I jak szybko?\nJest prawne minimum i jest niższe, niż ludzie zakładają. Tam, gdzie przetwarzają dane osobowe w twoim imieniu, art. 33 mówi, że „the processor shall notify the controller without undue delay after becoming aware of a personal data breach”. Bez stałej liczby godzin. Tymczasem ty, jako administrator, masz 72 godziny, żeby powiadomić Information Commissioner, od chwili, gdy się dowiesz. Przeczytaj te dwa przepisy razem. Każda godzina, którą spędzają na decydowaniu, czy ci powiedzieć, to godzina z zegara, który tyka przeciw tobie, nie przeciw nim.\nA to minimum obejmuje tylko dane osobowe. Włamanie do ich konsoli zarządzania, bez dowodu, że cokolwiek twojego się ruszyło, może w ogóle nie rodzić obowiązku powiadomienia cię, podczas gdy dane logowania, które sięgają każdej twojej maszyny, są w cudzych rękach. To jest ta luka. I nie jest mała.\nPomyśl, kto dowiaduje się przed tobą. Ich prawnicy, bo tajemnica zawodowa. Ich ubezpieczyciel, bo tak mówi polisa. Ich regulator, według ustawowego zegara. Jesteś niżej na tej liście, niż byś chciał, a na każdym kroku opłaca się mówić mniej, dopóki nie wiadomo więcej.\nZostają alternatywy, a wszystkie są gorsze. Dowiadujesz się, bo twoje systemy stają, i tak dowiedziały się kancelarie. Dowiadujesz się, bo dzwoni dziennikarz. Albo dowiadujesz się, bo ktoś zauważy nazwę dostawcy na stronie z wyciekami grupy ransomware, co nie jest procesem powiadamiania, tylko przypadkiem w cudzym marketingu.\nZapisz to więc w umowie i bądź konkretny, bo mgliste klauzule spadają do ustawowego minimum. Powiadomienie o każdym istotnym incydencie w ich sieci w określonej liczbie godzin, na piśmie, bez względu na to, czy potwierdzono, że dotyczy twoich danych. Powiadomienie, jeśli jakiekolwiek dane logowania z dostępem do twoich systemów mogły zostać ujawnione. Powiadomienie, jeśli pojawią się na stronie z wyciekami. Wskazana osoba kontaktowa po twojej stronie, nie ogólna skrzynka.\nPotem zadaj pytanie, które powie ci najwięcej, i zadaj je, póki jeszcze ci coś sprzedają. Mieliście incydent? Co się stało, kiedy klienci się dowiedzieli i jak się dowiedzieli? Dostawca, który przez to przeszedł i poradził sobie porządnie, opowie ci o tym. To najlepszy dowód, jaki ma. Ktoś, kto mówi, że nigdy się nie zdarzyło, ma albo dużo szczęścia, albo jest bardzo mały, albo niczego nie liczy.\nNarzędzie, które sięga każdego klienta naraz Żaden MSP nie zarabia, dotykając maszyn po jednej. Ekonomia wymaga jednej konsoli, która sięga wszystkiego, i do tego służy oprogramowanie do zdalnego monitorowania i zarządzania. RMM siedzi na każdej maszynie objętej umową, działa jako system, a dostawca steruje całością z jednego logowania.\nJedna konsola sięga każdej maszyny u każdego klienta Producent narzędzia Dostarcza agenta i każdą jego aktualizację podpisana aktualizacja jest zaufana od razu Konsola twojego dostawcy Jeden login, każdy ich klient Inny klient Agent na każdej maszynie Twój budynek Agent na każdej maszynie, działa jako system Inny klient Agent na każdej maszynie Maszyna ufa konsoli. Konsola ufa producentowi. Twojemu firewallowi kazano to wszystko przepuszczać. Zasięg jest produktem. Jedna konsola, każdy klient, każda maszyna, i dlatego napastnik, który zdobędzie konsolę, dostaje wszystko naraz. Odwróć to i popatrz ze swojej strony. Na twoich maszynach jest oprogramowanie, którego nie wybrałeś, którego prawdopodobnie nie umiesz nazwać i którego historii łatek nigdy nie widziałeś. Jako takie może zrobić cokolwiek, z każdą z nich, w dowolnej chwili.\nHistoria tych narzędzi nie pociesza. Zacznij od 2021.\nKaseya, lipiec 2021. CISA i FBI opisały reakcję na ransomware „leveraging a vulnerability in the software of Kaseya VSA on-premises products — against managed service providers (MSPs) and their downstream customers”. Uderzono w około pięćdziesięciu dostawców, a pod nimi siedziało do 1500 firm, z których większość nigdy nie słyszała o Kasei i nie miała nic do powiedzenia w kwestii jej obecności.\nW styczniu 2023 CISA, NSA i MS-ISAC wydały wspólny komunikat, żeby „warn network defenders about malicious use of legitimate remote monitoring and management (RMM) software”, po kampanii z poprzedniego października, w której napastnicy phishingiem nakłaniali ludzi do instalacji ScreenConnect i AnyDesk, a potem używali ich do oszustwa „na zwrot” wymierzonego w konta bankowe ofiar. Nikt nie musiał do tego włamywać się do MSP. Narzędzie działa dla nich dokładnie tak samo dobrze jak dla dostawcy.\nW lutym 2024 okazało się, że ConnectWise ScreenConnect ma CVE-2024-1709, które „may allow an attacker direct access to confidential information or critical systems”. Wynik 10,0. Zwróć uwagę na klasę słabości: obejście uwierzytelnienia przez alternatywną ścieżkę lub kanał, słowo w słowo ta sama kategoria co obejście w FortiOS wyżej. Inny producent, inny produkt, ten sam błąd. Maksymalna ocena, w oprogramowaniu, które sięga każdego klienta dostawcy.\nPotem SimpleHelp. Komunikat CISA z czerwca 2025 opisuje grupy ransomware „leveraging unpatched instances of a vulnerability in SimpleHelp Remote Monitoring and Management (RMM) to compromise customers of a utility billing software provider”, docierające do „downstream customers” w celu podwójnego wymuszenia. Luka pod spodem, CVE-2024-57727, pozwala nieuwierzytelnionemu napastnikowi ściągnąć „server configuration files containing various secrets and hashed user passwords” prosto z hosta.\nZauważ, gdzie za każdym razem ląduje strata. Nie u producenta. Właściwie też nie u dostawcy. U klientów pod spodem, którzy nigdy nie kupili tego narzędzia, nigdy nie usłyszeli, które to było, i nie mieli nic do powiedzenia w kwestii tego, kiedy je załatano.\nZastrzeżenie co do tych źródeł, bo ma znaczenie. To amerykańskie komunikaty, a to dlatego, że CISA publikuje szczegóły incydentów, podczas gdy NCSC zwykle nie podaje nazw. To różnica w ujawnianiu, nie w postępowaniu. Narzędzia są te same, z tego samego katalogu, a mała firma od wsparcia IT w tym kraju ma dziś po południu ScreenConnect albo SimpleHelp albo któregoś z ich konkurentów na twoich maszynach.\nZapytaj więc, które to jest. Zapytaj, jaka wersja, kiedy ostatnio łatana, kto może się zalogować do konsoli, czy każde konto w niej ma uwierzytelnianie wieloskładnikowe i jaki jest plan, gdy następnym razem któreś z nich dostanie dziesiątkę.\nPotem zadaj jeszcze jedno, bo odpowiedź powie ci coś, czego inne nie powiedzą. Czy to działa po IPv6?\nTo uczciwe pytanie w 2026 roku i trafia mocniej, niż wygląda. Jeśli narzędzie zarządzania mówi tylko IPv4, to IPv4 jest tym, co twoja sieć musi utrzymywać, nie dlatego, że potrzebuje go twoja firma, tylko dlatego, że potrzebują go ich narzędzia. To plan adresacji ustalany przez oprogramowanie dostawcy, a nie przez twoje wymagania, a ty co miesiąc płacisz za adresy, które to umożliwiają. Pracownik zdalny na łączu komórkowym może już być w sieci tylko z IPv6, a wtedy cały układ opiera się na translacji, którą utrzymuje ktoś inny.\nA jeśli odpowiedź brzmi, że nigdy nie sprawdzali, dowiedziałeś się tego, o co naprawdę pytałeś.\nNajpierw jednak prostsze pytanie, o którym zapomina się przy całym tym gadaniu o bezpieczeństwie. Jakie obciążenie agent nakłada na maszynę i gdzie są dowody?\nOdpowiedź, którą dostaniesz, to „pomijalne”. To przymiotnik. Ty chcesz liczby, zmierzonej na sprzęcie takim jak twój, a nie przepisanej z karty katalogowej: średnie i szczytowe użycie CPU, pamięć rezydentna, aktywność dysku podczas inwentaryzacji albo skanu łatek i dzienny ruch sieciowy. Zmierzonej na najstarszej maszynie w środowisku, a nie na najnowszej.\nI mierz cały stos, a nie jednego agenta osobno. Zdalne zarządzanie, antywirus, wykrywanie na endpointach, klient kopii zapasowych, monitoring, ewidencja sprzętu. Każdy producent mówi, że poniżej jednego procenta, jest ich sześciu, a osoba, która naprawdę musi pracować na tym laptopie, to ta, która się dowiaduje, ile sześciu z nich daje razem. Bliskie zera to właściwy cel. Dowody to jedyny sposób, żeby to ustalić.\nPoproś o liczby przed wdrożeniem i poproś, żeby potem zrobić własne pomiary na maszynie, którą sam wybierzesz. Dostawca pewny swoich narzędzi zaproponuje jedno i drugie bez naciskania.\nJeszcze jedno o samym narzędziu, i to jest to, które ludzie uważają za najdziwniejsze, dopóki tego nie przemyślą. Czy dostajesz informację, gdy agent aktualizuje się na twoich maszynach?\nAgent to oprogramowanie z najwyższymi uprawnieniami w twoim środowisku. Działa jako system, na wszystkim, i zmienia wersję, kiedy tylko dostawca albo producent uzna, że powinien. Oprogramowanie jest instalowane w całej twojej firmie przez stronę trzecią, po cichu, a w większości umów nikt ci nie mówi, że to się stało.\nTeraz zestaw to z tym, co faktycznie poszło źle w Kasei. Złośliwa aktualizacja wypchnięta zaufanym kanałem zarządzania na każdą maszynę naraz. Z miejsca, w którym siedzisz, tego dnia nie da się jej odróżnić od rutynowej aktualizacji agenta: ten sam kanał, te same uprawnienia, ta sama cisza. Jedyna różnica to zamiar. Zamiaru nie da się zaobserwować.\nPoproś więc o powiadomienia o zmianie wersji, zapytaj, kto zatwierdza aktualizację agenta i czy jest gdzieś testowana, zanim do ciebie dotrze, i zadaj to, które liczy się najbardziej: co powiedziałoby ci, że nastąpiło wypchnięcie, które nie powinno było nastąpić? Jeśli uczciwa odpowiedź brzmi „nic”, to mechanizm kontrolny, na którym polegasz, to czujność samego dostawcy, czyli dokładnie to, o czym jest cała ta sekcja.\nI klucze, które to otwierają Do tego dochodzi to, co otwiera konsolę. Temu poświęca się jeszcze mniej uwagi niż samej konsoli.\nMSP trzyma uprawnienia administracyjne do każdego klienta, którego ma w portfelu. Na tym polega ta praca, to jest cały produkt. Standard stosowany do jego własnych danych logowania powinien więc być wyższy niż ten, który ustala dla twoich, a w praktyce rutynowo jest niższy. Wspólne konta, bo indywidualne loginy dla dwunastu inżynierów w dwustu tenantach to zawracanie głowy. Hasła w sejfie, który może czytać cały service desk. Klucze SSH bez hasła na laptopach, które jadą do domu pociągiem. Konta awaryjne, których nikt nie dotknął, odkąd odeszła z firmy osoba, która je założyła.\n„Używamy MFA” to miejsce, w którym ta rozmowa zwykle się kończy, a nie powinna, bo jego formy nie są równe. CISA układa je od najsilniejszej do najsłabszej: FIDO/WebAuthn i oparte na PKI na górze, co nazywa „the gold standard”; jednorazowe hasła z aplikacji i powiadomienia push niżej, „vulnerable to push bombing attacks as well as user error”; a SMS na samym dole, który „should only be used as a last resort MFA option”. Odporny na phishing jest tylko górny rząd. Wszystko pod nim można przekazać dalej, zmęczyć albo przechwycić, podczas gdy osoba zatwierdzająca jest przekonana, że loguje się jak zwykle.\nNapastnicy też przeczytali ten dokument. Komunikat CISA o Scattered Spider mówi, że grupa „targets large companies and their contracted information technology (IT) help desks”. Nie klienta. Help desk, który może zresetować dane logowania klienta. To dużo łatwiejsze i daje ci wszystkich naraz.\nPytanie jest więc węższe niż to, czy używają MFA. Czy każde konto, które może sięgnąć twoich systemów, jest na sprzętowym tokenie, tokenie, a nie aplikacji, i co się dzieje, gdy ktoś dzwoni do service desku o jedenastej wieczorem, mówiąc, że jest inżynierem, który sam się zablokował?\nPoprawka jest tu wyjątkowo prosta i dlatego jej brak trudno wybaczyć. Google powiedział KrebsOnSecurity w 2018, że „has not had any of its 85,000+ employees successfully phished on their work-related accounts since early 2017”, kiedy zaczął wymagać fizycznych kluczy bezpieczeństwa zamiast haseł i jednorazowych kodów. Nie mniej incydentów. Zero. Ten sam artykuł zauważa, że podstawowy klucz kosztował w sklepie dwadzieścia dolarów.\nTeraz przełóż to na dostawcę usług zarządzanych. Nie musi wydawać kluczy twoim pracownikom. Musi wydać je własnym inżynierom, a takich, którzy trzymają dane logowania sięgające każdego klienta w portfelu, jest może tuzin. Tuzin kluczy, kupionych raz, przeciw promieniowi rażenia obejmującemu każdą firmę, której dotykają. Po dwadzieścia funtów sztuka. Kiedy ktoś ci mówi, że tokeny sprzętowe są niepraktyczne, zapytaj, ilu osobom naprawdę byłyby potrzebne.\nJest też powiązane pytanie, które powinieneś zadać o własne środowisko, bo większość klientów nigdy na to nie wpadła. Kto trzyma konto awaryjne do twoich systemów? W bardzo wielu umowach uczciwa odpowiedź brzmi, że dostawca, a ty nie masz żadnego kompletu. Nie wejdziesz do własnej infrastruktury, nie dzwoniąc do nich. To nie jest mechanizm bezpieczeństwa, to zależność. Gryzie w najgorsze dni, a nie w zwykłe. W dniu, w którym wypowiadasz umowę. W dniu, w którym kupuje ich ktoś, kogo nie wybrałeś. W dniu, w którym to oni zostali skompromitowani, a ty musisz działać bez nich.\nPowinieneś trzymać własne dane logowania awaryjne, zapieczętowane, wpisane do umowy i przetestowane w dniu, który ktoś potrafi wskazać. Jeśli twój dostawca się ociąga, samo ociąganie już ci coś powiedziało.\nTo samo pytanie schodzi aż do biurka i to jest to, o którym zapomina się całkowicie. Każdy laptop i desktop, który dla ciebie zbudowali, ma hasło administratora BIOS-u, ustawione podczas budowy przez kogoś po ich stronie. Ty jesteś właścicielem maszyny. Oni trzymają do niej klucz.\nPomyśl, czym to hasło właściwie rządzi. Kolejnością rozruchu. Secure boot. Tym, czy maszyna w ogóle wystartuje z pendrive\u0026rsquo;a. Czyli tym, czy możesz przeinstalować maszynę, która jest twoja, odzyskać taką, która nie startuje, przekazać partię komuś innemu albo porządnie je wyczyścić, zanim wyjdą za drzwi. Na laptopie może to być też to, co stoi między złodziejem a dyskiem. Nic z tego nie jest egzotyczne. To zwykła codzienność posiadania komputerów, a w bardzo wielu środowiskach właściciel nie może zrobić nic z tego, nie dzwoniąc do dostawcy.\nPoproś o wszystko. Każdy laptop, każdy desktop, każdy serwer: hasło BIOS-u lub firmware, login do BMC na wszystkim, co go ma, i hasło bootloadera na wszystkim, gdzie GRUB albo jego odpowiednik został zablokowany, co jest tym samym zamkiem piętro wyżej i stoi między tobą a rozruchem ratunkowym na serwerze, który nie chce wystartować. Jeśli wszędzie jest to samo hasło, to też warto wiedzieć. A jeśli odpowiedź brzmi nie, zapytaj dlaczego, bo oferowane powody są cienkie: uczciwy jest taki, że to ułatwia im budowę, a reszta jest przebrana za bezpieczeństwo. Hasło, którego nie wolno ci mieć, nie chroni cię przed nikim. Chroni ich przed tym, że odejdziesz.\nDo tego dochodzi konto, którym faktycznie logujesz się, żeby naprawić maszynę. Lokalny administrator na każdym pudełku z Windows, root na każdym linuksowym i coś równoważnego na każdym przełączniku, firewallu i hypervisorze w budynku. Dwa pytania obejmują całość, a obejmują też hasła firmware i bootloadera z akapitu wyżej. Czy są różne na każdej maszynie i czyj system zarządzania hasłami je trzyma: twój czy ich?\nRóżne ma większe znaczenie, niż ludzie się spodziewają. Jedno hasło lokalnego administratora na dwustu maszynach to nie dwieście haseł, to jedno, i leży zarówno na najsłabiej bronionym laptopie w firmie, jak i na serwerze finansowym. To nie jest teoretyczna słabość, to standardowy ruch: wejdź na cokolwiek, odczytaj hasło, przejdź do wszystkiego. Microsoft dostarcza odpowiedź w pudełku. Windows LAPS ustawia inne hasło na każdej maszynie, zmienia je według harmonogramu i zapisuje kopię w Active Directory albo w twojej własnej dzierżawie Entra. Własna strona Microsoftu wymienia jako pierwszą korzyść „protection against pass-the-hash and lateral-traversal attacks”, a funkcja jest bezpłatna w każdej wspieranej wersji Windows, bez dodatkowych opłat za przechowywanie haseł we własnym katalogu. Jeśli więc odpowiedź brzmi „jedno hasło wszędzie”, to nie jest problem licencyjny ani problem narzędzi. Ktoś po prostu nigdy tego nie włączył.\nCzyj system trzyma hasło do twojej maszyny Powszechny układ Ich sejf albo ten doczepiony do ich narzędzi Każde hasło administratora w twojej firmie trzyma firma, w której nie masz konta Twoje maszyny Serwery, laptopy, przełączniki, firewalle, hypervisory Dziennik odczytów należy do nich Nie skontrolujesz tego, do czego nie masz loginu Odebranie to grzeczna prośba w najgorszej chwili Układ, którego chcesz Twój katalog albo twój sejf Inne hasło na każdej maszynie, zmieniane, w depozycie pod twoją kontrolą dostępu Te same maszyny Dostawca dostaje dostęp, nie pieczę Zapis, kto co odczytał, jest twój Widzisz go dziś, nikogo nie pytając Możesz go odebrać we wtorek po południu Jedno hasło lokalnego administratora na dwustu maszynach to nie dwieście haseł. To jedno, i leży na najsłabiej bronionym laptopie w firmie oraz na serwerze finansowym. Microsoft daje na to odpowiedź za darmo i trzyma hasło w twoim katalogu, nie w ich. Te same maszyny, te same hasła, dwie różne odpowiedzi na pytanie, kto je trzyma i kto widzi, kiedy któreś zostanie odczytane. Naciskać trzeba na to, czyj to system, i zwróć uwagę, gdzie LAPS domyślnie umieszcza hasło: w twoim katalogu, pod twoją kontrolą dostępu, z twoim zapisem tego, kto je odczytał. Taki kształt chcesz mieć na wszystkim. Dane logowania do twojej maszyny żyją w czymś, co należy do ciebie, a twój dostawca dostaje do tego dostęp, dostęp, który widzisz i który możesz odebrać we wtorek po południu, nie pytając nikogo o pozwolenie.\nDrugi kształt jest tym powszechnym. Hasła siedzą w ich menedżerze haseł albo w sejfie dostępu uprzywilejowanego doczepionym do ich narzędzia zdalnego zarządzania, a ty nie masz do niego loginu. Wtedy każde hasło administracyjne w twojej firmie trzyma firma, w której nie masz konta, dziennik tego, kto je odczytał, jest ich, a w dniu, w którym relacja się psuje, grzecznie prosisz o klucze do maszyn, które są twoje.\nZadaj więc pytanie uzupełniające i zadaj je teraz, a nie na spotkaniu pożegnalnym. Jak to trafia do naszego systemu? Są trzy uczciwe odpowiedzi. Przenieście depozyt do naszego katalogu albo naszego sejfu i weźcie do niego dostęp delegowany. Albo dajcie nam dziś dostęp do odczytu waszego, z eksportem, który sami uruchomimy, w formacie, który przełknie nasz własny sejf. Albo przekazujcie nam zapieczętowaną, datowaną kopię według harmonogramu, którą otwieramy i testujemy. „Wszystko jest w naszym systemie i dostaniecie to, kiedy odejdziecie” nie ma na tej liście, bo dzień, w którym odchodzisz, to dzień, w którym mają najmniej powodów, żeby się z czymkolwiek spieszyć.\nI zapytaj, co dzieje się potem z tymi hasłami. Danych logowania, które ich inżynierowie znali przez cztery lata, nie czyni bezpiecznymi mail, że już ich nie ma. Każde trzeba zmienić przy wyjściu, samemu, na maszynach, do których masz teraz hasło firmware.\nA potem wersja na żywo tego wszystkiego. Czy dostajesz informację, gdy ktoś odczyta hasło do jednego z twoich systemów?\nNie dziennik, który prowadzą i mogliby ci pokazać, gdybyś poprosił. Wiadomość, która przychodzi do ciebie: które dane logowania, który inżynier, które zgłoszenie i kiedy. Sama możliwość nigdzie nie budzi wątpliwości: każdy sejf godny tej nazwy zapisuje wypożyczenie, a depozyt samego Microsoftu robi to w twojej własnej dzierżawie, gdzie odzyskanie hasła jest zapisywane w dzienniku audytu Entra jako „Recover device local administrator password” przy koncie, które to zrobiło. Jedyne prawdziwe pytanie brzmi więc, czy ten zapis wskazuje gdzieś, gdzie możesz go zobaczyć.\nZapytaj, a jeśli odpowiedź brzmi nie, zapytaj dlaczego. Jest tu gdzieś uczciwe „nie”: alert przy każdym wypożyczeniu w ruchliwym środowisku odpalałby się czterdzieści razy dziennie i do środy przestałbyś go czytać. Na to jest odpowiedź, a nie koniec rozmowy. Alarmuj przy tych, które powinny być rzadkie: konto administratora domeny, dane logowania awaryjne, hasła firmware i bootloadera, klucze odzyskiwania. I alarmuj przy każdym odczycie bez dołączonego numeru zgłoszenia, bo to albo niechlujne prowadzenie zapisów, albo dokładnie to, o czym chcesz usłyszeć, i ani jedno, ani drugie nie jest dobrze obsłużone, gdy dowiadujesz się o tym na przeglądzie kwartalnym.\nCo mogą zrobić, gdy już są w środku Jeszcze jedno, i to jest to, przy którym najczęściej widać puste spojrzenie. Czy dostajesz informację, gdy któryś z ich inżynierów wchodzi do twoich systemów?\nNie dziennik, który prowadzą. Powiadomienie, które dostajesz: kto wszedł, kiedy, na jak długo i do którego zgłoszenia. Poproś o to, a jeśli odpowiedź brzmi nie, zapytaj dlaczego.\nJest precedens, i siedzi w produktach, które ci odsprzedają. Customer Lockbox Microsoftu wymaga, żeby inżynier Microsoftu poprosił o twoją wyraźną zgodę, zanim dotrze do twoich treści w sprawie serwisowej. Google publikuje dzienniki Access Transparency o tym, jak jego pracownicy dotykają twoich danych, a Access Approval każe im najpierw zapytać. Najwięksi dostawcy na ziemi, z dużo węższym dostępem, niż ma twój dostawca, zbudowali więc procesy zatwierdzania i dzienniki dostępu dla własnych pracowników i przekazują ci zapis.\nTwój MSP ma administratora domeny. Zapytaj, co ci przekazuje.\nA jest powód twardszy niż rozliczalność. Powiadomienie, które przychodzi do ciebie, to jedyny niezależny sygnał, jaki kiedykolwiek dostaniesz, że ich danych logowania używa ktoś, kto nie jest nimi. Jeśli napastnik wejdzie przez service desk, każdy dziennik, który by to pokazał, siedzi w organizacji, która właśnie została skompromitowana. Ten, który ląduje w twojej skrzynce, siedzi poza nią.\nJeszcze piętro niżej, przy samej maszynie. Czy narzędzie zdalne może połączyć się z czyimś pulpitem bez zgody tej osoby?\nDla serwera o trzeciej nad ranem dostęp bez nadzoru to cały sens i nikt rozsądny nie protestuje. Dla maszyny, przy której ktoś siedzi, z otwartą pocztą i swoją pracą na ekranie, to inny czyn. Każdy poważny produkt do zdalnego zarządzania da się ustawić tak, żeby pytał przed połączeniem, pokazywał widoczny wskaźnik, gdy sesja trwa, i pozwalał odmówić. To, czy twój robi cokolwiek z tego, to ustawienie konfiguracji, a ustawienie wybrali ludzie, którym ono pasuje.\nZapytaj więc o trzy rzeczy i trzymaj je osobno. Czy wasi inżynierowie mogą dotrzeć do pulpitu pracownika bez pytania? Czy osoba, która przy nim siedzi, widzi cokolwiek, gdy ktoś jest połączony? Czy może odmówić?\nJeśli na pierwsze odpowiedź brzmi tak, a na pozostałe dwa nie, to nie jest ograniczenie techniczne. To ustawienie domyślne, do którego nikt nie wrócił, w produkcie kupionym przez stronę, której ono sprzyja. Warto też położyć to przed tym, kto w twojej organizacji odpowiada za ochronę danych, bo oglądanie ekranu pracownika bez jego wiedzy to decyzja, przy której powinno stać czyjeś nazwisko.\nPotem pytanie, które decyduje, czy cokolwiek z tego da się potem udowodnić. Czy ich inżynierowie są nagrywani, gdy pracują na twoich systemach?\nNagrywanie sesji nie jest egzotyczne i nie jest wielką prośbą. To flagowa funkcja każdego produktu do dostępu uprzywilejowanego na rynku, co znaczy, że twój dostawca całkiem możliwe już za nią płaci i nigdy jej nie włączył. Nagrana sesja daje ci wideo albo dziennik klawiszy i poleceń, albo jedno i drugie, przypisane do imiennie wskazanego inżyniera i numeru zgłoszenia. Tak wygląda rozliczalność, gdy jest prawdziwa, a nie obiecana: nie zapewnienie, że inżynierowie się zachowują, tylko zapis, który by pokazał, gdyby któryś się nie zachował.\nZapytaj więc, czy jest włączone, a potem zapytaj, jak się do tych nagrań dostajesz, bo nagranie, którego nie możesz uzyskać, nie jest dowodem, tylko plotką. Są trzy odpowiedzi warte posiadania, od najlepszej. Nagrania lądują w magazynie, który należy do ciebie, zapisywane na bieżąco. Albo masz dziś dostęp do odczytu ich systemu, z eksportem, który sam uruchomisz. Albo jest ścieżka zgłoszenia z określonym czasem realizacji, w godzinach, na piśmie, w umowie, którą przetestowałeś co najmniej raz na zwykłej sesji, a nie pierwszy raz w trakcie sporu.\nCzego nie chcesz, to powszechnego układu: nagrania trzyma tylko dostawca, okres przechowywania ustala dostawca, usuwanie zależy od dostawcy. To mechanizm kontrolny, który działa doskonale aż do dnia, w którym jest potrzebny przeciw dostawcy. Zapytaj więc, kto może skrócić okres przechowywania, kto może nagranie usunąć i czy samo oglądanie nagrania jest rejestrowane. I zapytaj, co dzieje się z całością w dniu, w którym odchodzisz.\nBądź uczciwy co do drugiej strony, bo jest. Nagranie inżyniera naprawiającego laptopa to też nagranie tego, co twoi pracownicy mieli na tym ekranie, a od czasu do czasu danych logowania wpisanych na widoku. Nagrania same w sobie są wrażliwe i wymagają takiego samego traktowania jak sejf: szyfrowanie, kontrola dostępu, rejestrowanie oglądania, przechowywanie przez określony czas i nie dłużej. Dostawca, który podniesie to z tobą, zanim ty podniesiesz to z nim, przemyślał problem. Taki, który nigdy się nad tym nie zastanawiał, też ci coś powiedział.\nTo samo narzędzie niemal na pewno przenosi pliki, w obu kierunkach. Zapytaj, czy to robi, a potem zapytaj, co wokół tego postawiono.\nKierunek wychodzący to ten, którego nikt nie wycenia. Transfer kanałem zarządzania jest szyfrowany, zaufany i leży poza każdym mechanizmem kontrolnym, za który już zapłaciłeś: ochroną przed wyciekiem danych, monitorowaniem ruchu wychodzącego, polityką dotyczącą pendrive\u0026rsquo;ów. Każdy z dostępem do konsoli może skopiować cokolwiek z dowolnej maszyny, a w większości wdrożeń nie ma po tym żadnego zapisu, który kiedykolwiek zobaczysz.\nKierunek przychodzący to sposób, w jaki faktycznie wydarzyły się incydenty opisane wcześniej w tym wpisie. Wypchnięcie pliku na każdy endpoint naraz to nie wada tych produktów, to ich flagowa funkcja. Ransomware po prostu użył jej tak, jak została zbudowana.\nZapytaj więc, czy transfer plików jest w ogóle włączony, czy da się go wyłączyć na maszynach, które nigdy go nie potrzebują, czy każdy transfer jest rejestrowany z plikiem, kierunkiem, maszyną i inżynierem, i czy ten dziennik przychodzi do ciebie, czy dołącza do pozostałych w ich skrzynce.\nI na koniec tego tematu, bo to jest pytanie, którego nikt w ogóle nie zadaje. Co agent właściwie zbiera i co się z tym dzieje?\nTe narzędzia zbierają dużo więcej niż poziom łatek. Inwentarz sprzętu i oprogramowania, dzienniki zdarzeń, telemetrię wydajności, często nagrania sesji i zrzuty ekranu, czasem znacznie więcej, zależnie od tego, co jest włączone. To szczegółowy obraz tego, jak działa twoja firma i co twoi pracownicy robią przez cały dzień. I nieustannie opuszcza twój budynek.\nZapytaj więc, co jest zbierane, gdzie przechowywane i pod czyją jurysdykcją, jak długo trzymane i kto może to zobaczyć, bo odpowiedzią jest zwykle dostawca i producent narzędzia, czyli druga firma, której nigdy nie wybrałeś i z którą nie masz umowy. Zapytaj, czy cokolwiek z tego jest używane do czegoś więcej niż wspieranie ciebie: analityki produktowej, benchmarków, trenowania modeli. Zapytaj, co dzieje się z tym wszystkim w dniu, w którym umowa się kończy, i dostań to na piśmie, a nie w rozmowie.\nI zwróć uwagę, czyje to są dane. Zapisy o twoich pracownikach i twoich systemach, trzymane przez kogoś, kto przetwarza je w twoim imieniu, to sformułowanie, do którego przypięte są obowiązki, i są to obowiązki twoje, a nie ich.\nUkład, który odpowiada, gdy maszyna jest wyłączona Pod tym wszystkim jest jeszcze jedna warstwa i warto zapytać o nią po imieniu. Czy używają Intel vPro albo Active Management Technology pod spodem?\nJeśli tego nie znasz, krótko: firmware zarządzania działa na osobnym kontrolerze w chipsecie, z własnym stosem sieciowym. Odpowiada, gdy maszyna jest wyłączona, pod warunkiem że jest prąd w gniazdku i kabel. Potrafi włączyć pudełko, zmienić ustawienia BIOS-u, podmontować zdalny obraz i przeinstalować system, a przy odpowiedniej konfiguracji przejąć ekran i klawiaturę na poziomie sprzętu, zanim system operacyjny się załaduje, i niezależnie od tego, czy w ogóle się załaduje.\nSą prawdziwe powody, żeby to chcieć. Maszyna, która nie startuje, ustawienie BIOS-u na urządzeniu trzysta mil stąd, ponowne wgranie obrazu bez wysyłania kogokolwiek. W dużym, rozproszonym środowisku to jest przydatne i nie będę udawał, że jest inaczej.\nAle popatrz, gdzie to siedzi. Pod systemem operacyjnym, czyli pod każdym mechanizmem kontrolnym, który kupiłeś. Ochrona endpointów tego nie widzi, bo nie działa w systemie operacyjnym. Firewall hosta tego nie filtruje, bo ruch nigdy nie dociera do stosu sieciowego systemu operacyjnego: jest obsługiwany na własnych portach, zanim cokolwiek innego zdąży na niego spojrzeć. Twoje logowanie tego nie obejmuje. Nic, co zainstalowałeś, nie powie ci, że sesja się odbyła.\nGdzie kończą się twoje zabezpieczenia i co działa pod nimi Jedna maszyna, od góry do dołu Twoje aplikacje i dane To, czego firma faktycznie używa Twoje zabezpieczenia to widzą Ochrona endpointów, logowanie, firewall hosta Za tę część płacisz Twoje zabezpieczenia to to System operacyjny Wszystko powyżej działa w nim Tu działają zabezpieczenia Poniżej tej linii nic, co zainstalowałeś, nie patrzy Firmware i BIOS Aktualizuje producent, w swoich terminach Poza twoim łataniem Silnik zarządzania, vPro lub BMC Własny procesor, własny stos sieciowy, własne porty Odpowiada przy wyłączonej maszynie tu przychodzi ruch zarządzania Wszystko, co kupiłeś, działa w systemie operacyjnym. Dwie warstwy pod nim nie, i nic zainstalowanego nad tą linią nie powie ci, że sesja się odbyła. Historia bezpieczeństwa też nie uspokaja. CVE-2017-5689 miało wynik 9,8, a opis warto przeczytać powoli: „an unprivileged network attacker could gain system privileges to provisioned Intel manageability SKUs”. CISA wydała alert, a CERT/CC notę o podatności. Zwróć uwagę na słowo „provisioned”: uśpione nie jest drogą do środka, włączone jest. A firmware, które to niesie, nie aktualizuje się przez zwykłe łatanie, za które płacisz. Przychodzi od producenta maszyny, w jego terminach.\nDo tego dochodzi część, która powinna niepokoić każdego, kto odpowiada za ludzi, a nie za serwery. Sterowanie ekranem na poziomie sprzętu oznacza, że ktoś może oglądać wyświetlacz, podczas gdy system operacyjny nie ma o tym pojęcia. Zapytaj, czy pytanie o zgodę użytkownika jest wymuszone i czy widoczny wskaźnik sesji jest włączony, bo jedno i drugie to konfiguracja i jedno i drugie może wyłączyć ten, kto to aktywował.\nPytania są więc krótkie. Czy jest to aktywowane na naszych maszynach, kto to zrobił i kiedy, czy było częścią budowy, o której nikt nie wspomniał? Do jakich konkretnych zadań jest potrzebne i ile maszyn naprawdę tych zadań potrzebuje? Która sieć może dotrzeć do portów zarządzania i czy jest odseparowana od wszystkiego innego? Czy zgoda jest wymuszona, czy wskaźnik jest włączony i gdzie jest ślad audytowy? I czy da się to dezaktywować na każdej maszynie, która tego nie potrzebuje?\nJeśli odpowiedź na pierwsze brzmi „nie wiemy”, to samo w sobie warto wiedzieć, bo oznacza, że ta zdolność siedzi tam skonfigurowana przez kogoś i przez nikogo nieobserwowana.\nRyzyko weszło za darmo Odwróć całą tę część do góry nogami, a powie jedno. Każda zdolność w niej przyszła jako wygoda i została wyceniona jako wygoda. Agent, który łata tysiąc maszyn, to ta sama rzecz, która może położyć plik na tysiącu maszyn. Układ, który oszczędza jazdę dwieście mil, odpowiada, gdy maszyna jest wyłączona, i nic nie mówi twojemu logowaniu. Wygodę wyceniono, rozpisano na pozycje i zatwierdzono. Zdolność przyszła w tym samym pudełku, bez ceny. Nie pojawia się w żadnym dokumencie, jaki kiedykolwiek ci pokazano.\nNic z tego nie jest argumentem, żeby obywać się bez czegokolwiek z tego. Środowiska trzeba łatać, a ktoś musi móc dotrzeć do martwej maszyny. To argument za tym, żeby wiedzieć, co jest w budynku, kto może do tego dotrzeć, skąd i czego by trzeba, żeby osobą trzymającą ten dostęp był ktoś inny niż firma, która trzyma go dziś. Faktura nigdy ci tego nie powie, bo faktura to lista tego, za co płacisz. To nie jest lista tego, na co jesteś wystawiony. Nikt w tym układzie nigdy nie został poproszony o sporządzenie tej drugiej.\nCzęść trzecia to to, co się dzieje, gdy jedna z nich wybuchnie. Co naprawdę obiecuje umowa, kto w końcu ponosi stratę, jak brzmią wymówki i ile kosztuje odejście, gdy wreszcie masz dość.\nIs Your MSP Lying To You — 3 parts\nCzy twój MSP okłamuje cię, żeby sprzedać ci produkty premium? Co zbudował ci twój MSP i kto jeszcze może się do tego dostaćyou are here Kiedy coś się psuje, kto naprawdę za to odpowiada? Źródła Pobrano 28 sierpnia 2026.\nSprzęt.\nCVE-2018-0141 — zaszyte na stałe hasło konta, Cisco Prime Collaboration Provisioning, marzec 2018. CVE-2018-15439 — Small Business Switches, uprzywilejowane konto włączone bez powiadamiania administratorów, listopad 2018. CVE-2023-20101 — Cisco Emergency Responder, statyczne dane logowania root, których nie da się zmienić ani usunąć, październik 2023. Der Spiegel, 29 grudnia 2013 — katalog ANT, wymieniający między innymi Cisco i Huawei, z dokumentów Snowdena. Der Spiegel, 29 grudnia 2013 — wewnątrz TAO: interdiction, load stations i co dzieje się z przekierowaną przesyłką. Ars Technica, 14 maja 2014 — wewnętrzny biuletyn NSA z 2010 roku i zdjęcia routera Cisco, w którym umieszczany jest implant, opublikowane w No Place to Hide Glenna Greenwalda. Cisco, 13 maja 2014 — odpowiedź firmy, jej własnymi słowami. Prokurator generalny Nowego Jorku, 2019 — wielostanowa ugoda w sprawie oprogramowania do monitoringu wideo sprzedawanego instytucjom publicznym i oś czasu od 2009 do 2013. Sprzęt perymetru.\nCISA Known Exploited Vulnerabilities catalogue — wersja 2026.08.27, 1685 wpisów; liczby według producentów w tym wpisie to moje własne zliczenie tego pliku. CVE-2024-3400, CVE-2024-0012 — PAN-OS, GlobalProtect i interfejs WWW do zarządzania. CVE-2022-40684, CVE-2018-13379 — obejście uwierzytelnienia w FortiOS i path traversal w SSL VPN. CVE-2023-20198, CVE-2025-20333, CVE-2026-20316 — interfejs WWW Cisco IOS XE, serwer WWW VPN w ASA i zaszyte na stałe hasło w Secure Firewall Management Center. CISA, Implementing Phishing-Resistant MFA — ranking form MFA, od najsilniejszej do najsłabszej. KrebsOnSecurity, lipiec 2018 — Google o ponad 85 000 pracowników i braku udanego phishingu po wprowadzeniu obowiązkowych fizycznych kluczy bezpieczeństwa. Wspólny komunikat AA23-320A — Scattered Spider i jego celowanie w zewnętrzne help deski IT. Windows LAPS overview — inne hasło lokalnego administratora na każdej maszynie, zmieniane i zapisywane we własnym Active Directory albo dzierżawie Entra; bezpłatne w każdej wspieranej wersji Windows. Kiedy coś pójdzie źle.\nICO, marzec 2025 — kara 3,07 mln GBP dla Advanced Computer Software Group, pierwsza kara regulatora nałożona na podmiot przetwarzający. Szczegóły są na stronie egzekucyjnej. ICO, październik 2025 — kara 14 mln GBP dla Capity za naruszenie z 2023 roku: alert po dziesięciu minutach, reakcja po 58 godzinach przy celu jednej godziny i niedoobsadzone Security Operations Centre. Law Society Gazette, 28 listopada 2023 — około 80 kancelarii zajmujących się przenoszeniem własności niezdolnych do finalizowania transakcji po awarii ich dostawcy IT. CISA i FBI o ataku na Kaseya VSA, lipiec 2021 — ransomware wymierzony w dostawców usług zarządzanych i ich klientów niżej w łańcuchu. Wspólny komunikat AA23-025A, 25 stycznia 2023 — CISA, NSA i MS-ISAC o złośliwym użyciu legalnego oprogramowania RMM. CVE-2024-1709 — obejście uwierzytelnienia w ConnectWise ScreenConnect, CVSS 10,0, luty 2024. Komunikat CISA AA25-163A, czerwiec 2025 i CVE-2024-57727 — grupy ransomware docierające do klientów niżej w łańcuchu przez niezałatany SimpleHelp RMM. Wspólny komunikat AA22-131A, 11 maja 2022 — agencje Wielkiej Brytanii, Australii, Kanady, Nowej Zelandii i USA o zagrożeniach dla dostawców usług zarządzanych i ich klientów. ","permalink":"https://blogs.damiendye.uk/pl/random/is-your-msp-lying-to-you-part2/","summary":"Część 2 z 3. Co naprawdę powstaje, gdy papiery są już podpisane: pudełko, od którego nie da się ich odwieść, firewall, który jest drogą do środka, podstawy, które były właśnie tym, co kupiłeś, i agent na każdej maszynie, który słucha cudzej konsoli.","title":"Co zbudował ci twój MSP i kto jeszcze może się do tego dostać"},{"content":" Is Your MSP Lying To You — 3 parts\nCzy twój MSP okłamuje cię, żeby sprzedać ci produkty premium? Co zbudował ci twój MSP i kto jeszcze może się do tego dostać Kiedy coś się psuje, kto naprawdę za to odpowiada?you are here Część pierwsza była o tym, jak powstaje krótka lista. Część druga o tym, co na jej podstawie zbudowano. Ta część to poranek, w którym przestaje działać, i wszystko, co z tego wynika.\nKto odpowiada z umowy i do jakiej kwoty. Co się mówi na sali, gdy odpowiedź brzmi „nikt”. Co robi w zamian dostawca, którego warto zatrzymać. I czego trzeba, żeby odejść od takiego, którego nie warto, a to okazuje się częścią, której nikt nie planuje, dopóki nie jest mu potrzebna w tym samym tygodniu.\nZa co właściwie zapłaciłeś tę premię Dowody są w części drugiej i nie będę cię przez nie prowadził drugi raz. Przyjmij, że droższa opcja nie kupiła kompetencji, nie dokończyła podstaw i nie dała ci pudełka ani trochę trudniejszego do włamania.\nTo do czego właściwie są przypięte te pieniądze?\nNie do krzemu, który co roku tanieje. Nie do adresów. Nie do godzin inżynierskich, w branży, która w dwa lata ścięła wydatki na szkolenia o prawie jedną trzecią. Premia jest przypięta do kanału: dostawcy dość dużego, żeby prowadzić poziomy partnerskie, rabaty, rejestrację transakcji i sieć dystrybutorów, a to znaczy kolejkę ludzi, z których każdy dostaje zapłatę, zanim cokolwiek powstanie, i każdy z nich jest na twojej fakturze.\nTo połowa sprzedającego i sama w sobie niewiele wyjaśnia. Mnóstwo kupujących jest w pełni kompetentnych, a i tak podpisuje. Więc oto druga połowa, ta bardziej niewygodna.\nPremia kupuje osłonę. Nie dla firmy. Dla osoby, która podpisuje.\nWstawienie znanej marki da się obronić w sposób, w jaki wybór otwartego rozwiązania nie da się nigdy. Jeśli włamią się na firewall lidera rynku, to włamali się też do wszystkich innych, a ty miałeś pecha. Jeśli włamią się na coś, co złożyłeś sam, to ty to wybrałeś i ktoś zapyta cię dlaczego. Skutek dla firmy jest taki sam. Konsekwencja dla człowieka już nie, i każdy kupujący powyżej pewnego szczebla rozumie to bez mówienia na głos.\nI tak koło się zamyka. Sprzedający dostaje więcej za polecenie droższej opcji. Kupujący jest osobiście bezpieczniejszy, gdy ją przyjmie. Żaden z nich ani przez chwilę nie działa wbrew własnemu interesowi, a jedyną stroną, która ponosi koszt tego układu, jest firma, dla której obaj pracują.\nTo jest odpowiedź na pytanie, od którego zaczęła się ta seria, i jest gorsza niż kłamstwo. Kłamca wie, jaka jest prawda. Ten układ nie potrzebuje, żeby ktokolwiek wiedział. Potrzebuje tylko, żeby krótka lista wychodziła za każdym razem tak samo, i wychodzi.\nRaporty, których nigdy nie dostajesz Każda cykliczna pozycja na fakturze za usługę zarządzaną powinna dawać jakiś dokument. Większość nie daje nic i prawie nikt o to nie pyta.\nWeź łatanie infrastruktury, pozycję nad tą od stacji roboczych. Uczciwy sposób aktualizowania floty to playbook, w Ansible albo w czymkolwiek innym, trzymany tam, gdzie go widzisz, uruchamiany według harmonogramu i zostawiający po sobie wynik. Więc poproś o pokazanie playbooka i poproś o log z uruchomienia. Przy bardzo wielu umowach nie ma ani jednego, ani drugiego. Aktualizacje robi się ręcznie, jeśli w ogóle, wtedy, kiedy ktoś sobie przypomni, a pozycja jest fakturowana co miesiąc tak czy inaczej. To, co ci sprzedano jako automatyzację, jest notatką w kalendarzu.\nCo powinna dawać każda pozycja na fakturze NA FAKTURZE DOKUMENT, KTÓRY TEGO DOWODZI CO ZWYKLE PRZYCHODZI Łatanie Playbook i log z uruchomień trzymany tam, gdzie go czytasz, wg harmonogramu Procent zgodności Kopie zapasowe Test odtworzenia, z datą co wróciło, na co, ile trwało, kto sprawdził Raport pełen zielonych znaczków Monitoring Alerty, wysyłane też do ciebie prosto z systemu, wg harmonogramu, bez edycji Panel, układany co miesiąc Dokumentacja Zapisy w twoich systemach twój IPAM, twoja baza zasobów, twoja wiki Eksport, w ich terminie Kopia, której nikt nie odtworzył, nie jest kopią. Jest hipotezą o kopii. Poproś o ostatni test odtworzenia. Odpowiedź, albo pauza przed nią, to cały przegląd. Każda cykliczna pozycja powinna zostawić po sobie dokument. Większość zostawia procent, zielony znaczek albo nic. Potem kopie zapasowe. To najgorsza z nich, bo w tę pozycję ludzie wierzą najbardziej.\nDostaniesz raport z kopii zapasowych. Zielone znaczki, zakończone zadania, zapisane bajty, wszystko przychodzi co tydzień i nic z tego nikt nie czyta. To nie jest raport, który się liczy. Kopia, której nikt nie odtworzył, nie jest kopią. Jest hipotezą o kopii.\nDokument, którego chcesz, to test odtworzenia. Co odtworzono, na jakim sprzęcie, ile to trwało od początku do końca i kto potem otworzył dane i potwierdził, że to właściwe dane. Poproś o najnowszy.\nPotem zapytaj o to samo w sprawie kopii offline, bo to osobne twierdzenie i potrzebuje osobnego dowodu. Każdy mówi, że ją ma. Poproś, żeby ci ją pokazali: nośnik, gdzie leży, datę ostatniego zapisu, kto ma dane dostępowe. I zapytaj, kiedy ostatnio odtwarzano dane z tej kopii, a nie z działającego systemu kopii. To różne nośniki w różnych formatach i test jednego nie dowodzi niczego o drugim. Kopia offline to ta, która przetrwa zły tydzień, i to ta, z której najmniej prawdopodobne jest, że ktokolwiek kiedykolwiek coś odczytał. Zapytaj, jak często się je robi, na których systemach i czy ktoś z twojej strony widział kiedykolwiek wynik. Przy wielu umowach nie zrobiono tego nigdy, bo kosztuje to dzień czyjejś pracy i nikt tego nie fakturuje.\nJest pytanie poprzedzające to wszystko i ono rozstrzyga, czy reszta cokolwiek znaczy. Czy te raporty trafiają do ciebie, czy tylko do nich?\nZwykle narzędzia je generują, lądują w skrzynce dostawcy, ktoś je czyta, jeśli ma czas, a tobie mówią, kiedy jest problem. To nie jest rozliczalność. To samoocena z dołączoną fakturą i każe ci wierzyć im na słowo dokładnie w tej sprawie, za którą im płacisz.\nWięc poproś, żeby raporty przychodziły też do ciebie. Prosto z systemu, według harmonogramu, w takiej postaci, jaką wypluwa narzędzie, a nie jako slajd złożony przez osobę, którą się mierzy, i nie jako zielony panel przygotowany na comiesięczne spotkanie. Udane kopie i, co ważniejsze, nieudane. Przebieg łatania i to, co pominął. Liczbę alertów i czasy reakcji względem celu. Test odtworzenia, kiedy się odbywa, i listę wyjątków w obecnym stanie.\nNie musisz czytać każdego. Musisz móc i oni muszą wiedzieć, że możesz. To cały mechanizm i to jest różnica między ufaniem komuś a byciem w stanie to sprawdzić.\nA jeśli okaże się to trudne, zapytaj dlaczego. Każdy raport z tej listy już istnieje i już gdzieś jest wysyłany. Dodanie drugiego odbiorcy to linijka na liście dystrybucyjnej, a nie projekt. Opór w tym miejscu nie jest problemem technicznym i mówi więcej, niż powiedziałaby odpowiedź.\nJest większa wersja tego samego pytania i to ona rozstrzyga, czy kiedykolwiek będziesz mógł cokolwiek sprawdzić sam. Gdzie jest dokumentacja?\nZapytaj, czy będą opisywać twoje środowisko w twoich systemach (twoim IPAM, twojej bazie zasobów, twojej wiki), czy w swoich. Większość powie, że w swoich, i przedstawi to jako wydajność. Ich narzędzia, ich szablony, ich proces, nic dla ciebie do utrzymywania.\nPopatrz, co robi ten układ. Plan adresacji, schemat sieci, rejestr zasobów, procedury i klucze licencyjne to wszystko zapisy twojej firmy, powstałe za twoje pieniądze, opisujące sprzęt, który jest twój. Trzymane tam, gdzie ich nie widzisz. Nie możesz audytować czegoś, czego nie możesz przeczytać, więc nie masz jak się dowiedzieć, czy dokumentacja zgadza się ze stanem faktycznym. A dokumentacja ciągle rozjeżdża się z rzeczywistością, co jest normalne i wybaczalne, tylko że niewidoczny rozjazd to sposób, żeby dowiedzieć się o nim podczas awarii zamiast podczas przeglądu.\nDo tego dochodzi to, co się dzieje na końcu, do czego wraca część o odejściu. Dokumentacja w twoich systemach już jest twoja, już jest aktualna, już jest w formacie, którego używasz. Dokumentacja w ich systemach to eksport, w ich terminie, w kształcie, jaki daje ich narzędzie, zwykle PDF czegoś, co było bazą danych.\nWięc zadaj to pytanie wprost i poproś o dostęp do odczytu dziś, a nie „co do zasady”. Dostawca pracujący w twoich systemach podjął decyzję, która kosztuje go trochę, a tobie daje dużo, i sam ci to powie. Taki, który upiera się przy trzymaniu obrazu we własnych narzędziach, podjął decyzję odwrotną i warto zapytać, co go w niej przyciągnęło.\nTa luka nie jest akademicka. Każdy incydent z części drugiej w nią trafia. Klienci Kaseyi, osiemdziesiąt kancelarii zajmujących się przenoszeniem własności, fundusze emerytalne stojące za Capitą: dla każdego z nich jedynym pytaniem, które tego dnia miało znaczenie, było to, czy odtworzenie zadziałało. Wtedy raport, o który nikt nie prosił, staje się jedynym dokumentem w budynku, który jest coś wart.\nJeśli twój dostawca nie umie pokazać testu odtworzenia, nie kupujesz kopii zapasowej. Kupujesz kopiowanie i dowiesz się, które z dwóch, w najgorszy poranek roku.\nNikt za nic nie odpowiada Kupowanie miejsca, na które można zrzucić winę, zasługuje na więcej niż jedno zdanie, które dostało w części pierwszej, bo odpowiedzialność to właśnie to, co cały ten układ ma omijać. Nie moralnie. Umownie.\nZacznij od umowy o poziomie usług i przeczytaj, co naprawdę obiecuje. Prawie zawsze czas reakcji. Cztery godziny na potwierdzenie, osiem na przyjazd, coś w tym stylu. Reagowanie jest w całości pod ich kontrolą, więc można je bezpiecznie obiecać. Naprawienie nie jest, więc nie jest obiecane. Poszukaj zapisu, który zobowiązuje ich do wyniku (usługa działa, dane wracają, firma może handlować), a w większości umów nie ma go nigdzie.\nPotem znajdź limit odpowiedzialności. Będzie tam i zwykle wynosi tyle, ile zapłaciłeś w opłatach przez poprzednie dwanaście miesięcy, czasem mniej. Więc najgorsze, co może spotkać ich, to zwrot tego, co już im dałeś. Najgorsze, co może spotkać ciebie, to utrata firmy. Te dwie liczby nie są w tym samym wszechświecie, a różnica między nimi to twoja rzeczywista pozycja wobec ryzyka.\nCo obiecuje umowa i co każda strona może stracić Do czego umowa faktycznie ich zobowiązuje Potwierdzenie awarii w ciągu czterech godzin Obiecane Przyjazd w ciągu ośmiu godzin Obiecane Usługa znów działa, dane wracają, firma handluje Nieobiecane A co każda strona traci w najgorszy dzień Oni ograniczone do ok. dwunastu miesięcy opłat, które już zapłaciłeś Ty zamówienia, wypłaty, klienci, firma Reagowanie jest pod ich kontrolą, więc się je obiecuje. Naprawianie nie jest, więc nie. Oba słupki to ta sama umowa, oglądana z dwóch końców. Odsprzedaż przesuwa resztę w górę łańcucha. Jeśli leży hyperscaler, to wina hyperscalera. Jeśli firewall dostaje dziesiątkę w skali CVSS, to wina producenta. Jeśli zainfekowany instalator przychodzi podpisany i dostarczony jako zwykła aktualizacja, to też producent. Każde z tych zdań jest prawdziwe i żadne nie jest ci do niczego potrzebne, bo nigdy nie miałeś relacji z żadną z tych firm. Miałeś ją z firmą, która wybrała je w twoim imieniu i wzięła za to rabat.\nA pod tym wszystkim siedzi najcichszy mechanizm ze wszystkich. Nie da się nie spełnić wymagania, którego nikt nigdy nie zapisał. Dokument wymagań, którego nikt nie napisał w części pierwszej, to nie tylko niechlujstwo. To ochrona. Nie ma zapisanego wymagania, nie ma mierzalnej obietnicy. Nie ma mierzalnej obietnicy, nie ma naruszenia. Od projektu, którego nikt nie zatwierdził, nie da się odejść.\nPopatrz, co się stało, kiedy odpowiedzialność wreszcie gdzieś dotarła. Capita dostała 14 mln £ kary, i przyszła ona od Information Commissioner na podstawie prawa o ochronie danych, za alert, na który nikt nie reagował przez pięćdziesiąt osiem godzin. Nie od klienta i nie na podstawie umowy o świadczenie usług. Pieniądze poszły do państwa. 6,6 mln ludzi, których dane wyszły za drzwi, i 325 funduszy emerytalnych, które ponoszą konsekwencje, nie były tymi, którzy wnieśli sprawę, i nie były tymi, którym zapłacono.\nWięc cały układ, od początku do końca. Producent sprzedaje produkt na licencji, która wyklucza przydatność do jakiegokolwiek konkretnego celu. Dostawca sprzedaje godziny przy ograniczonej odpowiedzialności i obietnicy czasu reakcji. Ubezpieczyciel wycenia to, co zostało. A strata osiada na firmie, która nie może się ruszyć, jedynej stronie w łańcuchu, która nigdy nie mogła się z niczego wyłączyć.\nKażdy w łańcuchu wyłącza swoją część, a wszystko ląduje w jednym miejscu Każda warstwa przekazuje konsekwencję w dół i zatrzymuje marżę Producent Licencja wyklucza przydatność do czegokolwiek Dystrybutor Przewozi produkt, bierze działkę Dostawca Godziny przy ograniczonej odpowiedzialności Ubezpieczyciel Wycenia to, co zostało Firma, która w poniedziałek musi otworzyć drzwi Coś wytwarza, zatrudnia ludzi, nie może się szybko ruszyć i jako jedyna w łańcuchu nie może się z niczego wyłączyć Każda warstwa wyżej jest prawnie czysta. Strata i tak musi gdzieś osiąść. Każda warstwa jest prawnie czysta i każda dostaje zapłatę, zanim cokolwiek powstanie. Konsekwencja wędruje dalej, aż dotrze do kogoś, kto nie może jej przekazać. W tym wszystkim jest prostszy test i nie potrzeba do niego prawnika.\nJeśli firma wierzy w to, co poleciła, powinna być gotowa za tym stanąć. Tym właśnie jest rekomendacja. Nie kupiłeś pudełka; pudełko sprzeda ci każdy, kto ma stronę internetową. Kupiłeś czyjś osąd, że to właściwe pudełko dla ciebie, a oni dostali za ten osąd zapłatę, i drugi raz od producenta, którego pudełko to w końcu było.\nWięc kiedy coś pada i wraca odpowiedź, że producent zawiódł wszystkich, popatrz, co się właśnie stało. Część, którą naprawdę kupiłeś, została wyłączona z odpowiedzialności. Osąd wyparowuje dokładnie w chwili, gdy zostaje sprawdzony, a zostaje firma, która przepuściła produkt i wzięła po drodze marżę.\nNikt nie prosi MSP o gwarantowanie Microsoftu. Ale między gwarantowaniem hyperscalera a stanięciem za własną radą jest szeroka przestrzeń i każdy inny fach mieści się gdzieś w niej. Elektryk, który montuje rozdzielnicę, nie może zwalić winy na producenta za to, że sam go wybrał. Konstruktor, który dobiera belkę, odpowiada za swój dobór. Ponoszą odpowiedzialność za swój osąd, bo osąd był usługą.\nWięc zapytaj, co twój dostawca gotów jest wziąć na siebie. Nie produkt producenta: własną rekomendację. Odpowiedź, albo długość pauzy przed nią, powie ci, co sam o niej po cichu myśli.\nA potem to twoja wina Umowa to cicha połowa. Głośna połowa pojawia się w dniu, w którym coś naprawdę się psuje, i dociera tam przed naprawą.\nPopatrz, w którą stronę wędruje odpowiedzialność. Na zewnątrz, w każdym dostępnym kierunku, mniej więcej w tej kolejności. Producent wypuścił złą łatkę. Łącze było operatora. To znany problem i wszyscy go widzą. Nikt nie mógł tego przewidzieć, powiedziane o luce, która wisiała na liście aktywnie wykorzystywanych tak długo, że zdążyła zapuścić brodę. Poprzedni dostawca tak to zostawił, co jest uczciwą odpowiedzią przez sześć miesięcy, a słychać ją jeszcze w trzecim roku. Potem kierunki na zewnątrz się kończą i zostaje jeden. Nigdy nie zatwierdziłeś aktualizacji. To było poza zakresem, twój pracownik kliknął w link, a ty nigdy nie zgłosiłeś zgłoszenia.\nTeraz niewygodny kawałek. Niektóre z nich są prawdziwe. Klient, który trzy lata z rzędu odrzucał tę samą wymianę, faktycznie odpowiada za tę decyzję, a dostawca, który to mówi, jest wobec ciebie uczciwy. Więc pytanie nie brzmi, czy wymówka jest trafna. Brzmi, kiedy padła po raz pierwszy. Ryzyko przedstawione ci na piśmie przed awarią, z kosztem naprawy i kosztem jej braku, to dostawca zarządzający twoim środowiskiem. To samo zdanie wysłane tydzień później to składana obrona. Te same słowa, inna data, odwrotne znaczenie.\n„Nigdy nie zgłosiłeś zgłoszenia” to ta, przy której warto się zatrzymać, bo to w ogóle nie jest wymówka. To model działania wypowiedziany na głos. Nic nie jest niczyim zadaniem, dopóki tego nie zauważysz, co czyni z ciebie monitoring, a ty płacisz miesięczny abonament firmie, której warstwą wykrywania jest dzwoniący klient. Kiedy raz usłyszysz tę odpowiedź, wiesz, czym jest ta usługa.\nJest bardziej aktywna wersja tego i działa znacznie lepiej, niż powinna. Zwołujesz przegląd, żeby zapytać, dlaczego ostatnie pół roku wyglądało tak, jak wyglądało, a wraca agenda o czymś zupełnie innym: pilna sprawa bezpieczeństwa, termin licencyjny, o którym nikt wcześniej nie wspominał, informacja o końcu wsparcia dla pudełka, które jest bez wsparcia od dwóch lat i nagle w tych dwóch tygodniach stało się pilne. Przedstawia się to z prawdziwą troską i z dołączoną wyceną, i to zjada całą godzinę. Wychodzisz po zgodzie na wydanie pieniędzy, a rzecz, dla której zwołałeś spotkanie, nie padła na głos ani razu.\nZauważ, co zawsze łączy wyprodukowany kryzys. Wymaga zakupu, wymaga go w tym kwartale i nie wymaga, żeby ktokolwiek na sali do czegokolwiek się przyznał. Prawdziwa pilność wygląda inaczej, bo przychodzi z identyfikatorem, datą publikacji, konkretnymi maszynami w twoim środowisku, których dotyczy, i tym, co już w tej sprawie zrobili, zanim ci powiedzieli. Ta wymyślona przychodzi jako termin producenta i zaokrąglona kwota. Zapytaj, kiedy pierwszy raz pojawiła się na ich radarze. Jeśli odpowiedź to ten sam tydzień, w którym zacząłeś zadawać niewygodne pytania, to nie jest przypadek i nigdy nie miał nim być.\nWięc prowadź własną teczkę i zacznij, zanim będzie potrzebna. Za każdym razem, gdy ktoś mówi ci, że coś jest w porządku, poproś o to w mailu. Za każdym razem, gdy z czegoś rezygnujesz, zapisz, co ci pokazano i za ile to wyceniono. Zajmuje to minutę i znaczy, że w dniu, w którym to staje się twoją winą, możesz poprosić o datę, a odpowiedź albo istnieje, albo nie. Firma, która robi tę robotę porządnie, i tak będzie tam pierwsza. Zaczyna od „przeoczyliśmy to, oto co zmieniamy” i mówi to, zanim skończysz pytać. Kosztuje ją to jedno zdanie, i właśnie dlatego tak niewiele z nich je wydaje.\nA kiedy dostaniesz wymyślony kryzys albo wina spadnie na ciebie za coś, czego nikt ci nigdy nie przedstawił, powiedz to na sali. Nie jako skargę potem i nie jako notatkę do akt. Zapytaj ich, czy uważają to za profesjonalne, czy przyjęliby taką odpowiedź, gdyby to im ją dano, i gdzie w tym jest uczciwość. Komuś będzie niewygodnie, i to jest cały cel pytania. Firma z resztką szacunku do siebie przyjmie to, powie „słusznie” i za miesiąc wróci inna. W ciągu minuty będziesz wiedział, który rodzaj siedzi naprzeciwko ciebie.\nA potem i tak zacznij szukać. W tym samym tygodniu. Jedno złe spotkanie niczego nie przesądza, ale wykręcanie się nigdy nie było złym dniem. To była decyzja w twojej sprawie: że zarządzanie twoimi odczuciami jest tańsze niż naprawienie tego, co kupiłeś, i że to zniesiesz. Firmy nie cofają takiej kalkulacji dlatego, że klient się skrzywił. Porządna zmiana dostawcy zajmuje miesiące, których jeszcze nie zacząłeś wydawać, a czas, żeby to robić, jest wtedy, gdy wciąż jesteś dość spokojny, żeby dobrze wybrać, a nie w dwóch tygodniach po awarii, która w końcu podejmie decyzję za ciebie.\nZadaj je na następnym spotkaniu Nic z tego nie kosztuje cię ani grosza i nie musisz być inżynierem, żeby o cokolwiek z tego zapytać.\nPytania umieściłem w arkuszu zamiast w dół strony: 120 z nich w piętnastu obszarach, przy każdym to, jak brzmi kompetentna odpowiedź, zestawione z tym, jak brzmi wykręt, i kolumna do zapisania, którą dostałeś.\n\u0026#8615; Pytania do dostawcy, wersja długa msp-supplier-questions.xlsx · 26 kB Traktuj to jako ściągawkę, a nie scenariusz. Przeczytaj z góry na dół, zaznacz tuzin, który naprawdę dotyczy twojej umowy, i zadaj te. Nikt nie wysiedzi stu pytań w godzinę, a gdyby próbował, dowiedziałbyś się mniej. Wyślij to przed spotkaniem, zamiast wyciągać na nim: dostawca, który robi tę robotę porządnie, ucieszy się z uprzedzenia, a to, jak przyjmie uprzedzenie, samo jest odpowiedzią.\nJedno z pytań brzmi, które z ich rekomendacji przynoszą im rabat, kredyt, marżę albo cel sprzedażowy od producenta. To ono zmienia temperaturę na sali, a nie powinno. Dostawca, który nie ma nic do ukrycia, odpowie wprost, bo i tak poleciłby to samo, a woli, żebyś wiedział. Patrz, co się dzieje, gdy pytasz. Odpowiedź znaczy mniej niż reakcja.\nDostawca, który robi tę robotę porządnie, ma to wszystko pod ręką. Już, dziś, bez przygotowania. Zapisane wymagania, wycenione opcje, open source w zestawieniu porównawczym, plan adresacji z podwójnym stosem, załatane narzędzie do zdalnego zarządzania i ryzyka w rejestrze, tam, gdzie ich miejsce. Zapytaj, a w ciągu jednego spotkania dowiesz się, za który rodzaj płacisz.\nA jeśli to samo pytanie ich denerwuje, dowiedziałeś się wszystkiego, czego potrzebowałeś.\nO każdym kliencie w końcu się zapomina Wszystko to zakłada, że możesz odejść, jeśli trzeba. Warto to sprawdzić, zanim będzie trzeba, bo odejście to moment, w którym umowa o usługę zarządzaną przestaje dotyczyć technologii.\nZałóż, że kiedyś będzie ci to potrzebne. Każdy taki układ dryfuje w tę samą stronę, z kimkolwiek podpiszesz. Uwaga, którą dostawałeś, kiedy walczyli o zlecenie, rzednie, gdy tylko polecenie zapłaty zaczyna działać, a ty osiadasz w ich księgach jako miesięczna kwota, a nie środowisko, o którym ktoś myśli. Nikt nie siada i nie postanawia przestać się przejmować. Najlepszy inżynier idzie tam, gdzie jest hałas, przeglądy po cichu przestają się odbywać, a twój sprzęt stoi na tym, co było właściwą odpowiedzią w roku podpisania, podczas gdy reszta branży idzie dalej bez ciebie.\nZrozum, czym naprawdę jest cichy klient, bo to określenie brzmi jak komplement, a nim nie jest. Cichy klient to taki, którego nikt nie sprawdził. Kopie co noc świecą się na zielono i nikt nie odtworzył żadnej na zapasowej maszynie i nie patrzył, jak wstaje. Para failover nigdy nie została przełączona, bo to wymaga zaplanowania przerwy i ktoś musiałby przy tym być. Firmware jest takie, z jakim przyszło, certyfikat odnawiał ten, kto sobie przypomniał, a dokumentacja opisuje sieć, którą wycofano dwie przeprowadzki temu. Liczby licencji nikt nie oglądał od roku, w którym miałeś jedenastu pracowników więcej. Nic z tego nie generuje zgłoszenia, więc nic z tego nie trafia na niczyj ekran, a klient przechodzi gładko przez każdy wewnętrzny przegląd, bo jedyne, co się mierzy, to czy dzwoniłeś.\nPotem się dowiadujesz. Nie na przeglądzie, bo żadnego nie było. Dowiadujesz się rano, kiedy potrzebne jest odtworzenie, albo kiedy audytor prosi o schemat, albo kiedy coś, co sześć lat działało nietknięte, staje, a nikt, kto został w budynku, nie wie, co to robiło. Cichy klient płaci tyle samo co hałaśliwy, a obsłużenie go kosztuje znacznie mniej. To cała zachęta i odciąga ona każdego od zajrzenia pod pokrywę.\nRada, która kosztuje ich pieniądze Odwróć test i zapytaj, co właściwie masz kupować. To nie jest brak kłopotów. Nieobecny może być każdy. Płacisz za kogoś, kto zna firmę na tyle dobrze, żeby przychodzić z rzeczami, o które nie prosiłeś: sposobem na zamknięcie miesiąca, które przestaje się sypać, licencją, za którą płacisz, a której nikt nie otworzył od zeszłego roku, tańszym sposobem przechowywania danych, planem dla pudełka, którego wszyscy po cichu umówili się nie restartować. Część z tego kosztuje ich przychód, kiedy ci to mówią, i właśnie dlatego jest to uczciwy sygnał. Zadaj sobie pytanie, kiedy ostatnio twój dostawca położył przed tobą rekomendację, która zmniejszyła jego własną fakturę.\nNajczęstsza postać tego to nie rabat. To ktoś, kto przechodzi przez to, czego już używasz. Większości firm nie brakuje oprogramowania, brakuje im kogokolwiek, kto kiedykolwiek porządnie usiadł nad oprogramowaniem, które mają: poziomem licencji, który już obejmuje wycenianą funkcję, modułem opłaconym w pierwotnym projekcie i nigdy nie wdrożonym, ścieżką w systemie finansowym, która skończyłaby ręczne przepisywanie, gdyby ktoś dał jej dwa dni, drugą subskrypcją kupioną, bo nikt nie zapytał pierwszego dostawcy, czy jego produkt też to robi, raportowaniem, którego nikt nie zbudował, więc cała firma eksportuje do arkusza i tam robi robotę. Porządny dostawca zaczyna od tej sterty. Co masz, do czego da się to zmusić, czego to nigdy nie zrobi i ile problemu znika, jeśli rzecz, za którą już płacisz, zostanie skonfigurowana tak, jak miała być, i to wszystko, zanim ktokolwiek otworzy cennik.\nTo mówi ci, jak zamierzają na tobie zarabiać, bo to jest ta niewygodna robota. Oznacza czytanie cudzej dokumentacji, uczenie się systemu, którego nie odsprzedają i za którego znajomość nic nie dostają, i siedzenie z ludźmi, którzy używają go cały dzień, żeby dowiedzieć się, co się naprawdę dzieje o czwartej w piątek. Na plecach żadnej z tych rzeczy nie przychodzi rabat. To też całość tego, co myślałeś, że kupujesz. A czasem odpowiedzią na końcu naprawdę jest nowy system, i wtedy kup nowy system. Wydawanie nie jest problemem. Problemem jest kolejność: co masz, co to jeszcze zrobi, gdzie naprawdę nie wystarcza, i dopiero wtedy, co pójść i kupić. Rekomendacja, która pomija pierwsze trzy, nigdy nie była oceną. Była katalogiem z twoją nazwą wpisaną na górze.\nA dostawca, który nigdy nie usiadł i nie nauczył się, czym zajmuje się firma, nie zrobi nic z tego. Jest różnica między wiedzą, że masz dziewięćdziesiąt skrzynek pocztowych, a wiedzą, o której godzinie którego dnia naprawdę zabolałaby utrata systemu przyjmującego zamówienia. Jedno to inwentarz, drugie to zrozumienie, i tylko drugie daje radę wartą pieniędzy. Firma, która przez trzy lata niczego nie zaproponowała, która nie umie powiedzieć, co sprzedajesz ani kiedy wypada twój gorący sezon, która trzyma światło zapalone i wystawia fakturę co miesiąc tego samego dnia, nie jest partnerem i przestała udawać, że nim jest. To subskrypcja z numerem telefonu. Nie warto jej trzymać.\nPrzeciwna porażka przychodzi w lepszym garniturze. To dostawca, który nigdy nie milczy, który co kwartał ma coś dla ciebie i którego odpowiedź na każde pytanie, jakie kiedykolwiek zadałeś, wracała z numerem katalogowym. Wygląda to na uwagę. Radę od sprzedawania nie odróżnia jej ilość ani jakość slajdów, tylko to, czy rekomendacja potrafi wrócić jako „zostaw to, w tym roku nic nie potrzebujesz, a te pieniądze lepiej wydać na tę rzecz w kącie, na którą nikt nie ma budżetu”. Jeśli ani jedna rekomendacja przez całą relację nie kosztowała ich sprzedaży, nikt ci nie doradza. Przerabiają cię według listy, a część pierwsza jest o tym, skąd te listy się biorą. Partner czasem wyperswaduje ci wydatek. Dla całej reszty jesteś klientem, który kupuje, co mu pokażą, czyli dojną krową z doczepionym service deskiem, i nikt z zaangażowanych nie musi być nieuczciwy, żeby dokładnie to się działo.\nJak pozbyć się złego dostawcy Przejdź przez to, co naprawdę musi się wydarzyć. Wszystko. Dane uwierzytelniające administratora przekazane dla każdego systemu. Dokumentacja opisująca, jak zbudowane jest środowisko, o ile istnieje. Kontrola nad nazwami domen i nad kontem, na którym siedzi DNS. Klucze prywatne certyfikatów. Subskrypcje przeniesione z umowy partnerskiej dostawcy do dzierżawy, która jest twoja. Ich agent usunięty z każdej maszyny, przez nich. I dotychczasowy dostawca współpracujący ze swoim następcą, szczegółowo, przez tygodnie, nie dostając za to nic i usłyszawszy właśnie, że to koniec.\nCo musi się przenieść przy odejściu i kto to trzyma U firmy, od której odchodzisz Wszystkie dane administratora Dokumentacja, jeśli ją napisano Domeny i konto DNS Klucze prywatne certyfikatów Licencje w ich umowie partnerskiej Ich agent, na każdej twojej maszynie I tygodnie pracy ich inżynierów musi przejść gratis Do ciebie albo do następcy Przed końcem wypowiedzenia A tego dnia Właśnie usłyszeli, że to koniec Inżynier, który znał twoje środowisko, jest przy płatnym zleceniu Połowa tego, o co prosisz, okazuje się płatna Nic z tego nie jest sabotażem Im gorsi byli, tym mniej z tej listy istnieje do przekazania. Firma, która nigdy nie zapisała twoich wymagań, nie napisała też pakietu przekazania, a bałagan jest fosą. Więc poproś o pakiet dziś, póki wszyscy się dogadują, i sprawdź jedną jego stronę na działającej maszynie. Wszystko to leży u firmy, której właśnie powiedziano, że to koniec, a za żadną część przeprowadzki nikt jej nie płaci. Teraz część, która powinna martwić cię najbardziej. Im gorszy dostawca, tym trudniejsze to wyjście, bo porażki są te same. Firma, która nigdy nie zapisała twoich wymagań, nie napisała też pakietu przekazania. Firma, która trzymała dane dostępowe we wspólnym sejfie, nie ma czystego sposobu, żeby dać je komuś innemu. Firma bez playbooka i bez testu odtworzenia nie ma do przekazania nic poza dostępem i życzeniami powodzenia. Bałagan jest fosą. Nikt nie usiadł i nie zaprojektował tego w ten sposób, a działa lepiej, niż gdyby to zrobili.\nWięc załóż, że pozycja dokumentacji nie wytrzyma. Dokumentacja to pierwsza rzecz, której się nie pisze, i ostatnia, którą ktokolwiek sprawdza, a to, co przyjdzie na wyjściu, opisze środowisko, które poszło dalej bez niej. To jest dobry scenariusz. Zły to pakiet, który wygląda na kompletny i jest błędny: schemat z przełącznikiem, który dwa lata temu poszedł na złom, procedura dla serwera, który od tamtej pory przebudowano, arkusz danych dostępowych pełen kont, na które nikt nie umie się zalogować. Błędna dokumentacja jest gorsza niż żadna, bo działasz na jej podstawie. Brak dokumentacji przynajmniej każe ci pójść i popatrzeć.\nWyceń wyjście tak, jakby nic go nie przetrwało. Ktoś przechodzi przez szafy, odczytuje konfigurację z działającego sprzętu, eksportuje reguły firewalla, zakresy DHCP i pliki stref, i zapisuje, co naprawdę działa. To tygodnie pracy, a przy wyjściu to tygodnie, które spędzasz w okresie wypowiedzenia, kiedy jedyni ludzie znający odpowiedzi już usłyszeli, że to koniec. Zrób to teraz. Poproś o pakiet dziś, a potem weź jedną jego stronę i sprawdź ją na działającej maszynie. Jeśli się zgadza, dowiedziałeś się czegoś wartego wiedzy. Jeśli nie jest wart bitów, w których go zapisano, tego też się dowiedziałeś, i to mając rok na naprawę, a nie dwa tygodnie.\nTa pozycja o współpracy to ta, która naprawdę zaboli, i ta, której nikt nie wycenia. Przeczytaj ją jak prośbę: od firmy, która właśnie straciła klienta, oczekuje się, że przez tygodnie będzie tłumaczyć to ludziom, którzy jej go odebrali. Nikt nie musi odmawiać. Klient trafia na stos odchodzących, inżynier, który znał twoje środowisko, idzie do zlecenia, które wciąż płaci, a twoje pytania lądują u tego, kto został. Odpowiedzi przychodzą po dniach zamiast po godzinach. Spotkanie przekazania zostaje umówione za trzy tygodnie. Połowa tego, o co prosisz, okazuje się płatna, a jedyna osoba, która to zbudowała, odeszła w marcu. Nic z tego nie jest sabotażem. Wszystko kosztuje cię dokładnie tyle, ile kosztowałby sabotaż.\nTwój nowy dostawca to dźwiga, a potem dźwigasz to ty jeszcze raz. Jego pierwszy miesiąc idzie na ustalanie, co odziedziczył. To rozpoznanie, z którego nie ma ci nic do pokazania, więc albo wyceni je uczciwie i wyjdzie drogo przy przedłużeniu umowy z obecnym, albo je przełknie i zacznie robotę już w plecy. Płacisz w obu przypadkach. Więc kup współpracę, zanim będzie ci potrzebna. Wpisz ją do umowy na wejściu, a nie na wyjściu: określony okres przekazania, wskazana osoba, która go prowadzi, stawka dzienna uzgodniona, kiedy jeszcze zależy im na twoim podpisie, i dostęp, który zostaje aktywny, dopóki przychodząca firma nie powie, że można go zamknąć. Zapłać za okres nakładania się i uznaj to za tanie. I nigdy nie dochodź do przełączenia z odchodzącym dostawcą trzymającym jedyny klucz do czegoś, co jest twoje.\nPapierologia też robi swoje. Okresy wypowiedzenia liczone w miesiącach, a nie w tygodniach, daty automatycznego przedłużenia, które mijają, kiedy jeszcze się zastanawiasz, i przekazanie wycenione jako usługi profesjonalne według stawki dziennej, którą ktoś ustala, kiedy już złożyłeś wypowiedzenie. Nic z tego nie jest niezwykłe i nic z tego nie łamie żadnej reguły.\nWięc przetestuj wyjście, póki relacja jest w porządku i nikt nie jest zdenerwowany. Poproś o pakiet przekazania teraz, na piśmie, jako produkt do dostarczenia, a nie obietnicę. Zapytaj, kto naprawdę jest rejestrującym twoje domeny. Zapytaj, czy twoje licencje są w twojej własnej dzierżawie, czy w ich umowie partnerskiej, i co oznacza ich przeniesienie. Dostawca, który robi tę robotę porządnie, odpowie na wszystkie trzy z głowy, bo firma pewna swojej pracy nie ma powodu utrudniać odejścia.\nA jeśli odpowiedzi są mgliste, pamiętaj, co następna sekcja mówi o tym, komu możesz się poskarżyć.\nSprzedaży nikt nie nadzoruje Coś powinno już nie dawać ci spokoju. Każda porażka w tej serii, która przyszła z formalnym ustaleniem, jest porażką bezpieczeństwa. ICO w sprawie Advanced. ICO w sprawie Capity. CISA w sprawie narzędzi. W sprawie sprzedaży (krótkiej listy, rabatu, jedynej opcji, przedłużenia) nie ma nic. Ani jednego postępowania przeciwko brytyjskiemu MSP.\nTo nie dlatego, że sprzedaż jest czysta. To dlatego, że nikt nie ma za zadanie się jej przyglądać.\nPrawo konsumenckie kończy się na twoim progu. Consumer Rights Act 2015 chroni konsumentów, a spółka kupująca usługę zarządzaną konsumentem nie jest. Digital Markets, Competition and Consumers Act 2024 dał CMA w kwietniu 2025 bezpośrednie uprawnienia egzekucyjne, wymierzone wprost w agresywne praktyki sprzedażowe, wprowadzające w błąd informacje i jawnie niewyważone warunki umów. To uprawnienia konsumenckie. Własne podsumowanie pierwszego roku CMA warto przeczytać tak samo dla sformułowań jak dla liczb: czternaście postępowań, dwie ugody, 760 000 £ „refunded to consumers”, 4,7 mln £ kar, 157 pism doradczych i ostrzegawczych. Za każdym razem konsumenci. Nie trzydziestoosobowy producent, który zeszłej wiosny podpisał pięć lat usługi zarządzanej.\nTelekomunikacja to jedyny zakątek, w którego pobliżu brytyjski regulator w ogóle się znalazł. Pokazuje, jak wygląda egzekwowanie, gdy ktoś ma to w zakresie obowiązków. W lipcu 2015 Ofcom nałożył na dostawcę usług telekomunikacyjnych dla małych firm karę 200 000 £ za nieuczciwą sprzedaż usług telefonii stacjonarnej bazie „around 100,000 small businesses”, nakazał mu zrekompensować poszkodowanym klientom i przepisać materiały sprzedażowe. Właściwe zachowanie, właściwa wielkość klienta, zła branża, i jedenaście lat temu.\nDla usług IT nie ma odpowiednika. Policz to z miejsca, w którym siedzisz. Brak okresu na odstąpienie. Brak rzecznika, do którego można się odwołać. Brak regulatora z właściwością. Brak obowiązku, żeby ktokolwiek mówił ci, ile płaci mu producent. Brak opublikowanych ustaleń, z których można się uczyć, bo nie ma skąd ustaleniom się wziąć. Umowę napisał dostawca, a jedyny środek, jaki w niej jest, to pozew, co oznacza koszty, lata i budżet prawny, którego mała firma nie ma, o czym dostawca doskonale wie.\nDoradztwo finansowe miało dokładnie ten problem i coś z nim zrobiło. Retail Distribution Review, w skrócie RDR, weszło w życie pod koniec 2012 roku i odebrało doradcom prowizje, które płacili im dostawcy produktów. Rozwiązanie nie było skomplikowane: powiedz, kto płaci doradcy, i przestań pozwalać, żeby odpowiedzią był dostawca produktu.\nNie będzie RDR dla IT. Nikt nie przyjdzie zmusić twojego MSP do ujawnienia, ile płaci mu producent, a Cyber Security and Resilience Bill, który właśnie przechodzi przez parlament i który objąłby dostawców usług zarządzanych NIS Regulations, dotyczy wykrywania i zgłaszania, a nie tego, kto płaci za radę.\nWięc kiedy ktoś ci mówi, że nie ma dowodów na problem z tym, jak w tym kraju sprzedaje się technologię, ma rację. Nic to nie znaczy. Nie ma dowodów, bo nie ma inspektora, nie ma ścieżki skargi, która kończy się publicznym dokumentem, i nie ma rejestru tego, co spotkało każdego innego, kto podpisał tę samą umowę. Na rynku, którego nikt nie nadzoruje, brak dowodów to po prostu brak kogokolwiek, kto by patrzył.\nCo to mówi o branży Zdejmij faktury i popatrz, kto naprawdę stoi w tym układzie.\nNa jednym końcu firmy, które coś robią i wytwarzają. Zakład toczący części. Warsztat samochodowy. Kuchnia, która karmi ludzi. Prawnicy, którzy w piątek przeprowadzają kogoś do domu. Każda z nich wytwarza coś, co można pokazać palcem, i każda niesie ryzyko opisane w tym wpisie, bo to jedyna strona w łańcuchu, która nie może się z niczego wyłączyć.\nNa drugim końcu kilka warstw, które nie wytwarzają nic. Producent, którego licencja wyklucza przydatność do jakiegokolwiek konkretnego celu. Dystrybutor przewożący pudełko między magazynami i biorący działkę. Program partnerski płacący komuś za to, żeby wolał jedną markę od drugiej. Dostawca sprzedający godziny przy ograniczonej odpowiedzialności. Każdy bierze marżę i przekazuje konsekwencję w dół, a konsekwencja wędruje, aż dotrze do jedynej osoby, która w poniedziałek musi otworzyć drzwi.\nFach to grupa ludzi, którzy umieją coś zrobić, dostają zapłatę za to, że umieją, i stają za tym, co mówią, bo jest na tym ich nazwisko. Przyłożona do tej miary większość tej branży to kanał dystrybucji z certyfikatami.\nPopatrz, co oddano, żeby tu dojść. Najpierw umiejętności, bo nie da się wyciąć jednej trzeciej z wydatków na szkolenia i dalej z poważną miną sprzedawać ekspertyzy. Potem osąd, sprzedawany na początku zlecenia i wyłączany z odpowiedzialności w chwili, gdy zostaje sprawdzony. I na końcu zwykłą gotowość, żeby powiedzieć „to nie jest dla ciebie właściwa odpowiedź”, kiedy właściwa odpowiedź płaci mniej, a to jedyna rzecz, która oddziela radę od sprzedawania, i nie kosztuje nic poza odwagą.\nWyjście z tego jest mało efektowne i w pełni dostępne. Miej na własność sprzęt, który możesz mieć. Trzymaj własne klucze. Trzymaj dokumentację tam, gdzie sięgniesz bez dzwonienia do kogokolwiek. Naucz się o własnych systemach dość, żeby wiedzieć, kiedy ktoś ci opowiada bzdury: nie po to, żeby je samemu prowadzić, tylko żeby rozpoznać przymiotnik, który przychodzi tam, gdzie prosiłeś o liczbę. To nie jest tęsknota za czasami, gdy każdy miał serwer w szafie. To jedyna dostępna dźwignia i jest tania.\nW tej branży są ludzie, którzy nigdy nie przestali robić tej roboty porządnie, i nietrudno ich wypatrzyć, kiedy wiesz, na co patrzeć. Wyceniają nudną opcję. Mówią ci, ile coś kosztuje, a nie na ile jest wycenione. Zapisują ryzyko, zanim zapytasz, i czują ulgę, kiedy ktoś wreszcie to sprawdza.\nReszta ułożyła sprawy tak, żeby nikt nigdy tego nie robił. Masz prawo zapytać, ile to kosztuje, kto komu płaci i co się dzieje, kiedy się psuje. Nikt w tym układzie nie powie ci tego z własnej woli, a to nie to samo, co to, że ci się to nie należy.\nIs Your MSP Lying To You — 3 parts\nCzy twój MSP okłamuje cię, żeby sprzedać ci produkty premium? Co zbudował ci twój MSP i kto jeszcze może się do tego dostać Kiedy coś się psuje, kto naprawdę za to odpowiada?you are here Źródła Dostęp 28 sierpnia 2026.\nPrawo i polityka.\nCyber Security and Resilience (Network and Information Systems) Bill 2024-26 — opracowanie House of Commons Library o objęciu dostawców usług zarządzanych NIS Regulations. Kto może się skarżyć.\nConsumer Rights Act 2015 i Digital Markets, Competition and Consumers Act 2024 — ochrona i dla kogo jest przeznaczona. CMA, direct consumer enforcement one year on — od kwietnia 2025 do kwietnia 2026: 14 postępowań, 760 000 GBP zwróconych konsumentom, 4,7 mln GBP kar. FCA, Post-implementation review of the RDR, phase 1 — RDR „realigned adviser and platform incentives with those of consumers\u0026rsquo; by removing the commission they received from providers”, obowiązuje od końca 2012 roku. Ofcom fines Unicom, 31 July 2015 — 200 000 GBP za nieuczciwą sprzedaż małym firmom, najbliższy precedens egzekucyjny, w telekomunikacji, a nie w IT. ","permalink":"https://blogs.damiendye.uk/pl/random/is-your-msp-lying-to-you-part3/","summary":"Część 3 z 3. Czasy reakcji zamiast wyników, limit odpowiedzialności ustawiony na poziomie opłat, które już zapłaciłeś, i dostawca, którego wymówki w końcu docierają do ciebie. Pytania, które to wyciągają na wierzch, co robi w zamian porządny dostawca i czego trzeba, żeby pozbyć się złego.","title":"Kiedy coś się psuje, kto naprawdę za to odpowiada?"},{"content":"Połączenie, które kończy się timeoutem, nie mówi ci prawie nic. Po drugiej stronie może nic nie nasłuchiwać, firewall trzy hopy dalej może po cichu wyrzucać twój SYN, nie zostawiając nawet linijki w logu, albo trasa może po prostu nie istnieć. A z miejsca, w którym siedzisz, każdy z tych przypadków wygląda tak samo. Czekasz. Nic się nie dzieje.\nWięc zgłoszenie zostaje zapisane jako „port 445 jest gdzieś zablokowany”, i to właśnie „gdzieś” sprawia, że się odbija. Twój dostawca sprawdza swój brzeg sieci, uznaje go za czysty i oddaje zgłoszenie. Ty sprawdzasz firewall na hoście, uznajesz go za czysty i oddajesz z powrotem. Mija tydzień. Nic nie jest naprawione.\nSzkodę robi słowo „gdzieś”. Nie musi go tam być. Każdy router między tobą a celem ma obowiązek powiedzieć ci, kiedy to on, i ten obowiązek siedzi w standardach od 1995 roku. Trzeba tylko zapytać we właściwy sposób.\nDlaczego trzeba to wyłożyć czarno na białym Bo zbyt wielu ludzi w tej branży nie umie podstaw, a to co tydzień kosztuje ich pracodawców prawdziwe pieniądze.\nNie mówię o juniorach. Mówię o ludziach z latami doświadczenia, certyfikatami na ścianie i słowem „senior” w nazwie stanowiska, których diagnoza portu z timeoutem kończy się na „jest zablokowany” i dalej nie idzie. Odpalają ping. Nie działa albo działa, i w obu przypadkach nie dowiedzieli się niczego o porcie, o który ich pytano. Potem zgłoszenie idzie do dostawcy, dostawca je odbija, a dwa tygodnie czyjejś pensji idą w wątek, który mógł być jednym poleceniem.\nNic z tego nie jest trudne. Odróżnić drop od rejectu, odczytać TTL w odpowiedzi, wiedzieć, że gwiazdka w traceroute sama w sobie nic nie znaczy: to jedno popołudnie nauki, a starcza na całą karierę. Ludzie tego nie wiedzą nie dlatego, że są tępi. Nie wiedzą, bo nikt tego nie uczy. Szkolenia producentów uczą konsoli producenta. Certyfikaty uczą egzaminu. Podstawy pod spodem zakłada się od pierwszego dnia i nigdy naprawdę nie omawia, więc ludzie dochodzą do stanowisk seniorskich, choć nikt im tego nie pokazał, a wtedy wstyd już pytać.\nWięc zamiast narzekać, spisałem to. To są podstawy, wyłożone krok po kroku, z poleceniami i skryptem, który możesz uruchomić dziś.\nI słowo o tym, po co się w ogóle trudziłem: uruchomiłem to na własnym łączu, pisząc ten tekst, i znalazłem trzy usterki, o których nie wiedziałem. Drop SMB jedenaście hopów dalej. Podrobione resety SMTP jeden hop stąd. Regułę firewalla, która istnieje w IPv4, a w IPv6 nie. Jedno popołudnie, bez roota, na łączu, którym sam się zajmuję i na które zwracam uwagę. Pomyśl przez chwilę, co leży niezauważone w sieciach, za których prowadzenie ktoś bierze pieniądze.\nDlaczego nie ma tu Fisher-Price OS (Windows) Są dwa powody, dla których go tu nie ma. Jeden jest techniczny, drugi nie, i wolę podać ci oba, niż udawać, że chodzi wyłącznie o inżynierię.\nTechniczny jest taki, że on tego nie potrafi. tracert wysyła żądania ICMP echo i nic poza tym. Własna dokumentacja Microsoftu opisuje go jako „sending Internet Control Message Protocol (ICMP) echo Request or ICMPv6 messages to the destination with incrementally increasing time to live (TTL) field values”, a w jego składni nigdzie nie ma parametru portu. pathping to to samo narzędzie z doczepionymi statystykami. Test-NetConnection powie ci, czy port TCP jest otwarty, czy zamknięty, i absolutnie nic o tym, z jakiej odległości przyszła odpowiedź. Żadne z nich nie potrafi sondować portu, na którym ci naprawdę zależy, z wybranej odległości, a na tym polega cała metoda z tego wpisu.\nNie obejdziesz tego też skryptem. Ustawienie TTL na gnieździe jest w .NET dość proste, ale odczytanie błędu ICMP to ta trudna połowa, i nie ma odpowiednika sztuczki, na której opiera się ten wpis: nie da się sprawić, żeby jądro zgłosiło błąd na zwykłym gnieździe, które go wywołało. Zostaje surowe gniazdo, a własna dokumentacja Microsoftu mówi, że „only members of the Administrators group can create sockets of type SOCK_RAW”. Droga bez uprawnień więc nie istnieje, a ta z uprawnieniami wymaga tokenu lokalnego administratora. Zanim zaczniesz, już ściągasz narzędzia firm trzecich.\nDrugi powód jest taki, że mnie to nie obchodzi, i wolę to powiedzieć, niż ubierać w ładne słówka. Nazwa też nie jest tanią szpilą, tylko opisem. To system, który dostajesz do ręki, gdy nigdy nie miałeś innego, ukrywa przed tobą maszynę celowo, a nie przypadkiem, i w chwili, gdy chcesz zadać sieci precyzyjne pytanie, okazuje się, że narzędzia nigdy nie zbudowano, bo od ludzi, dla których go zbudowano, nigdy nie oczekiwano takich pytań. Trzydzieści lat później tracert nadal nie umie wycelować pakietu w port.\nTo nie jest porządny system operacyjny dla prawdziwych ludzi z IT, i jeśli to jedyny, jakiego kiedykolwiek używałeś, to nie wykonujesz tej pracy na poziomie, dla którego napisany jest ten wpis. Wiem, że to źle brzmi. Nie piszę po to, żeby mnie lubiano, spisuję to, co mierzę, dla ludzi, którzy mierzą rzeczy, i niezbyt mnie obchodzi, że ktoś, kto nigdy nie używał niczego innego, wolałby, żebym ujął to inaczej.\nArgumentem jest lista narzędzi, nie opinia. Każdy Unix z tabeli niżej pozwoli ci ustawić limit hopów i wybrać protokół, cztery z nich jednym poleceniem, a Linux zrobi cały pomiar nawet bez sudo. Nie dlatego, że są trudniejsze w użyciu. Dlatego, że zbudowali je ludzie, którzy zakładali, że ktoś przy klawiaturze będzie chciał coś wiedzieć. System operacyjny, którego diagnostyka kończy się na ping, powiedział ci wprost, co myśli o swoim użytkowniku, a trzydzieści lat godzenia się na to sprawiło, że mamy branżę, która nie umie zlokalizować zgubionego pakietu.\nWięc go nie używam, od lat nie używałem go na poważnie i nie będę pisał mu osobnej sekcji, żeby wyglądać na bezstronnego wobec luki, która jest prawdziwa. Wszystko, na czym buduję, i wszystko, z czego warto mierzyć, to Unix, i tam mieszka ten wpis.\nJeśli zepsuta maszyna akurat działa na Fisher-Price OS (Windows), metoda się nie zmienia. Zdobądź powłokę na czymkolwiek innym, na maszynie wirtualnej z Linuksem, na Macu, na Raspberry Pi podpiętym do tego samego przełącznika, i przesuwaj limit hopów w jej stronę. Pomiarowi jest zupełnie obojętne, co działa po drugiej stronie. Obchodzi go tylko to, co jest pomiędzy.\nTTL to budżet hopów, a każdy router jest ci winien pokwitowanie Nagłówek IPv4 ma 8-bitowe pole Time to Live. Nazwa jest pozostałością: pole zdefiniowano w sekundach, a od dziesięcioleci nic nie traktuje go jak sekund. RFC 1812 rozstrzygnęło spór w 1995 roku i uczyniło odczyt jako licznik hopów normatywnym:\nEach router (or other module) that handles a packet MUST decrement the TTL by at least one, even if the elapsed time was much less than a second. Since this is very often the case, the TTL is effectively a hop count limit on how far a datagram can propagate through the Internet.\nA potem część, która się tu liczy, z tej samej sekcji:\nIf the TTL is reduced to zero (or less), the packet MUST be discarded, and if the destination is not a multicast address the router MUST send an ICMP Time Exceeded message, Code 0 (TTL Exceeded in Transit) message to the source.\nTo jest MUST. Nie uprzejmość, nie sugestia. RFC 792 w 1981 roku mówiło tylko, że brama „may also notify the source host”; trzynaście lat później wymóg zaostrzono, a RFC 1812 podaje powód dosłownie:\nICMP Time Exceeded messages are required because the traceroute diagnostic tool depends on them.\nIPv6 porzuciło pozory i zmieniło nazwę pola. RFC 8200 nazywa je Hop Limit, „8-bit unsigned integer. Decremented by 1 by each node that forwards the packet”, a komunikat o wygaśnięciu stał się ICMPv6 typu 3, kod 0, „hop limit exceeded in transit”.\nCzytaj to jak przyrząd, a nie jak przepis, a powie ci coś użytecznego. Każdy router na ścieżce to latarnia, do której możesz się zwrócić po odległości. Ustaw limit hopów na 4, a czwarty router się przedstawi. Nie musisz znać topologii, nie potrzebujesz dostępu do czegokolwiek i nie potrzebujesz współpracy operatora. Potrzebujesz jednego pakietu na hop.\nTraceroute robi dokładnie to od końca lat 80. To, co robi źle, to właśnie ta rzecz, na której ci zależy, bo domyślnie sonduje porty UDP w okolicach 33434, a tego portu nikt nie filtruje i nikt nie obsługuje, więc mówi ci o ścieżce, której nic prawdziwego nigdy nie używa. Czysty traceroute do hosta, do którego nie dochodzisz na TCP/445, dowodzi tylko tego, że dochodzi tam UDP/33434. A o to nikt nie pytał.\nWięc sonduj port, na którym ci zależy.\nCzytaj, co wróciło, a nie czy coś wróciło Zanim zaczniesz liczyć hopy, sprawdź, co robi druga strona, gdy dotrzesz do niej z normalnym limitem hopów. Jest pięć różnych odpowiedzi, a ludzie rutynowo wrzucają je do jednego worka.\nCo wraca Co to znaczy Kto to wysłał SYN-ACK, połączenie się otwiera port jest otwarty host albo coś, co odpowiada w jego imieniu TCP RST aktywna odmowa host, na którym nic nie nasłuchuje, albo urządzenie skonfigurowane do odrzucania ICMP 3/13, komunikacja zabroniona administracyjnie urządzenie odmawia z powodu polityki i mówi to wprost to urządzenie: jego adres źródłowy jest twoją odpowiedzią ICMP 3/1, 3/2, 3/3 niedostępny host, protokół lub port ostatni router albo host zupełnie nic ktoś wyrzuca po cichu nie wiadomo, więc idź i zmierz Trzeci wiersz to ten, dla którego warto zmienić nawyki. Gdy firewall jest skonfigurowany, żeby odrzucał zamiast wyrzucać, wpisuje własny adres w pole źródłowe ICMP i podaje ci winowajcę za darmo. Na Linuksie tak działa nft ... reject with icmpx admin-prohibited i tak zawsze działało iptables -j REJECT --reject-with icmp-admin-prohibited. Większość narzędzi to wyrzuca i wypisuje „filtered”. nmap --reason to pokaże. Skrypt niżej też.\nWiersze drugi i piąty to ciekawe porażki. Cichy drop to decyzja polityki, żeby nic ci nie mówić, a ponieważ to ustawienie domyślne niemal w każdym komercyjnym firewallu, właśnie na niego trafisz w praktyce. Spodziewaj się ciszy.\nDrugi wiersz też zasługuje na podejrzliwość. Reset nie jest dowodem, że wysłał go host, i wrócę do tego z przykładem na żywo, bo jeden znalazłem na własnym łączu, pisząc ten tekst.\nPrzejdź port, na którym ci zależy, dwa razy Metoda to dwa przebiegi i porównanie. To wszystko.\nPodnoś limit hopów od 1 do 20, używając dokładnie tego protokołu i portu, który zawodzi, i zapisuj, który router odpowiada na każdym hopie. Zrób to samo z czymś, co działa, najlepiej z tym samym hostem i portem, który się otwiera. Hop, na którym odpowiedzi ustają w pierwszym przebiegu, a w drugim lecą dalej, to urządzenie, które cię wyrzuca. Drugi przebieg podaje jego adres. Dlaczego odpowiedzi ustają, zamiast się zmienić: router stosuje swoją wejściową listę dostępu, zanim zrobi z pakietem cokolwiek innego, więc jeśli polityka każe wyrzucić, pakietu już nie ma, zanim ścieżka przekazywania w ogóle spojrzy na limit hopów, nie powstaje żadne Time Exceeded, a urządzenie nigdy nie podpisuje się pod tym, co zrobiło. Cisza zaczyna się więc na winnym hopie, a nie za nim.\nNapisałem małe narzędzie do tego przechodzenia, bo żadne z natywnych nie robi tego przenośnie. Ustawia IP_TTL (albo IPV6_UNICAST_HOPS) na zwykłym gnieździe, łączy się i odczytuje błąd ICMP. Na Linuksie IP_RECVERR zgłasza ten błąd na tym samym gnieździe, które go wywołało, co oznacza, że całość działa bez uprawnień: bez roota, bez surowych gniazd, bez capabilities. Na macOS, BSD i Solarisie jądro nie poda ci ICMP w ten sposób, więc skrypt cofa się do surowego gniazda i potrzebuje roota.\n\u0026#8615; hopfind.py: chodziarz po TTL hopfind.py · 11 kB To 279 linii biblioteki standardowej i nic więcej, a całość jest wydrukowana na końcu tego wpisu, jeśli wolisz ją przeczytać niż ściągać.\npython3 hopfind.py example.net 445 # the port under suspicion python3 hopfind.py example.net 443 # the reference run python3 hopfind.py example.net 53 --proto udp python3 hopfind.py 2001:db8::1 443 -6 Używaj tego samego protokołu w obu przebiegach. Porównywanie śladu TCP ze śladem ICMP to porównywanie dwóch ścieżek, bo równoważenie obciążenia haszuje po piątce adresowej, a ICMP nie ma portów do haszowania. Ten sam host, ten sam protokół, inny port: to jest uczciwe porównanie.\nWszystko poniżej to prawdziwe wyjście z mojego własnego łącza z 28 sierpnia 2026, uruchomione jako zwykły użytkownik na Fedorze. Każdy adres został przepisany na zakresy dokumentacyjne: RFC 5737 dla IPv4, RFC 3849 dla IPv6, z jednym identyfikatorem interfejsu również zmienionym. Tak więc 198.51.100.x to mój własny router i mój ISP, 203.0.113.x to tranzyt i peering, 192.0.2.x to sieć docelowa, a 2001:db8::/32 to cała ścieżka IPv6. Struktura jest zachowana w całości: te same granice prefiksów, te same kształty części hosta, ta sama liczba odrębnych sieci. Numery hopów, czasy, typy ICMP i to, który hop zamilkł, są dokładnie takie, jak zmierzono.\nJeden host, trzy porty, trzy różne usterki Cały czas ten sam cel: host w publicznym internecie, czternaście hopów stąd, z otwartym 443. Najpierw przebieg referencyjny.\n$ python3 hopfind.py 192.0.2.4 443 --max 15 walking to 192.0.2.4 TCP/443 hop limit 1-15 1 198.51.100.254 0.3 ms ICMP 11/0 time exceeded in-transit 2 198.51.100.133 28.8 ms ICMP 11/0 time exceeded in-transit 3 * 4 198.51.100.153 6.3 ms ICMP 11/0 time exceeded in-transit 5 * 6 203.0.113.240 16.5 ms ICMP 11/0 time exceeded in-transit 7 203.0.113.188 16.5 ms ICMP 11/0 time exceeded in-transit 8 203.0.113.185 16.5 ms ICMP 11/0 time exceeded in-transit 9 203.0.113.15 15.6 ms ICMP 11/0 time exceeded in-transit 10 203.0.113.125 16.1 ms ICMP 11/0 time exceeded in-transit 11 192.0.2.31 26.6 ms ICMP 11/0 time exceeded in-transit 12 * 13 * 14 192.0.2.4 19.5 ms connected Verdict: TCP/443 is open. It answered at hop 14. Zwróć uwagę na hopy 3, 5, 12 i 13. Cztery routery na ścieżce, która ewidentnie działa, nic nie powiedziały, bo mnóstwo sprzętu jest skonfigurowane tak, żeby nie generować ICMP od siebie, albo mocno to ogranicza. Gwiazdka nie jest dowodem na firewall. Jeśli nic innego stąd nie wyniesiesz, wynieś to. Sygnałem nigdy nie są gwiazdki w pojedynczym przebiegu; sygnałem jest miejsce, w którym dwa przebiegi przestają się zgadzać.\nTeraz ten sam host na 445, który stąd kończy się timeoutem.\n$ python3 hopfind.py 192.0.2.4 445 --max 15 walking to 192.0.2.4 TCP/445 hop limit 1-15 1 198.51.100.254 0.3 ms ICMP 11/0 time exceeded in-transit 2 198.51.100.133 8.0 ms ICMP 11/0 time exceeded in-transit 3 * 4 198.51.100.153 6.4 ms ICMP 11/0 time exceeded in-transit 5 203.0.113.76 5.6 ms ICMP 11/0 time exceeded in-transit 6 203.0.113.240 15.9 ms ICMP 11/0 time exceeded in-transit 7 203.0.113.188 15.8 ms ICMP 11/0 time exceeded in-transit 8 203.0.113.185 16.6 ms ICMP 11/0 time exceeded in-transit 9 203.0.113.15 15.9 ms ICMP 11/0 time exceeded in-transit 10 203.0.113.125 15.0 ms ICMP 11/0 time exceeded in-transit 11 * 12 * 13 * 14 * 15 * Verdict: answers stop after hop 10 (203.0.113.125). Whatever swallows TCP/445 is hop 11. Walk a port that works and read off the address at hop 11. Hop 11 odpowiedział w przebiegu na 443 w 26,6 ms i nie powiedział nic w przebiegu na 445. To samo pudło, ta sama ścieżka, tych samych dziesięć routerów przed nim. Porównaj z przebiegiem, który działa, a hop 11 dostaje nazwę: 192.0.2.31. To urządzenie wyrzuca SMB, trzy hopy przed celem i osiem hopów za brzegiem sieci mojego dostawcy. Nie moje i nie mojego ISP.\nHop 5 pokazuje sprawę gwiazdek z drugiej strony. W przebiegu na 443 był gwiazdką, a w przebiegu na 445 odpowiedział, czyli odwrotnie niż przy usterce. To może być ograniczanie ICMP, a mogą to być dwa przebiegi idące różnymi ścieżkami przez load balancer. Nie wiem, które, i ty też nie będziesz wiedział. Powtórz oba przebiegi, zanim uwierzysz któremukolwiek.\nDwa przejścia po limicie hopów do tego samego hosta i hop, na którym przestają się zgadzać Dwa przejścia do tego samego hosta i hop, na którym przestają się zgadzać Jedna sonda na limit hopów. Zacieniona komórka: router odesłał ICMP Time Exceeded i się przedstawił. router odpowiedział nic nie wróciło odtąd cisza 1 2 3 4 5 6 7 8 9 10 11 12 13 14 limit hopów ustawiony w sondzie TCP/443 referencyjny, otwiera się \u0026#8226; \u0026#8226; * \u0026#8226; * \u0026#8226; \u0026#8226; \u0026#8226; \u0026#8226; \u0026#8226; \u0026#8226; * * \u0026#10003; otwiera TCP/445 testowany, timeout \u0026#8226; \u0026#8226; * \u0026#8226; \u0026#8226; \u0026#8226; \u0026#8226; \u0026#8226; \u0026#8226; \u0026#8226; * * * * hop 11 odpowiedział w jednym przejściu, a w drugim nie Hopy 3, 5, 12 i 13 milczały na ścieżce, która ewidentnie działa, więc sama gwiazdka nic nie znaczy. Hop 11 odpowiedział w przejściu referencyjnym w 26,6\u0026#160;ms, a w testowym nie odpowiedział wcale. To jest granica, a adres daje jej przejście referencyjne:\u0026#160;192.0.2.31. Te same dwa przebiegi obok siebie. Liczy się tylko komórka hopu 11, a liczy się w niej rozbieżność: odpowiedział w jednym przebiegu, a w drugim nie. Potem port 25. Ten mnie zatrzymał.\n$ python3 hopfind.py 192.0.2.4 25 --max 15 walking to 192.0.2.4 TCP/25 hop limit 1-15 1 192.0.2.4 0.4 ms TCP reset Verdict: a reset came back to a probe with a hop limit of 1. Nothing more than one hop away can have sent it, so check the reply TTL before you believe the host did. Limit hopów 1 oznacza, że pakiet zginął na moim własnym routerze. Przeszedł jeden hop. Nie mógł przejść czternastu. A jednak reset TCP wrócił w 0,4 ms z adresem celu, a moje jądro grzecznie zgłosiło odmowę połączenia. Bez ustawionego limitu hopów odczytałbym to jako „po drugiej stronie nie ma serwera pocztowego” i zamknął zgłoszenie.\nCoś jeden hop stąd podrabia resety dla wychodzącego SMTP i podpisuje je adresem celu. Blokowanie wychodzącego portu 25 to zupełnie zwyczajna rzecz dla domowego routera czy ISP, a robienie tego resetem zamiast dropem to raczej uprzejmiejsza wersja, ale reset niesie czyjś cudzy adres, a ja nie miałem pojęcia, że mój tak robi. Złapał to limit hopów, i nic innego w odpowiedzi by tego nie złapało.\nPomyłka o jeden: gdzie w potoku siedzi lista dostępu Werdykt wyżej mówi, że wyrzucający to hop 11, bo odpowiedzi ustały po hopie 10. Uważaj z tą arytmetyką, bo zależy od kolejności, w jakiej winne urządzenie wykonuje dwie czynności.\nWiększość sprzętu stosuje najpierw politykę wejściową, a dopiero potem sprawdza limit hopów. Reguła deny trafia, pakiet zostaje odrzucony i nigdy nie powstaje żadne Time Exceeded, więc urządzenie się nie pojawia, a cisza zaczyna się na jego własnym numerze hopu. To przypadek wyżej. I ten częsty.\nNiektóre platformy obsługują wygaśnięcie limitu hopów w szybkiej ścieżce, zanim polityka zostanie oceniona. Tam urządzenie odpowiada na sondę zaadresowaną do siebie i wyrzuca tylko sondy wycelowane dalej, więc pojawia się normalnie, a cisza zaczyna się hop później.\nDlaczego winny hop zwykle się nie pojawia: polityka jest oceniana przed sprawdzeniem limitu hopów Wewnątrz hopu, który cię wyrzuca, kolejność dwóch sprawdzeń decyduje, co zobaczysz Twoja sonda przychodzi z jednym hopem w budżecie i trafia na regułę deny. Najpierw polityka: niemal wszystkie firewalle i każdy przypadek zmierzony w tym wpisie router na hopie N sonda polityka wejścia limit hopów dalej odrzucona, zanim cokolwiek spojrzy na limit hopów Nie powstaje żadne ICMP, więc ten router nigdy nie podpisuje się pod dropem. Twoje przejście milknie\u0026#160;na\u0026#160;hopie\u0026#160;N. Najpierw wygaśnięcie: niektóre platformy obsługują je w szybkiej ścieżce router na hopie N sonda limit hopów polityka wejścia dalej wygasła, więc wraca ICMP 11/0 z adresem tego routera Odpowiada za siebie i połyka tylko sondy wycelowane dalej. Twoje przejście milknie od hopu\u0026#160;N+1. Dlaczego hop, który wyrzuca, zwykle pozostaje niewidoczny. Na niemal wszystkich firewallach deny jest oceniane najpierw, więc sondy już nie ma, zanim ścieżka przekazywania zauważy, że limit hopów wygasł, i żadne ICMP nigdy nie powstaje. Na sprzęcie, który obsługuje wygaśnięcie w szybkiej ścieżce, to samo urządzenie odpowiada na sondę zaadresowaną do niego i połyka tylko te wycelowane dalej. Uczciwy odczyt „odpowiedzi ustają po hopie N” brzmi więc: wyrzucający to hop N+1, jeśli wyrzucił twoją sondę, zanim zauważył, że budżet się skończył, albo sam hop N, jeśli odpowiedział na sondę zaadresowaną do siebie i połknął wszystko wycelowane dalej. Dwa sąsiednie urządzenia, a przebieg, który działa, nazywa oba. Podawaj adresy, nie numer hopu: numer hopu nic nie znaczy dla osoby czytającej twoje zgłoszenie, która liczy od innego miejsca.\nTTL odpowiedzi mówi, kto naprawdę odpowiedział Reset SMTP wyżej złapał limit hopów idący w tamtą stronę. Jest też drugie, niezależne sprawdzenie, dostępne w każdej odpowiedzi, która wraca, i nic nie kosztuje.\nPoczątkowe wartości TTL nie są ustandaryzowane, ale w praktyce są trzy:\nStartuje od Typowy nadawca 64 Linux, macOS, BSD, illumos, większość hostów 255 Cisco IOS, Junos, Solaris, ruch własny większości sprzętu sieciowego 128 Fisher-Price OS (Windows), której wartość i tak musisz znać, żeby odczytać odpowiedź od niego Odejmij otrzymane TTL od najbliższej wyższej wartości, a dostaniesz z powrotem liczbę hopów. Odpowiedź z TTL 50 wystartowała z 64 i przeszła 14 hopów. Ta z TTL 250 wystartowała z 255 i przeszła 5. ping wypisuje to bez pytania:\nping -c1 192.0.2.4 # ttl=50 → 14 hops away tcpdump -n -v \u0026#39;icmp\u0026#39; # -v prints the ttl of every packet it shows Wynikają z tego dwie rzeczy. Obie za darmo.\nOdpowiedź, której wsteczna liczba hopów nie zgadza się z innymi odpowiedziami hosta, nie została wysłana przez host. Jeśli echo reply z serwera wraca z 14 hopów, a RST na porcie 25 wraca z 1 hopu, to RST napisało jakieś pudełko pośrodku. Ta sama sztuczka co w sekcji wyżej, tylko od drugiego końca, i działa nawet wtedy, gdy nie możesz ustawić wychodzącego TTL.\nOdpowiedź, która wystartowała z 255, przyszła ze sprzętu sieciowego, nie z serwera. Przydatne, gdy próbujesz ustalić, czy odrzuca cię host, czy router przed nim.\nŻeby zobaczyć to pole w TCP zamiast w ICMP, potrzebujesz przechwytywania, a filtr warto zapamiętać:\n# every hop-limit expiry coming back to you, IPv4 and IPv6 tcpdump -n -v \u0026#39;icmp[icmptype] == 11 or icmp6[icmp6type] == 3\u0026#39; # who is resetting you, and from how far tcpdump -n -v \u0026#39;tcp[tcpflags] \u0026amp; tcp-rst != 0\u0026#39; tcpdump wypisuje wygaśnięcie jako ICMP time exceeded in-transit, tym samym sformułowaniem, którego używają standardy, i to jest to samo zdarzenie, które pokazuje się jako „TTL expired in transit” na platformach, które tak je nazywają.\nTa sama sztuczka natywnymi narzędziami, na pięciu Uniksach Jeśli wolisz nie uruchamiać skryptu, natywne narzędzia zrobią większość roboty. Tyle że różnią się między sobą bardziej, niż byś się spodziewał. Zwłaszcza -P znaczy trzy różne rzeczy, zależnie od tego, czyj traceroute trzymasz, a jedna z nich po cichu zepsuje ci test.\nLinux (traceroute 2.1.x) macOS / FreeBSD OpenBSD NetBSD Solaris 11 sondy TCP -T -P tcp nieużywalne nie nie sondy ICMP -I -I -I -I -I UDP na stały port -U -p N -e -p N nie nie nie port docelowy -p N (stały dla TCP) -p N (rośnie bez -e) -p N (rośnie) -p N (rośnie) -p N (rośnie) co znaczy -P nieużywane protokół sondy numer protokołu, „will not work reliably for most protocols” ustaw DF i zbadaj MTU ścieżki pauza między sondami, w sekundach wymaga uprawnień tak, dla -T i -I tak tak tak tak Każde z nich potrzebuje surowych gniazd, więc każde potrzebuje uprawnień, choć macOS i BSD zwykle dostarczają traceroute z setuid root, więc może nie będziesz musiał pisać przed nim sudo. Linux tego nie robi i Fedora też nie, co jest połową powodu, dla którego istnieje skrypt wyżej.\nW tej tabeli są trzy pułapki, i widziałem, jak każda z nich zmarnowała komuś popołudnie.\nNa BSD i macOS -p to port bazowy, który rośnie z każdą sondą. Więc traceroute -P tcp -p 445 host testuje 445, potem 446, potem 447, a przy hopie 10 pytasz o port, o którym nikt nigdy nie słyszał. Potrzebujesz jeszcze -e, które strona podręcznika nazywa trybem omijania firewalla, a które tak naprawdę znaczy tylko „trzymaj port w miejscu”:\nsudo traceroute -P tcp -e -p 445 example.net # macOS, FreeBSD Na Linuksie zwykłe -p robi to samo dla domyślnej metody UDP i do stałego portu UDP potrzebujesz -U -p. Dla TCP -T -p jest już stałe; strona podręcznika mówi wprost, że „for TCP and others specifies just the (constant) destination port to connect”.\nsudo traceroute -T -p 445 example.net # Linux sudo traceroute -U -p 53 example.net # Linux, UDP/53 specifically Na Solarisie i NetBSD w ogóle nie da się przypiąć portu, a na Solarisie -P to pauza w sekundach, więc skopiowana linuksowa linia poleceń wykona się bez błędu i zmierzy nic z tego, o co pytałeś. Solaris nie ma też trybu sond TCP. To przypadek, w którym chcesz skryptu.\nRedox jest tu wyjątkiem i zasługuje na zdanie, bo spodziewam się tego pytania. Cały jego zestaw narzędzi sieciowych to netutils: dns, ifconfig, nc, ping, telnetd, wget. Bez traceroute, bez tcpdump, nie ma czym przechwytywać. Jeśli maszyna z Redoksem jest jednym końcem problemu, mierz z drugiego końca i kieruj przejście na nią.\nWspomnieć trzeba też o mtr, bo robi tę część z powtarzaniem i uśrednianiem, którą tabele wyżej każą ci robić ręcznie:\nsudo mtr -T -P 445 --report --report-cycles 20 example.net Uruchom to na zawodzący port i jeszcze raz na działający, obok siebie. Ta sama metoda, ładniejsze wyjście.\nNic z tego nie działa, jeśli ktoś blokuje ICMP Każdy pomiar w tym wpisie składa się z błędów ICMP wracających do mnie. Zablokuj je, a cała diagnostyka gaśnie, i to samo dzieje się z wieloma innymi rzeczami.\nBlokowanie ICMP w całości wciąż gdzieniegdzie uchodzi za postawę bezpieczeństwa. Od lat 90. nie da się jej obronić. Ataki, które ma rzekomo zatrzymywać, to ping of death i smurf, oba naprawione w stosach, a nie na granicy sieci, i oba naprawione, zanim urodzili się niektórzy inżynierowie, którzy wciąż powtarzają tę radę. Dziś blokada w całości zatrzymuje diagnostykę. Nic poza tym.\nRFC 1812 nie zostawia w tej kwestii miejsca na interpretację: Time Exceeded to MUST, a standard podaje, że powodem jest to, że zależy od niego traceroute. Wyrzuć je, a zepsujesz narzędzie, które dokument wymagań dla routerów samego internetu podaje jako uzasadnienie istnienia tego komunikatu.\nKosztowne jest wykrywanie MTU ścieżki. Wymaga, żeby do nadawcy wracało ICMP 3/4, fragmentation needed. Odfiltruj to, a dostaniesz usterkę, za którą każdy inżynier sieci przynajmniej raz się uganiał: tę, w której handshake się kończy, małe transfery działają, a wszystko, co niesie pakiet pełnego rozmiaru, wisi w nieskończoność. SSH się łączy, a scp staje. Strona się ładuje, a obrazek nigdy nie dochodzi. Nic w logach. Nic do grepowania.\nW IPv6 przestaje to być kwestią gustu. RFC 4890 §4.3.1 wymienia komunikaty, których firewall nie może wyrzucać:\nDestination Unreachable (Type 1) - All codes Packet Too Big (Type 2) Time Exceeded (Type 3) - Code 0 only Parameter Problem (Type 4) - Codes 1 and 2 only a o Packet Too Big mówi bez ogródek, jaka jest konsekwencja: „Effectively, parts of the Internet will become inaccessible.” Routery IPv6 nie fragmentują. Jeśli Packet Too Big nie dotrze do nadawcy, nie ma drogi naprawy.\nŚrodkiem kontroli jest limit szybkości, a nie drop. Przepuszczaj typ 3 i typ 11 na wejściu, licz je, ogranicz do czegoś rzędu stu na sekundę, loguj wszystko, co przekracza limit, a zachowasz diagnostykę, utrzymasz działające wykrywanie MTU ścieżki i zachowasz całą ochronę, którą reguła blokująca wszystko miała rzekomo dawać. Ograniczanie tego, ile czegoś przyjmujesz, to środek kontroli. Odmawianie wszystkiego i nazywanie tego utwardzaniem to po prostu odmowa bycia zmierzonym.\nDo każdego, kto prowadzi MSP: jeśli łącze twojego klienta wyrzuca błędy ICMP, odebrałeś mu możliwość udowodnienia, w której sieci jest usterka, i sobie też. Następnym razem, gdy usterka utknie między dwoma dostawcami, z których każdy mówi, że u niego czysto, to będzie rachunek za tę politykę.\nZ wyjątkiem echo. To wyrzuć. Wszystko powyżej dotyczy błędów ICMP. Echo to inne zwierzę, i to jedyna część protokołu, którą zdjąłbym z kabla na granicy.\nPopatrz, czego wymaga od niego standard. W IPv4 RFC 792 mówi o echo request, że „the data received in the echo message must be returned in the echo reply message”. IPv6 jest jeszcze dosadniejsze: RFC 4443 definiuje pole jako „zero or more octets of arbitrary data”, a potem wymaga, żeby „MUST be returned entirely and unmodified in the ICMPv6 Echo Reply message”.\nPrzeczytaj to jak atakujący, a nie jak operator. Standard zobowiązuje każdy host na świecie do przyjęcia bloku bajtów, który wybierzesz, i oddania ci go z powrotem. To nie jest efekt uboczny. To obowiązkowy, dwukierunkowy kanał z dowolnym ładunkiem, działający na protokole, który większość firewalli przepuszcza bez inspekcji, a większość logowania zapisuje jako liczbę pakietów, a nie jako treść.\nLudzie budują na tym tunele od trzydziestu lat. Loki zrobił to w Phrack 49 w 1996 roku. Ptunnel przeniesie pełną sesję TCP wewnątrz pinga i od dwudziestu lat jest na wyciągnięcie jednego pakietu. Jeśli twoja polityka ruchu wychodzącego brzmi „blokuj wszystko, przepuszczaj ICMP, bo zespół sieciowy go potrzebuje”, to nie masz polityki ruchu wychodzącego. Masz VPN z dodatkowymi krokami, a ruch wychodzi wyglądając jak ktoś, kto sprawdza, czy internet działa.\nRFC 4890 się ze mną nie zgadza, i warto to powiedzieć wprost, zamiast cytować tylko połowę, która mi pasuje. §4.3.1 wpisuje Echo Request i Echo Response na tę samą listę „nie wyrzucać” co błędy. A potem przeczytaj uzasadnienie, które podaje:\nFor Teredo tunneling [RFC4380] to IPv6 nodes on the site to be possible, it is essential that the connectivity checking messages are allowed through the firewall.\nPodany powód, dla którego echo ma zostać otwarte, jest taki, że ktoś musi zbudować nim tunel przez twój firewall. To mój argument, spisany przez ludzi, którzy bronią przeciwnego stanowiska.\nPolityka jest więc wąska, a nie hurtowa:\n# transit rules. permit the errors, drop the ping ip protocol icmp icmp type { destination-unreachable, time-exceeded, parameter-problem } \\ limit rate 100/second accept ip protocol icmp icmp type { echo-request, echo-reply } drop ip6 nexthdr ipv6-icmp icmpv6 type { destination-unreachable, packet-too-big, \\ time-exceeded, parameter-problem } limit rate 100/second accept ip6 nexthdr ipv6-icmp icmpv6 type { echo-request, echo-reply } drop W IPv6 nie przenoś tego wzorca na łańcuch link-local ani na łańcuch hosta, nie zachowując neighbour discovery. Typy od 133 do 137, od nd-router-solicit do nd-redirect, to sposób, w jaki IPv6 wykonuje pracę, którą w IPv4 robi ARP. Wyrzuć je, a segment przestanie działać w ciągu minut, i nie będzie to wyglądało na usterkę firewalla. Filtruj echo na granicy, a nie na kablu między hostem a jego własnym routerem.\nIle cię to kosztuje? ping przez granicę, i nic więcej. Wszystko w tym wpisie dalej działa, bo żaden pomiar tutaj nie wysyła echo request. hopfind.py przechodzi po TCP i UDP i czyta błędy, które wracają; traceroute -T i -U robią to samo. Wykrywanie MTU ścieżki potrzebuje Packet Too Big, a to jest błąd. Sztuczka z wstecznym TTL działa na każdej odpowiedzi, a handshake TCP ci ją da. Tracisz tylko najmniej informatywne narzędzie w skrzynce, a cały ten wpis jest argumentem, że zatrzymywanie się na ping to właśnie problem.\nMoje własne łącze już robi dokładnie to, choć wątpię, żeby celowo. ping do mojej bramy domyślnej ma 100% strat, a ICMP Time Exceeded z tej samej bramy wraca w 0,3 ms, jak pokazuje każdy ślad w tym wpisie. Echo zamknięte, błędy otwarte. Ktokolwiek wypuścił ten firmware, trafił z właściwą odpowiedzią, a ja dowiedziałem się o tym dopiero, gdy zacząłem szukać.\nTa sama reguła, zapisana raz Oto usterka, której nie spodziewałem się znaleźć we własnym domu. Publiczny resolver DNS, przechodzony na TCP/443 w obu rodzinach adresów, w odstępie kilku minut.\n$ python3 hopfind.py 192.0.2.53 443 --max 10 walking to 192.0.2.53 TCP/443 hop limit 1-10 1 * 2 * 3 * 4 * 5 * 6 * 7 * 8 * 9 * 10 * Verdict: nothing answered at all, not even the first hop. Zupełnie nic. Ani jeden hop. Mój własny router nie zgłosił nawet wygaśnięcia, które musiał wygenerować, tego samego wygaśnięcia, które zgłaszał w 0,3 ms przy każdym innym przejściu w tym wpisie. Drop dzieje się więc na hopie 1, zanim sprawdzenie limitu hopów w ogóle się wykona, a hop 1 jest mój.\nŚcieżka jest w porządku, co ten sam cel udowadnia po UDP:\n$ python3 hopfind.py 192.0.2.53 53 --proto udp --max 10 1 198.51.100.254 0.3 ms ICMP 11/0 time exceeded in-transit 2 198.51.100.133 5.4 ms ICMP 11/0 time exceeded in-transit 3 * 4 198.51.100.167 14.5 ms ICMP 11/0 time exceeded in-transit 5 203.0.113.50 6.3 ms ICMP 11/0 time exceeded in-transit 6 203.0.113.174 5.7 ms ICMP 11/0 time exceeded in-transit 7 203.0.113.201 6.4 ms ICMP 11/0 time exceeded in-transit 8 * Siedem hopów czystych odpowiedzi do tego samego adresu. Więc to nie routing i nie cel: coś na moim łączu wyrzuca TCP do tego hosta, a UDP do niego przepuszcza.\nPotem ten sam resolver, ten sam port, przez IPv6:\n$ python3 hopfind.py 2001:db8:53::53 443 -6 --max 10 walking to 2001:db8:53::53 TCP/443 hop limit 1-10 1 2001:db8:1:ee:beef:abcd:fec0:2a30 0.5 ms ICMP 3/0 hop limit exceeded in-transit 2 2001:db8:1::15c 24.6 ms ICMP 3/0 hop limit exceeded in-transit 3 * 4 2001:db8:2:200::50 5.5 ms ICMP 3/0 hop limit exceeded in-transit 5 2001:db8:2:2::4 5.7 ms ICMP 3/0 hop limit exceeded in-transit 6 2001:db8:2:991:: 16.6 ms ICMP 3/0 hop limit exceeded in-transit 7 2001:db8:53::53 5.7 ms connected Verdict: TCP/443 is open. It answered at hop 7. Prosto na wylot. Siedem hopów, żadnych dramatów. Ta sama usługa, ten sam port, ten sam zamiar, a reguła istnieje tylko w jednej rodzinie adresów.\nKtokolwiek napisał tę regułę, napisał ją dla IPv4 i nigdy nie napisał bliźniaczki. Nie mam pojęcia, co miała osiągać; zgaduję, że chodziło o trzymanie DNS lokalnie. Ale czymkolwiek to było, osiąga to na połowie ruchu, odkąd to łącze ma IPv6. Jeśli była tam z jakiegoś powodu, nie działa. Jeśli nie, nie powinno jej tam być.\nTo codzienna wersja problemu dual-stack i zdarza się znacznie częściej niż spory o to, czy w ogóle wdrażać IPv6. Dwa regulaminy. Utrzymywany jeden.\nSkrypt w całości Bez zależności, bez instalacji, nic poza biblioteką standardową. Python 3.6 lub nowszy, a na Linuksie żadnych uprawnień.\nDwie klasy to cała historia przenośności. ErrorQueue to ścieżka linuksowa: włącz IP_RECVERR na gnieździe, a gdy sonda zawiedzie, odczytaj MSG_ERRQUEUE i wyciągnij adres routera ze struktury sock_extended_err, do której jądro go dołącza. RawIcmp to wszędzie indziej: otwórz surowe gniazdo ICMP, czytaj, co przychodzi, weź adres źródłowy z pakietu. Pierwsza nie potrzebuje niczego, druga potrzebuje roota, a reszcie programu jest obojętne, którą dostała.\nJeden szczegół warto wskazać, bo to różnica między właściwą odpowiedzią a wiarygodnie wyglądającą. W probe() kolejka błędów jest opróżniana przed sprawdzeniem SO_ERROR. Błąd ICMP dociera do gniazda TCP jako zwykłe errno: ICMP 3/3 port unreachable przychodzi jako ECONNREFUSED, dokładnie jak prawdziwy reset. Sprawdzenie najpierw SO_ERROR zgłosiłoby więc podrobiony reset SMTP opisany wyżej jako uczciwą odmowę z drugiego końca. Przeczytaj najpierw kolejkę, a ee_origin powie ci, że odezwał się router.\n#!/usr/bin/env python3 \u0026#34;\u0026#34;\u0026#34;hopfind - work out how many hops away the thing blocking your port is. Walks the IPv4 TTL, or the IPv6 hop limit, up from 1 and records which router answers at each step - using the protocol and port you actually care about instead of traceroute\u0026#39;s default UDP high ports. Run it twice. Once against something that works, once against the port that does not. The hop where the answers stop is the device dropping you, and the run that works gives you its address. python3 hopfind.py example.net 445 # the port under suspicion python3 hopfind.py example.net 443 # the reference run python3 hopfind.py example.net 53 --proto udp python3 hopfind.py 2001:db8::1 443 -6 On Linux this needs no privileges at all: IP_RECVERR and IPV6_RECVERR hand the ICMP errors back on the ordinary socket that caused them. On macOS, the BSDs and Solaris the errors have to be read off a raw ICMP socket, which means root. Written for https://blogs.damiendye.uk/networking/how-far-away-is-the-firewall/ Public domain. Do what you like with it. \u0026#34;\u0026#34;\u0026#34; import argparse import errno import os import select import socket import struct import sys import time # Linux socket options. Absent from the socket module on some builds, so they # are spelled out rather than looked up. IP_RECVERR = 11 IPV6_RECVERR = 25 # ee_origin values from linux/errqueue.h. Anything else means the errno came # from the local stack rather than from a router. SO_EE_ORIGIN_ICMP = 2 SO_EE_ORIGIN_ICMP6 = 3 ICMP_V4 = { (11, 0): \u0026#34;time exceeded in-transit\u0026#34;, (11, 1): \u0026#34;fragment reassembly time exceeded\u0026#34;, (3, 0): \u0026#34;net unreachable\u0026#34;, (3, 1): \u0026#34;host unreachable\u0026#34;, (3, 2): \u0026#34;protocol unreachable\u0026#34;, (3, 3): \u0026#34;port unreachable\u0026#34;, (3, 4): \u0026#34;fragmentation needed\u0026#34;, (3, 9): \u0026#34;net administratively prohibited\u0026#34;, (3, 10): \u0026#34;host administratively prohibited\u0026#34;, (3, 13): \u0026#34;communication administratively prohibited\u0026#34;, (5, 0): \u0026#34;redirect\u0026#34;, } ICMP_V6 = { (3, 0): \u0026#34;hop limit exceeded in-transit\u0026#34;, (3, 1): \u0026#34;fragment reassembly time exceeded\u0026#34;, (1, 0): \u0026#34;no route to destination\u0026#34;, (1, 1): \u0026#34;communication administratively prohibited\u0026#34;, (1, 3): \u0026#34;address unreachable\u0026#34;, (1, 4): \u0026#34;port unreachable\u0026#34;, (2, 0): \u0026#34;packet too big\u0026#34;, } def describe(family, icmp_type, icmp_code): table = ICMP_V4 if family == socket.AF_INET else ICMP_V6 return table.get((icmp_type, icmp_code), \u0026#34;unrecognised\u0026#34;) def is_expiry(family, icmp_type): \u0026#34;\u0026#34;\u0026#34;Was this the router saying \u0026#39;your hop budget ran out here\u0026#39;?\u0026#34;\u0026#34;\u0026#34; return icmp_type == (11 if family == socket.AF_INET else 3) class ErrorQueue: \u0026#34;\u0026#34;\u0026#34;Linux. The kernel reports the ICMP error on the socket that provoked it.\u0026#34;\u0026#34;\u0026#34; def arm(self, sock, family): if family == socket.AF_INET: sock.setsockopt(socket.IPPROTO_IP, IP_RECVERR, 1) else: sock.setsockopt(socket.IPPROTO_IPV6, IPV6_RECVERR, 1) def extra_readers(self): return [] def collect(self, sock, family): try: _, ancillary, _, _ = sock.recvmsg(0, 1024, socket.MSG_ERRQUEUE) except OSError: return None wanted = (socket.IPPROTO_IP, IP_RECVERR) if family == socket.AF_INET \\ else (socket.IPPROTO_IPV6, IPV6_RECVERR) for level, kind, data in ancillary: if (level, kind) != wanted or len(data) \u0026lt; 16: continue # struct sock_extended_err, then the sockaddr of the router that # sent the error - SO_EE_OFFENDER in the kernel headers. _, origin, icmp_type, icmp_code = struct.unpack_from(\u0026#34;=IBBB\u0026#34;, data, 0) if origin not in (SO_EE_ORIGIN_ICMP, SO_EE_ORIGIN_ICMP6): return None addr = None if len(data) \u0026gt;= 24: offender_family, = struct.unpack_from(\u0026#34;=H\u0026#34;, data, 16) if offender_family == socket.AF_INET: addr = socket.inet_ntoa(data[20:24]) elif offender_family == socket.AF_INET6 and len(data) \u0026gt;= 40: addr = socket.inet_ntop(socket.AF_INET6, data[24:40]) return addr, icmp_type, icmp_code return None class RawIcmp: \u0026#34;\u0026#34;\u0026#34;macOS, the BSDs, illumos, Solaris. Read the ICMP off a raw socket, as root.\u0026#34;\u0026#34;\u0026#34; def __init__(self, family): proto = socket.IPPROTO_ICMP if family == socket.AF_INET else socket.IPPROTO_ICMPV6 self.sock = socket.socket(family, socket.SOCK_RAW, proto) self.sock.setblocking(False) def arm(self, sock, family): pass def extra_readers(self): return [self.sock] def collect(self, sock, family): try: packet, peer = self.sock.recvfrom(1500) except OSError: return None if family == socket.AF_INET: # BSD raw sockets hand back the IP header too. header_len = (packet[0] \u0026amp; 0x0F) * 4 packet = packet[header_len:] if len(packet) \u0026lt; 2: return None return peer[0], packet[0], packet[1] def probe(dest, port, proto, family, hop_limit, timeout, listener): \u0026#34;\u0026#34;\u0026#34;One probe at one hop limit. Returns (icmp, socket_state, note).\u0026#34;\u0026#34;\u0026#34; kind = socket.SOCK_STREAM if proto == \u0026#34;tcp\u0026#34; else socket.SOCK_DGRAM sock = socket.socket(family, kind) if family == socket.AF_INET: sock.setsockopt(socket.IPPROTO_IP, socket.IP_TTL, hop_limit) else: sock.setsockopt(socket.IPPROTO_IPV6, socket.IPV6_UNICAST_HOPS, hop_limit) listener.arm(sock, family) sock.setblocking(False) try: if kind == socket.SOCK_DGRAM: sock.connect((dest, port)) sock.send(b\u0026#34;\\x00\u0026#34; * 32) else: try: sock.connect((dest, port)) except BlockingIOError: pass except OSError as exc: sock.close() return None, None, \u0026#34;local error: %s\u0026#34; % exc.strerror readers = [sock] + listener.extra_readers() writers = [] if kind == socket.SOCK_DGRAM else [sock] deadline = time.time() + timeout icmp = state = None while time.time() \u0026lt; deadline: ready_r, ready_w, ready_x = select.select( readers, writers, [sock], max(0.01, deadline - time.time())) if not (ready_r or ready_w or ready_x): continue # Drain the error queue first, always. An ICMP error reaches a TCP # socket as a plain errno, so SO_ERROR on its own cannot tell you # whether a router spoke or the far end did. icmp = listener.collect(sock, family) if icmp: break if ready_w: err = sock.getsockopt(socket.SOL_SOCKET, socket.SO_ERROR) if err == 0: state = \u0026#34;connected\u0026#34; elif err == errno.ECONNREFUSED: state = \u0026#34;TCP reset\u0026#34; else: state = os.strerror(err) break sock.close() if icmp or state: return icmp, state, None return None, None, \u0026#34;no reply\u0026#34; def walk(dest, port, proto, family, first, last, timeout, listener): print(\u0026#34;walking to %s %s/%d hop limit %d-%d\u0026#34; % (dest, proto.upper(), port, first, last)) answered = [] for hop in range(first, last + 1): started = time.time() icmp, state, _ = probe(dest, port, proto, family, hop, timeout, listener) rtt = (time.time() - started) * 1000 if icmp: addr, icmp_type, icmp_code = icmp print(\u0026#34; %2d %-39s %7.1f ms ICMP %d/%d %s\u0026#34; % (hop, addr or \u0026#34;?\u0026#34;, rtt, icmp_type, icmp_code, describe(family, icmp_type, icmp_code))) if is_expiry(family, icmp_type): answered.append((hop, addr)) else: return answered, hop, \u0026#34;icmp-reject\u0026#34;, addr elif state: print(\u0026#34; %2d %-39s %7.1f ms %s\u0026#34; % (hop, dest, rtt, state)) return answered, hop, state, dest else: print(\u0026#34; %2d *\u0026#34; % hop) return answered, None, \u0026#34;silent\u0026#34;, None def main(): parser = argparse.ArgumentParser(description=__doc__.splitlines()[0]) parser.add_argument(\u0026#34;host\u0026#34;) parser.add_argument(\u0026#34;port\u0026#34;, nargs=\u0026#34;?\u0026#34;, type=int, default=443) parser.add_argument(\u0026#34;--proto\u0026#34;, choices=(\u0026#34;tcp\u0026#34;, \u0026#34;udp\u0026#34;), default=\u0026#34;tcp\u0026#34;) parser.add_argument(\u0026#34;--first\u0026#34;, type=int, default=1, help=\u0026#34;hop limit to start at\u0026#34;) parser.add_argument(\u0026#34;--max\u0026#34;, type=int, default=20, help=\u0026#34;hop limit to stop at\u0026#34;) parser.add_argument(\u0026#34;--wait\u0026#34;, type=float, default=2.0, help=\u0026#34;seconds to wait per hop\u0026#34;) parser.add_argument(\u0026#34;-6\u0026#34;, dest=\u0026#34;v6\u0026#34;, action=\u0026#34;store_true\u0026#34;, help=\u0026#34;force IPv6\u0026#34;) parser.add_argument(\u0026#34;-4\u0026#34;, dest=\u0026#34;v4\u0026#34;, action=\u0026#34;store_true\u0026#34;, help=\u0026#34;force IPv4\u0026#34;) args = parser.parse_args() family = socket.AF_INET6 if args.v6 else socket.AF_INET kind = socket.SOCK_STREAM if args.proto == \u0026#34;tcp\u0026#34; else socket.SOCK_DGRAM dest = socket.getaddrinfo(args.host, args.port, family, kind)[0][4][0] if sys.platform.startswith(\u0026#34;linux\u0026#34;): listener = ErrorQueue() else: try: listener = RawIcmp(family) except PermissionError: sys.exit(\u0026#34;%s cannot report ICMP errors on a normal socket, so this \u0026#34; \u0026#34;needs a raw one. Run it as root.\u0026#34; % sys.platform) answered, stop, why, who = walk(dest, args.port, args.proto, family, args.first, args.max, args.wait, listener) what = \u0026#34;%s/%d\u0026#34; % (args.proto.upper(), args.port) print() if why == \u0026#34;connected\u0026#34;: print(\u0026#34;Verdict: %s is open. It answered at hop %d.\u0026#34; % (what, stop)) elif why == \u0026#34;icmp-reject\u0026#34;: print(\u0026#34;Verdict: %s at hop %d is refusing %s on policy, and is honest \u0026#34; \u0026#34;enough to say so.\u0026#34; % (who, stop, what)) elif why == \u0026#34;TCP reset\u0026#34;: print(\u0026#34;Verdict: a reset came back to a probe with a hop limit of %d.\u0026#34; % stop) print(\u0026#34; Nothing more than %s away can have sent it, so check the reply\u0026#34; % (\u0026#34;one hop\u0026#34; if stop == 1 else \u0026#34;%d hops\u0026#34; % stop)) print(\u0026#34; TTL before you believe the host did.\u0026#34;) elif answered: last_hop, last_addr = answered[-1] print(\u0026#34;Verdict: answers stop after hop %d (%s).\u0026#34; % (last_hop, last_addr)) print(\u0026#34; Whatever swallows %s is hop %d.\u0026#34; % (what, last_hop + 1)) print(\u0026#34; Walk a port that works and read off the address at hop %d.\u0026#34; % (last_hop + 1)) else: print(\u0026#34;Verdict: nothing answered at all, not even the first hop. Either the\u0026#34;) print(\u0026#34; first hop is the one dropping you, or the ICMP errors are being\u0026#34;) print(\u0026#34; filtered on the way back. Walk a port that works to tell those\u0026#34;) print(\u0026#34; two apart.\u0026#34;) if __name__ == \u0026#34;__main__\u0026#34;: main() Czego to nie może ci powiedzieć Metoda jest tania i w większości spraw uczciwa, ale to nie skaner topologii. Pisz w zgłoszeniu wprost, co faktycznie zmierzyłeś.\nRóżne piątki adresowe mogą iść różnymi ścieżkami. ECMP haszuje porty źródłowy i docelowy przy wyborze następnego hopu, więc dwa przebiegi na dwóch różnych portach wcale nie muszą przechodzić przez te same routery, i to jedna z dwóch rzeczy, które mogłyby wyjaśnić, dlaczego hop 5 wyżej odpowiedział w jednym przebiegu, a w drugim milczał. Powtarzaj oba przebiegi. Granica, która się przesuwa, nie jest udowodniona.\nMPLS ukrywa hopy. Szkielet z przełączaniem etykiet może wyglądać jak jeden hop albo jak żaden. Każda liczba hopów przez cudzy szkielet to dolne ograniczenie.\nGenerowanie ICMP jest niemal wszędzie ograniczane. Sonduj szybciej, niż router chce odpowiadać, a sam wyprodukujesz sobie gwiazdki. hopfind.py wysyła jedną sondę na hop i czeka; to celowe.\nŚcieżka powrotna nie musi być taka sama jak wychodząca. Liczba hopów tam to nie liczba hopów z powrotem, a arytmetyka wstecznego TTL mierzy tylko drogę powrotną.\nAnycast oznacza, że host na hopie N nie musi być dwa razy tym samym pudłem. Zwłaszcza publiczne resolvery i CDN-y.\nZakończony handshake nie znaczy, że sesja przetrwa. Firewall stanowy może przepuścić SYN i wyrzucić to, co idzie dalej, po inspekcji. Jeśli połączenie się otwiera, a potem umiera, to niewłaściwy przyrząd: idź przechwytywać.\nZnalazłeś pierwsze urządzenie, które wyrzuca, a nie to, do którego ktoś się przyzna. W CGN albo w sieci operatora adres na hopie N+1 może być jednym z kilku pudeł za jednym adresem. Nadal warto go podać, bo to fakt o ścieżce.\nDo czego to naprawdę służy Do skończenia z odbijaniem. To cały zysk z tego ćwiczenia.\n„Port 445 jest gdzieś zablokowany” to zaproszenie do oddania zgłoszenia. To nie jest:\nTCP/445 do 192.0.2.4 jest po cichu wyrzucane na hopie 11, adres 192.0.2.31. Hop 11 odpowiada ICMP Time Exceeded na TCP/443 na tej samej ścieżce w 26 ms i nie odpowiada nic na 445, więc drop to decyzja polityki na tym urządzeniu, a nie usterka routingu. Dziesięć hopów przed nim jest czystych. Odtworzone cztery razy w ciągu dwudziestu minut, z powłoki bez uprawnień, skrypt w załączniku.\nNikt tego nie oddaje. Nazywa urządzenie, mówi, co zrobiło, mówi, czego nie zrobiło, i pokazuje tok rozumowania. Czy zdecydują się to zmienić, to nadal ich sprawa. Ale tydzień ping-ponga się skończył, a zajęło to cztery polecenia.\nWszystko to wyszło z 8-bitowego pola, które w 1981 roku zdefiniowano jako zegar, ani razu nie użyto go jako zegara, a po cichu zamienia „gdzieś” w adres.\nWarto nauczyć się je czytać.\n","permalink":"https://blogs.damiendye.uk/pl/networking/how-far-away-is-the-firewall/","summary":"„Port 445 jest gdzieś zablokowany” to nie diagnoza, i właśnie dlatego zgłoszenia o firewall odbijają się przez tydzień między tobą a twoim dostawcą. Każdy router na ścieżce jest ci winien ICMP Time Exceeded, gdy skończy się twój budżet hopów, a to zamienia timeout w odległość. Podniosłem TTL krok po kroku na własnym łączu i znalazłem trzy usterki, o których nie wiedziałem: drop SMB jedenaście hopów dalej, podrobione resety SMTP jeden hop stąd i regułę IPv4 bez bliźniaczki w IPv6.","title":"Firewall jest jedenaście hopów stąd"},{"content":"Brytyjska branża opowiada o IPv6 pewną historię i brzmi ona tak. Przejście jest trudne. Sprzęt jest stary. Klienci o to nie proszą. Nie ma na tym pieniędzy. Kiedyś, gdy zmieni się business case, zajmiemy się tym.\nKażdy element tej historii to kłamstwo, które branża opowiada sama sobie, żeby nie musieć nic robić.\nIPv6 zostało wyspecyfikowane w grudniu 1995 roku. Dotarłem do niego przez 6bone, eksperymentalną sieć testową, która przenosiła je, zanim zrobił to prawdziwy internet, i uruchamiałem zarówno stos linuksowy, jak i stos Microsoft Research na Windows XP, żeby zobaczyć, czym się różnią. Dostęp miałem od Hurricane Electric.\n6bone wyłączono 6 czerwca 2006 roku, więc przeszedłem na automatyczne tunelowanie 6to4, a później na tunel Hurricane Electric: nadal darmowy, a na samą prośbę routują ci /48. Natywne IPv6 dotarło do mojego domu w 2017 roku, kiedy zmieniłem dostawcę na Zen.\nWięc przez blisko dwadzieścia lat moje IPv6 pochodziło od amerykańskiej firmy tranzytowej, która je rozdawała, a nie od żadnego z brytyjskich dostawców, którym płaciłem. Hurricane Electric rozdawał routowane /48 każdemu, kto chciał. Mój własny dostawca sprzedałby mi statyczny adres IPv4 za piątaka miesięcznie.\nDaty mówią resztę. IETF zamknęło 6bone w 2006 roku i wycofało przekaźniki anycast 6to4 w maju 2015 roku, nazywając ten mechanizm „unsuitable for widespread deployment and use in the Internet”. Przeżyłem dwa oficjalne mechanizmy przejściowe, czekając, aż brytyjski dostawca da mi adres. W dniu zamknięcia 6bone trzydziestu siedmiu z czterdziestu brytyjskich dostawców z wykresu poniżej nie poprosiło jeszcze rejestru o przydział. Dwudziestu dwóch z nich, czyli ponad połowa, nie poprosiło aż do 2015 roku lub później, czyli roku, w którym IETF zrezygnowało także z 6to4.\nJest domyślnie włączone w każdym systemie operacyjnym, jakiego ktokolwiek używa, od Windows Vista w 2007 roku. W rejestrze nie kosztuje nic ekstra. Największy dostawca, który kiedykolwiek się za to wziął w tym kraju, skończył robotę w trzy lata z zespołem, który zmieściłby się w sali konferencyjnej, i dostał za to nagrodę.\nTrzydzieści lat od specyfikacji. Czternaście lat od dnia, w którym internet włączył je na stałe. A odpowiedzią w tym kraju było celowe zepsucie internetu, owinięcie zepsutego kawałka kolejną maszynerią i obciążenie klienta rachunkiem za tę niewygodę.\nTo nie jest problem kosztów. To problem tego, że się nie chce, i trwa od dwudziestu lat.\nCo zmierzyłem i jak Wszystko poniżej to albo czyjaś praca, podlinkowana, albo liczba, którą wyprodukowałem sam. Tam, gdzie jest moja, skrypt, który ją policzył, jest w paczce do pobrania poniżej, uruchomiony tak, jak go opublikowałem. Jedynym wyjątkiem są sumy adresów, a jak je liczę, wyjaśniam w zastrzeżeniach. Cztery publiczne źródła, wszystkie darmowe: pliki delegacji rejestrów, zrzut tablicy routingu RIPE, baza danych RIPE i DNS. Tam, gdzie wybrałem próbkę zamiast mierzyć całość, mówię o tym.\nLiczby dotyczące routingu pochodzą z dwóch zestawów publicznych plików.\nPierwszy to pliki delegacji, po jednym na regionalny rejestr, które wymieniają każdy blok adresów i każdy numer AS, jaki ten rejestr wydał, kraj, w którym jest zarejestrowany, oraz nieprzezroczysty identyfikator organizacji, która go trzyma. Plik RIPE obejmuje Europę i Bliski Wschód i to on ma znaczenie dla Wielkiej Brytanii, ale kilkadziesiąt numerów AS zarejestrowanych w Wielkiej Brytanii siedzi w plikach ARIN i APNIC, a porównanie niżej potrzebuje wszystkich. Moje zostały wygenerowane 26 i 27 sierpnia 2026 roku.\nDrugi to zrzut globalnej tablicy routingu z RIPE Routing Information Service, który wymienia każdy prefiks w BGP i numer AS, który go ogłasza. IPv4 i IPv6 są w osobnych plikach. Mój został wygenerowany o 18:06 UTC 27 sierpnia 2026 roku.\nPołącz je, a odpowiesz na pytanie, którego nikt w brytyjskiej branży nie chce usłyszeć na głos: ile z sieci zarejestrowanych w tym kraju naprawdę włączyło IPv6?\n\u0026#8615; Skrypty, gotowe do uruchomienia ipv6-uk-2026-scripts.zip · 10 kB Wyciągnij numery AS zarejestrowane na GB z plików delegacji, wyciągnij każdy numer AS, z którego pochodzi jakiś prefiks, ze zrzutów RIS i porównaj obie listy przez comm, osobno dla każdej rodziny adresów. To daje pierwszą tabelę poniżej. Jedna pułapka warta nazwania: sortuj leksykograficznie, nie przez sort -n. comm porównuje ciągi znaków, a wejście posortowane numerycznie po cichu daje złą odpowiedź zamiast błędu, który byś zauważył.\nZamień GB na kod dowolnego innego kraju, a dostaniesz wiersz tego kraju w tabeli porównawczej niżej. 05-country-row.sh robi dokładnie to.\nLiczby na poziomie organizacji używają ósmego pola, czyli nieprzezroczystego uchwytu rejestru dla konta, które trzyma każdy zasób. Te zostają tylko przy pliku RIPE: uchwyty są lokalne dla każdego rejestru, więc sklejenie pięciu plików policzyłoby tę samą firmę dwa razy, zamiast ją scalić. Brytyjskie organizacje są członkami RIPE, więc RIPE jest tam, gdzie są. Tyle z nich ma numer AS i w ogóle nie ma IPv6:\n03-org-no-ipv6.sh je liczy. A 04-silent-holders.py jest tym, który liczy się najbardziej. Organizacje, które mają IPv6, są obecne w BGP i nie ogłaszają z niego nic.\nCztery zastrzeżenia przed liczbami, bo mają znaczenie i wolę je powiedzieć sam, niż żeby mi je ktoś rzucił w twarz.\nUchwyty organizacji odpowiadają kontom w rejestrze, więc firma z kilkoma kontami liczy się więcej niż raz.\nOgłoszenie prefiksu IPv6 w BGP to nie to samo co danie IPv6 klientowi. To podłoga, nie sufit. Sieć, która nic nie ogłasza, na pewno go nie wdrożyła. Sieć, która coś ogłasza, nadal może na nim siedzieć.\nSumy adresów scalają nakładające się prefiksy. Sieć ogłaszająca /16 razem z czterema /17 z jego wnętrza ogłasza 65 536 adresów, nie 196 608, a naiwne liczenie prefiksów zawyża dużych posiadaczy dwa lub trzy razy. Przed sumowaniem używam ipaddress.collapse_addresses z Pythona.\nLista pięćdziesięciu stron internetowych dalej to próbka, którą wybrałem ręcznie, a nie pomiar całego kraju. Inna pięćdziesiątka dałaby inny ułamek. Ilustruje wzorzec, a nie dowodzi proporcji, i nazywam te, o których mówię, po drodze.\nPierwsze dwa z tych zastrzeżeń sprawiają, że liczby routingu są dla branży łaskawsze niż prawda.\nWynik Brytyjskie numery AS i ile z nich przenosi IPv6 Brytyjskie sieci w globalnej tablicy routingu, 27 sierpnia 2026 Źródło: plik delegacji RIPE NCC i zrzut tablicy routingu RIPE RIS zarejestrowane w UK 3106 widoczne w tablicy routingu 2248 ogłaszające IPv4 2078 ogłaszające IPv6 1048 IPv4 i zupełnie bez IPv6 1200 57,7% działających sieci w UK Z tych 1200 aż\u0026#160;463 ma przestrzeń IPv6 już wydaną im przez rejestr i nigdy nie ogłosiło z niej ani jednego prefiksu. Kolejne 1113 brytyjskich organizacji z numerem AS nigdy w ogóle nie poprosiło o IPv6, choć nie kosztuje ono nic ponad członkostwo, za które już płacą. Każdy numer AS zarejestrowany na brytyjską organizację, zmierzony względem globalnej tablicy routingu 27 sierpnia 2026 roku. Luka po prawej to cały argument: 1200 brytyjskich sieci działa w internecie zupełnie bez IPv6, a 463 z nich trzyma wydaną przez rejestr przestrzeń IPv6, której nigdy nie ogłosiły. Numery AS zarejestrowane na brytyjskie organizacje 3106 Widoczne w globalnej tablicy routingu 2248 Ogłaszające IPv4 2078 Ogłaszające IPv6 1048 Ogłaszające IPv4 i żadnego IPv6 1200: 57,7% Prawie sześć na dziesięć działających brytyjskich sieci w ogóle nie przenosi IPv6. Nie częściowo. Nie za flagą. Nie w laboratorium. Ani jednego prefiksu.\nA teraz część, która raz na zawsze kończy argument o kosztach.\nZ 2363 brytyjskich organizacji posiadających numer AS 1113, czyli 47,1%, nie ma żadnego przydziału IPv6. Nigdy nie poprosiły o niego rejestru.\nCzłonkostwo w RIPE NCC kosztuje 1800 EUR rocznie w 2026 roku, ryczałtem, a ta opłata pokrywa twoje przydziały. IPv6 /29 daje ci 524 288 podsieci wielkości całego internetu IPv4. Jest darmowe w ramach członkostwa, za które te organizacje już płacą, i przychodzi w kilka dni.\nPołowa z nich nigdy nie wypełniła formularza.\nA z tych, które to zrobiły, 463 brytyjskie organizacje mają przestrzeń IPv6, codziennie ogłaszają światu IPv4 i nie ogłaszają żadnego IPv6. To 44,7% brytyjskich posiadaczy IPv6 obecnych w BGP.\nPrzeczytaj to jeszcze raz, bo to cały wpis w jednym zdaniu. Poprosili o adresy. Dostali adresy. Wpisali je do arkusza kalkulacyjnego. A potem nikomu nie chciało się wpisać ich do routera.\nPieniędzmi tego nie wytłumaczysz. Nikt niczego nie wydał. Nie ma faktury, nie ma zakupów, nie ma business case\u0026rsquo;u, nie ma wniosku o nakłady inwestycyjne. Jest darmowa rzecz leżąca na koncie w rejestrze i dział inżynierii, który od czternastu lat nie otworzył zgłoszenia.\nKto jest na tej liście To największe brytyjskie sieci ogłaszające IPv4 i żadnego IPv6, według ilości przestrzeni adresowej, którą naprawdę ogłaszają, 27 sierpnia 2026 roku. Nazwy pochodzą z bazy danych RIPE, która powie ci, kto trzyma każdą z nich:\ncurl -s https://rest.db.ripe.net/ripe/aut-num/AS15914.json \\ | python3 -c \u0026#39;import sys,json; a=json.load(sys.stdin)[\u0026#34;objects\u0026#34;][\u0026#34;object\u0026#34;][0][\u0026#34;attributes\u0026#34;][\u0026#34;attribute\u0026#34;]; print(next(x[\u0026#34;value\u0026#34;] for x in a if x[\u0026#34;name\u0026#34;]==\u0026#34;org\u0026#34;))\u0026#39; Największe brytyjskie sieci bez IPv6 Największe brytyjskie sieci z IPv4 i bez IPv6, 27 sierpnia 2026 Adresy IPv4 ogłaszane w BGP, nakładające się prefiksy scalone. Nazwy z bazy danych RIPE. 0 tys. 50 tys. 100 tys. 150 tys. 200 tys. Vodafone Limited AS25310 229 376 Nationwide Building Society AS8698 131 072 British Airways plc AS15914 131 072 Convergence Group (Metronet) AS42973 94 976 Rackspace Ltd AS24867 86 016 Lloyds Banking Group AS49758 81 920 QinetiQ Limited AS24775 69 632 Barclays Bank plc AS12701 68 608 MUFG Securities EMEA AS8651 65 792 University of Warwick AS201773 65 792 NatWest Markets plc AS21054 65 536 PricewaterhouseCoopers Services AS21296 65 536 London Borough of Hackney AS39400 65 536 Wireless Logic Limited AS51320 39 424 Razem brytyjskie sieci bez IPv6 siedzą na\u0026#160;4 232 232 adresach IPv4. Barclays trzyma 141.228.0.0/16 od sierpnia 1990 roku. Czternaście największych brytyjskich sieci ogłaszających IPv4 i żadnego IPv6 27 sierpnia 2026 roku, według przestrzeni adresowej, którą naprawdę ogłaszają. Nakładające się prefiksy scalone przed sumowaniem. Spójrz na tę listę i spróbuj powiedzieć „bariera kosztowa” bez śmiechu.\nCztery banki rozliczeniowe. Globalna firma księgowa, której cały produkt polega na mówieniu innym, jak mają prowadzić swoje sprawy. Firma technologii obronnych. Dostawca hostingu, któremu klienci płacą właśnie za to, żeby to wiedział. Firma od łączności internetu rzeczy, sprzedająca karty SIM, bez IPv6.\nRazem brytyjskie sieci, które nie ogłaszają IPv6, siedzą na 4 232 232 adresach IPv4. Rynek transferów wyniósł średnio $20,04 za adres w pierwszej połowie 2026 roku, więc to zasób wart grubo ponad osiemdziesiąt milionów dolarów. I to jest prawdziwy powód, dla którego żadna z nich się nie ruszyła: są bogate w adresy, więc niedobór to cudzy problem, a długoterminowa hydraulika internetu nie jest niczyim konkretnym zadaniem.\nTo nie jest strategia. To jest wygoda.\nPlik delegacji zawiera datę wydania każdego bloku, więc widać dokładnie, jak wygodnie:\ngrep -E \u0026#39;\\|ipv4\\|(141\\.228|155\\.131|155\\.136|161\\.2)\\.0\\.0\\|\u0026#39; \\ delegated-ripencc-extended-latest | cut -d\u0026#39;|\u0026#39; -f4,5,6 Barclays trzyma 141.228.0.0/16 od 6 sierpnia 1990 roku. Nationwide i NatWest wzięły swoje w listopadzie 1991 roku, w odstępie czterech dni. British Airways dostały 161.2.0.0/16 w kwietniu 1992 roku. To bloki klasy B sprzed istnienia sieci WWW, rozdane, kiedy adresy były za darmo i nikt ich nie liczył.\nKażdy, kto przyszedł po nich, za to płaci. AWS zaczął pobierać opłatę $0,005 za godzinę za każdy publiczny adres IPv4 od 1 lutego 2024 roku, czyli $43,80 rocznie za sztukę, i powiedział wprost dlaczego: koszt pozyskania jednego „has risen more than 300% over the past 5 years.” Niedobór jest prawdziwy i ma swoją cenę. Tyle że nie płacą jej ci, którzy trzymają cztery miliony adresów dostanych za nic w 1991 roku.\nJak wypadamy na tle podobnych krajów Dwie liczby na kraj. Pierwsza to odsetek ludzi, którzy łączą się z Google przez natywne IPv6, czyli pomiar Google z 25 sierpnia 2026 roku. Druga to odsetek działających sieci, które ogłaszają prefiks IPv6, czyli mój, z tych samych plików co wyżej. Ograniczyłem się do gospodarek rozwiniętych. Porównywanie się z krajami, do których internet dotarł późno, nic o nas nie mówi. Kolejność według ludzi.\nKraj Użytkownicy na IPv6 Sieci z IPv6 Działające sieci Francja 85,6% 48,5% 1368 Niemcy 76,6% 63,9% 2291 Belgia 72,8% 45,8% 273 Stany Zjednoczone 56,6% 25,9% 18 453 Japonia 56,1% 56,4% 721 Wielka Brytania 53,7% 42,3% 2078 Norwegia 52,6% 66,9% 278 Holandia 51,9% 61,8% 1023 Kanada 43,6% 33,1% 1578 Irlandia 38,1% 41,5% 195 Australia 37,2% 26,3% 1652 Szwecja 36,1% 53,6% 642 Korea Południowa 18,1% 5,3% 916 Włochy 17,6% 35,8% 1078 Hiszpania 13,3% 26,7% 934 Szóste miejsce na piętnaście. Francja ma o dwie trzecie więcej ludzi na IPv6 niż my, z tego samego europejskiego łańcucha dostaw, u tych samych dostawców sprzętu, z tymi samymi klientami mówiącymi im, że nikt o to nie prosi. Niemcy są dwadzieścia trzy punkty przed nami w użytkownikach i dwadzieścia dwa punkty w sieciach.\nDwie kolumny procentowe się ze sobą nie zgadzają, i ta niezgoda jest właśnie całą historią.\nUżytkownicy na IPv6 wobec sieci z IPv6, piętnaście gospodarek rozwiniętych Ludzie na IPv6 wobec sieci, które je przenoszą Pomiar użytkowników Google, 25 sierpnia 2026, wobec mojego liczenia działających sieci z prefiksem IPv6, 27 sierpnia 2026. odsetek ludzi odsetek sieci Francja 85,6% 48,5% Niemcy 76,6% 63,9% Belgia 72,8% 45,8% Stany Zjednoczone 56,6% 25,9% Japonia 56,1% 56,4% Wielka Brytania 53,7% 42,3% Norwegia 52,6% 66,9% Holandia 51,9% 61,8% Kanada 43,6% 33,1% Irlandia 38,1% 41,5% Australia 37,2% 26,3% Szwecja 36,1% 53,6% Korea Płd. 18,1% 5,3% Włochy 17,6% 35,8% Hiszpania 13,3% 26,7% 0% 20% 40% 60% 80% 100% Długi niebieski słupek nad krótkim różowym znaczy, że trzech lub czterech operatorów zrobiło robotę, a reszta kraju nie. Taki kształt mają Francja, Belgia, Stany Zjednoczone i Wielka Brytania. Norwegia, Szwecja i Japonia nie. Te same piętnaście krajów w obu miarach, w kolejności według odsetka ludzi używających IPv6. Tam, gdzie słupek sieci jest dużo krótszy od słupka użytkowników, kilku dużych operatorów niesie cały kraj, a nikomu innemu się nie chciało. Taki kształt mają Stany Zjednoczone, Belgia, Francja i Wielka Brytania. Odsetek użytkowników w danym kraju ustalają trzy albo cztery firmy. Odsetek sieci ustalają wszyscy pozostali. Kiedy pierwszy jest wysoki, a drugi niski, znaczy to, że duże sieci dostępowe zrobiły robotę, a reszta kraju pojechała na gapę.\nNajczystszy przypadek to Stany Zjednoczone: 56,6% ludzi jest na IPv6, a tylko 25,9% sieci. Operatorzy kablowi i komórkowi wiozą prawie wszystkich. Pozostałe osiemnaście tysięcy amerykańskich sieci nie zrobiło nic.\nU nas to ta sama sztuczka na mniejszych liczbach: 53,7% użytkowników wobec 42,3% sieci. Te 53,7% to nie jest osiągnięcie narodowe. To Sky i BT plus błąd zaokrąglenia ze wszystkich pozostałych.\nNorwegia i Szwecja mają uczciwy kształt odwrotny: mniej użytkowników na IPv6 niż u nas, więcej sieci, które je przenoszą. Większa część ich branży naprawdę wykonała pracę, a w tyle zostają konsumenccy dostawcy, nie branża.\nI jeden wiersz zasługuje na bliższe spojrzenie, bo to po niego ludzie sięgają, kiedy chcą poczuć się lepiej z naszym wynikiem.\nKorea Południowa to najgorszy kraj na tej liście, i to z dużą przewagą. Z 916 działających koreańskich sieci IPv6 ogłasza 61. Sześćdziesiąt jeden.\nJeden z najszybszych domowych internetów na świecie, przemysł półprzewodników, który drukuje pieniądze, i 94,7% sieci, które nigdy tego nie włączyły. Trzej wielcy operatorzy, KT, SK Broadband i LG U+, wszyscy je ogłaszają, i dlatego 18,1% koreańskich użytkowników je ma. Pozostałe osiemset pięćdziesiąt sieci nie zrobiło nic a nic.\nJakakolwiek jest tam wymówka, to nie są pieniądze, nie są możliwości i nie jest stan światłowodów.\nDwadzieścia lat doklejania Oto co branża zbudowała zamiast wpisać adresy.\nKiedy adresów zaczęło brakować, odpowiedzią był carrier-grade NAT: postaw setki klientów za jednym publicznym adresem IPv4 i tłumacz między nimi. Wszystko poniżej istnieje po to, żeby dało się to przeżyć, a każdy z tych dokumentów to kawałek pracy inżynierskiej, którą ktoś wybrał zamiast wdrożenia IPv6.\nDodatek Do czego służy RFC 6598 (2012) Przepala całe /10, cztery miliony adresów, jako „shared address space”, więc obejście niedoboru potrzebuje własnych adresów RFC 6333 (2011) DS-Lite: tunelowanie IPv4 przez sieć IPv6, którą zbudowałeś, ale nie dałeś klientowi RFC 6877 (2013) 464XLAT: tłumaczenie IPv4 na IPv6 i z powrotem w trakcie tej samej podróży RFC 6888 (2013) Lista wymagań, które carrier-grade NAT musi spełnić, żeby nie był niebezpieczny RFC 7021 (2013) Pełne badanie aplikacji, które carrier-grade NAT psuje RFC 7422 (2014) Deterministyczne mapowanie adresów, wymyślone wyłącznie po to, żeby ilość logów nie doprowadziła dostawcy do bankructwa RFC 7597 / 7599 (2015) MAP-E i MAP-T: dwa kolejne sposoby przenoszenia IPv4 przez IPv6 bez przyznawania się, że masz IPv6 Dwadzieścia lat obejść wobec jednej zmiany, którą zastępują Co zbudowaliśmy zamiast, i zamiast czego Unikanie IPv6 Wspólna przestrzeń: przepalone całe /10 RFC 6598, 2012 DS-Lite: tunel IPv4 przez rdzeń IPv6 RFC 6333, 2011 464XLAT: tłumaczenie z IPv4 i z powrotem RFC 6877, 2013 Zasady, by przeżyć carrier-grade NAT RFC 6888, 2013 Badanie aplikacji, które psuje RFC 7021, 2013 Mapowanie deterministyczne, mniej logów RFC 7422, 2014 MAP-E i MAP-T: znowu IPv4 przez IPv6 RFC 7597/9, 2015 Do tego sama warstwa NAT: tablice sesji, przydział bloków portów, bramy aplikacyjne, failover, planowanie pojemności, potok logowania, a także ustawa o retencji łatająca przypisywalność, którą zniszczyła. Wdrożenie IPv6 Dual-stack Jedna rodzina adresów więcej, na protokole routingu i polityce firewalla, które już masz. Bez nowej warstwy na ścieżce ruchu. Bez stanu sesji do wymiarowania. Bez logów trzymanych dla ustawy. Za darmo z rejestru. Obie kolumny to praca inżynierska, a lewa jest większa. Różnica polega na tym, że pracę po lewej da się kupić od dostawcy, a pracę po prawej muszą zrozumieć ludzie, do których należy sieć. Dwie dekady pracy normalizacyjnej, sprzętu i logowania, a wszystko po to, żeby nie zrobić tego, co po prawej. Dual-stack to jedna rodzina adresów dodana obok tej, którą już masz. Wszystko po lewej istnieje, żeby tego uniknąć. Spójrz na kształt tego. Każda pozycja na liście jest trudniejsza niż dual-stack. Tunelowanie IPv4 wewnątrz IPv6 to ściśle więcej pracy niż routowanie IPv6, bo i tak musisz routować IPv6, żeby przenieść tunel. Tłumaczenie między rodzinami to więcej pracy niż brak tłumaczenia. Carrier-grade NAT to stanowe pudło w środku twojej sieci, z planowaniem pojemności, failoverem, tablicami sesji, przydziałem bloków portów, bramami warstwy aplikacji dla protokołów, które psuje, i potokiem logowania zwymiarowanym pod obowiązek prawny.\nDual-stack to rodzina adresów, protokół routingu, który już masz, i polityka firewalla, którą już napisałeś.\nBranża spojrzała na te dwie opcje i wybrała drogą, dwadzieścia lat z rzędu, bo drogą dało się kupić, a tanią trzeba było zrozumieć. Kupno pudła to ćwiczenie zakupowe. Włączenie IPv6 oznacza, że ktoś w budynku musi wiedzieć, jak działa sieć.\nCo to naprawdę psuje Dla każdego, kto myśli, że chodzi o estetykę, oto ile wspólny adres kosztuje twoich użytkowników, w kolejności, w jakiej będą do ciebie dzwonić.\nNic nie może wejść do środka. Brak przekierowania portów, więc nic nie postawisz u siebie, konsola nie będzie hostem gry, nie ma VPN site-to-site bez przekaźnika, nie ma kamery bez chmury producenta, nie ma zdalnego dostępu do sprzętu w drugiej lokalizacji. Każdą z tych rzeczy zastępuje zewnętrzna usługa pośrednicząca, czyli kolejna firma trzymająca twoje dane, bo twój dostawca nie chciał dać ci adresu.\nDziedziczysz reputację obcych. Dziel adres z kilkuset ludźmi, a dzielisz ich zachowanie. Limity, CAPTCHA, blokady Wikipedii, błędy geolokalizacji w streamingu i scoring oszustw spadają na ciebie za coś, co zrobił ktoś inny.\nPorty się kończą. Carrier-grade NAT ma 65 535 portów na publiczny adres na protokół, a jedna sesja nowoczesnej przeglądarki zjada ich dziesiątki. Przesubskrybuj, a awaria nie jest czystym błędem. To powolna, sporadyczna, nieodtwarzalna usterka, która wygląda jak wszystko oprócz tego, czym jest, i przepala dni pracy wsparcia na każdy incydent.\nKażde obejście trzeba utrzymywać wiecznie, przez ludzi, którzy mogliby ten czas poświęcić na naprawę.\nA potem jest to jedno, co przestało być niewygodą i stało się problemem wszystkich. Nikt nie potrafi powiedzieć, kto co zrobił.\nDoklejka, która dotarła do parlamentu Kiedy setki klientów dzielą jeden adres, adres przestaje kogokolwiek identyfikować. Policja nie może więc przełożyć adresu IP na osobę, a odpowiedzią na to nie było IPv6. Było ustawodawstwo.\nSekcja 21 Counter-Terrorism and Security Act 2015 zmieniła system retencji danych konkretnie po to, żeby Secretary of State mógł zmusić dostawców do przechowywania dodatkowych danych potrzebnych „to link the unique attributes of a public Internet Protocol (IP) address to the person (or device) using it at any given time.” Noty wyjaśniające mówią bez ogródek, dlaczego było to potrzebne: dostawcy „may share IP addresses between multiple users, and the providers generally have no business purpose for keeping a log of who used each address at a specific point in time.”\nPrzeczytaj to jak inżynier, nie jak prawnik. Branża zepsuła przypisywalność, żeby oszczędzić sobie trochę pracy, a parlament uchwalił ustawę zobowiązującą ją do zbudowania systemu logowania, który zaklei tę usterkę.\nDwa lata później Europol powiedział to wprost. W październiku 2017 roku opublikował wezwanie do branży, żeby przestała używać carrier-grade NAT, z liczbami: 90% dostawców mobilnego dostępu do internetu i 50% dostawców stacjonarnych przyjęło technologię, która uniemożliwiła im identyfikację własnych abonentów. Ówczesny dyrektor wykonawczy Europolu powiedział, że CGN „has created a serious online capability gap in law enforcement efforts to investigate and attribute crime”, i zauważył, że „forces judiciary and law enforcement authorities to investigate many more individuals than would normally be necessary.”\nEuropol powiedział też tę cichą część. Carrier-grade NAT „was supposed to be a temporary solution until the transition to IPv6 was completed”. Zamiast tego branża dalej zwiększała jego użycie, podczas gdy następca leżał obok, gotowy, darmowy i ignorowany.\nWięc koszt niewdrożenia IPv6 obejmuje: ustawę, ogólnokrajowy obowiązek retencji, niewinnych ludzi wciąganych w śledztwa, bo dzielili adres z kimś, kto niewinny nie był, oraz trwałą lukę w możliwościach, którą policja opisuje jako problem bezpieczeństwa publicznego.\nNikt nie wpisał tego do business case\u0026rsquo;u. Nigdy nie pojawia się to na slajdzie „IPv6 nie ma ROI”, bo nie płacą za to ci, którzy to spowodowali.\nNie tylko ukrywa przestępców. Pomaga im. Argument o przypisywalności to ten, który podnoszą organy ścigania, i dotyczy łapania ludzi po fakcie. Jest drugi argument, podnoszony dużo rzadziej i gorszy: dzielenie adresów aktywnie osłabia obronę, która w ogóle zapobiega atakom.\nTo nie moja analiza. IETF opublikowało katalog w RFC 6269, Issues with IP Address Sharing, w czerwcu 2011 roku. To było, zanim Wielka Brytania wdrożyła większość carrier-grade NAT, który dziś ma. Jego proste słowa: dzielenie adresów „creates a vector for attack amplification in numerous ways.”\nOto co ostrzegało, że się zepsuje, i się zepsuło.\nLimity i blokady przestają działać. Standardowa obrona przed zgadywaniem haseł i credential stuffingiem to liczenie nieudanych prób na adres i wsadzanie winowajcy do karnej ławki. Podziel ten adres między setki ludzi, a licznik mierzy tłum. RFC 6269 mówi bez ogródek, jak to się kończy: „In the presence of widespread large-scale address sharing, penalty box solutions to service abuse simply will not work.” Nieudane logowania jednego użytkownika blokują wszystkich pozostałych, więc operatorzy podnoszą progi, a podniesienie progów to dokładnie to, czego chciał atakujący.\nCzarne listy stają się szkodami ubocznymi. Zablokuj spamera, a blokujesz całą ulicę, na której mieszka. Więc rozsądny operator przestaje blokować, a nadużycia płyną dalej z adresu, którego nikt nie odważy się tknąć.\nZainfekowane maszyny pozostają zainfekowane. Zgłoszenia nadużyć i powiadomienia o malware przychodzą jako adres i znacznik czasu. Za CGN bez logowania portów dostawca nie potrafi powiedzieć, który z jego klientów uruchamia bota, więc klient nigdy się o tym nie dowiaduje, a infekcja trwa. Co gorsza, RFC 6269 opisuje problem odwrotny: „someone else\u0026rsquo;s worm can interfere with the ability to access the service for other subscribers sharing the same IP address.”\nKontrola dostępu oparta na adresie zawodzi. Każda lista dozwolonych zbudowana na adresie źródłowym wpuszcza teraz tłum, a nie klienta.\nA jedna obrona jest mierzalnie osłabiona, a nie tylko stępiona. Ślepe ataki na TCP polegają na zgadnięciu pięciokrotki, a branżowym środkiem zaradczym jest losowanie portu źródłowego (RFC 6056). Carrier-grade NAT daje każdemu abonentowi wycinek zakresu portów zamiast całości. Słowami RFC 6269: „with shared IPv4 addresses, the port selection space is reduced.” Obejście niedoboru adresów wyjmuje entropię wprost z mechanizmu przeciwdziałającego atakom.\nJest też część, która powinna niepokoić każdego, niezależnie od tego, co myśli o policji. Jeśli serwer nie logował portów źródłowych, a NAT nie logował celów, RFC 6269 wylicza, co musi zrobić dostawca, gdy przyjdzie zgodne z prawem żądanie: „would need to disclose the identity of all subscribers who had active sessions on the NAT during the time period in question. This may be a large number of subscribers.”\nAlternatywą dla zidentyfikowania jednego winnego abonenta jest przekazanie tożsamości kilkuset niewinnych. Taki jest rzeczywisty skutek dzielenia adresów dla prywatności, i jest odwrotny od tego, który przypisują mu jego obrońcy.\nTrzy rzeczy muszą się zgrać, a nikt nie musi zapewnić żadnej z nich Ludzie zakładają, że logi gdzieś istnieją i wystarczy poprosić. Przeważnie nie istnieją, a powodem jest arytmetyka, nie zła wola.\nŻeby zamienić wspólny adres z powrotem w gospodarstwo domowe, trzy osobne rzeczy muszą pójść dobrze:\nSerwer po drugiej stronie zalogował port źródłowy. RFC 6302 prosiło w 2011 roku serwery wystawione do internetu o logowanie portu źródłowego i znacznika czasu obok adresu. To zalecenie. Nikt go nie egzekwuje, a bardzo wiele serwerów nadal loguje sam adres. W tym momencie trop jest martwy, zanim dotrze do brytyjskiego końca. Dostawca zachował mapowanie. Każdej sesji, przez miesiące. Zegary się zgadzały. RFC 6269 ostrzega, że na obciążonym CGN „even very small amounts of clock skew between a third party\u0026rsquo;s server and the CGN operator will result in ambiguity about which customer was using a specific port at a given time.” Zabraknie którejkolwiek i nie masz nic. A środkowa to miejsce, gdzie wszystko się sypie, bo dokumenty normalizacyjne zawierają rachunki.\nRFC 7422 podało prawdziwe liczby. Operatorzy zgłaszali około 33 000 połączeń na gospodarstwo domowe dziennie. Przy około 150 bajtach na wpis w logu to 5 MB na abonenta dziennie, 150 MB miesięcznie. Dla dostawcy z milionem abonentów: 150 terabajtów logów miesięcznie, 1,8 petabajta rocznie, do przechowywania przez sześć do dwunastu miesięcy, jakich oczekuje prawo, i przeszukiwania na żądanie.\nI nigdy nie jest to jeden log. NAT444, przypadek, pod który RFC 7422 wymiaruje swoje wpisy, stawia jedno tłumaczenie w routerze klienta i drugie u operatora, a każda bramka, przez którą przechodzi pakiet, musi zapisać, co zrobiła. Odtworzenie jednej sesji oznacza korelowanie osobnych tablic, prowadzonych przez osobne strony, na tle opisanego wyżej problemu z zegarami. Dowody przychodzą w kawałkach z różnych systemów albo nie przychodzą wcale.\nA pieniądze to tylko połowa. Przechwytywanie rekordów sesji w tym tempie, wysyłanie ich gdzieś, indeksowanie, żeby zgodne z prawem żądanie wracało w godziny, a nie tygodnie, i trzymanie tego wszystkiego przez rok to projekt inżynierii danych. Nie ma do tego dashboardu i nie ma pudła do kupienia. Musi to zbudować ktoś, kto rozumie, co buduje, a to nie jest klikanie myszką, co w tej branży znaczy mniej więcej tyle, że nikt tego nie zbuduje.\nNikt też nigdy nie zamierzał za to płacić. I IETF o tym wiedziało, dlatego RFC 6888 mówi operatorom odwrotność tego, czego potrzebuje bezpieczeństwo publiczne: „A CGN\u0026rsquo;s port allocation scheme SHOULD minimize log volume”, z uzasadnieniem, że „huge log volumes can be problematic to CGN operators.” RFC 7422 istnieje wyłącznie po to, żeby obciąć ten rachunek.\nWięc zalecenie projektowe dla branży brzmi: loguj mniej, ekonomia mówi, że 1,8 petabajta rocznie jest nie do udźwignięcia, a oczekiwanie prawne to kompletny zapis. Nie może to być prawdą jednocześnie, a tym, co ustępuje, jest zapis.\nDlatego Europol stwierdził, że większość dostawców dostępu nie potrafi zidentyfikować abonenta, kiedy dostanie nakaz. Nie dlatego, że utrudniają. Dlatego, że to, o co się ich prosi, nigdy nie było ekonomicznie możliwe do przechowania, i nikt ich nigdy do tego nie zmusił.\nWynikają z tego dwie rzeczy, i są moje, a nie czyjś cytat.\nPo pierwsze: duża część brytyjskich połączeń internetowych jest nieprzypisywalna z samej konstrukcji. Najczystszy przypadek to sieć komórkowa, a niezależne pomiary dają tu więcej niż Europol, 95%. Więc anonimowość, która kiedyś wymagała Tora albo VPN-a, za którego ktoś musiał zapłacić, jest teraz ustawieniem fabrycznym brytyjskiego połączenia komórkowego, wydawanym za darmo z kartą SIM, wszystkim, łącznie z tą nieliczną grupą ludzi, których cały ten aparat ma znaleźć.\nPo drugie, i gorzej: zepsucie taniej, celowanej metody wytwarza popyt na drogą, niecelowaną. Kiedy możesz doręczyć nakaz dotyczący jednego adresu i dostać jedno gospodarstwo domowe, nie potrzebujesz niczego więcej. Kiedy to przestaje działać, państwo nie wzrusza ramionami. Sięga po coś szerszego. Tym właśnie była ustawa z 2015 roku: obowiązkiem retencji obejmującym całą bazę abonentów, żeby odpowiadać na pytania o garstkę ludzi.\nNic z tego nie istnieje po drugiej stronie. Nic nie jest tłumaczone, więc nie ma w ogóle rekordu na połączenie do przechowania. Adres w logu serwera po drugiej stronie to już prefiks abonenta: jeden rekord, zapisany raz przy uruchomieniu linii, w jednym systemie. Nawet dostawca rotujący prefiksy codziennie zapisuje kilkaset rocznie na klienta, wobec dwunastu milionów, które daje 33 000 połączeń dziennie. Nie chodzi o to, że IPv6 loguje mniej. Nie ma czego logować.\nLudzie, którzy napisali to obejście, wiedzieli o tym. W środku specyfikacji napisanej wyłącznie po to, żeby logowanie CGN było przystępne cenowo, zatrzymali się, żeby zapisać, że „native IPv6 will offer subscribers a better experience than CGN”.\nBranża odmówiła poświęcenia dwóch tygodni na sieć na darmowy protokół, a kraj dostał w zamian system retencji danych.\nCzy naprawienie tego chroniłoby dzieci lepiej niż Online Safety Act? Chcę tu być ostrożny, bo łatwo przedstawić ten argument źle, a źle przedstawiona wersja zasługuje na lanie, które by dostała.\nZacznij od tego, jak naprawdę przebiega śledztwo w sprawie wykorzystywania dzieci. Platforma wykrywa materiał i go zgłasza. Zgłoszenie zawiera adres i znacznik czasu. Policja zwraca się do dostawcy dostępu, żeby zamienić to na abonenta, a abonent to adres w realnym świecie, z drzwiami. To cały łańcuch, i każdy krok po nim zależy od poprzedniego.\nTeraz wstaw w środek carrier-grade NAT. Zgłoszenie nadal przychodzi. Adres nadal się rozwiązuje. Do kilkuset gospodarstw domowych, a Europol stwierdził, że śledztwa były w efekcie „dropped or delayed”. Wśród ich przykładów jest prokurator, który nie mógł zidentyfikować członków forum wspierającego ISIS, więc do oskarżenia nie doszło, oraz HMRC, które namierzyło masowe oszustwa podatkowe do adresów komórkowych i stwierdziło, że tropy były „frustrated from the outset”.\nCyberTipline NCMEC przyjęła 21,3 miliona zgłoszeń w 2025 roku i przekazała ponad 18,8 miliona organom ścigania, w tym ponad 53 000 dotyczących dziecka w bezpośrednim niebezpieczeństwie. NCMEC odnotowuje też, że ponad 10% zgłoszeń z branży przyszło z informacjami zbyt słabymi, żeby ustalić, do której jurysdykcji je wysłać. Ta liczba to nie sprawka CGNAT i nie twierdzę, że tak jest, ale mówi, w którym miejscu tego potoku sprawy umierają. Umierają na metadanych.\nWięc uczciwa wersja porównania brzmi tak. Carrier-grade NAT psuje ostatnią milę samego Online Safety Act. Parlament nałożył obowiązki wykrywania i zgłaszania, a sieć dostępową zostawił niezdolną do rozwiązania tego, co się zgłasza. Możesz uchwalić tyle obowiązków zgłaszania, ile chcesz. Jeśli ostatni krok zwraca tłum, zgłoszenie jest tylko papierem.\nA koszt obu rzeczy nie jest nawet porównywalny. Ustawa to największa regulacja internetu, jakiej ten kraj próbował: tysiące usług w zakresie, regulator piszący kodeksy latami, weryfikacja wieku na poziomie milionów sprawdzeń dziennie i problem z obchodzeniem tak duży, że w Izbie Lordów debatowano o używaniu VPN-ów. IPv6 nic nie kosztuje w rejestrze i kompetentnemu zespołowi zajmuje kilka tygodni. Jedno z nich wymagane jest od całej branży. O drugie nikt nigdy nikogo nie poprosił.\nTrzy rzeczy trzeba powiedzieć wprost, bo bez nich argument jest bezwartościowy.\nPo pierwsze. To nie jest zamiennik i nie proponuję go jako zamiennika. IPv6 nie powstrzyma dwunastolatka przed znalezieniem pornografii. Nic nie robi z systemami rekomendacji, autoodtwarzaniem ani transmisjami na żywo. Nic nie robi z materiałami hostowanymi w innym kraju, czyli z większością. To są problemy, dla których napisano ustawę, i żadna zmiana protokołu ich nie dotyka.\nPo drugie. IPv6 nie jest warstwą tożsamości, a każdy, kto je tak sprzedaje, przesadza. Rozszerzenia prywatności z założenia rotują adres urządzenia, więc adres maszyny nie jest rzeczą stałą. Stały jest prefiks delegowany na linię, /56, które Sky daje każdemu abonentowi od 2016 roku. To rozwiązuje się do abonenta, czyli dokładnie do takiej rozdzielczości, jakiej potrzebuje zgodne z prawem żądanie, i nic więcej. To przywrócenie tego, co kiedyś dawał pojedynczy adres IPv4 na linię, a nie nowa zdolność inwigilacji.\nPo trzecie. Właściwość, która frustruje policję, frustruje też każdego innego, kto cię śledzi, a niektórzy to cenią. Bycie jednym z pięciuset za wspólnym adresem to prawdziwa osłona tłumu przed komercyjnym profilowaniem. Nie sądzę, żeby była warta tego, ile kosztuje: to osłona kupiona za cenę nieprzypisywalnych nadużyć i bezużytecznych limitów, i taka, przez którą platformy i tak przeważnie widzą dzięki ciasteczkom i fingerprintingowi. Ale to prawdziwy argument i zasługuje na wypowiedzenie, a nie na pominięcie.\nWięc nie, to nie jest IPv6 zamiast Online Safety Act. Chodzi o to, że Wielka Brytania napisała najdroższą ustawę o bezpieczeństwie w sieci w swojej historii na hydraulice, o której wiedziała, że jest zepsuta, kiedy naprawa była darmowa, dobrze udokumentowana i dostępna przez cały czas, gdy pisano projekt ustawy.\nO co naprawdę prosić Nie o zakaz. Zakaz to złe narzędzie i obróciłby się przeciwko nam.\nNie ma już IPv4 do rozdania: RIPE jest puste od listopada 2019 roku, a nowy dostawca dostaje pojedyncze /24 z listy oczekujących. Zakaż dzielenia adresów od jutra, a mały operator w ogóle nie podłączy klientów, podczas gdy ci, którzy siedzą na blokach klasy B z 1990 roku, będą działać dalej nietknięci. Okopałoby to dokładnie tych ludzi, o których jest ten wpis.\nLepsze narzędzie już istnieje i ktoś już przeprowadził ten eksperyment.\nW 2012 roku belgijska policja federalna, regulator telekomunikacyjny, Rada Prokuratorów Generalnych i stowarzyszenie dostawców internetu podpisały dwustronicowy dobrowolny kodeks postępowania. Maksymalnie 16 abonentów za jednym adresem IPv4. Ograniczyć użycie CGN. Zacząć wdrażać IPv6.\nDo 2017 roku większość belgijskich operatorów mieściła się w limicie, jeden zszedł do 8, a belgijska policja widziała średnio czterech użytkowników na adres komórkowy. Własne podsumowanie Europolu, dlaczego tak się stało, to część warta przeczytania dwa razy: najwięksi dostawcy „are quickly moving towards IPv6 because no financial interest to invest in CGN anymore.” Ogranicz przesubskrypcję, a ekonomia obejścia się wali, bo NAT, który może upchnąć tylko szesnaście osób, nie jest tańszy od protokołu, który nie potrzebuje żadnego.\nW tamtym roku Belgia miała najwyższy na świecie poziom wdrożenia IPv6, 49%, kiedy Wielka Brytania i Francja były na 14%, a Hiszpania i Włochy poniżej 1%. Belgia nadal jest trzecia w tabeli krajów wyżej, z 72,8%.\nO to właśnie chodzi. Nie „nie wolno ci dzielić adresów”, tylko nie wolno ci sprzedawać połączenia, które jest jednocześnie nieprzypisywalne i pozbawione IPv6. Wspólne adresowanie obok działającego IPv6 jest w porządku. Tak działa każda sieć komórkowa na świecie. Wspólne adresowanie bez IPv6 to sprzedawanie zepsutej usługi i obciążanie społeczeństwa jej skutkami.\nSky udowodniło, że się da, jedenaście lat temu Gdyby to było naprawdę trudne, nikomu w Wielkiej Brytanii by się nie udało.\nSky zaczęło wewnętrzny projekt IPv6 na początku 2013 roku i skończyło w 2016 roku, a około 90% jego bazy stacjonarnej, mniej więcej pięć milionów użytkowników, dostało IPv6 i z niego korzystało. Ich inżynier opisał całość na RIPE Labs: 6PE w rdzeniu MPLS, peering i tranzyt w dual-stacku, atrybuty RADIUS włączające je dla każdego abonenta, prace nad firmware siedmiu modeli CPE, w tym pięciu starszych, oraz rozbudowa pojemności RADIUS i DNS.\nTrzy lata, jeden dostawca i ta sama miedź Openreach, na której sprzedawali wszyscy inni. ISPreview opisało zakończenie we wrześniu 2016 roku, kiedy Sky spodziewało się 95% bazy do końca roku, a Sky dostało za to Jim Bound IPv6 Award.\nIch rada brzmiała: „Do not underestimate the work required to enable IPv6, and do not leave it to the last minute to begin the journey.”\nJedenaście lat później większość branży nadal jest na ostatniej chwili i traktuje ją jak miejsce zamieszkania.\nWszyscy mają adresy od lat Sky było pierwsze wśród dużych dostawców. W kraju nie było nawet blisko pierwsze, i ani jeden dostawca z tej listy nie może powiedzieć, że czekał na rejestr.\nRIPE wbija datę przydziału w nazwę bloku, więc każdy możesz sprawdzić sam:\nwhois -h whois.ripe.net 2a01:4b00::/32 | grep -E \u0026#39;netname|^org:\u0026#39; # netname: UK-BCUBE-20110225 -\u0026gt; Hyperoptic, allocated 25 February 2011 Każda data poniżej pochodzi z takiego zapytania o własny przydział dostawcy, sprawdzonego krzyżowo z plikiem delegacji. Duzi dostawcy są pogrubieni, reszta to budowniczowie sieci światłowodowych. To, czy klienci naprawdę dostają IPv6, pochodzi z ankiety ISPreview zaktualizowanej w marcu 2025 roku, a dla sieci komórkowych z trackera mobilnego.\nJak długo każdy brytyjski dostawca ma IPv6 i czy klienci je dostają Jak długo każdy brytyjski dostawca ma IPv6 i czy klienci naprawdę je dostają Daty przydziałów z pliku delegacji RIPE i znaczników w netname. Czy trafia do klientów: ISPreview, marzec 2025, oraz społecznościowy tracker sieci komórkowych. klienci je dostają częściowo: tylko jedna sieć nadal go nie daje (17 z 40) 2002 2002 2006 2006 2010 2010 2014 2014 2018 2018 2022 2022 2026 2026 TalkTalk (jako Opal Telecom) Andrews \u0026amp; Arnold Vodafone UK EE (jako T-Mobile) Sky Gigaclear O2 (Telefónica UK) BT Virgin Media (jako NTL) KCOM Hyperoptic (jako Bcube) Zen Internet B4RN Trooli (jako Call Flow) Exascale Three UK Community Fibre Ogi (jako NetSupport) WightFibre Truespeed Airband G.Network Wessex Internet Quickline FibreNest Wildanet Fibrus (jako B4B Networks) Zzoomm GoFibre (jako Borderlink) Toob Netomnia / YouFibre Pine Media BeFibre Squirrel Internet brsk Lit Fibre (jako Broadreach) iDNET * Grain Hey! Broadband Octaplus Każdy z czterdziestu ma przestrzeń IPv6 od co najmniej trzech lat, a większość od ponad dekady. 17 z nich nadal nie daje jej żadnemu klientowi. Czterdziestu brytyjskich dostawców w kolejności daty, w której rejestr dał im IPv6. Każdy słupek biegnie od tego przydziału do dziś. Niebieskie słupki dają je klientom, różowe nigdy tego nie zrobiły. Czterdziestu dostawców. Każdy ma przestrzeń adresową IPv6 od co najmniej trzech lat, większość od ponad dekady, a siedemnastu z nich nadal nie daje jej żadnemu klientowi.\nHyperoptic trzyma 2a01:4b00::/32 od lutego 2011 roku. Piętnaście lat wprowadzania światłowodu do bloków mieszkalnych, sprzedawania połączeń gigabitowych i stawiania ludzi za carrier-grade NAT z nieużywanym przydziałem IPv6 w księgach. Trooli ma swój od trzynastu lat. Truespeed i Airband od dziesięciu.\nAndrews \u0026amp; Arnold to ten, z którym trzeba porównywać resztę. Mały dostawca z Bracknell z ułamkiem klientów i inżynierów kogokolwiek innego z tej listy, dający IPv6 na każdej linii od 2002 roku i jeden z organizatorów 6UK. TalkTalk wziął swój przydział trzy miesiące wcześniej i nadal nie daje go klientom indywidualnym.\nVirgin Media wzięło swój blok trzy tygodnie przed Zen. Zen je wdrożył, a ja siedzę na końcu jednego z ich /48 od tamtej pory. Virgin nadal mówi „kiedy będziemy gotowi”.\nI spójrz na dół tabeli. Squirrel, brsk, Lit Fibre i Octaplus dostały przydziały w ostatnich sześciu latach i wszystkie dają IPv6, a dostawcy z przestrzenią od 2011 roku nie. Późny start nie jest przeszkodą. Przeszkodą jest brak startu.\nDwóch nazw z tej ankiety nie ma na wykresie, a powód jest dla obu ten sam. Cuckoo to marka detaliczna kupująca hurtowy dostęp przez Openreach, CityFibre i innych, a Freedom Fibre to sieć hurtowa, której klienci przychodzą przez partnerów detalicznych. Żadna z nich nie ma własnej przestrzeni adresowej, więc IPv6 to decyzja, którą podejmuje za nie ktoś inny. iDNET jest oznaczony gwiazdką, bo ma przydział provider-independent, a nie własną alokację.\nTen, który rozstrzyga sprawę Jeśli chcesz sprowadzić argument do jednej firmy, to jest nią Plusnet.\nBT kupiło Plusnet w styczniu 2007 roku. Plusnet siedzi na własnym koncie RIPE British Telecommunications, więc ma dostęp do przydziału IPv6 BT od czerwca 2010 roku. BT daje IPv6. EE, druga siostrzana firma, daje IPv6. ISPreview zauważyło, że BT i Plusnet używają nawet niemal identycznych routerów klienckich, nazywając tę lukę „somewhat of a peculiarity”.\nPlusnet testował IPv6 w 2011 roku i publicznie wzywał resztę branży, żeby się za to wzięła. W 2019 roku zapowiedział uruchomienie wiosną 2020 roku. W 2021 roku spodziewał się „to make good progress over the coming year”. W listopadzie 2023 roku przeprowadził trzymiesięczny test w dwóch lokalizacjach, w Chesterfield i Sheffield, z udziałem około dwudziestu pracowników i życzliwych klientów.\nW kwietniu 2026 roku jego własne forum klientów nadal pytało, co się stało z IPv6.\nJedna spółka matka. Jeden przydział adresów. Niemal identyczny sprzęt. Inżynierowie pracujący dla tej samej grupy, którzy mogą przejść korytarzem do ludzi, którzy już to zrobili. Trzy marki, a jedna z nich nie daje rady w piętnaście lat zrobić tego, co pozostałe dwie skończyły.\nCokolwiek to blokuje, to nie technologia, nie pieniądze, nie sprzęt i nie przestrzeń adresowa. To ktoś, kto uznaje, że w tym kwartale to nie jego problem, piętnaście lat z rzędu.\nVirgin Media, szesnaście lat „kiedy będziemy gotowi” Drugi koniec skali zasługuje na wymienienie z nazwy, bo jego oś czasu jest publicznie udokumentowana i jest niezwykła.\nMarzec 2010: klient pyta na własnym forum Virgin Media, kiedy będzie IPv6. Odpowiedź brzmi „when we are ready”.\nListopad 2016: Virgin mówi ISPreview, że planuje wdrożyć IPv6 do połowy 2017 roku. Nie wdraża.\nCzerwiec 2018: zgłoszono test dla klientów indywidualnych. Grudzień 2018: trzecia prezentacja dla UK IPv6 Council, z sugestią, że w 2019 roku.\n2021: oświadczenie, że „continuing to plan our IPV6 deployment having tested several solutions and intend to introduce IPV6 for our customers in future.”\nLuty 2024: Virgin Media blokuje czternastoletni wątek na forum.\nSierpień 2026: nadal nic.\nSzesnaście lat. W tym czasie firmę kupiono, połączono z O2, dwa razy przebudowała rdzeń i wymieniła całą flotę routerów. Ani razu nikt nie dodał rodziny adresów. Zablokowanie wątku to najuczciwsza rzecz na tej liście. To moment, w którym przestali udawać i zaczęli zarządzać skargą zamiast problemem.\nAltneci nie mieli żadnej wymówki Budowniczowie sieci światłowodowych byli szansą na czysty start. Nowe sieci, nowy sprzęt, żadnego dziedzictwa, inżynierowie zatrudnieni w tej dekadzie. Spójrz, gdzie są w tabeli przydziałów: większość wzięła przestrzeń adresową i na tym poprzestała.\nWięc firma, która zebrała pieniądze od inwestorów instytucjonalnych na zbudowanie zupełnie nowej sieci światłowodowej, rozkopała drogi, wdmuchnęła światłowód do stu tysięcy domów, kupiła nowe routery, napisała nowy stos provisioningu. I postawiła klientów za wspólnym adresem w sieci bez IPv6, w 2026 roku, z przestrzenią adresową leżącą już na jej własnym koncie w rejestrze.\nA potem kilka z nich pobiera £5 miesięcznie za statyczny publiczny IPv4.\nZabrali działającą rzecz, odmówili dania darmowego zamiennika, a wynikłą usterkę zamienili w pozycję na twoim rachunku. Jest słowo na model biznesowy, który fabrykuje usterkę, a potem sprzedaje naprawę, i nie jest to „innowacja”.\nStrony internetowe zdradzają, o co chodzi Tablica routingu pokazuje, co robią sieci. DNS pokazuje, co robią wszyscy pozostali. Więc 27 sierpnia 2026 roku wpisałem do pliku pięćdziesiąt najbardziej znanych brytyjskich stron, administrację centralną, banki, dużych detalistów, telekomy, transport i kilka uniwersytetów, i zapytałem każdą, czy odpowiada przez IPv6:\nwhile read -r d; do n=$(dig +short AAAA \u0026#34;$d\u0026#34; | grep -c \u0026#39;:\u0026#39;) printf \u0026#39;%-46s %s\\n\u0026#39; \u0026#34;$d\u0026#34; \u0026#34;$([ \u0026#34;$n\u0026#34; -gt 0 ] \u0026amp;\u0026amp; echo AAAA || echo none)\u0026#34; done \u0026lt; sites.txt | sort -k2 Potem sprawdziłem każdą odpowiedź na drugim resolwerze, bo jeden serwer rekurencyjny w złym dniu to nie jest wynik:\ndig @1.1.1.1 +short AAAA www.tesco.com | grep -c \u0026#39;:\u0026#39; Siedemnaście z pięćdziesięciu miało rekord AAAA. Trzydzieści trzy nie miały, a oba resolwery zgodziły się co do każdej.\nTe bez IPv6 to między innymi www.bbc.co.uk, www.nhs.uk, www.hmrc.gov.uk, www.hsbc.co.uk, www.barclays.co.uk, www.lloydsbank.com, www.santander.co.uk, www.tesco.com, www.johnlewis.com, www.marksandspencer.com, www.britishairways.com, tfl.gov.uk, monzo.com, bank założony w 2015 roku, bez żadnego dziedzictwa, i mój ulubiony, www.sky.com.\nSky. Firma, która dała IPv6 pięciu milionom klientów i dostała za to nagrodę. Jej własna strona nie odpowiada przez IPv6.\nA teraz kawałek, który dowodzi tezy ponad wszelką dyskusję.\nPiętnaście z siedemnastu, które mają IPv6, dostało je od dostawcy, a nie od siebie. Rozwiązałem każdą i sprawdziłem, do kogo należy adres, który odpowiedział:\nwhois -h whois.radb.net -- \u0026#34;$(dig +short AAAA www.sainsburys.co.uk | grep \u0026#39;:\u0026#39; | head -1)\u0026#34; | grep -i descr www.gov.uk i www.cam.ac.uk odpowiadają z Fastly. ico.org.uk, www.parliament.uk, www.ofcom.org.uk, www.asda.com, www.autotrader.co.uk, www.nationalrail.co.uk i www.jisc.ac.uk odpowiadają z Cloudflare, które domyślnie włącza IPv6 wszystkim. natwest.com i nationwide.co.uk odpowiadają z Azure Front Door. www.legalandgeneral.com i www.screwfix.com odpowiadają z CloudFront. www.sainsburys.co.uk i www.next.co.uk odpowiadają z Akamai.\nDwie zrobiły to same: Imperial College London, odpowiadający z własnej przestrzeni adresowej, i własna strona UK IPv6 Council. Uniwersytet i ludzie, których jedynym celem istnienia jest IPv6. To cała lista.\nA www.tesco.com, www.sky.com i www.nhs.uk też siedzą na Akamai, tym samym CDN, tym samym produkcie, i nie mają w ogóle IPv6.\nAkamai mówi o tym jasno od czerwca 2022 roku: „Akamai has enabled IPv4+IPv6 dual-stack as the default for our CDN delivery products for many years, meaning that customers have needed to opt-out for content to be IPv4-only.” Dodali, że zmiana jest łatwa, także przez API.\nTen sam dostawca. Ta sama platforma. Domyślnie włączone. Jedna organizacja zostawiła to w spokoju, a druga weszła i to wyłączyła, albo trzyma prastarą konfigurację, której nikt od lat nie czytał. Sainsbury\u0026rsquo;s ma IPv6, a Tesco nie, i różnica między nimi to jedna flaga konfiguracyjna i czyjaś uwaga.\nPo tym nie zostaje żaden argument o kosztach ani o złożoności. Zostaje tylko pytanie, czy ktokolwiek uważał.\nW całej próbce reguła się trzyma: tam, gdzie IPv6 przychodzi jako domyślne ustawienie dostawcy, Wielka Brytania je ma. Tam, gdzie brytyjska organizacja musiałaby coś zdecydować, nie ma. Dwie strony z pięćdziesięciu, a jedną z nich była IPv6 Council.\nI tu dochodzimy do branży usług zarządzanych Konsumenccy dostawcy obrywają za CGNAT i zasłużyli na to. Ale warstwa, która wyrządza najwięcej szkód, to ta, która sprzedaje fachowość: dostawcy usług zarządzanych, integratorzy, zewnętrzne zespoły sieciowe, firmy doradcze, które piszą projekt szczegółowy.\nWróć do listy największych brytyjskich sieci bez IPv6: banki, British Airways, PwC, QinetiQ. To nie są zadziorne startupy. To organizacje, które płacą mnóstwo pieniędzy komuś innemu za prowadzenie swojej sieci albo zatrudniają duży zespół, żeby prowadzić ją samemu. Za każdym z tych numerów AS stoi dokument projektowy, proces zmian, rada przeglądu architektury i dostawca ze słowem „network” w nazwie. Żaden z nich nie wyprodukował planu IPv6.\nWzorzec jest ten sam, gdziekolwiek spojrzysz:\nSzablon to IPv4. Standard budowy, zestaw reguł firewalla, kontrole monitoringu, IPAM, runbook, plan DR, pakiet przekazania dla klienta: wszystko IPv4, napisane raz, klonowane przez dekadę. Dodanie rodziny adresów oznacza edycję tego wszystkiego, a nikt nie dostaje pieniędzy za edycję.\nNikt o to nie prosił. To zdanie kończy każdą rozmowę o IPv6 w tej branży i jest przyznaniem się do winy. O TLS 1.3 też nikt nie prosił. Nikt cię nie prosił, żebyś przestał używać SMBv1. Klienci kupują efekt i płacą ci za to, żebyś wiedział, czego ten efekt wymaga. „Klient nie prosił” znaczy „nie chcę się tego uczyć, a oni nie potrafią tego ocenić”.\nRFC 1918 wydaje się nieskończone. Dziesiątka to 16,7 miliona adresów, więc sieć wewnętrzna nigdy nie wydaje się ciasna, więc nigdy nie ma zdarzenia, które by wymusiło zmianę. Potem przychodzi fuzja, oba środowiska są na 10.0.0.0/8, a odpowiedzią jest kolejna dekada NAT-u nakładających się podsieci i dokument wyjaśniający, który fałszywy adres oznacza który prawdziwy: znowu więcej maszynerii, żeby uniknąć rodziny adresów, przy której nie byłoby problemu.\nIPv6 obnaża kompetencje. To jest ten prawdziwy powód. Dual-stack nie pozwala się schować.\nMusisz wiedzieć, jaka naprawdę jest twoja polityka firewalla, bo musisz napisać ją dwa razy. Musisz wiedzieć, jak wygląda twój DNS. Musisz rozumieć neighbour discovery, delegowanie prefiksów i to, co twój CPE robi z /56.\nInżynier, który radził sobie dzięki NAT-owi jako przypadkowemu zabezpieczeniu, dowiaduje się, na oczach innych, że nigdy nim nie był. W tej branży są dwudziestoletnie kariery zbudowane na tym jednym nieporozumieniu.\nWięc nikt tego nie proponuje. Nie dlatego, że kosztuje, bo nie kosztuje, tylko dlatego, że zaproponować to znaczy wziąć za to odpowiedzialność, a wziąć odpowiedzialność znaczy się tego nauczyć.\nTo mam na myśli, mówiąc o skrajnym lenistwie. Nie lenistwo w sensie niepracowania. Ta branża pracuje niezwykle ciężko. Pracuje ciężko nad carrier-grade NAT i nad tłumaczeniem klientowi, dlaczego jego kamery nie łączą się już z zewnątrz. Zrobi dowolną ilość pracy, byle była to praca, którą da się kupić, a nie taka, którą trzeba zrozumieć.\nI to wkrótce przestanie być kwestią gustu. Cyber Security and Resilience Bill, który przechodzi teraz przez parlament, zmieniłby NIS Regulations tak, żeby objąć między innymi „managed service providers (organisations that provide third-party IT services to other businesses)”. To jeszcze nie jest prawo. Kiedy będzie, wykrywanie, logowanie i zgłaszanie incydentów przestaną być liniami produktów, które ta warstwa sprzedaje, a staną się obowiązkami, które musi wypełniać.\nPostaw to obok łańcucha opisanego wyżej. Rozwiązanie każdego zgłoszenia nadużycia zaczyna się od tego, że serwer po drugiej stronie zalogował port źródłowy, a ten serwer to bardzo często pudło jednej z tych firm. Ludzie, którzy wkrótce będą musieli udowodnić, że potrafią wykryć i zgłosić incydent, to ci sami ludzie, których obecnie nie da się nakłonić do włączenia rodziny adresów ani do przeczytania przechwytu pakietów, kiedy tunel nie chce się zestawić.\nTrzy wymówki Za każdym razem usłyszysz te same trzy i żadna nie wytrzymuje minuty.\n„Dual-stack to wszystko w dwóch egzemplarzach.” Prowadziłem go produkcyjnie w Nominet, na load balancerach F5 przed rejestrem .uk, więc wiem, ile ten zarzut jest wart. Warstwa NAT, którą kupiłeś zamiast tego, też jest, a ona siedzi na ścieżce ruchu z tablicą sesji, modelem pojemności, scenariuszem failoveru i obowiązkiem logowania. Nigdy nie wybierałeś między złożonością a prostotą. Wybrałeś złożoność, która przyszła z fakturą.\n„Sprzęt tego nie obsługuje.” W 2006 roku, niech będzie. W 2026 roku znaczy to, że twój sprzęt jest bez wsparcia, a to gorsza rzecz do przyznania niż ta, której próbowałeś uniknąć.\n„Nie ma na tym przychodu.” Na kopiach zapasowych też nie ma.\nCo ludzie wypisują Wymówki powyżej to to, co słyszysz na spotkaniu. Pod nimi leży warstwa technicznych twierdzeń, powtarzanych w wątkach na forach, w komentarzach i w odpowiedziach na LinkedInie za każdym razem, gdy pojawia się IPv6, a większość z nich jest błędna od ponad dekady.\nCzęść z tego to uczciwe nieporozumienie, a część to ktoś, kto postanowił czegoś się nie uczyć i sięga po powód. Tak czy inaczej warto przez to przejść, bo te twierdzenia wykonują realną robotę. To je inżynier powtarza kierownikowi, który nie potrafi ich sprawdzić.\n„NAT to mój firewall. IPv6 wystawia każde urządzenie prosto do internetu.”\nTo ten największy i jest postawiony na głowie. Ochrona, którą ludzie przypisują NAT-owi, bierze się z tego, że nie ma mapowania, dopóki coś w środku o nie nie poprosi, a to jest stanowy firewall i to firewall wykonuje pracę, a nie translacja. IETF powiedziało to w RFC 4864 w 2007 roku: ta rola, „often marketed as a firewall, is really an arbitrary artifact”, podczas gdy prawdziwy firewall daje ci „explicit and more comprehensive management controls.”\nKażdy konsumencki router IPv6 przychodzi z domyślnym odrzucaniem ruchu przychodzącego. Masz tę samą postawę, z polityki, którą ktoś zapisał, a nie z efektu ubocznego tego, że skończyły się adresy. I możesz wtedy dopuścić dokładnie tę jedną rzecz, którą chciałeś dopuścić, zamiast seansu spirytystycznego z przekierowaniem portów.\nJeśli cały twój model bezpieczeństwa to „atakujący nie znajdą moich urządzeń”, to nie miałeś modelu bezpieczeństwa. Miałeś NAT.\n„IPv6 jest wolniejsze.”\nTen zasługuje na uczciwą odpowiedź, a nie na zbycie, bo prawda jest mieszana, a ludzie, którzy to mówią, nie mylą się po prostu.\nDostawcy treści, którzy pod to optymalizowali, mierzą zyski: Facebook podawał ładowanie stron o około 15% szybsze przez IPv6, Akamai około 5% na urządzeniach mobilnych. Szerszy pomiar całego internetu przez APNIC jest mniej pochlebny i pokazuje czasy odpowiedzi IPv6 średnio minimalnie wyższe, rzędu milisekundy, i poprawiające się z czasem.\nCzyli: z grubsza remis, lepiej tam, gdzie ktoś wykonał pracę, czasem odrobinę gorzej tam, gdzie nikt jej nie wykonał.\nWarto wiedzieć, gdzie naprawdę leży koszt, bo ludzie wyobrażają sobie nagłówek, a nagłówek nie jest problemem.\nNagłówki IPv4 i IPv6 i ile każdy kosztuje router Dwa nagłówki i ile każdy z nich kosztuje router Pola w skali na 32 bitach. Źródła: RFC 791 (IPv4) i RFC 8200 (IPv6). praca routera na każdym przeskoku szerszy klucz wyszukiwania IPv4 20 bajtów, do 60 z opcjami 031 Version IHL Type of Service Total Length Identification Flags Fragment Offset Time to Live Protocol Header Checksum Source Address Destination Address Options: zmienna długość, od 0 do 40 bajtów więcej IPv6 40 bajtów, stałe. Zawsze. 031 Version Traffic Class Flow Label Payload Length Next Header Hop Limit Source Address (128 bits) Destination Address (128 bits) IPv4 każe routerowi\u0026#160;przeliczać sumę kontrolną co przeskok, czytać długość, zanim pozna początek ładunku, i fragmentować. IPv6 usuwa wszystkie trzy, ale każe dopasowywać\u0026#160;klucz cztery razy szerszy. Oba nagłówki obok siebie, pola narysowane w skali na 32 bitach. Na pomarańczowo praca, którą router musi wykonać na każdym przeskoku, na niebiesko szerszy klucz wyszukiwania. Zacznij od tego, co IPv6 zdjęło z routera. IPv4 niesie sumę kontrolną nagłówka. Time to Live zmienia się na każdym przeskoku, więc suma kontrolna musi zmieniać się razem z nim, a RFC 6583 wymienia „verifying and updating the checksum” jako krok samego procesu przekazywania. IPv6 nie ma jej wcale. Ten krok po prostu znika.\nPotem długość. Nagłówek IPv4 ma zmienną długość, po to jest IHL: router odczytuje długość, zanim wie, gdzie zaczyna się ładunek. Nagłówek IPv6 ma 40 bajtów. Zawsze. Każde pole leży pod stałym przesunięciem i nic nie trzeba najpierw wyliczać.\nPotem fragmentacja. Routery IPv4 mogą fragmentować w locie, i dlatego Identification, Flags i Fragment Offset w ogóle siedzą w nagłówku. RFC 8200 mówi to bez ogródek: „fragmentation in IPv6 is performed only by source nodes, not by routers along a packet\u0026rsquo;s delivery path”. Więc ta ścieżka też znika.\nPod względem samej obsługi nagłówka IPv6 jest tańszym protokołem do przekazywania. Zbudowano go w tym celu.\nJedyne miejsce, gdzie kosztuje więcej, to pojedyncza trasa, a to okazuje się bez znaczenia. Klucz wyszukiwania urósł z 32 bitów do 128, więc wpis przekazywania IPv6 jest szerszy i na wielu urządzeniach zajmuje dwa sprzętowe sloty tam, gdzie trasa IPv4 zajmuje jeden. Wszyscy kończą argument w tym miejscu. Warto zrobić jeszcze jeden krok, bo pełna tablica jest cztery razy mniejsza.\nW zrzucie RIS wygenerowanym o 02:03 UTC 28 sierpnia 2026 roku było 1 229 166 prefiksów IPv4 w globalnej tablicy routingu i 300 470 prefiksów IPv6. Cztery razy więcej tras IPv4, każda o ćwierć szerokości. Więc surowe miejsce na klucze wychodzi na idealny remis: 4,92 MB wobec 4,81 MB. Teraz zastosuj regułę dwóch slotów na trasę IPv6, którą ludzie się martwią. Pełna tablica IPv6 nadal potrzebuje mniej więcej połowy wpisów sprzętowych pełnej tablicy IPv4.\nA powodem, dla którego tablica IPv4 jest tak duża, jest sam niedobór. 767 543 z tych 1,2 miliona tras to /24, czyli 62% całego internetu IPv4 siedzi na najdłuższym prefiksie, jaki ktokolwiek zaakceptuje, bo bloki pocięto, wyprzedano i ogłoszono w kawałkach przez tych, którzy je kupili. Każdy z nich to gdzieś router trzymający wpis, którego nie potrzebowałby, gdyby przestrzeń się nie skończyła.\nTablica routingu IPv4 jest cztery razy większa niż IPv6 Tablica IPv4 jest cztery razy większa, a większość z tego to niedobór Unikalne prefiksy w globalnej tablicy routingu, zrzut RIPE RIS z 02:03 UTC, 28 sierpnia 2026. IPv4klucz 32-bitowy 767 543 z nich to /24 1 229 166 IPv6klucz 128-bitowy 300 470 Cztery razy więcej tras IPv4, każda o ćwierć szerokości, więc surowe miejsce na klucze to remis: 4,92 MB wobec 4,81 MB. Policz trasę IPv6 jako dwa wpisy sprzętowe, jak się ludzie obawiają, a pełna tablica IPv6 nadal potrzebuje około połowy. 62% tablicy IPv4 to /24\u0026#160;czyli bloki pocięte, wyprzedane i ogłaszane w kawałkach, bo przestrzeń się skończyła. Każdy to wpis, którego router by nie trzymał, gdyby się nie skończyła. Unikalne prefiksy w globalnej tablicy routingu 28 sierpnia 2026 roku, policzone ze zrzutu RIPE RIS. Pełna część słupka IPv4 to /24: deagregacja wymuszona niedoborem adresów. Więc argument o pamięci działa odwrotnie, niż opowiada się go na spotkaniach. Przenoszenie IPv6 jest dla twojego FIB tańsze niż przenoszenie IPv4 i tanieje z każdym rokiem, w którym rynek transferów tnie kolejne /16 na szesnaście /24.\nA skoki CPU, na które ludzie naprawdę trafiają, to żadne z powyższych. Nowoczesny router przekazuje obie rodziny w krzemie z prędkością łącza. Boli wszystko, co spycha pakiet z tej ścieżki do płaszczyzny sterowania, którą RFC 6583 nazywa „a \u0026lsquo;slower\u0026rsquo; software process running on a general purpose processor”. Ten procesor zwymiarowano pod protokoły routingu. Nigdy pod ruch.\nPakiety spychają na niego dwie rzeczy. Pierwsza to nagłówki rozszerzeń. To łańcuch, a nie stały blok, więc urządzenie, które chce portów warstwy 4 do ACL albo do hasha ECMP, musi przejść listę zmiennej długości, żeby je znaleźć, a nagłówek Hop-by-Hop Options „may be examined or processed by any node along a packet\u0026rsquo;s delivery path”. Na mnóstwie sprzętu znaczy to przerzucenie do procesora.\nDruga to Neighbour Discovery. /64 obejmuje biliony adresów, które nigdy nie zostaną przydzielone, więc skanowanie go zmusza router do rozwiązywania adresów, które nie istnieją. RFC 6583 istnieje właśnie po to i nazywa to odmową usługi.\nObie mają znane rozwiązania. Filtruj Hop-by-Hop na brzegu, ogranicz tempo ND, ogranicz rozmiar pamięci podręcznej sąsiadów. Żadne z nich nie jest powodem, dla którego protokół jest wolny. To powody, dla których nieskonfigurowany router jest wolny, a to wskazuje tam, gdzie wskazuje cała reszta tego wpisu.\nTeraz zważ milisekundę wobec alternatywy, którą naprawdę wdrożyłeś: stanowego pudła translacyjnego na ścieżce każdego połączenia, trzymającego tablicę sesji, które część z nich po prostu psuje. Nikt nie stał w miejscu przez dwadzieścia lat z powodu milisekundy.\n„IPv4 jest pełno, można je po prostu kupić.”\nMożna. Tak właśnie wygląda niedobór. Bloki rozdane za nic w 1990 roku zmieniają teraz właściciela po około $20 za adres, a AWS liczy $43,80 rocznie za każdy, którego używasz.\nRynek na jakąś rzecz nie dowodzi, że jest jej pełno. Dowodzi, że ktoś wymyślił, jak skasować cię za niedobór.\nNikt nigdy nie zamierzał ich zmusić Wielka Brytania nie ma w tej sprawie żadnej polityki i nigdy nie miała.\nByła jedna próba. 6UK powstało w 2010 roku z £20 000 kapitału początkowego od Department for Business, Innovation and Skills, przy poparciu Vinta Cerfa, z LINX, AAISP, Timico i Easynet za plecami. W grudniu 2012 roku jego dyrektorzy wolontariusze zrezygnowali na walnym zgromadzeniu, nikt nie kandydował do zarządu i organizację zlikwidowano. Jej werdykt na pożegnanie: bodźce wolnorynkowe są niewystarczające, „one factor appears to dominate IPv6 adoption rates, namely government support”, a „countries with hands-off governments fall behind.”\nCzternaście lat później stało się dokładnie to. UK IPv6 Council nadal działa, ale forum to nie dźwignia.\nPorównaj ze Stanami Zjednoczonymi, gdzie memorandum OMB M-21-07 wymagało, żeby 80% federalnych zasobów z adresami IP było wyłącznie na IPv6 do końca roku budżetowego 2025. Agencje nie zdążyły. Ale miały liczbę, której nie osiągnęły, datę, do której jej nie osiągnęły, i kogoś, kto musi wstać i wytłumaczyć porażkę. Tutaj nie ma czego nie osiągnąć, więc nikt nigdy nie musiał niczego tłumaczyć.\nBrytyjski rząd nie wymaga IPv6 we własnych zamówieniach w żaden znaczący sposób. Ofcom go nie mierzy. Żaden regulator o nie nie pyta. I tak, jak można było przewidzieć, www.nhs.uk i www.hmrc.gov.uk go nie mają, a www.gov.uk ma. A www.gov.uk ma je tylko dlatego, że jest serwowany przez Fastly, które włączyło IPv6 lata temu w czyimś imieniu.\nPisałem już o tym, co się dzieje, gdy nikt nie trzyma kontraktu nad branżą: mechanizmy, które działają, okazują się tymi, które ktoś z zasobami postanowi obsługiwać, a jeśli nikt tego nie zrobi, przez dekadę nic się nie dzieje. IPv6 w Wielkiej Brytanii to znowu ten sam wzorzec, i to bez głosowania członków na końcu.\nI nie jest tak, że nikt tego nie zauważył Brak wymogu byłby rozczarowujący, gdyby nikt tego nie dostrzegł. A dostrzeżono.\nPaństwo ustaliło, co robi carrier-grade NAT, i uchwaliło w tej sprawie ustawę. Parlament spojrzał prosto na problem, zrozumiał go na tyle dobrze, żeby napisać o nim prawo, i napisał prawo, które dostosowuje się do usterki. „Każcie im wdrożyć protokół, który ją usuwa” albo nigdy nie padło, albo padło i zostało porzucone.\nWięc jesteśmy krajem, którego oficjalne stanowisko jest takie, że przypisywalność IP jest na tyle ważna, by trafić do ustawy antyterrorystycznej, a który nie prosi ani jednego dostawcy o zrobienie darmowej rzeczy, która ją przywraca. Oszustwa, przejęcia kont, nękanie, groźby zabójstwa, zgłoszenia wykorzystywania dzieci i terroryzm, wszystko to przychodzi do sieci dostępowej z tym samym pytaniem, a dla wielu brytyjskich połączeń uczciwa odpowiedź brzmi „jedno z tych kilkuset gospodarstw domowych”.\nNational Cyber Security Centre jest częścią GCHQ i publikuje wytyczne na bardzo wiele tematów. Nie wymaga IPv6 od nikogo. Nikt w Wielkiej Brytanii nie wymaga.\nwww.ncsc.gov.uk i www.gchq.gov.uk akurat oba odpowiadają przez IPv6. Podobnie Internet Watch Foundation. Wszystkie trzy dlatego, że siedzą za Cloudflare, które domyślnie włączyło je wszystkim. www.police.uk nie ma go wcale.\nI co to znaczy dla tej siedemnastki Siedemnastu z czterdziestu dostawców w tym wpisie sprzedaje połączenia bez IPv6, a mniej więcej połowa budowniczych sieci światłowodowych stawia klientów za carrier-grade NAT.\nNie oskarżam żadnego z nich o przestępstwo i nikt w tych budynkach na żadne nie liczy.\nAle połączenia za carrier-grade NAT bez IPv6 nie da się przypisać do abonenta. To nie jest sporne. IETF zapisało to w 2011 roku, Europol w 2016 i 2017 roku, parlament w 2015 roku, a wszystko to opublikowano, zanim kupiono większość tego sprzętu. Alternatywa była darmowa i dostępna przez cały czas.\nTo właśnie znaczy „kiedyś zajmiemy się IPv6”, kiedy prześledzisz to do końca.\nCo z tym zrobić, konkretnie Krótko, bo nic z tego nie jest trudne. O to chodzi w całym wpisie.\nJeśli kupujesz łączność: wpisz IPv6 do przetargu jako wymóg zaliczony albo niezaliczony, a nie jako miły dodatek. Poproś o natywny dual-stack i delegowany prefiks, na piśmie, i zapytaj o rozmiar.\nJeśli odpowiedzią jest pojedyncze /64, pytaj dalej. RFC 6177 uśmierciło to w 2011 roku: danie domowej lokalizacji jednego /64 „precludes the expectation that even home sites will grow to support multiple subnets”, a „strongly intended that even home sites be given multiple subnets worth of space, by default”.\nCzego nie zrobiło, to nie podało rozmiaru. Wycofało dawne ogólne /48, stwierdziło, że wybór „is an issue for the operational community”, i mimochodem podrzuciło jeden przykład: domyślnie dla domu „of less than /48, such as a /56”.\nOperatorzy odpowiedzieli sami. RIPE-690 to ich własny dokument dobrych praktyk i mówi bez ogródek. Po /48 dla każdego, jeśli chcesz prostego planu. /48 dla firm i /56 dla klientów indywidualnych, jeśli chcesz pragmatycznego. Cokolwiek dłuższego niż /56 jest „strongly discouraged”, a /64 nie jest zgodne ze standardami IPv6 i zepsuje klientom sieci LAN.\nWięc podłogą jest /56, i to liczba samego IETF, a nie czyjeś upodobanie. Sky daje je każdemu abonentowi od 2016 roku. Zen daje /48, czyli 65 536. Firma nie powinna akceptować mniej niż /48.\nJeśli dostawca mówi ci, że /48 dla domu to rozrzutność, to brytyjski dostawca robi to od lat, podczas gdy on wciąż wypracowywał swoje stanowisko.\nJeśli prowadzisz numer AS: prawdopodobnie masz już /29, którego nigdy nie ogłosiłeś. Sprawdź.\nAS=AS20712 # your AS number ORG=$(whois -h whois.ripe.net \u0026#34;$AS\u0026#34; | awk \u0026#39;/^org:/{print $2; exit}\u0026#39;) # what IPv6 the registry has already given you whois -h whois.ripe.net -- \u0026#34;-i org $ORG\u0026#34; | grep -i \u0026#39;^inet6num\u0026#39; # what you are actually announcing of it whois -h whois.ripe.net -- \u0026#34;-i origin $AS\u0026#34; | grep -i \u0026#39;^route6\u0026#39; Jeśli pierwsze polecenie wypisuje prefiks, a drugie nic, jesteś jednym z tych 463.\nOgłoś go, zrób dual-stack na brzegu i w jednym wewnętrznym VLAN-ie, i dodaj AAAA do jednej publicznej usługi. To dwa tygodnie pracy jednego inżyniera, a zmienia twoją organizację ze statystyki w tabeli wyżej w taką, która zaczęła.\nJeśli prowadzisz stronę internetową: sprawdź rekord AAAA. Jeśli jesteś za CDN, to prawdopodobnie przełącznik, który możesz włączyć jeszcze dziś po południu bez żadnych kosztów. Jeśli jest wyłączony, to ktoś go wyłączył.\nJeśli sprzedajesz usługi zarządzane: wpisz IPv6 do standardu budowy i do szablonu projektu szczegółowego, raz, a każdy klient po tym dostanie je domyślnie. Nikt nie musi o to prosić, bo o TLS też nikt nie prosi.\nJeśli jesteś inżynierem, który nigdy tego nie robił: zbuduj dziś wieczorem laboratorium. Około 90% mojego własnego ruchu idzie przez natywne IPv6 i to najmniej ekscytująca rzecz w mojej sieci. Załatw sobie tunel albo VPS z /64, nadaj rzeczom adresy, zepsuj to, napraw. Przestaje straszyć po jednym wieczorze i to najtańsza rzecz, jaką możesz w tym roku zrobić dla swojej kariery.\nPytania, których nie potrafię rozstrzygnąć Wszystko powyżej mogę ci pokazać. Ta część to to, co wciąż obracam w głowie, i na żadne z tych pytań nie mam czystej odpowiedzi.\nDlaczego jedni mogą, a inni nie? To jest to, które ma znaczenie, a dane czynią je dziwniejszym, a nie jaśniejszym.\nSky i Virgin Media sprzedawały szerokopasmowy internet w tym samym kraju, pod tym samym regulatorem, w tym samym czasie. Jedno skończyło w 2016 roku. Drugie od 2010 roku mówi „kiedy będziemy gotowi”. Sainsbury\u0026rsquo;s i Tesco siedzą na tym samym CDN, na produkcie, w którym dual-stack jest domyślny, i jedno ma IPv6, a drugie nie. Norwegia i Wielka Brytania kupują od tych samych dostawców, a IPv6 przenosi 66,9% norweskich sieci wobec 42,3% naszych.\nKażdy czynnik zewnętrzny, który mógłbyś obwinić, jest w tych parach stały. Ten sam kraj, ci sami dostawcy, ten sam sprzęt, ci sami klienci, ta sama dekada, ten sam regulator, te same pieniądze. A wyniki są przeciwne.\nWięc przyczyna nie leży w okolicznościach. Leży w środku budynku. Gdzieś w Sky był człowiek, który uczynił to swoją sprawą i trzymał się tego przez trzy lata. W innych miejscach takiego człowieka nie było, albo był, a nikogo nad nim to nie obchodziło. To cała zmienna i nie jest techniczna.\nCo jest niewygodną odpowiedzią, bo nie da się tego kupić i nie da się tego wpisać do dokumentu strategicznego.\nCzy chodzi o szkolenia? Częściowo, i mniej, niż myślisz.\nSpójrz jeszcze raz na te 463 organizacje trzymające IPv6, którego nigdy nie ogłosiły. Ktoś w każdym z tych budynków wiedział dość, żeby wiedzieć, że jest potrzebne, wiedział, kogo zapytać, wypełnił formularz i dostał przydział. Wiedza była, a doprowadzenia sprawy do końca nie było.\nSzkolenie doprowadza inżyniera do tego, że potrafi. Nie doprowadza go do tego, że musi. Nikt nigdy nie dostał złej oceny rocznej za niewdrożenie IPv6. Nikt nigdy nie stracił przez to kontraktu. Dopóki jedno z tego nie stanie się prawdą, szkolenie trafia na stos razem ze wszystkim innym, czego ktoś nauczył się na kursie i nigdy nie użył.\nIle jeszcze, zanim wszyscy na nim będziemy? Na to mogę podać liczbę, i jest gorsza, niż się spodziewałem.\nGoogle mierzy odsetek własnych odwiedzających, którzy przychodzą przez IPv6, od 2008 roku. Biorąc połowę sierpnia każdego roku, żeby porównywać jak z jak:\nWdrażanie IPv6 na świecie zwalnia przed półmetkiem Wdrażanie IPv6 na świecie zwalnia, a nie przyspiesza Odsetek odwiedzających Google, którzy przychodzą przez natywne IPv6, połowa sierpnia każdego roku. Źródło: statystyki IPv6 Google. 0% 10% 20% 30% 40% 50% 2017 18,1% 2018 2019 2020 2021 2022 2023 2024 2025 2026 48,1% Punkty dodane w danym roku +3,6 +5,0 +4,4 +3,3 +4,3 +3,3 +2,3 +2,6 +1,1 Ten rok dodał\u0026#160;1,1 punktu, najmniejszy przyrost od dekady, wobec 6,6 punktu w roku do sierpnia 2017. Pomiar Google własnych odwiedzających przychodzących przez natywne IPv6, brany w połowie sierpnia każdego roku, żeby porównywać jak z jak. Linia to poziom. Słupki to przyrost w danym roku. Nie przyspieszamy w stronę mety. Zwalniamy przed półmetkiem. Ten rok dodał 1,1 punktu, najmniejszy przyrost od dekady, wobec 6,6 punktu w roku do sierpnia 2017.\nPoprowadź prostą z ostatnich trzech lat, a świat dochodzi do 100% w 2049 roku. Poprowadź ją z samego tego roku, a wychodzi 2073. Żadne z tych to nie prognoza. Krzywa, która się wypłaszcza, w ogóle nie dochodzi do szczytu siłą rozpędu. Utyka gdzieś w okolicach sześćdziesięciu procent, a reszta nigdy się nie rusza, bo sieci, które do tego czasu tego nie zrobiły, to te, których nic nigdy nie miało ruszyć.\nBardzo chciałbym się co do tego mylić. Ta liczba maleje z każdym rokiem, w którym na nią patrzę.\nCzy potrzebujemy ustawy? Nad tym wahałem się najdłużej i wylądowałem na „nie takiej, po jaką ludzie sięgają”.\nPrzeciw nakazowi: Amerykanie uchwalili najsilniejszy, jaki ktokolwiek ma, i go nie dotrzymali. Termin to nie wdrożenie.\nZa nakazem: werdykt 6UK na pożegnanie w 2012 roku był taki, że bodźce wolnorynkowe są niewystarczające, a w tyle zostają kraje z rządami trzymającymi się z boku. Czternaście lat brytyjskich danych przyznaje im rację.\nA oto część, która to rozstrzyga. Ten kraj już uchwalił prawo w sprawie tego problemu, tylko w złym kierunku. Byliśmy gotowi stanowić prawo, żeby dostosować się do dzielenia adresów. Nigdy nie byliśmy gotowi stanowić prawa, żeby je usunąć.\nO co bym prosił, to nie zakaz i nie cel, tylko belgijskie narzędzie opisane wcześniej: twardy limit liczby abonentów, którzy mogą dzielić jeden adres. Nie potrzebuje nowych adresów, nikogo nie wypycha z rynku i działa na ekonomię, a nie na czyjeś dobre intencje.\nSam nakaz daje jedną użyteczną rzecz, i nie jest nią wdrożenie. Jest nią konkretna osoba, która musi wytłumaczyć porażkę. Nigdy takiej nie mieliśmy.\nTo jak tak szybko przeszliśmy na IPv4? Bo ktoś mógł wyłączyć stary protokół.\nPorównanie jest dokładne i prawie nikt go nie robi. ARPANET działał na Network Control Program, który adresował hosty na 8 bitach: 6 na węzeł i 2 na hosta, czyli 64 węzły po 4 maszyny, 256 hostów w sumie. Pod koniec lat siedemdziesiątych było oczywiste, że to za mało, a odpowiedzią był nowy protokół z większym adresem. Ten sam problem co teraz, ponad czterdzieści lat wcześniej.\nJon Postel opublikował plan przejścia w listopadzie 1981 roku. W marcu 1982 roku Departament Obrony USA ogłosił TCP/IP swoim oficjalnym standardem. Oba protokoły działały obok siebie, a 1 stycznia 1983 roku NCP wyłączono. Hosty, które się nie przestawiły, straciły dostęp do sieci. Vint Cerf wspomina przypinki „I survived the TCP/IP switchover”, które nosili potem ludzie, którzy przez to przeszli.\nCzternaście miesięcy od planu do dnia przełączenia.\nTeraz policz, co to umożliwiło. Mniej więcej kilkaset hostów, nie cztery miliardy. Jedna sieć, nie każda sieć. Jeden fundator, który był właścicielem każdej maszyny w niej i płacił pensje wszystkim, którzy przy nich pracowali. Jedna organizacja zdolna ustalić datę i, to jest kluczowe, zdolna sprawić, że stary protokół tego dnia przestanie działać.\nŻadna z tych rzeczy dziś nie istnieje, i to cała odpowiedź. IPv4 nie wygrało dlatego, że migracja była łatwa. Wygrało, bo był ktoś, kto mógł zakończyć spór.\nDziś nikt nie jest w takiej pozycji. Nie ma władzy, która może wyłączyć IPv4, i nigdy nie będzie. Co znaczy, że tego przejścia nie da się skończyć tak, jak poprzedniego: można je skończyć tylko wtedy, gdy kilka tysięcy organizacji każda z osobna postanowi, że jej się chce.\nWedług tegorocznych liczb wypada to w 2073 roku. Dziewięćdziesiąt lat po dniu przełączenia.\nKiedyś robiliśmy rzeczy porządnie Standard to coś, czego się trzymasz, kiedy nikt nie sprawdza. To wszystko. Nie ma do tego inspektora, nie ma certyfikatu, nie ma audytora, który przyjdzie i poprosi o pokazanie tablicy routingu, a dwadzieścia lat pokazało dokładnie, co ten kraj robi z obowiązkiem, którego nikt nie egzekwuje.\nPorzucamy go, a potem kupujemy coś, co zakryje lukę.\nNic z tego nie jest porażką techniczną i nie będę udawał, że jest. Wielka Brytania potrafi wykonać tę pracę. Umiejętności są tutaj, sprzęt jest tutaj, przestrzeń adresowa jest wydana i czeka na kontach, za które już płacimy. Zniknął odruch, żeby robić robotę porządnie, bo taka jest robota: bez dopłaty i bez kogoś, kto stoi nad tobą i cię zmusza.\nZapytaj, co naprawdę to blokuje, a wylądujesz przy pieniądzach, ale nie w tym sensie, w jakim ludzie to rozumieją.\nCarrier-grade NAT ma zamówienie. Ma dostawcę, wycenę, rabat, umowę serwisową i datę odnowienia. Trafia do planu inwestycyjnego, amortyzuje się przez pięć lat, a na business case\u0026rsquo;ie widnieje czyjeś nazwisko. Jego dostarczenie to widoczna rzecz, którą kierownik może wskazać na ocenie rocznej.\nIPv6 nie ma nic z tego. Ani faktury, ani dostawcy, ani odnowienia, nic do wpisania w budżet i nic, co ktokolwiek mógłby pokazać jako zakup. To po prostu praca, zrobiona porządnie, przez ludzi, którzy wiedzą, co robią, bez zwrotu w tym kwartale. Nikt w tej branży nigdy nie dostał awansu za coś, co nigdy nie pojawiło się w budżecie.\nW efekcie tańsza opcja przegrywa, co roku, od dwudziestu lat. Nie dlatego, że ktoś to rozważył i wybrał źle, tylko dlatego, że wyrosła tu kultura zarządzania, która widzi wyłącznie te części inżynierii, które przychodzą z ceną. Taniość nigdy nie była przeszkodą. Przeszkodą był brak faktury. Tak to wygląda, kiedy firma przestaje dbać o standardy, a zaczyna dbać tylko o to, co może wpisać na fakturę, i jest to wybór dokonywany przez ludzi opłacanych na tyle dobrze, żeby wiedzieć lepiej.\nJest jeszcze to, co sprzedali nam zamiast adresu, a co powinno ludzi złościć bardziej, niż złości.\nInternet zbudowano tak, żeby każda maszyna mogła bezpośrednio dotrzeć do każdej innej. To nie szczegół projektu. To jest projekt. Dlatego każdy z łączem i pomysłem mógł postawić coś, do czego dotrze cały świat. Postaw klienta za wspólnym adresem, a to znika. Możesz pytać, ale nigdy nie możesz odpowiadać. Jesteś konsumentem cudzych usług, na stałe, i nigdy dostawcą własnych.\nTo nie jest niefortunny efekt uboczny niedoboru. To przebudowa architektury i pasuje każdemu, kto ją sprzedaje. Kamera, która teraz potrzebuje chmury producenta. Zdalny dostęp, który teraz potrzebuje czyjegoś przekaźnika. Rzecz, którą ludzie kiedyś uruchamiali w domu, a która jest teraz miesięczną subskrypcją. Każda z nich to ktoś, kto był właścicielem, zamieniony w kogoś, kto wynajmuje, i połączenie po cichu zdegradowane z miejsca w internecie do okna na czyjeś miejsce.\nOddaliśmy środek internetu garstce firm z innego kontynentu, a potem staliśmy zdziwieni, że skończyło się centralizacją. Nie da się być samowystarczalnym na łączu, które nie pozwala ci niczego hostować.\nDo samowystarczalności ciągle wracam, bo ten kraj przestał jej od siebie oczekiwać. Odruch jest teraz taki, żeby czekać. Na dostawcę, regulatora, dotację, nakaz, klienta, który zadzwoni i zapyta. Nic z tego nie nadchodzi. Nie zbliża się żaden sygnał rynkowy, nie powstaje żadna polityka, nie ma terminu, którego niedotrzymanie ktokolwiek będzie musiał tłumaczyć.\nCo zostawia sprawę tam, gdzie była przez cały czas. Darmowy przydział, leżący na koncie w rejestrze z nazwą twojej firmy, i dwa tygodnie między tobą a porządnie zrobioną robotą.\nNikt nie przyjdzie cię zmusić. Właśnie dlatego to się liczy.\nMożesz sprawdzić, czy to twój budynek. Skrypt jest w paczce na początku wpisu.\nŹródła Wszystko poniżej pobrano 27 sierpnia 2026 roku.\nDane, z których mierzyłem. Każda moja liczba pochodzi stąd. Są darmowe, publiczne i całość możesz powtórzyć w jedno popołudnie.\nPliki delegacji rejestrów, po jednym na regionalny rejestr: RIPE NCC, APNIC, ARIN, LACNIC, AFRINIC. Plik RIPE wygenerowano 26 sierpnia 2026 roku, pozostałe 27 sierpnia 2026 roku. Zrzuty tablicy routingu RIPE RIS, riswhoisdump.IPv4.gz i riswhoisdump.IPv6.gz, wygenerowane o 18:06 UTC 27 sierpnia 2026 roku. Interfejs REST bazy danych RIPE, dla organizacji stojącej za każdym numerem AS. Publiczny DNS, dla przeglądu rekordów AAAA, sprawdzony krzyżowo na drugim resolwerze. Pomiary innych.\nStatystyki IPv6 Google — natywne IPv6 wśród odwiedzających Google w poszczególnych krajach, dane na 25 sierpnia 2026 roku. APNIC o wydajności IPv6 i o błędnych przekonaniach na temat bezpieczeństwa IPv6 — zmierzony obraz, a nie ten z forów. Ceny na rynku transferów IPv4, pierwsza połowa 2026 roku, podsumowanie analizy CircleID transakcji o jawnych cenach. Standardy. Doklejki, w kolejności publikacji.\nRFC 3056 — automatyczne tunelowanie 6to4, luty 2001. RFC 3701 — plan wygaszenia 6bone, wyznaczający jego wyłączenie na 6 czerwca 2006. RFC 7526 — wycofanie przekaźników anycast 6to4 i przeniesienie ich do statusu Historic, maj 2015. RFC 4864 — co NAT daje, a czego nie, i dlaczego firewall, który ludzie myślą, że mają, to „an arbitrary artifact”, 2007. RFC 4941, RFC 7217 i RFC 8981 — adresy tymczasowe i nieprzezroczyste, dlatego adres IPv6 urządzenia nie jest stałym identyfikatorem. RFC 801 — plan przejścia z NCP na TCP Jona Postela, listopad 1981, wyznaczający dzień przełączenia na 1 stycznia 1983. RFC 1883 — pierwotna specyfikacja IPv6, grudzień 1995. RFC 6333 — DS-Lite, 2011. RFC 6056 — losowanie portu źródłowego, obrona osłabiana przez CGN, 2011. RFC 6269 — Issues with IP Address Sharing, czerwiec 2011. Własny katalog IETF tego, co psuje CGN, w tym logowanie nadużyć, karne ławki, czarne listy, losowanie portów i możliwość namierzenia. RFC 791 i RFC 8200 — oba formaty nagłówków i powód, dla którego IPv6 porzuciło sumę kontrolną, zmienną długość i fragmentację w locie. RFC 6583 — wyczerpanie pamięci Neighbour Discovery na /64 oraz podział na płaszczyznę przekazywania i płaszczyznę sterowania, który decyduje o tym, co kosztuje procesor routera. RFC 6177 — ile przestrzeni adresowej powinna dostać lokalizacja końcowa, 2011. Unieważnia ogólne /48 z RFC 3177, wyklucza pojedyncze /64 i przekazuje właściwą liczbę społeczności operatorów. RIPE-690 — własna odpowiedź europejskich operatorów na to pytanie, październik 2017: /48 albo /56 dla użytkownika końcowego, nigdy /64. RFC 6302 — logowanie portu źródłowego, znacznika czasu i protokołu, 2011. RFC 6598 — wspólna przestrzeń adresowa, 2012. RFC 6877 — 464XLAT, 2013. RFC 6888 — wymagania dla carrier-grade NAT, 2013. RFC 7021 — wpływ carrier-grade NAT na aplikacje, 2013. RFC 7422 — deterministyczne mapowanie, żeby ograniczyć logowanie CGN, 2014. RFC 7597 i RFC 7599 — MAP-E i MAP-T, 2015. World IPv6 Launch, 6 czerwca 2012. Darmowy tunnel broker Hurricane Electric — skąd wielu z nas brało IPv6, kiedy nasi własni dostawcy go nie mieli. Prawo i polityka.\nCyber Security and Resilience (Network and Information Systems) Bill 2024-26 — opracowanie House of Commons Library o projekcie ustawy, który objąłby NIS Regulations dostawców usług zarządzanych. Counter-Terrorism and Security Act 2015, sekcja 21 — przechowywanie odpowiednich danych internetowych, wraz z notami wyjaśniającymi. Europol, październik 2017 — organy ścigania wzywające do końca carrier-grade NAT, z liczbami 90% dla sieci komórkowych i 50% dla stacjonarnych. Memorandum OMB M-21-07 — amerykański federalny wymóg przejścia wyłącznie na IPv6, listopad 2020. Online Safety Act 2023. Europol EC3, Carrier Grade NAT and crime attribution online — prezentacja Gregory\u0026rsquo;ego Mouniera na RIPE 74, z ankietą wśród unijnych organów ścigania z sierpnia 2016 roku, przykładami spraw oraz belgijskim kodeksem postępowania i jego wynikami. Dane CyberTipline NCMEC — liczba zgłoszeń i przekazań w 2025 roku. A Multi-perspective Analysis of Carrier-Grade NAT Deployment, ACM IMC 2016 — niezależny pomiar użycia CGN przez dostawców komórkowych i stacjonarnych. System opłat RIPE NCC 2026 — 1800 EUR za konto LIR, ryczałtem. Dostawcy, ich własnymi słowami.\nAkamai, czerwiec 2022 — dual-stack jest domyślny, a klienci muszą z niego zrezygnować. AWS, 2023 — opłata za publiczny IPv4 i jej powód. Doniesienia i zapis.\nWłasny opis Sky na RIPE Labs — jak przeniesiono pięć milionów użytkowników. ISPreview, wrzesień 2016 — Sky kończy wdrożenie. CircleID, wrzesień 2016 — Jim Bound IPv6 Award. ISPreview, grudzień 2012 — 6UK sam się likwiduje. Ankieta ISPreview o IPv6 i CGNAT u altnetów — kwiecień 2024, zaktualizowana do marca 2025. ISPreview o teście IPv6 w Plusnet, listopad 2023 — test z 2011 roku, niedotrzymane uruchomienie w 2020 roku i uwaga, że BT i Plusnet dają niemal identyczne routery. Prowadzony przez społeczność tracker brytyjskich sieci komórkowych i IPv6 — oparty na zgłoszeniach użytkowników, a nie oficjalny, i źródło informacji, które sieci komórkowe dają dziś IPv6. havevirginmediaenabledipv6yet.co.uk — oś czasu Virgin Media, od 2010 roku do dziś. Internet Society, wrzesień 2016 — Sky na 90% bazy, każdy abonent dostaje /56. Internet Society, wrzesień 2016 — relacja Rona Broersmy z migracji z NCP na TCP/IP w 1983 roku, z limitem 256 hostów i tym, co stało się z każdym, kto nie zdążył. The Register, styczeń 2013 — trzydzieści lat po dniu przełączenia i przypinki, które ludzie potem nosili. UK IPv6 Council. ","permalink":"https://blogs.damiendye.uk/pl/networking/we-never-ran-out-of-addresses/","summary":"IPv6 jest gotowe, darmowe i domyślnie włączone w każdym systemie operacyjnym od blisko dwudziestu lat. Brytyjską odpowiedzią był carrier-grade NAT, ustawa o logowaniu i opłata £5 miesięcznie za oddanie ci adresu, który kiedyś miałeś. Policzyłem każdą brytyjską sieć w globalnej tablicy routingu, żeby sprawdzić, kto naprawdę włączył IPv6: 1200 tego nie zrobiło, a 463 z nich siedzi na przestrzeni adresowej, o którą poprosiły i której nigdy nie użyły.","title":"Nigdy nie zabrakło nam adresów. Zabrakło nam chęci."},{"content":"Najpierw zastrzeżenie: pracuję dla croit, firmy, która sprzedaje Cepha i pojawia się w tabelach poniżej. Starałem się być wobec nas tak samo krytyczny jak wobec wszystkich innych. Każda liczba pochodzi z publicznej historii gita, z zapisów, które Ceph trzyma we własnym repozytorium, albo z publicznej wypowiedzi z imieniem i nazwiskiem: wszystko da się odtworzyć, wszystko jest wymienione w źródłach na końcu.\nCeph trzyma na sobie mnóstwo sprzętu, o którym nikt nie myśli. Klastry Proxmoxa, OpenStack, Kubernetes, krajowe laboratoria badawcze, banki, operatorzy telekomunikacyjni, akceleratory cząstek. Po dwudziestu latach wciąż jest pierwszą odpowiedzią, kiedy ktoś chce pamięci blokowej, plikowej i obiektowej z jednego klastra zbudowanego ze zwykłego sprzętu.\nWięc kto go pisze, kto go utrzymuje i kto go używa?\nNie „kto jest na liście mailingowej” ani „kto występował na Cephalocon”. Sklonowałem ceph/ceph, wziąłem każdy commit niebędący merge\u0026rsquo;em napisany w ciągu dziesięciu lat do 27 sierpnia 2026 i przypisałem autorów do firm za pomocą .organizationmap Cepha oraz udokumentowanego zestawu poprawek. Potem wziąłem plik governance, który Ceph trzyma w repozytorium, i przypisałem wszystkich 38 członków Steering Committee do pracodawcy z ich własnego opublikowanego adresu. Potem poszedłem sprawdzić, kto publicznie mówi, że go używa.\nWychodzi 69 613 commitów od 1718 osób z 478 organizacji. To lepszy obraz, niż się spodziewałem na początku, i nie ten, który zamierzałem opisać.\nDekada Miejsce Organizacja Commity Udział 1 Red Hat 42 354 60,8% 2 SUSE 6191 8,9% 3 IBM 4308 6,2% 4 Intel 2066 3,0% 5 ZTE 1176 1,7% 6 QiAnXin 900 1,3% 7 Ceph Foundation 691 1,0% 8 Mirantis 566 0,8% 9 IONOS 498 0,7% 10 China Mobile 397 0,6% 11 Proxmox 254 0,4% 12 croit 242 0,3% 13 Cloudbase Solutions 239 0,3% 14 Bloomberg 231 0,3% 15 XSKY 225 0,3% · Clyso 181, Huawei 159, Inspur 155, Cafe Bazaar 130, CERN 121, SK Telecom 120, UMCloud 106, Deutsche Telekom 105, EasyStack 103, ISCAS 99, Tencent 83 i 460 kolejnych organizacji · Brak pracodawcy widocznego w adresie 6295 9,0% Wiersze 1 i 3 to ten sam zespół. 4 października 2022 Red Hat i IBM ogłosiły, że cały zespół Cepha z Red Hata przechodzi do IBM, a IBM przejmuje sponsoring Foundation po Red Hacie i pomaga finansować upstreamowe laboratorium testowe. Ludzie się nie zmienili; ich adresy e-mail wciąż migrują, jeden inżynier po drugim, cztery lata później.\nDodaj je: 46 662 commity. 67,0% dekady.\nZatrzymaj się przy tym, zanim pójdziesz dalej, bo to jest umowa, dzięki której Ceph w ogóle istnieje. Jedna firma płaci dziesiątkom inżynierów za budowanie i pielęgnowanie rozproszonej pamięci masowej, którą potem rozdaje. Dziesięć lat tego, przez dwa przejęcia i zmianę właściciela. Nikt ich do tego nie zmuszał.\nOstatnie trzy lata Miejsce Organizacja Commity Udział 1 Red Hat 7273 45,0% 2 IBM 3818 23,6% 3 QiAnXin 597 3,7% 4 Ceph Foundation 526 3,3% 5 IONOS 498 3,1% 6 Intel 279 1,7% 7 Proxmox 249 1,5% 8 Bloomberg 220 1,4% 9 croit 157 1,0% 10 Clyso 153 0,9% 11 Cafe Bazaar 118 0,7% 12 ISCAS (Instytut Oprogramowania Chińskiej Akademii Nauk) 99 0,6% · Brak pracodawcy widocznego w adresie 2008 12,4% 16 160 commitów. Red Hat plus IBM: 11 091, czyli 68,6%.\nUdział jednej firmy w Cephie, w dekadzie i w trzech latach Udział się nie zmienia. Zmienia się to, co jest w środku. Dziesięć lat do 2026-08-27 69 613 commitów Red Hat\u0026#160;\u0026#160;60,8% IBM 6,2% SUSE 8,9% wszyscy pozostali\u0026#160;\u0026#160;24,1% Red Hat + IBM: 46 662 commity, 67,0% Ostatnie trzy lata 16 160 commitów Red Hat\u0026#160;\u0026#160;45,0% IBM\u0026#160;\u0026#160;23,6% SUSE: 13 wszyscy pozostali\u0026#160;\u0026#160;31,4% Red Hat + IBM: 11 091 commitów, 68,6% SUSE był drugim największym kontrybutorem dekady. W ostatnich trzech latach napisał 13 commitów, a w 2025 i 2026 ani jednego. Udział jednej firmy prawie się nie zmienia między dekadą a ostatnim okresem: 67,0% wobec 68,6%. Zmienia się wszystko dookoła. Odporność, o której nikt nie mówi Oto rzecz, której się nie spodziewałem, i najlepsza w całym tym ćwiczeniu.\nCeph przeżył już oba zdarzenia, których te dane kazałyby się bać, i nawet nie drgnął.\nJego twórca, Sage Weil, napisał 7517 commitów w ciągu dekady, więcej niż jakakolwiek organizacja poza Red Hatem, SUSE i IBM. W samym 2017 roku napisał 2184 commity, czyli 21,5% całego projektu w pojedynkę. Wycofał się w październiku 2021 po 17 latach; jego ostatni commit jest z 20 stycznia 2022.\nDrugi największy kontrybutor dekady, SUSE, napisał 6191 commitów, a w szczytowym roku 1839. Potem skasował SUSE Enterprise Storage na rzecz Longhorna od Ranchera i się zwinął: 463 w 2021, 110 w 2022, 14 w 2023, 10 w 2024, od tego czasu nic.\nJedno i drugie w ciągu tych samych pięciu lat. Gdyby tak skoncentrowany projekt był kruchy, wtedy właśnie by pękł.\nNie pękł. Tempo commitów w tym roku to 14,6 dziennie wobec 14,8 w zeszłym. Płasko. Wydania dalej wychodziły. Governance przebudowano w Executive Council i 38-osobowy Steering Committee, i to się utrzymało.\nRok Commity łącznie Red Hat + IBM Udział Wszyscy pozostali 2016 10 286 5834 56,7% 4452 2017 10 158 6942 68,3% 3216 2018 8099 5265 65,0% 2834 2019 9000 5934 65,9% 3066 2020 8361 5230 62,5% 3131 2021 7381 4517 61,1% 2864 2022 4731 2937 62,0% 1794 2023 4634 3315 71,5% 1319 2024 5410 3571 66,0% 1839 2025 5389 3730 69,2% 1659 2026 3495 2329 66,6% 1166 (Rok 2026 sięga do 27 sierpnia, czyli około ośmiu miesięcy.)\nOd 57 do 72 procent od jednego dostawcy, co roku przez dekadę. Wolumen jest niższy niż w szczycie z 2016, i tak właśnie się dzieje, kiedy projekt przestaje przebudowywać fundamenty i zaczyna o nie dbać. Ostatnie trzy lata są płaskie albo odrobinę w górę.\nLiczba commitów Cepha według lat: udział się trzyma, suma spada o połowę Commity w kolejnych latach i kto je napisał Gałąź main Cepha, commity bez merge'y, według daty autora 0 3 tys. 6 tys. 9 tys. 12 tys. 2016 57% 2017 68% 2018 65% 2019 66% 2020 63% 2021 61% 2022 62% 2023 72% 2024 66% 2025 69% 2026* 67% Red Hat + IBM: jeden zespół od października 2022 wszyscy pozostali Szczyt SUSE: 1839 Sage Weil odchodzi SUSE: 110 w 2022, 14 w 2023, 0 do 2026 * Rok 2026 sięga do 27 sierpnia; pokazany przy obecnym tempie 14,6 commita dziennie, wobec 14,8 w 2025. Liczba commitów w kolejnych latach, podzielona między zespół Red Hat/IBM a wszystkich pozostałych. Zaznaczone: szczyt i odejście SUSE oraz odejście Sage\u0026rsquo;a Weila. Ceph przyjął jedno i drugie bez zmiany rytmu. Ceph przeżył firmy, które go zbudowały To jest prawdziwa historia tej dekady i w trzyletnim oknie w ogóle jej nie widać.\nSpójrz na wiersze 2, 5, 8, 10, 13 i 15. SUSE, ZTE, Mirantis, China Mobile, Cloudbase Solutions, XSKY, a niżej jeszcze Inspur, EasyStack, UMCloud, Kylin, UnitedStack, Xtao, Istuary i inne. Razem grubo ponad 10 000 commitów. Prawie wszystko to ustało.\nSUSE: 6191 commitów, szczyt w 2020, teraz zero. ZTE: 1176 commitów, w samym 2016 aż 1071, ostatni commit w 2020. Mirantis: 566 commitów, zniknął. XSKY, EasyStack, Inspur, UMCloud, Kylin, UnitedStack: storage\u0026rsquo;owa ekipa z czasów OpenStacka, wszyscy się zwinęli. Każda z tych firm stawiała produkt na Cephie. Produkty skasowano albo przestawiono na coś innego. A Ceph wciąż tu jest i wydaje w tym samym tempie, z ich kodem w drzewie i z kimś innym, kto się nim opiekuje.\nNajlepiej widać to na dashboardzie. W ciągu dekady src/pybind/mgr/dashboard wygląda tak:\nsrc/pybind/mgr/dashboard, dziesięć lat Commity Udział SUSE 1408 36,6% Red Hat 1177 30,6% IBM 734 19,1% Brak widocznego pracodawcy 478 12,4% Dashboard Cepha był w większości dziełem SUSE. Potem SUSE całkiem odszedł z projektu. W ostatnich trzech latach ten sam katalog to w 57,5% IBM i w 30,3% Red Hat, a dashboard wciąż wychodzi i wciąż zyskuje nowe funkcje.\nTo rozwój upstream-first, który robi dokładnie to, do czego służy. Dostawca dużo włożył, dostawca odszedł, a użytkownicy zachowali oprogramowanie. Gdyby SUSE zbudował ten dashboard jako zamkniętą warstwę przykręconą na wierzchu, jak zrobiłoby to wielu dostawców pamięci masowej, umarłby razem z linią produktów. Trafił do upstreamu, więc przeżył.\nNastępną dekadę buduje kilka firm naraz Crimson to przepisany od zera OSD, czyli demon, który zarządza twoimi dyskami, oparty na frameworku Seastar i nastawiony na model wątek-na-rdzeń, jakiego wymaga współczesne NVMe. To największy zakład na następne dziesięć lat Cepha. W ciągu dekady:\nsrc/crimson, dziesięć lat Commity Udział Red Hat 3038 52,1% Intel 1269 21,8% QiAnXin 824 14,1% Brak widocznego pracodawcy 450 7,7% A w ostatnich trzech latach Red Hat i IBM razem mają w nim mniejszość, 45,4%, przy 28,4% QiAnXin i 13,4% Intela.\nNajważniejsza rzecz budowana teraz w Cephie naprawdę jest robotą kilku firm. Nie roadmapą jednego dostawcy z paroma doczepionymi kontrybutorami, tylko trzema firmami, które latami, publicznie, wykonują ciężką inżynierię w tym samym podsystemie.\nQiAnXin zasługuje na słowo komentarza, bo większość ludzi od pamięci masowej nie zna tej nazwy. To chińska firma od cyberbezpieczeństwa dla przedsiębiorstw, założona w 2014 jako spółka zależna Qihoo 360 i wydzielona około 2016; Qihoo 360 sprzedało swoje pozostałe 22,6% udziałów firmom powiązanym z China Electronics Corporation w kwietniu 2019, a w prospekcie do IPO z 2020 CEC miało 38,3%. Tę historię korporacyjną widać w logu gita: ich główny kontrybutor, Xuehan Xu, ma commity pod @360.cn w 2017 i 2018 oraz pod @qianxin.com od 2021. Firma od bezpieczeństwa, która nie ma żadnego produktu storage\u0026rsquo;owego do sprzedania, włożyła 900 commitów w przyszły OSD Cepha. Tak właśnie działa otwarty projekt, dokładnie jak napisano na opakowaniu.\nKto utrzymuje Cepha i kto im płaci Pisanie kodu to jedno; trzymanie kluczy to drugie. Ceph trzyma swoje governance w repozytorium, w doc/governance.rst, i Ceph Steering Committee jest tam wymieniony z imienia, nazwiska i adresu e-mail. Dzięki temu na pytanie, kto zatrudnia opiekunów, da się odpowiedzieć ze źródła pierwotnego, a nie zgadywać.\nTrzydzieści osiem miejsc, przypisanych do pracodawcy z własnego adresu każdego członka:\nPracodawca Miejsca Red Hat 16 IBM 9 Clyso 3 Adres prywatny (Anthony D\u0026rsquo;Atri, Myoungwon Oh) 2 croit: Igor Fedotov 1 Bloomberg: Joseph Mundackal 1 Intel: Yingxin Cheng 1 Ceph Foundation: Zac Dover 1 XSKY: Haomai Wang 1 ZTE: Xie Xingguo 1 Ubiquiti: Yehuda Sadeh 1 11:11 Systems: David Orman 1 Red Hat i IBM mają 25 z 38 miejsc, czyli 65,8%. Wobec 67,0% commitów z dekady i 68,6% z ostatnich trzech lat. Ciało zarządzające niemal dokładnie odzwierciedla kod, i to jest zdrowy układ: głos mają ci, którzy wykonują pracę, i dzięki temu nikt nie ma weta, na które nie zapracował.\nMiejsca w Ceph Steering Committee według pracodawcy: 25 z 38 to jedna firma Kto utrzymuje Cepha, według tego, kto im płaci 38 miejsc w Ceph Steering Committee, według adresu każdego członka w doc/governance.rst Red Hat IBM Clyso adres prywatny po jednym miejscu 16 9 3 2 8 croit, Bloomberg, Intel, Ceph Foundation, XSKY, ZTE, Ubiquiti, 11:11 Systems Red Hat + IBM: 25 z 38 miejsc, 65,8% Wobec 67,0% commitów z dekady i 68,6% z ostatnich trzech lat. Komitet odzwierciedla kod. XSKY i ZTE wciąż mają miejsca. Żadna z tych firm nie dodała do Cepha linijki od 2020. Pięciu z 38 nie ma commita od 2021 albo nie ma żadnego. Kierowanie to inna praca niż pisanie kodu, ale dwa z tych miejsc należą do firm, które całkiem odeszły z projektu. 38 miejsc w Ceph Steering Committee według pracodawcy z adresu podanego przez każdego członka, na podstawie doc/governance.rst. Skład komitetu ściśle odpowiada rozkładowi commitów. Warto wyciągnąć dwa szczegóły i oba mówią coś dobrego.\nXSKY i ZTE wciąż mają swoje miejsca. Żadna z tych firm nie dodała ani linijki od 2020: ostatni commit Haomai Wanga jest z 18 marca 2020, Xie Xingguo z 24 lipca 2020, po 750 commitach w dekadzie. Ceph ich nie wykopał. Projekt, który latami trzyma ciepłe miejsce dla ludzi, którzy zbudowali duże kawałki BlueStore i OSD, choć ich pracodawca dawno sobie poszedł, nie traktuje kontrybutorów jak towaru jednorazowego użytku.\nYehuda Sadeh zasiada w komitecie z adresem @ui.com. Napisał RADOS Gateway, czyli wejście S3 i Swift do RADOS (Reliable Autonomic Distributed Object Store, na którym stoi cała reszta Cepha), zaczynając w DreamHost w 2008, potem w Inktanku, Red Hacie i IBM: 972 commity w samej dekadzie i tysiące przed nią. Jeszcze w lipcu 2025 pisał kod kryptograficzny cephx. Potem w czerwcu 2026 zrobił dokładnie jeden commit, doc: governance/csc: update email address, zmieniając własny wpis na Ubiquiti. Zmienił pracodawcę i zachował miejsce. Twoja pozycja idzie tu razem z tobą, i to jedna z lepszych stron pracy w otwartym projekcie.\nLiderzy komponentów Liderzy komponentów odpowiadają na co dzień za poszczególne podsystemy:\nKomponent Czym jest Lider Pracodawca Cephadm Wdrażanie klastra i zarządzanie nim Adam King Red Hat CephFS System plików POSIX Venky Shankar Red Hat Crimson OSD następnej generacji Matan Breizman Red Hat Dashboard Webowy interfejs zarządzania Afreen Misbah IBM RADOS Magazyn obiektów, na którym stoi cała reszta Radosław Zarzyński Red Hat RBD RADOS Block Device: dyski wirtualne Ilya Dryomov Red Hat RGW RADOS Gateway: warstwa S3 i Swift Adam Emerson, Eric Ivancich Red Hat NVMe-oF Brama NVMe over Fabrics Aviv Caro IBM Seastore Backend pamięci Crimsona Yingxin Cheng Intel Dziesięciu wymienionych liderów, dziewięciu w Red Hacie lub IBM, a Seastore, backend pamięci Crimsona, prowadzony z Intela. Nad nimi jest trzyosobowa Executive Council utworzona po odejściu Sage\u0026rsquo;a Weila: Dan van der Ster (Clyso), Neha Ojha (Red Hat), Patrick Donnelly (IBM). Clyso ma jedną trzecią najwyższego organu przy 0,3% commitów z dekady: radę zbudowano wokół osądu i pozycji, nie liczby etatów.\nOpiekunowie się przenieśli, a kod został Najmocniejszy argument za tym, że Ceph jest prawdziwym dobrem wspólnym, a nie produktem jednej firmy, to to, co się dzieje, gdy jego opiekunowie zmieniają pracę. Każdy z tych przypadków da się prześledzić po adresach w repozytorium:\nOpiekun (obecny pracodawca) Kariera według logu gita Ostatni commit Igor Fedotov (croit): BlueStore Mirantis (2015–17) → SUSE (2017–24) → croit (2021–) 2026-08-24 Kefu Chai (Proxmox): rdzeń, build Red Hat (2015–22, 4770 commitów) → XSKY → Proxmox (2025–) 2026-08-18 Radosław Zarzyński (Red Hat): lider RADOS Mirantis (2015–17) → Red Hat (2017–) 2026-06-16 Dan van der Ster (Clyso): Executive Council CERN (2013–22) → Clyso (2023–) 2026-03-18 Zac Dover (Ceph Foundation): dokumentacja niezależny → Clyso → Ceph Foundation 2026-07-23 Yehuda Sadeh (Ubiquiti): autor RGW DreamHost → Inktank → Red Hat → IBM → Ubiquiti 2026-06-08 Mark Nelson (Clyso): wydajność DreamHost → Inktank → Red Hat → Clyso 2024-04-16 Xuehan Xu (QiAnXin): Crimson Qihoo 360 (2017–18) → QiAnXin (2021–) 2026 Po trzech pracodawców każdy, w niektórych przypadkach czterech, a praca szła dalej przy każdej przeprowadzce. Igor Fedotov przeżył już strategie cephowe dwóch swoich pracodawców i wciąż utrzymuje silnik, który zapisuje twoje bajty na dysk. Więc uczciwa odpowiedź na pytanie „co, jeśli dostawca odejdzie” brzmi: inżynierowie robią dalej swoje.\nKto naprawdę używa Cepha Kontrybucje to tylko połowa sprawy. Oto kto mówi głośno, że używa Cepha, z liczbami, które sam opublikował.\nOrganizacja Publicznie zadeklarowane wdrożenie CERN, Europejska Organizacja Badań Jądrowych 19 klastrów produkcyjnych, ~73 PB surowej pojemności, plus 5 kolejnych w nowym centrum danych: szkielet pamięci masowej pod chmurą IT CERN-u Bloomberg Magazyny obiektów od setek TB do ponad 8 PB; dołożył 6 PB surowej pojemności na żywo, 50% więcej w działającym klastrze, w niecałą godzinę Wikimedia Foundation Pięć produkcyjnych klastrów Cepha: bloki dla Cloud VPS, S3 przez wielolokalizacyjny RGW i CephFS dla Airflow, Dumps i ML-Lab DigitalOcean Ceph napędza usługę Block Storage przez RBD, z „hundreds of enterprise-class SSDs” w każdym regionie i trzykrotną replikacją między serwerami i szafami OVHcloud „Persistent storage for virtual machines is ensured by Ceph RADOS Block Device” w On-Prem Cloud Platform Proxmox Dostarcza Cepha jako wbudowaną hiperkonwergentną pamięć masową w Proxmox VE CERN wart jest bliższego spojrzenia, bo to najbardziej szczegółowy publiczny opis, jaki ktokolwiek opublikował. Z wystąpienia Enrico Bocchiego w CERN IT z września 2024:\nCeph w CERN-ie, według zastosowania Pojemność surowa Klastry Bloki: OpenStack Cinder/Glance, HDD, 3 repliki 25,1 PB 5 Bloki: flash, EC 4+2 976 TB 2 System plików: OpenStack Manila, K8s/OKD, HPC, HDD, 3 repliki 13,4 PB 5 System plików: flash, 3 repliki 1,7 PB 4 Obiekty: S3, Swift, kopie zapasowe, HDD, EC 4+2 28,2 PB 2 Obiekty: wiele lokalizacji, EC 4+2 3,6 PB 1 EC 4+2 to erasure coding, cztery fragmenty danych na dwa fragmenty parzystości. HPC to obliczenia wysokiej wydajności, K8s to Kubernetes, a OKD to jego dystrybucja upstreamowa. Liczby to pojemność surowa, przed narzutem replikacji i kodowania.\nDziewiętnaście klastrów produkcyjnych, prowadzonych według zadeklarowanej zasady „don\u0026rsquo;t put all your eggs in the same basket”, i pięć kolejnych wchodzących do nowego centrum danych. Historia usługi jest cichą reklamą tego oprogramowania: 300 TB proof of concept w 2013, 3 PB w produkcji dla RBD do grudnia, rozbudowa z 3 PB do 6 PB bez przestoju w 2016, S3 i CephFS w produkcji w 2018, cały klaster CephFS fizycznie przeniesiony bez przestoju w 2022, kernelowy RBD w produkcji w 2023.\nTo, co Ceph niesie w CERN-ie, mówi najwięcej: GitLab, OpenStack, OpenShift, Kubernetes, Harbor, Jenkins, Grafana, Kafka, OpenSearch, InfluxDB, HTCondor, Slurm, Jupyter, Spark, Zenodo, Indico oraz wirtualizacja NFS, AFS i CVMFS. Ceph nie jest tam pobocznym eksperymentem. To podłoga, na której stoi reszta budynku.\nI liczba dla całej społeczności, z ogłoszenia wydania Squid przez samą Linux Foundation: 1 eksabajt danych w ponad 3000 klastrów Cepha.\nTen eksabajt to podłoga, nie suma Tu warto się zatrzymać, bo to zmienia sposób czytania każdej liczby o adopcji Cepha.\nTelemetria Cepha jest opt-in. Zostajesz policzony tylko wtedy, gdy ktoś uruchomi ceph telemetry on --license sharing-1-0. Każdy, kto tego nigdy nie zrobił, jest niewidoczny, a w praktyce to większość ludzi, bo nie jest to ustawienie domyślne i nic cię o to nie męczy.\nTeraz dołóż Proxmoxa. Proxmox VE dostarcza Cepha jako swoją opcję hiperkonwergentnej pamięci masowej: trzy węzły, kilka kliknięć w interfejsie webowym, pveceph pod maską i masz klaster Cepha. Bardzo wielu ludzi używa Cepha w produkcji, w ogóle nie uważając się za użytkowników Cepha. Są użytkownikami Proxmoxa. Nigdy nie zapisali się na listę mailingową, nigdy nie napiszą referencji, nie włączyli telemetrii i nie ma ich w żadnej z powyższych tabel.\nKażda mała firma hostingowa, dostawca usług zarządzanych, wydział uczelni, homelab, który po cichu przeszedł do produkcji, i trzywęzłowy klaster biurowy w tej kategorii to prawdziwe wdrożenie Cepha, którego nie liczy żadna liczba w tym wpisie. To samo dotyczy każdego, kto dostaje Cepha przez Rooka na Kubernetesie albo wewnątrz urządzenia dostawcy, które nigdy nie mówi, co ma pod pokrywą.\nWięc 1 EB w 3000 klastrów to liczba z klastrów, które same podniosły rękę. Rzeczywista baza instalacji jest sporo większa i nikt nie wie, o ile. To dziwne położenie dla oprogramowania infrastrukturalnego, bo zwykle dostawca wie, skoro musiałeś kupić licencję, i jest bezpośrednim skutkiem tego, że ta rzecz jest za darmo.\n478 organizacji włożyło kod Log commitów jest zarazem listą tych, którzy używają Cepha na dużą skalę, bo firma, która wysyła poprawki, prawie zawsze jest firmą, która tę rzecz uruchamia. W ciągu dekady pojawia się 478 różnych domen e-mail organizacji, 140 z nich z co najmniej pięcioma commitami.\nNazwy, pogrupowane, z samego logu gita:\nProducenci układów, dysków i sprzętu: Intel, Samsung, Seagate, SanDisk, Western Digital, Quantum, Mellanox, Lenovo, Fujitsu, Hitachi, Nokia, Arm, Linaro, HiSilicon, Synology, 45Drives Chmury i hostingi: DigitalOcean, OVH, IONOS, Akamai, Linode, Hetzner, Binero, City Network, iland, 11:11 Systems, Vexxhost, StackHPC, Canonical, Deutsche Telekom, China Telecom, China Unicom, China Mobile, Chunghwa Telecom Użytkownicy internetowi i korporacyjni: Bloomberg, eBay, GoDaddy, Flipkart, Wikimedia, Naver, LINE, Kakao, SK Telecom, Alibaba, Tencent, Baidu, ByteDance, Kuaishou, UnionPay, SenseTime, Sangfor, Micro Focus, MITRE, Igalia, Walmart Labs Dostawcy pamięci masowej i integratorzy: SUSE, Mirantis, XSKY, EasyStack, Inspur, UMCloud, Kylin, UnitedStack, H3C, Xtao, Eisoo, Cloudin, Istuary, ProphetStor, SoftIron, Bigtera, Cloudbase Solutions, Digiware, Bisect, 42on, croit, Clyso, Proxmox, DreamHost Nauka i edukacja: CERN, Instytut Oprogramowania Chińskiej Akademii Nauk (ISCAS), Pennsylvania State University, Boston University, University of Michigan, Carnegie Mellon University, a także członkowie Associate Foundation: FAS Research Computing na Harvardzie, Greek Research and Technology Network (GRNET), Monash University, South African Radio Astronomy Observatory (SARAO), Science and Technology Facilities Council (STFC), SWITCH, SLAC na Stanfordzie oraz Center for Research in Open Source Software (CROSS) na UC Santa Cruz Nie wszyscy z nich są aktualni i właśnie o to chodzi w patrzeniu na dekadę. Widać pełny zakres tych, którzy oparli się na tym oprogramowaniu na tyle mocno, żeby odesłać poprawki, i jak szeroko się to rozkłada.\nGracze, którzy deklarują wsparcie dla Cepha, a to, co faktycznie dostarczają Członkostwo w Foundation z podziałem na poziomy to miejsce, gdzie firmy deklarują wsparcie. Poziomy nie odpowiadają pracy inżynierskiej, a najlepiej pokazują to trzej członkowie Diamond cytowani we własnym ogłoszeniu wydania Ceph Squid przez Linux Foundation.\nCzłonek Diamond Co powiedział publicznie Commity, ostatnie 3 lata IBM: Vincent Hsu, IBM Fellow, CTO i VP IBM Storage „reinforce our trust in Ceph and our commitment to open source” 11 091 (z Red Hatem) Bloomberg: Matthew Leonard, Head of Storage Engineering „Our Diamond Membership is a symbol of our commitment to the future of Ceph and its growing community” 220 45Drives: Doug Milburn, współzałożyciel i prezes „our unwavering commitment to open-source excellence” 0 Za deklaracją IBM stoi największe zaangażowanie inżynierskie w historii projektu, i to z nawiązką. Za deklaracją Bloomberga stoi 220 commitów, miejsce w Steering Committee i produkcyjne środowisko 8 PB, o którym otwarcie mówią: poważny wkład pod każdym względem. 45Drives buduje i sprzedaje urządzenia z Cephem i finansuje wspólną infrastrukturę; to też jest prawdziwy wkład, tyle że nie w postaci kodu.\nPełny obraz według poziomów:\nCzłonek Poziom Commity, ostatnie 3 lata IBM Diamond 11 091 (z Red Hatem) Bloomberg Diamond 220 CLYSO Diamond 153 45Drives Diamond 0 Western Digital Platinum 0 42on Gold 1 croit Silver 157 DigitalOcean Silver 13 Canonical Silver 9 OVHcloud, Sony, OSNexus, CloudFerro Silver po 0 I w drugą stronę: czterech z siedmiu największych kontrybutorów w ogóle nie jest członkami:\nKontrybutor Commity Członek? QiAnXin 597 Nie IONOS 498 Nie Intel 279 Już nie Proxmox 249 Nie Poziom w Foundation wobec commitów: pieniądze i kod nie mają związku Ile płacą, wobec tego, co napisali Poziom w Ceph Foundation a commity do main, od 2023-08-27 do 2026-08-27 200 400 600 commitów DIAMOND IBM, z Red Hatem 11 091 Bloomberg 220 CLYSO 153 45Drives zupełnie nic PLATINUM Western Digital zupełnie nic GOLD 42on 1 SILVER croit 157 DigitalOcean 13 Canonical 9 sześciu innych członków Silver zupełnie nic, cała szóstka NIE SĄ CZŁONKAMI QiAnXin 597 IONOS 498 Proxmox 249 Cafe Bazaar 118 Sześciu członków Silver bez niczego: OVHcloud, Sony Interactive Entertainment, OSNexus, CloudFerro, Intelligent Systems, LongVan. Dwóch z czterech członków najwyższego poziomu nic nie napisało. Trzeci i piąty co do wielkości kontrybutor Cepha w ogóle nie są członkami. Poziom w Foundation wobec commitów z ostatnich trzech lat. Sponsoring i inżynieria to różne rodzaje wkładu: poziomy mierzą pierwszy, nie drugi. Nie czytam tego jako hipokryzji i wolałbym, żeby nikt inny też tak tego nie czytał. Pieniądze Foundation płacą za upstreamowe laboratorium testowe, za ciągłą integrację, która bramkuje każdy pull request, za Cephalocon i za ludzi pracujących dla społeczności: rzeczy, bez których Ceph by się nie obył, i rzeczy, które producent sprzętu sprzedający urządzenia z Cephem słusznie finansuje. Western Digital, DigitalOcean i OVHcloud sprzedają produkty, które opierają się na Cephie, i dokładają się do dobra wspólnego, które go utrzymuje. To uczciwa wymiana.\nPraktyczny wniosek jest wąski: czytaj stronę członków jako listę tych, którzy finansują wspólną infrastrukturę, a log commitów jako listę tych, którzy piszą kod. To różne pytania z różnymi odpowiedziami i obie odpowiedzi się przydają.\nZałożyciele, osiem lat później Foundation wystartowała 12 listopada 2018. Skład jest w dokumentach dwukrotnie, w ogłoszeniu Linux Foundation i w wersji agencyjnej, i oba się dokładnie zgadzają: trzynastu członków Premier, dziesięciu General, ośmiu Associate.\nW porównaniu z dzisiejszą stroną członków: czterech z trzynastu członków Premier wciąż figuruje pod własną nazwą (Canonical, DigitalOcean, OVHcloud, Western Digital), pięciu, jeśli liczyć IBM jako miejsce Red Hata. Z dziesięciu członków General zostało dwóch: croit i Intelligent Systems.\nA wszystkich ośmiu członków Associate wciąż tam jest. Ich pełne nazwy w brzmieniu z ogłoszenia założycielskiego:\nBoston University Information Services and Technology CERN, Europejska Organizacja Badań Jądrowych FAS Research Computing, Harvard University The Greek Research and Technology Network (GRNET) Monash University, Melbourne The South African Radio Astronomy Observatory (SARAO) The Science and Technology Facilities Council (STFC) w UK Research and Innovation (UKRI) The Center for Research in Open Source Software (CROSS) na University of California, Santa Cruz, gdzie Ceph w ogóle powstał, jako praca doktorska Sage\u0026rsquo;a Weila pod okiem Scotta Brandta, Ethana Millera, Darrella Longa i Carlosa Maltzahna; oryginalny artykuł z 2006 wciąż leży na ceph.io Osiem na osiem, przez osiem lat.\nPłacący członkowie się zmieniali. Uczelnie i laboratoria badawcze, które dołączają bez opłat, wytrwały osiem lat i żadna nie odeszła. To ludzie, którzy używają Cepha na dużą skalę do nauki, i ani jeden się nie wycofał.\nDokumentacja Quincy wciąż zawiera listę członków z około 2022, co daje punkt w połowie drogi: dwunastu z dwudziestu czterech członków komercyjnych z tamtego zrzutu już odeszło, dokładnie połowa. Rytm Cepha w tym okresie się nie zmienił.\nO croit, skoro to mój pracodawca i jeden z tych, którzy zostali. croit GmbH dołączył jako założycielski członek General pierwszego dnia i osiem lat później wciąż jest członkiem: dłużej, niż wytrwały Intel, SUSE, ZTE, Arm czy Samsung. To jednocześnie 0,3% commitów z dekady. Trwanie to nie to samo co budowanie i nie zamierzam przebierać długowieczności za wkład dla firmy, która mi płaci.\nPodręcznik to jedna osoba i płaci za nią Foundation Wiersz 7 tabeli z dekady to „Ceph Foundation”, 691 commitów. To prawie dokładnie jeden człowiek.\nZac Dover ma 1060 commitów w dekadzie, prawie wyłącznie dokumentacja. W ostatnich trzech latach odpowiada za 28,4% wszystkiego w doc/: jest największym pojedynczym kontrybutorem, przed Red Hatem i przed IBM. Jego historia adresów to @gmail.com, potem @clyso.com, potem @proton.me, przypisana we własnych zapisach Cepha do Ceph Foundation.\ndoc/, ostatnie trzy lata Commity Udział Ceph Foundation 499 28,4% Brak widocznego pracodawcy 383 21,8% Red Hat 379 21,5% IBM 333 18,9% doc/ to jedyny katalog, w którym największym pojedynczym kontrybutorem nie jest ani Red Hat, ani IBM, i to widać. Podręcznik Cepha jest lepszy niż w większości oprogramowania infrastrukturalnego tej wielkości. Płacenie autorowi technicznemu, który nie odpowiada przed żadnym dostawcą, to najmądrzejsza rzecz, jaką Foundation robi z pieniędzmi.\nPojedyncze osoby wciąż mogą coś zmienić Najaktywniejsze osoby dekady, pogrupowane po nazwisku autora:\nOsoba Commity w dekadzie Pracodawca(y) Sage Weil 7517 Red Hat: twórca, odszedł w 2022 Kefu Chai 5538 Red Hat → Proxmox Casey Bodley 2472 Red Hat Patrick Donnelly 2330 Red Hat → IBM Jason Dillaman 1629 Red Hat: odszedł w 2021 Radosław Zarzyński 1607 Mirantis → Red Hat Samuel Just 1415 DreamHost → Inktank → Red Hat John Mulligan 1300 Red Hat Yingxin Cheng 1202 Intel Zac Dover 1060 Ceph Foundation Yehuda Sadeh 972 Red Hat → IBM → Ubiquiti Alfredo Deza 930 Red Hat: odszedł w 2019 Dwadzieścia jeden osób napisało połowę commitów dekady; dziewięćdziesiąt jeden napisało 80%. To normalne dla dużej bazy kodu w C++ i zarazem powód, dla którego pojedyncze osoby znaczą tu tak wiele.\nNajlepszy dowód, że drzwi są otwarte: piąte miejsce w ostatnich trzech latach to jeden inżynier z IONOS. Max Kellermann ma 498 commitów od 2024, więcej, niż Intel, Proxmox, Bloomberg, croit czy Clyso zdołały jako firmy, w src/mds, src/common, src/mon, src/tools, src/librbd, src/mgr i src/rgw. Odpowiada za 19,3% całej pracy nad metadanymi CephFS w tym okresie, ustępując tylko Red Hatowi.\nNikt go nie mianował. Przyszedł i zaczął naprawiać rzeczy, a trzy lata później jest jednym z najbardziej zapracowanych kontrybutorów projektu prowadzonego przez firmę z Fortune 50. Wciąż możesz wejść do Cepha i mieć znaczenie.\nProxmox to druga strona tego samego medalu: 249 commitów w ostatnich trzech latach, 241 z nich od Kefu Chaia od 30 września 2025. Proxmox przeszedł od zera do pierwszej dziesiątki kontrybutorów Cepha w jedenaście miesięcy, zatrudniając jednego dobrego inżyniera.\nRGW: tam, gdzie naprawdę jest praca Jeśli chcesz wiedzieć, dokąd idzie inżynieria Cepha, odpowiedź brzmi: do pamięci obiektowej, a powód jest prosty: RGW ma najdłuższą drogę do przejścia, zanim dorówna temu, z czym konkuruje.\nsrc/rgw to największy podsystem funkcjonalny Cepha w dekadzie: 6958 commitów, przed 5827 Crimsona, 4499 OSD, 3848 dashboardu, 2560 BlueStore i 2546 CephFS. To czterokrotność wysiłku włożonego w warstwę blokową. W ostatnich trzech latach dostał 1705 commitów, mniej tylko od Crimsona, a Crimson to przepisywanie od zera. W kodzie, który już jest wydawany, RGW to największy trwający program rozwoju funkcji w projekcie.\nS3 Amazona to ruchomy cel z ogromną powierzchnią API i co roku dochodzą w nim funkcje, których klienci potem oczekują od wszystkiego, co nazywa się zgodnym z S3. Więc RGW goni. Policz tematy commitów RGW z ostatnich trzech lat według obszaru funkcji, a kształt tej pogoni stanie się jasny:\nPraca nad RGW w ostatnich 3 latach Commity, które o tym wspominają Replikacja między lokalizacjami 94 Konta 94 IAM: zarządzanie tożsamością i dostępem 72 Polityki 71 Powiadomienia z bucketów 69 STS (tymczasowe poświadczenia) 67 Tematy 50 Role 47 Przywracanie 41 POSIX / brama systemu plików 40 Szyfrowanie po stronie serwera (SSE) 38 Wysyłanie wieloczęściowe 32 Cykl życia 16 KMS: usługa zarządzania kluczami 12 S3 Select 11 Sumy kontrolne 11 Przenoszenie do chmury 10 Wersjonowanie, CORS, blokada obiektów, logowanie bucketów, tagowanie 28 łącznie (Zliczenia słów kluczowych w 1705 tematach commitów, więc jeden commit może pojawić się w kilku wierszach: chodzi o rozkład, nie o dokładną sumę.)\nTo nie jest utrzymanie. To konta tożsamości, role i polityki, tokeny sesji, powiadomienia z bucketów i tematy, SSE-KMS, blokada obiektów, reguły cyklu życia, S3 Select, sumy kontrolne, warstwowanie do chmury i replikacja między lokalizacjami: lista funkcji AWS, budowana krok po kroku. Przeczytaj ostatnie tematy, a znajdziesz pracę nad weryfikacją podpisów SigV4, obsługę x-amz-content-sha256, presigned URL-e. Drobiazgowe szczegóły zgodności, takie, które mają znaczenie tylko dlatego, że czyjaś biblioteka kliencka oczekuje dokładnie zachowania Amazona i bez niego się wyłoży.\nTo także powód, dla którego RGW ma najbardziej zróżnicowaną listę kontrybutorów spośród dużych podsystemów. W dekadzie Red Hat to 64,3% całości, ale są tam też Bloomberg (8,6% w ostatnim okresie) i Cafe Bazaar (6,2%): firmy, które prowadzą duże magazyny obiektów w produkcji i naprawiają to, co je gryzie.\nJeśli rozważasz Cepha do zastosowań S3, to jest liczba, która powinna cię uspokoić. Dystans do Amazona to powód, dla którego RGW dostaje więcej uwagi niż cokolwiek innego w drzewie, a największy pojedynczy wysiłek inżynierski w projekcie jest wycelowany w jego zmniejszenie.\nRBD: stabilny kod, a nie upadek src/librbd to urządzenie blokowe Cepha: tego używa Proxmox, tego używa OpenStack Cinder, tego używa większość sterowników Container Storage Interface w Kubernetesie. Jeśli masz Cepha, to prawdopodobnie masz RBD. Jego wykres commitów wygląda tak:\nCommity RBD według lat: komponent przechodzi w tryb utrzymania Commity do\u0026#160;src/librbd, według lat Urządzenie blokowe Cepha, którego używają Proxmox, OpenStack Cinder i większość sterowników CSI Kubernetesa 0 100 200 300 400 431 2015 477 2016 258 2017 276 2018 209 2019 455 2020 165 2021 85 2022 49 2023 74 2024 45 2025 19 2026 Praca nad funkcjami w dużej mierze skończona Jason Dillaman napisał 281 z 455 commitów z 2020: trwały cache write-back i szyfrowanie, potem RBD przeszedł w tryb utrzymania. Rok 2026 sięga do 27 sierpnia. To nie upadek, tylko dojrzały komponent, który się utrzymuje, a nie przebudowuje. Commity do src/librbd w kolejnych latach. Ciężka praca nad funkcjami skończyła się około 2020, kiedy Jason Dillaman napisał 281 z 455 commitów tamtego roku, nad trwałym cache\u0026rsquo;em write-back i szyfrowaniem, a od tego czasu komponent przeszedł w tryb utrzymania. 159 commitów w ostatnich trzech latach, mniej więcej jeden tygodniowo, wobec 1705 w RGW i 1944 w Crimsonie.\nTak wygląda stabilny kod i to jest zaleta. Pamięć blokowa na RADOS to rozwiązany problem. RBD od lat ma snapshoty, klony, warstwy, mirroring, szyfrowanie, migrację na żywo i trwały cache, i nie ma przed nim nic takiego jak uciekające do przodu API S3, bo to, czego hiperwizor chce od urządzenia blokowego, prawie się nie zmieniło przez dekadę. Praca nad funkcjami jest skończona. Zostaje utrzymanie: poprawki błędów, nadążanie za jądrem, od czasu do czasu wygrana w wydajności.\nZestaw to celowo z RGW. RGW dostaje dziesięć razy więcej commitów, bo ma do przejścia dziesięć razy dłuższą drogę. RBD nie ma, więc nie dostaje. Komponent, który przestał zmieniać kształt, to nie komponent, który marnieje, a gdyby librbd nagle dostawał 400 commitów rocznie, chciałbym wiedzieć, co poszło nie tak, bo to on trzyma dyski moich maszyn wirtualnych.\nJedyne, co warto wiedzieć, to że ekspertyza siedzi w bardzo niewielu głowach. RBD to mniej więcej Ilya Dryomov, który pilnuje obu końców: upstreamowego Cepha i sterownika rbd w jądrze Linuksa. To chyba najlepszy możliwy układ, a i tak głęboki na jedną osobę. Co mówi ci, kogo pytać, a nie czy wdrażać.\nGdzie leży praca To samo przypisanie w całym drzewie, dekada i ostatni okres obok siebie:\nObszar Lider dekady Udział Lider ostatnich 3 lat Grupa IBM, ostatnie 3 lata src/mds: metadane CephFS Red Hat 78,5% Red Hat 56,4% 73,9% src/osd: obecny OSD Red Hat 69,7% Red Hat 56,9% 84,0% src/cephadm: wdrażanie Red Hat 66,8% Red Hat 73,7% 92,0% src/rgw: S3 Red Hat 64,3% Red Hat 56,1% 66,7% src/librbd: bloki Red Hat 61,1% Red Hat 76,7% 83,0% src/crimson: następny OSD Red Hat 52,1% Red Hat 42,0% 45,4% doc/: podręcznik Red Hat 45,6% Ceph Foundation 28,4% 40,5% src/os/bluestore: silnik Red Hat 36,9% IBM 46,5% 54,2% src/pybind/mgr/dashboard SUSE 36,6% IBM 57,5% 87,8% Dwie rzeczy da się z tego odczytać. Własność: im bliżej części, które dostawca sprzedaje (narzędzia do wdrażania, GUI), tym bardziej to jedna firma; im dalej (OSD następnej generacji, silnik pamięci, podręcznik), tym większy tłok, i tam właśnie jest miejsce, jeśli chcesz wnosić wkład gdzieś, co nie ma jeszcze właściciela.\nWolumen: według liczby commitów w dekadzie ranking to RGW 6958, Crimson 5827, OSD 4499, dashboard 3848, monitory 2896, BlueStore 2560, CephFS 2546, RBD 1750, cephadm 1685. Wysiłek idzie za odległością do mety, nie za udziałem we wdrożeniach. RGW jest pierwszy, bo do zgodności z S3 jest daleko; RBD jest blisko końca, bo pamięć blokowa jest skończona.\nBlueStore zasługuje na osobne zdanie. To silnik, który zapisuje twoje bajty na dysk, a w ostatnich trzech latach drugim największym kontrybutorem po IBM jest croit z 18,1%: Igor Fedotov, jego główny opiekun, w firmie liczącej kilkadziesiąt osób. To mój pracodawca, więc oceniaj mnie odpowiednio. Teza się broni niezależnie od tego, kto podpisuje mu czeki: mała firma może zatrudniać opiekuna jednego z najbardziej krytycznych dla bezpieczeństwa danych komponentów w całym stosie, a projekt na tym zyskuje.\nKto trzyma przycisk merge Policzyłem też merge\u0026rsquo;e: 7893 w ostatnich trzech latach, przypisane temu, kto nacisnął przycisk:\nOrganizacja Merge\u0026rsquo;e Udział Red Hat 3892 49,3% IBM 1597 20,2% Ceph Foundation 524 6,6% Proxmox 202 2,6% Intel 136 1,7% croit 76 1,0% 69,5% merge\u0026rsquo;y wobec 68,6% commitów. Bramka i praca mają ten sam kształt. To nie jest sytuacja, w której jedna firma pisze kod, a inna kontroluje, co trafia do drzewa, czyli tryb awarii, którego w korporacyjnym open source naprawdę warto się bać. Ceph go nie ma.\nSkąd się biorą liczby Wszystko da się odtworzyć. Ceph utrzymuje w repozytorium własne przypisanie kontrybutorów do organizacji, .organizationmap, obok .mailmap, .peoplemap i .githubmap, i dokumentuje polecenie, którym się go używa.\ngit clone --filter=blob:none --no-checkout https://github.com/ceph/ceph.git cd ceph git show HEAD:.organizationmap \u0026gt; /tmp/orgmap # Ceph\u0026#39;s own documented method, over the last ten years git log --no-merges --since=2016-08-27 --until=2026-08-27 --pretty=\u0026#39;%aN \u0026lt;%aE\u0026gt;\u0026#39; \\ | git -c mailmap.file=/tmp/orgmap check-mailmap --stdin \\ | sort | uniq -c | sort -rn | head -30 # the maintainer-to-employer mapping, straight from the repo git show HEAD:doc/governance.rst | sed -n \u0026#39;/^.. _csc:/,/^\\.\\. _ctl:/p\u0026#39; \\ | grep -oE \u0026#39;\\* [^\u0026lt;]+\u0026lt;[^\u0026gt;]+\u0026gt;\u0026#39; Uruchom pierwsze, a dostaniesz mniejsze IBM niż u mnie, bo oficjalna mapa jest nieaktualna. Nie zna aainscow@uk.ibm.com, bill_scales@uk.ibm.com, ylifshit@ibm.com, rkachach@ibm.com, leonid.usov@ibm.com ani maszynowo generowanych nazw hostów li-*.ibm.com. Użycie własnych narzędzi projektu zaniża koncentrację.\nMoje poprawki na wierzchu mapy:\nKażdy adres kończący się na ibm.com, łącznie z uk.ibm.com, il.ibm.com, in.ibm.com, de.ibm.com i formami li-*.ibm.com, to IBM. redhat.com i inktank.com to Red Hat, pokazany osobno od IBM, ale od października 2022 to ten sam zespół. Siedem prywatnych adresów przypisano pracodawcom tam, gdzie dowodzi tego samo repozytorium: sage@newdream.net (Red Hat), idryomov@gmail.com (wpisany jako idryomov@redhat.com we własnym doc/governance.rst Cepha), max.kellermann@gmail.com (IONOS), xxhdx1985126@gmail.com (QiAnXin), yuvalif@yahoo.com (IBM), yingxincheng@gmail.com (Intel), shraddha.agrawal000@gmail.com (IBM). Wszystko inne zachowuje swoją domenę. Adresy prywatne zostają jako „brak widocznego pracodawcy”, zamiast zgadywać. Zastrzeżenia, których nie umiem usunąć. Commity to zgrubna jednostka: staranny refaktoring na 900 linii liczy się raz, czterdzieści poprawek literówek liczy się czterdzieści razy, a nic tu nie jest ważone. Domeny e-mail są niedoskonałe: 9,0% dekady nie pokazuje pracodawcy, a niektórym z tych osób na pewno płaci się za pisanie Cepha. Przegląd kodu jest w gicie niewidoczny: Ceph robi przeglądy w pull requestach na GitHubie, a nie w trailerach Reviewed-by:, których znalazłem dwanaście w trzy lata; najważniejsza bramka w projekcie nie zostawia śladu w klonie. Liczby dotyczą tylko main, więc backporty do gałęzi stabilnych nie są liczone, co zaniża pracę utrzymaniową. A każda liczba o adopcji jest tu podłogą, z powodu telemetrii opisanego wyżej.\nTam, gdzie teza opiera się na dacie, użyłem daty autora; tam, gdzie opiera się na czyimś pracodawcy, adresu, który ta osoba sama opublikowała.\nCo z tego wynoszę Ceph to projekt finansowany przez korporację z prawdziwą społecznością na obrzeżach, i tak jest przez całe jego komercyjne życie. To nie przytyk. Ktoś musi płacić inżynierom za pielęgnowanie rozproszonej pamięci masowej w tej skali, i przez dziesięć lat ktoś płacił.\nNie będę udawał, że Ceph jest typowy, bo sprawdziłem. Statystyki LWN dla Linuksa 6.15 notują 2068 deweloperów od co najmniej 195 pracodawców, a największa pojedyncza firma, Intel, ma 12,0% zestawów zmian. Ceph to 1718 osób w dekadę z jedną firmą na 67,0%. Jądro rozkłada swoją zależność od korporacji na dziesiątki firm. Ceph upycha ją w jednej. To prawdziwa różnica, a „wszyscy tak robią” byłoby leniwym sposobem, żeby ją zbyć.\nAle oto, co dziesięć lat danych mówi o tym, czy to ma znaczenie, i to lepsza odpowiedź, niż jakiej szukałem:\nCeph jest twardy tam, gdzie to się liczy. Stracił człowieka, który go napisał i robił jedną piątą pracy. Stracił SUSE, swojego drugiego największego kontrybutora i autora dashboardu. Stracił ZTE, Mirantisa, XSKY, EasyStack, Inspur i połowę założycielskich członków Foundation. Tempo commitów jest dziś w granicach dwóch procent od zeszłorocznego. Dwadzieścia lat inżynierii pamięci masowej siedzi w tym drzewie na LGPL-2.1 albo LGPL-3 i nikt nie może go zamknąć, przelicencjonować ani zabrać z powrotem.\nOpiekunowie są przenośni. Fedotov prowadzi BlueStore przez trzech pracodawców. Kefu Chai przeszedł z Red Hata do Proxmoxa i robił dalej. Sadeh napisał RGW w DreamHost i w czerwcu tego roku zmienił swój adres w komitecie na Ubiquiti. Kiedy firma odchodzi, jej ludzie często zostają.\nDrzwi są naprawdę otwarte. Jeden inżynier z IONOS został piątym największym kontrybutorem w trzy lata. Proxmox wszedł do pierwszej dziesiątki dzięki jednemu zatrudnieniu. Firma od bezpieczeństwa bez żadnego produktu storage\u0026rsquo;owego buduje jedną piątą OSD następnej generacji. 478 organizacji przysłało poprawki. Jeśli chcesz wejść, nic cię nie zatrzymuje poza samą robotą.\nBaza użytkowników jest dużo większa, niż ktokolwiek potrafi zmierzyć. Eksabajt w 3000 klastrów to tyle, ile podniosło rękę przez telemetrię opt-in, a sam CERN to dziewiętnaście klastrów produkcyjnych. Każdy hiperkonwergentny klaster Proxmoxa, każde wdrożenie Rooka, każde urządzenie dostawcy z Cephem pod pokrywą to prawdziwe użycie produkcyjne, którego nie liczy żadna opublikowana liczba. Oprogramowanie wdrożone tak szeroko i tak po cichu nie znika ot tak.\nWysiłek idzie tam, gdzie jest luka, nie tam, gdzie są użytkownicy. RGW to największy program w projekcie, 6958 commitów w dekadzie, bo doganianie Amazona w S3 to długi pościg za ruchomym celem. RBD jest blisko końca, bo pamięć blokowa jest gotowa. Niska liczba commitów w dojrzałym komponencie to skończona robota, a nie ostrzeżenie, a odczytanie tych dwóch liczb na odwrót to najłatwiejszy błąd przy takich danych. Sam go zrobiłem przy pierwszym podejściu.\nOceniaj dostawców po commitach, nie po poziomach. Historia jest publiczna, a cztery linijki shella pokażą ci, kto naprawdę opiekuje się tym, od czego zaraz będziesz zależeć. Zamknięta pamięć masowa nie da ci tego za żadne pieniądze.\nWięc jeśli rozważasz Cepha: koncentrację warto znać, kiedy planujesz pięć lat do przodu, ale nie jest powodem, żeby się wstrzymywać. Dojrzała warstwa blokowa. Największy wysiłek inżynierski projektu wycelowany prosto w zgodność z S3. Przyszły OSD budowany przez trzy firmy naraz. Podręcznik lepszy niż w większości. Governance, które przetrwało utratę założyciela. Dekada przeglądów kodu robionych otwarcie, praca 478 organizacji w drzewie i licencja, przy której najgorszy scenariusz to fork, a nie ślepa uliczka. Na podstawie 69 613 commitów ten projekt jest w dobrym zdrowiu.\nI policz to sam, jeśli mi nie wierzysz. Polecenia są wyżej, dane są publiczne, a nic w tym wpisie nie wymaga brania na wiarę, ani mojej, ani niczyjej.\nŹródła Źródła projektu Ceph\n\u0026ldquo;Ceph: A Scalable, High-Performance Distributed File System\u0026rdquo; — Weil, Brandt, Miller, Long i Maltzahn, OSDI \u0026lsquo;06, listopad 2006. Artykuł, od którego zaczął się Ceph ceph/ceph na GitHubie — repozytorium, z którego pochodzi każda liczba commitów; .organizationmap, .mailmap, .peoplemap, .githubmap, doc/governance.rst i COPYING są w drzewie Ceph governance — skład Executive Council i Ceph Steering Committee, z adresami Ceph component team — liderzy komponentów Ceph Foundation members — obecni członkowie według poziomów Ceph Foundation documentation — struktura poziomów i bezpłatne członkostwo Associate Ceph Foundation members, dokumentacja Quincy — członkowie według stanu z około 2022 Ceph telemetry module — potwierdza, że telemetria jest opt-in \u0026ldquo;Red Hat\u0026rsquo;s Ceph team is moving to IBM\u0026rdquo;, 4 października 2022 Ceph Community Newsletter, November 2021 — Sage Weil się wycofuje Ceph Foundation i Linux Foundation\nIntroducing Ceph Squid — cytowane wyżej wypowiedzi członków Diamond oraz liczby 1 eksabajta i ponad 3000 klastrów The Linux Foundation Launches Ceph Foundation, 12 listopada 2018 — skład członków założycieli Ten sam komunikat przez PRNewswire — użyty do niezależnego potwierdzenia składu Wdrożenia\n\u0026ldquo;Ceph: Infrastructure Storage at CERN\u0026rdquo; — Enrico Bocchi, CERN IT Storage, 27 września 2024. Z tej prezentacji pochodzi każda liczba o CERN-ie powyżej Why We Chose Ceph to Build Block Storage — DigitalOcean \u0026ldquo;We Added 6 Petabytes Of Ceph Storage and No Clients Noticed\u0026rdquo; — Matthew Leonard i Joseph Mundackal, Bloomberg, Cephalocon 2020 Ceph na Wikitech — pięć produkcyjnych klastrów Wikimedia Foundation Ceph RBD block storage — własna dokumentacja OVHcloud Deploy Hyper-Converged Ceph Cluster — Proxmox VE dostarczający Cepha jako hiperkonwergentną pamięć masową Firmy\n\u0026ldquo;SUSE says tschüss to Ceph-based enterprise storage product\u0026rdquo;, The Register, 25 marca 2021 — SUSE Enterprise Storage skasowany na rzecz Longhorna Qi An Xin files for $634m IPO, Global Venturing, 13 maja 2020 — początki QiAnXin w Qihoo 360, udział CEC i struktura akcjonariatu Porównanie\nDevelopment statistics for the 6.15 kernel, LWN.net — liczby deweloperów i pracodawców jądra użyte do porównania koncentracji ","permalink":"https://blogs.damiendye.uk/pl/ceph/who-actually-writes-and-uses-ceph/","summary":"Policzyłem każdy commit w gałęzi main Cepha z ostatnich dziesięciu lat, 69 613 commitów od 1718 osób z 478 organizacji, przypisałem wszystkich 38 członków Steering Committee do ich pracodawców i zebrałem publicznie zadeklarowane wdrożenia. Wychodzi projekt, który przyjął stratę swojego twórcy i drugiego największego kontrybutora bez zgubienia rytmu i dziś wciąż wydaje w tym samym tempie.","title":"Kto naprawdę pisze i używa Cepha"},{"content":"Tym razem host istnieje. Tylko na złym hiperwizorze Ostatnio problem polegał na tym, że maszyna nazwana w inwentarzu jeszcze nie istniała: ani IP, ani SSH, ani Pythona, nic, z czym można się połączyć. Każde zadanie trzeba było delegować gdzie indziej.\nMigracja z VMware odwraca to i nie zmienia niczego. Maszyna istnieje, działa, ludzie z niej korzystają. A ty i tak nigdy się z nią nie łączysz. To nazwa i worek zmiennych opisujących coś, co trzeba odbudować gdzie indziej. Każde zadanie nadal działa na węźle sterującym, tyle że po drugiej stronie są teraz dwa API zamiast jednego.\nSłowo o tym, czym to jest. Ten wpis to projekt i playbook, a nie opowieść z frontu. Nie puściłem go jeszcze od początku do końca na produkcyjnym środowisku. Wszystko, co niżej mówię o zachowaniu modułów, wyczytałem z dostarczanego kodu i sprawdziłem, a tam, gdzie twierdzenie pochodzi ze źródeł, a nie z uruchomienia, mówię to wprost. Kiedy zrobię nim prawdziwą migrację, liczby i niespodzianki dostaną własny wpis.\nWersje, na których to sprawdzałem:\n$ ansible --version | head -1 ansible [core 2.20.7] $ ansible-galaxy collection list | grep -E \u0026#39;vmware|proxmox\u0026#39; community.proxmox 1.6.0 community.vmware 6.2.1 vmware.vmware 2.9.0 Poniższe fragmenty są wycięte z jednego playbooka: migrate.yml, dynamicznego inwentarza vSphere w inventory/vmware.vms.yml i jednego group_vars/all.yml. Nazwy centrum danych, węzłów i magazynów uogólniłem dla czytelności.\nKształt roboty Pięć kroków, a kosztuje tylko ostatni.\ngoście działają, nic nie jest zagrożone przestój rozpoznanie odczyt rozproszonych portgroup i ich tagów VLAN sdn jedna strefa VLAN, jeden VNet na VLAN w Proxmox budowa skorupy bez dysków, dobre CPU, RAM, firmware i MAC-i przeniesienie storage vMotion VMDK-ów na NFS, w trakcie pracy przełączenie wyłączenie, import dysków, kolejność rozruchu i start gościa Wszystko, co odwracalne, dzieje się, zanim cokolwiek zostanie wyłączone Wolna część to przeniesienie i nie kosztuje żadnego przestoju. Gdy otwiera się okno, dyski już są na magazynie montowanym przez Proxmox, więc przełączenie to lokalny import, a nie kopia. Skorupę bez dysku tanio usunąć, więc błąd przed przełączeniem kosztuje tylko czas. Porzucenie migracji w połowie zostawia każdego gościa działającego na VMware, nietkniętego. Wszystko, co odwracalne, dzieje się najpierw. Wolny etap jest darmowy, a drogi jest krótki, bo do tego czasu dyski są już tam, gdzie mają być. Kolejność to cały projekt. Rozpoznanie niczego nie zmienia. Budowa sieci zmienia tylko Proxmox. Budowa skorup zmienia tylko Proxmox, a skorupę bez dysku tanio usunąć. Przenoszenie dysków jest wolne, ale odbywa się na żywo. Dopiero ostatni play cokolwiek wyłącza.\nOdejdź w połowie, a każdy gość nadal działa na VMware, nietknięty.\nDwie kolekcje, a jedna z nich idzie na emeryturę Potrzebujesz obu, i to nie z powodu, który byś zgadł.\ncollections: - name: community.vmware version: \u0026#34;\u0026gt;=6.2.1\u0026#34; - name: vmware.vmware version: \u0026#34;\u0026gt;=2.5.0\u0026#34; - name: community.proxmox version: \u0026#34;\u0026gt;=1.6.0\u0026#34; community.vmware to stara, szeroka kolekcja i właśnie jest rozbierana. Jej MANIFEST.json deklaruje {\u0026quot;vmware.vmware\u0026quot;: \u0026quot;\u0026gt;=2.5.0\u0026quot;} jako twardą zależność, więc instalacja pierwszej ściąga drugą, czy o to prosiłeś, czy nie. Moduły przechodzą po jednym, a te, po które sięgasz przy migracji, są na różnych etapach tej przeprowadzki:\nvmware_dvs_portgroup_info: nadal tylko w community.vmware, a to on czyta twoje VLAN-y. vmware_vmotion: nadal tylko w community.vmware. vmware_guest_powerstate: przestarzały, usunięty w community.vmware 7.0.0. Użyj vmware.vmware.vm_powerstate. vmware_vm_inventory: przestarzały, usunięty w 7.0.0. Użyj vmware.vmware.vms. Ansible mówi ci o przestarzałych modułach przy pierwszym uruchomieniu, co jest z jego strony przyzwoite:\n[DEPRECATION WARNING]: community.vmware.vmware_guest_powerstate has been deprecated. Use vmware.vmware.vm_powerstate instead. This feature will be removed from collection \u0026#39;community.vmware\u0026#39; version 7.0.0. Nie ostrzega cię jednak o wtyczce inwentarza, bo wtyczki inwentarza są parsowane, zanim ta maszyneria w ogóle ruszy. Musisz sam pójść i przeczytać wtyczkę.\nW tym podziale jest trzecia pułapka. vmware.vmware.vm_portgroup_info wygląda dokładnie na to, czego chce migracja sieci: per VM, per karta, daje portgroup i VLAN. Ale jest zbudowany na ModuleRestBase i importuje com.vmware.vapi, co znaczy, że na węźle sterującym potrzebuje vSphere Automation SDK, a nie samego pyVmomi. Jego udokumentowany zwrot jest też nieaktualny: blok RETURN obiecuje name i vlan_id, a kod w rzeczywistości buduje portgroup_name i słownik vlan_info dla przypadku rozproszonego. Poszedłem inną drogą, opisaną niżej, i nie potrzebowałem żadnego z nich.\nInwentarz jest rozpoznaniem W tym playbooku nie ma playa „idź i znajdź VM-y”, bo zanim ruszy pierwsze zadanie, inwentarz już to zrobił, i to jednym zapytaniem property collectora, a nie pętlą po każdej VM.\n# inventory/vmware.vms.yml plugin: vmware.vmware.vms hostname: \u0026#34;{{ lookup(\u0026#39;ansible.builtin.env\u0026#39;, \u0026#39;VMWARE_HOST\u0026#39;) }}\u0026#34; username: \u0026#34;{{ lookup(\u0026#39;ansible.builtin.env\u0026#39;, \u0026#39;VMWARE_USER\u0026#39;) }}\u0026#34; password: \u0026#34;{{ lookup(\u0026#39;ansible.builtin.env\u0026#39;, \u0026#39;VMWARE_PASSWORD\u0026#39;) }}\u0026#34; validate_certs: false search_paths: - /Datacenter-1 properties: - name - config.name - config.uuid - config.guestId - config.firmware - config.template - config.hardware.numCPU - config.hardware.numCoresPerSocket - config.hardware.memoryMB - config.hardware.device - summary.runtime.powerState gather_compute_objects: true hostnames: [\u0026#39;name\u0026#39;] filter_expressions: - \u0026#39;config.template\u0026#39; Nazwa pliku ma znaczenie. verify_file wtyczki przyjmuje tylko pliki kończące się na vms.yml, vms.yaml, vmware_vms.yml lub vmware_vms.yaml. Nazwij go vcenter.yml, a po cichu przestaje być twoim inwentarzem.\nsearch_paths filtruje przed zapytaniem, a nie po nim. W dużym środowisku to różnica między sekundami a minutami. Inaczej niż filter_expressions, o którym dokumentacja mówi jasno: działa po zebraniu danych i „does not affect the speed of the inventory plugin”.\nfilter_expressions odrzuca hosta, gdy wyrażenie jest prawdziwe. config.template usuwa więc szablony, co za pierwszym razem czyta się na odwrót.\nA ważna linia to config.hardware.device, której nie ma na żadnej domyślnej liście właściwości. To cały inwentarz sprzętowy VM i niesie trzy rzeczy, bez których ta migracja nie ruszy: MAC każdej karty sieciowej, klucz dvportgroup, do którego każda karta jest podpięta, i ścieżkę datastore każdego dysku. Bez tego wracasz do pętli vmware_guest_info, jedna wymiana z serwerem na każdą VM.\nUrządzenia wracają jako JSON z zachowanym typem vSphere w _vimtype. Warto to wiedzieć, bo tak odróżniasz kartę sieciową od dysku. Sprawdziłem enkoder, zamiast zgadywać:\n{ \u0026#34;_vimtype\u0026#34;: \u0026#34;vim.vm.device.VirtualVmxnet3\u0026#34;, \u0026#34;macAddress\u0026#34;: \u0026#34;00:50:56:87:a5:9a\u0026#34;, \u0026#34;backing\u0026#34;: { \u0026#34;_vimtype\u0026#34;: \u0026#34;...DistributedVirtualPortBackingInfo\u0026#34;, \u0026#34;port\u0026#34;: { \u0026#34;_vimtype\u0026#34;: \u0026#34;vim.dvs.PortConnection\u0026#34;, \u0026#34;portgroupKey\u0026#34;: \u0026#34;dvportgroup-1014\u0026#34; } } } Blok compose może więc wyciągnąć niewygodne ścieżki do płaskich hostvars:\ncompose: vm_moid: moid vm_firmware: config.firmware vm_memory_mb: config.hardware.memoryMB vm_num_cpu: config.hardware.numCPU # A virtual NIC is any device with a MAC. Filtering on _vimtype does not # work cleanly here, because VMXNET3, E1000 and SR-IOV cards are all # different types with no shared substring. vm_nics: \u0026gt;- config.hardware.device | selectattr(\u0026#39;macAddress\u0026#39;, \u0026#39;defined\u0026#39;) | selectattr(\u0026#39;macAddress\u0026#39;, \u0026#39;ne\u0026#39;, None) | list # Disks are one exact type, so this one can match on it. vm_disks: \u0026gt;- config.hardware.device | selectattr(\u0026#39;_vimtype\u0026#39;, \u0026#39;eq\u0026#39;, \u0026#39;vim.vm.device.VirtualDisk\u0026#39;) | list Ta asymetria jest prawdziwa i łapie ludzi. Nie ma typu VirtualEthernetCard, do którego można dopasować. To abstrakcyjna klasa bazowa, a vCenter faktycznie podaje ci VirtualVmxnet3, VirtualE1000, VirtualE1000e, VirtualPCNet32 albo VirtualSriovEthernetCard. Nie mają wspólnego podciągu. Za to MAC ma tylko karta sieciowa.\nKażdy moduł info ukrywa pole, którego potrzebujesz To nić przewodnia całej roboty, a kiedy zobaczysz to trzy razy, zaczynasz sprawdzać każdą wartość domyślną, zanim napiszesz zadanie.\nvmware_dvs_portgroup_info ma sześć opcji show_*. Pięć ma domyślnie true. Szósta to show_vlan_info i domyślnie ma false.\nshow_mac_learning=dict(type=\u0026#39;bool\u0026#39;, default=True), show_network_policy=dict(type=\u0026#39;bool\u0026#39;, default=True), show_teaming_policy=dict(type=\u0026#39;bool\u0026#39;, default=True), show_uplinks=dict(type=\u0026#39;bool\u0026#39;, default=True), show_port_policy=dict(type=\u0026#39;bool\u0026#39;, default=True), show_vlan_info=dict(type=\u0026#39;bool\u0026#39;, default=False), Zostaw to w spokoju, a dostaniesz politykę uczenia MAC, politykę teamingu, kolejność uplinków i politykę portów dla każdej portgroupy w środowisku. Wszystko poza tagiem VLAN, który jest jedynym polem, o które migracja sieci naprawdę pyta. Zadanie jest więc na lewą stronę wobec tego, co napisałbyś odruchowo: włącz tę jedną rzecz, wyłącz pozostałe pięć.\n- name: Read the distributed portgroups community.vmware.vmware_dvs_portgroup_info: datacenter: \u0026#34;{{ vcenter_datacenter }}\u0026#34; show_vlan_info: true show_network_policy: false show_teaming_policy: false show_port_policy: false show_mac_learning: false show_uplinks: false register: dvs_pgs To nie jest jednorazowy wybryk. vmware.vmware.vms ma gather_compute_objects, które wypełnia cluster i esxi_host: domyślnie false. community.vmware.vmware_vm_info ma show_allocated, blok z CPU i pamięcią: domyślnie false. We wszystkich trzech przypadkach pole drogie do zebrania jest tym, którego migracja potrzebuje, a wartość domyślna chroni zastosowanie raportowe tylko do odczytu, a nie to, w którym jesteś.\nvlan_id ma trzy różne typy Potem dostajesz tagi VLAN i okazuje się, że nie mają jednego kształtu. Prosto z get_vlan_info:\nif isinstance(vlan_obj, vim...TrunkVlanSpec): ... return dict(trunk=True, pvlan=False, vlan_id=vlan_id_list) elif isinstance(vlan_obj, vim...PvlanSpec): return dict(trunk=False, pvlan=True, vlan_id=str(vlan_obj.pvlanId)) else: return dict(trunk=False, pvlan=False, vlan_id=str(vlan_obj.vlanId)) Portgroup dostępowa daje ci napis \u0026quot;100\u0026quot;. PVLAN daje napis. Trunk daje listę napisów, każdy w postaci \u0026quot;20\u0026quot; albo \u0026quot;20-30\u0026quot;. A każdy przełącznik rozproszony ma na sobie co najmniej jeden trunk, czy go zrobiłeś, czy nie, bo portgroup uplinków jest trunkiem niosącym \u0026quot;0-4094\u0026quot;.\n| int jest więc dla ciebie niedostępne, dopóki nie wyrzucisz dwóch pozostałych kształtów:\naccess_pgs: \u0026gt;- {{ dvs_pgs.dvs_portgroup_info | dict2items | map(attribute=\u0026#39;value\u0026#39;) | flatten | rejectattr(\u0026#39;vlan_info.trunk\u0026#39;) | rejectattr(\u0026#39;vlan_info.pvlan\u0026#39;) | rejectattr(\u0026#39;vlan_info.vlan_id\u0026#39;, \u0026#39;in\u0026#39;, [\u0026#39;0\u0026#39;, 0]) | list }} Trzy odrzucenia, w tej kolejności. Wylatują trunki, wylatują PVLAN-y, a potem portgroupy nietagowane, co załatwia też grupy uplinków i wszystko na VLAN 0.\nNie tłumaczę trunków ani PVLAN-ów automatycznie i postawiłbym się każdemu, kto by to robił. Trunk VMware lądujący na Proxmox potrzebuje albo strefy Q-in-Q, albo VNetu świadomego VLAN-ów, a który jest właściwy, zależy od tego, co gość spodziewa się widzieć. To decyzja, a nie mapowanie. Playbook je wypisuje i idzie dalej:\nTASK [Report what was found] ok: [localhost] =\u0026gt; { \u0026#34;msg\u0026#34;: \u0026#34;3 access portgroups -\u0026gt; [100, 200]. Not translated: [\u0026#39;dvs_001-uplink\u0026#39;] (trunks), [\u0026#39;isolated\u0026#39;] (PVLANs).\u0026#34; } Odwzorowanie VLAN-ów w SDN Jedna strefa VLAN przypięta do mostu, potem jeden VNet na każdy VLAN, z tagiem.\n- name: Create the VLAN zone community.proxmox.proxmox_zone: zone: \u0026#34;{{ sdn_zone }}\u0026#34; type: vlan bridge: \u0026#34;{{ sdn_bridge }}\u0026#34; mtu: \u0026#34;{{ sdn_mtu }}\u0026#34; state: present - name: Create one VNet per VMware VLAN community.proxmox.proxmox_vnet: vnet: \u0026#34;{{ sdn_vnet_prefix }}{{ item.vlan_info.vlan_id | int }}\u0026#34; zone: \u0026#34;{{ sdn_zone }}\u0026#34; tag: \u0026#34;{{ item.vlan_info.vlan_id | int }}\u0026#34; alias: \u0026#34;{{ item.portgroup_name }}\u0026#34; state: present loop: \u0026#34;{{ access_pgs | unique(attribute=\u0026#39;vlan_info.vlan_id\u0026#39;) }}\u0026#34; throttle: 1 Nazwy VNetów są krótkie i ograniczone, a nazwy portgroup VMware nie. Production-Web-Tier-VLAN100 to zupełnie zwyczajna nazwa portgroupy i niemożliwa nazwa VNetu. Nazwa jest więc generowana, v100 z tagu, a czytelny oryginał trafia do alias, gdzie pozostaje widoczny w interfejsie i w wyjściu pvesh. Wyprowadzanie nazwy z VLAN-u, a nie z portgroupy, oznacza też, że mapowanie da się odwrócić na oko pół roku później.\nDwie portgroupy na tym samym VLAN-ie zlewają się w jeden VNet. To poprawne, bo w VMware też były tą samą domeną rozgłoszeniową, ale powinieneś zobaczyć, że tak się dzieje, i to właśnie robi unique(attribute='vlan_info.vlan_id'). Dwie portgroupy o nazwach prod-web i prod-web-b, obie na VLAN 100, dają jeden v100.\nthrottle: 1 to nie ostrożność, tylko moduł. Każdy zapis SDN w community.proxmox bierze globalną blokadę klastra, stosuje oczekującą konfigurację i zwalnia blokadę: get_global_sdn_lock(), potem apply_sdn_changes_and_release_lock(). Puść je równolegle, a i tak ustawią się w kolejce na blokadzie; throttle po prostu przestaje udawać, że jest inaczej. Warto też wiedzieć, że wycofanie zmian przy błędzie zależy od wersji: moduł sprawdza is_lock_and_rollback_supported i na starszym PVE mówi ci, że nie mógł wycofać, zamiast to zrobić.\nJedna kosmetyczna rzecz, przez którą zwątpisz w siebie. W 1.6.0 proxmox_vnet wypluwa cały swój słownik parametrów jako ostrzeżenie Ansible przy każdym jednym tworzeniu:\nself.module.warn(f\u0026#34;{vnet_params}\u0026#34;) self.proxmox_api.cluster().sdn().vnets().post(**vnet_params) To linia debugowa, którą ktoś zostawił. To szum, a nie usterka.\nZbuduj skorupy, bez dysków Teraz maszyny wirtualne i tu projekt na siebie zarabia. Każda VM powstaje w Proxmox z właściwą liczbą CPU, właściwą pamięcią, właściwym firmware i właściwymi kartami sieciowymi na właściwych VLAN-ach. Bez żadnych dysków.\nSkorupa bez dysku powstaje szybko, usuwa się ją za darmo, a jak ktoś ją przypadkiem uruchomi, staje na monicie PXE. Możesz zbudować ich czterysta w jedno popołudnie, obejrzeć wynik, uznać, że jest zły, usunąć wszystko i zrobić od nowa. Nic nie zostało skopiowane, nic nie zostało wyłączone i nikt niczego nie zauważył.\nWartości pochodne są deklaracjami, a nie zadaniami. Ansible wylicza je leniwie względem hosta, który akurat jest w zasięgu, więc każda VM dostaje własne bez jednego set_fact:\n# group_vars/all.yml pve_vmid: \u0026#34;{{ vmid_base | int + (vm_moid | regex_replace(\u0026#39;^vm-\u0026#39;, \u0026#39;\u0026#39;) | int) }}\u0026#34; pve_bios: \u0026#34;{{ \u0026#39;ovmf\u0026#39; if vm_firmware == \u0026#39;efi\u0026#39; else \u0026#39;seabios\u0026#39; }}\u0026#34; pve_cores: \u0026#34;{{ vm_cores_per_socket | int }}\u0026#34; pve_sockets: \u0026#34;{{ ((vm_num_cpu | int) / (vm_cores_per_socket | int)) | round(0, \u0026#39;ceil\u0026#39;) | int }}\u0026#34; VMID pochodzi z MoID vCenter. vm-42 staje się 20042. To ważniejsze, niż wygląda: play przełączenia musi znaleźć VM, którą stworzył play budowy, a ponowne uruchomienie musi trafić w tę samą, zamiast po cichu budować drugą. Pozwolenie API na przydzielenie następnego wolnego ID, co dzieje się, gdy pominiesz vmid, i o czym pisałem ostatnio, czyni to niemożliwym.\nPamięć nie wymaga przeliczania. VMware raportuje config.hardware.memoryMB, a Proxmox chce MB. Gniazda wymagają: VMware daje łączną liczbę vCPU i rdzeni na gniazdo, Proxmox chce gniazd i rdzeni.\n- name: Create the VM shell delegate_to: localhost community.proxmox.proxmox_kvm: node: \u0026#34;{{ proxmox_node }}\u0026#34; vmid: \u0026#34;{{ pve_vmid }}\u0026#34; name: \u0026#34;{{ inventory_hostname }}\u0026#34; cores: \u0026#34;{{ pve_cores }}\u0026#34; sockets: \u0026#34;{{ pve_sockets }}\u0026#34; memory: \u0026#34;{{ vm_memory_mb }}\u0026#34; ostype: \u0026#34;{{ pve_ostype }}\u0026#34; bios: \u0026#34;{{ pve_bios }}\u0026#34; scsihw: \u0026#34;{{ default_scsihw }}\u0026#34; efidisk0: \u0026#34;{{ {\u0026#39;storage\u0026#39;: pve_target_storage, \u0026#39;efitype\u0026#39;: \u0026#39;4m\u0026#39;, \u0026#39;pre_enrolled_keys\u0026#39;: false} if pve_bios == \u0026#39;ovmf\u0026#39; else omit }}\u0026#34; agent: \u0026#34;enabled=1\u0026#34; onboot: false state: present onboot: false celowo. W środku migracji nic nie powinno startować samo, a już najmniej maszyna, na której dyski wciąż pisze inny hiperwizor.\nFirmware musi być dobrze, nie ma wyboru. Gość UEFI zaimportowany na VM z SeaBIOS zaimportuje się idealnie, a potem odmówi startu, i stracisz na tym godzinę. config.firmware to efi albo bios i mapuje się wprost na ovmf i seabios. Gość UEFI potrzebuje też dysku zmiennych EFI, który trzeba utworzyć razem z VM; dlaczego, piszę niżej.\nproxmox_kvm nie naprawi karty sieciowej i ci o tym nie powie Ostatnio pisałem, że proxmox_kvm odmawia zbieżności, zamiast aktualizować. Oto ostrzejsza wersja tego samego, która ugryzła mnie przy pisaniu tego wpisu i w której warto być dokładnym.\nupdate ma domyślnie false, więc ponowne uruchomienie na VM, która już istnieje, nic nie robi. W porządku i udokumentowane. Ale ustaw update: true, a moduł i tak odmówi ruszenia niektórych parametrów:\n# If update, don\u0026#39;t update disk (virtio, efidisk0, tpmstate0, ide, sata, scsi) # and network interface, unless update_unsafe=True if update_unsafe is False: ... if \u0026#34;efidisk0\u0026#34; in kwargs: del kwargs[\u0026#34;efidisk0\u0026#34;] Usuwa je z żądania i jedzie dalej. Poprawiasz więc kartę sieciową w mapowaniu inwentarza, uruchamiasz ponownie z update: true, patrzysz, jak Ansible raportuje changed, a karta jest dokładnie tak samo zła jak była. changed jest prawdą, bo coś innego w ładunku zostało zaktualizowane, ale nie to, co naprawiałeś.\nupdate_unsafe: true znosi ograniczenie, a nazwa jest uczciwa. Ta sama osłona obejmuje dyski, więc na VM, która ma dyski, niebezpieczna aktualizacja to dobry sposób, żeby dorobić się drugiej kopii jednego z nich. Po ten przełącznik nie sięga się w trakcie migracji.\nWyjście jest takie, żeby w ogóle nie używać net. Karty sieciowe zakłada się przez proxmox_nic, moduł, którego całą robotą jest jeden interfejs i który zbiega się porządnie:\n- name: Attach each NIC to its VNet delegate_to: localhost community.proxmox.proxmox_nic: vmid: \u0026#34;{{ pve_vmid }}\u0026#34; interface: \u0026#34;net{{ idx }}\u0026#34; bridge: \u0026#34;{{ sdn_vnet_prefix }}{{ pg_vlan[item.backing.port.portgroupKey] }}\u0026#34; mac: \u0026#34;{{ item.macAddress }}\u0026#34; model: \u0026#34;{{ default_net_model }}\u0026#34; state: present loop: \u0026#34;{{ vm_nics }}\u0026#34; loop_control: index_var: idx To ten sam podział, do którego doszedłem ostatnio: proxmox_kvm do zdefiniowania maszyny, proxmox_disk i proxmox_nic do rzeczy, które zmieniają się potem. Parametr nazywa się mac, nie mac_addr.\nefidisk0 nie da się wynieść w ten sam sposób, bo proxmox_disk nie ma efitype ani pre_enrolled_keys, więc musi trafić na VM przy tworzeniu i być dobrze za pierwszym razem.\nPrzenieś MAC. VMware rozdaje MAC-i z 00:50:56:..., a Proxmox przyjmie je bez narzekania. Zachowanie ich oznacza, że rezerwacje DHCP nadal pasują, licencje przypięte do MAC nadal się weryfikują, a każda reguła zapory napisana pod MAC nadal działa. Zmiana oznacza dzień drobnych zagadek. proxmox_nic przyjmuje też model: vmxnet3, jeśli gość ma widzieć tę samą kartę co wcześniej, ale na KVM virtio jest lepszą kartą, a gość Windows i tak będzie chciał nowych sterowników.\nOdmów, zamiast zgadywać Karta sieciowa na standardowej portgroupie w ogóle nie ma backing.port. Jej backing to NetworkBackingInfo z deviceName. Nie będzie jej w mapie, a właściwe, co można zrobić, to się zatrzymać:\n- name: Every NIC must sit on a distributed portgroup with a VNet ansible.builtin.assert: that: - vm_nics | rejectattr(\u0026#39;backing.port.portgroupKey\u0026#39;, \u0026#39;defined\u0026#39;) | list | length == 0 - vm_nics | map(attribute=\u0026#39;backing.port.portgroupKey\u0026#39;) | reject(\u0026#39;in\u0026#39;, pg_vlan.keys() | list) | list | length == 0 fail_msg: \u0026gt;- {{ inventory_hostname }} has NICs that do not map to a Proxmox VNet. Attaching it to the wrong network is worse than not building it. Dwa warunki zamiast jednego, bo pierwszy musi zadziałać przed drugim: map(attribute=...) po karcie bez port wybuchłoby na niezdefiniowanym odwołaniu. Najpierw odrzuć te bez kształtu, potem sprawdź resztę względem mapy.\nJeden eksport, zamontowany dwa razy Oto część, dzięki której całość jest tania.\nPostaw eksport NFS tam, gdzie oba hiperwizory mogą go zamontować. vCenter widzi datastore o nazwie nfs-migration; węzły Proxmox montują ten sam eksport i widzą /mnt/pve/nfs-migration. Teraz przenieś VMDK-i na niego przez storage vMotion.\nStorage vMotion działa na żywo. Gość obsługuje ruch przez cały czas. Nic nie jest przełączane, okno nie jest potrzebne, a całość można porzucić w połowie bez skutków poza zmarnowanym I/O. To zdecydowanie najwolniejszy etap i nic nie kosztuje.\n- name: Relocate to the NFS datastore delegate_to: localhost throttle: 2 community.vmware.vmware_vmotion: moid: \u0026#34;{{ vm_moid }}\u0026#34; destination_datastore: \u0026#34;{{ nfs_datastore_vmware }}\u0026#34; timeout: \u0026#34;{{ vmotion_timeout }}\u0026#34; timeout ma domyślnie 3600, czyli godzinę. VMDK o rozmiarze 2 TB nie zdąży, a tryb awarii jest paskudny w cichy sposób: zadanie Ansible zawodzi, a vMotion w vCenter jedzie dalej. Masz teraz playbook, który mówi, że się nie udało, i środowisko, które wciąż jest zajęte. Ustaw coś, co odpowiada twojemu prawdziwemu magazynowi.\nthrottle: 2, bo wąskim gardłem nie jest węzeł sterujący. Storage vMotion ogranicza macierz i sieć. Sześć naraz nie daje sześć razy większej przepustowości; daje sześć wolnych migracji i wściekły zespół od storage\u0026rsquo;u.\nModuł jest idempotentny tak, jak chcesz: ustawia storage_vmotion_needed = False, jeśli VM już jest na docelowym datastore, więc ponowne uruchomienie, żeby zebrać maruderów, jest bezpieczne.\nGdy to się skończy, bajty leżą na magazynie, który Proxmox już montuje. W związku z tym nic innego nie musi ich kopiować. Nigdy.\nPrzełączenie To jedyny play, który kosztuje przestój, a kolejność w nim nie podlega negocjacjom.\nNajpierw problem, który łatwo przeoczyć: inwentarz jest teraz nieaktualny. Zebrano go przed vMotion, więc vm_disks nadal trzyma stare ścieżki datastore. Importuj z nich, a wskażesz Proxmoxowi ścieżkę, której nie widzi.\n- name: Re-read the inventory now the disks have moved ansible.builtin.meta: refresh_inventory Dlatego też cache jest wyłączony w konfiguracji inwentarza. Ciepły cache oddałby refresh_inventory dokładnie te nieaktualne dane, które miało zastąpić. To prawdziwy kompromis, bo vCenter nie jest szybki, ale zła ścieżka tutaj to nieudane przełączenie w oknie serwisowym, a dodatkowe zapytanie jest przy tym tanie.\nPotem wyłączenie. Import VMDK, który host ESXi wciąż ma otwarty, daje w najlepszym razie kopię spójną jak po awarii:\n- name: Shut the guest down in VMware delegate_to: localhost vmware.vmware.vm_powerstate: moid: \u0026#34;{{ vm_moid }}\u0026#34; state: \u0026#34;{{ \u0026#39;shutdown-guest\u0026#39; if vm_power_state == \u0026#39;poweredOn\u0026#39; else \u0026#39;powered-off\u0026#39; }}\u0026#34; timeout: 600 force: true shutdown-guest to łagodne wyłączenie przez VMware Tools; force: true twardo zatrzymuje wszystko, co nie zejdzie w limicie czasu. W nowym module parametr nazywa się timeout, a nie state_change_timeout, jak w przestarzałym.\nPotem import, który jest osią całości:\n- name: Import each VMDK onto its VM delegate_to: localhost throttle: 2 community.proxmox.proxmox_disk: vmid: \u0026#34;{{ pve_vmid }}\u0026#34; disk: \u0026#34;scsi{{ idx }}\u0026#34; storage: \u0026#34;{{ pve_target_storage }}\u0026#34; import_from: \u0026gt;- {{ item.backing.fileName | regex_replace(\u0026#39;^\\[[^\\]]+\\]\\s*\u0026#39;, \u0026#39;/mnt/pve/\u0026#39; ~ nfs_storage_pve ~ \u0026#39;/\u0026#39;) }} format: \u0026#34;{{ pve_target_format }}\u0026#34; timeout: \u0026#34;{{ import_timeout }}\u0026#34; create: regular state: present loop: \u0026#34;{{ vm_disks }}\u0026#34; loop_control: index_var: idx regex_replace tłumaczy między dwoma światami. vCenter nazywa dysk [nfs-migration] app01/app01.vmdk; Proxmox dociera do tego samego pliku pod /mnt/pve/nfs-migration/app01/app01.vmdk. Ten sam eksport, te same bajty, bez drugiej kopii. Bierzesz deskryptor .vmdk i ignorujesz -flat.vmdk obok niego: qemu-img czyta deskryptor i idzie za nim do extentu.\nTrzy rzeczy o import_from, wszystkie w module i wszystkie warte poznania przed otwarciem okna.\nDziała tylko przy tworzeniu. W gałęzi aktualizacji:\n# \u0026#39;import_from\u0026#39; fails on disk updates playbook_config = self.get_create_attributes() playbook_config.pop(\u0026#34;import_from\u0026#34;, None) Jeśli scsi0 już istnieje na tej VM, parametr jest porzucany i dostajesz zwykłą aktualizację. Ponowne uruchomienie po złym imporcie nie importuje więc ponownie. Po cichu nie robi zupełnie nic i raportuje sukces. Jeśli import pójdzie źle, usuń dysk, zanim spróbujesz jeszcze raz.\ntimeout ma domyślnie 600 sekund. Dziesięć minut na import i konwersję dysku maszyny wirtualnej. Własna dokumentacja modułu mówi, żeby to podnieść; posłuchaj rady.\nA ścieżka bezwzględna wymaga roota. Dokumentacja mówi to bez ogródek:\n\u0026lt;STORAGE\u0026gt;:\u0026lt;VMID\u0026gt;/\u0026lt;FULL_NAME\u0026gt; or \u0026lt;ABSOLUTE_PATH\u0026gt;/\u0026lt;FULL_NAME\u0026gt;. \u0026lt;STORAGE\u0026gt;:import/\u0026lt;FULL_NAME\u0026gt; for PVE 9.x and later, to use storage\u0026rsquo;s import directory. Attention! Only root can use absolute paths.\nCo ląduje niezręcznie obok rady, którą dałem ostatnio i której nadal się trzymam: używaj tokenu API o ograniczonym zakresie, a nie roota. Ta rada obowiązuje na każdym innym etapie: rozpoznanie, SDN, budowa skorup, ustawianie kolejności rozruchu, wszystko działa dobrze z tokenem. To jedno zadanie nie działa i żadna ilość uprawnień w roli tego nie zmieni, bo ograniczenie dotyczy tego, czy użytkownik jest rootem, a nie uprawnienia.\nSą trzy uczciwe wyjścia i nie ma sprytnego czwartego:\nPVE 9.x: użyj \u0026lt;storage\u0026gt;:import/\u0026lt;file\u0026gt; i zostań przy tokenie. PVE 8.x: zrób to jedno zadanie jako root@pam, i tylko to jedno. PVE 8.x, bez roota przez API: uruchom zamiast tego qm importdisk przez SSH. Playbook obsługuje dwa pierwsze przez flagę, bo udawanie, że jest inaczej, przerzuciłoby tylko problem na tego, kto go uruchamia.\nNa koniec kolejność rozruchu, która jest zwykłą aktualizacją i dlatego ograniczenie update_unsafe jej nie dotyczy:\n- name: Boot from the first imported disk delegate_to: localhost community.proxmox.proxmox_kvm: node: \u0026#34;{{ proxmox_node }}\u0026#34; vmid: \u0026#34;{{ pve_vmid }}\u0026#34; boot: \u0026#34;order=scsi0\u0026#34; update: true Nic nie uruchamia gościa. To celowe. Uruchom go ręcznie, popatrz, jak wstaje, i dopiero wtedy myśl o usuwaniu czegokolwiek w VMware.\nUruchamianie Całość to jeden playbook, otagowany etapami, bo to nie są kroki, które chcesz puszczać razem:\nansible-playbook migrate.yml --tags discover # look, change nothing ansible-playbook migrate.yml --tags sdn # build the VLANs ansible-playbook migrate.yml --tags build # build the diskless shells ansible-playbook migrate.yml --tags relocate # storage vMotion, live ansible-playbook migrate.yml --tags cutover # power off and import --limit jest twoim przyjacielem przez cały czas. Zrób najpierw jedną VM. Zrób jeden klaster. Playbook nie ma zdania o tym, ile odgryzasz naraz, a inwentarz daje ci grupy za darmo: power_poweredOn, cluster_\u0026lt;name\u0026gt;, a do tego vmware_windows i vmware_linux z bloku groups.\nSprawdź, w co celujesz, zanim wycelujesz:\nansible-inventory --graph ansible-inventory --host some-vm Na co jeszcze bym uważał Rzeczy, które spodziewam się znaleźć, gdy to spotka prawdziwe środowisko, zapisane teraz, żebym nie mógł potem twierdzić, że je przewidziałem:\nGoście Windows nie wystartują czysto z kontrolera VirtIO SCSI, jeśli sterownik nie będzie obecny wcześniej. virtio-scsi-single to właściwy kontroler i zły kontroler do podania VM z Windows, która nigdy go nie widziała. To osobny, cały problem i nic powyżej go nie rozwiązuje. VMware Tools powinny zejść przed przeprowadzką, a nie po niej. Migawki. VM z łańcuchem migawek ma więcej niż jeden .vmdk na dysk, a import bazowego daje ci stan sprzed migawki. Najpierw skonsoliduj. Kolejność w config.hardware.device decyduje, który dysk zostaje scsi0. Wszędzie, gdzie patrzyłem, pokrywała się z kolejnością samego gościa, ale sprawdziłbym ją na wielodyskowym serwerze bazodanowym, zanim zaufałbym jej w oknie. Dyski niezależne i RDM nie przejdą storage vMotion jak zwykłe. Nic z tego nie zmienia kształtu. Zbuduj najpierw skorupy, przenieś dyski, póki wszystko jeszcze działa, i ogranicz przestój do jednego playa, który go potrzebuje.\n","permalink":"https://blogs.damiendye.uk/pl/ansible/vmware-to-proxmox-ansible/","summary":"Odczyt środowiska vSphere dynamicznym inwentarzem, odwzorowanie jego VLAN-ów w Proxmox SDN i odbudowa każdej maszyny wirtualnej jako skorupy bez dysków, zanim ruszy choć jeden dysk. Dlaczego każdy moduł info VMware ukrywa to jedno pole, którego migracja potrzebuje, dlaczego vlan_id ma trzy różne typy i dlaczego jeden eksport NFS zamontowany dwa razy zamienia przełączenie w lokalny odczyt.","title":"Z VMware do Proxmox z Ansible: zbuduj skorupy, zanim przeniesiesz choć bajt"},{"content":"Od 2017 do 2019 roku byłem administratorem systemów rejestru DNS w Nominet, rejestrze domeny .uk. Wszystko, co piszę niżej o ICANN, jest publicznie dostępne i podlinkowałem całość. Tam, gdzie mówię z doświadczenia zawodowego, zaznaczam to.\nZapytaj większość inżynierów, kto zarządza DNS, a usłyszysz jedną z dwóch odpowiedzi. Albo wzruszenie ramion, albo coś o trzynastu serwerach głównych. Obie są błędne, a druga jest błędna w ciekawszy sposób, bo wskazuje na maszyny zamiast na plik.\nKontrola nad DNS nie jest rozproszona po trzynastu serwerach. Siedzi w jednym pliku tekstowym i w garstce podmiotów, które decydują, co do niego trafia, edytują go, podpisują i publikują. Cała reszta systemu, każdy resolver, każdy rejestrator, każda strefa, jaką kiedykolwiek prowadziłeś, leży poniżej tego pliku i z niego czerpie swoją władzę.\nTen wpis jest o tym, kto trzyma ten plik, co przekazanie z 2016 roku faktycznie przeniosło i co ludzie, którzy go trzymają, z nim zrobili. Mechanizm pod spodem, czyli czym właściwie jest rejestr, jak trafiają do niego nazwy i kto może ci jedną odebrać, to temat kolejnego wpisu.\nPrzed ICANN wystarczał telefon Nic w obecnym układzie nie jest nieuniknione, a historia mówi, co właściwie ICANN miał naprawić.\nNa początku nie było żadnego DNS. Od 1972 roku istniał jeden plik tekstowy, HOSTS.TXT, z nazwą każdej maszyny w ARPANET i adresem, pod którym działała. Prowadziła go w Stanford Research Institute Elizabeth Feinler ze swoim zespołem, a jeśli chciałeś mieć w nim swoją maszynę, dzwoniłeś w godzinach pracy do Network Information Center i prosiłeś. Wszyscy inni co jakiś czas pobierali plik i mieli nadzieję, że jest aktualny.\nTo się nie skaluje, a na początku lat 80. wyraźnie przestało się skalować. DNS zbudowano, żeby go zastąpić: drzewo delegowane w dół, tak żeby żadne pojedyncze biuro nie musiało trzymać całej listy.\nKtoś jednak nadal musiał trzymać szczyt drzewa. Przez lata tym kimś był jeden człowiek. Jon Postel z University of Southern California prowadził przydział nazw i numerów za pieniądze rządu USA przeznaczone na badania. IANA, czyli Internet Assigned Numbers Authority, nie była wtedy instytucją. Był to Postel i garstka współpracowników, a działało to dlatego, że ludzie prowadzący sieć mu ufali.\nPieniądze przyszły w 1993 roku, kiedy National Science Foundation zleciła rejestrację InterNIC, w tym firmie Network Solutions. 14 września 1995 roku skończyła się darmowa rejestracja. Network Solutions brało $50 rocznie przy minimum dwóch latach, a 30% z tego szło do funduszu rządowego, który sąd uznał później za nielegalny podatek. Jedna firma, jedna cena, nigdzie indziej nie można było pójść, a w 1997 roku pojawił się pozew antymonopolowy.\nPotem, w styczniu 1998 roku, Postel zrobił coś, co mówi, z czego naprawdę składa się władza nad korzeniem.\nWysłał e-mail do ośmiu z dwunastu operatorów serwerów głównych, opierając się wyłącznie na własnym autorytecie, i poprosił ich, żeby skierowali swoje serwery na maszynę IANA zamiast na maszynę Network Solutions. Wszystkich ośmiu to zrobiło. Przez mniej więcej tydzień autorytatywny korzeń internetu był tam, gdzie Jon Postel poprosił ludzi, żeby patrzyli.\nNazwał to testem. Wielu odczytało to jako demonstrację, że korzeń należy do inżynierów, którzy go zbudowali, a nie do wykonawcy rządowego. Reakcja rozstrzyga, które odczytanie przyjął Waszyngton. Ira Magaziner, doradca prezydenta w tej sprawie, powiedział Postelowi, że już nigdy nie będzie pracował przy internecie. Test odwrócono.\nICANN zarejestrowano w Kalifornii we wrześniu tego roku. Postel zmarł miesiąc później.\nUkład, o którym jest ten wpis, zbudowano więc, żeby naprawić dwa prawdziwe problemy: przestrzeń nazw sprzedawaną przez nierozliczalnego monopolistę i korzeń, którego władza opierała się na tym, że jednemu człowiekowi powszechnie ufano. Oba problemy były prawdziwe. ICANN był na nie odpowiedzią. Czym okazała się ta odpowiedź, to cała reszta tego wpisu.\nDwa kody, które przeżyły regułę Zanim pójdziemy dalej, dwa luźne końce z tamtej epoki, bo razem mówią więcej o tym, jak ten system naprawdę działa, niż cokolwiek w statucie ICANN.\nWielka Brytania wzięła zły kod i go zatrzymała.\nRFC 920 z października 1984 roku mówił, że krajowe domeny najwyższego poziomu będą brane z dwuliterowych kodów ISO 3166. Kod Zjednoczonego Królestwa w ISO 3166 to GB. Według reguły w jej brzmieniu domeną Wielkiej Brytanii powinno być .gb.\nNie jest, bo Wielka Brytania była pierwsza. JANET, sieć akademicka, ustaliła uk jako swój identyfikator najwyższego poziomu kilka miesięcy przed sporządzeniem listy opartej na ISO, a .uk zarejestrowano 24 lipca 1985 roku. Przydzielono też .gb, z założeniem, że .uk z czasem na nią przejdzie.\nMigracja nigdy się nie odbyła. Nikt jej nie przeprowadził. .gb przesiedziała potem w korzeniu cztery dekady i przez całe swoje życie dorobiła się jednej domeny drugiego poziomu, hmg.gb dla rządu Jej Królewskiej Mości, której prawie nie używano. ISO w końcu ugięło się przed stanem faktycznym i wyjątkowo zarezerwowało UK na prośbę Zjednoczonego Królestwa.\nNikogo zresztą nie okradziono. UK nie był kodem innego kraju: w ISO 3166 jest wyjątkowo zarezerwowany dla Zjednoczonego Królestwa, na jego własną prośbę, i żadne inne państwo nigdy nie miało do niego prawa. Właśnie dlatego nikt nie naciskał: nie było poszkodowanego, który mógłby się skarżyć.\nI to właśnie sprawia, że warto o tym opowiedzieć. Reguła ISO 3166 jest sztywna dla każdego, kto próbuje się dostać do środka: nie ma wpisu na liście, nie ma domeny krajowej. Dlatego terytoria w ogóle zabiegają o dopisanie do ISO 3166 i dlatego miejsca bez uznania nie mają żadnej ccTLD. Dla kogoś, kto już siedzi w korzeniu, ta sama reguła okazała się sugestią.\nMożna nawet uczciwie argumentować, że Wielka Brytania skończyła z lepszą nazwą. GB to Wielka Brytania, czyli bez Irlandii Północnej. UK jej nie pomija. Niezgodny z regułą kod opisuje państwo dokładniej, niż opisywałby je kod zgodny.\nA Związek Radziecki wciąż jest w korzeniu. Ta historia jest dziwniejsza.\n.su delegowano Związkowi Radzieckiemu 19 września 1990 roku. Związek Radziecki przestał istnieć piętnaście miesięcy później.\nWciąż tam jest. Trzydzieści pięć lat po tym, jak państwo, do którego należy, przestało istnieć, .su działa i przyjmuje rejestracje: w maju 2025 roku nieco ponad 111 500 nazw, zarządzanych z Moskwy.\nReguła mówi, że ccTLD pochodzą z ISO 3166. ISO 3166 nie wymienia Związku Radzieckiego. I nie jest tak, że reguły nigdy nie stosowano: .dd dla NRD i .yu dla Jugosławii zniknęły razem z tymi państwami. .su była tą jedną, która nie zniknęła, i nikt nigdy nie potrafił wyjaśnić tej różnicy w kategoriach reguły.\nTo, czym się stała, łatwo przewidzieć. Kiedy .ru pod koniec 2011 roku zaostrzyła kontrole przy rejestracji, interes przeniósł się obok. Liczba złośliwych stron w .su podwoiła się w 2011 roku i podwoiła się znowu w 2012, co jest tą samą historią co tanie nowe gTLD i darmowe ccTLD dalej w tym wpisie: nadużycia są płynne i spływają tam, gdzie kontrole są najsłabsze.\nDwa kody krajowe, które przeżyły regułę, która je stworzyła. .uk, bo nikt nie zmusił zasiedziałego gracza do przeprowadzki, .su, bo nikt nie kazał delegacji odejść razem z jej krajem. W obu przypadkach przepisy są jasne i w obu nikt ich nie egzekwował, bo egzekwowanie oznaczałoby odebranie czegoś komuś, kto już to miał.\nTaki jest cały charakter władzy w DNS, widoczny jeszcze zanim ICANN powstał, i w związku z tym nic z tego, co dalej, nie powinno cię zaskoczyć.\nOsiemnaście lat do przekazania ICANN zarejestrowano w Kalifornii 30 września 1998 roku i od razu podpisał Memorandum of Understanding z Departamentem Handlu USA. Nie zaczynał jako niezależny, żeby potem zamerykanizować się z czasem. Był amerykański od pierwszego dnia, z założenia konstrukcyjnego, a ten układ odnawiano w tej czy innej formie przez osiemnaście lat.\nZacznijmy od tego, co zrobił dobrze, bo jest jedna taka rzecz i ma znaczenie.\nW 1999 roku ICANN złamał monopol na rejestrację. Network Solutions było jedynym miejscem, gdzie można było kupić .com; Shared Registration System pozwolił innym rejestratorom sprzedawać nazwy w tej samej strefie, a cena spadła i spadała dalej. To prawdziwe osiągnięcie, to dzięki niemu domena kosztuje dziś tyle, ile kosztuje, i nic dalej w tym wpisie tego nie unieważnia.\nPotem zaczyna się wzorzec, który przewija się przez całą resztę.\n2000. ICANN przeprowadził globalne wybory, w których użytkownicy internetu bezpośrednio wybrali pięciu członków zarządu. Nigdy ich nie powtórzono. Struktura at-large, która je zastąpiła, doradza i nie głosuje. Za pierwszym i ostatnim razem, kiedy publiczność dostała wiążący głos w ICANN, ICANN go zlikwidował.\n2005. Na Światowym Szczycie Społeczeństwa Informacyjnego w Tunisie duża część świata sprzeciwiła się temu, że USA trzymają korzeń. Wyszło z tego Internet Governance Forum: doroczna konferencja bez władzy nad czymkolwiek. Układ wokół korzenia się nie zmienił.\n2005. Sprawa .xxx, która ciągnęła się sześć lat i jest najostrzejszym pojedynczym dowodem w całym tym wpisie, że jurysdykcja nie jest abstrakcją. Społecznie konserwatywne grupy lobbingowe w Stanach Zjednoczonych naciskały na Departament Handlu. NTIA, czyli National Telecommunications and Information Administration, agenda Departamentu Handlu, która miała umowę z ICANN, przygotowała listy do ICANN i, jej własnymi słowami, zmobilizowała swoje zasoby wobec ICANN. Zarząd, który zmierzał do zatwierdzenia, odrzucił wniosek dziewięcioma głosami do pięciu, a potem jeszcze raz ośmioma do czterech, przy czym zarówno przewodniczący, jak i prezes zmienili zdanie. Viviane Reding, ówczesna komisarz europejska odpowiedzialna za tę dziedzinę, nazwała to pierwszym jasnym przypadkiem politycznej ingerencji rządu USA w ICANN. .xxx w końcu zatwierdzono w 2011 roku, a Departament Handlu ogłosił wtedy, że jest rozczarowany.\nAmerykańska krajowa kampania lobbingowa, przepuszczona przez amerykańską agencję federalną, zmieniła to, jakie domeny najwyższego poziomu istnieją w internecie. Bez traktatu, bez sądu, bez żadnego głosowania poza Stanami Zjednoczonymi.\n2009. Joint Project Agreement z Departamentem Handlu zastąpiono Affirmation of Commitments, co szeroko opisywano jako uniezależnienie się ICANN. Umowa na funkcje IANA została dokładnie tam, gdzie była.\nPotem przyszło to, co naprawdę ruszyło sprawę, i nie było to nic, co zrobił ICANN.\n2013. Edward Snowden. 7 października, kilka miesięcy po pierwszych ujawnieniach, szefowie ICANN, Internet Engineering Task Force, Internet Architecture Board (IAB), World Wide Web Consortium, Internet Society i wszystkich pięciu regionalnych rejestrów internetowych opublikowali Montevideo Statement, wzywając do globalizacji ICANN i funkcji IANA i wprost przywołując szkody, jakie wszechobecna inwigilacja wyrządziła globalnemu zaufaniu. Techniczne kierownictwo samego internetu, z prezesem ICANN wśród sygnatariuszy, powiedziało na głos, że amerykańskie zarządzanie stało się obciążeniem.\n14 marca 2014. NTIA ogłosiła zamiar przekazania swojej roli w zarządzaniu funkcjami IANA.\n1 października 2016. Umowa wygasła.\nPrzekazanie nie zostało więc zasłużone i nie przyznano go na podstawie zasług. Ustąpiono, po osiemnastu latach, bo skandal amerykańskiego wywiadu uczynił istniejący układ politycznie nie do obrony, a społeczność techniczna powiedziała to publicznie.\nWarto to zapamiętać, czytając, co przekazanie faktycznie zrobiło.\nCo zmieniło przekazanie z 2016 roku, a czego nie zmieniło Usłyszysz, że Amerykanie oddali internet w 2016 roku. Każdy, kto twierdzi, że ICANN jest narzędziem kontroli USA, słyszy to w odpowiedzi, a jeśli pomylił fakty, przegrywa w tym miejscu dyskusję. Więc ustal je dobrze.\n1 października 2016 roku umowa na funkcje IANA między NTIA a ICANN wygasła i nie została odnowiona. To było prawdziwe. Rząd USA nie ma już umowy dającej mu prawo zatwierdzania zmian w strefie głównej, a nowy statut stworzył Empowered Community z teoretyczną możliwością odrzucania budżetów i odwoływania członków zarządu.\nOto, co się nie zmieniło, i nie było to przeoczenie. Zapisano to jako cel.\nPropozycja przekazania stwierdzała, że jurysdykcja prawna, w której znajduje się ICANN, ma pozostać bez zmian. Nowy statut wymaga, żeby ICANN miał siedzibę w Kalifornii. Cała struktura rozliczalności zbudowana w czasie przekazania opiera się na prawie kalifornijskim. Działa w ten sposób, że ICANN jest kalifornijską organizacją non-profit, a kalifornijskie sądy można poprosić o to, żeby trzymały ją przy jej własnych dokumentach założycielskich.\nPo wielkim przekazaniu wygląda to więc tak: ICANN jest kalifornijską korporacją, podlega prawu federalnemu USA i prawu Kalifornii, jej mechanizmy rozliczalności można egzekwować w amerykańskich sądach i nigdzie indziej, a ustala politykę dla strefy głównej edytowanej i podpisywanej przez amerykańską firmę na podstawie umowy z amerykańskim Departamentem Handlu.\nUmowa odeszła. Jurysdykcję celowo zatrzymano. A jurysdykcja to ta część, która ma zęby, bo nie wymaga od nikogo interwencji. Działa automatycznie, cały czas, domyślnie.\nNajjaśniej widać to na sankcjach. OFAC, czyli Office of Foreign Assets Control, część Departamentu Skarbu USA, prowadzi amerykańskie sankcje gospodarcze i handlowe i decyduje, z kim amerykańskie osoby i firmy mogą robić interesy. ICANN jest kalifornijską korporacją, więc OFAC go wiąże, a to ogranicza, z kim ICANN może zawierać umowy i kogo może akredytować.\nTrzeba być precyzyjnym co do zakresu: dotyczy to rejestrów i rejestratorów ogólnych domen najwyższego poziomu (gTLD), bo to one mają umowy z ICANN. Nie dotyczy działalności domen krajowych (ccTLD), które stoją całkowicie poza strukturą umów ICANN. Ale skutek wycieka daleko poza granicę prawną, bo rejestratorzy spoza Stanów Zjednoczonych stosowali ograniczenia OFAC wobec własnych klientów w mylnym przekonaniu, że wymaga tego umowa z ICANN, albo po prostu kopiując amerykańskie umowy z abonentami. Amerykańska polityka zagraniczna rozchodzi się w dół łańcucha rejestratorów tak samo przez naśladownictwo, jak przez prawo.\nNie ma takiej wersji tej historii, w której odpowiedź na pytanie „kto kontroluje DNS” nie zaczyna się od Stanów Zjednoczonych.\nKto w takim razie może cokolwiek zrobić z decyzją ICANN, to druga połowa pytania, i lepiej ją zadać, kiedy jest już zapis, z którym można ją porównać. Ten wpis wraca do niej na końcu.\nKorzeń to plik tekstowy Tyle o tym, kto rządzi. Oto rzecz, którą rządzą, i możesz ją po prostu pobrać. ICANN publikuje strefę główną przez transfer strefy, AXFR, czyli mechanizm DNS do kopiowania całej strefy zamiast pojedynczego rekordu, każdemu, kto poprosi, bez poświadczeń:\ndig . AXFR @xfr.dns.icann.org W tej chwili to 1 578 790 bajtów w 24 886 wierszach. Zawiera 1439 delegacji, czyli każdą istniejącą domenę najwyższego poziomu, z czego 1350 ma rekord DS (delegation signer, odcisk, który wiąże klucz podpisujący strefy podrzędnej z jej rodzicem) i dlatego należy do podpisanego łańcucha.\nPółtora megabajta. Cała przestrzeń nazw internetu, na tyle mała, że można ją wysłać e-mailem.\nTen plik to cała władza korzenia. Resolver uruchamiany od zera nie wie nic poza adresami w swoich root hints, a gdy tylko dostanie odpowiedź, idzie za delegacjami z tego pliku i znikąd indziej. Zmień w nim delegację, a zmienisz to, dokąd idzie ruch całego kraju. Nie ma drugiej kopii z innym zdaniem, nie ma protokołu konsensusu, nie ma głosowania w chwili rozwiązywania nazwy. Jest plik.\nPytanie „kto kontroluje DNS” sprowadza się więc do znacznie węższego: kto może zmienić ten plik i kto go potem podpisuje.\nDotykają go trzy organizacje Odpowiedzią jest łańcuch trzech i warto jasno ustalić, która co robi, bo w tych rozróżnieniach toczą się wszystkie spory.\nPTI, czyli Public Technical Identifiers, podmiot powiązany z ICANN, wykonuje funkcje IANA. Przyjmuje od operatorów TLD wnioski o zmiany w strefie głównej, sprawdza je i zatwierdza. To warstwa urzędnicza i taka ma być: cały zamysł konstrukcji polega na tym, że IANA jest starannym urzędnikiem bez swobody decyzji.\nVerisign jest Root Zone Maintainer. Bierze zatwierdzoną zmianę, edytuje plik strefy, podpisuje go kluczem podpisującym strefę główną i publikuje do dystrybucji. Verisign jest amerykańską spółką publiczną i robi to na podstawie Cooperative Agreement z Departamentem Handlu USA.\nOperatorzy serwerów głównych potem go serwują. To najmniej potężna część łańcucha i jedyna, o której ktokolwiek słyszał.\nZauważ, gdzie faktycznie leży swoboda decyzji. Nie u operatorów. Właściwie nie u urzędnika. Leży u tego, kto ustala politykę, którą urzędnik stosuje, czyli u ICANN, oraz u firmy, która trzyma pióro i klucz podpisujący, czyli u Verisign, na podstawie umowy z amerykańskim rządem.\nDziesięć z trzynastu Litery serwerów głównych warto wypisać w całości, bo ludzie przytaczają liczbę trzynaście, jakby oznaczała rozproszenie:\nLitera Operator Kraj A Verisign USA B USC Information Sciences Institute USA C Cogent Communications USA D University of Maryland USA E NASA Ames Research Center USA F Internet Systems Consortium USA G Departament Obrony USA (DISA) USA H US Army Research Laboratory USA I Netnod Szwecja J Verisign USA K RIPE NCC Holandia L ICANN USA M WIDE Project Japonia Trzynaście liter, dwanaście organizacji, bo Verisign trzyma zarówno A, jak i J. Dziesięć z trzynastu jest obsługiwanych ze Stanów Zjednoczonych. Dwa z nich to amerykańskie wojsko.\nTo nie spisek, tylko skamieniała historia. To instytucje, które były w sieci w latach 80. i nigdy z niej nie odeszły. Ale przypadek historii, który zostawia amerykańskie wojsko przy dwóch serwerach głównych internetu, to wciąż amerykańskie wojsko przy dwóch serwerach głównych internetu, i dziwnie jest to nazywać systemem globalnym.\nOperatorów nie wiąże też żadna znacząca umowa. ICANN ich nie zatrudnia i nie może ich w prosty sposób usunąć. Serwują korzeń, bo zawsze to robili. Stabilność systemu na tej warstwie opiera się na dobrej woli i na niczym solidniejszym, co działa dokładnie do dnia, w którym przestaje.\nICANN nie prowadzi strefy głównej To najważniejszy fakt w tym wpisie i prawie nikt nie mówi go na głos, więc dostaje własny nagłówek.\nICANN nie obsługuje strefy głównej.\nDecyduje, co powinno w niej być. Nie edytuje pliku, nie podpisuje pliku i nie serwuje pliku. Verisign edytuje i podpisuje. Dwanaście organizacji serwuje. Zadaniem ICANN jest powiedzieć, jaka powinna być odpowiedź, a potem sprawić, żeby ktoś inny ją wprowadził.\nTen podział to jedyna rzecz, która trzyma ICANN w ryzach.\nWyobraź to sobie bez podziału. Jeden organ ustala politykę, trzyma pióro, ma klucz podpisujący i prowadzi serwery. Między podjęciem decyzji a tym, że staje się ona prawdą wszędzie na ziemi, nie ma żadnej innej strony, żadnej drugiej pary rąk i nikogo, kto mógłby powiedzieć nie. Cokolwiek myślisz o opisanym niżej dorobku ICANN, taki układ byłby gorszy.\nW obecnym stanie są trzy hamulce. Żaden z nich nie jest zapisany w statucie.\nPlik jest publiczny. Każdy może pobrać strefę główną przez AXFR (polecenie jest na początku tego wpisu) i porównać ją z wczorajszą. Nie da się po cichu zmienić delegacji. Zmianę musi wprowadzić ktoś inny. Edycję i podpis robi maintainer. To jeszcze jedna organizacja, która musi się zgodzić to zrobić, i jeszcze jedna, która mogłaby odmówić. Operatorzy serwują za zgodą. Jak wyżej, ICANN nie ma znaczącej umowy z operatorami serwerów głównych. Dystrybuują strefę, bo zawsze to robili. Nic ich nie zobowiązuje do dystrybuowania czegokolwiek, a jak pokazał Postel w 1998 roku, zgodę może przesunąć ktoś, komu ufają, uprzejmie prosząc. Ostatni jest prawdziwym zabezpieczeniem i za pamięci żyjących użyto go o jedną warstwę niżej. Kiedy w 2003 roku Verisign założył wildcard na .com, Internet Systems Consortium (ISC) wypuściło w BIND opcję delegation-only, a operatorzy po prostu przestali honorować te odpowiedzi. Nikt nie musiał wygrywać sporu na forum politycznym. Zdolność społeczności technicznej do odmowy nie jest nigdzie zapisana i wszyscy zainteresowani wiedzą, że istnieje.\nTeraz niewygodna część, bo to jest cieńsze, niż brzmi.\nNikt tej kontroli nie zaprojektował. To nie jest podział władzy, tylko przypadek tego, jak podzielono pracę w latach 90., a przekazanie z 2016 roku ani go nie wzmocniło, ani nie zapisało. Nie ma reguły, która mówi, że organ ustalający politykę nie może pewnego dnia trzymać także pióra.\nA stroną, która kontroluje, jest komercyjna firma, z którą ICANN robi interesy. Verisign pełni rolę root zone maintainera, ma umowę na .com i, jak pokazuje reszta tego wpisu, umowę z ICANN na $20 mln podpisaną w tych samych negocjacjach co podwyżka cen .com. Kontrola, która zależy od gotowości jednej strony do odmowy drugiej, przestaje działać, kiedy obie zaczynają razem coś podpisywać.\nPodział jest więc najlepszą rzeczą w obecnym układzie. Jest też niezapisany, nieplanowany i trzymany przez przyzwyczajenie.\nSprzedawanie przestrzeni nazw Zanim przejdziemy do sporu o zarządzanie, coś prostszego pokazuje, co ludzie trzymający kawałek przestrzeni nazw z nim robią, kiedy nic ich nie powstrzymuje. Działo się to wielokrotnie, na każdej warstwie, a za pierwszym razem, kiedy stało się na samej górze, trwało dziewiętnaście dni.\n15 września 2003 roku Verisign dodał do stref .com i .net rekord A z symbolem wieloznacznym:\n*.com. IN A 64.94.110.11 Ten adres rozwiązuje się wstecz na sitefinder.verisign.com. Od tej chwili każda nazwa w .com i .net istniała. Każda literówka, każda niezarejestrowana domena, każdy zniekształcony ciąg, każda wygasła nazwa: wszystkie się rozwiązywały, na stronę wyszukiwania Verisign z reklamami Verisign.\nDlaczego to nie jest historia o reklamach Skargi z tamtego czasu dotyczyły głównie reklam i mijały się z sednem. NXDOMAIN nie jest funkcją dla wygody użytkownika. To nośny sygnał protokołu, a ogromna ilość oprogramowania ponad DNS opiera się na tym, że można zapytać „czy ta nazwa istnieje?” i dostać prawdziwą odpowiedź.\nUsuń odpowiedź przeczącą, a rzeczy psują się w sposób, który nie ma nic wspólnego z przeglądarkami.\nNajgorzej było z pocztą i to jest część, którą ludzie wciąż rozumieją źle. Verisign nie opublikował wieloznacznego rekordu MX. Nie musiał. RFC 5321 §5.1 mówi, że gdy zapytanie o MX nic nie zwraca, nadawca wraca do rekordu adresowego domeny i traktuje go jako niejawny MX o preferencji 0. Verisign właśnie dał każdej nieistniejącej domenie w .com rekord adresowy. Każdy MTA w internecie, czyli każdy mail transfer agent, każda maszyna przekazująca pocztę, poprawnie stosując standard, miał teraz serwer pocztowy dla soemcompany.com, i była to skrzynka Verisign.\nPołącz się z portem 25, a odpowiadało:\n220 snubby2-wceast Snubby Mail Rejector Daemon v1.3 ready Deklarowany zamiar Verisign był dość rozsądny: odrzucić pocztę od razu, żeby nie leżała w kolejkach na całym świecie. Wykonanie już nie. Snubby rezygnował dopiero po tym, jak wysyłający MTA przesłał treść wiadomości, i zwracał kod, który większość MTA odczytywała jako błąd przejściowy, więc zamiast natychmiastowego odbicia poczta na błędnie wpisane adresy była ponawiana przez całe dni, zanim umarła. Verisign wymienił go później na responder oparty na Postfiksie, po skargach operatorów na liście NANOG.\nJednocześnie zepsuł się antyspam, ciszej. Sprawdzenie, czy domena nadawcy w ogóle istnieje, było i nadal jest jedną z najtańszych i najskuteczniejszych heurystyk filtrowania. Z dnia na dzień każda domena w dwóch największych TLD istniała. Test zwracał prawdę dla wszystkiego i przestał cokolwiek rozróżniać.\nA wszystko inne, co mówi DNS, ale nie HTTP, czyli przekaźniki poczty, klienty FTP, drukarki sieciowe, systemy monitoringu, przestało dostawać „no such host” i zaczęło dostawać serwer WWW, co objawiało się głównie przekroczeniami czasu i zawieszeniami zamiast czystych błędów. Martwa nazwa wyglądała teraz jak zepsuta usługa.\nJedna firma dodała jeden rekord do jednego pliku strefy i zmieniła semantykę błędów całego internetu.\nCo to zatrzymało Nie zarządzanie. Inżynieria, a potem groźba.\nISC w ciągu kilku dni wypuściło w BIND funkcję delegation-only, pozwalającą operatorom odrzucać syntetyzowane odpowiedzi ze stref TLD: społeczność techniczna obeszła rejestr, zamiast się do kogokolwiek odwoływać. Wielu dostawców internetu to wdrożyło.\nICANN poprosił Verisign o zawieszenie usługi. 21 września Verisign odmówił. ICANN zażądał tego 3 października, jasno wskazując konsekwencje umowne, a Verisign wycofał rekordy 4 października 2003 roku. IAB opublikowała swój architektoniczny sprzeciw wobec wildcardów w rejestrach, a Security and Stability Advisory Committee samego ICANN stwierdził 9 lipca 2004 roku, że usługi nigdy nie powinno się było wdrażać bez przeglądu i że rejestry powinny wycofać wildcardy.\nPotem Verisign pozwał ICANN, 27 lutego 2004 roku, twierdząc, że ICANN przekroczył swoje uprawnienia, zatrzymując go. Sprawę w większości oddalono w sierpniu tego roku, a resztę zakończono ugodą 1 marca 2006 roku, ugodą, która dała Verisign nową umowę rejestrową na .com.\nPrzeczytaj tę sekwencję jeszcze raz. Rejestr zmonetyzował przestrzeń nazw, którą miał na mocy umowy obsługiwać, odmówił zaprzestania, został do tego zmuszony, pozwał organ, który go zmusił, i wyszedł z ugody z odnowioną umową na najcenniejszą TLD, jaka istnieje. Nadal ją ma. To ta sama firma, która dziś edytuje i podpisuje strefę główną.\nPotem i tak zrobili to wszyscy inni Zatrzymanie rejestru nie zatrzymało pomysłu, tylko przesunęło go o jeden przeskok niżej. Jeśli serwer autorytatywny nie będzie kłamał o nieistnieniu, zrobi to resolver.\nOd sierpnia 2006 roku Earthlink zaczął przekierowywać odpowiedzi NXDOMAIN do Barefruit, serwując strony wyszukiwania i reklamy. Paxfire sprzedawał to samo, a dodatkowo przekierowywał niektóre wpisane słowa kluczowe do płacących reklamodawców. „Domain Helper” Comcastu robił to na dużą skalę. W Wielkiej Brytanii robiły to zarówno BT, jak i Virgin Media. Z perspektywy dostawcy rachunek jest nie do odparcia: błędnie wpisane domeny to darmowy towar wytwarzany przez palce własnych klientów.\nSkutki były gorsze niż u Verisign, bo resolver widzi każde zapytanie, a nie tylko jedną TLD. Implementacja Barefruit przechwytywała NXDOMAIN dla prywatnej przestrzeni adresowej, psując zapytania split-horizon i działanie VPN w sieciach firmowych. Dan Kaminsky zademonstrował cross-site scripting (XSS) na samych stronach przekierowań, bo teraz każda nieistniejąca nazwa hosta na świecie rozwiązywała się na osiągalny dla atakującego HTML, serwowany w kontekście, który przeglądarka wiązała z cudzą domeną. Monetyzacja błędu zamieniła nieudane zapytanie w powierzchnię ataku XSS.\nPoprawka w protokole Zamknęły to dwie rzeczy i obie warto odnotować, bo mają kształt każdej prawdziwej poprawki w DNS: spraw, żeby kłamstwo było wykrywalne, a potem wpisz to do umowy.\nDNSSEC zapewnia uwierzytelnione zaprzeczenie istnienia. Rekordy NSEC i NSEC3 pozwalają podpisanej strefie udowodnić, że nazwa nie istnieje, a walidujący resolver odrzuci syntetyzowaną odpowiedź podstawioną w jej miejsce. Nieistnienie przestało być jedyną odpowiedzią, której nikt nie mógł zweryfikować. To nie jest szczelne: resolver, który po drodze zdejmuje podpisy, nadal może przepisać odpowiedź, i właśnie dlatego liczy się walidacja po stronie klienta zamiast ufania resolverowi, a ta strona już to obszernie argumentowała.\nA ICANN, trzeba mu oddać, tej lekcji się nauczył. Specyfikacja 6 umowy rejestrowej dla nowych gTLD wprost zakazuje wildcardów, syntetyzowanych rekordów i przekierowań dla niezarejestrowanych nazw oraz wymaga, żeby serwery autorytatywne zwracały Name Error, RCODE 3. Każdy z 1200 ciągów z rundy 2012 ma umownie zakazane robienie tego, co Verisign zrobił z .com.\nTo prawdziwa poprawa i warto dokładnie powiedzieć, co ją wytworzyło: nie proces zarządzania, tylko dziewiętnaście dni widocznej awarii w 2003 roku, na tyle kompromitujących, że dekadę później wpisano je do umowy.\nI nic z tego nie dotknęło kodów krajowych Specyfikacja 6 wiąże gTLD. Wiąże je, bo podpisują umowę rejestrową z ICANN, a ta umowa jest dźwignią.\nccTLD nie podpisuje niczego takiego. Żadnej umowy rejestrowej, żadnej Specyfikacji 6, żadnej funkcji zgodności, żadnej opłaty. Nic w przepisach ICANN nie reguluje tego, jak krajowy rejestr prowadzi swoją strefę, i dlatego obie rzeczy opisane niżej były możliwe i dlatego nikt nie był w stanie ich zatrzymać.\nTo nie to samo, co powiedzieć, że ICANN jest nieobecny, i chcę precyzyjnie wskazać, gdzie się znajduje, bo przez dwa lata byłem po stronie, która to odczuwała.\nTo, co ICANN trzyma nad ccTLD, to sama delegacja. Każdy rekord NS, każdy glue, każdy rekord DS i każda zmiana kontaktu dla .uk żyje w strefie głównej, a jedyna droga do strefy głównej to wniosek o zmianę do IANA, weryfikowany wobec zarejestrowanych kontaktów administracyjnych i technicznych i przetwarzany w tempie IANA, a nie twoim. Zgodnie z RFC 1591 IANA w ostateczności decyduje też, kto w ogóle trzyma delegację. Redelegacje są rzadkie. Nie są hipotetyczne.\nRejestr krajowy jest więc suwerenny co do tego, jak działa, i całkowicie zależny od strony trzeciej we wszystkim, co musi być widoczne w korzeniu. Momenty, w których najbardziej potrzebujesz, żeby zmiana weszła, czyli przenosiny serwera nazw albo wymiana klucza, której DS musi zostać opublikowany, zanim stary zniknie, to dokładnie te momenty, w których czekasz w czyjejś kolejce. To żywa zależność operacyjna, a nie abstrakcja z zakresu zarządzania, i temat na kolejny wpis.\nTeraz zauważ, co daje to połączenie. Uścisk ICANN na ccTLD jest mocny dokładnie tam, gdzie przeszkadza rejestrowi, który zachowuje się przyzwoicie, i nieobecny dokładnie tam, gdzie mógłby powstrzymać taki, który się tak nie zachowuje. Może wstrzymać twój rekord DS. Nie mógł powstrzymać Kamerunu przed skierowaniem całej domeny najwyższego poziomu na stronę z reklamami.\nPraktyka więc nigdy się nie skończyła. Po prostu przeniosła się tam, gdzie umowa nie sięgała.\nKamerun założył wildcard na całą domenę najwyższego poziomu, żeby zbierać literówki.\nW sierpniu 2006 roku rejestr .cm skierował każdą niezarejestrowaną nazwę w strefie na stronę parkingową z płatnymi linkami wyszukiwania. Ta gra nie jest subtelna: .cm to .com bez o, więc rynkiem docelowym był odsetek pomyłek palców w największej TLD, jaka istnieje, a operatorem była agencja rządowa, ANTIC, podległa kameruńskiemu Ministerstwu Poczty i Telekomunikacji.\nOpłacało się. NameJet zgłosił ponad $500 000 sprzedaży .cm pierwszego dnia i ponad $2 mln w pierwszym tygodniu; hotels.cm poszło w 2009 roku za $81 100. Zrobiło to też dokładnie to, czego można się spodziewać z bezpieczeństwem strefy, bo przychodzący ruch z literówek to idealny kanał dostarczania wrogiego pobierania. W grudniu 2009 roku McAfee uznał .cm za najbardziej ryzykowną TLD na świecie, z 36,7% stron ocenionych jako stwarzające ryzyko.\nVerisign musiał wycofać ten sam trik w dziewiętnaście dni. Kamerun prowadził go latami. Różnica nie polega na tym, że jedno było gorsze. Różnica polega na tym, że jeden podpisał umowę.\nTokelau stało się największą domeną krajową na świecie, rozdając nazwy za darmo.\nTokelau to terytorium Nowej Zelandii na południowym Pacyfiku z populacją około 1500 osób. Jego ccTLD, .tk, prowadził Freenom, który rozdawał rejestracje za nic. Do 2016 roku była to najczęściej rejestrowana domena krajowa na świecie, z 31 311 498 nazwami, a liczba ta pochodzi, tak się składa, z mapy świata opublikowanej przez Nominet.\nDarmowe nie było darmowe. Warunki Freenom wymagały, żeby darmowa domena miała regularny ruch, i przewidywały, że jeśli przekierowanie przestanie działać albo nazwa zacznie przyciągać wartościowych odwiedzających, rejestr może ją odebrać i serwować na niej własne reklamy. To cały biznes i jest elegantszy niż ten Verisign. Nie próbuj zgadywać, które nazwy są cenne. Rozdaj całą przestrzeń nazw przy zerowym koszcie krańcowym, pozwól światu odkryć za ciebie te cenne, a potem je przejmij i zmonetyzuj ruch. Mniej więcej jedna szósta rocznego dochodu Tokelau pochodziła z tego.\nKoszty zewnętrzne spadły na wszystkich innych. Darmowa rejestracja bez weryfikacji to idealny surowiec dla masowych nadużyć: ta sama ekonomia co tanie nowe gTLD, doprowadzona aż do zera. Zanim Meta złożyła pozew, pięć darmowych ccTLD Freenom, czyli .tk, .ml, .ga, .cf, .gq, było źródłem ponad połowy wszystkich nowych domen phishingowych pochodzących z krajowych TLD.\nTo, co to zatrzymało, jest tu najważniejsze.\nNie ICANN, który nie miał umowy ani legitymacji. Nie Tokelau, które zbierało szóstą część swojego dochodu narodowego. Nie Nowa Zelandia. Prawnicy Mety, w Northern District of California, w marcu 2023 roku, z zarzutami cybersquattingu i naruszenia znaków towarowych.\nFreenom wstrzymał nowe rejestracje w ciągu kilku dni. Phishing z tych rozszerzeń spadł z ponad 60% do poniżej 15%. Freenom zawarł ugodę w lutym 2024 roku i wycofał się z biznesu domenowego, a do marca tego roku około 12,6 mln domen, 99% jego portfela, przestało się rozwiązywać.\nDział prawny jednej korporacji, w jednym amerykańskim sądzie, usunął z internetu dwanaście i pół miliona nazw. Żaden organ zarządzający w historii DNS nigdy nie wykonał tak dużej władzy nad przestrzenią nazw, a ona nie zrobiła tego przez zarządzanie.\nTo trzeci raz w tym wpisie, kiedy odpowiedzią na pytanie „co tu właściwie cokolwiek egzekwuje” okazuje się sąd w Kalifornii, i drugi raz, kiedy egzekwowała strona prywatna działająca we własnym interesie handlowym, który przy tej okazji akurat pokrywał się z interesem wszystkich innych.\nA .uk też jest ccTLD. Ten sam brak jakiejkolwiek umowy regulującej, jak prowadzi się strefę, ten sam brak Specyfikacji 6, ta sama swoboda założenia wildcardu albo rozdania przestrzeni nazw. Nie zrobiła ani jednego, ani drugiego. Prowadziła zamiast tego proces przeciwdziałania nadużyciom.\nI tu porządny podział przestaje być porządny, a warto go celowo popsuć.\nNominet nie prowadzi tylko .uk. Prowadzi też ogólne domeny najwyższego poziomu, własne i kilkadziesiąt innych w imieniu innych operatorów, i dla nich podpisuje umowę rejestrową ICANN jak każdy, ze Specyfikacją 6 i ciągłym monitoringiem włącznie. Na jego własnej platformie strefa bez umowy była w mniejszości mniej więcej jak jeden do trzydziestu.\nWymagania ICANN i tak dosięgły więc .uk. Nie przez władzę, której nie miał, ale dlatego, że nikt przy zdrowych zmysłach nie prowadzi dwóch reżimów operacyjnych obok siebie, żeby zachować wyjątek dla jednej strefy. Budujesz to surowsze raz i na tym prowadzisz wszystko.\nTo ten sam kształt co wcześniejszy problem z OFAC: formalny zasięg ICANN kończy się na umowie, a faktyczny idzie dalej, rozprowadzany przez operatorów, dla których przestrzeganie wszędzie jest tańsze niż utrzymywanie rozróżnienia. Zbiór rejestrów faktycznie rządzonych przez ICANN jest istotnie większy niż zbiór tych, które cokolwiek podpisały.\nTa infrastruktura, to, jak się ją prowadziło, i co potem stało się z Nominet, to osobny wpis.\nZostaje pytanie, do którego ten wpis wciąż dochodzi z różnych stron: kiedy umowy nie sięgają, co tak naprawdę powstrzymuje rejestr przed robieniem czegokolwiek, co zechce?\nKolejny wpis odpowie na to z wnętrza Nominet: potok publikacji, EPP (protokół, którego rejestratorzy używają do tworzenia i zmiany nazw w rejestrze) i ekonomia pod spodem, podpisywanie w skali rejestru i to, kto naprawdę może odebrać nazwę. Ten wpis jest o warstwie powyżej, a warstwa powyżej nie wychodzi na tym dobrze.\nPieniądze Kolejny zarzut jest prostszy i wymaga mniej interpretacji.\nProdukt, który wymyślili W 2012 roku ICANN otworzył nabór wniosków na nowe ogólne domeny najwyższego poziomu. Każdy mógł złożyć wniosek o prowadzenie nowego ciągu na prawo od kropki, za w dużej części bezzwrotną opłatę za ocenę w wysokości $185 000.\nWpłynęło 1930 wniosków. To ponad $350 mln opłat za ocenę, zebranych, zanim delegowano choćby jeden ciąg. Wnioskodawcy, którzy wycofali się wcześnie, odzyskali część według skali malejącej; zdecydowana większość została.\nICANN opisał tę opłatę jako zwrot kosztów.\nPotem, tam gdzie dwóch wnioskodawców chciało tego samego ciągu i nie chciało dogadać się prywatnie, ICANN licytował go między nimi i zatrzymywał wpływy, co dało kolejne $240 590 128. Program brał więc od ciebie pieniądze za złożenie wniosku i jeszcze raz za wygraną.\nZadaj pytanie, które powinno było paść w 2008 roku: jaki problem to rozwiązywało?\nOficjalnym uzasadnieniem były konkurencja, wybór i innowacja. Czternaście lat później wyniki da się zmierzyć. Delegowano około 1200 ciągów. W sierpniu 2026 roku jest 1112 nowych gTLD z łącznie około 48,7 mln domen, wobec samego .com z ponad dziesięciokrotnie większą liczbą. Monopol zasiedziałego gracza nie został w najmniejszym stopniu naruszony. Zamiast tego dostał podwyżkę cen.\nArgument o wyborze upada na własnych dowodach. 34% wniosków z 2012 roku dotyczyło ciągów .brand, czyli firmy składającej wniosek o własny znak towarowy, w dużej mierze po to, żeby nikt inny go nie dostał. To nie są nowe wybory dla nikogo. Wielu z nich nigdy nie użyto. McDonald\u0026rsquo;s nigdy nie uruchomił .mcdonalds. Intel przejął .intel w lipcu 2016 roku i zrezygnował z niej w listopadzie 2020 roku, Symantec oddał .symantec dwa miesiące wcześniej, a SC Johnson złożył wnioski o osiem ciągów, w tym .scjohnson, .raid, .glade, .off, .duck, a potem w styczniu 2022 roku zrezygnował z całości. Sześć lat po oknie naboru ponad jedna na dziesięć nowych gTLD wciąż nie wystartowała, 144 nie doszły do okresu sunrise, a L\u0026rsquo;Oréal siedział na ciągach, dla których nigdy nie ogłosił żadnego planu.\nTo dużo martwej przestrzeni nazw. Oto dlaczego ICANN się tym nie przejmuje.\nZgodnie z podstawową umową rejestrową operator gTLD płaci ICANN stałą opłatę $25 000 rocznie plus $0,25 za rejestrację, ale tylko wtedy, gdy TLD przekroczy 50 000 transakcji w kwartale. Poniżej tego progu nie ma w ogóle opłaty transakcyjnej.\nZobacz, co to oznacza. Dochód ICANN z domeny najwyższego poziomu, w której jest zero nazw, jest dokładnie taki sam jak z takiej, w której jest ich czterdzieści tysięcy: $25 000 rocznie, co roku, za delegację, której nikt nie używa. Martwy ciąg nie jest porażką w księgach ICANN. To renta bez kosztów wsparcia.\nICANN nie miał żadnego finansowego powodu, żeby obchodziło go, czy cokolwiek z tego działa, i trudno znaleźć dowody, że obchodziło.\nCo internet dostał zamiast tego Program wytworzył jeden mierzalny efekt, i nie jest to ten z prospektu.\nNowe ciągi, które się sprzedały, sprzedały się na cenie. Rejestry bez marki i bez naturalnego popytu konkurowały jedynym dostępnym im sposobem: za dolara albo mniej za nazwę, hurtowo, przy minimalnych kontrolach. To jest produkt i znalazł swój rynek.\nBadanie Interisle Cybercrime Supply Chain 2025 wykazało, że na nowe gTLD przypadało 47% zgłoszonych domen cyberprzestępczych przy 12% udziale w rynku domen, czyli mniej więcej sześciokrotna nadreprezentacja. To samo badanie odnotowało 19,5 mln unikalnych domen użytych w atakach, o 126% więcej niż rok wcześniej, z czego 7,3 mln zarejestrowano hurtowo. Wspólny czynnik, jaki wskazuje w najczęściej nadużywanych domenach, to to, że są tanie.\nICANN nie stworzył phishingu. Ale wyprodukował 1200 nowych miejsc, z których można go prowadzić, wycenił wejście tak, że jedyną opłacalną strategią dla większości z nich był wolumen przy niemal zerowym koszcie, i pobierał od każdego stałą opłatę bez względu na to, co z tego wyszło.\nSztandarowa porażka samego programu pokazuje to lepiej niż jakakolwiek statystyka. .sucks delegowano firmie Vox Populi, która w okresie sunrise brała od właścicieli znaków towarowych $2499 za nazwę, cenę ustaloną właśnie dlatego, że marki musiałyby ją zapłacić, żeby nikt inny tej nazwy nie wziął. Reakcją ICANN było zgłoszenie rejestru do amerykańskiej Federal Trade Commission za ceny drapieżne. FTC stwierdziła, że żadne przepisy nie zostały złamane, i zauważyła, że ICANN wcześniej zignorował kilka zastrzeżeń, jakie FTC zgłaszała wobec programu nowych gTLD.\nTo cała rzecz w jednym epizodzie. ICANN projektuje program, ignoruje ostrzeżenia regulatora na jego temat, deleguje ciąg, bierze opłatę, a potem skarży się regulatorowi na przewidywalny wynik.\nNabór do kolejnej rundy otwarto w 2026 roku. Opłata wynosi $227 000.\nCiągi zbyt niebezpieczne, żeby je delegować Jeszcze jedna rzecz, którą wytworzył program, i ta jest dla każdego, kto kiedykolwiek budował sieć wewnętrzną.\nOrganizacje zawsze wymyślały domeny najwyższego poziomu do użytku wewnętrznego, zakładając, że nazwa, która nie istnieje publicznie, nigdy nie będzie istnieć. .corp. .home. .mail. .local. Wybierz coś, wpisz do Active Directory, nikt z zewnątrz tego nie widzi.\nRunda 2012 proponowała delegować niektóre z nich naprawdę, a wtedy każde z tych prywatnych założeń staje się żywym problemem bezpieczeństwa: wewnętrzne nazwy zaczynają rozwiązywać się na cudze serwery, zapytania, które kiedyś kończyły się błędem, zaczynają wypuszczać twoją wewnętrzną strukturę do rejestru, a certyfikaty wystawione dla nazw wewnętrznych stają się certyfikatami dla nazw, które teraz kontroluje obcy.\nNikt tego nie sprawdził. Wyszło na jaw tylko dlatego, że badacze zmierzyli, o co naprawdę pyta się korzeń, i odkryli, że .home i .corp należą do najczęściej odpytywanych ciągów w ogóle: intensywnie używane nazwy, których nigdy nikomu nie delegowano. Security and Stability Advisory Committee samego ICANN podniósł to w 2013 roku, gdy wnioski już wpłynęły.\n.corp, .home i .mail nigdy nie zostały delegowane. Wciąż są odłożone, bezterminowo, bo ich delegowanie zepsułoby zbyt wiele. Trzy ciągi, o które złożono wnioski i za które zapłacono, okazały się zbyt niebezpieczne, żeby istnieć.\nTo program, który rozszerzył korzeń, nie ustaliwszy najpierw, z czym to rozszerzenie się zderzy, i dowiedział się tego później z cudzych pomiarów. Jeśli chcesz praktycznego wniosku, to jest powód, dla którego wymyślanie wewnętrznej TLD to zły pomysł: przestrzeń nazw, którą wymyśliłeś, jest prywatna tylko do czasu, aż ktoś ją sprzeda.\nPieniądze z aukcji Między czerwcem 2014 a lipcem 2016 roku te aukcje sporne zebrały wspomniane $240 590 128, około $233 mln po odliczeniu kosztów aukcji.\nTo pieniądze uzyskane ze sprzedaży kawałków przestrzeni nazw, której ICANN nie posiada, tylko trzyma w powiernictwie. Istnieje dająca się obronić odpowiedź na pytanie, co powinno się z nimi stać, a społeczność powołała międzyśrodowiskową grupę roboczą, żeby ją znaleźć.\nGdy ta grupa robocza wciąż obradowała, zarząd ICANN wziął $36 mln z wpływów i przelał je do własnego funduszu rezerwowego ICANN, któremu do celu brakowało $68 mln. Nie zaproponował, tylko zatwierdził. A gdy społeczność zaprotestowała, przedstawiono jej stanowisko, że alternatywą byłoby podniesienie opłat przez ICANN.\nGrupa robocza mimo to pracowała dalej. Zarząd przyjął jej rekomendacje dopiero w czerwcu 2022 roku, sześć lat po ostatniej aukcji, a przez ten czas ICANN trzymał ćwierć miliarda dolarów cudzych pieniędzy i poczęstował się z nich kwotą $36 mln, gdy ludzie decydujący o ich przeznaczeniu wciąż siedzieli w sali.\nLimity cen .org W marcu 2019 roku ICANN zaproponował odnowienie umowy rejestrowej .org bez limitów cen. Limity były tym, co powstrzymywało operatora .org przed braniem, ile tylko zechce, od organizacji charytatywnych, NGO i non-profit, którym przez dwadzieścia lat mówiono, że .org to ich miejsce.\nOdbyły się konsultacje społeczne. 3252 komentarze sprzeciwiały się usunięciu. Sześć je popierało. Wśród przeciwników były NPR, YMCA, C-SPAN, National Geographic Society, AARP i National Trust for Historic Preservation: nie zwykli komentatorzy z branży domenowej, tylko dokładnie ta grupa, dla której .org istnieje.\n1 lipca 2019 roku ICANN podpisał umowę. Bez publicznego ogłoszenia. Porównanie podpisanego tekstu z proponowanym nie wykazało żadnych zmian wprowadzonych w odpowiedzi na konsultacje. Nie „uwzględniono część zastrzeżeń”, tylko ten sam dokument.\nJeśli konsultacje społeczne mogą wyjść 542 do 1 przeciw i nie zmienić ani słowa, to nie są konsultacje. To formalność, która wytwarza ślad na papierze.\nPotem sprzedaż W listopadzie 2019 roku, cztery miesiące później, Internet Society ogłosiło, że sprzedaje Public Interest Registry, operatora .org działającego non-profit, firmie private equity Ethos Capital za $1,135 mld.\nTo usunięcie limitów cen sprawiło, że PIR był wart $1,135 mld. Rejestr, który nie może podnosić cen, to renta. Rejestr, który może, to aktywo wzrostowe. ICANN cztery miesiące wcześniej zamienił jedno w drugie, wbrew jednomyślnemu sprzeciwowi, a rynek natychmiast to wycenił.\nEthos Capital założono w maju 2019 roku. Domenę ethoscapital.com zarejestrował 8 maja 2019 roku Fadi Chehadé, były prezes ICANN, w tygodniu, w którym upływał termin publikacji przez pracowników ICANN raportu o usunięciu limitów cen. Jego nazwisko nie pojawiało się nigdzie na stronie Ethos Capital, gdy ogłoszono transakcję. Jego udział wyszedł na jaw dzięki danym WHOIS, czyli publicznemu rejestrowi tego, kto jest właścicielem domeny, o którym jest następna sekcja, a ironia pisze się sama. Ethos potwierdził wtedy, że doradzał przy transakcji, a w lipcu 2020 roku został jego współprezesem.\nICANN w końcu zablokował sprzedaż w kwietniu 2020 roku. Uczciwie jest to odnotować. Uczciwie jest też odnotować, co to poprzedzało: miesiące, w których ICANN upierał się, że sprawa w większości wykracza poza jego kompetencje, długotrwałe publiczne kampanie, listy od amerykańskich senatorów i w końcu list od prokuratora generalnego Kalifornii, ostrzegający ICANN przed transakcją i wskazujący na brak przejrzystości wokół Ethos Capital.\nICANN nie był tu zabezpieczeniem. ICANN usunął limity, które stworzyły okazję, a sam został zatrzymany w ostatniej chwili przez stanowego urzędnika prawa, co jest jeszcze jedną demonstracją, że prawdziwym mechanizmem rozliczalności w tym systemie jest jurysdykcja Kalifornii, a nie cokolwiek w statucie.\nUkład z Verisign To ten sam kontrahent co przy wildcardzie, piętnaście lat później. W październiku 2018 roku NTIA i Verisign podpisały Amendment 35 do Cooperative Agreement, znosząc zamrożenie cen .com i dopuszczając podwyżki o 7% rocznie w czterech z każdych sześciu lat.\nTo była decyzja rządu USA, nie ICANN. Ale podwyżki i tak wymagały zmiany umowy rejestrowej .com, a ta należy do ICANN. W marcu 2020 roku ICANN zgodził się na Amendment 3, a obok niego na wiążący list intencyjny, na mocy którego Verisign płaci ICANN $20 mln w ciągu pięciu lat od 1 stycznia 2021 roku, na prace nad bezpieczeństwem i stabilnością.\nObie rzeczy wynegocjowano, zanim otwarto konsultacje społeczne. Konsultacje się odbyły, były przytłaczająco wrogie i nic nie zmieniły: ten sam wzorzec co przy .org, w tym samym okresie, z tym samym wynikiem.\nWeź tę strukturę na jej własnych warunkach. Organ, który decyduje, czy monopolista może podnieść ceny, wynegocjował w tym samym czasie i z tym samym kontrahentem płatność dla siebie. Konsultacje przyszły potem i były dekoracją. Na cokolwiek te pieniądze zostaną wydane, układ, w którym regulator dostaje pieniądze od regulowanego w tej samej transakcji co podwyżka cen, to układ, w który żaden kompetentny regulator by nie wszedł, a słowo, po które sięgali wtedy komentujący, łapówka, jest tym oczywistym.\nHurtowa cena .com wzrosła na tej podstawie z $7,85 do $10,26, dla nazwy bez żadnej technicznej potrzeby podwyżki i bez konkurenta, do którego abonent mógłby przejść.\nOsiem krajów przeciw jednej firmie Jeśli chcesz jednego epizodu, który pokazuje, przed kim ICANN naprawdę odpowiada, to jest nim .amazon, i ciągnął się siedem lat.\nFirma Amazon złożyła wniosek o .amazon w rundzie 2012. Sprzeciw zgłosiła Amazon Cooperation Treaty Organization: Boliwia, Brazylia, Kolumbia, Ekwador, Gujana, Peru, Surinam i Wenezuela, osiem suwerennych państw, których terytorium ta nazwa opisuje i w których żyje około 30 mln ludzi. Ich stanowisko było takie, że wspólna nazwa geograficzna i kulturowa nie powinna stać się prywatną własnością jednej firmy.\nSkorzystały z kanału, który ICANN zapewnia rządom. Governmental Advisory Committee (GAC) wydał konsensusową opinię przeciw wnioskowi, a w maju 2014 roku zarząd ICANN ją przyjął. Państwa wygrały, przez mechanizm zaprojektowany dokładnie do tego.\nAmazon złożył wniosek w ramach Independent Review Process (IRP).\nW 2017 roku panel IRP orzekł na korzyść Amazona. Stwierdził, że zarząd działał niezgodnie z własnym statutem ICANN, uznał, że zarząd nie może traktować konsensusowej opinii GAC jako rozstrzygającej, polecił mu ponownie ocenić wnioski merytorycznie i nakazał ICANN zwrócić Amazonowi $163 045,51 kosztów.\nW maju 2019 roku ICANN uznał, że nie ma żadnego powodu z zakresu polityki publicznej, żeby wnioski nie mogły iść dalej. Amazon dostał .amazon.\nCzytaj strukturę, a nie wynik, bo o wynik można się spierać, a o strukturę nie.\nRządy dostają GAC, a GAC doradza. Korporacja dostaje Independent Review Process, a IRP wydaje wiążące rozstrzygnięcie, polecenie dla zarządu i zasądzenie kosztów. Gdy te dwa kanały zderzyły się czołowo, ustalenie panelu brzmiało wprost, że kanał rządowy nie jest rozstrzygający.\nICANN ma więc działający mechanizm rozliczalności. Zadziałał. Skutecznie użyła go jedna z największych firm na świecie, żeby obalić zbiorowy sprzeciw ośmiu krajów, a ICANN za ten przywilej zapłacił jej koszty prawne.\nTo ten sam fakt co problem jurysdykcji wcześniej w tym wpisie, tylko w innym ubraniu. Mechanizmy są prawdziwe i ukształtowane tak, że wyniki z nich wyciągają strony, które stać na ich obsługę. Osiem rządów nie zdołało sprawić, żeby kanał doradczy zadziałał. Jedna firma uruchomiła kanał prawny w trzy lata.\nWalka o GDPR: co robi ICANN, gdy prawo dotyczy jego samego Najmocniejszym dowodem na temat instytucji nie jest jej deklaracja misji. To, co robi za pierwszym razem, gdy egzekwuje się wobec niej regułę, której sama nie napisała.\nDla ICANN tym momentem było GDPR, a zapis jest jednoznaczny.\nICANN nie brakowało ostrzeżeń. Według wyliczenia The Register miał za sobą ponad dekadę listów mówiących mu, że WHOIS, czyli publikowanie imienia i nazwiska, adresu pocztowego, e-maila i numeru telefonu każdego abonenta domeny, każdemu, bez kontroli dostępu, jest niezgodne z europejskim prawem ochrony danych. Samo GDPR przyjęto w 2016 roku z dwuletnim okresem przejściowym właśnie po to, żeby organizacje mogły się przygotować. ICANN dotarł do maja 2018 roku bez zgodnego modelu.\nZamiast tego w kwietniu 2018 roku pojechał do Brukseli i poprosił Grupę Roboczą Art. 29 o roczne moratorium na egzekwowanie, a do tego o zgodę na dalsze publikowanie w tym czasie adresów e-mail abonentów.\nZastanów się, czym ta prośba naprawdę jest. Nie przedłużeniem terminu na złożenie dokumentów. Prośbą, żeby europejscy regulatorzy zgodzili się nie egzekwować regulacji dotyczącej praw podstawowych wobec jednej organizacji i jej kontrahentów na całym świecie, przez rok, bo ta organizacja nie zdążyła się dostosować. W GDPR nie ma mechanizmu, który pozwalałby to przyznać. Ochrona danych to prawo podstawowe na mocy Karty; ani żaden organ nadzorczy, ani Europejska Rada Ochrony Danych nie ma uprawnień, żeby zawiesić je dla jednego administratora danych. ICANN nie prosił o ustępstwo, którego mu odmawiano. Prosił o coś, co nie istnieje, najwyraźniej nie ustaliwszy, czy istnieje.\nWP29 odmówiła obu próśb. Własne podsumowanie spotkania przez ICANN przyznawało, że adresy e-mail abonenta oraz kontaktów administracyjnych i technicznych muszą zostać zanonimizowane, i po prostu pomijało jakąkolwiek wzmiankę o moratorium, o które prosił.\nPotem pozwał.\n25 maja 2018 roku, w dniu, w którym GDPR weszło w życie, ICANN złożył pozew przeciw EPAG, niemieckiemu rejestratorowi należącemu do Tucows, w Bonn. EPAG zdecydował, że przestanie zbierać dane kontaktów Admin-C i Tech-C, uzasadniając, że zbieranie danych osobowych, do których nie ma zastosowania, to dokładnie to, czego GDPR zakazuje. Stanowisko Tucows było takie, że w przytłaczającej większości rejestracji abonent, kontakt administracyjny i techniczny to i tak ta sama osoba, więc zbieranie było nie tylko niezgodne z prawem, ale i bezcelowe.\nTeoria prawna ICANN zakładała, że podstawa GDPR „niezbędne do wykonania umowy” obejmuje to zbieranie, bo wymagała go własna umowa ICANN z rejestratorem. To niezwykły argument: że organizacja może wytworzyć podstawę prawną przetwarzania cudzych danych osobowych, wpisując wymóg ich zbierania do umowy ze stroną trzecią. Gdyby to działało, art. 6 ust. 1 lit. b byłby formalnością, którą każdy może spełnić, pisząc umowę.\nNie zadziałało. ICANN przegrał w Bonn. Odwołał się. Przegrał znowu. W sierpniu 2018 roku sąd apelacyjny w Kolonii odrzucił go po raz trzeci, uznał wcześniejsze orzeczenia za przekonujące, stwierdził, że nie ma pilnej sytuacji uzasadniającej zabezpieczenie, i, to jest część, którą warto przeczytać dwa razy, odmówił wniosku ICANN o skierowanie pytania do Trybunału Sprawiedliwości Unii Europejskiej, uzasadniając, że interpretacja prawna ICANN nie ma znaczenia dla rozstrzygnięcia. Sąd nie uznał argumentu za na tyle bliskiego, żeby warto było pytać o niego Luksemburg.\nICANN wydał pieniądze członków, próbując mimo to doprowadzić sprawę przed ten trybunał. W 2019 roku porzucił WHOIS całkowicie.\nWynik techniczny był słuszny: WHOIS w takiej postaci w ogóle nie powinien był istnieć. Ale popatrz, jak do niego doszło. Dziesięć lat zignorowanych ostrzeżeń. Prośba o wyłączenie spod prawa podstawowego. Proces przeciw własnemu kontrahentowi, złożony w dniu wejścia prawa w życie, żeby ustalić, że prawo nie działa tak, jak mówili regulatorzy. Trzy porażki. Potem kapitulacja.\nTo nie jest organizacja, która źle odczytała ustawę. To organizacja, która do chwili, gdy sądy powiedziały jej to trzy razy, nie przyjmowała do wiadomości, że to prawo w ogóle jej dotyczy.\nIle to kosztowało wszystkich innych Większość tego wpisu dotyczy tego, co zrobili ICANN i rejestry. Ta część jest o tym, kto za to zapłacił, bo bardzo rzadko byli to oni.\nKażdy abonent .com na ziemi płaci za podwyżkę. Hurtowa cena .com wzrosła z $7,85 do $10,26. Według raportów samego Verisign baza .com liczyła 163,6 mln nazw na 31 marca 2026 roku. Pomnóż jedno przez drugie, a ta podwyżka jest warta rzędu $394 mln rocznie, zabranych każdemu abonentowi .com gdziekolwiek na świecie, za nazwę, która nie wymagała żadnej zmiany technicznej, żeby to uzasadnić. Firma w Lagos albo Manili płaci tę samą podwyżkę co firma w Palo Alto, a zdecydowały o niej amerykańska agencja i amerykańska organizacja non-profit, która w tych samych negocjacjach wzięła $20 mln od beneficjenta.\nDecyzja w sprawie .org spada na organizacje charytatywne na całym świecie. .org przez dwadzieścia lat sprzedawano sektorowi non-profit jako część przestrzeni nazw, która do niego należy. Zniesienie limitów było decyzją, że ten, kto ją prowadzi, może brać od nich tyle, ile ruch zniesie. NPR i YMCA to udźwigną. Mała NGO żyjąca z grantu nie udźwignie, i też jej nie zapytano: 3252 przeciw, sześć za, podpisane bez zmiany jednego słowa.\nCiężar nadużyć dźwiga każdy, kto prowadzi serwer pocztowy. Nowe gTLD to 12% rynku i 47% zgłoszonych domen cyberprzestępczych. Każda z tych nazw ląduje w czyjejś skrzynce, w czyjejś kolejce zgłoszeń nadużyć, w czyichś stratach na oszustwach. ICANN pobrał $185 000 za wniosek i pobiera $25 000 rocznie za ciąg bez względu na wszystko. Koszt tego, co potem wytworzyły tanie ciągi, spada na każdego operatora poczty, każdy bank, każdy zespół bezpieczeństwa i każdą osobę nabraną na stronę phishingową. To efekt zewnętrzny w podręcznikowym sensie, a program zaprojektowano bez jednego zdania o tym, kto go poniesie.\nSite Finder zepsuł semantykę błędów dla całej planety naraz. Warto to powiedzieć wprost, bo łatwo odczytać to jako amerykańską historię. Jest jeden korzeń i jedno .com. Kiedy Verisign zmienił to, co robi nieistniejąca nazwa, zmienił to jednocześnie dla każdej sieci na ziemi, w tym dla każdej sieci bez żadnej relacji z Verisign, bez głosu w tej decyzji i bez wyjścia poza łataniem własnych resolverów, co bardzo wiele z nich w końcu zrobiło.\nWHOIS zgasł dla ludzi, którzy używali go przeciw nadużyciom. Obie szkody są tu prawdziwe i obu można było uniknąć. Publikowanie imienia i nazwiska, adresu, e-maila i telefonu każdego abonenta każdemu, kto poprosił, było prawdziwą, trwającą dekady szkodą dla ludzi na całym świecie, a GDPR miało w tej sprawie rację. Ale ICANN miał ponad dziesięć lat ostrzeżeń i żadnego planu, więc maj 2018 roku nie był kontrolowanym przejściem na dostęp warstwowy. Był nagłym wyłączeniem. Badacze nadużyć, zespoły bezpieczeństwa i organy ścigania, także daleko poza Europą, z dnia na dzień straciły działające narzędzie, bo ICANN spędził okres przejściowy na procesowaniu się zamiast na budowaniu zastępstwa. Ujawnianie wcześniej i próżnia potem wynikają z tego samego braku przygotowania.\nI 12,6 mln nazw przestało się rozwiązywać. Upadek Freenom był dobrym wynikiem dla statystyk phishingu. Nie był dobrym wynikiem dla wszystkich, którzy używali darmowej .tk albo .ml, bo nie mogli wydać $10 rocznie, a było ich bardzo wielu, nieproporcjonalnie w miejscach, gdzie $10 to nie jest nic. Kiedy jedyna darmowa przestrzeń nazw w internecie jest też najbardziej nadużywana, ludzie, którzy ją tracą, gdy znika, to nie przestępcy. Ci tydzień później przenieśli się na następną tanią rzecz.\nKształt jest spójny. Decyzje zapadają w Kalifornii, przychody zbiera się w Kalifornii, a koszty rozkłada się globalnie na ludzi bez głosu, bez umowy i bez sądu, do którego mogliby dotrzeć.\nI tylko w amerykańskich sądach Skoro zapis jest już kompletny, wróćmy do kwestii jurysdykcji z początku tego wpisu, bo robi więcej niż sama rejestracja spółki.\nKażdy na świecie podlega temu, co postanowi ICANN. Ludzie, którzy mogą cokolwiek z tym zrobić, to ci, którzy mogą procesować się w Kalifornii.\nZobacz, kogo to wyklucza. Operatora ccTLD w Kamerunie. Abonenta w Teheranie, którego domenę usunięto, bo rejestrator nadgorliwie zastosował OFAC, który nigdy go nie wiązał. Rejestratora w Bonn, i właśnie dlatego spór między ICANN a EPAG musiał toczyć się jako niemiecka sprawa na gruncie niemieckiego prawa, a wcale nie jako sprawa rozliczalności ICANN. Każdy mały rejestr, którego nie stać na amerykańskich prawników, żeby spierać się o kwestię kalifornijskiego prawa organizacji non-profit z organizacją o dziewięciocyfrowym budżecie.\nPotem zobacz, kogo to wpuszcza. Każda interwencja w tym wpisie, która faktycznie coś zmieniła:\nSite Finder skończył się, gdy ICANN zagroził umowie Verisign, a odpowiedzią Verisign był pozew w amerykańskim sądzie i wyjście z ugody z odnowionym .com. Sprzedaż .org zatrzymano po tym, jak prokurator generalny Kalifornii wysłał list. Freenom przestał działać, bo Meta pozwała go w Northern District of California, a za nim zgasło 12,6 mln nazw. .amazon trafiła do Amazona, bo Amazon przeprowadził ICANN przez jego własny Independent Review Process i dostał zwrot kosztów. Cztery interwencje, które zadziałały. Czterech amerykańskich aktorów: jeden stanowy urzędnik prawa i trzy korporacje. Żadna z tych dróg nie jest dostępna dla nikogo spoza Stanów Zjednoczonych, a w trzech z czterech tym, co się poruszyło, był interes handlowy prywatnej firmy, który przy tych okazjach akurat wskazywał w tę samą stronę co interes wszystkich innych.\nSpołeczność to podnosiła. Podgrupa ds. jurysdykcji w grupie roboczej ds. rozliczalności spędziła nad tym Work Stream 2 i wydała rekomendacje, które zostawiły sprawy mniej więcej tam, gdzie były, co nie dziwi, skoro propozycja przekazania wykluczyła jedyną istotną zmianę z zakresu prac, zanim ktokolwiek usiadł do stołu.\nGlobalne zarządzanie z udziałem wielu interesariuszy sprowadza się więc, w jedynym miejscu, gdzie można je sprawdzić, do tego: możesz pozwać w Kalifornii, jeśli cię na to stać.\nCo zapis naprawdę pokazuje Złóż to razem, bo osobno każda rzecz ma wymówkę, a razem nie mają.\nOrganizacja, której niemieckie sądy musiały trzy razy powiedzieć, że europejskie prawo jej dotyczy, po tym, jak najpierw poprosiła regulatorów tych sądów, żeby po prostu go nie egzekwowali.\nOrganizacja, która wymyśliła produkt, o który nikt nie prosił, wzięła ponad $350 mln opłat za rozpatrzenie wniosków o niego, kolejne $240 mln z licytowania spornych, a teraz pobiera $25 000 rocznie od domen najwyższego poziomu, w których nic nie ma, podczas gdy ciągi, które się sprzedały, stały się najtańszym miejscem w internecie do kupienia domeny phishingowej.\nOrganizacja, której konsultacje społeczne wyszły 542 do 1 przeciw i nie zmieniły ani słowa w dokumencie, którego dotyczyły.\nOrganizacja, która zniosła limity cen w przestrzeni nazw dla non-profit cztery miesiące przed tym, jak fundusz private equity jej byłego prezesa zaoferował za nią $1,135 mld, i którą musiał zatrzymać stanowy prokurator generalny, a nie jakikolwiek jej własny mechanizm.\nOrganizacja, która wzięła $20 mln od monopolistycznego rejestru w tych samych negocjacjach, które pozwoliły temu monopolistycznemu rejestrowi podnieść ceny, a konsultacje otworzyła potem.\nOrganizacja, która poczęstowała się kwotą $36 mln z pieniędzy trzymanych w powiernictwie, gdy grupa decydująca o ich przeznaczeniu wciąż obradowała.\nI organizacja, która zakończyła proces wytoczony przez rejestr, który przejął dwie największe strefy w internecie, dając temu rejestrowi odnowioną umowę na .com.\nOrganizacja, której jedyny działający mechanizm rozliczalności posłużył firmie wartej bilion dolarów do obalenia jednomyślnego sprzeciwu ośmiu krajów, z kosztami zasądzonymi od ICANN.\nOrganizacja, której od delegowania .corp i .home obcym dzielił jeden raport komitetu, a o tym, co by to zepsuło, dowiedziała się z cudzych pomiarów.\nWspólnym wątkiem nie jest niekompetencja. Niekompetencja jest przypadkowa. To jest kierunkowe: każda z tych spraw poszła po myśli zasiedziałych graczy, pieniędzy i własnego interesu instytucjonalnego ICANN, a mechanizmy udziału, czyli konsultacje, grupy robocze, upodmiotowione społeczności, wytwarzały dokumentację zamiast wyników.\nI to jest organ, który ustala politykę dla tego pliku. Nie organ normalizacyjny, nie sąd, nic, co wybrałeś. Kalifornijska organizacja non-profit z takim dorobkiem w zarządzaniu, siedząca na 1,5 megabajta tekstu, według którego rozwiązuje nazwy każda sieć na ziemi.\nJedyne, co stoi między tym dorobkiem a plikiem, to to, że ICANN nie trzyma pióra. Musi prosić. Wszystko powyżej to to, co robi organizacja, która wciąż musi prosić, więc pytanie warte zabrania ze sobą nie brzmi, czy ICANN zachowuje się dobrze. Wyraźnie nie. Brzmi: co utrzymuje to proszenie na miejscu, skoro nikt go nie zapisał, a strona, którą się prosi, już jest na liście płac.\n","permalink":"https://blogs.damiendye.uk/pl/dns/who-actually-controls-dns/","summary":"Korzeń internetu to plik tekstowy o rozmiarze 1,5 MB, który edytuje i podpisuje jedna amerykańska firma. Kto naprawdę kontroluje DNS, co przekazanie funkcji IANA w 2016 roku zmieniło, a czego nie zmieniło, oraz udokumentowany zapis tego, jak ICANN korzystał z tej kontroli.","title":"Kto naprawdę kontroluje DNS"},{"content":"Byłem administratorem systemów rejestru DNS w Nominet, rejestrze .uk, od 2017 do 2019 roku: w budynku, w czasie gdy narastała presja, z której wyrósł bunt z 2021 roku. Samo głosowanie odbyło się już po moim odejściu i ta część jest sprawą publiczną, podlinkowaną jak zwykle. Tam, gdzie mówię o tym, jak to wyglądało od środka, mówię to wprost.\nWpis towarzyszący temu jest o ICANN i ciągle dochodzi do tego samego pytania z różnych stron: kiedy nikt nie ma umowy nad rejestrem, co tak naprawdę sprawia, że ten się zachowuje?\n.uk to dobre miejsce, żeby na to odpowiedzieć, bo nikt takiej umowy nie ma. Nie ma nad nim umowy rejestrowej ICANN, nie ma Specyfikacji 6, nie ma działu zgodności, nie ma zewnętrznego monitoringu i nie ma regulatora w zwykłym sensie. Nie prowadzi go Ofcom. Nie prowadzi go rząd.\nProwadzą go jego członkowie. A w marcu 2021 roku z tego skorzystali.\nCzym właściwie jest Nominet Nominet to spółka z odpowiedzialnością ograniczoną do wysokości gwarancji. Nie ma udziałowców. Ma członków, czyli rejestratorów i inne zainteresowane strony, które płacą składkę i mają głos, i została powołana, by prowadzić .uk dla dobra publicznego, a nie dla zysku.\nTa struktura to cała historia. Spółka bez właścicieli, których trzeba by wzbogacać, nadal przyjmuje pieniądze, a rejestr prowadzący narodową przestrzeń nazw bez konkurenta przyjmuje ich dużo. Na co ma iść ta nadwyżka, to pytanie, na które statut odpowiada mgliście, a zarząd w praktyce.\nCzłonkowie to jedyna kontrola. Nie ma nic więcej. Co jest w porządku, dopóki odpowiedzi się zgadzają, i staje się całą grą, kiedy przestają.\nOrganizacja od środka Oto część, której ludzie spoza rejestru rzadko sobie wyobrażają, a ma znaczenie dla wszystkiego, co dalej.\nNominet nigdy nie był tylko .uk. Kiedy tam byłem, platforma obsługiwała:\n.uk, krajową domenę najwyższego poziomu (ccTLD), bez żadnej umowy z ICANN. .cymru i .wales, ogólne domeny najwyższego poziomu (gTLD), które Nominet posiada we własnym imieniu, i te są objęte umowami rejestrowymi ICANN. Cudze gTLD. W kwietniu 2016 roku Minds + Machines przekazało Nominet zaplecze techniczne dla maksymalnie 28 swoich ciągów, w tym .london, .work, .law, .fashion i .cooking, co umieściło Nominet w czołówce operatorów rejestrów według liczby prowadzonych TLD. Do tego domeny markowe, jak .bbc i .bentley. Awaryjną rolę dla ICANN. Nominet jest jednym z awaryjnych operatorów zaplecza rejestru ICANN (EBERO), firm, którym ICANN przekazuje gTLD, gdy odbiera ją temu, kto ją prowadził. Dołączył w 2014 roku, a w grudniu 2017 roku ICANN z tego skorzystało: Nominet został awaryjnym tymczasowym operatorem .wed po awarii usługi danych rejestracyjnych jej operatora. Stronę resolverów. Nominet zbudował i prowadził Protective DNS dla National Cyber Security Centre (NCSC), rekursywny resolver, do którego zwracają się brytyjskie instytucje publiczne i który odmawia rozwiązywania nazw znanych jako złośliwe. Jedno wyjaśnienie, bo „Nominet prowadzi .uk” jest luźniejsze, niż powinno.\nNominet prowadzi rejestr .uk i większość tego, co pod nim siedzi: .co.uk, .org.uk, .me.uk i samo .uk drugiego poziomu. Nigdy nie prowadził całości. .ac.uk należy do Jisc, następcy sieci akademickiej, która w ogóle nazwała uk, i który od 1996 roku administruje nazwami pod nią i je rejestruje. Przez lata, które obejmuje ten wpis, .gov.uk też należało do Jisc. Nominet przejął je dopiero w 2024 roku, a nawet teraz zatwierdzanie leży w rękach Central Digital and Data Office, a nie rejestru.\nIdzie to dalej, i to w kierunku, którego byś nie zgadł. Jisc zapewnia też administrację dla .gov.scot oraz dla .gov.wales i .llyw.cymru, a obie te ostatnie żyją wewnątrz .wales i .cymru, dwóch ogólnych domen najwyższego poziomu, które Nominet posiada we własnym imieniu. Nominet prowadzi te TLD. Rządowym zakątkiem w nich zajmuje się ktoś inny.\nWięc nawet wewnątrz przestrzeni nazw jednego kraju władza jest podzielona, i podzielona przez historię i zwyczaj, a nie przez czyjkolwiek projekt.\nJedna organizacja była więc jednocześnie w czterech różnych relacjach z systemem nazw. Zupełnie poza zasięgiem ICANN dla .uk. W jego zasięgu, na umowie i pod ciągłym pomiarem, dla gTLD. Narzędziem, po które ICANN sięgało, gdy musiało odebrać domenę najwyższego poziomu komuś innemu. I resolverem decydującym, co ministerstwo może sprawdzić.\nNic z tego nie jest sprzecznością. Tak wygląda ta struktura, kiedy przestajesz czytać schematy organizacyjne, a zaczynasz czytać umowy. Władza przyczepia się tu do pojedynczych delegacji, a nie do firm.\nDwa reżimy, jedna platforma Teraz kawałek, który widać tylko od środka, i powód, dla którego ta organizacja ma znaczenie, a nie jest ciekawostką.\nDla gTLD Nominet podpisuje umowę rejestrową ICANN jak każdy inny. Obowiązuje Specyfikacja 6: żadnych wildcardów, żadnych syntetyzowanych odpowiedzi. Obowiązuje też Specyfikacja 10, a ICANN mierzy zgodność z nią w sposób ciągły z zewnątrz: rozwiązywanie DNS, wspólny system rejestracji, usługa Whois, depozyty escrow i poprawnie podpisane strefy są monitorowane względem progów, a przekroczenie któregoś to zdarzenie z zakresu zgodności, a nie zwykła awaria.\nPolicz strefy. Z jednej strony .uk, bez umowy. Z drugiej kilkadziesiąt gTLD, każda pod umową rejestrową i sondą monitorującą. Strefa bez umowy była na własnej platformie w mniejszości mniej więcej trzydzieści do jednego.\nDwa reżimy umowne na jednej platformie i wygrywa surowszy Jedna platforma, dwa reżimy umowne Nominet: jedna platforma rejestru, jeden zestaw runbooków .uk 1 strefa brak umowy rejestrowej brak Specyfikacji 6 nikt nie monitoruje ogólne domeny najwyższego poziomu ≈30 stref .cymru\u0026#160;· .wales\u0026#160;· MMX\u0026#160;×28\u0026#160;· .bbc\u0026#160;· .bentley umowa rejestrowa ICANN Spec. 6, Spec. 10, monitoring z zewnątrz surowy reżim staje się standardem firmy Nikt nie utrzymuje dwóch standardów pracy, żeby zachować wyjątek dla jednej strefy. .uk i tak dostaje zasady ICANN\u0026#160;i to bez umowy, bez konsultacji, bez pytania nikogo w UK. Jedna platforma niesie oba reżimy. Strefa bez umowy jest w mniejszości mniej więcej trzydzieści do jednego, więc zasady napisane dla gTLD stają się sposobem prowadzenia wszystkiego, łącznie ze strefą, nad którą nikt nie ma żadnej władzy. Prowadzenie dwóch reżimów operacyjnych na jednej platformie boli, więc się tego nie robi. Dwa procesy escrow, dwa reżimy monitoringu, dwa zestawy runbooków, dwie procedury dyżurowe, dwie odpowiedzi na to samo pytanie w zależności od tego, której strefy akurat dotyczy zgłoszenie: tak powstają błędy o trzeciej w nocy. Kiedy ICANN nakazuje coś dla gTLD, nie budujesz tego dwa razy. Budujesz raz i na tym prowadzisz wszystko.\nTo znaczy, że wymagania ICANN wylądowały też na .uk. Nie dlatego, że ICANN miało jakąkolwiek władzę nad .uk (nie miało żadnej), tylko dlatego, że najtańszy bezpieczny sposób spełnienia reguły wiążącej większość twojej organizacji to zastosowanie jej do całości, i dlatego, że celowe utrzymywanie podziału, żeby ccTLD mogła robić to, czego gTLD nie mogą, nie daje ci nic poza drugim sposobem, w jaki platforma może się zepsuć.\nNikt w tej sprawie nie podpisał żadnej umowy. Nie było żadnych konsultacji. Nikogo w Wielkiej Brytanii nie zapytano. Wymóg napisany w Los Angeles dla ogólnych domen najwyższego poziomu ukształtował sposób działania rejestru własnego kraju, drogą decyzji o tym, jak to zbudować.\nDla porządku: to również uczyniło ICANN realną obecnością w grafiku dyżurów, a nie linijką w dokumencie o polityce. Dla części organizacji był kontrahentem z umową, sondą wycelowaną w naszą infrastrukturę i ścieżką eskalacji.\nSprzedawać .uk, żeby płacić za resztę Handlowa logika tego wszystkiego była tym, przeciw czemu członkowie w końcu zaprotestowali.\n.uk to monopol. Jest dokładnie jedno miejsce, gdzie można kupić domenę .uk, popyt jest niemal nieelastyczny, a marża finansuje cokolwiek zarząd postanowi finansować. Od 2016 roku The Register mówił głośno, że rejestrujący domeny .uk płacą za dużo, żeby dotować resztę działalności.\nPod rządami prezesa Russella Hawortha, powołanego w 2015 roku, Nominet mocno wszedł w cyberbezpieczeństwo (między innymi kontrakt z NCSC), z rozumowaniem, że rejestr siedzący na narodowej infrastrukturze DNS jest dobrze ustawiony, żeby sprzedawać usługi bezpieczeństwa.\nTaki był kierunek przez cały czas, kiedy tam byłem. Bunt nie wziął się znikąd w 2021 roku. Warunki do niego położono lata wcześniej, na oczach każdego, kto pracował w budynku.\nNajpierw poszła fundacja W styczniu 2018 roku, kiedy tam byłem, Nominet wycofał się z własnej fundacji charytatywnej.\nNominet Trust był finansowany przez rejestr od 2008 roku: £44 mln przez ten okres, £4 mln w 2016 roku, £5,4 mln w 2017. Dawał pieniądze na projekty technologiczne służące dobru. Był, w dość bezpośrednim sensie, tym dobrem publicznym w spółce dla dobra publicznego. Usamodzielnił się, a w maju 2018 roku stał się Social Tech Trust.\nPodanym przez Hawortha powodem było to, że „the grant-giving, single funder model we set up in 2008 was not the most effective route to greatest impact.”\nRazem z tym ogłoszono Cyber Advisory Panel, któremu przewodniczył Haworth, nastawiony na rząd i duże firmy, wsparty programem marketingowym i, jak to ujął sam Nominet, potencjalnie przejęciem.\nPostaw te dwie rzeczy obok siebie, bo ogłoszono je razem. Pieniądze wychodzące z budynku do niezależnej fundacji przestały płynąć. Ruszyło przedsięwzięcie handlowe, któremu przewodniczył prezes. Członków nie zapytano ani o jedno, ani o drugie.\nJeden z nich, Andrew Bennett, zadał wtedy oczywiste pytanie: na co będą wydawane wszystkie przyszłe zyski operacyjne?\nTrzy lata później członkowie na nie odpowiedzieli.\nTo też jest powód, dla którego akapity poniżej to nie tylko moje wrażenie. Największy pojedynczy przepływ pieniędzy na dobro publiczne w historii Nominet przeszedł od niezależnej fundacji z własnym zarządem do panelu, któremu przewodniczył prezes, w jednym ogłoszeniu, bez pytania właścicieli. Cokolwiek myślisz o intencjach, kierunek pieniędzy jest udokumentowany.\n„Profit With a Purpose” To było to hasło. Linia dla całej strategii i słyszeliśmy je bardzo często.\nProblem z nim nie polegał na tym, że było ambitne. Polegał na tym, że jego dwie połowy się rozjechały. Zysk był prawdziwy, rosnący i pochodził z rynku uwięzionego klientów, którzy nie mieli gdzie indziej kupić .uk. Cel był slajdem w prezentacji.\nZysk w górę, cel wycofany: dwie połowy hasła się rozjeżdżają „Profit with a purpose” w księgach Cel: darowizny na Nominet Trust £4,0 mln 2016 £5,4 mln 2017 wycofane, styczeń 2018 fundacja puszczona wolno, sama szuka fundatorów od 2018 £44 mln łącznie w latach 2008-2018, potem nic. W tych samych latach cena domeny .uk wzrosła o ponad 50%. Połowa hasła o zysku działała dokładnie tak, jak miała. Dwie połowy hasła idą w przeciwnych kierunkach. Kwoty darowizn z historii finansowania Nominet Trust; podwyżka cen to skarga samych członków z 2021 roku. Można rozliczać firmę z takiego hasła i w końcu członkowie to zrobili. W środku przede wszystkim rodziło ono to szczególne zmęczenie, które bierze się z tego, że na każdym zebraniu całej firmy słyszysz, że ekspansja handlowa jest dobrem publicznym, podczas gdy rzeczywista linia dobra publicznego spada.\nDokąd poszły pieniądze Kiedy tam byłem, działały trzy rzeczy i żadna z nich nie jest DNS-em dla Wielkiej Brytanii.\nRejestr widma radiowego. Nominet zbudował bazę danych TV White Space, rejestr tego, które częstotliwości radiowe są wolne do użycia w danym miejscu i czasie, i uzyskał zatwierdzenie FCC jako administrator bazy w Stanach Zjednoczonych. Argument był taki, że rejestr to rejestr, a firma dobra w jednym rodzaju wyszukiwania może sprzedawać inny.\nProdukt bezpieczeństwa DNS. NTX, wykrywanie zagrożeń oparte na analizie ruchu DNS, sprzedawane rządom i firmom. Innymi słowy konkurent OpenDNS, czyli konkurent Cisco, w którego rolę wszedł brytyjski rejestr domen.\nSamochody autonomiczne. Razem z dronami i internetem rzeczy przedstawiane jako następna wielka fala rzeczy, które trzeba będzie nazywać i rejestrować.\nTo, co się z nimi stało, jest odpowiedzią na pytanie, czy były strategią. Biznes widma został sprzedany RED Technologies, kiedy Nominet zmienił kurs. Praca nad cyberbezpieczeństwem dała technologię stojącą za kontraktem z NCSC, który Nominet stracił potem w 2024 roku. Samochody autonomiczne nigdy nie przyjechały, a domeny, których miały potrzebować, też nie.\nOferta na Australię Była czwarta rzecz i to ona najwięcej mówi o ambicji. W 2018 roku Nominet złożył ofertę na prowadzenie australijskiego rejestru.\nauDA, które administruje .au, wystawiło operacje rejestru na przetarg. Przyszło dziewięć ofert z całego świata, trzy trafiły na krótką listę, a 1 lipca 2018 roku przejęło to Afilias, kończąc szesnaście lat prowadzenia przez AusRegistry. auDA nigdy nie opublikowało, kto jeszcze startował, więc nie znajdziesz tego w dokumentach, ale Nominet w tym był, a ja byłem tam, kiedy o to walczyliśmy.\nZestaw to z innymi wiadomościami z tego samego roku. W styczniu 2018 roku Nominet wycofał się z fundacji charytatywnej, której dał £44 mln, uzasadniając, że rozdawanie grantów przez jednego fundatora nie było najskuteczniejszą drogą do efektu. W tych samych dwunastu miesiącach składał ofertę na prowadzenie rejestru domen kraju po drugiej stronie świata.\nWarto też zauważyć, czym jest przetarg na .au, bo to dokładnie to, czym większość ludzi zakłada, że musi być .uk. auDA może wystawić swój rejestr na konkurencyjny przetarg i oddać go komuś innemu, i w 2018 roku to zrobiło. Dla .uk nie ma odpowiednika. Pozycja Nominet to nie umowa, która przychodzi do odnowienia, a to pozycja mocniejsza niż ta, którą Afilias wygrało w Australii, i warto o tym pamiętać, oceniając, jak dużą presję naprawdę stanowiło głosowanie członków. To była jedyna dźwignia, jaka istniała.\nA oto co działo się z auDA, kiedy Nominet starał się dla niego pracować.\nRównolegle z przetargiem australijski rząd prowadził przegląd samego auDA. W kwietniu 2018 roku stwierdził, że ramy zarządzania i nadzoru auDA są „no longer fit-for-purpose”, wydał 29 wymaganych reform jako nowe warunki poparcia i posadził wyższego urzędnika z Department of Communications w zarządzie auDA, żeby pilnował tej pracy. Powiedział też wprost, że przeniesie delegację .au do innego dostawcy, jeśli auDA nie wywiąże się z zadania.\nTo rząd krajowy stwierdzający na piśmie, że przeniesie domenę swojego kraju, jeśli podmiot, który ją trzyma, się nie ogarnie. Własni członkowie auDA w tym samym czasie się buntowali: petycja o nadzwyczajne walne zgromadzenie w celu usunięcia czterech osób z kierownictwa, trzy lata przed tym, jak członkowie Nominet zrobili to samo pięciu swoim.\nDwa narodowe rejestry, dwie organizacje non-profit trzymające przestrzeń nazw kraju, obie oskarżone o porażkę w zarządzaniu w odstępie niecałych czterech lat. To nie jest dziwactwo Nominet. Tak zachowuje się ta struktura, kiedy nikt nie patrzy jej wystarczająco uważnie na ręce.\nCo widzieli członkowie Co do tego, dlaczego te, a nie inne, będę ostrożny, bo mogę ci powiedzieć, jak to wyglądało, a nie co było komuś w głowie. Pogląd szeroko podzielany wtedy wśród pracowników był taki, że finansowanie szło za entuzjazmami ludzi, którzy je zatwierdzali. Nie mogę ci pokazać księgi i nie zamierzam udawać, że mogę.\nMogę natomiast wskazać, że trzy lata później formalna skarga członków była lepiej udokumentowaną wersją tego samego podejrzenia: że podmiot bez udziałowców i z celem dobra publicznego wydawał nadwyżkę z narodowego monopolu na rzeczy, które odpowiadały ludziom nim kierującym, i że darowizny, które miały uzasadniać cały ten układ, zostały w międzyczasie obcięte.\nDokąd poszła nadwyżka z .uk i jak każde się skończyło Dokąd poszła nadwyżka .uk jeden sprzedawca, bez rywala ceny w górę o 50%+ Nominet Trust £44 mln darowizn, 2008-2018 zatrzymane, sty 2018 baza widma TV White Space zatwierdzona przez FCC w USA sprzedana cyberbezpieczeństwo NTX £12,6 mln przychodu w ostatnim pełnym roku £2,4 mln straty Oferta na rejestr Australii dziewięć ofert, trzy na krótkiej liście przegrana z Afilias Autonomiczne auta, drony, internet rzeczy następna wielka fala rzeczy do nazwania nigdy nie przyszły Jedyna pozycja robiąca to, po co firma istniała, to ta, którą obcięto. Wszystko pod nią opłacili ludzie kupujący domeny .uk. Pięć kierunków dla pieniędzy z monopolu. Cztery skończyły się sprzedażą, stratą, przegranym przetargiem albo niczym, a piąty, ten, dla którego finansowania istniał statut, był tym, który zatrzymano. Skarga członków nie dotyczyła tego, że dywersyfikacja jest zła. Chodziło o arytmetykę. Ceny .uk wzrosły o ponad 50 procent. Darowizny na cele charytatywne i dobro publiczne spadły, podczas gdy organizacja zarabiała monopolowe marże na narodowym zasobie. Wyniki operacyjne szły w dół mimo cięcia kosztów. Wynagrodzenia i premie kadry zarządzającej przez cały ten czas rosły. A uwagi członków, zgłaszane kanałami, które przewiduje statut, latami nie prowadziły do niczego.\nSpółka bez udziałowców zaczęła się zachowywać jak spółka z niecierpliwymi udziałowcami, a nadwyżka z narodowej przestrzeni nazw za to płaciła.\nBunt członków Kampania nazywała się PublicBenefit.uk, a zorganizował ją Simon Blackler z firmy hostingowej Krystal. Jej uchwała była bezceremonialna: usunąć wskazanych z nazwiska dyrektorów.\nOdpowiedź Nominet to część warta odnotowania, bo mówi, czym ta organizacja się stała.\nProwadziła kampanię przeciw własnym członkom za pieniądze członków: maile, telefony i przesyłki wzywające do odrzucenia uchwały. Odmówiła odniesienia się do meritum kampanii. Kiedy kampania skorzystała z prawa do danych kontaktowych członków, żeby przedstawić swoje racje, Nominet nie wysłał arkusza kalkulacyjnego. Wysłał fizyczną paczkę z danymi wydrukowanymi na ponad 500 kartkach papieru, bez adresów e-mail.\nZablokował też drugą uchwałę, która powołałaby dwóch wykwalifikowanych dyrektorów tymczasowych, argumentując, że jest niezgodna z prawem, a potem skrytykował kampanię za brak planu sukcesji.\n22 marca 2021 roku doszło do głosowania. Frekwencja wyniosła 53%. Uchwała przeszła z wynikiem 52,7% i odeszło pięciu z jedenastu członków zarządu:\nMark Wood Przewodniczący Russell Haworth Prezes Eleanor Bradley Dyrektor zarządzająca, rejestr Ben Hill Dyrektor finansowy Jane Tozer Dyrektor niewykonawcza Haworth zrezygnował kilka godzin przed głosowaniem, zamiast je przegrać. Rob Binns został pełniącym obowiązki przewodniczącego.\nOto czym moim zdaniem była ta para, i zaznaczam, że to opinia, bo tym właśnie jest.\nWood i Haworth prowadzili Nominet tak, jak fundusz venture capital prowadzi spółkę portfelową. Nie jako rejestr, który przy okazji wypracowuje nadwyżkę, ale jako bilans z przyczepionym do niego niedostatecznie wykorzystanym aktywem: uwięzionym monopolem wyrzucającym gotówkę, którą można lepiej wykorzystać gdzieś, gdzie jest większy potencjał.\nKażda udokumentowana rzecz powyżej jest z tym spójna. Bierzesz pewny dochód i podnosisz jego cenę, bo klienci nie mają dokąd pójść. Zatrzymujesz wydatek, który nie daje zwrotu, czyli fundację. Różnicę wkładasz w portfel (widmo, cyberbezpieczeństwo, zagraniczny rejestr, samochody autonomiczne), z teorią, że któryś wypali. Płacisz ludziom, którzy tym kierują, stawkę, jakiej taka praca wymaga. I jedziesz dalej, dopóki ktoś, kto ma do tego pozycję, cię nie zatrzyma.\nNie ma nic niezwykłego w prowadzeniu firmy w ten sposób. To po prostu nie jest sposób prowadzenia podmiotu dobra publicznego trzymającego narodowy zasób w powiernictwie, bo ta nadwyżka nigdy nie była kapitałem szukającym zwrotu. Była dokładnie tym, co cały ten układ istniał, żeby wytwarzać, i statut to mówił.\nCzłonkowie w końcu powiedzieli to samo, w jedynym języku, jaki był im dostępny.\nWarto być uczciwym co do marginesu. 52,7% przy frekwencji 53% to nie miażdżące zwycięstwo, to niewielka wygrana przy podzielonym członkostwie, a organizacja walczyła z nią wszystkimi środkami, jakie miała. I mimo to przegrała.\nCo było dalej Nominet wycofał się z kierunku komercyjnego cyberbezpieczeństwa i zwrócił się ku rejestrowi i pracy dla dobra publicznego. Potem przyszły liczby.\nPodstawowa działalność osiągnęła szczyt w roku, w którym odszedłem. Liczba zarządzanych domen .uk osiągnęła maksimum 13 348 378 w 2019 roku. W styczniu 2023 roku było to 11 045 559. W styczniu 2024 roku 10 688 932. Jedna piąta bazy zniknęła i dalej spada.\nDywersyfikacja przyniosła straty. W ostatnim pełnym roku przed rozliczeniem dział cyberbezpieczeństwa miał £12,6 mln przychodu i wykazał £2,4 mln straty. To odpowiedź na pytanie, czy projekty opłacane z nadwyżki były inwestycją, czy kaprysem, i to liczba samego Nominet.\nPotem odszedł kontrakt. W 2024 roku NCSC ponownie rozpisało przetarg na Protective DNS, usługę obsługującą około pół biliona zapytań rocznie, i Nominet go przegrał. Praca trafiła do Cloudflare razem z Accenture od września 2024 roku, w umowie wycenianej podobno na około £30 mln. Prezes Paul Fletcher powiedział, że rząd wybrał tańszego konkurenta.\nA portfel zaplecza rotuje. W kwietniu 2021 roku, kilka tygodni po nadzwyczajnym walnym zgromadzeniu, MMX sprzedało swój portfel GoDaddy Registry za $120 mln, a 28 ciągów, które umieściły Nominet w czołówce operatorów rejestrów, odeszło razem z kupującym. .blog odeszło do CentralNic już w 2019 roku.\nUczciwie trzeba powiedzieć, że działa to w obie strony. Amazon przeniósł większość swoich 54 gTLD na platformę Nominet w 2019 roku, a Microsoft później przeniósł .skype i .office z GoDaddy. Nominet portfele zarówno zdobywa, jak i traci.\nAle to jest argument o tym biznesie, a nie jego obrona. Usługi zaplecza rejestrów to przychód, którego nie kontrolujesz. Przychodzi i odchodzi przy cudzej transakcji korporacyjnej: MMX nie odeszło, bo Nominet źle prowadził platformę, tylko dlatego, że MMX zostało sprzedane. Budowanie finansów podmiotu dobra publicznego na portfelu klientów, który może wyjść we wtorek, bo jego właściciel wziął $120 mln, to wybór strategiczny, i został on dokonany.\nI w tym samym roku wygrał .gov.uk.\n.gov.uk przez lata prowadził Jisc, pro bono, na podstawie starego memorandum o porozumieniu. Rząd w końcu uznał, że ten układ nie spełniał uznanych międzynarodowo standardów. Central Digital and Data Office przeprowadziło zamówienie przez Crown Commercial Service, Nominet wygrał je w listopadzie 2023 roku, a przejście zakończyło się 26 czerwca 2024 roku, zaplanowane na tydzień przed wyborami powszechnymi, żeby trzymać rejestrację wyborców z dala od kłopotów. Własna strona rejestru Jisc odnotowuje tę datę sucho: od 26 czerwca 2024 roku nie zarządza już przestrzenią nazw .gov.uk, choć pozostał rejestratorem dla części klientów. Dwadzieścia osiem lat prowadzenia narodowej przestrzeni nazw, zakończone linijką na stronie internetowej.\nPodane wymagania to odporność, zgodność ze standardami DNS ICANN i spełnienie Cyber Assessment Framework NCSC.\nZestaw to z argumentem z wcześniejszej części tego wpisu. Powodem, dla którego Nominet był wiarygodnym oferentem na własną przestrzeń nazw rządu, jest to, że już działał według standardów ICANN: standardów, które przyjął, bo większość jego organizacji była nimi związana umownie, i które dotarły do .uk, bo nikt nie utrzymuje dwóch reżimów na jednej platformie. Dyscyplina, która przyszła bokiem, przez umowy gTLD, jest tym, co dało mu kwalifikacje do prowadzenia .gov.uk.\nRok 2024 nie był więc po prostu złym rokiem. Nominet stracił największy kontrakt, jaki miał, i wygrał ten z nazwą rządu.\nDwie rzeczy w tej wygranej są warte uwagi, bo to one stanowią różnicę między obsługiwaniem przestrzeni nazw a trzymaniem jej.\nRząd zachował władzę. Nominet prowadzi rejestr. Central Digital and Data Office nadal zarządza wnioskami i je zatwierdza: kto może dostać .gov.uk, pozostaje decyzją rządu, a nie rejestru. Tak nie działa .co.uk, gdzie akredytowani rejestratorzy sprzedają każdemu, kto przyjdzie. Obsługa techniczna została zlecona na zewnątrz. Decyzja o przestrzeni nazw nie.\nI to jest umowa. .gov.uk zostało zamówione przez Crown Commercial Service, co oznacza, że ma okres obowiązywania i datę końcową, a rząd już raz dokładnie pokazał, co robi, gdy uzna, że układ nie jest wystarczająco dobry: przeniósł całość z Jisc po dwudziestu kilku latach.\nNominet trzyma więc .gov.uk na warunkach, na jakich nie trzyma .uk. Jedno może zostać odebrane na koniec umowy przez urzędnika, który postanowi jej nie przedłużać. Drugie nie ma umowy, okresu ani odnowienia, a jedyni ludzie, którym kiedykolwiek udało się je zdyscyplinować, musieli w tym celu zorganizować głosowanie członków.\nW marcu 2024 roku, z utraconym PDNS i kurczącym się .uk, Fletcher ogłosił restrukturyzację, w której zagrożonych było do 70 stanowisk.\nA potem zdanie, które zamyka koło. Fletcher zauważył, że ceny domen „cannot be held at the level set in January 2020 indefinitely.”\nPodwyżki cen .uk były jednym z powodów buntu członków. Pięć lat później, z dywersyfikacją zwiniętą ze stratą, flagowym kontraktem przegranym z tańszym oferentem i spadającą liczbą rejestracji, przygotowywana odpowiedź to znowu podnieść cenę .uk.\nA widok od środka się nie poprawił Członkowie dostali swoją zmianę zarządu. Czy odzyskali organizację, to osobne pytanie.\nNa dzień 25 sierpnia 2026 roku ocena Nominet na Glassdoor wynosi 2,9 na 5 z 97 opinii, przy czym 31% poleciłoby tę firmę, 22% pozytywnie ocenia perspektywy biznesowe, a 29% aprobuje prezesa. Najniżej oceniana kategoria to kierownictwo wyższego szczebla, z wynikiem 2,3. Recenzenci wysoko oceniają współpracowników i samą pracę. Nie oceniają wysoko warstwy nad sobą.\nTo wynik przeciętny, a nie miażdżący, i trzeba go czytać jako to, czym jest: samowybierającą się próbę na publicznej stronie. Ale kształt skargi jest rozpoznawalnie tym samym, który członkowie zgłosili w 2021 roku: strategia, której nikt nie potrafi wyjaśnić, nagrody płynące w górę i ludzie prowadzący narodowy rejestr, których nikt nie pyta.\nInny prezes. Ta sama skarga.\nCo to mówi o tym, kto rządzi ccTLD Wróć do pytania z początku.\nICANN nie mogło zrobić nic z tego. Nie miało umowy nad .uk, żadnej pozycji i żadnego mechanizmu poza napisaniem listu. Wszystko, co wpis o ICANN mówi o Specyfikacji 6, zgodności i monitoringu, dotyczyło gTLD Nominet, a nie strefy, która naprawdę ma znaczenie dla kraju.\nRząd Wielkiej Brytanii też tego nie zrobił i warto jasno powiedzieć dlaczego, bo powszechne założenie jest błędne. .uk nie jest przyznawane na podstawie umowy z rządem. Nie ma przetargu, daty odnowienia ani konkurenta czekającego, żeby złożyć ofertę. Nominet trzyma delegację od IANA, tak samo jak każdy inny rejestr krajowy trzyma swoją, i nikt jej nie rozdaje co kilka lat.\nTo, co rząd ma, to uprawnienie rezerwowe, i prawie nikt nie wie, że istnieje.\nSekcje od 19 do 21 Digital Economy Act 2010 pozwalają sekretarzowi stanu działać, gdy w kwalifikującym się rejestrze domen internetowych dochodzi do „serious relevant failure”: awarii negatywnie wpływającej na dostępność lub reputację brytyjskiej komunikacji albo na interesy konsumentów lub ogółu. Nominet jest takim rejestrem. Po powiadomieniu i daniu szansy na przedstawienie stanowiska sekretarz stanu może wyznaczyć zarządcę rejestru albo wystąpić do sądu o zmianę jego statutu.\nTo dużo więcej, niż ICANN kiedykolwiek miało nad jakąkolwiek ccTLD. A oto część, nad którą warto się zatrzymać: te dwie sekcje leżały uśpione przez czternaście lat i zostały wprowadzone w życie 6 kwietnia 2024 roku, w tym samym roku, w którym Nominet stracił kontrakt z NCSC i ogłosił 70 zwolnień.\nNie będę twierdził, że te fakty są powiązane, bo nie wiem, czy są. Udokumentowane jest to, że uprawnienie do wprowadzenia zarządcy do rejestru .uk stało się aktywne w 2024 roku, a przez czternaście lat wcześniej nie było.\nI to tylko droga krajowa. Jest druga, i to ona jest powodem, dla którego żaden operator ccTLD nigdzie nie trzyma swojej delegacji z mocy prawa.\nDelegację krajową można przenieść. IANA przekazuje ccTLD na podstawie RFC 1591, ICP-1 i GAC Principles, i robiła to wielokrotnie: .kz, .iq, .za, .gd, .gw i inne. GAC Principles głoszą, że każdy rząd ponosi ostateczną odpowiedzialność za krajową politykę publiczną na swoim terytorium, a w praktyce IANA traktuje stanowisko uznanego rządu jako główny czynnik przy każdym przeniesieniu domeny jego kraju.\nAustralia, jak wyżej, zapisała to w 2018 roku: reforma albo delegacja się przenosi.\nRząd Wielkiej Brytanii, który uznałby, że .uk musi być gdzie indziej, nie zostałby więc zablokowany. Nie stałoby się to od razu, to nie jest uprawnienie wykonywane ogłoszeniem, a lokalna społeczność internetowa zostałaby wysłuchana. Ale maszyneria istnieje, precedensy istnieją, a opinia rządu to najcięższy pojedynczy czynnik w tym procesie.\nTo stawia .uk w położeniu, które warto nazwać wprost. Komunikacja to jeden z sektorów krytycznej infrastruktury narodowej Wielkiej Brytanii, a państwo traktuje DNS odpowiednio: NCSC od lat kupuje ochronny DNS dla sektora publicznego. Rejestr prowadzący krytyczną infrastrukturę narodową, nad którym rząd może w kraju wyznaczyć zarządcę i którego słowo przeważyłoby międzynarodowo przy przeniesieniu delegacji, nie trzyma tej delegacji jako własności. Trzyma ją z łaski, a ta łaska zależy od tego, czy nikogo nie wprawi w zakłopotanie.\nTo, co go zdyscyplinowało, to głosowanie członków, niewielką większością, sześć lat po początku problemu, po kampanii prowadzonej przez jedną firmę hostingową, której trzeba było wręczyć dane jej własnych współczłonków na 500 kartkach papieru, żeby mogła przedstawić swoje racje.\nTo lepszy mechanizm rozliczalności niż cokolwiek, co ma ICANN. Usunął prezesa i przewodniczącego narodowego rejestru, czego żaden proces ICANN nigdy nikomu nie zrobił. Jest też powolny, konfrontacyjny, zależny od tego, że ktoś zdecyduje się poświęcić na to rok życia, i zabrakło mu paru punktów procentowych do porażki.\nI mniej więcej tak wygląda zarządzanie DNS wszędzie. Działają te mechanizmy, które ktoś z zasobami postanowi uruchomić. .cm miało wildcard na całej domenie najwyższego poziomu przez lata, bo nikt, kto miał pozycję, nie zaprotestował. Freenom przestał dopiero wtedy, gdy pozwała go Meta. .uk zmieniło kurs, bo firma hostingowa zorganizowała głosowanie.\nNic z tego nie jest zarządzaniem w sensie, jaki sugeruje to słowo. To kwestia tego, kto akurat się pojawił.\nWolna myśl na koniec Wszystko powyżej jest albo udokumentowane, albo oznaczone jako moje własne doświadczenie. Ta ostatnia część nie jest ani jednym, ani drugim. To jest to, co myślę, i możesz się z tym nie zgadzać.\nZacząłem w Nominet w 2017 roku, czyli dziewięć lat temu. Russell Haworth przejął stery w 2015 roku, czyli jedenaście lat temu. To wystarczająco długo, żeby organizacja czegoś się nauczyła.\nCzy się nauczyła?\nNa papierze tak. Zarządu, który przegłosowano, już nie ma. Komercyjne ambicje w cyberbezpieczeństwie zostały zwinięte. Ramię charytatywne usamodzielniło się i nadal działa pod własną nazwą. Członkowie użyli jedynego mechanizmu, jaki mieli, i zadziałał.\nA teraz spójrz na to, co naprawdę masz przed sobą. .uk jest o jedną piątą mniejsze niż w 2019 roku i nadal się kurczy. Kontrakt, który dywersyfikacja w końcu przyniosła, poszedł do tańszego oferenta. Siedemdziesiąt stanowisk poszło razem z nim. Prezes daje do zrozumienia, że ceny .uk nie mogą być w nieskończoność utrzymywane na poziomie z 2020 roku, a to ta sama dźwignia, która w ogóle pomogła rozpętać kłopoty. A pracownicy oceniają kierownictwo wyższego szczebla na 2,3 na 5, przy 29% aprobaty dla prezesa. Inny prezes i rozpoznawalnie ta sama skarga.\nMoja szczera odpowiedź jest więc taka, że ludzi zmieniono, a ja nie jestem przekonany, że zmieniono organizację.\nWarto odnotować, dokąd Haworth poszedł potem, bo to nie jest krytyka i właśnie dlatego ma to znaczenie. Przed Nominet spędził czternaście lat w Thomson Reuters, w danych finansowych. Potem poszedł do NBS, potem do Byggfakta, potem do Acclaro: firm abonamentowych z profesjonalnymi klientami, powtarzalnym przychodem i siłą cenową. NBS miało w 2023 roku £45 mln obrotu przy £23,6 mln EBITDA. To dobre liczby, a osiąganie ich to dokładnie to, do czego jest komercyjny prezes.\nI w tym rzecz, a nie musisz wierzyć mi na słowo co do tej charakterystyki. Jego własny profil zawodowy opisuje go jako prezesa dla firm B2B wspieranych przez private equity. To jest praca, którą wykonuje, sam to mówi, i najwyraźniej jest w niej dobry.\nJest komercyjnym operatorem i robił komercyjne rzeczy. Błędem nigdy nie był jego temperament. Błędem było postawienie tego temperamentu na czele organizacji, której nadwyżka nie była kapitałem i nigdy nie miała nim być, a potem pozostawienie nikogo w pozycji, by to sprawdzać, przez sześć lat.\nChoć NBS warto przyjrzeć się drugi raz, bo jego kształt jest znajomy.\nNBS sprzedaje Chorus, narzędzie do specyfikacji, w którym pracuje większość brytyjskich pracowni architektonicznych. Jest wpięte w przepływy pracy Revit i ISO 19650 i nie ma dla niego poważnej alternatywy: architekci opisują je jako niezbędne narzędzie, za które po prostu muszą dalej płacić. Licencja jednego praktyka wzrosła z £1385 w 2015 roku do £7350, co Architects\u0026rsquo; Journal opisał jako wzrost o 400% w ciągu dekady. Nie ma stawki dla małych pracowni, więc praktyk działający w pojedynkę płaci za stanowisko tyle samo co firma na 200 osób. Słowa w prasie branżowej to „rip-off increases” i „well above inflation”, obok spostrzeżenia, że płacenie ma niewiele alternatyw.\nUważaj z przypisywaniem, bo daty nie układają się tak, jak byś może chciał. Chorus wystartował w 2018 roku. RIBA sprzedało NBS w latach 2018-2020 za około £172 mln, a były prezes RIBA powiedział, że nigdy nie powinno było oddawać kontroli: zdanie z pewnym echem. Haworth prowadził firmę od października 2021 do października 2024 roku. Najostrzejsze zgłaszane podwyżki i najgłośniejsze skargi pochodzą z lat 2024 i 2025, już po jego odejściu, a prezes, który ich teraz publicznie broni, to ktoś inny.\nTo więc nie jest dowód przeciw człowiekowi. To dowód na pewien kształt.\nOrganizacja zawodowa sprzedaje narzędzie, bez którego jej członkowie nie mogą pracować. Kupujący odkrywa, że klienci nie mogą odejść. Cena rośnie dużo powyżej inflacji, rok po roku, a skargi do niczego nie prowadzą, bo nie mają dokąd iść. To jest .uk i tym prawie stało się .org, kiedy ICANN zniosło limity cen cztery miesiące przed tym, jak wehikuł private equity zaoferował za nie $1,135 mld.\nI to jest prawdziwa lekcja, niewygodna dla każdego, kto liczył, że chodziło o jednego menedżera. Uwięzieni klienci zawodowi, niezbędne narzędzie, brak alternatywnego dostawcy: ten układ daje ten sam wynik bez względu na to, kto nim kieruje, chyba że coś stoi na drodze. W Nominet w końcu stanęli członkowie. W NBS nie ma nikogo: organizacja zawodowa, która mogła odegrać tę rolę, sprzedała swój udział i odeszła z £172 mln.\nNie sądzę też, żeby chodziło tu naprawdę o jakąkolwiek osobę. Postaw kogokolwiek na czele należącego do członków monopolu prowadzącego narodowy zasób bez patrzącego regulatora, daj mu nadwyżkę bez oczywistego właściciela, a ciąg zawsze będzie w stronę wydania jej na coś ciekawszego niż to, co ją zarabia. Dobre prowadzenie .uk to nie historia, którą opowiesz na konferencji. Oferta na Australię już tak.\nKorekta, kiedy przychodzi, musi przyjść od członków, co oznacza, że ktoś musi poświęcić rok życia, żeby zorganizować głosowanie przeciw władzy, która wydaje pieniądze tych samych członków, żeby się temu opierać. Stało się to raz i przeszło o 2,7 punktu procentowego przy frekwencji 53%. Nikt nie zaprojektowałby tak mechanizmu rozliczalności.\nDwa prawdziwe zabezpieczenia przez cały ten czas leżały nieużywane. Uprawnienia z Digital Economy Act weszły w życie dopiero w 2024 roku. Przeniesienia delegacji nikt nigdy poważnie nie zaproponował.\nDziewięć lat później chciałbym wiedzieć, a z zewnątrz nie potrafię tego stwierdzić, czy ktoś w Nominet mógłby dziś powiedzieć na głos na spotkaniu: jesteśmy organizacją non-profit, czy naprawdę powinniśmy wydawać na to pieniądze?, i rok później nadal tam pracować.\nJeśli odpowiedź brzmi tak, czegoś się nauczyła. Jeśli nie, to w 2021 roku zmieniły się tylko nazwiska.\n","permalink":"https://blogs.damiendye.uk/pl/dns/what-happened-at-nominet/","summary":"Rejestr .uk należy do swoich członków, a w marcu 2021 roku przegłosowali usunięcie połowy zarządu. Jak to naprawdę wyglądało od środka, dlaczego prowadzenie .uk obok kilkudziesięciu gTLD ukształtowało sposób jego działania i jak rejestr bez regulatora skończył zdyscyplinowany przez jedynych ludzi, którzy mogli to zrobić.","title":"Co się stało w Nominet"},{"content":"Część 1 z 8. Ta seria jest napisana prosto, krótkimi zdaniami i codziennymi słowami.\nO czym jest ten wpis Co zmieniło się w tym, jak kupujesz technologię. Dlaczego to się zmieniło. Dlaczego odejście od dostawcy stało się trudniejsze. Dlaczego open source tego nie zatrzymał. Dokąd to wszystko doprowadziło. Zmiana Dwadzieścia lat temu oprogramowanie się kupowało.\nPłaciłeś raz. Ta kopia była twoja. Mogłeś jej używać tak długo, jak działała.\nDziś większość oprogramowania jest wynajmowana. Płacisz co roku tylko po to, żeby dalej go używać.\nPrzestań płacić, a przestanie działać. Nie masz nic na własność.\nTym właśnie jest subskrypcja. Subskrypcja to płatność, którą wnosisz raz po raz, żeby zachować dostęp do usługi.\nTo samo stało się z samą mocą obliczeniową. Kiedyś kupowało się serwery. Dziś wiele firm wynajmuje moc obliczeniową od dostawcy chmury.\nDostawca chmury to firma, która prowadzi komputery za ciebie, we własnych budynkach.\nDlaczego to się zmieniło Bądźmy w tym uczciwi, bo to ma znaczenie. Zmieniło się, bo wynajem często był lepszym interesem.\nZakup serwerów kosztuje dużo na start. Wynajem kosztuje na start bardzo mało.\nUsługi chmurowe były niezawodne i szybkie do uruchomienia. Małe zespoły dostały narzędzia, na które wcześniej stać było tylko duże firmy.\nSubskrypcje przyniosły też regularne aktualizacje. Koniec z planowaniem wielkiej przeprowadzki co kilka lat.\nWięc większość firm się przeniosła, i miała ku temu dobre powody. Nikt nikogo nie zmuszał.\nPytanie, które stawia ta seria, przychodzi później. Dotyczy tego, co się dzieje, gdy przejście gdzie indziej stało się trudne.\nDlaczego odejście stało się trudniejsze Oto część, która się liczy.\nKażdy krok tej zmiany przesuwał miejsce, w którym trudno było odejść.\nNa początku leżało ono w formacie pliku. Format pliku to sposób, w jaki program zapisuje twoją pracę. Jeśli tylko jeden program otwierał twoje pliki, kupowałeś dalej ten program.\nOtwarte formaty plików to załatwiły. Większość dokumentów otwiera się dziś w więcej niż jednym programie.\nWięc trudna część się przesunęła. Przeszła do interfejsu.\nInterfejs to sposób, w jaki jeden program rozmawia z drugim. Zbuduj wszystkie swoje systemy wokół interfejsu jednego dostawcy, a zmiana dostawcy oznacza przepisanie całości.\nPotem przesunęła się znowu, do twoich danych.\nPrzeniesienie małej ilości danych jest dość łatwe. Przeniesienie danych z wielu lat idzie powoli, a niektórzy dostawcy każą sobie płacić za ich wyciągnięcie.\nKażde przesunięcie sprawiało, że samo oprogramowanie znaczyło mniej. Liczy się więc dziś to, ile pracy kosztowałoby cię odejście.\nGdzie z czasem leżała trudność odejścia Kiedyś Później Dziś Twoje dane Format pliku Interfejs Program Twoje dane Format pliku Interfejs Program Twoje dane Format pliku Interfejs Program Niebieska ramka to część, którą trudno zmienić. Gdy otwierano jedną warstwę, trudność przechodziła do następnej. Te same warstwy, 3 razy. Część trudna do zmiany wędrowała w górę: najpierw format pliku, potem interfejs, potem dane. Dlaczego open source tego nie zatrzymał Oprogramowanie open source to oprogramowanie, którego kod każdy może czytać, używać i zmieniać.\nWielu ludzi spodziewało się, że to rozwiąże problem. Rozwiązało realną jego część, ale nie tę, o której byś pomyślał.\nOpen source wygrał. Większość internetu na nim działa. Kod większości ważnych elementów można przeczytać.\nTrudność z odejściem jednak nie zniknęła, bo zdążyła się już przenieść gdzie indziej.\nMożesz przeczytać każdą linijkę bazy danych. Nadal nie wyciągniesz łatwo 5 lat danych z usługi zarządzanej, która ją uruchamia.\nUsługa zarządzana to sytuacja, w której dostawca prowadzi oprogramowanie za ciebie, żebyś ty nie musiał.\nKod jest otwarty. Usługa nie.\nJest tu i druga sprawa, i to uczciwa.\nDużą część open source utrzymują wolontariusze, którym nikt nie płaci. Wielkie firmy budują na tej pracy swoje produkty.\nW 2024 roku w powszechnie używanym narzędziu do kompresji znaleziono ukryty szkodliwy kod. To narzędzie utrzymywała 1 osoba, bez wynagrodzenia. Bruce Schneier i inni opisali to szczegółowo.\nLekcja nie brzmi „open source jest ryzykowny”. Brzmi: wspólna praca, na której wszyscy się opierają, wymaga zapłaty, a często jej nie dostaje.\nDokąd to doprowadziło Złóż te kroki razem, a dostaniesz to, gdzie jesteśmy dziś.\nNiewielka liczba firm dostarcza usługi, od których zależy większość organizacji.\nWiększość tych firm siedzi w 1 kraju, w Stanach Zjednoczonych.\nBadania zebrane przez projekt EuroStack oceniają udział dostawców spoza Europy na około 85% europejskiego rynku chmury.\nŻadna pojedyncza decyzja tego nie sprawiła. To skutek mnóstwa rozsądnych wyborów, podejmowanych jeden po drugim, przez 20 lat.\nDlatego to jest trend, a nie zdarzenie.\nCo to znaczy dla ciebie Nic z tego nie mówi, że amerykańskie oprogramowanie jest kiepskie. Duża jego część jest bardzo dobra, i właśnie dlatego trafiło wszędzie.\nZnaczy to jednak, że 1 pytanie ma dziś większą wagę niż kiedyś.\nIle czasu zajęłoby ci przejście do innego dostawcy?\nTa liczba decyduje o całkiem sporo, a część 2 wyjaśnia dlaczego.\nPierwsza publikacja: 2026-08-25. Ostatnia aktualizacja: 2026-08-25.\n","permalink":"https://blogs.damiendye.uk/pl/random/technology-you-rent/","summary":"Dwadzieścia lat temu kupowałeś oprogramowanie i kopia była twoja. Dziś je wynajmujesz, a warunki ustala dostawca. Część 1 z 8 pokazuje, jak do tego doszło i dlaczego każdy krok utrudniał odejście gdzie indziej.","title":"Jak technologia stała się czymś, co wynajmujesz"},{"content":"Część 2 z 8. Część 1 opisała, jak wynajem zastąpił kupowanie.\nO czym jest ten wpis Jak ustala się cenę, kiedy odejście jest trudne. Gdzie opodatkowany jest zysk. Czyje prawo dotyczy twoich danych. Jak decyzje handlowe docierają do twojego sprzętu. Co się dzieje, jeśli usługa po prostu staje. 1. Cena idzie za kosztem twojego odejścia Zacznij od tego, czego większość organizacji już doświadczyła.\nW 2023 roku Broadcom kupił VMware. VMware tworzy oprogramowanie, dzięki któremu na 1 fizycznym serwerze działa wiele serwerów wirtualnych.\nBroadcom przestał wtedy sprzedawać licencje wieczyste. Klienci musieli przejść na subskrypcje.\nDla wielu z nich ceny ostro poszły w górę. AT\u0026amp;T podało w dokumentach sądowych, że jego koszty miały wzrosnąć o około 1050%.\nCISPE to organizacja branżowa europejskich dostawców chmury. Złożyła skargę do Komisji Europejskiej na te zmiany, podając liczby podobnego rzędu.\nW marcu 2026 roku CISPE złożyła kolejną skargę, po zamknięciu europejskiego programu partnerskiego. The Register opisał, co sądzą o tym dostawcy.\nNiczego niezgodnego z prawem tu nie udowodniono. Skargi są nadal rozpatrywane.\nAle schemat jest na tyle wyraźny, że można się z niego uczyć.\nOdnowienie to negocjacja. Twoja pozycja w niej opiera się na 1 rzeczy: jak łatwo mógłbyś odejść.\nJeśli odejście zajęłoby ci 3 lata, masz bardzo mało miejsca, żeby powiedzieć nie.\nI uwaga, nie chodzi tylko o amerykańskich dostawców. Każdy dostawca w takiej pozycji ma tę samą przewagę.\n2. Gdzie opodatkowany jest zysk Drugi koszt trudniej zobaczyć.\nWiele dużych firm technologicznych sprzedaje klientom w 1 kraju, a zysk księguje w innym.\nLokalna spółka jest często traktowana jako usługodawca dla spółki matki. Większość zysku idzie gdzie indziej.\nMasz więc duże sprzedaże w danym kraju i mały rachunek podatkowy w tym samym kraju.\nTaxWatch to grupa badawcza w Wielkiej Brytanii. Oszacowała, że 7 dużych grup technologicznych osiągnęło w 2021 roku blisko £15 mld zysku od brytyjskich klientów. Wyliczyła, że ich konstrukcje obniżyły należny brytyjski podatek dochodowy od osób prawnych o około £2 mld.\nEuropa wzięła się za te konstrukcje. Wyniki są mieszane i uczciwie jest pokazać obie strony.\nApple przegrało. We wrześniu 2024 roku Trybunał Sprawiedliwości Unii Europejskiej potwierdził, że irlandzkie ustalenia podatkowe były niedozwoloną pomocą państwa. Irlandia odzyskała około €14 mld. Amazon wygrał. W grudniu 2023 roku ten sam trybunał oddalił odwołanie Komisji Europejskiej w podobnej sprawie dotyczącej Luksemburga. Jest też porozumienie globalne, nazywane Filarem Drugim (Pillar Two). Ustala minimalną stawkę podatku na 15%.\nW styczniu 2026 roku Organizacja Współpracy Gospodarczej i Rozwoju opublikowała rozwiązanie „side-by-side”. Zgodnie z nim firmy z siedzibą w Stanach Zjednoczonych stosują przepisy amerykańskie zamiast większości przepisów globalnych.\nNiektóre kraje próbowały własnych podatków od usług cyfrowych. Kanada uchwaliła taki podatek, a potem wycofała go w czerwcu 2025 roku, kiedy Stany Zjednoczone z jego powodu zerwały rozmowy handlowe.\nPieniądze zarabia się więc w jednym miejscu. O tym, gdzie zostaną opodatkowane, rozstrzyga się gdzie indziej.\n3. Czyje prawo ma zastosowanie Tę kwestię rozumie się źle częściej niż każdą inną, więc warto być precyzyjnym.\nWiele osób wierzy, że trzymanie danych w Europie oznacza, że podlegają one prawu europejskiemu i niczemu innemu.\nTo nie do końca prawda. Liczy się to, kto kontroluje firmę, która je przechowuje.\nCLOUD Act to amerykańska ustawa z 2018 roku. Zobowiązuje amerykańskiego dostawcę do wydania danych, które kontroluje, niezależnie od tego, gdzie leżą. Departament Sprawiedliwości opisuje szczegóły.\nCentrum danych we Frankfurcie, prowadzone przez firmę należącą do właściciela ze Stanów Zjednoczonych, może więc zostać objęte amerykańskim nakazem sądowym.\n„Nasze dane zostają w Europie” i „nasze dane są poza zasięgiem prawa amerykańskiego” to 2 różne stwierdzenia. Ostrożni dostawcy wypowiadają tylko pierwsze.\nNakaz idzie za tym, kto kontroluje firmę, a nie za tym, gdzie stoi budynek Centrum danych w Europie Tu leżą twoje dane Obiekt podlega prawu UE Spółka matka Siedziba w innym kraju Kontroluje dane prowadzi obiekt Tu trafia nakaz Nakaz nie musi trafiać do budynku. Trafia do tego, kto kontroluje dane. Budynek stoi w Europie. Firma, która go prowadzi, ma właściciela gdzie indziej. Nakaz trafia do właściciela, a nie do budynku. Przepisy w tej sprawie też się zmieniają, w obu kierunkach.\nSekcja 702 to amerykańska ustawa o inwigilacji. Wygasła 2026-06-12, kiedy Kongres jej nie przedłużył.\nNie oznacza to, że zbieranie danych ustało. Już wydane zgody obowiązują do wygaśnięcia, co ma nastąpić mniej więcej w marcu 2027 roku. Brennan Center to śledzi.\nJest też EU–US Data Privacy Framework. Pozwala przekazywać dane osobowe z Europy do Stanów Zjednoczonych.\nSkargę prawną przeciwko niemu oddalono we wrześniu 2025 roku. To orzeczenie jest teraz przedmiotem odwołania.\nFramework jest dziś obowiązującym prawem. Jest też trzecim w swoim rodzaju, bo 2 poprzednie zostały unieważnione.\nJeśli mechanizm przekazywania danych upada, koszt spada na europejską organizację, która z niego korzysta. W 2023 roku irlandzka Komisja Ochrony Danych nałożyła na Metę €1,2 mld kary za przekazywanie danych do Stanów Zjednoczonych.\nNa to wszystko jest spokojna, praktyczna odpowiedź i warto ją znać.\nJeśli klucze do twoich danych ma twój dostawca, to twój dostawca może odpowiedzieć na nakaz.\nTrzymaj klucze sam, a nakaz musi przyjść do ciebie. Tym samym decyzja podlega wtedy prawu twojego własnego kraju.\n4. Decyzje handlowe docierają do twojego sprzętu Technologia jest dziś częścią polityki handlowej.\nW styczniu 2026 roku Stany Zjednoczone nałożyły 25% cła na wąską grupę zaawansowanych układów scalonych i zawierających je produktów. Zapowiedziano drugi etap.\nTo, czy objęty jest twój sprzęt, zmienia się z czasem. Właściwą osobą do zapytania jest twój dostawca.\nRelacje handlowe potrafią się też szybko odwrócić. Rozmowy między Stanami Zjednoczonymi a Kanadą załamały się 2026-08-22, z nowymi cłami w wysokości 50%. Kanada zapowiedziała środki odwetowe.\nPremier Kanady publicznie przedstawił powody.\nWniosek dla ciebie jest wąski i nie zależy od niczyich poglądów politycznych.\nKoszt i dostępność sprzętu mogą się zmienić z powodu decyzji podjętej w innym kraju, w krótkim czasie.\nWarto to uwzględnić w 3-letnim planie.\n5. Usługa może stanąć z powodów, które nie są twoje Ten ostatni przypadek jest dla większości organizacji mało prawdopodobny. Jest tutaj, bo działa inaczej niż pozostałe.\nW lutym 2025 roku Stany Zjednoczone nałożyły sankcje na Prokuratora Międzynarodowego Trybunału Karnego.\nProkurator stracił wtedy dostęp do swojego konta pocztowego w Microsofcie i przeniósł się do szwajcarskiego dostawcy.\nPrezes Microsoftu powiedział publicznie, że firma nie zamknęła konta. Co dokładnie się stało, jest nadal sporne, i uczciwie jest to powiedzieć.\nBezsporny jest skutek. Niemiecka publikacja technologiczna heise opisała to jako punkt zwrotny dla cyfrowej suwerenności w Europie. Sprawa została podniesiona w Parlamencie Europejskim.\nPod koniec 2025 roku Trybunał przeszedł na openDesk, alternatywę open source.\nLiczy się tu mechanizm.\nŻadnego niezapłaconego rachunku. Żadnej złamanej zasady. Nic złego z samą usługą.\nRząd podjął decyzję, a dostawca musiał ustalić, co może zgodnie z prawem nadal świadczyć.\nTwoja umowa jest z dostawcą. Obowiązki prawne twojego dostawcy są wobec jego własnego rządu.\nNie da się tego monitorować. Na żadnym panelu nie ma lampki ostrzegawczej.\nDla większości czytelników to ryzyko jest małe i jego zaakceptowanie jest rozsądne. Rozsądne jest jednak tylko wtedy, gdy się nad nim zastanowiłeś.\nWspólny schemat wszystkich 5 Tych 5 kosztów bardzo się od siebie różni.\nPierwszego najpewniej doświadczysz. Ostatniego możesz nie spotkać nigdy.\nAle łączy je 1 rzecz.\nKażdy z nich rośnie tym bardziej, im trudniej ci odejść.\nPodwyżka ceny to kłopot, jeśli masz dokąd pójść. Jeśli nie masz, to poważna sprawa.\nTo wątek, który przechodzi przez całość, i wskazuje coś pożytecznego.\nPytanie, nad którym warto pracować, to nie to, w jakim kraju siedzi twój dostawca. Tylko to, jak szybko mógłbyś zmienić zdanie.\nCzęść 3 przygląda się temu, kto jeszcze płaci za oprogramowanie, którego używasz.\nPierwsza publikacja: 2026-08-25. Ostatnia aktualizacja: 2026-08-25.\n","permalink":"https://blogs.damiendye.uk/pl/random/what-renting-costs/","summary":"Kiedy zmiana dostawcy jest trudna, koszty zmieniają kształt. Cena idzie za kosztem twojego odejścia. Zysk deklaruje się w jednym kraju, a zarabia w innym. Prawo idzie za tym, kto jest właścicielem firmy, a nie za tym, gdzie stoi budynek. Część 2 z 8, prostym językiem.","title":"Ile kosztuje wynajmowanie technologii"},{"content":"Część 3 z 8. Część 2 pokazała, ile kosztuje cię zależność.\nO czym jest ten wpis Lata, w których walczono z open source. Dlaczego ta walka ustała. Kto dziś utrzymuje oprogramowanie przy życiu. Co się stało, gdy twórcy próbowali brać pieniądze. Co dzieje się z firmami po ich kupnie. Co to oznacza dla ciebie. Lata, w których walczono z open source Open source to oprogramowanie, którego kod każdy może czytać, używać i zmieniać.\nDziś to codzienność. Przez około 15 lat traktowano je jako zagrożenie.\nW październiku 1998 roku wyciekła wewnętrzna notatka Microsoftu. Eric Raymond opublikował ją z komentarzami i stała się znana jako Halloween documents.\nNotatka uczciwie oceniała jakość open source. Sposób, w jaki tysiące ludzi wspólnie nad nim pracują, nazwała niezwykłym.\nPotem opisała, co z tym zrobić. Jedno zdanie wiele wyjaśnia:\nBy extending these protocols and developing new protocols, we can deny OSS projects entry into the market.\nCzyli: rozszerzając te protokoły i tworząc nowe, można odciąć projektom open source wejście na rynek. Protokół to uzgodniony sposób, w jaki 2 systemy ze sobą rozmawiają.\nPlanem nie było więc zbudowanie lepszego produktu. Planem było zmienianie połączeń między produktami tak, żeby nie dało się wstawić konkurenta.\nW ciągu kolejnych 10 lat przyszło kilka innych kroków.\nW 2003 roku firma SCO twierdziła, że Linux zawiera należący do niej kod. Sprawa ciągnęła się latami i SCO jej nie wygrało. Dopóki trwała, wiele organizacji nie było pewnych, czy przyjęcie Linuksa jest bezpieczne.\nMicrosoft podpisywał też umowy patentowe z producentami telefonów komórkowych. Przez kilka lat brał opłatę od każdego sprzedanego aparatu z Androidem, systemem operacyjnym, którego nie napisał.\nW 2008 roku formaty dokumentów Microsoftu zatwierdzono jako normę międzynarodową. Kilka krajowych organów normalizacyjnych sprzeciwiło się temu, jak to przeprowadzono.\nEuropa postawiła się w części tych spraw. Komisja Europejska nałożyła na Microsoft €497 mln kary w 2004 roku za informacje, których konkurenci potrzebowali, żeby współpracować z jego produktami.\nW 2013 roku ukarała firmę ponownie, na €561 mln, bo uzgodnione środki zaradcze nie zostały wdrożone.\nTa druga kara jest warta chwili. Problem nie był nowy. Uzgodnionej poprawki po prostu nie zrobiono.\nDlaczego ta walka ustała Ustała około 2014 roku, bo nie zadziałała.\nLinux stał się oprogramowaniem, na którym działa większość serwerów. Działa na nim też większość usług chmurowych i większość telefonów komórkowych.\nNie da się usunąć czegoś przez sądy, kiedy wszystko jest już na tym zbudowane.\nPodejście odwróciło się więc o 180 stopni.\nMicrosoft dołączył do Linux Foundation. Wydał część własnych narzędzi jako open source. W 2018 roku kupił GitHub, serwis, w którym powstaje znaczna część światowego open source.\nAmazon i Google zbudowały na open source bardzo duże biznesy, a wszystkie 3 firmy wkładają dziś w niego z powrotem bardzo dużo pracy.\nTa praca jest prawdziwa i oprogramowanie jest dzięki niej lepsze. Udawanie, że jest inaczej, byłoby głupie.\nAle 1 rzecz się nie zmieniła.\nFirmy, które kiedyś próbowały spowolnić open source, są dziś wśród jego największych sponsorów. Są też wciąż największymi firmami na rynku.\nOpen source wygrał spór techniczny. Nie zmienił tego, kto ma najmocniejsze karty.\nKto dziś utrzymuje oprogramowanie przy życiu Oto część, która zaskakuje ludzi spoza branży.\nBardzo dużo szeroko używanego open source utrzymują bardzo małe zespoły. Część z niego 1 osoba, w wolnym czasie, za darmo.\nTe same elementy siedzą potem w produktach sprzedawanych przez bardzo duże firmy.\nW grudniu 2021 roku znaleziono błąd w Log4j, małym narzędziu, którego programy w Javie używają do zapisywania, co robią.\nBłąd pozwalał atakującym uruchamiać własny kod na dotkniętych systemach. Uderzył naraz w ogromną liczbę organizacji. Brytyjskie National Cyber Security Centre wydało wytyczne w tej sprawie.\nNarzędzie utrzymywała mała grupa ochotników.\nLekcja nie brzmi: open source jest ryzykowny. Większość z niego jest bardzo dobra i otwarta na wgląd w sposób, w jaki zamknięte oprogramowanie nigdy nie jest.\nLekcja dotyczy płacenia za rzeczy. Wspólna praca, na której opiera się wiele firm, potrzebuje finansowania, a często go nie dostaje.\nTo da się naprawić i niektóre organizacje to robią. Opłacenie opiekuna projektu albo wsparcie fundacji to zwykle bardzo mały koszt w porównaniu z tym, ile oprogramowanie ci oszczędza.\nCo się stało, gdy twórcy próbowali brać pieniądze Niektóre firmy tworzą open source i sprzedają wokół niego płatną usługę. Przez długi czas działało to wystarczająco dobrze.\nZrobiło się trudniej, kiedy dostawcy chmury zaczęli oferować to samo oprogramowanie jako własną usługę.\nPrzychód zabierał dostawca. Firma, która napisała oprogramowanie, nie dostawała go.\nKilka z nich odpowiedziało zmianą licencji, tak żeby inni nie mogli oferować ich oprogramowania jako konkurencyjnej usługi.\nMongoDB zmieniło licencję w 2018 roku. Elastic poszedł w jego ślady w 2021 roku. HashiCorp zmienił ją w 2023 roku. Redis zmienił ją w 2024 roku. Open Source Initiative ustala przyjętą definicję open source. Orzekła, że 1 z tych nowych licencji jej nie spełnia.\nWiele dystrybucji Linuksa usunęło wtedy dotknięte oprogramowanie.\nSzersza społeczność wzięła kopie ostatnich otwartych wersji i rozwijała je osobno. Taka kopia nazywa się forkiem.\nOpenSearch kontynuuje wcześniejszy kod Elasticsearch. OpenTofu kontynuuje wcześniejszy kod Terraform. Valkey kontynuuje wcześniejszy kod Redis. Elastic i Redis od tego czasu wróciły do otwartych licencji.\nWarto spojrzeć, jak to się skończyło, bo nikt z uczestników nie dostał tego, o co mu chodziło.\nFirma zbudowała przydatne oprogramowanie. Większa firma zarobiła na nim więcej niż twórca. Twórca ograniczył licencję, żeby przetrwać. Społeczność zaprotestowała, słusznie, że to już nie jest open source. Pojawił się fork, często wspierany przez większe firmy.\nNa koniec oprogramowanie nadal jest darmowe w użyciu. Forkami sterują głównie najwięksi gracze. Firma, która zapłaciła za pierwotną pracę, jest słabsza niż na starcie.\nCo dzieje się z firmami po ich kupnie Drugi sposób, w jaki wartość wypływa z firmy, nie ma nic wspólnego z licencjami oprogramowania.\nChodzi o to, jak firma zostaje kupiona.\nOto schemat, po prostu.\nKupujący pożycza większość ceny zakupu. Pożyczka jest potem zabezpieczona na kupowanej firmie. Firma kończy więc z długiem, który zaciągnięto, żeby ją kupić.\nKupujący może następnie sprzedać budynki firmy i wynająć je z powrotem. Pozyskane pieniądze mogą zostać wypłacone nowym właścicielom. Firma płaci teraz czynsz za lokale, które kiedyś były jej.\nTnie się koszty, których nie widać w tym roku. Zwykle oznacza to utrzymanie, liczbę pracowników, badania i rozwój produktów.\nPotem firma jest sprzedawana dalej.\nBank of England przyjrzał się stronie stabilności finansowej tego zjawiska. Jego przegląd private equity zauważa, że wysokie zadłużenie przy wykupach zwiększa ryzyko niewypłacalności tych firm i wystawia ich wierzycieli na straty. Od tego czasu nadal obserwuje ten sektor.\nNie każdy wykup tak przebiega i wielu właścicieli inwestuje, zamiast ogałacać. To schemat do rozpoznania, a nie opis wszystkich kupujących.\nAle tam, gdzie się zdarza, wynik jest za każdym razem ten sam.\nFirma zwykle działała dobrze. Nie działała firma plus dług zaciągnięty, żeby ją kupić.\nTa sama firma przed wykupem finansowanym z pożyczki i po nim Przed Po Praca Ci sami ludzie, ci sami klienci Ma własne budynki Brak długu z zakupu Finansuje utrzymanie Finansuje badania Czynsz: żaden Praca Ci sami ludzie, ci sami klienci Wynajmuje te same budynki Dźwiga pożyczkę na swój zakup Utrzymanie ograniczone Badania ograniczone Czynsz: co miesiąc kupiona za pożyczone pieniądze Firma nadal wykonuje tę samą pracę dla tych samych klientów. Zmieniło się to, co posiada, i to, co musi teraz wypłacać. Ta sama firma przed i po. Praca i klienci zostają na miejscu. Budynki i zadłużenie zmieniają właściciela, a koszty działania rosną. Ten sam schemat w oprogramowaniu Do oprogramowania dotarło to kilka lat temu.\nEksploatowanym aktywem nie jest budynek. Są nim klienci, którzy nie mogą łatwo odejść.\nDojrzały produkt z wieloletnimi klientami można przecenić. Ci klienci nie mogą się szybko przenieść więc w większości płacą.\nJednocześnie można ciąć wydatki na inżynierię. Widać to dopiero po latach, a wtedy sprzedaż jest już dawno zamknięta.\nCzęść 2 opisała, jak to wyglądało dla klientów VMware.\nJest też wersja finansowana przez inwestorów zamiast długu. Opisywano ją na tyle często, że dorobiła się nazwy: enshittification, słowo, którego kanadyjski pisarz Cory Doctorow używa od 2022 roku.\nPrzebiega w 3 etapach.\nUsługę sprzedaje się poniżej kosztów jej działania, a różnicę pokrywają inwestorzy. Jest tania i dobra, więc ludzie się do niej przenoszą. Kiedy ludzie nie mogą już łatwo odejść, zmienia się ją pod płacących klientów biznesowych. Kiedy obie strony są już związane, warunki zmieniają się znowu, żeby podnieść zysk. Dla tej serii liczy się etap 1.\nFirma, która latami sprzedaje poniżej kosztów, nie wygrywa dlatego, że jest lepsza. Jest finansowana po to, żeby przejąć rynek.\nMniejsze firmy, które muszą same pokrywać swoje koszty, nie są w stanie dorównać tej cenie. Wiele się zamyka.\nKiedy ceny później rosną do poziomu, który da się utrzymać, wybór, który kiedyś istniał, często już zniknął.\nCo to oznacza dla ciebie Wynikają z tego dwie praktyczne rzeczy i obie są dość łatwe do zrobienia.\nSprawdź, ile osób utrzymuje twoje zależności.\nSpójrz na narzędzia, bez których twoje systemy nie mogłyby działać. Dowiedz się, ile osób aktywnie utrzymuje każde z nich.\nJeśli odpowiedź brzmi 1 albo 2, warto to wiedzieć. Możesz zechcieć sfinansować tę pracę, trzymać własną kopię kodu źródłowego albo zaplanować, co zrobisz, jeśli to się zatrzyma.\nObserwuj, kto jest właścicielem twoich dostawców.\nTwoje warunki idą za właścicielem, a nie za produktem. Zmiana właściciela może przesunąć twoje odnowienie bardziej niż jakakolwiek zmiana w oprogramowaniu.\nPrzy podpisywaniu sprawdź, co zostaje ci, jeśli przestaniesz płacić. Sprawdź, czy nadal możesz uruchamiać to, co już zainstalowałeś, i czy nadal dostajesz aktualizacje bezpieczeństwa.\nŻadna z tych rzeczy nie zajmuje dużo czasu. Obie są dużo łatwiejsze przed odnowieniem niż w jego trakcie.\nCzęść 4 przygląda się temu, co sądy i regulatorzy już rozstrzygnęli.\nPierwsza publikacja: 2026-08-25. Ostatnia aktualizacja: 2026-08-25.\n","permalink":"https://blogs.damiendye.uk/pl/random/who-pays-for-the-software/","summary":"Pierwsze 2 wpisy pokazały, ile kosztuje cię zależność. Ten pokazuje, kto jeszcze płaci rachunek: ochotnicy utrzymujący oprogramowanie dla bardzo dużych firm oraz przedsiębiorstwa kupowane, zadłużane i ogołacane. Część 3 z 8, prostym językiem.","title":"Kto płaci za oprogramowanie, którego używasz"},{"content":"Część 4 z 8. Część 3 przyjrzała się temu, kto płaci za oprogramowanie, którego używasz.\nO czym jest ten wpis Dlaczego warto czytać akta. Co rozstrzygnięto w sprawie Google. Co rozstrzygnięto w sprawie Apple. Co rozstrzygnięto w sprawie Amazonu. Co rozstrzygnięto w sprawie Mety. Wzór, który łączy je wszystkie. Dlaczego warto czytać akta Wybór dostawcy to prognoza. Decydujesz, jak będzie się zachowywał za 3 albo 5 lat.\nDeklaracje wartości firmy niewiele tu pomogą. Każdy taką ma i wszystkie mówią mniej więcej to samo.\nLepsze są ustalenia faktyczne. To wnioski, do których sąd albo regulator doszedł po wysłuchaniu dowodów.\nTego właśnie używa ten wpis. Tam, gdzie istnieje decyzja europejska, idzie ona pierwsza.\nDwie rzeczy przed listą, bo pilnują jej uczciwości.\nNie każda sprawa skończyła się przeciwko firmom. Niektóre skończyły się przeciwko regulatorom i one też tu są.\nI to nie jest twierdzenie, że firmy europejskie zachowują się lepiej. Volkswagen i Wirecard rozstrzygają to wystarczająco. Wzór wynika z wielkości i pozycji rynkowej, a nie z tego, skąd firma pochodzi.\nGoogle Komisja Europejska była pierwsza, a sprawy trwały długo.\nW 2017 roku nałożyła na Google €2,42 mld kary. Ustaliła, że Google wypychał własną porównywarkę zakupową w górę wyników wyszukiwania, a konkurentów w dół.\nGoogle się odwołał, a Trybunał Sprawiedliwości Unii Europejskiej utrzymał decyzję we wrześniu 2024 roku.\nTo 7 lat od kary i jeszcze dłużej od samego zachowania.\nW 2018 roku Komisja nałożyła na Google €4,34 mld kary za warunki narzucane producentom telefonów, którzy chcieli mieć Sklep Play. Karę obniżono później do około €4,1 mld, a ostateczne odwołanie oddalono w 2026 roku.\nW 2019 roku Komisja nałożyła na Google €1,49 mld kary za umowy reklamowe. Sąd Unii Europejskiej uchylił ją w 2024 roku, uznając, że zarzutów nie wykazano. Tę sprawę regulator przegrał.\nW Stanach Zjednoczonych sąd orzekł w 2024 roku, że Google bezprawnie utrzymywał monopol w wyszukiwaniu. We wrześniu 2025 roku ten sam sąd określił środki naprawcze. Wymagał zmian w umowach o ustawieniach domyślnych i częściowego udostępniania danych konkurentom. Odmówił zmuszenia Google do sprzedaży Chrome albo Androida.\nOdrębne orzeczenie amerykańskie z kwietnia 2025 roku ustaliło, że Google bezprawnie powiązał ze sobą 2 swoje produkty reklamowe. Środek naprawczy w tej sprawie nadal jest ustalany.\nApple W 2021 roku amerykański sąd nakazał Apple pozwolić twórcom aplikacji informować klientów o innych sposobach płatności.\nW kwietniu 2025 roku ten sam sąd ustalił, że Apple się do tego nie zastosowało.\nUstalił też, że jeden z wyższych menedżerów Apple złożył zeznania, które były nieprawdziwe, a wewnętrzne dokumenty samej firmy mówiły co innego. CNBC opisało orzeczenie w tamtym czasie.\nSąd przekazał sprawę prokuratorom do rozważenia postępowania o karną obrazę sądu. Apple zapowiedziało apelację.\nTa sprawa ma znaczenie z innego powodu niż pozostałe.\nFirma może mieć zdecydowany pogląd na swoją sytuację prawną i nadal uczciwie postępować wobec sądu. Ustalenie, że zeznania były nieprawdziwe, to zupełnie inna rzecz.\nTwoja relacja z dostawcą to zbiór obietnic. To bezpośredni dowód na to, jak traktuje się obietnice, kiedy ich dotrzymanie zaczyna być drogie.\nAmazon We wrześniu 2025 roku Amazon zgodził się zapłacić $2,5 mld w ugodzie w sprawie wniesionej przez amerykańską Federalną Komisję Handlu (FTC). Komisja opublikowała szczegóły.\nByło to $1 mld kar i $1,5 mld zwrotu dla klientów.\nSprawa dotyczyła projektu zapisu do Prime i rezygnacji z niego. Zarzut brzmiał, że ekrany zbudowano tak, by zapisywały ludzi, którzy wcale nie zdecydowali się zapisać, i by rezygnacja była mozolna. Komisja podała, że dotyczyło to około 35 milionów osób.\nW ramach ugody Amazon zgodził się zmienić proces zapisu i rezygnacji.\nProjekty interfejsów na taką skalę są testowane i mierzone przed wydaniem. To normalna, rozsądna praktyka. W związku z tym skutek danego projektu jest zwykle znany, zanim trafi on do użytkowników.\nMeta W 2019 roku amerykańska Federalna Komisja Handlu nałożyła na Facebooka $5 mld kary za praktyki dotyczące prywatności, po sprawie Cambridge Analytica.\nWażniejsza pozycja nie jest karą.\nW 2021 roku była pracownica przekazała dziennikarzom wewnętrzne badania firmy, a potem zeznawała przed komisją Senatu Stanów Zjednoczonych. BBC opisało jej główny zarzut: firma raz za razem stawiała zysk ponad bezpieczeństwo.\nCzęść tych badań dotyczyła wpływu Instagrama na nastoletnich użytkowników. Niektóre wyniki były niepokojące.\nMeta nie zgodziła się z tym, jak opisano te badania. Twierdziła, że wyniki były bardziej zróżnicowane, niż podawano, i że była pracownica nie pracowała w tych zespołach. Szersza nauka w tej kwestii nie jest rozstrzygnięta i uczciwie jest to powiedzieć.\nJeden punkt nie jest sporny i to jego warto zapamiętać.\nFirma badała, czy jej produkt szkodzi grupie użytkowników. Część tej pracy dała niepokojące wyniki. Wyniki trafiły do opinii publicznej, bo ktoś wyniósł je z budynku.\nBadania, które wychodzą na jaw tylko w ten sposób, nie mają nic wspólnego z niezależnym nadzorem.\nWzór, który łączy je wszystkie Postaw te sprawy obok siebie, a wyróżniają się 4 rzeczy. Dla planowania mają większe znaczenie niż którakolwiek pojedyncza sprawa.\n1. Kary są małe w porównaniu z zyskiem.\nKilka miliardów to mała kwota przy przychodach rzędu setek miliardów. Do tego spada lata po tym, jak pieniądze zarobiono.\nKiedy kara wynosi mniej niż korzyść, działa jak koszt prowadzenia działalności, a nie jak środek odstraszający.\n2. Środki naprawcze przychodzą późno.\nOdstęp między zachowaniem a egzekwowalnym środkiem naprawczym wynosi w tych sprawach od około 7 do 12 lat.\nKonkurenci rzadko wytrzymują tak długo. Zanim środek naprawczy zacznie działać, rynek, który miał chronić, zwykle już zmienił kształt.\n3. Konkretne osoby rzadko ponoszą konsekwencje.\nKary płaci firma, czyli jej akcjonariusze, a ludzie, którzy zatwierdzili decyzje, zwykle zachowują swoje pensje i stanowiska.\nTo ma znaczenie, bo kształtuje bodziec. Tam, gdzie koszt spada na firmę, a nagroda na osobę, decyzja wygląda na wartą podjęcia dla tego, kto ją podejmuje.\n4. Problemy są znane w środku, zanim staną się znane na zewnątrz.\nW kilku z tych spraw organizacja miała informacje pierwsza. Do opinii publicznej dotarły one zamiast tego przez przeciek, pozew albo regulatora.\nUważaj jednak, co z tego wyciągasz.\nTo zwykle nie są sprawy, w których jedna osoba postanowiła wyrządzić szkodę. Zespół ulepszał ekran zapisu pod cel. System rankingowy dostrojono, żeby zwiększyć użycie. Wynik badania nie został opublikowany.\nDecyzje są rozłożone na wiele osób, a każdy krok z osobna wygląda rozsądnie. To właśnie czyni ten wzór tak stałym i dlatego proszenie firm, żeby bardziej się starały, raczej go nie zmieni.\nCo z tym zrobić Użyj tego do pytania, na które to faktycznie odpowiada.\nTam, gdzie dostawca ma interes handlowy, a ty nie masz realnej alternatywy, akta mówią, że wynik zwykle idzie po myśli dostawcy.\nJakakolwiek korekta przychodzi zwykle po latach i zwykle kosztuje dostawcę mniej, niż przyniosło mu to zachowanie.\nTo nie jest powód, żeby unikać dostawcy z powodu kraju, w którym siedzi.\nTo dobry powód, żeby nie zależeć od żadnego dostawcy, od którego nie mógłbyś odejść.\nCzęść 5 przygląda się temu, jak prawo jednego kraju może sięgać do firm w innym.\nPierwsza publikacja: 2026-08-25. Ostatnia aktualizacja: 2026-08-25.\n","permalink":"https://blogs.damiendye.uk/pl/random/what-the-record-shows/","summary":"Wybór dostawcy to zgadywanie, jak zachowa się później. Najuczciwszą podstawą tego zgadywania jest to, co sądy i regulatorzy już rozstrzygnęli. Część 4 z 8 przedstawia ustalenia, uwzględnia sprawy przegrane przez regulatorów i pokazuje wzór.","title":"Co pokazują akta"},{"content":"Część 5 z 8. Część 4 przyjrzała się temu, co rozstrzygnęły sądy i regulatorzy.\nO czym jest ten wpis Prawo, które sięga do firm w innych krajach. Co uznała w tej sprawie Francja. Starsze obawy o informacje handlowe. Presja wywierana przez handel. Założenia, które podróżują razem z produktem. Prawo, które sięga do firm w innych krajach Część 2 wyjaśniła, jak prawo jednego kraju może sięgnąć do danych przechowywanych przez firmę, którą ten kraj kontroluje.\nTa sama zasada sięga do samych firm, a skutki mogą być dużo większe.\nNajlepiej udokumentowany przykład w Europie to Alstom, francuska firma inżynieryjna.\nW 2014 roku Alstom przyznał się do winy w Stanach Zjednoczonych i zgodził się zapłacić $772 mln. Sprawa toczyła się na podstawie Foreign Corrupt Practices Act, amerykańskiej ustawy antykorupcyjnej. Departament Sprawiedliwości Stanów Zjednoczonych opublikował szczegóły.\nŁapówki były prawdziwe. To nie jest opowieść o niewinnej firmie.\nJeden z menedżerów Alstomu został też aresztowany podczas podróży przez Stany Zjednoczone i spędził czas w więzieniu.\nMniej więcej w tym samym okresie Alstom sprzedał swój dział energetyczny General Electric, firmie amerykańskiej.\nTen menedżer twierdzi od tamtej pory, że nierozstrzygnięta sprawa działała jako presja podczas tej sprzedaży. Prokuratorzy amerykańscy zaprzeczają, by działali na rzecz amerykańskiego kupca.\nTen spór nigdy nie został rozstrzygnięty więc ten wpis też go nie rozstrzygnie.\nCo uznała w tej sprawie Francja Pokazać można to, do jakich wniosków doszło potem państwo francuskie.\nW czerwcu 2019 roku do premiera Francji trafił raport. Jest znany jako raport Gauvaina, a jego tytuł mówi o przywróceniu suwerenności Francji i Europy oraz o ochronie firm przed prawem o zasięgu eksterytorialnym.\nEksterytorialne oznacza prawo, które obowiązuje poza granicami kraju, który je stworzył.\nRaport ustalił 3 rzeczy, które warto tu powtórzyć.\nNa firmy francuskie, europejskie i inne nieamerykańskie nałożono bardzo wysokie kary, sięgające dziesiątek miliardów dolarów. Duża część tych czynów miała niewielki bezpośredni związek z terytorium Stanów Zjednoczonych. Firmy francuskie nie miały skutecznych narzędzi prawnych, żeby się bronić. Zauważył też, że firmy amerykańskie rzadko były celem.\nFrancja zaktualizowała następnie swoją ustawę blokującą, czyli prawo ograniczające, jakie informacje francuskie firmy mogą przekazywać zagranicznym organom. Wcześniejsze śledztwo parlamentarne zajmowało się tym samym tematem w 2016 roku.\nNie musisz przyjmować każdego wniosku tego raportu. Wystarczy, że parlament narodowy przyjrzał się tej kwestii i uznał ją za sprawę suwerenności.\nDla twojego własnego planowania wniosek jest krótki.\nEkspozycja prawna na inny kraj to ekspozycja handlowa. Nie tylko kwestia zgodności z przepisami.\nStarsze obawy o informacje handlowe Ta obawa nie jest nowa i warto wiedzieć, jak daleko wstecz sięga.\nW 2001 roku Parlament Europejski opublikował raport o globalnym systemie przechwytywania komunikacji, znanym wtedy jako ECHELON. Parlament opublikował później opracowanie wracające do tej pracy.\nRaport stwierdził, że taki system istniał. Zbadał też twierdzenia, że przechwycone informacje wykorzystywano do uzyskania przewagi handlowej, także wobec firm europejskich.\nTe twierdzenia były wtedy kwestionowane i nadal trudno je udowodnić.\nWspominam o tym nie po to, żeby je rozstrzygnąć. Chodzi o to, że Parlament Europejski potraktował tę kwestię na tyle poważnie, by 25 lat temu przeprowadzić formalne śledztwo, i od tamtej pory ona nie zniknęła.\nPresja wywierana przez handel Część 2 opisała cła na sprzęt i to, jak Kanada wycofała swój podatek od usług cyfrowych po zerwaniu rozmów handlowych.\nJest jeszcze jeden krok, który warto odnotować osobno, bo dotyczy ludzi, a nie towarów.\nW styczniu 2026 roku Departament Stanu Stanów Zjednoczonych nałożył ograniczenia wizowe na 5 europejskich urzędników. Pracowali oni nad Digital Markets Act i Digital Services Act, europejskimi ustawami regulującymi duże platformy internetowe.\nNastąpiło to równolegle z groźbami ceł związanymi z europejskimi działaniami egzekucyjnymi.\nCenter for Strategic and International Studies opisało to jako wykorzystywanie środków handlowych do zniechęcania do regulacji cyfrowych.\nIstituto Affari Internazionali, włoski instytut, zbadał, czy w efekcie egzekwowanie Digital Markets Act staje się przedmiotem negocjacji.\nTo jest otwarte pytanie. Jeśli europejskie przepisy technologiczne da się przesunąć presją handlową, ochrona, którą ci dają, jest mniej pewna, niż sugeruje tekst.\nUczciwie trzeba dodać, że presja handlowa to normalne narzędzie polityki państwa, używane przez wiele krajów, w tym europejskie. Chodzi tu o to, na co jest kierowana.\nZałożenia, które podróżują razem z produktem Ostatnia pozycja jest cichsza od pozostałych, bez sprawy sądowej i bez kary, a dotyczy cię każdego dnia.\nOprogramowanie buduje się dla rynku, który jego twórcy znają najlepiej. Założenia tego rynku podróżują razem z nim.\nNiektóre rozpoznasz od razu.\nUstawienia prywatności często domyślnie udostępniają dane, bo takie podejście jest powszechne w Stanach Zjednoczonych. Prawo europejskie zaczyna od pytania o zgodę. Narzędzia do zarządzania pracownikami często zakładają, że zatrudnienie można zakończyć z krótkim wypowiedzeniem i że nie ma rady zakładowej, z którą trzeba się konsultować. Standardowe warunki umów często chcą, żeby spory rozpatrywał sąd w Stanach Zjednoczonych, na podstawie prawa Stanów Zjednoczonych, nawet dla klienta europejskiego. Zasady dotyczące treści idą za podejściem 1 kraju do wolności wypowiedzi, a potem są stosowane na całym świecie. Obsługa mniejszych języków pojawia się na końcu, a czasem wcale. Nic z tego nie jest robione na złość. To zwykły skutek budowania dla rynku macierzystego i sprzedawania wyniku wszędzie indziej.\nWyjaśnia to jednak coś w szerszym sporze.\nOgólne rozporządzenie o ochronie danych (RODO), Digital Markets Act i Digital Services Act to w większości stwierdzenie Europy, że jest odrębnym obszarem prawnym z własnymi, ustalonymi zasadami.\nOdpowiedź na to obejmowała opisane wyżej środki handlowe.\nCo to oznacza dla ciebie Wynikają z tego trzy praktyczne punkty.\nPrzeczytaj klauzulę o prawie właściwym. Sprawdź, czyje sądy rozpatrywałyby spór. Przy dużej umowie warto to negocjować.\nZapytaj, gdzie zarejestrowana jest spółka matka twojego dostawcy. Ta odpowiedź rozstrzyga więcej niż adres centrum danych.\nSprawdź, czy produkt pasuje do twojego otoczenia prawnego, zanim go kupisz. Zgody, przepisy prawa pracy i prowadzenie dokumentacji to typowe miejsca, w których importowane ustawienie domyślne nie pasuje do lokalnego prawa.\nNic z tego nie wymaga poglądu na żaden rząd. To zwykła staranność wobec dostawcy, zastosowana do pytania, które większość list kontrolnych zakupów wciąż pomija.\nCzęść 6 przygląda się bezpieczeństwu i mierze stosowanej, gdy dostawcę wyklucza się ze względów bezpieczeństwa narodowego.\nPierwsza publikacja: 2026-08-25. Ostatnia aktualizacja: 2026-08-25.\n","permalink":"https://blogs.damiendye.uk/pl/random/how-far-the-law-reaches/","summary":"Część 2 opisała prawo, które sięga do twoich danych. Część 5 z 8 opisuje prawo, które sięga do twojej firmy: wysokie kary na mocy prawa amerykańskiego, francuski raport parlamentarny o tym, czy działa to jak broń handlowa, presję handlową wywieraną na prawo podatkowe i na regulatorów oraz produkty, które wszędzie niosą założenia jednego rynku.","title":"Jak daleko sięga prawo jednego kraju"},{"content":"Część 6 z 8. Część 5 przyjrzała się temu, jak daleko sięga prawo jednego kraju.\nO czym jest ten wpis Powód podawany przy wykluczaniu niektórych dostawców. Co ustalono o osłabionych produktach. Co się stało w 2024 roku. Dlaczego to dotyczy także Europy. Co możesz z tym zrobić. Powód podawany przy wykluczaniu niektórych dostawców Kilka rządów wykluczyło chińskich dostawców z sieci telefonicznych i internetowych oraz ograniczyło niektóre chińskie aplikacje na urządzeniach służbowych.\nPodawany powód jest zwykle ten sam: firmę można zmusić do pomocy własnemu rządowi. Sprzęt niesie więc ryzyko, niezależnie od tego, co robi kod.\nTo rozumowanie jest słuszne. To też to samo rozumowanie, którego użyto w części 2 w sprawie tego, czyje prawo dotyczy twoich danych.\nZanim pójdziemy dalej, postawmy jedną rzecz jasno.\nOperacje cybernetyczne chińskiego państwa są prawdziwe. Europejskie agencje bezpieczeństwa narodowego dokumentują je tak samo jak amerykańskie i obejmują one kradzież informacji handlowych na dużą skalę. Nic w tym wpisie nie jest tego obroną.\nAle jeśli zasada mówi, że dostawcę można zmusić do pomocy własnemu rządowi, to dotyczy ona każdego dostawcy, który ma rząd.\nZastosuj ją równo, a akta po stronie europejskiej i amerykańskiej nie są puste. Miejscami są lepiej ustalone niż oskarżenia, bo badały je parlamenty.\nCo ustalono o osłabionych produktach Trzy pozycje, każda ze źródłem, w kolejności od najmocniej ugruntowanej.\nSłużba wywiadowcza była właścicielem firmy szyfrującej.\nCrypto AG była szwajcarską firmą, która od lat 50. sprzedawała maszyny szyfrujące ponad 120 rządom.\nJej właścicielami były amerykańska CIA i niemiecka BND. Maszyny przerabiano tak, żeby te służby mogły czytać wiadomości kupujących je rządów.\nOpiera się to na czymś więcej niż dziennikarstwo. Po ujawnieniu sprawy organ nadzoru nad wywiadem szwajcarskiego parlamentu przeprowadził śledztwo i opublikował raport w listopadzie 2020 roku.\nSzwajcarski nadawca publiczny SWI opisał ustalenia, w tym to, że szwajcarski wywiad wiedział o tym od 1993 roku.\nWśród klientów były rządy europejskie. Trwało to mniej więcej 50 lat.\nStandard kryptograficzny został wycofany.\nGenerator liczb losowych o nazwie Dual_EC_DRBG opublikowano jako standard Stanów Zjednoczonych. Liczb losowych szyfrowanie używa po to, żeby klucze były nieprzewidywalne.\nBadacze pokazali, że jego konstrukcja pozwalała temu, kto wybrał pewne wartości w jego wnętrzu, przewidzieć jego wynik.\nOrgan normalizacyjny odradził jego używanie w 2013 roku i usunął go w 2014 roku. The Register opisał powiązane ustalenia handlowe w tamtym czasie.\nSprzęt przechwytywano w transporcie.\nW grudniu 2013 roku niemiecki tygodnik Der Spiegel opublikował katalog narzędzi do przechwytywania obejmujący routery, zapory sieciowe, serwery i firmware pamięci masowej od znanych producentów.\nArtykuły opisywały też sprzęt przekierowywany w transporcie, przerabiany, ponownie pakowany i wysyłany dalej do klienta.\nNad tym ostatnim warto przez chwilę pomyśleć każdemu, kto kupuje sprzęt.\nOznacza to, że granicą zaufania nie jest tylko twój dostawca. Jest nią twój dostawca i wszystko, co obsługuje dostawę.\nUczciwy dostawca nie może dać ci gwarancji co do tej drugiej części.\nCo się stało w 2024 roku To wydarzenie odpowiada na pytanie inżynierskie i jest najbardziej przydatną rzeczą w tym wpisie.\nW 1994 roku Stany Zjednoczone uchwaliły ustawę wymagającą od firm telefonicznych budowania sieci tak, żeby komunikację można było przechwycić na zgodne z prawem żądanie.\nWejście było więc stałe, wbudowane i podlegało procedurze prawnej.\nW 2024 roku ustalono, że grupa powiązana z chińskim państwem, publicznie nazwana Salt Typhoon, dostała się do co najmniej 9 dużych amerykańskich firm telefonicznych.\nWśród osiągniętych systemów były same systemy przechwytywania. The Register opisał reakcję ustawodawców.\nWejście, którego zbudowania wymagał jeden rząd, stało się drogą, którą wszedł inny rząd.\nTo nie pech. To wynika z tego, jak taka rzecz działa.\nWbudowane wejście to możliwość, a nie zasada. Prawo, które je reguluje, wiąże tylko ludzi, którzy to prawo akceptują. Ktoś, kto się włamał, go nie akceptuje.\nKażdy argument za wbudowanym dostępem zgodnym z prawem zakłada, że dostęp da się ograniczyć do zamierzonego użytkownika. To najjaśniejszy istniejący dowód, że to założenie nie trzyma się.\nDlaczego to dotyczy także Europy Jeśli to rozumowanie jest słuszne, jest słuszne wszędzie, i jako takie dotyczy także europejskich propozycji.\nPropozycje skanowania wiadomości na urządzeniu, zanim zostaną zaszyfrowane, tworzą ten sam rodzaj wbudowanego wejścia.\nWielka Brytania ma uprawnienie do wymagania od firm zapewnienia możliwości technicznych. Użyto go, żeby wymusić zmiany w funkcji szyfrowania, a dostawca zamiast ją zmieniać, wycofał tę funkcję w Wielkiej Brytanii.\nOba działania prowadzą demokracje, pod nadzorem, z poważnych powodów, takich jak ochrona dzieci.\nOba budują też dokładnie ten rodzaj możliwości, o którym rok 2024 pokazał, że nie da się jej niezawodnie ograniczyć do zamierzonego użytkownika.\nEuropejskie wejście nie jest bezpieczniejsze od żadnego innego, bo intruza nie obchodzi, jak rozliczalna jest instytucja. Obchodzi go to, czy ta rzecz istnieje.\nDlatego użyteczna wersja tego argumentu jest techniczna, a nie polityczna.\n„Nie ufaj dostawcom z kraju X” trzeba otwierać na nowo za każdym razem, gdy zmienia się polityka.\n„Zakładaj, że każde wbudowane wejście zostanie w końcu użyte przez kogoś, dla kogo nie było zbudowane” obowiązuje niezależnie od tego.\nCo możesz z tym zrobić Praktyczna odpowiedź nie dotyczy głównie tego, od kogo kupujesz. Dotyczy projektowania tak, żeby to pytanie miało mniejsze znaczenie.\nTraktuj sieć jako niezaufaną. Szyfruj ruch od końca do końca i nie pozwalaj, żeby jeden system ufał drugiemu tylko z powodu miejsca, w którym stoi w sieci.\nTrzymaj własne klucze szyfrujące, gdzie się da. Część 2 wyjaśniła, dlaczego to zmienia, kogo można poprosić o twoje dane. To też ogranicza, co intruz uzna za warte zdobycia.\nWysyłaj mniej. Danych, których nigdy nie zebrałeś, nie da się przechwycić, zażądać ani zgubić. Najmniej modny środek na liście i często najskuteczniejszy.\nSprawdź, co uruchamia twój sprzęt, zanim mu zaufasz. Weryfikowany rozruch i sprawdzanie firmware warto włączyć tam, gdzie twój sprzęt to obsługuje.\nW naprawdę wrażliwych systemach sprawdzaj dostawy. Opakowania z zabezpieczeniem przed manipulacją i zapisane numery seryjne to proste rzeczy.\nŻadna z nich nie wymaga od ciebie decyzji, którego rządu obawiać się najbardziej.\nWłaśnie dlatego są lepszą odpowiedzią. Zabezpieczenie, które działa tylko wtedy, gdy twoje przewidywania polityczne okażą się trafne, nie jest naprawdę zabezpieczeniem.\nCzęść 7 wychodzi poza technologię i przygląda się temu, jak z tym samym problemem poradziły sobie inne branże.\nPierwsza publikacja: 2026-08-25. Ostatnia aktualizacja: 2026-08-25.\n","permalink":"https://blogs.damiendye.uk/pl/random/backdoors-and-who-is-accused/","summary":"Wykluczenie dostawcy ze względów bezpieczeństwa wymaga miary stosowanej równo. Część 6 z 8 przedstawia, co ustalono o osłabionych produktach i przechwytywaniu, w tym szwajcarskie śledztwo parlamentarne, i pokazuje, dlaczego wbudowane wejście należy do każdego, kto do niego dotrze.","title":"Tylne furtki i to, kogo się o nie oskarża"},{"content":"Część 7 z 8. Część 6 przyjrzała się bezpieczeństwu i wbudowanym wejściom.\nO czym jest ten wpis Dlaczego to porównanie jest przydatne. Nasiona i licencje na żywe organizmy. Supermarkety i przepisy stworzone dla nich. Dlaczego technologia nie ma nic takiego. Co to ci mówi. Dlaczego to porównanie jest przydatne Panuje powszechny pogląd, że technologia to nowy rodzaj władzy i potrzebuje nowego sposobu myślenia.\nTo pocieszający pogląd i w większości błędny. Wiara w niego to jeden z powodów, dla których odpowiedź przychodzi tak powoli.\nProblem z tej serii jest stary. Dostawca staje się niezbędny. Alternatywy klienta znikają. Warunki przestają być uzgadniane i zaczynają być ogłaszane.\nTo zdarzyło się w branżach, w których nie ma w ogóle oprogramowania.\nPorównanie pomaga na 2 sposoby.\nPokazuje, co zwykle przychodzi potem, bo te branże są dalej na tej drodze.\nI pokazuje, jak wygląda poważna odpowiedź, bo niektóre z tych odpowiedzi już istnieją i działają.\nNasiona i licencje na żywe organizmy Rolnik kupujący nasiona jest w bardzo podobnym położeniu jak organizacja kupująca kluczowe oprogramowanie.\nCztery firmy, Bayer, Corteva, Syngenta i BASF, mają większość światowego rynku nasion i podobny udział w środkach ochrony roślin. Szwajcarska organizacja Public Eye publikuje jego analizę.\nDla niektórych pojedynczych upraw jest jeszcze ciaśniej, a garstka firm ma większość odpowiednich patentów.\nLicencje będą ci znajome, jeśli kiedykolwiek czytałeś umowę na oprogramowanie.\nOpatentowanych nasion po prostu się nie sprzedaje. Udziela się na nie licencji, a jej warunki mogą zakazać najstarszej praktyki w rolnictwie: zachowania części tegorocznych zbiorów, żeby wysiać je w przyszłym roku.\nRolnik kupuje więc używanie nasion na 1 sezon. Prawo do ich rozmnażania, czyli cały sens nasienia, zostaje u dostawcy.\nTo zakup na stałe zamieniony w zakup powtarzalny. Rolnictwu przytrafiło się to wcześniej niż oprogramowaniu.\nJest drugi znajomy szczegół.\nNasiona często buduje się tak, żeby działały z konkretnym środkiem ochrony roślin, a ta sama firma sprzedaje oba. Kupno jednego sprawia, że kupno drugiego jest łatwiejsze niż zmiana dostawcy.\nEkonomiści rolni śledzą skutki: mniej dostępnych odmian, wyższe koszty nakładów i mniejsza możliwość zmiany dostawcy.\nSupermarkety i przepisy stworzone dla nich Druga połowa żywności pokazuje ten sam problem od strony kupującego. To przykład wart naśladowania.\nNiewielka liczba sieci handlowych obsługuje większość sprzedaży spożywczej w Wielkiej Brytanii.\nDostawca ma więc bardzo niewielu możliwych klientów. Utrata jednego może zakończyć jego działalność. Dla sieci wymiana dostawcy to praca na jeden poranek.\nTa nierównowaga została udokumentowana na tyle dobrze, że Parlament zadziałał. W 2013 roku powołano Groceries Code Adjudicator. Nadzoruje on, czy duże sieci przestrzegają Groceries Supply Code of Practice.\nSpójrz, co ten kodeks ogranicza, a potem pomyśl o swoim ostatnim odnowieniu oprogramowania.\nZmienianie uzgodnionych warunków po fakcie, bez zgody. Pobieranie od dostawcy opłat za prawo do dalszego prowadzenia interesów. Przerzucanie kosztów i ryzyka na dostawcę bez rekompensaty. Używanie wycofania ze sprzedaży jako dźwigni w sporze. Unia Europejska zbudowała własną wersję. Dyrektywa 2019/633 w sprawie nieuczciwych praktyk handlowych obejmuje łańcuch dostaw produktów rolnych i spożywczych.\nZakazuje opóźnionych płatności, anulowania zamówień w krótkim terminie, jednostronnej zmiany warunków i grożenia odwetem handlowym. Każde państwo członkowskie ma organ, który ją egzekwuje.\nŻaden z tych systemów nie jest doskonały. Uprawnienia Adjudicatora są ograniczone, nie obejmuje on samych cen, a ze swoich najmocniejszych uprawnień korzystał oszczędnie.\nAle zasada, która w nich tkwi, to ta, której brakuje w technologii.\nTam, gdzie siła przetargowa jest bardzo nierówna, swoboda umów tak naprawdę nie istnieje. Pewne praktyki są więc zakazane wprost, a nie zostawione negocjacjom.\nNikt nie zaproponował, żeby dostawcy oprogramowania zabronić zmieniania uzgodnionych warunków po fakcie.\nNikt nie traktuje opłaty za wyjęcie własnych danych jako przerzucania kosztu na słabszą stronę.\nW żywności jedno i drugie zostałoby od razu zauważone. W oprogramowaniu nazywamy to modelem licencyjnym.\nDlaczego technologia nie ma nic takiego Cztery powody, i warto je zrozumieć, bo wskazują, co musiałoby się zmienić.\nSzybkość. Koncentracja w handlu spożywczym zajęła około 100 lat. Koncentracja w chmurze zajęła około 15. Zanim dało się ją wyraźnie zobaczyć, już się dokonała.\nDarmowe usługi. Prawo konkurencji w większości krajów wyrosło wokół cen płaconych przez konsumentów. Usługa z ceną zero wygląda w tym teście na nieszkodliwą, nawet gdy klientem nie jest użytkownik.\nTwierdzenie o nowości. Branża przekonująco argumentowała, że jej ekonomia jest inna, a to, że trudno od niej odejść, to po prostu cecha złożonych systemów, a nie decyzja projektowa.\nOrganizacja. Rolnicy mają związki, spółdzielnie i długi nawyk wspólnego negocjowania. Wykorzystali go, żeby wywalczyć konkretne zabezpieczenia prawne.\nKupujący technologię mają grupy użytkowników i konferencję. Kiedy klientów VMware uderzyły duże podwyżki, prawdziwy opór przyszedł od organizacji branżowej dostawców chmury i poszedł drogą prawa konkurencji. Część 2 opisała, jak długo to trwa.\nCo to ci mówi Dwa wnioski i oba warto mieć.\nProblem jest strukturalny, a nie narodowy.\nBayer jest niemiecki. Największe supermarkety są brytyjskie, francuskie i niemieckie. Model wykupu z części 3 jest chętnie stosowany w całej Europie.\nZastąp jutro każdego amerykańskiego dostawcę z tej serii 4 europejskimi, a zachowanie wróci, bo wynika ze struktury.\nDlatego rady z tego wpisu dotyczą możliwości zmiany dostawcy, a nie wyboru kraju.\nDziałająca odpowiedź już istnieje.\nNie musimy wymyślać nowej teorii regulacji platform.\nIstnieje model, w którym pewne praktyki są zakazane, bo siła przetargowa jest nierówna, arbiter rozpatruje skargi, a słabsza strona nie dźwiga całego ciężaru dowodu.\nZbudowano go dla kapusty. Zadziałałby dla umów chmurowych.\nCzęść 8 przygląda się temu, co buduje się teraz w Europie i jak sprawdzić, gdzie stoisz.\nPierwsza publikacja: 2026-08-25. Ostatnia aktualizacja: 2026-08-25.\n","permalink":"https://blogs.damiendye.uk/pl/random/the-same-pattern-elsewhere/","summary":"Nic z tego nie jest nowe i nie chodzi tu naprawdę o technologię. Cztery firmy kontrolują większość światowego rynku nasion. Dziesięć sieci sprzedaje większość żywności w Wielkiej Brytanii. Obie sytuacje przyniosły odpowiedź prawną, jakiej oprogramowanie nie ma wcale. Część 7 z 8 porównuje je i pyta, dlaczego technologii uszło to na sucho.","title":"Ten sam schemat w innych branżach"},{"content":"Część 8 z 8. Część 7 porównała ten schemat z innymi branżami.\nO czym jest ten wpis Co Europa faktycznie zbudowała. Co jest realne dziś, a co nie. 3 pytania, które pokażą, gdzie stoisz. Uczciwe słowo o tej stronie. Trend się odwrócił Przez wiele lat europejska niezależność cyfrowa była głównie rozmową.\nOd 2025 roku to się zmieniło. Są działające produkty i organizacje, które używają ich na co dzień.\nTo najbardziej przydatny trend w całej serii, bo na jego podstawie możesz działać.\nOprogramowanie biurowe i do współpracy openDesk to zestaw narzędzi open source do codziennej pracy biurowej. Dokumenty, poczta, kalendarze, pliki, czat i wideokonferencje.\nOpiekuje się nim ZenDiS, niemieckie centrum suwerenności cyfrowej.\nJest zbudowany z narzędzi, które już istniały: Nextcloud do plików, Collabora do dokumentów, Open-Xchange do poczty i kalendarzy, Element do czatu, Jitsi do wideo.\nJest w realnym użyciu. Niemieckie siły zbrojne podpisały wieloletnią umowę. Robert Koch Institute, niemiecka instytucja zdrowia publicznego, używa go dla kilku tysięcy osób. Międzynarodowy Trybunał Karny wybrał go w 2025 roku.\nSą już też opcje komercyjne.\noffice.eu wystartował w Hadze w marcu 2026 roku. To należąca do Europejczyków, hostowana alternatywa dla wielkich amerykańskich pakietów biurowych.\nEuro-Office pojawił się w czerwcu 2026 roku. To wspólny edytor dokumentów budowany razem przez kilka europejskich firm, w tym IONOS, Nextcloud, XWiki, OpenProject, Open-Xchange i office.eu.\nTaka współpraca ma znaczenie. Oznacza, że każda firma nie buduje tego samego edytora od nowa na własną rękę.\nRządy, które naprawdę się przenoszą Niektóre rządy już się przeniosły, co daje reszcie z nas prawdziwe doświadczenie, z którego można się uczyć.\nDuńskie Ministerstwo Cyfryzacji przeszło z Microsoft 365 na LibreOffice od lipca 2025 roku. LibreOffice to darmowy pakiet biurowy.\nNiemiecki kraj związkowy Szlezwik-Holsztyn przenosi na open source dziesiątki tysięcy komputerów pracowników.\nFrancja i Niemcy budują też wspólne narzędzia, zamiast każde z osobna płacić za własne.\nUczciwie trzeba powiedzieć, że nie zawsze idzie gładko.\nMonachium przez kilka lat przenosiło administrację miasta na Linuksa, a potem w 2017 roku wróciło do Windows. The Register opisał koszty w tamtym czasie.\nGłówna lekcja z Monachium nie była techniczna. Oprogramowanie w większości działało. Nie przetrwało poparcie polityczne, przez kolejne zmiany władzy, w projekcie trwającym ponad dekadę.\nTakie rzeczy potrzebują więc stałego wsparcia przez wiele lat. To realny wymóg i warto go uczciwie zaplanować.\nPłatności Płatności idą za tym samym trendem, a wiele osób nie zdaje sobie sprawy, jak bardzo są skoncentrowane.\nAnaliza danych Europejskiego Banku Centralnego wskazuje, że Visa i Mastercard obsłużyły w 2025 roku około 47% wartości płatności kartowych w strefie euro. W kilku krajach udział jest wyraźnie wyższy.\nKilka krajów europejskich ma własne systemy kartowe. Kłopot w tym, że nie działają ponad granicami, więc tym, który działa wszędzie, jest system amerykański.\nWero to odpowiedź europejska. Prowadzi go European Payments Initiative.\nZaczął od płatności między osobami w Belgii, Francji i Niemczech. Ma dziś dziesiątki milionów zarejestrowanych użytkowników. Luksemburg dołączył w 2026 roku, a Holandia przenosi na niego swój istniejący system iDEAL. European Payments Council publikuje postępy.\nNastępny etap to płatności w sklepach i w internecie. To ten etap rozstrzygnie, czy Wero stanie się prawdziwą alternatywą.\nZa nim stoi cyfrowe euro, w dłuższej perspektywie, około 2029 roku.\nNowe przepisy Komisja Europejska opublikowała projekt Cloud and AI Development Act 2026-06-03.\nTo pierwsza poważna próba zamiany suwerenności chmury z dobrowolnej etykiety w wymóg prawny.\nDzieli dostawców chmury na poziomy według tego, gdzie stoi infrastruktura, jak niezależnie można ją prowadzić i kto jest jej właścicielem. Kupujący z sektora publicznego musieliby wymagać od dostawców spełnienia co najmniej najniższego poziomu.\nTo projekt. Nie jest jeszcze prawem i może się zmienić po drodze.\nCo jest realne, a co nie Lista pełna nadziei łatwo tu może pójść w złą stronę, więc powiedzmy to wprost.\nRealne dziś. Dokumenty biurowe, poczta, kalendarze, pliki, czat i wideo. Działające opcje europejskie i open source istnieją, a organizacje używają ich produkcyjnie już teraz.\nW drodze. Płatności i część usług chmurowych. Elementy istnieją. Zasięg wciąż się uzupełnia.\nJeszcze nie. Infrastruktura chmurowa na dużą skalę. Europejskie moce są daleko poniżej popytu.\nCo da się dziś zastąpić opcją europejską lub open source Na ile każdą warstwę da się dziś zastąpić Praca biurowa Dokumenty, poczta, kalendarze, pliki, czat, wideo Zastępowalne już Płatności Wero rośnie; sklepy i internet to następny etap Częściowo gotowe Infrastruktura chmurowa Europejskie moce są dużo mniejsze od popytu Jeszcze nie Układy scalone Realne mocne strony Europy, ale dziś bez pełnego zamiennika Nie w tej dekadzie Im wyżej w stosie patrzysz, tym więcej masz dziś wyboru. Nie w tej dekadzie. Same układy scalone. Europa ma realne mocne strony, w tym ASML w Holandii oraz Infineon i NXP w projektowaniu układów. Nic z tego nie zastępuje dziś procesora graficznego do centrum danych.\nBertelsmann Stiftung, niemiecka fundacja, oszacowała, że zbudowanie pełnego europejskiego stosu zajęłoby około 10 lat i kosztowało około €300 mld.\nPełna niezależność nie wchodzi więc w grę, a każdy, kto ją oferuje, przesadza z tym, co ma.\nTym samym pełna niezależność nigdy nie była użytecznym celem.\n3 pytania, które pokażą, gdzie stoisz Oto prosty sposób, żeby spojrzeć na własne systemy. Działa dla każdego dostawcy, w każdym kraju.\nZadaj te 3 pytania o każdą usługę, od której zależysz.\n1. Co przestaje działać, jeśli ta usługa stanie?\nBądź konkretny. Nazwij systemy i ludzi, których to dotyczy. „To ważne” to nie jest coś, z czym da się planować.\n2. Ile tygodni pracy zajęłaby przeprowadzka?\nTa liczba ustala twoją pozycję przy każdym odnowieniu, tak długo, jak zostajesz przy tym dostawcy.\nJeśli nie potrafisz jej oszacować, to już jest warte wiedzy.\n3. Czy twoja organizacja faktycznie dałaby radę prowadzić alternatywę?\nNie chodzi o to, czy alternatywa istnieje. Chodzi o to, czy twój zespół, w swojej realnej wielkości, dałby radę ją prowadzić.\nLibreOffice to prawdziwa odpowiedź dla ministerstwa z budżetem szkoleniowym. To trudniejsza odpowiedź dla małej firmy bez działu IT.\nUszereguj swoje usługi według tych 3 odpowiedzi. Lista jest zwykle krótka i często nie taka, jakiej ludzie się spodziewają.\nW wielu organizacjach poczta i konta pracowników wypadają wyżej niż obliczenia w chmurze. Ich przeniesienie rzadko jest testowane i trwałoby długo.\nPotem zadaj te same 3 pytania o każdą europejską alternatywę, którą rozważasz.\nJeden europejski dostawca, od którego nie możesz odejść, nie jest dużo lepszy od jednego amerykańskiego, od którego nie możesz odejść.\nPrawdziwą przewagą otwartych formatów i open source nie jest cena. Jest nią to, że dzięki nim na pytanie 2 da się odpowiedzieć, a pytanie 3 staje się możliwe.\nUczciwe słowo o tej stronie Nie byłoby uczciwie napisać tego wszystkiego, nie odnosząc tego do siebie.\nTa strona jest zbudowana w Hugo i serwowana przez Cloudflare, firmę amerykańską. Każdy punkt tej serii jej dotyczy.\nWybrałem Cloudflare, bo dobrze działa i nic mnie nie kosztuje. Gdyby konto jutro przestało działać, zmieniłbym kilka ustawień DNS i opublikował stronę gdzie indziej.\nEkspozycja jest więc realna, a konsekwencja mała. To uczciwa wymiana i zrobiłem ją świadomie.\nReszta mojego sprzętu też jest mieszana. Proxmox, o którym często piszę, jest austriacki. Działa na procesorach projektowanych w Stanach Zjednoczonych, z firmware, którego nie mogę sprawdzić.\nNie ma konfiguracji, która dochodzi do zera. To nigdy nie było celem.\nW skrócie Technologia przeszła od czegoś, co kupujesz, do czegoś, co wynajmujesz.\nWynajem jest często lepszy i właśnie dlatego to się stało.\nKażdy koszt wynajmu rośnie tym bardziej, im trudniej ci odejść.\nOd 2025 roku pojawiły się prawdziwe alternatywy dla codziennej pracy biurowej i pojawiają się dla płatności.\nPraktycznym celem nie jest więc omijanie konkretnego kraju. Jest nim zmniejszenie liczby usług, od których nie mógłbyś odejść w ciągu 3 miesięcy.\nZacznij od tych, których nigdy nie testowałeś. Zwykle tam czeka niespodzianka.\nPierwsza publikacja: 2026-08-25. Ostatnia aktualizacja: 2026-08-25.\n","permalink":"https://blogs.damiendye.uk/pl/random/choice-coming-back/","summary":"Od 2025 roku europejska odpowiedź zamieniła się z planów w rzeczy, które można zainstalować. Część 8 z 8 opisuje, co już działa, co uczciwie jest jeszcze o lata odległe, i daje 3 pytania, które pokażą, gdzie stoisz.","title":"Gdzie wraca twój wybór"},{"content":"Każda maszyna w domenie Active Directory znajduje swój kontroler domeny, pytając DNS. Nie z skonfigurowanej listy. Pyta o rekord SRV i idzie tam, dokąd odeśle ją odpowiedź. To sprawia, że garstka rekordów pod _msdcs jest najbardziej krytyczną dla bezpieczeństwa rzeczą w strefie, i rodzi dwa pytania warte porządnej odpowiedzi: jak je podpisać i kto ma prawo je zapisywać. Żadnego z nich nie zadaje się często, a na oba domyślnie odpowiada się źle.\nTen wpis odpowiada na oba dla kontrolera domeny Samba4. BIND z dlz_bind9 serwujący katalog, inline signing, ukryty serwer główny (hidden primary), do którego żaden klient nigdy nie dociera, delegacja wewnątrz publicznej strefy, żeby łańcuch zaufania sięgał korzenia, i dynamiczne aktualizacje klientów trzymane z dala od lokatorów.\nAle podpisywanie jest coś warte tylko wtedy, gdy wiesz, co chroni, a to znaczy zacząć poziom niżej: od tego, jak w ogóle rozwiązuje się nazwę. Pierwsza jedna trzecia to więc zejście od korzenia. Jeśli znasz to na pamięć, przeskocz do Dwa backendy DNS w Sambie.\nResolver na starcie nie wie prawie nic Warto jasno powiedzieć, z jak małą wiedzą rodzi się resolver, bo cała reszta tego wpisu z tego wynika.\nŚwieżo zainstalowany resolver rekurencyjny wie dwie rzeczy. Zna adresy serwerów głównych: plik podpowiedzi, trzynaście nazw od a.root-servers.net do m.root-servers.net, serwowanych przez anycast z dużo większej liczby instancji niż trzynaście. I, jeśli waliduje, zna jeden klucz publiczny: klucz korzenia.\nTo cała wbudowana konfiguracja. Każdy inny fakt, jaki kiedykolwiek poda, czyli które serwery są autorytatywne dla uk, gdzie mieszka twoja domena, jaki adres ma twój serwer poczty, zdobywa w czasie działania, pytając, a potem trzyma w pamięci podręcznej, aż wygaśnie TTL.\nTo dobry projekt. Nikt nie musi dostarczać listy serwerów nazw całego internetu, a żadna centralna strona nie musi zatwierdzać zmiany w twojej strefie. Ale ma konsekwencję, o której jest reszta tego wpisu: resolver wierzy w to, co mu powie serwer, na który wskazała poprzednia odpowiedź. Zabierz podpisy, a cała konstrukcja to łańcuch twierdzeń, z których każde jest uwierzytelnione tylko tym, że przyszło z adresu wskazanego w ostatniej odpowiedzi. To spory ciężar jak na adres zwrotny.\nZejście w dół drzewa Wyszukanie to nie jedno pytanie. To seria odesłań w dół drzewa nazw, a każdy krok to osobne zapytanie do innego serwera.\nPowiedzmy, że klient chce dc01.ad.example.co.uk. Resolver z pustą pamięcią podręczną robi tak:\nPyta serwer główny. Korzeń nie zna odpowiedzi i nie udaje, że zna. Zwraca odesłanie (referral): pustą sekcję odpowiedzi, a w sekcji authority rekordy NS dla uk, z adresami tych serwerów nazw jako glue w sekcji additional. Pyta serwer uk. Kolejne odesłanie, tym razem do serwerów nazw dla example.co.uk. Pyta serwer example.co.uk. Jeśli ad.example.co.uk jest delegowana, a w projekcie z dalszej części wpisu jest, to jeszcze jedno odesłanie. Pyta serwer ad.example.co.uk. Ten jest autorytatywny dla nazwy, więc odpowiada rekordem A i ustawia bit AA (odpowiedź autorytatywna). Jedno wyszukanie schodzące po drzewie delegacji, odesłanie po odesłaniu Resolver rekurencyjny Na starcie zna tylko: \u0026#183; podpowiedzi korzenia \u0026#183; klucz publiczny korzenia 1 \u0026#160; Serwer główny a\u0026#8211;m.root-servers.net Odesłanie rekordy NS dla uk. oraz ich adresy jako glue 2 \u0026#160; Serwer nazw uk autorytatywny dla uk. Odesłanie rekordy NS dla example.co.uk. 3 \u0026#160; example.co.uk trzyma delegację Odesłanie ad.example.co.uk. jest delegowana: zapytaj jej serwery 4 \u0026#160; ad.example.co.uk autorytatywny dla nazwy Odpowiedź rekord A dla dc01, z ustawionym bitem AA Każdy krok trafia do pamięci do wygaśnięcia TTL, więc rozgrzany resolver zaczyna od kroku 3 lub 4. I właśnie dlatego jeden zatruty wpis w pamięci jest wart tak wiele. Jedno wyszukanie, cztery serwery. Każdy krok zwraca nie odpowiedź, tylko nazwę lepszego miejsca, gdzie zapytać, a resolver zapamiętuje każdy krok po drodze w dół. Trzy rzeczy w tym zejściu mają znaczenie później.\nOdesłanie jest delegacją. Strefa nadrzędna nie przechowuje zawartości strefy podrzędnej. Przechowuje rekordy NS mówiące „zapytaj tam”, a gdy w grę wchodzi podpisywanie, rekord DS mówiący „a oto odcisk klucza, którego masz się spodziewać, kiedy zapytasz”. Delegacja to jedyny mechanizm strukturalny, jaki ma DNS, i to jego użyjesz, żeby strefa wewnętrzna została wewnętrzna.\nPrawie wszystko to trafia do pamięci podręcznej. Odesłania z korzenia i TLD mają długie TTL, więc rozgrzany resolver przeskakuje od razu do kroku trzeciego albo czwartego. Dlatego pamięć podręczna resolvera jest warta ataku: zatruj jeden wpis, a przekierujesz wszystko pod nim na tyle, na ile pozwoli wybrany przez ciebie TTL.\nPełna nazwa nie trafia do każdego serwera. Przy minimalizacji QNAME resolver pyta korzeń tylko o uk, nie o dc01.ad.example.co.uk. Warto wiedzieć, jeśli kiedyś będziesz szukać swoich wewnętrznych nazw w logu zapytań gdzieś wyżej. Nie powinno ich tam być.\nStub, rekurencyjny, autorytatywny Trzy słowa używane zamiennie, które oznaczają zupełnie różne zadania. To rozróżnienie dźwiga połowę tego wpisu poświęconą Active Directory, więc warto je przybić.\nCo robi Schodzi po drzewie? Trzyma dane strefy? Resolver stub Biblioteka lub lokalna usługa, którą wołają twoje aplikacje. Pyta jeden skonfigurowany serwer i bierze odpowiedź. Nie Nie Forwarder Przekazuje zapytania do innego resolvera, zapamiętuje odpowiedzi. Nie Nie Resolver rekurencyjny Robi powyższe zejście, zapamiętuje każdy krok, opcjonalnie waliduje podpisy. Tak Nie Serwer autorytatywny Odpowiada za strefy, które dostał, i tylko za nie. O wszystkim innym mówi „nie wiem”. Nie Tak Ważny jest ostatni wiersz. Serwer autorytatywny nie ma czego szukać w rekursji, a resolver rekurencyjny nie ma czego szukać w byciu autorytatywnym. Połączenie ich daje maszynę, która zarazem przyjmuje dowolne pytania od klientów i trzyma dane, od których ci klienci zależą, czyli dokładnie taką maszynę, jaką twój kontroler domeny nie powinien być.\nNa współczesnym linuksowym desktopie jest jeszcze jedna warstwa, o której warto wiedzieć. systemd-resolved uruchamia nasłuch stuba na adresie pętli zwrotnej i zapisuje resolv.conf wskazujący na samego siebie, z options edns0 trust-ad. To trust-ad jest tu ważne: każe stubowi wierzyć bitowi AD (authenticated data) w odpowiedziach od tego serwera. Bit AD sam w sobie niczego nie dowodzi. To twierdzenie resolvera wyżej, że on zwalidował. Ufanie mu ma sens, gdy resolver jest twój, a droga do niego godna zaufania, a poza tym nic nie znaczy.\nJak naprawdę znajduje się usługi Rekord A odpowiada na jedno pytanie: jaki adres ma ta nazwa. Nie mówi nic o tym, na jakim porcie jest usługa, który z kilku serwerów preferować ani co zrobić, gdy pierwszy leży.\nRekordy SRV odpowiadają na wszystkie trzy. Według RFC 2782 ich kształt to:\n_service._proto.name. TTL IN SRV priority weight port target Części rekordu SRV i o czym decyduje każda z nich transport domena usługa rodzaj serwera _ldap. _tcp. dc._msdcs. ad.example.com. 600 IN SRV 0 100 389 dc01.ad.example.com. jedna nazwa; podkreślnik oddziela ją od hostów TTL typ rekordu priorytet waga port cel Niższy priorytet próbuje się pierwszy. Waga dzieli obciążenie między serwery o tym samym priorytecie. Cel musi być nazwą hosta z rekordami A lub AAAA, nigdy CNAME. Pojedynczy cel „.” oznacza, że usługa celowo nie jest tu oferowana. Rekord SRV rozłożony na części. Nazwa właściciela koduje usługę i transport; treść rekordu niesie kolejność przełączania awaryjnego, podział obciążenia w ramach jednej kolejności, port oraz cel, który musi być prawdziwą nazwą hosta. Każde pole zarabia na swoje miejsce:\nPrzedrostki z podkreślnikiem trzymają etykiety usług we własnej przestrzeni nazw. _tcp nigdy nie zderzy się z hostem, który naprawdę nazywa się tcp, bo nazwa hosta nie może zaczynać się od podkreślnika. Priorytet to kolejność przełączania awaryjnego: niższy próbuje się pierwszy. Serwery z wyższym numerem priorytetu używane są tylko wtedy, gdy wszystko poniżej jest nieosiągalne. Waga dzieli obciążenie w ramach jednego priorytetu. Para z wagą 100 i 300 dostaje mniej więcej jedną czwartą i trzy czwarte klientów. To losowanie proporcjonalne, nie round-robin. Port uwalnia usługę od dobrze znanego numeru, i tak klient znajduje serwer LDAP na 3268 bez tego, żeby ktoś go wpisał na sztywno. Cel musi być nazwą z rekordami A lub AAAA. RFC 2782 mówi wprost, że nie może to być CNAME, a pojedynczy cel . oznacza „ta usługa celowo nie jest tu oferowana”, co bywa przydatne do opublikowania z rozmysłem. To sprawia, że domenę się lokalizuje, a nie konfiguruje. Maszyna dołączona do domeny nie ma listy twoich kontrolerów domeny. Ma nazwę domeny i pyta.\nNazwy, które publikuje Active Directory Domena AD to z punktu widzenia klienta w większości zestaw rekordów SRV. Ciekawe jest drzewo pod _msdcs, bo tak klienci odróżniają „serwer LDAP” od „kontrolera domeny dla tej domeny” i od „wykazu globalnego dla tego lasu”:\nNazwa Kto o nią pyta _ldap._tcp.\u0026lt;domain\u0026gt; Wszystko, co chce LDAP w domenie _ldap._tcp.dc._msdcs.\u0026lt;domain\u0026gt; Lokalizacja kontrolera domeny, ta najważniejsza _ldap._tcp.pdc._msdcs.\u0026lt;domain\u0026gt; Konkretnie emulator PDC _ldap._tcp.gc._msdcs.\u0026lt;forest\u0026gt; Wykaz globalny _kerberos._tcp.\u0026lt;domain\u0026gt;, _kerberos._udp.\u0026lt;domain\u0026gt; Lokalizacja KDC, zanim istnieje jakikolwiek bilet _kpasswd._tcp.\u0026lt;domain\u0026gt;, _kpasswd._udp.\u0026lt;domain\u0026gt; Zmiany haseł _ldap._tcp.\u0026lt;site\u0026gt;._sites.dc._msdcs.\u0026lt;domain\u0026gt; Lokalizacja według lokacji: znajdź DC, który jest blisko Popatrz, do czego służy ta lista. Uwierzytelnianie Kerberos nie może się zacząć, dopóki klient nie znajdzie KDC, a KDC znajduje przez DNS. Lokalizacja według lokacji oznacza, że odpowiedź decyduje też, w którym centrum danych klient się uwierzytelnia.\nTa sama idea, unowocześniona SRV ma następcę, o którym warto wiedzieć. Rekordy SVCB i HTTPS (RFC 9460) uogólniają ten wzorzec: parametry usługi w DNS, w tym ALPN, port i podpowiedzi adresów, w jednym rekordzie. Tak przeglądarka uczy się iść prosto na HTTP/3 bez przekierowania. Rekord HTTPS jest już szeroko wdrożony. Mechanizm jest w duchu taki sam jak SRV: klientowi mówi DNS, jak dotrzeć do usługi. Co znaczy, że argument z następnej sekcji dotyczy go w tym samym stopniu.\nWszystko po wyszukaniu ufa wyszukaniu Tu jest punkt zwrotny, i to z jego powodu wpis o DNS ma sekcję o bezpieczeństwie, a nie odwrotnie.\nMaszyna w domenie startuje i pyta, gdzie jest kontroler domeny. Dostaje nazwę i port. Łączy się tam i dopiero wtedy zaczyna robić wszystko to, co zwykle uważamy za warstwę bezpieczeństwa: Kerberos, podpisywanie LDAP, channel binding, walidację certyfikatów.\nCo więc się stanie, jeśli odpowiedź była kłamstwem?\nWarto być tu uczciwym, bo odpowiedź to nie „natychmiastowa katastrofa”. Kerberos zaprojektowano z wzajemnym uwierzytelnianiem właśnie po to, żeby klient nie był zdany na łaskę swojego wyszukania nazwy: host, który nie potrafi przedstawić biletu usługi dla nazwy, o którą pytał klient, nie dokończy wymiany. Dostań odpowiedź SRV wskazującą maszynę bez klucza w domenie, a przy ściśle skonfigurowanym kliencie to się nie uda.\nRealne szkody są subtelniejsze i siedzą w szczelinach wokół tego:\nObniżenie (downgrade). Klient, który przy niedziałającym Kerberosie wraca do NTLM, właśnie został oddany temu, kto odpowiedział. Relay i wymuszanie (coercion). Atakujący nie musi być kontrolerem domeny. Wystarczy być nazwą, z którą łączy się klient, żeby zacząć przekazywać to uwierzytelnienie tam, gdzie się przyda. Odmowa usługi, która wygląda na awarię. Skieruj _ldap._tcp.dc._msdcs na coś, co nie odpowiada, a domena będzie sporadycznie zepsuta w sposób, którego przez dłuższy czas nikt nie zdiagnozuje jako DNS. Wszystko, co nie ma w ogóle wzajemnego uwierzytelniania. Synchronizacja czasu, syslog, monitoring, agenci kopii zapasowych, ta wewnętrzna rzecz po HTTP z verify=False. W wielu środowiskach jest tego więcej, niż ktokolwiek chciałby przyznać. Ogólna zasada jest tym, co warto stąd wynieść: DNS to mechanizm odkrywania, nie mechanizm autoryzacji. Znajdowanie usługi po nazwie jest całkowicie rozsądne. Przyznawanie czegokolwiek na podstawie nazwy nie jest, a liczba systemów, które po cichu to robią (listy dozwolonych oparte na PTR, ACL po nazwach hostów, „jest w sieci wewnętrznej, więc musi być nasze”), to właściwa powierzchnia ataku.\nCo DNSSEC naprawia, a czego nie DNSSEC istnieje, żeby odpowiedzieć na jedno pytanie: czy ta odpowiedź naprawdę przyszła ze strefy, do której należy nazwa, i to bez zmian?\nDziała (RFC 4033 i dwa następne) przez podpisywanie i przez wiązanie podpisów w łańcuch aż do czegoś, czemu już ufasz:\nKażdy RRset w podpisanej strefie ma RRSIG, czyli podpis nad tym zbiorem. Klucze publiczne strefy są publikowane jako DNSKEY. Strefa nadrzędna publikuje rekord DS: skrót klucza strefy podrzędnej. Ten DS jest sam podpisany przez strefę nadrzędną, której klucz jest zahaszowany w DS jej rodzica, i tak aż do korzenia, a klucz korzenia to jedyna rzecz, z którą twój resolver przyszedł na świat. Łańcuch zaufania od korzenia w dół do strefy wewnętrznej . (korzeń) jedyny klucz, który twój resolver już ma Tu zaczyna się każdy łańcuch. Dostarczany z resolverem, wymieniany rzadko, zaufany z góry. podpisany DS dla com. com. albo uk., albo cokolwiek nad tobą Rodzic ręczy za klucz dziecka. DS to skrót klucza dziecka, podpisany przez rodzica. podpisany DS dla example.com. example.com. publiczna, podpisana, DS złożony u rodzica Strefa, którą już masz i już podpisujesz. Trzyma delegację strefy wewnętrznej i DS, który ją uwierzytelnia. To wszystko, co trzyma ze środka. podpisany DS dla ad.example.com. nad linią: opublikowane w internecie pod nią: serwowane tylko wewnątrz środowiska ad.example.com. widok z AD: tylko serwery wewnętrzne Podpisana w środku, zaufana z zewnątrz. Twoje resolvery walidują ją: korzeń \u0026#8594; com \u0026#8594; example.com \u0026#8594; tu, bez lokalnej kotwicy zaufania i bez niczego do rozdawania. Dane nigdy nie wychodzą. Wchodzi tylko zaufanie, zwykłym publicznym łańcuchem. Łańcuch, który buduje walidujący resolver. Każdy rodzic ręczy za klucz dziecka podpisanym rekordem DS, więc jedna wbudowana kotwica zaufania w korzeniu uwierzytelnia każdą strefę pod nim, w tym delegowaną strefę wewnętrzną, której zawartość nigdy nie opuszcza budynku. Zaprzeczenie też jest podpisane, co łatwo przeoczyć, a znaczy więcej, niż się wydaje. Bez tego „nie ma takiej nazwy” to nieuwierzytelniona odpowiedź, którą atakujący może sfałszować, żeby coś zniknęło. NSEC i NSEC3 dają uwierzytelnione „między tymi dwiema nazwami nic nie istnieje”.\nTo prawdziwa poprawka prawdziwego problemu. Zatruwanie pamięci podręcznej nie jest teorią: atak Kaminsky’ego tak potanił podszywanie się spoza ścieżki, że wymusił awaryjne łatanie w całym internecie, a środki zaradcze, które przyszły potem (losowanie portu źródłowego, mieszanie wielkości liter 0x20), to wszystko próby utrudnienia zgadywania, a nie uczynienia odpowiedzi weryfikowalnymi. Późniejsze prace nad kanałami bocznymi raz po raz je podgryzały. Podpisy to jedyna rzecz na tej liście, która zmienia zasady gry, a nie tylko podnosi cenę.\nTeraz uczciwe granice, bo DNSSEC jest przeceniany w obie strony.\nTo nie jest poufność. Podpisywanie to uwierzytelnianie kluczem publicznym; każde zapytanie i odpowiedź nadal idą otwartym tekstem po kablu. Prywatność na odcinku klienta to DoT, DoH albo DoQ, a to inny mechanizm rozwiązujący inny problem. Szyfrowanie odcinka do resolvera, który nie waliduje, kupuje ci prywatną rozmowę z czymś, co wciąż można okłamać.\nNie waliduje znaczenia, tylko pochodzenie. DNSSEC dowodzi, że opublikował to właściciel strefy. Jeśli rekord jest błędny, złośliwy albo zapisał go ktoś, komu strefa nierozważnie na to pozwoliła, podpis zostanie nałożony na niego równie wiernie. Podpisanie strefy, którą mogą zapisywać niezaufane maszyny, nie czyni jej zawartości wiarygodną. Uwierzytelnia kłamstwo. Zapamiętaj to zdanie; ostatnia jedna trzecia tego wpisu to w zasadzie jego konsekwencja.\nPomaga tylko wtedy, gdy ktoś waliduje. Jeśli twój resolver nie waliduje, podpisy na strefach, o które pytasz, to dekoracja. A jeśli walidacja dzieje się na resolverze po drugiej stronie sieci od klienta, klient ufa bitowi AD i drodze; patrz trust-ad wyżej.\nI trzeba go utrzymywać. Wygasły podpis to nie pogorszona odpowiedź, to SERVFAIL: nazwa gaśnie. DS u rodzica, który już nie pasuje do klucza dziecka, robi to samo. To uczciwy koszt, i jako taki automatyzacja z następnych sekcji znaczy więcej niż samo pierwsze podpisanie.\nDlaczego wymyślonej wewnętrznej TLD nie da się podpisać Tu decyzje o nazwach sprzed lat wracają z rachunkiem, i warto to rozpisać, bo to z tego powodu projekt w tym wpisie używa prawdziwej, posiadanej domeny dla nazw wewnętrznych.\nSpójrz jeszcze raz, jak buduje się łańcuch: za klucz strefy ręczy rekord DS u jej rodzica. Walidujący resolver może więc uwierzytelnić strefę wewnętrzną tylko wtedy, gdy ta strefa ma rodzica, który chce i może opublikować dla niej DS.\nad.corp.local nie ma takiego rodzica. Nie ma go też .lan, .home ani nic innego wymyślonego w dniu, w którym zakładano domenę:\n.local jest zarezerwowane dla mDNS. Używanie go do unicastowego DNS to nie tylko brak podpisu, to udokumentowana kolizja z tym, jak ma prawo zachowywać się każdy system operacyjny w budynku. Dostaje poniżej własną sekcję, bo to zupełnie inna liga niż pozostałe trzy. .lan, .corp, .home to niezarejestrowane ciągi znaków. Nie ma rodzica, który mógłby trzymać DS, a wersje, o które wnioskowano, wstrzymano od delegacji z powodu bałaganu z kolizjami nazw w prywatnych środowiskach. home.arpa jest porządnie zarezerwowane dla sieci domowych, co brzmi idealnie, ale jego delegacja jest celowo niezabezpieczona. Nie ma do niego podpisanej ścieżki, z założenia. .internal ICANN odłożył właśnie do tego zastosowania, i to rozwiązuje problem kolizji. Nie rozwiązuje tego: brak delegacji to brak DS, czyli brak łańcucha. Twoje opcje przy wewnętrznej strefie bez łańcucha to zostawić ją niepodpisaną albo skonfigurować lokalną kotwicę zaufania na każdym walidującym resolverze w środowisku i zostać korzeniem własnej prywatnej wyspy: klucz, który musisz teraz rozprowadzać, monitorować i wymieniać ręcznie, na każdym resolverze, na zawsze, z SERVFAIL w całej domenie jako trybem awarii.\nJest dużo łatwiejsza odpowiedź, i to darmowa: zrób ze strefy wewnętrznej delegację wewnątrz publicznej strefy, którą już masz i już podpisujesz. ad.example.com, delegowana z example.com. DS idzie do publicznego rodzica. Każdy walidujący resolver w środowisku uwierzytelnia wtedy nazwy wewnętrzne kotwicą zaufania, którą już ma, a ty nic nie rozprowadzasz.\nZawartość zostaje w środku. Tylko zaufanie przychodzi z zewnątrz. To rozróżnienie jest projektem z reszty tego wpisu.\n.local to nie kwestia gustu Jedna z tych czterech zasługuje na własną sekcję, bo to tej ludzie bronią, a obrona jest zawsze ta sama: działa, używamy tego od lat, w czym problem.\nProblem w tym, że .local to nie niezarejestrowany ciąg, który ktoś kiedyś może sprzedać. To przestrzeń nazw, która już ma właściciela i zdefiniowane zachowanie, a to zachowanie to nie „zapytaj serwer DNS”. RFC 6762 §3 nie owija w bawełnę:\nAny DNS query for a name ending with \u0026ldquo;.local.\u0026rdquo; MUST be sent to the mDNS IPv4 link-local multicast address 224.0.0.251 (or its IPv6 equivalent FF02::FB).\nPrzeczytaj, czym naprawdę rządzi to MUST. To nie twierdzenie o tym, kto jest właścicielem ciągu. To instrukcja, dokąd idzie zapytanie, a odpowiedzią jest grupa multicastowa na lokalnym łączu, nie twój kontroler domeny. Ta sama sekcja mówi, że nazwy pod .local są „meaningful only on the link where they originate”, czyli to DNS-owy odpowiednik adresu 169.254.\nKlient, który poprawnie trzyma się specyfikacji, nigdy nie zapyta twojego serwera DNS o nazwę .local. Krzyczy na kablu i bierze to, co odpowie.\nDaje to zestaw awarii o bardzo szczególnym smaku:\nRozwiązywanie zależy od klienta, nie od twojego DNS. macOS rozwiązuje .local przez Bonjour, i zawsze tak robił; systemd-resolved domyślnie kieruje domenę local do mDNS; Windows robi mDNS od Windows 10. Trzy stosy, trzy zestawy reguł, a twojego pliku strefy nie pyta żaden z nich. Kończy się na pierwszym routerze. mDNS jest z założenia ograniczony do łącza. Nazwa, która rozwiązuje się przy biurku w tym samym VLAN-ie, nie rozwiązuje się z innego piętra, innej lokacji ani przez VPN, i to jest zgłoszenie „działa w biurze, nie działa w domu”, zamykane cztery razy jako „problem z siecią”, zanim ktoś przeczyta specyfikację. Zachowanie zmienia się pod tobą. To, czy dana maszyna próbuje najpierw multicastu, najpierw unicastu czy obu równolegle, zależy od stosu resolvera i jego wersji. Środowiska, które jechały na .local „bez problemu od lat”, to zwykle te, w których aktualizacja dystrybucji jeszcze nie zmieniła kolejności. Dowodów nie ma tam, gdzie ich szukasz. Log zapytań DC nic nie pokazuje, bo nic nie dotarło. Ludzie spędzają dni na serwerze, a zapytanie nigdy nie opuściło klienta. I nie da się tego podpisać, o co w tej sekcji chodzi. Brak rodzica, brak DS, brak łańcucha, brak sposobu, by go opublikować. Teraz połóż to pod domeną Active Directory. Realm wywodzi się z nazwy domeny. Principale usług wywodzą się z realmu. Lokatory _msdcs, czyli rekordy, o których jest cały ten wpis, siedzą pod sufiksem, który zgodny ze specyfikacją klient musi rozwiązywać, krzycząc na lokalnym segmencie. Budujesz Kerberosa na przestrzeni nazw, którą połowa twojego środowiska rozwiązuje protokołem zaprojektowanym do szukania drukarek.\nA wyjście jest drogie, i to dlatego warto podejść do pierwotnej decyzji bez sentymentów. W Sambie nie ma zmiany nazwy w miejscu. Udokumentowana ścieżka to samba-tool domain backup rename, a potem odtworzenie: robisz kopię bazy pod nową nazwą, zasiewasz z niej nowy DC i dodajesz od zera każdy inny DC, bez żadnego nakładania się DC ze starą i nową nazwą. To nie windowsowy rendom, który przynajmniej przechodzi przez DC po kolei. To przebudowa z ładniejszą nazwą.\nUczciwe podsumowanie jest więc takie. .local dla domeny unicastowej to nie preferencja, konwencja ani nieszkodliwa pozostałość. To udokumentowany konflikt z protokołem, który jest domyślnie włączony w każdym systemie operacyjnym w budynku, a rachunek przychodzi po latach jako sporadyczne, nie do odtworzenia awarie rozwiązywania nazw, a kiedy w końcu chcesz podpisać strefę, jako przebudowa domeny.\nTen sam błąd w innym kapeluszu Skoro już tu jesteśmy: port 5353.\nmDNS nasłuchuje na UDP 5353, i to nie jest zapasowy port, który akurat jest wolny. Postawienie na nim zwykłej unicastowej usługi DNS albo kierowanie resolverów na :5353, bo 53 był zajęty albo wymagał roota, robi tę samą szkodę od drugiej strony: każda maszyna świadoma mDNS w tym segmencie rozmawia teraz z twoją usługą nazw, a twoja usługa nazw obsługuje multicastowe odkrywanie usług, na które nigdy nie miała odpowiadać. Nazwa i port to dwie połowy jednej przestrzeni nazw, i obie już do kogoś należą.\n.local na 53 albo unicastowy DNS na 5353. To samo nieporozumienie, ta sama klasa sporadycznych awarii, te same tygodnie cudzego czasu.\nI bądź uczciwy co do tego, co to mówi Microsoft zalecał .local w czasach Small Business Server, dlatego tyle środowisk wciąż je nosi, i przestał to zalecać dawno temu. Odziedziczenie domeny .local to pech. Większość czytających to osób, które ją mają, nie wybrała jej, a sekcja wyżej to plan migracji, nie oskarżenie.\nWdrożenie takiej domeny to zupełnie inna sprawa, i będę o tym mówił bez ogródek, bo łagodzenie tego nikomu nie pomogło.\nKażdy, kto wdraża .local dla Active Directory albo dla zwykłego unicastowego DNS, albo stawia usługę DNS na porcie 5353, nie jest profesjonalistą IT. Może mieć taki tytuł na stanowisku. Nie wykonuje tej pracy. RFC 6762 jest opublikowane od 2013 roku, czyta się je w dwadzieścia minut, a zdanie, które rozstrzyga całą sprawę, jest w sekcji 3. Zbudowanie firmowej usługi nazw na przestrzeni, którą specyfikacja rezerwuje dla multicastu ograniczonego do łącza, to nie jest decyzja inżynierska, której da się bronić. To zgadywanie w tej jednej części stosu, gdzie zgadywanie daje awarie, których nikt nie umie odtworzyć, a wszyscy zwalają na sieć.\nTaka osoba powinna zostać usunięta z twojego działu IT. Nie przesunięta w bok, nie posadzona przy DNS pod nadzorem. Usunięta z tej funkcji. Ta rola istnieje po to, żeby wiedzieć, który pakiet idzie dokąd i z czyjego upoważnienia. Ktoś, kto nie przeczytał dokumentu rządzącego przestrzenią nazw wybraną przez siebie dla każdej maszyny w budynku, tej roli nie pełni, a zostawienie go w niej znaczy, że następna decyzja tej wagi zapadnie w ten sam sposób.\nI każdy system, którego dotknęła, trzeba przeaudytować. Tę część ludzie pomijają, a ona liczy się najbardziej. Taka decyzja nigdy nie jest odosobniona. Ktoś, kto przed nazwaniem domeny nie sprawdził RFC 6762, nie sprawdził też niczego innego, więc idź i zobacz, co jeszcze zbudował. Spodziewaj się znaleźć:\nSerwery DNS otwarte na świat, forwardery odpowiadające każdemu, kto zapyta, i żadnych ACL nigdzie. Dynamiczne aktualizacje szeroko otwarte i kontenery stref z uprawnieniami, których nikt nie przeglądał od założenia domeny. Certyfikaty i Kerberosa zbudowane na nazwach, które nigdy nie miały rozwiązywać się spójnie, z awariami zaklejonymi plikami hosts. Pliki hosts. Wszędzie. Całe środowiska trzymały się na nich właśnie dlatego, że .local nigdy porządnie nie działało, a ktoś znalazł obejście zamiast przyczyny. Reguły zapory i konta usług utworzone, żeby zniknęły objawy, wciąż na miejscu, wciąż dające więcej, niż ktokolwiek dziś pamięta. To nie mściwość. Do tego właśnie służy sygnał kompetencji. Kiedy znajdziesz jedną decyzję podjętą bez przeczytania specyfikacji, właściwa reakcja to założyć, że pozostałe zapadły tak samo, i iść sprawdzić, bo ta sama osoba konfigurowała twoje uwierzytelnianie, twoje certyfikaty i twoją kontrolę dostępu, a ty masz teraz bezpośredni dowód, jak podchodzi do problemu, którego w pełni nie rozumie.\nOdziedziczenie tego bałaganu kosztuje cię migrację. Zatrudnianie osoby, która wciąż go tworzy, kosztuje cię znacznie więcej.\nDwa backendy DNS w Sambie Kontroler domeny Samba AD trzyma swoje dane DNS w samym katalogu, i są dwa sposoby, żeby je serwować.\nSAMBA_INTERNAL to własny serwer DNS Samby, wbudowany w AD DC. Obsługuje strefy AD i dynamiczne aktualizacje uwierzytelnione Kerberosem, a wszystko inne oddaje do forwardera. Samba opisuje go jako obsługujący „the basic feature required in an AD” i zaleca go „for simple DNS setups”, co jest uczciwe i warte potraktowania dosłownie. Dostaje poniżej własną sekcję, bo lista tego, czego nie robi, jest dłuższa i ciekawsza niż lista tego, co robi.\nBIND9_DLZ uruchamia BIND jako serwer DNS, z załadowanym do niego modułem Samby dlz_bind9. DLZ, czyli Dynamically Loadable Zones, to interfejs BIND do oparcia strefy na czymś innym niż plik strefy. Moduł odpowiada na zapytania BIND prosto z sam.ldb, więc nie ma kopii, kroku eksportu ani synchronizacji, która mogłaby się rozjechać: BIND czyta katalog w trakcie serwowania.\nWewnętrzny serwer DNS nie robi rekursji, bo nie potrafi Zacznij od rzeczy, którą niemal zawsze opisuje się źle, także ludzie, którzy go używają.\n„DC jest naszym serwerem DNS, robi rekursję dla klientów” to nie to, co się dzieje, bo wewnętrzny serwer DNS w ogóle nie potrafi robić rekursji. Własna lista funkcji Samby mówi to wprost. Wewnętrzny DNS nie obsługuje:\ndziałania jako resolver z pamięcią podręczną zapytań rekurencyjnych (ale może przekazywać do innego rekurencyjnego serwera nazw) podpisów transakcji ze wspólnym kluczem (TSIG) stref stub transferów stref równoważenia obciążenia Round Robin między DC a scavenging i warunkowe forwardery są wymienione jako również niezaimplementowane.\nPrzeczytaj dwie pierwsze pozycje razem, bo to cała historia. Nie potrafi rozwiązywać i nie potrafi zapamiętywać. To, co naprawdę kupuje ci dns forwarder, to przekaźnik: klient pyta DC o windowsupdate.com, DC pyta prawdziwy resolver, odpowiedź wraca przez DC, a potem DC całkowicie o niej zapomina. Następny klient zadaje to samo pytanie i wszystko dzieje się od nowa.\nWróć do tabeli z początku wpisu i zobacz, co to jest: forwarder bez pamięci podręcznej forwardera. Ma koszty tej roli (dodatkowy skok, zależność, kolejna rzecz, która może leżeć) i żadnej z jej korzyści.\nDC z SAMBA_INTERNAL, który obsługuje środowisko, nie jest więc serwerem DNS w tym sensie, jaki ludzie mają na myśli. To proxy bez pamięci podręcznej przed prawdziwym resolverem, a ty postawiłeś je na maszynie, która trzyma twój katalog.\nDlaczego to ryzyko, a nie tylko nieefektywność Nieefektywność łatwo zobaczyć: każde zewnętrzne wyszukanie w budynku staje się na stałe podróżą w obie strony przez AD DC, bez pamięci podręcznej, która by to złagodziła. W cichej domenie nikt tego nie zauważa. Właśnie dlatego to przetrwa.\nArgument bezpieczeństwa jest tym, który warto postawić, i ma trzy części.\nNasłuch jest w złym procesie. Wewnętrzny DNS to zadanie usługowe samego AD DC, działające z uprawnieniami katalogu, a nie osobny demon na własnym koncie, jak named. Rzecz, która parsuje nieuwierzytelniony UDP od wszystkiego, co dosięgnie portu 53, działa więc w procesie, który serwuje LDAP i Kerberosa i jest właścicielem sam.ldb. BIND ma za sobą trzydzieści lat wrogiej uwagi, dedykowanego użytkownika i zwyczaj uruchamiania w więzieniu (jail), właśnie dlatego, że nasłuch DNS to podła okolica. Wewnętrzny serwer Samby to funkcja dla wygody, która akurat mieszka w klejnotach koronnych.\nObsługiwanie klientów oznacza bycie osiągalnym dla klientów. Żeby być serwerem DNS środowiska, musi przyjmować zapytania od każdej stacji roboczej, każdej drukarki, każdego laptopa podwykonawcy w gościnnym VLAN-ie, który ktoś przypadkiem zmostkował. To duża, stale otwarta, nieuwierzytelniona powierzchnia ataku na najcenniejszym hoście, jaki masz, a utrzymujesz ją, żeby zaoszczędzić na resolverze, który uciągnęłoby Raspberry Pi.\nA forwarder otwarty na świat to cudza broń. DC przekazujący zapytania od każdego, kto pyta, to otwarty forwarder. Gdy tylko da się do niego dotrzeć spoza twojej sieci, staje się uczestnikiem odbić i wzmacniania, co znaczy, że ruch i zgłoszenia nadużyć trafiają do twojego kontrolera domeny. Nie ma ograniczania częstotliwości, po które można by sięgnąć, bo wewnętrzny serwer go nie ma.\nNic z tego nie wymaga podatności w Sambie, żeby było złym pomysłem. To zły pomysł już z samego kształtu: wkłada nieuwierzytelnioną, przypadkiem wystawioną do internetu, ciężką od parsowania usługę do tego samego procesu co twój katalog, żeby robiła pracę, o której dokumentacja mówi, że nie potrafi jej zrobić porządnie.\nPadnie szybciej i pociągnie za sobą więcej Warto jasno powiedzieć, czym ten argument nie jest. To nie twierdzenie, że kod DNS Samby ma więcej błędów niż BIND. BIND ma długą listę CVE, głównie dlatego, że to najdokładniej badana implementacja DNS na świecie, a liczenie biuletynów byłoby kiepskim sposobem wybierania między nimi.\nPorównanie, które się liczy, jest strukturalne, i sprowadza się do trzech pytań z trzema niewygodnymi odpowiedziami.\nKto może wysłać mu zniekształcony pakiet? Gdy SAMBA_INTERNAL obsługuje środowisko: każda stacja robocza, każdy telefon w sieci bezprzewodowej, wszystko, co ma trasę do portu 53 na tej maszynie. W projekcie z tego wpisu: podpisujący. Jeden host, jeden klucz TSIG, allow-query ograniczone do niego. To nie mała różnica stopnia. To różnica między wystawioną usługą a taką, do której praktycznie nie da się dotrzeć, i przyćmiewa każdą różnicę w jakości kodu między obiema implementacjami.\nCo pada, kiedy on padnie? To pytanie przesądza o wadze. named to osobny demon na własnym koncie; kiedy umiera, DNS staje, a kontroler domeny dalej uwierzytelnia. Wewnętrzny DNS Samby to zadanie usługowe wewnątrz AD DC, więc wszystko, co go zawiesza, wyczerpuje albo wywraca, dzieje się w procesie, który serwuje LDAP i Kerberosa. Problem z DNS staje się awarią katalogu. A systemctl restart named kosztuje sekundę, podczas gdy restart DC to zupełnie inny poranek.\nCo możesz z tym zrobić, kiedy to się dzieje? BIND ma ograniczanie częstotliwości odpowiedzi (RRL), allow-query, allow-recursion, blackhole, politykę per widok i opcję nieodpowiadania klientom w ogóle. Wewnętrzny serwer ma dns forwarder i plik logu. Kiedy coś zaczyna go młotkować, nie ma pokrętła, którym można by kręcić.\nDo tego dodaj brak pamięci podręcznej. Każde zapytanie klienta to świeża podróż na zewnątrz, więc zalew zapytań kosztuje DC jedno wyszukanie wyżej na pakiet zamiast trafienia w pamięć podręczną, i kosztuje go to w tym samym procesie, który próbuje wydawać bilety Kerberosa. Nie potrzebujesz do tego exploita; wystarczy pracowity poranek, źle zachowująca się aplikacja albo ktoś, kto skieruje skaner na zły VLAN. Gdy to trwa, wygląda jak powolne uwierzytelnianie, a nikt nie wpada na to, żeby spojrzeć na DNS.\nWięc tak: nawet z DLZ w obrazku BIND jest tu bezpieczniejszym miejscem. Moduł DLZ rzeczywiście daje named dostęp do danych Samby, i to prawdziwa kwestia, na którą ten wpis już zwrócił uwagę. Ale awaria named to awaria DNS, a nie katalogu, a w tym projekcie ten named w ogóle nie przyjmuje zapytań od środowiska. Błędy są faktem w każdym kodzie. Zasięg rażenia i osiągalność to rzeczy, które wybierasz.\nI nie zbuduje projektu z tego wpisu Jest prostszy, ostateczny powód, dla którego to nie jest tutejszy backend.\nBrak transferów stref. Potok z następnej sekcji (ukryty serwer główny, podpisujący, samodzielne serwery autorytatywne) zaczyna się od AXFR z DC. SAMBA_INTERNAL nie ma czym transferować. Brak TSIG też, więc nie ma nawet uwierzytelnienia, którego taki transfer by potrzebował. I brak podpisywania, i brak walidacji czegokolwiek, co przekazuje dalej.\nUczciwe podsumowanie SAMBA_INTERNAL brzmi więc tak: to backend, który pozwala postawić domenę AD w labie w niedzielne popołudnie bez konfigurowania BIND, i robi to bardzo dobrze. Samba mówi „simple DNS setups” i ma to na myśli. To nie resolver, nigdy nie był budowany na usługę DNS dla całego środowiska, a w chwili, gdy chcesz podpisywania, transferów, widoków, ACL, pamięci podręcznej albo ograniczania częstotliwości, odpowiedzią nie jest jego strojenie. On nie ma tych pokręteł. Odpowiedzią jest BIND.\nJeśli dziś go używasz, a każdy klient wskazuje na DC, poprawka nie jest pilna, ale nie jest też opcjonalna: daj klientom prawdziwy walidujący resolver i ustaw dns forwarder na DC tak, żeby wskazywał na niego, wtedy DC odpowiada za własne strefy i za nic więcej.\nI tę część chcę postawić jasno, bo „nie używaj DLZ” powtarza się, jakby to była reguła utwardzania: to nie DLZ jest ekspozycją. To mechanizm wydobycia. Liczy się nie to, który moduł jest załadowany do BIND, tylko kto może rozmawiać z tym BIND i co dzieje się dalej ze strefą. BIND z backendem DLZ, który odpowiada wyłącznie na żądanie transferu od twojego podpisującego, nie jest powierzchnią ataku w żadnym ciekawym sensie. DC z SAMBA_INTERNAL, który obsługuje każde wyszukanie nazwy z czterystu laptopów, jak najbardziej nią jest. Tylko jedno z tych dwóch trafia na listy kontrolne utwardzania, i to nie to, które ma znaczenie.\nDwie rzeczy o DLZ są prawdziwe i warto je zaplanować, zamiast się ich bać:\nModuł jest powiązany z wersją BIND. Samba dostarcza osobny .so dla każdej wersji BIND, a named.conf wskazuje konkretny. Duża aktualizacja BIND oznacza, że pasujący moduł musi być na miejscu, inaczej named nie wystartuje. To zależność pakietowa do przetestowania z wyprzedzeniem, a nie cecha bezpieczeństwa. named potrzebuje dostępu do danych Samby, dlatego Samba trzyma osobny katalog na te elementy, których potrzebuje BIND, zamiast dawać mu cały katalog prywatny. To uprawnienie ma być wąskie; warto sprawdzić, czy na twoich DC wciąż takie jest, bo to jedyne miejsce, w którym DLZ faktycznie poszerza to, do czego sięgnąłby przejęty named. Powodem, dla którego DLZ jest tu właściwym wyborem, jest to, co umożliwia: interfejs DLZ w BIND obsługuje wyliczenie całej strefy, i to sprawia, że transfer strefy z opartej na DLZ strefy jest w ogóle możliwy. Ten transfer to pierwszy skok potoku, i robi go BIND, co znaczy, że reszta potoku to zwykła konfiguracja BIND, a nie nic egzotycznego.\nJest jedno ograniczenie, które kształtuje wszystko dalej, i warto je powiedzieć wprost, bo łatwo założyć inaczej. Strefy DLZ nie da się samej podpisać. ISC mówi to jasno w BIND ARM: DLZ „is unable to handle DNSSEC-signed data due to its limited API”. Nie zawiesisz dnssec-policy na instrukcji dlz i po sprawie.\nCo możesz zrobić, i co ISC sugeruje dla DLZ jednym tchem, to uruchomić ją jako ukryty serwer główny, a podpisywanie zostawić zwykłej strefie BIND, która przyjmuje dane transferem. To jest następna sekcja, a to ograniczenie jest powodem, dla którego ma taki kształt.\nWarto wiedzieć, że to ograniczenie Samby, a nie prawo Active Directory. Serwer DNS Microsoftu robi podpisywanie online dynamicznych stref zintegrowanych z AD od Windows Server 2012. Strefa jest podpisywana w miejscu, klucze prywatne replikują się do Key Masterów przez samą replikację AD, a dynamiczne aktualizacje dalej działają. Na Windows „podpisz partycje AD” to realna opcja, a odpowiedź na zarzut o częstych zmianach jest wbudowana. (Na Server 2008 R2 tak nie było: dało się podpisać strefę zintegrowaną z AD, ale nie taką, która przyjmuje dynamiczne aktualizacje, a każda zmiana oznaczała ręczne ponowne podpisanie, i stąd bierze się folklor o niepodpisywalnych strefach AD).\nSamba nie ma odpowiednika. Żaden backend nie podpisuje: wewnętrzny serwer nie ma DNSSEC w ogóle, a DLZ nie umie nieść podpisanych danych. W Sambie potok transfer i podpis to więc nie jeden projekt z kilku. To jedyna droga.\nPotok publikacji Teraz jego kształt. Cztery role, a DC stoi z tyłu, gdzie nic do niego nie dosięgnie.\nPublikowanie strefy Active Directory z kontrolera domeny jako ukrytego serwera głównego Kontroler domeny: ukryty serwer główny BIND z dlz_bind9, autorytatywny z katalogu bez rekursji \u0026#183; transfery tylko do podpisującego, z TSIG Host katalogu nie przyjmuje pytań. Najcenniejsza maszyna w środowisku jest nieosiągalna dla maszyn, które od niej zależą. AXFR przy odświeżeniu SOA odpytywanie: DLZ nie umie notify Podpisujący: zwykły serwer wtórny przyjmuje strefę i serwuje ją podpisaną drugi named na DC albo własny host Samej strefy DLZ nie da się podpisać. Podpisuje więc zwykły serwer wtórny z kopią, a bez klientów w strefie nie ma ciągłych zmian. transfer dalej podpisana strefa Serwery autorytatywne zwykłe serwery wtórne podpisanej strefy bez kluczy, bez trasy do katalogu Włamanie daje kopię, nie fałszerstwo. Bez klucza na serwerach od strony środowiska nie da się zrobić nowego rekordu, który przejdzie walidację. zapytania odpowiedzi z podpisami Walidujące resolvery na nie wskazuje resolv.conf klientów wewnętrzne przekazane, reszta z drzewa Walidacja dzieje się obok klienta. Łańcuch sięga kotwicy zaufania korzenia, bo strefa wewnętrzna jest delegacją w publicznej. żadnego DNS dla klientów na DC Publikacja idzie w jedną stronę, od katalogu na zewnątrz. Nic, co wyśle klient, nigdy nie dociera na jej szczyt. DC jest ukrytym serwerem głównym: oddaje strefę AD transferem i nie odpowiada na nic innego. Instancja podpisująca to zwykła strefa wtórna z przetransferowaną kopią; samej strefy DLZ nie da się podpisać, więc podpisywanie zawsze dzieje się jeden skok dalej, czy to drugi named na DC, czy osobny host. Samodzielne serwery autorytatywne to jedyne, co klienci kiedykolwiek widzą, i są serwerami wtórnymi podpisanej strefy. 1. Kontroler domeny: ukryty serwer główny. BIND z dlz_bind9, autorytatywny dla stref AD prosto z katalogu. Rekursja wyłączona. Żadnej usługi dla klientów. allow-transfer ograniczone wyłącznie do podpisującego, z TSIG. Z punktu widzenia sieci DC w ogóle nie serwuje DNS, a jedyne, co go kiedykolwiek pyta, to następna maszyna w kolejce.\n2. Instancja podpisująca: zwykła strefa BIND, która przyjmuje dane transferem. Tu mieszkają inline-signing i dnssec-policy, na strefie o tej samej nazwie, która trzyma przetransferowaną kopię. BIND trzyma otrzymaną niepodpisaną kopię i publikowaną podpisaną kopię jako osobne rzeczy i podpisuje ponownie, gdy przychodzą nowe transfery. Ponieważ to transfer, a nie wspólny plik, ta instancja może siedzieć na samym DC (drugi named na własnym adresie) albo na osobnym hoście, a konfiguracja jest w obu przypadkach niemal identyczna.\nWymiana jest taka, na jaką wygląda: na DC to o jedną maszynę mniej do utrzymania, a osobny host trzyma klucze prywatne z dala od maszyny z katalogiem. Obu da się bronić, a wybór nie zmienia niczego innego w potoku. Liczy się to, że podpisywanie dzieje się raz, w określonym miejscu, pod polityką kluczy: to różnica między DNSSEC, który utrzymujesz, a DNSSEC, który wygasa o trzeciej w nocy.\n3. Serwery autorytatywne: jedyne, co widzą klienci. Zwykłe serwery wtórne podpisanej strefy. Nie trzymają kluczy, nie podpisują i nie mają drogi do katalogu. Jeśli któryś zostanie przejęty, atakujący ma kopię strefy i żadnej możliwości sfałszowania nowego rekordu, który przejdzie walidację.\n4. Resolvery. Walidujące resolvery rekurencyjne dla środowiska, które warunkowo przekazują strefy wewnętrzne do tych serwerów autorytatywnych, a po wszystko inne schodzą publicznym drzewem. To na nie wskazuje resolv.conf klientów.\nZ tego układu wynikają dwie właściwości, które warto powiedzieć osobno, bo o nie w tym wszystkim chodzi:\nMaszyna trzymająca katalog jest nieosiągalna dla maszyn, które go używają. Kontroler domeny to najcenniejszy host w środowisku. Danie mu usługi sieciowej dla klientów, takiej, która odpowiada na nieuwierzytelniony UDP z każdej stacji roboczej, to kiepska wymiana za usługę, którą mogą wykonywać inne maszyny. Podpisywanie dzieje się raz, w określonym miejscu. Zwykły zarzut wobec podpisywania strefy AD to częste zmiany: że zawartość zmienia się zbyt często, by podpisy nadążały. Ten zarzut to tak naprawdę zarzut wobec domyślnego układu, a nie wobec podpisywania. Gdy rejestracja klientów zostanie wyprowadzona, a następna sekcja dowodzi, że musi, strefa AD zmienia się przy promocji lub degradacji kontrolera domeny i poza tym praktycznie nigdy. Strefa zapisywana tylko przez DC to stabilna strefa, a stabilną strefę podpisuje się bez historii. Trzymanie klientów z daleka to nie tylko kontrola bezpieczeństwa; to właśnie robi strefę na tyle cichą, by dało się ją czysto podpisać. Jak naprawdę jest podłączone podpisywanie Kształt powyżej jest najważniejszy, ale „zwykła strefa BIND, która przyjmuje dane transferem” zasługuje na pokazanie, a nie opisanie, bo pierwsza próba zwykle rozbija się o podpisywanie DLZ bezpośrednio.\nNa DC strona DLZ zostaje celowo nudna. Serwuje katalog, oddaje strefę dokładnie jednemu partnerowi i nie robi nic innego:\nkey \u0026#34;transfer-to-signer\u0026#34; { algorithm hmac-sha256; secret \u0026#34;...\u0026#34;; }; options { recursion no; allow-query { key transfer-to-signer; localhost; }; allow-transfer { key transfer-to-signer; }; notify no; }; dlz \u0026#34;AD DNS Zone\u0026#34; { database \u0026#34;dlopen /usr/lib64/samba/bind9/dlz_bind9_18.so\u0026#34;; }; Zauważ, że .so nosi w nazwie główną wersję BIND. To powiązanie z wersją z poprzedniej sekcji w konkretnej postaci: aktualizacja BIND potrzebuje pasującego modułu Samby na miejscu, zanim named wystartuje.\nPo stronie podpisującej strefa to zwykły serwer wtórny z dołączonymi opcjami podpisywania. To ta część, która nie może mieszkać na DLZ:\ndnssec-policy \u0026#34;ad-internal\u0026#34; { keys { ksk lifetime P365D algorithm ecdsa256; zsk lifetime P90D algorithm ecdsa256; }; }; zone \u0026#34;ad.example.com\u0026#34; { type secondary; primaries { 192.0.2.10 key transfer-to-signer; }; file \u0026#34;ad.example.com.axfr\u0026#34;; inline-signing yes; dnssec-policy \u0026#34;ad-internal\u0026#34;; allow-transfer { key transfer-to-public; }; also-notify { 192.0.2.20; 192.0.2.21; }; }; To, że działa to na serwerze wtórnym, jest tu szczegółem nośnym, a ARM mówi to wprost:\nIf yes, BIND 9 maintains a separate signed version of the zone. An unsigned zone is transferred in or loaded from disk and the signed version of the zone is served with, possibly, a different serial number.\nBIND trzyma więc dwie kopie: niepodpisaną, którą otrzymał, zapisaną do file, i podpisaną, którą serwuje, zapisaną obok z rozszerzeniem .signed. Przychodzi transfer, podpisana wersja jest generowana od nowa, a serwery niżej dostają notify, bo w tym miejscu to całkowicie zwyczajna strefa. inline-signing yes jest zresztą domyślne, gdy dołączona jest dnssec-policy; jest wypisane powyżej, bo konfiguracja, która mówi, co robi, jest warta tej linijki.\nWymiana kluczy przychodzi razem z polityką, a nie z zadaniem cron. Wymiany ZSK nie potrzebują żadnego udziału; wymiany KSK potrzebują, żeby nowy DS dotarł do rodzica, i to jest automatyzacja CDS/CDNSKEY z dalszej części wpisu. rndc dnssec -status ad.example.com mówi ci, gdzie w swoim cyklu życia jest każdy klucz.\nTo, czy ten blok działa na DC, czy na własnym hoście, zależy od tego, na jaki adres wskazuje primaries. Na DC to druga instancja named na drugim adresie, przyjmująca transfer z pierwszej przez pętlę zwrotną albo interfejs zarządzania. To właśnie znaczy w praktyce „BIND z DLZ może być podpisującym”: to samo oprogramowanie, ta sama maszyna, jeśli chcesz, ale podpisywanie dzieje się na przetransferowanej kopii, a nie na strefie DLZ.\nJedyny haczyk operacyjny to notify, i jest po stronie DLZ. Podręcznik ISC mówi o tym bez ogródek: DLZ „has no built-in support for DNS notify”, więc serwery wtórne nie są automatycznie informowane o zmianach w strefach z bazy danych. Samba może zmienić rekord w katalogu, a instancja DLZ nie ma pojęcia, że powinna komuś o tym powiedzieć.\nPierwszy skok to więc odpytywanie, a nie wypychanie. Podpisujący odświeża według timera SOA strefy, którą transferuje, co znaczy, że:\nPropagacja od zmiany na DC do podpisanego, opublikowanego rekordu jest ograniczona tym interwałem odświeżania, a nie sekundami. Wypromuj DC, a jego nowe rekordy _msdcs pojawią się niżej najpóźniej po jednym odświeżeniu. Ten interwał to pokrętło, jeśli opóźnienie ma znaczenie. To wymiana za to, jak często chcesz odpytywać DLZ, co przywołuje drugą rzecz, którą ISC mówi o DLZ: robi wyszukania w bazie w czasie rzeczywistym bez pamięci podręcznej i jest „not recommended for use on high-volume servers”. Obie te rzeczy to argumenty za tą topologią, a nie przeciw niej. Jedynym klientem instancji DLZ jest podpisujący, pytający raz na odświeżenie. Faktyczne obciążenie zapytaniami ze środowiska ląduje na samodzielnych serwerach autorytatywnych, które serwują zwykły podpisany plik strefy z pełną prędkością. Wszystko za podpisującym jest konwencjonalne: serwery autorytatywne to serwery wtórne podpisanej strefy, dostają porządne notify i nigdy nie dotykają katalogu ani klucza.\nKlienci nie mogą zapisywać strefy, która trzyma lokatory To jest ta ważna, i to reguła projektowa, a nie ustawienie.\nActive Directory rejestruje rekordy dynamicznie. Maszyna dołącza i rejestruje samą siebie; DC startuje i rejestruje rekordy SRV ogłaszające jego usługi. „Bezpieczna” aktualizacja dynamiczna oznacza, że te aktualizacje są uwierzytelnione: maszyna dowodzi własnymi poświadczeniami, że jest tym, za kogo się podaje, a ACL na poziomie rekordu sprawia, że maszyna co do zasady może modyfikować tylko rekord, który sama utworzyła.\nPrzeczytaj to uważnie, bo gwarancja jest węższa, niż się na pierwszy rzut oka wydaje. Bezpieczna aktualizacja dynamiczna uwierzytelnia, kto pisze. Nie ocenia, co rekord znaczy. A zbiór kont uprawnionych do pisania jest znacznie szerszy, niż ludzie zakładają: w domyślnej strefie zintegrowanej z AD grupa Authenticated Users ma Create All Child Objects na kontenerze strefy w katalogu, bo ADIDNS przechowuje każdy rekord jako obiekt AD pod CN=MicrosoftDNS,DC=DomainDnsZones. Nie tylko konta maszyn: każde uwierzytelnione konto w domenie, w tym to należące do osoby, która dziś rano otworzyła załącznik z fakturą.\nTo daje dwa tryby awarii w strefie, która trzyma zarówno rekordy klientów, jak i lokatory usług:\nNazwy, które jeszcze nie istnieją, nie należą do nikogo. ACL na poziomie rekordu chroni rekord, który już ma właściciela. Nazwa, której nigdy nie zarejestrowano, nie ma obiektu, na którym można by egzekwować ACL, więc dostaje ją pierwsze konto, które ją utworzy. To mechanizm stojący za całą rodziną ataków na ADIDNS, z których najostrzejszy to wildcard: utwórz *, a każda nazwa w strefie, której nikt jawnie nie zajął (literówki, wycofane hosty, wpad), rozwiązuje się na atakującego. Istniejące rekordy zostają nietknięte, i właśnie dlatego nikt tego nie zauważa.\nZasięg rażenia obejmuje lokatory. Rekordy pod _msdcs to sposób, w jaki każdy klient w domenie znajduje kontroler domeny i KDC. To najbardziej krytyczne dla bezpieczeństwa rekordy, jakie masz, a w domyślnym wdrożeniu siedzą w tej samej strefie, do której czterysta laptopów pisze za każdym razem, gdy dostaje dzierżawę DHCP.\nKto może pisać którą strefę: jedna wspólna strefa wobec podziału według piszącego Domyślnie: jedna strefa ad.example.com lokatory i rekordy klientów razem _ldap._tcp.dc._msdcs. SRV _kerberos._udp SRV dc01 A laptop-042 A * A \u0026#8592; niezajęta niezarejestrowana nazwa nie ma ACL do egzekwowania każda maszyna w domenie może pisać całość Jedno przejęte konto maszyny może przepisać rekordy, które wskazują kontroler domeny. Podział według piszącego ad.example.com: tylko DC żaden klient nie ma drogi aktualizacji do tej strefy _ldap._tcp.dc._msdcs. SRV _kerberos._udp SRV dc01 A delegacja NS dyn.ad.example.com albo osobna strefa Samby z własnym ACL laptop-042 A każda maszyna w domenie może pisać brak drogi do lokatorów Kto może pisać co. Po lewej jedna strefa, a każda maszyna w domenie jest uprawnionym piszącym w strefie, która trzyma lokatory DC. Po prawej strefę AD piszą tylko DC, a rejestracje klientów lądują w osobnej podstrefie, gdzie najgorsze, co może zrobić przejęta maszyna, to skłamać o samej sobie. Reguła brzmi więc tak: strefę, która trzyma lokatory, piszą kontrolery domeny i nic poza nimi. Dynamiczna rejestracja klientów idzie gdzie indziej.\nGdzie indziej może oznaczać jedną z dwóch rzeczy, i obie są w porządku:\nDelegowana podstrefa serwowana gdzie indziej. Strefa AD trzyma delegację NS dla, powiedzmy, dyn.ad.example.com, a rekordy lądują na osobnym serwerze, który przyjmuje aktualizacje. Partycje Samby nigdy nie przyjmują zapisu od klienta. Osobna strefa w Sambie z własnym ACL aktualizacji. Wciąż w katalogu, ale to jej własna strefa, więc zapis klienta nie ma drogi do _msdcs ani do własnych rekordów DC. Pierwsza daje twardsze rozdzielenie; druga to mniej do utrzymania. Regułę łamie co innego. To ustawienie domyślne, w którym obie żyją razem. Tak wciąż działa większość domen, bo nikt tego nie wybrał i nikt nie wrócił, żeby popatrzeć.\nJest też druga dywidenda, ta, która wiąże to z powrotem z potokiem. Strefa, którą piszą tylko kontrolery domeny, to strefa, która prawie się nie zmienia: promocja DC, degradacja DC, a poza tym cisza. Cała zmienność w domyślnej strefie AD to rejestracja klientów. Wyjmij ją, a zarzut wobec podpisywania partycji AD odchodzi razem z nią: nie ma strumienia aktualizacji, za którym podpisy musiałyby gonić, więc podpisywanie jest rutyną, a nie walką. Dyscyplina zapisu i podpisywanie to ta sama decyzja widziana dwa razy.\nObok każdej z tych opcji jest uprawnienie, któremu warto się przyjrzeć, a na DC Microsoftu to bezpośrednia poprawka. Ponieważ rekordy ADIDNS to obiekty katalogu, uprawnienie pochodzi z ACL w AD, a nie z czegokolwiek w protokole DNS: Authenticated Users z Create All Child Objects na kontenerze strefy. Zaostrzenie tego to najczystsze złagodzenie problemu niezajętych nazw i wildcardów, a w wielu środowiskach można to uprawnienie usunąć zupełnie, gdy już wiesz, co naprawdę musi się samo rejestrować. AD DNS w Sambie przechowuje rekordy w katalogu w ten sam sposób, więc to samo pytanie dotyczy i jej: idź zobacz, co twój kontener strefy faktycznie przyznaje.\nAle chwila: czy klienci w 2026 roku w ogóle powinni się rejestrować? Wszystko powyżej zakłada, że dynamiczna aktualizacja klientów to coś, czego potrzebujesz i co próbujesz uczynić bezpiecznym. Zanim to przyjmiesz, warto zadać pytanie, którego nikt nie zadaje, bo odpowiedź zmieniła się od czasu, gdy to zachowanie projektowano.\nDynamiczną rejestrację DNS zbudowano dla desktopa. Skrzynka pod biurkiem, jeden kabel sieciowy, jeden adres trzymany latami. W takim świecie maszyna rejestrująca własną nazwę była porządkiem i w zasadzie prawdą.\nTeraz zobacz, czym jest klient w 2026 roku. Budzi się w domowym wifi. Przychodzi do biura i dołącza do firmowej sieci bezprzewodowej. Trafia do stacji dokującej i łapie jeszcze adres przewodowy. Ktoś odpala VPN i pojawia się adapter tunelu z trzecim adresem. Idzie do kawiarni, podłącza się przez telefon, a VPN wraca na czwartym. To jedna maszyna, jedna nazwa i pół tuzina adresów w ciągu dnia pracy, a domyślnie spróbuje zarejestrować sporą ich część.\nStrefa zapełnia się więc twierdzeniami, które kiedyś były prawdziwe.\nWindows rejestruje każdy adapter, jaki ma, chyba że ktoś przeszedł i odznaczył Register this connection\u0026rsquo;s addresses in DNS na każdym interfejsie. Zadokowany laptop na VPN to maszyna z trzema aktywnymi adapterami i zdaniem o każdym z nich. Wiele rekordów A dla jednej nazwy to nie stan błędu, to normalny wynik. Wyszukanie zwraca je wszystkie, klienci próbują ich w dowolnej kolejności, a połączenia z tą nazwą zawodzą proporcjonalnie do tego, ile adresów jest martwych. To mechanizm stojący za „zdalne wsparcie widzi maszynę w jednej minucie, a w następnej nie”. Adresy VPN są z nich najgorsze, bo adres tunelu jest ważny przez godzinę, a rekord go przeżywa. Tunel pada, adres z puli idzie do kogoś innego, a nazwa wskazuje teraz na kolegę. Stacje dokujące mącą samą tożsamość. Jeśli nie skonfigurowano przekazywania adresu MAC, dzierżawa należy do stacji, a nie do laptopa, więc w środowisku z hot-deskami nazwy, dzierżawy i maszyny rozjeżdżają się codziennie. A własność czyni to trwałym. Rekord może zaktualizować tylko konto, które go utworzyło. Gdy rekord utworzył DHCP pod jednym poświadczeniem, a maszyna później próbuje go zaktualizować pod własnym, aktualizacja po cichu się nie udaje, a nieaktualny adres zostaje dokładnie tam, gdzie był. Historia ze sprzątaniem też nie jest ratunkiem, na jaki brzmi. Samba ma scavenging od 4.9, ale jest domyślnie wyłączony (dns zone scavenging = yes, z samba-tool dns zoneoptions --aging=1), a sama Samba mówi, że „should only be enabled on new zones or new installations”, bo starsze wersje oznaczały rekordy dynamiczne jako statyczne, a statyczne jako dynamiczne. W środowiskach najbardziej zawalonych śmieciami, czyli tych, które działają od lat, narzędzie do sprzątania to to, którego radzą ci nie włączać. Miało też własne CVE.\nPostaw więc pytanie wprost: co właściwie korzysta z rekordu A laptopa?\nW większości firm bardzo niewiele. Użytkownicy łączą się z serwerami; serwery nie łączą się z laptopami. Prawdziwi konsumenci to narzędzia zdalnego wsparcia, RDP do stacji roboczej po nazwie oraz inwentaryzacja lub monitoring, a niemal całe to oprogramowanie prowadzi własną inwentaryzację i działa na agencie, który się zgłasza, bo przy klientach mobilnych nigdy nie mogło polegać na DNS.\nCo podsuwa odwrócenie ustawienia domyślnego:\nSerwery i infrastruktura dostają rekordy z provisioningu. Z NetBoxem i Ansible już w obrazku rekord tworzy ta sama rzecz, która stworzyła maszynę, jest poprawny z konstrukcji i znika, gdy znika maszyna. Stabilne środowisko przewodowe może brać rekordy z DHCP, jeśli coś ich naprawdę potrzebuje, z jednym poświadczeniem jako właścicielem, żeby aktualizacje nie zawodziły. Klienci mobilni nie rejestrują niczego. Są konsumentami DNS, nie jego wydawcami. Jeśli coś musi dotrzeć do laptopa, potrzebuje agenta, a nie rekordu A. Lądujesz w tym samym miejscu, w które postawił cię argument bezpieczeństwa, tylko z zupełnie innej strony. Mniej piszących to mniejsza powierzchnia ADIDNS, strefa niezapchana wygasłymi twierdzeniami i, wracając do potoku, strefa na tyle cicha, by podpisywać ją bez zastanowienia.\nArgument bezpieczeństwa mówi, że klienci nie mogą pisać strefy z lokatorami. Argument operacyjny pyta, po co w ogóle piszą do DNS. W 2026 roku, dla floty, która zmienia adres pięć razy dziennie, „nie piszą” to całkiem dobra odpowiedź, i znacznie mniej roboty niż czynienie ich bałaganu bezpiecznym.\nPodzielone widoki i skąd bierze się zaufanie Ostatni element spina obie połowy wpisu.\nSą dwa widoki przestrzeni nazw. Strefa publiczna, opublikowana w internecie, z garstką nazw, których potrzebuje świat. I widok wewnętrzny: treść wywiedziona z AD, każdy host w domenie, każdy lokator usługi, topologia lokacji, czyli coś, czego świat nie ma prawa oglądać. Ta treść to mapa środowiska i powinna być z zewnątrz nieosiągalna i nie do przetransferowania.\nAle zaufanie dla widoku wewnętrznego przychodzi ze strony publicznej, i to czyni ten projekt lepszym od zwykłej wewnętrznej wyspy DNS:\nexample.com jest publiczna i podpisana, ze swoim DS u rodzica i łańcuchem do korzenia. ad.example.com jest z niej delegowana. Publiczny rodzic publikuje delegację i DS dla klucza strefy wewnętrznej. Wewnętrzne serwery autorytatywne serwują podpisaną ad.example.com. Wewnętrzne resolvery ją walidują (korzeń → com → example.com → ad.example.com), nie używając niczego poza kotwicą zaufania korzenia, którą już miały. Żadnej lokalnej kotwicy zaufania. Żadnej wyspy. Żadnego klucza rozdawanego ręcznie. Dane nigdy nie opuszczają budynku, a ścieżka walidacji jest zwykłą publiczną ścieżką. Gdy dodajesz resolver, waliduje nazwy wewnętrzne poprawnie bez żadnej konfiguracji DNSSEC.\nBądźmy uczciwi co do wymiany, bo jakaś jest. Opublikowanie delegacji i DS w strefie publicznej oznacza, że istnienie ad.example.com i nazwy jej serwerów nazw są publiczne. Zawartość nie jest i nigdy nie będzie, ale powiedziałeś światu, że strefa istnieje. W zamian każdy twój resolver waliduje nazwy wewnętrzne względem prawdziwego korzenia. Dla większości środowisk to dobra wymiana, i powinna być świadoma, a nie niespodzianką.\nDwie rzeczy, które trzeba przy tym zrobić dobrze:\nTrzymaj widok wewnętrzny niewyliczalny i nie do przetransferowania. allow-transfer na wewnętrznych serwerach autorytatywnych jest dla podpisującego i twoich własnych serwerów wtórnych, dla nikogo innego. I pamiętaj, że uwierzytelnione zaprzeczenie NSEC pozwala każdemu, kto może pytać strefę, przejść ją od końca do końca; NSEC3 podnosi ten koszt, ale prawdziwa kontrola polega na tym, że obcy w ogóle nie dosięgną serwerów. Zautomatyzuj DS. DS u rodzica, który przestaje pasować do klucza dziecka, wrzuca całą wewnętrzną domenę w SERVFAIL. CDS/CDNSKEY istnieją po to, żeby dziecko mogło zasygnalizować zmianę klucza, a rodzic ją podjąć bez człowieka edytującego rekord w trakcie wymiany. Jeśli strefa nadrzędna jest u rejestratora lub dostawcy, który to obsługuje, używaj tego; jeśli nie, procedurę wymiany trzeba spisać przed pierwszą wymianą, a nie w jej trakcie. Jak zmusić Windows i Linuksa do faktycznej walidacji Wszystko do tej pory dotyczyło publikowania strefy, którą da się zweryfikować. Nic z tego nie działa, dopóki coś po stronie klienta nie nalega na weryfikację. Idealnie podpisana strefa i klient, który nigdy nie sprawdza podpisu, dają dokładnie to samo doświadczenie co strefa niepodpisana, aż do dnia, w którym przestają.\nSą tylko dwa miejsca, gdzie walidacja może się odbyć, a różnica między nimi to różnica między kontrolą bezpieczeństwa a uprzejmą sugestią.\nWaliduj na resolverze i ufaj bitowi AD. Klient pyta resolver, resolver robi kryptografię i zgłasza wynik, ustawiając jeden bit w odpowiedzi: AD, authenticated data. Klient wierzy bitowi. To model, którego używa Windows, i jest tylko tak mocny jak droga między klientem a resolverem, bo wszystko, co potrafi odpowiedzieć jako resolver, potrafi ustawić ten bit.\nWaliduj na samym kliencie. Maszyna uruchamia własny walidujący resolver, więc „droga do resolvera” to gniazdo pętli zwrotnej wewnątrz maszyny i nie zostaje nic do podrobienia. To mocniejsze, a na Linuksie całkowicie wykonalne.\nDomyślnie nic Zanim cokolwiek skonfigurujesz, warto zobaczyć, co robi typowa linuksowa stacja robocza prosto z pudełka. To maszyna z Fedorą 44, systemd 259, nietknięta:\n$ resolvectl status | head -3 Global Protocols: LLMNR=resolve -mDNS -DNSOverTLS DNSSEC=no/unsupported resolv.conf mode: stub $ grep options /etc/resolv.conf options edns0 trust-ad $ dig +dnssec cloudflare.com A | grep flags ;; flags: qr rd ra; QUERY: 1, ANSWER: 3, AUTHORITY: 0, ADDITIONAL: 1 Przeczytaj te trzy razem, bo opowiadają małą historię.\nStub jest skonfigurowany z trust-ad: kazano mu wierzyć bitowi AD. systemd-resolved zgłasza DNSSEC=no/unsupported, więc sam niczego nie waliduje. A odpowiedź dla podpisanej strefy wraca z flagami qr rd ra i bez ad: nic na całej tej drodze nie twierdziło, że zwalidowało.\nTo nie błędna konfiguracja. To ustawienie domyślne. Klientowi można kazać ufać twierdzeniu, którego nic w łańcuchu nie wygłasza. Nikt tego nie sprawdza. Warto posiedzieć nad tym minutę, zanim skonfigurujesz cokolwiek innego.\nLinux Trzy opcje, w kolejności rosnącej tego, jak mało musisz ufać sieci.\n1. systemd-resolved, walidujący lokalnie. Plik drop-in zamiast edytowania dostarczonego pliku:\n# /etc/systemd/resolved.conf.d/dnssec.conf [Resolve] DNSSEC=yes DNSOverTLS=opportunistic Potem systemctl restart systemd-resolved i potwierdź przez resolvectl status, że linia brzmi teraz DNSSEC=yes.\nOstrożnie trzeba podejść do środkowego ustawienia. DNSSEC=allow-downgrade wygląda na rozsądny kompromis i nie jest kontrolą bezpieczeństwa; resolved.conf(5) sam to mówi:\nNote that this mode makes DNSSEC validation vulnerable to \u0026ldquo;downgrade\u0026rdquo; attacks, where an attacker might be able to trigger a downgrade to non-DNSSEC mode by synthesizing a DNS response that suggests DNSSEC was not supported.\nAtakujący, który potrafi fałszować odpowiedzi, to dokładnie ten atakujący, przed którym DNSSEC ma chronić, więc tryb, który może wyłączyć, fałszując odpowiedź, nic ci przeciw niemu nie daje. Albo yes, albo dekoracja.\n2. Prawdziwy walidujący resolver na hoście. Walidator systemd-resolved jest wygodny, a nie gruntowny. Tam, gdzie to ma znaczenie, uruchom Unbound albo BIND na pętli zwrotnej i skieruj na niego stub:\n# unbound: validate against the root anchor, refuse to be stripped server: module-config: \u0026#34;validator iterator\u0026#34; auto-trust-anchor-file: \u0026#34;/var/lib/unbound/root.key\u0026#34; harden-dnssec-stripped: yes val-permissive-mode: no # the internal zone is reached like any other name — no local anchor needed forward-zone: name: \u0026#34;ad.example.com.\u0026#34; forward-addr: 192.0.2.53 Odpowiednik w BIND to jedna linia, dnssec-validation auto;, która używa wbudowanej kopii kotwicy korzenia i sama zarządza jej wymianą.\n3. W całym środowisku, na resolverach, które już masz. To czwarty etap potoku z wcześniejszej części wpisu. Walidacja dzieje się tam, klienci ufają bitowi AD, a odcinek między nimi to rzecz, którą musisz chronić: przez DoT albo przez sieć, co do której gotów jesteś przyjąć takie założenie.\nI zauważ, czego nie ma w żadnej z tych konfiguracji: kotwicy zaufania dla strefy wewnętrznej. Ponieważ ad.example.com to delegacja wewnątrz publicznie podpisanej strefy, każda z nich waliduje nazwy wewnętrzne przez zwykły łańcuch od korzenia. To projekt z poprzedniej sekcji, który się spłaca. Alternatywą jest wypychanie lokalnej kotwicy do każdego klienta i resolvera w środowisku i wypychanie jej ponownie przy każdej wymianie.\nWindows Najpierw rzecz najważniejsza, bo regularnie się ją źle rozumie: klient DNS w Windows nie waliduje DNSSEC. Nie robi żadnej kryptografii, nie sprawdza żadnego podpisu i nie trzyma żadnej kotwicy zaufania. To resolver stub, i zawsze nim był.\nTo, co możesz zrobić, to zmusić go do odrzucania odpowiedzi, których nie zwalidował w jego imieniu serwer. To Name Resolution Policy Table, i działa per przestrzeń nazw, a nie globalnie:\n# Require validated answers for the internal zone Add-DnsClientNrptRule -Namespace \u0026#34;.ad.example.com\u0026#34; ` -DnsSecEnable -DnsSecValidationRequired # What is actually in force on this machine, including from Group Policy Get-DnsClientNrptPolicy -Effective Get-DnsClientNrptRule Dla całego środowiska to samo mieszka w Group Policy pod Computer Configuration → Policies → Windows Settings → Name Resolution Policy: utwórz regułę dla przestrzeni nazw, zaznacz opcję DNSSEC i zaznacz wymóg, by klient sprawdzał, że dane zwalidował serwer DNS.\nWynikają z tego dwie rzeczy, i obie mają znaczenie.\nCoś wyżej wciąż musi walidować. Reguła NRPT sprawia, że klient żąda bitu AD; nie tworzy go. Resolver, na który wskazują ci klienci, musi być walidujący, inaczej każda nazwa w tej przestrzeni zawiedzie.\nI dlatego reguła NRPT ma obok opcje IPsec. Microsoft umieścił je tam z powodu opisanego na początku tej sekcji: wymaganie bitu, który może ustawić każdy atakujący na ścieżce, to żadne wymaganie. Jeśli polegasz na modelu, w którym waliduje resolver, w niezaufanej sieci, ostatni odcinek trzeba chronić: IPsec między klientem a resolverem albo DoT tam, gdzie resolver go obsługuje.\nZawodzi w trybie zamkniętym, więc wdrażaj w tej kolejności Wymuszenie walidacji zamienia klasę cichych kompromitacji w klasę głośnych awarii. To właściwa wymiana, a i tak to awaria: wygasły RRSIG, DS u rodzica, który po wymianie już nie pasuje, albo resolver, który nie dosięga strefy nadrzędnej, dają SERVFAIL, a SERVFAIL dla _ldap._tcp.dc._msdcs oznacza, że domena leży, a nie działa gorzej.\nRób to więc w tej kolejności:\nNajpierw włącz walidację na resolverach, a klientów zostaw w spokoju. Obserwuj SERVFAIL w logach resolverów przez kilka tygodni: tu znajdziesz strefę, która od roku jest po cichu zepsuta. Zautomatyzuj DS, zanim cokolwiek wymusisz, zgodnie z poprzednią sekcją. Większość awarii DNSSEC zadanych sobie samemu to wymiana, przy której nigdy nie zaktualizowano rodzica. Potem wymuś to na klientach, jedna przestrzeń nazw naraz, zaczynając od własnej stacji roboczej i testowej OU, a nie od całego środowiska. Awaria, przed którą się zabezpieczasz, to klient, któremu podsunięto sfałszowany kontroler domeny. Awaria, którą ryzykujesz, to klient, któremu nie podsunięto niczego. Ta druga jest do odratowania i oczywista; pierwsza nie jest ani jednym, ani drugim. O awarii usłyszysz w ciągu minuty. O tamtej drugiej nie usłyszałbyś nigdy.\nSzyfrowanie ostatniego odcinka: DoT i DoH na wewnętrznych resolverach Sekcja o walidacji zostawiła jedną rzecz w zawieszeniu. W modelu, w którym waliduje resolver, czyli tym, który daje ci Windows, klient ufa jednemu bitowi ustawionemu przez resolver, a ten bit jest wart tyle, co droga, którą przebył. Coś musi tę drogę chronić.\nBIND obsługuje oba szyfrowane transporty natywnie, więc to robota konfiguracyjna, a nie zakupowa:\nDNS over TLS: blok tls wskazany z listen-on, zwyczajowo na porcie 853. DNS over HTTPS: ten sam blok tls plus blok http, na 443. Wychodzące DoT, bo forwarders przyjmuje transport TLS dla każdego adresu albo dla całej listy. Transfery stref po TLS, bo instrukcja primaries strefy type secondary też go przyjmuje, co jest bezpośrednio przydatne dla potoku z wcześniejszej części wpisu. Najpierw jasno, co to kupuje, bo DoT i DNSSEC myli się nieustannie, a to nie są alternatywy. DNSSEC uwierzytelnia dane, aż do strefy, która je opublikowała. DoT chroni rozmowę z resolverem. Jedno przetrwa wrogi resolver i wrogą sieć między resolverami; drugie powstrzymuje maszynę w twoim wifi przed czytaniem i przepisywaniem tego, o co pytał twój laptop. Chcesz obu, i żadne nie zastępuje drugiego. Szyfrowanie odcinka do resolvera, który nie waliduje, to prywatna rozmowa z czymś, co wciąż można okłamać.\nSerwowanie tls internal-resolver { key-file \u0026#34;/etc/pki/dns/resolver.key\u0026#34;; cert-file \u0026#34;/etc/pki/dns/resolver.pem\u0026#34;; protocols { TLSv1.3; }; }; http internal-doh { endpoints { \u0026#34;/dns-query\u0026#34;; }; }; options { dnssec-validation auto; listen-on port 53 { 192.0.2.53; }; listen-on port 853 tls internal-resolver { 192.0.2.53; }; listen-on port 443 tls internal-resolver http internal-doh { 192.0.2.53; }; listen-on-v6 port 853 tls internal-resolver { 2001:db8::53; }; }; Certyfikat to właściwa robota, i to ta część, którą się pomija. Klient, który weryfikuje, a o to w całości chodzi, potrzebuje certyfikatu ważnego dla nazwy, z którą go skonfigurowano, wystawionego przez coś, czemu już ufa. To oznacza twoje wewnętrzne CA i twoją istniejącą automatyzację certyfikatów, a nie słowo kluczowe ephemeral. ephemeral generuje jednorazowy certyfikat z podpisem własnym; jest po to, żebyś mógł udowodnić, że nasłuch działa, i jest bezwartościowy dla każdego klienta, który naprawdę sprawdza.\nPrzekazywanie przez niego Jeśli te resolvery przekazują gdzieś zapytania, zamiast same schodzić po drzewie, odcinek w górę też można zaszyfrować, a jest tu rozróżnienie, które warto mieć dobrze:\ntls upstream { ca-file \u0026#34;/etc/pki/tls/certs/ca-bundle.crt\u0026#34;; remote-hostname \u0026#34;dns.example.net\u0026#34;; }; options { forwarders port 853 tls upstream { 192.0.2.1; }; }; Bez remote-hostname dostajesz szyfrowanie bez uwierzytelnienia: ruch jest nieczytelny dla pasywnego obserwatora, a aktywny atakujący, który potrafi przechwycić połączenie, po prostu przedstawia własny certyfikat. Z remote-hostname i ca-file BIND sprawdza, z kim rozmawia. Pierwsze jest coś warte. Tylko drugie warto nazwać kontrolą.\nPołowa po stronie klienta nie jest symetryczna Tu mieszane środowisko robi się niezręczne, i to jest powód, żeby skonfigurować oba transporty, zamiast wybierać jeden.\nLinux robi DoT porządnie. systemd-resolved przyjmuje DNSOverTLS=yes dla trybu ścisłego, a serwerowi można podać nazwę, względem której ma być weryfikowany:\n[Resolve] DNS=192.0.2.53#resolver.ad.example.com DNSOverTLS=yes DNSSEC=yes Tak jak przy DNSSEC=, pułapką jest środkowe ustawienie: DNSOverTLS=opportunistic wraca do otwartego tekstu, gdy TLS jest niedostępny, a atakujący, który może ingerować w połączenie, potrafi to zaaranżować.\nWindows robi DoH, a nie DoT. Obsługa DoH po stronie klienta pojawiła się w Windows 11 i Server 2022, konfigurowana per serwer z szablonem:\n$doh = \u0026#34;https://resolver.ad.example.com/dns-query\u0026#34; netsh dnsclient add encryption server=192.0.2.53 dohtemplate=$doh DoT w chwili pisania pojawił się tylko w kompilacjach Insider. W wydanych wersjach Windows szyfrowaną opcją jest więc DoH albo nic, i właśnie dlatego sekcja o NRPT sięgnęła wcześniej po IPsec.\nStąd serwowanie obu z tej samej instancji BIND. DoT dla floty linuksowej i wszystkiego innego, co go mówi, DoH dla Windows, jeden resolver, jeden certyfikat.\nKtóry i gdzie Dla wewnętrznego resolvera DoT jest lepszym transportem, a DoH odpowiedzią na zgodność.\nDoT siedzi na własnym porcie. Możesz go zobaczyć, dopuścić, zablokować i alarmować o wszystkim, co robi DNS, a nie robi tego przez niego. Przewaga DoH, czyli nieodróżnialność od zwykłego ruchu WWW na 443, to prawdziwa korzyść we wrogiej sieci i utrapienie we własnej, gdzie możliwość odróżnienia, co jest DNS-em, to funkcja, za którą zapłaciłeś. W środowisku, które kontrolujesz, wybieraj transport, który możesz obserwować, a DoH uruchamiaj, bo Windows nie zostawia ci wyboru, a nie dlatego, że jest lepszy.\nSkoro już tam jesteś: szyfruj transfery Potok z wcześniejszej części wpisu przenosi strefę AD przez AXFR, a sekcja o podzielonych widokach podkreśliła, że jej zawartość to mapa środowiska. TSIG uwierzytelnia te transfery; nie ukrywa ich. Skoro instrukcja primaries serwera wtórnego przyjmuje konfigurację TLS, transfer też może iść po TLS, RFC 9103, jeśli chcesz standardu:\nzone \u0026#34;ad.example.com\u0026#34; { type secondary; primaries { 192.0.2.10 port 853 tls xfr-tls key transfer-to-signer; }; ... }; Uwierzytelnione kluczem, zaszyfrowane transportem. Jeśli którykolwiek odcinek tego potoku przechodzi przez łącze między lokacjami, hiperwizor, który z kimś dzielisz, albo cokolwiek, na co nie postawiłbyś chętnie huba, jest wart tych dwudziestu minut.\nCzego to nie naprawia To nie jest walidacja. Omówione wyżej, i warto powtórzyć, bo dostawcy sprzedają „bezpieczny DNS”, mając na myśli samo szyfrowanie. Niczego nie ukrywa przed resolverem. Resolver widzi każde zapytanie w całości. Szyfrowanie chroni drogę, a nie prywatność wyszukania przed operatorem, co jest w porządku, gdy operatorem jesteś ty. Nie robi nic dla klienta, który nie weryfikuje certyfikatu, a tryby oportunistyczne da się obniżyć właśnie przez tego atakującego, którego się obawiasz. I nie jest powodem, żeby stawiać nasłuch na kontrolerze domeny. Szyfrowany DNS na DC pięknie rozwiązywałby zły problem. DC dalej nie odpowiada nikomu. Jak sprawdzić, co masz Polecenia do uruchomienia na własnym środowisku. Ciekawe są wyniki, a kilka z nich za pierwszym razem czyta się zwykle niewygodnie.\n# Walk the tree yourself, one delegation at a time dig +trace dc01.ad.example.com # Validate, and show the chain being built delv +rtrace +vtrace ad.example.com SOA # Is the resolver you are pointed at actually validating? # A deliberately broken test name must come back SERVFAIL, not an address dig @\u0026lt;resolver\u0026gt; dnssec-failed.org A # What does the estate advertise as a domain controller? dig SRV _ldap._tcp.dc._msdcs.\u0026lt;domain\u0026gt; dig SRV _kerberos._udp.\u0026lt;domain\u0026gt; # Is a DC answering for names it has no business answering? # Ask it for something it is not authoritative for. \u0026#34;recursion requested # but not available\u0026#34; is the answer you want. An actual address means it is # serving the estate — recursing if it is BIND, relaying to the forwarder # if it is SAMBA_INTERNAL. Either way it should not be doing that. dig @\u0026lt;dc\u0026gt; www.example.org A # Is the DC configured as the estate\u0026#39;s DNS relay? grep -E \u0026#39;dns forwarder|server services\u0026#39; /etc/samba/smb.conf # Will a DC hand its zone to anybody who asks? dig @\u0026lt;dc\u0026gt; AXFR ad.example.com # Which backend is this DC running, and does named have the module? grep -r dlz /etc/named.conf /var/lib/samba/bind-dns/ 2\u0026gt;/dev/null samba-tool dns query \u0026lt;dc\u0026gt; \u0026lt;domain\u0026gt; @ ALL # Is the internal zone chained to the public parent? dig DS ad.example.com @\u0026lt;public-authoritative-for-example.com\u0026gt; # What does the local stub actually do with the AD bit, and is the # hop to the resolver encrypted? resolvectl status # DNSSEC= and DNSOverTLS= per link grep options /etc/resolv.conf # trust-ad, trusting whom exactly? # Did anything in the path claim to have validated? Look for \u0026#34;ad\u0026#34; in the flags dig +dnssec ad.example.com SOA | grep flags # Validate independently of whatever the local resolver believes delv ad.example.com SOA # \u0026#34;fully validated\u0026#34; is the line you want # Is the resolver actually listening for DoT, and does its certificate # match the name clients are configured with? kdig +tls @192.0.2.53 ad.example.com SOA openssl s_client -connect 192.0.2.53:853 \\ -servername resolver.ad.example.com \u0026lt;/dev/null 2\u0026gt;/dev/null \\ | openssl x509 -noout -subject -dates A na kliencie Windows, żeby zobaczyć, czy w ogóle czegoś żąda:\nGet-DnsClientNrptPolicy -Effective # the rules actually in force Resolve-DnsName ad.example.com -DnssecOk Get-DnsClientDohServerAddress # is the hop to the resolver encrypted? Dwa, które najczęściej przynoszą niespodziankę, to sprawdzenie rekursji i próba AXFR. Jeśli DC odpowie na którekolwiek z nich dowolnemu klientowi, potoku z tego wpisu nie ma, cokolwiek mówi diagram na wiki.\nTrzecie to resolvectl status na maszynie, której nikt nie ruszał. DNSSEC=no/unsupported obok trust-ad w resolv.conf to normalny stan linuksowego desktopu, i oznacza, że opisaną wyżej pracę nad podpisywaniem obecnie nikt nie sprawdza.\nKrótka wersja Resolver rodzi się, znając serwery główne i jeden klucz, a wszystkiego innego uczy się z tego, co mu powiedzą. Nazwy znajduje się, schodząc po delegacjach, a usługi, pytając o rekord SRV, więc zanim klient zacznie robić Kerberosa z kontrolerem domeny, tożsamość tego kontrolera przyszła z odpowiedzi DNS. Odkrywanie przez DNS jest poprawne i w porządku. Autoryzacja przez DNS nie jest, a zaskakująco dużo infrastruktury i tak po cichu ją stosuje.\nDNSSEC sprawia, że te odpowiedzi da się zweryfikować: podpisy na każdym zbiorze, DS u każdego rodzica, łańcuch do jednej kotwicy zaufania w korzeniu i uwierzytelnione zaprzeczenie, żeby nazwy nie dało się sprawić, by zniknęła. Kupuje uwierzytelnienie pochodzenia i integralność, nie prywatność i nie poprawność. Podpisuje to, co mówi strefa, i dlatego nie uratuje strefy, którą mogą pisać niezaufane maszyny. I potrzebuje rodzica: wymyślona wewnętrzna TLD nie ma gdzie umieścić DS, więc .local, .lan, .internal i home.arpa zostawiają cię albo bez podpisu, albo z prywatną wyspą ręcznie rozdawanych kluczy.\nDla domeny Active Directory daje to projekt, a nie listę ustawień. Użyj delegacji wewnątrz publicznej strefy, którą masz, żeby zaufanie schodziło zwykłym łańcuchem od korzenia, a dane nigdy nie wychodziły. Serwuj partycje AD przez BIND i dlz_bind9 (DLZ to nie ryzyko, to sposób na wydobycie strefy z katalogu) i niech DC będzie ukrytym serwerem głównym, który oddaje transferem i nikomu innemu nie odpowiada. Strefy DLZ nie da się samej podpisać, więc podpisywanie to zwykła strefa wtórna z przetransferowaną kopią, z inline-signing i dnssec-policy: drugi named na DC, jeśli chcesz mniej maszyn, osobny host, jeśli chcesz kluczy prywatnych z dala od katalogu. Tak czy inaczej podpisuje się raz, w określonym miejscu, pod polityką kluczy, a pierwszy skok to odpytywanie, a nie wypychanie, bo DLZ nie umie wysłać notify. Publikuj z samodzielnych serwerów autorytatywnych, które nie trzymają kluczy i nie mają trasy do katalogu.\nI trzymaj klientów z dala od strefy, która się liczy. Bezpieczna aktualizacja dynamiczna uwierzytelnia piszącego, a nie znaczenie, a w domyślnej strefie zintegrowanej z AD piszącymi są Authenticated Users, czyli każde konto, nie tylko każda maszyna, więc strefa trzymająca zarówno rekordy laptopów, jak i lokatory _msdcs jest o jednego zphishowanego użytkownika od klienta, któremu z całkowicie poprawnym podpisem powiedziano, że kontroler domeny jest gdzie indziej. Rejestracje klientów należą do podstrefy, delegowanej na zewnątrz albo osobnej w Sambie, gdzie najgorsze, co może zrobić przejęte konto, to skłamać o samym sobie.\nChoć lepsze pytanie brzmi, czy klienci w ogóle powinni się rejestrować. Laptop z 2026 roku ma adres w domowym wifi, drugi w biurowej sieci bezprzewodowej, trzeci przez stację dokującą i czwarty na VPN, i ochoczo opublikuje większość z nich. Z rekordu A laptopa nie korzysta prawie nic: narzędzia, które muszą dotrzeć do stacji roboczej, prowadzą własną inwentaryzację, bo DNS i tak nigdy nie był wiarygodny dla klientów mobilnych. Rekordy serwerów powinny pochodzić z provisioningu, a flota nie powinna rejestrować niczego.\nPotem niech coś sprawdza podpisy, bo nic z powyższego nie jest nic warte, dopóki klient nie odrzuci odpowiedzi. Na Linuksie to DNSSEC=yes w systemd-resolved albo prawdziwy walidujący resolver na pętli zwrotnej, nigdy allow-downgrade, który atakujący zdolny do fałszowania odpowiedzi może po prostu wyłączyć, fałszując odpowiedź. Na Windows to przyjęcie do wiadomości, że klient DNS sam niczego nigdy nie waliduje, i użycie reguły NRPT, żeby wymagał odpowiedzi zwalidowanej przez resolver, z chronionym ostatnim odcinkiem, bo to wymaganie to jeden bit. Włącz to najpierw na resolverach i obserwuj SERVFAIL, zautomatyzuj DS, potem wymuś na klientach. Zawodzi w trybie zamkniętym, co jest właściwą stroną, a i tak oznacza awarię.\nNic z tego nie jest egzotyczne. To delegacja, transfer i podpisywanie, trzy rzeczy, które DNS robił zawsze, ułożone tak, żeby maszyna trzymająca twój katalog nie była maszyną przyjmującą pytania z parkingu, i żeby klient zauważył, kiedy coś go jednak okłamie.\n","permalink":"https://blogs.damiendye.uk/pl/dns/samba4-securing-ad-records-with-dnssec/","summary":"Każda maszyna dołączona do domeny znajduje swój kontroler domeny, pytając DNS o rekord SRV, więc lokatory _msdcs to rekordy najbardziej krytyczne dla bezpieczeństwa, jakie masz. Oto jak porządnie publikować i podpisywać je z DC Samba4: BIND z dlz_bind9 czytający katalog, inline signing, ukryty serwer główny, do którego klienci nigdy nie docierają, i dynamiczne aktualizacje klientów trzymane z dala od strefy z lokatorami. Potem jak zmusić klientów Windows i Linuksa, żeby naprawdę sprawdzali podpisy, bo podpisana strefa, której nikt nie waliduje, zachowuje się dokładnie jak niepodpisana.","title":"Samba4 i zabezpieczanie rekordów AD przez DNSSEC"},{"content":"Zatoka, która przyjmie wszystko Argument sprzedażowy za adapterem tri-mode jest naprawdę dobry i warto go porządnie wyłożyć, zanim się go rozbierze.\nKup obudowę z backplane\u0026rsquo;em U.3 i kontrolerem tri-mode, a każda zatoka na dysk staje się uniwersalna. Slot 0 może trzymać dysk SAS 24G, slot 1 tani dysk startowy SATA, slot 2 SSD NVMe Gen4, a adapter dogaduje się z tym, co się pojawi. Broadcom nazywa ten krzem Tri-Mode SerDes; standard zatoki to SFF-TA-1001, znany jako U.3, który definiuje wspólne złącze dla SAS x1/x2, SATA i NVMe na x1, x2 albo x4. Stronę zarządzania obsługuje SFF-TA-1005, Universal Backplane Management, dzięki któremu obudowa ustala, z czym naprawdę rozmawia, i steruje właściwymi diodami aktywności.\nDla każdego, kto specyfikuje serwery, to rozwiązuje prawdziwy i irytujący problem. Nie musisz już wybierać protokołu pamięci masowej w chwili składania zamówienia, trzymać dwóch SKU obudowy ani odkrywać, że zatoki obsługujące NVMe to te cztery po lewej, a twoje dyski poszły do pozostałych dwudziestu. Jeden numer części obsługuje całą flotę, a środowisko SAS może przechodzić na NVMe dysk po dysku zamiast obudowa po obudowie.\nNic z tego nie jest marketingiem. To powód, dla którego te adaptery się sprzedają, i głupio byłoby udawać, że jest inaczej.\nAle elastyczność nie jest za darmo, a rachunku nie płaci się w funtach. Płaci się go kolejkami.\nCo naprawdę dzieje się z dyskiem SSD NVMe to punkt końcowy PCIe. W serwerze z dyskami podłączonymi bezpośrednio jego cztery linie biegną do root complexu procesora, przez retimer albo przełącznik PCIe, ale elektrycznie i logicznie to urządzenie na szynie PCIe. Jądro je enumeruje, podpina sterownik nvme i od tej chwili sterownik rozmawia bezpośrednio z rejestrami dysku.\nPostaw ten sam dysk za adapterem tri-mode i to przestaje być prawdą.\nLinie dysku kończą się teraz na kontrolerze. Dokumentacja Broadcomu nazywa odpowiedni blok PCIe device bridge i słowo bridge, czyli most, robi tu dużo roboty: to nie jest przezroczysty przełącznik, który przekazuje transakcje twojego procesora do dysku, który ten procesor nadal widzi. Adapter jest punktem końcowym PCIe, który enumeruje twój host. Dysk jest targetem wiszącym po jego drugiej stronie, a firmware kontrolera od nowa generuje każde I/O.\nNVMe podłączone bezpośrednio wobec tych samych dysków za adapterem tri-mode Bezpośrednio Za adapterem tri-mode root complex CPU root complex CPU x4 x4 x4 x4 cztery niezależne łącza około 7 GB/s każde, równolegle x8 Gen4 wszystko niżej dzieli to łącze Kontroler tri-mode jedyny punkt końcowy PCIe widziany przez hosta NVMe NVMe NVMe NVMe nvme0n1 nvme1n1 nvme2n1 nvme3n1 NVMe NVMe NVMe NVMe sda sdb sdc sdd sterownik nvme para kolejek na rdzeń CPU, na dysk przepustowość rośnie z dyskami sterownik mpt3sas: dyski to targety SCSI głębokość 128 na dysk, jedna pula tagów przepustowość kończy się na adapterze Te same cztery dyski, podłączone na dwa sposoby. Po lewej każdy dysk ma własne cztery linie do root complexu. Po prawej linie kończą się na adapterze, a wszystko za nim dzieli jeden uplink x8 i jeden kontroler. Adapter nie przepuszcza więc twoich poleceń NVMe. Kończy je i rozmawia z dyskiem w twoim imieniu.\nCo rodzi pytanie, jakim protokołem rozmawia z tobą.\nSystem nigdy nie widzi dysku NVMe Rozmawia SCSI.\nPodłącz SSD NVMe do HBA tri-mode Broadcomu, a nie pojawi się jako /dev/nvme0n1. Pojawi się jako /dev/sdb, podpięty do mpt3sas, tego samego sterownika, który od ponad dekady obsługuje kontrolery SAS LSI. nvme list nic nie zwraca. lsblk -o NAME,TRAN raportuje transport jako sas. Dla każdej warstwy stosu pamięci masowej nad sterownikiem kupiłeś dysk SAS.\nTo nie błąd ani ograniczenie firmware\u0026rsquo;u czekające na poprawkę. Tak to zaprojektowano. Wystawianie wszystkiego jako targetu SCSI to właśnie sposób, w jaki jeden adapter obsługuje trzy protokoły: kontroler sprowadza SAS, SATA i NVMe do jednego modelu urządzenia, a host dostaje jeden sterownik, jedną ścieżkę enumeracji, jeden zestaw narzędzi. Elastyczność z marketingu i prezentacja SCSI w dmesg to ta sama decyzja architektoniczna oglądana z dwóch końców.\nGeneracje 9500 i 9600 dodają mechanizm passthrough, żeby narzędzia producenta mogły dosięgnąć poleceń administracyjnych NVMe dysku, a nowsze układy Broadcomu dużo lepiej wystawiają stan dysku niż 9400. Ale to boczny kanał zarządzania. Ścieżka danych, czyli każdy odczyt i zapis, które wydaje twoje obciążenie, nadal biegnie w dół stosu SCSI.\nA stos SCSI ma model kolejek starszy od flasha o dwadzieścia lat.\nModel kolejek, z którego właśnie zrezygnowałeś To ta część, która naprawdę kosztuje cię wydajność, i warto być w niej precyzyjnym, bo „NVMe jest szybsze od SAS” nie jest powodem.\nCentralna decyzja projektowa NVMe nie dotyczyła szybszego przewodu. Polegała na tym, żeby przestać udawać, że urządzenie pamięci masowej to jedna serializowana rzecz.\nSpecyfikacja dopuszcza do 65 535 par kolejek I/O i ta liczba pada w każdym objaśnieniu NVMe, jakie istnieje. To zła liczba, po którą się sięga. Żaden dysk nie implementuje niczego bliskiego, więc każdy, kto naprawdę spojrzał na działający system, może machnąć ręką na to porównanie, i miałby rację. Prawdziwa liczba jest mniejsza, nieefektowna i lepiej pokazuje, o co chodzi.\nOto więc prawdziwy dysk. Nie część klasy enterprise: SSD OEM SK Hynix 256 GB, taki, jaki wlutowuje się w laptopa ze średniej półki, w maszynie z 16 rdzeniami.\n$ nproc 16 $ cat /sys/class/nvme/nvme0/queue_count 17 $ ls /sys/block/nvme0n1/mq | wc -l 16 $ cat /sys/block/nvme0n1/queue/nr_requests 1023 Siedemnaście kolejek: jedna kolejka administracyjna i szesnaście kolejek I/O dla szesnastu rdzeni. Każda głęboka na 1023 polecenia. Odwzorowanie jest jeden do jednego: każda kolejka sprzętowa jest przypisana do dokładnie jednego procesora:\n$ cd /sys/block/nvme0n1/mq \u0026amp;\u0026amp; grep -H . */cpu_list 0/cpu_list:1 1/cpu_list:9 2/cpu_list:3 3/cpu_list:11 ... Jeden procesor na kolejkę, do samego końca: kolejka sprzętowa 0 obsługuje rdzeń 1 i nic więcej.\nTak w praktyce wygląda „NVMe ma mnóstwo kolejek”. Nie 65 535, tylko jedna na rdzeń, ile by tych rdzeni nie było. Linux tworzy parę kolejek na każdy procesor, aż do tego, ile przyzna kontroler, a kontrolery przyznają dużo więcej, niż typowy serwer ma rdzeni, więc w praktyce liczba rdzeni jest tą liczbą. Wsadź ten dysk do maszyny z 64 rdzeniami, a dostaniesz 64.\nZ tego podziału na rdzenie bierze się wydajność:\nRdzeń wrzuca polecenia do własnej kolejki. Bez blokady, bo żaden inny rdzeń jej nie dotyka. Każda kolejka dostaje własny wektor MSI-X, przypisany do tego rdzenia. Przerwanie zakończenia ląduje z powrotem na rdzeniu, który wydał I/O, tam gdzie już są potrzebne linie cache. Wszystkie szesnaście rdzeni może mieć operacje w locie naraz, nigdy nie walcząc o wspólną strukturę. Równoległość rośnie z liczbą rdzeni, a praca żadnego rdzenia nigdy nie czeka w kolejce za pracą innego. Tani dysk konsumencki to robi. To absolutne minimum.\nTeraz spójrz, co dysk dostaje za adapterem. Liczby poniżej to nie szacunki, tylko stałe w mainline\u0026rsquo;owym sterowniku mpt3sas.\nGłębokość kolejki na urządzenie ustawiana jest z ioc-\u0026gt;max_nvme_qd, którą sterownik bierze z tego, co raportuje firmware kontrolera, a w przeciwnym razie wraca do domyślnej wartości z czasu kompilacji w drivers/scsi/mpt3sas/mpt3sas_base.h:\n#define MPT3SAS_SATA_QUEUE_DEPTH\t32 #define MPT3SAS_SAS_QUEUE_DEPTH\t254 #define MPT3SAS_RAID_QUEUE_DEPTH\t128 #define MPT3SAS_NVME_QUEUE_DEPTH\t128 128. Urządzenie zdolne do dziesiątek tysięcy oczekujących poleceń dostaje głębokość kolejki 128, a zauważ, że jest ona płytsza niż domyślne 254 dla SAS, dwie linijki wyżej. Możliwości samego dysku w ogóle nie wchodzą w tę decyzję. Liczba pochodzi od kontrolera.\nZ liczbą kolejek sprzętowych jest gorzej, a sterownik mówi o tym otwarcie. Z mpt3sas_scsih.c:\nshost-\u0026gt;nr_hw_queues = 1; if (shost-\u0026gt;host_tagset) { shost-\u0026gt;nr_hw_queues = ioc-\u0026gt;reply_queue_count - ioc-\u0026gt;high_iops_queues; ... dev_info(\u0026amp;ioc-\u0026gt;pdev-\u0026gt;dev, \u0026#34;Max SCSIIO MPT commands: %d shared with nr_hw_queues = %d\\n\u0026#34;, shost-\u0026gt;can_queue, shost-\u0026gt;nr_hw_queues); } Przeczytaj to uważnie, bo dzieją się tu trzy osobne rzeczy.\nDomyślnie jest jedna kolejka sprzętowa. nr_hw_queues = 1. Wielokolejkowość pojawia się tylko na kontrolerach gen35 z włączoną funkcją host_tagset i nawet wtedy to, jak opisuje to historia commitów samego sterownika, symulowane wiele kolejek sprzętowych: sprzęt kontrolera I/O ma jedną kolejkę zgłoszeń z wieloma kolejkami odpowiedzi, a blk-mq jest nakładane na wierzch.\nLiczba kolejek pochodzi od kontrolera, nie od liczby rdzeni. To reply_queue_count minus kolejki high-IOPS, czyli przydział wektorów MSI-X adaptera. Nie ma nic wspólnego z tym, ile masz procesorów, i nie rośnie, kiedy dokładasz dyski. To dokładne odwrócenie dysku powyżej, gdzie liczba kolejek była liczbą rdzeni.\nA pula tagów jest wspólna. host_tagset znaczy dokładnie to, co mówi: jedna pula tagów dla całego adaptera hosta, a ta linia w logu mówi „shared” na głos. Każdy dysk na karcie bierze z tego samego zestawu slotów na polecenia. Obudowa z dwudziestoma czterema zatokami ma dwadzieścia cztery dyski walczące o tagi jednego kontrolera.\nPostaw je obok siebie. Tamten SSD z laptopa miał szesnaście prywatnych kolejek po 1023, jedną na rdzeń, odpowiadających tylko przed sobą. Ten sam dysk za adapterem dostaje udział w kolejkach odpowiedzi karty, 128 oczekujących poleceń i dwudziestu trzech sąsiadów ciągnących z tej samej puli.\nPary kolejek NVMe na rdzeń wobec jednej wspólnej puli tagów adaptera Kolejek przybywa z rdzeniami Dyski dzielą jedną pulę rdzeń 0 rdzeń 1 rdzeń 2 rdzeń 3 SQ + CQ SQ + CQ SQ + CQ SQ + CQ głęb. 1023 głęb. 1023 głęb. 1023 głęb. 1023 SSD NVMe /dev/nvme0n1 jedna para zgłoszeń i zakończeń na rdzeń własny wektor MSI-X, zakończenia na tym rdzeniu bez blokad, bez walki między rdzeniami rdzeń 0 rdzeń 1 rdzeń 2 rdzeń 3 Kontroler tri-mode kolejki odpowiedzi biorą się z wektorów MSI-X karty, a nie z liczby twoich rdzeni jedna wspólna pula tagów dla każdego dysku sda sdb sdc sdd qd 128 qd 128 qd 128 qd 128 i 20 kolejnych zatok z tej samej puli. 128 oczekujących na urządzenie, cokolwiek umie dysk dokładanie dysków dzieli stały zasób Po lewej: jedna para kolejek na rdzeń, prywatna i głęboka na 1023, z przerwaniem zakończenia wracającym na rdzeń, który zgłosił I/O, zmierzone na dysku powyżej. Po prawej: każdy rdzeń wpuszczony lejkiem w kolejki odpowiedzi kontrolera, ciągnący z jednej wspólnej puli tagów, a każdy dysk ograniczony do 128. Strata nie polega więc na tym, że SCSI jest wolne. Nowoczesne SCSI na blk-mq jest w porządku. Strata jest strukturalna:\nKolejki należą do adaptera, nie do dysku. Dokładanie dysków dzieli stały zasób, zamiast go powiększać. Pula tagów jest wspólna dla całego hosta. Jeden mocno obciążony dysk może zagłodzić pozostałe w sposób, który po prostu nie może się zdarzyć, kiedy każdy dysk ma własne kolejki. Głębokość na urządzenie jest ograniczona do 128, niezależnie od tego, co dysk jest w stanie utrzymać. Lokalność przerwań jest osłabiona. Zakończenia przychodzą na tę kolejkę odpowiedzi, której użył kontroler, niekoniecznie na rdzeń, który zgłosił I/O. Przy głębokości kolejki 1 albo 2, czyli jednowątkowym procesie robiącym od czasu do czasu odczyty, nic z tego nie jest odczuwalne. Zmierzysz to samo opóźnienie w obu przypadkach, w granicach szumu. Kara pojawia się dokładnie tam, gdzie kupiłeś NVMe, żeby pomogło: wiele rdzeni wydających wiele współbieżnych I/O. Im głębsze obciążenie, tym więcej dysku, za który zapłaciłeś, pozostaje poza twoim zasięgiem.\nUplink to jeden slot x8 Model kolejek to subtelny problem. Sufit przepustowości to ten oczywisty i można go odczytać z własnych kart produktowych Broadcomu bez żadnego benchmarku.\nHBA serii 9500 to karta x8 PCIe Gen 4.0. Opublikowane przez Broadcom wartości to 13 700 MB/s przy sekwencyjnym odczycie 256K i 3M IOPS przy losowym odczycie 4K. Ta sama karta mówi, że obsługuje do 32 urządzeń NVMe.\nPostaw te dwie liczby obok siebie, a pytanie odpowiada samo: ilu dysków trzeba, żeby skończył się adapter?\nNiewielu i z roku na rok coraz mniej. SSD Gen4 x4 robi mniej więcej 7 GB/s. SSD Gen5 x4 robi mniej więcej 14. Oba to zwyczajne części w 2026 roku: Gen4 to to, czego pełen jest rynek używanych U.2, a Gen5 to to, co dostajesz, kupując nowe.\nSufit Dysków Gen4, żeby go osiągnąć Dysków Gen5, żeby go osiągnąć HBA 9500: 13 700 MB/s sekwencyjnie 2 1 HBA 9500: 3M IOPS (4K RR) 3 1–2 eHBA 9600: 6,4M IOPS (4K RR) ~6 ~3 MegaRAID 9600: 1,1M IOPS w RAID 5 (4K RW) ~1 ~1 Przeczytaj jeszcze raz górny wiersz. Jeden SSD Gen5 osiąga cały sekwencyjny sufit HBA 9500. Jeden dysk, w karcie przewidzianej na trzydzieści dwa. Wszystko potem to pojemność. Nie wydajność.\nA dolny wiersz to ten, który powinien zatrzymać zamówienie: na MegaRAID obecnej generacji pełna półka NVMe w RAID 5 daje mniej więcej tyle, ile jeden zwykły dysk sam z siebie.\nDyski nawet nie łączą się na x4 Pod wspólnym uplinkiem jest drugi dławik, łatwy do przeoczenia, bo siedzi w tabeli specyfikacji, a nie w nagłówku.\nPERC 12 User\u0026rsquo;s Guide Della, obejmujący kontrolery tri-mode H965i, mówi:\nSupports drive speeds for NVMe drives are 8 GT/s (Gen 3) and 16 GT/s (Gen 4) at maximum x2 lane width.\nKażdy dysk NVMe dostaje dwie linie, nie cztery. Zanim więc dojdzie do jakiejkolwiek walki o uplink, zanim dojdzie do puli tagów, zanim dojdzie do tłumaczenia na SCSI, dysk Gen4 jest już zredukowany do około 3,5 GB/s, czyli połowy tego, co potrafi. Włóż do tej zatoki dysk Gen5, a zestawi łącze Gen4 x2 i da mniej więcej ćwierć swojej znamionowej przepustowości.\nWarto być precyzyjnym co do tego, co to zmienia, a czego nie. Nie znaczy to, że adapter starcza na dłużej. Do zapełnienia uplinku 9500 potrzeba około czterech dysków ograniczonych do x2 zamiast dwóch, ale tylko dlatego, że każdy dysk wnosi połowę. Wąskie gardło przesunęło się z uplinku na łącze dysku. Suma, którą da się wycisnąć, się nie poprawiła.\nPodłączone bezpośrednio, te same trzydzieści dwa dyski miałyby każdy własną ścieżkę x4 do root complexu, w takiej generacji, jaką wynegocjują dysk i procesor.\nWiersz RAID 5 w tamtej tabeli zasługuje na osobne spojrzenie, bo to własna liczba Broadcomu, opublikowana bez upiększeń. Z karty serii 9600:\n900K to 1.1M RAID 5 IOPS (4K RW)\nRAID z parzystością w firmware\u0026rsquo;ze kontrolera to najdroższa rzecz, o jaką możesz poprosić kartę tri-mode, a to obecna generacja, która to robi. Warto to przeczytać, zanim ktoś wyspecyfikuje RAID 5 na dwudziestu czterech dyskach NVMe i będzie oczekiwał wydajności dwudziestu czterech dysków.\nLiczba dysków wobec dwóch sufitów tri-mode: karta x8 Gen4 i karta x16 Gen5 0 15 30 45 60 75 90 sumarycznie GB/s 1 2 3 4 5 6 dyski NVMe Gen5 bezpośrednio: około 14 GB/s każdy Gen4 bezpośrednio: około 7 GB/s każdy poza zasięgiem obu kart PERC13, Gen5 x16: 52,5 GB/s zmierzone HBA 9500, Gen4 x8: 13,7 GB/s 2 dyski Gen4 osiągają 9500, 4 dyski Gen5 osiągają nawet PERC13 Dane producenta i recenzji, nie mierzone tutaj. 9500 jest przewidziany na 32 urządzenia NVMe, PERC13 na 16. Obie karty dodatkowo łączą każdy dysk na x2, czego te linie bezpośrednie nie robią. Ilu dysków trzeba, żeby skończył się adapter, wobec dwóch sufitów. Dwa dyski Gen4 osiągają HBA 9500; cztery dyski Gen5 osiągają nawet PERC13. Karty są przewidziane odpowiednio na trzydzieści dwa i szesnaście urządzeń. A co z kartą x16? Oczywisty zarzut wobec wszystkiego powyżej: 9500 to karta x8 Gen4, a sufit jest artefaktem wąskiego łącza do hosta. Daj adapterowi szesnaście linii Gen5, a problem zniknie.\nTo uczciwy zarzut i należy mu się najmocniejszy przykład, a nie chochoł. Weźmy więc PERC13 H975i Della: obecna generacja i mniej więcej tak dobrze, jak tri-mode w ogóle potrafi. Jego podręcznik użytkownika podaje „Gen 4 and Gen 5 PCIe x16 host interfaces”, a StorageReview zmierzył 52,5 GB/s i 12,5M IOPS na kontroler, przy maksymalnie szesnastu dyskach NVMe.\nTo poważne liczby i istotnie zmieniają obraz. Wobec 13 700 MB/s i 3M IOPS karty 9500 to mniej więcej cztery razy większa przepustowość i cztery razy więcej IOPS, rozłożone na o połowę mniej dysków. Dell nie tylko poszerzył rurę: zmniejszył też o połowę rozgałęzienie, a współczynnik nadsubskrypcji w efekcie się poprawił. Zwłaszcza w IOPS 12,5M na szesnaście dysków to około 780K na dysk, czyli blisko tego, co zwykły dysk daje sam. W tym punkcie kontroler naprawdę nie jest tym, co cię hamuje.\nOddajmy więc sprawiedliwość: nowoczesna karta tri-mode x16 Gen5 to dużo lepszy kawałek inżynierii niż karta x8 Gen4, a jeśli przepustowość była twoim jedynym zarzutem, x16 w dużej mierze na niego odpowiada.\nTrzech rzeczy nie naprawia.\nDyski nadal łączą się na x2. To mnie zaskoczyło. Podręcznik PERC13, opisujący kontroler Gen5 x16, nadal mówi:\nSupports drive speeds for NVMe drives are 8 GT/s (Gen 3), 16 GT/s (Gen 4), and 32 GT/s (Gen 5) at maximum x2 lane width.\nSzersze łącze do hosta nie poszerza łączy do dysków. Każdy dysk NVMe na najnowszym, najszybszym kontrolerze RAID tri-mode, jaki sprzedaje Dell, jest nadal podłączony dwiema liniami zamiast czterech i nadal oddaje połowę przepustowości, zanim cokolwiek innego się wydarzy.\nModel kolejek jest zupełnie nietknięty. Nic w sekcji tego wpisu o kolejkach nie zależy od szerokości łącza do hosta. nr_hw_queues pochodzi z przydziału kolejek odpowiedzi MSI-X kontrolera; głębokość 128 na urządzenie to stała sterownika i firmware\u0026rsquo;u; pula tagów jest wspólna dla całego hosta, bo tak mówi host_tagset. Poszerz łącze do hosta do x16, x32, czego dusza zapragnie: dyski nadal są targetami SCSI dzielącymi kolejki karty, nadal nie ma /dev/nvme0n1 i nadal nie możesz przekazać dysku do VM.\nA x16 nie wytwarza przepustowości: rozgałęzia linie, które już miałeś. To argument, który naprawdę rozstrzyga sprawę. Szesnaście linii Gen5 do PERC13 kupuje ci 52,5 GB/s dzielone na szesnaście zatok. Te same szesnaście linii podłączonych bezpośrednio do czterech dysków Gen5 na x4 kupuje ci mniej więcej 56 GB/s na cztery zatoki: tę samą przepustowość z tych samych linii, tyle że każdy dysk dostaje pełne x4, własną parę kolejek na rdzeń i prawdziwy węzeł urządzenia nvme.\nUczciwy opis karty tri-mode x16 to więc nie „szybszy adapter”. To multiplekser linii: zamienia stały budżet linii na więcej zatok na dyski i za tę zamianę każe ci zapłacić modelem kolejek. Czy to dobry interes, zależy od jednej rzeczy. Zatoki czy równoległość.\nCo się dzieje, kiedy zapełnisz wszystkie zatoki Co prowadzi nas do przypadku, który naprawdę ma znaczenie, bo nikt nie kupuje obudowy na 24 dyski, żeby włożyć do niej cztery.\nZa punktem nasycenia linia sumaryczna jest płaska. Dokładanie dysków dokłada pojemność i nic więcej, więc wydajność na dysk spada jak 1/N. Ta arytmetyka jest bezlitosna przy realnych obsadach:\nDyski na HBA 9500 Sumarycznie Na dysk Ułamek dysku Gen4 2 13,7 GB/s 6,9 GB/s 98% 12 13,7 GB/s 1,14 GB/s 16% 24 13,7 GB/s 0,57 GB/s 8% Spójrz na dolny wiersz. Dwadzieścia cztery dyski NVMe za HBA 9500 dają około 570 MB/s każdy. SSD SATA robi około 550. Kupiłeś dwadzieścia cztery dyski NVMe, zapłaciłeś za kontroler tri-mode, żeby je podłączyć, i doszedłeś do przepustowości na dysk klasy SATA.\nArytmetyka IOPS ma ten sam kształt: 3M rozłożone na dwadzieścia cztery dyski to 125K na każdy, wobec 1M, które zwykły dysk Gen4 osiąga sam, czyli mniej więcej jedna ósma tego, co posiadasz.\nKarta x16 wyraźnie to poprawia, ale od tego nie ucieka. PERC13 z pełnymi szesnastoma dyskami to 52,5 GB/s ÷ 16 = 3,3 GB/s na dysk, czyli mniej więcej 23% dysku Gen5, a to jeszcze zanim łącze x2 znowu to przepołowi.\nPrzy dużej liczbie dysków dwa efekty są gorsze, niż sugeruje dzielenie:\nGłodzenie tagów przechodzi między urządzeniami. Wspólna pula tagów hosta oznacza, że jeden mocno obciążony dysk może zużyć sloty potrzebne innym. Dwadzieścia cztery urządzenia, każde z nominalnym prawem do 128 oczekujących poleceń, chcą razem 3072, branych z can_queue jednego kontrolera. Blokowanie czoła kolejki między osobnymi dyskami to tryb awarii, który po prostu nie istnieje, kiedy każdy dysk ma własne kolejki. Odbudowy uderzają we wszystko. Odbudowa parzystości na zapełnionej półce nasyca jedyny wspólny uplink, więc I/O na pierwszym planie do każdego innego dysku na karcie degraduje się w tym samym czasie. Z dyskami na niezależnych liniach i programowym RAID odbudowa walczy o procesor, a nie o jedną rurę. Kiedy nic z tego nie ma znaczenia Jest ważna przeciwwaga i to ona jest powodem, dla którego mnóstwo serwerów tri-mode na 24 dyski działa całkiem szczęśliwie.\nSufit adaptera gryzie tylko wtedy, gdy coś dalej w łańcuchu jest w stanie skonsumować więcej, niż on dostarcza. Serwer z 2 × 25GbE ma 6,2 GB/s sieci: nie zapełni nawet HBA 9500. Jeśli te dwadzieścia cztery dyski to warstwa pojemnościowa serwująca pliki przez to łącze, adapter nie jest nawet blisko wąskiego gardła, a arytmetyka na dysk powyżej nie ma znaczenia.\nZaczyna mieć znaczenie w chwili, gdy konsument staje się szybszy niż karta: 100GbE (12,5 GB/s) samo w sobie stawia cię na równi z całym sekwencyjnym sufitem 9500, a obciążenia lokalne, czyli bazy danych, kompilacja, analityka, hosty wirtualizacji z zajętymi gośćmi, w ogóle nie mają sieci na ścieżce.\nPytanie, które należy zadać o zapełnioną półkę, to więc nie „czy adapter jest wolny”, tylko „co będzie to konsumować i czy może skonsumować więcej, niż karta jest w stanie dostarczyć?” Jeśli odpowiedź to łącze 25GbE, przestań się martwić. Jeśli odpowiedź to 100GbE, NVMe-oF albo lokalna baza danych, karta jest twoim wąskim gardłem, a liczba dysków tylko to pogarsza.\nCzego jeszcze brakuje Poza przepustowością wystawianie dysku NVMe jako dysku SCSI oznacza, że części twojego zestawu narzędzi specyficzne dla NVMe przestają działać:\nPodłączony bezpośrednio Za adapterem tri-mode Węzeł urządzenia /dev/nvme0n1 /dev/sdb Sterownik nvme mpt3sas / mpi3mr nvme-cli Działa Nie ma z czym rozmawiać Dane o stanie Strony logu NVMe SMART Przetłumaczone strony logu SCSI Zarządzanie przestrzeniami nazw Tak Nie Aktualizacje firmware\u0026rsquo;u nvme fw-download Narzędzie producenta przez kontroler Format / sanitize NVMe Format NVM Odpowiedniki SCSI, jeśli zaimplementowane Kolejki sprzętowe Jedna para na rdzeń (16 na maszynie powyżej) Kolejki odpowiedzi karty, wspólne dla każdego dysku Głębokość kolejki 1023 na kolejkę 128 na urządzenie Jedna konsekwencja łapie ludzi na tyle często, że warto ją wymienić osobno: nie da się przekazać pojedynczego dysku do maszyny wirtualnej. Passthrough PCIe wymaga, żeby dysk był punktem końcowym PCIe z własną grupą IOMMU, a za adapterem tri-mode nim nie jest: jedynym obecnym urządzeniem PCIe jest kontroler. Możesz przekazać cały adapter, z każdym podłączonym do niego dyskiem, albo nic. Jeśli twój plan zakładał oddanie konkretnych dysków NVMe konkretnym gościom, decyzja o backplanie już rozstrzygnęła to za ciebie.\nTo kto właściwie tego chce w 2026 roku? Tu argument sprzedażowy z początku tego wpisu musi zmierzyć się z trudniejszym pytaniem, bo świat, dla którego go zaprojektowano, w większości odszedł.\nTri-mode wymyślono, kiedy NVMe było drogą warstwą, którą dokładało się do środowiska SAS. W 2026 roku jest odwrotnie: NVMe to domyślny wybór, dyski enterprise U.2 są na rynku wtórnym w obfitości i tanie, a „SAS, SATA i NVMe wymieszane w jednej obudowie” opisuje coraz mniej prawdziwych wdrożeń. To kto to właściwie kupuje?\nPrawie nikt, celowo. Uczciwa odpowiedź jest taka, że większości kontrolerów tri-mode nikt nie wybrał. Przyszły, bo producent serwera taki dostarcza, a producent dostarcza go dlatego, że jedno SKU backplane\u0026rsquo;u U.3 pozwala jemu sprzedawać konfiguracje SAS, SATA i NVMe z tej samej obudowy. To wygrana w łańcuchu dostaw dla OEM-a. Dla twojej wydajności nie robi nic i jako takie nigdy nie było sprzedawane jako coś, co robi.\nTrzy klasyczne uzasadnienia już się dobrze nie trzymają:\n„Potrzebuję mieszanych typów dysków.” Rzadko w tej samej obudowie, a nawet wtedy tri-mode nie jest jedyną drogą. Zwykły HBA SAS dla dysków talerzowych plus NVMe podłączone do root complexu daje ci jedno i drugie, bez kary dla żadnego. Mieszane środowisko nie oznacza mieszanego kontrolera.\n„Nie mam dość linii PCIe.” To był prawdziwy argument w 2019 roku, na platformach z 40 liniami i 24 zatokami. Jednogniazdowy Epyc Genoa albo Turin ma 128 linii. Dwadzieścia cztery dyski na x4 to 96. Niedobór, który uzasadniał zbieranie dysków za jednym kontrolerem, prawie zniknął, a tam, gdzie nie zniknął, przełącznik PCIe robi tę robotę bez kończenia protokołu.\n„Zatoki muszą być uniwersalne.” To trzeba starannie rozdzielić, bo to argument najczęściej używany do uzasadniania niewłaściwego komponentu. U.3 to standard backplane\u0026rsquo;u, a nie wymaganie wobec kontrolera. Backplane U.3 można okablować prosto do linii PCIe procesora zamiast przez kontroler tri-mode, a producenci dokumentują obie topologie. Możesz zachować uniwersalne zatoki i skasować podatek. Jeśli odziedziczyłeś serwer tri-mode, najcenniejsza pojedyncza rzecz, jaką możesz sprawdzić, to czy backplane da się przepiąć bezpośrednio.\nCo faktycznie zostaje:\nSprzętowy RAID przy dużej gęstości, tam gdzie wymaga go polityka albo platforma: wymóg audytu, macierz wsparcia, wdrożenie Windows albo ESXi bez warstwy programowej, która zrobiłaby tę robotę. To jest prawdziwy pozostały rynek, to jedyny przypadek, w którym kupujesz silnik RAID, a nie łączność, i na obecnym krzemie to porządny produkt: szesnaście dysków NVMe w sprzętowym RAID 5 z cache chronionym superkondensatorem, z szesnastu linii, to coś, czego podłączenie bezpośrednie w ogóle nie oferuje. Masowa pojemność na dyskach SAS HDD, gdzie £/TB nadal zdecydowanie należy do talerzy. Ale to robota zwykłego HBA SAS i tańszego. Bardzo duże liczby zatok i obudowy zewnętrzne, gdzie ekspandery SAS sięgają dalej i szerzej niż PCIe. Obciążenia, które nigdy nie schodzą głęboko. Jeśli twoje głębokości kolejek są jednocyfrowe, nic z tego nie jest odczuwalne. Mnóstwo prawdziwych systemów żyje tu całkiem szczęśliwie. Jest też prosty argument operacyjny: jeden typ obudowy, jeden sterownik, jedna część zapasowa na półce, a dla hosta wirtualizacji ogólnego przeznaczenia to jest coś warte. Tylko wyceń to uczciwie wobec faktu, że według tabeli powyżej jeden dysk Gen5 może osiągnąć cały sekwencyjny sufit karty.\nKiedy to złe narzędzie Ta wymiana robi się zła proporcjonalnie do tego, ile współbieżności ma twoje obciążenie.\nCeph to najczystszy przypadek. Węzeł pamięci masowej uruchamia jedno OSD na dysk, każde z własnymi pulami wątków, wszystkie wydające I/O naraz, a potem klienci całego klastra obciążają je współbieżnie. To najgorszy przypadek wspólnej puli tagów: dwadzieścia cztery demony walczące o sloty poleceń jednego kontrolera, każdy dysk ograniczony do 128 oczekujących, wszystko przeciśnięte przez jeden uplink x8. Podłącz te dyski prosto do root complexu, a każde OSD dostanie własne kolejki, własne tagi i własne linie. Węzeł Cepha na samym NVMe nie powinien mieć adaptera tri-mode na ścieżce danych.\nTa sama logika dotyczy targetów NVMe-oF, gdzie ponownie eksportujesz dyski i każda warstwa serializacji się kumuluje; baz danych z głębokim asynchronicznym I/O; i wszystkiego, co zbudowano na io_uring albo SPDK, które istnieją właśnie po to, żeby wykorzystać kolejki na rdzeń, które adapter ci właśnie zabrał.\nOgólna zasada: im więcej równoległości twoje oprogramowanie miało wykorzystywać, tym więcej adapter tri-mode ci za nią policzy.\nJak sprawdzić, co masz Jeśli odziedziczyłeś serwer i chcesz wiedzieć, po której stronie tej historii jesteś:\n# What is the transport? \u0026#34;nvme\u0026#34; is direct, \u0026#34;sas\u0026#34; means it went through a controller lsblk -o NAME,TRAN,MODEL,SIZE # Is there a tri-mode controller in the machine at all? lspci -nn | grep -Ei \u0026#39;sas|megaraid|serial attached\u0026#39; # Which driver claimed the disk? ls -l /sys/block/sdb/device/driver # Per-device queue depth — 128 is the mpt3sas NVMe default cat /sys/block/sdb/device/queue_depth # How many hardware queues does this device actually get? ls /sys/block/sdb/mq/ | wc -l ls /sys/block/nvme0n1/mq/ | wc -l # compare against a direct-attached drive # On a direct-attached drive, what did the controller actually grant? # One admin queue plus one I/O queue per core, so expect nproc + 1 cat /sys/class/nvme/nvme0/queue_count nproc # The driver says it out loud at load time dmesg | grep -i \u0026#39;nr_hw_queues\u0026#39; Ostatnie polecenie wypisuje cytowaną wcześniej linię Max SCSIIO MPT commands: N shared with nr_hw_queues = M. Jeśli nvme list jest puste na maszynie, o której mówiono ci, że jest w całości na flashu NVMe, przyczyną jest adapter.\nW skrócie Adapter tri-mode zamienia twoje dyski NVMe w dyski SCSI. Ta zamiana nie jest efektem ubocznym. Tak jedna karta obsługuje trzy protokoły i to właśnie kupujesz.\nTo, z czego rezygnujesz, jest konkretne i mierzalne: pary kolejek na rdzeń zastąpione wspólnymi kolejkami odpowiedzi kontrolera, głębokość 128 na urządzenie, pula tagów dzielona między każdy dysk na karcie, łącze x2 tam, gdzie dysk chciał x4, i jeden wspólny uplink tam, gdzie każdy dysk miał wcześniej własną ścieżkę do root complexu. Adapter przestaje być połączeniem i staje się wąskim gardłem, a na obecnym sprzęcie staje się nim szybko: dwa dyski Gen4 osiągają HBA 9500, cztery dyski Gen5 osiągają nawet PERC13.\nSzersze łącze do hosta pomaga, bo karta x16 Gen5 ma mniej więcej cztery razy większą przepustowość i IOPS niż karta x8 Gen4, ale nie zmienia kształtu. Kupuje zatoki, nie równoległość: te same szesnaście linii podłączonych prosto do czterech dysków daje tę samą przepustowość bez żadnego podatku od kolejek. I nie ratuje pełnej półki. Dwadzieścia cztery dyski za 9500 dostają około 570 MB/s każdy, czyli tyle, ile robi SSD SATA.\nW 2019 roku, kiedy NVMe było warstwą dokładaną do środowiska SAS, a platformom brakowało linii, to była rozsądna wymiana. W 2026 roku zwykle nie jest. NVMe to wybór domyślny, używane dyski U.2 są tanie, jednogniazdowy Epyc ma linii w nadmiarze, a jedyna korzyść, która nadal stoi, czyli uniwersalne zatoki na dyski, należy do backplane\u0026rsquo;u U.3, a nie do kontrolera. Bardzo często możesz zachować zatoki i skasować podatek, kablując backplane prosto do procesora.\nKupuj więc adapter tri-mode, jeśli kupujesz jego silnik RAID i go potrzebujesz. Nie kupuj go dla elastyczności, a jeśli odziedziczyłeś taki w obudowie pełnej NVMe, idź i sprawdź, jak ten backplane jest okablowany.\nNie ma sensu płacić dwa razy za dyski, których potem nie możesz porządnie używać.\n","permalink":"https://blogs.damiendye.uk/pl/hardware/tri-mode-adapters-nvme-as-sas/","summary":"Adapter tri-mode pozwala każdej zatoce przyjąć SAS, SATA albo NVMe: prawdziwa elastyczność i powód, dla którego istnieją backplane\u0026rsquo;y U.3. Nie reklamuje natomiast tego, że twoje dyski NVMe przestają być dyskami NVMe: trafiają do Linuksa jako dyski SCSI na mpt3sas, z głębokością kolejki 128, dzieląc jedną pulę tagów i jeden uplink x8. Dwa dyski Gen4 nasycają kartę. Jeden dysk Gen5 już ją przerasta. Czy ta wymiana ma jeszcze sens w 2026 roku i dlaczego uniwersalne zatoki należą do backplane\u0026rsquo;u, a nie do kontrolera.","title":"Adaptery tri-mode kupują elastyczność za twoje kolejki NVMe"},{"content":"Założenie, które Ansible zwykle może przyjąć Prawie każdy moduł Ansible, którego używałeś, działa tak: Ansible łączy się z hostem wymienionym w inwentarzu, kopiuje na niego mały program w Pythonie, uruchamia go i odczytuje wynik. Host jest tym, co się zmienia, i tym, co wykonuje pracę.\nTworzenie maszyny wirtualnej łamie to w najbardziej podstawowy możliwy sposób. Host, który budujesz, nie istnieje. Nie ma IP, nie ma demona SSH, nie ma Pythona i nie ma systemu operacyjnego. Nie ma się z czym połączyć.\ncommunity.proxmox nie jest więc agentem konfiguracji. To klient API, który akurat jest dostarczany jako kolekcja Ansible. W związku z tym wszystko w tym wpisie wynika z tego jednego faktu: gdzie wykonują się zadania, jak dostarczasz poświadczenia, dlaczego ponowne uruchomienie nie robi tego, czego się spodziewasz, i dlaczego --check nie mówi ci prawdy.\nPrzykłady są tu przycięte z playbooka, który buduje maszyny wirtualne z Windows i Linuksem z rekordów NetBox: proxmox-create-vms.yml. Dla czytelności uogólniłem nazwy węzła, storage i bridge\u0026rsquo;a; prawdziwa wersja jest w tym repozytorium.\nWszystko, co niżej twierdzę o zachowaniu modułów, sprawdziłem na community.proxmox 1.6.0, czyli wersji, którą mam zainstalowaną:\n$ ansible-galaxy collection list community.proxmox # /home/damien/.ansible/collections/ansible_collections Collection Version ----------------- ------- community.proxmox 1.6.0 Najpierw: kolekcja się przeniosła Jeśli czytasz starszy playbook albo starszą odpowiedź, moduły nazywały się community.general.proxmox_kvm. Teraz żyją we własnej kolekcji i to tam toczy się rozwój. Wersja 1.6.0 zawiera 47 modułów, obejmujących Ceph, SDN, firewall, reguły HA i dołączanie do klastra, z których żaden nie istniał w czasach community.general.\nansible-galaxy collection install community.proxmox pip install \u0026#39;proxmoxer\u0026gt;=2.0\u0026#39; requests Zależność od Pythona nie jest opcjonalna ani dołączona: kolekcja deklaruje requirements: [\u0026quot;proxmoxer \u0026gt;= 2.0\u0026quot;, \u0026quot;requests\u0026quot;], a trzeba je zainstalować tam, gdzie moduł faktycznie się wykonuje, czyli, jak wyjaśnia następna sekcja, nie na węźle Proxmox.\nrequirements.yml, jeśli wolisz to przypiąć:\n--- collections: - name: community.proxmox version: \u0026#34;\u0026gt;=1.6.0\u0026#34; Kolekcja jest testowana na ansible-core od 2.17 do 2.20. Zmiana nazw zadań community.general.proxmox_* na community.proxmox.proxmox_* to większość migracji.\nKażde zadanie Proxmox wykonuje się na localhost Dwie linijki na górze playa robią najcięższą robotę i obie wyglądają, jakby wyłączały coś przydatnego:\n- name: Create Proxmox virtual machines hosts: \u0026#34;{{ target_hosts | default(\u0026#39;cluster_pve:\u0026amp;status_planned\u0026#39;) }}\u0026#34; gather_facts: false serial: 1 gather_facts: false to nie optymalizacja. Zbieranie faktów łączy się z hostem z inwentarza, a host z inwentarza to maszyna wirtualna, której jeszcze nie zbudowano. Zostaw to włączone, a play padnie przed pierwszym zadaniem.\nPotem każde zadanie Proxmox ma delegate_to: localhost:\n- name: Create Proxmox VM delegate_to: localhost register: created_vm community.proxmox.proxmox_kvm: api_user: \u0026#34;{{ proxmox_user }}\u0026#34; api_password: \u0026#34;{{ proxmox_password }}\u0026#34; api_host: \u0026#34;{{ proxmox_api_ip }}\u0026#34; name: \u0026#34;{{ inventory_hostname }}\u0026#34; node: \u0026#34;{{ proxmox_api_host }}\u0026#34; ... Host z inwentarza to teraz tylko nazwa i worek zmiennych. inventory_hostname staje się nazwą maszyny wirtualnej; jej zmienne opisują maszynę, którą chcesz. Nic się z nim nie łączy. Zadanie wykonuje się na węźle sterującym, który otwiera sesję HTTPS do api_host i wysyła definicję maszyny.\nZobaczysz to też zapisane jako local_action:, czyli starszą składnię tego samego. Playbook do rozbiórki w tamtym repozytorium używa jej wszędzie. Są równoważne. delegate_to to obecna pisownia.\nFurtka awaryjna wskazuje na węzeł Niektóre rzeczy naprawdę muszą się dziać na hoście Proxmox, a te zadania delegują gdzie indziej:\n- name: Fail if no ISO file exists for the OS delegate_to: \u0026#34;{{ proxmox_api_host }}\u0026#34; ansible.builtin.stat: path: \u0026#34;{{ iso | replace(\u0026#39;isos:\u0026#39;, \u0026#39;/mnt/pve/isos/template/\u0026#39;) }}\u0026#34; register: iso_file failed_when: not iso_file.stat.exists To prawdziwe połączenie SSH do prawdziwego węzła, sprawdzające prawdziwą ścieżkę na współdzielonym storage, bo API chętnie przyjmie odwołanie do ISO, które nie wskazuje na żaden plik, a wolisz się o tym dowiedzieć teraz niż przy rozruchu. Zwróć uwagę na chirurgię napisów, która tłumaczy odwołanie do storage PVE (isos:iso/debian.iso) na ścieżkę w systemie plików. Abstrakcja storage nie jest dostępna dla stat.\nJeden play ma więc zadania wykonywane w trzech różnych miejscach, a pomylenie ich to najczęstszy sposób, w jaki te playbooki padają:\nGdzie naprawdę wykonuje się każde zadanie playbooka budującego Proxmox Węzeł sterujący Ansible delegate_to: localhost proxmox_kvm proxmox_vm_info proxmox_disk proxmox_access_acl każdy z nich to klient HTTPS, a nie agent proxmoxer \u0026#8805; 2.0 + requests instalowane tu, nie na węźle gather_facts: false Węzeł Proxmox: pve1 pvedaemon, REST API na porcie 8006 qm, /etc/pve, storage tu ląduje definicja maszyny maszyna, którą tworzysz bez IP \u0026#183; bez SSH \u0026#183; bez Pythona bez systemu operacyjnego w inwentarzu to tylko nazwa i worek zmiennych API SSH qm set stat nie ma się z czym łączyć dopiero w późniejszym playu Trzy konteksty wykonania w jednym playu. Moduły Proxmox nigdy nie dotykają węzła ani gościa: to klienci HTTPS działający obok playbooka. Furtka qm to jedyna część, która potrzebuje SSH do hiperwizora. Poświadczenia i wartość domyślna, która zaraz się zmieni Opcje uwierzytelniania są wspólne dla każdego modułu kolekcji przez fragment dokumentacji, więc wszędzie są takie same: api_host, api_user, a potem albo api_password, albo para api_token_id / api_token_secret. Wszystkie mają zapasowe zmienne środowiskowe, PROXMOX_HOST, PROXMOX_USER, PROXMOX_PASSWORD, PROXMOX_TOKEN_ID, PROXMOX_TOKEN_SECRET, PROXMOX_VALIDATE_CERTS, co jest najczystszym sposobem, żeby całkowicie trzymać sekrety poza playem.\nToken API to lepsza wartość domyślna. Ma zakres, da się go odwołać bez zmiany hasła człowieka i można mu dać dokładnie te uprawnienia, których potrzebuje playbook, a nie te, które akurat ma jakaś osoba:\n- name: Create Proxmox VM delegate_to: localhost community.proxmox.proxmox_kvm: api_host: \u0026#34;{{ proxmox_api_ip }}\u0026#34; api_user: ansible@pve api_token_id: automation api_token_secret: \u0026#34;{{ proxmox_token_secret }}\u0026#34; validate_certs: true ca_path: /etc/ssl/certs/pve-cluster-ca.pem Ustaw validate_certs jawnie, już dziś. Dokumentacja samej kolekcji mówi to wprost:\nCurrently defaults to false and changes default to true with community.proxmox 2.0.0.\nCo znaczy, że playbook, który o tym nie wspomina, teraz nie weryfikuje TLS, a zacznie weryfikować, i przez to zacznie padać na samopodpisanym certyfikacie, z którym przychodzi każda świeża instalacja Proxmox, w chwili gdy ktoś uruchomi --upgrade. Lepiej podjąć tę decyzję celowo, niż żeby spadła w środku budowy. Jeśli zostajesz przy samopodpisanym certyfikacie, napisz validate_certs: false i przyjmij to ustalenie; jeśli masz porządny łańcuch, wskaż go w ca_path. Tak czy inaczej jest to zapisane.\nMinimalne sensowne tworzenie Okrój produkcyjne zadanie do tego, co faktycznie definiuje maszynę, i robi się czytelne:\n- name: Create Proxmox VM delegate_to: localhost register: created_vm community.proxmox.proxmox_kvm: api_host: \u0026#34;{{ proxmox_api_ip }}\u0026#34; api_user: ansible@pve api_token_id: automation api_token_secret: \u0026#34;{{ proxmox_token_secret }}\u0026#34; validate_certs: true node: pve1 name: \u0026#34;{{ inventory_hostname }}\u0026#34; cores: \u0026#34;{{ vcpus | int }}\u0026#34; memory: \u0026#34;{{ memory }}\u0026#34; machine: q35 bios: ovmf ostype: l26 scsihw: virtio-scsi-single scsi: scsi0: \u0026#34;vmdata:32,format=qcow2,discard=on,ssd=1\u0026#34; sata: sata0: \u0026#34;isos:iso/debian-13-netinst.iso,media=cdrom\u0026#34; net: net0: \u0026#34;virtio,bridge=vmbr0\u0026#34; efidisk0: storage: vmdata format: raw efitype: 4m pre_enrolled_keys: true boot: \u0026#34;order=scsi0;sata0\u0026#34; agent: \u0026#34;enabled=1,fstrim_cloned_disks=1\u0026#34; onboot: true tags: - production Kilka rzeczy w tym kształcie warto wiedzieć, zanim napiszesz własny.\nOpcje urządzeń to składnia PVE wewnątrz YAML. scsi, sata, net, virtio, ide mają wszystkie typ dict, z kluczami scsi0, net0 i tak dalej, a wartości to rozdzielane przecinkami napisy opcji prosto z man qm: \u0026lt;storage\u0026gt;:\u0026lt;size\u0026gt;,option=value dla dysku, [model=]\u0026lt;enum\u0026gt;,option=value dla karty sieciowej. Moduł ich nie modeluje; przekazuje je dalej. Kiedy coś zostaje odrzucone, odpowiedź jest w dokumentacji opcji PVE, a nie w dokumentacji Ansible.\nZobaczysz je też zapisane jako napis JSON zamiast mapowania YAML:\nnet: \u0026#39;{\u0026#34;net0\u0026#34;:\u0026#34;virtio,bridge={{ vlan_bridge }}\u0026#34;}\u0026#39; Oba działają. Ansible konwertuje napis dla parametru typu dict. Forma JSON istnieje, bo łatwiej zrobić szablon całej struktury w jednym wyrażeniu Jinja. Forma mapowania jest łatwiejsza do przeczytania pół roku później.\nboot ma dwie generacje składni. Moduł przyjmuje stare litery, gdzie boot: \u0026quot;cdn\u0026quot; znaczy „spróbuj dysku, potem CD-ROM, potem sieci”. Obecne PVE chce jawnej uporządkowanej listy, boot: \u0026quot;order=scsi0;sata0;net0\u0026quot;, która nie pozostawia wątpliwości, który dysk. Stara forma wciąż działa. Jawna forma to ta, której chcesz w nowej pracy. Jedna prawdziwa pułapka zakopana w dokumentacji modułu: rozruch sieciowy wymaga ustawienia rng0 od PVE 8.3.5.\nnuma i numa_enabled to różne parametry. numa_enabled to wartość logiczna, która włącza NUMA. numa to dict opisujący topologię (cpus, hostnodes, memory, policy). Ustawienie numa: true to błąd typu, a łatwo na nim stracić godzinę. Jeśli interesuje cię, dlaczego to wszystko ma znaczenie, wyrównanie NUMA w Proxmox omawia problem leżący u podstaw.\nmachine: q35 i bios: ovmf to właściwe wartości domyślne, a nie dekoracja; pełny wywód.\nPominięcie vmid znaczy, że moduł pyta API o następne wolne ID. Wygodne i bezpośrednia przyczyna następnej rzeczy.\nDlaczego serial: 1 „Pobierz następne dostępne ID, a potem utwórz z nim maszynę” to dwa wywołania API z przerwą w środku. Dwa procesy robiące to równocześnie mogą odczytać to samo wolne ID, a przegrany dostaje błąd albo, co gorsza, niespodziankę.\nserial: 1 sprawia, że faza tworzenia idzie po jednym hoście naraz. Nie jest szybka i nie musi być. Kosztowna część budowania maszyny dzieje się po tym, jak ten playbook przekaże pałeczkę. Bliźniaczy play, który uruchamia gotowe maszyny, używa serial: 5, bo uruchamianie nie ma wspólnego licznika, o który można by się ścigać.\nJeśli wolisz równoległość, przydziel VMID sam ze swojego źródła prawdy i przekaż je jawnie. Wtedy nie ma odczytu-modyfikacji-zapisu i nie ma wyścigu.\nIdempotencja to nie to, czego się spodziewasz To sekcja do przeczytania dwa razy, bo proxmox_kvm nie zachowuje się jak ansible.builtin.package.\nname nie jest tożsamością. Nazwy maszyn wirtualnych nie są unikalne w klastrze Proxmox i moduł to mówi. Przy state: present i bez vmid, jeśli maszyna o tej nazwie już istnieje, moduł kończy z changed=false i msg: \u0026quot;VM with name \u0026lt;x\u0026gt; already exists\u0026quot; i nic nie robi. Nie porównuje twoich parametrów z rzeczywistością. Nie dąży do zbieżności. Odmawia.\nupdate ma domyślnie false. Edycja memory: w playbooku i ponowne uruchomienie to więc no-op. Maszyna zatrzymuje pamięć, z którą ją zbudowano, zadanie zgłasza sukces i nic nigdzie nie mówi ci, że te dwie rzeczy się rozjechały.\nupdate: true wciąż odmawia ciekawych parametrów. Z dokumentacji modułu:\nBecause of the operations of the API and security reasons, I have disabled the update of the following parameters net, virtio, ide, sata, scsi. Per example updating net update the MAC address and virtio create always new disk…\nupdate_unsafe: true znosi to ograniczenie, a ostrzeżenie nie jest na pokaz:\nUse this option with caution because an improper configuration might result in a permanent loss of data (for example disk recreated).\nDysk, który myślałeś, że powiększasz, może więc zostać zastąpiony nowym, pustym. Nie sięgaj po to: odrzucone parametry mają własne moduły, a to jest następna sekcja.\nA --check nie obejmuje niczego z tego. Kolekcja deklaruje obsługę trybu sprawdzania dla każdego modułu z osobna i jest niespójna dokładnie w złym kierunku:\nModuł check_mode diff_mode proxmox_kvm brak brak proxmox_disk brak brak proxmox_template brak brak proxmox_snap pełny brak proxmox_nic pełny brak proxmox_pool pełny brak Podział nie przebiega tak, że „moduły tylko do odczytu mogą, moduły zapisujące nie”: proxmox_nic tworzy i usuwa interfejsy, a tryb sprawdzania honoruje bez zarzutu. Chodzi o to, że trzy moduły zajmujące się storage i cyklem życia maszyny go nie mają. Przebieg --check playbooka budującego po cichu pomija tworzenie maszyny, a potem raportuje o świecie, w którym maszyny nigdy nie zrobiono, więc każde następne zadanie rozumuje o złym stanie. Na playbooku budującym --check to nie siatka bezpieczeństwa, a traktowanie go jak siatki jest gorsze niż nieuruchamianie go wcale.\nCo naprawdę robi drugi przebieg proxmox_kvm drugi przebieg: state: present, a maszyna o tej nazwie istnieje moduł nigdy nie porównuje twoich parametrów z działającą maszyną update: false domyślnie changed = false \u0026#8222;VM with name \u0026lt;x\u0026gt; already exists\u0026#8221; zmień memory w playu, uruchom ponownie, a nic nigdzie ci nie powie update: true zbieżna większość cores, memory, tags, agent, onboot zastosowane net, virtio, ide, sata, scsi, efidisk0, tpmstate0 odrzucone celowo do nich użyj proxmox_disk i proxmox_nic update_unsafe: true zbieżne wszystko odrzucone parametry też są stosowane parametr dysku może utworzyć dysk od nowa trwała utrata danych to udokumentowane ryzyko --check nic ci nie mówi check_mode: none zadanie jest pomijane każde późniejsze zadanie rozumuje o świecie, w którym maszyny nigdy nie utworzono Tylko dwie z czterech cokolwiek zbiegają, a ta, która obejmuje dyski, to ta, która może je zniszczyć. Więc sam rób bramkę na istnienie i traktuj tworzenie jako jednorazowe zdarzenie. Co naprawdę robi drugi przebieg. Tylko dwie z czterech ścieżek w ogóle cokolwiek doprowadzają do zbieżności, a jedyna, która obejmuje dyski, to ta, która może je zniszczyć. Niech więc istnienie będzie bramką Biorąc to wszystko pod uwagę, wykonalny wzorzec to przestać prosić moduł o idempotencję i samemu zdecydować, czy budować. Playbook produkcyjny robi to tak:\n- name: Check if VM is present or manually built delegate_to: localhost community.proxmox.proxmox_vm_info: api_host: \u0026#34;{{ proxmox_api_ip }}\u0026#34; api_user: \u0026#34;{{ proxmox_user }}\u0026#34; api_password: \u0026#34;{{ proxmox_password }}\u0026#34; name: \u0026#34;{{ inventory_hostname }}\u0026#34; config: current register: existing_vm ignore_errors: true failed_when: (existing_vm.proxmox_vms | length) == 0 - name: Configure Proxmox VM when: existing_vm is failed block: - name: Create Proxmox VM ... proxmox_vm_info z config: current zwraca maszynę i jej bieżącą konfigurację albo pustą listę. failed_when zamienia „pustą listę” w porażkę, ignore_errors: true nie pozwala tej porażce zakończyć playa, a when: existing_vm is failed staje się „maszyny nie ma, zbuduj ją”.\nUżywanie celowo nieudanego zadania jako wartości logicznej czyta się źle i nie będę udawał, że jest inaczej. Alternatywa to when: (existing_vm.proxmox_vms | default([]) | length) == 0, która uczciwie jest sprawdzeniem długości i nie potrzebuje ignore_errors. Oba działają. Wersja wyżej jest tą, która jest na produkcji, a jej jedyna prawdziwa przewaga to to, że zarejestrowany wynik niesie istniejącą konfigurację do odczytu przez późniejsze zadania.\nWażny jest kształt, nie pisownia: sprawdź, potem rozgałęź i traktuj tworzenie jako jednorazowe zdarzenie. Bieżąca konfiguracja maszyny to inny problem niż jej istnienie, a ten moduł jest dobry tylko w tym drugim.\nDyski i karty sieciowe mają własne moduły Oto rzecz, którą wyżej prześlizgnąłem, a która zmienia cały obraz: parametry, których proxmox_kvm odmawia aktualizować, to nie luka w kolekcji. Są delegowane. community.proxmox.proxmox_disk i community.proxmox.proxmox_nic dodają, zmieniają i usuwają dokładnie to, czego moduł tworzący nie ruszy, z kluczami według tych samych nazw scsi0 i net0, których użyłeś przy budowie maszyny.\nOba zachowują się lepiej niż proxmox_kvm, a jeden z nich to jedyny moduł w tym procesie, który można uruchomić na sucho.\nproxmox_nic: dodaj, przetaguj albo usuń interfejs - name: Move the VM\u0026#39;s primary NIC to a new bridge and VLAN delegate_to: localhost community.proxmox.proxmox_nic: api_host: \u0026#34;{{ proxmox_api_ip }}\u0026#34; api_user: ansible@pve api_token_id: automation api_token_secret: \u0026#34;{{ proxmox_token_secret }}\u0026#34; vmid: \u0026#34;{{ created_vm.vmid }}\u0026#34; interface: net0 bridge: vmbr1 tag: 120 model: virtio mtu: 1 queues: 4 firewall: true state: present interface to jedyna wymagana opcja poza uwierzytelnianiem, net[n], gdzie n to od 0 do 31, a state: present albo absent daje ci dodawanie i usuwanie. model ma domyślnie virtio, co jest właściwą odpowiedzią, chyba że gość sobie nie radzi.\nPowodem istnienia tego modułu jest adres MAC. Przypomnij sobie, dlaczego proxmox_kvm odmawia aktualizacji net: „updating net update the MAC address”. proxmox_nic naprawia to jawnie:\nWhen not specified this module will keep the MAC address the same when changing an existing interface.\nMożesz więc przetagować VLAN, przenieść bridge, zmienić MTU albo włączyć firewall bez zmiany tożsamości karty sieciowej gościa pod jego stopami. To ma większe znaczenie, niż brzmi: nowy MAC unieważnia rezerwacje DHCP, psuje wszystko, co jest licencjonowane na kartę sieciową, i rozsynchronizowuje rekord interfejsu w NetBox, który playbook tworzący tak starannie zapisał. To moduł, dzięki któremu zmiana sieci w dniu drugim może być nudna.\nKilka opcji, które warto znać, zanim będą potrzebne:\nrate jest w MBps, czyli megabajtach na sekundę, nie w bitach. Dokumentacja mówi to jasno, a błąd o czynnik osiem bardzo łatwo popełnić. link_down: true odłącza interfejs, co dokumentacja opisuje jako „like pulling the plug”. Czysty sposób na izolację podejrzanej maszyny bez zatrzymywania jej i bez dotykania gościa. trunks przyjmuje listę identyfikatorów VLAN do przepuszczenia, dla gościa, który sam taguje. mtu: 1 to nie literówka i nie MTU o długości 1 bajta: znaczy „dziedzicz MTU bridge\u0026rsquo;a” i dotyczy tylko virtio. queues ustawia multiqueue, od 0 do 16. Warto dopasować do liczby vCPU na czymkolwiek, co przepycha prawdziwy ruch. I w pełni obsługuje tryb sprawdzania. --check na zadaniu proxmox_nic mówi ci prawdę, co czyni je jedyną częścią tego procesu, którą możesz bezpiecznie przećwiczyć. Jego komunikaty też są porządnie idempotentne. Niezmieniony interfejs zgłasza Nic net0 unchanged on VM with vmid 103, zamiast twierdzić, że coś zmienił.\nproxmox_disk: cały cykl życia dysku proxmox_disk to największy moduł z trzech, a jego state wykonuje pięć różnych zadań:\nstate Co się dzieje Odwracalne? present tworzy dysk albo aktualizuje opcje istniejącego n/d resized powiększa go: PVE nie umie zmniejszać, a dokumentacja każe robić to ręcznie nie detached staje się unused[n]; wolumin i jego dane zostają tak moved zmienia storage pod spodem albo przekazuje dysk innej maszynie oryginał zostaje, chyba że delete_moved absent usunięty ze storage pod spodem nie Różnica między detached a absent to siatka bezpieczeństwa, której proxmox_kvm nigdy ci nie daje. Odłączenie to zmiana konfiguracji; usunięcie niszczy dane. Dwa różne słowa, dwie różne konsekwencje.\nDodanie drugiego dysku do maszyny, która już istnieje:\n- name: Add a data disk delegate_to: localhost community.proxmox.proxmox_disk: api_host: \u0026#34;{{ proxmox_api_ip }}\u0026#34; api_user: ansible@pve api_token_id: automation api_token_secret: \u0026#34;{{ proxmox_token_secret }}\u0026#34; vmid: \u0026#34;{{ created_vm.vmid }}\u0026#34; disk: scsi1 storage: vmdata size: 200 format: qcow2 iothread: true aio: io_uring discard: \u0026#34;on\u0026#34; ssd: true backup: true state: present create to pokrętło, które powinien był mieć proxmox_kvm. Kontroluje, co wolno zrobić state: present:\nregular (domyślne): utwórz dysk, jeśli go brakuje, w przeciwnym razie zaktualizuj jego opcje. disabled: tylko aktualizuj opcje i nigdy nie twórz. Po to sięgaj, kiedy zmieniasz cache albo iothread na dysku, który musi już istnieć. Nie zaskoczy cię wyczarowaniem nowego woluminu, bo w kluczu była literówka. forced: zawsze twórz. Istniejący dysk zostaje odłączony i pozostawiony jako nieużywany, a nie usunięty. To ostatnie zachowanie to ważny szczegół. create: forced to opcja wyglądająca na niszczącą, a i tak niczego nie niszczy: stary wolumin przeżywa jako unusedN i możesz go podłączyć z powrotem. Porównaj to z proxmox_kvm plus update_unsafe, którego udokumentowany tryb awarii to dysk utworzony od nowa. Z grubsza ta sama operacja, dużo lepszy promień rażenia.\nPowiększanie dysku:\n- name: Grow the data disk by 100 GiB delegate_to: localhost community.proxmox.proxmox_disk: api_host: \u0026#34;{{ proxmox_api_ip }}\u0026#34; api_user: ansible@pve api_token_id: automation api_token_secret: \u0026#34;{{ proxmox_token_secret }}\u0026#34; vmid: \u0026#34;{{ created_vm.vmid }}\u0026#34; disk: scsi1 size: \u0026#34;+100G\u0026#34; state: resized Uważaj na jednostki, bo size zmienia znaczenie razem ze state. Przy state: present to GiB jako goła liczba (size: 200). Przy state: resized przyjmuje przyrostek: +100G, żeby dodać do bieżącego rozmiaru, albo 500G jako cel bezwzględny. Jeden parametr, dwie konwencje, a jeśli źle zgadniesz, porażka jest cicha.\nPrzenoszenie dysku na inny storage, czyli przypadek migracji na żywo jednego woluminu:\n- name: Move the disk to NVMe storage delegate_to: localhost community.proxmox.proxmox_disk: api_host: \u0026#34;{{ proxmox_api_ip }}\u0026#34; api_user: ansible@pve api_token_id: automation api_token_secret: \u0026#34;{{ proxmox_token_secret }}\u0026#34; vmid: \u0026#34;{{ created_vm.vmid }}\u0026#34; disk: scsi1 target_storage: nvme-pool bwlimit: 200000 delete_moved: true timeout: 3600 state: moved target_storage przenosi w obrębie jednej maszyny; target_vmid przekazuje dysk innej maszynie i wymaga tego samego storage po obu stronach. Wzajemnie się wykluczają. delete_moved ma domyślnie false, więc domyślnie kończysz z dwiema kopiami, a oryginał leży jako nieużywany: bezpiecznie, i dobry sposób na zapchanie puli storage, jeśli nigdy do tego nie wrócisz.\ntimeout ma tu domyślnie 600, wobec 30 w proxmox_kvm. Parametr wyglądający tak samo, dwudziestokrotna różnica, bo te operacje kopiują dane. Podnieś go dla dużych obrazów albo wolnego storage; dokumentacja mówi to i dla moved, i dla import_from.\nCo prowadzi do opcji, która czyni ten moduł ścieżką dla V2V i obrazów chmurowych:\nimport_from: \u0026#34;vmdata:9000/base-debian13.qcow2\u0026#34; import_from buduje dysk z istniejącego woluminu, zamiast przydzielać pusty: \u0026lt;STORAGE\u0026gt;:\u0026lt;VMID\u0026gt;/\u0026lt;NAME\u0026gt; albo \u0026lt;STORAGE\u0026gt;:import/\u0026lt;NAME\u0026gt;, z użyciem katalogu importu storage w PVE 9.x i nowszych. Wyklucza się z size, a ścieżek bezwzględnych w systemie plików może używać tylko root.\nReszta listy parametrów to powód, żeby podłączać dyski tym modułem, a nie w wywołaniu tworzącym: cache, aio, iothread, discard, ssd, backup, detect_zeroes i cała rodzina dławienia, iops, iops_rd, iops_wr, ich warianty _max i _max_length oraz kontrolki burst bps_*_max_length. Nic z tego nie jest osiągalne przez proxmox_kvm po utworzeniu.\nDwa zastrzeżenia, oba z dokumentacji samego modułu:\nNiektóre zmiany opcji wymagają restartu. „Some updates on options (like cache) are not being applied instantly and require VM restart.” Zielone zadanie znaczy, że konfiguracja została zapisana, a nie że działająca maszyna zachowuje się inaczej. Nie obsługuje trybu sprawdzania. check_mode: none, tak samo jak proxmox_kvm. Kolekcja dzieli się więc na pół: zmiany kart sieciowych da się przećwiczyć z --check, zmian dysków nie. Podział pracy Żeby zrobić to Użyj Utworzyć maszynę proxmox_kvm, raz, z bramką na istnienie Zmienić rdzenie, pamięć, tagi, agenta, onboot proxmox_kvm z update: true Dodać, przetagować, odłączyć albo usunąć kartę sieciową proxmox_nic Dodać, powiększyć, przenieść, odłączyć albo usunąć dysk proxmox_disk Snapshot proxmox_snap (też pełny tryb sprawdzania) Cokolwiek, czego żaden z nich nie udostępnia qm set przez SSH Zmienić dysk albo kartę sieciową przez proxmox_kvm nic: do tego jest update_unsafe i właśnie dlatego nie powinieneś go używać Zbuduj maszynę minimalnym wywołaniem proxmox_kvm, a potem podłącz dyski i interfejsy ich własnymi modułami. To więcej zadań, i to jest wersja, w której zmiany w dniu drugim mają drogę, która nie wymaga opcji, której udokumentowanym ryzykiem jest utrata dysku.\nGdzie moduł się kończy proxmox_kvm ma ogromną listę parametrów, a i tak nie obejmuje wszystkiego, co potrafi qm. Zamiast czekać, playbook produkcyjny schodzi do CLI na węźle:\n- name: Set RNG source and better SPICE quality delegate_to: \u0026#34;{{ proxmox_api_host }}\u0026#34; become: true ansible.builtin.command: cmd: \u0026gt;- /usr/sbin/qm set {{ created_vm.vmid }} --rng0 source=/dev/urandom --spice_enhancements videostreaming=all Nie ma w tym nic złego. Nie jest idempotentne w żadnym sensownym znaczeniu, bo qm set to zapis i będzie zgłaszać changed przy każdym przebiegu, ale jest jawne, jest czytelne i niczego nie udaje. Jeśli moduł później zyska ten parametr, usuwasz zadanie.\nInne rzeczy wymagają drugiego przejścia przez moduł z update: true, bo nie da się ich ustawić w tym samym wywołaniu, które tworzy maszynę:\n- name: Add SPICE-compatible USB device delegate_to: localhost community.proxmox.proxmox_kvm: api_host: \u0026#34;{{ proxmox_api_ip }}\u0026#34; api_user: \u0026#34;{{ proxmox_user }}\u0026#34; api_password: \u0026#34;{{ proxmox_password }}\u0026#34; node: \u0026#34;{{ proxmox_api_host }}\u0026#34; vmid: \u0026#34;{{ created_vm.vmid }}\u0026#34; usb: usb0: \u0026#34;spice,usb3=1\u0026#34; update: true when: spice_usb | default(false) Zwróć uwagę, że przekazuje vmid, a nie name. Kiedy masz ID, używaj go. To jedyny identyfikator, który API traktuje jako unikalny.\nA dla rzeczy, które QEMU potrafi, a dla których PVE nie ma opcji, jest args, przekazywane do wiersza poleceń QEMU dosłownie:\nargs: \u0026gt;- -global scsi-hd.physical_block_size=4k -global scsi-hd.logical_block_size=4096 To przedstawia dysk wirtualny jako 4Kn zamiast 512e, co ma większe znaczenie, niż się wydaje: rozmiary bloków, 4Kn i 512e. Moduł opisuje args jako „for experts only”, a powód jest taki, że PVE tego nie waliduje, a zła flaga uniemożliwia rozruch maszyny z błędem pochodzącym od QEMU, a nie od Proxmox.\nKlaster nie jest natychmiast spójny - name: Let registration complete on cluster ansible.builtin.pause: seconds: 5 when: created_vm.changed pause w playbooku to zwykle zły zapach, a ta jest nośna. Wywołanie tworzące wraca, kiedy API przyjęło definicję, a to nie to samo, co zgoda każdego węzła, że maszyna istnieje, a już następne zadanie chce ustawić ACL na /vms/\u0026lt;vmid\u0026gt;. Pięć sekund cierpliwości jest tańsze niż pętla ponowień wokół błędu, który pojawia się tylko pod obciążeniem.\nPlaybook do rozbiórki ma ten sam kształt z tego samego powodu: zatrzymaj, poczekaj, potem usuń.\nOdczytanie tego, co zbudowałeś proxmox_kvm dokumentuje trzy wartości zwrotne: vmid, status i msg. W praktyce będziesz chciał czwartej, a jej w dokumentacji nie ma.\n- name: Get MAC address of VM ansible.builtin.set_fact: primary_mac_addr: \u0026#34;{{ created_vm.mac.net0 }}\u0026#34; created_vm.mac jest prawdziwe, bo moduł buduje je w get_vminfo() i wrzuca do wyniku, ale nie ma go w udokumentowanym bloku RETURN, co znaczy, że nic nie obiecuje, że będzie dalej działać. Warto dokładnie wiedzieć, jak się zachowuje, bo są w nim dwie pułapki:\nPojawia się tylko wtedy, gdy moduł faktycznie utworzył maszynę. mac jest składane tylko na ścieżce tworzenia i wdrażania. Pójdź gałęzią „already exists”, a wynik ma vmid i msg i nic więcej. Zawiera tylko interfejsy, które przekazałeś. Kod przechodzi po parametrach, które podałeś, wybiera te pasujące do net[0-9], a potem odczytuje z API zapisaną konfigurację każdego z nich. Brak parametru net, brak klucza mac. Dlatego playbook produkcyjny potrzebuje obu połówek, a druga jest brzydka:\n- name: Get MAC address of VM ansible.builtin.set_fact: primary_mac_addr: \u0026gt;- {{ created_vm.mac.net0 if created_vm is defined and created_vm.changed else ((existing_vm.proxmox_vms[0].config.net0 | split(\u0026#39;,\u0026#39;))[0] | split(\u0026#39;=\u0026#39;))[1] }} Kiedy maszyna już istniała, nie ma mac, więc MAC trzeba wykopać z surowego napisu konfiguracji. net0 wraca z API jako virtio=AE:AE:5C:A8:89:85,bridge=vmbr0, więc: podziel po przecinkach, weź pierwsze pole, podziel po =, weź drugą połowę. To chirurgia napisów na odpowiedzi API i uczciwy koszt modułu, którego kształt odpowiedzi zależy od tego, którą gałęzią poszedł.\nJeśli potrzebujesz MAC niezawodnie w obu przypadkach, pobieraj go z proxmox_vm_info bezwarunkowo i parsuj jeden kształt zamiast dwóch.\nSterowanie ze źródła prawdy Spójrz jeszcze raz na linijkę, która otwiera play:\nhosts: \u0026#34;{{ target_hosts | default(\u0026#39;cluster_pve:\u0026amp;status_planned\u0026#39;) }}\u0026#34; To jest faktyczna architektura i warto to powiedzieć wprost: maszyny do zbudowania to nie lista w pliku vars. To hosty w twoim inwentarzu, których zapisany status mówi, że powinny istnieć, a jeszcze nie istnieją.\nInwentarzem jest tu NetBox. Maszynę zamawia się przez utworzenie rekordu NetBox ze statusem planned, z jej CPU, pamięcią, dyskiem, VLAN, właścicielem i platformą. Playbook wybiera maszyny planned, buduje je, przydziela IP, zapisuje DNS, a potem ustawia rekord na staged, i w tym momencie ten host przestaje pasować do wzorca hostów playa, a handler odświeża inwentarz, żeby następny play widział nowy stan:\nhandlers: - name: Refresh inventory ansible.builtin.meta: refresh_inventory Pole statusu to maszyna stanów, playbook to jedno przejście w niej, a całość da się uruchamiać ponownie, bo host, który już poszedł dalej, nie jest wybierany. To dużo lepsza własność niż jakakolwiek ilość idempotencji na poziomie modułu i to dzięki niej zadanie tworzące może sobie pozwolić na bycie jednorazowym.\ncommunity.proxmox ma też własną wtyczkę inwentarza, która buduje inwentarz z klastra: właściwy wybór, kiedy to Proxmox jest źródłem prawdy. Tutaj jest odwrotnie: NetBox jest autorytatywny, a Proxmox to miejsce, gdzie jego intencja się realizuje. To temat na osobny wpis i napiszę go oddzielnie.\nZabranie tego z powrotem Tworzenie bez rozbiórki to pół cyklu życia, a ścieżka usuwania ma własną pułapkę: nie możesz usunąć działającej maszyny:\n- name: Force stop the VM if it is running delegate_to: localhost community.proxmox.proxmox_kvm: api_host: \u0026#34;{{ proxmox_api_ip }}\u0026#34; api_user: \u0026#34;{{ proxmox_user }}\u0026#34; api_password: \u0026#34;{{ proxmox_password }}\u0026#34; name: \u0026#34;{{ inventory_hostname }}\u0026#34; state: stopped force: true timeout: 10 - name: Allow the cluster to stop the VM before removing it ansible.builtin.pause: seconds: 10 - name: Remove the VM from the cluster delegate_to: localhost community.proxmox.proxmox_kvm: api_host: \u0026#34;{{ proxmox_api_ip }}\u0026#34; api_user: \u0026#34;{{ proxmox_user }}\u0026#34; api_password: \u0026#34;{{ proxmox_password }}\u0026#34; name: \u0026#34;{{ inventory_hostname }}\u0026#34; state: absent force: true timeout: 10 state: stopped to łagodne wyłączenie, a jego interakcja z timeout jest udokumentowana i warta zapamiętania: jeśli timeout zostanie osiągnięty przy force: true, maszyna jest wyłączana twardo; przy force: false zadanie zamiast tego pada. Dziesięciosekundowe okno na łagodne wyłączenie, a potem wyciągnięcie wtyczki, to rozsądna polityka dla maszyny, którą się rozbiera, i fatalna dla czegokolwiek innego.\nPełna rozbiórka (proxmox-remove-vms.yml) odwija potem resztę rekordu: DNS, przydzielony IP, interfejsy w NetBox, maszynę w NetBox i nieaktualne wpisy w known_hosts. Opakowuje blok w ignore_errors: true, co w rozbiórce da się obronić. Usuwasz rzeczy, których może już nie być, a na wpół usunięta maszyna jest gorsza niż hałaśliwy log.\nCo zmieniłbym w świeżej budowie Po przeczytaniu źródła modułu, a nie tylko jego dokumentacji, pięć rzeczy:\nUżywaj tokena API, a nie api_user plus api_password. Ma zakres, da się go odwołać i nigdy nie należy do osoby. Ustaw validate_certs jawnie, zanim 2.0.0 zmieni to pod tobą. Przydzielaj VMID sam ze źródła prawdy. Usuwa to wyścig odczytu-modyfikacji-zapisu, pozwala zrezygnować z serial: 1 i daje każdemu późniejszemu zadaniu stabilny identyfikator zamiast nazwy, która nie jest unikalna. Utwórz maszynę gołą, a potem podłącz jej dyski i karty sieciowe przez proxmox_disk i proxmox_nic. Więcej zadań, ale każdy dysk i interfejs ma wtedy moduł, który może go później zmienić, w tym create: disabled dla edycji samych opcji i state: detached zamiast usuwania, a nie konfigurację, którą da się zmienić tylko przez update_unsafe. Pobieraj MAC z proxmox_vm_info w jednym miejscu, żeby był jeden kształt do parsowania zamiast warunku rozpiętego między udokumentowaną a nieudokumentowaną wartością zwrotną. I nie sięgaj po --check na playbooku budującym. Moduł, który się liczy, nie może go honorować.\nPróba na sucho, która zawsze mówi tak, jest gorsza niż żadna, bo jej uwierzysz.\nŹródła community.proxmox collection docs — pełna powierzchnia 47 modułów community.proxmox on GitHub — tam żyje źródło omawiane wyżej; plugins/modules/proxmox_kvm.py to plik do przeczytania, kiedy dokumentacja jest niejednoznaczna proxmox_kvm module documentation — lista parametrów i cytowane wyżej ostrzeżenia update / update_unsafe proxmox_vm_info module documentation — config: current i config: pending PVE qm options reference — prawdziwa specyfikacja każdego napisu scsi[n], net[n] i boot, który przekazujesz dalej proxmoxer — klient Pythona, na którym zbudowana jest kolekcja damo2929/ansible-example — playbooki, z których pochodzą te fragmenty, w tym inwentarz sterowany z NetBox, generowanie DHCP i budowa hiperwizora ","permalink":"https://blogs.damiendye.uk/pl/ansible/proxmox-create-vms-community-proxmox/","summary":"Kolekcja community.proxmox to klient API, a nie agent konfiguracji, i to zmienia kształt każdego playbooka, który jej używa. Gdzie naprawdę wykonują się zadania, dlaczego proxmox_kvm odmawia zbieżności zamiast aktualizować, dlaczego to proxmox_disk i proxmox_nic są właściwym miejscem na zmiany dysków i kart sieciowych, i nieudokumentowana wartość zwrotna, której w końcu będziesz potrzebować.","title":"Tworzenie maszyn wirtualnych Proxmox w Ansible: host, który budujesz, jeszcze nie istnieje"},{"content":"Pytanie, od którego zaczyna się każda ocena Proxmoksa „Czy Proxmox naprawdę jest klasy enterprise?”\nPada w prawie każdej rozmowie o migracji, a obawa pod spodem prawie nigdy nie dotyczy interfejsu WWW. Nikt na poważnie nie boi się, że panel w przeglądarce zepsuje mu dane. Ludzie pytają o to, czy rzecz stojąca między maszyną wirtualną a sprzętem, komponent, który ma trzymać jednego najemcę z dala od pamięci drugiego, na zawsze i bez jednego błędu, jest poważnym kawałkiem inżynierii, czy projektem społeczności, który zrobił się popularny.\nDokładnie tym warto się denerwować. Tyle że ta nerwowość celuje w złą warstwę, bo Proxmox VE nie zawiera hypervisora.\nHypervisorem jest KVM. Jest częścią Linuksa, siedzi w nim od 2007 roku i jeśli twoja organizacja korzysta z EC2, Google Cloud, Oracle Cloud, Alibaba Cloud, DigitalOcean albo Nutanix, to już dziś masz go na produkcji. Po prostu nigdy nie musiałeś o nim myśleć, bo warstwy nad nim należały do kogoś innego.\nTen wpis jest o tym, co ten wspólny fundament naprawdę znaczy. O obu połowach: o części argumentu, która naprawdę się trzyma, i o części, którą slajdy dostawców przeciągają.\nProxmox VE to warstwa zarządzania Wirtualizacja na Linuksie to cztery osobne warstwy, budowane i utrzymywane przez cztery różne grupy ludzi.\n1. Sprzętowe rozszerzenia wirtualizacji. Intel VT-x z EPT albo AMD-V z NPT. Krzem. To one pozwalają gościowi uruchomić własne jądro z natywną prędkością i z własnymi tablicami stron, bez niczego, co emulowałoby instrukcje.\n2. KVM, czyli hypervisor. Moduły jądra: kvm.ko dla rdzenia niezależnego od architektury plus kvm-intel.ko albo kvm-amd.ko dla rozszerzeń producenta. To komponent, do którego należy granica izolacji. Ustawia struktury sterujące maszyny wirtualnej gościa, obsługuje wyjścia z VM, zarządza tablicami stron drugiego poziomu i dostarcza przerwania.\n3. VMM, czyli monitor maszyn wirtualnych w przestrzeni użytkownika. W Proxmox VE jest nim QEMU. Buduje wirtualną płytę główną: chipset, topologię PCIe, dyski, karty sieciowe, porty szeregowe, firmware. KVM uruchamia procesor; QEMU decyduje, jaki sprzęt gość myśli, że ma.\n4. Warstwa zarządzania. To jest Proxmox VE: pve-manager i pveproxy dla API i interfejsu, qemu-server, który zamienia plik konfiguracyjny VM na linię poleceń QEMU, pve-container dla LXC, pmxcfs na Corosyncu dla replikowanej konfiguracji klastra, pve-ha-manager do fencingu i restartów, do tego zapora i stos SDN.\nTe cztery warstwy istnieją też na platformie, z której migrujesz, i robią tam te same cztery rzeczy. vCenter to warstwa 4, VMkernel to warstwa 2, a do tego porównania wrócę, kiedy wszystkie elementy będą już na stole.\nTe same cztery warstwy w Proxmox VE i w vSphere Proxmox VE VMware vSphere 4 \u0026#183; zarządzanie Proxmox VE pve-manager \u0026#183; pveproxy \u0026#183; qemu-server pmxcfs na Corosyncu \u0026#183; pve-ha-manager \u0026#183; SDN vCenter Server osobne urządzenie do zwymiarowania, licencji, łatania i backupu 3 \u0026#183; model urządzeń pve-qemu, w przestrzeni użytkownika wirtualna płyta główna: chipset, PCIe, dyski, karty sieciowe upstreamowe QEMU + 78 łatek Proxmoksa 2 \u0026#183; hypervisor \u0026#183; granica izolacji KVM: kvm.ko + kvm-intel.ko / kvm-amd.ko wejście i wyjście vCPU \u0026#183; EPT/NPT \u0026#183; przerwania upstreamowy Linux, w jądrze budowanym przez Proxmoksa userworld VMX, jeden na VM I/O urządzeń, migawki, zdalna konsola przestrzeń użytkownika, nie w jądrze VMkernel plus VMM na każdy vCPU instrukcje i pamięć gościa własne słowa VMware o VMkernelu: „a POSIX-like operating system” 1 \u0026#183; krzem Intel VT-x + EPT \u0026#183; AMD-V + NPT ten sam krzem Te same cztery warstwy po obu stronach. Proxmox pisze warstwę 4, mocno łata warstwę 3, buduje jądro warstwy 2, a samo KVM bierze z upstreamu. VMware pisze wszystkie cztery i nie pozwala ci przeczytać żadnej. Co Proxmox naprawdę utrzymuje Proxmox VE w całości posiada warstwę 4. Błędem byłoby jednak powiedzieć, że warstwy 2 i 3 tylko pakuje, a to najczęstsze złe odczytanie tego, czym ta firma się zajmuje.\npve-qemu niesie w chwili pisania 78 łatek na upstreamowe QEMU w swoim pliku series:\nCo Proxmox dodaje do QEMU: 78 łatek, w skali extra/ bitmap-mirror/ pve/ 78 łatek, w skali 26 6 46 Przeniesione poprawki z upstreamu. Uderzająco wiele to poprawki bezpieczeństwa w modelu urządzeń: walidacja stride w qxl i virtio-gpu, abort intel_iommu wywoływany przez gościa, wielobieżne DMA w lsi53c895a i virtio-net. Tryby synchronizacji dirty-bitmap dla drive-mirror. Własna praca Proxmoksa: savevm-async, format VMA, sterownik blokowy PBS, pbs-restore, alloc-track, backup fleecing. Narysowane w skali na podstawie debian/patches/series. Większość kolejki to własna inżynieria Proxmoksa, a cała siedzi w warstwie 3. Żadna z tych łatek nie dotyka kvm.ko. Budują też własne jądro i utrzymują pakiety albo łatki dla większości otaczającego stosu: pve-edk2-firmware dla OVMF, do tego lxc, zfsonlinux, openvswitch, libiscsi, corosync-pve, lvm i ceph.\nPrawdziwa granica wygląda więc tak: cała warstwa 4, sporo inżynierii wewnątrz warstwy 3 i jądro, które sami kompilują. Czego nie zrobili, to nie napisali hypervisora. Kod KVM w warstwie 2 to upstreamowy Linux.\nI nic z tego nie jest krytyką Proxmoksa. Jako takie, właśnie dlatego firmie wielkości Proxmoksa w ogóle można powierzyć tę robotę. Mała firma z Wiednia nie usiadła, żeby od zera napisać hypervisor; zbudowała na takim, za którego utrzymanie Intel, AMD, Red Hat, Google, Amazon i IBM już płaciły inżynierom, a własny wysiłek włożyła w warstwę wyżej i w pracę integracyjną, której ta warstwa potrzebuje. Tam zespół tej wielkości może coś zmienić, a kolejka łatek pokazuje, że zmienia.\nCzym KVM naprawdę jest KVM to skrót od Kernel-based Virtual Machine i nazwa jest dokładna: to funkcja jądra, nie program.\nZaładuj moduły, a Linux zyskuje urządzenie znakowe /dev/kvm i mały zestaw wywołań ioctl na nim: KVM_CREATE_VM, KVM_CREATE_VCPU, KVM_SET_USER_MEMORY_REGION, KVM_RUN. Ten interfejs to całe API hypervisora. Wszystko, co potrafi otworzyć deskryptor pliku i zawołać ioctl, może tworzyć maszyny wirtualne.\nNapisał go Avi Kivity w Qumranecie, a wcielono go do Linuksa 2.6.20, wydanego w lutym 2007 roku, czyli dziewiętnaście lat temu. Red Hat kupił Qumranet w 2008 roku i KVM jest w każdym wydaniu jądra od tamtej pory, w zwykłym dla jądra rytmie co dziewięć, dziesięć tygodni. Przeniesiono go daleko poza x86: na arm64, POWER, s390 na IBM Z i RISC-V.\nWażna rzecz architektoniczna to to, dlaczego jest mały.\nKVM nie ma planisty, bo Linux go ma. vCPU to zwykły wątek hosta, a completely fair scheduler sadza go na rdzeniu jak każdy inny wątek. Nie ma zarządcy pamięci, bo Linux go ma. RAM gościa to zwykłe mapowanie w przestrzeni użytkownika, więc może być stronicowany, oparty na hugepages albo umieszczony na węźle NUMA tą samą maszynerią co każdy inny proces. Nie ma stosu sterowników, warstwy blokowej, stosu sieciowego ani systemu plików, bo Linux miał już je wszystkie i to właśnie na nich testuje twój dostawca sprzętu.\nTo jest prawdziwy argument o dojrzałości i jest dużo mocniejszy niż numer wersji. Każde ulepszenie balansowania NUMA, każda zmiana w io_uring, każdy sterownik sieciowy, każde nowe obejście erraty procesora, które trafia do Linuksa, trafia pod twoje maszyny wirtualne, bo nie ma osobnego jądra hypervisora, do którego ktoś musiałby to przenosić.\nArgument o typie 1 rysuje linię w złym miejscu Zarzut, który niezawodnie pada potem, brzmi: KVM to „tylko hypervisor typu 2”. Działa na systemie hosta, w przeciwieństwie do ESXi, który działa na gołym sprzęcie.\nTa taksonomia jest o trzy dekady starsza od sprzętowej wirtualizacji, a to, wokół czego rysowała linię, nie leży już tam, gdzie wszyscy myślą.\nCo naprawdę się dzieje, kiedy vCPU pracuje QEMU woła ioctl(vcpu_fd, KVM_RUN). Sterowanie przechodzi do kvm.ko, który ładuje stan procesora gościa i wykonuje VMLAUNCH. Od tej instrukcji do następnego wyjścia z VM gość wykonuje się bezpośrednio na fizycznym rdzeniu, w trybie gościa, z własnymi tablicami stron aktywnymi przez EPT, z pełną prędkością sprzętu. Nie ma pod nim nic, co by cokolwiek interpretowało. „System hosta” nie leży na tej ścieżce. Na tym rdzeniu nawet nie działa.\nKiedy gość zrobi coś, co wymaga obsługi, procesor wychodzi do hosta i ląduje w kvm.ko, w jądrze, dokładnie na tym poziomie uprawnień, który zajmuje VMkernel w ESXi. Większość wyjść jest rozwiązywana właśnie tam i wraca do gościa, a przestrzeń użytkownika w ogóle się o tym nie dowiaduje.\nDroga vCPU z QEMU do trybu gościa i gdzie kończą się jego wyjścia przestrzeń użytkownika jądro, ring 0 tryb hosta tryb gościa, VMX non-root QEMU: wątek vCPU jeden zwykły wątek hosta na vCPU kvm.ko wejście do VM \u0026#183; obsługa wyjść \u0026#183; EPT \u0026#183; przerwania gość, na fizycznym rdzeniu własne jądro, własne tablice stron przez EPT z pełną prędkością sprzętu ioctl(KVM_RUN) VMLAUNCH wyjście z VM tutaj wyjście do przestrzeni użytk. Nic nie interpretuje gościa, a host nie działa na tym rdzeniu. Gdzie kończy się wyjście Rozwiązane w jądrze \u0026#183; naruszenie EPT/NPT \u0026#183; zapis do lokalnego APIC: z APICv często bez wyjścia \u0026#183; przerwanie międzyprocesorowe, posted w sprzęcie \u0026#183; doorbell virtio-net, obsłużony przez vhost-net Dociera do QEMU \u0026#183; dostęp do rejestru emulowanego e1000 albo IDE \u0026#183; zapis do przestrzeni konfiguracyjnej PCI \u0026#183; wszystko, na co umie odpowiedzieć tylko QEMU Tylko druga lista płaci za podróż przez przestrzeń użytk., a skracasz ją, używając urządzeń virtio i typu maszyny bez przestarzałego sprzętu. Ścieżka, którą idzie vCPU. Wszystko nad przerywaną linią to wątek hosta; wszystko pod nią to gość na gołym krzemie. Do QEMU docierają tylko te wyjścia, na które QEMU musi odpowiedzieć. ESXi ma ten sam podział Teraz spójrz na platformę, która rzekomo dowodzi tego rozróżnienia.\nWłasna dokumentacja architektury VMware opisuje VMkernel jako „a POSIX-like operating system”, który zapewnia „process creation and control, signals, file system, and process threads”. To jest system operacyjny, według opisu jego autora. A działająca VM na ESXi nie jest czymś wewnątrz jądra, tylko grupą procesów userworld: VMM na każdy wirtualny procesor, który wirtualizuje instrukcje gościa i zarządza jego pamięcią, oraz proces VMX na każdą VM, który obsługuje wejście-wyjście do urządzeń niekrytycznych wydajnościowo i rozmawia z menedżerem migawek i zdalną konsolą.\nPrzeczytaj to, myśląc o QEMU. Kontekst wykonania na vCPU w jądrze, proces w przestrzeni użytkownika na VM, który emuluje urządzenia i zarządza. VMware podzieliło to z tego samego powodu co wszyscy inni.\nHyper-V nie jest inny. Dokumentacja Microsoftu mówi wprost, że Virtual Machine Worker Process, vmwp.exe, to „a user mode component of the virtualization stack”, uruchamiany na każdą VM, i że wszystkie emulowane urządzenia są zaimplementowane w nim, działającym w partycji root, czyli w Windows. Nawet Xen, architektura, do której ta taksonomia pasuje najlepiej, potrzebuje do działania Linuksa ogólnego przeznaczenia w dom0, a model urządzeń dla w pełni wirtualizowanych gości bierze z QEMU.\nTo gdzie jest ta linia? Kryterium nigdy nie brzmiało „czy używa przestrzeni użytkownika”. Taksonomia Goldberga z początku lat 70. pyta, czy hypervisor jest aplikacją działającą na istniejącym wcześniej systemie operacyjnym, który już posiada sprzęt i zajmuje się planowaniem. To jest hypervisor typu 2, hostowany: VMware Workstation, VirtualBox, Parallels Desktop, gołe QEMU bez akceleracji. Instalujesz system ogólnego przeznaczenia, potem instalujesz na nim program, a ten program prosi system o pamięć i czas procesora jak każdy inny program.\nKVM tym nie jest. kvm.ko nie jest programem na Linuksie. Jest częścią Linuksa, wykonuje się na tym samym poziomie uprawnień co kod, do którego należy sprzęt, a kiedy gość wychodzi, ląduje bezpośrednio tam. Pod hypervisorem nie ma żadnego systemu hosta. Jądro jest hypervisorem. Proxmox VE dostarcza to jądro jako system, dokładnie tak, jak ESXi dostarcza VMkernel jako system.\nA wersji „potrzebuje przestrzeni użytkownika, więc to typ 2” nie da się uratować, bo stosowana konsekwentnie łapie wszystko. Żadna VM nie ruszy na ESXi bez swojego procesu VMX, żadna na Hyper-V bez vmwp.exe, żadna na Xenie jako gość HVM bez QEMU. Test, który wrzuca każdy dostępny na rynku hypervisor do jednego worka, niczego nie rozróżnia.\nJądro, które posiada wirtualizację procesora i pamięci Model urządzeń na VM w przestrzeni użytkownika Potrzebuje wcześniej istniejącego systemu hosta? VMware ESXi VMkernel VMX na VM Nie Microsoft Hyper-V hypervisor plus partycja root z Windows vmwp.exe Nie Xen hypervisor Xen plus Linux w dom0 QEMU, w dom0 albo w stub domain Nie KVM kvm.ko QEMU Nie VirtualBox, VMware Workstation jądro hosta, przez zainstalowany sterownik sama aplikacja Tak Cztery produkty, jeden kształt, a potem piąty wiersz, który naprawdę jest inny. Ten ostatni wiersz opisywano słowem „typ 2” i tylko w nim coś innego już wcześniej rządziło sprzętem.\nTaksonomia więc nadal rysuje linię. Tylko że nie rysuje jej nigdzie blisko miejsca, które zakłada ten argument: KVM i ESXi stoją po tej samej stronie. Nazwanie KVM typem 2 to pożyczenie słowa z kategorii VirtualBoxa i przyklejenie go do czegoś, co architektonicznie należy do kategorii ESXi.\nW ocenie ta etykieta nie robi więc nic pożytecznego, bo oba produkty, między którymi wybierasz, siedzą w tym samym pudełku. Różni je nie numer typu. Różni je to, że jeden dostawca napisał też jądro i nie pozwoli ci go przeczytać: to rozróżnienie licencyjne i dotyczące przejrzystości, przebrane w diagram architektury. Nutanix pokazuje to handlowo: dostarcza ten sam kod KVM co Proxmox i opisuje AHV jako hypervisor typu 1 na gołym sprzęcie. Ten sam kod, odwrotna etykieta, inny dział marketingu.\nW tym zarzucie kryje się jednak prawdziwa obawa i zasługuje na lepszą nazwę: jądro ogólnego przeznaczenia robi tysiąc rzeczy, których jądro zbudowane do jednego celu nie robi, a to więcej kodu i większa powierzchnia ataku obok granicy izolacji. To uzasadnione i mierzalne, i wracam do tego pod koniec.\nGdzie praca naprawdę się dzieje Jedyne miejsce, w którym odruch „przecież to działa na systemie hosta” ma rację bytu, to obsługa wyjść, więc warto jasno powiedzieć, które wyjścia trafiają dokąd.\nGość robi to Obsługuje Koszt Dotyka strony jeszcze niezmapowanej w EPT/NPT kvm.ko, w jądrze Jedno wyjście, mikrosekundy Pisze do swojego lokalnego APIC Sam procesor, przez APICv/AVIC Często żadnego wyjścia Wysyła przerwanie międzyprocesorowe Posted interrupts w sprzęcie Często bez wyjścia Nadaje na kolejce virtio-net z vhost-net Wątek jądra, bez skoku do przestrzeni użytkownika Jeden doorbell Czyta rejestr emulowanego kontrolera e1000 albo IDE Aż do QEMU Wyjście plus podróż w obie strony przez przestrzeń użytkownika Tylko ostatni wiersz przypomina choć trochę karykaturę typu 2 i to zarazem wiersz, który się wyeliminowuje: używając urządzeń virtio i nie wystawiając emulowanego przestarzałego sprzętu, którego nie potrzebujesz. Za wyborem Q35 zamiast i440fx stoi to samo rozumowanie: mniej przechwytywanych dostępów do rejestrów, mniej przestarzałych urządzeń do obejścia.\nSystem hosta to zaleta, nie balast Druga połowa tego rachunku nigdy nie trafia do argumentu, więc proszę: węzeł Proxmoksa to maszyna, na której naprawdę da się pracować. To Debian, więc całe archiwum Debiana jest o jedno apt install stąd.\nMonitoring, który już masz: Prometheus node exporter, smartmontools, twój obecny agent, a nie to, co urządzenie łaskawie wystawi. Diagnostyka, kiedy coś zwalnia: fio, iperf3, nvme-cli, perf, bpftrace. Agenci kopii zapasowych od każdego dostawcy, który wydaje binarkę na Linuksa. Zarządzanie konfiguracją, więc hypervisor siedzi w tym samym inwentarzu Ansible co wszystko inne, zamiast być przypadkiem szczególnym. fwupd do firmware\u0026rsquo;u, na sprzęcie, którego producent wspiera LVFS. Nic z tego nie potrzebuje formatu wtyczek, podpisanego pakietu ani błogosławieństwa dostawcy. Porównaj to z modelem ESXi, gdzie powłoka jest celowo ograniczona, kod firm trzecich przychodzi jako VIB, a menedżera pakietów, po który można by sięgnąć, w ogóle nie ma.\nSięga do stosu pamięci masowej Agenci monitoringu to nudna wersja tej historii. Własna dokumentacja pamięci masowej Proxmoksa wymienia natywne wtyczki: dir, NFS, CIFS, CephFS, ZFS, BTRFS, LVM, LVM-thin, iSCSI, FC/SAS, RBD, ZFS-over-iSCSI, PBS, a potem dodaje zdanie, które warto wziąć dosłownie:\nyou may use all storage technologies available for Debian Linux\nTo stwierdzenie o tym, gdzie leży granica, a mechanizm za nim jest ogólny: dostarcz urządzenie blokowe na każdy węzeł, połóż na nim LVM, dodaj je jako pamięć LVM z włączonym shared. Dokładnie tak działają obsługiwane ścieżki Fibre Channel i iSCSI, więc wszystko, co potrafi wyprodukować współdzielone urządzenie blokowe, może pójść tą samą drogą.\nCztery transporty, jedna droga do współdzielonej pamięci Proxmoksa transport co daje ci Linux co widzi Proxmox Fibre Channel / SAS natywna wtyczka iSCSI natywna wtyczka NVMe/TCP albo RDMA bez wtyczki: nvme-cli ATA over Ethernet bez wtyczki: aoetools urządzenie blokowe na każdym węźle /dev/sdX \u0026#183; /dev/nvme0n1 grupa woluminów LVM shared: 1 typ pamięci: lvm migracja na żywo w całym klastrze Proxmox VE musi rozpoznać tylko dwa pudełka po prawej. Wszystko na lewo od nich to warstwa blokowa Linuksa, a jej nie obchodzi, jak urządzenie tam trafiło. Dwa z tych transportów mają wtyczkę w Proxmoksie, a dwa nie mają nic, i za drugim pudełkiem nie robi to żadnej różnicy. Warstwa LVM to miejsce, w którym współdzielony LUN staje się pamięcią klastra, niezależnie od tego, co go dostarczyło. NVMe over TCP albo RDMA to przypadek, o którym warto wiedzieć, bo jest szybki, aktualny i nieobecny na tej liście wtyczek. nvme-tcp i nvme-rdma to sterowniki hosta w drzewie Linuksa (NVMe/TCP jest w mainline od 5.0), więc nie ma czego kompilować. nvme-cli to pakiet Debiana (nvme discover, potem nvme connect), a nvmetcli konfiguruje po drugiej stronie target nvmet w jądrze. Podłączona przestrzeń nazw pojawia się jako /dev/nvmeXnY i od tego momentu to zwykłe urządzenie blokowe.\nATA over Ethernet pokazuje to samo z przeciwnego końca skali: prastare, niszowe i równie nieobsługiwane jako wtyczka. Sterownik aoe jest w mainline; aoetools daje ci aoe-discover i aoe-stat; vblade zamienia dowolny plik albo urządzenie blokowe na innej maszynie w target. Ta sama droga, ten sam wynik.\nŻadne z nich nie jest API wtyczek, SDK ani programem certyfikacji. Tak to wygląda, kiedy warstwa pamięci masowej hypervisora jest warstwą blokową Linuksa.\nUczciwe zastrzeżenia, bo to brzmi jak sztuczka na imprezę, dopóki nie jest trzecia w nocy. Żaden z tych transportów nie jest przetestowanym typem pamięci Proxmoksa, więc integracja i jej tryby awarii (zachowanie przy ponownym łączeniu, multipath, timeouty pod obciążeniem) są twoje: ty za nie odpowiadasz i ty je testujesz, zanim zamieszka na tym coś ważnego. A AoE to goły protokół warstwy 2, nieroutowalny i bez uwierzytelniania, więc jego miejsce jest w odizolowanym VLAN-ie pamięci masowej i nigdzie indziej. NVMe/TCP ma przynajmniej model wykrywania i da się go routować, i w dużej mierze dlatego to po niego sięga się dziś.\nKto jeszcze używa KVM Stąd bierze się twierdzenie „już go używasz”. Każda platforma poniżej działa na tym samym module jądra.\nPlatforma Gdzie ją spotykasz Część KVM VMM w przestrzeni użytkownika Amazon EC2 (Nitro) Chmura publiczna Rdzeniowy moduł KVM Własny: QEMU wyrzucone, model urządzeń w kartach Nitro AWS Lambda, Fargate Serverless /dev/kvm Firecracker: minimalny monitor microVM w Ruście Google Compute Engine Chmura publiczna KVM od startu Własny VMM Google\u0026rsquo;a, celowo nie QEMU Alibaba Cloud ECS Chmura publiczna Uproszczone KVM (X-Dragon) Własny, z siecią i pamięcią zrzuconymi na kartę MoC Oracle Cloud (OCI) Chmura publiczna KVM z Oracle Linux, ten sam stos, który Oracle dostarcza on-premises Rodowód QEMU DigitalOcean, Linode/Akamai, Vultr, Hetzner, OVHcloud, Scaleway, UpCloud Chmura publiczna Standardowe KVM QEMU Nutanix AHV HCI on-premises Standardowe KVM QEMU z libvirt i Open vSwitch OpenStack (Nova) Chmura prywatna Standardowe KVM QEMU przez libvirt: domyślny i najlepiej przetestowany sterownik Apache CloudStack, OpenNebula, oVirt On-premises Standardowe KVM QEMU przez libvirt OpenShift Virtualisation, SUSE Harvester Kubernetes Standardowe KVM QEMU w podzie, przez KubeVirt Proxmox VE On-premises Standardowe KVM QEMU, obok LXC dla kontenerów Wszyscy zostawiają połowę w jądrze i przepisują połowę w przestrzeni użytkownika Hyperscalerzy nie zrobili forka KVM. Zrobili forka roboty QEMU.\nAWS przeniósł EC2 z Xena na hypervisor Nitro, zbudowany na rdzeniowym module jądra KVM, z QEMU wyrzuconym w całości. Model urządzeń żyje zamiast tego w dedykowanych kartach Nitro i stąd wydajność nie do odróżnienia od gołego sprzętu. Działa na tym każdy typ instancji EC2 obecnej generacji. Osobno Lambda i Fargate działają na Firecrackerze, VMM w Ruście zbudowanym do tego celu, który rozmawia z tym samym /dev/kvm.\nGoogle uruchamia każdą maszynę Compute Engine na KVM od samego startu Compute Engine i napisał własny VMM w przestrzeni użytkownika zamiast użyć QEMU, wprost po to, żeby uniknąć ogromnej macierzy gości, urządzeń i trybów QEMU. Poszli też w drugą stronę i utwardzili moduł jądra w upstreamie, usuwając emulowane urządzenia, których nikt nie potrzebował, i zawężając zbiór emulowanych instrukcji. Ta praca siedzi w KVM, którego używasz.\nAlibaba zrobiła to samo w kształcie X-Dragon: odchudzony hypervisor KVM, z wirtualizacją sieci i pamięci zrzuconą na kartę MoC opartą na FPGA.\nNutanix AHV to KVM plus libvirt plus QEMU plus Open vSwitch plus orkiestracja Nutaniksa. Ze wszystkich produktów komercyjnych na tej liście to najbliższy krewny Proxmox VE. Inna warstwa 4 i zupełnie inna faktura.\nPięć platform, pięć modeli urządzeń, jedno KVM Amazon EC2Nitro Google CloudCompute Engine Alibaba CloudECS, X-Dragon NutanixAHV Proxmox VEna Debianie zarządzanie model urządzeń hypervisor sprzęt płaszczyzna EC2 konsola i API za godzinę instancji płaszczyzna GCE konsola i API za godzinę instancji konsola ECS i API za godzinę instancji Prism i AOS na każdym węźle za węzeł, za rok pve-manager pveproxy, HA, SDN na każdym węźle opcjonalna subskrypcja własny VMM, zero QEMU urządzenia żyją na kartach Nitro własny VMM Google'a, celowo nie QEMU uproszczony VMM, sieć i pamięć zrzucone na kartę MoC QEMU, libvirt i Open vSwitch QEMU, a obok niego LXC KVM: kvm.ko, kvm-intel.ko / kvm-amd.ko granica izolacji, i to ten sam kod w każdej kolumnie Intel VT-x + EPT \u0026#183; AMD-V + NPT Ten sam moduł jądra w każdej kolumnie. W górę stosu zmienia się model urządzeń, potem warstwa zarządzania, potem licencja, i w tej właśnie kolejności te platformy naprawdę się różnią. Proxmox VE zostawia QEMU celowo Kusi, żeby czytać tę tabelę jak ranking, z AWS i Google\u0026rsquo;em na szczycie za to, że zastąpili QEMU. To złe odczytanie, bo ich ograniczenie nie jest twoim.\nAWS i Google mają jeden profil sprzętu, w skali, w której jeden błąd w emulacji urządzenia to zdarzenie na całą flotę, i kontrolują każdą granicę obrazu gościa, która ich obchodzi. W takim świecie szerokość QEMU to prawie wyłącznie obciążenie, więc wycięcie go jest oczywiście słuszne.\nTy nie żyjesz w takim świecie. Masz obraz urządzenia z 2013 roku, który chce e1000. Masz VM z Windows, której typ maszyny musi zostać przypięty do końca jej życia. Masz GPU do przekazania, emulowany kontroler SAS, żeby zadowolić instalator, magazyn zmiennych UEFI do zachowania. QEMU to dokładnie to, co pozwala platformie ogólnego przeznaczenia powiedzieć na to wszystko „tak”.\nTo, co AWS nazywa powierzchnią ataku, ty nazywasz macierzą zgodności. Oba opisy są trafne; różnica polega na tym, czy możesz wybierać swoje obciążenia.\nTo wyjaśnia też kształt tamtej kolejki łatek. AWS i Google rozwiązały kopie zapasowe i migawki poza VMM, we własnych usługach pamięci masowej. Proxmox nie miał usługi pamięci, w której mógłby to rozwiązać, więc włożył to do QEMU i dlatego savevm-async i sterownik blokowy PBS istnieją jako łatki, a nie jako produkty.\nA warto to wiedzieć z praktycznego powodu: części Proxmox VE, których brakowałoby ci najbardziej, to te, których nie ma w upstreamie. Konfiguracje VM to zwykły tekst, a obrazy dysków są w standardowych formatach, więc maszyna się przeniesie. Ale migawka ze stanem RAM i przyrostowy łańcuch Proxmox Backup Server zależą od forka QEMU Proxmoksa. To dużo lżejsza zależność niż zamknięty hypervisor, bo fork jest publiczny, na AGPL i możesz przeczytać w nim każdą łatkę, ale nie jest zerowa, a hasło „brak uzależnienia na poziomie oprogramowania” powinno nieść ten przypis.\nNo to czy jest klasy enterprise? Leniwa wersja tego argumentu nie działa i warto to powiedzieć wprost. „AWS używa KVM, więc Proxmox VE jest klasy enterprise” to non sequitur: bierze twierdzenie o jednej warstwie i po cichu stosuje je do całego produktu.\nOto wersja, która się trzyma.\nWspólna jest ta warstwa, którą najtrudniej zrobić dobrze i najgroźniej zrobić źle. Wirtualizacja procesora i pamięci oraz granica izolacji między najemcami to część, w której błąd oznacza włamanie, a nie przestój. Ten kod przeglądają inżynierowie opłacani przez Amazona, Google\u0026rsquo;a, Red Hata, Intela, AMD, IBM i Alibabę, a jego błędy znajdują firmy, które mają największe floty na świecie, zwykle zanim jądro do ciebie dotrze. Kiedy już pojawi się podatność pozwalająca uciec z gościa, poprawka przychodzi zwykłą aktualizacją jądra, którą i tak zamierzałeś wgrać. Nie czekasz na cykl wydań jednego dostawcy dla hypervisora, który widzi tylko ten dostawca.\nNiewspólne jest wszystko nad tą granicą. A to znaczy, że pytanie zapada się w dwa, na które dużo łatwiej odpowiedzieć:\nCzy warstwa zarządzania jest wystarczająco dobra dla tego, jak pracujesz? Czy możesz kupić do niej wsparcie na warunkach, z którymi da się żyć? Oba da się przetestować w proof of concept i wpisać do umowy. Żadne nie wymaga wiary w hypervisor.\nTo dużo lepsza pozycja niż ta, którą zakłada pierwotne pytanie: że ktoś każe ci zaufać nowatorskiemu hypervisorowi od małego dostawcy. Nie każe. Kod specyficzny dla Proxmoksa to warstwa zarządzania, głównie w Perlu i coraz częściej w Ruście, plus tamta kolejka łatek na QEMU, a zauważ, gdzie te łatki lądują: w modelu urządzeń i ścieżce kopii zapasowych, nie na granicy izolacji.\nWarto też wiedzieć, ile kosztuje cię awaria warstwy specyficznej dla Proxmoksa. Procesy QEMU to zwykłe, niezależne procesy na hoście, więc to, że pveproxy się przewróci, nie zatrzymuje ani jednej maszyny wirtualnej. To zupełnie inny promień rażenia niż utrata komponentu, do którego należy granica izolacji.\nCzego „ten sam hypervisor” ci nie kupuje Tutaj dokumenty dostawców mające budować zaufanie zwykle się kończą, co coś mówi o tym, dla kogo są pisane. To ta bardziej użyteczna połowa.\nNie kupuje ci niezawodności AWS. Dostępność Nitro ma bardzo mało wspólnego z KVM. Bierze się z płaszczyzny sterowania, sieci szkieletowej, usługi pamięci, zarządzania pojemnością i praktyki operacyjnej wokół tego wszystkiego. Niezawodność twojego klastra będzie brała się z projektu kworum Corosynca, konfiguracji fencingu, wyboru pamięci masowej i redundancji sieci. KVM nie ma zdania w żadnej z tych spraw. Wspólny hypervisor z hyperscalerem nie dziedziczy jego operacji.\nNie kupuje ci powierzchni ataku Nitro i tu ląduje uzasadniona połowa zarzutu o typ 2. Uruchamiasz QEMU na jądrze ogólnego przeznaczenia, a historycznie to w modelu urządzeń QEMU mieszkały pamiętne ucieczki z VM. Kanonicznym przykładem jest VENOM, w emulowanym kontrolerze dyskietek, którego nikt nie używał. Google mógł wtedy zaznaczyć, że Compute Engine nie był podatny właśnie dlatego, że nie uruchamia QEMU. Ty je uruchamiasz, więc środki kompensujące są po twojej stronie: wybieraj virtio zamiast emulowanego sprzętu, nie wystawiaj urządzeń, których nie potrzebujesz, nie ruszaj profili AppArmor i łataj QEMU z tą samą dyscypliną co jądro. Łatki extra/ w Proxmoksie to oni, robiący dokładnie to w twoim imieniu, i rozsądnie jest sprawdzać, czy dalej to robią.\nNie sprawia, że zachowanie VM przenosi się między platformami. Wybór modelu procesora, wersjonowanie typu maszyny, zgodność migracji na żywo i zachowanie zegara rozstrzygają się w warstwach 3 i 4, a te wszędzie są inne. Klaster z mieszanymi generacjami procesorów nadal cię ukarze za ustawienie typu CPU na host, a zegary gości nadal dryfują, niezależnie od logo na platformie. Ten sam hypervisor to nie to samo zachowanie.\nNie odpowiada na pytanie o wsparcie, a właśnie ono naprawdę obchodzi dział zakupów, i słusznie. Proxmox VE jest na AGPLv3 i można go za darmo uruchomić na produkcji. Subskrypcja kupuje repozytorium testowane pod enterprise i wsparcie dostawcy, od €120 za gniazdo rocznie. Własne wsparcie Proxmoksa działa w austriackich godzinach pracy, więc całodobowa obsługa przychodzi od partnerów, a nie z Wiednia. croit, gdzie pracuję, jest jednym z tych partnerów i obsługuje 24/7, 365 dni w roku. To negocjacja handlowa, a nie ryzyko techniczne, a to, że jest negocjacją handlową, to sens wszystkiego powyżej.\nCo naprawdę ocenić zamiast tego Jeśli hypervisor jest sprawą załatwioną, proof of concept powinien poświęcić czas warstwie, która jest naprawdę specyficzna dla Proxmox VE:\nFencing i HA. Wyciągnij zasilanie węzłowi z działającymi gośćmi HA i zmierz czas restartu. Potem zrób to dwóm węzłom i sprawdź, czy pozostałe zachowują się tak, jak oczekujesz, kiedy kworum przepada. Migracja na żywo między generacjami procesorów. Z modelem CPU, na którym naprawdę zamierzasz się ustandaryzować, nie z host. Kopie zapasowe i, co ważniejsze, odtwarzanie. Czasy odtwarzania pod obciążeniem, nie czasy kopii. Nikt nigdy nikomu nie podziękował za szybki backup. Model uprawnień. Czy możesz dać zespołowi aplikacyjnemu konsolę i sterowanie zasilaniem ich własnych VM i nic więcej, na tyle szczegółowo, żeby audytor był zadowolony. API. Wszystko, co robi interfejs WWW, jest wywołaniem API; jeśli twoja automatyzacja nie umie go sterować, platforma nie pasuje do tego, jak pracujesz. Ścieżka aktualizacji. Aktualizacja do nowej wersji głównej na klastrze PoC, zanim postawisz na nim 400 VM. Żadne z tych pytań nie dotyczy KVM. I właściwie o to chodzi.\nHypervisor to część załatwiona. Wydaj proof of concept na te części, które załatwione nie są.\nŹródła Samo KVM\nKVM API documentation — interfejs ioctl /dev/kvm, czyli cała umowa hypervisora Linux 2.6.20 release notes — wydanie, do którego wcielono KVM, luty 2007 Some KVM developments — LWN, styczeń 2007, o KVM w dniach po trafieniu do mainline Jak zbudowane są inne hypervisory\nInterpreting virtual machine monitor and executable failures — własny opis Broadcomu działającej VM na ESXi jako \u0026ldquo;several processes or userworlds\u0026rdquo;, z jednym VMM na vCPU i jednym VMX na VM The Architecture of VMware ESXi (PDF) — whitepaper nazywający VMkernel \u0026ldquo;a POSIX-like operating system\u0026rdquo; z procesami, sygnałami, systemem plików i wątkami. Link prowadzi do kopii, bo oryginalny adres VMware nie przetrwał reorganizacji w Broadcomie, co samo w sobie jest małym komentarzem o ciągłości dostawców Hyper-V architecture — Microsoft o Virtual Machine Worker Process jako komponencie trybu użytkownika, jednym na VM, w którym żyją wszystkie emulowane urządzenia The Nutanix Bible — AHV architecture — AHV opisane jako KVM z libvirt, QEMU i Open vSwitch Kto używa KVM i jak go zmienił\n7 ways we harden our KVM hypervisor at Google Cloud — Google o uruchamianiu KVM bez QEMU i o utwardzaniu, które zrobili w upstreamie The AWS Nitro System — które typy instancji EC2 działają na hypervisorze Nitro AWS EC2 Virtualization 2017: Introducing Nitro — opis przejścia z Xena na KVM autorstwa Brendana Gregga, wciąż najjaśniejszy Firecracker — minimalny VMM AWS oparty na KVM, za Lambdą i Fargate Alibaba Cloud\u0026rsquo;s sixth-generation ECS instances — hypervisor X-Dragon i odciążenie na kartę MoC KubeVirt — model QEMU/KVM w podzie za OpenShift Virtualisation i Harvesterem OpenStack Nova hypervisor support matrix — KVM jako sterownik referencyjny Co utrzymuje Proxmox\nThe Proxmox GitHub organisation — 89 repozytoriów, w tym pve-qemu, pve-kernel, pve-edk2-firmware i pakiety dla lxc, zfsonlinux, openvswitch, libiscsi, corosync-pve i ceph pve-qemu patch series — 78 łatek policzonych wyżej i najszybszy sposób, żeby zobaczyć dokładnie, co Proxmox dodaje do QEMU Proxmox VE storage documentation — lista natywnych wtyczek, które typy pamięci są współdzielone, i zdanie o używaniu wszystkich technologii pamięci dostępnych dla Debian Linux nvme-cli i nvmetcli — narzędzia hosta i targetu NVMe-oF; aoetools i vblade dla odpowiednika ATA over Ethernet. Wszystko w Debianie trixie, na którym zbudowany jest Proxmox VE 9 Proxmox VE pricing and subscription tiers — co obejmuje subskrypcja Ujawnienie: pracuję dla croit, złotego partnera Proxmoksa. Twierdzenia techniczne powyżej mają źródła i da się je sprawdzić; akapit handlowy to część, w której mam interes, więc traktuj go odpowiednio.\n","permalink":"https://blogs.damiendye.uk/pl/proxmox/kvm-the-hypervisor-inside-proxmox-ve/","summary":"„Czy Proxmox jest klasy enterprise?” to pytanie o hypervisor, a Proxmox VE żadnego nie zawiera. Hypervisorem jest KVM, ten sam moduł jądra pod EC2, Google Cloud, Alibaba Cloud, Nutanix AHV i OpenShift Virtualisation. Co Proxmox naprawdę utrzymuje, dlaczego argument o typie 1 celuje w złą linię i czego wspólny fundament ci nie kupuje.","title":"Proxmox VE nie jest hypervisorem. Jest nim KVM i już go używasz"},{"content":"Dlaczego HDD wracają do gry Przez lata rada była na tyle prosta, że mieściła się na karteczce: wrzuć wszystko na SSD.\nTa rada była słuszna, a przy tym tania. Dziś żadne z tych dwóch nie jest do końca prawdą. Podaż NAND się skurczyła, popyt na AI wypchnął ceny flasha w górę, a pojemne NVMe stało się trudne do uzasadnienia we wdrożeniu Proxmoksa liczonym co do grosza, takim, które ma działać, być niezawodne i kosztować tak mało, jak tylko uczciwie się da.\nDyski HDD klasy enterprise znów są ciekawe z tego samego powodu co zawsze: pojemność na funta, a nic innego nawet się nie zbliża.\nHaczyk polega na tym, że każdy, kto uruchamiał maszyny wirtualne na dyskach talerzowych, wie, jak źle to może pójść. To doświadczenie jest prawdziwe i zwykle jest winą architektury, a nie dysków.\nZrzucenie winy na dyski jest łatwiejsze, co prawda. Jest też błędne i drogie, bo namawia ludzi do kupowania flasha, którego nie potrzebowali.\nWszystko poniżej zakłada Proxmoksa z hiperkonwergentnymi OSD Ceph, bo tam decyzje o układzie naprawdę gryzą.\nProblemem są opóźnienia, nie przepustowość Nowoczesny dysk HDD enterprise doskonale radzi sobie z dużymi danymi sekwencyjnymi. To nigdy nie było wąskie gardło.\nDysk enterprise 7,2k RPM daje mniej więcej 80 do 100 IOPS pracy losowej, bo każda losowa operacja czeka na ruch głowicy i obrót talerza. Ta liczba prawie się nie zmieniła od dwudziestu lat. To mechanika, nie elektronika. Podstawowy dysk SSD enterprise jest od niej o trzy albo cztery rzędy wielkości dalej.\nDaj temu samemu dyskowi pracę sekwencyjną, a będzie przydatnym urządzeniem. Liczba operacji mniej więcej się podwaja, do około 200 IOPS, ale każda z nich niesie teraz duży blok, bo głowica już jest we właściwym miejscu i może dalej strumieniować. Dostajesz więc prawdziwą przepustowość, 150 do 250 MB/s, w cenie za terabajt, do której nic innego się nie zbliża.\nTo jest ta ważna asymetria, i nie brzmi ona „HDD są wolne”. Dysk talerzowy jest dobry w pracy sekwencyjnej i beznadziejny w losowej, a obie liczby są blisko siebie tylko dlatego, że ograniczona jest liczba operacji, a nie bajtów.\nTo ustala całe założenie projektu. Nie próbujesz przyspieszyć dysku. Nie da się. Próbujesz tak to ułożyć, żeby spędzał czas w trybie, w którym już jest kompetentny, i trzymać od niego z daleka drobny losowy ruch. As such, wszystko, co dalej, to ta jedna idea zastosowana dwa razy.\nProblem w tym, że maszyny wirtualne nie generują obciążenia, w którym HDD są dobre. Generują aktualizacje metadanych, zapisy dziennika, drobne synchroniczne flushe, logi, porządki w systemie plików i serie losowej aktywności od tuzina gości naraz, które docierają do dysku przemieszane.\nBeznadziejny w pracy losowej, naprawdę dobry w sekwencyjnej: tryb, w którym pracuje dysk, to cały projekt Operacje na sekundę, jedno urządzenie: słupki nie w skali, trzy rzędy wielkości się nie zmieszczą HDD 7,2k: losowo 80–100 każda operacja czeka na głowicę i obrót: beznadzieja HDD 7,2k: sekwencyjnie ~200 a każda niesie duży blok: 150–250 MB/s realnej przepustowości NVMe enterprise 100k+ brak ruchomych części, brak ruchu głowicy Co klaster hiperkonwergentny naprawdę wysyła na dysk metadane gości zapisy dziennika i fsync logi i porządki RocksDB metadane losowe serie, wielu gości duże transfery sekwencyjne Pięć z tych sześciu jest drobnych i losowych. Tylko jeden to coś, w czym dysk jest dobry. To nie jest „HDD są wolne”. Dysk talerzowy jest naprawdę dobry w pracy sekwencyjnej i beznadziejny w losowej, a obie liczby są blisko siebie tylko dlatego, że ograniczona jest liczba operacji, a nie bajty, które każda niesie. Zadanie nie polega więc na przyspieszeniu dysku. Polega na trzymaniu go w trybie, w którym już jest kompetentny. Liczby operacji losowych i sekwencyjnych leżą zaskakująco blisko siebie, bo ograniczona jest liczba operacji, a nie bajty, które każda niesie. Praca sekwencyjna to ta, na której dysk zarabia; klaster hiperkonwergentny z natury wysyła mu tę drugą. Ceph dokłada do tego własną warstwę. Każdy zapis niesie obok danych aktualizacje metadanych RocksDB. Jeśli wszystko to ląduje na gołych talerzach, dyski spędzają czas na szukaniu zamiast na obsłudze i dostajesz objaw, który rozpozna każdy administrator: wysoki I/O wait, ospałe maszyny gości, nierówna responsywność i klaster, który wydaje się dużo wolniejszy, niż sugeruje jego karta pojemności.\nWłasne wytyczne sprzętowe Ceph mówią bez ogródek, dokąd to prowadzi. Ostrzegają, by „consider carefully the ostensible cost-per-gigabyte advantage of larger HDDs, and the concomitant limitations of IOPS per TB”, i mówią, że dyski powyżej 8 TB „may be best suited for storage of large files / objects that are not at all performance-sensitive.”\nWarto to policzyć, bo dyski, dzięki którym to w ogóle się opłaca, są duże. 20 TB i więcej. Dysk 20 TB nadal robi swoje 80 do 100 losowych IOPS, bo pojemność nie kupuje żadnych operacji. Daje więc około 4 do 5 losowych IOPS na terabajt, podczas gdy dysk 8 TB ma ich mniej więcej jedenaście, a dysk 2 TB czterdzieści.\nWedług miary samego Ceph dysk 20 TB jest więc głęboko na terytorium, na które każe ci nie wkładać obciążeń wrażliwych na wydajność.\nTo nie jest argument przeciw ich kupowaniu. To powód, dla którego reszta tego wpisu istnieje. Projekt poniżej jest dokładnie tym, co czyni dysk 20 TB sensownym dla pamięci maszyn wirtualnych, bo układa wszystko tak, żeby drobna losowa praca nigdy do niego nie docierała.\nZabierz metadane z talerzy Najcenniejsza zmiana w klastrze na HDD to przestać kazać dyskowi talerzowemu przechowywać księgowość Ceph.\nBlueStore trzyma trzy rzeczy na każde OSD: same dane na block, bazę metadanych RocksDB na block.db i dziennik zapisu z wyprzedzeniem na block.wal. Domyślnie wszystkie trzy żyją na tym samym urządzeniu. Przenieś block.db na NVMe, a duża część drobnego losowego I/O całkiem opuszcza dysk.\nDokumentacja sprzętowa Ceph mówi to wprost: „HDD OSDs may see a significant write latency improvement by offloading WAL+DB onto an SSD.”\nUkład OSD BlueStore: wszystko na talerzach kontra metadane na NVMe Domyślnie: jedno urządzenie trzyma wszystkie trzy zapisy danych obiektów metadane RocksDB Jeden HDD 7,2k block block.db .wal Oba strumienie dzielą jeden budżet 80 IOPS. Głowica skacze między danymi a metadanymi przy każdym zapisie. block.db na NVMe: metadane odchodzą zapisy danych obiektów metadane RocksDB HDD 7,2k block: tylko dane NVMe enterprise block.db .wal Dysk robi teraz jedną rzecz. Wskaż urządzenie DB, a WAL pójdzie za nim. Ustaw\u0026#160;block.db\u0026#160;na 1–2% z\u0026#160;block\u0026#160;dla obciążeń RBD albo 2,5% dla wygody. Daj za mało, a RocksDB nie zawiedzie, tylko wyleje się z powrotem na talerze, czyli jedyny wynik, który marnuje świeżo kupiony flash. Użyteczne rozmiary mają progi około 3 GB, 30 GB i 300 GB, bo partycja DB w pełni wykorzysta tylko sumy poziomów RocksDB. Zaokrąglenie w górę do progu jest zwykle tanie; w dół nie daje nic. Po lewej wszystko na jednym dysku: zapisy danych i aktualizacje RocksDB walczą o te same mniej więcej 80 IOPS. Po prawej block.db na NVMe: ruch metadanych opuszcza dysk, a talerze zostają z jedyną rzeczą, w której są dobre. Użyj tu porządnego NVMe klasy enterprise, a nie konsumenckiego flasha. Powodem nie są liczby z nagłówków benchmarków. Są nim stabilne opóźnienia pod długotrwałym obciążeniem oraz ochrona przed utratą zasilania. Dokumentacja Ceph mówi wprost: „Enterprise-class SSDs are best for Ceph: they feature power loss protection (PLP)”, oraz „bargain client-class or off-brand SSDs are a false economy.”\nDyski klasy Samsung PM9A3 i Micron 7450 Pro to coś, co tu pasuje. Pod presją zapisów Ceph dużo bardziej dba o spójność niż o szczytowe liczby, a to dokładnie odróżnia dysk enterprise od szybkiego konsumenckiego.\nWymiarowanie block.db i ile kosztuje spillover Pomyl rozmiar, a korzyść po cichu wyparuje, bo kiedy block.db się zapełni, RocksDB nie zawodzi, tylko wylewa się z powrotem na wolne urządzenie, dokładnie tam, gdzie byłby bez NVMe.\nTo najgorsze z obu światów: kupiłeś flasha, a głowica dalej skacze po talerzu.\nAktualne wytyczne Ceph:\nObciążenie block.db jako ułamek block RBD / blokowe, dyski maszyn wirtualnych 1% do 2% RGW / obiektowe co najmniej 4% Ogólna rekomendacja przy przenoszeniu WAL+DB co najmniej 2,5% Pamięć maszyn wirtualnych w Proxmoksie to wiersz RBD, więc 1–2% to uczciwa liczba do planowania, a 2,5% to wygodne miejsce, żeby się na nim zatrzymać.\nPrzyłóż to do dysku 20 TB, a liczby przykuwają uwagę:\nblock.db dla jednego OSD 20 TB Przy 1% 200 GB Przy 2% 400 GB Przy 2,5% 500 GB Zestaw to z progami poziomów RocksDB poniżej, a 300 GB na OSD to rozsądne miejsce lądowania. Użyteczny próg najbliżej środka zakresu.\nTo zmienia to, czym właściwie jest współdzielone urządzenie na metadane. Osiem OSD po 20 TB chce razem 2,4 TB NVMe; piętnaście, czyli deklarowane przez Ceph maksimum za jednym NVMe, chce 4,5 TB. Przy dyskach tej wielkości o tym, ile OSD stoi za jednym urządzeniem, decyduje pojemność DB, a nie proporcja. Gigabajty skończą ci się dużo wcześniej niż błogosławieństwo Ceph.\nJest jeszcze jeden szczegół, który warto znać, bo sprawia, że intuicyjne wymiarowanie jest błędne. Struktura poziomów RocksDB oznacza, że partycja DB może w pełni wykorzystać tylko rozmiary odpowiadające sumom jej poziomów, co historycznie daje użyteczne progi około 3 GB, 30 GB i 300 GB, a rozmiary pomiędzy nie dają nic ponad próg poniżej. Zaokrąglenie 18 GB w górę do 30 GB jest w praktyce często za darmo; zaokrąglenie w dół do 20 GB w najgorszym razie nie daje nic ponad 3 GB.\nSprawdzaj spillover, kiedy klaster już trochę popracuje, a nie pierwszego dnia. To problem, który narasta powoli.\nNie potrzebujesz osobnego urządzenia WAL To oszczędza partycję i mnóstwo dłubania.\nJeśli wskażesz urządzenie DB, a nie wskażesz osobnego urządzenia WAL, Ceph automatycznie umieszcza WAL na szybkim urządzeniu razem z DB. Dokumentacja stwierdza, że „whenever a DB device is specified but an explicit WAL device is not, the WAL will be implicitly colocated with the DB on the faster device.”\n„Daj DB i WAL na NVMe” to więc dobry cel, ale to jeden argument, a nie dwa. Osobny block.wal ma sens tylko wtedy, gdy masz trzecią, szybszą warstwę, na której można go umieścić.\nWyłącz cache zapisu w HDD Drobne, mało efektowne i łatwe do przeoczenia.\nDokumentacja Ceph zauważa, że wydajność OSD „may be dramatically increased \u0026hellip; by disabling this write cache” na dyskach HDD. Ulotna pamięć podręczna w dysku przestawia i opóźnia zapisy w sposób, który walczy z semantyką flush w Ceph, a jej wyłączenie zwykle przyspiesza sprawy, a nie spowalnia.\nZ zalecenia staje się obowiązkiem, gdy w grę wchodzi bcache, czyli w następnym rozdziale.\nSkoro już tam jesteś: nie potrzebujesz HBA z obsługą RAID. Ceph mówi to wprost: „You do not need an RoC (RAID-capable) HBA.” Daj dyski bezpośrednio OSD.\nJedna Optane na dysk Zabranie metadanych z dysku naprawia stan ustalony. Nie naprawia serii, bo seria drobnych synchronicznych zapisów nadal musi zostać potwierdzona, a dysk talerzowy nadal potwierdza z prędkością talerzy.\nDo tego służy bcache, a działa tu dzięki Optane.\nLiczy się nie pojemność. Liczy się zachowanie pod obciążeniem zapisem. W porównaniu z NAND Optane daje bardzo niskie opóźnienia, bardzo wysoką trwałość i żadnych urwisk od odśmiecania (garbage collection), które czynią wydajność SSD jako cache zapisu nieprzewidywalną, gdy już trochę popracuje. Przyjmowanie drobnego, porywistego ruchu z przewagą zapisów to rzecz, w której jest najlepsza na świecie.\nUkład, który się liczy: jedna Optane na każdy HDD, każda para to osobne urządzenie bcache. Nie jedna Optane dzielona na całą półkę dysków.\nTrzy warstwy, dwa modele współdzielenia: sparowany cache zapisu, wspólne urządzenie metadanych Jeden węzeł Proxmox, trzy OSD Zapisy maszyn gości: drobne, synchroniczne, seriami Metadane RocksDB Ceph bcache0 Optane cache zapisu HDD osd.0 block bcache1 Optane cache zapisu HDD osd.1 block bcache2 Optane cache zapisu HDD osd.2 block Jedna Optane na dysk: sparowana, nigdy wspólna Awaria cache kosztuje dokładnie jedno OSD, które Ceph rutynowo odbudowuje. Potrzebna trwałość: 30–100 DWPD. Tylko Optane. Wspólne NVMe enterprise block.db + niejawny WAL, wszystkie trzy OSD z ochroną przed utratą zasilania Wspólne, bo metadanych jest mało Ceph mówi: 4–5 HDD na SSD SATA, nie więcej niż 15 na NVMe. Strać to, a każde OSD za nim odejdzie razem z nim. NAND enterprise wystarczy, ale szybkie NVMe, nie tanie. Obie warstwy są potrzebne i to nie jest ten sam zakup. Optane skraca potwierdzanie zapisów; nie robi nic dla odczytów metadanych, które Ceph robi bez przerwy, a zapisy metadanych tylko odkłada. Pomiń NVMe, a RocksDB wraca na talerz. Każdy zapis do OSD przechodzi przez jego cache, dlatego to musi być Optane. Urządzenie metadanych nie musi, ale nadal musi być szybkim NVMe: mało zapisów, a jednak niesie opóźnienia metadanych każdego OSD za sobą. Trzy warstwy, dwa różne modele współdzielenia. Urządzenie DB/WAL jest wspólne dla kilku OSD, bo wolumen zapisów RocksDB jest mały, choć nadal musi to być szybkie NVMe, bo niesie opóźnienia metadanych każdego z nich. Cache zapisu na Optane jest sparowany jeden do jednego ze swoim dyskiem, więc awaria cache może kosztować najwyżej jedno OSD. Parowanie to świadomy wybór i kupuje dwie rzeczy.\nBrak rywalizacji. Każdy dysk dostaje dla siebie opóźnienia i głębokość kolejki całej Optane, zamiast czekać w kolejce za seriami siedmiu innych OSD.\nDomena awarii, którą Ceph już umie przetrwać. Wspólny cache zapisu trzyma brudne dane każdego OSD za sobą, więc jego utrata zabiera je wszystkie naraz; przy parowaniu jeden do jednego utrata Optane kosztuje dokładnie jedno OSD. To rozróżnienie jest najważniejszą konsekwencją tego projektu i dostaje osobne omówienie w tym, co oddajesz w zamian.\nTo musi być Optane. Nie NAND. Słowo „Optane” nie jest tu kwestią upodobania do marki ani miłym dodatkiem. Podstawienie NVMe na NAND, choćby nie wiem jak drogiego, buduje coś, co się zużywa, a powodem jest trwałość.\nSpójrz, gdzie siedzi urządzenie cache. Ponieważ ten projekt wyłącza sekwencyjne obejście bcache, czyli sequential_cutoff=0 w regule poniżej, każdy pojedynczy zapis do tego OSD przez nie przechodzi: nie tylko serie, wszystko. To czyni cache urządzeniem o najwyższym cyklu pracy w węźle, od którego oczekuje się przyjmowania wolumenu zapisów całego dysku talerzowego przez cały czas życia maszyny.\nTrwałość podaje się w zapisach całego dysku dziennie (DWPD), a różnica nie jest drobna:\nUrządzenie Znamionowa trwałość Optane P5800X 100 DWPD Optane P4800X 30 DWPD NAND enterprise do intensywnych zapisów, górna półka około 10 DWPD NAND enterprise do obciążeń mieszanych 3 DWPD lub mniej Główny nurt NAND enterprise, klasa PM9A3, 7450 Pro około 1 DWPD Optane ma od dziesięciu do stu razy większą trwałość niż NAND, który w innym wypadku wstawiłbyś w to miejsce. Wstaw dysk 1 DWPD w jedyne miejsce, przez które przechodzi każdy zapis w klastrze, a nie zbudowałeś cache, tylko materiał eksploatacyjny.\nJest gorzej, niż sugeruje tabela, bo NAND wewnętrznie cierpi na wzmocnienie zapisu (write amplification), a Optane nie. Znamionowe DWPD dysku NAND to to, co przyjmuje na interfejsie; to, co faktycznie przyjmują jego komórki, jest większe. Liczba Optane nie potrzebuje takiego przypisu.\nOdbudowy to miejsce, gdzie to zostaje sprawdzone. Backfill przepycha terabajty zapisów przez ocalałe węzły w skompresowanym oknie czasu, każdy bajt przez ich urządzenia cache: to zdarzenie dla trwałości, nie tylko dla opóźnień, które przychodzi dokładnie wtedy, kiedy najmniej chcesz, żeby padło drugie urządzenie.\nDwie warstwy flash chcą więc różnych dysków, z różnych powodów:\nWarstwa Wolumen zapisów Czego potrzebuje urządzenie DB/WAL mały, tylko RocksDB Szybkiego NVMe enterprise. Niskie opóźnienia, wysokie losowe IOPS, PLP. NAND enterprise to właściwa technologia; PM9A3 albo 7450 Pro to właściwy zakup Cache zapisu wszystko PLP i trwałości rzędu dziesiątek DWPD. NAND to zła technologia za każdą cenę Kupienie jednego rodzaju dysku do obu zadań to błąd, przed którym ten rozdział ma chronić. Ale nie czytaj pierwszego wiersza jako pozwolenia na oszczędzanie, bo mały wolumen zapisów to nie małe wymagania.\nUrządzenie DB/WAL nadal musi być naprawdę szybkim NVMe, z trzech powodów, które nie mają nic wspólnego z tym, ile bajtów przez nie przechodzi.\nObsługuje każde OSD za sobą naraz, więc kolejka, którą widzi, to cztery albo piętnaście zestawów ruchu metadanych, a nie ruch jednego dysku.\nJego opóźnienia lądują bezpośrednio u twoich klientów. Odczyty RocksDB leżą na ścieżce krytycznej przy szukaniu obiektów, przy peeringu i przy scrubie, a to drobne losowe odczyty. Dokładnie to obciążenie, przy którym różnica między szybkim a przeciętnym NVMe jest największa. Każda mikrosekunda mnoży się przez każde OSD, które od niego zależy.\nI kompakcja przychodzi seriami. RocksDB co jakiś czas przepisuje swoje poziomy, zamieniając równomierne przewalanie danych w skoncentrowany szczyt odczytów i zapisów. Urządzenie, które radzi sobie ze średnią, a staje na szczycie, zatrzymuje w tej samej chwili każde OSD za sobą.\nProporcje samego Ceph to zdradzają. Pozwala na trzy razy więcej OSD za jednym NVMe niż za SSD SATA, i to mówi interfejs i klasa urządzenia, a nie pojemność. Użyj NVMe.\nZatem: urządzenie cache musi być Optane, urządzenie DB/WAL może być NAND, a żadne z tych miejsc nie jest miejscem na oszczędności.\nKtóra Optane: często wystarczyłaby M10 32 GB Nic z tego nie znaczy, że największa Optane jest właściwa. Urządzenie, którego potrzebujesz, wyznacza twoje obciążenie zapisami, choć jak się okazuje, rynek wtórny może i tak zdecydować za ciebie. Rachunek nadal się liczy, bo mówi ci, ile kupujesz za dużo albo za mało.\nZacznij od tego, do czego służy cache. Trzyma serię, a nie dysk. Przy writeback_percent=40 urządzenie 32 GB daje około 13 GB brudnego bufora, a to ogromna liczba drobnych synchronicznych zapisów.\nNie zrażaj się więc proporcją. Moduł 32 GB przed dyskiem 20 TB to 0,16% jego pojemności, co brzmi absurdalnie, dopóki nie przypomnisz sobie, że to amortyzator serii, a nie cache zbioru roboczego próbujący trzymać gorące dane. Urządzenie 375 GB przed tym samym dyskiem to 1,9%, czyli po prostu więcej zapasu, niż wykorzystasz.\nTo wprowadza do gry tani koniec gamy. Oto mały konsumencki moduł przeciw części do centrów danych, bo różnica nie leży tam, gdzie ludzie się jej spodziewają:\nOptane Memory M10 32 GB Optane DC P4800X 375 GB Losowy odczyt, 4K 240 000 IOPS 550 000 IOPS Losowy zapis, 4K 65 000 IOPS porównywalny z odczytem Odczyt sekwencyjny 1200 MB/s 2400 MB/s Zapis sekwencyjny 290 MB/s 2000 MB/s Typowe opóźnienie b.d. poniżej 10 µs Trwałość 365 TBW 12,3 PBW, 30 DWPD Interfejs PCIe 3.0 x2, M.2 2280 PCIe 3.0 x4, U.2 lub AIC Najpierw spójrz na wiersz z IOPS zapisu. Mała M10 robi 65 000 losowych zapisów na sekundę; dysk talerzowy za nią robi 80. Nawet najtańsza Optane jest mniej więcej 650 razy szybsza niż dysk, który obsługuje, więc na osi wydajności spór jest rozstrzygnięty, zanim się zaczął. Dodatkowe IOPS części DC nie mają dokąd pójść, gdy dalej stoi jeden dysk 7,2k.\nWiersz, który decyduje o zakupie, to trwałość, gdzie różnica wynosi 34×. Przeliczona na dzienny budżet przez pięć lat życia:\nUrządzenie Trwałe zapisy dziennie, przez pięć lat M10 32 GB, 365 TBW około 200 GB/dzień P4800X 375 GB, 12,3 PBW około 6,7 TB/dzień Poniżej 200 GB zapisów dziennie M10 32 GB przeżyje całą instalację. Przy dwa razy tyle dostajesz dwa i pół roku. Przy naprawdę dużych zapisach część DC zarabia na swoją cenę, nie za IOPS, których nie wykorzystasz, ale za ponad trzydzieści razy więcej zapisów, które znosi.\nMierz więc, zamiast zgadywać. nvme smart-log na istniejącym urządzeniu cache daje ci data_units_written; odczytaj to w odstępie tygodnia, podziel i porównaj ze znamionowym TBW tego, co rozważasz. bcache trzyma też własne sumy w /sys/block/bcacheN/bcache/stats_total/, jeśli wolisz czytać je tam.\nDwa zastrzeżenia co do M10. Jej losowe liczby podaje się dla zakresu 8 GB, a nie całego urządzenia, więc przy cache, który zamierzasz trzymać mocno zapełniony, traktuj je jako optymistyczny koniec. I to część konsumencka bez deklaracji PLP klasy enterprise. Nośnik Optane jest zapisywany w miejscu, bez bufora DRAM na ścieżce zapisu, dlatego te moduły zachowują się przy nagłej utracie zasilania dużo lepiej niż konsumencki NAND, ale „w praktyce zachowuje się dobrze” to nie specyfikacja. Jeśli chcesz gwarancji na piśmie, kup część z serii DC.\nDolną granicą jest przepustowość, nie pojemność: odpuść moduły 16 GB Jest drugie ograniczenie, niezależne od wszystkiego powyżej, i dyskwalifikuje najtańszą część w gamie.\nCache musi być szybszy od dysku sekwencyjnie, bo inaczej jest dławikiem. M10 16 GB nie jest, a to moduł, który najbardziej będzie cię kusił, bo jest prawie za darmo:\nZapis sekwencyjny Optane Memory M10 16 GB 150 MB/s Optane Memory M10 32 GB 290 MB/s Optane DC P4800X 375 GB 2000 MB/s Dysk HDD enterprise 7,2k 150–250 MB/s Przeczytaj pierwszy i ostatni wiersz razem. Moduł 16 GB zapisuje sekwencyjnie mniej więcej z tą samą prędkością co dysk talerzowy, który ma przyspieszać, i wolniej niż dobry dysk. W pracy losowej pozostaje nieporównanie szybszy, 35 000 losowych IOPS zapisu wobec 80 dysku, ale na strumieniu sekwencyjnym w najlepszym razie wychodzi na zero, a w najgorszym jest sufitem poniżej tego, co goły dysk osiągał sam.\nA ten projekt gwarantuje, że w ten sufit uderzysz, bo wyłączenie sekwencyjnego obejścia przepuszcza wszystko przez cache, przez co własna sekwencyjna przepustowość zapisu cache staje się twardym sufitem dla całego OSD. Najmocniej gryzie to przy odtwarzaniu: backfill OSD 20 TB jest mniej więcej najbardziej sekwencyjną rzeczą w tym obciążeniu, a przycięcie go do 150 MB/s spowalnia i tak już powolną odbudowę.\nLinia M10 ma więc dolną granicę na 32 GB i jest to granica przepustowości, a nie pojemności. Rachunek pojemności mówił, że 32 GB to aż nadto; rachunek przepustowości wyklucza 16 GB bez względu na to, jak mało potrzebowałeś przechowywać. Oba testy muszą przejść, a tania część oblewa ten, którego ludzie nie sprawdzają.\nCokolwiek rozważasz, przed zakupem postaw jego sekwencyjną prędkość zapisu obok 250 MB/s.\nKupowanie produktu, którego nikt już nie robi Optane wycofano. Intel zwinął ten biznes w 2022, odpisując 559 mln $ zapasów i kończąc rozwój. Nie ma nowej produkcji ani uzupełnień; całkowita podaż odtąd tylko maleje.\nTo rodzi oczywiste pytanie, bo na sprzedaż jest jej zaskakująco dużo. Zrozumienie, skąd pochodzi, mówi ci, co kupujesz.\nTo likwidowane zapasy części serwisowych OEM. Wielka trójka producentów serwerów trzymała Optane jako części zamienne do obsługi platform, w których ją sprzedawała. Te platformy doszły do końca życia i wypadły ze wsparcia, więc zapasy części dla nich z dnia na dzień stały się martwym towarem: magazyny części do maszyn, których nikt nie jest już umownie zobowiązany naprawiać. To te zapasy płyną na AliExpress i do firm odnawiających sprzęt.\nDwie konsekwencje, i obie są dobrą wiadomością.\nDużo z tego jest nieużywane, a nie wymontowane. Części serwisowe leżały na półce, czekając na awarię, która nigdy nie nadeszła, więc zużycie przy dostawie jest często praktycznie zerowe: nie „kilka lat lekkiej pracy”, tylko nigdy nie zapisane. Sprawdzaj, a nie ufaj: nvme smart-log daje ci percentage_used i data_units_written, a na prawdziwych częściach serwisowych powinny one być zaskakująco niskie. Wszystko, co pokazuje realne zużycie, to część wymontowana sprzedawana jako coś innego, choć nawet wtedy zapas trwałości oznacza, że używana Optane może mieć przed sobą więcej życia niż nowy dysk NAND tej samej pojemności.\nTo wyjaśnia, jakie pojemności znajdziesz. Części serwisowe OEM gromadzono dla serwerów, czyli części do centrów danych. Oto pełna gama, i zwróć uwagę, od czego zaczyna się flagowiec:\nCzęść Pojemności Format Optane Memory M10 16, 32, 64 GB M.2 2280, konsumencka Optane SSD 800P 58, 118 GB M.2 2280, konsumencka Optane SSD P1600X 58, 118 GB M.2 2280, część do centrów danych na boot i cache Optane SSD DC P4801X 100, 200, 375 GB M.2 110 mm lub U.2 Optane SSD DC P4800X 375 GB najmniejsza, 750 GB, 1,5 TB U.2 lub karta rozszerzeń Optane SSD P5800X 400 GB, 800 GB, 1,6 TB U.2 lub karta rozszerzeń W teorii małe części M.2 to eleganckie rozwiązanie: M10, 800P, P1600X i P4801X 100 GB robią swoje, i to tanio. W praktyce rynek ich nie ma, bo nikt nie magazynował modułów przyspieszających do desktopów jako części serwisowych do serwerów. To, co jest wystawione, to 375 GB i więcej, sprzęt klasy P4800X.\nPlanuj więc zakup większej pojemności, niż wymaga rola, bo to jest na sprzedaż. To nie jest zły wynik. Przesadzenie z urządzeniem cache daje ci 30 DWPD i opóźnienia poniżej 10 µs, kiedy twoje obciążenie wymagało ułamka jednego i drugiego, a dla dysku 20 TB, który chcesz trzymać latami, to właściwa strona, po której się mylić. Oznacza to jednak, że cena wejścia jest wyższa, niż sugeruje rachunek, a wymiarowanie powyżej staje się kontrolą przed kupieniem za mało, a nie listą zakupów.\nTrzy rzeczy do zaplanowania, skoro to likwidacja, a nie łańcuch dostaw:\nKup zapasowe razem z instalacją. Wyprzedawana jest skończona pula. Kiedy urządzenie padnie za trzy lata, nie będziesz zamawiać zamiennika, tylko na niego polować, więc wlicz zapasowe teraz, póki towar jest.\nSpodziewaj się firmware OEM i sprawdź przestrzeń nazw. Części z programu serwisowego producenta często mają firmware tego producenta i mogą przyjść sformatowane z rozmiarem LBA albo ustawieniami metadanych pasującymi do tego, do czego je gromadzono. Potwierdź przez nvme id-ns, zanim cokolwiek na tym zbudujesz, i bądź gotów zrobić nvme format do zwykłego formatu 4096 bajtów.\nNie ma gwarancji, wsparcia ani kolejnych aktualizacji firmware. Własna informacja Intela dla wsparcia opisuje, co zakończenie oznacza dla urządzeń już w użyciu, a w tej sytuacji jest wszystko, co kupisz. Sprawdzenie, że część, która przyszła, to część z ogłoszenia, należy do ciebie.\nbcache nie zastępuje przeniesienia DB/WAL Warto to powiedzieć wprost, bo to oczywiste miejsce, gdzie można próbować oszczędzić, a to nie działa: nadal potrzebujesz block.db na NVMe. Obie warstwy, a nie jedna albo druga.\nOptane to cache zapisu. Tylko tym jest. Skraca ścieżkę potwierdzenia dla zapisów idących na dysk i nie robi niczego innego.\nRocksDB nie tylko zapisuje. Ceph czyta jego metadane bez przerwy, żeby znaleźć obiekty, obsłużyć peering i odpowiedzieć na scruby, a cache zapisu nie daje odczytowi dokładnie nic, kiedy dane już z niego spłynęły. Cache nie usuwa też ruchu metadanych; odkłada go i grupuje, więc każda aktualizacja RocksDB i tak w końcu dociera do talerzy, walcząc o te same ruchy głowicy. A kompakcja zamienia umiarkowane przewalanie danych w dużo więcej ruchu na urządzeniu niż zapisy, które go spowodowały.\nTe dwie zmiany naprawiają więc różne problemy i żadna nie zastępuje drugiej:\nCo naprawia Czego nie block.db na NVMe metadane żyją na flashu, odczyty i zapisy, na stałe poza talerzami nic na serię zapisów gości Optane przez bcache opóźnienie potwierdzenia serii dla zapisów danych nic na odczyty metadanych; zapisy metadanych tylko odkłada Pomiń przeniesienie DB i zostaw Optane, a RocksDB wraca na talerz, z odczytami obsługiwanymi przy 80 IOPS. Pomiń Optane i zostaw przeniesienie DB, a stan ustalony jest przyzwoity, ale serie dalej stają przy prędkości talerzy.\nReguła udev, linijka po linijce Parametry bcache żyją w sysfs, a sysfs resetuje je przy każdej rejestracji urządzenia, czyli przy każdym starcie. Należą więc do reguły udev, a nie do skryptu, o którego uruchomieniu ktoś musi pamiętać:\n# /etc/udev/rules.d/99-bcache.rules ACTION==\u0026#34;add|change\u0026#34;, SUBSYSTEM==\u0026#34;block\u0026#34;, KERNEL==\u0026#34;bcache*\u0026#34;, \\ ATTR{bcache/cache_mode}=\u0026#34;writeback\u0026#34;, \\ ATTR{bcache/sequential_cutoff}=\u0026#34;0\u0026#34;, \\ ATTR{bcache/congested_read_threshold_us}=\u0026#34;0\u0026#34;, \\ ATTR{bcache/writeback_rate}=\u0026#34;81920\u0026#34;, \\ ATTR{bcache/writeback_rate_minimum}=\u0026#34;20480\u0026#34;, \\ ATTR{bcache/writeback_percent}=\u0026#34;40\u0026#34; KERNEL==\u0026quot;bcache*\u0026quot; pasuje do każdego urządzenia bcache w węźle, więc jedna reguła obejmuje wszystkie pary. ACTION==\u0026quot;add|change\u0026quot; oznacza, że stosuje się ponownie za każdym razem, gdy urządzenie się pojawia albo zostaje ponownie podłączone, a nie tylko przy starcie.\nCo robi każde ustawienie i dlaczego:\ncache_mode=writeback: cały sens. W domyślnym writethrough zapis nie jest potwierdzany, dopóki nie dotrze do HDD, więc cache nie robi nic dla opóźnień zapisu. W writeback potwierdza Optane, a dysk talerzowy dogania później.\nsequential_cutoff=0: domyślnie bcache wykrywa sekwencyjne I/O i kieruje je prosto obok cache, gdy przekroczy 4 MB, przy założeniu, że dysk pod spodem dobrze radzi sobie z sekwencyjnym. Zero wyłącza to obejście, więc wszystko jest cache\u0026rsquo;owane. W węźle hiperkonwergentnym to właściwa decyzja: to, co wygląda na sekwencyjne dla jednego urządzenia bcache, przestaje być sekwencyjne na talerzu, gdy przeplata się kilka OSD, a ty chcesz, żeby każdy zapis był potwierdzany z prędkością Optane bez względu na wszystko. Niesie to jednak jedno zobowiązanie: bez obejścia własna sekwencyjna przepustowość zapisu urządzenia cache staje się sufitem dla całego OSD, i dlatego moduły 16 GB są zdyskwalifikowane.\ncongested_read_threshold_us=0: bcache obserwuje opóźnienia własnego urządzenia cache i zaczyna je omijać, gdy uzna je za przeciążone, domyślnie przy 2000 µs dla odczytów. Optane nie przeciąża się tak jak NAND, więc to bcache podważa urządzenie, które źle zmierzył. Zero wyłącza to śledzenie.\nwriteback_rate=81920 i writeback_rate_minimum=20480: prędkość opróżniania w tle, w sektorach na sekundę, czyli mniej więcej 40 MB/s celu z minimum 10 MB/s. Regulator PD przesuwa faktyczną prędkość między nimi. Cel ustawiono blisko tego, co dysk talerzowy przyjmie sekwencyjnie, a minimum nie pozwala regulatorowi zdławić opróżniania prawie do zera i pozwolić brudnym danym piętrzyć się bez końca. Obie wartości to punkty wyjścia, a nie stałe; jak je zmienić jest niżej.\nwriteback_percent=40: ile cache bcache pozwoli trzymać w stanie brudnym, zanim mocno zacznie hamować, wobec domyślnych 10. Czterdzieści daje ci dużo głębszy bufor na serie. Oznacza też, że do 40% tej Optane trzyma jedyną kopię danych w systemie, i to jest ten kompromis, i to jest powód, dla którego układ jeden na dysk ma znaczenie. To wartość, do której najbardziej warto wrócić, kiedy obejrzysz prawdziwe obciążenie.\nZmiana wartości zapełnienia i opróżniania później 40% i dwie prędkości powyżej to wartości działające tutaj, a nie uniwersalne stałe. To pierwsza rzecz, którą zechcesz przesunąć, gdy obejrzysz prawdziwe obciążenie, więc warto wiedzieć, że są dwa miejsca, w których je zmienisz, i robią dwie różne rzeczy.\nsysfs zmienia to teraz. Reguła udev zmienia to przy następnym starcie. Chcesz obu, i to w tej kolejności.\nZmiana na żywo, na jednym urządzeniu:\necho 30 \u0026gt; /sys/block/bcache0/bcache/writeback_percent Albo na każdej parze w węźle:\nfor d in /sys/block/bcache*/bcache; do echo 30 \u0026gt; \u0026#34;$d/writeback_percent\u0026#34; done Prędkość opróżniania działa tak samo. Obie wartości są w sektorach na sekundę, więc to zmniejsza o połowę cel i minimum:\nfor d in /sys/block/bcache*/bcache; do echo 40960 \u0026gt; \u0026#34;$d/writeback_rate\u0026#34; echo 10240 \u0026gt; \u0026#34;$d/writeback_rate_minimum\u0026#34; done To działa natychmiast i przetrwa dokładnie do ponownej rejestracji urządzenia. Dokumentacja jądra mówi wprost, że te ustawienia „do not persist across reboot”, i to jest cały powód, dla którego istnieje reguła udev.\nKiedy jesteś zadowolony z wartości, zmień regułę i przeładuj ją bez restartu:\nudevadm control --reload udevadm trigger --subsystem-match=block --action=change Tu ACTION==\u0026quot;add|change\u0026quot; zarabia na siebie. Trigger wysyła zdarzenie change do urządzeń, które już są, więc reguła stosuje się ponownie do działającego węzła, zamiast czekać na następny start. Gdyby reguła pasowała tylko do add, to polecenie nie zrobiłoby nic.\nPotem odczytaj wartości z powrotem, bo literówka w regule udev zawodzi po cichu:\ngrep . /sys/block/bcache*/bcache/writeback_percent Skąd wiedzieć, w którą stronę je przesunąć Nie stroj tego od pierwszych zasad: bcache wystawia to, czego potrzebujesz, w tym samym katalogu sysfs.\ndirty_data to ta, którą trzeba obserwować: ile danych siedzi teraz w cache i nigdzie indziej. Dokumentacja opisuje ją jako „continuously updated unlike the cache set\u0026rsquo;s version, but may be slightly off”, co do tego celu w zupełności wystarcza. Próbkuj ją przez normalny dzień pracy i przez okno backupu.\ncache_hits, cache_misses i cache_hit_ratio mówią ci, czy cache jest używany, z zastrzeżeniem, że „a partial hit is counted as a miss”. bypassed liczy IO, które całkiem ominęło cache; przy sequential_cutoff=0 powinno być prawie płaskie, więc rosnąca liczba oznacza, że coś nadal je obchodzi.\nWszystkie przychodzą jako sumy narastające oraz wersje wygasające z ostatniego dnia, godziny i pięciu minut, przez co te z krótkim oknem są dużo przydatniejsze do wyłapania problemu niż liczba z całego życia.\nDalej:\nObjaw Pokrętło Kierunek Serie stają, zapisy w połowie serii trafiają w opóźnienia talerzy writeback_percent w górę, dla głębszego bufora Więcej danych wystawionych na cache, niż ci wygodnie writeback_percent w dół dirty_data przyklejone do sufitu podczas zwykłej pracy writeback_rate w górę, problemem nie jest bufor, tylko odpływ Opróżnianie w tle rywalizuje z odczytami gości na talerzach writeback_rate w dół dirty_data pełznie w górę przez dni, a nie godziny writeback_rate_minimum w górę, żeby regulator nie mógł zdławić do ślimaczego tempa Jeśli dirty_data siedzi przyklejone do sufitu, cokolwiek byś robił, żadne pokrętło nie jest odpowiedzią: klaster zapisuje szybciej, niż dyski talerzowe są w stanie przyjąć, a uczciwe rozwiązania to więcej dysków albo mniej zapisów.\nJeden plik zostaw w spokoju: writeback_running. Wyłączenie go całkiem zatrzymuje writeback, a dokumentacja mówi, że jest „only meant for benchmarking”. Na produkcyjnym OSD oznacza to, że brudne dane narastają, aż cache się zapełni, i nigdy nie spływają.\nCo oddajesz w zamian Większość opisów tego projektu kończy się na dobrych wiadomościach. Oto części, które naprawdę cię zabolą, a każdą z nich warto znać przed budową, a nie po niej.\nDwa dodane urządzenia psują się zupełnie inaczej Umiera wspólne NVMe DB/WAL block.db dla osd.0–2 stracone osd.0 stracone osd.1 stracone osd.2 stracone Trzy OSD, jedno zdarzenie. Awaria skorelowana w całym węźle, czyli dokładnie to, przed czym replikacja cię nie chroni. Wybierz proporcję pod odbudowę, którą zniesiesz, a nie pod cenę za OSD. Umiera jedna sparowana Optane Optane dla osd.0 padła Optane dla osd.1 OK Optane dla osd.2 OK osd.0 stracone osd.1 działa osd.2 działa Jedno OSD, a Ceph robi to codziennie. Promień rażenia to dane jednego dysku, czyli awaria, do przyjęcia której istnieje replikowana pula. To cały argument za kupnem kilku małych urządzeń zamiast jednego dużego. Ta sama klasa straty po obu stronach: każde urządzenie trzyma stan, którego nie ma nigdzie indziej, więc OSD jest zniszczone, a nie zatrzymane, i trzeba je odtworzyć i wypełnić. Różni się tylko liczba, i to właśnie kupuje parowanie jeden na dysk. Oba dodane urządzenia trzymają stan, który nie istnieje nigdzie indziej, więc utrata któregokolwiek niszczy OSD, które od niego zależą. Różnica polega tylko na tym, ile ich jest: wspólne NVMe DB/WAL zabiera każde OSD za sobą, a Optane sparowana jeden do jednego zabiera dokładnie jedno. To właśnie kupują dodatkowe urządzenia. Utrata któregokolwiek urządzenia flash niszczy OSD. Nie zatrzymuje, tylko niszczy. Oba urządzenia trzymają stan, który nie istnieje nigdzie indziej: block.db trzyma RocksDB, dzięki któremu block ma sens, a cache writeback trzyma każdy zapis jeszcze nie opróżniony. Dokumentacja jądra nie owija w bawełnę przy tym drugim: „In writeback mode you\u0026rsquo;ll lose data if something happens to your SSD.” Tak czy inaczej OSD nie wraca, tylko zostaje odtworzone i wypełnione przez backfill.\nTo więc ta sama klasa ryzyka i warto mieć jasność co do tego, zamiast traktować cache jako ten straszny. Optane nie jest groźniejszym urządzeniem niż NVMe. Dzielą je dwie rzeczy i żadną z nich nie jest dotkliwość dla pojedynczego OSD.\nPierwszą jest promień rażenia i to jest całe uzasadnienie parowania. Jedna Optane na dysk oznacza, że awaria cache kosztuje jedno OSD: utratę jednego dysku, czyli dokładnie to zdarzenie, które replikowana pula ma przyjąć i które Ceph obsługuje, nie budząc nikogo w nocy. Urządzenie DB/WAL jest wspólne, więc jego utrata kosztuje naraz każde OSD za nim, a to awaria skorelowana, przed którą replikacja cię nie chroni. Ta sama awaria, jedno urządzenie kontra pięć.\nDrugą jest to, jak awaria się objawia, i to jest pułapka operacyjna. Kiedy cache umiera w trybie writeback, urządzenie pod spodem się zatrzymuje i zwraca błędy I/O, co jest w porządku: Ceph oznacza OSD jako down i jedzie dalej. Zły przypadek to restart, po którym urządzenie pod spodem wstaje bez podłączonego cache. Wtedy wygląda jak system plików do zamontowania, któremu po prostu brakuje każdego brudnego zapisu, czyli jest uszkodzony, a nie tylko nieaktualny. Brakujący block.db zawodzi głośno i OSD odmawia startu; brakujący cache może zawieść po cichu i pozwolić ci zamontować wrak. Traktuj urządzenie pod bcache jako niemożliwe do zamontowania bez jego cache i nigdy nie pozwól, żeby coś usłużnie zamontowało je za ciebie.\nbcache samo z siebie nie gwarantuje writeback odpornego na utratę zasilania. Tu cache zapisu HDD przestaje być optymalizacją i staje się wymogiem: wyłącz go i używaj jądra na tyle nowego, żeby miało obsługę FUA, tak by zapisy synchroniczne były honorowane przez cały stos, a nie potwierdzane przedwcześnie gdzieś w środku. Urządzenie cache bez ochrony przed utratą zasilania pogarsza sprawę, bo może stracić dane, które już zgłosiło jako bezpieczne.\nTo czyni proporcję DB/WAL liczbą, która się liczy. Ceph dopuszcza 4–5 OSD na HDD na jeden SSD SATA i nie więcej niż 15 na NVMe, i ostrzega przed „balancing the risk of reducing costs by placing too many responsibilities into too few failure domains.” Inaczej niż przy warstwie cache nie ma tu parowania, które by to ograniczyło: współdzielenie jest sensem tego urządzenia.\nPrzy dyskach 20 TB to jest cała rozmowa, bo odbudowa jest ogromna. Jedno padnięte OSD to 20 TB do backfillu; przy 150–250 MB/s, które dysk talerzowy utrzymuje, z dławieniem, żeby odtwarzanie nie zagłodziło gości, patrzysz na dobrze ponad dobę pracy w stanie zdegradowanym dla jednego dysku. Strać wspólne urządzenie DB z pięcioma takimi, a do przeniesienia jest 100 TB.\nProporcja to więc w gruncie rzeczy nie decyzja kosztowa. To decyzja o tym, jak długo jesteś gotów pracować w stanie zdegradowanym i ile ruchu odbudowy klaster może unieść, nadal obsługując maszyny wirtualne.\nProjekt zależy od urządzenia, którego nikt już nie robi. To jedyny punkt bez technicznej odpowiedzi. Optane to właściwa część na pozycję cache i nic obecnego jej nie zastępuje: NAND nie zniesie wolumenu zapisów, a pamięć oparta na CXL, w którą Intel skręcił, nie jest bezpośrednim zamiennikiem cache blokowego. Środek zaradczy jest więc handlowy, a nie sprytny, jest opisany wyżej, a uczciwe podsumowanie brzmi tak, że ta architektura ma datę końca gdzieś w przyszłości.\nNic z tego nie robi z klastra HDD klastra all-flash. Długotrwały losowy ruch zapisów, który wyprzedza prędkość opróżniania, zapełni cache, a gdy jest pełny, zapisujesz z prędkością talerzy z dodatkowymi warstwami po drodze. Ten projekt przyjmuje serie i usuwa narzut metadanych. Nie produkuje IOPS.\nCo z tego wychodzi Trzy warstwy, każda robi jedną rzecz, w której jest najlepsza, i wszystkie trzy są potrzebne:\nOptane przyjmuje serie losowych zapisów, jedno urządzenie na dysk. To musi być Optane, bo przechodzi przez nią każdy zapis, a trwałość NAND nie pasuje do tego miejsca Szybkie NVMe enterprise trzyma RocksDB i WAL, wspólne dla kilku OSD, w proporcji, którą wybrałeś świadomie, a nie przyjąłeś Dyski HDD dają pojemność, uwolnione i od metadanych, i od serii Nie chodzi o udawanie, że dyski talerzowe to flash. Chodzi o to, żeby przestać wysyłać im pracę, w której są najgorsze, tak żeby pojemność, za którą naprawdę zapłaciłeś, była użyteczna.\nNa tym polega cała sztuczka i nie ma w niej nic mądrego. Daj każdą robotę urządzeniu, które jest w niej dobre, i przestań płacić podwójnie za te, które nie są.\nDla hiperkonwergentnego klastra Proxmox, który potrzebuje wielu terabajtów pojemności bez cen all-flash, to projekt, którego da się bronić. Zbudowany porządnie działa dużo szybciej niż gołe HDD, psuje się w sposób, do którego Ceph jest zbudowany, a pieniądze idą tam, gdzie zmieniają wynik.\nDwie powiązane rzeczy, które warto przeczytać obok tego: praca nad rozmiarem sektora w 4Kn, 512e i 512n ma duże znaczenie dla tego, co dyski talerzowe robią z zapisami, które do nich docierają, a jeśli budujesz to na węzłach z dyskami podłączonymi bezpośrednio, sieć mesh bez przełącznika obejmuje stronę sieciową małego klastra Ceph.\nŹródła Ceph — Hardware Recommendations — ostrzeżenie o IOPS na TB przy dużych HDD, „HDD OSDs may see a significant write latency improvement by offloading WAL+DB onto an SSD”, proporcje 4–5 HDD na SSD SATA i ≤15 na NVMe, ochrona przed utratą zasilania w SSD enterprise, wyłączenie cache zapisu HDD i to, że HBA z RoC nie jest potrzebne Ceph — BlueStore Configuration Reference — block.db na 1–2% block dla RBD i co najmniej 4% dla RGW, ogólna rekomendacja 2,5%, spillover z powrotem na urządzenie główne, rozmiary poziomów RocksDB stojące za progami 3/30/300 GB oraz WAL umieszczany niejawnie razem z DB Linux kernel — bcache admin guide — tryby cache, sequential_cutoff i jego domyślne 4 MB, domyślne 2000 µs dla przeciążenia odczytów, writeback_rate w sektorach na sekundę, regulator PD writeback_percent, liczniki dirty_data / cache_hit_ratio / bypassed i ich wygasające wersje dzienne, godzinne i pięciominutowe, ostrzeżenie, że writeback_running jest „only meant for benchmarking”, stwierdzenie, że te ustawienia „do not persist across reboot”, oraz „in writeback mode you\u0026rsquo;ll lose data if something happens to your SSD” Intel — Optane Memory M10 32 GB specifications — 365 TBW, 240 000 IOPS losowego odczytu i 65 000 losowego zapisu przy 4K w zakresie 8 GB, 1200/290 MB/s sekwencyjnie, PCIe 3.0 x2 Intel — Optane Memory M10 16 GB specifications — 150 MB/s zapisu sekwencyjnego i 35 000 IOPS losowego zapisu, przez które ta część wypada poniżej dysku talerzowego w przepustowości sekwencyjnej PC Perspective — Optane SSD DC P4800X performance — 550K IOPS losowego odczytu 4K części 375 GB, 2400/2000 MB/s sekwencyjnie, typowe opóźnienie poniżej 10 µs i 12,3 PBW przy 30 DWPD ServeTheHome — Optane DC P4801X 100GB M.2 review — małe części M.2 do centrów danych, do drabinki pojemności StorageReview — Intel Optane SSD P5800X — ocena 100 DWPD, 30 DWPD dla P4800X i porównanie z dyskami NAND enterprise, które kończą się na około 10 DWPD dla części do intensywnych zapisów i 3 lub mniej dla mieszanych Bcache — ArchWiki — praktyczne tryby awarii, w tym urządzenie pod spodem, które po restarcie wstaje bez swojego cache, oraz wymagania bezpieczeństwa przy utracie zasilania związane z cache zapisu HDD i FUA Intel — Optane business update — zakończenie działalności i co oznacza dla gwarancji i wsparcia urządzeń już w użyciu, w tej sytuacji jest wszystko, co kupisz na rynku wtórnym ","permalink":"https://blogs.damiendye.uk/pl/proxmox/hdd-backed-ceph-bcache-optane/","summary":"Ceny flasha sprawiły, że całe NVMe trudno uzasadnić, a dyski HDD klasy enterprise warto obejrzeć ponownie. Wyciągnięcie z nich akceptowalnych opóźnień w hiperkonwergentnym Ceph na Proxmoksie oznacza zabranie RocksDB z talerzy, sparowanie każdego dysku z własną Optane przez bcache, właśnie Optane, bo trwałość NAND nie pasuje do tej pracy, oraz uczciwość co do trybów awarii, które w ten sposób kupujesz.","title":"Jak przyspieszyć klastry Ceph w Proxmoksie na HDD: metadane na NVMe, jedna Optane na dysk i ile cię to kosztuje"},{"content":"Dlaczego do tej pory było to drogie VDI, czyli Virtual Desktop Infrastructure, dostarcza pełny pulpit z centrum danych albo z chmury, a nie z urządzenia, które masz przed sobą. Użytkownik loguje się z laptopa, cienkiego klienta albo własnej maszyny i dostaje znajomy pulpit Windows albo Linux, którego aplikacje, pliki i obliczenia działają centralnie.\nDla zespołu IT zaletą jest to, że łatki, kontrola dostępu i ochrona danych dzieją się w jednym miejscu, a ludzie mogą dotrzeć do tego samego pulpitu skądkolwiek.\nPrzeszkodą nigdy nie był hiperwizor. Było nią GPU.\nDzielenie jednego fizycznego GPU między kilka pulpitów było terytorium NVIDII, a NVIDIA każe sobie płacić za oprogramowanie vGPU, które robi ten podział. Ta licencja to powód, dla którego VDI ze sprzętowo akcelerowaną grafiką było głównie domeną firm z korporacyjnymi budżetami. Trudno się zapalić do płacenia rocznej opłaty za włączenie czegoś, co krzem już potrafi.\nIntel zmienił ten rachunek linią Arc Pro. Te karty obsługują sprzętowy podział przez standardowe SR-IOV, które jest funkcją PCIe, a nie produktem. W efekcie nie ma serwera licencji, subskrypcji ani osobnego oprogramowania vGPU do kupienia.\nZałatwiłem więc sobie Intel Arc Pro B50, żeby zobaczyć, jak gładko składa się z Proxmox. Krótka odpowiedź: mechanizm działa dokładnie tak, jak go reklamują, a potem na drodze stanął firmware. Obie połowy są poniżej.\nJak jedna karta staje się kilkoma: funkcja fizyczna na hoście, funkcje wirtualne dla gości Intel Arc Pro Bxx 03:00.0: funkcja fizyczna sterownik hosta: xe 03:00.1 vfio-pci 03:00.2 vfio-pci 03:00.3 tworzone, gdzie to możliwe 03:00.4 tworzone, gdzie to możliwe Pulpit Windows 1 akceleracja sprzętowa Pulpit Windows 2 akceleracja sprzętowa Pulpit Windows 3 akceleracja sprzętowa Pulpit Windows 4 akceleracja sprzętowa Licencja vGPU nie pojawia się w żadnym momencie. SR-IOV to funkcja PCIe, którą karta albo zgłasza, albo nie, a ta zgłasza ją pod\u0026#160;[320]. Ile funkcji utworzy, ustala firmware, bo każda dostaje stały wycinek pamięci karty: większy wycinek oznacza mniej funkcji. B50 z 16 GB daje dwie po 8 GB; karty 24 i 32 GB zgłaszają siedem. Funkcja fizyczna zostaje przy sterowniku xe hosta. Każda funkcja wirtualna jest pełnoprawnym urządzeniem PCIe, podpiętym pod vfio-pci i przekazanym do gościa: ta sama maszyneria passthrough co dla całej karty, tylko kilka razy. Para przerywana zależy od karty: ile funkcji utworzy każda z nich, jest opisane dalej. Słoń w pokoju: najpierw potrzebujesz Windows Zanim cokolwiek z tego zadziała, karta chce aktualizacji firmware. Intel dostarcza tę aktualizację w instalatorze sterownika dla Windows.\nCo jest niezręczne, bo kartę kupiłeś po to, żeby działała pod Proxmox.\nJest obejście, które nie wymaga niczego poza Proxmox: zbuduj maszynę wirtualną z Windows, przekaż do niej całą kartę, pozwól Windows zaktualizować firmware, a potem oddaj kartę hostowi. To pętla rozruchowa i warto o niej wiedzieć, zanim zaplanujesz budowę, a nie po fakcie.\nPrzerwanie pętli startu od Windows tymczasową maszyną wirtualną Haczyk: SR-IOV wymaga aktualnego firmware, a firmware jest w instalatorze sterownika dla Windows. 1 Karta w hoście lspci → 03:00.0 2 Cała karta → VM Windows hostpci0, Q35 + OVMF 3 Instalacja sterownika Intel aktualizuje też firmware 4 Restart hosta karta inicjuje się od nowa karta oddana do Proxmox 5 SR-IOV obecne lspci -v → [320] 6 tmpfiles.d przy starcie numvfs, unbind, bind 7 VF dla gości tyle, ile pozwala firmware Kroki 2 i 3 służą tylko aktualizacji firmware. Maszyna wirtualna z Windows jest tymczasowa: gdy karta wróci do hosta, nie ma już żadnej roli, a nic w gotowej konfiguracji nie zależy od Windows działającego na hiperwizorze. Karta nie potrafi SR-IOV, dopóki jej firmware nie jest aktualny, a aktualizacja firmware przychodzi jako sterownik dla Windows. Jedna tymczasowa maszyna wirtualna z Windows z podpiętą całą kartą przerywa pętlę. Znajdowanie karty Na hoście Proxmox znajdź ją przez lspci:\nlspci Tu jest pod 03:00.0, zgłaszana jako Battlemage G21, czyli krzem stojący za Arc Pro B50. Zanotuj ten adres. Będzie ci potrzebny kilka razy, a razem z nim przychodzi osobna funkcja audio pod 04:00.0.\nPrzekazanie całej karty do maszyny wirtualnej z Windows Dodaj kartę do maszyny wirtualnej z Windows jako surowe urządzenie PCI. W sprzęcie maszyny wirtualnej to wpis PCI Device: 0000:03:00 z pcie=1:\nWarto zauważyć, czym jeszcze jest ta maszyna wirtualna, bo nic tu nie jest przypadkowe: typ maszyny Q35, firmware OVMF, VirtIO SCSI single i TPM dla Windows 11. Szczególnie Q35 nie jest tu opcjonalne. Przekazane GPU na i440fx pojawia się jako starsze urządzenie PCI, a to zły kształt dla nowoczesnego sterownika grafiki. Opisuje to Zawsze używaj Q35, nie i440fx.\nUruchom maszynę wirtualną i sprawdź, czy Windows widzi kartę:\nPojawia się jako Microsoft Basic Display Adapter, bo nie ma jeszcze zainstalowanego sterownika. To oczekiwany stan i to wystarczy. Windows znalazł sprzęt.\nAktualizacja firmware Pobierz aktualny sterownik ze strony pobierania Intela dla Arc Pro B50. W chwili pisania była to wersja 32.0.101.8306 (Q4.25), dla Windows 11 i Windows 10 22H2:\nZainstaluj go i pozwól, żeby aktualizacja firmware przebiegła w ramach procesu, zamiast przerywać wcześniej. Ten krok z firmware to cały powód tego objazdu.\nKiedy się skończy, oddaj kartę hostowi i zrestartuj, żeby w pełni zainicjowała się na nowo pod Proxmox.\nSprawdzenie, czy SR-IOV jest na miejscu Teraz zapytaj kartę, co potrafi:\nlspci -v Linia, która ma znaczenie:\nCapabilities: [320] Single Root I/O Virtualization (SR-IOV) To cała propozycja w jednej linii wyniku lspci, bez żadnej licencji przypiętej do niej.\nTrzy inne rzeczy w tym wyniku warto przeczytać przy okazji:\nKernel driver in use: xe: karta jest na nowszym sterowniku Intela xe, a nie na i915, i to on będzie tworzył funkcje wirtualne. [420] Physical Resizable BAR i [220] Virtual Resizable BAR: karta obsługuje BAR o zmiennym rozmiarze, podobnie jak jej funkcje wirtualne. Warto wiedzieć, ile cię to kosztuje w przestrzeni adresowej, jeśli przekazujesz kilka z nich: zobacz PCIe Resizable BAR i nowoczesne GPU. IOMMU group 13: karta jest we własnej grupie, a tego chcesz dla czystego passthrough. Dlaczego to ważne, wyjaśnia artykuł o podatku IOMMU. Tworzenie funkcji wirtualnych przy starcie Funkcje wirtualne nie są trwałe. Poproszenie o nie to zapis do sysfs, więc musi się dziać przy każdym starcie.\ntmpfiles.d to schludny sposób, żeby zrobić to deklaratywnie, zamiast doklejać skrypt do pliku unitu:\nPlik wykonuje trzy zadania po kolei.\nUtwórz funkcje wirtualne, zapisując ich liczbę do sriov_numvfs funkcji fizycznej:\nw /sys/devices/pci0000:00/0000:00:01.1/0000:01:00.0/0000:02:01.0/0000:03:00.0/sriov_numvfs - - - - 4 Odepnij każdą nową funkcję od xe, bo sterownik hosta przejmuje je, gdy się pojawiają, a gość nie może dostać urządzenia, które trzyma host:\nw /sys/bus/pci/drivers/xe/unbind - - - - 0000:03:00.1 w /sys/bus/pci/drivers/xe/unbind - - - - 0000:03:00.2 w /sys/bus/pci/drivers/xe/unbind - - - - 0000:03:00.3 w /sys/bus/pci/drivers/xe/unbind - - - - 0000:03:00.4 Podepnij je pod vfio-pci, co udostępnia je do przekazania:\nw /sys/bus/pci/drivers/vfio-pci/bind - - - - 0000:03:00.1 w /sys/bus/pci/drivers/vfio-pci/bind - - - - 0000:03:00.2 w /sys/bus/pci/drivers/vfio-pci/bind - - - - 0000:03:00.3 w /sys/bus/pci/drivers/vfio-pci/bind - - - - 0000:03:00.4 Zwróć uwagę na adresy: funkcja fizyczna to 03:00.0, a funkcje wirtualne pojawiają się jako .1 do .4.\nJeden szczegół dotyczący w, który wyjaśnia kolejność i który cię ugryzie, jeśli zrobisz to źle. systemd dokumentuje go tak: „Write the argument parameter to a file, if the file exists.” sriov_numvfs istnieje dopiero wtedy, gdy jakiś sterownik podepnie się pod funkcję fizyczną, a ścieżki funkcji wirtualnych istnieją dopiero po tym zapisie. Więc kolejność w pliku nie jest kwestią stylu. Każda linia zależy od tego, czy poprzednia zadziałała.\nDlaczego dwie, a nie cztery Sterownik 32.0.101.8306, ten zainstalowany wyżej, zawiera firmware grafiki BMG__21,1162, i to jest wydanie, w którym Intel po raz pierwszy oficjalnie włączył SR-IOV na Arc Pro. Deklarowana przez Intela wartość domyślna dla B50 w tym wydaniu to dwie funkcje wirtualne, każda z 8 GB VF Local Memory BAR.\nCo sprawia, że ta liczba to arytmetyka, a nie polityka. B50 ma 16 GB. Przy 8 GB na funkcję wirtualną mieszczą się tylko dwie.\nJest haczyk, o którym warto wiedzieć, jeśli szukasz obejścia. Zanim pojawiło się oficjalne wsparcie, niektórzy używali starszego firmware, który na B50 wystawiał 12 funkcji wirtualnych, a powrót do sterownika 32.0.101.6979 przywraca tę liczbę. Te 12 dzieliło te same 16 GB, więc każda dostawała ułamek pamięci, którą dostają moje. Stanowisko Intela jest takie, że dwie wybrano celowo, żeby każda funkcja miała dość mocy obliczeniowej, pojemności i przepustowości, by zachowywać się przewidywalnie.\nWięc limit da się przesunąć, ale nie ty to zrobisz. Maksymalna liczba VF i rozmiar VF Local Memory BAR siedzą w IFWI, nie ma publicznego narzędzia do zmiany żadnego z nich, a wspierana odpowiedź na aktualnym stosie to dwie.\nIle pulpitów daje każda karta B50 to mała karta w rodzinie, a jej dwie funkcje to najniższy poziom w rodzinie. Jeśli zależy ci na liczbie stanowisk, kupuj wyżej w gamie.\nCała linia Battlemage Arc Pro obsługuje SR-IOV. Różni się tym, ile funkcji firmware wykroi, a to idzie za pamięcią:\nKarta Pamięć VF na aktualnym wspieranym stosie Widziane gdzie indziej Arc Pro B50 16 GB 2, po 8 GB VF BAR każda: udokumentowana wartość domyślna Intela 12 na nieoficjalnym firmware, przez sterownik 32.0.101.6979 Arc Pro B60 24 GB 7 zgłaszanych 24 na wczesnym firmware ASRock, obcięte do 7 przez późniejsze Arc Pro B60 Dual 2 × 24 GB 7 na GPU: dwa GPU, więc 14 z jednego slotu jak wyżej; obie połowy są niezależne Arc Pro B65 32 GB nie znaleziono opublikowanej liczby brak danych Arc Pro B70 32 GB 7 zgłaszanych, na firmware 8517 4 na wcześniejszym firmware Tylko wiersz B50 jest udokumentowany przez Intela. Liczby dla B60 i B70 to to, co ludzie zgłaszają z lspci, i zmieniały się już nie raz. Szczególnie B60 spadło z 24 do 7 po aktualizacji firmware, co jest tym samym rodzajem zawężenia, jakie przeszło B50. Nikt chyba w ogóle nie opublikował liczby VF dla B65, więc traktuj ten wiersz jako nieznany, a nie jako zero.\nZ tej tabeli wynikają dwie rzeczy i obie mają większe znaczenie niż którakolwiek pojedyncza liczba w niej.\nLiczba VF to podział pamięci, a nie cecha układu. Reguła Intela jest taka, że większy VF Local Memory BAR oznacza mniej funkcji. Dlatego karta 16 GB daje dwie, a karty 32 GB dają siedem: nic w shaderach GPU o tym nie decyduje.\nSprawdź kartę, którą zamierzasz kupić, a nie rodzinę. Obecność SR-IOV różniła się między producentami płyt na tym samym układzie: B60 Blower od Sparkle początkowo wychodziło bez tej funkcji widocznej w ogóle i zyskało ją dopiero po aktualizacji firmware przez igsc. Poproś o wynik lspci -v z dokładnie tego modelu albo zaplanuj aktualizację firmware, zanim zaczniesz na tym polegać.\nDual B60 to dwie karty w jednym śledziu Arc Pro B60 Dual 48G Turbo od Maxsun to ta ciekawa pod względem liczby stanowisk, a kluczowe jest zrozumienie, że te 48 GB nie są pulą.\nTo dwa GPU B60, dwa układy BMG-G21, na jednej płytce, z 24 GB GDDR6 podłączonymi do każdego, i bez mostka PCIe między nimi. Oba układy wiszą bezpośrednio na złączu x16, każdy jako PCIe 5.0 x8.\nCo oznacza, że host musi podzielić slot za ciebie. Karta potrzebuje głównego slotu x16 z bifurkacją x8/x8, a większość płyt konsumenckich nie włącza tego domyślnie. To ustawienie firmware, którego trzeba poszukać, w tej samej kategorii co ustawienia IOMMU i ACS, których to wszystko wymaga.\nZrób to dobrze, a system operacyjny widzi dwa osobne GPU, każde z własną funkcją fizyczną i własnym SR-IOV. Dostajesz więc dwa zestawy funkcji wirtualnych z jednego slotu, 14 stanowisk, jeśli każdy układ zachowuje się jak pojedyncze B60, a plik tmpfiles.d wyżej się podwaja, jeden zapis sriov_numvfs na układ.\nZrób to źle, a widzisz jedno GPU i połowa karty jest niewidoczna.\nWarto powiedzieć wprost, czym te 48 GB nie są: gość podpięty do funkcji wirtualnej na pierwszym układzie nie sięgnie do pamięci drugiego. To dwie karty po 24 GB w jednej fizycznej przestrzeni, czyli dokładnie to, czego chcesz dla stanowisk VDI, i dokładnie to, czego nie chcesz dla jednego dużego modelu.\nWięc: jeśli dwa stanowiska wystarczą, B50 to karta 70 W, która to zrobi. Jeśli chcesz siedmiu, planuj wokół B70. Jeśli chcesz czternastu i masz płytę, która zrobi bifurkację, podwójne B60 da ci to w jednym slocie.\nCzy da się uruchomić AI na funkcji wirtualnej? Krótka odpowiedź: traktuj to jako niewspierane. Dłuższa odpowiedź, bo powód ma znaczenie i nie jest tym, którego byś się spodziewał.\nTe karty są reklamowane jako karty do AI i nie udają. 128 silników XMX w B50 ma 170 szczytowych TOPS, B70 ma 367, a historia oprogramowania Intela jest prawdziwa: vLLM serwuje modele od 8B do 120B na Arc Pro z serii B, a IPEX-LLM i backend SYCL w llama.cpp oba na nich działają.\nAle spójrz, jak powstaje każdy z tych wyników. Własne liczby vLLM dla Arc Pro pochodzą z kontenera Docker na gołym metalu, na systemach z czterema i ośmioma całymi kartami B60 robiącymi równoległość tensorową. Wpis Intela ani razu nie wspomina SR-IOV ani funkcji wirtualnych.\nTen wzorzec trzyma się wszędzie, gdzie patrzyłem. Intel zawęża zastosowania SR-IOV do wirtualizowanego zdalnego pulpitu, akceleracji grafiki w systemie gościa oraz kodowania i dekodowania mediów. Obliczeń nie ma na tej liście i nie znalazłem ani jednego opublikowanego przypadku, w którym ktoś uruchamiałby inferencję LLM w maszynie wirtualnej podpiętej do funkcji wirtualnej.\nTo, co ludzie naprawdę robią, jest wymowne: uruchamiają model w Dockerze na hoście, a funkcje wirtualne dają maszynom wirtualnym na pulpity. Jedna osoba robiąca obie rzeczy naraz pisze po prostu, że „VRAM gets pretty tight.”\nI to jest prawdziwy problem, a jest nim arytmetyka, a nie wsparcie sterownika.\nFunkcja wirtualna dostaje stały wycinek pamięci lokalnej: 8 GB na B50, ustawione w firmware. Ten wycinek to twardy sufit na wagi plus pamięć KV cache w tym gościu i nie rośnie dlatego, że karta ma więcej. Model 8B w FP16 to około 16 GB wag, zanim dodasz jakikolwiek kontekst, więc nie zmieści się w funkcji wirtualnej B50 na żadnym sterowniku. Skwantyzuj do Q4, a 8B mieści się w około 4 GB, zostawiając kilka GB na kontekst: to działa, ale daleko temu do tego, co karta potrafi niepodzielona.\nWięc oba obciążenia konkurują o tę samą pamięć, a podział jest ustalony w firmware, zanim którekolwiek z nich wystartuje.\nJeśli zadaniem jest AI, nie dziel karty. Przekaż całość do jednej maszyny wirtualnej, tym samym passthrough hostpci0, którego używałem do aktualizacji firmware wcześniej w tym wpisie, albo uruchom kontener na hoście i pomiń wirtualizację dla tego obciążenia. Obie drogi dają modelowi całe 16 GB i pełną macierz XMX.\nJeśli zadaniem jest VDI, funkcje wirtualne to dobry wybór, i spodziewaj się za każdą z nich grafiki pulpitu, a nie serwera inferencji. Sprzętowo akcelerowane pulpity, odtwarzanie wideo i kodowanie działają. Do tego ten mechanizm jest udokumentowany.\nWarto powiedzieć wprost: brak opublikowanych dowodów nie jest dowodem, że to nie działa. Sterownik xe udostępnia obliczenia przez Level Zero i OpenCL i jest całkiem możliwe, że gość oparty na VF uruchomi je bez problemu. Ale nic od Intela nie mówi, że to zwalidowane, nikt chyba nie pokazał, że to działa, a sufit pamięci ogranicza korzyść, nawet jeśli działa. Nie na tym buduje się plan.\nIle to nadal jest warte Dwie funkcje wirtualne to dwa sprzętowo akcelerowane pulpity Windows z jednej karty, bez licencji vGPU, bez subskrypcji i bez serwera licencji. Na hiperwizorze, którego uruchomienie nic nie kosztuje. To wystarczy, żeby udowodnić, że podejście działa, i to jest uczciwe zadanie dla B50. To dół gamy.\nDo prawdziwego wdrożenia VDI specyfikowałbym podwójne B60.\nCzternaście funkcji z jednego slotu, jeśli każdy układ zachowuje się jak pojedyncze B60, stawia je na tym samym terytorium liczby stanowisk co karty NVIDII sprzedawane pod to obciążenie, za dużo niższą cenę i bez niczego do licencjonowania na użytkownika. Ta ostatnia część to ta, która się kumuluje. vApps, vPC i RTX vWS od NVIDII są licencjonowane na jednoczesnego użytkownika, albo jako roczna subskrypcja, albo jako licencja wieczysta, którą trzeba kupić razem z pięcioletnią subskrypcją wsparcia i utrzymania. Każde stanowisko to pozycja na fakturze i wraca co roku. Po stronie Intela nie ma takiej pozycji. Kupujesz kartę.\nA mechanizm to część, która ma znaczenie w długim terminie. SR-IOV na GPU to funkcja PCIe, a nie poziom produktu, więc plik tmpfiles.d po prostu rośnie, żeby pasować do tego, na co pozwala karta.\nKształt to jeden zapis sriov_numvfs, potem unbind i bind dla każdej funkcji, więc dwie funkcje to pięć linii, a dziewięć wyżej to cztery funkcje zamówione na karcie, która daje dwie. Siedem funkcji to piętnaście linii. Podwójne B60 to trzydzieści, bo każdy układ jest własną funkcją fizyczną i dostaje własny zapis sriov_numvfs.\nNic poza tym się nie zmienia, gdy to skalujesz. Serwer licencji nie pojawia się w tym pliku w żadnym miejscu.\nŹródła Intel support — why the latest Arc Pro B50 firmware shows 2 SR-IOV VFs — oficjalne stanowisko: SR-IOV oficjalnie włączone od firmware grafiki BMG__21,1162 w sterowniku 32.0.101.8306, dwie VF po 8 GB VF Local Memory BAR na B50, a maksymalna liczba VF i rozmiar BAR ustawione na poziomie IFWI, bez publicznego narzędzia do ich zmiany Intel Community — \u0026ldquo;Why did the latest Intel Arc Pro B50 firmware nerf SR-IOV VFs from 12 to 2?\u0026rdquo; — nieoficjalny firmware z 12 VF, powrót do 32.0.101.6979, który je przywraca, i uzasadnienie Intela dla niższej wartości domyślnej Level1Techs — B60 SR-IOV support in the Arc Pro drivers — raporty lspci z praktyki dla B60, aktualizacja firmware przez igsc, która odsłoniła tę funkcję, i skąd biorą się liczby 24, a potem 7 Level1Techs — B50, B60 or B70 for SR-IOV — zgłaszane liczby VF dla każdej karty i każdego firmware, źródło wierszy B70 ASRock — Intel Arc Pro B65 Creator 32GB — specyfikacja B65: 32 GB GDDR6, 20 jednostek obliczeniowych, 160 silników XMX, 256 bitów, PCIe 5.0 MAXSUN — Arc Pro B60 Dual 48G Turbo — własne stwierdzenie producenta, że karta „uses PCIe 5.0 x8 + x8 interfaces and runs efficiently on consumer platforms that support PCIe x16 lane bifurcation” vLLM — Fast and affordable LLM serving on Intel Arc Pro B-Series — historia AI na tych kartach i fakt, że to historia Dockera na gołym metalu z czterema i ośmioma całymi B60, bez wzmianki o SR-IOV czy funkcjach wirtualnych Linux kernel — Intel Xe driver — sterownik używany przez kartę, według lspci -v tmpfiles.d(5) — typ linii w i jego warunek „if the file exists”, który dyktuje kolejność opisaną wyżej NVIDIA Virtual GPU Software Packaging, Pricing and Licensing Guide — licencjonowana alternatywa, której ten projekt unika: vApps, vPC i RTX vWS sprzedawane na jednoczesnego użytkownika, jako roczna subskrypcja albo licencja wieczysta w pakiecie z pięcioma latami wsparcia i utrzymania Proxmox VE — PCI(e) Passthrough — wymagania passthrough po stronie hosta ","permalink":"https://blogs.damiendye.uk/pl/proxmox/licence-free-vdi-intel-arc-pro-sriov/","summary":"Karty Intel Arc Pro obsługują SR-IOV natywnie, bez licencji vGPU do kupienia, co sprawia, że VDI z Windows bez licencji na Proxmox jest naprawdę możliwe. Cała budowa na B50, problem startu od Windows, dlaczego firmware ogranicza ją do dwóch funkcji wirtualnych i ile daje każda karta z serii B.","title":"VDI z Windows bez licencji na Proxmox z Intel Arc Pro B50 i limit firmware, który to zatrzymał"},{"content":"Przełącznik, którego nie kupujesz Trzywęzłowy klaster Proxmox z Ceph potrzebuje szybkiej sieci między węzłami. Zwykła odpowiedź to przełącznik 100 Gbit, a zwykły zarzut to jego cena.\nDla trzech węzłów jest inna odpowiedź: połącz je kablami bezpośrednio ze sobą w trójkąt i routuj po nim. Żadnego przełącznika na ścieżce pamięci masowej.\nNajtańszy element każdego projektu to ten, którego nie kupujesz, i to jedyny, który nigdy nie zawodzi.\nTo daje cztery rzeczy.\nKoszt przełącznika znika. Potrzebujesz kart sieciowych i trzech kabli, a nie przełącznika 100 albo 200 Gbit z odpowiednią liczbą portów.\nŚcieżka danych nie ma pojedynczego punktu awarii. Przełącznik, który padnie albo się zrestartuje, zabiera ze sobą cały ruch wschód-zachód klastra. Węzłom połączonym bezpośrednio jest obojętne, co dzieje się z przełącznikiem gdzie indziej w budynku.\nCiężki ruch ma własne kable. Migracja na żywo i replikacja Ceph zostają w siatce, zamiast konkurować z ruchem biurowym i zarządzającym.\nRozbudowa to robota przy kablach, a nie przy budżecie portów. Nie ma centralnego pudła, które byłoby sufitem przepustowości albo liczby portów, więc sieć rośnie, dopóki każdy serwer ma wolny slot PCIe. OpenFabric sam zaczyna routować po nowych łączach.\nI jedno uczciwe ograniczenie, bo liczy się bardziej niż te cztery korzyści. Pełna siatka potrzebuje kabla między każdą parą węzłów. Trzy węzły to trzy kable. Cztery to sześć. Pięć to dziesięć. Okablowanie rośnie szybciej niż liczba węzłów i ten projekt nie przetrwa poza małym klastrem bez przejścia na coś z przełącznikami, jak leaf-spine.\nTrzy węzły to dokładnie ten punkt, w którym pełna siatka ma sens. Dalej, z dwoma portami siatki na węzeł, możesz zbudować jeszcze pierścień, a to wymaga jednej rzeczy, której ta budowa poza tym unika; o tym niżej.\nCo powstaje Trzy hosty Proxmox VE, każdy z dwoma dedykowanymi interfejsami 100 Gbit, połączone w trójkąt, tak że każdy węzeł ma dwóch bezpośrednich sąsiadów.\nRoutingiem zajmuje się Proxmox SDN. Protokołem jest OpenFabric: wyznacza najlepszą ścieżkę przez siatkę, a gdy ktoś wyciągnie kabel albo padnie łącze, przeroutowuje ruch pozostałą ścieżką. Nikt się nie loguje.\nSieć żyje w 10.10.10.0/24, zarezerwowanej dla siatki i dla niczego innego: nie dla zarządzania, nie dla gości, nie dla adresacji pamięci masowej, nie dla niczego zewnętrznego.\nWęzeł Adres w siatce Interfejsy siatki mesh1 10.10.10.1/32 nic1, nic2 mesh2 10.10.10.2/32 nic1, nic2 mesh3 10.10.10.3/32 nic1, nic2 Każdy węzeł dostaje /32, a nie kawałek podsieci. Na tym polega siatka routowana, a nie mostkowana. Adres identyfikuje węzeł, OpenFabric go ogłasza, a dwa fizyczne łącza to tylko drogi, by do niego dotrzeć. Proxmox tworzy do jego przechowania atrapę interfejsu loopback.\nTrójkąt trzech węzłów i karta, na której ląduje każdy kabel przełącznik 2,5 Gbit zarządzanie + klienci mesh1 10.10.10.1/32 mesh2 10.10.10.2/32 mesh3 10.10.10.3/32 DAC-01 nic1 ↔ nic1 DAC-03 nic2 ↔ nic2 DAC-02 mesh2 nic2 ↔ mesh3 nic1 nic0 nic0 nic0 Każdy węzeł sięga pozostałych dwóch bezpośrednio, więc każdy skok w siatce to jeden skok. Przerywane łącza nic0 to osobna ścieżka zarządzania 2,5 Gbit: nigdy nie część sieci i powód, dla którego dalej się zalogujesz, gdy siatka padnie. Trzy kable, sześć portów i dwie ścieżki do każdego węzła. Wyciągnij dowolny pojedynczy kabel, a każdy węzeł dalej jest osiągalny: dwa pozostałe łącza tworzą łańcuch, który OpenFabric obejdzie. Okablowanie Aktywne światłowodowe kable DAC, w trójkąt, z ramkami jumbo włączonymi na obu interfejsach siatki na każdym węźle.\nKabel Od Do DAC-01 mesh1 nic1 mesh2 nic1 DAC-02 mesh2 nic2 mesh3 nic1 DAC-03 mesh3 nic2 mesh1 nic2 Aktywny światłowód zamiast miedzianego DAC, z dwóch powodów, które dotyczą szafy, a nie sieci:\nProwadzenie kabli. Aktywne światłowodowe DAC są cieńsze i znacznie bardziej giętkie niż miedziane, więc układają się czysto i nie piętrzą się za serwerami. Przepływ powietrza. Mniej kabli za obudową to mniej zaburzeń przepływu powietrza od przodu do tyłu, co ma znaczenie, gdy kilka szybkich łączy ląduje w tych samych kilku jednostkach szafy. Dwie sieci, nie jedna Siatka nie jest jedyną siecią i nie wolno jej się nią stać.\nKażdy węzeł ma nic0 na przełączniku 2,5 Gbit, widoczny w Proxmoxie jako most vmbr0. Przez niego idzie interfejs WWW, dostęp administracyjny i ruch klientów. To też ścieżka, z której korzystasz, budując siatkę, i dlatego musi być od niej niezależna.\nnic0 jest celowo pozostawiony poza siatką. Przy tworzeniu węzłów siatki zaznacza się tylko nic1 i nic2.\nSiatka niesie trzy rzeczy:\nCeph. Replikację między węzłami, odzyskiwanie i backfill dla hiperkonwergentnej pamięci masowej. Wirtualne sieci klientów. VNety oparte na VXLAN rozciągają sieci gości na wszystkie trzy węzły, używając routowanej siatki jako podkładu. Corosync, jako drugą ścieżkę. Ruch członkostwa w klastrze idzie przez sieć zarządzającą i przez siatkę, więc kworum nie zależy od przetrwania żadnej z nich osobno. Co jedzie siecią zarządzania, co siatką i jedyna rzecz na obu Sieć zarządzania 2,5 Gbit nic0 → vmbr0 → przełącznik Interfejs WWW Proxmoxa Dostęp administracyjny Ruch klientów Routowana siatka 100 Gbit nic1 + nic2 → bezpośredni DAC, bez przełącznika Replikacja Ceph, odzyskiwanie, backfill Wirtualne sieci klientów VXLAN Migracja na żywo Corosync: obie ścieżki Członkostwo w klastrze nie zależy od przetrwania żadnej sieci osobno. Rozdzielenie to jest projekt. Zarządzanie jest osiągalne niezależnie od stanu interfejsów 100 Gbit, i dlatego budowa sieci z interfejsu WWW, a także jej wycofanie, jest bezpieczne. Corosync to jedyna rzecz na obu. Wszystko inne ma dokładnie jeden dom, a dostęp zarządczy to ten, który musi działać, gdy zmieniasz ten drugi. Reguła, którą warto wpisać do zgłoszenia zmiany: zarządzanie i dostęp klientów są przez cały czas dostępne przez przełącznik 2,5 Gbit, niezależnie od stanu interfejsów 100 Gbit.\nWszystko przez interfejs WWW Ta budowa jest zrobiona w całości w interfejsie WWW Proxmoxa. To świadomy wybór, a nie ograniczenie narzędzi.\nCelowo nieużywane:\nRęczna edycja /etc/network/interfaces. Ręczna edycja plików konfiguracyjnych FRR. vtysh jako metoda budowy. Proxmox generuje leżącą pod spodem konfigurację sieci i routingu z obiektów SDN, które definiujesz. Jeśli czegoś naprawdę nie da się ustawić w interfejsie, warto to nazwać jako warunek wstępny, a nie po cichu poprawiać w wierszu poleceń. Następna osoba, która otworzy interfejs WWW, nie będzie wiedziała, że to zrobiłeś.\nWyjście z wiersza poleceń pojawia się niżej wyłącznie jako dowód, nigdy jako krok budowy.\nBudowa 1. Otwórz interfejs WWW Proxmoxa i przejdź do Datacentre → SDN → Fabrics.\n2. Dodaj sieć (fabric). Nadaj jej nazwę, podaj prefiks siatki i ustaw liczniki czasu.\nInterwały Hello i CSNP równe 1 aktualizują stan tak szybko, jak się da, gdy coś się zmienia, a tego chcesz w tak małej sieci. Kosztem jest więcej gadania w płaszczyźnie sterowania. Bez znaczenia przy trzech węzłach z dwoma łączami każdy, warte namysłu, jeśli sieć kiedyś urośnie.\n3. Dodaj każdy węzeł przez Add node. Nadaj mu adres z zakresu siatki i zaznacz interfejsy, które biorą udział.\nZwróć uwagę na to, co nie jest zaznaczone: nic0 zostaje poza, a vmbr0 zachowuje adres zarządczy. Użyj Create another dla pierwszych dwóch węzłów i Create dla ostatniego.\n4. Sprawdź wynik, zanim go zastosujesz.\nTrzy węzły, trzy adresy, nic1, nic2 na każdym, wszystkie oznaczone new: nic jeszcze nie zostało zapisane.\n5. Zastosuj konfigurację SDN.\nObok Apply jest Dry-Run, jeśli wolisz najpierw zobaczyć, co zamierza zrobić.\nSkąd wiesz, że zadziałało Widok statusu powinien pokazywać wpisy strefy i sieci jako ok na wszystkich trzech węzłach i żadnych oczekujących zmian do zastosowania.\nPotem sprawdź sieć z punktu widzenia samego węzła. Najpierw trasy: każdy węzeł powinien mieć /32 do każdego z pozostałych, a kolumna Via mówi ci, którego sąsiada używa.\nNastępnie sąsiedzi. Dwóch, obaj Up, w trzywęzłowym trójkącie.\nPotem interfejsy, gdzie widać kształt całości: dummy_Mesh jako loopback trzymający adres routera, a nic1 i nic2 jako Point-To-Point, a nie segmenty rozgłoszeniowe.\nNa koniec udowodnij to od końca do końca.\nBez strat i średnie 0,134 ms i 0,141 ms. Obaj sąsiedzi są o jeden bezpośredni skok, i to właśnie daje trójkąt.\nSprawdzian, który warto zrobić, a którego żaden zrzut ekranu nie pokaże: wyciągnij jeden kabel i potwierdź, że wszystko dalej jest osiągalne. To cały powód, by wybrać routowaną siatkę zamiast pary łączy punkt-punkt. W związku z tym to jedyny test, który się liczy.\nPonad trzy węzły: pierścień Trójkąt to pełna siatka. Każdy węzeł ma bezpośredni kabel do każdego innego, każdy przeskok to jeden przeskok i żaden węzeł nigdy nie niesie ruchu, który nie jest jego.\nTę właściwość dają ci dwa porty siatki na węzeł przy trzech węzłach i dokładnie ją tracisz przy czterech. Nie część. Całą. Pełna siatka czterech węzłów potrzebuje po trzy porty. Z dwoma najwięcej, co możesz okablować, to pierścień.\nPierścień zmienia model ruchu. Sąsiednie węzły dalej mają bezpośredni kabel, ale węzły po przeciwnych stronach pierścienia nie: ich ruch musi przejść przez węzeł pośredni. A ten węzeł musi chcieć przekazywać pakiety między swoimi dwoma interfejsami siatki, czego Linux domyślnie nie robi. Jądro dokumentuje ip_forward jako „Forward Packets between interfaces” z „Default: 0 (disabled)”.\nPierścień czterech węzłów: przeciwne węzły nie mają kabla, więc jeden przekazuje za nie mesh1 10.10.10.1 mesh2 przekazuje mesh3 10.10.10.3 mesh4 10.10.10.4 mesh1 → mesh3 brak kabla między nimi więc idzie przez mesh2 węzeł tranzytowy przekazuje między nic1 i nic2 Pełna siatka przy 4 węzłach 6 kabli, 3 porty na węzeł bez tranzytu i przekazywania Pierścień: 4 kable, 2 porty, i dlatego tu jesteś Dwie z sześciu par węzłów nie mają bezpośredniego kabla. Ich ruch niesie sąsiad, więc łącza tego sąsiada niosą replikację Ceph innych węzłów oprócz własnej, a tego kosztu trójkąt nie ma. Między mesh1 a mesh3 nie ma kabla. Ich ruch przechodzi przez mesh2 albo mesh4, a ten węzeł przekazuje go tylko dlatego, że przekazywanie jest włączone na dwóch interfejsach, którymi ruch przychodzi. Włącz je dla interfejsów siatki i tylko dla nich:\n# /etc/sysctl.d/99-mesh-forwarding.conf net.ipv4.conf.nic1.forwarding = 1 net.ipv4.conf.nic2.forwarding = 1 sysctl --system Odczytaj je z powrotem, zamiast zakładać:\nsysctl net.ipv4.conf.nic1.forwarding net.ipv4.conf.nic2.forwarding Ustawienie per interfejs ma tu właściwy zakres i działa samo. Globalne net.ipv4.ip_forward nie jest warunkiem wstępnym. Decyzja jądra o przekazaniu czyta własną wartość interfejsu odbierającego:\n#define IN_DEV_FORWARD(in_dev) IN_DEV_CONF_GET((in_dev), FORWARDING) IN_DEV_CONF_GET zwraca ustawienie tego urządzenia, a nie AND z globalnym. Dzięki temu nic1 i nic2 przekazują ruch tranzytowy sieci, a nic0 i vmbr0 zostają dokładnie tym, czym powinny być: interfejsami hosta, które nie routują. Włączenie globalnego przełącznika zrobiłoby routerem każdy interfejs na maszynie, łącznie z tym od strony sieci biurowej. Ten projekt niczego takiego nie potrzebuje.\nJedna rzecz, którą warto wiedzieć o globalnym przełączniku IPv4, choć go nie ustawiasz: net.ipv4.ip_forward to ustawiacz hurtowy, i dlatego dokumentacja jądra ostrzega, że jego zmiana „resets all configuration parameters to their default state”. Jeśli cokolwiek innego na hoście kiedyś go zapisze, nadpisze te wartości per interfejs. Warto to wiedzieć, zanim spędzisz popołudnie nad tym, czemu tranzyt przestał działać.\nIPv6 jest wyjątkiem i to jedyne miejsce, gdzie globalny przełącznik pasuje. Dokumentacja jądra mówi to wprost pod conf/all/forwarding:\nEnable global IPv6 forwarding between all interfaces. IPv4 and IPv6 work differently here; the force_forwarding flag must be used to control which interfaces may forward packets.\nNie ma więc odpowiednika IPv6 dla zgrabnego podejścia per interfejs opisanego wyżej. Jeśli sieć niesie IPv6, włączasz przekazywanie globalnie, a potem zawężasz je przez force_forwarding, udokumentowane jako „Enable forwarding on this interface only — regardless of the setting on conf/all/forwarding”. Zwróć uwagę, że to samo nadpisywanie działa w drugą stronę: ustawienie conf.all.forwarding na 0 resetuje force_forwarding na każdym interfejsie.\nBudowa powyżej zostawia prefiks IPv6 sieci pusty, więc nic z tego tu nie obowiązuje: ma to znaczenie tylko wtedy, gdy go dodasz.\nZwróć uwagę, czego przekazywanie nie zmienia: OpenFabric już ogłaszał /32 każdego węzła i już wyznaczał ścieżkę przez pierścień. Przekazywanie to brakujące pozwolenie, a nie brakujący rozum. Tablica routingu była poprawna od początku. Jądro po prostu odmawiało bycia routerem.\nIle kosztuje pierścień w porównaniu z trójkątem:\nRuch tranzytowy. W pierścieniu czterech węzłów dwie pary po przekątnej przechodzą przez węzeł pośredni, więc ich ruch zużywa przepustowość łączy tego węzła oprócz jego własnej. Ceph zauważa to pierwszy, bo replikacja idzie każdy do każdego, a nie od sąsiada do sąsiada. Dodatkowy przeskok opóźnienia na tych ścieżkach, ponad zwykłe dla bezprzełącznikowego projektu wartości poniżej milisekundy. Mniejszy zapas na awarie. Jedno zerwane łącze zmienia pierścień w łańcuch: dalej w pełni połączony, ale z dłuższymi ścieżkami i większym tranzytem. Drugie zerwanie dzieli klaster. Trójkąt znosi jedno zerwanie bez żadnego tranzytu. I robi się gorzej w sposób, który łatwiej narysować niż opisać. Dodaj piąty węzeł, a połowa par węzłów w klastrze zależy od tego, że ktoś inny przekaże ruch:\nPierścień pięciu węzłów: połowa par zależy od przekazywania przez kogoś innego mesh1 mesh2 mesh3 mesh4 mesh5 kabel: bezpośrednio, jeden skok brak kabla: przekazuje sąsiad Pięć węzłów, po dwa porty 10 par węzłów łącznie 5 ma bezpośredni kabel 5 nie ma i idzie przez sąsiada Każdy węzeł przekazuje teraz ruch, który nie jest jego. Zamiast tego pełna siatka? 10 kabli i 4 porty na węzeł, czyli dwie karty więcej w serwerze, i tu projekt się kończy. Przy trzech węzłach nic nie idzie tranzytem. Przy czterech dwie pary. Przy pięciu połowa, a jedno zerwanie wydłuża każdą ścieżkę. Dziesięć par węzłów, pięć kabli. Linie przerywane to pary bez kabla między sobą: każda z nich to ruch Ceph jadący przez łącza trzeciego węzła. Pełna siatka, która by tego uniknęła, wymaga czterech portów na serwer. To jest prawdziwy sufit tego projektu i nie jest nim protokół routingu. OpenFabric radzi sobie dobrze. Chodzi o to, że liczba portów na węzeł jest stała, więc powyżej trzech węzłów każda nowa maszyna zamienia więcej twojego ruchu w czyjś tranzyt.\nI uczciwa uwaga, bo ma znaczenie dla budowy, która do tej pory szła wyłącznie przez interfejs WWW: sysctl to nie jest akcja w interfejsie WWW. Zgodnie z regułą postawioną wcześniej to warunek wstępny, który trzeba nazwać, a nie coś do cichego poprawienia w wierszu poleceń. Wpisz to do runbooka, bo następna osoba, która otworzy panel SDN, zobaczy zdrową sieć i ani śladu tego, że pierścień zależy od pliku w /etc/sysctl.d.\nWycofanie Usunięcie to budowa w odwrotnej kolejności, w tym samym interfejsie: skasuj obiekty SDN utworzone dla siatki, zastosuj konfigurację i potwierdź, że dostęp zarządczy jest nietknięty.\nTen ostatni krok to powód istnienia nic0 i przełącznika 2,5 Gbit. Jeśli wycofanie siatki mogłoby kosztować cię interfejs WWW, projekt był zły, zanim zacząłeś.\nZanim zaczniesz Dostęp zarządczy jest naprawdę niezależny od siatki. Sprawdź to, nie zakładaj. Wszystkie trzy węzły są zdrowe przed jakąkolwiek zmianą SDN. Nazwy węzłów, nazwy interfejsów i okablowanie są zapisane, bo nic1 na jednym hoście będący nic2 na innym to kiepskie popołudnie. Ramki jumbo są ustawione na obu interfejsach siatki, a MTU uwzględnia narzut VXLAN na podkładzie. Zakres siatki jest zarezerwowany i nieużywany nigdzie indziej. Źródła Proxmox VE — Software-Defined Network — dokumentacja SDN Fabrics. Sieci „provide automated routing between nodes in a cluster”, OpenFabric jest „based on IS-IS and optimized for the spine-leaf topology common in data centers”, każdy węzeł potrzebuje unikalnego Router-ID, a „a dummy \u0026rsquo;loopback\u0026rsquo; interface with the router-id is automatically created” Proxmox VE — Cluster Manager — sieć Corosync i łącza nadmiarowe, na których opiera się projekt członkostwa po dwóch ścieżkach Proxmox VE — Deploy Hyper-Converged Ceph Cluster — oczekiwania sieciowe wobec klastra hiperkonwergentnego Linux kernel — IP sysctl documentation — ip_forward i jego domyślne 0, sterowanie forwarding per interfejs oraz ostrzeżenie, że zmiana globalnego przełącznika resetuje konfigurację per interfejs ","permalink":"https://blogs.damiendye.uk/pl/proxmox/proxmox-routed-mesh-sdn-openfabric/","summary":"Trzy węzły Proxmox połączone bezpośrednio ze sobą w trójkąt, z routingiem OpenFabric w siatce i z Ceph oraz sieciami klientów VXLAN jadącymi na wierzchu. Zbudowane w całości w interfejsie WWW, z uczciwym opisem tego, gdzie ten projekt przestaje się skalować.","title":"Bezprzełącznikowa siatka Proxmox z SDN OpenFabric: sieci Ceph i klientów bez przełącznika 100G"},{"content":"Problem z kopiowanymi liniami startowymi Poszukaj tuningu Proxmoxa, a znajdziesz jedną długą linię GRUB_CMDLINE_LINUX, podaną jako całość, bez słowa o tym, która flaga dotyczy czego.\nTo ma większe znaczenie, niż się wydaje. Hiperwizor i gość rozwiązują przeciwne problemy.\nHost chce deterministycznego dostępu do prawdziwego sprzętu: zachowania IOMMU, stanów łączy PCIe, fizycznych stanów bezczynności. Gość chce przestać udawać, że w ogóle ma sprzęt: jego zegary są przybliżeniami, jego stany bezczynności są fikcją, a jego zastoje to zwykle czyjś planista. W związku z tym ta sama flaga może być słuszna po jednej stronie, bezcelowa po drugiej, a czasem szkodliwa.\nPoniżej jest to, gdzie każda naprawdę należy.\nGdzie należy każda flaga startowa jądra Tylko host tu mieszka prawdziwy sprzęt iommu=pt amd_iommu=pgtbl_v2 pcie_acs_override=… pcie_aspm=off pci=pcie_bus_perf → pcie_bus_safe przy USB4 processor.max_cstate=1 + intel_idle.max_cstate na Intelu amd_pstate=disable ustaw też governor Gość nie ma łączy PCIe, C-stanów ani cpufreq. Tylko gość przestań udawać sprzęt cpuidle.off=1 bezczynność gościa to fikcja nmi_watchdog=0 wywłaszczony vCPU go wyzwala softlockup_panic=0 zastój to wina hosta Zostaw kvm-clock w spokoju. Nie wymuszaj tsc ani hpet: liczniki nie są twoje. Na hoście te trzy znaczą coś zupełnie innego, a dwie z nich kosztują naprawdę. Oba: różne powody ta sama flaga, osobna decyzja mitigations=off host: wycieki gość→host gość: izolacja procesów default_hugepagesz + hugepages host: pamięć gościa gość: pamięć aplikacji wybierz jedną warstwę watchdog_thresh / nowatchdog host: przyjęty szum gość: nigdy wiarygodny „Oba” nie znaczy, że ustawiasz to w obu miejscach. Znaczy, że decyzję trzeba podjąć dwa razy. Żadna strona: te nic nie robią amd_iommu=on nieprawidłowa opcja; jądro loguje „Unknown option - 'on'” i jedzie dalej consoleblank=0 to już domyślne w jądrze Jeśli skopiowana linia startowa zawiera którąś z nich, nikt jej nie sprawdził z /proc/cmdline, a to najtańsze dostępne sprawdzenie i to, które łapie też pomyłkę ze złym programem rozruchowym. Flagi krążące w sieci, posortowane. Dwie z popularnych nie robią nic po żadnej stronie, a wiersz watchdoga to prawdziwa kwestia oceny, a nie reguła. Najpierw: czy w ogóle edytujesz właściwy plik? Instalacja Proxmoxa z rootem na ZFS startuje przez systemd-boot, gdzie /etc/default/grub nikt nie czyta. Edytujesz go, restartujesz i nie dostajesz ani zmiany, ani błędu. To frustrująca godzina.\nproxmox-boot-tool status # tells you which bootloader is in use # systemd-boot: edit /etc/kernel/cmdline, then proxmox-boot-tool refresh # GRUB: edit /etc/default/grub, then update-grub Tak czy inaczej, sprawdzaj, a nie zakładaj:\ncat /proc/cmdline A po stronie GRUB-a używaj GRUB_CMDLINE_LINUX_DEFAULT, a nie GRUB_CMDLINE_LINUX. Ta druga dotyczy każdego wpisu startowego, łącznie z trybem ratunkowym, a tryb ratunkowy to dokładnie ten moment, w którym chcesz standardowego zachowania, a nie wyłączonych zabezpieczeń i przypiętych C-stanów.\nLinia hosta IOMMU i passthrough iommu=pt amd_iommu=pgtbl_v2 pcie_acs_override=downstream,multifunction iommu=pt przełącza IOMMU w tryb passthrough: urządzenia przypisane do maszyn wirtualnych są tłumaczone, urządzenia natywne hosta omijają tłumaczenie. To prawdziwa opcja, obsługiwana w arch/x86/kernel/pci-dma.c, który wywołuje iommu_set_default_passthrough(true). Jądro dokumentuje ją jako równoważną iommu.passthrough=1.\namd_iommu=on nie istnieje. To najczęściej kopiowany nieistniejący parametr w poradnikach do Proxmoxa. Funkcja jądra parse_amd_iommu_options() przyjmuje fullflush, force_enable, off, force_isolation, pgtbl_v1, pgtbl_v2, irtcachedis, nohugepages i v2_pgsizes_only. Wszystko inne ląduje tutaj:\npr_notice(\u0026#34;Unknown option - \u0026#39;%s\u0026#39;\\n\u0026#34;, str); AMD-Vi jest włączone domyślnie, gdy firmware je ogłasza. Sprawdź własny log, a przekonasz się, że parametr nigdy nie robił tego, co mu przypisywano:\ndmesg | grep -i \u0026#34;AMD-Vi\\|Unknown option\u0026#34; amd_iommu=pgtbl_v2 jest poprawny: wybiera format tablic stron DMA w wersji v2, który dzieli strukturę tablic stron z procesorem zamiast używać własnej struktury AMD. Dwie rzeczy warto wiedzieć. Dokumentacja ogranicza go do DMA-API, czyli do własnych domen urządzeń hosta, a nie do domen VFIO używanych przy passthrough. Poza tym zawodzi bezpiecznie, z linią w logu, której warto poszukać:\nif (amd_iommu_pgtable == PD_MODE_V2) { if (!amd_iommu_v2_pgtbl_supported()) { pr_warn(\u0026#34;Cannot enable v2 page table for DMA-API. Fallback to v1.\\n\u0026#34;); amd_iommu_pgtable = PD_MODE_V1; } } Warto go więc zmierzyć na węźle z dużym IO po stronie hosta i warto sprawdzić, czy naprawdę go dostałeś.\npcie_acs_override=downstream,multifunction to łatka Proxmoxa spoza głównego drzewa. Dzieli grupy IOMMU, deklarując izolację, której sprzęt nie ogłasza, i to dzięki niej passthrough działa na płytach konsumenckich. To jest też dokładnie mówienie jądru nieprawdy o topologii. W porządku na maszynie, której gościom ufasz tak samo jak hostowi. W innym wypadku nie. Więcej o tym, dlaczego, jest w artykule o podatku IOMMU.\nOpóźnienia i jitter pcie_aspm=off processor.max_cstate=1 amd_pstate=disable pcie_aspm=off trzyma łącza PCIe z dala od stanów niskiego poboru, więc nadchodzące IO nigdy nie czeka, aż łącze się obudzi. Kosztuje kilka watów na łącze i usuwa ogon opóźnień, który trudno zdiagnozować. Zobacz PCIe ASPM i passthrough.\nprocessor.max_cstate=1 ogranicza bezczynność ACPI do C1. Zwróć uwagę na sterownik: to pokrętło processor/acpi_idle, więc na Intelu potrzebujesz dodatkowo intel_idle.max_cstate=1, bo intel_idle ma pierwszeństwo. Na AMD to jest właściwa opcja.\nJest prawdziwy kontrargument. Głęboki sen bezczynnych rdzeni daje układowi zapas termiczny i energetyczny na podkręcenie tych zajętych, więc przypięcie wszystkiego do C1 może obniżyć szczytową częstotliwość jednego wątku, a jednocześnie podnieść pobór w spoczynku. Na hoście wrażliwym na opóźnienia ta wymiana zwykle się opłaca. Na hoście goniącym przepustowość może się nie opłacać. Zmierz to, zamiast dziedziczyć.\namd_pstate=disable cofa do acpi-cpufreq. Zanim po to sięgniesz, warto znać udokumentowane alternatywy: passive (sterownik żąda poziomu wydajności), active (sterownik EPP, z ukierunkowaniem na wydajność albo oszczędność) i guided. active z ukierunkowaniem na wydajność albo passive z governorem performance często dają te same opóźnienia, zachowując przy tym dokładniejszą kontrolę CPPC. A jeśli już go wyłączasz, ustaw governor świadomie: wylądowanie na acpi-cpufreq ze schedutil może być krokiem wstecz.\nPamięć default_hugepagesz=1G hugepages=64 default_hugepagesz=1G sam z siebie niczego nie rezerwuje. Jądro dokumentuje go jako ustawiający „the size of the default HugeTLB page… the default hugetlb size used for shmget(), mmap() and mounting hugetlbfs”, czyli jednostkę, a nie przydział. Przydział pochodzi z hugepages=, udokumentowanego jako „Number of HugeTLB pages to allocate at boot”.\nDla stron 1 GiB ma to znacznie większe znaczenie niż dla 2 MiB, bo ciągłe obszary 1 GiB są praktycznie nie do zdobycia, gdy host już chwilę działa i pamięć się pofragmentowała. Start systemu to twoja jedyna pewna szansa.\nPotem gość musi się zgłosić (hugepages: 1024 w konfiguracji VM). Zarezerwowane strony, z których nic nie korzysta, to po prostu pamięć, której nie odzyskasz, a na maszynach, które ich używają, tracisz ballooning i KSM.\nWymiana na bezpieczeństwie mitigations=off To nie jest jeden przełącznik. Jądro rozwija go do listy, a na hiperwizorze liczą się te pozycje:\nl1tf=off mds=off mmio_stale_data=off kvm.nx_huge_pages=off gather_data_sampling=off retbleed=off spec_rstack_overflow=off nospectre_v2 nopti indirect_target_selection=off Własne podsumowanie jądra brzmi „improves system performance, but it may also expose users to several CPU vulnerabilities”. L1TF, MDS i MMIO stale data to konkretnie ścieżki wycieku z gościa do hosta i z gościa do gościa, a kvm.nx_huge_pages to zabezpieczenie przed iTLB multihit w samym KVM.\nDo obrony na maszynie jednodzierżawnej, gdzie każdy gość jest tak samo zaufany jak host. Nie do obrony tam, gdzie goście są niezaufani albo należą do różnych dzierżawców. I zauważ, że to się sumuje z pcie_acs_override: dwie niezależne gwarancje izolacji usunięte w jednej linii. Warto to robić celowo, a nie w spadku.\nPCIe przez USB4 zmienia dwie z nich Jeśli twoje urządzenia PCIe przychodzą przez USB4 albo Thunderbolt, na przykład zewnętrzny GPU albo obudowa NVMe, dwie z powyższych odpowiedzi się zmieniają.\nStrojenie MPS przestaje być darmowe Na stałych slotach pci=pcie_bus_perf to mała, darmowa wygrana. Jądro opisuje go tak:\nSet device MPS to the largest allowable MPS based on its parent bus. Also set MRRS (Max Read Request Size) to the largest supported value… for best performance.\nHaczyk polega na tym, że konfiguruje mosty przy starcie, na podstawie topologii obecnej przy starcie. Przez USB4 podłączanie na gorąco to normalny przypadek, a urządzenie dodane później może obsługiwać mniejszy MPS niż ten, na który most już ustawiono.\nJądro mówi to głośno, reklamując inną politykę:\npcie_bus_peer2peer — Set every device\u0026rsquo;s MPS to 128B, which every device is guaranteed to support… This also guarantees that hot-added devices will work.\nTylko jedna polityka daje tę gwarancję i jest to ta, która przypina wszystko do 128 bajtów, czyli dokładnie to, od czego strojenie MaxPayloadSize chce uciec. Dla topologii z podłączaniem na gorąco bezpieczniejszym punktem wyjścia jest pcie_bus_safe (największa wartość obsługiwana przez wszystkie urządzenia pod root complexem) albo po prostu zostawienie tune_off. Przełącznik samego tunelu i tak ogranicza osiągalny MPS, więc ten sufit nigdy nie był twój do podnoszenia.\nDlaczego hot-plug zmienia odpowiedź o politykę MPS Przy starcie\u0026#160;pcie_bus_perf\u0026#160;konfiguruje most według tego, co widzi most: MPS 512 urządzenie A · 512 urządzenie B · 512 obecne przy starcie dodane na gorąco · tylko 256 niezgodność nic nie jest renegocjowane W obudowie to się nie zdarza: topologia przy starcie jest topologią na zawsze. Na porcie USB4 to normalny przypadek. Cztery polityki i ta, którą jądro uznaje za bezpieczną dla hot-plug pcie_bus_tune_off zostaw wartości z BIOS-u pcie_bus_safe największa wartość obsługiwana przez wszystko pod root complexem pcie_bus_perf największa dozwolona przez magistralę nadrzędną, per urządzenie, plus MRRS pcie_bus_peer2peer 128 B wszędzie: „guarantees that hot-added devices will work” Tylko jedna polityka daje tę gwarancję i to ta, która wyrzuca rozmiar ładunku, który chciałeś stroić. Most jest konfigurowany raz, przy starcie, na podstawie urządzeń obecnych w tamtej chwili. Wszystko później musi żyć z tą decyzją, co jest w porządku w obudowie i nie w porządku na porcie. Kumulacja ryzyka robi się poważna Zewnętrzne PCIe oznacza, że ktoś może podłączyć do twojego hiperwizora urządzenie zdolne do DMA. Dokumentacja Thunderbolta w jądrze mówi o tym wprost:\n…the connected devices can be DMA masters and thus read contents of the host memory without CPU and OS knowing about it. There are ways to prevent this by setting up an IOMMU but it is not always available for various reasons.\nObroną jest IOMMU. Teraz policz, co robi z nim linia hosta. iommu=pt daje urządzeniom hosta nietłumaczone domeny tożsamościowe, pcie_acs_override deklaruje izolację, której nie ma, a mitigations=off wyłącza zabezpieczenia izolujące gości. Każda z osobna jest do obrony. Razem, na maszynie z fizycznie dostępnym portem USB4, kumulują się.\nSprawdź, na czym stoisz:\ncat /sys/bus/thunderbolt/devices/domain*/security # none | user | secure | dponly | usbonly none obok takiej linii startowej to otwarte drzwi. Jeśli do portów mają dostęp ludzie, którym nie dałbyś roota, iommu=pt to pierwsza rzecz, którą bym przemyślał.\nLinia gościa To są te, które należą do wnętrza VM, a trzy z nich znaczą tu coś innego niż na hoście.\nnmi_watchdog=0 softlockup_panic=0 cpuidle.off=1 cpuidle.off=1 wyłącza podsystem cpuidle. W gościu to prawie nic nie kosztuje: stany bezczynności gościa są emulacją i nie ma fizycznego rdzenia do uśpienia, więc cały ten mechanizm daje ci tylko opóźnienie wybudzenia. Na hoście ta sama flaga to prawdziwa wymiana poboru mocy i zapasu na boost, a do tego pokrywa się z processor.max_cstate=1. Tylko po stronie gościa.\nsoftlockup_panic=0 sprawia, że soft lockup nie wywołuje paniki gościa. W VM to naprawdę chroni, bo soft lockup to tam często nie wina gościa. Wywłaszczony vCPU wygląda dokładnie jak zadanie, które odmówiło oddania procesora. To ten sam mechanizm, który stoi za tym, dlaczego zegarowi VM nie można ufać. Sprawdź jednak, czy tego potrzebujesz. W większości kompilacji domyślnie jest 0.\nsysctl kernel.softlockup_panic nmi_watchdog=0 jest ciekawy i zasługuje na więcej niż regułę.\nPytanie o watchdoga Są dwa detektory, które dzielą jeden próg:\nwatchdog_thresh= — Set the hard lockup detector stall duration threshold in seconds. The soft lockup detector threshold is set to twice the value. A value of 0 disables both. Default is 10 seconds.\nHard lockup (nmi_watchdog) odpala, gdy procesor w ogóle przestaje przyjmować przerwania zegarowe. Soft lockup odpala, gdy zadanie zajmuje procesor dwa razy dłużej bez oddania go planiście.\nW gościu wyłączenie detektora hard lockup jest słuszne. Wywłaszczony vCPU może go wyzwolić bez żadnej własnej winy, a praca detektora na licznikach wydajności powoduje wyjścia z VM dla sygnału, który był niczym innym jak szumem.\nNa hoście to kwestia oceny i zależy od tego, jaki szum naprawdę gonisz. Nadsubskrypcja głodzi gości, a nie jądro hosta: fizyczne procesory hosta dalej przyjmują przerwania, niezależnie od tego, jak ciasno upchnięto VM. Szum w logach, który rzuca zajęty hiperwizor, to więc w przytłaczającej większości komunikaty soft lockup i RCU stall, a nie raporty NMI hard lockup. Jeśli to jest ten szum, nmi_watchdog=0 go nie wyciszy, a softlockup_panic=0 też nie: on zatrzymuje panikę, nie komunikaty.\nCelowane pokrętła to:\nwatchdog_thresh=30 # hard 30s, soft 60s — scale to taste nowatchdog # honest single flag: disables both detectors sysctl -w kernel.soft_watchdog=0 # runtime, keeps hard-lockup detection Jest osobny i lepszy powód, żeby wyłączyć detektor hard lockup na zajętym hoście, i nie ma on nic wspólnego z szumem: zużywa sprzętowy licznik wydajności na każdy procesor. Dlatego parametr przyjmuje rNNN do skonfigurowania surowego zdarzenia perf. Jeśli profilujesz przez PMU albo prowadzisz celowo nadsubskrybowaną maszynę, na której już przyjąłeś zmienność opóźnień jako cenę gęstości, oddanie tego licznika to rozsądna wymiana, a drobne zastoje, na które świadomie się zgodziłeś, nie są incydentami.\nPo prostu podejmij tę decyzję z tego powodu, a nie z powodu szumu, bo tylko jeden z nich jest prawdziwy.\nconsoleblank=0 nic nie robi. Jądro dokumentuje limit wygaszania konsoli jako „A value of 0 disables the blank timer. Defaults to 0.”. Już jest wyłączony. Nieszkodliwy, ale to drugi parametr w powszechnym obiegu, który nie ma żadnego efektu, a jego obecność sprawia, że skopiowana linia wygląda na przemyślaną.\nŚciąga: gdzie należy każda flaga Flaga Host Gość Uwagi iommu=pt tak nie IOMMU należy do hosta. W gościu ma sens tylko przy zagnieżdżonym passthrough z vIOMMU amd_iommu=pgtbl_v2 tak nie Domeny DMA-API hosta. Sprawdź, czy dostałeś v2, a nie zapasowe v1 amd_iommu=on — — Nieprawidłowa opcja. Jądro loguje „Unknown option - \u0026lsquo;on\u0026rsquo;” pcie_acs_override=… tak nie Łatka Proxmoxa, tylko topologia hosta. Osłabia izolację z założenia pcie_aspm=off tak nie W gościu nie ma prawdziwych łączy PCIe; fizyczne łącze należy do hosta pci=pcie_bus_perf tak niepewnie Host ustawia MPS na kablu. Jeśli urządzenia przychodzą przez USB4, użyj pcie_bus_safe processor.max_cstate=1 tak nie Prawdziwe stany bezczynności są hosta. Na Intelu dodaj intel_idle.max_cstate=1 amd_pstate=disable tak nie Goście nie sterują częstotliwością procesora cpuidle.off=1 ostrożnie tak Darmowe w gościu. Na hoście kosztuje zapas na boost i pokrywa się z max_cstate nmi_watchdog=0 ocena tak Słuszne w gościu. Na hoście rób to dla licznika PMU, nie dla szumu softlockup_panic=0 nie tak Zastoje gościa to często planista hosta. Zwykle i tak domyślne consoleblank=0 — — Bez efektu. Domyślna wartość jądra to już 0 mitigations=off oba oba Poprawne po obu stronach, inny rachunek ryzyka: wycieki z gościa do hosta na hoście, izolacja procesów w gościu default_hugepagesz + hugepages= oba oba Host: zaplecze pamięci VM. Gość: obciążenie w VM, które ich chce. Różne cele, te same flagi watchdog_thresh= / nowatchdog oba oba Host: wyciszenie zastojów, które przyjąłeś. Gość: detektor nigdy nie był wiarygodny Trzy naprawdę należą do obu stron i warto powiedzieć dokładnie, że „oba” nie znaczy „z tego samego powodu”:\nmitigations=off na hoście dotyczy wycieków z gościa do hosta i z gościa do gościa. W gościu dotyczy izolacji procesów wewnątrz tej VM. Możesz rozsądnie wyłączyć je w jednym miejscu, a w drugim nie. Hugepages na hoście są zapleczem pamięci gościa; w gościu są zapleczem aplikacji. Rezerwowanie ich dwa razy dla tej samej pamięci to marnotrawstwo, więc zdecyduj, która warstwa ich chce. Strojenie watchdoga to na hoście decyzja o szumie, a w gościu decyzja o poprawności. Wszystko inne jest po jednej albo po drugiej stronie, a dwie z nich w ogóle nie są wyborem.\nDwie linie Host, na maszynie AMD z passthrough, jeden dzierżawca:\nGRUB_CMDLINE_LINUX_DEFAULT=\u0026#34;quiet amd_iommu=pgtbl_v2 iommu=pt pcie_acs_override=downstream,multifunction pcie_aspm=off pci=pcie_bus_perf default_hugepagesz=1G hugepages=64 processor.max_cstate=1 amd_pstate=disable mitigations=off\u0026#34; Zamień pci=pcie_bus_perf na pcie_bus_safe, jeśli cokolwiek przychodzi przez USB4. Usuń mitigations=off, jeśli nie wszyscy goście są twoi. Na Intelu intel_iommu=on zastępuje flagi AMD, a intel_idle.max_cstate=1 dołącza do limitu C-stanów.\nGość z Linuksem:\nGRUB_CMDLINE_LINUX_DEFAULT=\u0026#34;quiet nmi_watchdog=0 softlockup_panic=0 cpuidle.off=1\u0026#34; I zostaw w gościu kvm-clock w spokoju: nie wymuszaj tsc ani hpet. Parawirtualny zegar istnieje właśnie dlatego, że liczniki nie są twoje. To cały argument artykułu o czasie w maszynach wirtualnych.\nCo usunąć Jeśli odziedziczyłeś linię z posta na forum, te dwie rzeczy usuń jako pierwsze, bo nic cię nie kosztują, a dowodzą, że linii nigdy nie przetestowano:\namd_iommu=on: nieprawidłowa opcja; jądro loguje „Unknown option - \u0026lsquo;on\u0026rsquo;” i jedzie dalej consoleblank=0: już jest domyślne A resztę sprawdź po restarcie z /proc/cmdline. Każda flaga w tej linii powinna być taka, dla której potrafisz podać powód.\nJeśli nie potrafisz powiedzieć, co robi flaga, to nie jest tuning. To przesąd. I ktoś, kto ci ufa, skopiuje go do następnej instalacji.\nŹródła Linux kernel — the kernel\u0026rsquo;s command-line parameters — mitigations=, default_hugepagesz=, hugepages=, watchdog_thresh=, nowatchdog, consoleblank=, processor.max_cstate=, amd_pstate=, amd_iommu= i polityki pci=pcie_bus_* Linux kernel source — drivers/iommu/amd/init.c — parse_amd_iommu_options() oraz sprawdzenie obsługi tablic stron v2 z powrotem do v1 Linux kernel source — arch/x86/kernel/pci-dma.c — iommu=pt wywołujący iommu_set_default_passthrough() Linux kernel — Thunderbolt — poziomy bezpieczeństwa i podłączone urządzenia jako DMA mastery Proxmox VE — System Administration — proxmox-boot-tool status, edycja wiersza poleceń jądra dla systemd-boot i GRUB-a ","permalink":"https://blogs.damiendye.uk/pl/proxmox/kernel-boot-flags-host-guest/","summary":"Większość linii tuningu Proxmoxa, które znajdziesz w internecie, to jeden zlepek flag jądra. Połowa z nich należy do hiperwizora, połowa do wnętrza gościa, dwie z popularnych nie robią zupełnie nic, a kilka zmienia znaczenie zależnie od tego, po której stronie granicy wyląduje.","title":"Dwie linie startowe: które flagi jądra należą do hosta Proxmox, a które do gościa"},{"content":"Po co ci w ogóle taki dysk QEMU potrafi emulować prawdziwy kontroler NVMe. Nie urządzenie parawirtualne, do którego musisz dostarczyć sterownik, tylko kontroler PCIe NVMe, który gość rozpoznaje jako zwykły dysk SSD i obsługuje wsparciem NVMe, które już ma.\nNa tym polega cały urok, i jest on wart więcej, niż się wydaje.\nLinux ma wbudowany sterownik nvme od lat. Windows dostarcza stornvme od Windows 8.1 i Server 2012 R2. Gość się więc uruchamia, wylicza kontroler PCIe NVMe, ładuje własny sterownik i znajduje dysk. Żadnego ISO z VirtIO, żadnego wstrzykiwania sterowników przy instalacji i żadnego ekranu „nie znaleziono dysków” w połowie instalatora Windows.\nKażdy, kto siedział i gapił się na ten ekran, z zamontowanym ISO VirtIO i instalatorem nadal upierającym się, że dysków nie ma, od razu zobaczy, o co chodzi.\nDrugi powód jest taki, że to zachowuje się jak NVMe od dołu do góry. nvme-cli działa. Przestrzenie nazw są prawdziwe. Formaty LBA, bajty metadanych i informacje o ochronie są w pełni konfigurowalne. To czyni z niego bardzo dobre miejsce do ćwiczenia operacji, których nie powinieneś ćwiczyć na sprzęcie trzymającym dane.\nJak go dodać Proxmox nie ma na to ani pola wyboru w GUI, ani klucza konfiguracji. To surowe urządzenie QEMU, więc trafia do args: w /etc/pve/qemu-server/\u0026lt;vmid\u0026gt;.conf.\nDokumentacja QEMU podaje minimalną parę: dysk bazowy bez interfejsu i kontroler, który go konsumuje. Wpisane wprost do /etc/pve/qemu-server/\u0026lt;vmid\u0026gt;.conf, bez cudzysłowów:\nargs: -drive file=/var/lib/vz/images/100/nvm.img,if=none,id=nvmidentifier -device nvme,serial=LAB-NVME-01,drive=nvmidentifier if=none ma znaczenie: mówi QEMU, żeby nie podpinał dysku do domyślnego kontrolera, bo linia -device nvme zaraz go przejmie. id= przy dysku i drive= przy urządzeniu muszą się zgadzać. To ta para łączy obie połówki.\nserial= jest obowiązkowy; bez niego QEMU odmawia uruchomienia maszyny. Wybierz coś, co rozpoznasz, bo dokładnie to gość zgłosi w nvme list i smartctl, a pytanie „który z tych czterech identycznych dysków wirtualnych jest który” w końcu sobie zadasz.\nCudzysłowy: na tym potyka się każdy To, czy ująć ten ciąg w cudzysłów, zależy od tego, gdzie go wpisujesz, a zrobienie tego odwrotnie to najczęstszy powód, dla którego taka konfiguracja nie działa za pierwszym razem.\nProxmox zapisuje wartość args: i później dzieli ją przez Text::ParseWords::shellwords. W pliku konfiguracyjnym cudzysłowy są więc respektowane i usuwane. Ciąg ujęty w całości w cudzysłów staje się jednym argumentem:\n# WRONG in the config file — collapses to one argv element QEMU cannot parse args: \u0026#34;-drive file=…,if=none,id=nvmidentifier -device nvme,serial=…,drive=nvmidentifier\u0026#34; Przepuszczone przez shellwords daje to dokładnie jeden element. Bez cudzysłowów ta sama linia daje cztery, których QEMU faktycznie potrzebuje: -drive, jego blok parametrów, -device, jego blok parametrów.\nW wierszu poleceń jest odwrotnie, bo tam cytujesz dla swojej powłoki, a nie dla Proxmoksa. Tutaj cudzysłowy są wymagane, a w konfiguracji ląduje wartość bez nich:\nqm set 100 --args \u0026#34;-drive file=/var/lib/vz/images/100/nvm.img,if=none,id=nvmidentifier -device nvme,serial=LAB-NVME-01,drive=nvmidentifier\u0026#34; Obie formy są poprawne. Po prostu nie są wymienne. Jeśli budujesz linię przez qm set, sprawdź potem wynik poleceniem qm config 100, a zobaczysz, że zapisała się bez cudzysłowów. Właśnie tej postaci chce plik konfiguracyjny.\nNajpierw utwórz obraz bazowy, jeśli jeszcze nie istnieje:\nqemu-img create -f raw /var/lib/vz/images/100/nvm.img 32G Więcej niż jedna przestrzeń nazw Do czegokolwiek ponad jeden dysk oddziel kontroler od jego przestrzeni nazw:\n-device nvme,id=nvme-ctrl-0,serial=deadbeef -drive file=nvm-1.img,if=none,id=nvm-1 -device nvme-ns,drive=nvm-1 Identyfikatory przestrzeni nazw są przydzielane automatycznie, od 1 w górę. To właśnie ta konfiguracja czyni urządzenie naprawdę przydatnym do nauki, bo zarządzanie przestrzeniami nazw to ta część NVMe, której większość ludzi nigdy nie dotyka.\nWirtualna przestrzeń nazw 4Kn Przestrzeń nazw przyjmuje zwykłe właściwości rozmiaru bloku, a QEMU wyprowadza z nich bezpośrednio rozmiar danych LBA. hw/nvme/ns.c liczy wykładnik formatu jako ds = 31 - clz32(ns-\u0026gt;blkconf.logical_block_size). To daje ci porządną przestrzeń nazw natywną 4K:\n-device nvme-ns,drive=nvm-1,logical_block_size=4096,physical_block_size=4096 Urządzenie przestrzeni nazw przyjmuje też ms dla bajtów metadanych na LBA, mset dla rozszerzonych LBA oraz pi i pif dla typu informacji o ochronie i formatu pola kontrolnego.\nTo kompletne laboratorium do wszystkiego, co jest w artykule o 4Kn i 512e: bloki logiczne 512-bajtowe kontra 4096-bajtowe, formaty z metadanymi, T10-PI, na urządzeniu, które możesz niszczyć, ile razy chcesz.\nSprawdź, czy wylądowało Z wnętrza gościa:\nlsblk -o NAME,MODEL,SIZE,LOG-SEC,PHY-SEC nvme list nvme id-ns -H /dev/nvme0n1 | grep -i \u0026#34;lbaf\\|data size\u0026#34; Powinieneś zobaczyć prawdziwą przestrzeń nazw NVMe z rozmiarami bloków, o które prosiłeś.\nZ czego rezygnujesz Z trzech rzeczy, a dwie pierwsze to nie kompromisy wydajnościowe. To odebrane możliwości. Poznaj je, zanim położysz na tym urządzeniu cokolwiek.\nCzym zarządza Proxmox, a co leży poza nim przy urządzeniu podpiętym przez args W konfiguracji VM, jako dysk scsi0: local-zfs:vm-100-disk-0,iothread=1 Proxmox posiada wolumen i wie, że istnieje W kopiach vzdump / PBS tak Migawki PVE tak Migracja na żywo tak Resize i Move Disk w GUI tak Liczony w widoku pamięci tak Podpięty przez args: -device nvme,drive=nvm1,serial=… surowe urządzenie QEMU: PVE nic o nim nie wie W kopiach zapasowych nie Migawki PVE nie Migracja na żywo nie Resize i Move Disk nie Liczony w widoku pamięci nie Tylko jedno z tych „nie” daje o sobie znać. Migracja na żywo kończy się błędem, bo QEMU oznacza urządzenie jako niemigrowalne. Kopia po prostu się udaje bez tego dysku, i dlatego to należy do twojej dokumentacji, nie tylko do pamięci. Proxmox zarządza tym, co w konfiguracji maszyny jest dyskiem. Kontroler podpięty przez args jest poza tym, więc żadna funkcja zbudowana na warstwie pamięci masowej po prostu go nie obejmuje. 1. Migracja na żywo jest wyłączona To nie ograniczenie Proxmoksa ani przeoczenie. QEMU deklaruje urządzenie jako niemigrowalne w samym modelu urządzenia. Z hw/nvme/ctrl.c w QEMU 10.2:\nstatic const VMStateDescription nvme_vmstate = { .name = \u0026#34;nvme\u0026#34;, .unmigratable = 1, }; Trzy linie, a środkowa to cała historia. Kontroler nie ma stanu migracji, więc QEMU odmawia migracji, zamiast jej próbować. To właściwa awaria. Dostajesz błąd, a nie gościa, który wznawia pracę na innym węźle ze skołowanym dyskiem.\nJest drugi, niezależny powód, dla którego to nie może działać: Proxmox nie wie, że ten dysk istnieje. Nawet gdyby QEMU potrafił przenieść stan urządzenia, nic w logice migracji PVE nie zadbałoby o to, by wolumen bazowy był dostępny na węźle docelowym.\nWarto jednak obserwować: gałąź rozwojowa QEMU zastąpiła ogólną flagę funkcją nvme_set_migration_blockers(), która pozwala na migrację i blokuje ją tylko dla konkretnych funkcji. Na przykład dla więcej niż jednej przestrzeni nazw, gdzie komentarz zauważa „we don\u0026rsquo;t handle this in migration code yet”. Nie pojawiło się to w żadnym wydaniu do 10.2 włącznie, więc dziś ci nie pomoże, ale to ograniczenie wygląda na takie, które złagodnieje. Sprawdź własną wersję QEMU, zamiast ufać artykułowi.\n2. Kopie zapasowe Proxmoksa go nie zobaczą vzdump i Proxmox Backup Server robią kopie wolumenów, które występują w konfiguracji maszyny jako dyski: scsi0, virtio0 i tak dalej. Dysk podpięty przez args: do nich nie należy. To surowe urządzenie QEMU, o którym PVE nie wie zupełnie nic.\nKopia zapasowa więc się wykonuje, zgłasza sukces i nie zawiera tego urządzenia.\nTaki tryb awarii jest gorszy niż błąd, bo nic ci o nim nie mówi. To samo dotyczy wszystkiego innego: żadnych migawek PVE, żadnej zmiany rozmiaru dysku z GUI, żadnego Move Disk, żadnego rozliczenia w widoku pamięci masowej. Jeśli utworzyłeś wolumen przez PVE, a potem go odpiąłeś, PVE może go też nie posprzątać. Sierota, która czeka, żeby kiedyś kogoś zmylić.\nJeśli mają na takim dysku leżeć dane, rób ich kopie z wnętrza gościa i zapisz gdzieś, że hiperwizor ich nie obejmuje.\n3. Nie jest szybszy od VirtIO SCSI To ludzi zaskakuje, bo „NVMe” brzmi jak funkcja wydajnościowa. Tutaj nią nie jest.\nVirtIO SCSI i VirtIO block są parawirtualne: sterownik gościa i hiperwizor dzielą bufor pierścieniowy zaprojektowany dokładnie do tego zadania, a gość wie, że rozmawia z hiperwizorem.\nEmulowany kontroler NVMe jest z założenia przeciwieństwem. Wystawia prawdziwe rejestry NVMe, więc gość programuje go tak, jakby był sprzętem. Każdy zapis do dzwonka (doorbell) to dostęp MMIO, który przechwytuje hiperwizor. Poprawne, i droższe na operację wejścia-wyjścia niż położenie deskryptora w pierścieniu.\nWspólny pierścień kontra emulowane rejestry gość │ hiperwizor VirtIO SCSI: parawirtualny sterownik gościa wie, że jest VM wspólny pierścień oba końce go rozumieją warstwa blokowa hosta 1 sygnał Deskryptor trafia do pierścienia, a host dostaje powiadomienie. Pierścień celowo leży na granicy. Emulowany NVMe: prawdziwe rejestry sterownik gościa myśli, że to sprzęt rejestry NVMe dzwonki, kolejki, MMIO warstwa blokowa hosta każdy zapis do dzwonka to pułapka pułapka + emulacja, na operację Gość robi dokładnie to, co zrobiłby z fizycznym kontrolerem, i o to chodzi: jego własny sterownik działa bez zmian. Dlatego też to funkcja zgodności, a nie wydajności. Łączenie przerwań nie jest obsługiwane i domyślnie wyłączone: wierne zachowanie sprzętu za cenę emulacji sprzętu. Ścieżka parawirtualna to pierścień, który rozumieją i gość, i host. Ścieżka emulowana każe gościowi obsługiwać rejestry, a każdy zapis do dzwonka to przechwycenie: wierne zachowanie sprzętu za cenę emulacji sprzętu. Dokumentacja QEMU jest szczera także co do szorstkich krawędzi urządzenia: łączenie przerwań „is not supported and is disabled by default”, a liczniki na stronie dziennika SMART/Health „are reset when the device is power cycled”.\nNic z tego nie czyni go wolnym w wartościach bezwzględnych. Nadaje się w pełni do użytku. Oznacza tylko, że nigdy nie powinieneś go wybierać w nadziei na większą przepustowość niż ta, którą daje VirtIO SCSI. Wybierz go dla sterownika albo dla semantyki NVMe.\nGdzie naprawdę zarabia na swoje miejsce Instalacja gościa bez nośnika VirtIO. Instalator Windows, który nie widzi dysku VirtIO SCSI, zobaczy dysk NVMe, bo sterownik jest już w obrazie. Zainstaluj na nim, a potem zdecyduj, czy przejść na VirtIO. Urządzenia i obrazy, nad którymi nie masz kontroli. Wszystko, co przychodzi jako gotowy obraz bez sterowników VirtIO i czego wolałbyś nie przebudowywać. Nauka i praca w laboratorium. nvme format --lbaf, tworzenie i podpinanie przestrzeni nazw, metadane i informacje o ochronie: operacje destrukcyjne i zależne od producenta na prawdziwym sprzęcie są tu darmowe. To najbezpieczniejszy sposób, żeby wyrobić sobie pamięć mięśniową, zanim dotkniesz dysku, który ma znaczenie. Odtwarzanie cudzej topologii. Jeśli debugujesz układ NVMe klienta, emulowany kontroler z pasującymi przestrzeniami nazw i rozmiarami bloków to dużo szybsza pętla niż pożyczanie jego sprzętu. Czego używać zamiast tego w produkcji Dla maszyny, która potrzebuje wydajności, funkcji PVE i spokojnego życia: VirtIO SCSI single, z iothread=1, discard=on i ssd=1, na cache=none. To układ, przy którym migracja na żywo, kopie zapasowe, migawki i widok pamięci masowej działają.\nDla maszyny, która potrzebuje ostatnich kilku procent i może świadomie zrezygnować z tych funkcji, odpowiedzią nie jest emulowane urządzenie NVMe. Jest nią prawdziwy passthrough, z własnymi twardymi kompromisami, opisanymi w artykule o podatku IOMMU.\nEmulowane urządzenie NVMe nie należy do żadnego z tych obozów. Jako takie jest narzędziem do zgodności i do laboratorium, i w tej roli jest bardzo dobre.\nUżywaj go do zadania, w którym jest dobre, a cię nie zawiedzie. Każ mu być funkcją wydajnościową, a zawiedzie cię bardzo szybko.\nŹródła QEMU — NVMe Emulation — składnia -drive/-device nvme, nvme-ns dla wielu przestrzeni nazw, parametry przestrzeni nazw ms/mset/pi/pif oraz opisane ograniczenia łączenia przerwań i liczników SMART QEMU source — hw/nvme/ctrl.c — deklaracja nvme_vmstate z .unmigratable = 1 w wydaniu 10.2 QEMU source — hw/nvme/ns.c — przestrzeń nazw wyprowadzająca format LBA z logical_block_size Proxmox VE — Backup and Restore — co obejmuje vzdump i opcje kopii zapasowych dla poszczególnych wolumenów, które istnieją dla dysków zarządzanych przez PVE Proxmox VE — Qemu/KVM Virtual Machines — VirtIO SCSI, iothread, discard i obsługiwane opcje dysków ","permalink":"https://blogs.damiendye.uk/pl/proxmox/virtual-nvme-proxmox/","summary":"QEMU potrafi emulować prawdziwy kontroler NVMe, więc gość używa własnego, wbudowanego sterownika NVMe bez nośnika VirtIO. Jest jednak z założenia niemigrowalny, niewidoczny dla kopii zapasowych Proxmoksa i nie szybszy od VirtIO SCSI. Oto jak go dodać i kiedy warto.","title":"Wirtualne urządzenie NVMe w Proxmoksie i trzy rzeczy, z których rezygnujesz"},{"content":"Założenie, które robi każdy zegar Zegar komputera działa tak, że liczy coś regularnego i ufa, że to liczenie trwa. Kryształ oscyluje, licznik się zwiększa, a oprogramowanie przelicza, ile czasu minęło.\nWirtualizacja łamie część z zaufaniem.\nDokumentacja jądra o mierzeniu czasu w KVM ujmuje problem w jednym zdaniu: „the virtual operating system does not run with 100% usage of the CPU, despite the fact that it may very well make that assumption.” Wszystko poniżej z tego wynika.\nTwój vCPU nie zawsze działa vCPU to wątek na hoście. Działa wtedy, gdy pozwoli mu planista hosta.\nGdy nie działa, gość nie jest po prostu bezczynny: jest nieobecny. Nie może liczyć, nie może obsłużyć przerwania zegarowego i nie ma jak się dowiedzieć, jak długo go nie było. Host śledzi to jako steal time, co jest uczciwą nazwą na „czas, który ci się przydarzył, a nie był dla ciebie”.\nNajbardziej boli to przy przerwaniach zegarowych. Gość, który prosi o okresowy tick, prosi hosta o dostarczanie przerwań ze stałą częstotliwością, a host nie zawsze może to zapewnić. Znowu z dokumentacji jądra: „the host virtualization engine may not be able to deliver the proper number of interrupts per second, and so guest time may fall behind.”\nDlaczego ticki zegara gościa przestają być równo rozłożone Goły sprzęt: procesor jest zawsze twój działa ticki zegara, równo rozłożone: ich liczenie daje ci czas W VM: vCPU to wątek u cudzego planisty działa wywłaszczony wywłaszczony ticki należne w przerwach przychodzą późno, stłoczone albo wcale Gość nie widzi przerywanych okresów. Od środka zegar po prostu wytworzył mniej ticków, niż powinien, dlatego dokumentacja jądra mówi, że czas gościa „may fall behind”, gdy host nie może dostarczyć przerwań, o które prosił. Host nazywa przerywane obszary steal time. Gość nie nazywa ich wcale, bo go tam nie było. Własny obraz gościa to dolny wiersz: ticki, które przychodzą spóźnione, ticki, które przychodzą seriami, i przerwy, których nie umie wyjaśnić. Mierzy planistę hosta w takim samym stopniu jak upływ czasu. Im wyższa częstotliwość ticków, tym gorzej, a przeciążony host pogarsza to jeszcze bardziej. To też powód, dla którego zajęty host psuje mierzenie czasu spokojnym gościom. Wszyscy stoją w kolejce do tych samych fizycznych rdzeni.\nLiczniki też nie są twoje Jeśli okresowe ticki są niewiarygodne, oczywista odpowiedź to czytać licznik. To ma własne problemy.\nTSC jest tym szybkim, a dokumentacja jądra mówi o nim bez ogródek: „The TSC is a CPU-local clock in most implementations… the TSCs of different CPUs may start at different times.” Jego tempo może się zmieniać ze stanami zasilania procesora, a na starszych układach staje całkiem, gdy rdzeń jest bezczynny. vCPU, który migruje między fizycznymi rdzeniami, może więc odczytać licznik, który nie zgadza się z tym, który odczytał mikrosekundę temu.\nAlternatywy są gorsze w inny sposób. HPET, PIT i zegar ACPI PM to urządzenia emulowane, więc każdy odczyt to pułapka do hiperwizora. Poprawne i na tyle drogie, że gość czytający zegar w gorącej pętli to zauważy.\nDlatego istnieją zegary parawirtualne. Na KVM kvm-clock pozwala hostowi publikować własny pomiar czasu we współdzielonej strukturze, którą gość czyta bezpośrednio: bez pułapki, bez liczenia, bez założenia, że gość był przytomny. To też powód, by zostawić źródło zegara gościa w spokoju, zamiast wymuszać tsc albo hpet, bo post na forum mówił, że jest szybszy.\nMigracja, snapshoty i uśpienie Migracja na żywo, przywrócenie snapshotu i uśpienie z wybudzeniem robią z zegarem gościa to samo: zatrzymują go, a potem uruchamiają znowu gdzie indziej.\nTo, co widzi gość, to nie dryf, tylko skok. Zegar miał jedną wartość, a teraz ma inną, a pomiędzy nie ma nic. Migracja na host, którego TSC chodzi z inną częstotliwością, jeszcze to pogarsza.\nSkoki mają znaczenie, bo oprogramowanie korygujące zegary zbudowano do korygowania dryfu, a nie teleportacji.\nTo nie jest problem KVM Kusi, żeby czytać to wszystko jako słabość KVM. To nie to.\nKażdy hiperwizor ma zegar parawirtualny, bo każdy hiperwizor ma ten sam problem konstrukcyjny: KVM ma kvm-clock, Hyper-V ma swoją stronę referencyjnego TSC, VMware ma pseudolicznik wydajności plus synchronizację przez Tools, Xen ma swój pvclock. To cztery niezależne implementacje jednego obejścia.\nWniosek samej dokumentacji jądra jest taki, że nie ma tu idealnego rozwiązania. Są tylko kompromisy między dokładnością, wydajnością i złożonością.\nJeśli wolisz to usłyszeć od producenta, a nie od programistów jądra, granica wsparcia Microsoftu dla czasu wysokiej dokładności jest zaskakująco szczera. Żeby deklarować dokładność 50 ms na zwirtualizowanym systemie Windows, jednym z podanych wymagań jest to, że „the one-day average CPU utilization of the host must not exceed 90%.” Dla 1 ms host musi zostać poniżej 80%.\nPrzeczytaj to jeszcze raz: dokładność zegara gościa jest udokumentowana jako zależna od tego, jak zajęty jest host. To nie dziwactwo Windowsa, to ta sama fizyka, którą opisuje dokumentacja jądra, zapisana jako granica wsparcia.\nTrzy warstwy mierzenia czasu w gościu i które z nich naprawdę do niego należą Synchronizacja czasu rzeczywistego która jest naprawdę godzina NTP przez sieć jitter, asymetria, stratum hiperwywołanie ptp_kvm pyta hosta bezpośrednio Zegar parawirtualny host publikuje własny pomiar czasu Każdy hiperwizor go ma, bo każdy ma ten problem: kvm-clock strona TSC Hyper-V VMware pseudo-perf Xen pvclock cztery niezależne implementacje jednego obejścia Liczniki sprzętowe w VM nie twoje TSC HPET PIT zegar ACPI PM lokalne dla CPU, o zmiennym tempie lub emulowane: każdy odczyt to pułapka Gość posiada swój wybór na górze. Środkowa warstwa to hiperwizor pożyczający mu zegar, który chodził przez cały czas. Trzy warstwy, a gość naprawdę posiada tylko najwyższą. Zegar parawirtualny każdego hiperwizora istnieje po to, by obejść tę samą brakującą gwarancję w warstwie niżej. Dlaczego NTP w gościu to złe narzędzie NTP jest dobry w tym, do czego go zaprojektowano: maszyna z prawdziwym oscylatorem, który chodzi trochę za szybko albo za wolno, korygowana przez pomiar czasu w obie strony do zdalnego serwera i łagodne przyspieszanie lub spowalnianie lokalnego zegara.\nKażde z tych założeń w VM się chwieje.\nLokalny oscylator nie jest trochę nie tak, tylko co jakiś czas go nie ma. Pomiar w obie strony robi proces, który może zostać wywłaszczony między odczytem zegara a wysłaniem pakietu, co psuje sam pomiar. A korekty potrzebne po migracji to skoki, z którymi algorytm łagodnej korekty radzi sobie źle albo wprost odmawia.\nchrony radzi sobie tu dużo lepiej niż ntpd. Szybciej koryguje, toleruje skoki i jest uczciwy co do własnej niepewności. Ale dalej rozwiązuje zły problem: ciągnie czas przez sieć z serwera stratum 2 oddalonego o 20 ms, podczas gdy poprawny czas leży w hiperwizorze po drugiej stronie jednej granicy pamięci.\nW praktyce dostajesz gościa, który przeważnie ma rację, czasem myli się o dziesiątki albo setki milisekund i nigdy nie jest w stanie ci powiedzieć, kiedy jest które.\nCo naprawdę psuje rozjazd Nikogo nie obchodzą zegary same w sobie. Obchodzą wtedy, gdy coś przestaje działać.\nKerberos i Active Directory Kerberos z założenia zależy od czasu, bo ważność biletu wyraża się jako okno czasowe.\nDokumentacja krb5.conf od MIT definiuje clockskew jako „the maximum allowable amount of clockskew in seconds that the library will tolerate before assuming that a Kerberos message is invalid”, a wartość domyślna to 300 sekund, czyli pięć minut.\nPrzekrocz to, a uwierzytelnianie nie słabnie, tylko pada. Ponieważ uwierzytelnianie w Active Directory to Kerberos, chodzi o logowania do domeny, net use, połączenia z SQL Serverem, Exchange, udziały plików: o wszystko. Pięć minut brzmi hojnie, dopóki gość nie cofnie się w czasie po przywróceniu snapshotu.\nTLS Certyfikat ma okno ważności: notBefore i notAfter. Gość, którego zegar się spóźnia, odrzuci certyfikat wystawiony dziś rano, bo z jego punktu widzenia certyfikat jeszcze nie jest ważny. Gość, którego zegar się spieszy, odrzuci taki, który wcale nie wygasł.\nTa sama arytmetyka rządzi świeżością OCSP i CRL, polami nbf/exp w JWT i kodami TOTP do uwierzytelniania wieloskładnikowego, które żyją w 30-sekundowych oknach. Zegar przesunięty o 45 sekund to awaria uwierzytelniania z bardzo mylącym komunikatem błędu.\nCeph Monitorom Ceph zależy na tym bardziej niż na prawie czymkolwiek innym w stosie, bo od tego zależy ich konsensus.\nKontrola zdrowia MON_CLOCK_SKEW odpala, gdy „the clocks on hosts running Ceph Monitor daemons are not well-synchronized”. Konkretnie, gdy rozjazd przekracza mon_clock_drift_allowed. Rada z dokumentacji to synchronizacja przez ntpd albo chrony z wieloma źródłami, z zaznaczeniem, że szczególnie liczy się synchronizacja monitor z monitorem.\nMożesz podnieść mon_clock_drift_allowed, ale dokumentacja jasno mówi, że musi zostać „significantly below the mon_lease interval”. W związku z tym to mały budżet, a wydawanie go na zaklejanie problemu z mierzeniem czasu w hiperwizorze to kiepska wymiana.\nCała reszta Logi z różnych hostów przestają się ze sobą zgadzać, co zmienia oś czasu incydentu w zgadywanie. Replikacja baz danych i rozproszony konsensus (etcd, Galera, wszystko, co używa dzierżaw lidera) zaczynają się krzywić. Okna kopii zapasowych i monitoringu rozjeżdżają się z tym, co miały obserwować.\nGoście Windows rozjeżdżają się inaczej Windows zasługuje na osobną uwagę, bo jego usługę czasu zbudowano z innymi celami i to widać.\nMicrosoft mówi wprost, że wersje przed Windows 10 1607 / Server 2016 „can\u0026rsquo;t guarantee highly accurate time”. Usługa Windows Time zapewniała w tych wydaniach „the necessary time accuracy to satisfy Kerberos version 5 authentication requirements” oraz „loosely accurate time” dla maszyn we wspólnym lesie AD. Cokolwiek dokładniejszego było „outside of the design specification… and weren\u0026rsquo;t supported.”\nInnymi słowy, starszy Windows stara się zmieścić w pięciominutowym oknie Kerberosa, a nie mieć rację. Co jest w porządku, dopóki coś w twoim środowisku nie potrzebuje więcej. Zwirtualizowany Windows przesunięty o 90 sekund będzie wesoło się uwierzytelniał, pisząc logi, których nie da się z niczym zestawić.\nWindows 10 i Server 2016 wzwyż potrafią 1 s, 50 ms, a nawet 1 ms, ale tylko w warunkach zacytowanych wcześniej, łącznie z limitami obciążenia procesora hosta. Microsoft zaznacza też, że „anything that introduces network asymmetry, such as a one-way satellite connection or high CPU load on the target system, will negatively influence accuracy”. Przeciążony vCPU to wysokie obciążenie procesora na systemie docelowym pod inną nazwą.\nDla Windowsa nie ma ptp_kvm. Co masz zamiast tego:\nUsprawnienia zegara Hyper-V. Proxmox już je udostępnia gościom Windows. PVE::QemuServer::CPUConfig ustawia hv_time obok hv_vapic, hv_spinlocks, hv_relaxed i hv_synic. hv_time to zegar parawirtualny i odpowiednik kvm-clock po stronie Windowsa. Jest domyślnie włączony dla VM typu Windows; nie ma czego włączać. Agent gościa QEMU. Z zainstalowanym agentem host może wepchnąć swój czas do gościa po wybudzeniu albo przywróceniu snapshotu, co załatwia przypadek skoku, z którym NTP radzi sobie najgorzej. Wybierz jeden autorytet. Klasyczna awaria Windowsa w VM to dwa źródła czasu, które się biją: synchronizacja host-gość i synchronizacja z hierarchii domeny, obie korygujące ten sam zegar w przeciwnych kierunkach. Dla gościa w domenie niech wygra hierarchia domeny, a host przestanie mu wpychać czas. Dla gościa samodzielnego synchronizacja z hosta jest w porządku. Nigdy obie naraz. Jeśli chcesz wiedzieć dokładnie, co twój hiperwizor mówi danej VM o czasie, zapytaj go, zamiast zgadywać:\n# Everything Proxmox actually passes to QEMU for this VM, including -rtc and CPU flags qm showcmd \u0026lt;vmid\u0026gt; --pretty Poprawka na QEMU/KVM: ptp_kvm Dla gości z Linuksem na KVM jest porządna odpowiedź i nie brzmi ona „więcej serwerów NTP”.\nptp_kvm pozwala gościowi zapytać hosta, która jest godzina, bezpośrednio, przez hiperwywołanie: KVM_HC_CLOCK_PAIRING na x86 i równoważne wywołanie firmware na arm64. Jądro przedstawia to jako urządzenie zegara sprzętowego PTP, więc z przestrzeni użytkownika wygląda jak każde inne precyzyjne źródło zegara, a chrony może go używać jako zegara referencyjnego.\nWłaściwości, które się liczą:\nBez sieci. Bez jittera, bez asymetrii, bez stratum, bez pakietów. Ścieżka to granica pamięci. Poniżej mikrosekundy. Dokładność ogranicza hiperwywołanie, a nie podróż w obie strony przez centrum danych. Omija zepsutą część. Gość niczego nie liczy i nie szacuje podróży w obie strony. Czyta wartość, którą host obliczył zegarem, który chodził przez cały czas. NTP przez sieć kontra ptp_kvm przez granicę pamięci chrony z pulami sieciowymi gość zegar ciągle staje sieć jitter, asymetria serwer stratum 2 dziesiątki ms dalej podróż w obie strony mierzy zegar, który jest korygowany a proces, który mierzy, może zostać wywłaszczony w trakcie pomiaru chrony z ptp_kvm gość czyta /dev/ptp_kvm zegar hosta nigdy nie stanął hiperwywołanie KVM_HC_CLOCK_PAIRING granica pamięci, nie sieć poniżej µs Bez pakietów, bez stratum, bez asymetrii i bez szacowania. Gość nie wylicza, która jest godzina: słyszy ją od jedynego uczestnika, który przez cały ten czas był przytomny. Obie ścieżki kończą się tym, że gość ustawia swój zegar. Jedna mierzy podróż przez sieć w obie strony zegarem, który ciągle staje; druga pyta hiperwizora. Wdrożenie Zastosuj to na każdej VM z Linuksem, która ma sterownik. Hiperwizor hosta potrzebuje własnego działającego NTP albo PTP. ptp_kvm daje gościowi czas hosta, więc dziedziczy błąd hosta.\n1. Ładuj moduł jądra przy starcie.\n# /etc/modules-load.d/ptp_kvm.conf ptp_kvm 2. Nadaj mu stałą nazwę i pozwól chrony go czytać.\n# /etc/udev/rules.d/90-ptp-kvm.rules ACTION==\u0026#34;add\u0026#34;, SUBSYSTEM==\u0026#34;ptp\u0026#34;, ATTR{clock_name}==\u0026#34;kvm\u0026#34;, SYMLINK+=\u0026#34;ptp_kvm\u0026#34;, GROUP=\u0026#34;chrony\u0026#34;, MODE=\u0026#34;0660\u0026#34; Dowiązanie ma znaczenie, bo numeracja urządzeń PTP nie jest stała. /dev/ptp0 może być przy jednym starcie zegarem karty sieciowej, a przy następnym zegarem KVM. Dopasowanie po clock_name za każdym razem trafia we właściwy.\n3. Wskaż go chrony i usuń pule.\nEdytuj /etc/chrony/chrony.conf na Debianie i Ubuntu albo /etc/chrony.conf w rodzinie RHEL. Usuń linie pool i użyj:\nrefclock PHC /dev/ptp_kvm poll 2 stratum 1 delay 0.0004 Usunięcie pul to nie opcjonalne sprzątanie. Zostawienie ich każe chrony godzić lokalne źródło o dokładności poniżej mikrosekundy z serwerami w internecie oddalonymi o dziesiątki milisekund, a źródła internetowe mogą odpowiedź tylko pogorszyć.\n4. Zrestartuj i sprawdź.\nsystemctl restart chronyd # or chrony, on Debian/Ubuntu Weryfikacja # The symlink exists and points at the KVM clock ls -l /dev/ptp_kvm cat /sys/class/ptp/ptp*/clock_name # chrony should be using PHC0 as its selected source chronyc sources -v # and the offset should be microseconds, not milliseconds chronyc tracking W chronyc sources zegar referencyjny PHC pojawia się jako #* PHC0, gdy zostanie wybrany. # oznacza lokalne źródło sprzętowe, a nie sieciowego partnera, a * oznacza, że jest tym używanym. Jeśli widzisz go na liście, ale niewybranego, chrony go nie przyjął: sprawdź uprawnienia do urządzenia i to, czy grupa chrony w regule udev zgadza się z użytkownikiem, jako który chrony naprawdę działa w twojej dystrybucji.\nZastrzeżenia Host musi mieć rację. To sprawia, że gość zgadza się z hostem, co przydaje się tylko wtedy, gdy host zgadza się z rzeczywistością. Daj hiperwizorom prawdziwe NTP albo PTP. Każdy gość tego potrzebuje. Flota, w której połowa VM używa ptp_kvm, a połowa pul internetowych, to flota z dwoma autorytetami czasu. Migracja na żywo jest w porządku i właśnie o to chodzi. Po migracji gość czyta zegar nowego hosta. O ile hosty zgadzają się między sobą, gość nigdy nie widzi skoku. Tylko KVM. To hiperwywołanie KVM. Zagnieżdżone albo obce hiperwizory nie pokażą urządzenia, a reguła udev po prostu nie zadziała. To czysta porażka, a nie cicha zła odpowiedź. Czego nie robić Nie wymuszaj źródła zegara. Zostaw kvm-clock w spokoju. Wymuszenie tsc albo hpet w wierszu poleceń jądra gościa wymienia zegar parawirtualny, zaprojektowany na tę sytuację, na licznik, który nigdy nie był twój. Nie uruchamiaj ntpdate ani hwclock z crona. To skok według harmonogramu, czyli dokładnie to, czego nienawidzą bazy danych i Kerberos. Nie trzymaj pul „na zapas”. Przy działającym zegarze referencyjnym to nie zapas, tylko druga opinia z gorszego źródła. Nie podnoś mon_clock_drift_allowed i nie nazywaj tego naprawą. Wydałeś część budżetu, który istnieje na realia sieci, żeby tolerować problem ze znanym rozwiązaniem. To ostatnie warto powiedzieć wprost: poszerzenie progu to nie naprawa zegara. To przesunięcie alarmu, żeby przestał dzwonić.\nŹródła Linux kernel — KVM timekeeping — dlaczego czas gościa się spóźnia, problem TSC jako zegara lokalnego i wniosek, że istnieją tylko kompromisy Linux kernel — PTP_KVM — interfejs hiperwywołań stojący za urządzeniem zegara PTP Linux kernel — KVM x86 hypercalls — KVM_HC_CLOCK_PAIRING, strona x86 chrony — chrony.conf — dyrektywa refclock i opcje sterownika PHC MIT Kerberos — krb5.conf — clockskew i jego domyślne 300 sekund Microsoft — support boundary for high accuracy time — cele dokładności i warunki obciążenia procesora hosta dla systemów zwirtualizowanych Ceph — health checks — MON_CLOCK_SKEW, mon_clock_drift_allowed i jego związek z mon_lease ","permalink":"https://blogs.damiendye.uk/pl/proxmox/vm-time-ptp-kvm/","summary":"Zegar maszyny wirtualnej opiera się na założeniu, które wirtualizacja łamie: że procesor cały czas liczy. Dlaczego czas gościa dryfuje na każdym hiperwizorze, co naprawdę psuje rozjazd (Kerberos, TLS, Ceph, Windows) i jak ptp_kvm porządnie to naprawia na QEMU/KVM.","title":"Zegarowi VM nie można ufać, a ptp_kvm to poprawka dla QEMU/KVM"},{"content":"Trzy sposoby, w jakie dysk może się przedstawić Dysk ma dwa rozmiary bloku, a różnica między nimi to cała historia.\nSektor fizyczny to jednostka, w której naprawdę pracuje nośnik: najmniejsza porcja, którą dysk może odczytać albo zapisać bez dodatkowej roboty. Blok logiczny to jednostka, w której według tego, co dysk mówi hostowi, pracuje: jednostka, którą adresuje host.\nW praktyce spotyka się trzy kombinacje.\n512n: natywne 512. Oba rozmiary to 512 bajtów. To stary świat: dyski twarde sprzed 2010 roku i nic, co kupiłbyś dziś nowe w jakimkolwiek rozmiarze wartym posiadania.\n512e: emulacja 512 bajtów. Sektor fizyczny ma 4096 bajtów, ale dysk zgłasza 512-bajtowe bloki logiczne i tłumaczy w firmware. Istnieje z jednego powodu: zgodności z systemami operacyjnymi, programami rozruchowymi i aplikacjami, które założyły 512 na zawsze. Jako inżynieria dość rozsądne, i źródło niemal wszystkich kłopotów, które następują dalej.\n4Kn: natywne 4K. Oba rozmiary to 4096 bajtów. Dysk mówi prawdę, host adresuje go w jednostce, której używa nośnik, i pomiędzy nimi nie siedzi żadna warstwa translacji.\n512n, 512e i 4Kn: co adresuje host, a czego używa nośnik górny rząd = logiczny, co adresuje host · dolny rząd = fizyczny, w czym pracuje nośnik 512n 512512 512512 512512 512512 1:1 i uczciwie, ale przestarzałe. Nic nowego tak nie wychodzi. 512e 8 × 512 B logicznych: to słyszy host jeden fizyczny sektor 4096 B: to naprawdę istnieje firmware tłumaczy, przy każdym dostępie Host adresuje coś, czego nie ma. Zapisy, które nie wypełniają sektora, kosztują więcej. 4Kn jeden blok logiczny 4096 B jeden fizyczny sektor 4096 B nic do tłumaczenia Dysk mówi prawdę, więc nic dalej w łańcuchu nie podejmie decyzji na podstawie złej liczby. 512e to ciekawy przypadek: host adresuje coś, co nie istnieje, a firmware podtrzymuje tę fikcję przy każdym dostępie. Co robi 512e przy każdym niewyrównanym zapisie Odczyt jest tani we wszystkich trzech przypadkach. Dysk czyta sektor 4K i oddaje ten 512-bajtowy kawałek, o który prosiłeś.\nFikcja robi się droga przy zapisach.\nJeśli host zapisze pojedynczy 512-bajtowy blok logiczny, dysk nie może zapisać 512 bajtów. Nośnik nie ma takiej jednostki. Robi więc zamiast tego to:\nOdczytuje cały 4096-bajtowy sektor fizyczny. Wplata w niego 512 bajtów nowych danych. Zapisuje cały 4096-bajtowy sektor z powrotem. To jest read-modify-write, i zamienia jeden mały zapis w odczyt plus zapis. Na dysku obrotowym oznacza to czekanie, aż talerz znów obróci się na miejsce. Pełny obrót przy 7200 obr./min to coś koło 8 ms, których nie miałeś w budżecie. Na flashu koszt jest innego rodzaju i nie znika, gdy zapis się skończy. Ten ma własną sekcję poniżej.\nKara za read-modify-write i co robi z nią brak wyrównania 4Kn: wyrównany zapis 4 KB 4 KB nowych danych wypełnia sektor 1 zapis nic do odczytania wcześniej 512e: zapis jednego bloku logicznego 512 B 1. odczyt całego sektora fizycznego odczytane 4096 B 2. wplecenie 512 B tylko tyle naprawdę się zmieniło 3. zapis całego sektora z powrotem zapisane 4096 B 1 odczyt + 1 zapis obrót na dysku; strona zaprogramowana na flashu 512e: niewyrównany zapis 4 KB (ten drogi) jeden zapis 4 KB, przesunięty o pół sektora sektor fizyczny n sektor fizyczny n+1 2 × read-modify-write przy każdym zapisie, na zawsze Nowoczesne narzędzia do partycjonowania domyślnie wyrównują do sektora fizycznego, więc to zwykle spadek po starej instalacji albo sklonowanym obrazie, a nie coś nowego. Samo się nie naprawi. Wyrównany do 4K zapis 4K nie potrzebuje żadnego odczytu. Wszystko inne potrzebuje, a zapis, który przechodzi przez granicę sektora, potrzebuje dwóch. Brak wyrównania to wersja, która gryzie najmocniej. Jeśli partycja zaczyna się od nieparzystego przesunięcia o 512 bajtów, a klasycznym przykładem jest stara konwencja 63 sektorów, to każdy 4K zapis systemu plików przechodzi przez dwa sektory fizyczne. To nie jest jeden read-modify-write, tylko dwa, przy każdym pojedynczym zapisie, na zawsze, dopóki ktoś nie przepartycjonuje dysku.\nWzmocnienie zapisu na flashu Na dysku twardym read-modify-write kosztuje cię obrót i na tym koniec. Na flashu kosztuje cię żywotność dysku, a to rachunek, który płacisz raz i płacisz dalej.\nWzmocnienie zapisu (write amplification) to stosunek tego, co naprawdę zostało zapisane do NAND, do tego, o co poprosił host. Stosunek 1,0 oznaczałby, że dysk zapisał dokładnie to, co dostał. Nigdy nie wynosi 1,0, bo flash nie umie nadpisywać w miejscu: dysk programuje świeżą stronę, oznacza starą jako nieaktualną, a odśmiecanie później przenosi ocalałe strony, żeby dało się wymazać cały blok. Te przeniesienia to też zapisy.\n512e dokłada do tego warstwę, której dałoby się uniknąć, a powód to szczegół, który warto powiedzieć jasno: warstwa translacji dysku odwzorowuje w jednostkach około 4 KB, niezależnie od tego, jaki rozmiar bloku logicznego ogłasza. Dysk zgłaszający 512-bajtowe bloki wewnętrznie i tak śledzi jednostki 4 KB.\n512-bajtowy zapis z hosta staje się więc wewnątrz dysku czymś takim: odczytaj jednostkę odwzorowania 4 KB, wpleć 512 bajtów, zaprogramuj nową jednostkę 4 KB. Do NAND trafia 4096 bajtów, żeby mogło się zmienić 512. Osiem razy więcej zapisu, dla tego jednego zapisu.\nBrak wyrównania jest mniej dramatyczny na pojedynczy zapis i gorszy w sumie. Zapis 4 KB, który przechodzi przez dwie jednostki odwzorowania, brudzi obie, więc dla 4 KB danych programowane jest 8 KB. To 2× wzmocnienia przy każdym pojedynczym zapisie, na stałe, dopóki tablica partycji nie zostanie poprawiona.\nDlaczego niewyrównany zapis podwaja to, co trafia do NAND czytaj w dół: co zapisał host → jednostki odwzorowania dysku po 4 KB → co trafiło do NAND 512e: zapis 4 KB, niewyrównany 4 KB od hosta jednostka n jednostka n+1 4 KB przepisane 4 KB przepisane 8 KB zapisane za 4 KB: WAF 2× przy każdym zapisie, do poprawy tablicy partycji 4Kn: zapis 4 KB, wyrównany 4 KB od hosta jednostka n 4 KB zapisane 4 KB za 4 KB: WAF ≈ 1× podłoga, przed odśmiecaniem Żadna strona nie ucieknie przed odśmiecaniem: dysk i tak musi przenieść to, co żyje w bloku, zanim go wymaże, a ta praca rośnie z tym, ile w ogóle zapisano. 4Kn nie usuwa wzmocnienia: usuwa tę jego część, za którą płaciłeś za nic. Host w obu przypadkach poprosił o te same 4 KB. Po lewej lądują w poprzek dwóch jednostek odwzorowania, więc obie są przepisywane, a odśmiecanie przeniesie później to, co jeszcze w nich żyje. To skutki uboczne sprawiają, że ma to znaczenie, a nie jest tylko nieporządkiem:\nWięcej zapisów do NAND oznacza, że odśmiecanie uruchamia się częściej, a jego przeniesienia same w sobie są wzmocnieniem. Pamięć podręczna zapisu SLC zapełnia się szybciej, więc dysk wcześniej spada do wolniejszego stanu ustalonego, a przepustowość ciągłego zapisu maleje. Cykle programowania i kasowania zużywają się proporcjonalnie do tego, co dotarło do NAND, a nie do tego, co wysłał host. Podwój wzmocnienie, a przy tym samym obciążeniu skrócisz żywotność dysku o połowę. Parametry wytrzymałości, TBW i DWPD, podaje się względem zapisów hosta. Wzmocnienie po cichu zjada ten margines, a dysk zużywa się przed terminem, który wyszedł ci z rachunku gwarancyjnego przy zakupie. Bezpośrednie i synchroniczne zapisy to najgorszy przypadek Przez większość czasu pamięć podręczna stron ukrywa to wszystko. Jądro zbiera małe zapisy, scala je i wysyła do dysku IO o rozmiarze 4 KB lub większym, więc read-modify-write nigdy nie zachodzi.\nDwie flagi usuwają tę ochronę, a aplikacje, którym zależy na trwałości, ustawiają obie.\nO_DIRECT omija pamięć podręczną stron. Między aplikacją a dyskiem nie ma już nic, co mogłoby scalić 512-bajtowy zapis w coś o rozmiarze sektora.\nO_SYNC albo O_DSYNC wymaga, żeby zapis był na trwałym nośniku, zanim wywołanie wróci. To nie pozwala dyskowi wchłonąć zapisu do ulotnego bufora i połączyć go później z sąsiadami.\nPołącz je, a każdy 512-bajtowy zapis to pełny cykl read-modify-write, który musi się zakończyć teraz, sam, bez niczego, na co dałoby się rozłożyć jego koszt. Tam właśnie wzmocnienie na dysku 512e zbliża się do teoretycznych 8×, i dokładnie taki wzorzec wytwarza dziennik zatwierdzeń bazy danych, ZIL w ZFS albo WAL w Ceph BlueStore.\nRatunkiem na sprzęcie klasy enterprise jest ochrona przed utratą zasilania. Dysk z PLP może potwierdzić zapis synchroniczny, gdy tylko ten trafi do bufora DRAM podtrzymywanego kondensatorami, który jest trwały, i wciąż scalać wewnętrznie przed zaprogramowaniem NAND. Dysk konsumencki bez PLP musi dotrzeć do flasha, zanim wolno mu odpowiedzieć, więc płaci pełny koszt za każdy zapis. Jeszcze jeden powód, dla którego PLP nie jest opcjonalne przy tego rodzaju obciążeniu.\nW Proxmoxie to tryb pamięci podręcznej decyduje, który z tych przypadków dostajesz:\ncache=none to O_DIRECT: domyślne ustawienie PVE i właściwy wybór dla HA w całości na flashu. Pamięć podręczna stron hosta jest poza ścieżką, więc wzorce zapisu gościa docierają do dysku tak, jak gość je wysłał. cache=directsync to O_DIRECT plus O_DSYNC: każdy zapis jest synchroniczny. To niszowe ustawienie dla dysków przeznaczonych na dzienniki baz danych i bezużyteczne przy ogólnych obciążeniach. Na urządzeniu bazowym 512e cache=directsync z gościem zatwierdzającym w 512-bajtowych rekordach to mniej więcej najmniej wydajny dostępny układ: brak scalania w hoście, brak scalania w dysku i read-modify-write przy każdym zatwierdzeniu.\nA oto część, która sprawia, że 4Kn jest kwestią struktury, a nie tylko preferencji. O_DIRECT wymaga, żeby przesunięcie, długość i bufor były wyrównane do logicznego rozmiaru bloku dysku. Na dysku 512e to 512 bajtów, więc 512-bajtowy zapis bezpośredni jest dozwolony, a dysk po cichu za niego płaci. Na 4Kn blok logiczny ma 4096, więc najmniejszy zapis bezpośredni, jaki przyjmie jądro, to 4 KB. Patologiczny wzorzec przestaje być czymś, czego musisz unikać, i staje się czymś, czego stos nie potrafi wyrazić.\nNarzut na nośniku Drugi koszt jest strukturalny i to on jest powodem, dla którego Advanced Format w ogóle istnieje.\nSektor to nie tylko jego dane. Na dysku twardym każdy niesie znacznik synchronizacji, żeby głowica wiedziała, gdzie sektor się zaczyna, przerwę, żeby kolejne sektory na siebie nie wpadały, znacznik adresu i pole ECC do korygowania błędów odczytu.\nPrzy 512-bajtowych sektorach płacisz za to wszystko osiem razy na każde 4K danych. Przy jednym sektorze 4K płacisz raz.\nMa to dwie konsekwencje, a druga liczy się bardziej niż pierwsza:\nCzęść talerza, która była narzutem, staje się użyteczną pojemnością. To była deklarowana przez branżę motywacja w czasie przejścia na Advanced Format, rzędu niskich jednocyfrowych procentów. Pole ECC może być znacznie większe przy tym samym łącznym narzucie. Jeden silny kod chroniący 4096 bajtów koryguje dużo więcej niż osiem słabych kodów chroniących po 512 bajtów. Gdy gęstość zapisu rosła, przestało to być miłym dodatkiem i stało się jedynym sposobem na utrzymanie akceptowalnego poziomu błędów. Narzut na sektor płaci się osiem razy przy 512 bajtach i raz przy 4K Sektory 512-bajtowe: te same 4 KB danych 8 sektorów × (sync + dane + ECC + przerwa) 8 × narzut na sektor i osiem małych pól ECC Jeden sektor 4096-bajtowy: te same dane 1 × narzut i jedno dużo większe pole ECC sync, znacznik adresu, przerwa ECC twoje dane Nie w skali: pola narzutu są powiększone, żeby w ogóle było je widać. Odzyskana pojemność była warta niskie jednocyfrowe procenty. To silniejsze ECC jest powodem, dla którego branża naprawdę się przestawiła. Osiem zestawów znaczników synchronizacji, przerw i ECC albo jeden. Odzyskane miejsce to mała wygrana; silniejsza korekcja błędów to powód, dla którego branża się przestawiła. Flash nie ma znaczników synchronizacji ani przerw obrotowych, ale ta sama logika działa poziom wyżej: NAND programuje się stronami, strony są dużo większe niż 512 bajtów, a tablice odwzorowania dysku mają wpis na każdą adresowalną jednostkę. Mniejsze bloki logiczne oznaczają więcej metadanych do śledzenia tej samej pojemności.\nNarzut w hoście: polecenia i przerwania Trzeci koszt to ten, który ludzie przeoczają, bo w ogóle nie leży na dysku.\nLogiczny rozmiar bloku wyznacza podłogę dla tego, jak małe może być IO. Na dysku z 512-bajtowym blokiem logicznym system plików albo aplikacja mogą swobodnie wysłać 512-bajtowy zapis, a każdy z nich to pełne IO: polecenie zbudowane i wysłane, zapis do rejestru doorbell, wpis w kolejce zakończeń i przerwanie, które mówi, że się skończyło.\nKażde z nich ma stały koszt, którego nie obchodzi, ile danych w tym było. Przenieś 4KB jako osiem 512-bajtowych poleceń, a zapłacisz ten koszt osiem razy. Przenieś to jako jedno polecenie 4K, a zapłacisz raz.\nLogiczny rozmiar bloku wyznacza podłogę rozmiaru IO, a każde polecenie ma stały koszt Bloki logiczne 512 B: aplikacja może wysyłać zapisy 512 B 4 KB danych staje się 8 poleceniami 512 B512 B 512 B512 B 512 B512 B 512 B512 B 8 × wysłanie + doorbell 8 × wpis zakończenia 8 × okazja do przerwania 8 × stały koszt na polecenie za dokładnie te same 4 KB danych Bloki logiczne 4 KB: 4 KB to podłoga jedno polecenie 4 KB 1 × wysłanie, 1 × zakończenie, 1 × przerwanie 1 × stały koszt To pomaga tylko tam, gdzie naprawdę wysyłane jest małe IO: jedno polecenie opisuje wiele bloków, więc zapis 1 MB to tak czy inaczej jedno polecenie. Te same 4 KB danych. Wąskim gardłem nie jest tu dysk, tylko koszt na polecenie i na zakończenie w hoście. Dwa uczciwe zastrzeżenia, bo w tym miejscu argument zwykle bywa przesadzony.\nPrzy dużym IO logiczny rozmiar bloku nie zmienia nic w liczbie poleceń. Jedno polecenie może opisać wiele bloków, więc sekwencyjny zapis 1MB to jedno polecenie, niezależnie od tego, czy bloki mają 512 bajtów, czy 4K. Oszczędność jest realna tylko tam, gdzie wysyłane jest małe IO.\nTam jednak, gdzie małe IO jest wysyłane, efekt nie jest subtelny: każde z tych ośmiu żądań to takie, które jądro musi zbudować, zaplanować i zakończyć, każde z własnym przerwaniem MSI-X i przejściem z przestrzeni użytkownika do jądra, a przy dużych głębokościach kolejki tak właśnie dostajesz burzę przerwań. Wewnątrz VM jest jeszcze gorzej, bo każde z tych przerwań to także przełączenie kontekstu gościa.\nA współczesne kontrolery NVMe scalają przerwania, więc liczba przerwań nie równa się po prostu liczbie poleceń. Praca na wysłanie i zakończenie każdego polecenia jednak zostaje, a przy kilkuset tysiącach IOPS koszt CPU na polecenie to mierzalny ułamek rdzenia. To ta sama arytmetyka co przy przerwaniach typu posted w serii o passthrough: małe stałe koszty pomnożone przez bardzo dużą liczbę.\n4Kn, metadane sektorów i sprzętowy RAID Przejście na format 4096 + 0 ma konsekwencję, która zaskakuje ludzi, i spada ona prosto na sprzętowy RAID.\nNiektóre kontrolery RAID i macierze w ogóle nie używają zwykłych sektorów 512- czy 4096-bajtowych. Formatują dyski do rozszerzonego rozmiaru, 520 albo 528 bajtów, albo odpowiedników 4K jak 4104, 4160 i 4224, bo w tych dodatkowych bajtach na sektor kontroler trzyma własne metadane. To informacje ochronne T10-PI/DIF albo dane integralności producenta, przechowywane razem z danymi, które opisują.\nFormat 4096 + 0 nie ma ich gdzie położyć. Sektor to dane od początku do końca, i właśnie po to się go wybiera.\nKontroler, który chce metadanych w sektorze, ma więc trzy opcje, i żadna nie jest za darmo:\nOdrzucić dysk. Sformatować go z powrotem do formatu rozszerzonego, cofając robotę z 4Kn, którą właśnie wykonałeś. Trzymać metadane gdzie indziej na dysku. Trzecia to ta, za którą karze cię flash. Metadane zapisane osobno od danych, które opisują, to drugi zapis, pod innym przesunięciem, lądujący w innej jednostce odwzorowania. Kolejna strona NAND zaprogramowana na każdą, którą naprawdę chciałeś zapisać. To wzmocnienie z sekcji wyżej, wprowadzone z powrotem celowo, żeby nieść metadane integralności, które dysk mógłby trzymać w sektorze za darmo, gdybyś zostawił go w formacie rozszerzonym.\nNie da się mieć obu. Albo sektor niesie metadane kontrolera, albo tylko twoje dane.\nI dlatego flash mocno podkopał sens sprzętowego RAID-u Reszta to ocena, a nie mechanizm, więc tak to traktuj.\nSprzętowy kontroler RAID to firmware\u0026rsquo;owy RAID działający na dedykowanym procesorze. „Sprzęt” to CPU, trochę DRAM i bateria. Nie jakiś zasadniczo inny sposób liczenia parzystości. Historycznie kupowałeś dzięki niemu pamięć podręczną zapisu podtrzymywaną baterią i odciążenie z liczenia parzystości, a na flashu oba argumenty mocno osłabły. Enterprise NVMe ma już własną pamięć podręczną chronioną przed utratą zasilania, a kontroler staje się sufitem przepustowości przed urządzeniami, z których każde potrafi nasycić kilka gigabajtów na sekundę.\nKosztuje cię też rzeczy, których teraz aktywnie chcesz:\nStan urządzenia znika. Szczegóły SMART, wskaźniki zużycia i logi producenta, z których da się policzyć wzmocnienie zapisu, są schowane za nieprzejrzystą abstrakcją. Brak sum kontrolnych od końca do końca. Kontroler sprawdza parzystość, która wykrywa brakujący dysk, a nie złą odpowiedź od obecnego. ZFS i Ceph liczą sumy kontrolne samych danych i potrafią powiedzieć, która kopia jest zła; ciche uszkodzenie kontroler przepuszcza prosto dalej. W związku z tym kontroler rozwiązuje niewłaściwy problem. Metadane producenta na dyskach wiążą macierz z rodziną kontrolerów, co samo w sobie jest rodzajem zawodności, gdy to kontroler pada. RAID z parzystością robi własny read-modify-write przy zapisach częściowych pasów, nakładając się na wszystko z sekcji wyżej. Dla Ceph to nawet nie jest kwestia preferencji. Własne wytyczne Proxmoxa dla hiperkonwergencji mówią, że dyski muszą być wystawione w trybie HBA lub pass-through, a nie za kontrolerem RAID, a ZFS chce dokładnie tego samego z tych samych powodów.\nUkład, który z tego wszystkiego wynika, to: HBA zamiast kontrolera RAID, dyski sformatowane jako 4Kn z zerem metadanych, a redundancja i sumy kontrolne po stronie ZFS albo Ceph, które naprawdę potrafią ci powiedzieć, kiedy dysk skłamał. Jeśli coś w twojej infrastrukturze naprawdę potrzebuje rozszerzonego formatu sektora, to świadomy wybór albo-albo, do rozstrzygnięcia, póki dyski są jeszcze puste. Nie coś do odkrycia po zbudowaniu OSD.\nGdzie 512e naprawdę gryzie Byłoby nieuczciwie twierdzić, że 512e rujnuje nowoczesny system, bo zwykle tak nie jest.\nObecny stos linuksowy odczytuje fizyczny rozmiar sektora, wyrównuje do niego partycje (parted i sfdisk robią to dziś domyślnie) i używa bloków systemu plików 4K. W takiej konfiguracji host wysyła wyrównane IO 4K, dysk nigdy nie potrzebuje read-modify-write, a 512e kosztuje cię prawie nic.\nProblemy są konkretne:\nNiewyrównane partycje, zwykle odziedziczone po starej instalacji albo sklonowanym obrazie. Dwa read-modify-write przy każdym zapisie. ZFS z ashift=9 na dysku 512e, bo ZFS uwierzył w zgłoszone 512. Każdy zapis rekordu staje się read-modify-write, a ashift nie da się zmienić po fakcie: pulę trzeba przebudować. Aplikacje, które zapisują 512-bajtowe rekordy z O_DIRECT, omijając scalanie w pamięci podręcznej stron. Robią tak niektóre bazy danych i mnóstwo oprogramowania pisanego na zamówienie. Wszystko, co ufa, że rozmiar logiczny jest tym prawdziwym. To właściwa szkoda emulacji: rozdaje liczbę, która jest błędna, a rzeczy dalej w łańcuchu podejmują na jej podstawie decyzje. 4Kn usuwa całą tę kategorię. Dysk nie może kłamać o rozmiarze sektora, którego nie ma.\nWarto jednak powiedzieć uczciwie, ile jest do wygrania. Własne wytyczne Seagate\u0026rsquo;a mówią, że 4Kn wyraźnie warto gonić, gdy stos jest w pełni zoptymalizowany pod 4K, a ty liczysz każdy IOPS, na przykład w dostrojonej warstwie w całości na flashu. Poniżej tego, na poprawnie wyrównanym nowoczesnym Linuksie, różnica wydajności dla wyrównanego IO często jest niewielka. Drugi argument to spójność floty: jednolicie 4Kn-owa infrastruktura nie ma w sobie niespodzianek z mieszanymi formatami i nikt nie musi pamiętać, które dyski kłamią.\nWiększość dysków da się przekonwertować, jeśli pozwala producent To część, którą się przeocza: 512e to często ustawienie formatu, a nie właściwość sprzętu. Bardzo wiele dysków SAS i SATA klasy enterprise oraz większość enterprise NVMe wychodzi z fabryki, zgłaszając 512 bajtów, i chętnie da się przeformatować na 4Kn.\nWszystko poniżej niszczy każdy bajt na urządzeniu. Nie ma konwersji w miejscu.\nNVMe: nvme-cli Najpierw zobacz, co obsługuje przestrzeń nazw:\n# Lists each LBA format and marks which one is in use nvme id-ns -H /dev/nvme0n1 | grep -i \u0026#34;lbaf\\|data size\u0026#34; Chcesz format z Data Size 4096 i Metadata Size 0, oznaczony jako best i obecnie nieużywany. Potem go zastosuj:\n# -l/--lbaf selects the LBA format index from the list above nvme format /dev/nvme0n1 --lbaf=1 --force Rozmiar metadanych liczy się tak samo jak rozmiar danych. Niektóre formaty fabryczne rezerwują dodatkowe bajty na sektor, 520 albo 4160, żeby nieść metadane ochronne T10-PI/DIF od końca do końca. Jeśli nic w twoim stosie ich nie konsumuje, to wypełniacz w każdym sektorze, więc wybierz format bez metadanych i pozbądź się go. Wybranie przez przypadek formatu z metadanymi daje ci też dysk, który zachowuje się inaczej niż ten, który chciałeś stworzyć, a połączenie zmiany rozmiaru sektora ze zmianą PI może wymusić powolne pełne formatowanie zamiast szybkiego.\nDla wszystkich dysków w hoście zrób pętlę. Wymaga to shopt -s extglob dla rozszerzonych globów i wybiera tylko formaty 4096/0, które nie są w użyciu:\nshopt -s extglob for dev in /dev/nvme+([0-9])n+([0-9]); do # Skip anything that is not actually there [ -e \u0026#34;$dev\u0026#34; ] || continue # An LBA format with 4096-byte data, 0-byte metadata, marked Best, not in use lbaf=$(nvme id-ns -H \u0026#34;$dev\u0026#34; \\ | grep -P \u0026#39;(?=.*Metadata Size: 0)(?=.*Data Size: 4096)(?=.*Best)(?!.*in use)\u0026#39; \\ | awk \u0026#39;{found=$3} END {print (found != \u0026#34;\u0026#34; ? found : -1)}\u0026#39;) if [ \u0026#34;$lbaf\u0026#34; != \u0026#34;-1\u0026#34; ]; then echo \u0026#34;Formatting $dev using LBA Format: $lbaf\u0026#34; nvme format --force --lbaf=\u0026#34;$lbaf\u0026#34; \u0026#34;$dev\u0026#34; else echo \u0026#34;Skipping $dev: no matching LBA format found.\u0026#34; fi done Dwie rzeczy robią tam więcej, niż na to wyglądają.\nGlob pasuje do przestrzeni nazw, nvme0n1, nvme12n3, i celowo nie pasuje do partycji jak nvme0n1p1, bo wzorzec kończy się po cyfrach następujących po n. To różnica między przeformatowaniem przestrzeni nazw a zrobieniem czegoś nieodwracalnego działającemu systemowi.\nA wybór konwertuje wyłącznie dysk, który naprawdę oferuje to, o co prosiłeś. Wszystko inne spada do -1 i jest pomijane, co pokrywa trzy osobne przypadki:\nDysk oferuje tylko 512. Nie ma formatu 4096-bajtowego, więc nie ma na co konwertować, i pętla zostawia go w spokoju. Nie próbuje i nie wywraca się w połowie. Dysk już jest 4Kn. Format 4096/0 to ten w użyciu, a (?!.*in use) go wyklucza, więc drugi przebieg na tym samym hoście nic nie robi. Żadnego zbędnego przeformatowania każdego dysku. Jedyne formaty 4096 niosą metadane. Format 4096 + 8 nie spełnia Metadata Size: 0, więc pętla nie wciśnie ci po cichu dysku z T10-PI, o który nie prosiłeś. Innymi słowy zawodzi bezpiecznie. Kiedy nie jest pewna, pomija.\nJedna uwaga o przenośności: te asercje wyprzedzające wymagają trybu -P (PCRE) z GNU grep. Na systemie, gdzie grep jest czymś innym, wzorzec nie pasuje do niczego i każdy dysk jest pomijany. Irytujące, ale przynajmniej myli się w bezpieczną stronę.\nMimo wszystko przeczytaj pętlę, zanim ją uruchomisz. Tam, gdzie pasuje, formatuje bez dalszych pytań. nvme format --force nie pyta dwa razy. Należy do provisioningu, na maszynie, której dyski nic nie przechowują, nigdy na hoście z działającym OSD, pulą albo dyskiem VM.\nNa FreeBSD odpowiednikiem jest nvmecontrol, gdzie -f to indeks formatu:\nnvmecontrol format -f 1 nvme0ns1 SAS i SATA: openSeaChest openSeaChest od Seagate\u0026rsquo;a jest wieloplatformowy, otwartoźródłowy i działa także na dyskach innych producentów.\n# Find the handle openSeaChest_Format --scan # Ask the drive which sector sizes it will accept openSeaChest_Format -d /dev/sg1 --showSupportedFormats # Convert. The confirmation string is deliberately hard to type by accident. openSeaChest_Format -d /dev/sg1 --setSectorSize 4096 \\ --confirm this-will-erase-data-and-may-render-the-drive-inoperable Ta fraza potwierdzająca to nie moja dramatyzacja. To dosłowny ciąg, którego wymaga narzędzie, a część o „may render the drive inoperable” jest prawdziwa. Niskopoziomowe formatowanie przerwane przez zanik zasilania może zostawić dysk, który potrzebuje kolejnego formatowania, zanim w ogóle zacznie działać.\nPod spodem operacja różni się zależnie od transportu: SAS i SCSI używają Format Unit, SATA używa Set Sector Configuration Ext, czyli ścieżki szybkiego formatowania, a NVMe używa NVM Format. Na dysku SAS możesz wywołać Format Unit bezpośrednio, a zauważ, że ta opcja przyjmuje krótszy ciąg potwierdzający:\nopenSeaChest_Format -d /dev/sg1 --formatUnit 4096 --poll \\ --confirm this-will-erase-data Dwie różne opcje, dwa różne ciągi potwierdzające: pomyl je, a narzędzie odmówi.\nTam, gdzie dysk obsługuje szybkie formatowanie, rozmiar sektora zmienia się w sekundy, a nie w godziny; dysk wykonuje potem swoją pracę integralności i pracę w tle, a zapisanie na nim twoich prawdziwych danych skraca ten czas w tle. Pełne formatowanie zapisuje zera od początku do końca i na dużym dysku obrotowym może trwać wiele godzin, a nawet dni.\nopenSeaChest_Format -d /dev/sg1 --setSectorSize 4096 --fastFormat \\ --confirm this-will-erase-data-and-may-render-the-drive-inoperable SCSI: sg_format Dla wszystkiego, co mówi SCSI, tę samą robotę zrobi sg3_utils:\n# --size requires --format; expect hours on a large spinning disk sg_format --format --size=4096 /dev/sdb # Fast format where the drive supports it — seconds instead of hours sg_format --format --size=4096 --ffmt=1 /dev/sdb sg_format daje ci 15-sekundowe odliczanie, zanim się zobowiąże, które --quick pomija. Jego dokumentacja ostrzega też przed konkretną awarią, o której warto wiedzieć: jeśli zmiana rozmiaru bloku się powiedzie, ale potem formatowanie zawiedzie, dysk może skończyć w stanie „format corrupt” i potrzebować kolejnego formatowania, żeby dojść do siebie.\nZanim cokolwiek przekonwertujesz Sprawdź ścieżkę rozruchu. Dysk 4Kn jako urządzenie rozruchowe wymaga UEFI i systemu operacyjnego, który to obsługuje. Nowoczesny Linux jest w porządku. Starsze Windows nie, a niektóre sprzętowe kontrolery RAID wciąż w ogóle odrzucają 4Kn. Zrób to, zanim dysk będzie cokolwiek przechowywał. Dorabianie tego później oznacza ewakuację, konwersję i odtworzenie. Zrób jeden, potem sprawdź. Przekonwertuj pojedynczy dysk, potwierdź zgłaszane rozmiary, a potem zrób resztę. Licz się z godzinami na dysku obrotowym bez szybkiego formatowania. Nie zaczynaj niskopoziomowego formatowania na maszynie, której niedługo będziesz potrzebować z powrotem. Sprawdzanie, co masz # LOG-SEC is what the host addresses, PHY-SEC is what the medium uses lsblk -o NAME,MODEL,SIZE,LOG-SEC,PHY-SEC # The same, from sysfs cat /sys/block/sda/queue/logical_block_size cat /sys/block/sda/queue/physical_block_size # SMART states both, and this is the clearest 512e signature there is smartctl -a /dev/sda | grep -i \u0026#34;sector size\u0026#34; 512 bytes logical, 4096 bytes physical to dysk 512e. Pasujące liczby oznaczają natywny: 512n, jeśli oba to 512, 4Kn, jeśli oba to 4096.\nI sprawdź, czy partycje naprawdę są wyrównane:\nparted /dev/sda align-check optimal 1 ZFS, Ceph i dyski wirtualne ZFS: ustaw ashift=12 jawnie przy tworzeniu puli i nie polegaj na rozmiarze zgłaszanym przez dysk, bo na 512e powie ci 9 i będzie w błędzie. Później nie da się tego zmienić.\nCeph: minimalny rozmiar alokacji BlueStore na flashu powinien wynosić 4 KB. Nowoczesny Ceph ma domyślnie 4096, ale starsze kompilacje miały domyślnie więcej, około 16 KB na SSD i 64 KB na HDD, a to źle pasuje do dysków VM na RBD, bo wysyłają one wiele małych losowych zapisów 4 KB, a zapis 4 KB lądujący w jednostce alokacji 16 albo 64 KB i wzmacnia zapis, i marnuje resztę na wypełnienie. Ustala się to przy tworzeniu OSD, więc trzeba to ustawić przed tworzeniem albo przebudową:\nceph config set global bluestore_min_alloc_size_ssd 4096 # new or rebuilt OSDs only Jest też odpowiadające bluestore_min_alloc_size_hdd. Istniejące OSD zachowują to, z czym je zbudowano, więc zmiana oznacza ich przebudowę.\nDyski wirtualne: gość widzi to, co przedstawia mu hypervisor, a nie dysk pod spodem, więc dysk 4Kn pod VM wciąż daje gościowi 512-bajtowe bloki, chyba że powiesz inaczej. Utrzymanie stosu w 4K od końca do końca oznacza powiedzenie QEMU, żeby przedstawiał 4K, co w Proxmoxie jest surowym wierszem argumentów w /etc/pve/qemu-server/\u0026lt;vmid\u0026gt;.conf:\nargs: -global scsi-hd.physical_block_size=4k -global scsi-hd.logical_block_size=4096 To ten wiersz naprawdę zmusza QEMU do 4Kn dla tych dysków: -global stosuje go do każdego urządzenia scsi-hd w VM, więc gość dostaje informację o 4096 zarówno dla logicznego, jak i fizycznego rozmiaru bloku, i odpowiednio partycjonuje i wyrównuje.\nNie ujmuj całego ciągu w cudzysłów. Proxmox parsuje args: przez Text::ParseWords::shellwords, więc to:\nargs: \u0026#34;-global scsi-hd.physical_block_size=4k -global scsi-hd.logical_block_size=4096\u0026#34; zlewa się w jeden argument: cudzysłowy są respektowane i zdejmowane, a QEMU dostaje jedną długą, nieparsowalną opcję zamiast czterech. Bez cudzysłowów ten sam wiersz dzieli się na -global, scsi-hd.physical_block_size=4k, -global, scsi-hd.logical_block_size=4096, czyli to, czego chcesz. Łatwo o ten błąd, bo w wierszu poleceń cudzysłów to właściwy odruch, a objaw, czyli VM, która nie chce wystartować i narzeka na opcję, nie wskazuje z powrotem na cudzysłowy.\nZrób to przed instalacją systemu gościa. Zmiana rozmiaru bloku dysku pod już zainstalowanym systemem może sprawić, że przestanie się uruchamiać, bo układ partycji i program rozruchowy zostały zapisane pod 512-bajtowe sektory. Zauważ też, że args: to furtka dla ekspertów poza zarządzaniem przez GUI, a interakcję z migracją na żywo i snapshotami warto ponownie sprawdzić w aktualnej dokumentacji Proxmoxa.\nGdy gość mówi 512, a host mówi 4K To przypadek, który warto porządnie zrozumieć, bo właśnie to dostajesz domyślnie po wykonaniu całej pracy powyżej.\nQEMU przedstawia gościowi 512-bajtowe bloki logiczne, chyba że powie mu się inaczej, niezależnie od tego, jakie jest urządzenie bazowe. Możesz więc przekonwertować każdy dysk w hoście na 4Kn, a VM na górze wciąż usłyszą 512 i w to uwierzą.\nGość partycjonuje wtedy na granicach 512 bajtów, bo mu wolno, i wysyła 512-bajtowe IO, bo mu wolno. Ale urządzenie hosta ma teraz naprawdę 4096-bajtowy blok logiczny i nie przyjmie 512-bajtowego zapisu. Coś musi te dwie rzeczy pogodzić, a tym czymś jest host: QEMU czyta otaczające 4 KB, wplata w nie 512 bajtów od gościa i zapisuje całość z powrotem.\nNie usunąłeś emulacji. Przeniosłeś ją z firmware\u0026rsquo;u dysku do swojego hypervisora, gdzie kosztuje CPU hosta i bufor pośredni zamiast cykli dysku.\nPrzy cache=none to też nie jest łagodna kara. O_DIRECT na urządzeniu 4Kn wymaga przesunięć i długości wyrównanych do 4 KB, więc zapisu gościa mniejszego niż 4K nie da się po prostu przepuścić: wyrównanie musi zostać poprawione w QEMU, zanim IO w ogóle zostanie wysłane.\nA przypadek braku wyrównania wraca warstwę wyżej. Gość spartycjonowany z ziarnistością 512 bajtów kładzie swoje zapisy systemu plików 4 KB pod przesunięciami, które przechodzą przez dwa bloki 4 KB hosta, więc każdy staje się dwoma read-modify-write na hoście. Ta sama awaria co niewyrównana partycja na gołym dysku 512e, tyle że teraz dzieje się wewnątrz VM, gdzie nikt jej nie szuka.\nZasada brzmi więc: jeśli host jest 4Kn, przedstaw 4K także gościowi, i zrób to, zanim trafi tam system.\nWyjątkiem jest obsługa po stronie gościa, czyli cały powód istnienia 512e:\nGoście linuksowi radzą sobie z 4Kn bez marudzenia. Windows obsługuje 4Kn dla woluminów danych od Windows 8 i Server 2012 wzwyż, a rozruch z 4Kn wymaga UEFI. Wszystko starsze, Windows 7 i wcześniejsze, w ogóle nie potrafi 4Kn. Dla nich dysk wirtualny przedstawiający 512 to cena za ich uruchamianie, a godzeniem zajmie się host. Jeśli to ma znaczenie, trzymaj tych gości na pamięci masowej, gdzie kosztuje cię to najmniej, a nie na najszybszej warstwie. Sprawdź, z czym gość faktycznie skończył, od środka gościa:\nlsblk -o NAME,LOG-SEC,PHY-SEC 512 tam na hoście 4Kn oznacza, że opisane wyżej godzenie zachodzi przy każdym niewyrównanym zapisie.\nŹródła OpenZFS — Workload Tuning — ashift, dlaczego 2^ashift to najmniejsze możliwe IO na vdev, i spostrzeżenie, że „many devices misreport their sector sizes” nvme-format man page — --lbaf, --namespace-id, --ses i --force sg_format man page — --size z --format, opcja szybkiego formatowania i ostrzeżenie o stanie format-corrupt openSeaChest — otwartoźródłowe narzędzia dyskowe Seagate\u0026rsquo;a, w tym --setSectorSize i --showSupportedFormats openSeaChest wiki — Format, Fast Format, And Sector Sizes — który transport używa którego polecenia i kiedy ma zastosowanie szybkie formatowanie nvmecontrol(8) — odpowiednik na FreeBSD Linux block layer documentation — jak jądro modeluje logiczne i fizyczne rozmiary bloków ","permalink":"https://blogs.damiendye.uk/pl/proxmox/block-sizes-4kn-512e/","summary":"Dyski 512e przedstawiają 512-bajtowe sektory, których nie mają, a firmware nadrabia różnicę przy każdym niewyrównanym zapisie. Ile to kosztuje na nośniku, w hoście i we wzmocnieniu zapisu, dlaczego bezpośrednie zapisy synchroniczne to najgorszy przypadek, i jak przekonwertować całą flotę na 4Kn.","title":"4Kn, 512e i 512n: dlaczego natywne 4K wygrywa i ile kosztuje emulacja"},{"content":"Czym jest BAR i dlaczego GPU z niego wyrosły Każde urządzenie PCIe udostępnia jeden lub więcej rejestrów adresu bazowego (Base Address Register). BAR mówi systemowi, ile przestrzeni adresowej urządzenie chce, a firmware mapuje ją w mapę pamięci hosta. Gdy jest zmapowana, procesor sięga do pamięci urządzenia zwykłymi odczytami i zapisami.\nRozmiar BAR był kiedyś zapisany na stałe w krzemie. Firmware odczytywał go przy włączeniu i na tym rozmowa się kończyła.\nTo było w porządku, dopóki BAR-y były małe. Karta sieciowa chce kilkudziesięciu kilobajtów na swoje rejestry. Kontroler NVMe chce od 16KB do 64KB.\nKarty graficzne rozbiły ten układ. Nowoczesna karta ma 8, 12, 16 albo 24GB pamięci wideo, a oczywiste jest zmapowanie całej, żeby procesor mógł pisać w dowolne jej miejsce. Stałe BAR-y nie umiały tego wyrazić, więc przyjęło się małe okno, zwykle 256MB, które sterownik przestawia po framebufferze, kopiując przez nie kawałkami. Działa. To po prostu głupia ilość buchalterii, żeby dostać się do pamięci, którą już kupiłeś i zamontowałeś.\nStałe okno odsłania jeden kawałek naraz; Resizable BAR mapuje całość Stały BAR: okno 256 MB 24 GB VRAM, narysowane w kawałkach okno Sterownik przestawia okno i kopiuje przez nie, kawałek po kawałku. Kawałki poglądowe, nie w skali. Resizable BAR: wszystko te same 24 GB, zmapowane raz jeden BAR obejmuje całość Procesor pisze tam, gdzie chce. Żadnego okna do przesuwania. Okno 256MB to nie tyle limit przepustowości, ile podatek od buchalterii: sterownik spędza czas na przesuwaniu okna zamiast na przesuwaniu danych. Co zmienia Resizable BAR Resizable BAR to funkcja PCIe, która pozwala negocjować rozmiar BAR zamiast mieć go stały. Urządzenie ogłasza rozmiary, które obsługuje, a firmware albo system operacyjny ustawia jeden z nich.\nDla GPU oznacza to, że cały framebuffer można zmapować naraz. Sterownik przestaje stronicować przez okno i pisze tam, gdzie chce pisać. Jądro zgłasza tę funkcję jako Physical Resizable BAR i jest ona niezależna od producenta. Karta AMD działa z nią na platformie Intela i odwrotnie.\nCo naprawdę robią trzej producenci Ciekawe jest to, że producenci nie zgadzają się co do tego, jak bardzo to ważne.\nTrzech producentów, jedna funkcja, trzy różne postawy Intel Arc / Arc Pro WYMAGANY „Required to get a good experience with Arc” Bez niego skoki czasu klatki, które już były, rosną. Platformy: Core 10. gen. i nowsze, większość Ryzen 3000, wszystkie Ryzen 5000. NVIDIA PROFIL PER GRA Seria RTX 30 i nowsze, marzec 2021 „A few percent, up to 12%”, a część tytułów zwalnia, więc sterownik włącza go tylko tam, gdzie test był szybszy. Wymagał aktualizacji VBIOS + SBIOS. AMD Radeon SMART ACCESS MEMORY Ta sama funkcja, sprzedawana pod marką Wprowadzona z RX 6000 i Ryzen 5000 jako funkcja pary, ale to standardowa funkcja PCIe, działa u każdego. Dziurawa na Vega i Polaris. Funkcja jest identyczna we wszystkich trzech przypadkach; różni się to, czy producent traktuje ją jako warunek wstępny, optymalizację stosowaną wybiórczo, czy cechę produktu. Ta sama funkcja, trzy różne postawy. Intel traktuje ją jako warunek wstępny; NVIDIA dostarcza ją włączoną tylko dla gier, które przetestowała; AMD sprzedaje ją jako cechę. Intel Arc i Arc Pro: Intel nazywa to wymaganiem Intel jest tu najbardziej stanowczy. Jego wytyczne mówią, że Resizable BAR jest „required to get a good experience with Intel® Arc™ hardware.” To niezwykle mocny język jak na funkcję platformy i pokazuje, jak zbudowano sterownik Arc, a nie decyzję marketingową.\nOd strony objawów Intel opisuje efekt wyłączenia w kategoriach równości, a nie średnich: z „ReBAR off” „will generally result in spikes that were already there getting bigger.” To argument o stabilności czasu klatki i ten sam kształt problemu co wpływ ASPM na ogony opóźnień. Średnia to ukrywa.\nIntel wymienia jako obsługiwane platformy procesory Intel Core 10. generacji i nowsze, większość serii Ryzen 3000 i wszystkie procesory Ryzen 5000, i traktuje to jako funkcję BIOS-u płyty głównej, którą musisz sam włączyć.\nPraktyczny wniosek dla Arc i Arc Pro jest prosty. Jeśli włożyłeś kartę Arc do maszyny, a wydajność rozczarowuje albo jest nierówna, sprawdź to przed czymkolwiek innym. W związku z tym na tych kartach to nie tyle pokrętło strojenia, ile warunek wstępny.\nNVIDIA: od Ampere wzwyż i tylko tam, gdzie pomaga NVIDIA dodała obsługę dla kart i laptopów GeForce RTX 30 w marcu 2021. Uruchomienie tego wymagało obsługiwanego VBIOS-u, zgodnego procesora i płyty głównej, aktualizacji firmware płyty i aktualnego sterownika. RTX 3060 miał to od premiery; 3060 Ti, 3070, 3080 i 3090 mogły potrzebować aktualizacji firmware.\nWłasne ujęcie wydajności przez NVIDIĘ jest przyjemnie nieefektowne. Stwierdziła, że „some titles benefit from a few percent, up to 12%”, podczas gdy „there are also titles that see a decrease in performance.”\nJej odpowiedź na to jest szczegółem wartym poznania: zamiast zostawić to włączone globalnie, NVIDIA wcześniej testuje tytuły i używa profili per gra, by włączać Resizable BAR tylko tam, gdzie zmierzyła zysk. Na karcie NVIDII pytanie „czy ReBAR jest włączony?” ma więc odpowiedź per aplikacja, a benchmark, który nic nie pokazuje, może po prostu dotyczyć tytułu, który sterownik postanowił zostawić w spokoju.\nAMD: Smart Access Memory to to samo Marka AMD dla tej funkcji to Smart Access Memory, wprowadzona razem z serią Radeon RX 6000 i procesorami Ryzen 5000. Marketing sugeruje parę procesor AMD plus GPU AMD i tak to wprowadzono, ale pod spodem jest standardowa funkcja PCIe. Włącz Resizable BAR w firmware z kartą Radeon w maszynie z Intelem, a dostaniesz tę samą funkcję bez marki.\nKarty Radeon Pro serii W też to obsługują. Na starszych architekturach, Vega i Polaris, obsługa jest bardziej dziurawa i tam też mieszkają kłopoty z wirtualizacją.\nResizable BAR a praca z AI Tu ta funkcja jest źle rozumiana, więc warto jasno powiedzieć, czego dotyka.\nResizable BAR zmienia to, jak procesor sięga do pamięci GPU. To ścieżka transferu: ładowanie wag modelu, wypychanie partii, odczyt wyników. Nie dotyka własnej przepustowości pamięci GPU i nie przyspiesza mnożenia macierzy.\nUczciwe podsumowanie jest więc takie, że wpływa na ładowanie i karmienie modelu, a nie na arytmetykę. Dla dużego modelu kopia z hosta na urządzenie przy ładowaniu to prawdziwy koszt, a pełnowymiarowy BAR pozwala procesorowi pisać prosto do pamięci urządzenia, zamiast przerzucać dane przez bulaj 256MB. W stanie ustalonym wnioskowania, gdy wagi już są na miejscu, a praca jest ograniczona obliczeniami, nie spodziewaj się niczego.\nWarto znać trzy szczegóły.\nArc Pro do AI dziedziczy werdykt Intela. Jeśli Intel mówi, że karta potrzebuje Resizable BAR do dobrego działania, dotyczy to karty z oneAPI albo PyTorchem tak samo jak karty z grą. Karty Arc i Arc Pro do wnioskowania powinny mieć to włączone, i tyle.\nNa NVIDII liczba, której szukasz, to BAR1. BAR1 to widoczne dla hosta okno na pamięć urządzenia i to przez nie przechodzą alokacje mapowane do hosta i GPUDirect RDMA:\n# How much device memory is actually host-visible nvidia-smi -q | grep -A3 \u0026#34;BAR1 Memory Usage\u0026#34; Karta do centrum danych ma od początku duży BAR1. Na karcie desktopowej to Resizable BAR sprawia, że to okno jest duże, a nie malutkie. Jeśli robisz RDMA prosto z karty sieciowej do pamięci GPU, to nie jest drobna wygoda.\nNie myl tego z wymaganiem ROCm. Wymagania systemowe ROCm od AMD mówią o procesorach obsługujących PCIe atomics („modern CPUs after the release of 1st generation AMD Zen CPU and Intel™ Haswell”) i nie mówią nic o rozmiarze BAR. To dwa różne wymagania platformy, które mieszkają w tym samym menu BIOS-u, a ludzie stale je mylą. Sprawdź to, którego naprawdę potrzebujesz.\nTryb awarii, który najmocniej gryzie maszyny do AI, w ogóle nie dotyczy wydajności i jest opisany niżej: kilka GPU z dużymi BAR-ami w jednej maszynie może wyczerpać przestrzeń adresową.\nCzego potrzeba, żeby działało Czterech rzeczy, wszystkich na poziomie firmware:\nWłączonego Resizable BAR w firmware płyty głównej. Często domyślnie wyłączony. Włączonego Above 4G Decoding. BAR 24GB nie zmieści się poniżej granicy 4GB, więc platforma musi być gotowa przydzielać przestrzeń adresową powyżej niej. Włącz to nawet bez GPU. Nic nie kosztuje. Startu UEFI z wyłączonym CSM. Tryb zgodności ze starszym systemem i duże BAR-y się nie łączą. Aktualnego firmware i sterowników, szczególnie na płytach i kartach z okresu przejściowego 2020–2021, gdzie obsługa przyszła z aktualizacją, a nie przy premierze. Duży BAR mieści się tylko powyżej 4GB, a okno gościa musi być na tyle duże, by go pomieścić Gdzie powiększony BAR naprawdę może mieszkać RAM systemu 0 32-bitowa dziura MMIO 4 GB 64-bitowe MMIO wysoko GPU 0 BAR 24 GB GPU 1 · 24 GB GPU 2 · 24 GB GPU 3 · 24 GB Zatłoczona i w sumie szeroka tylko na 4 GB BAR 24 GB tu nie wejdzie. Ten 256 MB ledwo by się zmieścił. Dostępne tylko z Above 4G Decoding Ustawienie firmware. Na niektórych płytach domyślnie wyłączone, a bez niego duży BAR nigdy nie zostanie przydzielony. Każda karta potrzebuje tu własnego miejsca Cztery karty po 24 GB chcą 96 GB 64-bitowego MMIO, plus wszystko inne na magistrali. Nie każdy firmware płyty konsumenckiej to zrobi. Objaw: dwie karty działają, przy czterech jedna się nie inicjalizuje, a dmesg zgłasza brak miejsca na BAR. Nie w skali: obszar 64-bitowy jest ogromnie większy niż 4 GB pod nim, i właśnie o to chodzi. To Above 4G Decoding w ogóle czyni górny obszar użytecznym, a każda karta potrzebuje tam własnego miejsca, i właśnie tam maszyny AI z wieloma GPU uderzają w ścianę. Jak sprawdzić na Linuksie Czy karta ma tę funkcję i jakie rozmiary oferuje:\n# Substitute your card\u0026#39;s address from lspci lspci -vvs 0000:XX:00.0 | grep -A6 \u0026#34;Physical Resizable BAR\u0026#34; Jądro udostępnia to też w sysfs, jeden plik na każdy zmienny BAR:\ncat /sys/bus/pci/devices/0000:XX:00.0/resource1_resize Ta wartość to mapa bitowa obsługiwanych rozmiarów, a nie rozmiar. Bit 0 oznacza 1MB, bit 1 oznacza 2MB, bit 2 oznacza 4MB, a rozmiar dla danego bitu to 2 ^ (bit + 20). 00000000000001c0 ma więc ustawione bity 6, 7 i 8, co znaczy, że BAR może mieć 64MB, 128MB albo 256MB.\nŻeby zobaczyć, co naprawdę obowiązuje, odczytaj przydzielone regiony:\nlspci -vvs 0000:XX:00.0 | grep -i Region Karta działająca ze zmapowanym całym framebufferem pokazuje region odpowiadający rozmiarowi jej VRAM, a nie region 256MB.\nZmiana rozmiaru ręcznie Pozycję bitu możesz zapisać sam:\n# bit 7 -\u0026gt; 2 ^ (7 + 20) = 128MB echo 7 \u0026gt; /sys/bus/pci/devices/0000:XX:00.0/resource1_resize Warunki są surowe i warto je przeczytać, zanim spróbujesz na maszynie, na której ci zależy. Najpierw trzeba odpiąć od urządzenia każdy sterownik. Urządzenia równorzędne pod tym samym mostem nadrzędnym mogą wymagać miękkiego usunięcia. Na urządzeniu VGA zapis wartości zmiany rozmiaru rozbiera niskopoziomowe sterowniki konsoli. Wszystko, co trzyma otwarte pliki sysfs resourceN, musi je puścić.\nDokumentacja jądra jest też bezceremonialna co do wyniku: sukces nie jest gwarantowany. Zmiana rozmiaru zawodzi, jeśli nie ma przestrzeni adresowej, w której zmieści się większy BAR. Co prowadzi cię prosto z powrotem do Above 4G Decoding.\nKiedy coś idzie źle dmesg mówi, że nie może przydzielić BAR. Komunikaty w kształcie BAR 0: no space for [mem size ...] znaczą, że przydział się nie udał, a nie że karta jest uszkodzona. Above 4G Decoding to pierwsza rzecz do sprawdzenia.\nKilka GPU, a jedno się nie inicjalizuje. To awaria maszyn z wieloma GPU i do AI. Cztery karty z BAR-ami 24GB potrzebują przydzielonych 96GB 64-bitowej przestrzeni MMIO plus całą resztę, a nie każdy firmware płyty konsumenckiej to zrobi. Objaw jest taki, że maszyna działa dobrze z dwiema kartami i pada z czterema.\nWydajność spadła. Na NVIDII to może być wniosek samego sterownika, skoro włącza to per tytuł właśnie dlatego, że niektóre obciążenia tracą. U pozostałych zmierz w obie strony, zamiast zakładać.\nNic się nie zmieniło. Najbardziej prawdopodobny wynik dla obciążenia, którego nigdy nie ograniczało okno procesora na VRAM.\nPrzekazanie GPU z dużym BAR do VM Warto o tym wspomnieć, bo zaskakuje ludzi: gość nie dziedziczy mapy pamięci hosta. Firmware VM buduje własne 64-bitowe okno MMIO, a domyślne okno OVMF jest dużo mniejsze, niż potrzebuje nowoczesne GPU, więc karta albo się nie inicjalizuje, albo wraca do małego BAR. To temat Proxmoxa i QEMU, a nie GPU, i mieszka w artykule o podatku IOMMU razem z wymaganiami co do typu maszyny z Zawsze używaj Q35, nie i440fx.\nŹródła Intel — Resizable BAR and Intel Arc Graphics — własne stwierdzenie Intela, że jest wymagany do dobrego działania Arc, i lista obsługiwanych platform NVIDIA — Resizable BAR support for GeForce RTX 30 Series — wymagania, zmierzony zakres i podejście z profilami per gra AMD — Smart Access Memory — marka AMD i parowanie platform Linux kernel sysfs-bus-pci ABI — resourceN_resize — mapa bitowa, rozmiar 2 ^ (bit + 20) i warunki odpięcia ROCm system requirements — wymaganie PCIe atomics, które myli się z tym ","permalink":"https://blogs.damiendye.uk/pl/proxmox/pcie-resizable-bar/","summary":"Resizable BAR pozwala procesorowi zmapować cały framebuffer GPU zamiast zaglądać do niego przez okno 256MB. Intel nazywa go wymaganym dla Arc, NVIDIA włącza go per gra, AMD sprzedaje go jako Smart Access Memory, a w pracy z AI zmienia transfer, a nie obliczenia.","title":"PCIe Resizable BAR i nowoczesne GPU: Intel Arc, NVIDIA i AMD"},{"content":"Problem Wyszło to przy projekcie dla klienta, gdy projektowaliśmy wdrożenie Proxmox VE z passthrough NVMe dla obciążenia wrażliwego na opóźnienia. Klient zrobił własne benchmarki przed rozmową. Na hoście fio na dysku NVMe pokazywał 700K IOPS odczytu losowego z opóźnieniem zakończenia poniżej 10µs. Wewnątrz VM, na tym samym dysku i tym samym teście, dostawał mniej więcej połowę tego.\nOczywiste rzeczy już sprawdził. Dysk się nie zmienił. Firmware się nie zmienił. Slot PCIe się nie przesunął. Zaczynał się zastanawiać, czy passthrough w ogóle jest właściwym podejściem.\nBył. To, co widział, to podatek IOMMU. Łapie ludzi, bo nikt ci o nim nie mówi, zanim zobowiążesz się do projektu z passthrough. Dobra wiadomość jest taka, że większość narzutu da się odzyskać, kiedy zrozumiesz, skąd się bierze.\nSzczegóły Problemy, które trzeba było rozwiązać Danie VM bezpośredniego dostępu do fizycznego urządzenia PCIe brzmi prosto. W praktyce to jeden z trudniejszych problemów wirtualizacji systemów. Kilka rzeczy, które na bare metal działają same, staje się niebezpiecznych, gdy urządzenie jest dzielone między hosta a gościa.\nIzolacja DMA To jest problem podstawowy.\nUrządzenia PCIe nie przechodzą przez CPU, żeby czytać i zapisywać pamięć. Używają Direct Memory Access. Piszą prosto pod fizyczne adresy RAM. Na bare metal to nie problem. Urządzenie i system ufają sobie nawzajem.\nPod wirtualizacją gość VM ma własny obraz pamięci fizycznej. Adresy, które sterownik gościa podaje kontrolerowi NVMe, to fizyczne adresy gościa. Nie odpowiadają tym samym miejscom w RAM hosta. Jeśli urządzenie użyje ich bezpośrednio, czyta i pisze nie tę pamięć. To psuje hosta, inne VM albo jedno i drugie.\nGorzej: złośliwy albo wadliwy sterownik gościa mógłby celowo zaprogramować urządzenie tak, by robiło DMA w dowolne miejsce pamięci hosta. To w praktyce root na całej maszynie, bez wykorzystania żadnego błędu w hiperwizorze.\nRozwiązaniem jest IOMMU: sprzętowa jednostka translacji (Intel VT-d, AMD-Vi), która siedzi między każdym urządzeniem PCIe a pamięcią główną. Utrzymuje własne tablice stron, oddzielne od tablic CPU. Każde żądanie DMA z urządzenia przechodzi przez IOMMU, które tłumaczy fizyczne adresy gościa na fizyczne adresy hosta i blokuje każdy dostęp poza obszarami pamięci przydzielonymi gościowi.\nBez IOMMU bezpieczny passthrough jest niemożliwy. Z nim urządzenie jest zamknięte w klatce.\nGrupowanie urządzeń IOMMU nie izoluje pojedynczych urządzeń. Izoluje grupy.\nSpecyfikacja PCIe definiuje Access Control Services (ACS), które decydują, czy urządzenia na tej samej magistrali mogą rozmawiać ze sobą bezpośrednio, przez DMA peer-to-peer, bez przechodzenia przez root complex, w którym siedzi IOMMU. Jeśli dwa urządzenia dzielą przełącznik PCIe, który nie egzekwuje ACS, jedno może robić DMA w przestrzeń pamięci drugiego, całkowicie omijając IOMMU.\nJądro grupuje urządzenia, które potencjalnie mogą do siebie dotrzeć bez egzekwowania przez IOMMU, w jedną grupę IOMMU. Jeśli twój kontroler NVMe dzieli grupę z innym urządzeniem, przekazanie samego NVMe łamie model izolacji. Drugie urządzenie w grupie nadal mogłoby posłużyć jako boczny kanał obok IOMMU.\nSprzęt serwerowy z porządnym wsparciem ACS na każdym mostku i przełączniku zwykle daje każdemu urządzeniu własną grupę. Płyty konsumenckie i stacji roboczych często wrzucają kilka urządzeń do jednego worka, bo root complex PCIe nie implementuje ACS na każdym porcie.\nProxmox ma łatkę jądra, pcie_acs_override, która każe jądru traktować każde urządzenie jako izolowane, niezależnie od sprzętowego ACS. W praktyce działa, ale okłamuje jądro co do topologii sprzętu. Na systemie produkcyjnym czyste grupy oparte na prawdziwym sprzętowym ACS są zawsze lepsze.\nDostarczanie przerwań Na bare metal, gdy kontroler NVMe kończy operację IO, wysyła przerwanie MSI-X prosto do CPU. CPU obsługuje je w kilkaset nanosekund.\nPod wirtualizacją to przerwanie musi trafić do gościa, nie do hosta. Naiwne podejście to łapać każde przerwanie w hiperwizorze, wywołać VM exit, wstrzyknąć przerwanie do gościa i wznowić. To działa, ale każdy VM exit kosztuje 5–20µs. Przy wysokich IOPS, setkach tysięcy przerwań na sekundę, narzut jest spory.\nRozwiązaniem sprzętowym są posted interrupts. APICv Intela i AVIC AMD pozwalają IOMMU zapisać przerwanie bezpośrednio na stronie wirtualnego APIC gościa, w ogóle bez VM exit. Gość widzi przerwanie tak, jakby przyszło z bare metal. Narzut spada do kilkuset nanosekund.\nNie każda platforma obsługuje posted interrupts. Starsze CPU, niektóre chipsety stacji roboczych i niektóre wersje BIOS-u nie udostępniają tej funkcji. Gdy jej brak, każde przerwanie idzie wolną ścieżką i nie ma na to obejścia programowego.\nReset urządzenia Gdy VM się wyłącza albo pada, przekazane urządzenie musi wrócić do czystego, znanego stanu. Inaczej nie da się go przypisać innej VM ani odzyskać dla hosta.\nNa bare metal system robi uporządkowane zamknięcie sterownika urządzenia. Przy passthrough gość może paść, użytkownik może wymusić zatrzymanie VM, albo hiperwizor może zabić proces. Urządzenie może być w połowie transferu, z operacjami DMA w locie.\nPCIe definiuje do tego Function Level Reset (FLR): sposób na zresetowanie pojedynczej funkcji urządzenia bez wpływu na resztę magistrali. Kontrolery NVMe na ogół obsługują FLR i radzą sobie z nim dobrze. GPU są w tym notorycznie kiepskie, ale to temat na inny artykuł.\nJeśli FLR nie jest obsługiwany, rezerwą jest secondary bus reset, który resetuje wszystko za danym mostkiem PCIe. Jeśli na mostku są inne urządzenia, one też dostają reset. W najgorszym przypadku jedynym sposobem na odzyskanie urządzenia jest pełny restart hosta.\nNarzut translacji adresów IOMMU rozwiązuje problem bezpieczeństwa. Jako takie nie jest opcjonalne. Ale wprowadza problem wydajności.\nKażda operacja DMA przechodzi teraz przez dodatkowy poziom translacji adresów. IOMMU ma własny TLB, IOTLB, i przy trafieniu narzut jest mały. Przy chybieniu IOMMU musi przejść po swoich tablicach stron, a to dokłada realne opóźnienie do każdej dotkniętej operacji IO.\nTo jest podatek IOMMU. Reszta artykułu jest o tym, skąd się bierze i jak go zminimalizować.\nKażde DMA przechodzi przez IOMMU: trafienie jest tanie, chybienie chodzi po tablicach stron VM gościa sterownik NVMe podaje fizyczne adresy gościa kontroler NVMe pisze do pamięci wprost, bez CPU DMA IOMMU IOTLB własne tablice stron tłumaczy, wpuszcza lub nie Pamięć hosta strony tej VM translacja trafia tutaj host i inne VM nieosiągalne z założenia Bez IOMMU kontroler zapisywałby adresy gościa prosto do RAM hosta i psuł wszystko, co tam mieszka. trafienie w IOTLB: translacja jest już w cache i nie kosztuje prawie nic. chybienie w IOTLB: IOMMU chodzi po tablicach stron i to opóźnienie spada na to IO. To jest podatek. Nic nie dociera do pamięci, nie przechodząc tędy. To jest gwarancja bezpieczeństwa, a translacja, którą tu wykonuje, to jej koszt. Mapowanie BAR i przestrzeń adresowa Każde urządzenie PCIe udostępnia jeden lub więcej Base Address Registers (BAR), które mapują wewnętrzne rejestry i pamięć urządzenia w przestrzeń adresową MMIO hosta. CPU hosta dostaje się do urządzenia przez te mapowania. Żeby passthrough działał, hiperwizor musi poprawnie przedstawić te mapowania gościowi.\nTradycyjnie rozmiary BAR ustalał BIOS przy starcie i mieściły się one w starym 32-bitowym oknie MMIO poniżej 4GB. Działało to, póki BAR-y były małe. Nowoczesne GPU zmieniły obraz. Framebuffer 24GB potrzebuje BAR-u 24GB, który nie mieści się w 32-bitowej przestrzeni adresowej.\nResizable BAR (ReBAR), sprzedawany też jako AMD Smart Access Memory (SAM), to funkcja PCIe pozwalająca renegocjować rozmiar BAR po starcie. Dla GPU to istotna funkcja. Zamiast sięgać do framebuffera przez okno 256MB i stronicować go kawałkami, host mapuje cały VRAM naraz.\nDla NVMe bezpośredni wpływ jest mniejszy. BAR-y kontrolera NVMe mają zwykle od 16KB do 64KB na zestaw rejestrów kontrolera (BAR0). Specyfikacja NVMe definiuje Controller Memory Buffer (CMB), który może udostępnić większy BAR dla kolejek zgłoszeń trzymanych po stronie hosta, ale większość dysków go nie implementuje. ReBAR nie zmienia przepustowości NVMe tak, jak zmienia ją dla GPU.\nMa znaczenie przy passthrough NVMe ze względu na wspólne środowisko PCIe. Jeśli przekazujesz dysk NVMe obok GPU na tym samym hoście, powiększony BAR GPU potrzebuje przestrzeni adresowej powyżej granicy 4GB. BIOS, IOMMU i wirtualna topologia PCIe muszą to wszystko pomieścić. Źle rozdzielona przestrzeń adresowa oznacza, że urządzenia się nie inicjalizują, a passthrough NVMe pada razem z resztą.\nNarażenie na utratę zasilania Na dysku wirtualnym kolejność zapisów i spójność po awarii obsługują hiperwizor i warstwa storage. Przy passthrough gość rozmawia bezpośrednio z flashem. Jeśli host straci zasilanie w trakcie zapisu, to, co firmware kontrolera NVMe zrobi ze swoim cache zapisu albo czego nie zrobi, decyduje o tym, czy stracisz dane.\nDyski NVMe klasy enterprise mają kondensatory power loss protection (PLP), które przy zaniku zasilania bezpiecznie opróżniają cache zapisu. Dyski konsumenckie bez PLP mogą tego nie robić. Przy passthrough między gościem a sprzętem nie ma siatki bezpieczeństwa hiperwizora.\nDla obciążenia produkcyjnego dysk enterprise z PLP nie jest opcją do wyboru.\nKompromisy operacyjne Passthrough odbiera też możliwości, które dają dyski wirtualne.\nPrzekazane urządzenie jest fizycznie przykręcone do konkretnego hosta. VM nie da się migrować na żywo, póki urządzenie jest podłączone. W klastrze Proxmox z HA awaria węzła oznacza, że VM pada i startuje od zera na innym węźle. Nie ma płynnego przełączenia.\nDysk jest też niewidoczny dla vzdump i Proxmox Backup Server. Nie trafi do snapshotów VM ani do zaplanowanych kopii zapasowych. Zanim obciążenie wejdzie na produkcję, musi być gotowa osobna strategia kopii: na poziomie gościa, systemu plików albo aplikacji.\nJak naprawdę działa passthrough VFIO Gdy przekazujesz urządzenie PCIe do VM, hiperwizor oddaje gościowi bezpośrednią kontrolę nad rejestrami MMIO urządzenia. Sterownik gościa rozmawia z kontrolerem NVMe tak, jakby działał na bare metal. Ta część jest prawie natywna. Dostęp do rejestrów MMIO idzie przez Extended Page Tables (EPT u Intela, NPT u AMD) i zwykle kończy się bez VM exit.\nKoszt pojawia się na ścieżce DMA. Każda operacja DMA przechodzi przez IOMMU do translacji adresów, a jak opisano wyżej, ta translacja ma swoją cenę. Zwłaszcza przy chybieniach IOTLB.\nDlaczego benchmarki wyglądają gorzej niż rzeczywistość Tu większość ludzi myli się w testach.\nW wątku na forum Proxmox, który dał początek temu artykułowi, użytkownicy uruchamiali fio z iodepth=1. Przy tej głębokości kolejki fio wysyła jedno IO, czeka na jego zakończenie, potem wysyła następne. Test mierzy wyłącznie opóźnienie pojedynczego IO. Każda mikrosekunda narzutu IOMMU widać w całości.\nLiczby z tego wątku mówią to wyraźnie. Opóźnienie zakończenia na bare metal wynosiło średnio około 10µs. Wewnątrz VM średnio około 28µs. Te dodatkowe ~18µs na IO to narzut translacji IOMMU. Przy iodepth=1 wprost obcina przepustowość o połowę, bo przepustowość równa się 1 / latency, gdy w locie jest tylko jedno IO.\nPodnieś głębokość kolejki do 32 albo 64, czyli tak, jak dyski NVMe są projektowane do pracy, i obraz się zmienia. Przy wielu IO w locie narzut IOMMU rozkłada się na wszystkie. Kontroler przetwarza zakończenia, podczas gdy trwają nowe translacje. Przepustowość wraca do poziomu kilku procent od bare metal.\nPraktyczny wniosek jest taki. Jeśli twoje obciążenie pracuje przy głębokości kolejki powyżej 4, kara przepustowości od IOMMU jest prawdopodobnie pomijalna. To obejmuje większość obciążeń bazodanowych, wirtualizacyjnych i storage. Jeśli twoje obciążenie jest wrażliwe na opóźnienia przy niskiej głębokości kolejki, jak niektóre aplikacje czasu rzeczywistego czy synchroniczne operacje na metadanych, poczujesz to.\nKara IOMMU to bardziej artefakt głębokości kolejki niż sufit przepustowości Przepustowość VM jako udział bare metal tu żyją realne obciążenia 0% 25% 50% 75% 100% benchmark, który wszyscy puszczają iodepth=1 mierzy czyste opóźnienie na IO, więc 10 µs wobec 28 µs widać w całości kilka procent różnicy 1 2 4 8 16 32 64 głębokość kolejki (fio iodepth) Poglądowo, na podstawie liczb 10 µs / 28 µs z artykułu. Ten sam sprzęt, ten sam test, ten sam narzut; zmienia się tylko głębokość kolejki. Narzut jest taki sam w każdym punkcie tej krzywej. Zmienia się tylko liczba IO w locie, na które się go rozkłada. Uruchom benchmarki przy realistycznych głębokościach kolejki, zanim uznasz, że passthrough jest za wolny:\n# Bare metal baseline — run on the host before binding to vfio-pci fio --name=randread --ioengine=libaio --direct=1 --bs=4k \\ --iodepth=32 --numjobs=4 --rw=randread --size=1G \\ --filename=/dev/nvme0n1 --runtime=30 --time_based \\ --group_reporting # Same test inside the VM after passthrough fio --name=randread --ioengine=libaio --direct=1 --bs=4k \\ --iodepth=32 --numjobs=4 --rw=randread --size=1G \\ --filename=/dev/nvme0n1 --runtime=30 --time_based \\ --group_reporting Porównaj percentyle clat (opóźnienie zakończenia) i wartości IOPS. Przy iodepth=32 i czterech zadaniach różnica powinna wynosić jednocyfrową liczbę punktów procentowych, nie 50%.\nWyrównanie NUMA To ma własny artykuł. Zobacz Wyrównanie NUMA w Proxmox VE: dlaczego ma znaczenie i jak zrobić to dobrze.\nW skrócie: w systemach wielogniazdowych każde urządzenie PCIe jest podpięte do konkretnego gniazda. Jeśli dysk NVMe jest na węźle NUMA 1, a vCPU maszyny wirtualnej są przypięte do węzła 0, każde zakończenie DMA przechodzi przez łącze między gniazdami. To dodaje 50–100ns na operację. Przy wysokich IOPS różnica przepustowości między wyrównanym a niewyrównanym NUMA wynosi 20–30%.\nSprawdź przez cat /sys/bus/pci/devices/0000:XX:00.0/numa_node, potem przypnij vCPU maszyny do rdzeni na tym samym węźle parametrem affinity w konfiguracji VM. W systemach jednogniazdowych to cię nie dotyczy.\nPCIe Active State Power Management (ASPM) To ma własny artykuł. Zobacz PCIe ASPM i dlaczego warto go wyłączyć przy passthrough.\nW skrócie: ASPM pozwala łączom PCIe wchodzić w stany niskiego poboru mocy, gdy są bezczynne. Przy passthrough host nadal kontroluje fizyczne łącze, ale urządzenie należy do gościa. Gdy gość wysyła IO, a łącze śpi, czas wybudzenia dokłada opóźnienie. Objawem jest duży rozrzut percentyli clat. p99 może być 5–10x wyższe od średniej, podczas gdy średnia wygląda dobrze.\nWyłącz go na hoście przez pcie_aspm=off w linii poleceń jądra. Dodaj też disable_idle_d3=1 do opcji modułu vfio-pci, jeśli twój kontroler NVMe ma problemy z powrotem ze stanów zasilania. Samsung 990 EVO Plus to znany winowajca.\nMaxPayloadSize (MPS) To ma własny artykuł. Zobacz PCIe MaxPayloadSize: darmowy zysk wydajności przy passthrough.\nW skrócie: urządzenia PCIe przesyłają dane w pakietach Transaction Layer Packets. Wirtualny root complex QEMU domyślnie ma maksymalny payload 128 bajtów. Większość urządzeń obsługuje 256 albo 512 bajtów. Dodanie pci=pcie_bus_perf do linii poleceń jądra hosta ustawia MPS na maksimum, na jakie pozwala magistrala nadrzędna każdego urządzenia. To mały zysk przepustowości, niska jednocyfrowa liczba procent, ale darmowy i bez wad.\nResizable BAR i apertura MMIO Problem mapowania BAR opisany wcześniej ma praktyczne kroki zarówno po stronie BIOS-u, jak i VM.\nNajpierw włącz w BIOS-ie Above 4G Decoding. Pozwala to mapować BAR-y w przestrzeń adresową powyżej granicy 4GB, co jest wymagane dla każdego urządzenia z dużymi BAR-ami. Włącz to nawet przy passthrough samego NVMe. Nie ma wad i oszczędza problemów, jeśli później dodasz GPU albo inne urządzenie z dużym BAR-em.\nJeśli ReBAR jest dostępny w BIOS-ie, włącz go też. Nie wpłynie bezpośrednio na wydajność NVMe, ale pozwala GPU na tym samym hoście używać pełnego mapowania framebuffera.\nPo stronie VM wirtualny root complex Q35 w QEMU potrzebuje wystarczająco dużego 64-bitowego okna MMIO, żeby gość widział powiększone BAR-y. Domyślnie OVMF przydziela stosunkowo małe okno. Przy passthrough samego NVMe to wystarcza. BAR-y NVMe mieszczą się z zapasem. Ale jeśli VM ma przekazane i NVMe, i GPU, zwiększ aperturę MMIO:\nargs: -fw_cfg name=opt/ovmf/X-PciMmio64Mb,string=65536 To każe OVMF przydzielić 64GB 64-bitowej przestrzeni MMIO, wystarczająco na większość framebufferów GPU obok małego BAR-u kontrolera NVMe.\nWsparcie ReBAR w QEMU się poprawia, ale wciąż nie jest bezproblemowe. Niektóre GPU AMD (Vega i nowsze) wywołują błędy sterownika (Code 43 w Windows) z włączonym ReBAR pod QEMU. Jeśli na to trafisz, w pierwszym kroku wyłącz ReBAR w BIOS-ie. Passthrough NVMe nie zostanie dotknięty ani tak, ani tak.\nCo Resizable BAR robi po stronie GPU i dlaczego Intel traktuje go jako obowiązkowy na Arc, a NVIDIA włącza go per gra, opisuje PCIe Resizable BAR i nowoczesne GPU.\nObsługa przerwań Problem dostarczania przerwań opisany wcześniej ma praktyczny krok strojenia. Posted interrupts (APICv u Intela, AVIC u AMD) mogą nie być domyślnie włączone.\nSprawdź, czy są aktywne:\n# Intel — look for \u0026#34;Posted-Interrupts\u0026#34; in dmesg dmesg | grep -i \u0026#34;posted\u0026#34; # AMD — check AVIC support dmesg | grep -i \u0026#34;avic\u0026#34; Przerwania łapane przez hiperwizor kontra posted interrupts Bez posted interrupts: zakończenie idzie dookoła NVMezgłasza MSI-X hiperwizorłapie je wstrzyknięciedo gościa gość wznawiaobsługuje je VM exit VM entry 5–20 µs na przerwanie Przy kilkuset tysiącach IOPS to nie błąd zaokrąglenia, tylko główny koszt. Posted interrupts (Intel APICv / AMD AVIC): prosto do celu NVMezgłasza MSI-X IOMMUzapisuje je wprost strona wirtualnego APIC gościa gość widzi po prostu przerwanie bez exitu bez exitu ~setki ns Nie ma obejścia programowego: posted interrupts to funkcja sprzętowa. Ale nie zawsze są domyślnie włączone, więc sprawdź je, zanim uznasz, że wolnej ścieżki nie da się uniknąć. Cztery kroki i dwa VM exity albo jeden zapis na stronie APIC gościa. Przy wysokich IOPS różnica przestaje być akademicka. Na systemach AMD EPYC włącz AVIC w module KVM, jeśli nie jest domyślnie włączony:\n# /etc/modprobe.d/kvm.conf options kvm_amd avic=1 Na systemach Intela APICv z posted interrupts jest zwykle włączany automatycznie, gdy VT-d jest aktywne.\nJeśli twoja platforma nie obsługuje posted interrupts, nie ma obejścia programowego. To funkcja sprzętowa. Ale warto sprawdzić, czy faktycznie jest włączona, zanim założysz, że wolnej ścieżki nie da się uniknąć.\nAfinity przerwań i wyrównanie kolejek Kontrolery NVMe używają wielu par kolejek zgłoszeń i zakończeń. Zwykle jednej na rdzeń CPU. Gdy vCPU maszyny nie pokrywają się z fizycznymi rdzeniami obsługującymi przerwania NVMe, zakończenia muszą przechodzić między rdzeniami przez przerwania międzyprocesorowe. To dokłada opóźnienie.\nWewnątrz gościa sprawdź, ile kolejek IO utworzył sterownik NVMe i jak są zmapowane:\n# List NVMe IO queues cat /proc/interrupts | grep nvme # Check affinity for irq in $(grep nvme /proc/interrupts | awk \u0026#39;{print $1}\u0026#39; | tr -d \u0026#39;:\u0026#39;); do echo \u0026#34;IRQ $irq: $(cat /proc/irq/$irq/smp_affinity_list)\u0026#34; done Najlepiej, gdy przerwanie każdej kolejki IO NVMe ma afinity do vCPU, który wysyła do tej kolejki. Większość nowoczesnych sterowników NVMe robi to automatycznie. Ale warto to sprawdzić, zwłaszcza jeśli ręcznie przypiąłeś vCPU albo zmniejszyłeś liczbę vCPU poniżej liczby kolejek kontrolera.\nZawsze Q35, nie i440fx To zasługuje na własny artykuł. Zobacz Zawsze Q35, nie i440fx.\nW skrócie: i440fx przedstawia płaską, starą magistralę PCI. Q35 przedstawia porządny root complex PCIe. Urządzenia przekazane na i440fx wyglądają jak stare PCI, co psuje wielokolejkowe dostarczanie przerwań MSI-X. Kontrolery NVMe potrzebują MSI-X do swojej architektury kolejki na rdzeń. Bez niego wszystkie zakończenia IO lecą przez jedno przerwanie i masz wąskie gardło przy wysokich IOPS, którego nie naprawi żadne strojenie jądra.\nW Proxmox 8.x i nowszych Q35 jest domyślny dla nowych VM. Jeśli robisz passthrough na starszej VM, która wciąż jest na i440fx, przełącz ją. RHEL 10 formalnie oznaczył i440fx jako przestarzały, a szerszy ekosystem KVM idzie w tę samą stronę.\nWszystko razem Oto podsumowanie kroków strojenia w kolejności wpływu.\nKroki strojenia w kolejności wpływu i co każdy naprawdę zmienia w kolejności wpływu co zmienia 1 Wyrównanie NUMA 20–30% przepustowości na maszynie wielogniazdowej. Nic innego tu nie jest blisko. PRZEPUSTOWOŚĆ 2 ASPM wyłączony Usuwa opóźnienie wybudzenia z ogona. Średnia ledwo drgnie; p99 tak. WAHANIA OPÓŹNIEŃ 3 Realistyczne głębokości kolejki Nic nie zmienia w maszynie. Chroni przed złym wnioskiem z iodepth=1. POMIAR 4 Posted interrupts (APICv / AVIC) Z mikrosekund do nanosekund na przerwanie, o ile platforma to ma. Sprawdź, nie zakładaj. KOSZT PRZERWANIA 5 MaxPayloadSize: pci=pcie_bus_perf Kilka procent. Za darmo, bez wad, więc ustaw, ale nie oczekuj, że to zobaczysz. NARZUT ŁĄCZA 6 vfio-pci disable_idle_d3 Nie pozwala kapryśnemu kontrolerowi umrzeć w D3. Daje niezawodność, nie szybkość. NIEZAWODNOŚĆ Ranking celowo bez słupków: te pozycje nie mają wspólnej jednostki, więc wykres słupkowy sugerowałby porównanie, którego nie ma. Idź po tej liście w dół, nie w poprzek. Na maszynie wielogniazdowej pierwsza pozycja jest warta więcej niż reszta razem. Wyrównanie NUMA: upewnij się, że dysk NVMe i vCPU maszyny są na tym samym węźle NUMA. Samo to może dać 20–30% różnicy przepustowości w systemach wielogniazdowych.\nASPM wyłączony: dodaj pcie_aspm=off do linii poleceń jądra hosta. Usuwa wahania opóźnień od przejść stanów zasilania łącza PCIe.\nRealistyczne głębokości kolejki: testuj przy iodepth=32 lub więcej, nie iodepth=1. Narzut IOMMU, który dominuje przy niskiej głębokości kolejki, rozkłada się przy realistycznych głębokościach.\nPosted interrupts: sprawdź, czy APICv (Intel) lub AVIC (AMD) jest aktywny. Zmniejsza narzut na przerwanie z mikrosekund do nanosekund.\nOptymalizacja MPS: dodaj pci=pcie_bus_perf do linii poleceń jądra hosta. Ustawia MaxPayloadSize na maksimum, które obsługuje topologia.\nZarządzanie energią vfio-pci: dodaj disable_idle_d3=1, jeśli twój kontroler NVMe ma problemy ze stanami zasilania przy passthrough.\nŁączna linia poleceń jądra hosta dla węzła Proxmox robiącego passthrough NVMe na systemie AMD EPYC wyglądałaby mniej więcej tak:\nGRUB_CMDLINE_LINUX_DEFAULT=\u0026#34;quiet amd_iommu=on iommu=pt pcie_aspm=off pci=pcie_bus_perf\u0026#34; Dla Intela:\nGRUB_CMDLINE_LINUX_DEFAULT=\u0026#34;quiet intel_iommu=on iommu=pt pcie_aspm=off pci=pcie_bus_perf\u0026#34; Kiedy passthrough się nie opłaca Zanim pójdziesz tą drogą, warto zapytać, czy w ogóle potrzebujesz passthrough NVMe.\nVirtIO-SCSI i VirtIO-BLK z dyskiem wirtualnym na NVMe są już bardzo wydajne. Narzut w porównaniu z passthrough to zwykle 5–10% na opóźnieniu. Różnica przepustowości jest pomijalna dla większości obciążeń.\nPassthrough ma sens, gdy system gościa musi zarządzać urządzeniem bezpośrednio. To obejmuje monitoring SMART, aktualizacje firmware, kontrolę TRIM/discard i konkretne funkcje NVMe, jak reservations. Ma też sens dla obciążeń wrażliwych na opóźnienia, gdzie liczy się nawet kilka mikrosekund. Niektóre silniki baz danych i pobieranie danych w czasie rzeczywistym należą do tej kategorii.\nDla całej reszty kompromisy operacyjne omówione wcześniej, czyli utrata migracji na żywo, snapshotów i integracji z kopiami zapasowymi, zwykle przeważają nad małym zyskiem wydajności.\nNie ma nic mądrego w wybieraniu trudniejszej drogi, kiedy łatwiejsza robi robotę.\nWeryfikacja zmian Po zastosowaniu kroków strojenia sprawdź, czy wszystko działa jak trzeba:\n# Host side — confirm IOMMU is in passthrough mode dmesg | grep -i iommu # Confirm ASPM is disabled lspci -vv | grep -i \u0026#34;ASPM Disabled\u0026#34; # Check MPS on the NVMe controller lspci -vv -s XX:00.0 | grep MaxPayload # Inside the VM — run the fio comparison fio --name=randread --ioengine=libaio --direct=1 --bs=4k \\ --iodepth=32 --numjobs=4 --rw=randread --size=1G \\ --filename=/dev/nvme0n1 --runtime=30 --time_based \\ --group_reporting Porównaj wyniki z VM z wcześniejszą bazą z bare metal. Przy iodepth=32 przepustowość powinna być w granicach 5% od bare metal. Średnie opóźnienia zakończenia powinny być w granicach 10–15µs od wartości hosta. Jeśli różnica nadal jest duża, najpierw sprawdź wyrównanie NUMA. To najczęściej przeoczany czynnik. Kosztuje też tylko zmianę konfiguracji, co czyni go najlepszym rodzajem problemu, jaki może ci zostać.\nŹródła Dokumentacja PCI jądra Linux: opcje strojenia MPS i MRRS — autorytatywne źródło dla pcie_bus_perf, pcie_bus_safe i powiązanych parametrów Proxmox VE Administration Guide: PCI(e) Passthrough — oficjalna dokumentacja Proxmox o konfiguracji passthrough urządzeń VFIO Forum Proxmox: NVMe Passthrough Performance — dyskusja społeczności, od której zaczął się ten artykuł ","permalink":"https://blogs.damiendye.uk/pl/proxmox/pcie-passthrough-performance-the-iommu-tax/","summary":"Dlaczego urządzenia PCIe tracą przepustowość, gdy przekazujesz je do VM przez VFIO, i praktyczne kroki strojenia, które odzyskują większość tej straty.","title":"Wydajność PCIe passthrough w Proxmox VE: podatek IOMMU i jak go zminimalizować"},{"content":"Czym jest NUMA NUMA to skrót od Non-Uniform Memory Access. Na systemie z jednym gniazdem każdy rdzeń CPU sięga do całej pamięci RAM przez ten sam kontroler pamięci. Czas dostępu jest taki sam bez względu na to, który rdzeń wysyła żądanie i gdzie dane leżą w pamięci fizycznej.\nNa systemie wieloprocesorowym każde gniazdo CPU ma własny kontroler pamięci i własny bank RAM. Rdzeń na gnieździe 0 szybko sięga do RAM podłączonej do gniazda 0: to pamięć lokalna. Może też sięgnąć do RAM podłączonej do gniazda 1, ale takie żądanie musi przejść przez łącze między gniazdami (Intel UPI, AMD Infinity Fabric). To pamięć zdalna i jest wolniejsza.\nJądro nazywa każde gniazdo razem z jego lokalną pamięcią węzłem NUMA. Dwuprocesorowy system AMD EPYC ma co najmniej dwa węzły NUMA. Niektóre procesory EPYC wystawiają cztery węzły NUMA na gniazdo (po jednym na CCD), co na płycie dwuprocesorowej daje osiem węzłów.\nRóżnica w wydajności między dostępem lokalnym a zdalnym nie jest subtelna. Dostęp lokalny to około 80–100 ns. Dostęp zdalny to około 130–200 ns. To kara 50–100% przy każdej operacji na pamięci. Sama w sobie to bardzo mała liczba. Płacona przy każdym dostępie do pamięci przez całe życie VM przestaje być mała.\nDlaczego to ma znaczenie przy wirtualizacji Kiedy Proxmox tworzy VM, przydziela jej vCPU i RAM. Domyślnie te vCPU mogą być planowane na dowolnym fizycznym rdzeniu na dowolnym gnieździe. RAM maszyny wirtualnej może pochodzić z puli pamięci dowolnego węzła NUMA.\nJeśli planista umieści vCPU na gnieździe 0, a RAM maszyny jest na gnieździe 1, każdy dostęp do pamięci z tego vCPU przechodzi przez łącze między gniazdami. Jeśli vCPU skaczą między gniazdami, a skaczą, gdy nie są przypięte, wzorzec dostępu do pamięci robi się bałaganem. Część dostępów jest lokalna, część zdalna, a wydajność VM faluje w tym samym rytmie.\nPrzy ogólnych obciążeniach, takich jak serwer WWW, serwer plików czy VM z pulpitem, często da się z tym żyć. Narzut istnieje, ale rozkłada się na wiele operacji i nie dominuje.\nPrzy obciążeniach intensywnych pod względem IO, czyli bazach danych, serwerach pamięci masowej i wszystkim, co mocno obciąża dysk albo sieć, kara się kumuluje. Każde zakończenie DMA, każde dostarczenie przerwania, każda kopia bufora oznacza dostęp do pamięci. Jeśli te dostępy przechodzą między gniazdami, narzut szybko rośnie.\nDlaczego to ma znaczenie przy passthrough Urządzenia PCIe są fizycznie podłączone do konkretnego gniazda CPU. Każde gniazdo ma własny kompleks główny PCIe. Dysk NVMe w gnieździe rozszerzeń 3 może siedzieć na liniach PCIe gniazda 0. Karta graficzna w gnieździe 5 może siedzieć na liniach gniazda 1.\nKiedy urządzenie wykonuje DMA, dane trafiają do pamięci tego węzła NUMA, na który mapuje je IOMMU. Jeśli RAM maszyny wirtualnej pochodzi z węzła lokalnego dla urządzenia, zapis DMA idzie prosto do pamięci lokalnej. Jeśli RAM jest na drugim węźle, każda operacja DMA przechodzi przez łącze między gniazdami.\nDla dysku NVMe robiącego setki tysięcy IOPS ta kara 50–100 ns na operację się sumuje. Przy iodepth=32 i losowych odczytach 4 KB różnica przepustowości między wyrównanym a niewyrównanym NUMA może wynieść 20–30%. I to zanim spojrzysz na narzut IOMMU, ASPM, MPS czy cokolwiek innego.\nNiewyrównane NUMA wysyła każde DMA przez łącze między gniazdami; wyrównane trzyma je lokalnie Niewyrównane: VM na węźle 0, dysk na węźle 1 węzeł NUMA 0 rdzenie 0–15 RAM 128 GB VM: vCPU przypięte 0–15, RAM przydzielony tutaj węzeł NUMA 1 rdzenie 16–31 RAM 128 GB NVMe, kompleks główny 1 UPI / IF każde DMA przez łącze: 130–200 ns Wyrównane: vCPU, RAM i dysk na węźle 1 węzeł NUMA 0 rdzenie 0–15 RAM 128 GB wolne dla innych VM węzeł NUMA 1 rdzenie 16–31 RAM 128 GB NVMe, kompleks główny 1 VM: affinity 16-31, numa0 hostnodes=1, policy=bind bezczynne 80–100 ns Przy iodepth=32 i losowych odczytach 4 KB różnica między nimi to 20–30% przepustowości, zanim w ogóle w grę wejdą narzut IOMMU, ASPM czy MPS. Na systemie z jednym gniazdem nie ma drugiego węzła ani łącza między gniazdami, więc nic z tego nie ma zastosowania. Ten sam sprzęt w obu przypadkach. Jedyna różnica to węzeł, do którego przypięto VM, i to, czy DMA dysku musi przejść przez łącze, żeby dotrzeć do pamięci VM. To samo dotyczy kart sieciowych, kart graficznych i każdego innego urządzenia przekazanego przez passthrough. Ruch DMA urządzenia powinien trafiać do pamięci lokalnej, a vCPU, które ten ruch przetwarzają, powinny być na tym samym węźle.\nJak sprawdzić swoją topologię Na którym węźle NUMA jest urządzenie # Replace 0000:XX:00.0 with your device\u0026#39;s PCI address from lspci cat /sys/bus/pci/devices/0000:XX:00.0/numa_node To polecenie zwraca numer węzła NUMA. Jeśli zwraca -1, jądro nie zdołało ustalić węzła. Zdarza się to czasem przy urządzeniach za niektórymi przełącznikami PCIe. Wtedy prześledź topologię PCIe ręcznie poleceniem lspci -tv i dopasuj port główny do gniazda.\nPełny układ NUMA numactl --hardware Pokazuje każdy węzeł NUMA, ile rdzeni CPU na nim jest, ile pamięci jest podłączone i odległość (względny koszt) między węzłami.\nPrzykładowy wynik z dwuprocesorowego systemu EPYC:\navailable: 2 nodes (0-1) node 0 cpus: 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 node 0 size: 131072 MB node 1 cpus: 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 node 1 size: 131072 MB node distances: node 0 1 0: 10 32 1: 32 10 Jak czytać tabelę odległości węzłów z numactl --hardware Tabela odległości z\u0026#160;numactl --hardware Dwa gniazda, 2 węzły NUMA na gniazdo. Względny koszt, nie nanosekundy. węzeł 0 węzeł 1 węzeł 2 węzeł 3 węzeł 0 węzeł 1 węzeł 2 węzeł 3 10 16 32 32 16 10 32 32 32 32 10 16 32 32 16 10 gniazdo 0 gniazdo 1 10: ten sam węzeł, pamięć lokalna 16: to samo gniazdo, drugi węzeł 32: przez łącze między gniazdami Przypnij VM i jej urządzenie w obrębie jednego 10 i nigdy nie pozwól, żeby pamięć trafiła na 32. Płyta z 2 węzłami pokazuje tylko 10 i 32; wartości 16 pojawiają się, gdy gniazdo wystawia kilka węzłów. Liczby to względne koszty, a nie nanosekundy. Trzymaj VM i jej urządzenie w obrębie jednego pola 10 i nigdy nie pozwól, żeby jej pamięć wylądowała na 32. Tabela odległości mówi ci o względnym koszcie. 10 to dostęp lokalny. 32 to zdalny. Wyższe liczby oznaczają więcej skoków. W konfiguracjach EPYC z czterema węzłami na gniazdo niektóre pary węzłów mają odległość 32, a inne 16, zależnie od tego, na którym CCD leżą.\nPrzypisz urządzenia do węzłów # List all PCI devices and their NUMA nodes for dev in /sys/bus/pci/devices/*; do node=$(cat \u0026#34;$dev/numa_node\u0026#34; 2\u0026gt;/dev/null) echo \u0026#34;$(basename $dev) node=$node $(lspci -s $(basename $dev) 2\u0026gt;/dev/null | cut -d\u0026#39; \u0026#39; -f2-)\u0026#34; done To daje pełny obraz tego, które urządzenia są na których węzłach. Szukaj swoich kontrolerów NVMe, kart sieciowych i wszystkich kart graficznych, które przekazujesz przez passthrough.\nJak wyrównać VM w Proxmoksie Przypnij vCPU do właściwego węzła W pliku konfiguracyjnym VM (/etc/pve/qemu-server/\u0026lt;vmid\u0026gt;.conf):\nnuma: 1 affinity: 0-15 # Adjust to match cores on the correct NUMA node Parametr affinity przypina vCPU maszyny wirtualnej do konkretnych fizycznych rdzeni. Ustaw go na zakres rdzeni na tym samym węźle NUMA co urządzenie przekazane przez passthrough.\nJeśli twój NVMe jest na węźle 1, a węzeł 1 ma rdzenie 16–31, ustaw affinity: 16-31. Jeśli VM potrzebuje tylko 8 vCPU, przypnij ją do podzbioru: affinity: 16-23.\nPrzydziel pamięć z właściwego węzła Włączenie numa: 1 w konfiguracji VM każe Proxmoksowi przedstawić maszynie wirtualnej topologię NUMA. QEMU spróbuje przydzielić pamięć VM z tego węzła NUMA, do którego przypięto vCPU.\nJeśli chcesz mieć jawną kontrolę, możesz ustawić topologię NUMA w konfiguracji VM:\nnuma0: cpus=0-7,hostnodes=0,memory=16384,policy=bind To każe QEMU powiązać pierwszy węzeł NUMA maszyny wirtualnej (węzeł 0 z punktu widzenia gościa) z węzłem NUMA hosta 0, z rdzeniami 0–7 i 16 GB pamięci. policy=bind gwarantuje, że pamięć jest przydzielana wyłącznie z tego węzła, zamiast przechodzić na inne węzły, gdy lokalna pula jest pod presją.\nSprawdź przypięcie Po uruchomieniu VM sprawdź, czy vCPU naprawdę działają tam, gdzie się spodziewasz:\n# Find the QEMU process pgrep -a qemu | grep \u0026lt;vmid\u0026gt; # Check CPU affinity of the process taskset -cp \u0026lt;pid\u0026gt; # Or check per-vCPU thread affinity for tid in $(ls /proc/\u0026lt;pid\u0026gt;/task/); do echo \u0026#34;Thread $tid: $(taskset -cp $tid 2\u0026gt;/dev/null)\u0026#34; done Typowe błędy Brak przypięcia w ogóle Jeśli nie ustawisz affinity, vCPU maszyny wirtualnej mogą być planowane na dowolnym rdzeniu. Planista jądra będzie je przenosił między węzłami, równoważąc obciążenie. Za każdym razem, gdy vCPU migruje z jednego węzła na inny, wszystkie dane, na których pracował w pamięci podręcznej starego węzła, stają się zdalne.\nDla zwykłych VM jest to do przyjęcia. Dla VM z passthrough, które robią dużo IO, już nie.\nPrzypięcie do złego węzła Sprawdź węzeł NUMA urządzenia, zanim cokolwiek przypniesz. Nie zakładaj. Na niektórych płytach głównych fizyczna numeracja gniazd rozszerzeń nie odpowiada w oczywisty sposób przypisaniu do węzłów NUMA. Zawsze sprawdzaj poleceniem cat /sys/bus/pci/devices/.../numa_node.\nPrzeciążenie jednego węzła Jeśli przypniesz za dużo VM do tego samego węzła NUMA, rdzenie tego węzła zostaną przeciążone, a lokalnej puli pamięci zabraknie. Kiedy pamięć przelewa się na węzeł zdalny, dostajesz najgorsze z obu światów: przypięte vCPU ze zdalną pamięcią.\nRozkładaj VM równomiernie między węzły. Jeśli masz dwa węzły NUMA i cztery VM, rozłóż je po równo.\nZapomniany przydział pamięci Przypięcie vCPU bez kontroli nad przydziałem pamięci daje połowę korzyści. vCPU są na właściwym węźle, ale pamięć może nie być. Użyj policy=bind albo przynajmniej włącz numa: 1, żeby przydział pamięci w QEMU szedł za przypięciem CPU.\nSystemy z jednym gniazdem Na systemie z jednym gniazdem wszystko jest na węźle NUMA 0. Jest tylko jeden kontroler pamięci i jeden zestaw linii PCIe. Wyrównanie NUMA nie jest tu problemem.\nNadal możesz ustawić numa: 1 w konfiguracji VM, niczemu to nie zaszkodzi, ale też w niczym nie pomoże. Jedno gniazdo, jeden kontroler pamięci, nic do wyrównania. Zachowaj wysiłek na maszynę, która ma dwa. Dlatego zysk wydajności opisany tutaj dotyczy wyłącznie systemów wieloprocesorowych, w których istnieje łącze między gniazdami.\nŹródła Proxmox VE Administration Guide — CPU and NUMA Configuration — oficjalna dokumentacja przypinania vCPU i opcji NUMA Linux kernel NUMA documentation — opis polityk pamięci w jądrze AMD EPYC 7003 Series — BIOS \u0026amp; Workload Tuning Guide (doc 58002) — dokumentacja AMD o NUMA na gniazdo i topologii CCD/CCX ","permalink":"https://blogs.damiendye.uk/pl/proxmox/numa-alignment-proxmox/","summary":"Na systemach wieloprocesorowych VM, która ma vCPU na jednym węźle NUMA, a urządzenie przekazane przez passthrough na drugim, traci 20–30% przepustowości, zanim w ogóle spojrzysz na cokolwiek innego.","title":"Wyrównanie NUMA na Proxmox VE: dlaczego ma znaczenie i jak zrobić to dobrze"},{"content":"Co robi ASPM PCIe Active State Power Management (ASPM) pozwala łączom PCIe przechodzić w stany niskiego poboru mocy, kiedy są bezczynne. Specyfikacja PCIe definiuje kilka stanów łącza:\nL0 to stan pełnej aktywności. Łącze działa, oba końce są zasilone, dane mogą płynąć natychmiast.\nL0s to lekki stan bezczynności. Łącze częściowo się wyłącza. Powrót do L0 trwa około 1–4µs, zależnie od sprzętu. Oba końce mogą wejść w L0s niezależnie od siebie.\nL1 to głębszy stan bezczynności. Oba końce łącza wyłączają się razem. Powrót do L0 trwa dłużej: zwykle 2–32µs, czasem więcej. Dokładny czas powrotu zależy od urządzenia, generacji PCIe i platformy.\nL1.1 i L1.2 to podstany L1 wprowadzone w PCIe 3.0. Zmniejszają pobór mocy jeszcze bardziej, wyłączając zegar odniesienia PLL. Powrót z L1.2 może trwać 32–100µs. Dla urządzenia pamięci masowej to nie jest błąd zaokrąglenia. To mniej więcej tyle, ile trwa sam odczyt, który chciałeś wykonać.\nIm głębiej śpi łącze, tym dłużej czeka następna operacja stan łącza czas powrotu do L0: opóźnienie, które płaci operacja przychodząca teraz L0 pełna aktywność: dane płyną od razu brak L0s lekka bezczynność, każdy koniec osobno 1–4 µs L1 głęboka bezczynność, oba końce razem 2–32 µs L1.1 / L1.2 podstany PCIe 3.0: zegar PLL wyłączony 32–100 µs Paski w skali względem najgorszych 100 µs. Głębszy sen oszczędza więcej i więcej kosztuje przy budzeniu. Paski to czasy powrotu, narysowane w skali względem najgorszego przypadku 100 µs. Głębszy sen oszczędza więcej energii i kosztuje więcej, kiedy ruch wraca. Idea jest prosta. Jeśli łącze PCIe jest bezczynne przez kilka mikrosekund, przełącz je w stan niższego poboru mocy. Kiedy ruch wraca, obudź je. W międzyczasie zaoszczędź trochę energii.\nNa laptopie albo komputerze stacjonarnym, który przez większość czasu nic nie robi, ASPM oszczędza realną energię. Kilka watów na łącze, sumujących się po wszystkich urządzeniach PCIe w systemie. Na serwerze z obciążeniami intensywnymi w operacje wejścia-wyjścia łącza rzadko są bezczynne na tyle długo, żeby ASPM włączył się w znaczący sposób.\nDlaczego przy passthrough sprawia problemy Na gołym metalu system operacyjny i sterownik urządzenia wspólnie negocjują zarządzanie energią. Sterownik NVMe wie, kiedy łącze zaraz stanie się bezczynne i kiedy zaraz wyśle nowe operacje. Podsystem PCIe jądra koordynuje przejścia stanów łącza ze sterownikiem. Wszystko jest zsynchronizowane.\nPrzy passthrough VFIO ta koordynacja się rozpada.\nJądro hosta nadal kontroluje fizyczne łącze PCIe. Maszyna wirtualna gościa posiada urządzenie przez VFIO, ale nie kontroluje samego łącza. Podsystem PCIe hosta widzi, że łącze jest bezczynne, bo z perspektywy hosta nie używa go żaden sterownik po stronie hosta. Przełącza więc łącze w stan niskiego poboru mocy. Kiedy gość wysyła operację, urządzenie potrzebuje łącza z powrotem w L0. Czas powrotu pojawia się jako dodatkowe opóźnienie tej operacji.\nWynikiem jest niestabilne opóźnienie. Większość operacji kończy się z normalną szybkością. Niektóre trwają dużo dłużej, bo trafiają na łącze, które jest w L1 albo L1.2 i musi się najpierw obudzić. Widać to jako duży rozrzut percentyli clat (opóźnienia zakończenia). Średnia może wyglądać dobrze. p99 może być 5–10 razy wyższe.\nTrudno to zauważyć, bo średnie liczby przepustowości mogą wyglądać dobrze. Problem widać dopiero, gdy patrzysz na opóźnienie w ogonie. Wiele benchmarków go nie eksponuje, jeśli nie poprosisz o wynik w percentylach.\nASPM nie rusza średniej i niszczy ogon ASPM włączony pcie_aspm=off opóźnienie zakończenia (µs) 0 30 60 90 120 3× gorzej przy p99, i 7× powyżej własnej średniej ASPM włączony pcie_aspm=off p50 p90 p99 p99.9 p99.99 Średnia i p50 są identyczne w obu przebiegach: różni je tylko ogon. Liczby ilustrują wzorzec, nie są pomiarami konkretnego dysku. Ten sam dysk z ASPM i bez. p50 jest identyczne, więc benchmark pokazujący tylko średnią nie zgłasza żadnego problemu; cała szkoda leży za p90, gdzie gromadzą się operacje, które trafiły na śpiące łącze. Haczyk specyficzny dla VFIO Jest tu haczyk, który wykracza poza podstawowy problem „host i gość walczą o stan łącza”.\nKiedy urządzenie jest przypisane do vfio-pci na hoście, jądro hosta wie, że urządzenie jest w trybie passthrough. Ale polityka ASPM PCIe jest stosowana na poziomie łącza, a nie urządzenia. Polityka ASPM hosta nadal dotyczy fizycznego łącza, bo host nadal jest właścicielem topologii PCIe.\nVFIO nie przechwytuje ani nie nadpisuje przejść ASPM. Przekazuje przestrzeń BAR urządzenia i przerwania, ale zarządzanie energią łącza pozostaje pod kontrolą hosta. Gość nie ma żadnego mechanizmu, żeby powiedzieć hostowi „trzymaj to łącze w L0”.\nGość posiada urządzenie, host nadal posiada łącze, a między nimi nie ma kanału VM gościa sterownik NVMe posiada urządzenie, wysyła operacje Jądro hosta podsystem PCIe polityka ASPM vfio-pci polityka stanów D nie da się powiedzieć „trzymaj łącze w L0” fizyczne łącze PCIe: w L1, śpi decyduje host, nie gość host nie widzi, by używał go sterownik, więc łącze zasypia gość wysyła operację, oczekując L0 ta operacja czeka na obudzenie łącza: 2–32 µs, albo do 100 µs z L1.2 VFIO przekazuje przestrzeń BAR i przerwania. Zarządzanie energią łącza nie wchodzi w ten układ. Większość operacji w ogóle nie trafia na śpiące łącze, dlatego rusza się tylko ogon. Podział, który to powoduje: gość posiada urządzenie i wysyła operacje, host posiada łącze i decyduje, kiedy ono śpi, a nic nie łączy jednego z drugim. Niektóre nowsze urządzenia i wersje jądra radzą sobie z tym lepiej niż inne. W związku z tym najbezpieczniejsze podejście to całkowite usunięcie ASPM z gry.\nJak go wyłączyć Dodaj pcie_aspm=off do wiersza poleceń jądra hosta:\n# Edit /etc/default/grub GRUB_CMDLINE_LINUX_DEFAULT=\u0026#34;quiet pcie_aspm=off\u0026#34; # Update GRUB and reboot update-grub reboot To uniemożliwia hostowi wprowadzanie jakiegokolwiek łącza PCIe w stan niskiego poboru mocy. Działa globalnie. Każde urządzenie PCIe na hoście, nie tylko to przekazywane.\nSprawdź po restarcie:\n# Should show \u0026#34;ASPM Disabled\u0026#34; for all devices lspci -vv | grep -i \u0026#34;ASPM\u0026#34; Koszt energii Wyłączenie ASPM zwiększa pobór mocy w bezczynności. Każde łącze PCIe, które inaczej byłoby w L1, zostaje w L0 i zużywa kilkaset miliwatów więcej. W systemie z dziesięcioma czy piętnastoma urządzeniami PCIe może to dać 2–5 watów w bezczynności.\nDla serwera w centrum danych 2–5 watów to błąd zaokrąglenia na rachunku za prąd. Dla domowego laboratorium to ułamek tego, co zużywają procesor i pamięć. Dla laptopa to ma znaczenie. Ale passthrough VFIO na baterii laptopa i tak byś nie robił.\nKompromis jest jasny. Kilka watów w bezczynności kontra nieprzewidywalne skoki opóźnień na przekazywanych urządzeniach. Na każdym systemie z passthrough ASPM powinien być wyłączony.\nProblemy ze stanami zasilania urządzenia ASPM kontroluje stan zasilania łącza PCIe. Urządzenia mają też własne zarządzanie energią: stany D PCIe (od D0 do D3).\nKiedy urządzenie jest w D3 (całkowicie wyłączone), śpi nie tylko łącze. Zatrzymało się samo urządzenie. Przy passthrough VFIO sterownik vfio-pci hosta może wprowadzić urządzenie w D3, kiedy maszyna wirtualna nie działa albo kiedy polityka zarządzania energią hosta uzna urządzenie za bezczynne.\nNiektóre kontrolery NVMe nie obsługują czysto przejścia z D3 do D0. Nie wracają poprawnie, gość traci urządzenie, a jedynym wyjściem jest restart maszyny wirtualnej, a czasem restart hosta.\nSamsung 990 EVO Plus to znany winowajca. Poprawką jest opcja modułu disable_idle_d3 dla vfio-pci:\n# /etc/modprobe.d/vfio.conf options vfio-pci disable_idle_d3=1 To uniemożliwia vfio-pci wprowadzanie jakiegokolwiek przypisanego urządzenia w D3 w bezczynności. Podobnie jak pcie_aspm=off, to ustawienie globalne. Każde urządzenie przypisane do vfio-pci zostaje w D0. Przy passthrough zwykle właśnie tego chcesz, bo jedyną rzeczą kontrolującą stan zasilania urządzenia powinien być gość.\nOpcja disable_idle_d3 jest niezależna od ASPM. ASPM kontroluje łącze. D3 kontroluje urządzenie. Oba mogą powodować problemy niezależnie od siebie. Dla czystej konfiguracji passthrough wyłącz oba.\nSterowanie ASPM dla pojedynczego urządzenia Jeśli nie chcesz wyłączać ASPM globalnie, bo na przykład masz na hoście inne urządzenia PCIe, którym oszczędzanie energii służy, możesz sterować ASPM dla każdego łącza osobno przez sysfs:\n# Find the link\u0026#39;s ASPM policy cat /sys/bus/pci/devices/0000:XX:00.0/link/l1_aspm # Disable ASPM for a specific link echo 0 \u0026gt; /sys/bus/pci/devices/0000:XX:00.0/link/l1_aspm To bardziej precyzyjne, ale mniej niezawodne przy restartach i aktualizacjach jądra. Dla większości konfiguracji passthrough globalna flaga jądra pcie_aspm=off jest prostsza i bardziej przewidywalna.\nKiedy problemem nie jest ASPM Nie każde wahanie opóźnień to ASPM.\nJeśli twoje percentyle clat są stale wysokie (nie tylko w ogonie), problemem jest raczej narzut translacji IOMMU, złe dopasowanie NUMA albo niezgodność MPS. ASPM powoduje konkretnie wzorzec dwumodalny: większość operacji jest szybka, kilka jest wolnych, bo dotyczy to tylko operacji, które akurat trafią na łącze w stanie niskiego poboru mocy.\nSprawdź ASPM najpierw, kiedy widzisz:\nopóźnienie p99 5 razy lub więcej wyższe od średniej niespójne wyniki fio między przebiegami opóźnienie, które poprawia się pod stałym obciążeniem, a pogarsza przy obciążeniach skokowych Jeśli opóźnienie jest stale złe niezależnie od wzorca obciążenia, szukaj gdzie indziej. ASPM warto wykluczyć wcześnie, bo test jest tani. Nie jest jednak odpowiedzią na każde wolne łącze, a gonienie go, kiedy liczby nie pasują do wzorca, to popołudnie, którego nie odzyskasz.\nŹródła Linux kernel PCI documentation — ASPM parameters — kod źródłowy jądra opisujący pcie_aspm=off i powiązane opcje Proxmox Forum — PCI Passthrough NVMe Unable to Change Power State — wątek społeczności o disable_idle_d3 dla kontrolerów NVMe Samsunga Proxmox VE Wiki — PCI(e) Passthrough — oficjalna dokumentacja konfiguracji passthrough ","permalink":"https://blogs.damiendye.uk/pl/proxmox/pcie-aspm-passthrough/","summary":"Active State Power Management oszczędza kilka watów na bezczynnych łączach PCIe. Przy passthrough VFIO dodaje wahania opóźnień, które trudno zdiagnozować, a łatwo naprawić.","title":"PCIe ASPM i dlaczego warto go wyłączyć przy passthrough"},{"content":"Czym jest MPS Urządzenia PCIe przesyłają dane w pakietach zwanych Transaction Layer Packets (TLP). Każdy TLP ma nagłówek i ładunek. Maksymalny rozmiar tego ładunku to MaxPayloadSize (MPS).\nMPS jest negocjowany między urządzeniem a jego mostkiem nadrzędnym podczas trenowania łącza. Wynegocjowana wartość to mniejsza z tego, co obsługuje urządzenie, i tego, na co pozwala mostek. Każdy mostek i przełącznik na ścieżce między urządzeniem a root complex ma własne możliwości MPS. Ostateczny MPS każdego urządzenia wyznacza najwęższe miejsce w łańcuchu.\nTypowe wartości MPS to 128, 256 i 512 bajtów. Niektóre urządzenia obsługują 1024, a nawet 4096 bajtów, ale w praktyce dla kontrolerów NVMe i kart sieciowych typowe jest 256 albo 512. Karty graficzne często obsługują 256 bajtów.\nDlaczego to ma znaczenie Większy MPS oznacza mniej pakietów dla tej samej ilości danych. Operacja 4KB przesłana przy MPS 128 wymaga 32 TLP. Ten sam transfer przy MPS 512 wymaga 8 TLP.\nKażdy TLP niesie narzut protokołu: nagłówek, CRC, ramkowanie. Mniej TLP oznacza mniejszy narzut protokołu na przesłany bajt. Przy dużej przepustowości ta różnica jest mierzalna. Nie dramatyczna. Ale realna. I to ten sam narzut, płacony przy każdym pakiecie.\nMPS wpływa też na to, jak dobrze wykorzystywane jest łącze PCIe. Mniejsze ładunki oznaczają, że łącze spędza więcej czasu na nagłówkach w stosunku do danych. Większe ładunki przesuwają tę proporcję w stronę użytecznych danych.\nTe same 4 KB ładunku kosztują 32 nagłówki pakietów przy MPS 128 i 8 przy MPS 512 MPS 128: transfer 4 KB to 32 TLP 32 nagłówki × ≈24 B:\u0026#160;≈16% bajtów na łączu to narzut protokołu MPS 512: te same 4 KB to 8 TLP 8 nagłówków × ≈24 B:\u0026#160;≈4% bajtów na łączu to narzut protokołu nagłówek, numer sekwencyjny, CRC i ramkowanie ładunek Oba paski niosą te same 4 KB. Większe ładunki nie przenoszą więcej danych: mniej łącza zużywają na ich opisywanie. Zmierzony zysk przepustowości jest mały. Oba paski niosą te same 4 KB. Pełne słupki to nagłówki poszczególnych pakietów: przy MPS 128 jest ich 32, przy MPS 512 tylko 8. Wpływ na opóźnienie jest mniejszy niż na przepustowość. Pojedynczy odczyt 4KB przy MPS 128 i 512 nie pokaże różnicy opóźnień wartej mierzenia, bo TLP są potokowane. Ale wyciśnij dużo IOPS przy wielu transferach w locie, a mniejszy narzut przy większym MPS zacznie się sumować.\nProblem przy passthrough Na gołym metalu BIOS ustawia MPS podczas POST na podstawie topologii PCIe. Nowoczesny BIOS serwerowy zwykle ustawia MPS na maksimum, które obsługuje topologia, najczęściej 256 albo 512 bajtów.\nPod QEMU root complex wirtualnego chipsetu Q35 ma własne możliwości MPS. Domyślnie wystawia niski MPS. Domyślna polityka MPS jądra Linux (pcie_bus_default) ustawia MPS każdego urządzenia tak, by pasował do jego mostka nadrzędnego, co w wirtualnej topologii oznacza wartość domyślną root complex QEMU. Często 128 bajtów.\nW efekcie urządzenie, które potrafi obsłużyć ładunki 512-bajtowe, działa przy 128, bo sufit ustawił wirtualny root complex.\nMPS wyznacza najwęższe miejsce ścieżki, którym pod QEMU jest wirtualny root complex Goły metal: BIOS ustawia MPS według prawdziwej topologii NVMeobsługuje 512 przełącznik PCIepozwala na 512 Root complexpozwala na 512 MPS = 512 B najmniejsza na ścieżce Przekazany do VM: najwęższym miejscem jest teraz wirtualny root complex NVMeobsługuje 512 wirtualny root complex QEMU Q35 domyślnie wystawia 128 MPS = 128 B możliwości urządzenia niewykorzystane Jądro hosta z\u0026#160;pci=pcie_bus_perf NVMeobsługuje 512 każde urządzenie na maksimum swojej magistrali MRRS podniesiony odpowiednio MPS = 512 B ustawione na hoście, nie w gościu MPS to najmniejsza wartość na ścieżce. Przekazanie urządzenia wstawia na tę ścieżkę wirtualny root complex, a jego ostrożna wartość domyślna staje się sufitem dla wszystkich. Jak to naprawić po stronie hosta Każ jądru ustawiać MPS na maksimum, które obsługuje magistrala nadrzędna każdego urządzenia:\n# Add to GRUB_CMDLINE_LINUX_DEFAULT in /etc/default/grub pci=pcie_bus_perf To ustawia MPS każdego urządzenia na największą wartość, na jaką pozwala jego magistrala nadrzędna. Odpowiednio ustawia też MRRS (Max Read Request Size). Kod źródłowy jądra mówi, że dba o to, by MPS urządzenia nie był większy niż MPS jego rodzica. To utrzymuje spójność łańcucha, a jednocześnie daje najlepsze rozmiary transferów.\nPo restarcie sprawdź nowy MPS:\n# Check MPS on a specific device lspci -vv -s XX:00.0 | grep -i \u0026#34;MaxPayload\u0026#34; Powinieneś zobaczyć MaxPayload 256 bytes albo MaxPayload 512 bytes zamiast domyślnych 128.\nPozostałe opcje jądra Jądro oferuje pięć polityk MPS, każdą ustawianą parametrem startowym pci=:\npcie_bus_tune_off: w ogóle nie ruszaj MPS. Użyj tego, co ustawił BIOS. Na gołym metalu z dobrym BIOS-em często to wystarcza. Pod QEMU BIOS-em jest OVMF albo SeaBIOS, które mogą nie optymalizować MPS.\npcie_bus_default: domyślna wartość jądra. Ustawia MPS każdego urządzenia tak, by pasował do jego mostka nadrzędnego. Ostrożna i bezpieczna, ale nie maksymalizuje wydajności.\npcie_bus_safe: ustawia MPS na największą wartość obsługiwaną przez wszystkie urządzenia w systemie. Przydatna w zamkniętych systemach, w których znasz wszystkie urządzenia i nic nie będzie podłączane na gorąco. Nieco bardziej agresywna niż domyślna.\npcie_bus_perf: ustawia MPS dla każdego urządzenia osobno na największą wartość, na jaką pozwala magistrala nadrzędna. Każde urządzenie dostaje najlepszy MPS, jaki obsługuje jego lokalna topologia. To właściwy wybór przy passthrough, bo optymalizuje każdą ścieżkę niezależnie.\npcie_bus_peer2peer: ustawia MPS na 128 bajtów na wszystkim. Każde urządzenie rozmawia przy najmniejszym wspólnym rozmiarze. Używana, gdy urządzenia muszą wykonywać DMA bezpośrednio do siebie nawzajem (GPU do GPU, GPU do karty sieciowej przez RDMA). Nieprzydatna przy zwykłym passthrough.\nPrzy passthrough właściwa jest pcie_bus_perf.\nJak to naprawić po stronie gościa pci=pcie_bus_perf możesz ustawić także w konfiguracji startowej jądra gościa. Czy ma to jakikolwiek praktyczny skutek, zależy od tego, jak QEMU przedstawia wirtualną topologię PCIe. Wirtualny root complex ogranicza to, co gość może wynegocjować.\nW testach trzyma się poprawka po stronie hosta. Host jest właścicielem fizycznego urządzenia, a jego ustawienie MPS wyznacza faktyczny rozmiar TLP na łączu. Ustawienie gościa dotyka tylko wirtualnej topologii wewnątrz maszyny wirtualnej, a to, czy zmienia realne zachowanie, zależy od tego, jak QEMU przedstawia ścieżkę PCIe dla tego urządzenia.\nUstaw to na hoście. Ustawienie tego również w gościu nie zaszkodzi, ale nie polegaj tylko na nim.\nCzym jest MRRS Max Read Request Size (MRRS) jest powiązany, ale osobny. MPS ogranicza, ile danych urządzenie może wysłać w jednym TLP. MRRS ogranicza, ile danych urządzenie może zażądać w jednym żądaniu odczytu.\nUrządzenie z MRRS 4096 może wysłać pojedyncze żądanie odczytu 4KB. Odpowiedź wraca w wielu TLP, każdy o rozmiarze do MPS. Wyższy MRRS oznacza, że urządzenie może zażądać więcej danych na transakcję, co zmniejsza liczbę TLP z żądaniami odczytu na magistrali.\nMRRS wyznacza rozmiar żądania, MPS rozmiar każdego pakietu odpowiedzi kontroler NVMe MRRS 4096 B pamięć hosta przez root complex 1 × żądanie odczytu: „wyślij mi 4 KB” MRRS ogranicza, o ile może prosić jedno żądanie 8 × TLP zakończenia: po 512 B MPS ogranicza, jak duży może być każdy pakiet odpowiedzi Jedno żądanie, wiele pakietów.\u0026#160;pci=pcie_bus_perf\u0026#160;podnosi oba, więc nie trzeba ich stroić osobno. Łatwo je pomylić: MRRS ogranicza, o ile urządzenie może poprosić w jednym żądaniu, MPS ogranicza, jak duży może być każdy pakiet odpowiedzi. pci=pcie_bus_perf ustawia zarówno MPS, jak i MRRS na wartości optymalne. Nie musisz dostrajać ich osobno.\nWpływ w porównaniu z innym strojeniem Różnica MPS między 128 a 512 bajtami ma mniejszy wpływ na wydajność niż wyrównanie NUMA czy ASPM. To zwykle poprawa przepustowości o niskie jednocyfrowe procenty. Nie zobaczysz jej w benchmarkach opóźnień przy małych głębokościach kolejki.\nAle to darmowa optymalizacja. Jeden parametr jądra, bez wad, bez ryzyka niezgodności. Nie ma powodu, żeby nie ustawić go na każdym systemie z passthrough.\nNic nie kosztuje, a za sprzęt już zapłaciłeś. Równie dobrze możesz mieć to, co kupiłeś.\nŹródła Linux kernel PCI Kconfig — MPS and MRRS tuning options — autorytatywne źródło dla wszystkich pięciu polityk MPS Linux Plumbers Conference 2017 — MPS vs MRRS (PDF) — prezentacja Sinana Kayi o obsłudze MPS/MRRS w jądrze ","permalink":"https://blogs.damiendye.uk/pl/proxmox/pcie-maxpayloadsize/","summary":"Wirtualny root complex QEMU domyślnie używa 128-bajtowych ładunków TLP. Większość urządzeń obsługuje 256 albo 512. Naprawia to jeden parametr jądra.","title":"PCIe MaxPayloadSize: darmowy zysk wydajności przy passthrough"},{"content":"Czym są i440fx i Q35? Każda maszyna wirtualna QEMU ma wirtualny chipset. Definiuje on całą wirtualną płytę główną: topologię magistrali PCI/PCIe, mostek południowy, kontroler przerwań i to, co widzi system gościa, gdy wylicza sprzęt przy starcie.\nQEMU daje dwa wybory: i440fx i Q35.\ni440fx emuluje Intel 440FX, o nazwie kodowej Natoma, wydany w 1996 roku jako chipset dla Pentium Pro, a później Pentium II. Przedstawia płaską magistralę PCI bez natywnej obsługi PCIe. To był pierwotny typ maszyny w QEMU i długo był domyślny. Niezły staż jak na chipset zaprojektowany dla Pentium Pro.\nQ35 emuluje Intel Q35 Express, wydany w czerwcu 2007 roku dla generacji Core 2, w parze z mostkiem południowym ICH9. Daje gościowi porządny kompleks główny PCIe i nowoczesny kontroler przerwań. Przekazane urządzenia pojawiają się jako natywne urządzenia PCIe z poprawną topologią.\nOba są wirtualne. Żaden nie wpływa na prawdziwy sprzęt, którego używa host. Różnica leży w tym, co widzi system gościa.\nPłaska magistrala PCI i440fx kontra kompleks główny PCIe Q35 i440fx: jedna płaska magistrala PCI Intel 440FX „Natoma”, Pentium Pro / Pentium II, 1996 vCPU magistrala PCI 0 NVMejako stare PCI karta tylko INTx IDE stary Dźwiękatrapa MSI-X niedostępne: tylko przerwania INTx Bez AER: błędy PCIe niewidoczne dla gościa Bez ACS: słabsza izolacja IOMMU Jedna wspólna magistrala: jedna grupa IOMMU Q35: kompleks główny PCIe Intel Q35 Express + ICH9, era Core 2, czerwiec 2007 vCPU kompleks główny PCIe port główny port główny port główny NVMeMSI-X karta wielokolejkowe GPU AER + ACS MSI-X: jeden wektor przerwań na kolejkę AER: gość widzi i obsługuje błędy PCIe ACS: kontrolowane DMA peer-to-peer Każdy slot może mieć własną grupę IOMMU Każda różnica, która następuje, bierze się stąd: i440fx wiesza każde urządzenie na jednej wspólnej magistrali, a Q35 daje każdemu slotowi własny port główny pod kompleksem głównym PCIe. Dlaczego Q35 ma znaczenie dla passthrough Urządzenia przekazane do VM z i440fx pojawiają się jako starsze urządzenia PCI, niezależnie od tego, czym naprawdę są. Gość widzi je jako „naprawdę szybkie urządzenia PCI”, a nie jako urządzenia PCIe. Niektóre sterowniki działają z tym dobrze. Inne oczekują PCIe i zachowują się niepoprawnie albo odmawiają załadowania, gdy go nie znajdą.\nKompleks główny PCIe w Q35 zmienia obraz na kilka sposobów.\nMSI-X MSI-X (Message Signalled Interrupts, Extended) wymaga PCIe. Pod i440fx MSI-X albo spada do starszych przerwań INTx, albo w ogóle nie działa.\nDla NVMe to ma duże znaczenie. Kontrolery NVMe opierają się na MSI-X w swojej wielokolejkowej architekturze. Każda para kolejek IO dostaje własny wektor przerwań. Bez MSI-X wszystkie zakończenia IO idą lejkiem przez jedno przerwanie, co tworzy wąskie gardło przy wysokich IOPS.\nTo ma też znaczenie dla nowoczesnych kart sieciowych i GPU. Każde urządzenie, które używa wielu wektorów przerwań do rozkładania obciążenia na rdzenie procesora, potrzebuje MSI-X.\nINTx przepycha każde zakończenie NVMe przez jedno przerwanie; MSI-X daje każdej kolejce własny wektor i440fx, INTx: jedna linia dla każdej kolejki kolejka 0 kolejka 1 kolejka 2 kolejka 3 1 × INTx vCPU 0 zakończenia idą po kolei: sufit przy wysokich IOPS Q35, MSI-X: wektor na kolejkę kolejka 0 kolejka 1 kolejka 2 kolejka 3 4 × wektory MSI-X vCPU 0 vCPU 1 vCPU 2 vCPU 3 każda kolejka kończy się na własnym rdzeniu Przy INTx zakończenia każdej kolejki przychodzą jedną linią przerwań i lądują na jednym vCPU. Przy MSI-X każda kolejka ma własny wektor i kończy się na własnym rdzeniu. AER (Advanced Error Reporting) PCIe AER pozwala gościowi wykrywać i porządnie obsługiwać błędy urządzeń, zamiast zawodzić po cichu. Pod i440fx gość nie ma żadnego wglądu w błędy na poziomie PCIe.\nDla obciążenia produkcyjnego z przekazanym urządzeniem ciche połykanie błędów to problem. AER daje sterownikowi gościa możliwość logowania, zgłaszania, a czasem odzyskiwania po błędach sprzętowych, które inaczej przeszłyby niezauważone, aż do uszkodzenia danych.\nACS (Access Control Services) ACS kontroluje DMA peer-to-peer między urządzeniami na tej samej magistrali. To część modelu izolacji IOMMU. Powstrzymuje jedno urządzenie przed robieniem DMA do przestrzeni pamięci innego urządzenia z pominięciem IOMMU.\nPod i440fx wirtualna topologia magistrali w ogóle nie obsługuje ACS. To nie psuje podstawowego passthrough, ale osłabia izolację, którą IOMMU ma ci dawać.\nPrezentacja grup IOMMU Hierarchia PCIe w Q35 oznacza, że każdy wirtualny slot może siedzieć we własnej grupie IOMMU wewnątrz gościa. i440fx wrzuca wszystko na jedną wspólną magistralę, co sprawia kłopoty przy konfiguracji IOMMU po stronie gościa.\nMa to znaczenie przy zagnieżdżonej wirtualizacji, gdzie sam gość potrzebuje czystych grup IOMMU. Ma też znaczenie dla vIOMMU, które jest dostępne tylko na Q35.\nvIOMMU Jeśli potrzebujesz, by sam gość miał możliwości IOMMU, do zagnieżdżonego passthrough, do DPDK albo do niektórych konfiguracji bezpieczeństwa, wymaga to typu maszyny Q35.\nEmulacja vIOMMU pozwala gościowi prowadzić własne IOMMU, co przydaje się do:\nZagnieżdżonego passthrough w VM (VM w VM z dostępem do urządzenia) Sieci DPDK w przestrzeni użytkownika, gdzie aplikacja potrzebuje ochrony IOMMU Konfiguracji bezpieczeństwa wymagających izolacji DMA wewnątrz gościa Dlaczego Q35 ma znaczenie także poza passthrough Nawet jeśli nie robisz passthrough, Q35 to lepszy wybór dla nowoczesnych obciążeń.\nFirmware OVMF (UEFI) Połączenie Q35 i OVMF daje gościowi nowoczesne środowisko startowe UEFI z obsługą Secure Boot. i440fx może używać OVMF, ale to połączenie jest słabiej przetestowane i niektóre funkcje nie działają poprawnie.\nWindows 11 wymaga UEFI z Secure Boot. Wymagania sprzętowe Microsoftu to narzucają. Windows Server 2025 działa najlepiej z UEFI. Q35 z OVMF to obsługiwana ścieżka dla obu.\nJeśli uruchamiasz VM z Windows 11 albo Server 2025 na i440fx z SeaBIOS, płyniesz pod prąd. Dziś może to działać. Ekosystem nie zmierza w tę stronę.\nAHCI Q35 zawiera natywną emulację AHCI (Advanced Host Controller Interface) przez mostek południowy ICH9. i440fx używa dla dysków startowych starszej emulacji IDE albo LSI SCSI.\nDla pamięci VirtIO to bez znaczenia. VirtIO całkowicie omija kontroler pamięci masowej chipsetu. Ale jeśli używasz emulacji SATA dla systemu gościa, który przy instalacji nie ma sterowników VirtIO, AHCI na Q35 jest dużo szybsze niż IDE na i440fx.\nIDE pułapkuje każdy dostęp do rejestru; AHCI buduje polecenia w RAM-ie gościa i dzwoni jeden raz granica host / hiperwizor: każde przejście kosztuje wyjście z VM i440fx, IDE: każdy dostęp do rejestru to pułapka sterownik IDE w gościu I/O portów, jeden dostęp naraz 5 × wyjście z VM na jedno polecenie PIIX3 IDE 1 polecenie w locie Bez NCQ: następne polecenie czeka, aż skończy się poprzednie IRQ 14/15, INTx wyzwalane poziomem: kolejne wyjścia na maskowanie i potwierdzenie Q35, AHCI: budowane w RAM-ie, jeden dzwonek sterownik AHCI w gościu lista poleceń w RAM-ie: za darmo 1 × wyjście z VM AHCI HBA (ICH9) do 32 w kolejce (NCQ) Polecenia z kolejki kończą się w dowolnej kolejności: dysk je układa pod wyszukiwanie MSI-X: bez współdzielonej linii do identyfikacji, bez EOI w obie strony IDE programuje się po jednym rejestrze przez starsze porty I/O, a każdy dostęp to pułapka do hosta. AHCI pozwala gościowi zbudować polecenie we własnej pamięci i zadzwonić jednym dzwonkiem. Narzut, który niesie i440fx, a Q35 nie Luka w AHCI to nie tylko to, że jeden kontroler jest nowszy. Chodzi o to, że i440fx każe gościowi płacić hiperwizorowi przy prawie każdej interakcji, a Q35 przeważnie nie.\nPułapkowany dostęp do rejestrów. IDE programuje się przez starsze porty I/O x86. Gość zapisuje liczbę sektorów, potem rejestry LBA, potem rejestr polecenia. Każdy zapis trafia w osobny port. Każdy z tych dostępów jest przechwytywany i emulowany przez hosta, a każda pułapka to wyjście z VM kosztujące jednocyfrową liczbę mikrosekund. Wydanie jednego polecenia IDE kosztuje więc kilka wyjść, zanim jakiekolwiek dane się ruszą.\nAHCI działa na odwrót. Gość buduje tablicę poleceń we własnym RAM-ie (bez pułapek, bo to tylko zapis do pamięci), a potem robi jeden zapis MMIO do rejestru dzwonka, żeby kontroler ją pobrał. Jedno polecenie kosztuje mniej więcej jedno wyjście zamiast pięciu czy sześciu.\nBrak kolejkowania poleceń. IDE wydaje jedno polecenie i czeka, aż się skończy. AHCI obsługuje NCQ, więc może czekać do 32 poleceń naraz, a dysk może je kończyć w dowolnej kolejności, żeby ograniczyć przeszukiwanie. W związku z tym pozostały koszt na polecenie rozkłada się na kolejkę, a nie jest płacony po jednym.\nStarsza ścieżka przerwań. Kontroler PIIX3 IDE sygnalizuje zakończenie na stałych starszych IRQ 14 i 15, dostarczanych jako INTx wyzwalane poziomem. Przerwanie wyzwalane poziomem trzeba potwierdzić i odmaskować, a ponieważ linie INTx są współdzielone, gość musi jeszcze ustalić, które urządzenie je zgłosiło. Każdy z tych kroków to kolejna pułapka. MSI-X, które wymaga Q35, to zwykły zapis do pamięci, bez współdzielonej linii do identyfikowania i bez potwierdzania w obie strony. Na sprzęcie z posted interrupts może dotrzeć do gościa w ogóle bez wyjścia.\nWiększa powierzchnia starszych urządzeń. i440fx zawsze przedstawia swoje starsze urządzenia platformy, łącznie z kontrolerem IDE, niezależnie od tego, czy VM ich używa. Zajmują sloty PCI, są wyliczane i sondowane przy każdym starcie, a sterowniki gościa mogą je odpytywać. Q35 przedstawia mniejszy, nowocześniejszy zestaw. Mniej do podtrzymywania dla hosta, mniej do przejścia dla gościa.\nNic z tego nie widać w VM opartej na VirtIO i dlatego tę różnicę łatwo przeoczyć. Ma znaczenie podczas instalacji, na obrazach urządzeń bez sterowników VirtIO i na każdym gościu, który wciąż używa emulowanego SATA albo IDE dla dysku startowego.\nMniej wirtualnych urządzeń, czystsza topologia i440fx przychodzi ze starszym wirtualnym sprzętem, który Q35 porzuca. Atrapa karty dźwiękowej. Starszy kontroler IDE. Żadne z nich nie robi nic pożytecznego, ale oba zjadają wirtualne sloty PCI i mogą mylić oprogramowanie gościa, które próbuje ich używać.\nQ35 przedstawia czystszy zestaw wirtualnego sprzętu, bliższy temu, co udostępniałby nowoczesny fizyczny serwer.\nQ35 wyrzuca starsze urządzenia platformy, które i440fx trzyma w wirtualnych slotach PCI i440fx starsze urządzenia zajmują sloty Starszy kontroler IDE Kontroler dyskietek (FDC) Starsze funkcje PIIX3 Inne starsze urządzenia platformy wolne wolne zastąpiony przez AHCI wyrzucone przez Q35 Q35 mniej urządzeń, sloty zostają ICH9 AHCI (SATA) porty główne PCIe wolny na przekazany NVMe wolny na kartę sieciową wolny na GPU wolne Starszy kontroler IDE jest zastępowany, a nie usuwany; cała reszta ląduje w koszu, zostawiając wolne sloty dla urządzeń, które naprawdę chcesz przekazać. Kierunek zmian RHEL 10 oznaczył i440fx jako przestarzały Red Hat formalnie oznaczył typ maszyny i440fx jako przestarzały w RHEL 10. To sygnał, w którą stronę idzie szerszy ekosystem KVM. Gdy Red Hat coś wycofuje, znaczy to, że przestał to testować jako ścieżkę pierwszej klasy i nie będzie naprawiał związanych z tym błędów.\nGłówny projekt QEMU od lat dyskutuje o wycofaniu i440fx. Konsensus jest taki, że utrzymywanie dwóch ścieżek chipsetu to ciężar. Q35 to ta, która odpowiada nowoczesnemu sprzętowi.\nProxmox za tym nie poszedł Proxmox VE wciąż tworzy nowe VM jako i440fx. Typ maszyny w kreatorze tworzenia brzmi „Default (i440fx)” i tak zostaje, jeśli go nie zmienisz. Q35 jest jedną listę rozwijaną dalej, ale to wybór, którego musisz dokonać świadomie, przy każdej budowanej VM.\nTo cały powód istnienia tego wpisu. Domyślny jest chipset z 1996 roku, a nic w kreatorze nie mówi ci, że ten wybór ma znaczenie.\nPrzełączanie istniejącej VM Jeśli masz istniejącą VM na i440fx, możesz przełączyć ją na Q35 w ustawieniach sprzętu albo bezpośrednio w konfiguracji:\nmachine: q35 To w praktyce wymiana wirtualnej płyty głównej. Inny sprzęt przy następnym starcie.\nLinux zwykle radzi sobie z tym bez problemu. Jądro ponownie wylicza urządzenia i ładuje właściwe sterowniki. Nazwy interfejsów się zmienią, bo wirtualna karta sieciowa przechodzi z magistrali PCI na magistralę PCIe. Jeśli twoja konfiguracja sieci je nazywa (np. eth0, ens18), zaktualizuj ją przed restartem, bo stracisz dostęp do sieci.\nWindows jest mniej wyrozumiały. Zmiana chipsetu oznacza inne wirtualne identyfikatory sprzętu dla kontrolera pamięci masowej, karty sieciowej i innych urządzeń platformy. Windows może wymagać ponownej instalacji sterowników. Czasem najczystszą drogą jest świeża instalacja. Zwykle winowajcą jest starszy Windows.\nFreeBSD i pochodne (OPNsense, pfSense) zwykle radzą sobie z przełączeniem, ale najpierw przetestuj.\nW każdym przypadku przetestuj na nieprodukcyjnej VM, zanim przełączysz cokolwiek, co ma znaczenie.\nKiedy i440fx wciąż jest potrzebny Garść przypadków wciąż potrzebuje i440fx.\nStarsze systemy gościa, które poprzedzają UEFI (Windows XP, Windows 2000 i podobne roczniki), mogą nie wystartować pod Q35. Te systemy oczekują starszej topologii PCI i SeaBIOS, które daje i440fx.\nNiektóre obrazy urządzeń są budowane i testowane wyłącznie na i440fx. Jeśli producent obsługuje tylko i440fx, tego używasz, dopóki nie zaktualizuje.\nDo wszystkiego innego (nowych VM z Linuksem, nowoczesnego Windowsa, każdego obciążenia z passthrough) używaj Q35. Nie ma nic do zyskania na trzymaniu się chipsetu z 1996 roku z przyzwyczajenia.\nŹródła Proxmox VE Wiki — PCI(e) Passthrough — oficjalna dokumentacja Proxmoxa wskazująca Q35 jako zalecany typ maszyny do passthrough QEMU Q35 Chipset Specification (PDF) — oryginalny dokument projektowy Q35 w QEMU Proxmox Forum — Q35 vs i440fx Discussion — dyskusja społeczności o praktycznych różnicach ","permalink":"https://blogs.damiendye.uk/pl/proxmox/q35-not-i440fx/","summary":"Dwa wirtualne chipsety QEMU nie są wymienne. Q35 daje porządną topologię PCIe, od której zależą passthrough, nowoczesny Windows i szerszy ekosystem KVM.","title":"Zawsze używaj Q35, nie i440fx: dlaczego to ma znaczenie w Proxmox VE"},{"content":"Jestem Damien Dye.\nPresales Engineer na Europę i region Azji i Pacyfiku w croit GmbH, firmie, która jest członkiem założycielem Ceph Foundation i oficjalnym Proxmox Gold Partnerem.\nPonad dwadzieścia lat tego było częścią płatną: platformy Microsoftu, Linux, aplikacje korporacyjne, wirtualizacja, sieci, pamięć masowa i bezpieczeństwo. Część płatna to nie wszystko. Buduję rzeczy i je psuję od połowy lat dziewięćdziesiątych, a Linuksa używam na poważnie od 1999 roku, wiele lat zanim ktokolwiek uznał, że warto mi za to płacić, i te lata też liczę, bo ze sprzętu, który jest twój, uczysz się tyle samo, co ze sprzętu, który ubezpieczył ktoś inny.\nJestem z South Yorkshire, więc powiem ci prosto z mostu. Jeśli coś działa, powiem ci dlaczego. Jeśli nie działa, też ci to powiem, i wolę to zrobić, zanim wydasz pieniądze, a nie po.\nPoczątki Rozbieram komputery, odkąd skończyłem osiem lat. Moją pierwszą maszyną było Atari STfm z 512K RAM.\nPierwszego peceta dostałem w wieku dwunastu lat, z Windows 3.11, a potem przeszedłem przez wszystkie po kolei: 95, 95b, 95c, 98, 98SE, a potem Windows 2000.\nTo nie było zwykłe używanie oprogramowania. To było rozpracowywanie, co się zmieniło między jedną wersją a następną, co się po drodze zepsuło i jak uruchomić coś, co postanowiło, że wolałoby nie działać.\nMOJA DROGA PRZEZ WINDOWS NA DESKTOPIE: 3.11 \u0026#8594; 10 3.11 95 98 2000 XP XP64-bit Vista64-bit 764-bit 8.1 10 Moim pierwszym połączeniem z internetem był modem dial-up 56k na Freeserve, jednym z pierwszych darmowych dostawców internetu w Wielkiej Brytanii. Na ADSL przeszedłem, gdy tylko stał się dostępny w 2001 roku, przez Demon Internet. Potem na VDSL w 2008 roku, a w końcu na FTTP w Zen Internet w 2017 roku, i tam pojawiło się natywne IPv6. Od tego wszystko się zaczęło, jeśli chodzi o sieci, i to daleka droga od sieci szkieletowych 100GbE, które projektuję teraz. Ale ciekawość była ta sama.\nSieć lokalna zaczęła się jeszcze wcześniej i była jeszcze bardziej surowa. Moim pierwszym LAN-em był 10BASE2: cienki kabel koncentryczny, złącza BNC i terminator 50 omów na każdym końcu, a wszystkie maszyny dzieliły jedną magistralę 10 Mbit. Dogadałem przez nią dwa pecety, a potem dołożyłem 5-portowy hub, gdy przybywało maszyn. Ten hub później zamienił się w switch, prawdziwy krok naprzód, bo każdy port dostawał własną domenę kolizyjną, zamiast żeby wszystko biło się o wspólny koncentryk. Potem przyszło bezprzewodowe, gdy tylko stało się przystępne cenowo: 802.11b przy 11 Mbit, na kartach PCMCIA Orinoco Gold w laptopach. Magistrala koncentryczna, potem wspólny hub, potem przełączany Ethernet, potem Wi-Fi: każdy z tych kroków przerobiłem własnymi rękami.\nBudowałem też w pełni nienadzorowane instalacje Windows XP. Używały starych DriverPacks do wstrzykiwania sterowników i własnych skryptów do automatycznej instalacji aplikacji. Można było przejść od gołego sprzętu do w pełni skonfigurowanego systemu bez dotykania klawiatury. To było myślenie o automatyzacji wiele lat przed tym, zanim w ogóle usłyszałem o Ansible, i to na Windows, nie na Linuksie.\nOdkrywanie Linuksa Z Linuksem zacząłem w wieku piętnastu lat, na SuSE 6. Od razu sięgnąłem po dystrybucje, które zmuszały do zrozumienia, co dzieje się pod spodem.\nW czasie świąt Bożego Narodzenia w 2001 roku zbudowałem cały system według książki Linux From Scratch. Każdy pakiet skompilowany ręcznie. Każda zależność zrozumiana. Każda decyzja konfiguracyjna podjęta świadomie.\nW 2002 roku przeszedłem na Gentoo. Gentoo działa na tej samej zasadzie: budujesz cały system ze źródeł, rozumiesz, co robi każda flaga USE, a gdy coś się psuje, wiesz dokładnie, gdzie szukać.\nLINUX: MOJA DROGA PRZEZ DYSTRYBUCJE SuSE6–7.2 Mandrake Gentoo Ubuntu RHEL Fedora Poznawanie innych platform Nigdy nie trzymałem się jednej architektury.\nOd 2001 do 2007 roku miałem system DEC Alpha. Alpha był 64-bitowym procesorem RISC firmy Digital Equipment Corporation, wprowadzonym w 1992 roku: prawdziwa maszyna 64-bitowa ponad dekadę przed tym, zanim x86 nadrobił zaległości z AMD64 w 2003 roku. Działały na nim Tru64 UNIX, OpenVMS, Windows NT i Linux, i przez pewien czas była to mniej więcej najszybsza rzecz, jaką można było postawić na biurku. Dzięki dyskusjom w społeczności uruchomiłem na nim USB i FireWire. Wstawiłem nawet z tyłu adapter PCMCIA na ISA, żeby te same karty PC Card, których używałem w laptopach, w tym bezprzewodowa Orinoco Gold, działały w stacjonarnej Alphie. Nie mała rzecz na platformie, na której nic nie miało gwarancji, że zadziała.\nSpróbowałem BeOS. Podchodził do wielowątkowości i multimediów zupełnie inaczej niż cokolwiek innego w tamtych czasach.\nNa studiach razem z kumplem uratowaliśmy stacje robocze Sun SPARC, które miały iść na śmietnik, i postawiliśmy na nich Gentoo. SPARC był architekturą RISC firmy Sun Microsystems, wprowadzoną w 1987 roku: silnikiem stacji roboczych i serwerów Sun, na których przez całe lata dziewięćdziesiąte działała spora część świata Uniksa, zwykle pod Solarisem. Uruchomienie Linuksa budowanego ze źródeł na tym sprzęcie było całym sensem tego przedsięwzięcia. Bo czemu nie, skoro sprzęt jest pod ręką, a ty chcesz zobaczyć, czy zadziała.\nBudowałem też i pracowałem z Linuksem na ARM i ARM64, na Raspberry Pi i Odroidach. Uruchamiałem też Windows na ARM64.\nUruchom ten sam system operacyjny na x86, Alphie, SPARC, ARM i ARM64, a założenia, które przyjąłeś na jednej, nie przejdą z tobą na następną: kolejność bajtów, wyrównanie, rozmiary stron, obsługa sterowników i dziwactwa narzędzi kompilacji, wszystko to przesuwa się pod tobą. Ma to dziś większe znaczenie niż kiedykolwiek, skoro ARM64 stoi w centrum danych obok x86, i właśnie takie myślenie trzyma w ryzach mieszane pod względem architektur środowisko Ceph albo Proxmox.\nWcześnie eksperymentowałem też z IPv6. Miałem dostęp do 6bone, eksperymentalnej sieci testowej IPv6. 6bone była światowym poligonem testowym, działającym od 1996 roku, który miał pomóc rozwinąć i wdrożyć IPv6, zanim produkcyjny internet był na nie gotowy. Przenosiła IPv6 głównie przez tunele IPv4, używała własnej puli adresów 3ffe::/16 i została celowo wyłączona 6 czerwca 2006 roku, gdy natywne IPv6 dojrzało na tyle, żeby stać na własnych nogach. Uruchamiałem zarówno stos IPv6 Linuksa, jak i stos IPv6 Microsoft Research dla Windows XP. Przeszedłem przez wszystko. Zacząłem od tuneli IPv6 w IPv4. Przeszedłem na 6to4 (RFC 3056) do automatycznego tunelowania. Potem na pełne natywne IPv6, gdy przeniosłem się do porządnego dostawcy: Zen Internet. Większość ludzi nie dotknęła IPv6, dopóki pracodawca ich do tego nie zmusił. Ja do tego czasu przeszedłem już przez każdy mechanizm przejściowy, zarówno na Linuksie, jak i na Windows, bo chciałem zrozumieć, dokąd zmierzają sieci. Dlatego IPv6 wydaje mi się teraz naturalne, a nie czymś przykręconym na siłę po fakcie. Dziś dziewięćdziesiąt procent mojego ruchu idzie po natywnym IPv6. Używam rozszerzenia przeglądarki o nazwie IPvFoo, które pokazuje mi, czego używa każde połączenie i czy strony serwują mieszane protokoły, czy tylko IPv4. Stare nawyki: lubię widzieć, co się naprawdę dzieje, a nie tylko zakładać.\nIPv6: DWIE DEKADY, OD EKSPERYMENTU DO INFRASTRUKTURY KRYTYCZNEJ Od testowego stosu w domu do produkcyjnej infrastruktury w skali kraju 6bone: eksperymentalna sieć testowa IPv6 Stosy IPv6 Linuksa i Microsoft Research uruchomione obok siebie Tunele IPv6 w IPv4 IPv6 przenoszone przez internet IPv4, konfigurowane ręcznie 6to4 (RFC 3056) Automatyczne tunelowanie: żadnego ręcznego brokera do utrzymania Natywne IPv6 Od końca do końca w domu po FTTP · Zen Internet · 2017 Nominet: krytyczna infrastruktura krajowa IPv6 w produkcji dla rejestru .uk · load balancery F5 na IPv4 i IPv6 Dziś około 90% mojego ruchu idzie po natywnym IPv6. Nauka przez działanie Wszystkiego, co wiem technicznie, nauczyłem się, próbując. Budowałem rzeczy, psułem je, dochodziłem, dlaczego się zepsuły, i budowałem je od nowa.\nStudia to było Business Studies and Computer Network Engineering na Sheffield Hallam i dały mi jedyną rzecz, której nie daje samodzielna nauka: jak naprawdę działa firma, jak decyzja techniczna zamienia się w wynik handlowy i jak myśleć o systemie w kategoriach problemu, który rozwiązuje dla tego, kto za niego płaci. To ukształtowało każdą rolę od tamtej pory.\nUmiejętności techniczne wzięły się jednak z działania, nie ze studiowania. Problemy produkcyjne nie przychodzą z listą lektur. Umiejętność rozpracowania czegoś od podstaw jest warta więcej niż certyfikat na ścianie i nie traci ważności.\nSkąd się bierze open source Gdy kierownictwo Microsoftu nazwało na początku lat dwutysięcznych open source „rakiem”, ja już siedziałem głęboko w Linuksie. Budowałem systemy od zera. Używałem Gentoo. Udzielałem się w społecznościach.\nTaka wrogość wobec ludzi, którzy dzielą się wiedzą i budują coś razem, mnie nie zniechęciła. Wciągnęła mnie jeszcze głębiej. Jeśli firma odpowiada na wspólne tworzenie oprogramowania, nazywając je chorobą, mówi ci to więcej o firmie niż o oprogramowaniu. Wgryzłem się głębiej w open source i zrobiłem z niego swój pierwszy wybór, zamiast popierać takie myślenie.\nZ biegiem lat argument praktyczny dogonił ten zasadniczy. Platformy własnościowe działają wystarczająco dobrze, dopóki producent nie zmieni licencji, nie zostanie kupiony albo nie uzna, że twój przypadek użycia nie jest wart utrzymywania. Wtedy utknąłeś. Twoje dane, twoje procesy i wiedza twojego zespołu są przywiązane do platformy, której już nie kontrolujesz. Przejęcie VMware przez Broadcom to najnowszy i najbardziej widoczny przykład, ale daleko mu do jedynego.\nTo samo myślenie dotyczy chmury. Zapytaj, co tak naprawdę wynajmujesz, a odpowiedź brzmi: moc, którą mogłeś mieć na własność, na liczniku, który nigdy nie staje. Obiecane korzyści, czyli zwinność, elastyczność i mniej do zarządzania, rzadko lądują w takim kształcie, jaki opisywała prezentacja, a koszt rośnie rok po roku tak, jak sprzęt na własność nie rośnie. Dlatego byłem w stanie pokazać, za każdym razem, gdy ktoś mnie o to poprosił, że open source na dobrze zaprojektowanym sprzęcie daje lepszą wartość, więcej kontroli i mniej niespodzianek. To nie jest modne stanowisko. To stanowisko, pod którym mogę podpisać liczby.\nBudowanie kariery Moja kariera zaczęła się w 2005 roku w zakładzie odlewnictwa precyzyjnego w Worksop. Inżynier IT, część małego zespołu, obsługa około pięćdziesięciu użytkowników.\nTa pierwsza rola obejmowała porządny przekrój. Utrzymanie systemu ERP Manusoft i archiwizacji dokumentów. Administracja serwerami Linux i Windows 2003. Tworzenie raportów w Crystal Reports do podejmowania decyzji produkcyjnych i utrzymaniowych. Administracja centralą PBX. Integracja systemów CAD/CAM i zarządzanie wspomaganą komputerowo produkcją zrobotyzowaną. Zakupy sprzętu i oprogramowania. Szkolenie użytkowników końcowych i wsparcie przy ich stanowiskach.\nOd pierwszego dnia pisałem też automatyzację. Zaktualizowałem firmowe Active Directory i napisałem skrypty VB, które automatycznie mapowały dyski, przypisywały drukarki i wdrażały oprogramowanie na podstawie członkostwa w grupach. To był rok 2006: porządna automatyzacja infrastruktury w mojej pierwszej zawodowej roli.\nTakie jest IT w produkcji. Gdy linia staje przez coś, czym się opiekujesz, szybko się przekonujesz, że niezawodność to nie kwestia gustu, a ludzie stojący przy maszynie sami ci to powiedzą. To był też pierwszy raz, gdy zawodowo prowadziłem Linuksa i Windows w tym samym budynku, i tak już zostało.\nStamtąd przeszedłem do wsparcia technicznego pierwszej linii. Pierwsza i druga linia, na dedykowanym stanowisku dla dużego międzynarodowego klienta. Desktopy Windows, Active Directory, Exchange 2007, Cisco VPN, Cisco Call Manager, obsługa zgłoszeń według ITIL w Remedy. Ta dyscyplina ITIL, czyli zarządzanie zmianą, zarządzanie problemami, uporządkowane procesy, szła za mną do każdej kolejnej roli. Wcześnie łączyłem też światy Linuksa i Windows: konfigurowałem Services for Unix i rozwiązywałem problemy z dostępem z Citriksa do uniksowych udziałów NFS.\nNawet na tym stanowisku budowałem więcej, niż było w opisie stanowiska. Napisałem interfejs, który zakładał i wyłączał konta użytkowników prosto z danych kadrowych w Agresso, obsługując konto w Active Directory, członkostwo w grupach, konfigurację Office Communicator, skrzynkę Exchange i aliasy. To integracja systemów z fotela pierwszej linii, czego nazwa stanowiska wcale nie mówiła.\nJeden z klientów, których obsługiwałem na tym stanowisku, zatrudnił mnie później w następnej firmie.\nNastępna była globalna firma telekomunikacyjna, ICT i bezpieczeństwo. Tam na dobre zaczęło się tworzenie aplikacji. W ciągu dwóch i pół roku zbudowałem albo współtworzyłem sześć odrębnych systemów wewnętrznych. Własne webowe narzędzie do wycen. Interfejsy przetwarzania zamówień między Salesforce a Agresso. Katalog danych podstawowych w SharePoint zasilany z Salesforce i Agresso. Własny webowy system zarządzania projektami z interfejsami do MSPE i Agresso do obsługi finansowej. I migrację z dostosowanej aplikacji Salesforce Service Cloud do ServiceNow z pełnym wdrożeniem procesów ITIL. Pisałem też architekturę interfejsów SQL dla korporacyjnych aplikacji biznesowych i stroiłem wydajność MS SQL. Administrowałem IIS i Windows Server 2008 Terminal Services i odpowiadałem za korporacyjny model danych. Usługi katalogowe, czyli Active Directory i LDAP, stały się tu podstawową umiejętnością, która szła za mną przez każdą późniejszą rolę.\nProwadziłem też ogólnokrajowy program wymiany Windows 7 w Wielkiej Brytanii, przenosząc wszystkich brytyjskich użytkowników na nowy sprzęt HP w trzy tygodnie, a 95% z nich zgłosiło, że ich praca nie została w ogóle zakłócona. Trzy tygodnie to taka liczba, która wychodzi tylko wtedy, gdy przygotowanie zrobiono porządnie, a przygotowanie to ta mało efektowna połowa, o którą potem nikt nie pyta.\nPotem przyszło zarządzanie. Firma projektująca półprzewodniki, z małym zespołem inżynierów rozsianych po kilku krajach. To połączyło kilka wątków naraz. Programowałem na platformie Force.com, czyli triggery, strony Visualforce, własne kontrolery, żeby zintegrować globalnie systemy księgowe i PSA Financial Force. W tym samym czasie budowałem dwa osobne klastry HPC bootowane przez PXE. Jeden dla brytyjsko-europejskiego działu inżynieryjnego i jeden dla chińskiego działu inżynieryjnego. Oba używały Red Hata z głównymi systemami plików na NFS, żeby stworzyć spójne, w 100% powtarzalne bezdyskowe farmy obliczeniowe. Wdrożyłem ZFS on Linux ze sprzętem Dell PowerVault jako ujednoliconą pamięć masową. Zastąpiłem przestarzałe, odizolowane środowiska bezpieczeństwa domeną Active Directory na Windows Server z natywnym Kerberosem i LDAP do pojedynczego logowania na Linuksie i Windows. Ustabilizowałem łączność międzynarodową, budując jednolitą sieć z tunelami OpenVPN w trudnych warunkach pracy do Chin.\nPrzez sporą część tej roli byłem jedyną osobą, która to wszystko ogarniała: linuksowe farmy obliczeniowe, wsparcie Windows, programowanie w Salesforce i wsparcie użytkowników w kilku strefach czasowych, przy obciążeniach projektowania SoC w zaawansowanych węzłach technologicznych. Jeden z inżynierów, którzy mi podlegali, został potem programistą Salesforce, i uważam to za lepszy wynik tamtych lat.\nNastępne było porządne zanurzenie w Linuksa. Wsparcie trzeciej linii w Pulsant, dostawcy chmury i hostingu, w całym stosie. RHEL, CentOS, Ubuntu. Klastrowanie MySQL z Galerą, sharding MongoDB, HAProxy z SNI i terminacją SSL, Apache, PostgreSQL, strojenie PHP-FPM pod wydajny e-commerce, poczta na Postfiksie, BIND i PowerDNS do hostingu DNS, Varnish do cache stron, Squid do cache proxy. IPTables, IPset i Cisco ASA jako zapory i ochrona przed DoS. Strojenie wydajności serwerów Linux pod sieć i pamięć masową. Rozwiązywanie problemów z CPanelem, tworzenie szablonów monitoringu SolarWinds i administracja New Relic. Wszystko to na VMware 5.5 z vCloud Director pod spodem.\nTo też nie było samo wsparcie. Zaprojektowałem tam produkt replikacji baz danych na Galerze i przeprowadziłem go od koncepcji przez prototyp do usługi, za którą klienci płacili. To nie było ćwiczenie w laboratorium. Zostało zbudowane i sprawdzone na prawdziwych obciążeniach należących do prawdziwych płacących klientów, a tego dostawca hostingu nie rozdaje lekką ręką.\nTrzecia linia uczy, co znaczy być ostatnim szczeblem eskalacji. Gdy problem dociera do ciebie, za tobą nie ma już nikogo, kto go naprawi.\nPotem Nominet, rejestr stojący za każdą domeną .uk. DNS w skali kraju. Infrastruktura musi być naprawdę solidna dwadzieścia cztery godziny na dobę, codziennie, bez przestojów i z dyżurami poza godzinami pracy. VMware 5.5 i 6, pamięć masowa HP 3par ze strefowaniem Fibre Channel na Brocade, RHEL 6 i 7 zarządzany przez Puppet, load balancery F5 na IPv4 i IPv6, poczta na Postfiksie i wdrożenie Zabbix, które zbudowałem, żeby zastąpić starzejący się monitoring VMware Hyperic. Przejąłem też i dostosowałem ServiceNow, wdrażając przepływy pracy, wdrażanie aplikacji i wykrywanie węzłów Linux na potrzeby zarządzania konfiguracją i inwentarza. Pomogłem zaprojektować i zbudować procesy outsourcingu service desku poza godzinami pracy, żeby zmniejszyć ciężar dyżurów.\nW Nominet stałem się pierwszą osobą, którą pytano, czy chodziło o Linuksa, Uniksa, ServiceNow, czy o coś, czego nikt nie umiał przypisać, i pilnowałem, żeby wracać z czymś, co działa, a nie z czymś, co dobrze brzmi. To takie miejsce, w którym się uczysz, że nudne, zdyscyplinowane podejście do infrastruktury to to, które przetrwa zderzenie z wtorkowym porankiem.\nPo Nominet przeszedłem do infrastruktury i hostingu. VMware 6.7, Zerto do odtwarzania po awarii, pamięć masowa Dell Compellent i Nexsan ze strefowaniem Fibre Channel na Brocade, Citrix Cloud z zarządzaniem profilami FSLogix obok Azure. Tam też wprowadziłem monitoring Zabbix, projektując szablony i skrypty od zera.\nPotem handel detaliczny. Bezpośrednie kierowanie małym zespołem, odebranie administracji VMware 6.7 firmie zewnętrznej i przeniesienie jej z powrotem do firmy, wdrożenie monitoringu Zabbix (znowu, w miejsce czyjejś nieudanej próby), przebudowa wdrażania systemów wokół PXE i Chocolatey, modernizacja sieci sprzętem Fortinet i uporządkowanie zakupów sprzętu.\nPotem rola, która zmieniła wszystko. W UK Centre for Ecology \u0026amp; Hydrology kierowałem zespołem obliczeń naukowych, czterema bezpośrednimi podwładnymi, i przebudowałem infrastrukturę od podstaw. 7-węzłowa prywatna chmura Proxmox VE z hiperkonwergentną pamięcią Ceph na podwójnych przełącznikach 100Gb. 8-węzłowy klaster HPC na HDR InfiniBand z Slurmem, z SR-IOV dającym maszynom wirtualnym dostęp do sieci szkieletowej i EasyBuild do budowania oprogramowania. Migracja z GPFS na pamięć Ceph w całości na NVMe. Ansible z Netboxem jako źródłem prawdy dla wszystkiego: zarządzania poprawkami, kontroli dryfu konfiguracji, integracji z Cloudflare, PowerDNS i Active Directory. Dynamiczny routing OSPF dla sieci chmurowych. Lokalne mirrory repozytoriów dla maksymalnej szybkości i spójności wdrożeń. Ponowne wdrożenie środowiska HPC z CentOS 7 na Rocky 9. Cloudflare do DNS (w tym DNSSEC), ochrony przed DDoS i zdalnego dostępu Zero Trust. Obejmowało to migrację 25 autorytatywnych stref DNS z samodzielnie hostowanego BIND 9 do Cloudflare w dwa dni robocze. Zaktualizowano kilka rejestrów, a całość zintegrowano z Ansible i Let\u0026rsquo;s Encrypt.\nWszystko na narzędziach open source, przy napiętym budżecie, celowo zbudowane tak, żeby uciec z pułapki licencyjnej Broadcom i VMware, zanim się zatrzasnęła. To rozstrzygnęło spór. Infrastruktura open source w tej skali nie jest tylko wykonalna: jest lepsza, a ja mam klaster i faktury, żeby to udowodnić.\nDrugą połową tej pracy były cztery osoby w zespole. Naukowców nie obchodzi, jak nazywa się pamięć masowa. Obchodzi ich, czy zadanie ruszy dziś w nocy i czy osoba, którą pytają, umie wyjaśnić odpowiedź tak, żeby nie poczuli się głupio, że zapytali.\nJak to wszystko się łączy Przejście do presales w croit nie było zmianą kierunku. To było wszystko, co wylądowało w jednym miejscu.\nIT w produkcji Niezawodność nie jest opcją, gdy produkcja zależy od ciebie Wsparcie pierwszej linii Nauka słuchania, komunikacji i cierpliwości Tworzenie aplikacji Budowanie systemów, które rozwiązują prawdziwe problemy firmy Globalne zarządzanie IT Dźwiganie ciężaru technicznego i rozwijanie ludzi naraz Głęboka inżynieria Linuksa Ostatni szczebel eskalacji: nie ma do kogo zadzwonić Krytyczny DNS w Nominet Infrastruktura w skali kraju i dyscyplina Infrastruktura i hosting VMware, pamięć masowa i odtwarzanie po awarii na dużą skalę Obliczenia naukowe (UKCEH) Przebudowa na Proxmox VE + Ceph + HPC, wszystko open source Presales w croit Zaprojektuj system, obroń projekt, bądź w tym uczciwy IT w produkcji nauczyło mnie, że niezawodność przestaje być kwestią gustu w chwili, gdy zależy od niej produkcja. Wsparcie pierwszej linii nauczyło mnie słuchać, zanim zrobię cokolwiek innego. Tworzenie aplikacji nauczyło mnie budować systemy, które rozwiązują problem firmy, a nie problem ciekawy. Kierowanie globalnym zespołem nauczyło mnie dźwigać ciężar techniczny i jednocześnie rozwijać ludzi wokół siebie, co jest trudniejsze niż każda z tych połówek osobno. Trzecia linia Linuksa nauczyła mnie, jak to jest być ostatnim szczeblem eskalacji. Dwadzieścia lat prowadzenia Windows i Linuksa obok siebie nauczyło mnie, jak platformy naprawdę zachowują się pod obciążeniem, w odróżnieniu od tego, co obiecuje karta katalogowa. VMware, które prowadziłem prawie w każdej roli od 2008 roku, nauczyło mnie, jak wygląda korporacyjna wirtualizacja na dużą skalę, a potem, co się dzieje, gdy grunt handlowy przesuwa się pod platformą, na której stoi całe środowisko. Pamięć masowa i sieci nauczyły mnie, gdzie mieszkają trudne problemy. Bezpieczeństwo przewijało się przez wszystko, od zapór i VPN-ów na początku po DNSSEC, Zero Trust i utwardzanie systemów teraz. Nominet nauczył mnie dyscypliny.\nZłóż to wszystko razem i wychodzi presales. Projektujesz system, potem bronisz projektu i pozostajesz uczciwy co do tego, czego on nie zrobi, bo ktoś zaraz wyda prawdziwe pieniądze na twoje słowo.\nW croit oznacza to pracę z firmami w Europie i regionie Azji i Pacyfiku, które przemyśliwają od nowa swoją wirtualizację i pamięć masową. Rozmowy zwykle dotyczą odejścia z VMware na Proxmox VE z Ceph. Obciążenia, które się przenoszą, to głównie Windows, więc doświadczenie z wieloma platformami to nie stara historia. To jest to, czym się teraz zajmuję.\nCzęść, na której mi zależy, to uczciwość. To, co komuś przedstawiam, musi być rzeczą, która działa w jego budynku, w jego skali, z ograniczeniami, które naprawdę ma, a jeśli jego obecny sprzęt robi już większość roboty, to właśnie to mu powiem.\nSTOS, KTÓRY DZIŚ PROJEKTUJĘ I BUDUJĘ Automatyzacja i źródło prawdy Ansible · NetBox · Let's Encrypt Obliczenia Proxmox VE: maszyny wirtualne KVM + kontenery LXC Pamięć masowa Ceph: bloki RBD · CephFS · całość na NVMe Sieć Sieć szkieletowa 25/100GbE · BGP / OSPF · natywne IPv6 Fundament Open source, na sprzęcie, który należy do ciebie Pamięć masowa Pamięć masowa ciągle okazywała się miejscem, gdzie siedziały najtrudniejsze problemy. To nie był świadomy plan kariery: po prostu tak wyszło.\nFascynacja zaczęła się wcześnie. W latach dziewięćdziesiątych marzyłem o dyskach Iomega Zip i Jaz: 100MB, a potem cały gigabajt na jednej wymiennej kasecie, gdy dyskietki, którymi wszyscy inni się wymieniali, mieściły tylko 1,44MB. To był drogi sprzęt, więc przez lata pozostawał w kategorii „chciałbym”, a nie „mam”. Zanim w końcu dorobiłem się napędu Zip na USB, zaczęły się właśnie pojawiać pendrive\u0026rsquo;y, a format, którego tak długo chciałem, był już na wylocie. Wczesna lekcja tego, jak szybko zmienia się pamięć masowa i jak szybko dzisiejsze „muszę mieć” staje się jutrzejszym gratem w szufladzie.\nNośniki optyczne były częścią tej samej historii. W 1998 roku miałem czterobiegowy napęd HP CD-RW i był to prawdziwy skarb. Potrafił czytać i nadpisywać płyty, których późniejsze, szybsze napędy po prostu nie chciały ruszyć, więc zarabiał na siebie jako napęd ratunkowy długo po tym, jak powinien pójść na emeryturę.\nZaczęło się od interfejsów. Pracowałem ze sprzętem pamięci masowej wszelkiego rodzaju. IDE, kilka generacji SCSI, SATA, SAS i NVMe po stronie pamięci podłączanej bezpośrednio. ATA over Ethernet i iSCSI po stronie pamięci sieciowej. HP 3par, Dell Compellent, Dell PowerVault, Nexsan: każdy z własnymi dziwactwami i sposobami, w jakie się psuje.\nStamtąd poszło w górę stosu. Klastrowy LVM nauczył mnie, jak zachowuje się współdzielona pamięć masowa, gdy kilka węzłów potrzebuje jednoczesnego dostępu, i co się dzieje, gdy blokady i fencing nie są ustawione dobrze. ZFS nauczył mnie, co się dzieje, gdy naprawdę myślisz o integralności danych na poziomie systemu plików. GPFS pokazał mi równoległe systemy plików na dużą skalę. Ceph nauczył mnie, jak systemy rozproszone zachowują się inaczej przy awarii.\nZ biegiem lat to, co zaczęło się jako „ten, co przy okazji robi też pamięć masową”, zamieniło się w „tego, do kogo dzwonisz, gdy pamięć masową trzeba porządnie zaprojektować”.\nSieci Sieci były ze mną od samego początku. To nie jest umiejętność pomocnicza: to umiejętność podstawowa. TCP/IP, DHCP i DNS przewijają się przez każdą rolę, jaką miałem, od McKenna począwszy.\nPraca w Nominet oznaczała pracę przy infrastrukturze stojącej za brytyjskim rejestrem nazw domen. To DNS w skali kraju. Nazewnictwo, rozwiązywanie nazw, delegacja i oczekiwanie, że zadziała za każdym razem.\nProwadziłem strefy autorytatywne na BIND 9, konfigurowałem DNSSEC, ustawiałem load balancery F5 dla IPv4 i IPv6, a później migrowałem całe środowiska DNS do Cloudflare z automatyzacją przez API i integracją z Let\u0026rsquo;s Encrypt. Budowałem infrastrukturę DNS do bootowania przez PXE przy wdrożeniach klastrów zarówno w Wielkiej Brytanii, jak i w Chinach. Rozumiem DNS z obu stron. Hostowany samodzielnie, gdzie każda awaria jest twoja. I zarządzany, gdzie ufasz dostawcy i musisz to zaufanie sprawdzać przez monitoring.\nPoza DNS sieci przewijają się przez każdą rolę, jaką miałem. VLAN-y, bonding, LACP, strefowanie Fibre Channel z Brocade, zapory Fortinet i Cisco ASA, IPTables i IPset. Projektowanie sieci szkieletowych 25GbE i 100GbE, BGP, dynamiczny routing OSPF, zarządzanie MTU, architektura IPv6. Tunelowanie VPN: od OpenVPN na trudnych łączach międzynarodowych po WireGuard i cloudflared do nowoczesnego bezpiecznego dostępu. Samba też była moją zawodową umiejętnością w kilku rolach, łącząc udostępnianie plików na Linuksie z integracją z domeną Windows długo przed tym, zanim testowałem implementację AD w wersji alfa.\nKlaster Ceph to aplikacja sieciowa. Sufit wydajności pamięci masowej wyznacza sieć pod spodem. Sposoby awarii to sieciowe sposoby awarii. Tego się nie uczysz z podręcznika. Tego się uczysz, rozwiązując problemy o drugiej w nocy.\nLinux Od ponad dwudziestu lat pracuję z rodzinami RHEL, Debian, SUSE i Fedora. Zawodowo oznaczało to RHEL i CentOS dla usług produkcyjnych, Ubuntu do hostingu aplikacji, Rocky do HPC, a Gentoo i Fedorę do użytku prywatnego. Zdałem test umiejętności z Linuksa na LinkedIn.\nGłębia wzięła się z problemów, na które nie ma odpowiedzi na Stack Overflow, i tam właśnie poznajesz podsystem PCI porządnie, a nie z plotek: grupy IOMMU, ACS, VFIO, SR-IOV, Resizable BAR i to, ile po cichu kosztuje cię translacja DMA, a parametry rozruchowe jądra jako przełączniki, które zmieniają zachowanie maszyny, a nie listę do skopiowania z wiki, bo czyjś blog twierdził, że to naprawiło jego problem.\nProblemy z wydajnością pamięci masowej i wirtualizacji prawie zawsze prowadzą do warstwy, w którą nikt nie zajrzał. Tam mieszka moja wiedza o Linuksie.\nWindows Linux to miejsce, gdzie teraz spędzam czas, ale strona Windows jest tak samo prawdziwa i była obecna w każdej pracy, jaką miałem. Windows Server, Active Directory, LDAP, Exchange, IIS, Microsoft SQL Server. Nic z tego nie jest dawną umiejętnością, którą odłożyłem.\nMa to znaczenie na poziomie gościa, czyli tam, gdzie większość ludzi przestaje patrzeć. Gdy obciążenie Windows działa na KVM, osoba, która umie ci powiedzieć, jak ten gość zachowuje się przy danej topologii procesora, i umie wyśledzić skargę na wydajność aż do poprawki Microsoftu, zamiast zrzucać winę na hiperwizor, to osoba, która spędziła lata po obu stronach płotu. Większość sporów o wydajność maszyn wirtualnych, jakie widziałem, wygrał ktoś, kto znał gościa, a nie hosta.\nLudzie, których wspierałem, to wszyscy od profesorów i członków zarządu po zespół, który dba o budynki. Praca jest w każdym przypadku ta sama. Dowiedz się, czego naprawdę potrzebują, spraw, żeby działało, i wyjaśnij to tak, żeby nie poczuli się głupio, że zapytali.\nVMware VMware to platforma, na której zawodowo dorastałem, w siedmiu rolach od 2008 roku, i prowadziłem cały jej stos: ESXi, vCenter, vSAN, klastrowanie vSphere, vMotion. Wiem, co robi dobrze. Wiem, gdzie nie. I patrzyłem, jak przejęcie przez Broadcom przepisuje rzeczywistość handlową pod firmami, które zbudowały na nim całe środowisko, a to coś innego niż czytanie o tym.\nNie pomożesz komuś odejść z platformy, na której nigdy porządnie nie pracowałeś. Dlatego mogę im powiedzieć, z czego rezygnują, co dostają i która część migracji będzie gorsza, niż dano im do zrozumienia.\nAutomatyzacja Myślenie o automatyzacji zaczęło się w mojej pierwszej zawodowej roli w 2006 roku. Skrypty VB w McKenna do automatyzacji mapowania dysków w AD, przypisywania drukarek i wdrażania oprogramowania. Potem narzędzia do zakładania kont z danych kadrowych w AD w BT Engage IT. Potem systemy bootowania przez PXE dla bezdyskowych klastrów obliczeniowych w Sondrel. Potem Puppet w Nominet. Potem pakiety Chocolatey i przebudowa przez PXE w firmie handlowej. Potem dostosowywanie przepływów pracy w ServiceNow w kilku rolach.\nTeraz to Ansible z Netboxem jako źródłem prawdy. Nie dlatego, że są modne, ale dlatego, że infrastruktura, której nie da się odbudować z kodu, nie jest infrastrukturą, której możesz ufać.\nDokumentacja to ten sam argument. Wiedza, która żyje tylko w czyjejś głowie, to pojedynczy punkt awarii, i o piątej po południu wychodzi z budynku razem z resztą. Tak samo jak dysk bez żadnej redundancji za nim, i traktuję ją z taką samą powagą.\nMonitoring Moje doświadczenie z monitoringiem zaczęło się od SolarWinds w Pulsant, przy monitoringu na dużą skalę całego środowiska hostingowego. Zabbix przyszedł później i zasłużył na osobną wzmiankę, bo wstawiałem go prawie wszędzie od tamtej pory. Zaczęło się w Nominet, gdzie prowadziłem przetarg i testy, a potem przenieśliśmy się na Zabbix w miejsce starzejącego się Hyperic od VMware, i wygrał tym, że był naprawdę intuicyjny, a nie kolejną rzeczą z Nagiosem pod spodem. Potem wdrożyłem go od zera na platformie hostingowo-infrastrukturalnej, zastąpiłem nim czyjąś nieudaną próbę w handlu detalicznym i używałem go do pilnowania 8-węzłowego klastra HPC w UKCEH.\nZa każdym razem sam projektowałem szablony monitoringu i pisałem skrypty. Zanim podszedłem do egzaminów Zabbix Specialist i Professional w 2018 roku, wdrażałem go już od lat.\nKomunikacja Praca przy krytycznej infrastrukturze uczy precyzji. Praca w presales uczy jasności. Jedno z drugim jest powiązane, ale to nie to samo.\nPrecyzja nic nie znaczy, jeśli słuchacz nie nadąża za rozumowaniem, więc musiałem się nauczyć robić to samo wyjaśnienie dwa razy: raz dla inżyniera, który chce zobaczyć mapę CRUSH, i raz dla tego, kto musi zatwierdzić, dlaczego budżet jest taką liczbą, a nie inną. Niczego nie upraszczam na siłę. Po prostu pokazuję każdy krok rozumowania i pozwalam im mnie zatrzymać, gdzie chcą.\nLata pracy z użytkownikami końcowymi nauczyły mnie innego rodzaju cierpliwości. Ludzie, którzy uważają się za najmądrzejszych w pokoju, zwykle zachowują się najbardziej bezradnie. Ci, którzy zaczynają od „nie jestem zbyt techniczny”, zwykle słuchają, idą za krokami i mają sprawę załatwioną w dziesięć minut. A ci, którzy mówią ci, że dokładnie wiedzą, co robią, zazwyczaj zdążyli wszystko pogorszyć, zanim podnieśli słuchawkę.\nDoświadczenie z systemami biznesowymi pomaga tu bardziej, niż ludzie się spodziewają, bo zawsze musiałem tłumaczyć w obie strony. Architektura SQL dla kierownika operacyjnego, projekt pamięci masowej dla CTO albo siedzenie obok kogoś przy jego własnym biurku i pokazywanie mu tego, czego nikt mu nigdy nie pokazał. Za każdym razem ta sama umiejętność.\nSpołeczność Dzielenie się wiedzą przewijało się przez całą karierę.\nByłem aktywny na forach Gentoo, gdy budowałem systemy ze źródeł i musiałem zrozumieć, dlaczego dana kombinacja flag USE psuje kompilację. Udzielałem się na forach Samby, gdy przerabiałem problemy z udostępnianiem plików i integracją z domeną na Linuksie i Windows. To było coś więcej niż zadawanie pytań. Zbudowałem oparty na Sambie kontroler domeny Active Directory, gdy obsługa AD była jeszcze w wersji alfa. Testowałem go z klientami Windows 2000, XP i Vista i przekazywałem wyniki społeczności.\nTeraz aktywnie udzielam się na forach społeczności Proxmox jako DamienDye. Pomagam przy wydajności passthrough NVMe, strojeniu maszyn wirtualnych z Windows, rozwiązywaniu problemów z Ceph i sieciach klastrów.\nTechnologie się zmieniają. Zasada nie. Jeśli coś rozpracowałem, nic nie zyskam, trzymając to dla siebie, a ktoś o drugiej w nocy za sześć miesięcy będzie zadowolony, że jest to zapisane.\nMam też zwyczaj wgryzania się w problemy dalej, niż wymaga samo zadanie. Zaprojektowałem własną płytkę ochrony przed utratą zasilania dla NVMe, bo chciałem dokładnie zrozumieć, dlaczego uszkodzenia FTL zdarzają się na poziomie sprzętu. Badałem protokoły samodzielnie hostowanej poczty, bo chciałem zrozumieć JMAP od RFC w górę, a nie po prostu ufać dostawcy. Zbudowałem tego bloga, bo porządne spisywanie rzeczy to sposób na znalezienie luk we własnym zrozumieniu.\nSpołeczność z dala od klawiatury Nie wszystko to były fora.\nW 2018 roku byłem jednym z założycieli Longford Park Community Association w Banbury, na osiedlu, na którym mieszkam. Cztery etapy nowej zabudowy, dom kultury wpisany w plany i nic, co mogłoby go prowadzić. Więc garstka mieszkańców coś założyła.\nNajpierw zająłem się stroną IT, bo to miałem do dania. Domena lpca.org.uk ruszyła w styczniu 2018 roku, a za nią zbudowałem stronę, systemy pocztowe i listy komitetu oraz napisałem politykę prywatności.\nByłem w komitecie od początku, a jego przewodniczącym od grudnia 2018 do lutego 2020 roku. Czternaście miesięcy, i wszystko, co naprawdę miało znaczenie, zmieściło się w nich. Zarejestrowaliśmy stowarzyszenie jako organizację charytatywną 11 lutego 2019 roku, pod numerem 1181953. Załatwiłem komercyjną dzierżawę budynku. Potem otworzyliśmy dom kultury.\nPo to był przewodniczący. Nie po porządki obrad i protokoły. Żeby otworzyć budynek, do którego może wejść kilkaset gospodarstw domowych. Mieszkańcy wolontariusze nadal go prowadzą dla etapów od 1 do 4 osiedla: trzy sale, kuchnia i parking, wynajmowane na godziny każdemu z osiedla, kto ich chce.\nKomitety wolontariuszy działają na dobrej woli, a dobra wola to nie model zarządzania. Więc pilnowałem, żeby ludzie trzymali się statutu, łącznie ze mną. Pytałem, dlaczego rekrutujemy z zewnątrz, skoro statut mówił, żeby angażować mieszkańców, i zatrzymałem wysyłkę, która miała wylądować w każdym folderze spamu na osiedlu. Nie po to, żeby robić trudności. Stowarzyszenie mieszkańców, które nie potrafi dotrzeć do mieszkańców, już zawiodło w jedynym zadaniu, jakie ma, a razem ze skargą wysłałem linki, jak to naprawić.\nDom kultury nadal działa, a ja nie jestem w komitecie, i tak właśnie powinno być. Coś, co działa tylko wtedy, gdy stoisz obok i to podtrzymujesz, nigdy nie zostało porządnie zbudowane.\nTa strona Ten blog to statyczna strona w Hugo z motywem PaperMod. Jest hostowana na Cloudflare Workers, które serwują zbudowaną stronę jako zasoby statyczne.\nPiszę tu o infrastrukturze, z którą pracuję na co dzień: Proxmox VE, Ceph, Ansible, Netbox, certyfikaty i cokolwiek innego, w co akurat wgryzałem się w danym tygodniu. Jest pisana po to, żeby z niej korzystać, z poleceniami i liczbami w środku, bo wpis, za którym nie da się pójść przy klawiaturze, to tylko dekoracja. Bez marketingowej waty. Jeśli coś ma szorstkie krawędzie, wpis to mówi.\nKontakt Znajdziesz mnie na LinkedIn albo na forach Proxmox.\nJeśli rozważasz Ceph albo Proxmox u siebie i chcesz porządnie o tym porozmawiać, a nie wysłuchać prezentacji sprzedażowej, napisz do mnie. Przynieś obciążenie, ograniczenia i budżet, który naprawdę masz. Powiem ci, co to zrobi, czego nie zrobi, a jeśli uczciwa odpowiedź brzmi, że powinieneś zostać przy tym, co masz, i porządnie to skonfigurować, to też dostaniesz taką odpowiedź.\n","permalink":"https://blogs.damiendye.uk/pl/about/","summary":"Damien Dye: Presales Engineer, specjalista od infrastruktury i zwolennik open source.","title":"O mnie"}]