[{"content":"50 TOPS a fazer nada Todos os portáteis Ryzen AI vendidos nos últimos dois anos têm lá dentro uma Neural Processing Unit (NPU), um bloco de silício feito apenas para a matemática por trás dos modelos de IA. No meu, um ThinkPad com um Ryzen AI 7 PRO 350, a AMD classifica-a em até 50 TOPS, biliões de operações por segundo1. Pagaste por ela. Numa instalação Linux de base não faz nada.\nIsso mudou este ano. Depois de configurada, a NPU corre um modelo de linguagem de 4 mil milhões de parâmetros por trás de uma janela de chat, mais voz para texto, tudo no portátil, sem conta, sem subscrição e sem nada a sair da máquina, o que, para tudo o que preferias não escrever no site de outra pessoa, é exatamente o objetivo. O chip inteiro consome cerca de 21 W enquanto responde, e em repouso fica abaixo dos 9 W.\nO que corre Onde Endereço Qwen 3.5 4B, contexto de 256k tokens NPU, num contentor http://[::1]:52625/v1 Voz para texto: o Whisper da OpenAI, whisper-v3:turbo NPU, mesmo contentor o mesmo, /audio/transcriptions Open WebUI, a página de chat CPU, num contentor http://[::1]:3000 driver de kernel amdxdna, firmware host /dev/accel/accel0 Duas regras moldaram a construção. Só o driver do kernel e o seu firmware vão para o host; todas as frameworks de modelos correm num contentor podman rootless. E todos os serviços escutam apenas no loopback IPv6, sem nada em IPv4. Ambas acabaram por dar menos trabalho do que fazer as coisas à trouxe-mouxe, e ambas apanharam problemas que de outra forma eu teria deixado passar.\nO que é preciso em Linux A NPU deste chip é o design de segunda geração da AMD, XDNA2. Isso importa, porque o software que corre modelos de linguagem nela suporta peças XDNA2 (séries Ryzen AI 300 e 400, Strix Halo) e não a primeira geração dos Ryzen 7040 e 80402. Verifica a tua antes de começares:\n$ lspci -nn | grep -i \u0026#39;neural\\|signal processing\u0026#39; c5:00.1 Signal processing controller [1180]: Advanced Micro Devices, Inc. [AMD] Strix/Krackan/Krackan2/Strix Halo Neural Processing Unit [1022:17f0] (rev 20) Há quatro camadas entre esse dispositivo e uma resposta no chat, e a divisão entre host e contentor é todo o design:\nCamada O que é Vive em amdxdna driver de kernel, cria /dev/accel/accel03 host, via DKMS Firmware da NPU npu_7.sbin, 1.1.2.64 neste chip host, do linux-firmware XRT + plugin amdxdna a biblioteca de runtime da AMD e o seu backend para a NPU contentor FastFlowLM o runtime de LLM, kernels da NPU incluídos contentor O que vive no host e o que vive num contentor Podman rootless, recompilado quando eu quiser Open WebUI página de chat, no CPU [::1]:3000 FastFlowLM [::1]:52625 XRT + plugin da NPU ajustado ao commit do driver Host: o módulo de kernel e o seu firmware, mais nada Sem XRT, sem runtime, sem modelos. Um nó de dispositivo é tudo o que passa para o contentor. módulo amdxdna, compilado pelo DKMS npu_7.sbin NPU XDNA2 /dev/accel/accel0 A divisão. Tudo o que muda com frequência vive num contentor; o host fica com um módulo de kernel e o seu firmware, e um único nó de dispositivo é a única coisa que atravessa. O kernel 7.x traz o amdxdna na árvore, mas a AMD desenvolve-o primeiro no seu próprio repositório, e o plugin de espaço de utilizador tem de corresponder ao módulo de kernel com que fala4. A distância entre os dois não é pequena. Neste portátil:\nNa árvore, 7.2.15 e 7.3.3 do Fedora Fora da árvore, amd/xdna-driver em 24dfd686 Interface do driver 0.105 0.19 Versão do módulo nenhuma 2.27.0_20261113 IDs PCI de NPU que associa 6 8 Ficheiros de firmware que pede 7 59 Firmware que este chip carrega 17f0_10/npu_7.sbin, 1.1.2.64 o mesmo ficheiro Nove versões de interface de diferença, e o Linux 7.3, a versão mais recente, ainda traz a 0.10. A única coisa em que concordam é o firmware, e esse vem do linux-firmware do Fedora, não de nenhum dos drivers. Por isso compilo as duas metades a partir de um só commit do amd/xdna-driver, ponho o módulo no host e meto o espaço de utilizador correspondente na imagem.\nO driver: compila tudo, fica só com a parte do kernel O amd/xdna-driver traz o XRT como submódulo git, e compilá-lo produz RPMs para o XRT e um pacote de plugin. O pacote de plugin também traz o código-fonte do driver, que regista no DKMS (Dynamic Kernel Module Support, a coisa que recompila um módulo para cada kernel novo). Nada disto é difícil:\ngit clone --recursive https://github.com/amd/xdna-driver.git \u0026amp;\u0026amp; cd xdna-driver sudo ./tools/amdxdna_deps.sh (cd xrt/build \u0026amp;\u0026amp; ./build.sh -npu -opt) # XRT RPMs in xrt/build/Release/ (cd build \u0026amp;\u0026amp; ./build.sh -release) # plugin RPM, driver source inside No Fedora 45 o script de dependências termina num erro. Ignora-o:\nPede O que acontece Importa? protobuf-devel entra em conflito com um protobuf3-compiler instalado não, sem ele o XRT só salta uma ferramenta de tracing redhat-lsb não existe tal pacote, o Fedora deixou-o cair não tudo o resto já instalado A última versão com tag lá é de fevereiro, por isso o main é o canal de lançamento. Passei de uma compilação de maio para a de novembro: 550 commits, XRT 2.23 para 2.27.\nO upgrade apaga o driver que acabou de instalar A minha primeira tentativa de upgrade levou o módulo por completo. O RPM corre o script de instalação do pacote novo, que compila e regista o novo driver no DKMS, e depois corre o script de remoção do pacote antigo. Esse script de remoção lê a versão do driver de um ficheiro que o pacote novo já sobrescreveu, por isso desregista a versão que acabou de ser instalada. A saída do dnf di-lo em duas linhas, uma a seguir à outra:\n\u0026gt;\u0026gt;\u0026gt; Successfully installed and enabled DKMS for xrt-amdxdna/2.27.0 \u0026gt;\u0026gt;\u0026gt; Removing driver source: xrt-amdxdna/2.27.0... Nada falhou, nada ficou a vermelho, e o arranque seguinte teria carregado discretamente o que quer que o kernel trouxesse em vez dele. Posso perguntar porque é que um script de remoção corre num upgrade sem verificar se é um upgrade? O RPM entrega essa resposta a cada scriptlet como primeiro argumento. É um if.\nComo um upgrade RPM desregista o driver que acabou de instalar Um dnf upgrade, pela ordem em que o RPM o corre %post novo compila a 2.27, regista-a no DKMS 2.27 no DKMS ficheiros novos chegam o ficheiro de versão diz agora 2.27 2.27 no DKMS %preun antigo lê esse ficheiro, desregista a 2.27 2.27 desaparece arranque seguinte o módulo da árvore carrega, sem aviso não a compilação que fizeste O DKMS tem: A correção é um teste. Um scriptlet %preun recebe $1 = 1 num upgrade e $1 = 0 numa remoção. Só uma remoção devia desregistar alguma coisa. A ordem pela qual o RPM executa um upgrade. O pacote novo regista o seu driver, depois o pacote antigo desregista o que quer que o ficheiro de versão partilhado indique, que nessa altura já é o novo. É também a razão pela qual o host já não recebe os RPMs de todo. O código-fonte do driver é um tarball dentro do pacote de plugin, por isso tiro-o de lá e entrego-o diretamente ao DKMS:\nT=$(mktemp -d) \u0026amp;\u0026amp; rpm2cpio xrt_plugin*.rpm | (cd $T \u0026amp;\u0026amp; cpio -idm --quiet) D=$T/opt/xilinx/xrt/share/amdxdna sudo mkdir -p /usr/src/xrt-amdxdna-2.27.0 sudo tar -xf $D/amdxdna.tar.gz -C /usr/src/xrt-amdxdna-2.27.0 sudo cp $D/dkms.conf $D/configure_kernel.sh /usr/src/xrt-amdxdna-2.27.0/ sudo dkms install xrt-amdxdna/2.27.0 sudo modprobe -r amdxdna; sudo modprobe amdxdna Sem reinício. É Linux, e nada tem o dispositivo aberto nesse momento, por isso o módulo troca a quente. O DKMS depois recompila-o para cada kernel que o dnf instala; quando o 7.3.3 chegou, já estava compilado antes de eu ter reiniciado para ele.\nO driver vai diretamente para o DKMS Do pacote a um módulo carregado, sem instalar o pacote RPM do plugin o código do driver é um tarball lá dentro /usr/src tarball extraído, dkms.conf ao lado dkms install compila o módulo para este kernel modprobe -r depois modprobe: a quente, sem reinício o dnf instala um kernel novo o DKMS recompila antes de reiniciares para ele o rpm2cpio tira o tarball de lá. O host nunca recebe os RPMs, por isso nenhum script de pacote corre lá. O driver passa do pacote para o DKMS sem o pacote alguma vez ser instalado, por isso nenhum script de empacotamento corre no host. Verifica que foi a compilação DKMS que carregou e não a da árvore, e que o firmware é suficientemente recente. O FastFlowLM quer 1.1.0.0 ou posterior2:\n$ modinfo -F filename amdxdna /lib/modules/7.2.15-300.fc45.x86_64/extra/amdxdna.ko.xz $ cat /sys/bus/pci/drivers/amdxdna/*/fw_version 1.1.2.64 $ journalctl -k | grep \u0026#39;Initialized amdxdna\u0026#39; [drm] Initialized amdxdna_accel_driver 0.19.0 for 0000:c5:00.1 on minor 0 O DKMS põe de lado o módulo do próprio kernel em vez de o apagar, em /var/lib/dkms/xrt-amdxdna/original_module/, por isso retirar a compilação DKMS repõe-no.\nMais uma coisa em que não deves mexer: amd_iommu=off na linha de comandos do kernel desativa a NPU2.\nFastFlowLM num contentor O FastFlowLM é o runtime que torna a NPU útil para modelos de linguagem. É uma linha de comandos ao estilo do Ollama e um servidor compatível com OpenAI, escrito para XDNA2, e passou para a organização ROCm da AMD este ano6. O runtime tem licença MIT. Os kernels da NPU que traz são binários fechados, livres de usar e redistribuir sem modificações7. Preferia que fossem abertos, e digo-o, mas estão no repositório e nada tem de ser descarregado de mais lado nenhum.\nA imagem são três fases sobre o Fedora 45: o XRT da compilação do driver, o FastFlowLM compilado contra ele, e depois um runtime só com o que precisa. A parte que importa:\nFROM registry.fedoraproject.org/fedora:45 AS xrt ARG XDNA_COMMIT COPY dist/xdna-${XDNA_COMMIT}/ /rpms/ RUN dnf -y install /rpms/xrt_2*-base.rpm /rpms/xrt_2*-npu.rpm \\ \u0026amp;\u0026amp; rpm -i --noscripts --nodeps --nosignature \\ --excludepath=/usr/lib/firmware --excludepath=/opt/xilinx/xrt/share/amdxdna \\ /rpms/xrt_plugin*.rpm \\ \u0026amp;\u0026amp; echo /opt/xilinx/xrt/lib64 \u0026gt; /etc/ld.so.conf.d/xrt.conf \u0026amp;\u0026amp; ldconfig Cada uma dessas flags está lá porque algo partiu sem ela:\nProblema Correção Os scripts do plugin compilam um módulo de kernel, que pertence ao host --noscripts, e o código-fonte do driver e o firmware excluídos O RPM 6 do Fedora 45 impõe a verificação de assinaturas por predefinição8, e um RPM compilado por mim não está assinado --nosignature: compilei-o eu, sei de onde veio As bibliotecas do XRT estão em lib64, que não está no caminho do linker /etc/ld.so.conf.d/xrt.conf dentro da imagem O FastFlowLM encontra o XRT através do pkg-config, e o setup.sh do XRT não define o caminho PKG_CONFIG_PATH=/opt/xilinx/xrt/lib64/pkgconfig na fase de compilação A imagem final tem 609 MB, e a sua tag traz o commit do driver, fastflowlm:v1.0.12-xdna24dfd686. Uma verificação de saúde compara-o com o commit que o módulo carregado reporta e falha se forem diferentes. Uma imagem compilada para o driver errado é a única avaria aqui que é realmente confusa de diagnosticar, por isso é apanhada antes de chegar tão longe.\nComo a imagem do FastFlowLM é compilada e verificada Três fases sobre o Fedora 45 fase 1: xrt RPMs do XRT e do plugin, sem scripts, sem firmware fase 2: build FastFlowLM compilado contra esse XRT fase 3: runtime só o que precisa, 609 MB Verificação de saúde: a imagem e o host têm de concordar a tag da imagem diz v1.0.12-xdna24dfd686 = o módulo carregado diz 24dfd686 Diferentes: unhealthy, antes de tudo ficar confuso. Três fases de compilação, e uma verificação de saúde que amarra a imagem ao driver para o qual foi compilada. O contentor recebe um dispositivo, a NPU, e o limite de memory-lock de que o FastFlowLM precisa para fixar os seus buffers:\npodman run --rm --device /dev/accel/accel0 --ulimit memlock=-1:-1 \\ localhost/fastflowlm:v1.0.12-xdna24dfd686 validate [Linux] NPU: /dev/accel/accel0 with 8 columns [Linux] NPU FW Version: 1.1.2.64 [Linux] Memlock Limit: infinity O autoteste da própria AMD, xrt-smi validate, pôs a NPU nos 51 TOPS numa multiplicação de matrizes. São os 50 da caixa, entregues.\nArrancar com o sistema, só em IPv6 O Quadlet transforma um pequeno ficheiro .container num serviço systemd9. Como unidade de utilizador corre rootless, como eu, e com o lingering ligado arranca com o sistema sem ninguém com sessão iniciada10:\n[Unit] Description=FastFlowLM NPU server ConditionPathExists=/dev/accel/accel0 [Container] Image=localhost/fastflowlm:v1.0.12-xdna24dfd686 AddDevice=/dev/accel/accel0 Ulimit=memlock=-1:-1 Network=host Volume=%h/.config/flm:/models:Z Exec=serve qwen3.5:4b --host ::1 --port 52625 -c 262144 -a whisper-v3:turbo StopSignal=SIGINT [Install] WantedBy=default.target loginctl enable-linger $USER cp fastflowlm.container ~/.config/containers/systemd/ systemctl --user daemon-reload \u0026amp;\u0026amp; systemctl --user start fastflowlm -c 262144 define a janela de contexto, e o teste de contexto mais abaixo é a razão de ser tão grande. -a whisper-v3:turbo carrega um segundo modelo ao lado do modelo de chat, um que transforma voz em texto; tem a sua própria secção.\nTrês linhas ali foram aprendidas à custa de erros:\nLinha Sem ela StopSignal=SIGINT o FastFlowLM ignora o SIGTERM, o sinal de paragem do podman, e é morto dez segundos depois --host ::1 escuta em 127.0.0.1, IPv4 ::1, não [::1] a forma com parênteses retos não é interpretada; os parênteses pertencem a um URL Prova o endereço em vez de confiares nele:\n$ ss -ltn \u0026#39;sport = :52625\u0026#39; LISTEN 0 4096 [::1]:52625 [::]:* $ curl -s http://127.0.0.1:52625/v1/models || echo refused refused localhost continua a funcionar para tudo o que o resolva primeiro para ::1, o que o /etc/hosts do Fedora e o Chrome fazem.\nOrdem de arranque e os únicos endereços que respondem Arranca com o sistema gestor de utilizador no arranque loginctl enable-linger Quadlet ficheiro .container num serviço dois serviços de utilizador fastflowlm, open-webui Quem lhe chega navegador Open WebUI [::1]:3000 FastFlowLM [::1]:52625 127.0.0.1 recusado NPU O lingering inicia o gestor de utilizador no arranque, o Quadlet cria os serviços, e todos os endereços que respondem estão no loopback IPv6. O que faz, medido Nove modelos pelo benchmark do próprio FastFlowLM, sendo a descodificação a velocidade a que a resposta flui:\nModelo Descodificação, contexto 1k Descodificação, contexto 8k Leitura do prompt, 8k llama3.2:1b 77 tok/s 56 tok/s 2009 tok/s qwen3.5:2b 32 29 1533 llama3.2:3b 30 20 857 phi4-mini-it:4b 25 17 744 qwen3:4b 23 15 613 qwen3.5:4b 17 15 657 gemma4-it:e4b 14 12 642 qwen3:8b 13 10 418 qwen3.5:9b 11 10 451 Velocidade de descodificação por modelo, face ao ritmo de leitura Descodificação com contexto de 1k, tokens por segundo ritmo de leitura, 5 a 8 tokens por segundo llama3.2:1b 77 qwen3.5:2b 32 llama3.2:3b 30 phi4-mini-it:4b 25 qwen3:4b 23 qwen3.5:4b 17 o que eu corro gemma4-it:e4b 14 qwen3:8b 13 qwen3.5:9b 11 Descodificação com contexto de 1k. Todos os modelos passam o ritmo de leitura; a velocidade cai mais ou menos para metade quando o modelo duplica. O ritmo de leitura é de cinco a oito tokens por segundo, por isso qualquer um destes vai à tua frente. A descodificação cai mais ou menos para metade cada vez que o modelo duplica, que é o que se espera quando o limite é a largura de banda da memória e não o cálculo. Eu corro o qwen3.5:4b. O Phi-4 mini é mais rápido, mas o Qwen 3.5 mantém a velocidade à medida que a conversa cresce, lida com imagens e chamadas de ferramentas, e mantém uma cache de prompt que poupa a releitura de todo o histórico a cada vez. É isso que decide.\n256 000 tokens de contexto O Qwen 3.5 foi feito para uma janela de 262 144 tokens11, e o FastFlowLM usa 32 768 por predefinição. Para lá desse limite faz uma coisa que vale a pena saber: regista Max length reached, stopping prefilling e fecha a ligação sem resposta e sem erro, por isso a janela de chat fica ali parada com uma resposta vazia e tens de adivinhar se quem caiu foi o modelo, o servidor ou o navegador.\nPor isso subi-o com -c 262144 e testei-o como deve ser. Um código escondido na primeira linha de um prompt de 232 250 tokens, cerca de 175 000 palavras, pedido no fim:\nContexto 8k Contexto 232k Resposta correta correta, AMBER-FALCON-7731 Leitura do prompt 657 tok/s 210 tok/s Espera pela primeira palavra 12 segundos 18,4 minutos Descodificação 15 tok/s 2,4 tok/s Memória reservada ~5 GB ~12,7 GB Funciona. É lento. E a memória fica reservada quer uses a janela quer não. Com 90 GB na máquina, pago isso para ter uma colagem longa respondida em vez de silenciosamente descartada.\nA GPU pode ajudar? O mesmo chip tem uma Radeon 860M, por isso a pergunta óbvia é se pode ficar com parte da carga. Dividir um modelo entre a NPU e a GPU, lendo o prompt numa e escrevendo a resposta na outra, não é algo que algum runtime Linux faça hoje. Correr um segundo runtime na GPU é, por isso medi isso.\n«Eficiente» aqui significa velocidade e energia juntas. O driver amdgpu reporta a potência do pacote para o chip inteiro sem root, e o driver amdxdna reporta a NPU sozinha, por isso cada execução abaixo foi amostrada quatro vezes por segundo. O mesmo modelo a 4 bits em todas.\nDos runtimes de GPU que vi, um funcionou:\nRuntime Resultado na 860M llama.cpp, backend Vulkan12 funciona; imagem de 881 MB llama.cpp, backend ROCm vê a GPU e depois dá segfault no primeiro trabalho, com ou sem um override da versão da GPU; imagem de 23 GB MLC-LLM, Vulkan13 o seu compilador dá segfault ao compilar a arquitetura do Qwen 3.5 vLLM, SGLang não experimentados: feitos para GPUs de centro de dados e muitos utilizadores, não para uma iGPU de 8 unidades E a NPU contra o que funcionou:\nQwen 3.5 4B NPU, FastFlowLM GPU, llama.cpp Vulkan Em repouso, modelo carregado 8,6 W 16,0 W, contra 9,7 W com ele parado Leitura do prompt, ~6k tokens 557 tok/s a 23,8 W 411 tok/s a 46,1 W Energia por token do prompt 0,043 J 0,112 J Descodificação 18,2 tok/s a 21,0 W 23,5 tok/s a 40,7 W Energia por token gerado 1,16 J 1,73 J NPU contra GPU, o mesmo modelo NPU, FastFlowLM GPU Radeon 860M, llama.cpp Vulkan energia por token do prompt menos é melhor 0,043 J 0,112 J energia por token da resposta menos é melhor 1,16 J 1,73 J repouso, modelo carregado menos é melhor 8,6 W 16,0 W velocidade de descodificação mais é melhor 18,2 tok/s 23,5 tok/s O mesmo modelo, os dois aceleradores, cada barra à escala da maior do seu par. A GPU responde mais depressa; a NPU gasta menos energia em tudo o resto. A GPU escreve respostas cerca de 29% mais depressa. Queima o dobro da potência para o fazer. A NPU lê prompts mais depressa e com menos de metade da energia. O número maior é o do repouso: o servidor na GPU carregado e sem fazer nada custa 6,3 W acima da mesma máquina com ele parado, o dia inteiro. Correr os dois ao mesmo tempo levou a NPU de 18,2 para 14,2 tokens por segundo e a GPU de 23,5 para 13,9, porque partilham a mesma memória. Por isso o contentor da GPU existe, mas é iniciado quando quero um segundo modelo, e não está ativado no arranque.\nA própria NPU consumiu menos de 2 W em todas as execuções. A maior parte dos 21 W é o CPU e a memória a alimentá-la. Esse é o teto a vigiar nas próximas versões do FastFlowLM.\nVoz para texto também na NPU O Whisper é o modelo de reconhecimento de voz da OpenAI: áudio à entrada, texto à saída, em 99 línguas, e lançado sob a licença MIT, por isso corre em qualquer lado sem pedir licença a ninguém14. O Large-v3 é a versão completa atual. O Turbo é o mesmo modelo com o seu descodificador, a metade que escreve o texto, cortado de 32 camadas para 4. O model card põe a troca às claras: «way faster, at the expense of a minor quality degradation». Com 809 milhões de parâmetros, tem um quinto do tamanho do modelo de chat.\nO FastFlowLM traz-o já convertido para a NPU como whisper-v3:turbo, um download de 623 MB, e carrega-o ao lado do modelo de chat com -a whisper-v3:turbo. Não serve o Whisper sozinho; tem de haver também um modelo de chat carregado. O áudio vai para o endpoint de transcrição padrão da OpenAI e o texto volta.\n19,6 segundos de fala Primeiro pedido, a carregar o Whisper 6,2 s Depois disso 2,0 s, cerca de dez vezes o tempo real Potência do chip inteiro ~24,7 W Precisão todas as palavras certas Escritas com as falsas grafias inglesas americanas, atenção: «color» e «program». A API do Whisper aceita um prompt, e um prompt escrito na verdadeira grafia do inglês britânico, o inglês de Inglaterra, de onde a língua vem, chega para o corrigir:\ncurl -s \u0026#39;http://[::1]:52625/v1/audio/transcriptions\u0026#39; -F file=@speech.wav \\ -F model=whisper-v3:turbo -F language=en \\ -F \u0026#39;prompt=British English spelling: colour, programme, organise, centre.\u0026#39; Não devíamos ter de corrigir estes modelos de todo. O Whisper foi treinado em 99 línguas e mesmo assim escreve inglês à americana a menos que lhe digam o contrário, porque as pessoas que o construíram tratam a sua grafia como a predefinição e a de toda a gente como uma opção que tens de pedir. É o irritante «por defeito, à americana» que o resto do mundo detesta, e está embutido como um enviesamento. O prompt de sistema do modelo de chat leva a mesma instrução, na secção abaixo, pela mesma razão.\nUma janela de chat, e 7000 tokens que nunca escreveste O Open WebUI é o front end no navegador15, no seu próprio contentor, ligado a [::1]:3000 da mesma forma e apontado à NPU. O seu botão de microfone vai para o Whisper na NPU em vez da sua própria predefinição, que teria descarregado um modelo e corrido no CPU.\nA primeira mensagem que lhe enviei tinha vinte palavras. Chegou à NPU como um prompt de 7223 tokens, porque o Open WebUI 0.13 anexa as definições de todas as suas ferramentas incorporadas (memória, notas, calendário, automatizações, pesquisa na web) a cada mensagem, e um administrador recebe todas elas.\nA mesma pergunta de vinte palavras Prompt enviado à NPU Espera pela primeira palavra Ferramentas incorporadas ligadas, a predefinição 7223 tokens ~12 s Ferramentas incorporadas desligadas para o modelo 127 tokens menos de 1 s De onde vieram 7000 tokens escreves vinte palavras o Open WebUI acrescenta todas as definições de ferramentas a NPU lê tudo, em cada mensagem Prompt enviado à NPU ferramentas ligadas, a predefinição 7223 tokens, cerca de 12 s até à primeira palavra ferramentas desligadas 127 tokens, menos de 1 s A mesma pergunta de vinte palavras com as ferramentas incorporadas do Open WebUI ligadas e desligadas, desenhada à escala. Para um modelo local, essa predefinição devia estar desligada. Doze segundos, em cada resposta.\nTambém me disse, cheio de confiança, que tinha sido «trained by Google» e que corria «on Google\u0026rsquo;s advanced infrastructure». É um modelo Qwen, feito pela Alibaba, a correr num portátil. Isso é um completo disparate, e não devia acontecer.\nNão é da configuração. Um modelo só vê o texto que lhe é enviado, e o nome na lista pendente é uma etiqueta para o servidor, nunca passada ao modelo. Por isso aquela resposta veio só do modelo, e ele errou o único facto sobre si próprio que nunca devia estar em dúvida. Isso é uma falha de design, e fica com quem lançou o modelo.\nO nome na lista pendente nunca chega ao modelo O que vês nome do modelo na lista pendente prompt de sistema, se o definires as tuas mensagens uma etiqueta para o servidor, nunca enviada O que o modelo vê prompt de sistema, se o definires as tuas mensagens sem nome, sem fabricante, sem máquina enviado sem prompt de sistema, adivinha O modelo recebe o prompt de sistema e a conversa. O nome na lista pendente fica com o servidor. A Alibaba sabia como o impedir. O template de chat do Qwen 2.5 abria cada conversa com «You are Qwen, created by Alibaba Cloud» a menos que lhe desses outra coisa16. O Qwen 3 deixou cair essa linha17, e o Qwen 3.5 também sai sem ela18. Nada a substituiu, e a julgar por aquela resposta o modelo nunca a aprendeu bem o suficiente para se safar sozinho. Pergunta a um modelo 4B «what are you?» sem prompt e ele recorre à resposta mais comum nos seus dados de treino, que é a de outra pessoa.\nÉ uma coisa pequena? Não. Um modelo que te diz, com toda a confiança, quem o construiu e em que centro de dados corre, e erra as duas, fará o mesmo com qualquer outra coisa que não possa verificar. Aqui sabes a resposta certa. Na maioria das vezes não vais saber.\nPor isso tem de lhe ser dito, num prompt de sistema:\nPergunta «what are you, and what are you running on?» Resposta Sem prompt de sistema «a large language model trained by Google… Google\u0026rsquo;s advanced infrastructure» Com um «Qwen 3.5, a large language model created by Alibaba… running locally on your Lenovo ThinkPad using the AMD Ryzen AI 7 PRO 350\u0026rsquo;s NPU via FastFlowLM» O mesmo prompt diz-lhe para escrever em inglês britânico, outra vez por causa do «por defeito, à americana» que o Whisper também tem. Dito, fá-lo. Continua a não conseguir dizer-te que dia é. Um modelo sem calendário e sem internet adivinha datas e acontecimentos recentes, e nem sempre o diz, peça o prompt o que pedir.\nTrês anos para correr IA em Linux A AMD pôs o Ryzen AI em palco em janeiro de 2023 como «the first dedicated artificial intelligence hardware in an x86 processor»19. Conta a partir dessa keynote:\nQuando O que aconteceu em Linux Depois da keynote 4 de janeiro de 2023 Ryzen AI anunciado, no Ryzen 7040 25 de janeiro de 2024 amd/xdna-driver publicado no GitHub4 1 ano 24 de março de 2025 amdxdna no Linux mainline, 6.1420 2 anos e 2 meses 27 de março de 2025 este chip, o Ryzen AI 7 PRO 350, é lançado1 2 anos e 2 meses 11 de março de 2026 FastFlowLM 0.9.35, a sua primeira versão nativa para Linux21 3 anos e 2 meses 11 de agosto de 2026 FastFlowLM 1.0.0, agora sob o ROCm da AMD6 3 anos e 7 meses hoje ainda nenhum runtime de LLM para os 7040 e 80402 3 anos e 10 meses Três anos e dois meses para correr um modelo de linguagem na NPU em Linux, ponto, e não foi o software da própria AMD que o fez. Foi o FastFlowLM, um projeto que começou fora da empresa e foi absorvido sob o ROCm este ano. As suas notas de versão para Linux abrem com «The wait is finally over», e depois dizem que usa «the exact same recipe you already know and love on Windows»21. O Fisher-Price OS (Windows) recebeu-o primeiro, e disseram-no. O próprio Ryzen AI Software da AMD ainda diz, nas notas de versão atuais, «Model generation is not supported on Linux in this release»22.\nQuem comprou a primeira geração está pior. Um portátil Ryzen 7040 de 2023 tem uma NPU em que nenhum runtime de modelos de linguagem em Linux toca, e nada publicado diz que venha algum. O mesmo emblema.\nPosso perguntar porquê? Não quem, porquê. O que é que no processo da AMD deixou vender um chip com IA no nome enquanto o software para usar essa IA em Linux apareceu anos depois, vindo de fora? A ficha técnica diz «Up to 50 TOPS»1. O emblema diz Ryzen AI. Ambas são declarações feitas a quem compra o portátil, e no primeiro ano deste chip em Linux ambas não valeram nada.\nApontado ao Copilot, não ao centro de dados Não é que a AMD ache o Linux difícil. No centro de dados o Linux é de primeira classe e a AMD sabe-o: o El Capitan, em Lawrence Livermore, são processadores AMD EPYC e aceleradores AMD Instinct, foi o computador mais rápido do mundo até junho deste ano23, e corre o TOSS, a compilação própria de Red Hat Linux de Livermore24. Consegues imaginar a AMD a vender um acelerador Instinct e a dizer ao comprador que o software para Linux viria mais tarde, de outra pessoa? Seria um não. A AMD até escreveu o driver de kernel desta NPU e meteu-o no mainline. A última camada, a que põe o hardware a fazer o trabalho para o qual foi vendido, foi a parte que ficou à espera.\nNunca devia ter sido um projeto de portátil. A mesma arquitetura XDNA foi para uma placa de centro de dados no mesmo ano, a Alveo V70, vendida como «the first Alveo production card leveraging AMD XDNA architecture with AI Engines»25. Constrói uma pilha de software para o AI Engine, Linux primeiro como o resto do centro de dados, e o portátil recebe-a de borla. O servidor também. Um acelerador pequeno e frugal é exatamente o que queres distribuir por máquinas virtuais, uma fatia a cada, para os modelos pequenos que não precisam de uma GPU inteira. O kernel só aprendeu a fazer isso este ano, dividindo uma NPU em funções virtuais nas novas peças AIE426. Na NPU deste portátil não o consegue fazer de todo.\nEm vez disso, o esforço foi para o Fisher-Price OS (Windows), e para o Copilot. A AMD lançou a geração deste chip como processadores que «Unlock Transformational AI Experiences for Windows Copilot+ PCs»27. Quase ninguém aderiu. As máquinas Copilot+ foram 2,3% dos PCs Fisher-Price OS (Windows) vendidos no primeiro trimestre de 2025, e as funcionalidades Copilot mais recentes da Microsoft correm na nuvem de qualquer forma: «only one of its new AI capabilities actually requires an NPU»28. A Microsoft também reporta o que ganha com os fabricantes de PCs a cair 7% devido a «lower PC market demand», com «roughly 30% of the installed base still on Windows 10»29. Portanto a NPU foi apontada a um sistema operativo que as pessoas não estão a atualizar, para correr um assistente que não pediram, que na maior parte não usa a NPU.\nTambém não é onde a IA é construída. As pessoas que fazem isto para ganhar a vida correm Linux, porque é lá que as suas ferramentas correm. O TensorFlow diz claramente que a 2.10 «was the last TensorFlow release that supported GPU on native-Windows»30. O servidor de modelos vLLM «does not support Windows natively»31. O JAX lista a sua compilação para Fisher-Price OS (Windows) como experimental, e o seu suporte AMD como «AMD GPU (Linux)»32. Onde o Fisher-Price OS (Windows) corre de facto estas ferramentas, é através do WSL 2, que pela própria descrição da Microsoft é «an actual Linux kernel inside a managed VM»33. A AMD apontou o seu chip de IA ao único desktop que a profissão de IA não usa. Suportar isso em parte não chega, AMD.\nDepois a AMD vende-se aos investidores como uma empresa de IA. A 11 de novembro de 2025, a sua presidente e CEO disse que a AMD «is uniquely positioned to lead the next generation of high-performance and AI computing», num comunicado que se gaba de ter feito crescer o seu «AI PC portfolio 2.5x since 2024» e termina com «full-stack AI solutions»34. Full stack. No PC de IA deste artigo, o topo dessa pilha veio de um projeto que a AMD não começou, e na primeira geração nunca chegou. Uma empresa de IA cujo próprio chip de IA esperou três anos para correr IA no sistema operativo sobre o qual o seu negócio de centro de dados está construído? Ridículo.\nO suporte de primeira classe é simples de descrever. Funciona no dia em que compras a máquina, no sistema operativo que corres, vindo da empresa que te vendeu o chip. Esta NPU ainda não chegou lá. Comprei o portátil pelo resto e a NPU veio por arrasto, que é a única razão pela qual isto é um artigo e não uma reclamação. Quem comprou um pela IA do emblema, e corre Linux, comprou uma promessa que foi cumprida tarde, e por outra pessoa.\nSê dono do silício que pagaste A NPU veio com o portátil. Da forma como é vendida, é a parte que torna a máquina pronta para a IA, e a IA em oferta é a de outra pessoa, no centro de dados de outra pessoa, a ler o que escreves para poder ser paga de outra forma. Nada no hardware precisa desse arranjo. Um modelo 4B a 21 W responde a uma pergunta, lê uma colagem de 175 000 palavras se lhe deres tempo, e escreve o que dizes, e nada disso sai da secretária.\nSoftware acabado não é, e cada aresta por limar acima custou uma hora a encontrar e uma ou duas linhas a corrigir. É isso que o open source custa quando o corres a sério. Continua a ser melhor negócio do que alugar de volta a mesma capacidade, e a hora compra-te saber como funciona.\nOs contentores mantêm-no honesto. Nada no host além de um módulo de kernel e o seu firmware, um dispositivo passado a um contentor, um endereço a que mais ninguém chega, e uma verificação que falha no momento em que as peças deixam de corresponder. Levou um dia. Vai continuar a funcionar, porque sei porque é que cada linha lá está e a verificação vai dizer-me na manhã em que uma delas deixar de ser verdade.\nAMD — Ryzen AI 7 PRO 350 — 8 núcleos, 16 threads, Radeon 860M, «NPU TOPS: Up to 50 TOPS», data de lançamento «3/27/2025».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLemonade — LLMs on Linux with FastFlowLM — só XDNA2 (Ryzen AI 300/400, Strix Halo), não XDNA1; firmware da NPU 1.1.0.0 ou posterior; não definir amd_iommu=off.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLinux kernel documentation — amdxdna — o driver de acelerador na árvore para as NPUs da AMD.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\namd/xdna-driver — driver, submódulo XRT e plugin; compilar o pacote base do XRT a partir do submódulo incluído para que funcione com o plugin; repositório criado a 25 de janeiro de 2024.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLinux v7.3 — drivers/accel/amdxdna/amdxdna_pci_drv.c — AMDXDNA_DRIVER_MAJOR 0, AMDXDNA_DRIVER_MINOR 10; o mesmo na v7.2.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nROCm/FastFlowLM — runtime de LLM na NPU para XDNA2, servidor compatível com OpenAI, parte do ROCm desde a v1.0.0; a versão usada aqui é a v1.0.12.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nFastFlowLM — LICENSE_BINARY.txt — termos para os binários de kernels da NPU incluídos.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRPM 6.0.0 release notes — «RPM defaults to enforcing signature checking».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\npodman-systemd.unit(5) — unidades Quadlet .container, incluindo AddDevice=, Ulimit=, StopSignal= e Exec=.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nloginctl(1) — enable-linger inicia um gestor de utilizador no arranque e mantém-no a correr depois do fim de sessão.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nQwen/Qwen3.5-4B — «Context Length: 262,144 natively»; camadas híbridas Gated DeltaNet e de atenção com gating.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nggml-org/llama.cpp — a imagem de contentor server-vulkan usada nas execuções na GPU, build 12352.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nmlc-ai/mlc-llm — testado com os pacotes nightly 0.26.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nopenai/whisper-large-v3-turbo — «a state-of-the-art model for automatic speech recognition (ASR) and speech translation»; podado a partir do large-v3, «the number of decoding layers have reduced from 32 to 4»; 809M parâmetros; licença MIT.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nopen-webui/open-webui — versão v0.13.3 usada aqui.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nQwen/Qwen2.5-7B-Instruct — tokenizer_config.json — a mensagem de sistema predefinida do template de chat: «You are Qwen, created by Alibaba Cloud. You are a helpful assistant.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nQwen/Qwen3-4B — tokenizer_config.json — template de chat sem mensagem de sistema predefinida.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nQwen/Qwen3.5-4B — tokenizer_config.json — template de chat sem mensagem de sistema predefinida.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nAMD — AMD Highlights Future of High-Performance and Adaptive Computing During Opening Keynote of CES 2023 — 4 de janeiro de 2023: «AMD also unveiled Ryzen AI Technology – the first dedicated artificial intelligence hardware in an x86 processor.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nKernel Newbies — Linux 6.14 — lançado na segunda-feira, 24 de março de 2025; «an amdxdna driver for AMD NPUs».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nFastFlowLM v0.9.35 release notes — 11 de março de 2026: «The wait is finally over… FastFlowLM is officially available natively on Linux!»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nAMD — Ryzen AI Software release notes — problemas conhecidos: «Model generation is not supported on Linux in this release.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nTOP500 — June 2026 — «LineShine debuts as the new No. 1 system, ending El Capitan\u0026rsquo;s run atop the list»; o El Capitan «is based on AMD 4th generation EPYC processors… and AMD Instinct MI300A accelerators».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLLNL — TOSS: Speeding Up Commodity Cluster Computing — «a fully functional cluster operating system, based on Red Hat Linux».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nAMD — Alveo V70 — «the first Alveo production card leveraging AMD XDNA architecture with AI Engines… designed for AI inference efficiency».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLinux — accel/amdxdna: Add basic support for AIE4 devices — «Add initial support for AIE4 devices (PCI device IDs 0x17F2 and 0x1B0B), including… SR-IOV enablement». A tabela do driver dá entradas de funções virtuais apenas a essas peças; a NPU deste portátil é a 17f0.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nAMD — AMD Unveils Next-Gen \u0026ldquo;Zen 5\u0026rdquo; Ryzen Processors to Power Advanced AI Experiences — Computex, 2 de junho de 2024: «AMD Ryzen AI 300 Series Processors Unlock Transformational AI Experiences for Windows Copilot+ PCs».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nEngadget — Microsoft\u0026rsquo;s Copilot+ AI PC plan fizzled, but it still served a purpose — 5 de dezembro de 2025: os sistemas Copilot+ «made up just 2.3 percent of Windows machines sold in the first quarter of 2025»; «only one of its new AI capabilities actually requires an NPU».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nWindows Latest — Microsoft admits its end of support was the real Windows 11 sales driver — 31 de julho de 2026, citando a apresentação de resultados da Microsoft: «Windows OEM and Devices revenue decreased 7%… driven by lower PC market demand»; «roughly 30% of the installed base still on Windows 10».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nTensorFlow — Install TensorFlow with pip — «TensorFlow 2.10 was the last TensorFlow release that supported GPU on native-Windows.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nvLLM — GPU installation — «vLLM does not support Windows natively».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nJAX — Installation — wheels de CPU para «Windows, x86_64 (experimental)»; secções de GPU para NVIDIA, Google Cloud TPU, Mac e «AMD GPU (Linux)».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nMicrosoft — Comparing WSL versions — «the use of an actual Linux kernel inside a managed VM».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nAMD — AMD Unveils Strategy to Lead the $1 Trillion Compute Market and Accelerate Next Phase of Growth — Financial Analyst Day, 11 de novembro de 2025: «AMD is uniquely positioned to lead the next generation of high-performance and AI computing»; «AMD has expanded its AI PC portfolio 2.5x since 2024»; «AMD delivers full-stack AI solutions».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\n","permalink":"https://blogs.damiendye.uk/pt/hardware/ryzen-ai-npu-llm-in-a-container/","summary":"A NPU de um portátil Ryzen AI são 50 TOPS que ficam parados na maioria das instalações Linux. Este artigo mostra como compilar o driver amdxdna da AMD e manter só o módulo do kernel no host, compilar o FastFlowLM com o runtime XRT da AMD num contentor podman rootless ajustado a esse driver, ligar tudo ao loopback IPv6 e iniciá-lo no arranque com o Quadlet. Depois o que faz: nove modelos medidos, um teste de contexto de 232 000 tokens, Whisper de voz para texto a dez vezes o tempo real, o Open WebUI e os 7000 tokens escondidos que acrescentava a cada mensagem, e a velocidade e a energia da NPU medidas contra o llama.cpp na iGPU Radeon 860M. Por fim, a cronologia: três anos desde que a AMD anunciou o Ryzen AI até um modelo de linguagem na sua NPU em Linux, entregue por um projeto que a AMD não começou, enquanto o esforço ia para o Copilot+ no Fisher-Price OS (Windows) em vez do centro de dados e das ferramentas Linux que os profissionais de IA usam realmente.","title":"Correr um LLM na NPU do Ryzen AI, num contentor"},{"content":"Duas reescritas do mesmo daemon O OSD clássico do Ceph é um servidor C++ com threads que cresceu em discos rotativos. Em NVMe rápido e redes rápidas, gasta muito do seu CPU em coisas que não são guardar os teus dados: passar operações entre pools de threads, apanhar locks, esperar por outras threads. Dois projetos decidiram resolver isso reescrevendo o OSD de raiz.\nUm é o Crimson, do próprio Ceph. A documentação do Umbrella chama-lhe «the next generation ceph-osd», construído «to deliver enhanced performance on fast network and storage devices»1. O outro é o FlashStore OSD da croit, do projeto ceph-rust, em preview pública desde 9 de novembro de 20262.\nAmbos dizem ser substitutos diretos. Ambos dizem ser para NVMe. Ambos estão em preview, e nenhum deve guardar dados de produção hoje. Por isso, se corres Ceph em NVMe e te perguntas qual dos dois acompanhar, vale a pena saber onde diferem de facto, porque não é onde os títulos dariam a entender.\nEste artigo compara-os tal como os encontrarias no Ceph 21.2.0, Umbrella: o Crimson tal como essa versão o documenta e distribui, contra o FlashStore, que é construído e testado contra essa mesma versão2. Vem na sequência de FlashStore contra o BlueStore do Umbrella, e tudo o que lá foi dito sobre o FlashStore fica dado como lido.\nDuas reescritas de um daemon ceph-osd clássico C++, threads Crimson Ceph upstream, C++ sobre Seastar croit-flashstore-osd croit, Rust, runtime próprio BlueStore por omissão SeaStore nativo CyanStore sem dados FlashStore o único store Duas reescritas do OSD clássico. O Crimson mantém três stores à escolha, sendo o BlueStore o predefinido; o FlashStore tem um. De onde vem cada um A primeira diferença é quem o constrói e como.\nCrimson FlashStore Construído por Ceph upstream, na árvore principal croit Linguagem C++ Rust Framework Seastar executor single-thread próprio da croit Código em ceph/ceph reescrita clean-room, sem código Ceph ligado Desenvolvimento upstream, aberto snapshots só de leitura na preview; aberto após a primeira versão de produção Licença a do Ceph daemon LGPL-3.0, clientes MPL-2.0 Estado, nas suas próprias palavras «not suitable for production use» «not yet recommended for production data» GA prevista nenhuma indicada 1.º trimestre de 2027 O Crimson vive no repositório do próprio Ceph e é construído pelos programadores do próprio Ceph. Está escrito sobre o Seastar, um framework C++ para servidores thread-per-core que saiu da ScyllaDB3. A documentação do Umbrella diz sem rodeios que «is in a tech-preview stage and is not suitable for production use»1.\nO FlashStore está escrito de raiz em Rust e não liga código Ceph nenhum; o C++ do Ceph é lido como referência e reimplementado a partir das especificações próprias da croit4. O README diz que é para testes e avaliação e «not yet recommended for production data», com disponibilidade geral prevista para o primeiro trimestre de 20272. O repositório público é um snapshot só de leitura: «no issue tracker, no contribution workflow»2.\nEssa linha merece ser lida com atenção. O Crimson é desenvolvido às claras, e qualquer pessoa pode ler os pull requests e discutir neles. O FlashStore, para já, chega como snapshots acabados de uma só empresa: podes ler cada linha, mas ainda não lhe podes mandar um patch. Isso é a fase de preview, não o plano. A preview existe para recolher feedback da comunidade enquanto a croit corre internamente os seus casos de teste de produção, antes de dar o OSD como seguro para uso. O desenvolvimento aberto vem depois dessa primeira versão de produção, o mesmo caminho que a maioria dos projetos open source patrocinados por empresas segue. Isso vem de dentro da croit e não de um roadmap publicado, por isso cobra-lhes a promessa.\nA croit chegou a considerar um fork do Crimson e deixou por escrito porque não o fez. O seu ADR diz que o Crimson «tries to support everything (HDD, alienstore/BlueStore, all pool types)», e acrescenta «Complex code is never fast»4. Isso é a opinião da croit sobre o Crimson, não uma medição, e eu trataria a coisa como tal. O mesmo ADR também rejeitou um fork em parte por causa da LGPL4, e a croit licenciou depois o seu próprio daemon em LGPL-3.0 oito dias mais tarde5. Portanto a licença nunca foi bem a razão.\nSegurança de memória: Rust contra C++ Um OSD é o código que guarda os teus dados. Um use-after-free ou um buffer overrun nele não é um crash de que recuperas reiniciando; são dados corrompidos em disco, copiados para todas as réplicas. É exatamente a classe de bug que as agências de cibersegurança ocidentais passaram os últimos três anos a pedir à indústria que eliminasse no desenho.\nOrientação Quem a assinou O que diz The Case for Memory Safe Roadmaps, dezembro de 2023 CISA, NSA e FBI (EUA), ACSC da ASD (Austrália), CCCS (Canadá), NCSC-UK, NCSC-NZ, CERT-NZ C e C++ não são seguras em memória; publica um roadmap para sair delas Product Security Bad Practices v2.0, janeiro de 2025 CISA e FBI novas linhas de produtos para infraestrutura crítica em C ou C++ são «dangerous» quando há linguagens seguras em memória disponíveis A orientação conjunta di-lo sem rodeios: «Programming languages such as C and C++ are examples of memory unsafe programming languages»6. A CISA e o FBI vão mais longe e chamam perigoso a «the development of new product lines for use in service of critical infrastructure or NCFs in a memory-unsafe language (e.g., C or C++)» quando se podia usar uma alternativa segura em memória7. Isso é orientação, não lei. Mas o armazenamento por baixo de serviços críticos é precisamente o código a que se dirige, e ambos são OSD de nova geração que vão ser julgados por ela.\nO FlashStore cumpre-a. Está escrito em Rust, e o ADR da croit dá a razão numa linha: «Storage = correctness-critical; memory-safety bugs = data loss»8. O compilador verifica a segurança de memória em todo o lado exceto no código marcado unsafe, e o mesmo ADR confina isso aos módulos de FFI, DMA, NVMe e drivers de rede, cada um com um comentário SAFETY8. Contei-o no snapshot: 1216 linhas que mencionam unsafe em 696 125 linhas de Rust, cerca de 0,17%, e estão nos crates de RDMA, runtime, NVMe e store, onde o código fala com o hardware. A própria orientação conjunta nomeia essa porta de saída, notando que o Rust «can contain the \u0026lsquo;unsafe\u0026rsquo; keyword»6, por isso essa é a medida honesta: não é zero, mas é pequena, vedada, e está nos sítios onde a esperarias. O C que chama, SPDK e DPDK, fica atrás dessas mesmas fronteiras8.\nO Crimson não cumpre. É um OSD novo escrito em C++ sobre um framework C++13, que é a linguagem que as agências acima apontam como não segura em memória. Cada linha dele está fora do que um compilador consegue verificar quanto à segurança de memória, e na configuração por omissão entrega o store ao BlueStore, que também é C++.\nCrimson FlashStore Linguagem C++ Rust Segurança de memória verificada pelo compilador não sim, fora de unsafe Código não verificado todo cerca de 0,17% das linhas, código de drivers e FFI Store por omissão BlueStore, C++ FlashStore, Rust Cumpre a orientação de segurança de memória dos Five Eyes não sim Os programadores do Ceph não escolheram o C++ à toa; o Crimson nasceu de uma base de código C++, e reescrever no lugar significava ficar nela. É um caminho de engenharia razoável. Mesmo assim, deixa o OSD de nova geração do Ceph escrito no único tipo de linguagem que as agências de cinco países pediram ao novo código crítico que deixasse para trás.\nComo cada um entra num cluster Esta é a maior diferença prática entre os dois, e não tem nada a ver com desempenho.\nUm OSD FlashStore entra nos pools que já tens. Fica nos mesmos placement groups ao lado de OSD BlueStore clássicos, e trocas um disco de cada vez2.\nUm OSD Crimson não. Nem de perto. A documentação do Umbrella diz: «Crimson OSD won\u0026rsquo;t instantiate PGs from non-Crimson pools»1. O código faz exatamente isso. Quando o monitor pede a um OSD Crimson que crie um PG num pool sem a flag crimson, ele regista «pool lacks crimson flag» e cancela a criação9.\nQue pools cada um serve o teu pool existente sem flag crimson OSD clássico BlueStore OSD FlashStore mesmos PG OSD Crimson só pools crimson PG ignorados pool novo, --crimson autoscale desligado O FlashStore aceita PG nos teus pools existentes. O Crimson só serve pools criados com a flag crimson, por isso precisa de pools novos e dos dados copiados para lá. Por isso um ensaio do Crimson significa pools novos, criados com a flag crimson, e os teus dados mudados para lá. E esses pools vêm com condições que o monitor impõe:\nRegra dos pools Crimson (Umbrella) Onde O autoscaling de PG tem de estar desligado quando o pool é criado OSDMonitor, criação do pool10 Fusão de PG (reduzir pg_num) recusada OSDMonitor, alteração de pg_num11 Divisão de PG só permitida enquanto crimson_allow_pg_split for true o mesmo, e a opção12 Os pools EC têm de ser do tipo EC otimizado, sem exceções OSDMonitor, criação do pool13 Sem OMAP em pools EC o mesmo13 O FlashStore serve pools clássicos, replicados e com erasure coding, e declina as configurações EC que não suporta em vez de as recusar no monitor14. Nenhuma das abordagens está errada. Mas uma deixa-te testar numa cópia da tua disposição real de pools, e a outra obriga-te a construir uma separada primeiro.\nNenhum caminho para os pools que já tens Então, consegues transformar um pool existente num pool Crimson e passá-lo um disco de cada vez? Não.\nA documentação do Umbrella diz que o Crimson está «aiming to allow seamless migration from existing ceph-osd deployments»1. Aiming. A versão não o faz, e o código-fonte mostra porque não pode. A flag crimson é uma opção de ceph osd pool create e de mais lado nenhum15. ceph osd pool set não tem nenhuma variável crimson para definir num pool que já existe16. E um OSD Crimson ignora todos os PG de um pool sem a flag, como se viu acima9. Não encontrei nenhuma ferramenta de conversão no código-fonte nem na documentação.\nMudar um pool existente Crimson (Umbrella) FlashStore, hoje Manter o mesmo pool não, é preciso um pool novo sim O pool pode receber a flag depois não, só na criação não é preciso Como os dados se movem copias tu, de pool para pool o cluster faz backfill Clientes reapontados sim, para o pool novo não Um disco de cada vez não sim Isso faz de uma passagem para o Crimson uma cópia de dados que corres tu: as imagens RBD podem ser migradas a quente «between different pools»17, e os dados de objetos ou ficheiros precisam daquilo que as tuas aplicações usem para os copiar. Depois, cada cliente tem de ser apontado para o pool novo.\nO FlashStore é compatível com os pools que corres hoje. Preparas o disco, o cluster faz backfill dos placement groups que lhe calham, e os teus clientes nunca dão por o pool ter mudado debaixo deles, porque não mudou18. É essa toda a diferença entre uma reescrita que entra no teu cluster e uma que fica ao lado dele.\nO que cada um diz ao monitor O Crimson apresenta-se. No arranque envia osd_type=crimson19, e o monitor recusa deixá-lo entrar a não ser que a flag allow_crimson do OSDMap esteja ativa, com uma linha de log que diz que o crimson-osd «is considered unstable and may result in crashes or data loss»20. Chegar até aí exige quatro comandos da documentação, o primeiro dos quais define uma opção chamada enable_experimental_unrecoverable_data_corrupting_features1.\nO FlashStore faz o contrário. Não envia osd_type nenhum e reporta osd_objectstore=bluestore, por isso o monitor vê um OSD clássico e não faz perguntas21. O artigo anterior explica porquê: o monitor do Umbrella condiciona funcionalidades como as sobrescritas EC a que todos os OSD de um pool reportem BlueStore21. Isso é para os monitores e managers de série que estão em produção hoje. Nas builds do Ceph da própria croit, onde estão corrigidos para o conhecer, o FlashStore reporta-se como flashstore21.\nO que o monitor verifica no arranque OSD Crimson osd_type=crimson mon: allow_crimson ativa? set-allow-crimson não: arranque recusado «crashes or data loss» OSD FlashStore sem osd_type mon: um OSD clássico objectstore=bluestore arranca, sem flag serve os pools existentes O Crimson tem de ser deixado entrar, pelo nome, atrás de uma flag sobre a qual o monitor avisa. O FlashStore entra como um OSD clássico. Prefiro software que me diga o que é. O Crimson diz. A maneira dele é a honesta, e o nome da flag não te deixa dúvidas sobre aquilo com que estás a concordar. A maneira do FlashStore é o que faz o drop-in funcionar nos monitores e managers de série que as pessoas correm agora, e é uma medida de compatibilidade, não o estado final. Ambas são deliberadas, e ambas estão escritas. Só convém saberes com qual estás a lidar quando contas os teus OSD.\nNúcleos: reactors contra threads de polling fixas Os dois projetos deitaram fora os pools de threads. Ainda bem. Ambos correm uma thread por núcleo e dividem o trabalho por núcleo. A diferença está em quanto pedem ao operador e na força com que se agarram ao núcleo.\nCrimson FlashStore Unidade de trabalho reactor Seastar por núcleo thread fixa por núcleo Número de núcleos crimson_cpu_num, sem valor por omissão, tem de ser definido flashstore_cores, 8 por omissão Fixado a núcleos só com crimson_cpu_set sim, flashstore_lcores Comportamento em repouso faz polling 200 µs, depois dorme polling, repouso adaptativo Busy-poll total opcional, crimson_poll_mode é o desenho, com recuo em repouso Alterar depois do deploy não shards do store fixos na preparação No Crimson, crimson_cpu_num «does not have a default value», tem de ser definido antes de fazer o deploy dos OSD, e «cannot be changed after deployment»1. Não fixa threads a não ser que definas também crimson_cpu_set, que a documentação descreve como «generally less recommended due to its complexity»1. O reactor faz polling durante 200 µs quando está parado antes de voltar a dormir, e existe um modo de polling total «at the expense of 100% cpu usage», desligado por omissão22. O SeaStore também recusa uma alteração do número de reactors depois do mkfs23.\nO FlashStore fixa por desenho, faz polling por desenho e recua quando está parado2425. O número de shards do store é fixado quando o store é preparado, a mesma restrição noutro sítio26.\nNa prática, ambos querem núcleos inteiros e ambos querem que os dimensiones antes do deploy. O Crimson faz do polling uma escolha a que aderes. O FlashStore faz dele o comportamento por omissão e deixa a lógica de repouso recuperar parte do CPU.\nO store por omissão do Crimson é o BlueStore Esta é a parte que me surpreendeu. Não devia ter surpreendido.\nO Crimson tem dois tipos de object store. Os nativos correm dentro do reactor Seastar; os não nativos correm através de «a thread pool proxy» para «alien threads: worker threads not managed by Seastar»1. O SeaStore é o nativo. O BlueStore é não nativo. E o BlueStore é o predefinido.\nA documentação é direta sobre isso. O SeaStore «is the primary native object store for Crimson OSD, though it is not the default as the support is in early stages»1. O cephadm faz o deploy do Crimson com --objectstore bluestore a não ser que lhe digam outra coisa, e mesmo assim o SeaStore não pode ser instalado com --method raw; mandam-te usar LVM1.\nO store por omissão do Crimson, contra o FlashStore Crimson, store por omissão reactors Seastar crimson_cpu_num thread pool proxy passagem para fora do reactor alien threads crimson_bluestore_num_threads BlueStore RocksDB sobre BlueFS FlashStore núcleo dono do PG fixo, em polling shard do store, mesmo núcleo sem passagem fila NVMe, mesmo núcleo SPDK ou io_uring Um OSD Crimson por omissão entrega cada operação de store, para fora do seu reactor, a um pool de threads normais que corre BlueStore. O FlashStore mantém o caminho inteiro no núcleo dono do PG. Portanto um OSD Crimson instalado hoje com as opções por omissão corre um front end Seastar por cima do mesmo BlueStore, RocksDB e BlueFS que o OSD clássico usa, com crimson_bluestore_num_threads threads reservadas para isso22. Do lado do store, não mudou nada face ao OSD clássico. É uma maneira sensata de construir um caminho de migração. É também por isso que comparar o «Crimson» com o FlashStore em desempenho quer dizer muito pouco, a não ser que digas que store o Crimson estava a correr.\nA comparação justa para o store é SeaStore contra FlashStore. É o resto deste artigo.\nSeaStore e FlashStore: onde vivem os metadados Ambos os stores foram escritos para NVMe desde o início, ambos estão divididos por núcleo, e ambos guardam os metadados em B-trees próprias em vez de RocksDB. Mesmo assim, as suas estruturas são muito diferentes.\nO SeaStore dá a cada reactor a sua própria raiz27. Por baixo ficam uma árvore de onodes, uma árvore LBA e uma árvore de backrefs. O onode de cada objeto aponta depois para a sua própria B-tree de OMAP e a sua própria B-tree de XATTR, e para extents de dados com endereços lógicos27. A árvore LBA mapeia esses endereços lógicos para físicos, de modo que um bloco pode mudar de sítio no disco sem que as árvores do próprio objeto mudem; a documentação diz que essa indireção é a razão pela qual a maioria dos extents «can be relocated freely»27.\nO FlashStore põe tudo numa única B+tree copy-on-write por shard: onodes, xattrs, OMAP, mapas de extents com um crc32c por bloco de 4 KiB, o PG log e o bitmap do alocador28. Os mapas de extents apontam diretamente para blocos físicos. Não há camada lógica pelo meio.\nOnde vivem os metadados SeaStore raiz árvore de onodes árvore LBA árvore de backrefs onode OMAP B-tree própria XATTR B-tree própria dados end. lógico endereço lógico, depois árvore LBA, depois disco FlashStore uma B+tree COW por shard onodes, xattrs OMAP mapas de extents + crc32c PG log, PG info bitmap do alocador mapa de extents, depois disco SeaStore: uma árvore por tipo de coisa, uma B-tree por objeto para OMAP e xattrs, e uma árvore LBA para encontrar os dados. FlashStore: uma árvore por shard, a apontar diretamente para o disco. Ambas as escolhas têm uma razão. A indireção do SeaStore é o que torna barato o seu cleaner: consegue mover dados vivos sem reescrever todas as árvores que apontam para eles. O FlashStore não precisa disso, porque não tem cleaner, como se verá a seguir. O seu ADR põe «Per-object omap subtree/root» entre as alternativas que considerou e rejeitou28.\nUma diferença a conhecer nos checksums: o SeaStore calcula o crc32c sobre um extent em cache inteiro29, enquanto o FlashStore guarda um por bloco de 4 KiB28.\nA ordem em que uma escrita faz commit O tipo de dispositivo por omissão do SeaStore é SSD, que usa o backend segmentado30. Nesse backend, uma transação é um registo de journal com deltas, e podem acontecer duas coisas aos dados.\nExtents pequenos e de vida curta podem ir inline no registo de journal, e aí o registo é o commit inteiro27. Extents maiores ou de vida mais longa vão para segmentos out-of-line separados, e aí a documentação fixa a ordem: o «final record with the deltas should be written only once the other blocks are persisted»27. São duas escritas em série, a mesma forma do commit dados-depois-RocksDB do BlueStore.\nO FlashStore escreve o extent de dados e a unidade de WAL ao mesmo tempo, põe o crc32c dos dados novos no registo de WAL para que o replay o possa verificar, e confirma quando ambos estão duráveis28. Uma ida ao dispositivo, seja qual for o tamanho.\nQuando o commit pode sair SeaStore extent pequeno registo de journal extent inline + deltas ack 1 ida SeaStore out-of-line extent no segmento OOL esperar persistência registo de journal deltas ack 2 idas FlashStore dados, 4 KiB novos unidade WAL, crc dos dados ack 1 ida tempo SeaStore no seu dispositivo segmentado por omissão: uma ida quando o extent cabe no registo de journal, duas em série quando vai out-of-line. FlashStore: dados e registo de log juntos. Quanto isso importa depende da tua carga, exatamente como na comparação com o BlueStore. Com filas pouco profundas, em que os clientes esperam por cada escrita, uma segunda ida é latência real. Sob carga, o batching esconde a maior parte.\nRecuperar espaço A outra metade de um desenho log-structured é a limpeza.\nO SeaStore no backend segmentado só escreve em segmentos abertos. Antes de um segmento poder ser reutilizado, os seus blocos vivos têm de ser reescritos noutro sítio, e o documento de desenho diz quanto isso custa: «we must \u0026lsquo;clean\u0026rsquo; one byte of an existing segment for every byte written at steady state»27. Mistura parte dessa limpeza com as escritas em curso, para evitar picos, e faz o resto em segundo plano quando o disco está mais sossegado27. O tamanho do segmento é 64 MiB por omissão31.\nO SeaStore tem um segundo backend para NVMe, o random block manager, que a documentação diz ser «Preferred for fast NVMe devices where overwrites are efficient enough that log structured updates aren\u0026rsquo;t worth the overhead»27. Não é o predefinido. Escolhe-se com seastore_main_device_type30.\nO FlashStore não tem segment cleaner. Nenhum. Um bloco substituído volta ao alocador do shard depois de um checkpoint passar por ele, o que acontece a cada cinco segundos enquanto houver trabalho por persistir, ou mais cedo quando o anel do WAL fica meio cheio28. O seu documento de desenho rejeitou de vez uma estrutura log-structured28. Isso não quer dizer que não tenha trabalho em segundo plano: continua a fundir e compactar páginas da árvore e a desfragmentar o espaço livre, a um ritmo controlado sob o I/O dos clientes28. Mas nunca copia os teus dados vivos para arranjar espaço.\nRecuperar espaço SeaStore, segmentado (omissão) segmento fechado blocos vivos + mortos o cleaner reescreve os vivos num segmento aberto segmento vazio discard, reutilização regime estável: limpar cerca de um byte por cada byte escrito FlashStore bloco substituído por um extent novo retido até ao checkpoint a cada 5 s ou WAL meio cheio de volta ao bitmap nenhum dado vivo movido O backend por omissão do SeaStore paga as escritas sequenciais com um cleaner que move dados vivos. O FlashStore liberta os blocos substituídos no lugar depois de um checkpoint e não move nada. Em flash, que já corre a sua própria garbage collection dentro do disco, prefiro que o OSD não corra uma segunda por cima. A própria documentação do SeaStore parece concordar, dado o que diz sobre o backend RBM. A diferença é que o FlashStore fez disso a única opção e o SeaStore fez disso a opção não predefinida.\nEm que corre cada um Crimson (Umbrella) FlashStore HDD sim, com BlueStore; o SeaStore tem um tipo de segmento HDD não NVMe sim sim, o único alvo Proteção contra perda de energia nenhum requisito indicado obrigatória, o mkfs recusa sem ela Disposição do dispositivo LVM para SeaStore via cephadm namespaces inteiros, sem partições Protocolo de rede só msgr2 só msgr2 Backend de I/O io_uring por omissão; linux-aio, epoll SPDK por omissão, nível io_uring Pools pools novos com a flag crimson pools clássicos existentes Mudar dados existentes copiar para um pool novo backfill no mesmo pool Instalado com cephadm, --osd-type crimson pacotes, croit-flashstore-tool Build recomendada a build de CI mais recente de main snapshots de versão O Crimson mantém a abrangência. A documentação diz que o SeaStore «may not be suitable for traditional HDDs», mas que «Crimson will continue to support BlueStore ensuring compatibility with HDDs and slower SSDs»1, e o documento de desenho do SeaStore ainda indica interesse em HDD27. O seu messenger recusa a v1 de vez, «ProtocolV1 is no longer supported»32, a mesma escolha que o FlashStore fez33. A documentação recomenda «one of the latest available builds, as Crimson evolves rapidly», o que na prática quer dizer imagens de CI de main1.\nO FlashStore restringe tudo a NVMe com proteção contra perda de energia, e tira daí a sua simplicidade34. O que é exatamente o compromisso que o ADR da croit descreve, visto do outro lado.\nDuas respostas à mesma pergunta Os dois projetos partiram da mesma observação: o OSD clássico desperdiça hardware rápido. Deram respostas muito diferentes.\nA resposta do Crimson é a da comunidade. Reescrever o OSD no lugar, dentro do Ceph, manter a funcionar todos os stores antigos e todos os discos antigos enquanto o store novo amadurece, e deixar toda a gente ver o trabalho à medida que acontece. Isso é lento, e nota-se. No Umbrella, o OSD Crimson por omissão ainda corre BlueStore através de um pool de threads, os seus pools ficam vedados dos teus, e ligá-lo significa escrever as palavras «unrecoverable data corrupting». Mas pertence a toda a gente que corre Ceph, e ninguém to pode tirar.\nA resposta do FlashStore é a do fornecedor. Escolher um alvo mais estreito, NVMe com proteção contra perda de energia, deitar fora tudo o que só existia para outro hardware, e entregar um store que entra nos pools que já tens. Isso é mais rápido, e também se nota. Mas vem de uma só empresa, como snapshots só de leitura até à primeira versão de produção, e num cluster de série entra dizendo ao monitor que é BlueStore.\nTrabalho para essa empresa, por isso pesa o que se segue em conformidade. A croit fez a aposta técnica certa para clusters all-flash. O Crimson fez a aposta certa para o Ceph enquanto projeto. Não são a mesma coisa. Um projeto que serve toda a gente não pode largar os HDD. Um fornecedor pode, e deve, se é isso que os seus clientes compram.\nO que eu não faria é escolher entre os dois com base num gráfico de benchmark de qualquer dos lados. Os números do Crimson dependem de qual dos seus três stores estava a correr; os do FlashStore vêm do laboratório da própria croit. Ambos os projetos publicam os seus documentos de desenho. Lê-os, depois põe os dois nos discos que irias mesmo usar e corre a tua própria carga. Aquele que continuar a fazer o que os seus documentos dizem quando são os teus dados em jogo é o que vale a pena esperar.\nCeph Umbrella, Crimson (Tech Preview) — «the next generation ceph-osd», «not suitable for production use», as flags obrigatórias, crimson_cpu_num, backends nativos e não nativos, SeaStore «not the default», --method raw não suportado. Fonte: doc/crimson/crimson.rst na v21.2.0.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\ncroit ceph-rust, README no snapshot 48f9014 — afirmação de drop-in, preview desde 9 de novembro de 2026, GA no 1.º trimestre de 2027, «not yet recommended for production data», «no issue tracker, no contribution workflow».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nSeastar — o framework C++ sobre o qual o Crimson é construído.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nceph-rust ADR 0003, green-field, sem fork do Crimson — «Crimson = C++/seastar, tries to support everything (HDD, alienstore/BlueStore, all pool types) -\u0026gt; complexity. Complex code is never fast.»; fork rejeitado por «C++, complexity, LGPL».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nceph-rust ADR 0164, licenças — datado de 2026-10-17; daemon LGPL-3.0-only.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCISA, NSA, FBI, ASD\u0026rsquo;s ACSC, CCCS, NCSC-UK, NCSC-NZ, CERT-NZ: The Case for Memory Safe Roadmaps (dezembro de 2023) — «Programming languages such as C and C++ are examples of memory unsafe programming languages»; o Rust «can contain the \u0026lsquo;unsafe\u0026rsquo; keyword».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCISA and FBI: Product Security Bad Practices, v2.0 (janeiro de 2025) — novas linhas de produtos para infraestrutura crítica «in a memory-unsafe language (e.g., C or C++) where readily available alternative memory-safe languages could be used is dangerous».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nceph-rust ADR 0002, linguagem: Rust — «Storage = correctness-critical; memory-safety bugs = data loss»; unsafe «confined to ffi/dma/nvme/net-driver modules with SAFETY comments»; SPDK e DPDK via FFI.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCeph v21.2.0, crimson/osd/shard_services.cc — «ignoring pgid {}, pool lacks crimson flag».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCeph v21.2.0, OSDMonitor.cc, criação de pools crimson — «crimson-osd does not support changing pg_num or pgp_num, pg_autoscale_mode must be set to \u0026lsquo;off\u0026rsquo;».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCeph v21.2.0, OSDMonitor.cc, alterações de pg_num no crimson — «pg merging is not yet supported in Crimson».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCeph v21.2.0, crimson_allow_pg_split — «Allow Crimson pools to increase their PG count (split)», true por omissão.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCeph v21.2.0, OSDMonitor.cc, pools EC para o Crimson — «For Crimson - only EC-optimized pools are supported», «Omap is not supported by EC pools in crimson».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nceph-rust docs, pools com erasure coding — EC legado e otimizado servidos por omissão; pools não suportados declinados pelo OSD.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCeph v21.2.0, MonCommands.h, osd pool create — name=crimson,type=CephBool,req=false, o único sítio onde a flag é aceite.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCeph v21.2.0, MonCommands.h, osd pool set — as variáveis definíveis; crimson não está entre elas.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCeph Umbrella, migração a quente de imagens RBD — «RBD images can be live-migrated between different pools».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nceph-rust docs, migrar a partir do clássico — acrescentar ou libertar um disco, preparar o FlashStore, deixar o backfill mover os dados.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCeph v21.2.0, crimson/osd/osd.cc — m-\u0026gt;metadata[\u0026quot;osd_type\u0026quot;] = \u0026quot;crimson\u0026quot;.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCeph v21.2.0, OSDMonitor.cc, verificação de arranque — «Disallowing boot of crimson-osd without allow_crimson OSDMap flag», «considered unstable and may result in crashes or data loss».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nceph-rust ADR 0019, reportar osd_objectstore=bluestore — sem chave osd_type, as condições de funcionalidades BlueStore do monitor.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCeph v21.2.0, crimson.yaml.in — crimson_reactor_idle_poll_time_us 200, crimson_poll_mode «at the expense of 100% cpu usage» false por omissão, crimson_bluestore_num_threads.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCeph v21.2.0, seastore_require_partition_count_match_reactor_count — «disable osd shards changes upon restart», true por omissão.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nceph-rust ADR 0006, runtime thread-per-core — uma thread fixa de busy-polling por núcleo, PG pertencentes a um só núcleo.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nceph-rust ADR 0004, I/O de armazenamento — SPDK e o nível io_uring, repouso temporizado pelo dispositivo.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nceph-rust docs, referência de configuração — flashstore_cores 8 por omissão, flashstore_lcores, flashstore_store_shards fixo na preparação.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCeph Umbrella, documentação de desenvolvimento do SeaStore — raiz por reactor, árvores de onode, OMAP, LBA e backref, «clean» de um byte por cada byte escrito, a ordem do registo de journal, o backend RBM. Fonte: doc/dev/crimson/seastore.rst na v21.2.0.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nceph-rust ADR 0021, motor de armazenamento — uma B+tree COW por shard, commit paralelo, checkpoints, manutenção em segundo plano, alternativas rejeitadas incluindo log-structured e «Per-object omap subtree/root».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCeph v21.2.0, crimson/os/seastore/cached_extent.h — «Returns crc32c of buffer».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCeph v21.2.0, seastore_main_device_type — «The main device type seastore uses (SSD or RANDOM_BLOCK_SSD)», SSD por omissão.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCeph v21.2.0, seastore_segment_size — 64 MiB por omissão.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCeph v21.2.0, crimson/net/SocketMessenger.cc — «ProtocolV1 is no longer supported».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nceph-rust ADR 0168, fora de âmbito — msgr1 de fora, só v2.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nceph-rust docs, requisitos de hardware e de host — PLP obrigatória, namespaces inteiros.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\n","permalink":"https://blogs.damiendye.uk/pt/ceph/flashstore-against-crimson/","summary":"O Crimson é a reescrita do OSD feita pelo próprio Ceph, em C++ sobre o framework Seastar, com um novo store nativo chamado SeaStore; o FlashStore é a reescrita da croit, em Rust, com um store próprio. Ambos estão em preview e ambos apontam para NVMe e redes rápidas. Este artigo compara-os no momento em que o Ceph 21.2.0 Umbrella traz o Crimson, a partir do código-fonte e da documentação do Ceph e do snapshot ceph-rust da croit: de onde vem cada um e sob que licença, porque é que o Rust cumpre as orientações de segurança de memória dos Five Eyes e o C++ não, porque é que o Crimson precisa de pools próprios e de uma flag experimental enquanto o FlashStore entra nos pools existentes, porque é que o Umbrella não tem maneira de transformar um pool existente num pool Crimson e os dados têm de ser copiados, o que cada um diz ao monitor no arranque, reactors Seastar contra núcleos de polling fixos, o facto de um OSD Crimson por omissão ainda correr BlueStore, as árvores de onode, OMAP e LBA do SeaStore contra a árvore única por shard do FlashStore, a ordem em que cada um faz o commit de uma escrita, o segment cleaner do SeaStore, e que hardware e pools cada um aceita.","title":"FlashStore contra Crimson: duas reescritas do mesmo OSD"},{"content":"Declaração logo à partida: trabalho para a croit, que escreveu isto. Tudo o que está abaixo foi lido no código-fonte e na documentação publicados dos dois projetos, com ligações no fim da página, e onde a documentação da própria croit discorda do código da própria croit, digo-o.\nO OSD do Ceph, reescrito de raiz A croit publicou o ceph-rust, um OSD do Ceph escrito do zero em Rust, com um object store próprio chamado FlashStore no lugar do BlueStore1. Entrou em pré-visualização pública a 9 de novembro de 2026, com disponibilidade geral prevista para o primeiro trimestre de 20271. Não é um fork. A regra do próprio projeto é que o C++ do Ceph é lido como referência, passado a uma especificação por palavras da própria croit, e depois implementado a partir da especificação2.\nA afirmação que importa a quem corre Ceph é a da substituição direta. Os teus monitores, os teus managers, a CLI ceph e os teus clientes ficam como estão. Um OSD FlashStore junta-se aos mesmos pools e aos mesmos placement groups que os OSD clássicos que já lá estão, e mudas um disco de cada vez1.\nO que é trocado ceph-mon, ceph-mgr 21.2.0 clássico clientes librados, librbd, krbd um pool, os mesmos placement groups ceph-osd BlueStore RocksDB sobre BlueFS C++, do Ceph croit-flashstore-osd FlashStore COW B+tree + WAL Rust, da croit Só o OSD muda. Monitores, managers e clientes continuam a ser Ceph clássico, e um placement group pode ter uma cópia em cada tipo. Por isso a pergunta para um operador é prática. Se trocares um OSD BlueStore por um FlashStore, o que é que é diferente por baixo? Não em abstrato, e não contra um BlueStore qualquer de uma palestra de conferência de há anos. Contra o BlueStore que corres de facto hoje se estás no Umbrella, o Ceph 21.2.0, que é a versão contra a qual o FlashStore é compilado e testado1.\nEntão essa é a comparação aqui, e só essa. O BlueStore do Umbrella como o seu próprio código e documentação o descrevem, contra o FlashStore como o seu código e os seus registos de decisão o descrevem.\nDiz respeito a quem tem clusters Ceph em NVMe, e a quem já olhou para o que um OSD lhe custa em núcleos. Não diz respeito a clusters de HDD de todo, e a razão para isso aparece mais abaixo.\nO que está no repositório O repositório é um snapshot só de leitura da árvore de desenvolvimento privada da croit. Nenhum issue tracker, nenhum pull request; as atualizações chegam como novos commits de snapshot1. É essa a fase de pré-visualização, e está lá para recolher opiniões da comunidade enquanto a croit corre internamente os seus casos de teste de produção antes de o dar como seguro para uso. O desenvolvimento aberto vem depois da primeira versão de produção, como na maioria dos projetos open source patrocinados por empresas. Este tem data de 10 de novembro de 2026 e leva cerca de 700 000 linhas de Rust e mais de 450 registos de decisões de arquitetura, os ADR, que são os documentos curtos que registam porque é que cada escolha de desenho foi feita.\nOs ADR são a parte útil para uma comparação destas. São diretos, trazem medições, e registam o que foi tentado e deitado fora, além do que ficou.\nComponente O que substitui Pré-visualização GA (prevista) OSD FlashStore ceph-osd + BlueStore nov. 2026 T1 2027 librustyrados librados nov. 2026 T1 2027 librustyrbd librbd nov. 2026 T1 2027 Transporte RDMA (RoCEv2) nada no Umbrella nov. 2026 T1 2027 CephFS2, RGW em Rust MDS, RGW T1 2027 T2 2027 ceph-mon, ceph-mgr não substituídos n/a n/a Vale a pena conhecer as licenças antes de construíres alguma coisa em cima disto. O daemon e as ferramentas são LGPL-3.0-only, as bibliotecas cliente são MPL-2.0, e a documentação é CC-BY-SA-4.03. As bibliotecas cliente passaram a MPL para que um programa em Rust as possa ligar estaticamente sem as obrigações de re-ligação que a LGPL traz, o que é uma escolha fundamentada e está escrita como tal3.\nPré-visualização quer dizer o que diz. O próprio README da croit diz que é para testes e avaliação e «not yet recommended for production data»1. Eu também ainda não punha lá dados de clientes, e nada no resto deste artigo muda isso.\nDois stores, lado a lado Um OSD tem duas metades. A metade de cima fala o protocolo Ceph, é dona dos placement groups, faz peering, recupera e faz scrub. A metade de baixo, o object store, transforma «escreve estes bytes neste objeto» em blocos num disco e promete que sobrevivem a um corte de energia.\nO BlueStore é a metade de baixo do Umbrella. A documentação diz que ele «reads and writes to the devices directly in a \u0026lsquo;raw\u0026rsquo; fashion»4, e que consome «raw block devices or partitions»5. Os dados dos objetos vão diretamente para o dispositivo de blocos. Tudo o resto, os metadados dos objetos, o OMAP e a sua própria contabilidade, vai para uma base de dados chave/valor RocksDB embebida, e o RocksDB assenta no BlueFS, um pequeno sistema de ficheiros que o BlueStore traz para ele56.\nO FlashStore deita tudo isso fora. Uma B+tree copy-on-write por shard do store guarda tudo: coleções, metadados dos objetos, atributos estendidos, mapas de extents, OMAP, o PG log, contagens de referências e até o próprio bitmap do alocador7. Ao lado fica um anel de write-ahead log de redo e a região de dados. Não há RocksDB, não há BlueFS, e não há uma segunda base de dados para afinar.\nDuas pilhas debaixo de um OSD BlueStore do Umbrella FlashStore ceph-osd 8 shards de op × 2 threads camada de objetos BlueStore alocador hybrid dados dos objetos bloco em bruto, aio RocksDB onodes, omap, diferidas BlueFS block ou block.db camada de blocos do kernel flush antes do commit HDD, SSD ou NVMe, qualquer partição croit-flashstore-osd 1 thread fixa por núcleo shard do store por núcleo alocador próprio, sem locks dados dos objetos extents novos de 4 KiB B+tree COW meta, omap, PG log anel de WAL log de redo, por shard SPDK (vfio) ou io_uring sem flush no caminho crítico NVMe com PLP, 4 KiB, namespace inteiro O BlueStore do Umbrella separa dados e metadados no topo e passa os metadados pelo RocksDB e pelo BlueFS. O FlashStore separa por núcleo, e dentro de cada shard uma árvore guarda tudo o que não são dados de objetos. A outra grande divisão é o próprio disco. O BlueStore passa pela camada de blocos do kernel até ao que lhe deres. O FlashStore fala com o NVMe ou com o SPDK, um driver em espaço de utilizador que tira o dispositivo ao kernel através do vfio, ou através do kernel com io_uring89. O SPDK é o backend predefinido. O nível io_uring é o que funciona onde o vfio não funciona, e assim sendo é aquele em que acabei por ficar na montagem em Proxmox.\nOnde vivem os metadados Começa por aqui. A maior parte do resto decorre disto.\nBlueStore do Umbrella FlashStore Metadados dos objetos chaves RocksDB B+tree COW por shard OMAP chaves RocksDB a mesma B+tree por predefinição; LSM ou RocksDB opcionais no prepare PG log chaves RocksDB a mesma B+tree Estado do alocador alocador híbrido, freelist no RocksDB bitmap por shard, dentro da árvore Dispositivo de metadados block.db e block.wal opcionais nenhum, o mesmo NVMe Checksums dos dados crc32c por 4 KiB por predefinição crc32c por 4 KiB, no mapa de extents Número de stores por OSD um um por núcleo As predefinições do lado do BlueStore vêm diretamente do ficheiro de opções do Umbrella: RocksDB como backend chave/valor, o alocador híbrido, checksums crc32c61011. O checksum dos metadados do BlueStore «is handled by RocksDB and uses the crc32c algorithm», e os dados custam-lhe «a checksum value (usually 4 bytes) for every 4 KB block of data»4. Nos checksums os dois stores estão de acordo. O FlashStore guarda um crc32c por bloco de 4 KiB no mapa de extents e verifica-o na leitura7.\nÉ na estrutura que se separam. O RocksDB do BlueStore é uma log-structured merge tree, por isso escreve e depois compacta em segundo plano, reescrevendo dados que já escreveu. A árvore do FlashStore é atualizada por copy-on-write e dobrada para o disco em checkpoints: de cinco em cinco segundos enquanto houver alguma coisa por persistir, ou quando o anel do WAL chega a meio7.\nOutra consequência é que o FlashStore não tem dispositivo rápido para metadados, porque não precisa de um. No Umbrella podes pôr o block.db num disco mais rápido, e o BlueStore põe «as much metadata as it can on the DB device»4. O FlashStore parte do princípio de que todos os discos já são NVMe rápido, e guarda os metadados ao lado dos dados. É um pressuposto justo para o hardware a que se destina. É também exatamente por isso que não há história para HDD.\nO OMAP é o único sítio em que o FlashStore se acautela. A árvore é a predefinição, mas um store pode ser preparado com um motor LSM da própria croit, ou com RocksDB, atrás da mesma interface12. O motor de OMAP é escolhido quando o store é criado. Não o trocas num OSD a correr.\nUma escrita de 4 KiB, de duas maneiras Eis a diferença que sentirias, se sentires alguma.\nPega numa escrita de 4 KiB para um objeto no Umbrella com as definições predefinidas em flash. O bluestore_min_alloc_size_ssd é 4 KiB e o bluestore_prefer_deferred_size_ssd é 0, por isso uma escrita inteira de 4 KiB vai para 4 KiB acabados de alocar1314. O BlueStore submete essa escrita de dados, e a transação fica em STATE_AIO_WAIT até o disco dizer que acabou15. Só então os metadados entram na fila do RocksDB, e a thread de sincronização do RocksDB faz flush ao dispositivo de blocos antes do commit16. Depois o cliente recebe a confirmação.\nDuas idas ao dispositivo, em série.\nO FlashStore manda as duas ao mesmo tempo. Os dados vão para um extent novo de 4 KiB e a unidade de WAL vai para o anel do log em paralelo. O registo do WAL leva o crc32c de cada bloco de dados novo, por isso o replay depois de uma falha consegue saber se os dados chegaram7. A confirmação sai, pela ordem do log, quando os dados, a unidade de WAL e todas as transações anteriores estão duráveis7. A justificação do próprio ADR para o desenho é «parallel commit gives one device latency per ack»7.\nUma escrita de 4 KiB, contra o relógio BlueStore escrita de dados 4 KiB novos, aio, espera commit do RocksDB log do BlueFS + flush ack 2 idas FlashStore dados, 4 KiB novos unidade WAL, crc dos dados ack 1 ida tempo A mesma escrita de 4 KiB. O BlueStore espera pelos dados antes de fazer commit no RocksDB; o FlashStore escreve os dados e o seu registo de log juntos. Há duas coisas que mantêm isto honesto. Num OSD ocupado, os dois stores agrupam commits, por isso a diferença sob carga é menor do que uma latência de dispositivo por escrita. E uma ida ao dispositivo em NVMe são umas dezenas de microssegundos. Se reparas nela depende de os teus clientes estarem à espera de latência com baixa profundidade de fila, o que as bases de dados em RBD muitas vezes estão, ou a empurrar débito, onde se dilui.\nA croit tentou ir mais longe, para uma escrita no dispositivo por transação, ao estilo do ZFS. Construíram-no, mediram-no e deitaram-no fora: o ganho só aparecia com profundidade de fila 1 e a complexidade não compensava17. Dou mais valor a isso do que a qualquer gráfico de benchmark. É um registo de decisão que diz «construímos isto e não compensou», em público.\nA escrita de menos de 4 KiB A escrita mais pequena é onde os dois divergem a sério.\nImagina que um cliente sobrescreve 512 bytes no meio de um bloco que já tem dados. O Umbrella continua a correr o seu caminho de escrita original por predefinição; o bluestore_write_v2, a reformulação, vem desligado18. Nesse caminho, uma escrita mais pequena do que o min_alloc_size para um bloco já alocado passa a ser uma escrita diferida19. Os dados vão dentro da transação do RocksDB como uma chave com o prefixo L, e só vão para o seu verdadeiro lugar depois de o cliente ter sido informado de que estão seguros2021.\nUma escrita de menos de 4 KiB BlueStore, diferida 1 ler o resto completar até 4 KiB 2 dados na chave L log do RocksDB 3 commit, flush cliente confirmado 4 escrever no lugar os mesmos 4 KiB de novo 5 apagar a chave L outro commit FlashStore 4 KiB novos inteiros + WAL em paralelo, nunca no lugar cliente confirmado o antigo sai depois O caminho diferido do Umbrella para uma escrita de menos de 4 KiB num bloco usado, contra o extent novo do FlashStore. O rosa marca cada vez que os próprios dados são escritos. Por isso os dados chegam ao disco duas vezes. A documentação do Umbrella não o esconde: «writes smaller than min_alloc_size must first pass through the BlueStore WAL»4.\nO FlashStore nunca sobrescreve dados vivos no lugar, ponto final7. Objetos até 2 KiB vão mais longe e vivem inteiramente na árvore, por isso uma escrita no WAL é o commit inteiro7.\nIsso também quer dizer que o FlashStore não tem fila de escritas diferidas para esvaziar, nem replay diferido na montagem, nem chaves L para limpar. Paga noutro sítio: os blocos libertados ficam retidos até ao checkpoint seguinte, por isso o espaço libertado fica atrasado até um intervalo de checkpoint7.\nThreads contra núcleos A metade de cima do OSD difere na mesma medida.\nO ceph-osd do Umbrella é um servidor clássico com threads, e cada número na metade esquerda do diagrama abaixo é uma das suas predefinições em flash22. Uma operação atravessa vários desses pools pelo caminho. Partilham estado atrás de locks.\nO FlashStore mantém a viagem inteira num só núcleo fixo e em polling, da placa de rede até ao disco e de volta23. Cada placement group pertence a exatamente um núcleo, e o mesmo acontece com tudo aquilo em que o PG toca: «no locks, no atomics, no shared mutable state»24. O tráfego entre núcleos passa por anéis de produtor único, e a posse da mensagem vai com ele.\nThreads contra núcleos ceph-osd do Umbrella 3 threads de messenger fila de operações mClock 8 shards × 2 threads bstore_kv_sync, bstore_kv_final RocksDB, BlueFS croit-flashstore-osd núcleo 0 núcleo 1 núcleo n fila da NIC msgr2, PGs shard do store fila NVMe fila da NIC msgr2, PGs shard do store fila NVMe fila da NIC msgr2, PGs shard do store fila NVMe anéis SPSC entre núcleos, sem locks O Umbrella passa uma operação de pool de threads em pool de threads. O FlashStore mantém-na num núcleo da rede ao disco, e só atravessa núcleos através de anéis. O store segue a mesma divisão. O flashstore_store_shards tem por predefinição um shard por núcleo, cada um com o seu anel de WAL, a sua árvore e o seu alocador, e um PG vive em exatamente um shard257. O BlueStore é um store por OSD com um RocksDB.\nHá um preço, e o ADR di-lo: «idle cores burn CPU (accepted; optional adaptive sleep later)»23. Trabalho posterior acrescentou inatividade adaptativa e esperas cronometradas pelo dispositivo para que um núcleo não fique a girar durante toda a latência do dispositivo com baixa profundidade de fila8, mas o princípio mantém-se, e o flashstore_cores tem 8 por predefinição quando não fixas um intervalo25. Dás ao FlashStore núcleos inteiros.\nNum nó de armazenamento dedicado, tudo bem. Numa máquina hiperconvergente onde esses núcleos também correm VM, é a primeira conta a fazer.\nO disco tem de cumprir a promessa O BlueStore foi escrito para lidar com um disco que mente sobre quando os dados estão seguros. O FlashStore recusa-se a lidar com esse disco de todo.\nBlueStore do Umbrella FlashStore O que torna uma escrita durável flush do dispositivo de blocos antes do commit do RocksDB a escrita concluída num disco com PLP Flush no caminho crítico sim não Disco com cache de escrita volátil usado, e com flush o mkfs recusa-o; verificação do anfitrião FAIL Contornar não é preciso só em laboratório: bit FUA em cada escrita durável O lado do BlueStore é a thread de sincronização kv já citada16. O lado do FlashStore é o ADR de durabilidade e a verificação do anfitrião: PLP quer dizer que o disco reporta não ter cache de escrita volátil, por isso uma conclusão quer dizer que os dados estão em meio estável2426.\nÉ a decisão certa para o alvo, mas sê claro quanto ao que ela exclui, porque quase todo o NVMe de consumo tem cache volátil e não tem PLP, e o mesmo acontece com uma boa parte do equipamento de «datacentre» vendido pelo preço. Sem PLP, não há FlashStore. Pense-se o que se pensar do resto.\nOnde o FlashStore não corre Põe os requisitos lado a lado e o mercado-alvo é óbvio.\nBlueStore do Umbrella FlashStore Suportes HDD, SSD, NVMe só NVMe Proteção contra perda de energia não obrigatória obrigatória, o mkfs recusa sem ela Formato de setor 512 B ou 4 KiB 4 KiB esperado, avisa no caso contrário Disposição partições, LVM via ceph-volume namespaces inteiros, sem partições Dispositivo DB/WAL separado suportado não existe Cifragem em repouso --dmcrypt via ceph-volume fora do âmbito Clientes msgr1 ligado por predefinição recusados, só msgr2 Cache tiering obsoleto, ainda presente recusado, o pool passa a passivo Requisitos de kernel qualquer suportado io_uring: Linux 5.19+, ou o 5.14 do RHEL 9 com backports; hugepages para o SPDK A coluna do BlueStore é do próprio Umbrella: o ceph-volume cifra volumes lógicos «using dmcrypt by specifying the --dmcrypt flag»27, e o ms_bind_msgr1 continua a ser true por predefinição28. A coluna do FlashStore vem da sua referência de hardware e da sua decisão de âmbito2629.\nDuas delas merecem mais do que uma linha de tabela.\nA cifragem em repouso está fora, com uma razão: o SPDK contorna o dm-crypt, e a cifragem dentro do store não está planeada. A resposta do ADR são discos NVMe com autocifragem, ou cifrar acima do store, no cliente ou no RGW29. Se tens um requisito de conformidade que nomeia dm-crypt no OSD, isso hoje é um impedimento.\nO msgr1 está fora como risco aceite. Clientes do kernel anteriores ao 5.11 e librados anteriores ao Nautilus não conseguem falar com um OSD FlashStore de todo29. A maior parte dos parques já passou isso há muito. Alguns não, e é a velha máquina esquecida ao canto que dá por isso.\nDiz ao monitor que é BlueStore Esta é a que vai apanhar gente.\nPor predefinição, um OSD FlashStore arranca e diz aos monitores osd_objectstore=bluestore30. Não se está a esconder. Acrescenta as suas próprias chaves flashstore_version e flashstore_build ao lado30. A razão é compatibilidade: um monitor Umbrella só permite funcionalidades como sobrescritas EC num pool quando todos os OSD nele reportam BlueStore, e módulos do manager como o Prometheus e a telemetria ramificam pelo mesmo valor30. O ADR é explícito em que bluestore aqui «is a compat value for mon/mgr feature gates, not a product name»30.\nHá um interruptor, flashstore_report_objectstore=flashstore, que muda o nome a tudo: os metadados, as chaves bluestore_bdev_*, o perf logger, os comandos tell e os códigos de saúde BLUESTORE_*. Precisa de monitores com patches, e a predefinição continua a ser bluestore2530. As compilações do Ceph da própria croit levam esses patches, por isso nelas o FlashStore apresenta-se como flashstore e nada do que se segue se aplica. O nome bluestore está lá para os monitores e managers de origem que as pessoas correm em produção hoje.\nO que é dito ao monitor OSD FlashStore predefinição osd_objectstore=bluestore flashstore_version=… mon, mgr: BlueStore sobrescritas EC permitidas OSD FlashStore report=flashstore osd_objectstore=flashstore flashstore_bdev_* mon clássico: não é BlueStore precisa de mon com patch O store é o mesmo nas duas linhas. Só muda o nome que dá. O mesmo store, dois nomes. A predefinição mantém os monitores e managers do Umbrella contentes, ao preço de os OSD FlashStore contarem como BlueStore em todo o lado para onde olhes. Percebo porquê. Um controlo do monitor baseado numa string é desenho do Ceph, não da croit, e recusar dizer bluestore desligaria funcionalidades num cluster sem patches. Essa é a armadilha num cluster de origem. Todos os dashboards, todos os scripts de inventário e todos os ceph osd count-metadata osd_objectstore que corras vão contar os OSD FlashStore como BlueStore. Durante uma migração, quando mais precisas de saber que OSD são quais, o campo óbvio não te diz nada.\nPor isso verifica o flashstore_version no ceph osd metadata, não o osd_objectstore. Põe isso no teu runbook antes de o primeiro OSD FlashStore entrar.\nOs mesmos botões, comportamento diferente O FlashStore lê muitas das opções existentes do Ceph, e isso são sobretudo boas notícias. Nem todas as opções querem dizer o que queriam dizer no Umbrella, e as que não querem são onde um cluster afinado é apanhado de surpresa.\nOpção BlueStore do Umbrella FlashStore compression_mode, por pool none, passive, aggressive, force os mesmos quatro, o mesmo significado compression_algorithm snappy por predefinição snappy, zlib, zstd, lz4; nível zstd fixo em 1 bluestore_compression_max_blob_size_ssd 64 KiB blocos de 64 KiB osd_memory_target 4 GiB, caches autoajustadas em execução lido uma vez no arranque, dimensiona as caches do store, sem autoajuste osd_op_queue mclock_scheduler aceite e ignorado osd_mclock_* ativo aceite e ignorado csum_type crc32c por predefinição, variantes xxhash disponíveis crc32c fixo; qualquer outro valor regista um aviso31 A compressão coincide. O modo predefinido do BlueStore é none e o algoritmo predefinido é snappy3233; o FlashStore implementa os mesmos quatro modos, as mesmas opções de pool e os mesmos blocos de 64 KiB, e o ADR nota que um bloco de 64 KiB compressível a 50% ocupa o mesmo espaço nos dois34. Nem sempre ia lá estar. O ficheiro do ADR ainda se chama no-store-compression, da decisão original, revertida quando a croit fixou como mandato a paridade funcional total com o Ceph clássico34.\nA memória não é paridade. O Umbrella autoajusta as caches do BlueStore em função do osd_memory_target enquanto corre3536. O FlashStore lê o alvo uma vez no arranque, divide-o pelos seus shards, e uma alteração feita com ceph config set só produz efeito no reinício seguinte37. Também não segura o processo ao alvo: hugepages, buffers de rede e estado dos PG ficam de fora37. Por isso o osd_memory_target dimensiona as caches do FlashStore. Não limita a memória do OSD da forma a que talvez estejas habituado.\nE o mClock é simplesmente ignorado37. Não é reduzido. É ignorado. Não há escalonador de operações para configurar, porque cada núcleo é dono dos seus PG. A recuperação e o backfill são travados pelo osd_max_backfills, pelo osd_recovery_max_active e pelas opções de sleep37. Se afinaste perfis do mClock para uma reconstrução no Umbrella, essas definições não fazem nada num OSD FlashStore, e nada te vai avisar.\nNão há conversão, em nenhum dos sentidos Não consegues converter um OSD BlueStore num FlashStore. O guia de migração da croit é claro: «There is no in-place conversion of a BlueStore device»38. Em vez disso oferece duas ordens, e ambas são backfill38:\nAcrescentar, depois remover Libertar, depois acrescentar Precisa de uma ranhura NVMe livre nada livre Passo 1 preparar o FlashStore no disco novo ceph osd out, esperar pelo estado limpo Passo 2 esperar por active+clean parar e purgar o OSD clássico Passo 3 remover o OSD clássico preparar o FlashStore no disco libertado Risco enquanto corre nenhum além do backfill normal uma cópia a menos até o backfill acabar Nem fica mais fácil depois. O formato em disco do FlashStore tem bits de funcionalidade, e uma montagem recusa um bit desconhecido: «Every format change means mkfs; unknown bits refuse mount (no downgrade)»7. Por isso uma mudança de formato numa versão posterior do FlashStore é o mesmo esvaziar e voltar a encher da primeira migração.\nO único caminho OSD BlueStore osd.N no nvme0 OSD FlashStore mkfs novo sem conversão, em nenhum sentido o cluster backfill das cópias out, purge backfill de entrada O backfill é a única ponte entre os dois stores, e é também a ponte entre dois formatos do FlashStore. Há uma coisa que a documentação tem errada. A lista de verificação do guia de migração diz para garantir que «the pools do not use erasure coding on croit-flashstore-osd OSDs»38. O guia de erasure coding no mesmo snapshot diz que o FlashStore serve pools EC legados por predefinição, e a predefinição do próprio código para EC otimizado é all3940. Um dos dois está desatualizado, e pelo código é o guia de migração. Mesmo assim, eu lia o guia de EC por inteiro antes de misturar pools EC pelos dois tipos de OSD, porque a falha que descreve é um PG que degrada e um backfill que encrava39.\nUm store feito para os discos que de facto compramos O BlueStore foi feito para correr em tudo. Discos rotativos, SSD baratos, NVMe, partições, LVM, volumes cifrados, um dispositivo DB rápido à frente de um dispositivo de dados lento. Essa amplitude é a razão por que se tornou a predefinição, e é a razão por que carrega um caminho de escrita diferida, um flush antes de cada commit, uma base de dados chave/valor num sistema de ficheiros só seu, e um pool de threads para manter tudo isso a andar. Cada uma dessas coisas existe porque algum disco algures precisou dela.\nO FlashStore começa pela ponta oposta. Parte do princípio de que o disco é NVMe, de que tem proteção contra perda de energia, e de que é rápido o suficiente para que o software seja agora o gargalo. Depois deita fora tudo o que só existia por causa dos outros discos.\nÉ a aposta certa? Para clusters novos totalmente em flash, construídos em NVMe empresarial a sério, sim. É para aí que os clusters Ceph estão a ir, e um OSD que gasta os seus núcleos em locks, passagens de mão e uma base de dados a compactar atrás dele está a pagar, a cada segundo de cada dia, por uma flexibilidade que um cluster desses nunca vai usar.\nMas a aposta tem um custo, e prefiro que o vejas antes de entrares nela. Abdicas de HDD, dm-crypt, msgr1, ajuste de memória em execução e mClock. Num cluster de origem ficas com um OSD que diz aos teus monitores que é BlueStore, porque os monitores e managers de hoje não lhe deixam outra saída; as compilações da própria croit não vão precisar disso. Ficas com um formato para o qual não consegues converter, e entre cujas versões também não consegues converter. E ficas com ele em pré-visualização, de um único fornecedor, que por acaso me emprega.\nPor isso trata o código-fonte como a prova, não este artigo nem o relatório de benchmark da croit. Os registos de decisão são públicos e dizem o que foi medido e o que foi deitado fora. Lê-os, monta um cluster de teste com o equipamento que implementarias de facto, e mede a tua própria carga de trabalho. Se fizer nos teus discos o que os ADR dizem que faz, vais saber. Se não fizer, também vais saber, e terás descoberto num cluster de teste.\ncroit ceph-rust, README no snapshot 48f9014 — componentes, estado e roteiro, «not yet recommended for production data», compatível na rede com v21.2.0 e v20.2.4.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nADR 0003, de raiz, sem fork do Crimson — «No fork, no linking of Ceph code»; o código do Ceph lido como referência, especificações por palavras próprias.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nADR 0164, licenças — daemon e ferramentas LGPL-3.0-only, bibliotecas cliente MPL-2.0, documentação CC-BY-SA-4.0, e a razão da MPL.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCeph Umbrella, referência de configuração do BlueStore — acesso direto ao dispositivo, dispositivo DB, «writes smaller than min_alloc_size must first pass through the BlueStore WAL», checksums.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCeph Umbrella, dispositivos de armazenamento — o BlueStore «consumes raw block devices or partitions»; RocksDB embebido para os metadados internos.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCeph v21.2.0, bluestore_kvbackend — predefinição rocksdb.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nADR 0021, motor de armazenamento — B+tree COW por shard, anel de WAL, commit paralelo, checkpoints, dados inline, libertações retidas, «Every format change means mkfs».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nADR 0004, E/S de armazenamento — SPDK sobre vfio, alterado para dois níveis com io_uring, inatividade cronometrada pelo dispositivo.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nDocumentação do ceph-rust, prepare e activate — spdk é o backend predefinido, kernel e kernel-cmd mantêm o NVMe no driver do kernel.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCeph v21.2.0, bluestore_allocator — predefinição hybrid.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCeph v21.2.0, bluestore_csum_type — predefinição crc32c.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nceph-rust, utilização do croit-flashstore-tool — «fresh prepare/mkfs \u0026ndash;omap-engine btree|lsm|rocksdb».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCeph v21.2.0, bluestore_min_alloc_size_ssd — predefinição 4 KiB.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCeph v21.2.0, bluestore_prefer_deferred_size_ssd — predefinição 0.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCeph v21.2.0, BlueStore.cc, máquina de estados da transação — aios pendentes passam a transação para STATE_AIO_WAIT antes de entrar na fila do commit chave/valor.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCeph v21.2.0, BlueStore.cc, thread de sincronização kv — «flush/barrier on block device» antes da submissão ao RocksDB.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nADR 0027, commit atómico de uma só E/S, rejeitado — «gain only at QD1», construído e removido.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCeph v21.2.0, bluestore_write_v2 — «Use faster write path», predefinição false.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCeph v21.2.0, BlueStore.cc, _do_write_small — leitura da cabeça e da cauda, depois «chunk-aligned deferred overwrite».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCeph v21.2.0, BlueStore.cc, «journal deferred items» — a transação diferida é definida como chave na mesma transação do RocksDB.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCeph v21.2.0, BlueStore.cc, prefixos de chave — PREFIX_DEFERRED = \u0026quot;L\u0026quot;.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nPredefinições de threads do Ceph v21.2.0 — osd_op_num_shards_ssd 8; osd_op_num_threads_per_shard_ssd 2; osd_op_queue mclock_scheduler; ms_async_op_threads 3; criação de threads no BlueStore.cc, bstore_kv_sync e bstore_kv_final.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nADR 0006, runtime de uma thread por núcleo — uma thread fixa em busy-polling por núcleo, PG pertencentes a um núcleo, «idle cores burn CPU (accepted \u0026hellip;)».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nADR 0008, concorrência e durabilidade — «no locks, no atomics, no shared mutable state»; PLP obrigatório, o mkfs recusa discos sem PLP, contorno com FUA para laboratório.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nDocumentação do ceph-rust, referência de configuração — flashstore_cores predefinição 8, flashstore_store_shards auto, flashstore_report_objectstore.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nDocumentação do ceph-rust, requisitos de hardware e do anfitrião — cache de escrita volátil FAIL, LBA de 4 KiB, sem partições, requisitos de kernel e de io_uring.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCeph Umbrella, cifragem no ceph-volume — «Logical volumes can be encrypted using dmcrypt by specifying the --dmcrypt flag».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCeph v21.2.0, ms_bind_msgr1 — predefinição true.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nADR 0168, cifragem em repouso, msgr1 e cache tiering fora do âmbito — «SPDK bypasses dm-crypt»; clientes só v1 «cannot reach croit-flashstore-osd».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nADR 0019, reportar osd_objectstore=bluestore — os controlos de funcionalidades do monitor, as chaves extra flashstore_*, e a opção de reporte flashstore.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nceph-rust, pgs.rs — «csum_type {v} unsupported; using fixed crc32c per 4096-byte block».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCeph v21.2.0, bluestore_compression_mode — predefinição none.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCeph v21.2.0, bluestore_compression_algorithm — predefinição snappy.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nADR 0059, compressão do store por pool — os mesmos modos e opções do BlueStore, nível zstd 1 fixo, espaço com 50% de compressibilidade «identical to BlueStore».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCeph v21.2.0, osd_memory_target — predefinição 4 GiB.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCeph v21.2.0, bluestore_cache_autotune — predefinição true.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nADR 0062, alvo de memória e mClock — alvo lido uma vez, sem autoajuste, RSS não imposto; opções do mClock «ACCEPTED and IGNORED».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nDocumentação do ceph-rust, migrar a partir do clássico — «There is no in-place conversion of a BlueStore device»; as duas ordens; a linha de EC na lista de verificação.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nDocumentação do ceph-rust, pools com erasure coding — ec_enable_pools predefinição all, ec_enable_optimized predefinição all, e o aspeto de um pool recusado.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nceph-rust, predefinições de configuração do OSD — (\u0026quot;ec_enable_optimized\u0026quot;, \u0026quot;all\u0026quot;).\u0026#160;\u0026#x21a9;\u0026#xfe0e;\n","permalink":"https://blogs.damiendye.uk/pt/ceph/flashstore-against-umbrella-bluestore/","summary":"O ceph-rust da croit é uma reescrita de raiz em Rust do OSD do Ceph, com o seu próprio object store, o FlashStore, em pré-visualização pública desde 9 de novembro de 2026. Isto põe-no lado a lado com o BlueStore exatamente como o Ceph 21.2.0 Umbrella o traz, lido a partir do código-fonte e da documentação dos dois projetos: o que está no repositório e com que licenças, onde cada store guarda os seus metadados, como uma escrita de 4 KiB e uma escrita de menos de 4 KiB chegam ao disco em cada um, os pools de threads do Umbrella contra uma thread por núcleo no FlashStore, porque é que o FlashStore faz da proteção contra perda de energia um requisito obrigatório, em que é que não corre, porque é que diz aos teus monitores que é BlueStore, que opções do BlueStore respeita e quais ignora, e porque é que o único caminho entre os dois é o backfill.","title":"FlashStore contra o BlueStore do Umbrella: o que a croit mudou debaixo do OSD"},{"content":"Um OSD em Rust, no dia em que saiu A croit pôs o FlashStore OSD em preview pública a 9 de novembro de 20261. É um OSD de Ceph escrito de raiz em Rust, com o seu próprio armazenamento de objetos no lugar do BlueStore, e fala o protocolo de rede do Ceph. A promessa é que encaixa num cluster que já tens a correr: os teus monitores, os teus managers, a tua CLI ceph e os teus clientes ficam como estão, e substituis um disco de cada vez1.\nEssa promessa importa mais a uma casa Proxmox do que à maioria. Num nó Proxmox VE hiperconvergido, o Ceph não é algo que instalas à parte. Vem da GUI do Proxmox, dos repositórios do próprio Proxmox, compilado e corrigido pelo Proxmox, e tudo é conduzido pelo pveceph. Se um OSD de outra pessoa conseguir encaixar ali dentro sem o partir, ganhas um motor de armazenamento novo sem abdicar das ferramentas. Se não conseguir, descobres da pior maneira, num nó que também está a correr as tuas VM.\nPor isso experimentei.\nTrabalho para a croit, que faz o FlashStore. É por isso que o experimentei dois dias depois de sair, e é também a razão por que nada do que se segue é suavizado. É uma preview, o README diz que «not yet recommended for production data»1, e isto é um relato do que foi preciso em hardware real, não uma brochura.\nQuem fornece o quê num só nó Disco da VM em RBD QEMU com o librbd que o Proxmox fornece Do Proxmox: pveceph ceph-mon, ceph-mgr 21.2.0-pve1 CLI, GUI, pools, armazenamento RBD instalado pelo assistente na 8006 Da croit: FlashStore croit-flashstore-osd 21.2.0 um daemon por Optane instalado de um .deb, à mão Disco de arranque SN750: nunca um OSD 8 × Optane P4800X, 4 KiB, namespace inteiro Quem fornece o quê. O Proxmox instala o monitor e o manager e é dono da GUI, das pools e da definição de armazenamento. O pacote da croit fornece apenas os daemons OSD, um por disco. Resposta curta: funciona. Oito OSD FlashStore estão a servir uma pool RBD a uma VM num nó Proxmox VE 9.2 de origem enquanto escrevo isto, HEALTH_OK. A resposta longa é que foram precisas duas correções que a documentação não menciona, uma por causa da forma como o Proxmox guarda a configuração do Ceph e outra por causa do kernel do Proxmox, e o resto deste artigo são essas correções e a forma como foram encontradas. Se só o queres a correr, há um script perto do fim que faz tudo, e já foi corrido neste nó.\nA máquina O laboratório é um único nó, pve2, na minha rede de casa, e é um mini PC Minisforum B550 de 2021, uma porcaria. Ceph num só nó não é forma de correr produção, e a regra CRUSH mais abaixo é o preço disso, mas cada passo aqui é igual num nó que tenha vizinhos.\nProxmox VE pve-manager 9.2.26, kernel 7.0.14-28-pve, Debian 13.7 Máquina Mini PC Minisforum B550, 2021; a placa reporta BESSTAR TECH B550, BIOS 5.17 CPU AMD Ryzen 7 5700G, 8 núcleos, 16 threads, 1 nó NUMA Memória 58 GiB Discos OSD 8 × Intel Optane P4800X 375 GB (6 com marca Dell, 2 Intel de retalho) PCIe até aos Optane os oito atrás de um único switch Broadcom PEX880xx, numa só ligação PCIe 3.0 x16 a partir da APU Disco de arranque WD SN750 512 GB, VG pve, mantido fora de tudo isto Rede uma porta de 2,5 GbE, vmbr0 FlashStore snapshot-2026-11-10, commit upstream c5792750020e2 Os Optane estão lá porque o FlashStore tem dois requisitos rígidos em que muitos discos chumbam. O disco tem de ter proteção contra falhas de energia, e o namespace tem de usar blocos de 4096 bytes, como namespace inteiro, sem partições nem sistema de ficheiros1. O FlashStore confirma uma escrita quando ela está durável no disco, por isso um disco que mente sobre a durabilidade com uma cache volátil é recusado no mkfs3. Todos os P4800X reportam ausência de cache de escrita volátil nos seus dados Identify (vwc 0), que é o próprio disco a dizer que a cache não pode perder uma escrita confirmada.\nComo tal, o mini PC é o fator limitante desta análise, não o FlashStore e não os discos. Oito núcleos quer dizer um por OSD e nenhum de sobra, 58 GiB têm de alimentar o Ceph e as VM, e oito Optane partilham uma ligação PCIe 3.0 porque é tudo o que a APU tem para dar. Lê cada número abaixo como aquilo que esta máquina permite.\nUmbrella ou nada O FlashStore é construído para uma versão do Ceph de cada vez. O branch decide: o main fala Ceph 21.2.0 Umbrella, e um branch v20.2.4 fala 20.2.4 Tentacle4. O daemon verifica a versão do cluster quando arranca e recusa uma que esteja fora da sua janela4. Os pacotes na página de lançamento são compilados a partir do main, e o próprio binário di-lo: croit-flashstore-osd 21.2.0 umbrella.\nO Proxmox VE 9 oferece três repositórios de Ceph, e só um deles bate certo.\nA janela de versões Repositórios do Proxmox VE 9 Branches do FlashStore ceph-squid: 19.2.7 sem branch squid ceph-tentacle: 20.2.5 20.2.5 não é 20.2.4 v20.2.4: tentacle 20.2.4 ceph-umbrella: 21.2.0-pve1 21.2.0 bate certo main: umbrella 21.2.0 O daemon recusa uma versão do cluster fora da sua janela. O repositório Tentacle do Proxmox já passou o 20.2.4, e não há nenhum branch Squid. O Umbrella 21.2.0-pve1 é a única versão em que os dois lados concordam. O Tentacle é o padrão do Proxmox, então é a escolha segura? É o que não vai funcionar. O repositório do Proxmox leva o Tentacle até ao 20.2.5-pve1, e o branch Tentacle do FlashStore aponta exatamente ao 20.2.4. O Umbrella no repositório do Proxmox é o 21.2.0-pve1, a mesma versão que o main aponta.\nO Proxmox não esconde o que o Umbrella é. O PVE/Ceph/Releases.pm lista-o com unsupported =\u0026gt; 15, e o assistente da GUI di-lo por palavras simples no momento em que o escolhes.\n«Technology Preview», sem repositório enterprise, e o instalador pergunta uma segunda vez no terminal, continue (y/N)?, antes de tocar no apt. É a quantidade certa de aviso, e vale a pena lê-lo como uma afirmação sobre a pilha inteira: um OSD em preview numa versão do Ceph em preview.\nA instalação é Proxmox de origem. Datacenter → Ceph → Install, versão Umbrella, repositório No-Subscription, depois a rede pública e o primeiro monitor.\nTreze pacotes atualizados, 46 novos, 107 MB descarregados. Uma coisa nessa lista é nova no Umbrella: ceph-osd-classic ao lado de ceph-osd. Nenhum é usado aqui, porque nunca é criado nenhum OSD clássico. Cerca de um minuto depois, o mon.pve2 e o mgr.pve2 estavam a correr, o ceph versions reportava 21.2.0 … umbrella, e a saúde estava OK, sem nada para guardar ainda.\nQuatro discos a 512 bytes Quatro dos oito Optane tinham sido passados a uma VM de laboratório e ainda estavam no formato de 512 bytes, com etiquetas ZFS antigas. Outros dois tinham o formato certo e as mesmas etiquetas. A correção para ambos é simples: tirá-los da VM, formatar para 4 KiB, apagar as etiquetas.\nO P4800X oferece 4096 bytes sem metadados como formato LBA 3, que o nvme id-ns reporta como lbaf 3 : ms:0 lbads:12.\nnvme format /dev/nvme0n1 --lbaf=3 --force --timeout=900000 wipefs -a /dev/nvme0n1 sgdisk --zap-all /dev/nvme0n1 A primeira tentativa falhou, e uma posterior também. Das duas vezes, o nvme format voltou com Interrupted system call e o disco continuava a 512 bytes. O registo do kernel tem a razão:\nnvme nvme0: I/O tag 0 (0000) opcode 0x2 (Admin Cmd) QID 0 timeout, reset controller nvme nvme1: I/O tag 9 (0009) opcode 0x6 (Admin Cmd) QID 0 timeout, reset controller O opcode 0x2 é Get Log Page e o 0x6 é Identify. Nenhum deles é a formatação. Um P4800X formata o suporte inteiro, e isso demorou entre 345 e 351 segundos por disco aqui. Enquanto corre, o controlador não responde a outros comandos de administração, por isso tudo o que faça uma pergunta ao disco fica à espera. Ao fim do timeout de administração de 60 segundos do kernel, este desiste e faz reset ao controlador, e o reset mata a formatação.\nComo uma formatação é abortada nvme format 345 a 351 s por P4800X Comando admin smartctl, nvme list, um refresh de discos na GUI timeout de 60 s o kernel faz reset ao controlador Formatação abortada EINTR, rc 1 disco ainda a 512 B Correção: corre cada formatação na sua própria unit systemd, um disco de cada vez, e não envies mais nada aos discos até acabar. A formatação não é o comando que esgota o tempo. Outra coisa faz uma pergunta ao disco, fica à espera atrás da formatação, e o reset que se segue aborta-a. Tentativa O que chegou ao disco Resultado nvme0, primeira um Get Log Page às 09:53:04, a meio da instalação do Ceph abortada, ainda 512 B nvme0, numa unit nada 4 KiB em 345 s nvme1 o meu próprio nvme list, a verificar o progresso abortada, ainda 512 B nvme2, nvme3 nada 4 KiB em 351 s e 350 s nvme1, sozinho nada 4 KiB em 346 s A correção é correr cada formatação numa unit transitória com um timeout longo, um disco de cada vez, e deixar os discos em paz até acabar:\nsystemd-run --unit=fmt4k /root/fmt4k.sh journalctl -u fmt4k -f # read progress from the journal, not from the drive Assim, a única verificação de progresso é o journal, e nada chega ao controlador. Os oito passaram então a ler 4 KiB no nvme list.\nO pacote A página de lançamento tem pacotes .deb e .rpm, com o Debian 13 trixie entre eles, que é a base do Proxmox VE 92. Uma só compilação serve todas as distribuições, e precisa de glibc 2.34 ou mais recente6.\nB=https://github.com/croit/ceph-rust/releases/download/snapshot-2026-11-10-0b6783237291 curl -LO \u0026#34;$B/flashstore_21.2.0+git.20261110063351.c5792750020e_debian-trixie_amd64.deb\u0026#34; curl -LO \u0026#34;$B/sha256sums.txt\u0026#34; sha256sum flashstore_*_debian-trixie_amd64.deb grep debian-trixie/flashstore_ sha256sums.txt Verifica-o à mão. O sha256sum -c não consegue verificar este download, porque o ficheiro de checksums chama-lhe debian-trixie/flashstore_…_amd64.deb enquanto o asset se chama flashstore_…_debian-trixie_amd64.deb. Os hashes coincidem, ce1fb352…26c8 dos dois lados, por isso o ficheiro está bom e só a lista está desfasada dos assets.\napt install ./flashstore_*_debian-trixie_amd64.deb croit-flashstore-osd --version croit-flashstore-osd 21.2.0 umbrella (build 0.0.0) git c5792750020e net tiers: kernel (+rdma upgrade) Instalou-se sem problemas ao lado do ceph-osd e do ceph-osd-classic do próprio Proxmox. O pacote instala um ceph-osd.target mínimo apenas nos hosts que não tenham um6, e o Proxmox já tem, por isso as units do FlashStore ficam penduradas no mesmo target onde ficariam as clássicas.\nTrês coisas sobre o pacote que vale a pena saber antes de escreveres scripts contra ele:\nO que a documentação diz O que o pacote é Nome do pacote apt remove flashstore …6 croit-flashstore-osd, o ficheiro do asset é flashstore_… Backends de armazenamento o conjunto de funcionalidades de produção do main é knet,spdk,rdma,mimalloc1 sem SPDK: o --check reporta «SPDK NVMe driver: compiled out» Valores de flashstore_dev spdk:\u0026lt;pci\u0026gt;, ou file: em compilações de desenvolvimento7 o tier kernel, kernel:/dev/…, é o único caminho de armazenamento real nesta compilação A linha do meio importa. O tier SPDK, o driver NVMe em espaço de utilizador que precisa do disco ligado ao vfio-pci, não está no pacote Debian publicado. O que está lá é o tier kernel: o disco fica no driver nvme do próprio kernel e o FlashStore fala com ele através do io_uring. O código-fonte mostra-o compilado, porque a funcionalidade knet puxa o kernel-nvme8, embora a linha de resumo da verificação do host diga que está «compiled out of this build». Essa linha está errada. Um leitor que confie nela parava ali mesmo.\nO que a verificação do host diz O croit-flashstore-osd --check é só de leitura e corre antes de qualquer coisa ser escrita. Verifica a compilação, o CPU, a memória, a IOMMU, cada controlador NVMe, a placa de rede, o kernel e a configuração, e imprime a correção exata para cada problema encontrado9. Neste nó correu 115 verificações, e é boa: cada problema vem com o comando que o resolve, o que me poupou um monte de escavação.\nProblema Resultado O que fiz Hugepages: nenhuma reservada FAIL reservei os 16 GiB que pedia, persistidos em /etc/sysctl.d Disco de arranque SN750: cache de escrita volátil FAIL nada, não é candidato a OSD vfio-pci não carregado WARN nada, esta compilação não tem SPDK para o usar limite de memlock 8 MiB WARN nada, mede a shell; a unit define LimitMEMLOCK=infinity sem isolcpus / nohz_full WARN registado, afinação de latência IOMMU em tradução, não iommu=pt WARN registado init_on_alloc=1 WARN registado, custa 15 a 20% de CPU em leituras grandes, segundo diz porta de 2,5 GbE, anéis da placa por omissão, IRQ em cinco CPU WARN registado 8 × P4800X: sem VWC, 4096+0 ativo, x4 a 8 GT/s, livres OK io_uring com SEND_ZC e buffers fixos, kernel 7.0 OK Conta com o segundo FAIL. A verificação conta todos os controladores da máquina, e o SSD de arranque tem cache de escrita, por isso chumba no teste de proteção contra falhas de energia, embora a mesma verificação o marque corretamente como «in use, not a candidate». O tutorial diz que exit 0 quer dizer nenhum FAIL9. Em qualquer host que arranque de um SSD de consumo, que são muitos hosts Proxmox, o --check não consegue sair com 0, corrijas o que corrigires. Escreve os scripts contra as linhas de cada verificação, não contra o código de saída.\nOs WARN de afinação ficaram. Cada um precisa de uma alteração na linha de comandos do kernel e de um reboot, e isto é uma instalação, não um benchmark. São a lista certa para trabalhar antes de alguém citar um número desta máquina.\nNúcleos e hugepages para oito OSD O FlashStore corre uma thread por núcleo, e a verificação explica o que isso quer dizer: «one core = one shard/PG owner», no máximo 8 núcleos por OSD, e cada núcleo de OSD no seu próprio núcleo físico, em vez de o partilhar com um irmão SMT. Oito núcleos físicos e oito OSD dá um núcleo para cada, flashstore_lcores = 0 até 7, com os irmãos SMT deixados ao Proxmox e às VM. Corrida de novo com isso na configuração, a verificação marca todos os planos de núcleos como OK.\nNúcleos e hugepages numa só máquina Um OSD por núcleo físico; irmãos SMT deixados ao host 0: osd.0 1: osd.1 2: osd.2 3: osd.3 4: osd.4 5: osd.5 6: osd.6 7: osd.7 threads 8 a 15: Proxmox, VM, threads auxiliares dos OSD Hugepages: 16 GiB reservados, 4 GiB usados por oito OSD 4 GiB em uso 12 GiB reservados e parados, de 58 GiB no host Um núcleo físico por OSD. A pool de hugepages está dimensionada com o valor por omissão da verificação, 2048 MiB por OSD, e cada OSD em funcionamento usou um quarto disso. Olha outra vez para as hugepages. A verificação pede 2048 MiB por OSD, que é o --mem por omissão do daemon, por isso oito OSD precisam de 16 GiB reservados. Em funcionamento, cada OSD usou 512 MiB dos seus 2048. Isso bate com a nota de desenho da própria croit para o backend kernel, que orçamenta um quarto do --mem para o seu alocador de payload10. Portanto, nesta máquina, com os oito a correr, 12 GiB de RAM ficam reservados como hugepages em que nada toca, num host que também tem VM para alimentar. Um nó de armazenamento encolheria os ombros. Num nó Proxmox, essa memória era uma VM, e mais abaixo é cortada para o que os OSD usam.\nPosso perguntar porque é que não consegue ler o ceph.conf? Com os discos formatados, o pacote instalado e a verificação do host limpa, o primeiro OSD não arrancava.\ncroit-flashstore-tool: refused: /etc/ceph/ceph.conf: Permission denied (os error 13) No Proxmox, o /etc/ceph/ceph.conf é um symlink para o /etc/pve/ceph.conf, e o /etc/pve é o pmxcfs, o sistema de ficheiros do cluster que mantém a configuração de todos os nós sincronizada. Os ficheiros ali são root:www-data 0640, e o pmxcfs não te deixa mudar isso ficheiro a ficheiro11. Os daemons Ceph do próprio Proxmox safam-se porque arrancam como root, leem a configuração e depois descem para o utilizador ceph, que é o que faz o --setuser ceph --setgroup ceph em todas as units ceph-osd@.\nA unit do FlashStore não arranca como root. É User=ceph desde a primeira instrução, ExecStartPre incluído12, por isso nunca chega a ler o ficheiro.\nPosso perguntar porque é que um pacote compilado para Debian, para um produto que se diz drop-in, não foi experimentado na plataforma Ceph baseada em Debian mais comum que existe? Não estou a perguntar quem. O pveceph guarda a sua configuração no pmxcfs, e todos os OSD FlashStore num nó gerido pelo pveceph vão bater nisto no primeiro arranque.\nO daemon já tem a resposta embutida. O seu código descreve uma descida clássica com --setuser/--setgroup: «started as root by a classic unit (--setuser ceph --setgroup ceph), the daemon becomes that user before it opens the store, a socket or a file»13. Portanto, um drop-in que arranque a unit da forma como o Proxmox arranca os seus próprios OSD devia bastar.\nNão bastou bem. Arrancado como root simples, a recusa seguinte foi o disco.\nactivate: device kernel:/dev/ng0n1 not ready: /dev/nvme0n1: Permission denied (os error 13) O CapabilityBoundingSet da unit deixa de fora o CAP_DAC_OVERRIDE12, por isso o root fica sujeito às permissões normais dos ficheiros, e os nós do namespace pertencem a ceph:ceph. Arrancar como root com o grupo definido como ceph cobre as duas coisas: o root é dono do ficheiro de configuração, o grupo ceph abre o disco, e o daemon desce para ceph antes de fazer qualquer outra coisa.\nTrês formas de arrancar a unit Tal como vem User=ceph Group=ceph /etc/pve/ceph.conf root:www-data 0640 Permission denied ao ler a conf Arrancar como root sem CAP_DAC_OVERRIDE /dev/nvme0n1 ceph:ceph 0660 Permission denied ao abrir o disco Root, grupo ceph depois --setuser ceph conf lida como dono, disco aberto como grupo, o daemon corre como ceph A unit tal como vem não consegue ler o pmxcfs. O root simples não consegue abrir o disco, porque o bounding set lhe tira o override. O root com o grupo ceph faz as duas coisas, e depois desce. # /etc/systemd/system/croit-flashstore-osd@.service.d/pve-ceph-conf.conf [Service] User=root Group=ceph ExecStart= ExecStart=/usr/bin/croit-flashstore-osd run --id %i --cluster ${CLUSTER} -f --setuser ceph --setgroup ceph O daemon confirma a descida no seu próprio registo: set uid:gid to 64045:64045 (ceph).\nHá uma correção mais curta, SupplementaryGroups=www-data, e não a usei. Deixaria o OSD ler todos os ficheiros legíveis pelo grupo em /etc/pve, não só a configuração do Ceph. Um OSD não tem nada que ler o resto da configuração do cluster, e o drop-in acima não lhe dá nada além do que o Proxmox dá aos seus.\nDepois, os nós de dispositivo. A documentação do FlashStore diz que o nó do namespace tem de poder ser escrito pelo ceph, «(udev rule)»14, e o pacote não traz nenhuma. Esta apanha os discos pelo modelo, por isso não pode apanhar o disco de arranque, faça a numeração o que fizer:\n# /etc/udev/rules.d/70-croit-flashstore-optane.rules SUBSYSTEM==\u0026#34;nvme-generic\u0026#34;, KERNEL==\u0026#34;ng*n*\u0026#34;, ATTRS{model}==\u0026#34;Dell Express Flash NVMe P4800X*|INTEL SSDPE21*\u0026#34;, OWNER=\u0026#34;ceph\u0026#34;, GROUP=\u0026#34;ceph\u0026#34;, MODE=\u0026#34;0660\u0026#34; SUBSYSTEM==\u0026#34;block\u0026#34;, KERNEL==\u0026#34;nvme*n*\u0026#34;, ENV{DEVTYPE}==\u0026#34;disk\u0026#34;, ATTRS{model}==\u0026#34;Dell Express Flash NVMe P4800X*|INTEL SSDPE21*\u0026#34;, OWNER=\u0026#34;ceph\u0026#34;, GROUP=\u0026#34;ceph\u0026#34;, MODE=\u0026#34;0660\u0026#34; Depois do udevadm trigger, os dezasseis nós dos Optane ficaram ceph:ceph 0660 e o SN750 ficou root.\nO passthrough que este kernel não faz O tier kernel tem dois modos, e o nó que indicas escolhe entre eles. O kernel:/dev/ngXnY envia comandos NVMe diretamente ao disco através do io_uring, a que a croit chama kernel-cmd. O kernel:/dev/nvmeXnY faz leituras e escritas O_DIRECT no dispositivo de blocos, chamado kernel ou direto10. A croit mediu o kernel-cmd à frente em todas as células que testou10, e o próprio quick start do README usa-o1, por isso foi o que configurei.\nCom as permissões resolvidas, o daemon desceu para ceph, leu a sua configuração e parou na primeira leitura:\ncroit-flashstore-osd: --dev kernel:/dev/ng0n1: /dev/ng0n1: kernel-cmd fixed-buffer probe read: Errno(13) A mesma sonda tinha passado um minuto antes no activate, que ainda tinha as capabilities do root. Por isso a pergunta é se este kernel deixa um processo sem privilégios enviar comandos de I/O pelo /dev/ngXnY. Isso responde-se sem o FlashStore, com a mesma leitura feita pelo nvme-cli, como ceph:\nComo Comando em /dev/ng0n1 Resultado ceph Identify Namespace permitido ceph Read, LBA 0, 4 KiB Permission denied root Read, LBA 0, 4 KiB permitido Os oito Optane deram a mesma resposta, incluindo dois que eu nunca tinha formatado nem feito reset, a correr firmware da Intel e não da Dell. Portanto não são os discos e não são as formatações da manhã.\nO upstream diz que devia funcionar. No Linux 7.0, o nvme_cmd_allowed() deixa um processo sem privilégios enviar um comando de I/O quando o registo Commands Supported and Effects do disco o marca como suportado sem efeitos invulgares, e só exige uma abertura com escrita para comandos que escrevam ou alterem dados15. O registo de efeitos do P4800X marca o Read como suportado, 00000001, e mais nada. A leitura é permitida.\nO kernel do Proxmox não é o do upstream. O seu changelog para esta compilação inclui uma correção retroportada exatamente neste caminho, CVE-2026-90227: nvme/ioctl: check SUBMIT_IO with nvme_cmd_allowed(), que à primeira vista cobre um ioctl diferente do que testei. Não identifiquei que alteração no kernel 7.0.14-28-pve faz a diferença, e não vou adivinhar. O que é certo é o comportamento: neste kernel, o I/O NVMe em passthrough sem privilégios é recusado.\nO FlashStore tem um recurso para o passthrough recusado, e não disparou. A nota de desenho da croit diz que, quando o Identify é recusado, um dispositivo kernel-cmd passa para I/O direto no seu nó de blocos e di-lo no arranque10. Aqui o Identify é permitido e o Read não, por isso o recurso nunca dispara e o OSD para em vez disso.\nDuas formas de entrar no disco kernel-cmd: passthrough NVMe kernel: I/O direto em blocos io_uring URING_CMD /dev/ng0n1, char genérico recusado ao utilizador ceph: EACCES io_uring READ/WRITE_FIXED /dev/nvme0n1, O_DIRECT funciona: só precisa de rw no nó O passthrough passa pela verificação de permissões do ioctl NVMe, e o kernel do Proxmox recusa-o ao utilizador ceph. O I/O direto no dispositivo de blocos só precisa de leitura e escrita no nó, que a regra udev já dá. Ao I/O direto não interessa. É uma linha por OSD:\nflashstore_store_backend = kernel Com isso, o osd.0 subiu.\ncroit-flashstore-osd: store mounted (1 shards, replayed 4 txns in 16 ms) croit-flashstore-osd: set uid:gid to 64045:64045 (ceph) [ 1.398] crush location set (create-or-move updating item name \u0026#39;osd.0\u0026#39; weight 0.3359 at location {host=pve2,root=default} to crush map) [ 2.406] osd.0 is now active (up_from 10, map 10) Ativo em 2,4 segundos.\nPreparar e arrancar os OSD Cada OSD tem uma secção na configuração do Ceph, o que no Proxmox quer dizer editar o /etc/pve/ceph.conf, e não há mal nenhum em fazê-lo à mão.\n[osd.0] flashstore_dev = spdk:0000:05:00.0 flashstore_store_backend = kernel flashstore_lcores = 0 O dispositivo é indicado pelo endereço PCI, não por /dev/nvme0n1, e o prefixo spdk: aqui não quer dizer SPDK. Com um backend kernel definido, o daemon procura o endereço no sysfs em cada arranque e encontra os nós atuais do controlador10.\nDar nome a um disco para que o mantenha [osd.0] spdk:0000:05:00.0 consulta ao sysfs em cada arranque /dev/nvme0n1 /dev/ng0n1 os números nvme seguem a ordem de deteção, e já mudaram neste host: o SN750 era nvme7 em outubro e agora é nvme8. Um endereço PCI é fixado pela ranhura. Um número nvme é fixado pela ordem de deteção, que não é fixa. Isso importa aqui. O disco de arranque SN750 era nvme7 em outubro e é nvme8 agora, e os minors dos nós genéricos também não seguem a ordem dos discos, com ng1n1 no minor 0 e ng0n1 no minor 2. Uma configuração que diga /dev/nvme4n1 pode apontar para outro disco depois de um reboot. Uma configuração que diga 0000:0b:00.0 não pode.\nDepois, um comando por disco, que escreve o armazenamento e regista o OSD no monitor:\ncroit-flashstore-tool prepare --dev spdk:0000:05:00.0 --id 0 kernel-cmd /dev/ng0n1: fixed-buffer NVMe passthrough probe ok (IORING_URING_CMD_FIXED on) mkfs: device lba 4096 B x 91573146 (375083606016 B), awupf 1 lba, vwc false, max_xfer 32 lba mkfs: 1 store shards, WAL ring 4096 MiB each osd.0 prepared in /var/lib/ceph/osd/ceph-0 Dois segundos, como root. O prepare lê a chave de bootstrap de /var/lib/ceph/bootstrap-osd/ceph.keyring16, que o pveceph só escreve da primeira vez que cria um OSD seu, por isso, sem OSD clássicos, tem de ser obtida primeiro:\nceph auth get client.bootstrap-osd -o /var/lib/ceph/bootstrap-osd/ceph.keyring Seis discos ficaram preparados à primeira. Dois foram recusados:\ncroit-flashstore-tool: refused: device is not empty (non-zero data in the first 8192 bytes); --wipe destroys it croit-flashstore-tool: refused: device is not empty (non-zero data at 65536 bytes); --wipe destroys it O lsblk e o blkid tinham ambos reportado esses dois discos como vazios. O que lá estava era a área de metadados em texto de um grupo de volumes LVM de um laboratório anterior, removido há muito, com a etiqueta do início já a zeros. A sonda do FlashStore lê os primeiros 8 KiB e as regiões aos 64 KiB e aos 256 KiB17, o que é mais longe do que as ferramentas habituais olham, e tinha razão. Recusar um disco que tenha seja o que for, a não ser que lhe digam --wipe, é exatamente o que uma ferramenta de OSD deve fazer. Apagá-los é uma decisão de quem é dono dos discos, não da ferramenta. Depois de isso estar decidido, o --wipe preparou ambos em cerca de dois segundos, e juntaram-se depois da instalação mais abaixo, e é por isso que a captura do painel e os números da instalação mostram seis.\nDepois arranca-os:\nsystemctl enable --now croit-flashstore-osd@0 ID CLASS WEIGHT TYPE NAME STATUS REWEIGHT PRI-AFF -1 2.01535 root default -3 2.01535 host pve2 0 nvme 0.33589 osd.0 up 1.00000 1.00000 1 nvme 0.33589 osd.1 up 1.00000 1.00000 2 nvme 0.33589 osd.2 up 1.00000 1.00000 3 nvme 0.33589 osd.3 up 1.00000 1.00000 4 nvme 0.33589 osd.4 up 1.00000 1.00000 5 nvme 0.33589 osd.5 up 1.00000 1.00000 Cada OSD pôs-se sob host=pve2 com a classe de dispositivo nvme. Vale a pena ler uma vez o que dizem de si próprios ao cluster:\nCampo Monitor e manager OSD FlashStore ceph versions 21.2.0 (087cd25db8f1) umbrella (dev - None) 21.2.0 (b060042deb05) umbrella (dev - croit-flashstore-osd) Compilado por Proxmox, pacotes -pve1 croit, a partir do commit upstream v21.2.0 que o README indica1 osd_objectstore bluestore, com todos os campos bluestore_bdev_* preenchidos O que é de facto FlashStore, sem BlueFS, sem RocksDB A resposta BlueStore é deliberada. O flashstore_report_objectstore tem bluestore por omissão porque os monitores clássicos só ativam algumas funcionalidades quando todos os OSD o reportam, por isso o valor por omissão mantém um cluster misto a funcionar7. Não é verdade, e vale a pena sabê-lo antes de leres os metadados do cluster e acreditares neles.\nO que o Proxmox faz deles O painel de OSD do Proxmox lista os seis, up e in, classe nvme, versão 21.2.0, 344 GiB cada. Também lhes chama FileStore.\nO FileStore é o armazenamento de objetos que o BlueStore substituiu. O Proxmox decide a etiqueta em PVE/API2/Ceph/OSD.pm: se os metadados do OSD tiverem uma chave bluefs é BlueStore, e tudo o resto é FileStore18. O FlashStore não tem BlueFS, porque não há RocksDB por baixo, por isso reporta BlueStore num campo e é etiquetado como FileStore a partir de outro. Nenhum está certo. E o painel é onde a maioria dos administradores Proxmox olha primeiro.\nAs colunas de latência mostram 0 / 0 em repouso. Durante a instalação abaixo, o ceph osd perf reportou latências de commit de 0 a 3 ms nos seis.\nO Start, o Stop e o Restart do painel atuam no ceph-osd@N, a unit clássica, que não é o que está a correr19. Como tal, o painel é uma vista destes OSD, não um controlo deles. Usa systemctl … croit-flashstore-osd@N e a CLI para tudo o que mexa nos daemons, e deixa bem quietos o Create: OSD e o Destroy nestes.\nUma pool, um armazenamento e uma VM Fisher-Price OS (Windows) O primeiro PG do cluster, a pool .mgr do manager, ficou undersized+degraded assim que os OSD subiram. A culpa é do nó único. A replicated_rule por omissão põe cada cópia num host diferente, e há um host.\nceph osd crush rule create-replicated replicated_osd default osd nvme ceph osd pool set .mgr crush_rule replicated_osd Uma regra com domínio de falha osd e classe de dispositivo nvme20 põe cada cópia num OSD diferente, e o PG passou a active+clean em segundos. Num cluster real com três ou mais hosts, mantém a regra por host e salta isto.\nTudo o que vem a seguir é a GUI do Proxmox normal. Ceph → Pools → Create: nome flashstore, size 3, min size 2, regra replicated_osd, Add as Storage marcado. Passou para size 2, min size 1 mais tarde, para o teste de carga mais abaixo.\nO Proxmox criou a pool e a definição de armazenamento RBD de uma vez, e o flashstore apareceu na árvore com 654 GiB utilizáveis, que são os 2 TiB brutos divididos por três cópias, menos o overhead. 129 PG passaram a active+clean, e o autoscaler baixou a nova pool de 128 para 32 pouco depois.\nO convidado de teste é uma VM Fisher-Price OS (Windows). Não é uma preferência, é o que uma grande parte dos clientes corre de facto nas suas pools Proxmox, por isso é a carga que conta: 16 GiB de memória, 4 núcleos, um disco de 60 GiB no flashstore com discard e iothread ligados. Também é tagarela com o disco e ineficiente a usá-lo, que é precisamente a ideia: um teste de armazenamento quer o convidado que mais se apoia no disco.\nDo disco da VM ao Optane Disco da VM scsi0, 60 GiB QEMU + librbd 21.2.0-pve1 pool flashstore replicated_osd, size 2 OSD FlashStore, cópia 1 OSD FlashStore, cópia 2 O librbd clássico do Proxmox fala com os OSD da croit; o librustyrbd não está instalado aqui. As escritas da VM passam pelo librbd que o Proxmox fornece, entram na regra da pool e saem para dois OSD FlashStore com size 2. O librustyrbd da própria croit não está instalado, por isso isto é um cliente clássico contra OSD em Rust. A amostrar a pool a cada dez segundos durante os primeiros quinze minutos da instalação:\nEscritas na pool mediana de 9,3 MB/s quando ativa, pico de 302 MB/s Operações de escrita pico de 2486 por segundo Leituras na pool pico de 60 MB/s Espaço bruto usado 35 GiB em seis OSD Saúde HEALTH_OK nas 90 amostras Reinícios de OSD 0 Memória residente dos OSD 565 a 871 MiB cada, depois São números de um instalador, com a VM e os OSD no mesmo host e os WARN de afinação por tocar, e não dizem nada sobre a velocidade do FlashStore. O que dizem é que um cliente Proxmox clássico conduziu a instalação de um sistema operativo em OSD de Rust, 35 GiB brutos, sem uma falha, que é a promessa que este artigo se propôs testar.\nO que faz sob carga Uma instalação prova que funciona. Não te diz como é usar a VM.\nPor isso a VM levou com o CrystalDiskMark 9.0.321, três vezes: o perfil Real World Performance [+Mix], Read\u0026amp;Write [+Mix], um ficheiro de 16 GiB em C: e uma mistura de 70/30 de leitura e escrita, uma vez com três passagens e duas com nove. Esse perfil corre tudo um pedido de cada vez numa só thread, que é o que um desktop ou uma pequena base de dados fazem de facto, não o que faz uma ficha técnica.\nNessa altura, a configuração já tinha avançado desde a instalação. A VM tinha seis núcleos, e a pool tinha sido mudada na GUI para size 2, min size 1 e 256 PG. Size 2 com min size 1 é uma definição de laboratório numa só máquina: com uma cópia restante, a pool continua a aceitar escritas que uma única falha pode depois perder. Noutros sítios, mantém 3 e 2.\nO disco estava no padrão do Proxmox, sem cache, que é o padrão desde o Proxmox 222.\nReal World Performance [+Mix], 16 GiB 3 passagens 9 passagens 9 passagens outra vez SEQ1M Q1T1 leitura 1279,71 MB/s 1675,33 MB/s 1852,32 MB/s SEQ1M Q1T1 escrita 563,67 MB/s 576,65 MB/s 580,08 MB/s SEQ1M Q1T1 mistura 1043,75 MB/s 1043,28 MB/s 986,10 MB/s RND4K Q1T1 leitura 5342 IOPS, 186,57 µs 5659 IOPS, 176,17 µs 5706 IOPS, 174,73 µs RND4K Q1T1 escrita 2419 IOPS, 412,51 µs 2405 IOPS, 414,79 µs 2435 IOPS, 409,77 µs RND4K Q1T1 mistura 3938 IOPS, 253,13 µs 3826 IOPS, 260,49 µs 3936 IOPS, 253,25 µs As escritas e a latência de blocos pequenos mantêm-se dentro de cerca de 1% de execução para execução. A leitura sequencial sobe 45% ao longo das três. É o primeiro sinal de que a coluna de leitura não está a medir o que parece.\nO host foi amostrado a cada cinco segundos durante as três, a partir do /proc/diskstats para os oito Optane, do ceph status para a pool e do /proc para cada processo e thread, e as duas vistas não contam a mesma história.\nEscritas: o disco é a parte pequena Uma escrita aleatória de 4 KiB de cada vez, última execução Tempo por escrita, visto pela VM 409,77 µs Tempo por escrita, em cada Optane 17 µs Escritas que chegam aos Optane por escrita da VM 4,05: duas cópias, cerca de duas escritas cada Escritas sequenciais grandes 580 MB/s a partir da VM, 1,14 GB/s nos Optane, a segunda cópia a duplicá-lo O disco é menos de 5% de uma escrita pequena. Os outros 393 µs são a viagem: o QEMU, o librbd, o messenger até ao OSD, o próprio OSD e a espera pela segunda cópia. Nada disso foi medido em separado aqui, por isso não vou pôr um número em cada peça. O que isto diz é que, nesta máquina, os Optane não são o limite para I/O um de cada vez, e um disco mais rápido não mexeria muito nesses 410. O limite passou para o cliente, o librbd que o Proxmox fornece, e há mais para vir sobre isso quando o librustyrbd da própria croit for instalado aqui.\nLeituras: a cache, não os Optane Na última execução, a passagem de leitura aleatória de 4 KiB fez 5700 leituras por segundo em todo o ficheiro de 16 GiB, e os oito Optane não leram rigorosamente nada. A passagem sequencial chegou a 2,2 GB/s na pool enquanto as leituras dos próprios discos caíam de 755 MB/s para zero. O CrystalDiskMark contorna a cache do convidado e o disco não tem nenhuma no QEMU, por isso a memória que faz o trabalho está nos OSD. O flashstore_obj_cache está ligado por omissão nesta compilação, a parte de cada OSD do ficheiro é de cerca de 2 GiB com size 2, e cada OSD tinha crescido para cerca de 2,6 GiB. O FlashStore não reporta os seus acertos, por isso chama-lhe quase certo e não provado. É também por isso que a leitura sequencial subiu a cada execução: mais do ficheiro já lá estava. Trata a coluna de leitura como um número de cache, não de armazenamento.\nCPU: para onde foram os núcleos Última execução, em núcleos Host ocupado OSD vCPU do convidado librbd e cliente Ceph QEMU Em repouso entre passagens 20 a 24% 3,3 0,1 0,03 0,03 Escrita aleatória de 4 KiB 30% 3,9 0,38 0,20 0,08 Leitura aleatória de 4 KiB 30% 3,6 0,47 0,39 0,15 Mistura sequencial 41 a 53% 3,8 1,5 a 2,3 0,5 0,12 As três colunas da VM vêm das suas threads: o QEMU dá nome às vCPU do convidado, e as threads de messenger e de trabalho do librbd correm dentro do mesmo processo.\nA coluna dos OSD quase não se mexe. Oito OSD em polling custam 3,3 núcleos sem fazer nada e 3,9 a fundo, por isso, numa máquina de 16 threads, um quinto do CPU vai-se antes de uma VM pedir seja o que for. Mais nada chegou perto do seu limite. A thread individual mais ocupada foi uma vCPU do convidado a 47%, e a mais ocupada do librbd ficou abaixo dos 15%. Com um pedido de cada vez, o limite é a espera, não o trabalho, e um número de CPU não consegue mostrar uma espera.\nMemória: planeia para o pico Nas três execuções Saúde HEALTH_OK em todas as amostras, todos os PG active+clean, nenhum reinício de OSD Hugepages em uso 4 GiB do princípio ao fim Memória do host por distribuir, com uma VM de 16 GiB a correr 3,1 a 4,0 GiB A linha das hugepages é a secção do orçamento outra vez, desta vez sob carga: 512 MiB por OSD, e os outros 12 GiB nunca tocados.\nA memória normal é o número a vigiar, porque a cache acima é feita dela. Assim que uma leitura puxou o ficheiro, cada OSD ficou em cerca de 2,5 GiB, e foi isto que o Ceph ocupou num host de 58,7 GiB:\nMemória do Ceph no pico, alvo por omissão de 4 GiB Processos OSD, os oito juntos 19,9 GiB, 2,4 a 2,6 GiB cada Hugepages reservadas para os OSD 16 GiB, 4 GiB usados Monitor e manager 0,3 GiB Total 36,2 GiB, 62% do host Por distribuir pelo host, com uma VM de 16 GiB a correr 3,6 GiB Volta, mas não segundo nenhum calendário que eu conseguisse ver. Manteve-se nos 19,9 GiB durante 25 minutos, intervalos em repouso incluídos, depois caiu para 13,9 GiB no fim da última execução, e o host voltou a ter 10,2 GiB para distribuir. O osd_memory_target esteve no seu valor por omissão de 4 GiB por OSD durante tudo isso, por isso oito OSD tinham direito a 32 GiB antes de se contar uma única hugepage. Num nó que também é suposto correr VM, o pico é o orçamento a calcular antes dos discos, e é onde os 12 GiB parados de hugepages mais doem.\nTrês VM ao mesmo tempo, com um orçamento mais apertado Uma VM deixa espaço de sobra. Três é onde o orçamento tem de estar certo. Por isso mudaram primeiro duas definições.\nceph config set osd osd_memory_target 1073741824 # 1 GiB per OSD, was 4 sysctl -w vm.nr_hugepages=2048 # what eight OSDs use, was 8192 O alvo não precisa de mais nada: todos os OSD reportaram o novo valor em segundos, e foram reiniciados um de cada vez na mesma, com os 257 PG de volta a active+clean antes do seguinte. As hugepages têm um senão. Antes de cada arranque de OSD, o croit-flashstore-prep quer um --mem inteiro livre, 2048 MiB, e aumenta a pool se faltar, mas nunca a volta a baixar. Reiniciar o osd.7 depois do corte levou a pool logo de volta para cima:\ncroit-flashstore-prep[7]: hugepages 2048kB: free 256 \u0026lt; need 1024, nr_hugepages 2048 -\u0026gt; 2816 Portanto, o mínimo que sobrevive a um reinício ou a um reboot é o que os OSD usam mais a margem de um arranque: 2816 páginas, 5,5 GiB, contra os 16 GiB que a verificação pede. O script de instalação mais abaixo agora reserva exatamente isso. Cortar de volta para 2048 depois de os oito estarem de pé compra mais 1,5 GiB até ao próximo reinício.\nDepois, três clones da VM, com 10 GiB cada, correram o CrystalDiskMark no mesmo momento: Real World Performance [+Mix], três passagens, mas num ficheiro de 1 GiB cada em vez de 16 GiB. Isso torna a coluna de leitura ainda mais um número de cache, por isso lê as escritas.\nCrystalDiskMark, três VM ao mesmo tempo VM 104 VM 105 VM 106 As três Uma VM sozinha SEQ1M Q1T1 escrita 346,99 MB/s 318,99 MB/s 446,98 MB/s 1113 MB/s 580,08 MB/s SEQ1M Q1T1 leitura 796,05 MB/s 905,03 MB/s 1160,93 MB/s 2862 MB/s 1852,32 MB/s RND4K Q1T1 escrita 1901 IOPS 1928 IOPS 1862 IOPS 5691 IOPS 2435 IOPS RND4K Q1T1 latência de escrita 524,56 µs 517,00 µs 535,42 µs 409,77 µs RND4K Q1T1 leitura 3773 IOPS 3916 IOPS 3909 IOPS 11 598 IOPS 5706 IOPS RND4K Q1T1 mistura 2978 IOPS 3027 IOPS 3411 IOPS 9416 IOPS 3936 IOPS Três VM tiveram 2,3 vezes as escritas pequenas de uma, e cada uma pagou cerca de 27% em latência por isso. Os Optane continuavam a não ser a razão. Chegaram a um pico de 20 900 escritas por segundo a 17 µs cada, os mesmos 17 µs de uma VM, e o mais ocupado dos oito estava 14% ocupado.\nHost, a cada cinco segundos durante a execução Alvo por omissão de 4 GiB, uma VM Alvo de 1 GiB, três VM Maior processo OSD 2,7 GiB 1,15 GiB no pico, 0,8 depois Os oito processos OSD juntos 19,9 GiB 8,0 GiB no pico, 5,8 depois Hugepages reservadas 16 GiB, 4 usados 4 GiB, todos usados Memória dada às VM 16 GiB 30 GiB Memória do host por distribuir, no mínimo 3,1 GiB 14,8 GiB Crescimento da swap nenhum nenhum Portanto, o FlashStore cumpre de facto o osd_memory_target. Passou 15% acima no pico de uma passagem de leitura e voltou para baixo, com a cache a fazer o seu trabalho dentro do orçamento em vez de fora dele. Entre o alvo e o corte, 26 GiB voltaram para as VM na mesma máquina.\nCPU em núcleos, três VM Host ocupado OSD Convidados librbd e cliente Ceph QEMU Três arranques de Fisher-Price OS (Windows) 81 a 89% 3,4 a 3,6 6,3 a 7,9 0,4 a 0,7 0,3 Benchmark 42 a 73% 3,7 a 4,5 1,2 a 4,0 0,4 a 1,6 0,2 a 0,4 Em repouso depois 20 a 24% 3,3 0,3 0 0 Arrancar três convidados puxou mais pelo CPU do que fazer-lhes o benchmark. O armazenamento por baixo nunca chegou perto disso, que é o mini PC a definir o limite, como sempre ia acontecer.\nTudo isto, num só script Tudo o que está acima está num só script. Dá-lhe os endereços PCI dos discos que queres como OSD e ele faz o resto, pela ordem em que este artigo o fez, com as duas correções do Proxmox embutidas.\n\u0026#8615; flashstore-pve-setup.sh: OSD FlashStore num nó Proxmox VE flashstore-pve-setup.sh · 17 kB lspci -D -d ::0108 # find the drives bash flashstore-pve-setup.sh --dry-run 0000:05:00.0 # show the plan, change nothing bash flashstore-pve-setup.sh 0000:05:00.0 0000:06:00.0 Verifica Escreve Corre Proxmox VE 9 e Ceph 21.2.0 Umbrella o keyring bootstrap-osd uma leitura em passthrough como ceph, para escolher kernel-cmd ou kernel cada disco: NVMe, sem cache de escrita, não montado, particionado nem ocupado o drop-in de root-depois---setuser prepare e systemctl enable --now por disco nenhum dado nas regiões que a própria sonda do FlashStore lê uma regra udev por disco, identificado pelo número de série a verificação do host, parando só no que os OSD precisam blocos de 4 KiB uma secção [osd.N] por disco, um núcleo físico cada o download do pacote, verificado contra o SHA-256 do lançamento Nada é destruído a não ser que peças. O --format-4k reformata um disco que não esteja a 4 KiB, um de cada vez na sua própria unit para que nada o interrompa, e o --wipe deixa-o sobrescrever um disco que tenha dados. O --single-node acrescenta a regra replicated_osd, e corrê-lo outra vez salta os discos que já são OSD.\nFoi testado aqui, não só escrito. Recusou o SN750 pela sua cache de escrita, recusou o disco do osd.7 enquanto ainda tinha um armazenamento, e depois, com o osd.7 eliminado e os seus nós devolvidos ao root, reconstruiu-o do zero em 10,5 segundos, escolhendo sozinho o backend kernel. O que não faz é instalar o Ceph. Esse passo pede-te que aceites uma Technology Preview, e essa decisão é tua, não de um script.\nO que precisa de correção Nada disto trava um administrador determinado, e tudo isto travaria um administrador ocupado. Cada item é uma afirmação que a croit faz a quem descarrega o pacote, e bati em cada um à primeira tentativa.\nOnde O que acontece O que o corrigiria unit systemd User=ceph não consegue ler o pmxcfs, por isso o OSD nunca arranca num nó pveceph fornecer o arranque root-depois---setuser, ou um drop-in para Proxmox recurso do kernel-cmd só recua se o Identify for recusado; no kernel do PVE é o Read que é recusado e o OSD para recuar para I/O direto em qualquer I/O em passthrough recusado udev a documentação exige uma regra que dê ao ceph os nós do namespace; não vem nenhuma fornecer uma ligada aos dispositivos configurados resumo do --check diz que o kernel NVMe está «compiled out» quando é o único caminho de armazenamento compilado corrigir a etiqueta código de saída do --check o SSD de arranque chumba no teste de PLP, por isso o exit 0 é inalcançável pontuar só dispositivos configurados ou candidatos hugepages dimensiona 2048 MiB por OSD, e o prep quer isso livre a cada arranque; o backend kernel usa 512 dimensionar o backend kernel pelo que usa, e deixar o prep pedir o mesmo sha256sums.txt os nomes dos ficheiros não batem com os assets do lançamento nomeá-los como publicados nome do pacote a documentação diz apt remove flashstore; o pacote é croit-flashstore-osd um só nome, ou o certo na documentação referência do flashstore_dev lista só spdk: e file: documentar kernel: e spdk: com um backend kernel Nada disto é trabalho novo. O daemon já tem a descida de privilégios, o backend direto e a lógica de recurso. Só ainda não foram ligados para a plataforma onde a maioria das pessoas o vai experimentar primeiro.\nUma preview é onde descobres isto Uma preview é o sítio certo para cada um destes problemas, e o sítio errado para os deixar ficar. É para isso que serve uma preview: alguém leva-a para casa, põe-na no hardware que tem de facto, e escreve onde é que ela cai. As partes que importam aguentaram. O armazenamento subiu em milissegundos, os OSD juntaram-se a um cluster construído pelas ferramentas de outra pessoa, e a instalação de um sistema operativo foi para eles sem uma falha.\nO que a fez tropeçar foi tudo o que está à volta do daemon. Um ficheiro de configuração num sistema de ficheiros que a unit não conseguia ler, um kernel que diz não a uma chamada que o upstream permite, um disco de arranque que a verificação não deixava de contar. Nada disso é difícil. Tudo isso é a diferença entre software que funciona e software que funciona na tua máquina, e a única forma de fechar essa diferença é testar nas máquinas que as pessoas têm em vez de nas que construíste para isso.\nApesar de tudo, é um começo promissor. Num mini PC fraquinho, com a ponta do cliente ainda no librbd clássico e os oito discos numa só ligação PCIe 3.0, os Optane trabalham aqui mais do que com o BlueStore. À medida que isto se desenvolver, vou voltar a ele e escavar mais fundo, à medida que mais da pilha for substituída, e com uma olhadela ao CephFS2 também.\n«Drop-in» é uma promessa feita a um administrador que não tem tempo para ler o código-fonte. Os monitores do Proxmox, a GUI do Proxmox, o kernel do Proxmox e um pacote de outra pessoa é exatamente a situação para que essa promessa existe. Agora quase a cumpre. Nove pequenas correções e vai cumprir, e prefiro ser eu a encontrá-las numa quarta-feira de manhã do que um cliente a encontrá-las numa sexta-feira à noite.\ncroit/ceph-rust README — preview pública desde 9 de novembro de 2026, «not yet recommended for production data», requisitos, quick start, conjunto de funcionalidades de produção, commit do Ceph testado.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\ncroit/ceph-rust release snapshot-2026-11-10 — os pacotes usados aqui, incluindo flashstore_…_debian-trixie_amd64.deb e sha256sums.txt.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\ncroit/ceph-rust — hardware requirements — verificação da cache de escrita volátil, hugepages, notas sobre versões do kernel.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\ncroit/ceph-rust — branches and versions — o main aponta ao v21.2.0, o v20.2.4 aponta ao v20.2.4; «The daemon refuses a cluster release outside its supported window.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nProxmox pve-manager, PVE/Ceph/Releases.pm — umbrella listado com release =\u0026gt; '21.2' e unsupported =\u0026gt; 1.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\ncroit/ceph-rust — build and install packages — distribuições, glibc 2.34, tratamento do ceph-osd.target, a linha apt remove.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\ncroit/ceph-rust — configuration reference — flashstore_dev, flashstore_lcores, flashstore_report_objectstore e porque é que o valor por omissão é bluestore.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\ncroit-flashstore-osd Cargo.toml — linha 29, knet = [… \u0026quot;kernel-nvme\u0026quot;].\u0026#160;\u0026#x21a9;\u0026#xfe0e;\ncroit/ceph-rust — first OSD tutorial — a verificação do host só de leitura; «Exit 0 means no FAIL.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\ncroit/ceph-rust — ADR 0169, kernel NVMe backend — os dois modos kernel, a comparação medida, o orçamento do alocador de payload, a resolução de endereços spdk: e o recurso só para Identify (emenda 6). Acrescentado ao repositório na mesma noite do lançamento.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nProxmox VE — Proxmox Cluster File System (pmxcfs) — o sistema de ficheiros do cluster em /etc/pve e o seu dono e permissões fixos.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\ncroit-flashstore-osd@.service — User=ceph, ExecStartPre=… activate, e um CapabilityBoundingSet sem CAP_DAC_OVERRIDE.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\ncroit-flashstore-osd privdrop.rs — a descida de privilégios clássica com --setuser/--setgroup.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\ncroit/ceph-rust — prepare the host — «the namespace node must be readable and writable by user ceph (udev rule)».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLinux v7.0, drivers/nvme/host/ioctl.c — nvme_cmd_allowed(), a regra para o passthrough NVMe sem privilégios.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\ncroit/ceph-rust — security — «prepare defaults --keyring to /var/lib/ceph/bootstrap-osd/\u0026lt;cluster\u0026gt;.keyring».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\ncroit/ceph-rust — prepare, activate and list — a sonda de dispositivo não vazio e o --wipe.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nProxmox pve-manager, PVE/API2/Ceph/OSD.pm — o osdtype só é bluestore quando os metadados levam bluefs, senão é filestore.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nProxmox pve-manager, PVE/Ceph/Services.pm — o ceph_service_cmd() mapeia osd.N para a unit systemd ceph-osd@N.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCeph documentation — CRUSH maps — regras replicadas, domínios de falha e classes de dispositivo.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCrystalDiskMark — o benchmark de discos da Crystal Dew World; «Various measure mode (Peak/Real World/Demo)».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nProxmox VE wiki — Performance Tweaks — os modos de cache de disco: «cache=none seems to be the best performance and is the default since Proxmox 2.X».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\n","permalink":"https://blogs.damiendye.uk/pt/proxmox/flashstore-osd-on-proxmox/","summary":"O OSD FlashStore da croit é um substituto em Rust para o ceph-osd e o BlueStore, em preview pública desde 9 de novembro de 2026. Aqui é instalado de forma hiperconvergida num único nó Proxmox VE 9.2: Ceph Umbrella 21.2.0 pelo assistente do PVE para o monitor e o manager, OSD FlashStore em discos Intel Optane P4800X. Cobre porque é que o Umbrella é a única versão do Proxmox que bate certo, a formatação dos discos para 4 KiB e o reset do controlador que aborta uma formatação, o que o croit-flashstore-osd \u0026ndash;check reporta, porque é que a unit fornecida não consegue ler o ceph.conf do Proxmox e o drop-in que resolve isso, o passthrough NVMe que o kernel do Proxmox recusa e o backend direto que funciona, a preparação dos OSD por endereço PCI, o que o painel de OSD do PVE faz deles, uma pool, armazenamento RBD e uma VM Fisher-Price OS (Windows) instalada nela, o CrystalDiskMark dentro dessa VM lido contra os contadores dos próprios discos, a memória do Ceph com os oito OSD ativos, três VM ao mesmo tempo com um alvo de memória de 1 GiB, e um script que faz tudo isto, testado ao reconstruir um OSD do zero.","title":"OSD FlashStore no Proxmox VE: o que foi preciso num só nó"},{"content":"Uma consola, muitos clientes Se cuidas do Proxmox de outras pessoas, cada nó novo é o mesmo trabalho feito de maneira ligeiramente diferente. Cada cliente tem o seu país, fuso horário, chaves de root, disposição de discos, nomes de hosts e chave de subscrição. Erra uma dessas num nó acabado de instalar e descobres na primeira vez que alguém entra, ou na primeira vez que uma auditoria pergunta porque é que o relógio está uma hora desfasado.\nConstruí isto para um cliente com exatamente esse problema, e o que pediu era de uma simplicidade refrescante. Cada site é construído com o seu próprio esquema de nomes, a sua própria password de root e as suas próprias chaves SSH. Ninguém no site faz nada de esperto: montam um servidor no rack, ligam-no à VLAN certa e ligam a corrente. Ninguém recolhe números de série, e ninguém escreve um ficheiro de resposta por máquina. E um servidor acrescentado dessa maneira acaba no cluster já existente do site.\nO que queriam O que o entrega aqui nomes, password e chaves do próprio site uma resposta preparada por site, escolhida pelo token desse site ligar à VLAN certa, ligar a corrente, ir embora descoberta por DNS, iPXE, e o Caddy a escolher o token pela sub-rede de origem sem números de série, sem ficheiros de resposta por máquina as respostas filtram só pelo produto; o site vem da rede o servidor novo entra no cluster existente não neste artigo: o PDM não tem hook de primeiro arranque, ver abaixo Este artigo cobre os três primeiros: levar um servidor nu desde o ligar da corrente até um nó Proxmox instalado com as definições do site certo. Essa metade é a que aparece a quase toda a gente com mais de um site, MSP ou não, por isso vale a pena tê-la à parte. Entrar no cluster é outro trabalho, e a secção sobre o hook de primeiro arranque em falta explica porque é que o PDM ainda não o pode fazer por ti.\nO Proxmox Datacenter Manager (PDM) 1.1 acrescentou a peça que faltava1. Agora pode servir de servidor de respostas para o instalador automático do Proxmox, de modo que uma máquina nua arranca, envia o que é, recebe de volta uma resposta preparada e instala-se sozinha sem ninguém à consola. Para um fornecedor de serviços geridos (MSP) que já usa o PDM como consola de gestão, esse é o sítio óbvio para guardar as definições de instalação de cada cliente.\nO que não queres é um servidor PXE por cliente. Cada um deles é um servidor de Trivial File Transfer Protocol (TFTP), uma configuração DHCP, um conjunto de ficheiros de arranque e uma ISO para refazer cada vez que o Proxmox lança uma versão intermédia. Dez clientes são dez disso para manter atualizados. Isso não escala. O objetivo aqui é um parque PXE, uma imagem de arranque, um registo DNS e um PDM, com cada site a receber na mesma a sua própria resposta.\nUm parque PXE para todos os sites site1 10.10.50.0/24 site2 10.20.50.0/24 site3 10.30.50.0/24 Caddy na 443 entra o catch token sai o token do site, escolhido pela sub-rede PDM respostas delimitadas por token 8443 no loopback Uma imagem de arranque, um registo DNS e um serviço DHCP para todos os sites O desenho acabado. Todos os sites arrancam a mesma imagem. O Caddy descobre de que site veio um pedido pela sub-rede e entrega ao PDM o token desse site, e o PDM só oferece respostas associadas a esse token. O PDM 1.1 faz a maior parte do caminho sozinho. Fica aquém em dois sítios, e vale a pena conhecer ambos antes de planear uma implementação à volta dele: não tem maneira de associar uma resposta a um site, e não tem maneira de dar a um nó novo um script de primeiro arranque. Este artigo prova ambos a partir do próprio código-fonte do PDM, contorna o primeiro e constrói tudo no PDM do meu laboratório com a versão 1.1.9, com o proxy endurecido para que as partes que guardam segredos fiquem fechadas.\nO que o PDM 1.1 te dá A funcionalidade vive em Remotes → Automated Installations e tem três partes: instalações, respostas preparadas e tokens de autenticação2. Uma resposta preparada é a versão do PDM do answer.toml do instalador, preenchida num formulário em vez de escrita à mão.\nParte O que faz O pormenor que importa Respostas preparadas país, teclado, fuso horário, hash da password de root, chaves SSH, rede, disposição de discos, chave de subscrição, ação pós-instalação geradas de novo a cada pedido Filtros de alvo decidem que máquina recebe que resposta JSON Pointer para a informação de sistema do instalador, glob para o valor3 Templates MiniJinja nos campos de FQDN, email do administrador, IP, gateway e DNS contadores como installation_nr sobem cada vez que uma resposta é servida4 Tokens de autenticação o instalador envia Authorization: Bearer \u0026lt;name\u0026gt;:\u0026lt;secret\u0026gt; um tipo de token separado dos tokens de API do PDM; cada resposta lista os tokens que aceita2 Instalações um registo por pedido, com a informação de sistema completa passa de em curso a terminada quando o webhook pós-instalação responde Permissões Sys.Audit para ver, Sys.Modify para alterar ambas em /system/auto-installation4 O lado do instalador já existe há algum tempo. O comando proxmox-auto-install-assistant prepare-iso constrói uma ISO que vai buscar a resposta por HTTP, e desde a ISO do Proxmox VE 9.2 também consegue produzir o kernel, o initrd, a ISO e o boot.ipxe de que o iPXE precisa para arrancar tudo pela rede5.\nOs contadores são a parte que um answer.toml isolado não tem. Uma resposta preparada numera cada host que constrói, onde um ficheiro estático teria de ser copiado por máquina. É um avanço real, e continua a ser uma primeira versão. O formulário ainda não está ao nível do ficheiro de resposta isolado6, e falta uma área por completo: não há script de primeiro arranque na 1.1, sob forma nenhuma7. Essa lacuna, e o site que não consegue usar como critério, são as duas secções seguintes.\nNão consegue filtrar pelo site O PDM escolhe uma resposta comparando filtros com a informação de sistema que o instalador envia. Por isso a pergunta é o que está nesse documento, porque o que lá não estiver não pode servir de critério.\nChave O que contém Poderia identificar o site? product fullname, product (pve, pbs, pmg), enable_btrfs não iso release, isorelease não dmi sistema, motherboard e chassis: nome, número de série, UUID, SKU, asset tag só se alguém tiver escrito o site na asset tag network_interfaces uma lista de {link, mac} só através de um inventário que mantenhas tu É tudo8,9. Não há endereço, nem hostname, nem opção DHCP, nada sobre onde a máquina está ligada.\nOs campos da Desktop Management Interface (DMI) parecem prometedores até leres uns reais. Todas as instalações do meu laboratório voltaram com o nome de sistema Standard PC (Q35 + ICH9, 2009) e número de série e asset tag vazios. Os servidores reais preenchem-nos, mas com o que o fabricante lá pôs e não com o nome do teu cliente, e filtrar por números de série ou endereços MAC só funciona se mantiveres uma lista de todos os chassis que alguma vez vais instalar, que é exatamente a papelada que isto devia eliminar. Por host, sim. Por site, não.\nEntão, a que rede está a máquina ligada? O PDM nunca chega a saber. O instalador tem o seu lease DHCP na mão quando envia o pedido, e o único facto que um MSP sabe com certeza sobre um nó novo é precisamente o que fica para trás. Filtrar pelo endereço de origem, IPv4 ou IPv6, é um pedido de funcionalidade em aberto, e fui eu próprio que o abri, como bug 826310.\nHá um segundo limite escondido nas regras de seleção, e o meu laboratório foi direto a ele.\nComo o PDM escolhe uma resposta 1. Token válido? ativo, não expirado não 401 ao fim de cerca de meio segundo não registado 2. Respostas nesse token pela ordem do ficheiro, mais nada 3. Todos os filtros correspondem? só strings, globs permitidos a primeira resposta gerada cada contador dela sobe 1 nenhuma 4. Omissão neste token? uma só por omissão em todo o PDM não 400: no answer file found registado em Installations A seleção do PDM, a partir do código-fonte. O token é verificado primeiro e delimita tudo o que vem depois, incluindo a resposta por omissão. O token é verificado primeiro, e só as respostas autorizadas para esse token são sequer consideradas, incluindo a por omissão4. O PDM permite exatamente uma resposta por omissão em todo o sistema. Por isso não podes dar a cada site um recurso próprio com a flag de omissão. O meu laboratório tinha uma resposta por omissão chamada fallback com um token próprio, e nunca foi servida uma única vez, porque nada envia esse token. Em vez disso, cada site precisa de um filtro que apanhe tudo no seu próprio token, como /product/product=*, posto em último lugar no ficheiro.\nMais duas coisas do mesmo código que vale a pena teres na cabeça quando estiveres a depurar:\nGanha a primeira correspondência, pela ordem do ficheiro, e uma segunda correspondência só regista um aviso. É a regra desde a 1.1.111. Um filtro só corresponde a strings. /product/enable_btrfs é um booleano e nunca corresponde a nada, e um array precisa de um índice, como em /network_interfaces/0/mac. Na 1.1.9, um token desconhecido ou expirado recebe um 401 depois de um atraso deliberado de cerca de meio segundo e não deixa registo. Um token válido sem nada que corresponda recebe um 400 com o corpo no answer file found, e essa tentativa fica registada, com a informação de sistema completa. Esse registo é a maneira mais rápida de ler os números de série e endereços MAC reais de um chassis novo antes de escreveres um filtro para ele.\nNão consegue correr um script de primeiro arranque O próprio instalador suporta um hook de primeiro arranque. Uma resposta pode levar uma secção [first-boot] com source = \u0026quot;from-iso\u0026quot; ou \u0026quot;from-url\u0026quot;, uma ordem de before-network, network-online ou fully-up, e uma impressão digital de certificado opcional9. prepare-iso --on-first-boot embute um script na ISO para o caso from-iso.\nO PDM nunca envia essa secção. Nem uma vez. O tipo de resposta do próprio instalador tem o campo, first_boot: Option\u0026lt;FirstBootHookInfo\u0026gt;12. A resposta preparada do PDM não tem campo nenhum para isso, e o código que constrói a resposta a partir dela escreve first_boot: None incondicionalmente4. Não há nada no formulário, nada na API e nada no ficheiro de configuração que pudesses acrescentar à mão. É um pedido de funcionalidade em aberto, o bug 7699, aberto em junho de 2026 e ainda sem responsável quando isto foi escrito7. Quase cinco meses depois não teve nenhuma resposta da Proxmox, e o 8263 também não. Esse silêncio é a parte preocupante. Quem se deu ao trabalho de escrever como o teu produto podia ser melhor merece uma resposta, mesmo que a resposta seja não, e isso é cortesia profissional elementar. Mais ainda quando quem escreve são clientes pagantes e parceiros, que já estão a pôr dinheiro no produto antes de lhe porem também o seu tempo.\nE o script na ISO não te salva. O instalador só configura o serviço de primeiro arranque if let Some(first_boot) = \u0026amp;answer.first_boot, e esse é o único caminho que alguma vez lê o ficheiro embutido13. O prepare-iso não dá nenhum aviso quando embutes um script que nenhuma resposta vai alguma vez pedir. Fica na ISO e não faz nada.\nA lacuna do primeiro arranque Script na ISO prepare-iso --on-first-boot Resposta do PDM first_boot: None, sempre Instalador configura o hook de primeiro arranque só se a resposta tiver [first-boot] o script fica na ISO e nunca corre, sem nenhum aviso As duas metades chegam ao instalador, e a metade que vem do PDM nunca pede o hook. O script na ISO é peso morto. Isso importa mais para um MSP do que para qualquer outra pessoa. Um nó saído do instalador é um sistema nu com uma password de root em hash e algumas chaves SSH. Não é um remote do PDM, não está num cluster, e não tem nada da tua monitorização, repositórios ou armazenamento. No meu laboratório os três nós terminaram todos e deram sinal, e o remote SITEA no PDM ainda teve de ser acrescentado à mão depois.\nPor isso, seja o que for que uses para acabar um nó, seja Ansible ou outra coisa, tem de ser disparado de fora: pelo webhook pós-instalação, por uma tarefa que vigia a lista de Installations, ou por uma pessoa. Deixo isso por aqui. Este artigo é sobre pôr um único parque PXE a servir todos os sites, e a lacuna do primeiro arranque é um limite a ter em conta no planeamento, não um que eu vá tapar aqui.\nO token é o site O PDM não consegue ver o site, mas delimita as respostas por token, e um token é só um cabeçalho. Quem define o cabeçalho escolhe que conjunto de respostas o instalador pode obter. É esse o truque todo.\nPor isso põe à frente do PDM algo que saiba de onde veio o pedido:\nA imagem de arranque leva um catch token, catch-all:not-a-secret, que é igual em todas as imagens e está publicado aqui mesmo. Não é um token do PDM e não abre nada sozinho. Um reverse proxy Caddy à frente do PDM olha para a sub-rede de origem de um pedido de resposta que leve o catch token, e substitui o cabeçalho pelo token real desse site. O PDM vê site2-2026q4:\u0026lt;secret\u0026gt; e só oferece as respostas do site2. O segredo nunca chega perto da imagem de arranque, por isso uma pen USB perdida ou uma ISO copiada não dão nada a ninguém. Rodar o token de um site é uma alteração no Caddy, não uma reconstrução da imagem. E acrescentar um site é uma linha de configuração do Caddy e um token novo no PDM.\nIsto assenta em o endereço de origem ser honesto, o que é uma propriedade da tua rede, não do proxy. Esse compromisso e os outros estão expostos em «O que falta decidir», mais abaixo.\nComo o instalador encontra o PDM sem um URL embutido Uma imagem para todos os sites só funciona se a imagem também não levar o endereço do PDM. O instalador procura o URL da resposta em três sítios, por ordem14:\nOnde o instalador encontra o URL da resposta 1. URL embutido na ISO? prepare-iso --url sim usado, DHCP e DNS nunca consultados uma imagem por PDM: evitado aqui não 2. Opção DHCP 250? lida do lease do instalador sim usada, com a opção 251 para a impressão digital: aqui não enviada não, ou qualquer erro DHCP 3. Consulta DNS TXT domínio de pesquisa do resolv.conf proxmox-auto-installer.example.doc URL e impressão digital, ambos do DNS A ordem que o instalador segue. Deixa o URL fora da imagem e não envies a opção 250, e todos os sites caem no DNS. Regra O que o código faz O que significa para ti Ordem um URL na ISO ganha; senão DHCP; qualquer falha de DHCP recua para DNS14 constrói a imagem sem --url, e não envies a opção 250 em lado nenhum Nomes dos registos proxmox-auto-installer.\u0026lt;search domain\u0026gt; para o URL, proxmox-auto-installer-cert-fingerprint.\u0026lt;search domain\u0026gt; para a impressão digital uma zona, dois registos TXT Domínio de pesquisa a primeira linha search de /etc/resolv.conf, dividida num único espaço distribui exatamente um domínio; dois tornam-se um nome inválido Sem domínio falha com Could not find search domain in resolv.conf. verifica que a opção DHCP 15 ou 119 está a ser enviada Valor TXT dig txt +short, todas as \u0026quot; removidas, depois aparado um valor TXT dividido em várias strings deixa um espaço no URL; mantém-no numa string só Impressão digital tirada do DNS só quando o URL também veio do DNS e não há nenhuma embutida publica a impressão digital do certificado do PDM, que o Caddy também serve Token enviado como Authorization: Bearer \u0026lt;token\u0026gt;, guardado em texto simples na ISO9 é por isso que a imagem só leva o catch token O certificado que o instalador verifica é o que responder na 443. Neste desenho o Caddy serve lá o próprio certificado do PDM, por isso um cliente vê na 443 o mesmo certificado que o PDM tem na 8443, e há uma só impressão digital para publicar.\nConstruir: PDM, ficheiros de arranque e DNS Os exemplos usam o domínio example.doc e três sites, 10.10.50.0/24, 10.20.50.0/24 e 10.30.50.0/24. .doc não é um domínio de topo real, por isso substitui pelo teu. O PDM, o Caddy, o dnsmasq e os ficheiros de arranque vivem todos num host, pdm.example.doc em 10.10.50.10, e os sites remotos chegam lá através de um relay DHCP nos seus gateways. A gestão vive em 10.99.0.0/24 e, como tal, é a única rede que alguma vez vê a interface web do PDM.\nTokens e respostas no PDM Em Remotes → Automated Installations → Authentication Tokens, acrescenta um token por site e dá-lhe uma validade que corresponda à tua janela de implementação. O nome não é secreto, e vais vê-lo nos logs, por isso faz com que diga alguma coisa: site1-2026q4. Copia o segredo quando for mostrado.\nDepois acrescenta uma resposta preparada por site e por produto, autorizada apenas no token desse site:\nCampo site1, Proxmox VE Token autorizado site1-2026q4 Filtro de alvo /product/product=pve País, teclado, fuso horário gb, en-gb, Europe/London Acesso root chaves SSH, mais uma password definida no formulário, que o PDM guarda e envia apenas como hash4 Rede DHCP, nomes de interfaces fixados FQDN {{ product.product }}-site1-{{ installation_nr }}.example.doc Disco a tua disposição, por exemplo um espelho ZFS sobre dois discos nomeados Webhook pós-instalação URL base https://pdm.example.doc, com a impressão digital do certificado do PDM O contador sobe cada vez que uma resposta é servida, incluindo as repetições, por isso os nomes podem saltar números. O contador do meu laboratório está em 4 depois de três instalações terminadas. Se precisas de nomes previsíveis, usa FQDN from DHCP e põe o nome do host na reserva DHCP.\nO URL base do webhook é a única definição que tem de mudar para este desenho. O natural é apontá-lo para o próprio PDM na porta 8443, que era como o meu laboratório o tinha, e a 8443 está prestes a ser fechada. Aponta-o para o Caddy.\nOs ficheiros de arranque Em qualquer host Proxmox VE ou Debian com o repositório do Proxmox:\napt install proxmox-auto-install-assistant xorriso mkdir -p /srv/www/pve-9.2 proxmox-auto-install-assistant prepare-iso proxmox-ve_9.2-1.iso \\ --fetch-from http \\ --answer-auth-token \u0026#39;catch-all:not-a-secret\u0026#39; \\ --pxe-loader ipxe \\ --output /srv/www/pve-9.2/ Sem --url, porque o DNS fornece-o. --pxe-loader ipxe implica --pxe, e com --pxe a saída tem de ser um diretório que já exista15. Recebes quatro ficheiros: vmlinuz, initrd.img recomprimido de zstd para gzip porque o iPXE não consegue carregar um initrd zstd, a ISO preparada com /boot removido, e um menu boot.ipxe que arranca por omissão a instalação automática ao fim de dez segundos e se refere aos outros pelo nome relativo15. Mantém os quatro no mesmo diretório.\nCada alvo precisa de memória suficiente para guardar o kernel, o initrd e a ISO inteira. As notas do Proxmox VE 9.2 apontam «at least 6 GiB of available memory on the host»5. As mesmas notas indicam um problema conhecido do kernel da ISO 9.2 com controladores megaraid_sas e alguns discos NVMe em modo JBOD (just a bunch of disks), com o conselho de instalar a partir da ISO 9.1 e atualizar5. Testa o teu hardware antes de lhe confiares o caminho pela rede.\nOs registos DNS Na zona que corresponde ao único domínio de pesquisa que o DHCP distribui:\n$ORIGIN example.doc. pdm IN A 10.10.50.10 proxmox-auto-installer IN TXT \u0026#34;https://pdm.example.doc/api2/json/auto-install/answer\u0026#34; proxmox-auto-installer-cert-fingerprint IN TXT \u0026#34;63:C4:D6:...:85:07\u0026#34; A impressão digital é a do próprio certificado do PDM:\nopenssl x509 -in /etc/proxmox-datacenter-manager/auth/api.pem -noout -fingerprint -sha256 Verifica-os da maneira que o instalador o fará:\ndig txt +short proxmox-auto-installer.example.doc @10.10.50.10 # one quoted string, nothing split Caddy, a única porta para o PDM A API do PDM escuta em [::]:8443, e isso é uma constante compilada no binário, não uma definição16. Não a podes ligar ao loopback. Por isso o Caddy torna-se a única entrada, e a firewall garante-o.\nAs rotas do Caddy à frente do PDM PEDIDO O QUE ACONTECE POST de resposta, sub-rede de site, catch token reescrito com o token desse site POST de post-hook, sub-rede de site Authorization retirado, segue interface web ou API, sub-rede de gestão passa intacto, login do PDM tudo o resto, de qualquer lado abortado, nunca chega ao PDM porta 8443, de fora da máquina descartado pelo nftables Cada pedido que o Caddy vê acaba num de cinco sítios. Só os três primeiros chegam ao PDM. O PDM tem exatamente duas rotas que funcionam sem login no PDM: POST /api2/json/auto-install/answer com um token de instalador, e POST …/installations/{uuid}/post-hook com o token de uso único no corpo4. São as únicas duas a que uma rede de provisionamento deve alguma vez chegar.\nUsa o Caddy 2.11.1 ou posterior. A 2.11.1 corrigiu um bypass do path matcher, CVE-2026-27587, que é exatamente o tipo de filtragem por caminho em que isto assenta17. O pacote do próprio Debian 13 é a 2.6.2, por isso tira-o do trixie-backports, que traz a 2.11.2, ou do repositório do próprio Caddy18.\nO Caddyfile, /etc/caddy/Caddyfile:\n{ # the admin API on a socket only root can open, never on TCP admin unix//run/caddy/admin.sock|0600 auto_https disable_redirects servers { protocols h1 h2 } } # PDM itself, on the loopback, trusted by its own certificate (pdm_upstream) { reverse_proxy https://[::1]:8443 { transport http { tls_trust_pool file /etc/proxmox-datacenter-manager/auth/api.pem tls_server_name pdm.example.doc } } log_append pdm_status {http.reverse_proxy.status_code} } # one site: name, subnet, PDM token name, PDM token secret (site) { @{args[0]} { method POST path /api2/json/auto-install/answer remote_ip {args[1]} header Authorization \u0026#34;Bearer catch-all:not-a-secret\u0026#34; } handle @{args[0]} { log_append site {args[0]} log_append pdm_token {args[2]} request_header Authorization \u0026#34;Bearer {args[2]}:{args[3]}\u0026#34; import pdm_upstream } } pdm.example.doc, 10.10.50.10 { tls /etc/proxmox-datacenter-manager/auth/api.pem /etc/proxmox-datacenter-manager/auth/api.key import site site1 10.10.50.0/24 site1-2026q4 {env.PDM_SECRET_SITE1} import site site2 10.20.50.0/24 site2-2026q4 {env.PDM_SECRET_SITE2} import site site3 10.30.50.0/24 site3-2026q4 {env.PDM_SECRET_SITE3} @post_hook { method POST path /api2/json/auto-install/installations/*/post-hook remote_ip 10.10.50.0/24 10.20.50.0/24 10.30.50.0/24 } handle @post_hook { request_header -Authorization import pdm_upstream } # the PDM web UI and API, from the management network only @mgmt remote_ip 10.99.0.0/24 handle @mgmt { import pdm_upstream } # anything else, from anywhere, never reaches PDM handle { abort } log { output file /var/log/caddy/pdm.log format filter { request\u0026gt;headers\u0026gt;Csrfpreventiontoken replace REDACTED } } } # boot files, to the sites and management only http://:80 { @hidden path_regexp /\\. handle @hidden { abort } @boot remote_ip 10.10.50.0/24 10.20.50.0/24 10.30.50.0/24 10.99.0.0/24 handle @boot { root * /srv/www file_server } handle { abort } } As partes que fazem trabalho de segurança, e porque está lá cada uma:\nLinha Porquê header Authorization \u0026quot;Bearer catch-all:not-a-secret\u0026quot; no matcher do site sem ela, qualquer POST de uma sub-rede de site recebe o token real; um pedido tem de vir da sub-rede certa e levar o catch token request_header Authorization … define o cabeçalho, sobrescrevendo o que o cliente enviou, por isso um token forjado é substituído, nunca reencaminhado19 remote_ip o par imediato; não ponhas NAT nem balanceador de carga entre os instaladores e o Caddy20 blocos handle com nome mantidos pela ordem em que estão escritos e mutuamente exclusivos, por isso o handle { abort } simples tem a última palavra21 @mgmt a interface e a API completas do PDM, intactas, para que o login, os tokens de API e os cookies do próprio PDM funcionem normalmente; uma sub-rede de site não recebe nada disso admin unix//…|0600 a API de administração usa por omissão TCP localhost:2019, sem autenticação22 protocols h1 h2 o Caddy escuta por omissão em UDP 443 para HTTP/322; isto desliga-o em vez de deixar uma porta que ninguém quis abrir @hidden o file_server serve todos os ficheiros debaixo da sua raiz, incluindo os ficheiros com ponto, e o hide está documentado como não sendo uma fronteira de segurança23 Csrfpreventiontoken replace REDACTED o Caddy oculta Authorization e Cookie no seu log de acessos por omissão, mas não o cabeçalho CSRF do PDM24 O path matcher é mais tolerante do que o PDM, que é o sentido certo. O Caddy limpa o caminho, descodifica o percent-encoding, junta barras repetidas e ignora maiúsculas antes de comparar20. Por isso //answer, %61nswer e ANSWER contam todos como a rota de resposta, e uma variante /api2/extjs/… ou uma barra final não correspondem a uma rota de site e caem no abort.\nHá duas escolhas ali que precisam de explicação.\nO Caddy serve o certificado do PDM, diretamente dos ficheiros do PDM. O Caddy lê api.pem e api.key onde o PDM os guarda, por isso os instaladores, o webhook e um browser veem todos o certificado que o PDM apresenta na 8443, e não há segunda cópia a desatualizar-se. A maneira óbvia de lhe dar esse acesso é acrescentar o utilizador caddy ao www-data. No meu laboratório verifiquei aquilo a que essa pertença ao grupo dá realmente acesso, testando cada ficheiro como o utilizador caddy:\nFicheiro em /etc/proxmox-datacenter-manager/ Legível pelo caddy no www-data remotes.shadow, as credenciais de todos os remotes geridos sim autoinst/tokens.shadow, todos os segredos dos tokens de instalador sim auth/api.key, auth/csrf.key sim access/user.cfg, subscriptions/ sim Nada nessa lista deve estar perto de um proxy web. Um bug no proxy seria então um comprometimento de todos os clusters que o PDM gere.\nPor isso o Caddy fica fora do www-data e recebe uma ACL exatamente nos dois ficheiros de que precisa, mais permissão para atravessar os dois diretórios acima deles sem os listar:\n#!/bin/sh # /usr/local/sbin/pdm-cert-acl # let Caddy read PDM\u0026#39;s certificate and key in place, and nothing else of PDM\u0026#39;s set -e D=/etc/proxmox-datacenter-manager; A=$D/auth setfacl -m u:caddy:x \u0026#34;$D\u0026#34; \u0026#34;$A\u0026#34; setfacl -m u:caddy:r \u0026#34;$A/api.pem\u0026#34; \u0026#34;$A/api.key\u0026#34; Testado como o utilizador caddy no laboratório depois de o correr:\nCaminho caddy auth/api.pem, auth/api.key consegue ler auth/csrf.key, auth/authkey.key, auth/authkey.pub não consegue ler remotes.shadow, remotes.cfg, autoinst/tokens.shadow, access/user.cfg não consegue ler listar auth/ recusado O senão é a renovação. O PDM escreve um certificado renovado num ficheiro novo e renomeia-o para o lugar, e um ficheiro novo não traz a ACL do antigo. Por isso, quando o PDM renova, o systemd repõe a ACL e recarrega o Caddy, sem ninguém envolvido.\nUma verificação de que o certificado e a chave pertencem um ao outro, porque uma renovação escreve-os um de cada vez:\n#!/bin/sh # /usr/local/sbin/pdm-cert-pair-ok # exit 0 only when PDM\u0026#39;s certificate and key belong together d=/etc/proxmox-datacenter-manager/auth c=$(openssl x509 -noout -pubkey -in \u0026#34;$d/api.pem\u0026#34;) || exit 1 k=$(openssl pkey -pubout -in \u0026#34;$d/api.key\u0026#34;) || exit 1 [ \u0026#34;$c\u0026#34; = \u0026#34;$k\u0026#34; ] Uma unidade path a vigiar os dois ficheiros, e o serviço que ela arranca:\n# /etc/systemd/system/caddy-pdm-cert.path [Unit] Description=Watch the PDM certificate and key for renewal [Path] PathChanged=/etc/proxmox-datacenter-manager/auth/api.pem PathChanged=/etc/proxmox-datacenter-manager/auth/api.key Unit=caddy-pdm-cert.service [Install] WantedBy=multi-user.target # /etc/systemd/system/caddy-pdm-cert.service [Unit] Description=Let Caddy read the renewed PDM certificate in place, then reload Caddy [Service] Type=oneshot ExecCondition=/usr/local/sbin/pdm-cert-pair-ok ExecStart=/usr/local/sbin/pdm-cert-acl ExecStart=/usr/bin/systemctl try-reload-or-restart caddy.service apt install acl systemctl daemon-reload systemctl enable --now caddy-pdm-cert.path O override mais abaixo corre o mesmo script de ACL antes de cada arranque do Caddy, por isso uma renovação enquanto o Caddy estava parado nunca é perdida.\nOs pormenores que o fazem funcionar, cada um verificado:\nPeça Porquê os dois ficheiros vigiados a primeira escrita dispara a unidade; a condição salta-a enquanto o par não corresponder, e a segunda escrita volta a dispará-la com um par que corresponde ExecCondition uma condição falhada salta a execução em vez de a dar como falhada, por isso uma renovação a meio nunca chega ao Caddy25 PathChanged dispara quando um ficheiro vigiado que estava aberto para escrita é fechado26; no laboratório também disparou quando um ficheiro novo foi renomeado por cima do antigo o script de ACL em cada execução um ficheiro renomeado para o lugar não tem ACL, por isso o Caddy não o conseguia ler até o script voltar a correr try-reload-or-restart recarrega o Caddy se estiver a correr e não faz nada se não estiver reload --force na unidade do Caddy sem --force, o Caddy vê a mesma configuração e continua a servir o certificado antigo Essa última linha não é um palpite. Num contentor descartável com o Caddy 2.11.7 troquei o ficheiro do certificado por trás de um servidor em execução: um caddy reload simples continuou a servir o certificado antigo, e caddy reload --force serviu o novo. A unidade empacotada já recarrega com --force27, por isso mantém essa linha se fizeres override do ExecReload.\nNo laboratório substituí o api.key e o api.pem do PDM da maneira que uma renovação o faz, escrevendo ficheiros novos e renomeando-os por cima dos antigos. Logo a seguir ao rename, o api.key não tinha entrada de ACL para o caddy. Em quatro segundos a unidade path tinha disparado, a ACL estava de volta nos dois ficheiros, e o Caddy tinha recarregado no lugar com o mesmo ID de processo.\nO nome do token e o segredo ficam separados. O nome vai no Caddyfile, onde é registado. O segredo vai num ficheiro de ambiente que só o root pode ler, e o Caddy lê-o através de {env.*} no momento do pedido.\nRegista que token foi usado, nunca o segredo A primeira versão disto no meu laboratório deixava fugir o segredo. A unidade empacotada do Caddy arranca-o como caddy run --environ, e --environ imprime o ambiente inteiro antes de arrancar28,27. Cada reinício punha o token do site no journal em texto claro: oito linhas disso quando as contei. Nada no log de acessos, nada nos logs do próprio PDM, tudo vindo daquela única flag.\nPara onde vão o segredo e o nome do token O SEGREDO pdm-secrets.env só root, 0600 ambiente do Caddy {env.PDM_SECRET_SITE1} cabeçalho Authorization só o salto de loopback até ao PDM O NOME linha import no Caddyfile log de acessos, cada pedido de resposta \"pdm_token\":\"site1-2026q4\" NUNCA ESCRITO EM o journal --environ retirado a API de administração socket unix, 0600 um dump da configuração só o placeholder O segredo tem um trabalho e um caminho. O nome é o que registas. Por isso o ficheiro de segredos guarda segredos e mais nada:\ninstall -m 0600 /dev/null /etc/caddy/pdm-secrets.env printf \u0026#39;PDM_SECRET_SITE1=%s\\nPDM_SECRET_SITE2=%s\\nPDM_SECRET_SITE3=%s\\n\u0026#39; \\ \u0026#39;\u0026lt;secret1\u0026gt;\u0026#39; \u0026#39;\u0026lt;secret2\u0026gt;\u0026#39; \u0026#39;\u0026lt;secret3\u0026gt;\u0026#39; \u0026gt; /etc/caddy/pdm-secrets.env e o override da unidade tira o --environ e dá uma casa ao socket de administração:\n# systemctl edit caddy [Service] EnvironmentFile=/etc/caddy/pdm-secrets.env RuntimeDirectory=caddy RuntimeDirectoryMode=0700 # PDM\u0026#39;s certificate and key, read where PDM keeps them ExecStartPre=+/usr/local/sbin/pdm-cert-acl # the access log directory and its files belong to Caddy ExecStartPre=+/usr/bin/install -d -o caddy -g caddy -m 0750 /var/log/caddy ExecStartPre=+/usr/bin/chown -R caddy:caddy /var/log/caddy ExecStart= ExecStart=/usr/bin/caddy run --config /etc/caddy/Caddyfile ExecReload= ExecReload=/usr/bin/caddy reload --config /etc/caddy/Caddyfile --force O + corre essas linhas como root, antes de o Caddy arrancar com o seu próprio utilizador. As linhas do log importam assim que outra coisa mexa em /var/log/caddy: um log rodado pelo root, ou um ficheiro criado à mão durante os testes, deixa o Caddy incapaz de abrir o seu próprio log de acessos. No laboratório pus o pdm.log como root:root e reiniciei o Caddy; voltou como caddy:caddy e o Caddy não registou erros de permissões.\nReinicia em vez de recarregar depois de o editar, porque um reload não volta a ler o ambiente. Usa {env.NAME}, nunca {$NAME}: a segunda forma é substituída quando o Caddyfile é adaptado, por isso o segredo acaba na configuração JSON, no ficheiro de autosave e em tudo o que os despeje29. O socket de administração também importa aqui. {env.*} resolve qualquer coisa do ambiente do processo sem lista de autorizações, por isso quem conseguir carregar uma configuração através de uma API de administração em TCP pode pôr o Caddy a devolver-lhe um segredo30.\nCada linha de resposta no log de acessos indica agora o site e o token, com o próprio cabeçalho ocultado. Do laboratório, onde ambos se chamam siteA:\n{\u0026#34;site\u0026#34;:\u0026#34;siteA\u0026#34;,\u0026#34;pdm_token\u0026#34;:\u0026#34;siteA\u0026#34;,\u0026#34;pdm_status\u0026#34;:400,\u0026#34;status\u0026#34;:400, \u0026#34;request\u0026#34;:{\u0026#34;headers\u0026#34;:{\u0026#34;Authorization\u0026#34;:[\u0026#34;REDACTED\u0026#34;]}}} Verifiquei-o em vez de confiar. Numa cópia em podman desta configuração com segredos fictícios, e depois no laboratório, enviei respostas por todos os caminhos de que me lembrei: normal, com logging de debug ligado, upstream em baixo para um 502, um reload e um reinício. Depois contei cada segredo no journal, no log de acessos, nos diretórios de configuração e de dados do Caddy e no JSON adaptado. Todas as contagens deram zero. A execução de controlo, a mesma configuração arrancada com --environ, imprimiu o segredo duas vezes.\nDuas ressalvas desse teste. Com debug ligado, o Caddy regista toda a sua configuração adaptada, por isso o catch token e os placeholders {env.*} aparecem lá; os valores por trás deles não apareceram. Mantém o debug desligado em produção na mesma. E se um segredo já passou por um journal, como o meu, gera-o de novo no PDM e atualiza o ficheiro; apagar linhas de log não é a solução.\nA firewall: a 8443 nunca sai da máquina O meu laboratório não tinha firewall nenhuma, por isso a 8443 respondia a todos os hosts da rede de provisionamento e todas as regras do Caddyfile podiam ser contornadas. Fecha-a. nftables, com drop por omissão:\n#!/usr/sbin/nft -f flush ruleset define SITES = { 10.10.50.0/24, 10.20.50.0/24, 10.30.50.0/24 } define MGMT = { 10.99.0.0/24 } table inet filter { chain input { type filter hook input priority filter; policy drop; iifname \u0026#34;lo\u0026#34; accept ct state established,related accept ct state invalid drop meta l4proto { icmp, ipv6-icmp } accept # PDM\u0026#39;s API listens on [::]:8443 and cannot be rebound tcp dport 8443 counter drop ip saddr $MGMT tcp dport { 22, 80, 443 } accept udp dport { 67, 69 } accept ip saddr $SITES meta l4proto { tcp, udp } th dport 53 accept ip saddr $SITES tcp dport { 80, 443 } accept } chain forward { type filter hook forward priority filter; policy drop; } } As ligações do PDM aos seus remotes são de saída, por isso fechar a 8443 à entrada não muda nada aí. Carrega um ruleset novo com rollback temporizado da primeira vez, para que um erro te custe noventa segundos e não uma ida à consola:\nsystemd-run --unit=nft-rollback --on-active=90 /usr/sbin/nft flush ruleset nft -f /etc/nftables.conf # still connected? then: systemctl stop nft-rollback.timer \u0026amp;\u0026amp; systemctl enable nftables No laboratório, depois de tudo isto:\nVerificação Resultado 8443 a partir da rede de gestão sem ligação; o contador de drop a subir interface web do PDM através do Caddy na 443, a partir da gestão faz login e funciona interface web do PDM a partir de um endereço de site abortado POST de resposta de um site com o catch token chega ao PDM com o token do site: uma sonda deliberadamente sem correspondência recebeu 400 no answer file found a mesma sonda diretamente ao PDM com um token inventado 401 POST de resposta sem o catch token, ou como /api2/extjs/… abortado ficheiros onde vivem os segredos do PDM, lidos como caddy nenhum legível o segredo do site no journal, no log de acessos ou nos dados do Caddy desde a alteração 0 DHCP, iPXE e o ciclo O firmware do servidor só consegue ir buscar o seu primeiro ficheiro por TFTP, por isso o TFTP serve o pequeno loader do iPXE e o iPXE vai buscar tudo o resto por HTTP. A armadilha é que o iPXE envia o seu próprio pedido DHCP, e um servidor que lhe responda outra vez com ipxe.efi põe a máquina a andar em círculos para sempre. O servidor DHCP tem de distinguir o firmware do iPXE.\nPorque é que uma resposta DHCP simples entra em ciclo Resposta simples: ciclo o firmware pede um ficheiro de arranque resposta: ipxe.efi o iPXE arranca e volta a pedir mesma resposta: ipxe.efi o servidor não distingue o firmware do iPXE, por isso nunca avança Reconhece o iPXE: funciona o firmware pede um ficheiro de arranque não é iPXE: ipxe.efi por TFTP o iPXE volta a pedir, com a opção 175 resposta: o URL do boot.ipxe, por HTTP kernel, initrd e ISO, depois instala O mesmo pedido duas vezes recebe a mesma resposta duas vezes. A opção 175, que só o iPXE envia, é como o servidor distingue o segundo pedido do primeiro. Servidor DHCP Como quebra o ciclo dnsmasq marca os pedidos que levam a opção 175, que só o iPXE envia, e dá-lhes o URL HTTP31 ISC dhcpd if exists user-class and option user-class = \u0026quot;iPXE\u0026quot;32 FortiGate o campo filename aceita um só valor, por isso constrói um loader iPXE com o URL embutido e serve-o a tudo O dnsmasq, a servir a sua própria rede e as outras duas através de relays, só com reservas:\n# /etc/dnsmasq.d/pxe.conf local=/example.doc/ domain=example.doc address=/pdm.example.doc/10.10.50.10 txt-record=proxmox-auto-installer.example.doc,\u0026#34;https://pdm.example.doc/api2/json/auto-install/answer\u0026#34; txt-record=proxmox-auto-installer-cert-fingerprint.example.doc,\u0026#34;63:C4:D6:...:85:07\u0026#34; dhcp-authoritative dhcp-range=set:site1,10.10.50.0,static,255.255.255.0,1h dhcp-range=set:site2,10.20.50.0,static,255.255.255.0,1h dhcp-range=set:site3,10.30.50.0,static,255.255.255.0,1h dhcp-option=tag:site1,option:router,10.10.50.1 dhcp-option=tag:site2,option:router,10.20.50.1 dhcp-option=tag:site3,option:router,10.30.50.1 dhcp-option=option:dns-server,10.10.50.10 dhcp-option=option:domain-search,example.doc dhcp-match=set:ipxe,175 dhcp-match=set:efi64,option:client-arch,7 dhcp-match=set:efi64,option:client-arch,9 dhcp-boot=tag:efi64,tag:!ipxe,ipxe.efi dhcp-boot=tag:ipxe,http://pdm.example.doc/pve-9.2/boot.ipxe # no option 250 anywhere: DNS discovery depends on it enable-tftp tftp-root=/srv/tftp tftp-secure # TFTP block-size ceiling: lower it for an IPsec or other tunnel in the path tftp-mtu=1500 # dhcp-host=\u0026lt;mac\u0026gt;,\u0026lt;ip inside that site\u0026#39;s /24\u0026gt;,\u0026lt;hostname\u0026gt; dhcp-host=aa:bb:cc:dd:ee:01,10.10.50.21,pve01 dhcp-host=aa:bb:cc:dd:ee:02,10.20.50.21,pve01 static quer dizer sem pool: só as máquinas reservadas recebem endereço, o que mantém estranhos fora do caminho do instalador. O endereço de cada reserva tem de estar dentro do /24 do seu próprio site, porque esse endereço é o que o Caddy usa para escolher o token. Um nó reservado na sub-rede errada recebe a resposta do site errado, ou nada.\nAs reservas são uma lista de endereços MAC, e isso é papelada por máquina, exatamente do tipo que o cliente não queria. Se ligar e arrancar é mesmo o requisito, dá a cada VLAN de provisionamento uma pequena gama dinâmica, por exemplo dhcp-range=set:site1,10.10.50.100,10.10.50.150,255.255.255.0,1h. O site continua a vir da sub-rede, por isso o Caddy continua a escolher o token certo, e o template de FQDN com installation_nr dá nome ao nó. O preço é a primeira linha de «O que falta decidir»: qualquer coisa ligada a essa VLAN pode agora ir buscar a resposta do site, por isso a própria VLAN passa a ser o portão.\nO dnsmasq negoceia o tamanho de bloco TFTP com o cliente. Se o deixares, limita-o ao MTU da sua própria interface31, o que funciona até o caminho para um site ser mais pequeno do que o link em que o dnsmasq está. Por isso a configuração declara o teto como tftp-mtu=1500 em vez de o herdar. Isso põe o número à frente de quem cuida de um site atrás de um túnel IPsec ou de qualquer outra coisa que coma espaço ao pacote, e essa pessoa baixa-o para o que o caminho realmente aguenta em vez de o descobrir por uma transferência que encrava a meio. Se uma ROM de NIC se portar mal quando a opção é sequer concedida, tftp-no-blocksize desliga a negociação.\nCopia o ipxe.efi do pacote ipxe do Debian para /srv/tftp, com o utilizador dnsmasq como dono, porque o tftp-secure recusa tudo o resto. Prefere UEFI. O Secure Boot precisa de um iPXE assinado, por isso ou configuras isso ou desligas o Secure Boot para a instalação e voltas a ligá-lo depois.\nArrancar, observar e o que avaria Testa com uma máquina virtual numa rede de site antes de tocares em hardware: firmware UEFI, 8 GiB de memória e uma NIC nessa VLAN reproduzem a cadeia inteira.\nO que acontece no arranque Servidor alvo arranque de rede UEFI 6 GiB ou mais 1. DHCP e TFTP um lease, um domínio de pesquisa, depois ipxe.efi 2. HTTP na porta 80 boot.ipxe, vmlinuz, initrd.img e a ISO, para a memória 3. DNS dois registos TXT: URL da resposta e impressão digital do PDM 4. Caddy na 443, depois PDM a resposta agora, o webhook depois do reinício Quatro conversas separadas, cada uma com o seu sítio onde olhar quando falha. E tudo por ordem, desde ligar a corrente até uma instalação que o PDM marca como Finished:\nDo ligar da corrente à instalação completa Alvo dnsmasq, :80 Caddy :443 PDM DHCP: um lease TFTP: ipxe.efi o iPXE volta a pedir HTTP: kernel, initrd, ISO instalador: um domínio DNS: dois registos TXT POST, catch token token do site em curso a resposta gerada, via Caddy instala no disco webhook, token de uso único Authorization retirado Finished reinicia; primeiro arranque ativa a chave Todos os passos, por ordem. O webhook é enviado pelo instalador antes do reinício, por isso Finished quer dizer instalado, não arrancado; a chave de subscrição é ativada depois, no primeiro arranque. Passo O que acontece Onde olhar 1 o firmware recebe ipxe.efi por TFTP, o iPXE recebe boot.ipxe por HTTP journalctl -u dnsmasq, o log do Caddy 2 ao fim de dez segundos o menu arranca a entrada automática; descarregam-se o kernel, o initrd e a ISO quatro GET, um deles de cerca de 1,6 GB 3 o instalador obtém um lease, lê o domínio de pesquisa, consulta os dois registos TXT /tmp/fetch_answer.log no alvo 4 POST para o Caddy, token trocado, o PDM escolhe uma resposta o log do Caddy indica o token; o PDM mostra uma instalação nova 5 a instalação corre /tmp/auto_installer.log, /tmp/install-low-level-start-session.log 6 ainda no instalador, o webhook responde através do Caddy, depois a máquina reinicia33 a instalação passa a Finished com discos, NIC e chaves SSH do host associados Numa falha, o instalador cai para uma shell, a não ser que a resposta defina Reboot on Error, por isso deixa isso desligado enquanto testas.\nSintoma Causa provável Could not find search domain in resolv.conf. o DHCP não enviou domínio uma consulta TXT para um nome com um espaço mais de um domínio de pesquisa Got empty response. registo em falta, zona errada, ou a opção 6 aponta para outro servidor DNS um URL com um espaço no meio valor TXT dividido em várias strings o log diz que o URL veio do DHCP a opção 250 está na rede algures erro TLS no POST a impressão digital no DNS não é a do certificado atual do Caddy ligação fechada sem resposta o Caddy abortou-a: sub-rede errada, sem catch token, ou uma rota que não é uma das duas 400 no answer file found o token funcionou; nenhum filtro correspondeu e não há resposta por omissão nesse token a resposta errada filtros sobrepostos; ganha o primeiro do ficheiro o estado fica em curso o URL base do webhook ainda aponta para a 8443 o iPXE recarrega-se para sempre o servidor DHCP não está a distinguir o iPXE do firmware timeout TFTP PXE-E32 next-server errado, ou UDP 69 bloqueado Acrescentar o Proxmox Backup Server Nada no caminho é específico do Proxmox VE. Constrói um segundo conjunto de ficheiros de arranque a partir da ISO do PBS 4 com o mesmo catch token, em /srv/www/pbs-4/, e acrescenta uma resposta PBS por site com o filtro /product/product=pbs, autorizada no token desse site. Os registos DNS, o Caddy, os tokens e a firewall não mudam.\nPara um site com os dois, alguma coisa tem de decidir que produto uma máquina recebe, e um menu é a coisa errada para o decidir. O choose do iPXE sem --timeout fica à espera na consola de que se carregue numa tecla para sempre, o que é o contrário de não assistido.\nDeixa a reserva DHCP decidir. Já reservas todos os nós por endereço MAC, por isso marca os PBS e envia a cada marca o seu próprio boot.ipxe:\n# /etc/dnsmasq.d/pxe.conf, replacing the single iPXE dhcp-boot line dhcp-host=aa:bb:cc:dd:ee:01,10.10.50.21,pve01 dhcp-host=aa:bb:cc:dd:ee:31,set:pbs,10.10.50.31,pbs01 dhcp-boot=tag:ipxe,tag:!pbs,http://pdm.example.doc/pve-9.2/boot.ipxe dhcp-boot=tag:ipxe,tag:pbs,http://pdm.example.doc/pbs-4/boot.ipxe set:pbs numa reserva marca essa máquina31, e tag:!pbs mantém as duas linhas de arranque mutuamente exclusivas, por isso não há dúvida sobre qual ganha. O boot.ipxe de cada produto já arranca a sua entrada automática ao fim de dez segundos sem ninguém ao teclado15.\nEstas linhas passam o dnsmasq --test na 2.91, a versão do meu laboratório, e seguem a sintaxe documentada de dhcp-host e das tags. Ainda não arranquei por PXE um nó PBS através delas, por isso experimenta uma máquina marcada antes de contares com isso.\nA partir daí é o mesmo caminho que o Proxmox VE. O instalador do PBS envia \u0026quot;product\u0026quot;: \u0026quot;pbs\u0026quot;, o Caddy troca para o token do site, e o PDM escolhe a resposta PBS desse site. Nada é escolhido à mão em momento nenhum, e o produto em que um nó se torna fica escrito num só sítio, a reserva, ao lado do seu endereço.\nO que decide Onde vive que ISO arranca a tag set:pbs na reserva DHCP que respostas de que site se aplicam a sub-rede de origem, através da troca de token do Caddy que resposta dentro desse site o filtro /product/product=pbs no PDM O instalador instala apenas o sistema operativo. O datastore, em armazenamento separado do disco do sistema, é mais um trabalho para o que quer que acabe o nó, o que nos traz de volta ao hook de primeiro arranque em falta.\nO que falta decidir Nada disto te impede de usar este desenho. Cada ponto precisa de alguém que fique responsável por ele.\nCompromisso Porque importa O que fazer o endereço de origem é o portão qualquer coisa numa VLAN de provisionamento, ou capaz de falsificar um endereço nela, pode ir buscar a resposta desse site: hash da password de root, chaves SSH, chave de subscrição isolar a VLAN, port security, só reservas, validade dos tokens, desativar tokens entre implementações o catch token não é segredo está em todas as imagens e nesta página só filtra pedidos perdidos; a sub-rede e o token real guardado no Caddy é que são o portão o Caddy consegue ler a chave do PDM servir o certificado do PDM significa que o proxy lê essa chave privada uma ACL só em api.pem e api.key, nada mais do PDM legível, o host bem fechado; a chave nunca sai dele o DNS é de confiança um registo TXT forjado manda o instalador para outro lado, e se a impressão digital também vier do DNS o falsificador controla as duas protege o DNS de provisionamento, ou embute a impressão digital do PDM com --cert-fingerprint e reconstrói quando mudar os ficheiros de arranque vão por HTTP simples podem ser lidos ou trocados no fio mantém a rede isolada; iPXE por HTTPS se a tua build o suportar o token do webhook 16 bytes aleatórios, uso único, apagado depois da resposta, mas sem limite de tempo4 limpa os registos de instalação antigos a chave de subscrição ativada uma vez depois de a rede subir; em caso de falha a chave é apagada e a unidade falha, sem nova tentativa34 verifica systemctl --failed nos nós novos o PDM é um ponto único hoje não tem alta disponibilidade uma falha trava instalações novas, não clusters em funcionamento uma NIC de gestão a resposta não tem opções de bond, VLAN ou bridge9 isso é trabalho pós-instalação, com o mesmo problema do primeiro arranque Uma primeira versão, construída como deve ser Esta é uma primeira versão da funcionalidade, e para uma primeira versão é boa. O formulário de resposta é sensato, as regras de seleção são claras depois de as leres, o webhook funciona, e o código é aberto, que é a única razão pela qual tudo o que está acima pôde ser provado em vez de adivinhado. A série de patches passou por quatro rondas na mailing list pública antes de entrar35, e nota-se.\nAs lacunas são as duas coisas que transformam um servidor de instalação num sistema de provisionamento. Um site é a unidade em que um MSP pensa, e o instalador está em cima dele quando pergunta. Um hook de primeiro arranque é a diferença entre um nó instalado e um nó acabado. Ambos já estão a meio caminho: o instalador tem o hook e o PDM tem o token. Espero que ambos cheguem, e quando chegarem, o Caddy no meio deste desenho fica mais simples em vez de desaparecer, porque um proxy que mantém os segredos do PDM fora de alcance e a 8443 fora da rede vale a pena ter de qualquer maneira.\nA razão para o fazer assim entretanto é a que está no início. Dez servidores PXE são dez coisas a ficar desatualizadas a dez velocidades diferentes, e cada uma só é olhada quando falha no dia em que precisas dela. Um parque, mantido atualizado uma vez, com o site deduzido pela rede e os segredos guardados num só sítio, é menos coisa para gerir. Menos coisa para gerir é menos coisa para correr mal, e isso é a maior parte do trabalho.\nProxmox — Proxmox Datacenter Manager 1.1 press release — instalações automáticas, com um novo separador em Remotes que acompanha o progresso das instalações.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nProxmox Datacenter Manager documentation — Automated Installations — respostas preparadas, filtros de alvo, templates e «a dedicated token mechanism, separate from the normal API tokens».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nproxmox-datacenter-manager, lib/pdm-api-types/src/auto_installer.rs — as chaves dos filtros de alvo «are JSON Pointers as per [RFC6901], the values globs»; só uma resposta por omissão.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nproxmox-datacenter-manager, server/src/api/auto_installer/mod.rs — verificação do token antes da resposta por omissão, primeira correspondência pela ordem do ficheiro, first_boot: None, incrementos do contador, o token de post-hook de uso único, as duas rotas acessíveis sem login no PDM, e os privilégios Sys.Audit/Sys.Modify em /system/auto-installation.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nProxmox VE Roadmap — Proxmox VE 9.2 — preparação para PXE e iPXE, «at least 6 GiB of available memory on the host», e o problema conhecido com megaraid_sas e NVMe em JBOD.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nProxmox Bugzilla 8078 — «prepared answer disk setup does not allow to specify multiple udev filters with same name», aberto a 26 de setembro de 2026, estado NEW a 7 de novembro de 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nProxmox Bugzilla 7699 — «Add on-first-boot parameter to the PDM remote installation», aberto a 12 de junho de 2026, estado NEW a 7 de novembro de 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nproxmox, proxmox-installer-types/src/lib.rs — SystemInfo: produto, ISO, DMI e interfaces de rede.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nProxmox VE wiki — Automated Installation — as opções [first-boot] e [network], a informação de sistema enviada, e que o token de autenticação «is stored in plain text inside the prepared ISO».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nProxmox Bugzilla 8263 — «[Feature Request] auto-installer: client source IP (or X-Forwarded-For) for answer selection and templating», aberto a 31 de outubro de 2026, estado NEW a 7 de novembro de 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nproxmox-datacenter-manager, debian/changelog — 1.1.1: «match prepared answers in the configuration\u0026rsquo;s stable order and let the first match win».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nproxmox, proxmox-installer-types/src/answer.rs — AutoInstallerConfig leva first_boot: Option\u0026lt;FirstBootHookInfo\u0026gt;.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\npve-installer, proxmox-auto-installer/src/bin/proxmox-auto-installer.rs — o executável de primeiro arranque só é configurado quando a resposta tem uma secção first_boot.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\npve-installer, proxmox-fetch-answer/src/fetch_plugins/http.rs — primeiro o URL da ISO, depois DHCP, depois DNS; os nomes TXT; a leitura do resolv.conf; dig txt +short sem aspas; o cabeçalho Bearer.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\npve-installer, proxmox-auto-install-assistant/src/main.rs — --pxe-loader implica --pxe, o diretório de saída, o initrd em gzip, /boot removido da ISO, e o boot.ipxe gerado.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nproxmox-datacenter-manager, server/src/bin/proxmox-datacenter-api/main.rs — PDM_LISTEN_ADDR é o endereço IPv6 não especificado na PDM_PORT, 8443, fixado na compilação.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCaddy releases — a 2.11.1 corrigiu a CVE-2026-27587, um bypass do path matcher através de sequências de escape.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nDebian sources — caddy — 2.6.2-12+deb13u1 no trixie, 2.11.2-1~bpo13+1 no trixie-backports.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCaddy — request_header — «With no prefix, the field is set (overwritten).»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCaddy — Request matchers — remote_ip é o par imediato; as comparações de caminho ignoram maiúsculas, são descodificadas de URL, limpas, com barras repetidas juntas.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCaddy — handle — «only the first matching handle block will be evaluated».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCaddy — Global options — admin usa por omissão localhost:2019; protocols usa por omissão h1 h2 h3.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCaddy — file_server — o hide não deve ser tratado como uma fronteira de segurança.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCaddy — log — Cookie, Set-Cookie, Authorization e Proxy-Authorization são registados como REDACTED.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nsystemd.service — ExecCondition= — com um código de saída de 1 a 254 «the remaining commands are skipped and the unit is not marked as failed».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nsystemd.path — PathChanged= — «activated if the file which was open for writing gets closed».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\ncaddyserver/dist, init/caddy.service — ExecStart=/usr/bin/caddy run --environ --config /etc/caddy/Caddyfile.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCaddy — Command line — --environ imprime o ambiente antes de arrancar.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCaddy — Caddyfile concepts, environment variables — {$NAME} é substituído antes de o Caddyfile ser analisado.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\ncaddyserver/caddy, replacer.go — qualquer chave começada por env. é passada a os.Getenv.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\ndnsmasq manual page — dhcp-match, dhcp-boot, dhcp-host com set:\u0026lt;tag\u0026gt;, enable-tftp, tftp-secure, tftp-mtu, tftp-no-blocksize e gamas static.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\niPXE — Configuring ISC dhcpd — if exists user-class and option user-class = \u0026quot;iPXE\u0026quot; dá ao iPXE o script e ao firmware o loader.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\npve-installer, unconfigured.sh — o proxmox-post-hook corre logo depois de o proxmox-auto-installer ter sucesso, antes do reinício.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\npve-installer, proxmox-first-boot/proxmox-first-boot-subscription — «always drop the staged key, regardless of whether activation succeeded».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\npdm-devel — \u0026ldquo;add auto-installer integration\u0026rdquo;, v4, 40 patches — a série que acrescentou a funcionalidade, com as notas de alteração da v3 para a v4.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\n","permalink":"https://blogs.damiendye.uk/pt/proxmox/pdm-unattended-installs-for-many-sites/","summary":"O Proxmox Datacenter Manager 1.1 consegue servir ficheiros de resposta ao instalador automático do Proxmox, o que faz dele um servidor de instalação natural para um MSP que cuida de muitos sites de clientes. O caso de uso é um cliente que queria cada site construído com o seu próprio esquema de nomes, password de root e chaves SSH, bastando ligar um servidor à VLAN certa e arrancá-lo, sem números de série para recolher e sem ficheiro de resposta por máquina; este artigo cobre essa metade de arranque e instalação, e deixa de lado a entrada no cluster. O PDM não consegue associar uma resposta ao site, nem dar a um nó um script de primeiro arranque, e ambas as coisas são demonstradas a partir do próprio código-fonte do PDM. Mesmo assim, isto constrói um único parque PXE para todos os sites: uma imagem de arranque com um catch token não secreto, descoberta por DNS TXT para que a imagem não leve nenhum URL, e um proxy Caddy que troca o catch token pelo bearer token do próprio site conforme a sub-rede de origem. Cobre como o PDM escolhe uma resposta, o prepare-iso para iPXE, os registos DNS, o dnsmasq e o ciclo do iPXE, um Caddy endurecido que serve toda a interface do PDM na 443 com a 8443 fechada pelo nftables, registar que token foi usado apenas pelo nome, o webhook pós-instalação, acrescentar o Proxmox Backup Server, e os compromissos que ficam.","title":"Um parque PXE para todos os clientes: instalações não assistidas com o Proxmox Datacenter Manager"},{"content":"O Reform UK diz que é o partido da gente comum que trabalha e que foi abandonada. Por isso fiz o que faço com qualquer afirmação destas. Li o que o partido pôs realmente por escrito, o que a sua gente disse publicamente, o que os registos mostram sobre quem o paga, e o que os tribunais, os reguladores e os jornalistas descobriram. Depois pus tudo lado a lado.\nIsto é um artigo de opinião, e argumenta com força. Mas cada facto tem uma fonte numerada no fundo da página, e onde o registo fica aquém de alguma coisa, digo-o. Onde um tribunal ou um regulador deu razão ao Reform, isso também está aqui. Uma acusação que esconde as partes que lhe são desfavoráveis não é uma acusação.\nA pergunta é: para quem é, afinal, o Reform? Começa pelo que faria às pessoas que já vivem cá.\nRevogar, voltar a pedir ou sair A indefinite leave to remain, a autorização de residência por tempo indeterminado, é o estatuto que as pessoas obtêm depois de anos a viver e a trabalhar cá legalmente. É o que permite a uma enfermeira, a um engenheiro ou a uma cuidadora deixar de renovar um visto e seguir com a vida. O Reform tirava-lho.\nNão se trata só de deixar de conceder novas. Trata-se de a tirar a quem já a tem. São as palavras do próprio partido, no seu documento de políticas de abril de 2026:\n\u0026ldquo;Reform will abolish ILR as an immigration category completely, meaning no new awards and those currently holding it will have it rescinded… Anyone currently with ILR will need to reapply for visas that do not offer recourse to welfare.\u0026rdquo;1\nA sua página de políticas diz o mesmo em menos palavras: «abolish ILR and rescind existing awards», um «5 year renewable visa» com «higher salary thresholds», e «no recourse to benefits for foreign nationals»2.\nO que acontece a quem está cá estabelecido As palavras do próprio Reform O seu estatuto de residente «rescinded»1 O que tem de fazer «reapply for visas that do not offer recourse to welfare»1 O visto que pode voltar a pedir «5 year renewable», com testes de fluência e de «good character»2 O salário de que vai precisar limiares «above median UK earnings»1 Qual é esse limiar não está fixado: «determined based on net fiscal cost modelling close to the general election»1 Quem fica isento os titulares de visto BN(O), os programas ucranianos, o estatuto de residente da UE «initially»1 Lê essa tabela como alguém que vive cá há dez anos. Pagas imposto sobre o rendimento, National Insurance e council tax. Talvez tenhas um crédito à habitação e filhos na escola do bairro. Com este plano, o teu direito a ficar acaba, e se o consegues reconquistar depende de uma linha salarial que o partido não te diz até mesmo antes das eleições. Se ganhas abaixo da mediana, como ganha, por definição, metade de todos os trabalhadores, o teu caminho de volta já é mais estreito do que aquele por onde entraste.\nGanhar acima da mediana é uma fasquia fácil de pôr quando nunca se vai aplicar a ti. Este é um partido que recebe três libras em cada quatro de doadores que vivem no estrangeiro, cujo líder recebeu 5 milhões de libras como oferta pessoal3 e 135 000 libras por quatro horas a promover ouro4. Ninguém que fixe esse limiar vai alguma vez ter de o ultrapassar. A cuidadora que ganha menos do que a mediana vai.\nE o teste de «good character» nesse visto merece ser posto ao lado de quem o escreveu. Faço isso perto do fim.\nO próprio documento do partido admite o ponto que devia travar isto de vez. Descreve os «skilled workers being the only group to remain fiscally contributory over the course of their lifetimes»1. São as pessoas que descontam mais do que recebem, pelas contas do próprio Reform, e o plano põe cada uma delas de volta num visto renovável.\nPara ser justo com o documento, a expulsão não é automática. Quem cumprir os novos testes pode ficar. Mas ninguém publicou quantas pessoas que trabalham e pagam impostos chumbariam neles, nem o Reform, e nenhum organismo independente orçamentou o plano.\nOs números que usaram para o vender O primeiro número de manchete foi 234 mil milhões de libras, citado por Farage em 2025 como o que «our changes will save British taxpayers». A Full Fact descobriu que nem sequer era um número sobre apoios sociais, e o think tank de cuja investigação vinha disse que «the overall cost estimates should no longer be used»5.\nPor isso o documento de abril de 2026 usa um novo, 622 mil milhões de libras. É a modelação do próprio Reform, não de alguém independente, e o próprio documento dá um segundo número duas linhas abaixo: «£154 bn if discounted at the 3.5% rate suggested by the HM Treasury Green Book»1. O Green Book é a forma como o Tesouro diz que todos os custos públicos devem ser contados. Pelo método do próprio governo, a manchete encolhe três quartos.\nPosso perguntar porque é que um partido que diz ser franco com as pessoas abre com o número que o seu próprio documento diz ser a maneira errada de contar?\nA fatura dos apoios em que não tocam O Reform diz que vai cortar a fatura dos apoios sociais, e em agosto de 2026 publicou o plano. Acabaria com o Universal Credit, o Jobseeker\u0026rsquo;s Allowance, o Child Benefit, as creches gratuitas, o Housing Benefit, o Pension Credit e os apoios por deficiência para quem não seja cidadão britânico6. A manchete é uma poupança de 50 mil milhões de libras por ano7.\nVê para onde vai de facto a fatura dos apoios antes de decidires o que isso significa.\nPara onde vai a fatura dos apoios, 2025/26 Despesa com apoios na Grã-Bretanha 2025/26, mil milhões de £ Pensão do Estado 146,1 Outros apoios aos reformados 31,6 Apoios à idade ativa 126,1 Os 50 mil milhões do Reform Outros 5,3 protegida pelo compromisso do Triple Lock onde o corte tem de cair Despesa com apoios sociais na Grã-Bretanha em 2025/26, a partir das tabelas do próprio DWP. Os reformados recebem 57,5% dela, e só a pensão do Estado 47,3%. O Reform blindou a pensão do Estado, por isso um corte de 50 mil milhões tem de sair quase todo da coluna de 126 mil milhões da idade ativa. Quase metade de toda a despesa com apoios é a pensão do Estado: 146 mil milhões de libras de 309 mil milhões em 2025/268. O Reform comprometeu-se a 2 de abril de 2026 a manter o Triple Lock9, depois de meses em que Farage disse «It\u0026rsquo;s open for debate» e Tice disse «we\u0026rsquo;re not guaranteeing the triple lock»9. No dia em que o plano para a segurança social foi lançado, o partido disse que «nothing that we talk about today is about pensioners»10.\nPortanto, a pensão do Estado está a salvo. Digo-o claramente, porque fui procurar um plano do Reform para a cortar e não há nenhum. Como explica o artigo sobre pensões neste site, a pensão do Estado é paga por quem trabalha hoje.\nO que nos leva à aritmética. Se a pensão está fora da mesa, os 50 mil milhões saem de tudo o resto. O Institute for Fiscal Studies fez a conta: o Reform planeia «to save around £50 billion a year, almost entirely from a working-age benefits bill that, in 2030–31, is forecast to be a little over £200 billion»7.\nSobre quem recai O que mostra o registo Reformados com a pensão do Estado protegidos, Triple Lock mantido9 Reformados pobres que não são cidadãos britânicos perdem o Pension Credit, que está na lista só para cidadãos6 Não cidadãos no Universal Credit cerca de 1,3 milhões, dos quais 650 000 não trabalham7 Não cidadãos no Universal Credit que trabalham os outros 650 000 ou perto disso, pelos números do IFS: a trabalhar, a pagar impostos, e a perder o complemento na mesma O que o IFS prevê para eles «large overnight cuts to claimants\u0026rsquo; incomes» e «significant increases in hardship»7 Pessoas com deficiência no PIP o Personal Independence Payment substituído por um «health security allowance» que poderia excluir até dois terços dos atuais beneficiários11 Beneficiários de longa duração considerados aptos para trabalhar 20 horas por semana de trabalho comunitário, ou perdem o dinheiro11 Alguém em idade ativa que descontou NI durante décadas perde o estatuto de residente, perde os apoios, e nada nos documentos protege a pensão que foi acumulando enquanto ainda não tem idade de reforma Essa última linha é a minha leitura dos dois documentos juntos, não algo que o Reform tenha dito. Mas é para aí que eles levam. As perguntas frequentes do Reform dizem que os estrangeiros «of pension age who\u0026rsquo;ve made sufficient National Insurance Contributions» mantêm o direito a viver cá e a sua pensão do Estado2. Chega à idade da reforma e estás a salvo. Tem quarenta e cinco anos, com vinte anos de descontos, e estás num visto renovável sem rede de segurança.\nOs que já trabalham Aqui está a parte que a palavra «apoios» serve para esconder. O Universal Credit não é um pagamento para quem não trabalha. Em abril de 2026, 3,1 milhões de pessoas que o recebiam estavam a trabalhar, 37,7% de todos os que o pedem12. Vão trabalhar, pagam imposto sobre o rendimento e National Insurance sobre o que ganham, e o Universal Credit completa salários demasiado baixos para se viver.\nFaz a conta com o grupo-alvo do próprio Reform. O IFS estima os não cidadãos no Universal Credit em cerca de 1,3 milhões, dos quais 650 000 não trabalham7. Tira um ao outro e cerca de 650 000 estão a trabalhar. O plano do Reform corta-lhes o Universal Credit, o Housing Benefit, o Child Benefit e as creches gratuitas6, e as creches são o que permite a um pai ou a uma mãe com salário baixo ir sequer trabalhar.\nPosso perguntar a quem é que isso poupa dinheiro? Não ao contribuinte. Um trabalhador que perde o complemento ou faz mais horas que não existem, ou deixa de trabalhar e custa mais, ou vai-se embora e leva consigo os impostos e o trabalho. A quem convém é a quem paga salários tão baixos que o Estado tem de os completar. O Reform não toca nos salários baixos. Toca no trabalhador.\nÉ um plano que protege os eleitores com mais probabilidade de ir votar e põe a fatura toda em cima de quem está em idade ativa, a trabalhar ou não. Muitos deles estão a pagar as pensões que o plano protege.\nPromessas que não batem certo Sabemos como as promessas do Reform se aguentam, porque fizeram as suficientes para as verificar. Aqui está o historial, promessa a promessa:\nA promessa O que lhe aconteceu Programa de 2024: cerca de 90 mil milhões de libras por ano em cortes de impostos o IFS: «the sums in this manifesto do not add up», falhando «by a margin of tens of billions of pounds per year»13. Tice em outubro de 2025: «A manifesto is based on a point in time.»14 234 mil milhões poupados ao acabar com o estatuto de residente o think tank por trás do número: «should no longer be used»5 622 mil milhões em vez disso modelação do próprio Reform. Pelo método do próprio Tesouro, 154 mil milhões1 Deportar até 600 000 pessoas por 10 mil milhões a própria decomposição do partido, 4 mil milhões mais 1,5 mil milhões mais 2 mil milhões, dá 7,5 mil milhões, e ninguém conciliou as duas contas15 50 mil milhões por ano tirados à segurança social o IFS: quase tudo do apoio à idade ativa, e «How much this saves would depend on how many of this group became citizens in response»716 Faturas de energia cortadas em 200 libras, depois 150, depois 250 o número mudou três vezes num ano17182, e a página de políticas diz que o custo passa «to the Treasury», por isso pagas em impostos em vez de na fatura2 «Reform Councils will freeze, then cut your council tax bills» nem uma o fez. As câmaras geridas pelo Reform subiram-no em média 3,94%19 40 milhões de libras de poupanças com o net zero em Kent a câmara chamou-lhes mais tarde «forward-looking assumptions», e nenhum auditor as validou20 O Triple Lock «we\u0026rsquo;re not guaranteeing the triple lock», depois uma garantia em abril de 20269 Duas delas o Reform acertou em parte, e o que é justo é justo. As suas câmaras subiram de facto o council tax menos do que a média nacional de 4,86%19, e manter o Triple Lock é um compromisso real. Mas uma promessa que muda sempre que alguém verifica as contas não é um plano. É um discurso de vendas, e as pessoas a quem está a vender são as que vão pagar quando as contas não baterem certo.\nE não são só as contas que mudam. Alinha o que o partido e a sua gente disseram, e quando:\nAntes Depois titulares do estatuto de residente da UE isentos do plano de apoios, setembro de 202521 estrangeiros, incluindo cidadãos da UE, privados dos apoios, agosto de 20266 o Triple Lock «open for debate»9 garantido, abril de 20269 um programa de 90 mil milhões «A manifesto is based on a point in time»14 Jenrick: «put Reform out of business»22 o ministro das Finanças à espera do Reform23 Farage não se candidata em 2024 candidata-se, semanas depois de uma oferta pessoal de 5 milhões3 Putin, admirado «as an operator»24 Putin, «a very bad dude»25 As pessoas mudam de ideias, e um político que nunca muda é pior. Mas um partido cujas posições mudam com o que a última sondagem, o último doador ou a última má manchete precisaram não te está a dizer o que vai fazer. Está a dizer-te o que acha que o vai pôr lá. A minha opinião, com esse historial, é que o Reform dirá o que for preciso para chegar ao poder, e só depois vais descobrir no que realmente acredita.\nQuem é dono do Reform A maioria dos partidos britânicos são clubes. O Labour e os Conservadores são associações sem personalidade jurídica que pertencem, na prática, aos seus militantes. O Reform era uma empresa com acionistas, e o seu líder era dono da maior parte.\nO registo na Companies House da empresa que começou como The Brexit Party Limited, mais tarde Reform UK Party Limited, mostra quem a detinha26:\nQuem Controlo Desde Até Catherine Blaiklock «significant influence or control» 23 de novembro de 2018 3 de maio de 2019 Nigel Farage «More than 50% but less than 75%» das ações, mais o direito de nomear administradores 8 de maio de 2019 19 de fevereiro de 2025 Richard Tice «More than 25% but not more than 50%» das ações 1 de maio de 2019 19 de fevereiro de 2025 Uma nova sociedade limitada por garantia 75% ou mais 19 de fevereiro de 2025 hoje A comunicação da participação de Tice foi entregue a 15 de agosto de 2024, cinco anos depois da data que regista26.\nA 20 de fevereiro de 2025, o presidente do partido anunciou: «Nigel Farage has handed over ownership of Reform UK to its members. Reform UK is now a non-profit, with no shareholders, limited by guarantee.»27\nMetade disto é verdade. Já não há acionistas. As ações da antiga empresa passaram para a nova por 15 libras, e 2,97 milhões de libras de ativos líquidos passaram por 1 libra, por isso ninguém fez fortuna à saída28. Isso tem de se lhes reconhecer.\nMas «handed over ownership to its members» não é o que dizem as contas auditadas da nova empresa. Nota 20: «The company has two members, who have equal voting rights. Neither member has individual control of the company and, accordingly, there is no ultimate controlling party.»28\nDois membros. No direito das sociedades, quem é dono e controla uma sociedade limitada por garantia são os seus membros, e esta tem dois. As contas não os identificam. As pessoas que pagam uma quota de militante não são membros da empresa que gere o partido. Juntas, pagaram-lhe 4,5 milhões de libras em 202528, e não a controlam. Como tal, «handed over ownership to its members» descreve uma coisa que o registo não mostra.\nA quem presta contas Um partido político que é um clube presta contas aos seus militantes, porque os militantes são o clube. Uma empresa presta contas a quem a controla, e é esse o ponto a reter. Quando a nova empresa foi criada, os seus dois garantes eram Farage e o então presidente, Zia Yusuf29. Yusuf saiu da administração em junho de 2025, e Farage continua administrador30. As contas não dizem quem são agora os dois membros.\nA Byline Times obteve os estatutos do partido aprovados em setembro de 202531. Eis o que dão a quem paga as quotas, face ao que guardam para o topo:\nO que os militantes recebem O que o líder guarda Moções ao congresso apenas consultivas, a Direção só tem de as discutir Votações em eleições internas ao critério absoluto da Direção, ao abrigo do Artigo 4.3 3 dos 8 lugares na Direção, eleitos 3 lugares que ele nomeia, mais ele próprio e um presidente que ele nomeia e pode demitir Uma moção de censura ao líder exige pedidos escritos de 50% dos militantes, cerca de 135 000 pessoas, verificados pelo presidente que ele nomeou, e depois decidida pela Direção onde ele tem lugar Reuniões da Direção, normalmente duas vezes por ano entre elas, «all powers of the Board are delegated to the party leader who may exercise those powers at his discretion» Cada linha dessa tabela vem do mesmo documento, e a Byline Times teve de obter uma cópia para o noticiar31. Ben Habib, antigo vice-líder do próprio Reform, disse que «puts Farage\u0026rsquo;s leadership in a virtually unassailable position»32.\nPosso perguntar o que é que um militante do Reform pode realmente fazer se o líder errar? Escrever uma carta, e convencer outros 134 999 a escrever também, a um homem que ele nomeou. Isso não é prestação de contas, é uma caixa de sugestões. Um partido que quer governar o país devia, pelo menos, responder perante os seus próprios militantes. Este responde perante o seu líder.\nFoi construído como uma empresa de que era dono o homem que o liderava, e durante seis anos foi exatamente isso26. Ninguém está agora a receber dividendos, e não vou fingir que está. Mas uma empresa gerida por meia dúzia de pessoas, com clientes pagantes em vez de militantes, é um modelo de negócio, não uma democracia. O dinheiro faz-se à volta dela, não a partir dela, como mostram as secções seguintes.\nO dinheiro vem do estrangeiro O Reform é financiado, esmagadoramente, por pessoas que não vivem cá.\nO registo da Electoral Commission regista cada donativo acima do limiar de declaração, quem o deu e quando. Não regista onde vivem os doadores, por isso a residência vem das notícias. Tomando os seis doadores noticiados como residentes no estrangeiro, esta é a parte do dinheiro do Reform que veio deles3334:\nParte dos donativos de doadores que vivem no estrangeiro Donativos de doadores que vivem no estrangeiro, % do total Brexit Party, de 2019 a 2020 75% Reform, 2025 66% Reform, jan-mar 2026 78% Reform, abr-jun 2026 81% Reform, jul 2025-jun 2026 78% Conservadores, 2025-26 3,6% Labour, 2025-26 0,15% registo, seis doadores noticiados no estrangeiro a contagem do Independent Parte dos donativos vinda de doadores noticiados como residentes no estrangeiro, a partir do registo da Electoral Commission. De julho de 2025 a junho de 2026 é 78%, quase tudo de dois homens. A contagem do próprio Independent para 2025-26, com uma definição ligeiramente diferente, é 80% para o Reform contra 3,57% para os Conservadores e 0,15% para o Labour. Dois nomes carregam quase tudo.\nDoador Onde vive No registo, para o Reform e o Brexit Party Anunciado em setembro de 2026 Christopher Harborne Tailândia desde os anos 90, cidadão tailandês desde 20113536 25,19 M£33 36 M£37 Ben Delo Hong Kong até 202638 8 M£33 36 M£37 São 72 milhões de libras em dois dias de setembro, de dois bilionários das cripto, para um só partido. Tice disse que Delo pagou adiantado «so that the Labour Party can\u0026rsquo;t legislate against it»37.\nTodos esses donativos foram legais, e isso tem de ser dito com clareza. Um cidadão britânico inscrito nos cadernos eleitorais do Reino Unido é um doador admissível onde quer que viva, e ambos os homens são cidadãos britânicos. O Channel 4 noticiou que Harborne «specifically re-registered as a UK resident to cast his vote for the Brexit referendum whilst declaring just a few months later in a UK company documents that he lived in Thailand», aquilo a que especialistas chamaram uma «gaping loophole»35. Escancarada, sim. Ilegal, não.\nQuando o governo avançou, em março de 2026, para limitar os donativos de cidadãos britânicos residentes no estrangeiro a 100 000 libras por ano39, Delo não deixou de dar. Mudou de país. Já tinha dado 4 milhões de libras a partir de Hong Kong, e anunciou que se ia mudar para a Grã-Bretanha para que o limite não se lhe aplicasse, incentivando outros expatriados ricos a fazer o mesmo38.\nViver cá e pagar impostos cá não te garante o lugar no plano de imigração do Reform. Não viver cá não te impede de financiar o partido que o escreveu.\nRepresentação sem tributação Há uma expressão para pagar impostos sem ter voz: tributação sem representação. O financiamento do Reform é o contrário. Uma voz, e muito grande, de pessoas que não vivem com o resultado.\nIsto não é uma preocupação nova, e não é minha. O Parlamento tratou dela em 2009. A Secção 10 do Political Parties and Elections Act 2009 diz que um partido não pode aceitar mais de 7500 libras de alguém a menos que essa pessoa seja «resident, ordinarily resident and domiciled in the United Kingdom» para efeitos de imposto sobre o rendimento40. Com essa regra, Harborne não poderia ter dado um cêntimo acima de 7500 libras.\nNunca foi posta em vigor. O legislation.gov.uk ainda lista a secção como «Prospective», o que quer dizer que «has never come into force»40. Dezassete anos e quatro governos. Depois, a partir de 16 de janeiro de 2024, foi abolida a velha regra pela qual os cidadãos britânicos no estrangeiro saíam dos cadernos ao fim de quinze anos, por isso um cidadão pode agora ficar inscrito, e continuar a doar, para toda a vida41.\nA própria revisão do governo sobre dinheiro estrangeiro na política, a Rycroft Review, apresentada ao Parlamento em março de 2026, descreve o padrão sem nomear ninguém:\n\u0026ldquo;wealthy individuals who have chosen to live abroad in order to have their wealth taxed abroad are nevertheless currently entitled to make unlimited donations to UK political parties. Despite choosing to minimise their contribution to the UK Exchequer, these individuals have the opportunity to make potentially game-changing donations into British politics.\u0026rdquo;42\nE sobre o risco, diz que estes donativos «pose an additional risk of foreign money leaching into British politics», porque «tracing the source of funds offered by individuals living abroad is more complex than for domestic donations»42.\nPorque é que o dinheiro estrangeiro é tratado como risco de corrupção As regras do Conselho da Europa sobre corrupção no financiamento partidário mandam os Estados «specifically limit, prohibit or otherwise regulate donations from foreign donors»43. Essas regras estão num instrumento cujo título inteiro é sobre corrupção. Cerca de 63% dos países proíbem por completo os donativos estrangeiros a partidos44. O International IDEA, que acompanha isto, dá a razão numa frase que podia ter sido escrita sobre o Reform:\n\u0026ldquo;A party that receives a significant amount of its funds from overseas may be less reliant on generating funds at home, thus weakening the ties between it and the citizens it should represent.\u0026rdquo;44\nHá condenações reais em que dinheiro estrangeiro comprou resultados políticos. Nos EUA, Lev Parnas foi condenado por usar o dinheiro de um russo rico para fazer donativos ilegais45, e Imaad Zuberi apanhou 12 anos por canalizar dinheiro estrangeiro para campanhas46. Aqui, um antigo líder do Reform no País de Gales está a cumprir dez anos e meio por subornos que remontam a um amigo de Vladimir Putin, o que vem mais à frente.\nAgora o lado justo, porque importa. Nenhum desses casos envolve um cidadão britânico no estrangeiro a dar legalmente a um partido. Os próprios conselheiros jurídicos do Conselho da Europa dizem que os cidadãos no estrangeiro, em geral, «should not be restricted» se puderem votar no seu país47, e a Rycroft Review considerou uma proibição «overly heavy-handed»42. Também não encontrou provas de que as eleições de 2024 tenham sido distorcidas por interferência estrangeira42. Os expatriados têm laços reais aqui. Família, pensões, uma casa para onde tencionam voltar.\nPor isso, o problema não é quem dá. É quanto dá.\nPaís Os cidadãos no estrangeiro podem doar? Limite Irlanda sim 3100 € por ano a um partido48 Canadá cidadãos e residentes permanentes 1775 C$ por ano49 Estados Unidos sim limites federais às contribuições50 Reino Unido, até março de 2026 sim nenhum Todas as democracias comparáveis que deixam os seus cidadãos no estrangeiro doar limitam o que podem dar. Até este ano, a Grã-Bretanha não limitava. Um voto vindo de Banguecoque é uma voz, igual à minha. 36 milhões de libras num dia não são uma voz. São o orçamento de um partido.\nQuem conta como britânico, e quem paga para decidir Põe as duas metades deste artigo lado a lado. O Reform está a traçar a linha de quem pertence cá cada vez mais apertada. O estatuto de residente acaba. Os apoios passam a ser só para cidadãos6. Quando lhe perguntaram o que devia fazer uma família estabelecida cá, um deputado do Reform sugeriu que pedisse a cidadania10. O seu candidato na eleição intercalar de Gorton and Denton foi mais longe: «It takes more than a piece of paper to make somebody \u0026lsquo;British\u0026rsquo;.»51\nDepois olha para quem está a pagar o partido que traça essa linha. Um homem que vive na Tailândia há trinta anos e tem nacionalidade tailandesa36. Um homem que deu a partir de Hong Kong e depois se mudou para cá quando um limite lhe atravessou o caminho38. Os seus passaportes britânicos são o que torna o dinheiro legal. Pela lógica do próprio Reform, é preciso mais do que um pedaço de papel.\nA enfermeira que vive e paga impostos cá há dez anos tem de provar que pertence. O doador que saiu há trinta anos não tem, desde que a papelada esteja em ordem. Não acho que isso seja um partido para os britânicos. Acho que é um partido que decide quem conta como britânico, e que é pago por pessoas que não vivem cá.\nEm que negoceiam os doadores Os dois grandes doadores dizem que não querem nada em troca. Harborne chamou aos seus 36 milhões «a philanthropic gift to our country», e disse «My competitive spirit inspired me to match it»52. Farage disse-o mais curto: «You know what Ben Delo and Christopher Harborne want? Nothing.»53\nNão te vou dizer o que alguém quer. Vou expor o que possuem, o que foi apurado contra isso, e o que o Reform disse e fez sobre exatamente essas indústrias. Tu podes ligar os pontos.\nChristopher Harborne O que detém O que mostra o registo A Tether, a maior stablecoin 12%, segundo ele próprio num processo por difamação nos EUA54 A QinetiQ, fornecedora do Ministério da Defesa 14,98%, através de uma empresa do Delaware55. O MoD prolongou o seu contrato de testes de 1,5 mil milhões de libras com a QinetiQ em maio de 202556 A AML Global, corretora de combustível de aviação é a única pessoa com controlo significativo57. O Guardian noticia mais de 140 milhões de dólares em contratos militares dos EUA58 Outros donativos políticos cerca de 1,79 milhões de libras aos Conservadores33, e 1 milhão de libras ao gabinete privado de Boris Johnson59 A Tether, a empresa, tem um historial próprio. Mantém-no separado de Harborne, que é acionista minoritário e não foi acusado de nada aqui.\nA Procuradora-Geral de Nova Iorque: «Bitfinex and Tether recklessly and unlawfully covered-up massive financial losses.» Pagaram 18,5 milhões de dólares sem admitir culpa60. O regulador norte-americano das matérias-primas multou a Tether em 41 milhões de dólares e concluiu que tinha reservas suficientes por trás dos seus tokens «for only 27.6% of the days» numa amostra de 26 meses61. O Gabinete das Nações Unidas contra a Droga e o Crime: «USDT on the TRON blockchain has become a preferred choice for crypto money launderers in East and Southeast Asia.»62 A Tether contesta. Quando a National Crime Agency desmantelou uma rede de branqueamento que comprou um banco para ajudar a guerra da Rússia, o Guardian noticiou que a «vast majority» das cripto apreendidas tinha sido emitida pela Tether, e acrescentou que «there is no suggestion that Harborne himself is implicated»63. A resposta dos seus advogados é que culpar um investidor da Tether pelo que os utilizadores fazem com os seus tokens é «akin to claiming the US Treasury is an accomplice in money laundering because it prints the US dollar»63. É um argumento justo quanto a Harborne. Não é grande resposta quanto à Tether.\nBen Delo Delo cofundou a BitMEX, uma bolsa de cripto. Em 2022, declarou-se culpado em Nova Iorque de «willfully failing to establish, implement, and maintain an anti-money laundering… program at BitMEX», e pagou uma multa de 10 milhões de dólares «representing pecuniary gain derived from the offense»64.\nDeliberadamente quer dizer que sabia que o dever existia e escolheu não o cumprir. As palavras do próprio procurador dos EUA: «Arthur Hayes and Benjamin Delo built a company designed to flout those obligations; they willfully failed to implement and maintain even basic anti-money laundering policies.» O veredicto do Departamento de Justiça sobre o resultado: «As a result of its willful failure to implement AML and KYC programs, BitMEX was in effect a money laundering platform.»64 Não apresentou um único relatório de atividade suspeita entre 2014 e 2020, incluindo depois de lhe terem dito, em 2018, que fundos roubados por piratas informáticos estavam a passar por ela64. A própria BitMEX foi depois multada em 100 milhões de dólares65.\nA confissão não é uma condenação por branqueamento, e ele não foi acusado de branquear ele próprio o dinheiro de ninguém. Em março de 2025, Donald Trump perdoou-o66. Delo chama-lhe agora «a regulatory failing that isn\u0026rsquo;t even a crime in the UK»67.\nO que o Reform disse e fez sobre as indústrias deles O interesse dos doadores A posição do Reform, nas suas próprias palavras ou atos As stablecoins, que uma libra digital do Estado poderia prejudicar Farage pressionou o Governador do Banco de Inglaterra para abandonar a «Britcoin», e disse estar «prepared to go to prison» para a travar68 A Tether Farage na LBC: a Tether «is about to be valued as a $500 billion company», e a Grã-Bretanha devia «embrace» a empresa69 A indústria das cripto Farage, a uma plateia das cripto: «When it comes to your industry… then I am your champion.»69 Dinheiro das cripto na política «We are the first political party in Britain who can accept donations in bitcoin and other cryptocurrencies.»70 Impostos sobre cripto a promessa de baixar o imposto sobre mais-valias das cripto de 24% para 10%, e uma reserva de bitcoin no Banco de Inglaterra70 O limite aos doadores no estrangeiro e a proibição de donativos em cripto Tice: o Reform iria «overturn it»71 Defesa «incentives and tax breaks to boost the UK defence industry»58 O Reform diz que Harborne «had not discussed defence spending, defence policy or foreign policy» com o partido58. Os seus advogados dizem que os seus interesses empresariais estão «unconnected in any way whatsoever with his political affiliations»58. Não tenho provas do contrário e não estou a afirmar nenhuma. Estou a apontar para a tabela.\nA oferta de 5 milhões de libras A 5 de abril de 2024, segundo os próprios advogados de Harborne, ele deu pessoalmente 5 milhões de libras a Nigel Farage72. Semanas depois, Farage reverteu a decisão de não se candidatar às eleições gerais3. A oferta não foi declarada. O Guardian revelou-a em abril de 2026.\nAs suas explicações vieram em sequência:\nQuando O que Farage disse que eram os 5 milhões Abril de 2026, ao Telegraph dinheiro para a sua segurança pessoal3 Maio de 2026, ao Sun dados numa «unconditional basis», «a reward for campaigning for Brexit for 27 years»73 Julho de 2026 algo que podia «spend on Ferraris»74 Agosto de 2026 «If I\u0026rsquo;ve made one sin, it\u0026rsquo;s that I haven\u0026rsquo;t filled in a piece of paper. I\u0026rsquo;ve broken no law.»75 O Comissário para os Padrões abriu uma investigação a 13 de maio de 2026 por «Failure to register an interest»76. A 7 de julho, Farage renunciou ao lugar para forçar uma eleição intercalar. A investigação foi suspensa e depois reaberta a 14 de agosto, o dia em que foi anunciada a sua reeleição75. Também foram apresentadas queixas sobre George Cottrell, amigo de Farage e burlão condenado, que, segundo revelou o Sunday Times, pagou trabalho nas redes sociais, alojamento e segurança antes das eleições de 2024. O Comissário não confirmou se esses pagamentos fazem agora parte do inquérito77. Jenrick chamou ao processo «a bit of a kangaroo court. It\u0026rsquo;s a stitch up.»78\nAinda não há conclusões. Farage diz que não era precisa nenhuma declaração, e pode acabar por ter razão. Mas lê outra vez as explicações dele ao longo dessa tabela. Segurança, depois uma recompensa, depois Ferraris. Cada uma só apareceu depois de a anterior estar a ser desmontada.\nOs doadores que ninguém verifica A lei faz uma só pergunta a uma empresa doadora: está registada cá e exerce atividade cá? Não pergunta de onde veio o dinheiro, se a empresa tem meios para o dar, nem quem está realmente por trás dela. Dois doadores mostram o que passa.\nUm trust de 10 mil milhões de dólares, uma firma de design e o Irão Sasan Ghandehari é um bilionário britânico nascido no Irão, que se diz ter residência fiscal na Suíça e estar a mudar a residência para o Reino Unido para poder doar. A sua promessa ao Reform: «one or two million, it\u0026rsquo;s going to be more», e «maybe number two, number three. It\u0026rsquo;s going to be regular payments.»79 O HP Trust da sua família, que ele avalia em cerca de 10 mil milhões de dólares, pagou 50 482,16 libras pela acreditação de Farage em Davos em janeiro de 202680, a viagem em que Farage prometeu «fight the globalists»81.\nDepois há a firma.\nInterior Architecture Landscape Ltd O que deu ao Reform 200 000 libras em sete donativos, de junho a agosto de 202582 O que mostra a Companies House uma firma de arquitetura paisagista; controlada desde 2021 por John Richard Simpson; antes dele, de dezembro de 2020 a maio de 2021, por Richard Darby83 O que o FT e o Guardian descobriram o FT: Darby tinha trabalhado para o HP Trust, e a firma estava endividada sem provas de ter clientes; o Guardian: o HMRC tinha apresentado contra ela um pedido de liquidação84 O que o Guardian descobriu Simpson tinha assumido a Orico General Trading, uma empresa do Dubai que pertencia ao HP Trust e enviava equipamento de telecomunicações para o Irão85 O que dizem o advogado de Ghandehari: a família era cliente da firma mas «not responsible for its donations». A firma: Simpson «exercises genuine control over the company\u0026rsquo;s affairs» e os donativos vieram de negócios britânicos legítimos8485 E o projeto que a Orico fornecia. Segundo uma decisão arbitral francesa noticiada pelo Guardian, o Ori Group do HP Trust detinha 49% de um empreendimento iraniano de fibra ótica entre 2013 e 2016. Os outros 51% pertenciam à Astan Quds Razavi, a fundação religiosa que os EUA sancionaram em 2021 por controlar «major parts» da economia do Irão em benefício do então líder supremo85. Os advogados de Ghandehari dizem que o projeto foi aprovado pelas autoridades francesas e norte-americanas e servia para alargar o acesso à informação, que acabou com os bens da família no Irão apreendidos, e que ele não vai ao Irão há trinta anos. As sanções chegaram cinco anos depois de o empreendimento ter acabado, e nada mostra que algum do dinheiro dado ao Reform tenha vindo do Irão.\nPor isso não vou dizer que veio. O que vou dizer é isto. Farage tem uma linha dura em relação a Teerão. O seu passe para Davos foi pago por um trust que fez negócios com a fundação do líder supremo, e 200 000 libras chegaram ao seu partido vindas de uma firma cujo dono encerrou a empresa fornecedora desse trust no Dubai. Uma deputada trabalhista pediu à Companies House que verifique quem é realmente o dono84. O Reform quer que os papéis de cada imigrante sejam verificados. Não encontro nenhuma declaração pública do Reform sobre o que verificou acerca deste dinheiro.\nFirmas à beira do abismo A Byline Times encontrou pelo menos sete empresas que deram ao Reform 485 000 libras entre elas enquanto enfrentavam o cancelamento do registo, a dissolução ou óbvios problemas financeiros86. A FK Building é o caso mais claro, porque os seus próprios registos contam a história:\nData FK Building Ltd 26 de agosto de 2025 a Companies House emite um aviso para a riscar do registo87 6 de outubro de 2025 contas entregues com atraso, mostrando passivo líquido de 290 543 libras87 7 de outubro de 2025 cancelamento do registo suspenso87 8 de outubro de 2025 dá 100 000 libras ao Reform88 Fevereiro de 2026 as empresas irmãs FK Group, FK Construction e FK Facades entram em administração judicial a dever mais de 19 milhões de libras; 54 dos postos de trabalho passam para a Keenan Holdings, propriedade de Deborah Keenan, que se diz ser filha do fundador86899091 6 de julho de 2026 a FK Building entra em liquidação; a declaração dos próprios administradores mostra um défice de 3,1 milhões de libras, com 409 647 libras devidas ao HMRC92 16 de outubro de 2026 a FK Resolv, o negócio de segurança de edifícios e reabilitação do grupo, passa do FK Group para a FKR Group Ltd, uma empresa constituída a 25 de junho de 2026 e propriedade do administrador da FK Building, Francis Anthony Keenan9394 O donativo era legal. A Electoral Commission diz que os donativos «are not the subject of an investigation» e pediu uma regra segundo a qual uma empresa doadora tenha de estar de facto a dar lucro86. Passar pessoal e uma subsidiária para uma empresa da família depois de uma administração judicial é legal, e os administradores judiciais têm de prestar contas disso aos credores. Mas olha para onde tudo foi parar. Até a regra mudar, uma empresa que não consegue pagar ao fisco consegue na mesma pagar ao Reform. Os credores, entre eles o HMRC, ficam com as empresas vazias e um buraco de 3,1 milhões de libras. Os Keenan ficam com o pessoal e o negócio de reabilitação. O Reform fica com as 100 000 libras.\nA visibilidade compensa É aqui que tenho de ser franco contigo, porque a história óbvia não é bem a verdadeira.\nFui procurar o partido a pagar aos seus dirigentes, e os registos não mostram nada disso. Farage está registado como «Unpaid Leader»4. Tice emprestou ao partido cerca de 1 milhão de libras sem juros e transformou 613 000 libras disso em donativos3395. O partido tinha um excedente de 7,66 milhões de libras em 202528. Não aparece dinheiro das quotas a sair para o bolso de ninguém.\nO dinheiro está no que a visibilidade rende fora do partido. O próprio registo de interesses de Farage496:\nQuem pagou a Farage Por Montante GB News apresentação, 2025 cerca de 330 000 a 370 000 libras Direct Bullion «brand ambassador», 4 horas 135 000 libras Direct Bullion «up to four hours» por mês durante três meses, maio de 2026 270 000 libras Cameo vídeos personalizados, 2025 62 868 libras Blockworks, uma empresa de média das cripto 2 horas 30 000 libras Club for Growth, Washington um discurso, mais uma viagem de 9466 libras a Palm Beach 27 857 libras A Direct Bullion pagou-lhe 685 500 libras desde dezembro de 2024, e a Byline Times descobriu que o marketing da empresa de ouro ligava um governo do Reform a distúrbios e incitava os espectadores a comprar ouro97. O seu salário da GB News vai para a sua própria empresa, a Thorn In The Side Ltd, o que o Guardian nota ser «not illegal»98. Essa empresa tem 3,1 milhões de libras de ativos líquidos e paga a Farage 10 000 libras por ano para lhe alugar o seu próprio estúdio99.\nO Comissário para os Padrões concluiu que ele violou o código dos deputados 17 vezes ao registar 384 000 libras disto com atraso, e aceitou que foi «inadvertent because of staffing and other administrative issues»100.\nAlgum dinheiro do partido foi para gente próxima dele. As próprias declarações de despesas do partido mostram 440 571 libras pagas a cinco firmas geridas por pessoas de dentro e associados. 202 124 libras foram para a Oak Hall Studios, gerida por David Bull, que mais tarde se tornou presidente do partido. A Jupiter Visual Communications recebeu 125 672 libras e depois devolveu 50 000 libras101102. Ninguém mostrou que algum desse trabalho não tenha sido feito ou tenha sido sobrefaturado, e não estou a dizer que foi.\nPor isso, «vaca leiteira» é a imagem errada. A certa é uma plataforma. O partido é o que faz Nigel Farage valer 135 000 libras por quatro horas.\nCripto: pagos para promover, os eleitores pagam o preço O pagamento da Blockworks acima não foi caso único. Eis o comércio das cripto à volta do Reform, a partir do próprio registo de Farage, dos tribunais e dos documentos do próprio partido:\nO quê O registo Relação com o Reform BTC Inc pagou a Farage 7410 libras por cerca de 11 horas, setembro de 2025103 organiza a conferência Bitcoin onde o Reform lançou a sua lei das cripto104 Blockworks pagou a Farage 30 000 libras por 2 horas, outubro de 2025105 uma empresa de média das cripto a pagar ao líder do partido Zebu Group pagou a Farage 20 000 libras por 2 horas a 22 de outubro de 2025106 no mesmo dia em que disse à Reuters «not that I\u0026rsquo;m aware of» quando lhe perguntaram se empresas de cripto financiam o Reform107 Stack BTC plc uma empresa que detém bitcoin; a empresa de Farage tem cerca de 6,3% dela, comprados a 5p e 10p por ação108109 o líder do partido é acionista: «I have long been one of the UK\u0026rsquo;s few political advocates for Bitcoin» «Farage coin», «NIG Finance», «Stonks Finance», «Trump Mania» memecoins promovidas com os seus clips pagos no Cameo, a partir de 72 libras por clip; todas as que o Guardian conseguiu avaliar perderam valor depois110 apoios pagos do líder do partido O token CEL da Celsius um Cameo de 133 libras a dizer aos seus criadores para «fight» por ele110. À parte, o fundador da Celsius foi condenado a 12 anos de prisão por fraude, e o preço do CEL tinha sido sustentado «at times» com «customer deposits»111 apoio pago do líder do partido Tether a ONU estima em 37 mil milhões de dólares as perdas com burlas no Leste e Sudeste Asiático num mercado que, diz, funciona com stablecoins; a Tether diz que congelou mais de 5 mil milhões de dólares e trabalha com 340 agências de investigação112113 12% pertencem ao maior doador do Reform A lei das cripto do Reform lançada na conferência Bitcoin, depois retirada do site do partido a 30 de maio de 2026104 política do próprio partido, retirada sem explicação Donativos em cripto a revisão do governo avisa que as cripto poderiam «channel foreign money into the political system»; a Electoral Commission diz que «Reform has not shared any crypto wallet address with us»114115 o partido preparou-se para os aceitar O porta-voz de Farage diz que o que as pessoas fazem depois com um clip do Cameo «is clearly outside Mr Farage\u0026rsquo;s knowledge or control»110, e todos os pagamentos acima foram declarados. O Reform não declarou nenhum donativo em cripto, e as grandes ofertas de Harborne e Delo vieram em dinheiro. Ninguém concluiu que Farage tenha violado uma regra.\nAgora vê quem paga. As pessoas neste país perderam 879,8 milhões de libras em fraude de investimento em 2025, uma média de 25 612 libras cada, «often representing pension savings». Os maiores de 60 são os mais propensos a denunciá-la116. Em 2024, as cripto eram o ativo em 66 por cento das denúncias, e as pessoas entre os 55 e os 64 anos foram as que mais perderam117. O próprio conselho da FCA sobre cripto tem uma linha: «you should be prepared to lose all your money»118.\nPortanto, o líder de um partido que diz falar pelos reformados é pago por empresas de cripto, tem ações numa empresa de bitcoin e vendeu clips para moedas que caíram, enquanto as pessoas que perdem as reformas para as cripto são a faixa etária que ele diz defender. Não precisa de ter burlado ninguém para isto cheirar mal. Basta continuar a vendê-lo.\nTice: imóveis, impostos e uma empresa de 28 864 libras que deu 500 000 Richard Tice é o vice-líder do Reform e deputado por Boston and Skegness. Antes da política dirigiu empresas imobiliárias: co-presidente executivo do Sunley Group, da família, durante 14 anos, e depois presidente executivo da CLS Holdings de 2010 a 2014119. Depois disso veio o seu próprio negócio imobiliário, a Quidnet.\nA Quidnet REIT, que ele controla, teve um prejuízo antes de impostos de 690 000 libras em 2025, com os edifícios 52% arrendados e 13,4 milhões de libras de dívida bancária, e mesmo assim pagou 359 501 libras em dividendos nesse ano e outro tanto em janeiro de 2026120. Ele recebe dela uma remuneração trimestral enquanto deputado121.\nSobre impostos, disse-nos exatamente qual é a sua posição:\n\u0026ldquo;How many friends of yours would voluntarily choose to pay more tax than they are legally obliged to do?… Don\u0026rsquo;t morally or voluntarily give more tax to incompetent, wasteful hard-left, socialist governments.\u0026rdquo;122\nFoi a sua resposta a notícias de que as suas empresas evitaram quase 600 000 libras de imposto sobre as sociedades através da estrutura REIT. Uma segunda notícia dizia que cerca de 91 000 libras não foram retidas sobre dividendos pagos a ele e ao seu trust de Jersey. Tice chamou-lhe um «technicality» e disse que o HMRC recebeu o montante certo no total123. Não há nenhuma conclusão do HMRC contra ele, e ele diz que todos os impostos foram pagos.\nA empresa que deu meio milhão A Britain Means Business Ltd, antiga Leave Means Leave, tem Tice como único administrador e controlador124. Em junho de 2024 deu ao Reform 500 000 libras numa só semana33. As suas próprias contas registadas põem os seus ativos líquidos em 28 864 libras no fim de 2023 e 10 479 libras no fim de 2024, com um empregado124.\nBritain Means Business Valor Dado ao Reform, 9 e 11 de junho de 2024 500 000 £ Ativos líquidos, fim de 2023 28 864 £ Ativos líquidos, fim de 2024 10 479 £ Dado antes ao Reform como Leave Means Leave, março de 2020 990 000 £ Posso perguntar onde é que uma empresa que valia 28 864 libras no fim de 2023 encontrou 500 000 libras seis meses depois? As suas contas não dizem. A Electoral Commission remeteu os donativos para a Polícia Metropolitana em fevereiro de 2025, e a Met está a investigar possíveis crimes ao abrigo da secção 61 do Political Parties, Elections and Referendums Act, que abrange contornar as regras sobre quem pode doar. Duas pessoas foram interrogadas como suspeitas e ninguém foi detido125. As notícias dizem que uma doadora, Fiona Cottrell, deu à Britain Means Business 1 milhão de libras nesse junho e que metade seguiu para o Reform125. A Byline Times pergunta o que aconteceu ao resto95. A resposta de Tice: «as far as I\u0026rsquo;m concerned, she\u0026rsquo;s a permissible donor and that\u0026rsquo;s the end of it.»126\nTice chamou ao inquérito «a politically motivated smear campaign»127. Estava a decorrer há 17 meses quando o disse.\nAs companhias que tem Quem Em comum com Tice O que mostra o registo Arron Banks cofundou a Leave.EU; Tice esteve na sua administração de 2016 a 2017128 a Leave.EU foi multada pela Electoral Commission, multa reduzida para 66 000 libras em recurso. Nenhuma conclusão nomeia Tice129 George Cottrell nenhuma empresa em comum depositou um empréstimo de 78 100 libras na empresa de Tice Tisun Investments em dezembro de 2024. O Comissário para os Padrões recusou investigar130 Fiona Cottrell nenhuma empresa em comum deu ao Reform 750 000 libras em três donativos33 Nicholas Tribe, Anthony Yiannakis, John Purcell três ou quatro das suas empresas imobiliárias cada um131 nenhum donativo e nenhum historial regulatório. Uma administração partilhada é só uma administração partilhada Também está ele próprio sob investigação. A lista do Comissário para os Padrões mostra «Richard Tice MP (opened 20 August 2026) Rule 13 Disclosing details in relation to an investigation»76, depois de ter tornado pública no X uma queixa anterior e de ter chamado ao grupo por trás dela um «anti semitic anti Israel lobby group»132. Ainda sem desfecho.\nJenrick: de os pôr fora do negócio a entrar no cargo Em agosto de 2024, Robert Jenrick disse: «I want to put Reform out of business. I want to make them redundant.»22 Em abril de 2025: «I want to send Nigel Farage back to retirement.»133\nA 15 de janeiro de 2026, Kemi Badenoch afastou-o do governo-sombra pelo que chamou «irrefutable evidence that he was plotting» para mudar de partido134. Aderiu ao Reform no mesmo dia, disse «I want Nigel to be prime minister», e recusou renunciar e disputar uma eleição intercalar em Newark135. Um mês depois, o Reform escolheu-o como o seu ministro das Finanças23.\nAntes Agora «put Reform out of business»22 a escolha do Reform para ministro das Finanças23 «send Nigel Farage back to retirement»133 «I want Nigel to be prime minister»135 um ministro conservador «the two main parties are rotten… They both broke Britain»136 Nove meses. Foi quanto durou o «out of business».\nWestferry Em janeiro de 2020, como ministro da Habitação, Jenrick aprovou o projeto Westferry Printworks de Richard Desmond, no leste de Londres. Os seus próprios funcionários registaram a pressa: «SoS is/was insistent that decision issued this week ie tomorrow - as next week the viability of the scheme is impacted by a change in the London CIL regime.»137 A alteração da taxa teria custado ao projeto cerca de 40 milhões de libras138. Desmond deu aos Conservadores 12 000 libras duas semanas depois da aprovação139. Os dois tinham-se sentado juntos num jantar de angariação de fundos, onde, nas palavras de Jenrick à Câmara dos Comuns, Desmond «did bring out his iPhone and show me some images of the development»137.\nQuando o caso foi a tribunal, Jenrick admitiu que a decisão era «unlawful by reason of apparent bias» e ela foi anulada139. Disse: «We don\u0026rsquo;t believe there was any bias.»140 Nunca houve conclusão nenhuma ao abrigo do código ministerial e o primeiro-ministro deu o assunto por encerrado137. É esse o registo: uma admissão de aparente parcialidade, e nenhuma conclusão de parcialidade real.\nDesde então Uma participação da Electoral Commission sobre 37 500 libras dadas à sua campanha de 2024 para a liderança conservadora, alegadamente de origem estrangeira, chegou à Met a 6 de janeiro de 2026, nove dias antes de ele mudar de partido. A Met está a investigar. Jenrick chama à história «entirely false», obra de «an establishment determined to stop Reform»141. Ninguém foi acusado. Disse num jantar que em Handsworth, Birmingham, «I didn\u0026rsquo;t see another white face. That\u0026rsquo;s not the kind of country I want to live in»142. No congresso do Reform em setembro de 2026, uma manifestante foi arrastada pelos cabelos e agredida. Jenrick: «Oh boohoo… come on, get a life.»143 Depois: «He should be given a medal for what he did.»144 Como ministro da Imigração, disse à Câmara dos Comuns que 71% dos estrangeiros condenados em detenção alegavam ser vítimas de escravatura moderna. O presidente da UK Statistics Authority disse que os números do próprio Home Office mostravam cerca de um quinto145. Farage em Bruxelas Farage passou vinte anos como eurodeputado, de 1999 a 2020, num Parlamento de onde queria tirar a Grã-Bretanha. Foi claro quanto ao que isso pagava. Em 2009, quando lhe perguntaram quanto tinha recebido em despesas e subsídios desde 1999: «It is a vast sum… I don\u0026rsquo;t know what the total amount is but - oh lor - it must be pushing £2 million.»146 Pagava à mulher a partir dos seus subsídios146.\nO registo Fonte 40 000 € descontados do seu salário a partir de janeiro de 2018, dinheiro pago a Christopher Adams como seu assistente enquanto Adams era o responsável nacional pelas candidaturas do UKIP, que «cannot be proved by Farage» fonte do Parlamento, o Guardian147 Participou em 37% das votações e ficou em 748.º de 751 eurodeputados VoteWatch, o Guardian147 Dois anos de escritório cedido pela Rock Services, uma empresa de Arron Banks, declarados a 1 de julho de 2019, depois de terem acabado e seis semanas depois de aberto um inquérito ao apoio de Banks as suas próprias declarações148 Um carro com motorista, a renda de uma casa de 4,4 milhões de libras em Chelsea e viagens aos EUA, noticiados em até 450 000 libras vindas de Banks, nunca declarados faturas do Channel 4, o Independent149 O seu único processo nos tribunais da UE, contra uma sanção de 10 dias por chamar «damp rag» ao presidente do Conselho, rejeitado como «manifestly inadmissible» com custas contra ele Tribunal Geral150 De cada vez, o seu lado chamou-lhe perseguição. Sobre os 40 000 €, o seu grupo disse que havia «a vindictive campaign by the European parliament of selective persecution of Eurosceptic MEPs»147. Farage sobre o apoio de Banks: «it\u0026rsquo;s a purely private matter»151. Nunca contestou os 40 000 € em tribunal. O dinheiro foi recuperado.\nMas o que é justo é justo, e uma dessas queixas ganhou. Em 2016, o Parlamento exigiu ao partido europeu ADDE, dominado pelo UKIP, que devolvesse 172 654,92 €. Em 2019, o Tribunal Geral da UE anulou essa decisão, porque um membro do painel que decidiu tinha acusado publicamente o UKIP de «fraudulent manipulation» de antemão, e o tribunal considerou a sua imparcialidade «seriously compromised»152. Nesse caso, o «vindictive» foi confirmado. A fundação do partido, a IDDE, aceitou que 33 863,50 € eram inelegíveis e perdeu o seu próprio processo, depois de o Parlamento ter remetido ao organismo antifraude da UE «serious allegations regarding the establishment of a system whereby donations were received in exchange for the award of contracts»153. O que o organismo antifraude concluiu não foi publicado.\nPutin, Trump e um líder subornado Nathan Gill liderou o Reform no País de Gales a partir de março de 2021. Em novembro de 2025 foi condenado a dez anos e meio de prisão depois de se declarar culpado de oito crimes de suborno. O juiz concluiu que «The architect of these bribes was Oleg Voloshyn, a former pro-Russian Ukrainian MP», e que Viktor Medvedchuk, «a close friend of Vladimir Putin», era «the ultimate source of the requests and the money you received»154. Os crimes foram em 2018 e 2019, quando ele era eurodeputado do Brexit Party. O tribunal não chegou a nenhuma conclusão sobre o Reform, e o Reform chamou à sua conduta «reprehensible, treasonous and unforgivable»155. Farage chamou-lhe uma «bad apple»25.\nAs próprias palavras de Farage sobre Putin mudaram com o tempo:\nQuando Farage sobre Putin 2014 o líder mundial que mais admirava: «As an operator, but not as a human being, I would say Putin.»24 Junho de 2024 «We provoked this war. It\u0026rsquo;s – you know, of course it\u0026rsquo;s [Putin\u0026rsquo;s] fault, he\u0026rsquo;s used what we\u0026rsquo;ve done as an excuse.»156 Outubro de 2025 «Obviously, Putin is a very bad dude»25 Sobre Trump, o registo é mais estável. Farage falou em quinze eventos ligados a Trump desde as eleições de 2024, pelas contas da DeSmog, incluindo a convenção republicana e a CPAC157. Prestou depoimento no Congresso dos EUA em setembro de 2025158 e publicou a partir da Sala Oval: «It\u0026rsquo;s good to be back in the Oval Office.»159 O seu registo mostra remunerações e viagens pagas por organizações conservadoras dos EUA como o Club for Growth e o Hillsdale College4. Delo, o doador, tem um perdão de Trump66.\nO que o registo não mostra é dinheiro dos EUA no partido. Não há nenhum donativo do governo dos EUA ou ligado a Trump no registo, a própria DeSmog diz que não há «no suggestion» de financiamento direto, e Elon Musk, depois de meses de conversa, não deu nada e depois disse ao mundo que «Farage doesn\u0026rsquo;t have what it takes»160. Há um inquérito policial em curso a uma alegada tentativa de trazer dinheiro americano, que vem mais à frente.\nQuem mais está na sala O dinheiro dos doadores não vai só para o partido. Paga o lugar do líder à mesa de outros. Eis as viagens no registo oficial, e quem as pagou:\nViagem Quem pagou Valor Registo Farage à segunda tomada de posse de Trump, janeiro de 2025 Christopher Harborne 27 616,76 £ Electoral Commission161 Farage e dois colaboradores aos EUA, novembro de 2025, «speaking engagement and charity event», alegadamente em Mar-a-Lago Bassim Haidar, um doador do Reform 54 921,02 £ registo de Farage162, DeSmog163 Farage aos EAU, dezembro de 2025, «to attend the F1 and for meetings» o Governo de Abu Dhabi e a Abu Dhabi F1 10 000 £ registo de Farage164 Tice a Israel, setembro de 2025, «meetings with President and Foreign Minister» RFOI Ltd 6250 £ para dois registo de Tice165 Uma delegação do Reform a Israel, novembro de 2025, incluindo o presidente do partido, um membro da direção e o chefe de gabinete de Tice o Ministério dos Negócios Estrangeiros de Israel 4861,27 £ por pessoa registo da London Assembly166, Lancashire Lead167, Novara168 São Washington, Palm Beach, Abu Dhabi e Israel, tudo em doze meses, e nenhuma delas paga pelas pessoas em nome de quem o Reform diz falar.\nA sala americana As ligações ao MAGA não acabam na agenda de discursos de Farage. Paul Marshall e a Legatum, os donos da GB News, também fundaram e apoiam a Alliance for Responsible Citizenship. A sua conferência em Londres, em fevereiro de 2025, teve Farage como orador principal ao lado do Presidente da Câmara dos Representantes dos EUA, Mike Johnson, do secretário da Energia de Trump, Chris Wright, e de Vivek Ramaswamy, e Peter Thiel terá participado por vídeo169. Uma lista de doadores obtida pela DeSmog inclui Ben Delo, ao lado dos doadores de Trump Ken Griffin e Anthony Pratt170.\nE a Tether, 12% da qual pertence ao maior doador do Reform, está ligada ao governo de Trump. A Cantor Fitzgerald, dirigida por Howard Lutnick, hoje secretário do Comércio de Trump, quando o negócio foi acordado, negociou uma participação de cerca de 5%171, e o novo braço americano da Tether é dirigido por Bo Hines, que veio do próprio conselho cripto de Trump172. Essas são ligações da empresa, não do próprio Harborne. Mas é a empresa dele.\nA sala de Israel A viagem de Tice foi paga pela RFOI Ltd, Reform Friends of Israel. É uma sociedade privada por quotas, criada em junho de 2025 e registada como empresa de relações públicas173.\nA RFOI Ltd na Companies House Administrador e pessoa com controlo significativo, de 16 de junho a 8 de dezembro de 2025 Roy Zabludowicz, 75% ou mais dos direitos de voto173 A sua saída registada a 11 de fevereiro de 2026, dois meses depois da data que regista173 Administradores desde 8 de dezembro de 2025 Jason Pearlman e Lois Perry173 Jason Pearlman assessor de imprensa do Presidente israelita Rivlin, depois vice-diretor da Henry Jackson Society a partir de 2018174, depois assessor de imprensa do Presidente Herzog durante dois mandatos175. Farage chamou à sua contratação «a real coup»176 A Henry Jackson Society empregadora de Pearlman a partir de 2018, um think tank transatlântico de política externa e segurança174. O seu cofundador e diretor executivo, Alan Mendoza, entrou no Reform em novembro de 2025 como conselheiro principal para assuntos internacionais, o que Farage chamou «an excellent addition»177178 Lois Perry líder do UKIP de maio a junho de 2024, depois, a partir de dezembro de 2024, diretora executiva do Heartland Institute UK/EU, o braço europeu de um think tank norte-americano negacionista do clima, lançado com Farage como «special guest of honour»179180 Quem a controla agora a empresa declara que não há pessoa registável173 Um Roy Zabludowicz com o mesmo mês e ano de nascimento administrador de duas empresas da Tamares, ao lado de Chaim Zabludowicz181 Chaim «Poju» Zabludowicz dirige o Tamares Group, fundou e presidiu ao BICOM, que faz lóbi junto do governo britânico em nome de Israel, e deu cerca de 380 000 libras aos Conservadores. O negócio da família foi construído à volta da Soltam, uma fornecedora israelita de defesa182. A Declassified UK diz que o Roy Zabludowicz da RFOI «appears to be» seu filho183, e fico-me pela formulação deles.\nVê quem a dirige agora. Um administrador saiu do gabinete presidencial de Israel, passando pela Henry Jackson Society, cujo líder é agora o conselheiro principal do Reform para assuntos internacionais. A outra dirige o ramo europeu de um think tank americano que Farage ajudou a lançar. A empresa dos Amigos de Israel do Reform é onde a sala de Israel e a sala americana se encontram.\nPortanto, a RFOI é mais uma empresa privada. Um homem controlava-a quando pagou a viagem, e desde que ele se afastou declara que ninguém a controla. Consegues ver quem voou. Não consegues ver quem pagou. Acho que é esse o objetivo: uma empresa que existe para esconder quem está a pagar as viagens do Reform a Israel. Nada nos seus registos me dá razão para pensar o contrário.\nDois meses depois, o governo israelita pagou uma delegação do Reform por sua conta. A Novara, citando a Declassified UK, põe a despesa total do ministério nessa viagem de seis dias em mais de 50 000 libras, com os Montes Golã no itinerário168. O líder do Reform na câmara de Lancashire foi, e uma reunião do executivo do condado foi cancelada por causa disso167. Também foi uma membro do Reform na London Assembly166. É a lista de convidados de um governo estrangeiro, que vai do presidente do partido e da sua direção até ao poder local nas duas pontas do país, o County Hall de Lancashire e o City Hall de Londres.\nEm junho de 2026, Tice chamou à petição que deu origem a um debate nos Comuns sobre a influência pró-Israel «antisemitic in its very motivation and at its core». Uma queixa de que devia ter declarado a viagem antes de falar foi aberta em julho184, e a 27 de outubro de 2026 o Comissário para os Padrões deu-lhe provimento como violação do código, considerada inadvertida185.\nUm partido que poria uma cuidadora de quarenta e cinco anos num visto renovável aceita os voos do seu vice-líder de uma empresa por dentro da qual ninguém consegue ver, e os do seu presidente de um governo estrangeiro. Posso perguntar quem decide a política externa num governo do Reform? Não os eleitores, por este registo.\nA sala russa Não há dinheiro russo no registo do Reform, e não vou fingir que há. O que há:\nAssunto O que está registado O outro lado A oferta de 5 milhões de Harborne a Farage o ministro da Defesa pediu a Farage que confirmasse que nada dela «derived from transactions with Russian state-linked energy companies», dizendo que o objetivo da carta «is not to make allegations»186 a empresa de combustível de Harborne, a AML Global, diz que «complied fully with all UK and international sanctions»186 Os contratos de combustível militar da AML Global nos EUA refinarias neles mencionadas receberam mais de 62 milhões de toneladas de crude russo, iraniano ou venezuelano, pelas contas da Unearthed187 a própria Unearthed diz que «there is no suggestion that the company has breached UK or international sanctions»187 A estadia de Tice na Riviera Francesa, agosto de 2025 1400 libras de hospitalidade de Lubov Chernukhin, cujo marido foi vice-ministro das Finanças da Rússia até 2004188 ela diz que o casal não tem ligações ao regime de Putin e condenou a guerra188 Nada disto é uma conclusão contra ninguém, e a coluna da direita está lá para o poderes pesar. Põe isto ao lado de Nathan Gill e do «As an operator… Putin» de Farage, e é a frase do ministro da Defesa que fica: um partido «under a Russian cloud that only transparency can lift»186.\nUma história sobre a Rússia que vais ver repetida sobre os donos da GB News é falsa. A alegação de que o fundador da Legatum tinha ligações aos serviços secretos russos foi considerada «a complete fabrication» por um tribunal dos EUA, e um júri atribuiu-lhe 8 milhões de dólares contra o investigador por trás dela189. Não pertence a este artigo nem a nenhum outro.\n«Simplesmente não temos doadores residentes no Reino Unido» Em setembro de 2026, o Channel 4 News e a Verbatim emitiram uma investigação encoberta. Um repórter que se fazia passar pelo filho de um americano rico encontrou-se com o responsável de políticas do Reform, James Orr, e com um assessor sénior, Dan Jukes, e combinou que uma empresa dos EUA pagaria três sondagens que o partido tinha encomendado, cerca de 32 500 libras190191. Um ator no papel do pai foi depois levado a conhecer Farage para falar de um donativo muito maior que teria origem nos EUA190.\nOrr, perante a câmara, disse a parte que não se diz em voz alta: «we just don\u0026rsquo;t have British-resident donors, British entities, that would support us.»191 Farage foi filmado a dizer sobre uma sondagem: «It worked. Boom.»192\nO que aconteceu Quando Emissão 3 de setembro de 2026 Reform: «a hoax perpetuated by foreign-funded climate-change activists»193 4 de setembro Orr e Jukes afastados, e o presidente do partido disse que não havia «no chance» de voltarem192 4 de setembro A Met: «potential offences requiring investigation», integrados no seu inquérito já existente aos donativos194 9 de setembro O inquérito do próprio Reform, conduzido pelo seu próprio advogado e pelo seu secretário-geral, não encontrou «no breach of electoral law by Reform UK»195 7 de outubro Farage chamou-lhe «loose pub talk» e «a clear case of entrapment»196. O partido nega qualquer irregularidade, e ninguém foi acusado. Mas um partido que se iliba através dos seus próprios dirigentes, enquanto ainda está aberta uma investigação criminal aos mesmos factos, não ilibou nada.\nLigar os pontos Aqui está tudo numa página. As linhas contínuas estão no registo oficial: um registo, um documento entregue, uma conclusão de um tribunal ou regulador, ou as palavras da própria pessoa. As linhas tracejadas são notícias de um órgão identificado. As alegações não têm linha nenhuma.\nLigar os pontos Paul Marshall\u0026#160;(GBR) 40% da GB News Legatum\u0026#160;(ARE) 40% da GB News GB News 131 M£ perdidos Conferência ARC Marshall, Legatum Gov. Abu Dhabi\u0026#160;(ARE) pagou viagem de Farage Bassim Haidar\u0026#160;(IRL) nasc. NGA, viagem EUA Tether, 12% participação da Cantor Howard Lutnick\u0026#160;(USA) Chris Harborne\u0026#160;(THA) 25,2 M£ + 36 M£ QinetiQ, 14,98% fornecedora do MoD Nigel Farage\u0026#160;(GBR) oferta 5 M£, 585 mil £ Trump e MAGA\u0026#160;(USA) 15 eventos contra a Britcoin menos impostos cripto Heartland\u0026#160;(USA) negacionismo climático Nick Candy\u0026#160;(GBR) tesoureiro Nathan Gill\u0026#160;(GBR) preso, subornos russos Reform UK 75 a 80% do estrangeiro culpado no BitMEX perdão de Trump Ben Delo\u0026#160;(GBR, ex-HKG) 8 M£ + 36 M£ Henry Jackson Society líder: conselheiro Min. israelita\u0026#160;(ISR) pagou viagem do Reform nov 2025, 50 mil £+ 4861 £ por pessoa Quem foi David Bull, presidente Gawain Towler, direção chefe de gabinete de Tice Atkinson, Lancashire Wilson, Londres Richard Tice\u0026#160;(GBR) vice-líder RFOI Limited Reform Friends of Israel Administradores RFOI Roy Zabludowicz\u0026#160;(GBR) até dez 2025, 75%+ Jason Pearlman\u0026#160;(GBR) ex-Herzog, ex-HJS Lois Perry\u0026#160;(GBR) Heartland UK/EU Britain Means Business 500 mil £ ao Reform Inquérito da Met aberto, sem acusação Empresas de cripto 57 mil £ a Farage Stack BTC: 6,3% dele Ghandehari\u0026#160;(CHE) HP Trust, ~10 mil M$ passe Davos, 50 mil £ IAL Ltd arquitetura paisagista 200 mil £ ao Reform Família Keenan\u0026#160;(GBR) pessoal e FK Resolv FK Building Ltd 100 mil £ ao Reform deve 410 mil £ ao HMRC registo oficial notícia de órgão identificado Quem financia o Reform, quem financia o canal que o transmite, quem paga as suas viagens, que empresas de cripto pagam ao seu líder, o que possuem, e onde as posições do Reform lhes tocam. Cada linha tem a sua fonte na tabela abaixo. Uma linha é um facto sobre uma ligação, não uma conclusão de irregularidade. Ligação Como sabemos A Legatum, uma firma do Dubai, e Paul Marshall detêm cada um cerca de 40% da GB News, que perdeu 131 milhões de libras Wikipedia197, Left Foot Forward198 A GB News paga a Farage para apresentar, 585 000 libras de julho de 2024 a dezembro de 2025 registo de interesses4, The New World199 Tice apresentou programas na GB News The New World199 Marshall e a Legatum apoiam a conferência ARC, onde Farage falou Left Foot Forward169, DeSmog170 Harborne paga a viagem de Farage à tomada de posse de Trump Electoral Commission161 Bassim Haidar, um doador do Reform, paga a viagem de Farage aos EUA, alegadamente a Mar-a-Lago registo de Farage162, DeSmog163 O governo de Abu Dhabi contribui para a viagem de Farage aos EAU registo de Farage164 Uma firma dirigida por Howard Lutnick, hoje secretário do Comércio de Trump, negociou uma participação na Tether The Block171 Farage, e o tesoureiro Nick Candy, falam em eventos de Trump e do MAGA; Farage no Heartland, que organiza um painel no congresso do Reform DeSmog157 A administradora da RFOI Lois Perry dirige o Heartland UK/EU DeSmog179 Harborne dá ao Reform e ao Brexit Party 25,19 milhões de libras, mais 36 milhões anunciados registo da Electoral Commission33, BBC37 Harborne dá pessoalmente 5 milhões de libras a Farage, não declarados Guardian, data dada pelos seus advogados72 Harborne detém 12% da Tether a sua própria peça processual num tribunal dos EUA54 Harborne detém 14,98% da QinetiQ, fornecedora do MoD comunicação à bolsa55, MoD56 Farage faz lóbi contra a Britcoin e promove a Tether Guardian68, Byline Times69 O Reform promete cortar impostos sobre cripto e revogar o limite aos donativos The Block70, Guardian71 Delo dá 8 milhões de libras, mais 36 milhões anunciados, depois de se mudar para contornar o limite registo33, Searchlight38 Delo declarou-se culpado no caso BitMEX, perdoado por Trump Departamento de Justiça dos EUA6466 Farage fala em eventos do MAGA e é pago por organizações conservadoras dos EUA registo de interesses4, DeSmog157 A empresa de Tice, a Britain Means Business, dá 500 000 libras com um balanço abaixo de 29 000 libras registo33, Companies House124 A Met investiga os donativos através dessa empresa e a reportagem encoberta comunicados da Met via PA125194 Gill, antigo líder do Reform no País de Gales, subornado com dinheiro que remonta a um aliado de Putin fundamentação da sentença154 A RFOI Ltd, então controlada por um só homem, paga a viagem de Tice a Israel registo de Tice165, Companies House173 O administrador da RFOI Jason Pearlman foi vice-diretor da Henry Jackson Society, cujo líder Alan Mendoza se tornou conselheiro principal do Reform para assuntos internacionais Henry Jackson Society174, City AM177 O ministério dos Negócios Estrangeiros israelita paga uma delegação do Reform a Israel registo da London Assembly166 O HP Trust de Ghandehari paga 50 482,16 libras pelo passe de Farage em Davos registo de Farage80 A IAL Ltd dá ao Reform 200 000 libras; um antigo funcionário do HP Trust controlou-a, e o seu dono assumiu a empresa fornecedora do HP Trust no Dubai Electoral Commission82, Companies House83, FT e Guardian8485 A FK Building dá ao Reform 100 000 libras no dia a seguir à suspensão do cancelamento do seu registo, e depois entra em liquidação a dever ao HMRC Electoral Commission88, Companies House8792 Os postos de trabalho e o negócio de reabilitação passam para empresas da família Keenan Companies House919493 A BTC Inc, a Blockworks e a Zebu pagam a Farage 57 410 libras em remunerações; a sua empresa detém 6,3% da Stack BTC registo de Farage103105106108 Lê a coluna da direita de cima a baixo. Nada daquilo é opinião minha. A opinião é aquilo em que a coluna da esquerda resulta, e dou-te a minha no fim.\n«As maçãs podres já se foram» Em junho de 2024, o Channel 4 filmou um militante do Reform em campanha em Clacton a dirigir um insulto racial a Rishi Sunak e a sugerir que os migrantes fossem usados como «target practice»200. Farage disse que o homem era «an actor by profession»201. A Ofcom rejeitou mais de 270 queixas contra o Channel 4, dizendo que «not raise substantive issues warranting further investigation»202, e nunca foi apresentada nenhuma prova de que ele fosse infiltrado. Farage fez então uma promessa: «Have we had a few bad apples? We have… the bad apples are gone. We\u0026rsquo;ll never have them back.»203\nDois anos depois, a ITV pôs uma repórter dentro do partido durante um ano. O seu programa, Undercover: A Year in Reform, filmou um vereador e vice-presidente da câmara de Solihull a chamar às famílias asiáticas «absolute parasites» e a dizer «stick them on planes and f*** them off to Pakistan», uma vereadora de Bromley a dizer que as crianças negras eram «like f****** animals», e um ativista a dizer «you cannot be a Muslim and British… it\u0026rsquo;s like oil and water»204205. A resposta do Reform: «There is no room for racism in Reform UK», e «a handful of individuals who do not share our values will initially make it through vetting.»206\nUm punhado. Eis o que estava registado antes da ITV, cada caso noticiado por um órgão de comunicação de referência:\nQuem Cargo O que disse O que aconteceu Ian Cooper líder do Reform no Staffordshire County Council «No foreign national or first generation migrant should be allowed to sit in Parliament» filiação revogada207 Chris Parry candidato a presidente de câmara Lammy «must go home to the Caribbean»; mais tarde comparou um grupo de voluntários judeus a «Islamists on horseback» mantido depois da primeira, suspenso depois da segunda208 Sarah Pochin deputada «adverts full of black people, full of Asian people» Farage chamou-lhe «ugly», sem consequências209 Senga Beresford deputada escocesa respondeu «yes» a «deport the lot of them», sobre os muçulmanos o líder escocês: «something fruity in the past», sem consequências210 Stuart Prior vereador publicações a chamar aos brancos «the master race» (ele nega que a conta fosse sua) expulso211 Glenn Gibbins vereador de Sunderland os nigerianos deviam ser «melted down» para «fill in the pot holes» suspenso, readmitido, depois acusado pela polícia212 E do topo, nas próprias palavras do líder. Sobre os muçulmanos, em 2024: «I\u0026rsquo;m afraid I found some of the recent surveys saying that 46% of British Muslims support Hamas.»213 Em março de 2026, sobre um iftar público do Ramadão, o evento era «the attempt to overtake, intimidate and dominate our way of life», e «we have to stop this kind of mass demonstration»214.\nNenhum tribunal ou regulador concluiu que o Reform, enquanto partido, seja racista. A Ofcom e a polícia de Essex arquivaram os casos de 2024, uma queixa ao regulador da igualdade não deu em nada, e o caso Gibbins ainda está por julgar212. As alegações sobre os tempos de escola de Farage são contestadas e ele nega-as. Mas o público já decidiu: a YouGov concluiu que 47% dos adultos acham que o Reform é, em geral, racista, e 69% dos adultos de minorias étnicas215216.\nSuspensos por intolerância, de volta no verão As suspensões são anunciadas. As readmissões não. Os registos mostram um padrão:\nQuem Suspenso por Voltou Tom Pickup, Lancashire um grupo de WhatsApp onde um membro apelou a um «mass Islam genocide»; os seus próprios comentários «inappropriate» disciplina de voto restabelecida ao fim de três meses, depois nomeado responsável executivo pela ação social para adultos217218 Paul Cutts, Doncaster publicações que «targeted the Muslim faith in a derogatory way» disciplina de voto restabelecida em cerca de seis semanas219 Glenn Gibbins, Sunderland a publicação sobre os nigerianos readmitido com uma «final written warning», depois acusado220212 Ben Rowe, Plymouth publicações a dizer que «the Jews» estavam a «forcing other races on our societies» readmitido com uma «final written warning»220 Agora compara com a forma como o partido trata a deslealdade. Rupert Lowe, um deputado que se zangou com a liderança, foi suspenso, denunciado à polícia pelo partido e expulso. O Crown Prosecution Service não deduziu acusação221. Em Kent, vereadores que se zangaram com o seu líder depois de um vídeo divulgado foram expulsos por «undermining the interests of the party»222.\nA ITV filmou como isto é visto de dentro. O diretor de comunicação do partido, Ed Sumner, disse à repórter encoberta para estar pronta a «defend the indefensible», chamou a um candidato «clearly a racist» e disse que esperava que fosse despedido. A instrução de Farage sobre o mesmo candidato: «He must apologise to Lammy, if David Lammy\u0026rsquo;s taken offence.»223 Foi mantido. Um dirigente, quando lhe disseram que um vereador tinha um perfil num site de encontros nacionalista branco: «It\u0026rsquo;s not a resignation issue, is it?»224\nPublicações racistas dão três meses e um caminho de volta. A deslealdade dá expulsão. Nenhuma filmagem mostra alguém a dizer que as suspensões são para inglês ver, e não estou a afirmar que alguma mostre. A tabela basta. Um partido que disciplinasse o racismo como disciplina a dissidência teria uma tabela muito mais curta.\nTudo é uma difamação Cada uma destas histórias teve a mesma resposta. Era uma difamação, uma farsa, um infiltrado, o sistema. Por isso contei. Doze vezes o partido ou os seus dirigentes descartaram publicamente uma história, e o que aconteceu a seguir:\nHistória O que lhe chamaram O que aconteceu a seguir O militante de Clacton, 2024 «an actor by profession»201 afastado da campanha; a Ofcom rejeitou mais de 270 queixas202 A oferta de 5 milhões a Farage, 2026 «There is no case to answer»; «a stitch up»78225 admite tê-la recebido e não a ter declarado; investigação dos Padrões aberta76 O vereador de Sunderland, 2026 Tice: «all of this smearing and this sneering»226 acusado pela polícia e novamente suspenso212 O donativo à candidatura de Jenrick à liderança, 2026 «just a smear… put out by the Conservative Party»227 investigação da Met aberta141 O inquérito da Met aos donativos, 2026 Tice: «a politically motivated smear campaign»127 já aberto há 17 meses, duas pessoas interrogadas como suspeitas125 A reportagem encoberta sobre donativos, 2026 «a hoax», «yet another establishment attack», «entrapment»193196 dois assessores fora num dia; investigação da Met em cinco192194 A ITV encoberta, 2026 «no depth that the establishment won\u0026rsquo;t sink to»228 vereadores demitiram-se ou foram suspensos229 A BBC sobre o Coutts, 2023 Farage disse que o banco era «very, very dishonest»230 tinha razão: a BBC pediu desculpa231 Lowe, 2025 Lowe: «a sinister attempt to weaponise the criminal justice system against me»232 tinha razão: sem acusação221 Mais três estão por resolver. Sete em doze confirmaram-se, pelo menos em parte. Dois desmentidos estavam certos. Nem uma queixa que o partido apresentou contra um canal de televisão teve provimento.\nAs palavras repetem-se em pessoas diferentes e anos diferentes: «the establishment», «plant», «election interference». Quando saiu o vídeo da ITV, o Reform denunciou os jornalistas à polícia. A News Media Association chamou-lhe «a sinister approach that stifles public-interest reporting» e disse que as alegações não devem ser «used to intimidate journalists or deflect attention from the issues their reporting has exposed»233. O NUJ chamou-lhe «a thinly-masked Strategic Lawsuit Against Public Participation (SLAPP) style move»234. A polícia do Hampshire disse que estava a analisar o material, e a Met disse que não tinha conhecimento de nenhuma denúncia correspondente233.\nPorque é que resulta, e porque é que não basta A investigação tem um nome para isto. Chamar falsa a uma história verdadeira dá a um político «the liar\u0026rsquo;s dividend»235. Um estudo com mais de 15 000 pessoas na American Political Science Review concluiu que falsas alegações de desinformação aumentam o apoio a um político, e mais do que o silêncio ou um pedido de desculpa aumentariam. Também concluiu que a tática falha em grande parte perante provas em vídeo236. O que talvez explique porque é que a resposta ao vídeo da ITV foi a polícia.\nO padrão que todos os titulares de cargos públicos subscrevem são os Sete Princípios da Vida Pública. Responsabilização: os titulares de cargos públicos «must submit themselves to the scrutiny necessary to ensure this». Honestidade: «should be truthful»237. O Código de Conduta dos deputados assenta neles238. Chamar difamação a alguma coisa não é uma violação sobre a qual o Comissário para os Padrões possa agir, e não estou a dizer que é. Estou a dizer que é o contrário de se submeter ao escrutínio.\nFarage sabe como é um desmentido a sério, porque já fez um. Quando a BBC errou na sua história do Coutts, ele obteve o seu processo junto do banco, provou-o, e a BBC pediu desculpa231. É assim que se lida com uma difamação: com provas. A Society of Editors disse-o numa frase: «If a council believes a report is inaccurate, it should challenge it with evidence.»239 Quando as provas existem, são apresentadas. Quando não existem, ouves «o sistema».\nPorque é que os vês tanto O Reform tem cinco deputados em 650. Pela televisão, ninguém diria.\nA Universidade de Cardiff conta o que cobrem os principais noticiários da noite. Os seus números240241242:\nMedida Reform Comparação Edições do BBC News at Ten com o partido, primeiro semestre de 2025 25% Lib Dems, 72 deputados: 17% Foco principal de uma peça, BBC e ITV às dez, 2025 69 peças Conservadores 45, Lib Dems 14, Verdes 4 Partido da oposição mais referido, setembro de 2025 Reform, 37 Conservadores, a oposição oficial, 25 Farage no ITV News at Ten, setembro de 2025 49 referências Badenoch 33, Davey 10 A razão da BBC são as sondagens242. Muito bem. Então aplica-a por igual. Os mesmos investigadores concluíram que os Verdes passaram de 11% para 17% nas sondagens no segundo semestre de 2025, e a sua cobertura não mexeu242. Uma regra que só beneficia sempre um partido não é uma regra.\nE o que esse tempo de antena transporta é a mensagem, não o historial. A maior parte das conclusões deste artigo foi noticiada algures, algumas pela BBC. O que ninguém no ar faz é somá-las. A defesa habitual é a imparcialidade, e as próprias regras da BBC deitam-na abaixo: «Achieving impartiality does not preclude making evidence-based judgements or making an editorial judgement to focus scrutiny on a particular position», e «false equivalence does not achieve impartiality and should be avoided»243. Faz a mesma verificação a todos os partidos, com as mesmas colunas e o mesmo padrão de prova, e isso é imparcial. Não a fazer a ninguém não é neutralidade. Só deixa o historial por contar. E as pessoas que ficam por informar são aquelas de que o método do Reform depende, os eleitores que precisa que sejam fáceis de levar, que recebem o slogan todas as noites e as conclusões nunca.\nTambém não é novo. Farage esteve no Question Time 38 vezes, quase todas antes de alguma vez ter tido lugar nos Comuns. Todos os nomes acima dele na lista de sempre são deputados ou ministros de longa carreira, e com 1,9 presenças por ano tem a taxa mais alta de todos eles244245.\nUm canal de propaganda só seu Depois há a GB News, detida e paga em grande parte a partir do Dubai. Mais sobre isso abaixo. Andrew Neil, que ajudou a criá-la, diz que agora desempenha para o Reform o papel que a Fox News desempenha para Trump: «they have turned GB News into the Reform channel»199.\nFigura do Reform O que a GB News lhe dá Nigel Farage, líder o seu próprio programa, 585 000 libras em remunerações de julho de 2024 a dezembro de 2025, e a sua empresa detém quase meio milhão de ações da GB News199 Lee Anderson, deputado 100 000 libras por ano, além do salário de deputado, por um programa à sexta à noite199 Richard Tice, vice-líder apresentador199 Matt Goodwin apresentador, que conduziu um programa sobre a eleição intercalar de Gorton and Denton quatro dias antes de ser anunciado como candidato do Reform nela199 Ben Habib e Rupert Lowe, depois de saírem do Reform os convites pararam quando cada um fundou o seu próprio partido246 A The New World pôs 20 jornalistas experientes a ver horas da sua emissão, dois por programa, e concluiu que havia «a systemic use of Reform politicians, candidates and supporters»199. Um dos avaliadores chamou ao próprio programa de Farage «Farage propaganda dressed up as a panel show»199.\nPor isso, chama-lhe o que é. Um canal que paga ao líder do partido, ao seu vice-líder e a um dos seus deputados para apresentar, convida os seus candidatos, deixa cair quem se afasta, e põe um convidado da oposição para ser abafado não é um canal de notícias com uma inclinação. É um canal de propaganda do Reform com licença de emissão. É a minha opinião, e as provas estão na tabela acima.\nDetido e pago a partir do Dubai O Reform fala da Grã-Bretanha para os britânicos. Vê quem é dono do canal que o vende.\nDono da All Perspectives Ltd, a empresa-mãe da GB News Onde Participação Legatum Limited, uma firma de investimento privada fundada pelo neozelandês Christopher Chandler Dubai, Emirados Árabes Unidos cerca de 40%197247 Sir Paul Marshall, gestor de fundos de cobertura, também dono da The Spectator e da UnHerd Londres cerca de 40%197 Executivos, editores e apresentadores, entre eles a empresa de Farage o resto197199 O presidente da GB News, Alan McCormick, é sócio da Legatum197. A maior parte dos 60 milhões de libras angariados para lançar o canal veio da Legatum, de Marshall e da Discovery197.\nE nunca deu lucro. Perdeu 22 milhões de libras no ano até maio de 2025, com receitas de 26,2 milhões, e 131 milhões desde que foi lançado em 2021. Os donos meteram mais 17,7 milhões de libras nesse ano para o manter no ar198248. Nenhum negócio funciona com um prejuízo destes durante cinco anos para ganhar dinheiro. Funciona pelo que compra.\nAgora põe isso ao lado da lei sobre donativos aos partidos. Uma empresa só pode dar dinheiro a um partido político britânico se estiver registada ao abrigo do Companies Act, constituída no Reino Unido e exercer atividade no Reino Unido249. A Legatum não é nada disso. Não podia dar ao Reform um único cêntimo.\nNão precisa. Dinheiro de uma firma do Dubai cobre os prejuízos de um canal que paga ao líder do Reform, ao seu vice-líder e a um dos seus deputados, põe os seus candidatos no ar e passa as noites nos temas do Reform. Nada disso é um donativo, por isso nada disso aparece no registo da Electoral Commission. Farage declara as suas remunerações como rendimentos, e é tudo o que o sistema alguma vez vê4.\nNão estou a dizer que alguém esteja a branquear dinheiro. Isso é crime, ninguém foi acusado disso, e não o vou dizer. Mas um caminho que permite que dinheiro do estrangeiro chegue ao líder de um partido e à sua mensagem, sem nenhum donativo no registo, é exatamente o tipo de coisa que devia ser investigada e auditada, nem que fosse para ter a certeza. O que estou a dizer é que o efeito é o mesmo, e é legal. Dinheiro que a lei impede de entrar pela porta da frente de um partido chega ao líder do partido e à mensagem do partido através de um canal de televisão, e as regras dos donativos nunca o veem. O presidente da Electoral Commission disse aos deputados que as regras são fracas e estão desatualizadas246. É assim que são regras fracas e desatualizadas.\nPosso perguntar porque é que um partido que quer limitar quem conta como britânico, e quer regras sobre quem pode ficar, não tem problema nenhum em ser posto no ar com dinheiro do Golfo? Os dois maiores doadores construíram a vida na Tailândia e em Hong Kong. Dois quintos do canal são detidos no Dubai. Os eleitores a quem se diz para pôr a Grã-Bretanha primeiro são as únicas pessoas na cadeia sem voto em nada disto.\nE o regulador? A Ofcom multou a GB News em 100 000 libras em outubro de 2024 por dar a Rishi Sunak uma plataforma sem contraditório antes de uma eleição, invocando «the seriousness and repeated nature of this breach»250. A GB News levou a Ofcom ao High Court por causa dos programas de Jacob Rees-Mogg e ganhou em fevereiro de 2025251. Depois disso, a Ofcom abandonou a investigação ao uso de Farage pela GB News246. Portanto, o líder de um partido que lidera as sondagens é pago para apresentar as notícias, num canal financiado em parte a partir do Dubai, e ninguém está a verificar.\nPõe isso ao lado do resto deste artigo. O dinheiro do partido vem do estrangeiro. O rendimento do seu líder vem de um canal financiado em parte a partir do estrangeiro. O canal põe o partido no ar, e a BBC segue as sondagens que esse tempo de antena ajuda a construir. Ninguém tem de dar uma ordem para que tudo isto funcione.\nO mesmo manual Nada disto é novo. É o manual do MAGA, e o Reform segue-o página a página.\nO autor desse manual disse-nos para quem é. Ao celebrar a vitória no Nevada em fevereiro de 2016, Donald Trump enumerou os grupos que tinham votado nele: «We won with highly educated. We won with poorly educated.» Depois: «I love the poorly educated!»252 Oito anos mais tarde, o estudo do Pew Research Center sobre eleitores verificados concluiu que os eleitores sem curso superior o apoiaram por 14 pontos, enquanto os que tinham curso apoiaram Harris por 16253.\nA Grã-Bretanha não é diferente. Nas eleições de 2024, o Reform teve 23% dos votos entre as pessoas cuja habilitação mais alta são os GCSE ou menos, contra 8% entre os licenciados254. Dois anos depois, lidera no primeiro grupo com 40%, e está em quinto entre os licenciados com 14%255.\nPor isso vou dizê-lo sem rodeios. O voto do Reform assenta nas pessoas com menos escolaridade formal, e o seu método depende de elas serem fáceis de levar. Um número que não vão verificar. Um bode expiatório entregue já pronto. Um grito de difamação no instante em que alguém verifica. Isso não é um acaso de quem por acaso gosta de Farage. É o modelo de negócio, o mesmo que Trump disse em voz alta, e quem o gere conta com que as pessoas que está a usar nunca leiam para lá da manchete.\nA jogada do MAGA A versão do Reform A imprensa é «the enemy of the American People»256 jornalistas denunciados à polícia, repórteres proibidos no congresso233257 Cada denúncia é «fake news» cada denúncia é uma «difamação», uma «farsa», um «infiltrado»193201 «Drain the swamp» enquanto bilionários o financiam «o sistema» enquanto dois bilionários das cripto o financiam37 Um perdão para um patrão das cripto o patrão das cripto que financia o Reform tem esse perdão66 As cripto como causa «When it comes to your industry… then I am your champion»69 Um número grande, pouco importa se bate certo 234 mil milhões, depois 622 mil milhões, depois 154 mil milhões pelo método do próprio Tesouro51 Farage falou em quinze eventos ligados a Trump desde que foi eleito em julho de 2024, pelas contas da DeSmog, e disse ao novo ramo britânico da CPAC em julho de 2026 «I\u0026rsquo;ve spoken at over 10 CPACs in America»157. Eis a lista:\nQuando Onde O que é Julho de 2024 Milwaukee a Convenção Nacional Republicana Agosto de 2024 Arizona Arizona Liberty Network Setembro de 2024 Chicago jantar de angariação do 40.º aniversário do Heartland Institute, como orador principal Novembro de 2024 Pensilvânia um comício da campanha de Trump Dezembro de 2024 Londres o lançamento do Heartland UK/EU, dirigido por Lois Perry, da RFOI Dezembro de 2024 Nova Iorque New York Young Republicans Club Fevereiro de 2025 Londres Alliance for Responsible Citizenship Fevereiro de 2025 Washington CPAC Junho de 2025 Londres um painel do Heartland sobre energia em Westminster Setembro de 2025 Washington National Conservatism, ao lado de Russell Vought, um dos arquitetos do Project 2025 Outubro de 2025 Michigan Hillsdale College Março de 2026 Washington Club for Growth, que angariou 163 milhões de dólares para candidatos republicanos em 2024 Junho de 2026 Londres Alliance for Responsible Citizenship Julho de 2026 Londres CPAC Great Britain, como cabeça de cartaz Julho de 2026 Washington um evento do Dia da Independência «Redcoats and Rebels» Junta a tomada de posse e duas reuniões em Mar-a-Lago, onde esteve sem discursar157. Em mais ou menos os mesmos dois anos, mencionou o seu próprio círculo eleitoral, Clacton, nos Comuns seis vezes, e usou um quarto dos seus discursos lá para apoiar os ataques de Trump à política do governo britânico157.\nVários desses anfitriões ajudaram a escrever o Project 2025, o plano para o segundo mandato de Trump. O Heartland é um deles. Também organizou um painel no congresso do Reform de 2025 e diz que aconselha o partido em política climática157. E não é só Farage. A DeSmog lista o responsável de políticas do Reform, James Orr, o tesoureiro Nick Candy, os deputados Danny Kruger e Suella Braverman, Zia Yusuf e Matt Goodwin como tendo todos falado para grupos do MAGA. Orr preside ao ramo britânico da Edmund Burke Foundation, que organiza as conferências National Conservatism, e Yusuf falou na Heritage Foundation, a entidade que convocou o Project 2025, prometendo «mass deportations» ao estilo de Trump157.\nMais de dez CPAC na sua carreira. Seis menções do seu próprio círculo desde que foi eleito. Não foi pelo tempo. Foi aprender o ofício.\nEis como funciona o ofício. Encontra pessoas que foram abandonadas, e que têm todo o direito de estar zangadas. Dá-lhes alguém a quem culpar que seja mais pobre do que elas. Dá-lhes um número. Quando o número desaba, dá-lhes outro. Quando alguém verifica, chama-lhe difamação e chama ao verificador o sistema. E manda a fatura às mesmas pessoas por quem disseste estar a lutar. Resultou na América. O Reform aposta que resulta cá, e a aposta é que nunca vais ler um documento de políticas, um registo na Companies House ou um registo de interesses.\nEste artigo é a leitura.\nPassariam no seu próprio teste de carácter? O Reform quer que cada migrante estabelecido passe num teste de «good character» para continuar a viver cá2. O Home Office já tem um, para quem pede para se tornar britânico, e as suas orientações para os técnicos explicam o que leva a chumbar258. Por isso, aqui fica uma experiência mental. Passa as próprias figuras do Reform pelo próprio teste do Home Office.\nO teste do Home Office O que dizem as orientações O que mostra o registo Criminalidade recusar se alguém «not respected or are not prepared to abide by the law», por exemplo uma condenação258 o antigo líder do Reform no País de Gales, dez anos e meio por suborno154 Notoriedade inclui «publicly expressing unsavoury views on a subject such as race, religion or sexuality»258 «46% of British Muslims support Hamas»213; «I didn\u0026rsquo;t see another white face»142; «adverts full of black people»209 Franqueza «Concealment of information or lack of frankness will raise doubt about, and therefore reflect poorly on, the applicant\u0026rsquo;s character»258 uma oferta de 5 milhões não declarada3; 17 registos tardios100; dois anos de apoio de Arron Banks declarados depois de terem acabado148 Respeito pela lei como acima258 uma decisão como ministro da Habitação admitida como «unlawful by reason of apparent bias»139 Solidez financeira «they have failed to pay taxes for which they were liable»258 nenhuma conclusão do HMRC contra Tice, por isso neste passa Um técnico tem de ser razoável, e as orientações dizem-no258. Nem todas as linhas afundariam um pedido por si só, e estes são cidadãos britânicos que nunca farão o teste. É esse o ponto. Estão a escrever um teste de carácter para enfermeiras e engenheiros com que a sua própria primeira linha teria dificuldades, e nunca vão ter de o fazer.\nNão ser acusado não é atestado de boa conduta Sempre que um destes casos acalma, alguém diz «bem, ninguém foi acusado». Por isso sejamos precisos sobre o que isso significa.\nUma decisão de não acusar não é uma declaração de inocência. O Crown Prosecution Service só acusa quando há provas suficientes para uma perspetiva realista de condenação e a acusação é de interesse público259. Um caso que falha esse teste não foi julgado. Ninguém foi ilibado. Simplesmente nunca foi levado a um tribunal.\nE a maior parte do que está neste artigo ainda não chegou a esse ponto. O inquérito da Met aos donativos está aberto. Duas pessoas foram interrogadas como suspeitas e não há decisão sobre a acusação125. As investigações dos Padrões a Farage e Tice estão abertas76. O donativo a Jenrick está sob investigação141. Gibbins vai a julgamento a 9 de novembro212.\nMas parte disso chegou a um tribunal ou a um regulador, e essa é a parte a que ninguém pode chamar difamação. Põe as conclusões lado a lado:\nQuem Relação com o Reform Conclusão Nathan Gill liderou o Reform no País de Gales o Old Bailey, novembro de 2025: condenado a dez anos e meio de prisão por suborno, o dinheiro rastreado até um amigo de Putin154 Ben Delo segundo maior doador tribunal federal dos EUA, 2022: declarou-se culpado de deliberadamente não aplicar controlos contra o branqueamento de capitais; mais tarde perdoado por Trump6466 BitMEX a bolsa que Delo cofundou Departamento de Justiça dos EUA, janeiro de 2025: multa de 100 milhões de dólares ao abrigo do Bank Secrecy Act65 Tether 12% pertencem ao maior doador a Procuradora-Geral de Nova Iorque e a CFTC, 2021: acordo de 18,5 milhões de dólares, e uma multa de 41 milhões de dólares por declarar mal as suas reservas6061 Crispin Odey deu ao Reform 10 000 libras em 2023 a FCA e o Upper Tribunal, setembro de 2026: proibido de atuar nos serviços financeiros por ser «unfit» e multado em 1,53 milhões de libras; a FCA não chegou a nenhuma conclusão sobre as alegações por trás disso, que ele nega260 Reform UK o próprio partido a Electoral Commission, setembro de 2022: infrações no seu relatório de despesas eleitorais de 2019; sem sanção261 Robert Jenrick a escolha do Reform para ministro das Finanças o High Court, 2020: admitiu que a sua decisão sobre Westferry era «unlawful by reason of apparent bias»139 Richard Tice vice-líder o Comissário para os Padrões, outubro de 2026: violou o código dos deputados ao não declarar a viagem a Israel paga pela RFOI num debate sobre a influência pró-Israel; considerada «inadvertent»185 Andy Osborn presidente do Reform em North East Cambridgeshire, depois vereador do condado Westminster Magistrates\u0026rsquo; Court, abril de 2026: condenado ao abrigo do Representation of the People Act por publicar uma declaração falsa sobre um candidato rival, multado e inabilitado262 Kent County Council gerido pelo Reform desde 2025 o Information Commissioner, julho de 2026: violou a lei de acesso à informação quanto aos registos da sua campanha de «efficiency», e foi obrigado a responder de novo263 De um líder galês à lista de doadores e às próprias contas do partido, há uma conclusão em cada nível. Uma delas é azar. Dez são um padrão.\nNão te vou dizer que alguém é culpado de alguma coisa que um tribunal não tenha concluído. Vou dizer-te o que penso, e tu podes pesar. Um partido que responde a todas as perguntas com «difamação», se iliba através do seu próprio advogado enquanto a polícia ainda está a investigar, readmite os racistas e expulsa os críticos não mostrou que não tem nada a que responder. Mostrou que não tenciona responder.\nPara quem é, afinal, o Reform? Não é para ti. Nunca foi.\nO Reform é um embuste, e nem sequer inteligente. Diz aos trabalhadores que é o partido deles, e depois escreve um plano que tira o estatuto de residente à enfermeira que paga impostos cá há dez anos, põe todo o corte nos apoios em cima de quem está em idade ativa, e fixa uma fasquia salarial que os seus próprios doadores nunca vão ter de ultrapassar. Isso não é defender os trabalhadores. É usá-los.\nSegue o dinheiro e ele só corre num sentido. Entra vindo de um cidadão tailandês em Banguecoque, e de um patrão das cripto que admitiu ter gerido deliberadamente uma bolsa a que o governo dos EUA chamou «in effect a money laundering platform», recebeu um perdão de Trump, e mudou de país para contornar um limite aos donativos. Sobe até um líder que embolsou 5 milhões de libras que nunca declarou, e 135 000 libras por quatro horas a impingir ouro. Quatro horas. Sem ofício, sem produto, sem trabalho duro. Só conversa, e muita dela disparate, a um preço que a enfermeira que ele quer num visto renovável levaria anos a ganhar. Sai para firmas geridas por pessoas de dentro do partido. E a fatura cai em cima de ti.\nPor isso pergunta a quem presta contas um partido quando três libras em cada quatro vêm de dois homens que vivem no estrangeiro. Não aos seus militantes, que nem sequer controlam a empresa. Não aos seus eleitores, cuja recompensa é um visto renovável e um corte nos apoios. Presta contas a quem pode fechar a torneira do dinheiro. Vê pelo que o Reform luta: nenhuma libra digital que ameace a Tether, cripto tributadas a 10%, o limite aos doadores no estrangeiro revogado, benefícios fiscais para a indústria da defesa. Cada uma destas coisas alinha com o que os seus financiadores possuem.\nNão te consigo mostrar uma ordem a ser dada, e não estou a afirmar que tenha havido uma. Nem preciso. Um partido que vive do dinheiro de dois homens não precisa que lhe digam o que eles querem. Já sabe. É assim que é um fantoche quando é bem feito. Ninguém tem de puxar os cordelinhos, porque o fantoche mexe-se sozinho.\nFalam em retomar o controlo. Depois entregaram-no a um homem em Banguecoque e a um homem que só voltou para casa para poder continuar a pagar, e fizeram-no pelo dinheiro.\nEsta não é gente com princípios. O seu ministro das Finanças à espera queria pô-lo fora do negócio no ano passado. A linha do seu líder sobre Putin muda com o vento. O seu vice diz-te para não «morally or voluntarily give more tax» do que a lei te obriga. Gente com princípios não muda de direção num instante sempre que um doador, uma sondagem ou uma manchete precisa. Gente com preço muda, e o registo mostra-te quem o está a pagar.\nE olha para os dois pesos e duas medidas, porque são o partido inteiro numa tabela.\nO que o Reform exige a um migrante estabelecido O que o círculo do próprio Reform tem no seu historial passar num teste de «good character» ou perder o direito a ficar o seu antigo líder no País de Gales, dez anos e meio por aceitar subornos rastreados até um amigo de Putin nenhuma criminalidade um amigo de Farage, condenado por fraude eletrónica nos EUA, que pagou redes sociais, alojamento e segurança à volta da sua campanha de 2024 e emprestou 78 100 libras à empresa de Tice respeitar a lei o seu segundo maior doador, que admitiu ter deliberadamente deixado de aplicar os controlos contra o branqueamento de capitais que a lei americana exige, e saiu com um perdão de Trump franqueza com as autoridades um líder com 5 milhões de libras não declarados e 17 registos tardios ganhar acima da mediana ou sair um líder pago 135 000 libras por quatro horas de conversa Nenhuma dessas pessoas passaria pelo técnico que o Reform quer pôr a vigiar a enfermeira. Uma regra para ela. Outra para eles. Isso não é um deslize. É o desenho.\nE nenhum deles teve alguma vez de fazer um dia honesto de trabalho duro para fazer uma coisa em que se pudesse pegar. Vê o que está neste artigo. O líder é pago para falar. O vice ganha o seu dinheiro com imóveis e dividendos. O ministro das Finanças à espera fez carreira na política. Dá a qualquer um deles uma caixa de ferramentas e uma semana numa obra, numa enfermaria ou numa linha de produção, e vê até onde a conversa os leva. No entanto, são estes os homens a dizer a uma cuidadora que tem de provar que mereceu o seu lugar.\nE aqui está a parte que te devia fazer parar de vez. Muitas das pessoas que fazem esse trabalho duro, que constroem, reparam, carregam e cuidam para ganhar a vida, estão a votar neles. O voto mais forte do Reform está entre as pessoas com menos habilitações255, as que mais provavelmente fazem exatamente esse trabalho. Estão a ser vendidas a um partido por homens que não conseguiriam fazer o trabalho delas, pago por homens que não vivem cá, que cortaria o apoio e o estatuto das pessoas que trabalham na linha ao lado delas. São perus a votar no Natal. E a razão por que não veem o forno é que o Reform lhes deu alguém para odiar em vez disso. Muçulmanos a rezar. Caras negras num anúncio. A enfermeira migrante na enfermaria ao lado. Aponta a raiva das pessoas para quem trabalha ao lado delas e deixam de olhar para quem lhes está a ir ao bolso. É o embuste no seu melhor, e funciona com a intolerância que o partido atiça de propósito. As pessoas que rouba são as que o aplaudem.\nE muitas delas estão nos próprios apoios que o Reform cortaria. O Reform lidera entre os eleitores com deficiência264. Os círculos que está a tentar tirar ao Labour são, desproporcionadamente, aqueles onde as pessoas mais dependem de apoios relacionados com a saúde265. Cada deputado do Reform tem uma maioria menor do que o número de pessoas que recebem o PIP no seu próprio círculo266, e o PIP é o apoio que o Reform substituiria por um subsídio que poderia excluir até dois terços de quem o recebe11. Estão em fila para votar contra o seu próprio apoio, e a aplaudir enquanto o fazem.\nE quando precisarem de quem cuide deles, quem acha o Reform que o vai fazer? Em 2023, três em cada dez enfermeiros do NHS em Inglaterra e mais de um terço dos médicos do NHS não eram cidadãos do Reino Unido267. A prestação de cuidados perdeu 130 000 trabalhadores britânicos desde 2020/21268, e durante anos a falta foi preenchida por pessoas recrutadas no estrangeiro para fazer o trabalho, 105 000 só em 2023/24269. São essas as pessoas que o Reform poria de volta num visto renovável com uma fasquia salarial acima da mediana. Deporta os cuidadores e o eleitor do Reform com deficiência não perde só um apoio. Perde a pessoa que entra para o lavar, lhe dar de comer e o tirar da cama. Ninguém no Reform disse quem os substitui, porque ninguém no Reform vai alguma vez precisar de um que não possa pagar.\nChama-lhe o que é. Um partido que deixa vereadores voltar poucos meses depois de publicações racistas, promove um deles a responsável pela ação social para adultos, e expulsa os seus críticos em dias, é um partido racista, diga o que disser o seu gabinete de imprensa. Foi avisado. Foi filmado. Escolheu.\nE sempre que é apanhado, grita difamação. Sete das doze histórias a que chamou difamações confirmaram-se. Gritar difamação perante uma história que se revela verdadeira não é uma defesa. É admitir que não tens mais nada.\nPatriotismo? Poupa-me. Um partido financiado a partir de Banguecoque e de Hong Kong, que faz fila nos comícios do MAGA, que expulsaria pessoas que vivem, trabalham e pagam impostos cá enquanto bilionários que saíram há décadas o mantêm em funcionamento. Isso não é patriotismo. É uma bandeira enrolada à volta de uma conta bancária.\nE votar nele também não é patriotismo. Um patriota cuida das pessoas que mantêm este país a funcionar, a enfermeira, o engenheiro, a cuidadora, seja qual for o passaporte com que começaram. Dar o teu voto a um partido que os poria na rua, pago por homens que não vivem cá, não é amar o teu país. É seres usado contra ele. Nem os homens no topo nem as pessoas que os põem lá são patriotas, seja qual for a bandeira que agitem.\nEntão, para quem é, afinal, o Reform? Para os nomes no registo. Lê-o. Se o teu não está lá, o teu interesse também não.\nReform UK — The Cost of the Boriswave — documento de políticas do partido, abril de 2026: os titulares de ILR «will have it rescinded», limiares salariais «above median UK earnings», «£154 bn if discounted at the 3.5% rate suggested by the HM Treasury Green Book».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nReform UK — Policies (archived 19th October 2026) — «abolish ILR and rescind existing awards», «5 year renewable visa», os reformados com National Insurance suficiente mantêm a residência e a pensão do Estado.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Guardian — Nigel Farage was given undisclosed £5m by crypto billionaire in 2024 — 29 de abril de 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nUK Parliament — Register of Members\u0026rsquo; Financial Interests: Nigel Farage — consultado através da API de interesses, 28 de outubro de 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nFull Fact — Daily Mail corrects report about Reform UK\u0026rsquo;s disputed immigration savings — 3 de outubro de 2025; o think tank disse que «the overall cost estimates should no longer be used».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nEuronews — Reform UK pledges to strip all foreign nationals of benefits — 17 de agosto de 2026; os apoios na lista só para cidadãos, incluindo o Pension Credit.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nIFS — Reform UK\u0026rsquo;s plan for welfare: IFS response (archived) — 17 de agosto de 2026; «almost entirely from a working-age benefits bill», 1,3 milhões de não cidadãos do Reino Unido no Universal Credit.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nDWP — Benefit expenditure and caseload tables 2026 — Previsão da Primavera de 2026; total da Grã-Bretanha em 2025/26, 309,06 mil milhões de libras; reformados, 177,65 mil milhões; pensão do Estado, 146,07 mil milhões; idade ativa, 126,08 mil milhões.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLBC — Farage guarantees the triple lock on pensions — 2 de abril de 2026, com as declarações anteriores «open for debate» e «we\u0026rsquo;re not guaranteeing the triple lock».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nSTV News — Reform\u0026rsquo;s welfare pledges aim to please pensioners — 17 de agosto de 2026; «nothing that we talk about today is about pensioners».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Week — Are welfare cuts Reform\u0026rsquo;s stumbling block? — agosto de 2026; o PIP substituído por um «health security allowance» que «could exclude up to two-thirds of current recipients», 20 horas de trabalho comunitário.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nDWP — Universal Credit statistics, 29th April 2013 to 14th May 2026 — «3.1 million people on Universal Credit in any employment … in April 2026, which was 37.7% of all people on Universal Credit».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nIFS — Reform UK manifesto: initial reaction (archived) — junho de 2024; citado no The Irish Times, 17 de junho de 2024.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLeft Foot Forward — Reform to U-turn on £90 billion tax cuts — outubro de 2025; Tice na Times Radio: «A manifesto is based on a point in time.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nIrish News (PA) — Reform could deport 600,000 asylum seekers under immigration plan — 26 de agosto de 2025.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nBig Issue — Reform UK\u0026rsquo;s £50 billion benefits plan — agosto de 2026; Tom Waters, do IFS.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nEnergy Live News — Reform promises to scrap green levies and VAT on energy bills — 17 de março de 2026, cerca de 200 libras.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nEnergy Live News — Reform UK say they will cut bills by £150 with levy change — 7 de setembro de 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nFull Fact — Did Reform UK break its promises on council tax? — 9 de abril de 2026, atualizado a 6 de maio de 2026: 3,94% contra 4,86%.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Guardian (via inkl) — Reform-run Kent council accused of fabricating £40m net zero savings — fevereiro de 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nExpress \u0026amp; Star (PA) — Reform defends savings claim amid questions on scope of welfare plans — 22 de setembro de 2025.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLBC — Jenrick says he wants to put Reform UK out of business — 28 de agosto de 2024.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nBBC News — Reform UK names Robert Jenrick as pick for chancellor — 17 de fevereiro de 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nHuffPost UK — Farage says Putin is his most admired leader — 31 de março de 2014.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nExpress \u0026amp; Star (PA) — Farage calls Putin \u0026lsquo;very bad dude\u0026rsquo; — 16 de outubro de 2025.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCompanies House — 11694875, persons with significant control — a empresa que começou como The Brexit Party Limited; participações de Farage e Tice até 19 de fevereiro de 2025.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nExpress \u0026amp; Star (PA) — Nigel Farage hands ownership of Reform to members, says party — 20 de fevereiro de 2025.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCompanies House — Reform UK Party Limited (16260766), filing history — contas auditadas de 2025, entregues a 30 de setembro de 2026: nota 20, «two members»; nota 19, as transferências de 15 e 1 libras; receitas de quotas, 4 524 299 libras; excedente, 7 660 122 libras.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Guardian (via inkl) — Not-for-profit appears to own Reform UK despite Farage\u0026rsquo;s \u0026ldquo;democratisation\u0026rdquo; pledge — fevereiro de 2025; Farage e Zia Yusuf são os garantes da nova empresa.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCompanies House — Reform UK Party Limited (16260766), officers — Farage administrador desde 18 de fevereiro de 2025; Yusuf demitiu-se a 5 de junho de 2025.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nByline Times — Chairman Farage: how Reform UK operates as a democratic party in name only — 18 de agosto de 2026; os estatutos aprovados em setembro de 2025, Artigos 4.3 e 6.20.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLeft Foot Forward — Nigel Farage sets up a new private company for Reform UK — fevereiro de 2025; Habib ao FT: «puts Farage\u0026rsquo;s leadership in a virtually unassailable position».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nElectoral Commission — donations register — donativos e empréstimos ao Reform UK e ao Brexit Party (PP7931), consultado a 28 de outubro de 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Independent (via inkl) — Data reveals the percentage of Reform donors recently based overseas — 27 de outubro de 2026; 80% para o Reform, 3,57% para os Conservadores, 0,15% para o Labour.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nChannel 4 News — How a crypto billionaire used \u0026lsquo;gaping loopholes\u0026rsquo; to bankroll Reform — 27 de julho de 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Guardian — Christopher Harborne, the mystery billionaire bankrolling Reform UK — 25 de abril de 2026; nacionalidade tailandesa em 2011 como Chakrit Sakunkrit.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nBBC News — Second crypto billionaire matches £36m Reform donation — 12 de setembro de 2026; Tice: «so that the Labour Party can\u0026rsquo;t legislate against it».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nSearchlight — Crypto billionaire quits Hong Kong to bankroll Reform UK — 9 de abril de 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nGOV.UK — Cap on donations from overseas electors and ban on crypto donations — 25 de março de 2026; 100 000 libras por ano.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nPolitical Parties and Elections Act 2009, section 10 — «resident, ordinarily resident and domiciled in the United Kingdom», estado «Prospective».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNewcastle City Council — Elections Act 2022: overseas electors — o limite de 15 anos eliminado a partir de 16 de janeiro de 2024.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Rycroft Review — countering foreign financial influence and interference in UK politics — março de 2026, parágrafos 39 e 51 a 53.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCouncil of Europe — Recommendation Rec(2003)4 on common rules against corruption in the funding of political parties — Artigo 7, donativos de doadores estrangeiros.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nInternational IDEA — written submission to the Australian Parliament — 2017; 63% dos países proíbem donativos estrangeiros a partidos.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNHPR (NPR/AP) — Lev Parnas sentenced to 20 months — 29 de junho de 2022.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCourthouse News — Trump donor sentenced to 12 years for unlawful campaign contributions — 18 de fevereiro de 2021.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nVenice Commission and OSCE/ODIHR — Guidelines on Political Party Regulation, 2nd edition — dezembro de 2020, parágrafos 229 e 230.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\ngov.ie — Political donations — os cidadãos irlandeses no estrangeiro podem doar; limite de 3100 € por ano a um partido.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nElections Canada — contribution limits 2026 — apenas cidadãos e residentes permanentes, 1775 $.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nUS Federal Election Commission — Foreign nationals — os cidadãos dos EUA no estrangeiro podem dar dentro dos limites federais.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nEastern Eye — Reform candidate faces backlash over comments on British identity — 28 de janeiro de 2026, citando textos anteriores de Matt Goodwin.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nYorkshire Post — Yorkshire-born billionaire Christopher Harborne donates £36m to Reform — 12 de setembro de 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nAl Jazeera — Second crypto billionaire donates record sum to Reform UK — 12 de setembro de 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nReason (Volokh Conspiracy) — Cryptocurrency trader\u0026rsquo;s defamation lawsuit against Wall Street Journal can go forward — Delaware Superior Court, dezembro de 2024: «Harborne owned 12% of Bitfinex and its sister company Tether».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nQinetiQ — Holding(s) in Company, 9th June 2026 — Klear Kite LLC, «ultimately controlled by Christopher Harborne», 14,98%.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nGOV.UK — Major £1.5 billion defence contract with British firm — 23 de maio de 2025.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCompanies House — AML Global Payments LLP (OC305889), persons with significant control.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Guardian — Arms and the £5m man: Christopher Harborne\u0026rsquo;s military empire — 30 de agosto de 2026, com as respostas do Reform e dos seus advogados.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Guardian — The £1m man: why did Boris Johnson take his donor to Ukraine? — 10 de outubro de 2025.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNew York Attorney General — Bitfinex and Tether settlement — 23 de fevereiro de 2021.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCFTC — Tether and Bitfinex ordered to pay fines — 15 de outubro de 2021; reservas «for only 27.6% of the days».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nUNODC — Casinos, Money Laundering, Underground Banking, and Transnational Organized Crime in East and Southeast Asia — janeiro de 2024.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Guardian — Cryptocurrency linked to Farage donor used for Russian war effort — 21 de novembro de 2025.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nUS Department of Justice, SDNY — Founders of cryptocurrency exchange plead guilty to Bank Secrecy Act violations (archived) — 24 de fevereiro de 2022.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nUS Department of Justice — BitMEX fined $100 million for violating the Bank Secrecy Act — janeiro de 2025.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nUS Department of Justice — Clemency grants by President Donald J. Trump — Benjamin Delo, 27 de março de 2025.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Guardian — British crypto billionaire Ben Delo says he has given £4m to Reform UK — 8 de abril de 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Guardian — Nigel Farage trying to block Britcoin plans — 18 de junho de 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nByline Times — Crypto investor donates £9 million to Reform UK after Nigel Farage plugs his company — 4 de dezembro de 2025.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Block — Nigel Farage pledges UK bitcoin reserve and crypto capital gains tax cut — maio de 2025.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Guardian — Political donations in cryptocurrency blocked — 25 de março de 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Guardian — Farage said he would need \u0026lsquo;a million a year\u0026rsquo; to stand as an MP in 2024 — 15 de julho de 2026; a oferta datada de 5 de abril de 2024 pelos advogados de Harborne.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nProtos — Farage says £5m Harborne gift was reward for Brexit — 14 de maio de 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Guardian — Tories ask HMRC to investigate Farage over £5m gift — 22 de julho de 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Guardian — Standards watchdog investigation into Nigel Farage\u0026rsquo;s financial gifts — 14 de agosto de 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nParliamentary Commissioner for Standards — allegations currently under investigation — consultado a 28 de outubro de 2026: Farage (aberta a 13 de maio de 2026, Regra 5), Tice (aberta a 20 de agosto de 2026, Regra 13).\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Guardian — Nigel Farage questions claim of second standards investigation — 1 de setembro de 2026; Cottrell «paid for social media work, accommodation and security before the 2024 election».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nExpress \u0026amp; Star (PA) — Farage concluded he faced stitch-up amid probe into £5m gift, Jenrick says — 9 de julho de 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLeft Foot Forward — Reform gains financial backing from another billionaire — julho de 2026, citando o Telegraph; residência fiscal na Suíça e a mudança planeada.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nUK Parliament — Register of Interests, entry 14397 — Sasan Ghandehari, «Accreditation (£50,482.16) cost for me and one staffer», Davos, janeiro de 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Guardian (via inkl) — Nigel Farage\u0026rsquo;s trip to Davos hosted and paid for by family trust of billionaire — janeiro de 2026; «the $10bn family trust of an Iranian-born billionaire».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nElectoral Commission — donations from Interior Architecture Landscape Ltd — sete donativos num total de 200 000 libras, 2025.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCompanies House — Interior Architecture Landscape Ltd (08363406), persons with significant control.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLeft Foot Forward — Labour MP calls for Companies House to probe origins of £200,000 gift to Reform — fevereiro de 2026, citando o FT e as declarações do advogado de Ghandehari e da firma.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nIran International — Reform UK donor had ties to Iran supreme leader-linked foundation, Guardian reports — 23 de outubro de 2026, noticiando a investigação do Guardian a uma decisão arbitral francesa; Ori Group 49%, Astan Quds Razavi 51%; Orico General Trading; a resposta dos advogados.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nByline Times — Reform UK donations from collapsing firms are \u0026ldquo;not under investigation\u0026rdquo;, says elections watchdog — 3 de julho de 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCompanies House — FK Building Limited (12545681), filing history.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nElectoral Commission — donation C0835464 — FK Building Ltd, 100 000 libras, 8 de outubro de 2025.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCompanies House — FK Group Limited (07732053) — em administração judicial; a FK Construction (09890502) e a FK Facades (02874877) também.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nBuilding — More than 50 jobs saved after administrators appointed at facades firm FK Group — 54 postos de trabalho transferidos para a Keenan Holdings.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCompanies House — Keenan Holdings Limited (11920973), persons with significant control — Deborah Ruth Keenan, 75% ou mais.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCompanies House — FK Building Limited, insolvency — liquidação voluntária pelos credores a partir de 6 de julho de 2026; declaração da situação: défice de 3 149 939 libras, HMRC 25 618 e 384 029 libras.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCompanies House — FK Resolv Ltd (08222605), persons with significant control — FK Group cessou, FKR Group Limited notificada, 16 de outubro de 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCompanies House — FKR Group Limited (17302053) — constituída a 25 de junho de 2026; Francis Anthony Keenan, 75% ou mais.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nByline Times — Reform UK accounts raise fresh questions about origins of Richard Tice donations — 7 de agosto de 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nExpress \u0026amp; Star (PA) — Nigel Farage declares £270,000 payment for promoting gold bullion.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nByline Times — Gold firm that employs Nigel Farage predicts unrest and violence under a Reform government — 25 de agosto de 2026; 685 500 libras desde dezembro de 2024.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Guardian — Nigel Farage uses private company to pay less tax on GB News earnings — 5 de setembro de 2025.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCompanies House — Thorn In The Side Ltd (07650770) — contas até 31 de maio de 2025: ativos líquidos de 3 144 967 libras; nota 8, o arrendamento de um estúdio a um administrador por 10 000 libras por ano.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nParliamentary Commissioner for Standards — rectification, Mr Nigel Farage MP — 20 de janeiro de 2026; dezassete violações da Regra 5, «inadvertent».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nByline Times — Reform UK paid £440,000 to firms linked to party insiders — 14 de agosto de 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nElectoral Commission — spending search — declarações de despesas de campanha do Reform UK, somadas por fornecedor: 440 571,23 libras em cinco firmas; o donativo de 50 000 libras da Jupiter é o C0836534.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nUK Parliament — Register of Interests, entry 13453 — BTC Inc, 7410 libras, recebidas a 22 de setembro de 2025.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nProtos — Reform UK pulls crypto bill from website — retirada a 30 de maio de 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nUK Parliament — Register of Interests, entry 13771 — Blockworks Inc, 30 000 libras, 2 horas, 13 de outubro de 2025.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nUK Parliament — Register of Interests, entry 13773 — Zebu Group Ltd, 20 000 libras, 2 horas, 22 de outubro de 2025.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nByline Times — Nigel Farage took £50,000 from crypto firms, then said he was not aware of the industry funding his party — 22 de maio de 2026; a resposta à Reuters era sobre os doadores do partido, não sobre as suas próprias remunerações.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nUK Parliament — Register of Interests, entry 15047 — «Shares in Stack BTC PLC that are wholly owned by Thorn in the Side Ltd.»; também a entrada 15050.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nStack BTC plc — Strategic investment by Nigel Farage MP (Investegate) — o anúncio da empresa e a citação de Farage.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Guardian — Nigel Farage Cameo videos backed cryptocurrencies that collapsed in value — 19 de março de 2026; a resposta do porta-voz.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nUS Attorney, Southern District of New York — Founder of Celsius sentenced to 12 years for fraud and market manipulation — 8 de maio de 2025; «At times, they used customer deposits to fund these market purchases.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nUNODC — Inflection Point (2025) — perdas «up to an estimated US $37 billion» no Leste e Sudeste Asiático.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nTether — freezes and law enforcement support — números da própria Tether: mais de 5 mil milhões de dólares congelados, mais de 340 agências.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Rycroft Review (PDF) — «there is a risk that cryptoassets are used as the vehicle to channel foreign money into the political system in the UK»; recomendação 3, uma moratória.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nByline Times — The elections watchdog doesn\u0026rsquo;t know where Reform UK\u0026rsquo;s crypto donations are coming from — 16 de março de 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCity of London Police — UK victims lost £2.4 million every day to investment fraud in 2025 — abril de 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nPolice Professional — investment fraud figures for 2024 — cripto em «66 per cent of all reports»; «Those aged 55-64 suffered the greatest financial losses».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nFCA — Crypto basics — «you should be prepared to lose all your money».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCompanies House — CLS Holdings plc (02714781), officers — Tice administrador de 11 de maio de 2010 a 7 de abril de 2014.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCompanies House — Quidnet REIT Ltd (09718143), filing history — contas de 2025, entregues a 29 de setembro de 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nUK Parliament — Register of Members\u0026rsquo; Financial Interests: Richard Tice — remuneração da Quidnet REIT, participações.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nBBC News — Richard Tice defends company\u0026rsquo;s tax arrangements — 15 de março de 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nBBC News — Tice company did not withhold tax on dividends — 12 de abril de 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCompanies House — Britain Means Business Ltd (10893794) — antiga Leave Means Leave Ltd; contas de microentidade, ativos líquidos de 28 864 libras (2023) e 10 479 libras (2024).\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nSTV News (ITV/PA) — Met Police investigate donations by Richard Tice company to Reform UK — 26 de julho de 2026; participação da Electoral Commission em fevereiro de 2025, duas pessoas interrogadas como suspeitas.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLBC — Police investigate £500,000 in donations to Reform UK from Richard Tice firm.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nShropshire Star (PA) — Tice claims politically motivated smear amid scrutiny of Reform UK finances — julho de 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCompanies House — Leave.EU Group Ltd (09763501), officers — Tice administrador de 29 de janeiro de 2016 a 25 de maio de 2017.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nFull Fact — EU referendum Electoral Commission fines — a multa de 70 000 libras à Leave.EU reduzida em recurso para 66 000 libras.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Guardian — Richard Tice, Reform loan and George Cottrell: standards watchdog — 29 de julho de 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCompanies House — Richard Tice, appointments — coadministradores nas empresas Quidnet, Enjoyouretirement e Galecroft.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Guardian — Standards watchdog investigating Reform\u0026rsquo;s Richard Tice — 3 de agosto de 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Guardian — Robert Jenrick rules out Tory pact with Reform UK — 25 de abril de 2025.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nExpress \u0026amp; Star (PA) — Robert Jenrick defects to Reform after Tory sacking — 15 de janeiro de 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nBBC News — Robert Jenrick joins Reform UK — 15 de janeiro de 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLBC — Read in full: Robert Jenrick\u0026rsquo;s speech — janeiro de 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nBBC News — Jenrick releases documents on Westferry decision — 24 de junho de 2020.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Guardian — Richard Desmond housing project unlawfully approved — 27 de maio de 2020.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nBBC News — Westferry: Jenrick admits decision was unlawful — 11 de junho de 2020; «unlawful by reason of apparent bias», o donativo de 12 000 libras de Desmond.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nBBC News — Westferry approval to be quashed — 27 de maio de 2020.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Guardian — Police investigate £37,500 donation to Jenrick leadership campaign — 8 de julho de 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Guardian — Jenrick complained of not seeing another white face in Handsworth — 6 de outubro de 2025.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Independent — Robert Jenrick on protester at Reform conference — 6 de setembro de 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nHuffPost UK — Jenrick says Reform supporter who attacked woman should get a medal — 10 de setembro de 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Independent — Statistics Authority on Jenrick\u0026rsquo;s modern slavery claim — 6 de julho de 2023.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Observer — Ukip leader Nigel Farage boasts of his £2m in expenses — 24 de maio de 2009.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Guardian — Nigel Farage\u0026rsquo;s EU salary docked over claim he misspent public funds — 12 de janeiro de 2018; a classificação da VoteWatch e a resposta do EFDD.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nEuropean Parliament — Declaration of financial interests, Nigel Farage, revision 4 — datada de 1 de julho de 2019.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Independent — EU authorities asked to investigate Farage over Arron Banks gifts — 19 de maio de 2019.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nEU General Court — Case T-564/11, Farage v Parliament and Buzek — despacho de 5 de setembro de 2012.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Independent — Farage referred to advisory committee over Banks support — 21 de maio de 2019.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCourt of Justice of the EU — press release 138/19, Case T-48/17 ADDE v Parliament — 7 de novembro de 2019; a decisão de 2016 anulada por falta de imparcialidade.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nEU General Court — Case T-118/17, IDDE v Parliament — acórdão de 8 de fevereiro de 2018, parágrafos 6, 9 e 55.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nJudiciary of England and Wales — R v Nathan Gill, sentencing remarks — 21 de novembro de 2025.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nAl Jazeera — Ex-leader of Reform UK in Wales jailed for 10 years over pro-Russia bribes — 21 de novembro de 2025.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLBC — Nigel Farage says the West provoked Russia to invade Ukraine — 21 de junho de 2024.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nDeSmog — Nigel Farage has spoken at 15 Donald Trump and MAGA events since the 2024 election — 20 de agosto de 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nUS House Judiciary Committee — Europe\u0026rsquo;s Threat to American Speech and Innovation — 3 de setembro de 2025.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nGazette — Clacton MP meets Donald Trump — 4 de setembro de 2025.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nITV News (archived) — Elon Musk says Nigel Farage doesn\u0026rsquo;t have what it takes to lead Reform — 5 de janeiro de 2025.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nElectoral Commission — donation V0598867 — Christopher Harborne para Nigel Farage, 27 616,76 libras, aceite a 17 de janeiro de 2025, «Second inauguration of Donald Trump».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nUK Parliament — Register of Interests, entry 13939 — Bassim Haidar, «Flights for me (£19,072.01) and two staffers (£35,849.01)», EUA, de 6 a 9 de novembro de 2025.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nDeSmog — Nigel Farage\u0026rsquo;s donor-funded flights to Donald Trump — 26 de janeiro de 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nUK Parliament — Register of Interests, entry 14207 — EAU, de 6 a 8 de dezembro de 2025, «To attend the F1 and for meetings»; Governo de Abu Dhabi 1000 libras, Abu Dhabi F1 9000 libras.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nUK Parliament — Register of Interests, entry 13577 — Richard Tice, Israel, de 26 a 30 de setembro de 2025, doador RFOI Ltd, 6250 libras, «Education and meetings with President and Foreign Minister».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLondon Assembly — Alex Wilson, gifts and hospitality — «Reform UK Delegation to Israel including flights, accommodation and meals», Ministério dos Negócios Estrangeiros de Israel, 4861,27 libras.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLancashire Lead — Reform UK\u0026rsquo;s Lancashire leader takes Israel trip, cancelled meetings — 30 de novembro de 2025.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNovara Media — Israel spent £50k on lobbying trips for Reform — 9 de julho de 2026, citando a Declassified UK; delegados e itinerário.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLeft Foot Forward — Kemi Badenoch and Nigel Farage to speak at climate denial festival — fevereiro de 2025, o elenco da conferência ARC.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nDeSmog — Revealed: the Trump donors, Reform-backing billionaires and oil companies funding the Alliance for Responsible Citizenship — 24 de junho de 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Block — Lutnick\u0026rsquo;s Cantor Fitzgerald negotiated a 5% ownership stake in Tether, WSJ.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nFortune — Tether names Bo Hines to run its US stablecoin — 12 de setembro de 2025.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCompanies House — RFOI Limited (16521255), persons with significant control — e officers; SIC 70210, relações públicas.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nHenry Jackson Society — Henry Jackson Society appoints Jason Pearlman as new Deputy Director — 2 de março de 2018; «three and a half years as international media adviser to Israel\u0026rsquo;s President Reuven Rivlin».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nJewish News — Jason Pearlman steps down as President\u0026rsquo;s media adviser.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nJewish News — Nigel Farage\u0026rsquo;s party launching Reform Jewish Alliance and Friends of Israel groups — fevereiro de 2026; Farage sobre Pearlman, «a real coup».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCity AM — Top foreign policy analyst and Tory councillor jumps ship to Reform — novembro de 2025; Mendoza, líder da Henry Jackson Society, entra no Reform «as its chief adviser on global affairs».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nFitzrovia News — Second Westminster Conservative councillor defects to Reform UK — 20 de novembro de 2025; Mendoza «co-founder and executive director»; Farage: «an excellent addition».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nDeSmog — Lois Perry — lançamento do Heartland Institute UK/Europe, dezembro de 2024, Farage «special guest of honour».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nWikipedia — Lois Perry — líder do UKIP de maio a junho de 2024; diretora executiva do Heartland Institute UK/EU.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCompanies House — Tamares Real Estate Investments (UK) Limited (02792424), officers — Roy Zabludowicz, nascido em março de 1990, administrador desde 18 de junho de 2021, ao lado de Chaim Zabludowicz.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nWikipedia — Poju Zabludowicz — Tamares, BICOM, Soltam, donativos aos Conservadores.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nDeclassified UK — Friends of Israel groups have funded 56 trips for British politicians — 26 de novembro de 2025.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nJTA — Reform UK deputy leader faces inquiry over Israel visit — 4 de agosto de 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nParliamentary Commissioner for Standards — Mr Richard Tice MP, rectification, Rule 6 — publicado a 27 de outubro de 2026; «the failure to declare this interest was a breach of Rule 6».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Guardian — John Healey asks Nigel Farage if any of gift may have come from Russia-linked profits — 22 de maio de 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nUnearthed (Greenpeace) — Christopher Harborne, jet fuel and Russian, Iranian oil — 1 de julho de 2026, com o The Times.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Guardian — Richard Tice stayed with Tory donor Lubov Chernukhin — 10 de outubro de 2025.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNZ Herald — False Russian spy claim against top NZ businessman Christopher Chandler — e Law.com, o veredicto de 8 000 001 dólares, 22 de outubro de 2024.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCNN — Reform UK faces criminal investigation — 9 de setembro de 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nAl Jazeera — Why is Farage\u0026rsquo;s Reform accused of violating UK foreign funding rules? — 4 de setembro de 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Irish Times — Nigel Farage aides step down after undercover report — 4 de setembro de 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nEuronews — Reform UK reported to police over claims of illegal donations — 4 de setembro de 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nChannel 4 News — Met Police launch criminal investigation into Reform UK donations — 9 de setembro de 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nHeart (Global) — Reform UK internal inquiry clears own adviser — 7 de outubro de 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLBC — Farage on foreign funding claims — setembro de 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nWikipedia — GB News — «Marshall and Legatum jointly own the company through All Perspectives Ltd., in which they each own around 40%»; o presidente Alan McCormick, «a partner at Legatum»; a ronda de lançamento de 60 milhões de libras.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLeft Foot Forward — GB News reveals £22 million in new losses — março de 2026; prejuízo de 22 milhões de libras em 2024/25, mais de 130 milhões desde o lançamento, mais 17,7 milhões da All Perspectives, receitas de 26,2 milhões.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe New World — The GB News Files (PDF) — março de 2026; 20 avaliadores; as 585 000 libras e a participação de Farage, as 100 000 libras de Anderson, o programa de Goodwin sobre a eleição intercalar, Andrew Neil.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nBBC News — Reform canvasser filmed by Channel 4 — 27 de junho de 2024.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nHuffPost UK — Reform activists did not commit a criminal offence, police say — 3 de julho de 2024.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nExpress \u0026amp; Star (PA) — Ofcom will not investigate Channel 4 over Reform UK undercover sting — 3 de julho de 2024.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nExpress \u0026amp; Star (PA) — Farage claims bad apples are gone from Reform UK — 30 de junho de 2024.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nITV News (archived) — Inside Reform: councillors\u0026rsquo; extreme and racist views on camera — 14 de outubro de 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nExpress \u0026amp; Star (PA) — Undercover footage shows Reform activist claiming Muslims cannot be British — 17 de outubro de 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nExpress \u0026amp; Star (PA) — Reform UK should take immediate action against racism, Burnham says — outubro de 2026, com a declaração do Reform.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nExpress \u0026amp; Star — Reform UK kick Staffordshire County Council leader out of party — 5 de dezembro de 2025.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe JC — Reform mayoral candidate suspended after likening Jewish security group to Islamists on horseback — março de 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLBC — Nigel Farage on Sarah Pochin\u0026rsquo;s adverts remarks — outubro de 2025.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe National — Scottish Reform UK MSP who backed deporting Muslims elected — 8 de maio de 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nBBC News — Reform councillor expelled over posts — 11 de maio de 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLBC — Reform councillor charged over pothole post — julho de 2026; julgamento marcado para 9 de novembro de 2026, a acusação negada.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Guardian — Nigel Farage under fire after saying Muslims do not share British values — 26 de maio de 2024.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Guardian — Nigel Farage condemned over call to ban public prayer for Muslims — 19 de março de 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nYouGov — Do Britons think Reform UK are racist? — setembro de 2025.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nYouGov — What do Britain\u0026rsquo;s ethnic minorities think of British politics? — outubro de 2025.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nBBC News — Reform councillor\u0026rsquo;s whip restored — 10 de fevereiro de 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nBlog Preston — Politician in charge of Lancashire\u0026rsquo;s care homes — junho de 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nBBC News — Doncaster Reform councillor suspended over posts — 15 de fevereiro de 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNovara Media — Reform quietly readmits suspended councillors — 16 de junho de 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nExpress \u0026amp; Star (PA) — No charges to be brought against ex-Reform MP Rupert Lowe — 14 de maio de 2025.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nExpress \u0026amp; Star (PA) — Four Reform councillors suspended after footage of tense meeting leaked — 20 de outubro de 2025.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nIBTimes UK — ITV Exposure: Reform UK, Farage, Parry and vetting — 16 de outubro de 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Daily Britain — ITV undercover Reform UK documentary — 19 de outubro de 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nBreakingNews.ie (PA) — Farage insists no case to answer on undeclared £5 million gift — 6 de maio de 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNewswav — Reform accused of failing to condemn racism after councillor\u0026rsquo;s Nigerians post — maio de 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNation.Cymru (PA) — Jenrick blames Tory smear amid probe into leadership campaign donations — maio de 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nIBTimes UK — Reform UK investigates members after ITV undercover report — 15 de outubro de 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLBC — Reform councillors and the ITV sting — outubro de 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nGB News — Nigel Farage responds to Coutts — 4 de julho de 2023.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nBBC News — BBC apologises to Nigel Farage over Coutts report — 24 de julho de 2023.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Spectator — Lowe brands Farage a \u0026lsquo;viper\u0026rsquo; after charges dropped — 14 de maio de 2025.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNation.Cymru (PA) — Reform UK branded \u0026lsquo;sinister\u0026rsquo; for reporting journalists to police — 22 de outubro de 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nPress Gazette — Reform says it has reported ITV to the police — 21 de outubro de 2026, com a declaração do NUJ.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nChesney and Citron — Deep Fakes: A Looming Challenge for Privacy, Democracy, and National Security — California Law Review, 2019.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nSchiff, Schiff and Bueno — The Liar\u0026rsquo;s Dividend: Can Politicians Claim Misinformation to Evade Accountability? — American Political Science Review, 2024.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCommittee on Standards in Public Life — The Seven Principles of Public Life.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nHouse of Commons — Code of Conduct for Members, HC 1083 — «inspired and informed by the Seven Principles of Public Life».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nSociety of Editors — Society calls for reversal of Reform UK ban in Derbyshire — 1 de outubro de 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe London Economic — Reform become most referenced opposition party on BBC and ITV News at Ten — 15 de dezembro de 2025; Universidade de Cardiff, setembro de 2025: Reform 37, Conservadores 25; Farage 49 na ITV.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe London Economic — Reform, with 0.7% of all MPs, featured in 25% of BBC\u0026rsquo;s recent 10pm news bulletins — 2 de novembro de 2025; estudo «Enhancing Impartiality» da Universidade de Cardiff, primeiros seis meses de 2025, Lib Dems 17%.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNation.Cymru — Why isn\u0026rsquo;t the Greens\u0026rsquo; growing success reflected in media coverage? — 28 de fevereiro de 2026, pelos investigadores da Universidade de Cardiff Maxwell Modell, Matt Walsh e Stephen Cushion; peças que abriram em 2025, a justificação da BBC com as sondagens, Verdes de 11% para 17%.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nBBC Editorial Guidelines — Impartiality — princípios 2.2.6 e 2.2.7.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nWikipedia — List of Question Time episodes, highest appearance makers — Farage 38 presenças, 1,9 por ano; Clarke 1,4, Williams 1,7, Campbell 1,6, Harman 1,3, Kennedy 1,4.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe London Economic — Nigel Farage set for 38th appearance on Question Time — 2 de dezembro de 2024.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nProspect — GB News seems to have become Reform TV, and Ofcom hasn\u0026rsquo;t stopped it — Alan Rusbridger, 21 de março de 2026; Marshall e a Legatum, Habib e Lowe, a Ofcom a abandonar a investigação a Farage.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nWikipedia — Legatum — «a private investment firm, headquartered in Dubai», fundada em 2006 pelo neozelandês Christopher Chandler, coproprietária da GB News.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Nerve — For GB News\u0026rsquo;s funders, a £130m loss is a small price to pay for vast influence — 131 milhões de libras perdidos desde meados de 2021, 22 milhões no ano até maio de 2025.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nPolitical Parties, Elections and Referendums Act 2000, section 54 — uma empresa doadora admissível tem de estar registada ao abrigo do Companies Act 2006, «incorporated within the United Kingdom», e exercer «business in the United Kingdom».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nOfcom — Ofcom fines GB News £100,000 — 31 de outubro de 2024; Regras 5.11 e 5.12, «the seriousness and repeated nature of this breach».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nMishcon de Reya — High Court quashes Ofcom\u0026rsquo;s decisions against GB News — acórdão de 28 de fevereiro de 2025 sobre os programas de Rees-Mogg.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nSnopes — Did Trump say \u0026lsquo;I love the poorly educated\u0026rsquo;? — discurso de vitória no caucus do Nevada, 23 de fevereiro de 2016; atribuição classificada como correta. Também The Week.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nPew Research Center — Behind Trump\u0026rsquo;s 2024 victory: voting patterns of validated voters — junho de 2025; os eleitores sem curso superior preferiram Trump por 14 pontos, os licenciados Harris por 16.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nYouGov — How Britain voted in the 2024 general election — Reform com 23% entre quem tem GCSE ou menos, 8% entre quem tem um nível de escolaridade superior.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nYouGov — How would Britain vote two years since the 2024 election? — 2026; Reform com 40% entre quem tem GCSE ou menos, quinto com 14% entre os licenciados.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nGood Morning America (ABC) — Trump calls media \u0026rsquo;enemy of the American people\u0026rsquo; — 17 de fevereiro de 2017.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nMiddle East Eye — Reform UK bans Middle East Eye journalist from party conference — 2 de setembro de 2026; Anna Isaac e Peter Geoghegan, do Guardian, também barrados.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nHome Office — Nationality: good character requirement, version 7.0 — orientações para os técnicos publicadas a 30 de abril de 2026: criminalidade, notoriedade, «lack of frankness», solidez financeira.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCrown Prosecution Service — The Code for Crown Prosecutors — o Full Code Test: uma perspetiva realista de condenação, depois o interesse público.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nFCA — Upper Tribunal upholds Crispin Odey ban — setembro de 2026, «unfit to work in financial services», multa de 1 529 374 libras; e a Decision Notice, março de 2025. As 10 000 libras de Odey ao Reform UK a 4 de agosto de 2023 são a entrada C0572678 da Electoral Commission.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nElectoral Commission (via Wired-Gov) — Investigations concluded, 27th September 2022 — Reform UK, «Failure to deliver a complete campaign spending report» e «Late payment of claims», «No sanction».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLocal Government Lawyer — Reform member found guilty over false statements about rival — abril de 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nInformation Commissioner — decision notice IC-411617-G3G8, Kent County Council — 16 de julho de 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nGB News — With Reform UK leading among disabled voters — Opinium, março de 2025: Reform 29%, Labour 20% entre os inquiridos com deficiência (uma subamostra de 407).\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nPoliticsHome — Labour seats at risk from Reform have higher rates of people relying on disability benefits — 3 de junho de 2025; análise da Trussell, 140 de 247 círculos no terço superior.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Spectator Australia — Can Reform really end benefits Britain? — agosto de 2026; «every Reform MP has an electoral majority smaller than the number of PIP claimants living in their constituency».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Guardian (via Eastern Eye) — One in five NHS staff in England are non-UK nationals — dados do NHS Digital de setembro de 2023: 20,4% do pessoal, 30% dos enfermeiros e visitadores de saúde, 36,3% dos médicos.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLocalGov — Social care vacancy rate falls to decade low but challenges ahead — 24 de junho de 2026, Skills for Care: postos ocupados por cidadãos britânicos menos 130 000 desde 2020/21.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCare Provider Alliance — The size and structure of the adult social care sector and workforce in England, July 2025 — resumo do relatório da Skills for Care: os recrutados no estrangeiro caíram de 105 000 em 2023/24 para 50 000 em 2024/25.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\n","permalink":"https://blogs.damiendye.uk/pt/politics/who-is-reform-actually-for/","summary":"Um artigo de opinião sobre o Reform UK, construído a partir dos seus próprios documentos e do registo público. O seu plano para revogar a autorização de residência por tempo indeterminado a quem vive, trabalha e paga impostos aqui. Um plano para a segurança social que poupa a pensão do Estado e corta o apoio a quem está em idade ativa. Uma empresa do partido que pertenceu ao líder até 2025, e uns estatutos que deixam aos militantes uma caixa de sugestões. Os beneficiários do Universal Credit que trabalham e os cuidadores que o plano excluiria. Entre 75 e 80% dos donativos vindos de doadores que vivem no estrangeiro, um teste de domicílio que o Parlamento aprovou em 2009 e nunca pôs em vigor, e o que o Conselho da Europa e a própria revisão do governo dizem sobre esse tipo de dinheiro. Os interesses dos doadores: a Tether, a QinetiQ, as cripto, e uma confissão de culpa e um perdão nos Estados Unidos. A oferta de 5 milhões de libras, os rendimentos de Farage e o seu historial como eurodeputado, os imóveis e os impostos de Tice, a reviravolta de Jenrick e Westferry, as ligações a Putin e a Trump, quem pagou as viagens à tomada de posse de Trump, a Mar-a-Lago, a Abu Dhabi e a Israel, a RFOI Ltd, o trust Ghandehari e as firmas quase falidas que deram 485 000 libras, as empresas de cripto que pagam a Farage e os reformados que perdem dinheiro em fraudes com cripto, o tempo de antena que o Reform tem na BBC e o seu lugar cativo na GB News, o historial de racismo e disciplina, e 7 de 12 «difamações» que se revelaram verdadeiras. Depois, a pergunta do título.","title":"Para quem é, afinal, o Reform? O dinheiro, os homens e o historial"},{"content":"O mesmo Orçamento, outra cozinha O Orçamento de 2026 foi vendido como «breathing space», um alívio1. Este artigo lê-o para uma única casa e mais nada. Há um texto irmão, Breathing Space For Whom?, sobre o que faz às grandes empresas e aos impostos por trás delas.\nUm casal, ambos com 67 anos ou mais e já na idade da State Pension, a viver apenas da State Pension nova completa. São £241,30 por semana cada um2, £25 095 por ano entre os dois. Aquecem a casa a gás, 13 375 kWh por ano, porque é isso que gasta uma casa normal aquecida por uma caldeira a gás. Têm um carro a gasolina, 4000 milhas por ano. Council tax entre as bandas A e D, em Inglaterra. Sem rendimentos de poupanças, sem pensão privada, sem rendas.\nConvém ser claro sobre o que é esse rendimento. A State Pension é uma prestação social, e o HMRC inclui-a entre as prestações do Estado sobre as quais se paga imposto sobre o rendimento3. Eles não pagam nenhum, por uma única razão. O imposto sobre o rendimento é cobrado pessoa a pessoa, por isso cada um tem a sua própria Personal Allowance de £12 5704, e a State Pension nova completa é de £12 547,60 por ano2. Sem outros rendimentos, cada pensão fica £22,40 abaixo da linha. Nem a pensão é um pé-de-meia para o qual pouparam e que ficou ali à espera deles. A descrição do próprio governo é que é «unfunded» e «Pay As You Go», e que «State Pension payments paid to current pensioners are financed from National Insurance contributions paid by current workers»5. Eles pagaram pelos pensionistas antes deles, e quem trabalha hoje paga por eles. Cada alteração que este Orçamento lhe faz é uma decisão sobre quanto um grupo de pessoas paga a outro.\nA questão é: um Orçamento vendido como «breathing space» dá-lhes algum alívio? Algum, uma vez. Depois começa a tirá-lo de volta, e a maior mudança no rendimento deles só chega em 2030.\nA contabilidade de um casal de pensionistas Todas as medidas do Orçamento para as famílias que lhes tocam, a partir do próprio documento do Tesouro:\nMedida Quando Aplica-se a eles? Valor por ano Household Energy Payment de £100, bandas A a D janeiro de 2027 Sim +£100, uma vez IVA a 0% na eletricidade, prolongado três meses abril a julho de 2027 Sim, 2500 kWh a 28p, sem tarifa noturna de VE cerca de +£11, uma vez Corte de 5p no imposto sobre combustíveis prolongado seis meses até julho de 2027 Sim, carro a gasolina cerca de +£12, uma vez Taxa fixa do gás passa para o preço por unidade final de 2027, ou mais tarde Sim, e quem gasta muito perde −£44 Gas Shipper Obligation passa para a tributação geral estava prevista para 2028 Sim, e cada pensão fica abaixo do limite isento cerca de +£5 Taxa fixa da eletricidade, 54,83p por dia no teto, £200 por ano «details next year» Fica como está £0 Teto de £2 no bilhete de autocarro 2027 Não, já viajam de graça £0 Pension Credit Não, o rendimento é demasiado alto £0 Winter Fuel Payment, £100 cada um sem alteração Sim, mas não é novo £0 de diferença Imposto sobre o rendimento até abril de 2030 Não pagam, £22,40 abaixo do limite cada um £0 Triple Lock ajustado abril de 2030 Sim aumentos menores a partir de 2030 A eletricidade é toda comprada à tarifa completa. Sem VE não há uma tarifa noturna barata que valha a pena, por isso cada um dos 2500 kWh típicos da Ofgem6 custa cerca de 28p. São £700 por ano em unidades e £200 em taxa fixa, e 5% de IVA sobre £900 durante três meses dá cerca de £11.\nSomando tudo: em 2027 o casal fica cerca de £123 melhor, quase tudo por causa do pagamento de £100. Quando a reforma do gás entrar em vigor, ficam cerca de £39 por ano pior, todos os anos. Os £123 desaparecem em pouco mais de três anos.\nO que o Orçamento faz a um casal de pensionistas a gás Casal de pensionistas a gás, variação em £ Household Energy Payment de £100, só 2027 +£100 IVA a 0% na eletricidade, três meses de 2027 +£11 Corte no imposto sobre combustíveis até julho de 2027 +£12 Gas Shipper Obligation eliminada, por ano +£5 Taxa fixa do gás no preço por unidade, por ano −£44 Todos os anos desde 2028, todas as medidas −£39 Todas as medidas que mexem no dinheiro do casal. Três são pontuais, em 2027. As duas que ficam são um pequeno ganho na taxa sobre o gás e uma perda maior na taxa fixa do gás, por isso a partir de 2028 ficam £39 por ano a perder. As medidas pontuais estão gastas na primeira primavera. O que fica é a reforma do gás, e vai no sentido errado.\nA reforma do gás funciona ao contrário para eles Passar a taxa fixa do gás para o preço por unidade ajuda uma casa que gasta pouco gás. Prejudica uma que gasta muito, e este casal gasta muito.\nA taxa fixa do gás é de £108 por ano para o consumidor típico1, 29,68p por dia no teto de outubro7. O Orçamento pede à Ofgem que a recupere «through gas unit rates instead»1. Distribuída pelos 9500 kWh típicos da Ofgem6, isso acrescenta cerca de 1,14p a cada kWh.\nGás gasto por ano Taxa fixa hoje Pago através do preço por unidade Diferença 9500 kWh, típico da Ofgem £108 £108 £0 13 375 kWh, este casal £108 £153 −£44 Um casal que aquece a casa como deve ser paga mais £44 por ano. É exatamente o que um casal de pensionistas deve fazer no inverno. O Tesouro sabe disto. Diz que «a number of households may be less able to make the most of the reform» e promete «targeted mitigation»1. Não diz que mitigação é essa, quem a recebe, nem quando.\nPor isso, a quem a reforma custa dinheiro diz-se que a ajuda vem a caminho, sem pormenores. A quem ela dá dinheiro, como eu, recebe-o automaticamente.\nA taxa do hidrogénio, ao contrário A Gas Shipper Obligation era uma taxa prevista nas faturas do gás para pagar o hidrogénio. O Orçamento acaba com ela e paga o hidrogénio com a tributação geral1. Para uma casa com salário, isso só muda a conta do contador para o recibo de vencimento.\nPara este casal é um ganho a sério, e é justo dizê-lo. Uma taxa sobre cada unidade de gás tê-los-ia cobrado pela quantidade de gás que queimam, e queimam muito. A estimativa do próprio governo era «approximately £2.60 - £4.50» por ano na fatura média de gás doméstico8, o que ao consumo deles dá cerca de £5. Com uma State Pension completa e mais nada não pagam imposto sobre o rendimento nenhum, por isso a versão por tributação geral não lhes custa nada diretamente. Continuam a pagar IVA e todos os outros impostos que a financiam, mas muito menos do que teriam pago no contador.\nIsso não torna o hidrogénio uma aposta melhor. Significa que o custo passou da casa que queima gás para a casa que ganha um salário.\nUm carro a gasolina fica com o corte e continua a pagar à milha O carro a gasolina recebe alguma coisa. O corte de 5p no imposto sobre os combustíveis, que devia acabar em janeiro, é prolongado «by a further six months to 1 July 2027»1.\nProlongamento do imposto sobre combustíveis, carro a gasolina Valor Milhas por ano 4000 Consumo, um carro a gasolina pequeno e normal 45 mpg, assumido Litros por ano cerca de 404 Litros nos seis meses extra cerca de 202 Preço na bomba hoje, gasolina £1,97 por litro Fatura de combustível por ano cerca de £796 Corte de 5p mais o IVA cobrado sobre ele 6p por litro, cerca de 3% do preço na bomba Poupança deste Orçamento cerca de £12, uma vez Assim, numa fatura de combustível de cerca de £796 por ano, a £1,97 o litro, o prolongamento vale £12. Mesmo com o corte, quase £800 por ano vão para o depósito.\nE eles já pagam um imposto à milha. Chama-se imposto sobre os combustíveis. A gasolina paga 52,95p por litro9, e o imposto leva IVA por cima. A 45 mpg isso dá:\nImposto à milha Carro a gasolina, imposto sobre combustíveis Carro elétrico, eVED a partir de abril de 2028 Por milha cerca de 5,3p, 6,4p com IVA 3p10 Em 4000 milhas cerca de £214, £257 com IVA £120 Por isso, o novo Electric Vehicle Excise Duty não é um imposto à milha a chegar pela primeira vez. Os condutores a gasolina pagam um em cada abastecimento desde que existe imposto sobre os combustíveis, e a cerca do dobro da taxa do eVED. O corte de 5p do Orçamento apara-o durante seis meses. Não o acaba.\nManter as pessoas agarradas ao petróleo é má política, e já o disse. Para esta casa continua a ser um benefício pequeno e real.\nDemasiado para o Pension Credit, pouco para tudo o resto Aqui está o que não aparece em nenhuma fatura. O Pension Credit completa o rendimento de um casal até «£363.25 if you have a partner»11. Este casal tem £482,60 por semana entre os dois. Estão £119,35 por semana acima, por isso não o podem pedir, e não recebem nada do que vem com ele.\nRendimento semanal do casal Montante State Pension nova completa, os dois £482,60 O Pension Credit completa um casal até £363,25 Acima da linha em £119,35 Demasiado abastados para a ajuda destinada aos pensionistas mais pobres. Continuam com um rendimento fixo. E esse rendimento tem de cobrir uma fatura de gás que o Orçamento acabou de aumentar. O Winter Fuel Payment chega até eles, «£100 if you and the person you live with were both born between 28 September 1946 and 27 June 1960»12, £200 entre os dois. Este Orçamento não lhe mexe.\nTambém não precisam do teto de £2 no bilhete de autocarro. A idade para o passe de autocarro gratuito depende de onde vives13:\nOnde Autocarro gratuito a partir de Escócia, País de Gales, Irlanda do Norte 60 Londres, só dentro de Londres 60 Inglaterra fora de Londres idade da State Pension, de 66 a subir para 67 O artigo usa a mais alta, porque é a que se aplica à maior parte de Inglaterra. A idade da State Pension está a subir de 66 para 67 «between 2026 and 2028»14, por isso o passe em Inglaterra chega agora aos 67, sete anos depois de um pensionista em Cardiff ou Glasgow receber o seu. Este casal já passou essa idade, por isso viaja de graça. É um benefício real. Só não é novo, e um casal inglês foi quem esperou mais tempo por ele.\nA carta de condução, os óculos e quem paga Estar acima da linha do Pension Credit custa mais do que o próprio complemento, porque há muita outra ajuda pendurada nele. Os óculos são o caso mais claro.\nUm exame à vista do NHS é gratuito para «anyone aged 60 or over». Os óculos não. Um voucher ótico do NHS para os pagar vai para pessoas que recebem, entre outras coisas, «Pension Credit Guarantee Credit»15. Este casal não pode receber o Pension Credit, por isso não recebe voucher, e paga os seus próprios óculos. O único caminho que sobra é o NHS Low Income Scheme, sujeito a condição de recursos, que é um formulário para preencher e pode dar uma ajuda parcial ou nenhuma.\nE a carta de condução está prestes a apoiar-se exatamente nisso. O Department for Transport fez uma consulta pública sobre «Introducing mandatory eyesight testing for older drivers», para «drivers aged 70 and over» como «part of the driving licence renewal process», em substituição do «current self-declaration system»16. A consulta fechou a 11 de maio de 2026 e o resultado ainda não saiu. Não diz quem paga. O próprio organismo dos optometristas diz sem rodeios que «Any additional costs to cover the administration of this must be funded by the driver»17.\nCondutor mais velho, acima da linha do Pension Credit Quem paga Exame à vista gratuito no NHS a partir dos 6015 Os óculos de que o exame diz que precisa ele, sem voucher15 Qualquer administração de um exame à vista obrigatório para a carta não decidido, os optometristas dizem que o condutor17 Nada disto está no Orçamento, e é esse o ponto. Um casal com rendimento fixo mantém o carro porque é assim que chega às lojas e ao centro de saúde. O Estado está a caminhar para os obrigar a provar a vista para o manter, e os óculos que os deixam passar saem da mesma State Pension de onde sai a fatura do gás.\nProtegidos do congelamento, até a proteção acabar Esses £22,40 de margem abaixo de um limite congelado são tudo o que mantém uma State Pension sozinha fora do imposto sobre o rendimento.\nO arrasto fiscal funciona de outra maneira para eles. Quem trabalha paga-o em dinheiro todos os anos, porque cada aumento cai num escalão que devia ter mexido. Este casal ainda não paga nada, porque todo o rendimento fica abaixo do limite. O que o congelamento lhes tira é a margem. Aplica a própria regra de indexação da lei18 aos números de inflação de setembro do ONS19 e o limite ficaria assim:\nAno fiscal Personal Allowance, indexada Congelada Margem acima de uma State Pension, indexada Margem, congelada 2026-27 £16 080 £12 570 £3532 £22 2027-28 £16 650 £12 570 £3663 −£417 A linha de 2027-28 assume que o Triple Lock paga apenas a inflação de setembro, 3,5%, que é o mínimo que pode pagar. Isso leva a State Pension nova completa a £249,75 por semana, £12 987 por ano, e põe cada um deles £417 acima do limite congelado. A 20%, são cerca de £83 cada um, £167 para o casal, todos os anos, em imposto que só existe por causa do congelamento. Indexada, uma State Pension nem se teria aproximado do imposto sobre o rendimento.\nPor isso, num pensionista, o arrasto não aparece como uma fatura. Aparece como um novo benefício fiscal. O Orçamento cria uma Pension Tax Allowance a partir de abril de 2027, para que os pensionistas «with incomes at or under the value of the full new State Pension will not be brought into paying tax because of State Pension uprating in this Parliament»1.\nÉ um remendo num buraco que o congelamento cavou, e é a coisa certa a fazer. Agora lê as datas:\nAté Pension Tax Allowance «6 April 2027 until 5 April 2030»1 Personal Allowance congelada em £12 570 5 de abril de 20314 A proteção acaba um ano antes do congelamento. Para 2030-31, o Tesouro diz apenas que «will consider arrangements beyond April 2030 in the usual way»1. Assim, um casal que vive apenas da State Pension tem um ano em que, com as regras tal como estão escritas hoje, o congelamento os pode pôr a pagar imposto sobre o rendimento, e a solução é uma promessa de pensar nisso mais tarde.\nJunta uma pensão de empresa de £790 e o arrasto fiscal fica com ela Agora dá a um deles uma pensão de empresa. A inscrição automática chegou-lhe quatro anos antes da reforma, e o empregador pagou apenas o que a lei o obrigava a pagar, que desde abril de 2019 é 3% dos rendimentos elegíveis20. Quatro anos ao mínimo legal compram uma anuidade de cerca de £790 por ano. Muita gente que se reforma agora tem mais ou menos isso, porque o mínimo foi tudo o que alguma vez lhes deram e chegou tarde demais para construir algo maior.\nO outro membro do casal fica igual. Eis o que valem os £790 para quem os tem:\nAno fiscal Rendimento Acima do limite Imposto sobre o rendimento Anuidade de £790, o que fica 2026-27 £13 337,60 £767,60 £153,52 £636,48 2026-27, se o limite tivesse sido indexado £13 337,60 £0 £0 £790 2027-28, congelado, Pension Tax Allowance £13 777 £1207 £158 a £241 £549 a £632 2027-28, se o limite tivesse sido indexado £13 777 £0 £0 £790 2030-31 em diante, sem Pension Tax Allowance pelo menos £13 777 pelo menos £1207 pelo menos £241 no máximo £549 Lê primeiro as linhas indexadas. Com o limite a acompanhar os preços, £16 080 este ano e £16 650 no próximo, a anuidade não é tributada de todo, e ainda sobrariam £2700 ou mais de margem. Cada libra de imposto nesta tabela é arrasto fiscal e mais nada. Nenhuma taxa subiu. O limite ficou parado enquanto a State Pension subia ao seu encontro.\nEste ano os £790 põem o rendimento £767,60 acima do limite congelado, e 20% disso são £153,52.\nA partir de abril de 2027, a Pension Tax Allowance não os salva. É só para pensionistas cujo rendimento, «regardless of source, is below or at the value of the full new State Pension», e para quem esteja «just above» é «gradually withdrawn through a taper»1. O Tesouro não publicou essa redução gradual, por isso o imposto fica entre £158, que são 20% só da anuidade, e £241, que são 20% de tudo o que fica acima do limite congelado. A partir de abril de 2030, a Pension Tax Allowance acaba e o congelamento não, por isso são £241 ou mais, e o valor cresce a cada aumento da State Pension.\nNão vão receber uma fatura por isso. O HMRC cobra o imposto devido sobre uma State Pension através da pensão privada: «you\u0026rsquo;ll usually pay more tax to include any tax you need to pay on your State Pension. Your tax code will change to collect this»21. Por isso a anuidade chega já cortada, e £83 dos £241 são a State Pension a ser tributada através dela. São 31% tirados a uma anuidade de £790, não a taxa base de 20% que parece que devia ser.\nPosso perguntar porque é que alguém que fez o que lhe mandaram, ficou no plano da empresa durante os quatro anos em que ele existiu para si e poupou, acaba com a State Pension tributada através das suas poupanças? O empregador pagou o mínimo porque o mínimo era tudo o que tinha de pagar. O governo congelou o limite porque o congelamento dá dinheiro sem dar manchetes. Entre os dois, quase um terço de uma pensão pequena vai-se todos os anos, e um limite indexado teria deixado cada cêntimo em paz.\nO Triple Lock cai em 2030 A maior mudança no rendimento deste casal não está na contabilidade, porque só começa em abril de 2030.\nAté lá, a State Pension sobe «by the highest of 2.5%, inflation or earnings growth»1. A partir de abril de 2030 sobe «by the highest of 2.5%, inflation, or the amount required to maintain its value relative to earnings as reached in April 2029»1. O Tesouro chama a isso remover o «ratchet». O que vale para o Tesouro, nas suas próprias palavras:\nTriple Lock ajustado, redução da despesa com a State Pension Estimativa do Tesouro No final da década de 2030 £15 mil milhões por ano No final da década de 2040 £50 mil milhões por ano Esse dinheiro não vem do nada. Sai de aumentos da State Pension que de outro modo teriam sido pagos, ou seja, do rendimento de todos os pensionistas que vivem dela. O Orçamento diz que vai financiar um National Care Service com cuidados pessoais «free at the point of use»1, e isso pode bem valer a pena. Mas quem o paga são as mesmas pessoas que vão precisar dele, e o casal deste artigo paga primeiro, em cada aumento a partir de 2030 que seja menor do que teria sido.\nNada para a caldeira Esta é a casa que o dinheiro para isolamento e bombas de calor mais ajudaria.\nUm casal que gasta 13 375 kWh de gás por ano é exatamente o público do Warm Homes Plan. Este Orçamento tira £1 mil milhões à sua verba de investimento para pagar a defesa1. Mantém o apoio às bombas de calor em £400 milhões por ano1, a £7500 por bomba de calor22. E deixa o IVA sobre a instalação de isolamento, bombas de calor, painéis solares e baterias voltar a subir de 0% para 5% a partir de abril de 202723.\nO que lhes baixaria a fatura de vez O que faz o Orçamento Isolamento IVA de volta aos 5%, apoio Warm Homes cortado em £1 mil milhões Bomba de calor apoio congelado, IVA de volta aos 5% Painéis solares e bateria IVA de volta aos 5% Com um rendimento fixo e sem poupanças, nada desse equipamento se compra sem ajuda. Por isso o casal fica com a caldeira a gás, continua a queimar 13 375 kWh, paga o preço por unidade mais alto da reforma da taxa fixa e espera pelos £100 do próximo inverno.\nUm rendimento fixo não sai disto a trabalhar Uma casa que trabalha pode arranjar mais trabalho, mudar de emprego ou pôr o seu próprio dinheiro em painéis solares e numa bateria. Um casal de pensionistas com rendimento fixo não tem nada disso. O rendimento deles mexe quando o governo o mexe, e a partir de 2030 vai mexer menos. A fatura da energia é fixada por um mercado que este Orçamento subsidia em vez de corrigir, e a única reforma que toca diretamente na fatura deles custa-lhes £44 por ano, com a «targeted mitigation» deixada em branco.\nAquilo de que precisam é a única coisa que ninguém neste Orçamento está disposto a pagar uma vez: a casa isolada e a caldeira substituída, para que a fatura desça e fique em baixo. O que recebem em vez disso são £100, pagos por todos, encaminhados pelo council tax para as mesmas empresas de energia, e necessários outra vez no ano seguinte. Isso não é alívio. É ficar preso ao mesmo gás de sempre, ao mesmo preço de sempre, um inverno de cada vez.\nHM Treasury — Budget 2026: Breathing Space for Today, Fresh Hope for the Future — o relatório do Orçamento apresentado ao Parlamento a 28 de outubro de 2026. Triple Lock 1.28, 1.29, 5.23 e Box 5A; Pension Tax Allowance 3.19 e 6.182; medidas de energia 3.4 a 3.9 e 6.24 a 6.27; imposto sobre combustíveis 3.13 e 6.211; Warm Homes Plan e Boiler Upgrade Scheme 4.36.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nGOV.UK — The new State Pension: what you\u0026rsquo;ll get — «The full rate of new State Pension is £241.30 a week.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nGOV.UK — Income Tax: taxable and tax-free state benefits — a State Pension consta entre as prestações do Estado tributáveis.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nHMRC — Maintaining the Personal Allowance and basic rate limit until 5 April 2031 — Personal Allowance mantida em £12 570 «until 5 April 2031».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nDWP — Third State Pension age review: independent report call for evidence — o National Insurance Fund paga a State Pension; «this is unfunded and is often referred to as a “Pay As You Go” system».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nOfgem — Summary of changes to the energy price cap, revised TDCV — consumo típico a partir de 1 de julho de 2026: «2,500 kWh of electricity, 9,500 kWh of gas».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nOfgem — Changes to energy price cap between 1 October and 31 December 2026 — taxa fixa do gás de 29,68p por dia e preço por unidade de 7,97p/kWh com IVA; preço por unidade da eletricidade de 26,32p/kWh e taxa fixa de 54,83p por dia, sem IVA até 31 de março de 2027.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nDESNZ — Gas Shipper Obligation analytical annex — «approximately £2.60 - £4.50» por ano na fatura média de gás doméstico, de 2028 a 2037.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nGOV.UK — Tax on shopping and services: Fuel Duty — gasolina, gasóleo, biodiesel e bioetanol «52.95 pence per litre».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nHM Treasury — Electric Vehicle Excise Duty (eVED) — 3p por milha para carros elétricos, 1,5p para híbridos plug-in, a partir de 1 de abril de 2028.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nGOV.UK — Pension Credit: what you\u0026rsquo;ll get — completa «your joint weekly income to £363.25 if you have a partner».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nGOV.UK — Winter Fuel Payment: how much you\u0026rsquo;ll get — £100 cada um para um casal em que ambos nasceram entre 28 de setembro de 1946 e 27 de junho de 1960 e que não recebe uma prestação elegível.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nGOV.UK — Apply for an older person\u0026rsquo;s bus pass — «free travel when you reach the State Pension age» em Inglaterra; aos 60 em Londres, no País de Gales, na Escócia e na Irlanda do Norte.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nDWP — State Pension age timetable — «The State Pension age for men and women will now increase to 67 between 2026 and 2028.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNHS — Free NHS eye tests and optical vouchers — exames à vista gratuitos para quem tem 60 anos ou mais; vouchers para óculos para quem recebe Pension Credit Guarantee Credit e outros grupos indicados, não apenas pela idade.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nDepartment for Transport — Introducing mandatory eyesight testing for older drivers — consulta pública, de 7 de janeiro a 11 de maio de 2026, resultado por publicar.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nAssociation of Optometrists — response on mandatory eyesight testing for older drivers — maio de 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nIncome Tax Act 2007, section 57 — a Personal Allowance é indexada segundo «the consumer prices index for the September before the start of a tax year» e arredondada «up to the nearest amount which is a multiple of £10».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nONS — CPI annual rate, all items, series D7G7 — setembro de 2021 3,1%, 2022 10,1%, 2023 6,7%, 2024 1,7%, 2025 3,8%, 2026 3,5%.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nGOV.UK — Workplace pensions: what you, your employer and the government pay — a partir de abril de 2019 o mínimo que um empregador paga é 3%, com uma contribuição mínima total de 8%.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nGOV.UK — Tax when you get a pension: how your tax is paid — se recebes uma pensão privada, «Your tax code will change to collect» o imposto sobre a tua State Pension.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nGOV.UK — Boiler Upgrade Scheme: what you can get — £7500 para uma bomba de calor aerotérmica ou geotérmica.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nHMRC — VAT on energy-saving materials and heating equipment (VAT Notice 708/6) — taxa zero «from 1 May 2023 to 31 March 2027», abrangendo isolamento, bombas de calor, painéis solares e baterias.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\n","permalink":"https://blogs.damiendye.uk/pt/politics/breathing-space-on-a-state-pension/","summary":"O que o Orçamento de 2026 faz por um casal que vive apenas da State Pension nova completa, £25 095 por ano entre os dois, que aquece a casa a gás com 13 375 kWh por ano e anda 4000 milhas por ano num carro a gasolina. Uma contabilidade feita a partir do próprio documento do Tesouro: o Household Energy Payment de £100, o IVA a 0% na eletricidade, o corte no imposto sobre os combustíveis, a taxa fixa do gás a passar para o preço por unidade, o que custa dinheiro a quem gasta muito gás, e a Gas Shipper Obligation a passar para a tributação geral, o que desta vez ajuda. Depois, o que não aparece em nenhuma fatura: um rendimento £119 por semana acima do limite do Pension Credit e da ajuda para óculos que vem com ele, um exame obrigatório à vista para condutores mais velhos em consulta pública, o arrasto fiscal que lhes tira margem abaixo da Personal Allowance em vez de dinheiro, uma Pension Tax Allowance que o remenda mas acaba um ano antes do congelamento e tributa uma anuidade de £790 de um plano de empresa que a indexação teria deixado em paz, o ajuste ao Triple Lock a partir de abril de 2030, que vale £15 mil milhões por ano ao Tesouro no final da década de 2030, e o dinheiro para isolamento e bombas de calor que mais os teria ajudado, cortado ou tributado.","title":"Alívio com uma pensão do Estado: o Orçamento de 2026 para um casal de pensionistas a gás"},{"content":"Um Orçamento de folga, lido a partir da minha cozinha O Orçamento de 2026 foi apresentado hoje com o título Breathing Space for Today, Fresh Hope for the Future1. A promessa é ajuda com as faturas da energia, ajuda para os condutores e ajuda para o comércio de rua, paga pelos bancos e pelas pessoas com poupanças e rendimentos de rendas.\nPor isso fiz o que faço com qualquer fatura. Li o documento e fiz as contas à minha própria casa.\nA casa é bastante comum para alguém da minha área. Um contribuinte a 40%. Trabalho a partir de casa, mas a minha cara-metade ainda vai de carro para o escritório, por isso o EV faz cerca de 20 000 milhas por ano. Painéis solares no telhado e uma bateria na garagem, e cada unidade que importamos entra a uma tarifa de vazio de 7p. O gás continua ligado, mas está reduzido à água quente e a um pouco de aquecimento, cerca de 5350 kWh por ano. Council tax nos escalões A a D, em Inglaterra. Sem rendimentos de poupanças e sem rendimentos de rendas, porque uma hipoteca do tamanho da nossa não deixa nada para poupar.\nNenhum desse equipamento veio de um subsídio. Pus o meu próprio dinheiro em cortar a minha própria fatura: os painéis, a bateria, o EV, e a redução do gás ano após ano. Fi-lo para me aguentar nas minhas próprias pernas, não à espera de um apoio, e não estou a pedir nenhum agora. O que espero é não ser obrigado a pagar mais por o ter feito.\nA questão é: uma casa assim recebe alguma coisa deste Orçamento além de uma conta de impostos? Quase nada. Aqui ficam as contas.\nCada número abaixo vem do documento do próprio Tesouro, da Ofgem, do HMRC ou dos documentos de consulta do próprio governo, não do discurso nem da cobertura da imprensa. Um resumo do Orçamento que anda a circular hoje errou em várias coisas, e onde errou eu disse-o.\nO livro de contas de uma casa como a minha Esta é cada medida do Orçamento para as famílias que pode tocar nesta casa, e quanto vale aqui. Sinais de mais são dinheiro a entrar, sinais de menos são dinheiro a sair.\nMedida Quando Aplica-se aqui? Vale por ano Household Energy Payment de £100, escalões A a D em Inglaterra janeiro de 2027 Sim +£100, uma vez IVA a 0% na eletricidade, prolongado três meses abril a julho de 2027 Sim, mas tudo o que é importado é a 7p em vazio umas libras, uma vez Taxa fixa do gás, 28,75p por dia, passada para o preço por unidade fim de 2027, ou depois Sim, e o consumo baixo ganha +£46 Taxa fixa da eletricidade, 56,61p por dia, £207 por ano «details next year» Fica exatamente como está £0 Gas Shipper Obligation passada para os impostos gerais prevista para 2028 Sai da fatura, entra nos impostos cerca de £0, paga de outra forma Corte de 5p no imposto sobre combustíveis prolongado até julho de 2027 Não, é um EV £0 Quilometragem isenta até 55p e 35p abril de 2027 Não, a deslocação casa-trabalho não conta2 £0 Teto de £2 no bilhete de autocarro 2027 Sem autocarros £0 Carregadores públicos locais de EV mais baratos primavera de 2027 Não, carrega em casa £0 Imposto sobre poupanças e rendimentos prediais sobe 2 pontos abril de 2027 Sem poupanças, sem rendas £0 Cash ISA mantido em £20 000 2027 Não, não sobra nada para poupar £0 Lifetime ISA, Your First Home 2027 Não, já trabalhámos para ter a nossa casa £0 Electric Vehicle Excise Duty a 3p por milha, 20 000 milhas abril de 2028 Sim −£600, a subir com o CPI Escalões do imposto sobre o rendimento congelados, arrasto fiscal até abril de 2031 Sim até −£3544 este ano, −£4112 em 2027-28 Somem-se as contas. Em 2027 a casa fica pouco mais de £100 melhor, e quase tudo isso é um único pagamento de £100. A partir de abril de 2028 as medidas anuais estabilizam em cerca de £554 por ano pior, todos os anos, a subir com a inflação. O eVED sozinho leva £50 por mês, por isso os £100 desaparecem dois meses depois de começar, e não voltam. E isto antes do arrasto fiscal, que sozinho pode custar a um contribuinte a 40% até £3544 este ano.\nUma poupança no gás, e nenhuma na eletricidade Mérito a quem o tem. Esta é um ganho genuíno, e vai contra a minha própria posição de partida.\nAs taxas fixas do gás são de £108 por ano para o consumidor típico, pelo número do próprio Tesouro1. O teto de outubro da Ofgem põe a taxa fixa do gás em 29,68p por dia, o que dá os mesmos £1083. Pagas isso quer queimes muito gás quer quase nenhum, o que está exatamente ao contrário para uma casa que tem andado a reduzir o consumo de gás.\nO Orçamento pede à Ofgem que a acabe nas faturas domésticas, «aiming for delivery by the end of 2027 or as soon as possible after then», com os fornecedores a recuperar o custo «through gas unit rates instead»1.\nOs pormenores ainda não estão definidos, por isso isto é uma estimativa, não um orçamento. Se esses £108 forem espalhados pelos 9500 kWh da família típica da Ofgem4, acrescentam cerca de 1,14p a cada kWh. A 5350 kWh, esta casa paga cerca de £61 de volta através do preço por unidade e deixa de pagar £108 em taxas fixas. São cerca de £47 por ano a favor, ao preço do teto. A tarifa desta casa cobra 28,75p por dia, £105 por ano, e com a mesma conta fica cerca de £46 por ano melhor.\nGás consumido por ano Taxa fixa agora Recuperado no preço por unidade Diferença 5350 kWh, o consumo desta casa, ao preço do teto £108 £61 +£47 9500 kWh, típico da Ofgem £108 £108 £0 14 000 kWh, uma casa grande e antiga £108 £160 −£52 O ponto de equilíbrio é a casa típica. Quem consome menos ganha, e quem aquece uma casa grande e cheia de correntes de ar a gás perde, o que o Tesouro admite quando diz «a number of households may be less able to make the most of the reform» e promete «targeted mitigation»1. Como tal, é uma reforma justa, e recompensa as famílias que já cortaram. Fico com os £46.\nAgora a outra. Para uma casa com painéis solares e uma bateria, a taxa fixa que importa não é a do gás. É a taxa fixa da eletricidade. Esta casa paga 56,61p por dia, contra 54,83p no teto de outubro3, e isso são £207 por ano, quase o dobro da taxa do gás. Quanto mais da tua própria energia produzes e guardas, maior é a fatia da fatura da eletricidade que essa taxa fixa representa, porque é paga por inteiro quer importes 3000 kWh quer 30. Aos 7p que esta casa paga pela energia em vazio, £207 de taxa fixa são o preço de cerca de 2950 kWh de eletricidade, pagos antes de entrar uma única unidade.\nO IVA a 0% na eletricidade também não faz grande coisa aqui. O IVA incide sobre os 7p, por isso nunca foi mais do que 0,35p por kWh. O prolongamento de três meses vale cerca de £2,50 na taxa fixa e 35p por cada 100 kWh importados. A energia barata em vazio era a poupança. O corte do IVA são os trocos por cima.\nO Orçamento não a passa para o preço por unidade. Compromete-se apenas a «reform electricity standing charges», com pormenores «next year»1. Assim, a reforma recompensa a família que cortou no gás, e deixa a família que produz a sua própria eletricidade a pagar a maior taxa fixa da sua fatura, intocada.\nA taxa do hidrogénio mudou de sítio, não desapareceu O Orçamento apresenta o fim da Gas Shipper Obligation como «providing savings for businesses and households»1. Não é uma poupança. É a mesma conta, enviada para outra morada.\nA Gas Shipper Obligation era uma taxa planeada. Não tinha começado. A sua própria consulta descreve-a como «a funding mechanism for the Hydrogen Production Business Model»5, cobrada aos expedidores de gás e repercutida por unidade de gás, com a estimativa do governo para o custo para a família média em «approximately £2.60 - £4.50» por ano entre 2028 e 20376. Com o consumo de gás desta casa, são cerca de £2 por ano.\nO Orçamento acaba com ela antes de alguma vez chegar a uma fatura. No seu lugar: «Hydrogen Allocation Round 1 funding will be met with a £27 million uplift to DESNZ RDEL in 2027-28», e o governo vai financiar com dinheiro público os futuros contratos de hidrogénio «if the government commits to them and subject to value for money»1.\nPor isso o hidrogénio continua a ser pago. São £27 milhões no próximo ano saídos dos impostos gerais, e a promessa de «publicly fund» os contratos futuros não tem teto nenhum. Continuamos todos a pagá-lo, pela declaração de impostos em vez do contador.\nE por qual dos dois pagas importa. Uma taxa sobre cada unidade de gás cobra-te pelo gás que queimas, por isso uma casa que reduziu o gás à água quente paga muito pouco dela. Os impostos gerais cobram-te pelo rendimento. Para um contribuinte a 40% com pouco gás, isto está ao contrário: os £2 saem da fatura do gás, e uma parte do custo volta a entrar à taxa mais alta. Quem fica a ganhar são os grandes consumidores de gás, a começar pelos grandes complexos industriais, porque eram eles que a taxa por unidade teria cobrado mais.\nO resumo que anda a circular hoje errou em mais duas coisas. A taxa nunca esteve na fatura de ninguém, porque não tinha começado. E não vai para as empresas de petróleo e gás.\nEstes são os onze projetos da primeira ronda, da lista do próprio governo7:\nProjeto Promotor principal Capacidade Barrow Green Hydrogen Carlton Power 21,0 MW Bradford Low Carbon Hydrogen Hygen 24,5 MW Cromarty Hydrogen Scottish Power e Storegga 10,6 MW Green Hydrogen 3 HYRO 10,6 MW HyBont Marubeni Europower 5,2 MW HyMarnham JG Pears e GeoPura 9,3 MW Langage Green Hydrogen Carlton Power 7,0 MW Tees Green Hydrogen EDF Renewables Hydrogen 5,2 MW Trafford Green Hydrogen Carlton Power 10,5 MW West Wales Hydrogen MorGen Energy e Trafigura 14,2 MW Whitelee Green Hydrogen Scottish Power 7,1 MW Todos são hidrogénio eletrolítico, feito a partir de eletricidade. Os promotores são empresas de energia, braços de renováveis e casas de trading. A BP, a Shell e o resto do Mar do Norte não estão lá.\nO hidrogénio é a aposta errada A primeira ronda foi acordada a «a weighted average strike price of £241/MWh» e vai pagar «over £2 billion of revenue support»7 por 125 MW de produção.\nPonha-se esse preço de exercício em termos domésticos. £241 por MWh são 24,1p por kWh. O gás no teto de outubro está a 7,97p por kWh, IVA incluído3. Ou seja, o hidrogénio está a ser comprado a três vezes o que uma família paga pelo gás que ele substituiria, e os £2 mil milhões estão lá para cobrir a diferença, porque sozinho não conseguiria vender ao preço de mercado. Era para isso que servia a Gas Shipper Obligation. Era um subsídio para um combustível que não consegue competir, e passá-lo para os impostos gerais mantém o subsídio e só muda quem assina o cheque.\nEntão o que é que o contribuinte está a comprar?\nOlha outra vez para a lista. Cada um desses projetos faz hidrogénio a partir de eletricidade. Por isso o plano é pegar em eletricidade, perder uma grande parte dela a transformar água num gás, levar o gás por tubagens e queimá-lo. Entretanto, a mesma eletricidade posta numa bomba de calor sai como quase três vezes mais calor:\nO que faz 1 kWh de eletricidade Resultado Alimenta uma bomba de calor ar-água, mediana de 742 casas no Reino Unido 2,8 kWh de calor, 280%8 Faz hidrogénio para queimar para aquecimento precisa de «five to six times more electricity» para o mesmo calor9 Estes números vêm da investigação, não de mim. Uma revisão de 32 estudos independentes concluiu que o aquecimento a hidrogénio é menos eficiente e mais caro por unidade de calor do que as bombas de calor, e, como foi noticiado, «makes absolutely no sense for heating homes and buildings»9. Uma bomba de calor tem mais de 100% de eficiência porque move calor em vez de o produzir. O hidrogénio nunca lá chega, porque parte da eletricidade e perde uma parte em cada passo.\nPor isso o hidrogénio é uma perda de tempo e de dinheiro, e este país devia estar a ir 100% elétrico: bombas de calor e o resto do equipamento que tira mais do que uma unidade de calor de cada unidade de energia, e EVs na estrada. O Orçamento faz o contrário. Mantém o apoio às bombas de calor estagnado, corta mil milhões ao Warm Homes, e promete financiar com dinheiro público cada futuro contrato de hidrogénio que o governo assinar, sem limite escrito.\nO imposto de circulação que pesa mais do que tudo o resto Agora a medida que realmente custa dinheiro a esta casa, e o Orçamento é bastante franco sobre a razão de ela lá estar. Apresenta o Electric Vehicle Excise Duty como parte de «strengthening the tax base \u0026hellip; to respond to the long-term decline in fuel duty receipts»1.\nO eVED foi anunciado no Orçamento de 2025 e este Orçamento confirma-o, com uma ferramenta de estimativa da quilometragem e um «eVED Connect» opcional que lê a quilometragem diretamente do carro1. A taxa é «3 pence per mile for BEVs» e «1.5 pence per mile for PHEVs», a partir de 1 de abril de 2028, a subir com o CPI a partir de 2029-3010.\nA 20 000 milhas por ano, isso são £600. Todos os anos, indexados. A maior parte dessas milhas é a deslocação para um escritório, e as taxas de quilometragem isentas que o Orçamento aumenta não cobrem viagens «to and from your work, unless it\u0026rsquo;s a temporary place of work»2. Por isso a deslocação casa-trabalho leva com o novo imposto e com nenhum dos alívios.\nCompare-se com a linha do imposto sobre combustíveis. O corte de 5p foi agora prolongado pela sexta vez1:\nMesmo Orçamento, dois carros Gasolina ou gasóleo Este EV Corte de 5p no imposto sobre combustíveis e adiamento do RPI, £1355 milhões recebe-o £0 eVED a partir de abril de 2028 não paga 3p por milha, £600 por ano a 20 000 milhas A casa que fez o que o governo pediu é aquela a que ele agora volta para buscar receita.\nO corte no imposto sobre combustíveis ao menos ajuda as pessoas a passar para algo mais barato? Olha para onde vai o dinheiro dos transportes na Tabela 6.11:\nMedida de transportes na Tabela 6.1 Custo Empurra as pessoas para Corte de 5p no imposto sobre combustíveis e adiamento do RPI £1355 milhões, dois anos gasolina e gasóleo Taxas de quilometragem isenta aumentadas £230 milhões, dois anos fazer mais milhas de serviço Teto de £2 no bilhete de autocarro £230 milhões, dois anos, dos orçamentos da energia o autocarro Carregadores públicos locais de EV mais baratos, método ainda por definir £100 milhões, dois anos, depois nada o elétrico Fim do Carbon Price Support £235 milhões, cinco anos a partir de 2028 produção mais barata a combustíveis fósseis Não resolve a passagem para transportes mais baratos. Paga às pessoas para ficarem no petróleo. O imposto sobre combustíveis é um sinal de preço, e com o gasóleo «exceeding £2 per litre in October 2026»1 o Tesouro escolheu atenuá-lo outra vez em vez de gastar o dinheiro na saída dele. O teto dos autocarros e os carregadores juntos recebem cerca de um quarto do que recebe a bomba de combustível, e o dinheiro dos carregadores nem sequer é ainda um programa. São £100 milhões para «reduce costs for local, lower-powered public chargers» a partir da primavera de 2027, que valem «around £150 per year» a um condutor que carrega na rua, com o Department for Transport a «set out next steps in due course». Deixar esses condutores usar a sua tarifa de casa num carregador público, o que resolveria mesmo o problema, fica entregue a um grupo de trabalho para «explore» uma «complex proposal that will take time to consider»1. Cada prolongamento torna o seguinte mais difícil de acabar, e as famílias que já deixaram o petróleo para trás são as que pagam o imposto por milha por isso.\nArrasto fiscal, o aumento de impostos que ninguém anuncia O maior imposto sobre um contribuinte a 40% não precisa de anúncio nenhum, e já pode custar quase seis vezes o que o eVED vai custar. É o arrasto fiscal.\nO Personal Allowance e o limite da taxa básica foram fixados «at their 6 April 2021 levels», e estão agora mantidos «until 5 April 2031»11. São dez anos a £12 570 e com um limiar da taxa mais alta de £50 270, enquanto o próprio Orçamento diz que «consumer prices today are around 33% higher than the 2020 average»1. Cada aumento de salário que só acompanha os preços empurra mais do teu rendimento para o escalão de 40%. O teu salário não vale mais, e pagas mais imposto sobre ele.\nArrasto fiscal, pelos números do próprio governo Escalões fixados em níveis de 6 de abril de 2021 Congelados até 5 de abril de 2031, dez anos Preços desde 2020 cerca de 33% mais altos Imposto extra só com o prolongamento de 2028 a 2031 £3365m, £7780m, depois £12 435m por ano Pessoas puxadas para o imposto sobre o rendimento até 2030-31 700 000 A linha da receita é a estimativa do próprio Tesouro11, e mostra o arrasto a crescer, porque cada ano congelado se soma ao anterior.\nEntão onde estariam os escalões se nunca tivessem sido congelados? A lei já diz como calcular. Ambos sobem em cada abril pelo índice de preços no consumidor «for the September before the start of a tax year», o Personal Allowance arredondado para cima até às £10 seguintes12 e o limite da taxa básica até às £100 seguintes13. Aqui está essa regra aplicada aos próprios números de setembro do ONS, 3,1%, 10,1%, 6,7%, 1,7%, 3,8% e 3,5%14:\nAno fiscal Personal Allowance, indexado Limiar da taxa mais alta, indexado Congelado em Imposto extra, contribuinte a 40% 2022-23 £12 960 £51 860 £12 570 e £50 270 £396 2023-24 £14 270 £57 170 £12 570 e £50 270 £1720 2024-25 £15 230 £61 030 £12 570 e £50 270 £2684 2025-26 £15 490 £62 090 £12 570 e £50 270 £2948 2026-27 £16 080 £64 480 £12 570 e £50 270 £3544 2027-28 £16 650 £66 750 £12 570 e £50 270 £4112 O limiar da taxa mais alta devia estar em £64 480 agora, não em £50 270. São £14 210 de rendimento agora tributados a 40% que a lei, de outra forma, teria tributado a 20%, ou nem sequer tributado.\nA coluna do imposto extra é para um contribuinte a 40% que ganha acima do limiar indexado e abaixo de £100 000. Cada libra extra de Personal Allowance poupa 40p e cada libra extra de escalão da taxa básica poupa 20p, por isso 2026-27 dá £3510 a 40% mais £10 700 a 20%. Somem-se os cinco anos até abril de 2027 e dá £11 292, antes de ser anunciado um único imposto novo. É só imposto sobre o rendimento, e deixa de fora a National Insurance, porque indexar o limite superior da NI teria posto mais desse mesmo rendimento à taxa de 8% em vez de 2%, o que puxa para o outro lado.\nNinguém se levanta para o anunciar todos os anos. É o imposto que um contribuinte a 40% paga com mais certeza, e é o que este Orçamento escolheu deixar em paz.\nE os mal pagos pagam-no primeiro Em libras, é o escalão de 40% que mais perde com o congelamento. Mas olha para quem ele morde com mais força. Aqui está a mesma regra aplicada a quatro trabalhadores em 2026-27, só imposto sobre o rendimento:\nTrabalhador, 2026-27 Imposto sobre o rendimento pago agora Se os escalões tivessem acompanhado Extra por ano Parte do salário Tempo parcial, £16 000 £686 £0 £686 4,3% Tempo inteiro com o National Living Wage, £23 132 £2112 £1410 £702 3,0% £40 000 £5486 £4784 £702 1,8% Contribuinte a 40%, £70 000 £15 432 £11 888 £3544 5,1% O trabalhador a tempo parcial é o que importa ver. Toda a gente que ganha entre £12 570 e £16 080 paga agora imposto sobre o rendimento por dinheiro que a lei teria deixado em paz, e o documento de política espera que o congelamento traga «700,000 individuals into Income Tax by 2030 to 2031»11. Um contribuinte a 40% consegue absorver £3544 e resmungar. £686 em £16 000 nunca foram dinheiro a mais. E a National Insurance começa nos mesmos £12 570 congelados, por isso os mal pagos pagam isso por cima.\nAgora o título que o Orçamento quer mesmo que vejas. O National Living Wage sobe para £13,21 por hora em abril de 2027, «equivalent to an increase of £910 in the gross annual earnings of a full-time worker»1, a partir dos £12,71 atuais15. Nesse mesmo ano, 2027-28, o Personal Allowance congelado tira a esse mesmo trabalhador mais £816 de imposto sobre o rendimento do que a lei teria tirado. O aumento é real. O Tesouro já gastou a maior parte dele.\nDepois, as pessoas que escolheu proteger. A partir de abril de 2027, um novo Pension Tax Allowance significa que os pensionistas «with incomes at or under the value of the full new State Pension will not be brought into paying tax because of State Pension uprating in this Parliament»1. É uma correção ao congelamento, e é justa. Posso perguntar porque é que fica pelos pensionistas? Um trabalhador com o mesmo rendimento, a fazer uma semana inteira por ele, não recebe alívio nenhum.\nAjuda com a fatura, ou um subsídio a um mercado falhado? Comece-se pelo que os £100 são de facto. O resumo que anda a circular hoje chamou-lhe um pagamento na tua conta bancária. O Orçamento chama-lhe um «£100 council tax rebate for households in bands A to D»1, entregue pelas câmaras a partir de janeiro de 2027. Seja como for, é gasto na fatura da energia.\nE nem ele nem o IVA a 0% mudam o que a energia custa. A fatura fica do mesmo tamanho. O contribuinte só paga parte dela. Então para onde vai uma fatura? A decomposição da própria Ofgem para a fatura típica a partir de julho de 20264:\nPara onde vai a fatura típica, julho a setembro de 2026 Parte Energia grossista, incluindo contratos por diferença 45% Redes 25% Custos operacionais, de dívida e da indústria 16% Custos de políticas 6% IVA 5% Margem de lucro do fornecedor (EBIT) 2,6% Folga e nivelamento 1,5% Sete libras em cada dez vão para os produtores e para as empresas das redes. Uma margem de lucro para o fornecedor está escrita no próprio teto. Por isso os £3685 milhões são dinheiro público, angariado pelos impostos gerais com a ajuda de uma sobretaxa sobre os bancos, e cada libra dele acaba nessas mesmas mãos privadas. Não é ajuda com a energia. É um subsídio ao mercado da energia, encaminhado pelo teu council tax para parecer ajuda.\nUm subsídio a quê, exatamente? Pelas contas do próprio Tesouro, os preços da energia doméstica estão 73% acima da média de 20201, e a dívida energética das famílias «has almost tripled to over £5 billion»1. Um mercado que acumulou tanta dívida das famílias desde que a Rússia invadiu a Ucrânia é um mercado falhado. Este Orçamento não o corrige. Paga-lhe a conta este inverno, e vai ter de a pagar outra vez no próximo inverno, porque nada no preço se mexeu.\nCompare-se com o que o mesmo Orçamento pede de volta aos produtores. O Electricity Generator Levy passa de 45% para 55% até março de 2028, e a Tabela 6.1 dá-lhe uma receita de £95 milhões1. Nos próximos seis anos o contribuinte põe £3685 milhões nas faturas com que esses produtores são pagos. A taxa sobre lucros extraordinários tira de volta £95 milhões. É quase 39 para 1.\nOs bancos pagarem £1475 milhões disto através da sobretaxa é a parte justa, e digo-o. Mas um subsídio que deixa o preço onde está não compra nada que dure. A única ajuda com a energia que dura é a do tipo de «Nada para o telhado», mais abaixo, a que faz uma casa precisar de menos energia.\nQuem recebe o dinheiro em vez disso Se não esta casa, então quem? A própria tabela de custos do Orçamento, a Tabela 6.1, dá o custo de cada medida de 2026-27 a 2031-321, por isso isto não precisa de adivinhação. Aqui estão as maiores ofertas, somadas ao longo dos seis anos.\nQuem recebe o dinheiro no Orçamento de 2026 Custo para o Tesouro em seis anos, 2026-27 a 2031-32, £ milhões Subsídio às faturas 3685 Automobilistas: combustível, milhas 2510 10\u0026#160;000 fábricas 2320 Queima de resíduos sem preço CO2 1505 Founders' Relief 1285 Pequenas lojas de rua 1165 Trading Allowance a £3000 745 pago em nome das famílias grandes empresas e ricos pequenas empresas As maiores ofertas na Tabela 6.1 do Orçamento de 2026, somadas de 2026-27 a 2031-32. Azul é pago em nome das famílias, rosa vai para grandes empresas e para os ricos, dourado para pequenas empresas. 10 000 fábricas recebem quase tanto como todos os automobilistas do país. A barra das famílias parece a maior oferta de todas. A secção acima mostra onde esse dinheiro acaba de facto.\nMas olha para as barras cor-de-rosa.\n10 000 fábricas, £2320 milhões. A partir de abril de 2027, o British Industrial Competitiveness Scheme isenta «eligible businesses \u0026hellip; from the indirect costs of the Renewables Obligation, Feed in Tariffs and Capacity Market schemes»1, cortando-lhes as faturas da eletricidade «by up to 25%». Só em 2027-28 são £1235 milhões, uma média de cerca de £123 500 por empresa, contra £100 por família. Esses mesmos três programas continuam em cada kWh que esta casa importa. Valorização energética de resíduos, £1505 milhões. Adiar o preço do carbono sobre a queima de resíduos. Esta precisa de mais do que uma linha, por isso tem os seus próprios parágrafos abaixo. Fundadores, £1285 milhões. Um novo Founders\u0026rsquo; Relief: «a 10% CGT rate on up to £10 million of lifetime gains for qualifying founders of high-growth, innovative companies»1. A linha da valorização energética de resíduos na Tabela 6.1 tem nove palavras: «Delay the inclusion of energy from waste in the ETS»1. Eis o que está por trás.\nA queima de resíduos e o preço do carbono O plano de 2024 inclusão total no UK Emissions Trading Scheme «from 2028»16 O que seria cobrado só o CO2 fóssil, o plástico no que é queimado16 Decidido a 27 de agosto de 2026 «will not take place in 2028», sem nova data17 Perdido pelo Tesouro, 2028-29 a 2031-32 £1505 milhões1 As centrais elétricas já estão dentro do esquema, com «the power sector in scope of the UK ETS»16, e até 2028 pagam ainda o Carbon Price Support por cima, «£18/tCO2e on fossil-fuel powered electricity generation»1. Uma incineradora a queimar plástico não paga nada disto, sem data para quando pagará.\nPara ser franco sobre quem ganha, não são só os operadores. O custo do carbono teria sido «passed through to local authorities», e o próprio organismo de reciclagem das câmaras saudou o adiamento como «some immediate relief»17. É justo, porque uma câmara não fez o plástico que lhe entregam. Mas a consulta do próprio governo já tinha encontrado a resposta para isso. Propunha partilhar o custo através da Extended Producer Responsibility das embalagens, o esquema que obriga as empresas que põem embalagens no mercado a pagar por elas, e estimava que «between 20-30% of fossil waste by weight that is incinerated is within scope»16. Por outras palavras, cobrar a quem fez o plástico.\nEm vez disso, ninguém paga. Os operadores escapam, os produtores de embalagens escapam, e os £1505 milhões saem do lado do Tesouro na tabela. O carbono continua a subir pela chaminé.\nDepois os centros de dados. Um novo Data Centre Covenant pede-lhes que paguem «their fair share of energy». Todos os centros de dados são «encouraged to meet the tests», e só os estratégicos que procuram apoio reforçado são obrigados a isso1. Em troca, um Ministerial Control Centre vai «accelerate time to power», reservando capacidade futura na rede e «reallocating capacity released when other projects leave the connections queue»1. Os maiores novos consumidores de eletricidade do país passam à frente na fila em que toda a gente espera, com testes que a maioria deles só é encorajada a cumprir.\nO alívio para os fundadores só faz sentido ao lado do que foi feito na mesma tabela às pessoas que constroem negócios comuns.\nA pequena empresa paga a grande ideia Há duas trocas na Tabela 6.1, e ambas põem uma pequena empresa a pagar.\nDuas trocas: quem paga a quem Donos que vendem, fundadores que crescem Limite vitalício do BADR a metade £1085m tirados Novo Founders' Relief a 10% £1285m dados Vendedores online, lojas de rua Plataformas cobram o IVA £1270m tirados Alívio nas taxas de lojas e pubs £1165m dados angariado oferecido Duas trocas na Tabela 6.1, somadas ao longo de seis anos, rosa angariado e azul oferecido. O alívio tirado aos donos que vendem o negócio vai para fundadores de alto crescimento, e o alívio nas taxas do comércio de rua é pago pelos vendedores online. A primeira troca é fundadores contra donos. O Business Asset Disposal Relief é o alívio que um canalizador, uma loja ou uma pequena empresa de engenharia usa quando o dono vende ou se reforma. Já está nos 18% para alienações a partir de 6 de abril de 202618. Este Orçamento corta para metade o seu limite vitalício, «from £1 million to £500,000 from April 2027», o que angaria £1085 milhões1. Na mesma tabela, o Founders\u0026rsquo; Relief dá 10% sobre até £10 milhões a «high-growth, innovative companies» e custa £1285 milhões.\nBusiness Asset Disposal Relief Founders\u0026rsquo; Relief Para quem é qualquer pessoa que venda um negócio elegível fundadores de «high-growth, innovative companies» Taxa 18% 10% Limite vitalício cortado de £1 milhão para £500 000 £10 milhões Efeito em seis anos angaria £1085 milhões custa £1285 milhões A defesa do Tesouro é que «three-quarters of BADR claimants will still receive relief on their entire gain»1. É verdade, e é também a questão. O quarto que o perde são os que construíram algo que vale mais de meio milhão ao longo de uma vida de trabalho, e o alívio deles foi para pessoas cujos ganhos chegam aos dez milhões.\nA segunda troca é o comércio de rua contra os vendedores online. O alívio nas taxas municipais para pequenas lojas, pubs e restauração é real e bem-vindo: mais 70 000 empresas sem pagar business rates nenhumas, a um custo de £1165 milhões nas três medidas sobre taxas. O Tesouro diz claramente como é pago: «by ensuring businesses with significant sales online pay the VAT they owe, by requiring online marketplaces to collect it on their behalf»1. Isso angaria £1270 milhões.\nOu seja, as pequenas empresas do comércio de rua estão a ser pagas pelas pequenas empresas online. Nenhuma grande está a pôr lá nada.\nSai o Warm Homes, entram as armas A maior redefinição de prioridades deste Orçamento não está em fatura nenhuma. É a defesa.\nEm junho o governo anunciou £15 mil milhões para o Defence Investment Plan entre 2026-27 e 2029-30. Este Orçamento encontra os últimos £4,7 mil milhões «further reducing departmental capital budgets by 1% from 2027‑28 to 2029‑30 to raise £3 billion» e tirando £1,7 mil milhões à reserva de capital do Tesouro1. O orçamento de obras de todos os ministérios paga.\nA parte do ministério da energia é a que cai numa casa como a minha:\nCortado ao ministério da energia para financiar a defesa Montante Apoio de capital do Warm Homes Plan £1 mil milhões Projetos de hidrogénio £500 milhões Captura, utilização e armazenamento de carbono £200 milhões Great British Energy £200 milhões Esta é a lista do próprio Tesouro1. Com duas linhas não tenho problema nenhum. O hidrogénio e a captura de carbono são um desperdício de dinheiro público, e pelas razões de «O hidrogénio é a aposta errada», acima, £500 milhões e £200 milhões cortados a eles são a decisão certa. Deviam ter sido cortados por inteiro. A captura de carbono existe para manter a queima de combustíveis fósseis mais algum tempo, e um governo sério quanto às faturas estaria a tributar essa indústria, não a pagar para a manter.\nA linha do Warm Homes é o oposto. O governo diz que «remains committed to heat pump deployment» no mesmo parágrafo que tira mil milhões ao Warm Homes Plan. Diz, sim, que a maior parte do financiamento desse plano para famílias de baixos rendimentos e habitação social «is protected», e é justo notá-lo. Mas fazer uma casa precisar de menos energia é o único tipo de apoio energético que nunca precisa de ser pago outra vez no inverno seguinte, e é precisamente o que foi cortado para pagar isto.\nSe o dinheiro do apoio vai embora, a obrigação não devia ir com ele. Já existe uma regra para as casas arrendadas no mercado privado em Inglaterra e no País de Gales: «Private landlords of all tenancies will be required to comply with the higher standard by 1 October 2030», uma meta de EPC C19. Mas lê os pormenores:\nCasas arrendadas no mercado privado, a norma de 2030 O que diz a regra Prazo 1 de outubro de 2030 O máximo que um senhorio tem de gastar «up to £10,000 per property», média de £5400 Bomba de calor ou painéis solares obrigatórios? nem uma coisa nem outra, a medida secundária é escolhida «at the discretion of the landlord» É uma norma com um limite de despesa e um menu. Cortar o apoio do Warm Homes devia ter vindo com o contrário: uma obrigação de cada casa arrendada no mercado privado ter o isolamento, a bomba de calor e os painéis solares instalados até 2030, ou deixar de poder ser arrendada. Os senhorios cobram a renda. O inquilino paga a fatura da energia. Sem uma exigência firme, o senhorio não tem razão nenhuma para gastar dinheiro que só poupa o de outra pessoa, e o inquilino fica a pagar as faturas e, através dos seus impostos, também o subsídio sobre elas.\nDepois a meta. O governo vai explicar «how we will meet our NATO commitment of spending 3.5% of GDP on defence by 2035, with a target date for 3% in 2030»1. Além disso, o National Wealth Fund e o British Business Bank vão «deploy up to £5 billion over the next four years into defence, dual use and other sectors»1, e a UK Export Finance recebe mais capacidade «to support UK defence exports»1.\nParte disto eu apoio, e digo-o claramente. A Rússia invadiu a Ucrânia. A guerra de Putin é a causa, e a Ucrânia defender-se está certo. Os £500 milhões extra para a defesa aérea da Ucrânia este inverno1 são dinheiro que não lamento.\nMas olha para quem recebe de facto o dinheiro. Estas são as estatísticas oficiais acreditadas do próprio Ministry of Defence para 2025/2620:\nDespesa do MoD com a indústria, 2025/26 Número Pago à indústria, britânica e estrangeira £43,4 mil milhões Parte que vai para apenas dez fornecedores 40% Só a BAE Systems pouco mais de £7,3 mil milhões, 16,5% Maior parte de um único fornecedor desde 2007/08 Pago através de contratos sem concorrência 47%, £20,5 mil milhões Então estamos todos a pagar impostos às empresas de armamento? Sim, pelas contas do próprio MoD. E quase metade é gasta sem concurso.\nE parte disto sai diretamente do país. Aqui estão esses dez fornecedores, da própria tabela de dados do MoD, com a sede de cada um21:\nOs dez maiores fornecedores do MoD, 2025/26 £ milhões Reino Unido? BAE Systems PLC 7258 Reino Unido Babcock International Group PLC 3288 Reino Unido Rolls-Royce Holdings PLC 1562 Reino Unido QinetiQ Group PLC 1114 Reino Unido Airbus Group SE 834 Não, europeia, registada nos Países Baixos Leonardo SpA 778 Não, Itália Thales 736 Não, França Serco Group PLC 726 Reino Unido Leidos Holdings Inc. 646 Não, Estados Unidos The Boeing Company 597 Não, Estados Unidos Metade dos dez maiores são estrangeiros, e entre eles levaram £3591 milhões, um quinto do que os dez receberam. E não fica pelos dez maiores. Mais abaixo na mesma tabela estão a própria holding industrial do Estado espanhol, a Sociedad Estatal de Participaciones Industriales, com £389 milhões, e a agência de participações do Estado francês, a Agence des participations de l\u0026rsquo;État, com £300 milhões21. É dinheiro da defesa britânica pago diretamente a dois governos estrangeiros.\nE os dois maiores nomes britânicos dessa lista? Vale a pena perguntar o que fazem com ele. Aqui estão as suas próprias contas:\nDas suas próprias contas BAE Systems, 2025 Babcock, ano até março de 2026 Pago pelo MoD, 2025/2621 £7258m £3288m Investigação e desenvolvimento £407m autofinanciados22 £203,3m levados a custos23 Dividendos pagos £1027m £36,7m Recompra de ações £502m £155,3m Devolvido aos acionistas £1529m £192,0m A BAE devolveu £1529 milhões aos acionistas num único ano, quase quatro vezes os £407 milhões que pôs na sua própria investigação. Também levou £29 milhões em créditos fiscais de investigação e desenvolvimento22, com o contribuinte a contribuir outra vez. O MoD pagou-lhe £7,3 mil milhões num ano, e os acionistas tiraram £1,5 mil milhões.\nA Babcock é ao contrário, e justiça seja feita. Gastou mais em investigação do que devolveu. Também tira 63,5% da sua receita mundial do MoD20, o que faz dela uma empresa que o contribuinte, na prática, mantém a funcionar. Uma empresa tão dependente de dinheiro público devia ser gerida para o público que a paga.\nDepois há o dinheiro que nem sequer passa por um fornecedor. O MoD fez passar £744 milhões pelas Foreign Military Sales, «a mechanism used to purchase equipment from the US Government», pagos por cima dos £43,4 mil milhões, e £469 milhões disso foram para a Boeing20. São os nossos impostos a entrar no programa de armamento de outro governo e, na minha opinião, a financiar a própria instabilidade global contra a qual nos dizem depois que temos de gastar mais para nos defendermos. O próprio novo Multilateral Defence Mechanism do Orçamento foi feito para «joint procurement across partners»1, o que significa mais encomendas feitas lá fora, não menos.\nA minha posição é simples. Nem uma libra do dinheiro da defesa britânica devia ir para um fornecedor estrangeiro. Se este país vai gastar 3,5% de tudo o que ganha em defesa, cada libra disso devia construir competências, fábricas e empregos aqui, e pagar impostos aqui. Constrói-se cá ou não se compra.\nPosso perguntar porque é que o MoD nem sequer o contabiliza? As suas próprias estatísticas dão o total pago a «UK and foreign owned organisations» como um único número, sem separação entre os dois20. Não se consegue baixar um número que ninguém publica.\nO que não há é esforço nenhum para baixar a despesa. Pesquisei as 162 páginas completas:\nPalavra no Orçamento de 2026 Vezes que aparece defence mais de 120 diplomacy 0 ceasefire 0 de-escalation 0 Há um capítulo inteiro sobre fazer crescer a indústria da defesa, financiá-la com dinheiro privado e exportar mais dela, e nem uma linha sobre reduzir a necessidade dela. Uma corrida ao armamento que ninguém está a tentar travar tem um único grupo de vencedores, e estão listados nas tabelas de fornecedores do MoD, não numa cozinha em Inglaterra.\nNada para o telhado O kWh mais barato é aquele que uma casa nunca tem de comprar. O isolamento no sótão e os painéis solares no telhado continuam a dar retorno a cada inverno, muito depois de um pagamento de £100 estar gasto. Então o que faz por eles um Orçamento vendido como o que baixa as faturas?\nSobe o IVA.\nA instalação de materiais de poupança energética numa casa tem taxa zero «from 1 May 2023 to 31 March 2027», e a lista abrange isolamento, painéis solares, baterias e bombas de calor24. Este Orçamento deixa isso acabar. O parágrafo 6.215 tem o título «Revert to reduced rate on energy saving materials (ESMs) as planned», e a partir de 1 de abril de 2027 volta a ser 5%, com as baterias térmicas acrescentadas à lista como única mudança1. Numa obra de painéis solares e bateria de £10 000, são mais £500.\nOu seja, no mesmo documento, o IVA sai da eletricidade que compras e volta a entrar no equipamento que te faz deixar de a comprar.\nDepois conta as palavras. Em 162 páginas, «insulation» aparece zero vezes. «Rooftop» e «solar panel» aparecem zero vezes. As bombas de calor têm duas menções, e ambas estão no parágrafo que tira £1 mil milhões ao Warm Homes Plan para pagar a defesa1.\nE o próprio apoio às bombas de calor? O Boiler Upgrade Scheme paga «£7,500 towards an air source heat pump»25, e o Orçamento vai «maintain the Boiler Upgrade Scheme at current funding levels of £400 million in 2027‑28 and rising broadly in line with inflation thereafter»1. Não é cortado, portanto, mas também não cresce. £400 milhões a £7500 cada dão, no máximo, cerca de 53 000 bombas de calor por ano. O Tesouro conta cerca de 29 milhões de agregados familiares no Reino Unido1. A este ritmo, chegar a todos eles levaria mais de 500 anos.\nDinheiro para a energia no Orçamento de 2026 Número em seis anos O que fica depois do inverno Pagamento de £100 e IVA a 0% na eletricidade £3685 milhões gastos nada, foi-se Apoio de capital do Warm Homes Plan £1 mil milhões cortados menos casas isoladas IVA sobre isolamento, painéis solares e baterias de 0% de volta a 5% mais caro fazê-lo por conta própria Tendo pago o meu, consigo ver exatamente o que falta. Se um governo quisesse as faturas mais baixas de vez, isolaria cada casa que precisa e poria painéis solares em cada telhado que os aguente, a começar por cada casa nova construída daqui para a frente. Faz-se isso uma vez, como deve ser, e a ajuda nunca mais precisa de ser comprada no inverno seguinte. Este Orçamento paga o inverno e tributa a solução.\nNão, vender as tuas próprias coisas no eBay não está a ser tributado Muita gente leu a regra dos marketplaces online como o fim de vender as tuas coisas velhas no eBay ou no Vinted sem uma conta de IVA. Não é, e o Orçamento di-lo com todas as letras.\nA partir de outubro de 2027, as plataformas cobram IVA «on sales by UK VAT-registered businesses and any other UK business with a minimum annual sales threshold per platform of £90,000». As regras «will not apply to non-business (i.e. personal) sales, second-hand goods, or business-to-business transactions»1.\nA confusão vem de três limiares diferentes que são citados como se fossem uma só regra:\nRegra Limiar O que significa Nova cobrança de IVA pelas plataformas uma empresa a vender £90 000 por ano numa plataforma a plataforma cobra o IVA que a empresa já devia Comunicação das plataformas ao HMRC, desde 2024 30 vendas, ou cerca de £1700, num ano a plataforma comunica os teus dados. Não é um imposto Atividade comercial ou não os nove «badges of trade» do HMRC decidem se deves algum imposto Sobre a comunicação, o HMRC é direto: «A platform reporting your details to HMRC does not automatically mean you owe tax»26. As plataformas não comunicam os teus dados se «make fewer than 30 sales of goods in a calendar year» e «receive less than 2,000 euros (about £1,700)»26. E do seu próprio gabinete de imprensa: «if you are not trading and just occasionally sell unwanted items online – there is no tax due»27.\nEntão o que é um vendedor de grande volume? Não há um número de artigos. Se estás a exercer uma atividade comercial é decidido pelos badges of trade do HMRC, que incluem «profit-seeking motive», «the number of transactions», «the nature of the asset» e «changes to the asset», e o próprio HMRC diz que «the presence or absence of a particular badge is unlikely, by itself, to provide a conclusive answer»28. Esvaziar o sótão não é atividade comercial, mesmo quando passa dos 30 artigos ou das £1700 e faz com que sejas comunicado. Comprar stock para revender com lucro é.\nRepara no que esse teste de comunicação é de facto. São menos de 30 vendas e menos de cerca de £1700, por isso passar qualquer um dos dois faz com que sejas comunicado. Vende o teu carro velho no eBay por mais de £1700 e essa única venda chega. Não entres em pânico se acontecer. Ser comunicado não é uma conta de impostos, e o HMRC indica que o Capital Gains Tax é devido sobre «most personal possessions worth £6,000 or more, apart from your car»29. Um carro que usaste tu próprio fica de fora.\nMas a comunicação é sobre ti, não sobre o carro, e o carro estar isento não torna isento tudo o resto que vendeste nesse ano. Cada outra venda é avaliada por si, exatamente como sempre foi. As tuas próprias coisas de que já não precisas continuam a não ser atividade comercial, e um único bem pessoal abaixo de £6000 fica fora do Capital Gains Tax29. Tudo o que compraste para revender com lucro é atividade comercial, no entanto, e depois de seres comunicado o HMRC tem as tuas vendas à frente. Se parte disso for atividade comercial, as primeiras £1000 por ano são isentas, a subir para £3000 a partir de 6 de abril de 2027 com este Orçamento1. Por isso toma nota do que era cada coisa: tua, ou comprada para revender.\nE para o sótão, a própria comunicação é o desperdício. Alguém a esvaziar a sua própria casa vê os seus dados enviados ao HMRC, a plataforma paga para compilar a comunicação e o HMRC paga para a processar, e nas vendas pessoais não cobra nada, porque nada é devido. É despesa pura, e cai na tua conta de impostos na mesma.\nPor isso o susto com este Orçamento não foi nada. A preocupação com o próximo é outra coisa. A maquinaria já está construída. As plataformas comunicam vendedores ao HMRC desde 2024, e a partir de outubro de 2027 vão cobrar o IVA na fonte para os vendedores empresariais. A isenção para vendas pessoais é uma linha num Orçamento, e uma linha num Orçamento pode ser tirada no seguinte sem nada de novo para construir. Depois de o cano estar instalado, alargá-lo é uma mudança de uma linha. Não apostaria em que a isenção dure só porque hoje lá está.\nO que há de real nessa linha deste Orçamento é a troca acima.\nA folga é uma coisa que se paga Folga é uma boa palavra para um Orçamento. Soa a alívio. Lê as contas e fica mais bem descrita como um conjunto de decisões sobre a quem se pede para suster a respiração.\nA casa que contabilizei aqui fez as coisas que este país diz querer. Passou a ser elétrica. Produz e guarda a sua própria energia. Praticamente abandonou o gás. As suas 20 000 milhas por ano andam a eletricidade, grande parte dela do próprio telhado, e não precisam de nada da bomba de combustível.\nIsso é autossuficiência, e a recompensa é um imposto por milha e um escalão congelado, com £100 para amaciar o primeiro inverno. O Orçamento é razoável em alguns pontos. É justo que os bancos financiem parte do pagamento da energia, e justo que quem consome pouco gás deixe de pagar uma taxa fixa por gás que mal usa. Mas o padrão por baixo é bastante claro. A ajuda vai para onde a conta grita mais alto: o grande consumidor industrial, o fundador com dez milhões de ganhos, o centro de dados que precisa da rede amanhã, a empresa de armamento com um contrato a que mais ninguém pôde concorrer. A família sossegada que se organizou sozinha é de onde vem a receita, precisamente porque não se queixa e não se pode mudar.\nE essa folga paga-se mais do que uma vez. Pagas pelos teus impostos o subsídio na fatura, pagas a fatura, e no inverno seguinte pagas as duas outra vez, porque nada neste Orçamento aponta à razão de a fatura ser alta. O mesmo vale para o corte no imposto sobre combustíveis, prolongado outra vez porque o petróleo que ele sustenta nunca foi substituído, e para os contratos de hidrogénio que têm de ser pagos todos os anos porque o combustível não se aguenta sozinho. Uma solução paga-se uma vez. Um subsídio paga-se todos os anos, pelas mesmas pessoas, enquanto a causa de fundo ficar onde está. É essa a escolha que este Orçamento faz, linha após linha: suster a respiração por mais um inverno em vez de desimpedir as vias respiratórias.\nA razão por que a causa nunca é corrigida é que o custo nunca cai sobre quem a podia corrigir. Este Orçamento não passa o fardo para quem beneficia dos subsídios, por isso esses não têm razão nenhuma para mudar o que quer que seja. O senhorio que não põe uma casa dentro da norma continua a cobrar a renda enquanto o inquilino paga a fatura e o contribuinte paga o subsídio sobre ela. As petrolíferas não têm razão nenhuma para pôr dinheiro em tecnologia limpa enquanto o Tesouro lhes mantém o produto barato na bomba. E a indústria do gás continua com o mesmo modelo de desperdício, queima-se uma vez e compra-se mais, quando as condutas que já estão no chão podiam ser o início de redes de aquecimento urbano que movem calor em vez de combustível. Ninguém faz a coisa cara e sensata enquanto outra pessoa lhe paga para continuar com a barata e desperdiçadora. E cada troca neste Orçamento corre no mesmo sentido. O governo garante que as grandes empresas ficam bem, e quem paga é o pequeno.\nSei o que este Orçamento custa a esta casa, e vejo o preço que lhe põem na capa do documento. Não são o mesmo número. A diferença é a razão para leres tu próprio as contas em vez do discurso, porque ninguém que escreveu o discurso as vai ler por ti.\nHM Treasury — Budget 2026: Breathing Space for Today, Fresh Hope for the Future — o relatório do Orçamento apresentado ao Parlamento a 28 de outubro de 2026. Medidas de energia nos parágrafos 3.2 a 3.9 e Caixa 3.A, combustíveis, quilometragem e carregamento de EV 3.12 a 3.16, eVED 1.30 e 2.38, BADR 2.53, BICS 4.24 e 6.31, a Gas Shipper Obligation 4.22 e 6.27, centros de dados 4.137 e 4.138, o Warm Homes Plan e o Boiler Upgrade Scheme 4.36, defesa 2.5, 2.6, 5.28 a 5.36, incluindo o Multilateral Defence Mechanism em 5.30, e 6.134 a 6.141, materiais de poupança energética 6.215, Founders\u0026rsquo; Relief 6.257, o Trading Allowance 6.254, marketplaces online 6.154, o National Living Wage 3.18, o Pension Tax Allowance 3.19 e 6.182, Carbon Price Support 4.25, custos na Tabela 6.1.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nGOV.UK — Claim tax relief for your job expenses: vehicles you use for work — «This does not include travelling to and from your work, unless it\u0026rsquo;s a temporary place of work.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nOfgem — Changes to energy price cap between 1 October and 31 December 2026 — taxa fixa do gás de 29,68p por dia e preço por unidade de 7,97p/kWh com 5% de IVA incluído; eletricidade sem IVA de 1 de outubro de 2026 a 31 de março de 2027.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nOfgem — Summary of changes to the energy price cap, 1 July to 30 September 2026, revised TDCV — consumo doméstico típico a partir de 1 de julho de 2026: «2,500 kWh of electricity, 9,500 kWh of gas».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nDESNZ — Funding mechanism for the Hydrogen Production Business Model: proposed design of the Gas Shipper Obligation — a consulta, de janeiro a abril de 2025.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nDESNZ — Gas Shipper Obligation analytical annex — «approximately £2.60 - £4.50» por ano na fatura média de gás doméstico entre 2028 e 2037, num modelo volumétrico, a preços de 2023.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nDESNZ — Hydrogen Production Business Model / Net Zero Hydrogen Fund: HAR1 successful projects — os onze projetos, os seus promotores e capacidade, o preço de exercício médio ponderado de £241/MWh e «over £2 billion of revenue support».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nEnergy Systems Catapult — Heat pumps shown to be three times more efficient than gas boilers — o ensaio Electrification of Heat financiado pelo governo, 742 bombas de calor instaladas: «The median SPF observed in ASHP systems \u0026hellip; was 2.80 (280%)».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nJan Rosenow, «Is heating homes with hydrogen all but a pipe dream? An evidence review», Joule, 2022 — 32 estudos independentes; citações como noticiadas pela IEEE Spectrum, 4 de outubro de 2022.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nHM Treasury — Electric Vehicle Excise Duty (eVED) — documento de política, 13 de julho de 2026: 3p por milha para carros a bateria e a hidrogénio, 1,5p para híbridos plug-in, a partir de 1 de abril de 2028.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nHMRC — Maintaining the Personal Allowance and basic rate limit until 5 April 2031 — documento de política do Orçamento de 2025: escalões fixados «at their 6 April 2021 levels», mantidos «until 5 April 2031», 700 000 pessoas trazidas para o imposto sobre o rendimento até 2030-31, e o impacto do prolongamento nas contas públicas.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nIncome Tax Act 2007, section 57 — o Personal Allowance é indexado pelo «the consumer prices index for the September before the start of a tax year» e arredondado «up to the nearest amount which is a multiple of £10».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nIncome Tax Act 2007, section 21 — o limite da taxa básica é indexado da mesma forma e arredondado «up to the nearest amount which is a multiple of £100».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nONS — CPI annual rate, all items, series D7G7 — setembro de 2021 3,1%, 2022 10,1%, 2023 6,7%, 2024 1,7%, 2025 3,8%, 2026 3,5%.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nGOV.UK — National Minimum Wage and National Living Wage rates — £12,71 por hora para trabalhadores com 21 ou mais anos a partir de 1 de abril de 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nUK ETS Authority — UK Emissions Trading Scheme scope expansion: waste, consultation, 2024 — inclusão da valorização energética de resíduos e da incineração «from 2028», só CO2 fóssil, e partilha de custos através da Extended Producer Responsibility das embalagens.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLARAC — UK ETS will not be extended to waste incineration in 2028 — 27 de agosto de 2026, a associação de reciclagem das câmaras sobre o adiamento; ver também LocalGov, 27 de agosto de 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nGOV.UK — Business Asset Disposal Relief — «18% on all gains on qualifying assets disposed of from 6 April 2026».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nDESNZ — Improving the energy performance of privately rented homes: government response — atualizado a 21 de janeiro de 2026: cumprimento «by 1 October 2030», senhorios a «invest up to £10,000 per property», média de £5400, a medida secundária «at the discretion of the landlord».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nMinistry of Defence — MOD trade, industry and contracts 2026 — estatísticas oficiais acreditadas, 1 de outubro de 2026: £43,4 mil milhões com a indústria em 2025/26, 40% com dez fornecedores, BAE Systems 16,5%, pagamentos sem concorrência 47% (£20,5 mil milhões); Foreign Military Sales £744 milhões, £469 milhões dos quais para a Boeing; nenhuma separação da despesa por propriedade britânica e estrangeira; os pagamentos do MoD à Babcock equivalem a 63,5% da sua receita mundial.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nMinistry of Defence — Data tables relating to MOD trade, industry and contracts 2026 — Tabela 4a, holdings do setor privado que receberam £50 milhões ou mais em 2025/26. Os países são onde cada holding tem a sede ou o registo.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nBAE Systems — Preliminary results announcement 2025 — 18 de fevereiro de 2026: I\u0026amp;D autofinanciada «£407m», «dividends increased to £1,027m», recompra «at a cost of £502m», «the Group returned £1,529m to shareholders», créditos fiscais de investigação e desenvolvimento de £29m.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nBabcock International — Annual Report and Financial Statements 2026 — ano até 31 de março de 2026: «Total research and development costs expensed in the period was £203.3 million», «£36.7 million dividends paid» e «£155.3 million purchase of own shares».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nHMRC — VAT on energy-saving materials and heating equipment (VAT Notice 708/6) — «A zero rate applies to the installation of certain specified energy-saving materials from 1 May 2023 to 31 March 2027», abrangendo isolamento, painéis solares, baterias e bombas de calor.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nGOV.UK — Boiler Upgrade Scheme: what you can get — £7500 para uma bomba de calor ar-água ou geotérmica, £5000 para uma caldeira a biomassa.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nHMRC — Selling goods or services on a digital platform — os limiares de comunicação de 30 vendas e 2000 €, e que a comunicação «does not automatically mean you owe tax».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nHMRC — No tax changes for online sellers — comunicado de imprensa, 4 de dezembro de 2024.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nHMRC Business Income Manual — BIM20205, the badges of trade — os nove badges, e que nenhum sozinho é conclusivo.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nGOV.UK — Capital Gains Tax: what you pay it on — os bens tributáveis incluem «most personal possessions worth £6,000 or more, apart from your car».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\n","permalink":"https://blogs.damiendye.uk/pt/politics/breathing-space-for-whom/","summary":"O que o Orçamento de 2026 faz de facto por um contribuinte a 40% que trabalha a partir de casa, tem um EV a fazer 20 000 milhas por ano na deslocação da cara-metade para o trabalho, tem painéis solares e uma bateria, e reduziu o gás à água quente e a um pouco de aquecimento. Um livro de contas medida a medida, a partir do documento do próprio Tesouro: o Household Energy Payment de £100, o IVA a 0% na eletricidade, a taxa fixa do gás a passar para o preço por unidade enquanto a taxa fixa da eletricidade, maior, fica, a Gas Shipper Obligation tirada da fatura do gás e passada para os impostos gerais, e a quem paga, porque é que o hidrogénio feito a partir de eletricidade perde para uma bomba de calor a 280%, a taxa por milha eVED numa deslocação de 20 000 milhas, e o arrasto fiscal dos escalões congelados de 2021 a 2031, calculado face ao sítio onde a lei os teria posto, para um contribuinte a 40% e para os mal pagos, que atinge primeiro. Depois, quem recebe o dinheiro em vez disso, a partir das contas do próprio Orçamento: 10 000 fábricas de consumo energético intensivo, operadores de valorização energética de resíduos, fundadores de alto crescimento contra donos comuns que vendem o negócio, pequenas lojas de rua pagas por pequenos vendedores online, centros de dados à frente da fila da rede elétrica, e o reforço da defesa pago em parte com cortes no Warm Homes Plan, com os números do próprio MoD sobre quanto vai para a BAE Systems e quanto é gasto sem concurso. O que não faz pelo isolamento e pelos painéis solares no telhado, onde o IVA volta a subir para 5%, e o que aconteceu ao apoio às bombas de calor. E o que a nova regra do IVA nos marketplaces online significa para quem vende as suas próprias coisas no eBay.","title":"Folga para quem? O Orçamento de 2026 visto de uma casa com um EV, painéis solares e uma bateria"},{"content":"Chegam menos bytes à unidade O VDO é a camada de deduplicação e compressão do kernel Linux. Fica por baixo de um grupo de volumes e trabalha em blocos de 4 KiB. Cada bloco que já viu antes, guarda-o uma só vez.\nO que isso significa para o hardware é simples. Chegam menos bytes à unidade. Escrevi através do VDO uma mistura que era 75% duplicada e 50% compressível, 30 segundos de cada vez, e os contadores da própria unidade disseram que ela recebeu 23 a 28% do que o convidado escreveu. Seis clones completos de um disco de modelo acrescentaram 8 blocos de dados entre todos. Trinta e dois kilobytes.\nBytes que chegaram à unidade Sem VDO, quaisquer dados 100% VDO, 4k aleatório, 75% dup 28% VDO, 128k, 75% dup 23% VDO, 128k, dados aleatórios 100% Fatia dos bytes do convidado que chegou à unidade, execuções de 30 s, média de duas. Mistura: 75% duplicada, 50% compressível. Bytes escritos pelo convidado face aos bytes que a unidade recebeu, 30 segundos de cada carga, média de duas execuções. Sem VDO, a unidade recebe tudo. Com VDO, recebe cerca de um quarto de uma mistura realista, e a totalidade dos dados completamente aleatórios. Menos bytes é menos desgaste, e menos trabalho para qualquer cache na unidade ou no controlador à frente dela. Para lá chegar custa CPU e latência, e numa unidade rápida esse custo é medido mais abaixo face ao mesmo Optane sem VDO nenhum. Em discos rotativos lentos, o mesmo custo desaparece nos tempos de procura, e é aí que isto fica interessante.\nHá duas regras que moldam tudo o que se segue. A pilha é espesso sobre espesso: nada por cima do VDO, nem o próprio VDO, pode prometer mais espaço do que a unidade tem. E os metadados do próprio VDO, o índice e os diários, podem viver em NVMe enquanto os dados vivem num sítio mais lento.\nTodos os números aqui vêm de um único anfitrião Proxmox VE 9.2, um Ryzen 7 5700G com 16 CPUs, kernel 7.0.14-25-pve, LVM 2.03.31 e as ferramentas vdo 8.3.1.1 da Debian, em duas unidades Intel Optane que foram apagadas no fim.\nO que é o VDO e onde fica O kernel descreve o dm-vdo como um alvo device-mapper que «provides block-level deduplication, compression, and thin provisioning»1. Cada bloco de 4 KiB que entra é passado por uma função de hash. Se um bloco idêntico já estiver guardado, o VDO regista uma referência em vez de uma cópia. Os blocos que não são duplicados passam pelo LZ4 e são empacotados vários num bloco físico, e os blocos só com zeros nem sequer são guardados2.\nÉ o LVM que conduz tudo. O lvcreate --type vdo cria um pool VDO, que guarda os blocos reais, e um LV VDO por cima dele com o tamanho virtual que pedires2. Um grupo de volumes espesso vai para cima do LV VDO, e o Proxmox usa-o como armazenamento lvm normal.\nEspesso sobre espesso: LVM sobre VDO Discos VM: LVs espessos o que os convidados veem Grupo de volumes vdovg, 35 GiB o que o Proxmox lê: armazenamento lvm O Proxmox não vê nada abaixo desta linha LV VDO vdolv, 35 GiB virtuais dedup, LZ4, blocos de zeros descartados Pool VDO vdopool, 40 GiB os blocos reais: o vdostats lê isto A unidade: nvme8n1 35 GiB virtuais, nunca mais do que guarda O Proxmox vê um grupo de volumes espesso normal. O VDO fica por baixo do seu volume físico, dimensionado para nunca poder prometer mais do que a unidade guarda. Camada Nome no laboratório O que faz Discos das VMs vm-9901-disk-0 e por aí fora LVs espessos, criados pelo Proxmox Grupo de volumes vdovg, 35 GiB LVM simples, o que o armazenamento lvm do Proxmox lê LV VDO vdolab/vdolv, 35 GiB virtuais deduplicação, LZ4, blocos de zeros descartados Pool VDO vdolab/vdopool, 40 GiB os blocos reais, os metadados e o índice do VDO Físico nvme8n1 VG vdolab Espesso sobre espesso, ou nada O VDO é ele próprio um aprovisionador fino: ao LV VDO pode ser dado qualquer tamanho virtual. Torna-o maior do que o pool consegue guardar e o grupo de volumes por cima fica espesso sobre uma promessa, o que é fino sobre fino descido uma camada. Fiz exatamente isso na primeira construção, um LV VDO de 120 GiB num pool de 40 GiB, e o Proxmox mostrava um terço do armazenamento livre enquanto o VDO estava cheio.\nPor isso dimensiona o LV VDO para o que o pool consegue realmente endereçar, nada mais. O lvcreate imprime esse número, «can address 36.00 GB» neste pool de 40 GiB, e o mapa de blocos do VDO para o espaço lógico sai do mesmo espaço, por isso dei-lhe 35 GiB.\nDepois provei-o da maneira difícil. Um disco de VM a ocupar todas as extensões que o Proxmox lhe deu, 34 GiB, cheio de ponta a ponta com dados aleatórios com os quais o VDO não pode fazer nada:\n# vdostats --human-readable Device Size Used Available Use% Space saving% vdolab-vdopool-vpool 40.0G 38.1G 1.9G 95% 0% O disco esgotou-se no seu próprio fim, como um disco espesso deve. O VDO ainda tinha 1,9 GiB livres, mais do que o 1 GiB que o Proxmox ainda tinha para atribuir. O número do Proxmox é o limite real, e o VDO não pode esgotar-se primeiro.\nO que perdes é o sobrecompromisso: o espaço que a deduplicação poupa aparece como unidade que nunca chega a ser escrita, não como discos extra para o Proxmox. É a troca certa para este artigo, que é sobre o hardware. E também não ponhas um pool lvmthin por cima. Duas camadas finas são dois livros de contas3.\nQuanto custa antes de guardares um byte O VDO mantém um índice de deduplicação, o índice UDS, no próprio pool. Um pool vazio de 40 GiB reportava 4,0 GiB usados e 36,0 GiB disponíveis. O vdolistmetadata, do mesmo pacote vdo, lista todos os blocos de metadados do dispositivo, e explica quase tudo:\nRegião Blocos de 4 KiB Tamanho Índice UDS 679 127 2,59 GiB Diário de recuperação 32 768 128 MiB Contagens de referências e diários, 18 slabs 6372 25 MiB Espaço pequeno demais para um décimo nono slab 336 555 1,28 GiB Total cerca de 4,0 GiB Vale a pena saber a linha das sobras: os slabs têm 2 GiB, por isso dimensiona o pool em slabs inteiros mais a sobrecarga, ou o resto fica simplesmente por usar.\nA RAM é a outra fatura. Paga-se esteja o pool ocupado ou parado:\nCusto Regra do lvmvdo(7) Este pool de 40 GiB Fixo 38 MiB 38 MiB Cache do mapa de blocos 1,15 MiB por MiB de cache, mínimo 150 MiB 150 MiB (128 MiB por omissão) Espaço físico 268 MiB por TiB 11 MiB Índice UDS (denso) mínimo 250 MiB, o valor por omissão 256 MiB Total cerca de 455 MiB O índice denso por omissão cobre uma janela de deduplicação de cerca de 256 GiB, já que um índice denso com 1 GiB de RAM «maintains a 1 TiB deduplication window»2. A cache de 128 MiB do mapa de blocos está dimensionada para «efficient access to 100 GB of logical space at a time», e a documentação do kernel aponta-a como o valor mais importante a ajustar à medida que o conjunto de trabalho cresce1.\nConstruir a pilha Deixar o LVM ver um PV num LV O grupo de volumes fica num LV, e por omissão o LVM ignora LVs como volumes físicos. O devices/scan_lvs liga isso, e a referência do LVM traz o aviso que vem com ele: «Caution is required to avoid using PVs that belong to guest images stored on LVs»4. Um convidado que use LVM dentro do seu próprio disco veria, de outra forma, os seus grupos de volumes aparecerem no anfitrião.\nPor isso o filtro também muda. Na mesma edição. O filtro de origem neste anfitrião só rejeitava zvols ZFS e dispositivos RBD. Acrescentei uma rejeição para todos os discos de VM do Proxmox:\n# lvmconfig devices/global_filter devices/scan_lvs global_filter=[\u0026#34;r|/dev/zd.*|\u0026#34;,\u0026#34;r|/dev/rbd.*|\u0026#34;,\u0026#34;r|/dev/mapper/.*-(vm|base)--[0-9]+--disk--[0-9]+|\u0026#34;] scan_lvs=1 A mesma referência diz que o scan_lvs «does not enable autoactivation of layered VGs»4. O Proxmox não precisa disso. O seu plugin LVM ativa cada disco com lvchange -aey quando a VM arranca5. Testei-o da forma como um arranque deixa as coisas, tudo desativado e depois as mesmas execuções udev do pvscan: o VG por baixo do VDO subiu, e o qm start ativou ele próprio o disco da VM. O senão está por baixo. Com o VG por baixo do VDO incompleto, o mesmo qm start falhou com «Volume group “vdovg” not found».\nO pool VDO, espesso, com as definições na linha de criação O formatador está no pacote vdo da Debian6:\n# apt install vdo Depois o pool. O -L é o espaço real, o -V o tamanho virtual, mantido dentro do que o pool consegue endereçar. A disposição das threads e o tamanho do discard vão na mesma linha, porque nenhum dos dois pode ser mudado depois sem parar todas as VMs do pool:\n# pvcreate /dev/nvme8n1 Physical volume \u0026#34;/dev/nvme8n1\u0026#34; successfully created. # vgcreate vdolab /dev/nvme8n1 Volume group \u0026#34;vdolab\u0026#34; successfully created # lvcreate -y --type vdo -L 40G -V 35G -n vdolv vdolab/vdopool /dev/nvme8n1 --vdosettings \u0026#34;logical_threads=4 physical_threads=4 hash_zone_threads=2 cpu_threads=3 bio_threads=2 ack_threads=1 max_discard=4096\u0026#34; Wiping vdo signature on /dev/vdolab/vdopool. The VDO volume can address 36.00 GB in 18 data slabs, each 2.00 GB. It can grow to address at most 16.00 TB of physical storage in 8192 slabs. If a larger maximum size might be needed, use bigger slabs. Logical volume \u0026#34;vdolv\u0026#34; created. # dmsetup table vdolab-vdopool-vpool 0 73402368 vdo V4 /dev/dm-7 10485760 4096 32768 16380 deduplication on compression on maxDiscard 4096 ack 1 bio 2 bioRotationInterval 64 cpu 3 hash 2 logical 4 physical 4 A disposição das threads é a que é medida mais abaixo para um anfitrião de 16 CPUs; o max_discard=4096 tem a sua própria secção.\nO grupo de volumes e o armazenamento do Proxmox # pvcreate /dev/vdolab/vdolv Physical volume \u0026#34;/dev/vdolab/vdolv\u0026#34; successfully created. # vgcreate vdovg /dev/vdolab/vdolv Volume group \u0026#34;vdovg\u0026#34; successfully created # pvesm add lvm vdo-lvm --vgname vdovg --content images,rootdir --on-volume-remove discard=1 # pvesm status | grep -E \u0026#34;Name|vdo-lvm\u0026#34; Name Type Status Total (KiB) Used (KiB) Available (KiB) % vdo-lvm lvm active 36696064 0 36696064 0.00% O on-volume-remove discard=1 importa, e é tratado mais abaixo.\nO que a deduplicação poupou Escrevi coisas que um anfitrião Proxmox guarda de facto e li os contadores de blocos do VDO depois de cada uma. logical blocks used é o que as camadas de cima escreveram; data blocks used é o que o VDO guardou. Ambos em blocos de 4 KiB.\nO que foi escrito Blocos lógicos acrescentados Blocos de dados acrescentados Poupado Rootfs do Rocky Linux 10, ext4 num disco de 4 GiB 114 505 60 537 47% Seis clones completos dele (qm clone --full, cerca de 4 s cada) 6 291 456 8 99,9999% ISO do Proxmox Datacenter Manager 1.1, 1,36 GiB 356 172 351 965 1,2% A sua reconstrução -auto, praticamente os mesmos bytes 356 399 40 99,99% 4 GiB de zeros 1 048 575 0 100% 1 GiB de dados aleatórios 262 143 262 144 0% Cada clone escreveu os 4 GiB todos, zeros incluídos, porque um clone completo para um LV espesso copia todos os blocos. O VDO guardou os zeros como nada e o resto como referências.\nO VDO é muito bom com dados que já viu antes. E com o nada. É inútil com dados que já estão comprimidos ou cifrados, e é por isso que a primeira ISO, sobretudo squashfs, poupou 1,2%.\nCom o modelo e os seus seis clones no lugar, o Proxmox mostrava o armazenamento 80,01% usado, 28 GiB de discos espessos em 35. A unidade tinha 4,3 GiB, e a maior parte disso era o índice. Em armazenamento espesso é esse o ponto: o Proxmox conta o que foi atribuído, e a unidade carrega o que é realmente diferente.\nO que a unidade recebe realmente As poupanças em disco são uma fotografia. O hardware importa-se com o fluxo. Por isso medi os bytes que chegam à unidade durante a escrita: fio durante 30 segundos, o contador de escritas da unidade em /sys/block antes e depois, o mesmo Optane com e sem VDO, duas vezes cada.\nO que foi comparado no Optane Optane, sem VDO VDO, 16 threads fio, 30 s LV simples nvme8n1: contador de escritas lido aqui fio, 30 s LV no vdovg LV VDO: dedup, LZ4 pool VDO nvme8n1: contador de escritas lido aqui As duas pilhas por trás de cada número com e sem VDO no Optane: os mesmos trabalhos fio, a mesma unidade, o contador de escritas lido em baixo. O contador é honesto. Ao longo de toda a execução somou 794 GB, e o «Data Units Written» do SMART da própria unidade também se moveu 794 GB.\nCarga, 30 s Sem VDO Com VDO, 16 threads Bytes que chegam à unidade Escrita aleatória 4k, QD32, 4 trabalhos, 75% dup, 50% compress 582 013 IOPS, p99 244 µs 460 887 IOPS, p99 1,05 ms 28% Escrita 128k, QD8, 75% dup, 50% compress 2345 MiB/s, p99 490 µs 2179 MiB/s, p99 1,02 ms 23% Escrita aleatória 4k, QD32, 4 trabalhos, dados aleatórios 571 721 IOPS 272 366 a 381 005 IOPS 59 a 100% Escrita 128k, QD8, dados aleatórios 2346 MiB/s 1051 a 1854 MiB/s 100% Numa mistura realista, o VDO manteve 79 a 93% do débito da unidade nua e enviou-lhe um quarto dos bytes. Com dados completamente aleatórios não poupa nada e custa muito, e as duas execuções discordaram tanto que só dou o intervalo.\nA latência de cauda é o processamento do próprio VDO, não a unidade. Um p99 de cerca de um milissegundo, contra um quarto disso sem VDO.\nO Optane não tem cache para aliviar Estas unidades dizem-no elas próprias: vwc 0 no nvme id-ctrl, write through em /sys/block. Um Optane escreve no lugar sem área de passagem em DRAM ou SLC, por isso neste hardware o ganho são os bytes e o desgaste, não uma cache da unidade que enche mais devagar. Um SSD NAND com cache SLC, ou um controlador RAID com cache write-back, é onde menos bytes também compram capacidade de resposta. É a secção de RAID6 mais abaixo.\nAjustar as threads do VDO às CPUs De origem, o LVM dá ao VDO dez threads: uma lógica, uma física, uma de zona de hash, duas de CPU, quatro de submissão bio, uma de confirmação. Num anfitrião de 16 CPUs isso deixa a maior parte da máquina parada enquanto o trabalho do mapa de blocos do VDO fica em fila atrás de uma única thread lógica.\nA documentação do kernel explica os botões1. As threads lógicas são cada uma dona de «a disjoint section of the block map», as físicas de «a disjoint section of the data blocks», e ambas «can increase throughput», enquanto threads a mais «can waste resources and increase contention». As threads lógicas vão até 60, as físicas até 16, e o pool precisa de pelo menos um slab por thread física. Com 18 slabs, este tem espaço.\nDisposição logical physical hash cpu bio ack Total Valores por omissão do LVM 1 1 1 2 4 1 10 Ajustada a 16 CPUs 4 4 2 3 2 1 16 O dobro disso 8 8 4 6 2 2 30 Cada disposição correu os mesmos trabalhos fio duas vezes, intercalados, com dados aleatórios, mais os sete discos clone lidos ao mesmo tempo, da forma como sete VMs arrancam juntas:\nTeste, média de duas execuções Por omissão Ajustada a 16 CPUs O dobro disso Escrita aleatória 4k, QD32, 4 trabalhos 292 466 IOPS 365 314 IOPS 302 461 IOPS p99 da escrita aleatória 4k, 4 trabalhos 2,1 a 3,7 ms 1,5 a 1,6 ms 2,1 a 2,2 ms Escrita sequencial 1M 1153 MiB/s 1729 MiB/s 1507 MiB/s Leitura aleatória 4k, QD32, 4 trabalhos 507 450 IOPS 503 827 IOPS 485 263 IOPS Sete discos clone lidos ao mesmo tempo 7,5 s 3,1 s 3,4 s A disposição ajustada ao número de CPUs ganha quase tudo: mais um quarto de escritas paralelas, mais metade nas escritas sequenciais, sete discos lidos 2,4 vezes mais depressa, e uma cauda mais apertada. Duplicar outra vez é pior em toda a linha. É a contenção de que a documentação avisa. Os valores por omissão foram também os menos estáveis, com a leitura dos sete discos a oscilar entre 6,1 e 8,8 s de uma execução para a outra.\nComo tal, a regra é uma thread do VDO por CPU, distribuídas pelos tipos como acima, com as threads físicas limitadas pelo número de slabs.\nQuanto custa o VDO em hardware rápido O mesmo Optane sem VDO, contra o VDO com as threads ajustadas, dados aleatórios, média de duas execuções:\nTeste Optane, sem VDO VDO, 16 threads Escrita aleatória 4k, QD1 42 294 IOPS, 19,4 µs 55 806 IOPS, 12,1 µs Escrita aleatória 4k, QD32 142 416 IOPS 144 292 IOPS Escrita aleatória 4k, QD32, 4 trabalhos 572 293 IOPS 365 314 IOPS Leitura aleatória 4k, QD1 55 276 IOPS, 14,4 µs 27 988 IOPS, 31,4 µs Leitura aleatória 4k, QD32, 4 trabalhos 586 463 IOPS 503 827 IOPS Escrita sequencial 1M, QD8 2348 MiB/s 1729 MiB/s Sete discos de modelo lidos ao mesmo tempo 11,1 s 3,1 s Lê-o sem rodeios. Uma única leitura aleatória demora mais do dobro através do VDO. As escritas aleatórias paralelas perdem mais de um terço, as escritas sequenciais um quarto. Numa unidade tão rápida, os 17 µs de trabalho extra do VDO por leitura são a maior parte da leitura.\nA escrita QD1 ser mais rápida através do VDO não é um almoço grátis. Longe disso. O VDO confirma uma escrita antes de ela estar na unidade, e a documentação do kernel diz claramente que «unflushed writes may or may not persist after a crash»1. Esse número mede uma confirmação. Um convidado que faça flush, e todos os sistemas de ficheiros fazem, recebe a durabilidade que pede.\nA linha dos sete discos é a que o VDO ganha sem discussão, e vale a pena perceber porquê. Sete cópias simples têm de ler 28 GiB de bytes reais, zeros incluídos. O VDO lê um conjunto de blocos partilhados e salta os zeros.\nPortanto, em flash rápido, o VDO troca latência por bytes. Cada um desses microssegundos é custo fixo, porém, e não cresce quando a unidade por baixo fica mais lenta.\nPôr os metadados do VDO em NVMe O VDO não tem um dispositivo de metadados separado. Tudo vive no único LV do pool. Mas o código-fonte do dm-vdo mostra que a disposição é fixa, e um LV pode ser construído a partir de pedaços em unidades diferentes.\nO código de formatação coloca as raízes do mapa de blocos a partir do início da região de dados, depois o resumo dos slabs e o diário de recuperação a partir do fim, e enche o meio com slabs7. O índice UDS fica antes de tudo isso, logo a seguir ao bloco de geometria. O vdolistmetadata confirmou-o no pool do laboratório:\nBlocos O quê Onde fica 0 a 679 188 geometria, índice UDS, superbloco, raízes do mapa de blocos os primeiros 2,59 GiB dentro de cada slab de 2 GiB dados, folhas do mapa de blocos, 130 blocos de referências e um diário de slab de 224 blocos espalhados pelo pool 10 452 928 a 10 485 695 diário de recuperação os últimos 128 MiB, quase 10 485 696 a 10 485 759 resumo dos slabs os últimos 256 KiB de todos Por isso constrói o LV do pool em três pedaços: a cabeça em NVMe, o meio na unidade lenta, a cauda em NVMe. VDO com os metadados em NVMe Discos VM: LVs espessos o que os convidados veem Grupo de volumes vdovg o que o Proxmox lê LV VDO, 35 GiB virtuais dedup, LZ4, zeros descartados cabeça meio: os slabs cauda LV do pool VDO, três segmentos Unidade lenta: nvme8n1 dados, contagens de referências NVMe: nvme6n1 índice, raízes, diário de recuperação A pilha completa com os metadados separados. O Proxmox vê o mesmo grupo de volumes; por baixo, o LV do pool são três segmentos em duas unidades. Depois converte-o num pool VDO, o que o lvmvdo(7) documenta para um LV existente2. Aqui o nvme6n1 faz de NVMe e o nvme8n1 de unidade lenta:\n# lvcreate -y -L 3G -n splitpool vdolab /dev/nvme6n1 Logical volume \u0026#34;splitpool\u0026#34; created. # lvextend -l +9408 vdolab/splitpool /dev/nvme8n1 Size of logical volume vdolab/splitpool changed from 3.00 GiB (768 extents) to 39.75 GiB (10176 extents). Logical volume vdolab/splitpool successfully resized. # lvextend -l +64 vdolab/splitpool /dev/nvme6n1 Size of logical volume vdolab/splitpool changed from 39.75 GiB (10176 extents) to 40.00 GiB (10240 extents). Logical volume vdolab/splitpool successfully resized. # lvconvert -y --type vdo-pool -n splitlv -V 35G vdolab/splitpool --vdosettings \u0026#34;logical_threads=4 physical_threads=4 hash_zone_threads=2 cpu_threads=3 bio_threads=2 ack_threads=1 max_discard=4096\u0026#34; WARNING: Converting logical volume vdolab/splitpool to VDO pool volume with formatting. THIS WILL DESTROY CONTENT OF LOGICAL VOLUME (filesystem etc.) The VDO volume can address 36.00 GB in 18 data slabs, each 2.00 GB. It can grow to address at most 16.00 TB of physical storage in 8192 slabs. If a larger maximum size might be needed, use bigger slabs. Logical volume \u0026#34;splitlv\u0026#34; created. Converted vdolab/splitpool to VDO pool volume and created virtual vdolab/splitlv VDO volume. Depois confirma que o VDO pôs os metadados onde estão as extensões:\n# vdolistmetadata /dev/mapper/vdolab-splitpool_vdata | grep -v \u0026#34;slab [0-9]* \\(reference\\|journal\\)\u0026#34; 0 .. 0: geometry block 1 .. 679127: index 679128 .. 679128: super block 679129 .. 679188: block map tree roots 10452928 .. 10485695: recovery journal 10485696 .. 10485759: slab summary Uma extensão são 1024 blocos. A cabeça em NVMe são as extensões 0 a 767, blocos 0 a 786 431, o que cobre o índice e as raízes, com cerca de 420 MiB dos dados do primeiro slab à boleia. A cauda em NVMe são as extensões 10 176 a 10 239, blocos 10 420 224 em diante, o que cobre o diário de recuperação e o resumo dos slabs.\nOs metadados do VDO nas pontas, em NVMe extensões 0 a 767 extensões 768 a 10 175 10 176 a 10 239 NVMe (nvme6n1) unidade lenta (nvme8n1) NVMe (nvme6n1) índice UDS, superbloco, raízes do mapa de blocos 18 slabs: dados, folhas do mapa, contagens de refs, diários de slab diário de recuperação, resumo dos slabs Fora de escala: a cabeça tem 3 GiB, o meio 36,75 GiB, a cauda 256 MiB. O LV do pool em três segmentos. Os metadados fixos do VDO ficam nas duas pontas, por isso as duas pontas vão para NVMe e os slabs vão para a unidade lenta. Quanto do trabalho do VDO vai com eles, por execução de 30 segundos, contado por dispositivo:\nCarga I/Os de escrita no NVMe I/Os de escrita na unidade de dados Fatia do NVMe Escrita aleatória 4k, 75% dup, 50% compress 388 430 a 538 223 3,42 a 3,63 milhões 10 a 13% Escrita 128k, 75% dup, 50% compress 458 214 a 634 167 3,30 a 3,53 milhões 12 a 15% Escrita aleatória 4k, dados aleatórios 181 457 a 384 507 3,25 a 8,49 milhões 4 a 5% Leitura aleatória 4k 0 escritas, 2% das leituras 0 Mais ou menos um décimo das operações de escrita: o diário de recuperação, as atualizações do índice, e aquela fatia do slab 0 na cabeça em NVMe. São escritas de metadados pequenas e dispersas, o tipo que um disco rotativo pior aguenta. Em NVMe não são nada.\nDois limites. Os metadados por slab, contagens de referências, diários de slab e folhas do mapa de blocos, vivem dentro dos slabs, e ficam com os dados. E não testei aumentar um pool dividido. O diário é colocado a partir do fim, por isso depois de qualquer lvextend corre o vdolistmetadata outra vez e vê para onde foi antes de confiares nele.\nVDO sobre bcache: um NVMe, dois trabalhos O bcache é a outra maneira de pôr flash à frente de discos lentos. É o que já uso por baixo do Ceph em unidades rotativas, com todas as definições explicadas no artigo sobre o bcache. Por isso a pergunta é o que o VDO faz a uma cache bcache quando fica por cima dela.\nUm NVMe faz os dois trabalhos de flash, dividido em duas partições:\nDispositivo Tamanho Trabalho nvme8n1p1 32 GiB cache do bcache, writeback nvme8n1p2 8 GiB cabeça e cauda do VDO: índice, raízes, diário de recuperação, resumo dos slabs nvme6n1 349 GiB dispositivo de suporte do bcache, onde vivem os dados /dev/bcache0 349 GiB o meio do pool VDO, os slabs As duas unidades são outra vez Optanes, por isso o nvme6n1 está a fazer de disco rotativo. Tem isso em mente em todos os números abaixo. O dispositivo de suporte aqui é rápido, por isso isto mede o que chega à cache, não quanto tempo um disco demora a esvaziá-la.\nVDO sobre bcache: um NVMe, dois trabalhos Discos VM: LVs espessos o que os convidados veem Grupo de volumes vdovg o que o Proxmox lê LV VDO, 35 GiB virtuais dedup, LZ4, zeros descartados cabeça meio: os slabs cauda LV do pool VDO, três segmentos bcache0, writeback um quarto dos bytes do convidado p1: a cache nvme6n1: dados cache de 32 GiB, suporte de 349 GiB p2: metadados do VDO p1 e p2: um só Optane, nvme8n1 VDO sobre bcache. As pontas do pool vão para a partição de metadados, os slabs passam pelo bcache, e as duas partições partilham um Optane. As partições e o conjunto de cache, com as definições desse artigo:\n# sgdisk --zap-all /dev/nvme8n1 # sgdisk -n 1:0:+32G -c 1:bcache-cache -n 2:0:+8G -c 2:vdo-meta /dev/nvme8n1 # blockdev --rereadpt /dev/nvme8n1 # apt install bcache-tools # make-bcache -C /dev/nvme8n1p1 -B /dev/nvme6n1 --writeback # B=/sys/block/bcache0/bcache # echo 0 \u0026gt; $B/sequential_cutoff # echo 40 \u0026gt; $B/writeback_percent # echo 81920 \u0026gt; $B/writeback_rate # echo 20480 \u0026gt; $B/writeback_rate_minimum # CS=/sys/fs/bcache/47bac36f-a1d5-4e8e-8695-2e7ff944172d # echo 0 \u0026gt; $CS/congested_read_threshold_us # echo 0 \u0026gt; $CS/congested_write_threshold_us Essas linhas echo duram até ao próximo arranque. A regra udev do artigo sobre o bcache é o que as faz ficar.\nDepois o pool, dividido da mesma forma que acima, com o nvme8n1p2 para as duas pontas e o bcache0 para o meio:\n# pvcreate /dev/bcache0 /dev/nvme8n1p2 # vgcreate vdolab /dev/bcache0 /dev/nvme8n1p2 # lvcreate -y -L 3G -n vdopool vdolab /dev/nvme8n1p2 # lvextend -l +9408 vdolab/vdopool /dev/bcache0 # lvextend -l +64 vdolab/vdopool /dev/nvme8n1p2 # lvconvert -y --type vdo-pool -n vdolv -V 35G vdolab/vdopool --vdosettings \u0026#34;logical_threads=4 physical_threads=4 hash_zone_threads=2 cpu_threads=3 bio_threads=2 ack_threads=1 max_discard=4096\u0026#34; # lvs -a --segments -o lv_name,lv_size,segtype,seg_start_pe,seg_size_pe,devices vdolab LV LSize Type Start SSize Devices vdolv 35.00g vdo 0 8960 vdopool(0) vdopool 40.00g vdo-pool 0 10240 vdopool_vdata(0) [vdopool_vdata] 40.00g linear 0 768 /dev/nvme8n1p2(0) [vdopool_vdata] 40.00g linear 768 9408 /dev/bcache0(0) [vdopool_vdata] 40.00g linear 10176 64 /dev/nvme8n1p2(768) O vdolistmetadata imprimiu os mesmos intervalos de blocos que a construção dividida, por isso o índice e os dois diários ficam no nvme8n1p2. O vdovg e o armazenamento do Proxmox vão para cima exatamente como antes.\nO que chega à cache A comparação é um LV de 8 GiB diretamente no bcache0 contra um LV de 8 GiB no vdovg, os mesmos trabalhos fio durante 30 segundos, duas vezes, com a cache esvaziada e limpa entre cada execução. Os contadores dos dispositivos em /sys/class/block dizem para onde foram os bytes.\nO que foi comparado no bcache só bcache VDO sobre bcache fio, 30 s LV de 8 GiB no bcache0 bcache0, writeback p1: a cache nvme6n1: dados fio, 30 s LV de 8 GiB no vdovg LV e pool VDO, 16 threads bcache0, writeback p2: meta p1: a cache nvme6n1: dados As duas pilhas por trás dos números do bcache. A mesma cache, a mesma unidade de suporte; a única diferença é o VDO por cima. 75% dup, 50% compress, 30 s Só bcache VDO sobre bcache Escrita aleatória 4k, QD32, 4 trabalhos 212 222 e 205 585 IOPS 390 206 e 304 757 IOPS p99 1,89 e 2,04 ms 1,45 e 2,54 ms O convidado escreveu 24,29 e 23,53 GiB 44,67 e 34,88 GiB Escrito na cache do bcache 25,00 e 24,26 GiB 11,48 e 10,44 GiB Escrito na partição de metadados do VDO 1,18 e 0,59 GiB Escritas na cache por byte do convidado 103% 26 e 30% Deixado sujo na cache no fim 6,0 e 6,5 GiB 5,5 e 5,2 GiB Escrita 128k, QD8 2001 e 1985 MiB/s 1878 e 1416 MiB/s Escritas na cache por byte do convidado, 128k 101% 24 e 27% O bcache sozinho chegou ao máximo de cerca de 210 000 escritas pequenas por segundo, e escreveu cada byte na cache mais 3% seus. Põe o VDO à frente e a cache recebeu um quarto dos bytes. Na primeira execução, a mesma cache aguentou então 390 206 escritas por segundo, quase o dobro, e mesmo assim acabou com menos dados sujos à espera da unidade lenta. A cache era o limite. O VDO mudou-o de sítio.\nA segunda execução é a honesta para um pool que já está em uso. O fio semeia os seus geradores da mesma maneira em todas as execuções, por omissão8, por isso a segunda execução escreveu dados que o índice já tinha visto, a apontar para blocos que entretanto tinham sido descartados. O VDO trata o índice como pistas e lê cada bloco candidato para verificar que é mesmo um duplicado antes de o partilhar9. Durante um teste só de escrita, essa segunda execução leu 7,11 GiB de volta da cache e 1,20 GiB da unidade de dados. A primeira leu 0,12 GiB. Um conselho desatualizado não é de graça, e num pool onde as VMs vêm e vão vai haver sempre algum.\nOs dados aleatórios são o outro lado da questão:\nDados aleatórios, 30 s Só bcache VDO sobre bcache Escrita aleatória 4k, QD32, 4 trabalhos 205 984 e 203 066 IOPS 203 186 e 85 882 IOPS p99 2,04 e 2,15 ms 5,7 e 17,7 ms Escrita 128k, QD8 2038 e 2017 MiB/s 878 e 357 MiB/s Leitura aleatória 4k, QD1 36 609 e 36 639 IOPS, 21,6 µs 26 345 e 26 202 IOPS, 33,6 e 33,7 µs Leitura aleatória 4k, QD32, 4 trabalhos 471 585 e 471 730 IOPS 335 461 e 336 941 IOPS Nada para poupar, por isso o VDO é pura sobrecarga, e na execução com o índice desatualizado mais do que reduziu para metade as escritas pequenas. Todas as leituras nas duas colunas vieram da cache. Os 12 µs a mais do VDO são o mesmo custo fixo que acrescenta no Optane nu.\nPortanto, onde os dados se repetem, os dois empilham-se bem. A cache recebe um quarto dos bytes, aguenta uma rajada durante mais tempo, e tem menos para escrever de volta para os discos. Onde não se repetem, o bcache fica melhor sozinho.\nEm RAID6 de hardware com HDD: raciocinado, não medido Não tenho nenhum anfitrião com RAID6 em HDD onde testar, por isso esta secção é raciocínio construído sobre as medições acima. Mede o teu próprio array antes de confiares nela.\nVDO em RAID6 com HDD, raciocinado Discos VM: LVs espessos o que os convidados veem Grupo de volumes vdovg o que o Proxmox lê LV VDO, espesso dedup, LZ4, zeros descartados cabeça meio: os slabs cauda LV do pool VDO, três segmentos Disco virtual RAID6 um quarto dos bytes do convidado Cache write-back do controlador quatro vezes a folga HDDs uma procura engole os 17 µs do VDO NVMe índice e diários fora dos discos A pilha sobre a qual esta secção raciocina, não uma que eu tenha medido: slabs no disco virtual RAID6 atrás da cache do controlador, índice e diários num NVMe. Em RAID6 com HDD O que o VDO muda Escritas que chegam ao array cerca de um quarto, numa mistura como a que foi medida Cache write-back do controlador enche a um quarto do ritmo, por isso aguenta uma rajada cerca de quatro vezes mais tempo Custo de CPU do VDO 17 µs por leitura, perdidos dentro de uma procura de 5 a 10 ms Escritas do diário de recuperação mais ou menos um décimo dos I/Os de escrita, pequenas e com flush: põe-nas em NVMe Consultas ao índice vigia o dedupe advice timeouts no vdostats; em armazenamento lento o VDO pode desistir de procurar e escrever o duplicado na mesma Ler um clone do princípio ao fim mais lento: os seus blocos apontam para os do modelo, espalhados pelo array As duas primeiras linhas são a resposta do hardware. Enquanto a cache do controlador, com bateria ou com flash, tem espaço, o convidado vê a latência da cache. Quando enche, o convidado vê os discos. Manda-lhe um quarto dos bytes e a mesma cache dá cerca de quatro vezes a folga, e tem um quarto para esvaziar. A secção do bcache acima é isso medido com uma cache em software no lugar da do controlador.\nA terceira é a razão pela qual o VDO pertence mais aos discos lentos do que aos rápidos. No Optane, o VDO duplicou a latência de leitura. Em unidades de 7200 rpm, o mesmo custo fixo desaparece numa procura.\nAs três últimas são os custos. Uma tempestade de arranque de clones idênticos fica mais rápida, mas um clone lido de ponta a ponta fica mais lento, porque a deduplicação o espalha. E as pequenas escritas do próprio VDO também caem no array, que é o argumento a favor da disposição dividida acima: índice e diário em NVMe, slabs no RAID6.\nApagar um disco: fazer o Proxmox descartá-lo Remover um LV liberta as suas extensões no LVM. Não diz ao VDO que os blocos estão por usar, por isso o VDO fica com eles. A documentação do kernel diz porque é que isso importa: «If the vdo is thinly provisioned, discarding unused blocks is essential to prevent the target from running out of space»1. Em armazenamento espesso não se pode esgotar, mas os blocos não descartados continuam a ser espaço de unidade reservado para dados que não são de ninguém.\nA opção on-volume-remove discard=1 no armazenamento é a solução. O Proxmox descreve-a como emitir «discard (TRIM) requests before removal»5:\nApagar Blocos VDO libertados armazenamento lvm simples, um disco com 1 GiB 0 com on-volume-remove discard=1, o mesmo 262 140, o 1 GiB todo Mas é lento num disco grande. Apagar o disco de 34 GiB do teste de enchimento levou 262,6 s ao Proxmox, enquanto o blkdiscard no mesmo tipo de dados despachou 15 GiB em 2,25 s. Por isso, para tudo o que for grande, faz blkdiscard ao disco primeiro e depois apaga-o.\nO tamanho do discard também importa. O max_discard por omissão do VDO é um bloco de 4 KiB por pedido1:\nDiscard de 15 GiB de dados aleatórios Tempo decorrido CPU (sys) max_discard=1, o valor por omissão 8,06 s 8,06 s max_discard=4096, 16 MiB 2,25 s 0,00 s Dentro dos convidados, liga a opção Discard da unidade para que o TRIM deles chegue ao armazenamento10, e corre o fstrim de forma agendada.\nOnde merece o seu lugar Serve Não serve muitas VMs a partir dos mesmos poucos modelos bases de dados e trabalho limitado pela latência em profundidade RAID6 em HDD atrás de uma cache write-back do controlador um anfitrião todo NVMe que precisa de cada microssegundo dados em discos rotativos com um NVMe para os metadados do VDO dados já comprimidos: multimédia, cópias de segurança, ISO bcache à frente de dados rotativos, onde os dados se repetem bcache à frente de dados que não se repetem unidades em que a resistência à escrita é o limite discos de convidados cifrados, que nunca deduplicam um anfitrião com meio gigabyte de RAM de sobra por pool um pool pequeno, onde o índice come um décimo Definição Por omissão Define-a como Mudá-la depois Tamanho virtual do VDO -V o que pedires não mais do que o pool consegue endereçar só aumentar, nunca encolher Threads do VDO 10, uma lógica uma por CPU, distribuídas como acima só com as VMs do pool paradas max_discard 1, que são 4 KiB 4096, que são 16 MiB só com as VMs do pool paradas on-volume-remove no armazenamento não definido discard=1 sim, pvesm set Discard em cada disco virtual desligado ligado sim, por disco scan_lvs e o filtro 0, sem rejeição de discos de VM 1, discos de VM rejeitados sim, no lvm.conf Nada disto é difícil. Nada disto é o valor por omissão.\nA escrita mais barata é a que nunca envias O que me impressiona no VDO é quão mal ele é vendido. Aparece como uma maneira de pôr num disco mais do que o disco guarda, e essa é a coisa menos útil que faz. Fi-lo sem querer na primeira construção, e o Proxmox mostrava um terço do armazenamento livre enquanto o VDO estava cheio. O sobrecompromisso é um empréstimo, e a unidade cobra-o à velocidade máxima de escrita.\nO valor real está na linha que a maior parte das pessoas nunca mede. Um quarto dos bytes a chegar à unidade é um quarto do desgaste e uma cache do controlador que dura quatro vezes mais. Isso não é capacidade. É o hardware a fazer menos trabalho para o mesmo resultado, que é o único tipo de poupança que não volta para te morder.\nCusta CPU, e em flash rápido custa latência, e ambos são fixos. É essa a troca, dita sem rodeios: tempo de processador gasto para que a parte lenta e cara da máquina faça menos. Em discos rotativos atrás de um controlador RAID ou de um bcache, com o índice e o diário num NVMe, essa conta sai bem. Num anfitrião todo Optane, na maior parte dos casos não sai.\nE não toma conta de si próprio. Todos os valores por omissão que importam estão errados para este trabalho: dez threads em dezasseis CPUs, um tamanho de discard que queima um núcleo, um tamanho virtual que se pode pôr em qualquer coisa, e nada na configuração do armazenamento a dizer ao Proxmox para devolver espaço. Nada disso está escondido. Está tudo na documentação.\nPor isso constrói-o espesso, uma vez, como deve ser, com as definições na linha de criação e os metadados onde pertencem. Faz isso e a unidade faz um quarto do trabalho. Salta isso e compraste mais uma camada que promete mais do que tem.\nLinux kernel documentation — dm-vdo — o alvo «provides block-level deduplication, compression, and thin provisioning»; «If the vdo is thinly provisioned, discarding unused blocks is essential to prevent the target from running out of space»; «unflushed writes may or may not persist after a crash»; a cache de 128 MB do mapa de blocos permite «efficient access to 100 GB of logical space at a time»; os parâmetros das threads, os seus limites e as orientações de afinação; maxDiscard «in 4096-byte blocks».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nlvmvdo(7) — Support for Virtual Data Optimizer in LVM — pool VDO e LV VDO, a conversão de um LV existente com lvconvert --type vdo-pool, o uso de memória, o índice denso e a sua janela de 1 TiB por GiB de RAM, e «You cannot reduce the size of a VDOPoolLV».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLinux kernel source — drivers/md/dm-thin.c — o disable_discard_passdown_if_not_supported() desliga a passagem do discard quando o dispositivo de dados não consegue receber um bloco fino inteiro, que é o que o valor por omissão do VDO faz por baixo de um thin pool.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLVM2 — conf/example.conf.in — devices/scan_lvs: «Caution is required to avoid using PVs that belong to guest images stored on LVs» e «This option does not enable autoactivation of layered VGs».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nProxmox pve-storage — LVMPlugin.pm — a propriedade on-volume-remove, «Use \u0026lsquo;discard=1\u0026rsquo; to issue discard (TRIM) requests before removal»; os volumes são ativados individualmente com lvchange -aey em vez de vgchange -aly.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nDebian trixie — package vdo — «Management tools for Virtual Data Optimizer», versão 8.3.1.1-1, que fornece o vdoformat, o vdostats e o vdolistmetadata.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLinux kernel source — drivers/md/dm-vdo/encodings.c — o vdo_initialize_layout() cria a partição do mapa de blocos no início, as partições do resumo dos slabs e do diário de recuperação no fim, e o depósito de slabs com o que sobra.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nfio documentation — randrepeat — «Seed all random number generators in a predictable way so the pattern is repeatable across runs. Default: true.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLinux kernel documentation — Design of dm-vdo — «vdo treats the locations in the index as hints, and reads each indicated block to verify that it is indeed a duplicate before sharing the existing block with a new one.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nProxmox VE documentation — Qemu/KVM Virtual Machines, Trim/Discard — «For the guest to be able to issue TRIM commands, you must enable the Discard option on the drive.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\n","permalink":"https://blogs.damiendye.uk/pt/proxmox/vdo-dedup-for-local-lvm/","summary":"O VDO é a camada de deduplicação e compressão do kernel. Por baixo de um grupo de volumes LVM espesso, dá aos discos locais do Proxmox VE uma escrita de uma única cópia de cada bloco que as VMs partilham, por isso chegam muito menos bytes à unidade. Este artigo constrói-o espesso sobre espesso num anfitrião Proxmox VE 9, com o VDO dimensionado para o espaço que realmente tem para que nada por cima dele possa sobrecomprometer, a definição scan_lvs do lvm.conf e o seu filtro, e as threads do VDO ajustadas ao número de CPUs. Mede o que a deduplicação poupou num modelo e em seis clones completos, duas ISO, zeros e dados aleatórios, quantos bytes a unidade recebeu de facto face ao que o convidado escreveu, e quanto custa o VDO face ao mesmo Intel Optane sem VDO nenhum. Depois constrói o pool com o índice e os diários do VDO em NVMe e os dados num segundo dispositivo, prova a disposição com o vdolistmetadata, mede como o I/O se divide, e a seguir põe o VDO por cima do bcache com um NVMe particionado entre a cache do bcache e os metadados do VDO, e mede quantos bytes chegam à cache com e sem VDO. Raciocina sobre o que tudo isto significa em RAID6 de hardware com HDD, e trata do discard ao apagar.","title":"VDO por baixo do LVM local do Proxmox: chegam menos bytes à unidade"},{"content":"Duas definições que fizeste uma vez e esqueceste O Proxmox VE 9 faz duas coisas úteis por ti sem que lhe peças. Dá a um convidado Fisher-Price OS (Windows) as funcionalidades paravirtuais de que precisa para correr bem no KVM, e carrega microcódigo de CPU atual no arranque.\nAmbas são automáticas. Ambas dependem também de uma decisão que tomaste uma vez, possivelmente há anos, e para a qual não voltaste a olhar.\nA primeira depende do OS Type que escolheste quando a VM foi criada. Escolhe uma das entradas Microsoft Windows e o Proxmox acrescenta os enlightenments Hyper-V em cada arranque. Deixa-o em Other, o que é fácil de fazer quando estás a importar um disco ou a clonar algo antigo, e o convidado não recebe nenhum. Arranca, corre, é mais lento, e nada te avisa.\nA segunda depende de como o host chegou à versão 9. O instalador da 9.0 ativa o componente de firmware do Debian e instala o pacote de microcódigo para o teu CPU. Um host atualizado a partir da 8.x mantém os repositórios que tinha, e na maioria deles isso significa nenhum pacote de microcódigo. Num host AMD Zen 5 com o kernel 6.17.9 ou mais recente, essa não é uma falha teórica: os convidados que usam os tipos de CPU EPYC deixam de arrancar.\nDuas predefinições, duas escolhas esquecidas Uma VM: decidido pelo seu OS Type OS Type, definido uma vez Microsoft Windows Other ou Linux flags hv_ acrescentadas em cada arranque nenhuma e nenhum aviso Um host: decidido por como chegou à 9 host Proxmox VE 9 instalador 9.x atualizado da 8.x pacote de microcódigo instalado sem pacote pve8to9 só avisa Ambas as predefinições dependem de uma escolha feita muito antes de alguma coisa correr mal. Em cada caso, o caminho da direita é aquele sobre o qual nada te avisa. O resto deste artigo trata de cada uma por sua vez: o que é, a regra exata que o Proxmox aplica, como a ligar onde falta e como provar que pegou. As regras vêm do código do qemu-server e do pve-manager num host 9.2 em funcionamento, não da memória, porque duas delas não são o que a maioria das pessoas adivinharia.\nO que é realmente um enlightenment Um sistema operativo convidado escrito para hardware real gasta muito esforço em coisas que são desperdício dentro de uma VM. Programa temporizadores através de chips emulados, fica a rodar em locks detidos por um vCPU que nem sequer está agendado, e dispara watchdogs quando o host rouba uns milissegundos.\nA paravirtualização resolve isso deixando o convidado saber que é um convidado e falar diretamente com o hipervisor. O Linux faz isto com as interfaces próprias do KVM. O Fisher-Price OS (Windows) só fala um dialeto paravirtual, o do Hyper-V, por isso o KVM implementa esse dialeto e diz ao convidado que está a correr num hipervisor compatível com Hyper-V. Cada peça dele chama-se um enlightenment.\nNada disto está ligado a menos que algo o peça. A documentação do QEMU é clara: «No Hyper-V enlightenments are enabled by default by either KVM or QEMU»1. No Proxmox, quem pede é o qemu-server, e só pede quando o tipo de SO é uma das entradas Microsoft Windows.\nPodes ver a diferença em qualquer host. Esta é uma VM Linux no meu nó 9.2, ostype: l26, tipo de CPU host:\n# qm showcmd 101 --pretty | grep -- -cpu -cpu host,+kvm_pv_eoi,+kvm_pv_unhalt \\ Duas flags KVM para o tratamento paravirtual de interrupções e spinlocks do próprio Linux, e nenhuma flag hv_. Correto para Linux. Errado para um convidado que só entende Hyper-V.\nO que cada enlightenment faz, segundo as descrições do QEMU1:\nFlag O que o convidado recebe O que poupa hv_time relógio de referência Hyper-V e página TSC leituras de timestamp sem saída hv_relaxed indicação para desativar os timeouts do watchdog timeouts falsos quando um vCPU é desagendado hv_vapic página de assistência VP para o APIC fim de interrupção sem saída hv_spinlocks spinlocks paravirtuais, número de tentativas antes de avisar o host rodar num lock cujo detentor não está a correr hv_vpindex o seu próprio índice de processador virtual pré-requisito para os quatro seguintes hv_runtime quanto tempo cada vCPU correu realmente uma visão honesta do tempo roubado hv_synic, hv_stimer controlador de interrupções e temporizadores sintéticos hardware de temporização emulado hv_ipi enviar IPIs a muitos vCPUs numa só hiperchamada uma saída APIC por CPU de destino hv_reset reinício através do hipervisor hv_evmcs VMCS enlightened, só Intel virtualização aninhada mais rápida hv_tlbflush invalidação de TLB paravirtual esperar por vCPUs que não estão a correr O tipo de SO é o interruptor A regra vive numa única função, get_hyperv_enlightenments, no CPUConfig.pm do qemu-server2. Primeiro, o tipo de SO é convertido num número de versão: win11 passa a 11, win10 passa a 10, w2k8 e wvista passam ambos a 6, e os tipos XP e 2003 passam a 5. Linux, Other e tudo o resto passam a 0.\nDepois as barreiras correm por ordem.\nQue flags hv_ o qemu-server acrescenta, barreira a barreira Do tipo de SO às flags hv_, pela ordem em que o código corre Versão do tipo de SO abaixo de 6? sim para: nada acrescentado Firmware OVMF e versão abaixo de 8? sim para: nada acrescentado máquina 2.3, depois 2.6 ou posterior acrescenta spinlocks vapic time reset vpindex runtime versão 7 ou superior acrescenta relaxed synic stimer ipi host Intel, versão 11, máquina 11.0+pve2 acrescenta evmcs A ordem pela qual o qemu-server as aplica. Uma versão abaixo de 6 para na primeira barreira, e um convidado UEFI mais antigo do que o tipo 8.x para na segunda, sem nada acrescentado. Ler uma regra é uma coisa. Executá-la é melhor. Por isso carreguei o CPUConfig.pm instalado em dois hosts 9.2, o meu nó AMD Ryzen para as linhas AMD e um nó Intel Celeron N5100 para as Intel, e chamei essa função com cada combinação:\nTipo de SO Firmware Versão de máquina Host Enlightenments acrescentados l26 ou other qualquer qualquer qualquer nenhum wxp (5) SeaBIOS 11.0 qualquer nenhum w2k8 (Vista/2008) SeaBIOS 11.0 qualquer spinlocks, vapic, time, reset, vpindex, runtime win7 SeaBIOS 11.0 qualquer os seis acima mais relaxed, synic, stimer, ipi win7 OVMF 11.0 qualquer nenhum win10 OVMF 11.0+pve2 Intel os dez completos, sem evmcs win11 OVMF 11.0+pve1 Intel os dez completos, sem evmcs win11 OVMF 11.0+pve2 Intel os dez completos mais evmcs win11 SeaBIOS 11.0+pve2 AMD os dez completos, sem evmcs Há três coisas aí que vale a pena saber antes de chegares perto da GUI.\nUm convidado UEFI com um tipo de SO anterior ao 8.x não recebe nada. O código retorna cedo quando o firmware é OVMF e a versão está abaixo de 8. Um convidado 7/2008r2 que passaste para UEFI perdeu silenciosamente todos os enlightenments que tinha.\nO hv_evmcs quer três coisas ao mesmo tempo. Um host Intel, o tipo de SO 11/2022/2025 e a versão de máquina 11.0+pve2 ou posterior. Um convidado 10/2016/2019 nunca o recebe por predefinição, por mais nova que seja a sua versão de máquina.\nO fabricante do host é lido quando a VM arranca. A verificação chama read_cpuinfo no nó que faz o arranque, não onde quer que a VM tenha sido criada. Num cluster misto Intel e AMD, a mesma VM recebe hv_evmcs num nó e não no outro, decidido de novo em cada arranque a frio.\nAs barreiras de versão de máquina mais antigas (2.3, 2.6, 2.12, 3.1) só importam para VMs fixadas em máquinas do passado distante do QEMU. Tudo o que criarias hoje passa por elas.\nPor isso escolhe o tipo de SO mais próximo do convidado, não o mais novo da lista. Um convidado 10/2016/2019 pertence ao 10/2016/2019. A documentação do Proxmox dá uma segunda razão pela qual o tipo importa para além destas flags: também define coisas como se o RTC virtual corre na hora local3.\nPorque é que as tuas VMs mais antigas ficam sem a correção de julho O hv_evmcs por predefinição é novo. Chegou no qemu-server 9.2.0 a 15 de julho de 2026, para «mitigate guest freezes and 100% CPU usage seen on certain Intel CPUs with Windows guests that use Virtualization-Based Security (VBS)»4, e está ligado à versão de máquina 11.0+pve2.\nEssa ligação é o problema, porque o Proxmox fixa a versão de máquina de cada VM com um tipo de SO Microsoft Windows no momento em que é criada. A documentação dá a razão: «Windows is sensitive to changes in the virtual hardware - even between cold boots»3. É uma decisão sensata. Também significa que uma VM criada em junho de 2026 está em 11.0+pve1 ou mais antiga, e vai ficar lá até alguém a mudar.\nAlguém a vai mudar por ti? Não. A nova predefinição aplica-se às VMs novas e às VMs que atualizas deliberadamente, e a mais nada.\nSe tens hosts Intel a correr convidados 11/2022/2025 com VBS ligado, e algum deles congelou a 100% de CPU, esta é a primeira coisa a verificar:\nqm config \u0026lt;vmid\u0026gt; | grep -E \u0026#39;^(ostype|machine):\u0026#39; Um ostype: win11 com uma linha machine: abaixo de pc-q35-11.0+pve2 precisa de subir para receber a correção. Subi-la muda o hardware virtual que o convidado vê, que é precisamente aquilo contra o qual a fixação protege. Por isso faz isto numa janela de manutenção, com uma cópia de segurança ou um snapshot feito antes, através de Hardware → Machine → Edit, marca Advanced e escolhe a versão.\nSe a linha começar por pc-i440fx-, a versão é o problema menor: esse convidado nem devia estar em i440fx, pelas razões em Always Use Q35, Not i440fx, e Defini-lo, e provar que pegou, mais abaixo, trata disso.\nDuas predefinições relacionadas chegaram nos mesmos poucos meses e vale a pena conhecê-las enquanto estás nisso. O qemu-server 9.1.12 desligou as flags cet-ibt e cet-ss para o tipo 11/2022/2025, porque com o QEMU 11.0 e os kernels 7.x a expô-las, os convidados com VBS não arrancavam4. E o 9.1.14 expôs a propriedade level do CPU, que a documentação descreve como «a known workaround for Hyper-V boot failures of Windows guests on recent Intel hosts when the CPU type is host or max»3.\nO lado do QEMU, versão a versão O qemu-server constrói a linha de comandos. O pve-qemu-kvm é o QEMU que a executa, e a correção de julho precisa de ambos.\nA versão de máquina 11.0+pve2 só pode ser escolhida quando está instalado um binário QEMU 11.0, porque o qemu-server recusa qualquer versão de máquina mais nova do que o QEMU que encontra no host5. O +pve2 é o contador de revisão do próprio qemu-server, não do QEMU, por isso qualquer compilação 11.0 o satisfaz. No dia em que a 9.2.0 saiu, o par era este:\nPacote Versão Lançado O que traz qemu-server 9.2.0 15 de julho de 2026 a predefinição hv-evmcs e a máquina 11.0+pve2 pve-qemu-kvm 11.0.2-1 1 de julho de 2026 QEMU 11.0.2, o atual nesse dia pve-qemu-kvm, mínimo 11.0.0-1 5 de maio de 2026 a primeira compilação do QEMU 11.0 O apt garante que tens ambos? Não. O qemu-server 9.2.0 não declara nada mais forte do que pve-qemu-kvm (\u0026gt;= 7.1~)6, por isso um nó com o QEMU retido na 10.x aceita o novo qemu-server sem um pio e depois não consegue oferecer a versão de máquina de que a correção depende. Verifica ambos, em cada nó. Este é o meu host 9.2 hoje, bem para lá dos dois:\n# pveversion -v | grep -E \u0026#39;^(qemu-server|pve-qemu-kvm):\u0026#39; pve-qemu-kvm: 11.0.3-4 qemu-server: 9.2.11 Cada versão do QEMU desde que o Proxmox VE 9.0 saiu com a 10.0.27 trouxe correções próprias para convidados Fisher-Price OS (Windows). Estas são as que tocam no convidado, segundo o changelog do pacote do Proxmox8 e os changelogs upstream do QEMU9:\nQEMU Compilação Proxmox O que corrigiu para o convidado 10.0 10.0.2-1, 17 de junho de 2025 o bug «PCI Label Id», inofensivo em inglês mas capaz de bloquear instalações localizadas 10.1 10.1.2-3, 17 de novembro de 2025 uma regressão da área de transferência VNC que estragava o ponteiro do rato 10.1 10.1.2-5, 22 de dezembro de 2025 cópias de segurança de uma VM com disco TPM a ficarem presas, uma correção do io_uring 11.0 11.0.0-1, 5 de maio de 2026 uma regressão no export FUSE que o swtpm usa para o estado do TPM 11.0 11.0.2-1, 1 de julho de 2026 enlightenments Hyper-V reconhecidos como flags CPUID, para que um modelo de CPU personalizado os possa levar O QEMU 11.0 também estragou uma coisa: começou a expor cet-ibt e cet-ss, que foi o que impediu os convidados VBS de arrancar e levou o qemu-server 9.1.12 a desligá-las, como vimos acima.\nAs correções do agente convidado nas mesmas versões são outra história. O QEMU 10.1, 10.2 e 11.0 corrigiram cada um partes do tratamento de VSS e de congelamento do sistema de ficheiros do agente convidado, incluindo o «Access denied Event ID 8194» que a 11.0 curou9. Nada disso chega com o pve-qemu-kvm. O agente para esse convidado vem na ISO de drivers virtio-win10, por isso só muda quando atualizas o agente dentro da VM.\nAs duas flags que podes definir à mão O Proxmox não te deixa acrescentar flags de CPU arbitrárias a uma VM. Hardware → Processors → Edit, marca Advanced, e Extra CPU Flags oferece uma lista fixa, definida em CPUFlags.pm11. Duas entradas dessa lista são enlightenments, e são as duas que o Proxmox não define por predefinição, ou não definia até julho.\nFlag A descrição do próprio Proxmox Quando a definir hv-tlbflush «Improve performance in overcommitted Windows guests. May lead to guest bluescreens on old CPUs.» Opcional. Experimenta primeiro numa VM e vigia-a. hv-evmcs «Improve performance for nested virtualization. Only supported on Intel CPUs.» Hyper-V aninhado, WSL2 ou VBS dentro do convidado, em Intel. Já ligada para 11/2022/2025 em 11.0+pve2. Ambas passaram a opcionais no qemu-server 6.0-6, a 23 de julho de 2019, descritas no changelog como «sometimes problematic»4. O hv-tlbflush ficou assim durante sete anos. É uma boa pista sobre quantos testes merece antes de o espalhares por um cluster.\nA nota do próprio QEMU sobre o hv-evmcs é que é só Intel, e que «some virtualization features (e.g. Posted Interrupts) are disabled when hv-evmcs is enabled»1. Ligá-lo à mão num convidado que não está a fazer virtualização aninhada não te dá nada e custa-te isso.\nDefini-lo, e provar que pegou Para uma VM nova: Create VM → OS, define Type como Microsoft Windows e Version como a correspondência mais próxima.\nPara uma existente: Options → OS Type → Edit, escolhe a versão, OK. O Proxmox fixa a versão de máquina quando mudas uma VM existente para um tipo Microsoft Windows, tal como faz na criação4, por isso conta que a linha machine: da configuração também mude.\nE põe-na em q35. Um convidado com enlightenments não tem nada que fazer em pc-i440fx. É o chipset sem barramento PCIe, e as razões vão muito além do passthrough; estão todas em Always Use Q35, Not i440fx.\nO assistente não te impede, e para a maioria dos tipos Microsoft Windows é lá que te põe. A própria documentação do Proxmox chama ao Intel 440FX «the default»3, e as predefinições de SO da GUI sobrepõem-se a isso para exatamente uma entrada: o 11/2022/2025 recebe machine: 'q35' e bios: 'ovmf'12. Todos os outros tipos Microsoft Windows herdam as predefinições genéricas, que não definem máquina nenhuma. Por isso um convidado 10/2016/2019 criado a carregar em Next aterra em i440fx, com enlightenments e no chipset errado ao mesmo tempo.\nTipo de SO escolhido no assistente Máquina que recebe Firmware que recebe 11/2022/2025 q35 OVMF 10/2016/2019 e todos os tipos Microsoft Windows mais antigos i440fx SeaBIOS Other, Linux i440fx SeaBIOS Muda-o no separador System antes de terminares o assistente. Para uma VM que já existe, mudar de chipset é uma alteração maior ao hardware virtual do que subir a versão de máquina, por isso aplicam-se as mesmas regras de janela de manutenção e cópia de segurança, e o artigo sobre o q35 explica o que o convidado faz em relação a isso.\nDepois para-a como deve ser. Os enlightenments são argumentos na linha de comandos do QEMU, e essa linha só é construída quando o processo QEMU arranca. Um reinício a partir de dentro do convidado mantém o mesmo processo, por isso mantém as flags antigas. Desliga, espera por stopped, depois Start.\nProva-o a partir do host, porque é lá que está a resposta:\nqm showcmd \u0026lt;vmid\u0026gt; --pretty | grep -o \u0026#34;hv_[a-z_]*[=0-9a-fx]*\u0026#34; | sort -u Isto mostra o que o qemu-server vai entregar ao QEMU no próximo arranque. Um convidado 11/2022/2025 em 11.0+pve2 num Intel deve listar onze: hv_evmcs, hv_ipi, hv_relaxed, hv_reset, hv_runtime, hv_spinlocks=0x1fff, hv_stimer, hv_synic, hv_time, hv_vapic e hv_vpindex. O mesmo convidado em AMD lista dez. Um resultado vazio significa que o tipo de SO não é um Microsoft Windows, ou que é um tipo anterior ao 8.x em UEFI.\nSe um convidado não arrancar depois da alteração, volta a pôr o tipo de SO em Other durante um arranque para confirmar ou excluir os enlightenments. Corre sem eles. Só corre pior.\nMicrocódigo: o que corrige e de onde vem A segunda predefinição fica por baixo do hipervisor, não por cima.\nO microcódigo de CPU é o firmware do fabricante para o próprio processador. As atualizações corrigem vulnerabilidades de segurança e bugs graves do CPU, e o guia de administração do Proxmox sublinha o ponto que importa para quem se preocupa com o custo em velocidade: «a patched microcode is usually still more performant than an unpatched microcode where the kernel itself has to do mitigations»13.\nHá três sítios de onde pode vir, e são independentes.\nOrigem Aplicado Quem o distribui No meu host 9.2 hoje Atualização da BIOS/UEFI da placa em cada arranque, persistente o fabricante da placa ou do servidor o que a última BIOS trouxe Debian non-free-firmware cedo no arranque, a partir do initramfs Debian intel-microcode 3.20251111.1~deb13u1, amd64-microcode 3.20250311.1 Repositório do Proxmox VE cedo no arranque, a partir do initramfs Proxmox amd64-microcode 3.20251202.1~bpo13+1, sem pacote Intel A via da BIOS é a que o Proxmox chama recomendada13. A via do carregamento antecipado é a rede de segurança para quando o fabricante da placa deixou de lançar atualizações da BIOS, o que em qualquer coisa com alguns anos costuma ter acontecido.\nAquela terceira linha surpreendeu-me. O Proxmox tem no seu próprio repositório um amd64-microcode mais novo do que o Debian tem no trixie14, com a mesma prioridade de pin, por isso o apt escolhe o do Proxmox. Num host AMD com o repositório do Proxmox configurado, é essa a versão que vais acabar a correr, e como mostra a secção seguinte, é a versão que importa.\nOnde o microcódigo é aplicado durante um arranque Um arranque, da esquerda para a direita Ligar microcódigo da BIOS Gestor de arranque carrega o initramfs Kernel arranca atualização antecipada Host a correr convidados arrancam Carregamento tardio bloqueado persistente, fabricante da placa do initramfs, Debian ou Proxmox blacklist em /etc/modprobe.d O carregamento antecipado acontece antes de o kernel ter iniciado qualquer outra coisa. O carregamento tardio num sistema em execução é a via que o Debian bloqueia, e continua bloqueada. O carregamento antecipado é o que este artigo configura. O microcódigo vai para o initramfs e o kernel aplica-o logo no início do arranque, antes de qualquer outra coisa estar a correr.\nO carregamento tardio aplica-o a um sistema em execução. A documentação do próprio kernel tem uma secção intitulada «Why is late loading dangerous?» e desde a 5.19 não está ativado por predefinição15. O Debian também o bloqueia. Este é o ficheiro no meu host, tal e qual:\n# cat /etc/modprobe.d/amd64-microcode-blacklist.conf # The microcode module attempts to apply a microcode update when # it autoloads. This is not always safe, so we block it by default. blacklist microcode Deixa-o estar. O host acima tem-no no sítio e mesmo assim mostra uma atualização antecipada bem-sucedida, por isso não está a atrapalhar nada.\nQualquer das vias precisa de um reinício. Não há volta a dar a isso.\nE é só x86. O guia do Proxmox diz claramente que «There is no equivalent operating-system-level microcode package for arm64»13.\nPorque é que um host atualizado não tem nenhum O «non-free» em non-free-firmware tem a ver com a licença, não com dinheiro nem com uma subscrição do Proxmox. A wiki do Debian explica: o lado do kernel é software livre, mas os dados de atualização do fabricante são «opaque», «and its contents are unknown to Debian»16. É por isso que vivem num componente próprio, e é por isso que um sistema Debian não os recebe a menos que o componente esteja ligado.\nO instalador do Proxmox VE 9.0 liga-o. As notas de versão dizem que a ISO vai «Install the microcode package matching the current platform», e que «installations now have the non-free-firmware repository enabled»7. Um upgrade não faz nenhuma das duas coisas, porque mantém as linhas de repositório que tinhas na 8.x.\nInstalação nova 9.x Atualizado a partir da 8.x non-free-firmware ativado pelo instalador o que a 8.x tinha, muitas vezes ausente Pacote de microcódigo instalado para o CPU detetado nenhum, até acrescentares o componente O que te avisa nada necessário pve8to9, como FAIL e WARN, e só se o correres Atualizações posteriores apt full-upgrade e um reinício o mesmo, depois de o pacote estar instalado O verificador assinala-o, mais alto do que eu esperava. Aqui está ele no meu nó Intel, que veio da 8.x:\n# pve8to9 | grep -i -B1 -A2 microcode PASS: Legacy file \u0026#39;/etc/sysctl.conf\u0026#39; is not present. INFO: Checking if matching CPU microcode package is installed. FAIL: unable to determine installed intel-microcode version. WARN: The matching CPU microcode package \u0026#39;intel-microcode\u0026#39; could not be found! Consider installing it to receive the latest security and bug fixes for your CPU. apt install intel-microcode SKIP: NOTE: Expensive checks, like CT cgroupv2 compat, not performed without \u0026#39;--full\u0026#39; parameter O FAIL é um efeito secundário: a consulta de versão regista uma falha para qualquer pacote que não esteja instalado, antes de a verificação do microcódigo chegar ao seu próprio aviso17. De qualquer forma, o pve8to9 é um verificador, não uma barreira. Não executa o upgrade nem o consegue impedir, por isso o upgrade passa-lhe ao lado.\nIsso importa na prática? Aqui ficam dois casos em que importa, e o primeiro é meu.\nEsse nó Intel é um Celeron N5100. A sua lista de fontes já tinha non-free-firmware, por isso o pacote estava a um comando de distância, e até 27 de outubro de 2026 ninguém o tinha corrido. O kernel reparou, mesmo que mais ninguém tenha reparado:\n# dmesg | grep -i microcode [ 0.000000] x86/CPU: Running old microcode [ 0.497219] microcode: Current revision: 0x0000001d # lscpu | grep -i \u0026#39;old microcode\u0026#39; Vulnerability Old microcode: Vulnerable O kernel mantém «a table of released microcode», e um CPU que arrancou com algo mais antigo «will say \u0026lsquo;Vulnerable\u0026rsquo;»18. Quão antigo é antigo? As notas de versão da Intel respondem para este chip19:\nRevisão Versão Intel Neste host 0x1d microcode-20210608 o que o firmware da placa carrega hoje 0x2400001f microcode-20220207 0x24000023 microcode-20220510 saiu seis meses antes de a BIOS desta placa ser compilada 0x24000024 microcode-20230214 0x24000026 microcode-20240312 no intel-microcode 3.20251111.1~deb13u1 do Debian A BIOS é a versão 5.19, datada de 8 de novembro de 2022, e ainda carrega o primeiro microcódigo que a Intel lançou para a peça, com dois mais novos já disponíveis quando foi compilada. Esse é exatamente o caso para o qual existe a via do carregamento antecipado: quatro atualizações paradas num pacote que o host já conseguia ver. Instalei-o enquanto escrevia isto, e o que isso fez está em Ligá-lo, porque mostra uma armadilha.\nO segundo caso é da AMD. As peças Zen 5 têm um bug na instrução RDSEED20. As notas da versão 9.1 do Proxmox registam o que acontece a seguir: os kernels a partir da 6.17.9, «without active microcode update will disable the RDSEED32 CPU-bit, and will fail to run Qemu guests with a CPU type that exposes that bit (for example EPYC or EPYC-v4)»21. A correção é o amd64-microcode 3.20251202.1~bpo13+1 ou mais recente, que é a versão do repositório do Proxmox e não a do Debian.\nHá uma segunda armadilha dentro dessa. Em placas Zen 5 cuja BIOS é anterior à correção da vulnerabilidade Entrysign da AMD, o kernel recusa o novo microcódigo e regista No sha256 digest for patch ID, e o conselho do Proxmox é uma atualização da BIOS21. Por isso, nesse hardware, a via do SO só funciona depois de o fabricante da placa ter feito a sua parte.\nLigá-lo Regista primeiro onde estás. No host, como root:\npveversion grep -m1 vendor_id /proc/cpuinfo # GenuineIntel or AuthenticAMD grep microcode /proc/cpuinfo | uniq # revision running now dpkg -l intel-microcode amd64-microcode 2\u0026gt;/dev/null | grep ^ii dmesg | grep -i microcode lscpu \u0026gt; /root/lscpu-before.txt # vulnerabilities and mitigations Se o dpkg já mostra o pacote correspondente como ii, o host está pronto e podes saltar para a verificação do resultado.\nAtiva o componente. O apt do trixie prefere o formato deb822 .sources, e o guia de upgrade do Proxmox aponta para apt modernize-sources para converter os antigos ficheiros de uma linha, guardando os originais como .bak22. Depois acrescenta non-free-firmware à linha Components: tanto da estrofe principal como da de segurança em /etc/apt/sources.list.d/debian.sources. Este é o ficheiro no meu host, que veio do instalador:\nTypes: deb URIs: http://deb.debian.org/debian/ Suites: trixie trixie-updates Components: main contrib non-free-firmware Signed-By: /usr/share/keyrings/debian-archive-keyring.gpg Types: deb URIs: http://security.debian.org/debian-security/ Suites: trixie-security Components: main contrib non-free-firmware Signed-By: /usr/share/keyrings/debian-archive-keyring.gpg As duas estrofes, porque o Debian distribui microcódigo para a stable pelas duas vias. O arquivo de segurança tem o intel-microcode 3.20250812.1~deb13u1 enquanto o arquivo principal já passou para o 3.20251111.1~deb13u123, e queres o que for mais novo.\nInstala o que corresponde ao CPU.\napt update apt install intel-microcode # Intel apt install amd64-microcode # AMD Só o do teu fabricante. A partir daí, o microcódigo novo chega com as execuções normais de apt full-upgrade, e cada versão nova precisa de um reinício como a primeira.\nInstalá-lo reconstrói o initramfs, porque é lá que o microcódigo antecipado tem de viver. O kernel lê-o de um arquivo não comprimido no início do initrd, como kernel/x86/microcode/GenuineIntel.bin ou AuthenticAMD.bin15, e o script de instalação do pacote dispara o trigger do initramfs para o pôr lá24. Este é o meu nó Intel a receber o pacote enquanto este artigo estava a ser escrito:\n# grep -A6 \u0026#39;Setting up intel-microcode\u0026#39; /var/log/apt/term.log Setting up intel-microcode (3.20251111.1~deb13u1) ... intel-microcode: microcode will be updated at next boot Processing triggers for man-db (2.13.1-1) ... Processing triggers for initramfs-tools (0.148.4) ... update-initramfs: Generating /boot/initrd.img-7.0.14-24-pve Running hook script \u0026#39;zz-proxmox-boot\u0026#39;.. Re-executing \u0026#39;/etc/kernel/postinst.d/zz-proxmox-boot\u0026#39; in new private mount namespace.. O zz-proxmox-boot é o hook do Proxmox. Num host cujas partições EFI são mantidas pelo proxmox-boot-tool, copia a nova imagem para lá; este não tem nenhuma para sincronizar.\nAgora olha para a imagem que gerou. Sem nenhum kernel indicado, o update-initramfs -u reconstrói só o mais novo: «The default is the latest kernel version»25. O mesmo nó, logo a seguir:\n# uname -r 7.0.14-23-pve # for f in /boot/initrd.img-*; do echo \u0026#34;$f: $(lsinitramfs $f 2\u0026gt;/dev/null | grep -c GenuineIntel.bin)\u0026#34;; done /boot/initrd.img-7.0.12-1-pve: 0 /boot/initrd.img-7.0.14-11-pve: 0 /boot/initrd.img-7.0.14-12-pve: 0 /boot/initrd.img-7.0.14-19-pve: 0 /boot/initrd.img-7.0.14-23-pve: 0 /boot/initrd.img-7.0.14-24-pve: 1 /boot/initrd.img-7.0.14-8-pve: 0 Uma imagem em sete tem o microcódigo, e não é a que o host está a correr.\nPróximo arranque O initramfs tem o microcódigo Revisão em que o CPU acaba 7.0.14-24, a entrada predefinida sim a 0x24000026 do pacote 7.0.14-23, fixada ou a entrada de recurso não a 0x1d da BIOS qualquer coisa mais antiga não a 0x1d da BIOS Por isso reconstrói todas as imagens depois de instalar, e de novo depois de cada atualização de microcódigo, porque cada uma dispara a mesma reconstrução só do mais novo. Depois corre outra vez o ciclo acima para o provar:\nupdate-initramfs -u -k all Reinicia e verifica. Este é o meu host AMD 9.2 depois de o pacote do repositório do Proxmox ter sido instalado:\n# grep microcode /proc/cpuinfo | uniq microcode\t: 0xa500012 # dmesg | grep -i microcode [ 0.587928] microcode: Current revision: 0x0a500012 [ 0.587930] microcode: Updated early from: 0x0a50000d Updated early from é a linha que o prova. O próprio guia de administração do Proxmox ainda mostra a formulação mais antiga, microcode updated early to revision13; o kernel atual imprime as duas linhas acima26. Qualquer das formas significa que funcionou.\nA ausência dessa linha não é, por si só, uma avaria. Só aparece quando o pacote tem algo mais novo do que a revisão embutida no CPU e do que a que a BIOS carregou. Um pacote cobre muitíssimos modelos de CPU, e o guia tem razão quando diz que a data nele não te diz quando o teu modelo recebeu alguma coisa pela última vez13.\nEspalhá-lo por um cluster A alteração do repositório e a instalação podem ir para todos os nós ao mesmo tempo. Nada muda até um reinício. Os reinícios vão um nó de cada vez, e cada nó está saudável antes de o seguinte ir abaixo.\nUm reinício faseado de microcódigo, um nó por passagem Por nó, depois o seguinte Verificar quórum, Ceph OK Manutenção convidados saem noout opcional Reiniciar ver o dmesg Esperar OSDs up e in Libertar unset, devolver nó seguinte, mesmos passos Um nó por passagem. Os dois passos Ceph só se aplicam a clusters hiperconvergentes, e o par noout é opcional. Passo Comando Feito quando Cluster saudável pvecm status, ceph -s com quórum, HEALTH_OK Esvaziar o nó ha-manager crm-command node-maintenance enable \u0026lt;node\u0026gt;, migrar os convidados não-HA à mão nenhum convidado lá Opcional, Ceph ceph osd set noout flag visível em ceph -s Reiniciar, verificar dmesg | grep -i microcode nova revisão visível Ceph recuperado ceph -s todos os OSDs up e in, HEALTH_OK Libertar node-maintenance disable \u0026lt;node\u0026gt;, ceph osd unset noout convidados HA de volta O modo de manutenção HA regista de onde veio cada convidado HA e devolve-o quando o nó sai da manutenção27. Os convidados não-HA são contigo.\nSobre o noout, as opiniões dividem-se e ambos os lados têm razão. O Ceph marca rapidamente como down um OSD silencioso, mas só o marca como out depois de mon_osd_down_out_interval, que por predefinição são dez minutos28, e é o out que desencadeia o rebalanceamento. Um reinício normal volta bem dentro desse prazo. Um servidor com um POST longo, uma pergunta do firmware ou uma controladora RAID lenta pode não voltar. Definir noout impede que um reinício lento se transforme num rebalanceamento. O preço é lembrares-te de o retirar, e um noout esquecido esconde mais tarde uma avaria real.\nFaz o cluster inteiro numa só janela. Nós a correr revisões de microcódigo diferentes é exatamente a situação em que um convidado com o tipo de CPU host, que vê diretamente as funcionalidades do CPU físico, pode migrar a quente para um nó que reporta um conjunto diferente.\nQuando uma atualização de microcódigo corre mal É raro, mas acontece, e o guia do Proxmox trata disso como deve ser13.\nSituação Faz isto Porquê Suspeitas do novo microcódigo arranca uma vez com dis_ucode_ldr desativa o carregador só nesse arranque29 Revisão antiga boa, nova não instala a versão anterior e retém-na uma purga pode deixar a correr uma revisão da BIOS ainda mais antiga Algumas semanas depois apt-mark unhold, depois full-upgrade uma correção noutro sítio pode resolvê-lo com a mesma versão de microcódigo Para o arranque pontual: menu do GRUB (mantém o Shift carregado se estiver escondido), E na entrada do Proxmox, acrescenta dis_ucode_ldr à linha que começa por linux, depois Ctrl+X. Um host com systemd-boot em vez de GRUB está coberto no capítulo do gestor de arranque do guia de administração.\nA reversão, em Intel:\napt list -a intel-microcode # what versions exist apt install intel-microcode=\u0026lt;version\u0026gt; # pick the earlier one apt-mark hold intel-microcode # stop the next upgrade undoing it reboot Troca por amd64-microcode em AMD. Reverte, nunca purgues.\nUma predefinição é uma promessa a quem seguiu o caminho esperado Nenhuma destas coisas é um bug. O Proxmox fez a coisa sensata das duas vezes: ligar a funcionalidade onde é seguro, deixá-la desligada onde pode não ser, e fixar o hardware virtual com que o convidado é esquisito. O instalador foi corrigido, o verificador de upgrade assinala-o, o changelog diz o que mudou e quando. O Proxmox fez a sua parte.\nMas uma predefinição é uma promessa feita a quem fez as coisas como o fabricante esperava. Instalação nova, tipo de SO correto, VM criada depois de julho. Qualquer pessoa cujo parque tenha história, e isso é toda a gente que corre alguma coisa a sério, está em parte fora dessa promessa, e a falha não se anuncia. Aparece como um convidado que está um bocado lento, um congelamento VBS que ninguém liga a uma versão de máquina, ou um nó Zen 5 onde os convidados EPYC não arrancam depois de uma atualização do kernel.\nAs notas de versão descrevem o que uma instalação nova recebe. Não dizem nada sobre o que os teus hosts estão realmente a correr, e essas são perguntas diferentes. A única maneira de responder à segunda é ir ver: qm showcmd nos convidados, dmesg nos hosts, a linha da máquina na configuração. Nada disso leva mais de um minuto por máquina.\nEsse minuto é o trabalho. O Proxmox dá-te as ferramentas para verificar, e por isso a distância entre o que presumiste e o que está a correr é tua para fechar, não deles.\nQEMU documentation — Hyper-V Enlightenments — «No Hyper-V enlightenments are enabled by default by either KVM or QEMU»; descrições flag a flag; hv-evmcs «The feature is Intel-only» e «some virtualization features (e.g. Posted Interrupts) are disabled when hv-evmcs is enabled».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nProxmox qemu-server — CPUConfig.pm — get_hyperv_enlightenments: as barreiras de OVMF e de versão, as guardas de versão de máquina e a verificação GenuineIntel para hv_evmcs. Executado aqui a partir do qemu-server 9.2.11.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nProxmox VE admin guide — Qemu/KVM Virtual Machines — «You can choose between the default Intel 440FX or the Q35 chipset» e «switch from the default SeaBIOS to OVMF»; «For Windows guests, the machine version is pinned during creation, because Windows is sensitive to changes in the virtual hardware - even between cold boots»; a propriedade level e as predefinições cet-ibt/cet-ss para esses convidados.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nProxmox qemu-server — Debian changelog — a 9.2.0 (15 de julho de 2026) ativa hv-evmcs para convidados 11/2022/2025 em Intel a partir da máquina 11.0+pve2; a 9.1.14 expõe level; a 9.1.12 desativa cet-ibt e cet-ss; fixação ao mudar para um tipo de SO Microsoft Windows (janeiro de 2025); a 6.0-6 (23 de julho de 2019) «Make sometimes problematic \u0026lsquo;hv-tlbflush\u0026rsquo; and \u0026lsquo;hv-evmcs\u0026rsquo; CPU flags optional».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nProxmox qemu-server — Machine.pm — can_run_pve_machine_version devolve falso quando o major.minor do QEMU da máquina é mais novo do que o binário instalado; as revisões +pveN estão listadas no mesmo ficheiro.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nProxmox qemu-server 9.2.0 — debian/control — no commit «bump version to 9.2.0» de 15 de julho de 2026, a dependência de execução é pve-qemu-kvm (\u0026gt;= 7.1~).\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nProxmox VE Roadmap — 9.0, Installation ISO — «Install the microcode package matching the current platform… This also means that installations now have the non-free-firmware repository enabled.»; a mesma versão lista «QEMU 10.0.2»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nProxmox pve-qemu — Debian changelog — 10.0.2-1 (17 de junho de 2025) «update QEMU and downstream patches for 10.0.2 release», que traz a correção upstream da 10.0 abaixo; 10.1.2-3 «a regression with VNC clipboard breaking mouse pointer in Windows guests»; 10.1.2-5 a correção do io_uring para «backup with TPM disk potentially getting stuck»; 11.0.0-1 «regression when using fuse export for swtpm»; 11.0.2-1 «recognize Hyper-V enlightenments in the list of supported CPUID flags».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nQEMU upstream changelogs, 10.0 — «Workaround \u0026lsquo;PCI Label Id\u0026rsquo; Windows bug, which is normally harmless but on localized versions can lead to guest hangs»; 10.1, 10.2 e 11.0 para as correções de VSS e de congelamento do agente convidado, incluindo «Fix guest-fs-freeze cause “Access denied Event ID 8194” in Event Viewer».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nProxmox VE wiki — Qemu-guest-agent — para esse convidado, «First you have to download the virtio-win driver iso».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nProxmox qemu-server — CPUFlags.pm — a lista de flags por VM, com as descrições de hv-tlbflush e hv-evmcs citadas acima.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nProxmox pve-manager — OSDefaults.js — a entrada win11 define machine: 'q35' e bios: 'ovmf'; as outras entradas Microsoft Windows herdam generic, que não define máquina.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nProxmox VE admin guide — CPU Microcode Updates — atualizações antecipadas pelo SO, a via BIOS/UEFI como recomendada, o arm64 sem pacote de SO, o procedimento dis_ucode_ldr e a reversão em vez da purga.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nProxmox VE pve-no-subscription repository for trixie — tem amd64-microcode 3.20251202.1~bpo13+1 e nenhum intel-microcode, lido a 27 de outubro de 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLinux kernel documentation — The Linux Microcode Loader — «Since kernel 5.19, late loading is not enabled by default», e a secção «Why is late loading dangerous?».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nDebian Wiki — Microcode — os dados de atualização «opaque» fornecidos pelo fabricante do CPU «is non-free, and its contents are unknown to Debian».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nProxmox pve-manager — pve8to9.pm — check_cpu_microcode_package regista o aviso; a consulta $get_pkg que chama primeiro regista «unable to determine installed $pkg version.» como falha para qualquer pacote que não esteja instalado.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLinux kernel documentation — Old Microcode — «The kernel keeps a table of released microcode. Systems that had microcode older than this at boot will say \u0026lsquo;Vulnerable\u0026rsquo;.» (aspas interiores mudadas de duplas para simples)\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nIntel — Linux Processor Microcode Data Files, release notes — as linhas JSL para 06-9c-00/01, «Celeron N4500/N4505/N5100/N5105», nas versões 20210608 a 20240312; 0x24000026 lido do cabeçalho de 06-9c-00 no pacote do Debian.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nAMD security bulletin AMD-SB-7055 — o problema do RDSEED nos processadores Zen 5.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nProxmox VE Roadmap — 9.1 known issues, AMD Zen5 CPU issue with RDSEED — a falha de arranque dos convidados, a versão do pacote corrigido e a mensagem No sha256 digest em placas sem a correção Entrysign da BIOS.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nProxmox VE wiki — Upgrade from 8 to 9 — apt modernize-sources converte para deb822 e guarda os ficheiros antigos com o sufixo .bak.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nDebian packages — intel-microcode in trixie — as versões stable e de segurança, confirmadas com apt-cache policy no host.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nDebian sources — intel-microcode.postinst — dpkg-trigger --no-await update-initramfs, depois «microcode will be updated at next boot»; o amd64-microcode faz o mesmo.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nDebian manual — update-initramfs(8) — para -k, «The default is the latest kernel version», e «all» opera «on all installed kernel versions that already have an initramfs (with -d or -u)».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLinux kernel source — arch/x86/kernel/cpu/microcode/core.c — imprime «Current revision: 0x%08x» e «Updated early from: 0x%08x».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nProxmox VE admin guide — High Availability, maintenance mode — os serviços HA são retirados e devolvidos «automatically once the maintenance mode is disabled and the node is back online».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCeph documentation — Configuring Monitor/OSD Interaction — mon_osd_down_out_interval, «The number of seconds Ceph waits before marking a Ceph OSD Daemon down and out», predefinição de 10 minutos.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLinux kernel documentation — kernel parameters — dis_ucode_ldr: «Disable the microcode loader.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\n","permalink":"https://blogs.damiendye.uk/pt/proxmox/hyper-v-enlightenments-and-microcode/","summary":"O Proxmox VE 9 liga os enlightenments Hyper-V para convidados Fisher-Price OS (Windows) e instala microcódigo de CPU nos hosts novos, mas só se a VM recebeu um tipo de SO Microsoft Windows e o host veio do instalador 9.x. Aqui está o que os enlightenments fazem, as regras exatas com que o qemu-server os escolhe (medidas num host 9.2 em funcionamento), porque é que a fixação da versão de máquina deixa as VMs mais antigas sem a correção hv-evmcs de julho de 2026, a compilação do pve-qemu-kvm de que essa correção precisa e o que cada versão do QEMU desde a 10.0 corrigiu para esses convidados, porque é que pertencem ao q35 e nunca ao i440fx (onde o assistente ainda deixa a maioria deles), as duas flags que podes definir à mão, como provar o que uma VM está a correr, de onde vem o microcódigo (firmware da placa, Debian e o repositório próprio do Proxmox), porque é que um host atualizado não tem nenhum (com um nó Intel quatro versões da Intel atrás como exemplo), a reconstrução do initramfs que a instalação desencadeia e os kernels mais antigos que essa reconstrução ignora, a falha de RDSEED no Zen 5 que vem a seguir, como ativá-lo, um reinício faseado num cluster Ceph e como reverter uma atualização má.","title":"Duas predefinições do Proxmox VE 9 que talvez não tenhas: enlightenments Hyper-V e microcódigo de CPU"},{"content":"O mapa da Google, os meus radares, uma app Eu queria uma coisa no ecrã do carro. O mapa da Google, o trânsito da Google e as indicações curva a curva da Google, com os meus próprios dados de radares de velocidade por cima, a alertar-me só para os radares que estão realmente apontados para o meu lado da estrada.\nNão encontrei nada no Android Auto que fizesse isso. O Google Maps tem o mapa e as rotas, mas não há maneira de lhe carregar a tua própria base de dados de radares. Por isso estou a construí-lo.\nChama-se AutoNavAlerts. É uma app de navegação para o Android Auto construída sobre o Navigation SDK da Google, com um sistema de alertas de radares e pontos de interesse escrito por cima. A primeira fonte de radares é a PocketGPSWorld, com a minha própria subscrição paga. O código é público sob a Apache License 2.01 em github.com/damo2929/AutoNavAlerts.\nEsta é a parte um de uma série. Cobre o que a app faz, o que a Google deixa e não deixa uma app de terceiros fazer no ecrã de um carro, e como foi construída, porque quase cada linha foi escrita pelo Claude, o modelo de IA da Anthropic, comigo a definir as regras, a testá-la e a responder pelo resultado. Essa última parte é uma história por si só.\nÉ a versão 0.1.0. É instalada à mão, não está na Play Store, e teve uma viagem real. Lê isto como um diário de construção, não como um lançamento de produto.\nO que faz hoje Eis o que está na versão de teste, e para que serve cada parte:\nÁrea O que faz Navegação Mapa da Google com trânsito, pesquisa de locais, pré-visualização da rota com a hora de chegada, indicações curva a curva no ecrã do carro, na barra lateral e no painel do condutor Ir até um contacto Diz ou escreve um nome e as moradas guardadas do contacto aparecem acima dos resultados do Places. Só a morada que escolhes vai para a Google Convive com a tua música Só templates de navegação, por isso a música mantém o seu cartão no ecrã dividido. A fala dos alertas baixa a música, nunca a pausa Alertas de radares Três fases por radar, só para radares virados para o teu sentido de marcha, na estrada em que estás Zonas de velocidade média Uma zona só começa quando há outro radar com o mesmo limite à tua frente, e acaba no último radar Painel de velocidade A tua velocidade e o limite da estrada, sempre lado a lado, em baixo à direita Limites de velocidade offline Um download dos limites do OpenStreetMap para o Reino Unido: 1 326 619 estradas em 29 MB no telemóvel. Nada é consultado durante a condução Rotas para carro elétrico A rota mais rápida e a rota energeticamente eficiente da Google lado a lado, e és tu que escolhes Dados de radares A tua própria subscrição da PocketGPSWorld, verificada diariamente, nunca trocada enquanto estás a navegar. Ou importa ficheiros iGO, KML, GPX, OV2 ou CSV Reportar um radar Um toque no carro guarda a posição, o rumo e o limite, com um comentário falado opcional. A revisão e o envio acontecem no telemóvel, nunca durante a condução Os alertas de radares são a razão de a app existir, por isso ficam com a secção seguinte.\nUm radar só conta se estiver virado para ti Um alerta de radar que dispara para a outra faixa de rodagem é pior do que nenhum alerta. Treina-te para ignorar a coisa. Por isso a primeira regra rígida do design é que um radar só alerta quando está virado para o teu sentido de marcha, e essa regra nunca é afrouxada, nunca é contornada por uma predefinição e nunca é largada quando os dados são complicados.\nComo uma posição GPS se torna um alerta de radar Entrada Quatro verificações, cada posição Saída velocidade e GPS do carro quando o carro os partilha GPS do telemóvel 10 posições por segundo os teus conjuntos de radares no telemóvel 1. perto o suficiente 2. à tua frente 3. virado para ti 4. na tua estrada aviso no mapa do carro alerta falado, música baixada radar realçado no mapa falha numa verificação: sem alerta; virado ao contrário fica esbatido com a seta Como uma posição se torna um alerta. Até dez posições por segundo passam por quatro verificações; só um radar que passe as quatro é falado e levantado como alerta. O motor corre em cada posição GPS, até dez por segundo. Para cada radar próximo faz quatro perguntas, por ordem:\nVerificação Passa quando Porque está lá Perto o suficiente dentro da distância de disparo mais 200 m, com um máximo de 3 km nenhum trabalho gasto em radares a quilómetros À tua frente rumo até ao radar a menos de 45° do teu rumo um radar atrás de ti é história Virado para o teu lado o rumo do radar a menos de 45° do teu rumo, ou do rumo até ao radar numa curva a outra faixa fica em silêncio Na tua estrada a menos de 50 m da rota à frente, ou num corredor de 40 m que alarga com a distância em condução livre a estrada paralela fica em silêncio Os 45° não são generosos. Os ficheiros TomTom da PocketGPSWorld dão a direção de um radar em oito pontos cardeais, por isso 22,5° vão-se logo nos dados antes de mais nada. Um rumo GPS custa mais uns graus, e a curva da estrada mais uns quantos. É por isso que mais nada pode comer essa margem.\nUm radar que falha a verificação de direção continua desenhado no mapa, esbatido, com uma seta a mostrar para onde está virado. Consegues vê-lo. Só não fala contigo.\nTrês fases de alerta a 70 mph Antecedência predefinida: 15 segundos à tua velocidade, aqui 70 mph tu, 70 mph radar virado para ti outra faixa, virado ao contrário: esbatido, calado 1.º alerta a 469 m, 15 s 2.º alerta a 235 m, 7,5 s passagem 100 yd (91 m) fora de escala; mínimos de 242 m e 142 m separam os dois primeiros a baixa velocidade As três fases a 70 mph com a antecedência predefinida de 15 segundos. As duas primeiras são calculadas a partir da tua velocidade; o alerta de passagem é fixo nas 100 jardas e não pode ser desligado enquanto o som estiver ligado. As fases são temporizadas, não distâncias fixas. O primeiro alerta chega 15 segundos antes à tua velocidade atual e o segundo a metade disso, ambos com um mínimo para nunca se encavalitarem no terceiro. O terceiro é fixo nas 100 jardas, e é obrigatório sempre que o som estiver ligado. A distância de disparo só cresce numa aproximação, por isso travar a fundo não encurta o aviso a que já tinhas direito.\nO que a Google deixa uma app fazer no ecrã do carro É aqui que fica interessante, porque uma app de terceiros no Android Auto não é o Google Maps. Corre dentro das regras definidas pela Car App Library do Android Auto, que dá às apps «a set of visual templates approved for driver safety»2, e dentro do que o Navigation SDK decide expor.\nTrês lacunas moldaram a app mais do que qualquer coisa que eu tenha escolhido construir:\nO quê Google Maps no carro Uma app sobre o Navigation SDK Reportar um acidente, polícia ou obras incorporado não disponível. A própria documentação da Google: «real-time disruptions are not available on Android Auto»3 O limite de velocidade da estrada mostrado só a percentagem acima dele, e só enquanto vais em excesso4 Toque nos controlos de mapa do próprio SDK n/a nenhum. O Android Auto «limits screen surface interaction to a series of SurfaceCallback methods»2 Pega no limite de velocidade. A Google sabe-o. A Google diz a uma app quanto acima dele vais, como percentagem e gravidade, e nada de nada enquanto estás abaixo. Posso perguntar porque é que um condutor só pode saber o limite depois de já o estar a infringir? Não vou ter resposta a isso, por isso a app contorna-o. Enquanto estás acima, calcula o limite a partir da tua velocidade e da percentagem. Abaixo dele, usa o radar de que te estás a aproximar, depois o download do OpenStreetMap, e mostra um traço em vez de nada quando não tem limite nenhum.\nO reporte de incidentes tem a mesma forma. As APIs de reporte existem na vista de navegação do telemóvel e não na do carro. Já alguém o pediu à Google5, e o pedido continua aberto. A app procura as APIs em tempo de execução, por isso, se um SDK posterior as acrescentar, o botão de reporte da Google aparece sem qualquer alteração ao meu código. Uma tarefa do GitHub Actions verifica a cada trimestre e abre um issue no dia em que acontecer.\nA regra do toque apanhou-me a sério. O mapa do carro do SDK desenha o seu próprio cartão de chegada, cabeçalho, botão de recentrar, velocímetro e barra de viagem. Nenhum deles aceita um toque, porque nenhum toque chega à vista do SDK. Parecem botões e não fazem nada. Por isso estão todos desligados, e a app desenha os seus próprios controlos onde um toque chega de facto.\nTraz a tua própria chave, traz os teus próprios dados Duas decisões mantêm esta app honesta quanto a dinheiro e licenças, e ambas são deliberadas.\nNão há chave do Maps incorporada. A Google Maps Platform precisa de «a billing-enabled Cloud project»6, e o Navigation SDK precisa de um projeto com ele ativado7. Se eu distribuísse uma chave, a condução de toda a gente seria faturada a mim, ou a chave fugia e era faturada a mim na mesma. Por isso cada utilizador traz a sua própria chave, na sua própria conta Google Cloud. A app do telemóvel consegue criar uma com a tua própria conta Google, ou colas uma. Fica guardada encriptada no telemóvel. Não há recurso de espécie nenhuma, e a app não faz uma única chamada ao SDK até a tua chave estar lá.\nNão há dados de radares na app. A PocketGPSWorld licencia a sua base de dados para uso individual, põe uma marca de água em cada download com o nome do membro, e proíbe colocá-la em qualquer sítio onde alguém além do comprador lhe possa chegar. Por isso a app nunca a distribui, nunca a aloja e nunca a sincroniza entre telemóveis. Inicias sessão com a tua própria subscrição, e o telemóvel descarrega a tua própria cópia com marca de água para um armazenamento privado excluído das cópias de segurança. Na bancada foram 19 826 radares em 33 conjuntos, um conjunto por ficheiro, nunca fundidos.\nA sincronização automática é educada nisso. Lê o feed RSS público da PocketGPSWorld uma vez por dia8 e só inicia sessão quando há uma versão nova. Nunca troca os radares enquanto estás a navegar.\nHá uma cláusula na licença deles que isto não resolve por completo, a que fala de incorporar os dados numa aplicação. Para uso meu, aceito isso. Antes de a app ir para mais alguém, a PocketGPSWorld recebe um email a perguntar.\nDois dias, 87 commits, e primeiro um documento de design Agora a parte sobre a qual as pessoas vão discutir. Não fui eu que escrevi este código. Foi o Claude, através do Claude Code, com dois modelos, o Claude Fable e o Claude Opus. Eu escrevi os requisitos, tomei todas as decisões, corri a bancada, conduzi o carro e revi o que voltava. Cada commit com alterações escritas por IA leva um trailer que o diz, e o README também.\nEstes são os números, lidos do repositório:\nMedida Valor Commits 87, das 22:10 de 11 de outubro às 12:44 de 13 de outubro de 2026 Commits com uma linha de coautor Claude 83 (56 Fable, 27 Opus) Kotlin na app e na sua biblioteca central 15 334 linhas Testes unitários 211, em 3464 linhas DESIGN.md, a especificação 1763 linhas, escritas antes de qualquer código O documento de design veio primeiro, e essa é a coisa mais útil que posso dizer a quem quer que esteja a fazer isto. A sua primeira linha diz que nenhum código é escrito até ser aprovado, e que qualquer alteração posterior é feita lá primeiro. Cada classe tem uma função escrita ao lado. Cada limiar tem uma razão. Cada regra que defini está marcada como minha, com a data.\nIsso importa porque um modelo esquece-se. Uma sessão longa é resumida, e o resumo fica com a ideia geral e larga o pormenor, e é no pormenor que estão os bugs. O próprio AGENTS.md do repositório di-lo às claras: não confies num resumo destes ficheiros de memória ou de uma sessão anterior. O agente volta ao documento. Sempre.\nDois agentes também trabalharam em paralelo na segunda fase, um na orientação, no mapa e nos ecrãs, o outro na localização, nos alertas, na fala e nos marcadores do mapa. Cada um era dono de uma lista escrita de ficheiros, e as interfaces entre eles foram fixadas de antemão: acrescenta, não mudes o nome. Fundiram-se sem problemas porque a fronteira foi decidida antes de qualquer um começar, não descoberta depois.\nCada regra rígida veio de algo que eu vi O design tem uma lista de regras rígidas, e nenhuma delas veio de um quadro branco. Cada uma veio de ver a coisa a correr na Desktop Head Unit9, o emulador do ecrã do carro da Google no PC, ou no carro, e de a ver fazer algo errado.\nRegra rígida O que vi que a tornou uma regra Um radar só alerta quando está virado para o teu lado alertas para a outra faixa são ruído que te ensina a ignorar alertas Nada no ecrã do carro que não funcione dois botões de parar no ecrã, um deles morto Nenhuma função mostrada duas vezes esse mesmo par, mais dois botões de recentrar, dois mostradores de velocidade Um só cancelar, o da Google o cartão no canto com o X é o do próprio Android Auto, desenhado a partir da viagem que a app publica, por isso o botão de parar da app saiu Nada a tremer no ecrã do carro o ecrã More a tremer com o carro estacionado, porque reenviava um ecrã idêntico a cada segundo e o Android Auto anima cada atualização Todos os botões do lado direito os botões do mapa ficavam em cima à esquerda até o ecrã do carro reportar o seu tamanho; agora uma coluna pela margem direita desde o início, nada nosso à esquerda Nenhuma chave do Maps incorporada, nunca a condução de ninguém é faturada a outra pessoa O tremor é o meu preferido, porque é tão pequeno e teria passado. Uma linha de GPS ao vivo atualizava uma vez por segundo. Cada atualização reenviava o ecrã inteiro, sem alterações, e o host animava-o, por isso todas as linhas abaixo abanavam com o carro parado. A correção é uma comparação: só redesenhar quando uma linha mudou. A regra é maior do que a correção. Um ecrã que está parado tem de parecer parado, e isso é verificado com uma rajada de capturas de ecrã que têm de ser idênticas.\nEsse é o verdadeiro trabalho quando uma IA escreve o código. Não se cansa e não se importa de reescrever, mas não consegue ver o ecrã do carro. Tu consegues. Escrever o que viste como uma regra, com a data, é o que impede que volte três sessões depois.\nO que o código fez mal, e como foi apanhado Muita coisa. Nada disso foi exótico, e cada uma foi apanhada a correr o código, não a lê-lo:\nFalha O que fazia Como foi apanhada Rota associada ao troço errado A rota da Google a partir de um carro estacionado ia para norte, fazia inversão de marcha numa rotunda e voltava para sul pela mesma estrada. O associador prendeu o carro ao troço para norte, a 10 m, por isso cada radar para sul ficava «fora da estrada» por mais de um quilómetro. Nada alertou uma condução simulada por script na bancada; o registo de alertas dizia offRoad lateral=1204 para cada radar Watchdog da fala demasiado curto permitia 1,5 s mais 70 ms por carácter. Os números demoram mais a dizer do que isso, por isso cada alerta da segunda fase era cortado a meio da frase os registos de fala de uma execução na bancada Um limite de frequência no motor com uma janela de três segundos, de dois radares num cruzamento, um perdia-se de vez seguir os alertas que ficaram em silêncio na primeira viagem real Um rumo desatualizado o emulador reporta um rumo de 0° faças o que fizeres, por isso numa estrada para sul cada radar falhava a verificação de direção uma execução simulada pela A61 abaixo Mudanças de limite faladas como alertas de radar uma mudança de limite à frente era posta na fila como alerta de radar da primeira fase o registo de fala na bancada A segunda merece uma pausa. Cada teste individual passou. O código estava correto pela sua própria medida. Só tinha um timeout escolhido por alguém que nunca tinha ouvido um telemóvel ler uma distância em voz alta. O teste que apanha isso é uma voz real, cronometrada, numa execução real.\nA primeira viagem real A 12 de outubro pus uma versão de produção no meu telemóvel e levei-a no XPENG G6 com Android Auto sem fios. Duas coisas correram mal. Uma rota definida com o carro parado apagou-se a si própria segundos depois de arrancar. E alguns alertas eram falados e outros não, sem nenhum padrão que eu conseguisse ver.\nDepois o problema pior. Não ficou nada para ler. O ColorOS do meu telemóvel deita fora as linhas de registo da app, por isso a viagem não deixou prova nenhuma. Foi a app, o SDK da Google ou o próprio Android Auto? Não sabia dizer.\nPor isso a correção para a primeira viagem não foi uma alteração de código. Foi prova. A app agora escreve dois registos no telemóvel o tempo todo, um para as rotas e o mapa e outro para cada decisão de alerta, em lotes de 15 segundos, mais um gravador de viagem opcional que guarda cada posição para que uma viagem possa ser repetida na bancada. Depois os palpites foram corrigidos, cada um reescrito para fazer menos e registar que o fez. Cada forma de a orientação terminar regista agora quem a terminou.\nNa bancada, desde então, o Android Auto chamou parar uma vez, 2 minutos e 35 segundos depois do início de uma condução guiada. Eu estava a clicar pela head unit na altura, por isso o mais provável foi o X no seu próprio cartão. Não voltou a acontecer sem ninguém a tocar no ecrã. A próxima viagem vai resolver a questão, porque desta vez a viagem deixa rasto.\nO que vem a seguir A lista da bancada ainda é longa. As próximas viagens verificam o botão de cancelar, os cenários de curva e de sentido contrário, a passagem entre o GPS do carro e o do telemóvel, e se o painel do condutor no G6 mostra de todo cartões de manobra de uma app de terceiros.\nAs partes seguintes desta série entram a sério na matemática do motor de alertas, nos truques para o limite de velocidade, nos formatos da PocketGPSWorld e na própria bancada: como testas uma app de Android Auto sem carro, com um GPS por script e um emulador que acha que todas as estradas vão para norte.\nA máquina escreve, o padrão é teu Já vi muita conversa sobre IA a escrever código, a maior parte de gente que a vende ou de gente que tem medo dela. O que encontrei é mais aborrecido do que as duas coisas, e mais útil.\nEscreve depressa e não se aborrece. Reescreve um ecrã pela quarta vez sem um suspiro. O que não faz é reparar que o ecrã More treme, ou que uma frase foi cortada, ou que um botão morto está ao lado de um vivo. Não consegue ver o carro. Isso cabia-me a mim ver, e a única razão pela qual está corrigido é que escrevi cada coisa como uma regra que tem de ler antes de tocar em seja o que for.\nPor isso, a responsabilidade não sai do sítio. O código é meu porque fui eu que defini o padrão a que é sujeito e sou eu que vou no carro. Nada do que o manteve honesto é um método de IA. Escrever a especificação antes do código, escrever o que aprendes e guardar provas em vez de adivinhar é como a engenharia a sério sempre foi feita. A ferramenta não muda isso. Só torna mais rápido descobrir quem andava a saltar esse passo.\nApache License, Version 2.0 — a licença sob a qual o código do AutoNavAlerts é publicado.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nGoogle — Navigation SDK for Android: Android Auto — a Car App Library fornece «a set of visual templates approved for driver safety», e «Android Auto limits screen surface interaction to a series of SurfaceCallback methods».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nGoogle — Navigation SDK for Android: real-time disruptions — «real-time disruptions are not available on Android Auto».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nGoogle — Navigation SDK for Android: speed alerts — onSpeedingUpdated(float percentageAboveLimit, SpeedAlertSeverity speedAlertSeverity): a percentagem acima do limite e uma gravidade, não o limite em si.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\ngooglemaps/flutter-navigation-sdk issue #726 — «Incident reporting on Android Auto \u0026amp; CarPlay», aberto a 17 de junho de 2026, ainda aberto.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nGoogle Maps Platform — Get started — «you must create a billing-enabled Cloud project and enable the desired APIs or SDKs».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nGoogle — Navigation SDK for Android: set up your project — «A Google Cloud console project with the Navigation SDK enabled.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nPocketGPSWorld — a base de dados britânica de radares de velocidade a partir da qual a app sincroniza, com a subscrição de cada utilizador.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nAndroid Developers — Test using the Desktop Head Unit — o emulador da Google para o ecrã do carro do Android Auto.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\n","permalink":"https://blogs.damiendye.uk/pt/android/autonavalerts-part-one-a-sat-nav-of-my-own/","summary":"O AutoNavAlerts é uma app de navegação para o Android Auto que estou a construir sobre o Navigation SDK da Google: o mapa, o trânsito, a pesquisa e as indicações curva a curva da Google, com um sistema de alertas de radares por cima que carrega a minha própria subscrição da PocketGPSWorld e só alerta para radares virados para o meu sentido de marcha. A parte um cobre o que faz hoje, o que a Google permite a uma app de terceiros fazer no ecrã do carro e o que retém (reporte de incidentes, o limite de velocidade, o toque nos seus próprios controlos), porque é que cada utilizador traz a sua própria chave do Maps e os seus próprios dados de radares, e como o código foi escrito com o Claude: primeiro um documento de design, 87 commits em menos de dois dias, as regras rígidas que saíram da bancada de testes, os bugs que os agentes escreveram e como cada um foi apanhado, e a primeira viagem real no carro.","title":"AutoNavAlerts, parte um: um GPS só meu para o Android Auto"},{"content":"Nada corre quando pedes uma página Esta semana o projeto PHP publicou correções para o PHP2Shell, e o seu aviso dizia que o ataque pode disparar «before any application code runs»1. Escrevi sobre o que isso significa para o PHP em PHP: vinte e nove anos a deixar a porta aberta. Este artigo é sobre a outra metade da resposta. E se nada correr de todo?\nÉ assim que este blogue funciona. Quando pediste esta página, nenhum programa meu arrancou, leu uma base de dados, verificou um login ou construiu HTML. Foi devolvido um ficheiro que já existia. É tudo.\nEis como fica essa diferença, medida no mesmo dia, contra um WordPress de origem instalado de fresco num laboratório e contra este site tal como está no ar agora:\nWordPress 7.1.3 de origem Este site Rotas da API REST 133 0 Rotas REST que aceitam escritas 62 0 Métodos XML-RPC 80 0 Ficheiros que executam no servidor 1514 PHP 0 Ficheiros graváveis pelo utilizador que serve o site 3785 de 3785 nenhum: nada corre para escrever Base de dados 12 tabelas, conta da aplicação com todos os privilégios nenhuma Página de login wp-login.php, ativa nenhuma; o caminho devolve 404 Um POST, PUT ou DELETE à página inicial o PHP corre e gera a página na mesma recusado na periferia com 405; nada corre Nenhum desses zeros é uma opção que eu tenha desligado. São zeros porque aquilo que contam não existe aqui. Não se pode atacar uma página de login que nunca foi construída.\nO que um WordPress de origem põe na internet Não quis argumentar isto de memória, por isso medi. As imagens de contentor oficiais wordpress e mariadb, a correr em podman na minha própria máquina e ligadas ao localhost, instaladas sem nada acrescentado: nenhum plugin além dos que vêm de origem, o tema predefinido, um administrador. WordPress 7.1.3 sobre PHP 8.3.36. Depois contei aquilo a que responde.\nO que responde a um pedido: WordPress contra um site estático Um pedido ao WordPress Um pedido a este site a internet servidor web o PHP corre código, a cada pedido núcleo do WordPress: 1514 ficheiros PHP mais cada plugin e tema 133 rotas REST, 80 métodos XML-RPC todos graváveis pelo mesmo utilizador base de dados, ALL PRIVILEGES login, admin, cron, uploads a internet periferia da Cloudflare é devolvido um ficheiro 6343 ficheiros, feitos antes nenhum código nosso corre POST, PUT, DELETE: 405 nada no servidor onde escrever sem base de dados sem login, sem admin, sem cron O que responde a um pedido. No WordPress, cada visualização de página corre PHP através do núcleo, dos plugins e de uma base de dados, em ficheiros que o mesmo utilizador pode reescrever. Aqui, é devolvido um ficheiro já pronto e nada corre. A API REST é a maior superfície isolada. Cinco namespaces, 133 rotas, 257 pares de rota e método, e 62 rotas que aceitam algum tipo de escrita. Chegou ao núcleo com o WordPress 4.7, «with REST API endpoints for posts, comments, terms, users, meta, and settings»2. E dizem-te para não a desligar: «You should not disable the REST API; doing so will break WordPress Admin functionality that depends on the API being active.»3 Por isso fica ligada.\nO que está exposto por predefinição O que diz a própria documentação do WordPress XML-RPC, 80 métodos ligado por predefinição desde a 3.5: «Enable XML-RPC by default, remove Writing Settings option»4 a API REST, 133 rotas «content that is public on your site is generally publicly accessible via the REST API»5 a lista de utilizadores GET /wp/v2/users devolve o nome de apresentação, o slug, a ligação e o avatar de cada autor na vista predefinida6 wp-login.php e xmlrpc.php «xmlrpc.php is a frequent brute‑force target»; «Apply rate limits to /wp-login.php and /xmlrpc.php globally.»7 wp-cron.php «WP-Cron works by checking, on every page load, a list of scheduled tasks to see what needs to be run.»8 o editor de temas e plugins «This is often the first tool an attacker will use if able to login, since it allows code execution.»9 A lista de utilizadores merece um segundo olhar. No meu laboratório, um pedido anónimo a esse endpoint devolveu a única conta de administrador, por nome de apresentação e slug. Alguém que nunca iniciou sessão fica a saber quais são as contas do site antes de ter tentado o que quer que seja, numa instalação nova, por desenho. Ninguém teve de o configurar mal.\nDepois, os ficheiros. A imagem oficial corre o Apache como www-data, e o www-data é dono de toda a raiz web. Os 3785 ficheiros, entre eles os 1514 ficheiros PHP, são graváveis pelo mesmo utilizador que corre o código. Todos os ficheiros. O código incluído. O wp-config.php, com a palavra-passe da base de dados lá dentro, está na raiz web com o modo 644. A conta de base de dados que o WordPress usa tem ALL PRIVILEGES sobre a sua base de dados.\nÉ o modelo de processo único do artigo sobre o PHP, ao vivo e sem alterações, a partir da imagem oficial. Não é um site mal gerido. É o ponto de partida de todos os sites WordPress, antes de entrar o primeiro plugin.\nE é dos plugins que vem a maior parte. A Patchstack contou 11 334 novas vulnerabilidades no ecossistema WordPress em 2025. «91% of new vulnerabilities were found in plugins, and 9% were found in themes. There were only 6 vulnerabilities reported in the WordPress core.»10 Quase metade não tinha correção quando foram tornadas públicas, e a mediana do tempo até à exploração em massa, para as que os atacantes queriam, foi de cinco horas10.\nO que este site põe na internet Este blogue são 6343 ficheiros. Eis todos eles, por tipo:\nTipo de ficheiro Número O que é .html 3486 as páginas, em cinco línguas .xml 1576 feeds RSS e sitemaps .svg 1181 diagramas, capas, ícones .png 46 capturas de ecrã .json 10 o índice de pesquisa e os carimbos de construção .js 4 pequenos scripts que correm no teu navegador, não no servidor .css, tipos de letra e o resto 40 estilos, e ficheiros anexados aos artigos Executados no servidor 0 Há alguns ficheiros .py e .sh lá pelo meio. São scripts anexados aos artigos para os leitores descarregarem, e o servidor envia-os como texto. Nada no servidor os corre. Não há nada no servidor com que os correr.\nEstá implementado na Cloudflare como recursos estáticos, sem script Worker nenhum. A configuração de implementação não tem ponto de entrada, e a documentação da Cloudflare diz o que isso significa: «The main key is optional for assets-only Workers.»11 Quando um caminho pedido corresponde a um ficheiro, «that file will be served» sem invocar código Worker, e «If no Worker script is present, a 404 Not Found response is returned.»12 E também não custa nada: «Requests to static assets are free and unlimited.»13\nA Cloudflare é uma escolha, não um requisito. O resultado é uma pasta de ficheiros, e qualquer servidor HTTPS capaz de enviar um ficheiro consegue servi-la: nginx, Caddy, um Apache a servir apenas ficheiros estáticos, ou um bucket de armazenamento de objetos atrás de uma CDN. As ligações são relativas, por isso a mesma construção serve sem alterações a partir da raiz de um domínio ou de um subdiretório; isso foi verificado servindo o site construído sob /preview/ e confirmando que as 592 referências locais em seis páginas resolviam todas. Mudar de alojamento é copiar uma pasta. A única peça específica da Cloudflare é o ficheiro _headers; noutro sítio qualquer, os mesmos cabeçalhos vão para a configuração do próprio servidor. O que passa de um lado para o outro é a propriedade que importa. Seja o que for que o sirva, só tem de enviar ficheiros, por isso nunca tem de correr o teu código.\nAssim, o site no ar responde deste modo:\n$ for m in POST PUT DELETE; do curl -s -o /dev/null -w \u0026#34;$m %{http_code}\\n\u0026#34; -X $m https://blogs.damiendye.uk/en/; done POST 405 PUT 405 DELETE 405 $ for p in wp-login.php xmlrpc.php wp-admin/ wp-json/; do curl -s -o /dev/null -w \u0026#34;%{http_code} $p\\n\u0026#34; https://blogs.damiendye.uk/$p; done 404 wp-login.php 404 xmlrpc.php 404 wp-admin/ 404 wp-json/ Nada responde. É esse o desenho.\nOs cabeçalhos de segurança saem com cada ficheiro a partir de um ficheiro de texto simples _headers no repositório, que a Cloudflare lê na implementação14. A Content Security Policy prende cada script, estilo, imagem, tipo de letra e ligação a esta única origem. Vou ser franco quanto à falha que tem: script-src e style-src ainda levam 'unsafe-inline', porque o tema escreve alguns pequenos scripts na página. É a tarefa pendente nesse ficheiro, e está registada no repositório exatamente como tal.\nE publicar não precisa de uma porta. No WordPress, publicar é uma escrita por HTTP: o editor, a API REST e o XML-RPC existem porque é assim que os artigos chegam ao servidor, e cada um deles é um caminho para dentro. Aqui, escrevo um artigo como ficheiro de texto e envio-o para um repositório Git, e a construção carrega os ficheiros finais através da API de implementação da Cloudflare. Nada do que serve o site aceita uma escrita vinda da web, porque nada precisa de o fazer. O repositório também é privado. Pede-o ao GitHub sem as minhas credenciais e a resposta é um 404, por isso o código-fonte, os rascunhos e o histórico também não estão na internet.\nA superfície de ataque é uma contagem, não uma sensação A OWASP define a superfície de ataque como «the sum of all paths for data/commands into and out of the application, and the code that protects these paths»15, e diz que a forma de a reduzir é «turning off features and interfaces that aren\u0026rsquo;t being used»15. O National Cyber Security Centre do Reino Unido di-lo de forma mais seca: «If would-be attackers can\u0026rsquo;t reach an interface, they can\u0026rsquo;t attack it.»16 O seu esquema Cyber Essentials torna-o um requisito: «remove or disable unnecessary software (including applications, system utilities and network services)»17.\nPor isso conta os caminhos, pelo que são e não por quantos são:\nCaminho para dentro ou para fora WordPress Site estático login e adivinhação de palavras-passe wp-login.php, XML-RPC nenhum interface de administração /wp-admin/, com um editor de código nenhuma API programável REST e XML-RPC, com escritas nenhuma código do lado do servidor por pedido núcleo, tema, cada plugin nenhum base de dados sim, alcançável a partir de tudo o que está acima nenhuma armazenamento gravável no servidor uploads e, na imagem de origem, tudo nenhum tarefas agendadas disparadas pelos visitantes wp-cron.php ao carregar a página nenhuma código de terceiros que tens de manter corrigido cada plugin e tema, no servidor as ferramentas de construção, fora do servidor o que uma sessão roubada dá a um atacante o site nada onde iniciar sessão Nove linhas. Nenhuma delas corre código no servidor. Todas pela mesma razão. O trabalho foi feito antes de alguém pedir uma página.\nA penúltima linha é o senão honesto, e o resto deste artigo é sobre ela. Um site estático continua a correr código. Só que o corre noutro sítio, uma vez, antes de publicar.\nComo o Hugo mantém a construção honesta O Hugo é «a static site generator written in Go»18, por isso o programa que faz a construção é ele próprio seguro em memória e compilado, o que conta depois do artigo sobre o PHP. A sua página de segurança traça a linha exatamente onde este artigo a traça: o resultado «runs directly in the browser», mas «during development and site building, the hugo executable itself is the runtime environment.»19 E sobre servir, sem rodeios: «We have no online production server»19. Ótimo.\nDentro da construção, está fechado por predefinição. «Hugo\u0026rsquo;s built-in security policy, which restricts access to os/exec, remote communication, and similar operations, is configured via allowlists. By default, access is restricted.»20\nPredefinição do Hugo O que impede «No arbitrary commands»19 um template não pode chamar a shell da máquina exec.allow limitado a Sass, Go, Git, Node e PostCSS20 só ferramentas nomeadas, com opções fixas funcs.getenv limitado a ^HUGO_ e ^CI$20 os templates não podem ler os teus segredos do ambiente os pedidos remotos recusam anfitriões por endereço IP e localhost20 um template não pode chegar à tua própria rede módulos verificados contra o go.sum19 uma dependência adulterada faz falhar a construção Este site alarga uma destas de propósito. Acrescenta as variáveis de commit do CI ao funcs.getenv, para que o carimbo de construção em /en/version.json possa registar que commit construiu o site no ar. É uma escolha feita e registada, que é o propósito de uma allowlist. Assim, não é um buraco. É uma decisão.\nPara onde vai o risco: a construção Tira o servidor e o risco não desaparece. Muda-se para aquilo que constrói os ficheiros. O framework SLSA nomeia as duas ameaças com exatidão: uma «build integrity threat», em que um adversário introduz «behavior to an artifact without changing its source code», e uma «dependency threat», por «compromising some other artifact that the former depends on at build time»21.\nOnde corre o código: WordPress, este site e uma construção offline ONDE CORRE O CÓDIGO O QUE O PÚBLICO ALCANÇA WordPress o servidor público, a cada pedido PHP, plugins, base de dados Este site contentor de construção da Cloudflare, por push só ficheiros estáticos Construído offline uma máquina tua, uma vez só ficheiros estáticos a construção confia ainda no Hugo, no tema e na máquina onde corre Onde corre o código em cada modelo. O WordPress corre-o no servidor público para cada visitante. Este site corre-o uma vez por push no contentor de construção da Cloudflare. Construído offline, corre uma vez numa máquina que é tua. Este site está na linha do meio, e não vou fingir o contrário. É construído no contentor de construção da Cloudflare a cada push para o repositório. Esse contentor não é o servidor que te responde, e desaparece quando a construção termina. Mas, durante a construção, é-lhe confiado tudo o que acaba no site.\nE a construção tinha duas falhas, ambas encontradas ao escrever este artigo. Uma está corrigida. A outra é uma escolha.\nFalha Porque importa Estado o binário do Hugo era aceite de boa-fé: o download do próprio script não verificava checksum e, no CI, saltava o download de qualquer forma e usava a cópia que a imagem de construção da Cloudflare tinha instalado um binário trocado construiria o que lhe apetecesse corrigida, 23 de outubro de 2026: a construção descarrega sempre o próprio Hugo, verifica-o contra o SHA-256 publicado no lançamento22 e recusa construir se não coincidir o tema segue o ramo master do seu upstream em cada construção uma alteração no upstream pode mudar o site no ar sem nenhum commit aqui aberta, por escolha; a correção é fixá-lo a um commit, ou passá-lo para um módulo Hugo coberto pelo go.sum19 A primeira é o tipo de coisa que só se encontra lendo o próprio script de construção linha a linha. O script verificava a versão. Mas uma string de versão é algo que um binário diz sobre si próprio. Não prova nada sobre os bytes. Agora os bytes são verificados:\nFetching Hugo Extended 0.167.0... Hugo verified: sha256 0163f5c3deddac1f494a1629ddc40c65d18de9d5794facd98f7f96ac2c7d8957 E uma cópia do mesmo tarball com um byte acrescentado é recusada:\nRefusing to build: hugo_extended_0.167.0_linux-amd64.tar.gz does not match the release checksum expected 0163f5c3deddac1f494a1629ddc40c65d18de9d5794facd98f7f96ac2c7d8957 got 92682d765d9d34bc53d6f818d56e598d34b5b8267a1cc3b9971da0f53c792251 O tema é uma troca deliberada, atualidade em vez de reprodutibilidade, e está registado como tal. Mas é exatamente a ameaça de dependência que o SLSA descreve, e o honesto é dizê-lo. Nenhuma das falhas expôs alguma vez o site no ar a um visitante. Ambas eram confiança depositada na construção, e prefiro listá-las a que seja um leitor a encontrá-las.\nAté o checksum tem um limite. Prova que o ficheiro que descarregaste é o ficheiro da página do lançamento. Não prova quem o lá pôs: não há assinaturas entre os ficheiros do lançamento22. Isso é integridade, não autenticidade, e é o máximo que o projeto oferece hoje.\nConstruir offline, uma vez A versão mais estrita tira a construção da máquina de qualquer outra pessoa. Constrói numa máquina que é tua e que controlas, verifica o que construíste e carrega apenas os ficheiros finais. Nada na internet corre alguma vez a tua construção, e o alojamento nunca vê nada além do resultado.\nPasso Porquê instala a versão exata do Hugo e verifica-a contra o SHA-256 publicado sabes que binário construiu o teu site fixa o tema e quaisquer módulos a commits, e faz commit do go.sum a construção só muda quando tu a mudas constrói para um diretório de saída limpo, sem --buildDrafts o que publicas é o que querias publicar procura qualquer coisa executável no resultado antes de ele sair um site estático não deve conter nada que o servidor corresse carrega apenas o diretório de saída, com uma credencial só de implementação o alojamento nunca guarda o teu código-fonte, as tuas ferramentas nem o teu histórico serve-o a partir de um alojamento que não corre código para ficheiros estáticos não sobra nada para corrigir no momento de servir São uns quantos comandos, não um projeto. E muda o sítio onde um atacante tem de estar para te fazer mal. Para alterar um site WordPress, precisa de um pedido ao servidor. Para alterar este tipo de site, precisa da tua máquina de construção. É um alvo muito mais pequeno, e é um que podes desligar da tomada.\nDez mil páginas, medidas A superfície de ataque é um dos custos de correr código em cada pedido. A eletricidade é outro, e o disco também. Por isso pus ambos sob a mesma carga: 10 000 pedidos à página inicial, dez de cada vez, a partir do mesmo portátil, por HTTP simples no localhost para que nenhum dos lados pagasse o TLS. O WordPress de origem do laboratório de um lado. Do outro, os ficheiros reais construídos deste site servidos pelo nginx num contentor, porque a periferia da Cloudflare não é coisa a que eu consiga ligar um contador. Li o tempo de CPU que cada contentor usou a partir do seu cgroup antes e depois de cada execução, três execuções de cada.\n10 000 pedidos de página WordPress 7.1.3 de origem Este site em nginx Tempo de CPU, três execuções 409 s, 530 s, 575 s 0,15 s, 0,18 s, 0,19 s Tempo de CPU por página 41 a 57 ms 15 a 19 µs Páginas por segundo 168 a 236 23 679 a 28 044 Memória sob carga 302 a 310 MiB, mais 145 MiB para a base de dados 15 MiB Pedidos falhados 0 0 São duas mil a três mil e quinhentas vezes o tempo de processador para as mesmas dez mil páginas. Cada um desses segundos de CPU foi tirado da tomada e transformado em calor. O lado estático serviu as 10 000 em mais ou menos o tempo de processador que o WordPress gastou em três ou quatro das suas páginas.\nO disco conta a mesma história:\nEm disco e em memória WordPress de origem Este site Imagens de contentor para o correr 803 MB WordPress, 334 MB MariaDB 166 MB nginx, ou nada na Cloudflare O próprio site 115 MB de raiz web, para um site vazio 114 MB, cinco línguas, todos os artigos e diagramas Base de dados 163 MB de ficheiros com 0,72 MB de dados nenhuma Memória em repouso 170 MiB, mais 139 MiB para a base de dados 13 MiB Os números do WordPress são de uma instalação nova com um artigo de exemplo. Os números do estático são este blogue inteiro.\nPara ser justo com o WordPress, um plugin de cache de página inteira fecharia boa parte da diferença de CPU. Mas olha para o que é essa correção. É uma cópia estática de cada página, posta à frente do PHP para que o PHP não corra. A cura é aquilo que este artigo defende, aparafusada ao lado daquilo contra que argumenta, com a página de login, a API e a base de dados todas ainda lá atrás.\nDo que abdicas A lista honesta, porque um site estático não é a ferramenta certa para tudo:\nAbdicas de O que este site faz em vez disso comentários nenhum; os leitores podem enviar email pesquisa do lado do servidor um índice JSON construído com o site, pesquisado no teu navegador formulários que enviam para o servidor nenhum logins e áreas de membros nenhum; tudo aqui é público edição no navegador os artigos são ficheiros de texto num repositório git publicação instantânea sem construção uma construção demora um ou dois minutos Se precisas de uma loja, de uma área de membros ou de contas de utilizador, precisas de algo a correr num servidor, e este artigo não te diz o contrário. O que te diz é que um blogue, um site institucional ou um conjunto de documentação não precisa de nada disso. A maioria dos sites WordPress é uma destas três coisas. Sê honesto sobre qual é o teu.\nConstrói uma vez e serve-o morto O que me faz confusão é quanto risco se carrega sem razão nenhuma. Uma página de empresa que muda duas vezes por ano, a correr uma base de dados, uma página de login, uma API com 62 rotas graváveis e um executor de tarefas agendadas que dispara sempre que alguém visita. Tudo isso para produzir o mesmo HTML que produziu ontem. Todos os dias.\nIsso não é uma decisão técnica. É um hábito, e é um hábito que alguém fatura. Alojamento, plugins, extras de segurança, a limpeza quando corre mal. O preço que tem é um plano de WordPress gerido. O que custa é cada um desses caminhos mantido aberto, e corrigido, e vigiado, para conteúdo que podia ter sido uma pasta de ficheiros.\nO padrão a que sujeito este site é simples. Nada corre se não precisar de correr. Cada falha fica registada onde a próxima pessoa a vai encontrar, incluindo as duas da construção, e uma delas já está fechada. Não se trata de ser esperto. Um padrão é aquilo que manténs quando ninguém está a verificar, e ninguém verifica um blogue até ao dia em que ele começa a servir o código de outra pessoa.\nPor isso constrói uma vez, verifica o que construíste e serve-o morto. O que sobrar para atacar está na tua máquina, que é onde deve estar.\nPHP — News archive 2026, 21st October — «We consider the risk highest for mod_php, with a demonstrated exploit where an unauthenticated request can trigger the attack before any application code runs».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nWordPress 4.7 release notes — «WordPress 4.7 comes with REST API endpoints for posts, comments, terms, users, meta, and settings.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nWordPress REST API Handbook — Frequently Asked Questions — «You should not disable the REST API; doing so will break WordPress Admin functionality that depends on the API being active.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nWordPress 3.5 release notes — «Enable XML-RPC by default, remove Writing Settings option».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nWordPress REST API Handbook — «content that is public on your site is generally publicly accessible via the REST API».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nWordPress REST API reference — Users — GET /wp/v2/users, contexto predefinido «view»; name, slug, link e avatar_urls no contexto view.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nWordPress — Brute force attacks — «xmlrpc.php is a frequent brute‑force target»; «Apply rate limits to /wp-login.php and /xmlrpc.php globally.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nWordPress Plugin Handbook — Cron — «WP-Cron works by checking, on every page load, a list of scheduled tasks to see what needs to be run.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nWordPress — Hardening WordPress — o editor do Dashboard «is often the first tool an attacker will use if able to login, since it allows code execution.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nPatchstack — State of WordPress Security in 2026 — dados de 2025: 11 334 novas vulnerabilidades; 91% em plugins, 9% em temas, 6 no núcleo; 46% sem correção a tempo da divulgação; mediana de 5 horas até à exploração em massa.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCloudflare — Wrangler configuration — «The main key is optional for assets-only Workers.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCloudflare — Workers static assets — um ficheiro correspondente «will be served» sem invocar código Worker; «If no Worker script is present, a 404 Not Found response is returned.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCloudflare — Static assets billing and limitations — «Requests to static assets are free and unlimited.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCloudflare — Static assets headers — cabeçalhos definidos por «a plain text file called _headers».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nOWASP — Attack Surface Analysis Cheat Sheet — «the sum of all paths for data/commands into and out of the application, and the code that protects these paths»; reduz-se com «turning off features and interfaces that aren\u0026rsquo;t being used».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNCSC — Making compromise difficult, 2.2 Reduce attack surface — «If would-be attackers can\u0026rsquo;t reach an interface, they can\u0026rsquo;t attack it.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNCSC — Cyber Essentials: Requirements for IT infrastructure v3.2 — «remove or disable unnecessary software (including applications, system utilities and network services)».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nHugo — Introduction — «Hugo is a static site generator written in Go, optimized for speed and designed for flexibility.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nHugo — Security model — «during development and site building, the hugo executable itself is the runtime environment»; «We have no online production server»; «No arbitrary commands»; um checksum do go.sum que não coincida faz falhar a construção.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nHugo — Configure security — «By default, access is restricted»; allowlists predefinidas de exec, getenv e http.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nSLSA v1.2 — Threats — ameaça à integridade da construção: «behavior to an artifact without changing its source code»; ameaça de dependência: «compromising some other artifact that the former depends on at build time».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nHugo v0.167.0 release — 36 recursos, incluindo hugo_0.167.0_checksums.txt (SHA-256); sem ficheiros de assinatura, SBOM ou atestação.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\n","permalink":"https://blogs.damiendye.uk/pt/security/a-static-site-has-nothing-to-break-into/","summary":"Este blogue é construído com o Hugo e servido como 6343 ficheiros simples, sem nenhum código meu a correr em nenhum pedido. Do outro lado, um WordPress 7.1.3 de origem medido num laboratório podman: 133 rotas REST, 62 das quais aceitam escritas, 80 métodos XML-RPC, 1514 ficheiros PHP, cada um dos seus 3785 ficheiros gravável pelo próprio utilizador do servidor web, e uma conta de base de dados com todos os privilégios. Este artigo conta as duas superfícies de ataque, explica o que o modelo de segurança do próprio Hugo faz no momento da construção, assume para onde vai o risco quando nada corre no momento de servir, incluindo duas falhas na forma como este site era construído, uma delas já corrigida, e mostra como construir um site estático offline, uma vez, e carregar apenas os ficheiros finais.","title":"Um site estático não tem por onde entrar"},{"content":"PHP2Shell, Esta Semana A 21 de outubro de 2026, o projeto PHP publicou quatro versões de uma vez, 8.5.12, 8.4.27, 8.3.36 e 8.2.35, para corrigir duas falhas críticas no próprio interpretador1. Não no WordPress. Não num plugin. No PHP.\nAs duas têm 9,2 no CVSS 4.0. As duas permitem execução remota de código sem login. Os investigadores que as encontraram descreveram o alcance sem rodeios: «Every PHP version released in the last decade is affected by at least one of these vulnerabilities, going back to version 5.4.»2\nO aviso do próprio projeto PHP diz o resto:\nO que o aviso diz O que significa para ti «unauthenticated remote code execution» ninguém precisa de uma conta no teu site «risk highest for mod_php» a configuração antiga mais comum do Apache é a que está pior colocada «before any application code runs» o teu próprio código, por mais cuidadoso que seja, nunca tem uma palavra a dizer «There are no complete mitigations, updating is the only safe choice.» nenhuma alteração de configuração te salva «PHP 8.1 and older no longer receive updates» uma boa parte da web não recebe correção nenhuma E já estava a ser usado antes de alguém ser avisado. A rede de honeypots da Amazon registou uma tentativa a 17 de outubro, quatro dias antes da divulgação3. A watchTowr viu-o a ser explorado no dia 21, e havia provas de conceito funcionais públicas poucas horas depois da correção4.\nOs dois bugs são bugs de segurança de memória. Um está na forma como o interpretador arruma a casa depois de ficar sem memória. O outro é um use-after-free: memória de um pedido é libertada e depois lida outra vez, e o pedido seguinte no mesmo worker consegue vê-la56. Guarda bem este segundo. Volta mais à frente.\nNada disto é novo. É esse o objetivo do artigo. O PHP2Shell não é um acidente que aconteceu a uma linguagem cuidadosa. É a página mais recente de um historial com quase trinta anos, e todos os números nele são públicos.\nUm Processo Guarda Tudo Entre novembro de 2014 e abril de 2017 fui engenheiro Linux de terceira linha na plataforma de cloud e alojamento da Pulsant. Parte desse trabalho era configurar ambientes PHP-FPM para clientes de comércio eletrónico e afiná-los para serem rápidos.\nAs invasões a sites PHP eram comuns. Não de vez em quando. Comuns. E resumiam-se a duas causas: implementação fraca, e nenhuma separação entre o front end e o back end.\nA linguagem faz da segunda a predefinição. Um site PHP típico é um processo. O template da página, a lógica de negócio e o SQL vivem todos no mesmo tratador de pedidos, muitas vezes no mesmo ficheiro. Esse processo corre como um utilizador do sistema operativo. Consegue ler a palavra-passe da base de dados, porque a palavra-passe está num ficheiro ao lado do código. E normalmente consegue escrever na sua própria raiz web, porque é assim que funcionam os uploads e as atualizações.\nUm processo que guarda tudo, contra camadas com as suas próprias fronteiras A implementação PHP habitual Camadas com fronteiras próprias a internet um worker, um utilizador do SO templates HTML lógica de negócio SQL, montado no mesmo ficheiro wp-config.php: palavra-passe da BD uploads/: com escrita o próprio código: com escrita um bug chega a tudo base de dados, todos os direitos a internet front end gera páginas, sem credenciais serviço de back end utilizador próprio, não escreve o código só responde a uma API estreita base de dados, privilégio mínimo À esquerda, o site PHP habitual: tudo num worker, um utilizador, a um bug de distância de tudo. À direita, camadas com as suas próprias fronteiras: o front end não guarda credenciais e o back end não se consegue reescrever. Isto não é a minha opinião sobre como o PHP é implementado. É o que o PHP e o WordPress documentam.\nFonte O que diz Manual do PHP, módulo do Apache quando o PHP corre como módulo do Apache «it inherits Apache\u0026rsquo;s user permissions», e «a malicious script could access and modify the database, even without a username and password»7 Manual do PHP, instalação no Apache «The mod_php approach embeds PHP directly into every Apache httpd worker process.»8 WordPress, wp-config o ficheiro «is located in the root of your WordPress file directory and contains … database connection information»9 WordPress, permissões de ficheiros o wp-config.php «is initially created with 644 permissions, and it\u0026rsquo;s a hazard to leave it like that»10 WordPress, endurecimento o utilizador da base de dados «only needs» SELECT, INSERT, UPDATE e DELETE, e depois «it is NOT recommended to revoke these privileges»11 Lê outra vez essa última linha. O fornecedor diz-te como seria o privilégio mínimo, e depois diz-te para não o aplicares, porque as atualizações mudam o esquema.\nCompara com a versão separada. O front end gera páginas e não guarda segredos. O back end é um serviço à parte com o seu próprio utilizador, uma API estreita, e sem acesso de escrita ao seu próprio código. A conta da base de dados pode fazer o que o back end precisa e mais nada. As orientações da OWASP dizem o mesmo por palavras suas: «The application\u0026rsquo;s backend database should be isolated from other servers», num «dedicated internal network segment»12. O próprio manual do PHP diz que as aplicações «should never connect to the database as its owner or a superuser»13.\nNada disso é exótico. É o aspeto de um processo como deve ser. A razão por que importa aqui é simples. No modelo separado, um bug no front end dá a um atacante um front end. No modelo habitual do PHP, um bug em qualquer lado dá-lhe os templates, o código, as credenciais e os dados, de uma só vez.\nO PHP-FPM ajuda, e o próprio guia de instalação do PHP marca-o agora como a forma recomendada de correr o PHP sob o Apache8. As suas pools podem arrancar workers «with different uid/gid/chroot/environment»14. Mas uma pool por site continua a ser um site por processo, a guardar tudo o que esse site tem. É uma parede melhor entre clientes. Não é uma parede dentro da aplicação.\nGuarda essa imagem ao longo de todas as secções abaixo. Cada bug do historial cai sobre esse processo.\nVinte e Nove Anos de CVEs A National Vulnerability Database lista todos os CVEs registados contra o interpretador PHP sob um único identificador de produto, cpe:2.3:a:php:php. Pergunta-lhe, e ela responde 75715.\nCVEs do interpretador PHP por ano, com a fatia de corrupção de memória CVEs registados contra o interpretador PHP, por ano de publicação todos os CVEs: 757 corrupção de memória: pelo menos 288 40 80 120 114 120 1997 2002 2007 2012 2016 2021 2026 Todos os CVEs contra o interpretador PHP por ano de publicação, com a fatia de corrupção de memória sobreposta. Contados a partir da API do NVD a 23 de outubro de 2026. Essa contagem é só do interpretador. Nada de WordPress, nada de Drupal, nada de plugins, nada de frameworks. Só o programa que corre o teu PHP.\nPeríodo CVEs Corrupção de memória O que se passava 1997 a 2006 93 3 web inicial, pouca classificação 2007 114 19 o Month of PHP Bugs 2008 a 2014 187 54 ruído de fundo constante 2015 a 2017 208 122 os anos do unserialize e da memória 2018 a 2023 100 63 menos, ainda sobretudo memória 2024 a 2026 55 27 o PHP2Shell cai nesta janela Total 757 288 Destacam-se dois picos. O primeiro é março de 2007, quando um antigo membro da equipa de segurança do PHP organizou o Month of PHP Bugs, divulgando falhas no Zend Engine, no núcleo do PHP e nas suas extensões «on a day by day basis»16. Tinha fundado a PHP Security Response Team, depois saiu, e disse porquê: «I dislike the ways bugs are handled»17. Quando o fundador da equipa de segurança de um projeto se vai embora e publica um bug por dia, isso diz-te como iam as coisas lá dentro.\nO segundo pico é 2016: 120 CVEs, 65 deles de corrupção de memória. Mais sobre isso abaixo.\nO número da memória é um mínimo, não uma estimativa. O NVD marca uma boa quantidade de bugs mais antigos como «Other» em vez de lhes dar um tipo de fraqueza, incluindo alguns dos use-after-free da secção seguinte. O número real é maior. Estou a usar o que consigo demonstrar.\nO Motor Está Escrito em C É aqui que o argumento da segurança de memória tem de ser feito com cuidado, porque um programador de PHP vai lembrar, e com toda a razão, que o código dele nunca chama malloc. Os scripts PHP não gerem memória à mão. Não consegues escrever um buffer overflow em PHP como consegues em C.\nNão precisas. O interpretador que corre o teu script está escrito em C, e as suas extensões estão escritas em C. Cada byte de entrada não confiável que o teu site recebe, cada cabeçalho, cada upload, cada campo de formulário, cada cookie, é analisado por esse C antes de o teu código o ver. Quando esse C está errado, o teu PHP cuidadoso não interessa. O PHP2Shell provou-o: o aviso diz que o ataque pode disparar «before any application code runs»1.\nO historial mostra o que esse C tem feito mal:\nClasse CWE O que é CVEs do interpretador PHP CWE-119 erros de buffer de memória, em geral 93 CWE-125 leitura fora dos limites 50 CWE-190 overflow de inteiro 35 CWE-189 erros numéricos, etiqueta antiga 33 CWE-416 use after free 27 CWE-787 escrita fora dos limites 26 CWE-476 desreferência de ponteiro nulo 20 São essas as classes a que as agências de segurança se referem quando falam de segurança de memória. Em novembro de 2022, a NSA aconselhou as organizações «to consider making a strategic shift from programming languages that provide little or no inherent memory protection, such as C/C++, to a memory safe language when possible»18. Em dezembro de 2023, a CISA, com o National Cyber Security Centre do Reino Unido entre os coautores, pôs-lhe um número: «two-thirds of reported vulnerabilities in memory unsafe programming languages still relate to memory issues»19.\nNenhum dos documentos nomeia o PHP. Não precisam. Nomeiam a linguagem de que o PHP é feito.\nO pior exemplo repetido é o unserialize(), a função que transforma uma string guardada outra vez em objetos PHP. Teve a mesma classe de bug, no mesmo sítio, mais do que uma vez:\nCVE Onde O que o NVD regista CVE-2014-8142 process_nested_data use-after-free no unserialize20 CVE-2015-0231 a mesma função «exists because of an incomplete fix for CVE-2014-8142»21 CVE-2015-2787 tratamento do __wakeup use-after-free no unserialize CVE-2016-5771 SPL, com recolha de lixo use-after-free no unserialize22 CVE-2016-5773 ZipArchive, com recolha de lixo use-after-free no unserialize O manual do PHP sabe. A página da função traz o aviso: «Do not pass untrusted user input to unserialize() regardless of the options value of allowed_classes.»23 É uma linguagem a dizer-te que uma das suas próprias funções incorporadas não é segura para usar na coisa com que a maior parte do código web lida o dia inteiro.\nDepois há o PHP-FPM, o gestor de processos que o próprio guia de instalação do PHP recomenda em vez do mod_php. Em outubro de 2019, o CVE-2019-11043 mostrou que «in certain configurations of FPM setup it is possible to cause FPM module to write past allocated buffers … opening the possibility of remote code execution»24. A configuração em causa era uma montagem comum de nginx. Foi corrigido a 24 de outubro de 201925. A CISA acrescentou-o mais tarde ao seu catálogo de vulnerabilidades com exploração conhecida, assinalado como usado em campanhas de ransomware26.\nA PHP Foundation encomendou de facto uma auditoria de segurança a sério ao código-fonte do interpretador, e é justo reconhecê-lo. Os resultados, publicados a 10 de abril de 2025, encontraram 27 problemas, 17 deles com implicações de segurança27. Isso é boa prática e devia ser normal. São também mais 17, numa auditoria a um código que já tinha quase três décadas de relatórios públicos de bugs.\nA Linguagem Cometeu os Mesmos Erros Um Andar Acima O C é uma camada. A linguagem por cima cometeu o mesmo tipo de erro no seu desenho: confiar em entradas em que não tinha nada que confiar, e levar anos a parar.\nFuncionalidade O que fazia Desligada por omissão ou obsoleta Retirada Tempo register_globals transformava parâmetros do pedido em variáveis do script desligada na 4.2.0, 22 de abril de 200228 5.4.0, 1 de março de 201229 dez anos magic quotes escapava as entradas automaticamente, e mal obsoleta na 5.3.0, 30 de junho de 2009 5.4.0, 1 de março de 201230 três anos preg_replace /e avaliava a substituição como código PHP obsoleta na 5.5.0, 20 de junho de 201331 7.0.0, 3 de dezembro de 201532 dois anos e meio allow_url_include deixava o include ir buscar código pela rede obsoleta na 7.4.033 metadados phar desserializados automaticamente ao aceder ao ficheiro corrigido na 8.034 0 == \u0026quot;foobar\u0026quot; dava verdadeiro corrigido na 8.035 O register_globals merece uma linha só para ele. Durante anos, qualquer parâmetro do pedido, ?admin=1 por exemplo, passava a ser uma variável no teu script, e se o teu código verificasse $admin antes de o definir, o atacante já o tinha definido por ti. O próprio manual do PHP chamou a desligá-lo «the most controversial change in PHP»29. Dez anos entre desligado por omissão e desaparecido. Foi esse o tempo que o projeto tolerou uma funcionalidade que sabia ser perigosa, porque retirá-la estragaria sites.\nO caso do phar é o mesmo padrão uma camada abaixo. Em 2018, Sam Thomas mostrou na Black Hat que operações normais sobre ficheiros num caminho phar:// desserializavam metadados fornecidos pelo atacante, levando o problema do unserialize() a funções que ninguém considerava perigosas36. O PHP 8.0, no final de 2020, deixou de o fazer automaticamente, «to fix potential security vulnerabilities due to object instantiation, autoloading, etc.»34.\nDepois o type juggling. O == do PHP converte tipos antes de comparar, por isso strings que parecem números são comparadas como números. O RFC que corrigiu parte disto no PHP 8.0 disse-o sem rodeios: «This results in many surprising comparison results, the most notable of which is that 0 == “foobar” returns true.»35\nEssa correção foi real. Também foi parcial. Eis a mesma verificação corrida nos contentores oficiais php:7.4-cli e php:8.5-cli, sendo o segundo a 8.5.12, a versão corrigida para o PHP2Shell esta semana, com os dois resultados lado a lado:\n$ php -r \u0026#39;var_dump(0 == \u0026#34;foobar\u0026#34;);\u0026#39; bool(true) # 7.4.33 bool(false) # 8.5.12 $ php -r \u0026#39;var_dump(\u0026#34;0e462097431906509019562988736854\u0026#34; == \u0026#34;0e830400451993494058024219903391\u0026#34;);\u0026#39; bool(true) # 7.4.33 bool(true) # 8.5.12 Duas strings diferentes, iguais. As duas começam por 0e seguido de dígitos, por isso o PHP lê as duas como zero vezes dez elevado a qualquer coisa, e zero é igual a zero. As duas têm o formato de um hash MD5. Compara um hash de palavra-passe guardado com == em vez de === ou hash_equals(), e qualquer entrada cujo hash comece por acaso dessa forma corresponde. Está documentado há anos. Continua a funcionar na versão mais recente.\nIsto é a linguagem num exemplo. Uma correção que entrou, metade do problema deixado para trás, e a versão segura a exigir que saibas que existe um operador diferente.\nUma Shell, Quase Todos os Anos A pergunta que vale a pena fazer a qualquer plataforma não é quantos bugs teve. É com que frequência alguém podia ficar com o servidor inteiro sem palavra-passe e sem ninguém clicar em nada.\nO NVD pontua todos os CVEs. Filtra os 757 pela pontuação que quer dizer exatamente isso, ataque pela rede, sem privilégios, sem interação do utilizador, impacto alto na confidencialidade e na integridade, e ficas com 17215.\nClassificações de comprometimento total sem autenticação por ano, e exploração confirmada por ano Comprometimento remoto total, sem login, sem ação do utilizador CVEs do interpretador PHP, CVSS rede, sem privilégios, sem interação, impacto alto: 172 20 40 60 65 1997 2002 2007 2012 2016 2021 2026 Exploração confirmada: PHP e aplicações PHP no KEV da CISA entradas acrescentadas por ano, 81 ao todo; o catálogo começou em novembro de 2021 16 2021 16 2022 10 2023 8 2024 11 2025 20 2026 Em cima: CVEs do interpretador pontuados como comprometimento remoto total sem login e sem ação do utilizador. Em baixo: PHP e aplicações PHP acrescentados em cada ano ao catálogo da CISA de vulnerabilidades com exploração conhecida. 172 ao longo de 23 dos 28 anos que têm algum CVE de PHP. Só cinco estão em branco. Só 2016 tem 65.\nUma pontuação de gravidade é uma classificação, não uma invasão. Por isso a segunda metade do quadro é o catálogo Known Exploited Vulnerabilities da CISA, que só lista falhas com exploração confirmada no terreno26. Das suas 1754 entradas a 21 de outubro de 2026, 81 são o próprio PHP ou aplicações escritas em PHP:\nAno em que foi acrescentado PHP e aplicações PHP Catálogo inteiro 2021 16 311 2022 16 555 2023 10 187 2024 8 186 2025 11 245 2026, até 21 de outubro 20 270 2026 já é o pior ano do PHP no catálogo, e o PHP2Shell ainda nem lá está. Três dos deste ano são no próprio núcleo do WordPress: dois acrescentados a 21 de julho, e uma inclusão remota de ficheiros a 25 de setembro.\nEntradas KEV com uso conhecido por ransomware O quê CVE-2019-11043 buffer overflow no PHP-FPM CVE-2024-4577 injeção de argumentos no PHP-CGI CVE-2021-3129 Laravel Ignition CVE-2018-7600, CVE-2018-7602 Drupal E o catálogo conta muito por baixo no caso do PHP. Foi construído à volta dos sistemas federais dos EUA e exige um CVE mais exploração confirmada. Tem 3 entradas de plugins do WordPress. O ecossistema de plugins do WordPress registou 11 334 vulnerabilidades só em 202537. Os 81 são a parte que alguém oficial pôs por escrito.\nO WordPress Multiplica-o O WordPress é 39,6% de todos os sites, e 58,3% dos sites cujo sistema de gestão de conteúdos se consegue identificar38. O PHP é a linguagem do lado do servidor de 69,3% dos sites onde isso se consegue ver39. Portanto, seja qual for o historial do PHP, o WordPress leva-o a uma parte enorme da web, e depois junta-lhe o seu.\nO núcleo não é o problema principal. Os plugins é que são.\n2024 2025 Novas vulnerabilidades no ecossistema WordPress, Patchstack 796640 11 33437 Em plugins 96% 91% No núcleo 7 6 Sem correção a tempo da divulgação pública 33% 46% Tempo mediano até à exploração em massa, bugs muito explorados 5 horas A Wordfence, com a sua própria base de dados, contou 8223 em 2024, uma subida de 68% sobre 2023, e concluiu que «Roughly 35% of the vulnerabilities disclosed in 2024 remain unpatched in 2025»41. Bases de dados diferentes, totais diferentes, a mesma forma.\nFica um momento com os números de 2025. Quase metade das vulnerabilidades não tinha correção do programador quando foi tornada pública. E para aquelas atrás das quais os atacantes vão de facto, o intervalo mediano entre a divulgação e a exploração em massa é de cinco horas. A maioria das pessoas não verifica as atualizações dos plugins de cinco em cinco horas. A maioria das pessoas não consegue.\nO modelo de plugins é o multiplicador. A segurança de um site depende do autor menos cuidadoso de qualquer coisa nele instalada, e a Wordfence concluiu que «over one third of developers are unreachable or unresponsive» quando avisados de uma falha41. A Patchstack contou 1614 plugins e temas retirados do repositório em 2024 por problemas de segurança que ninguém corrigiu40. E por causa do modelo de processo único, cada plugin corre com os direitos todos do site.\nOs incidentes são uma lista longa. Estes são os que têm fontes primárias por trás:\nAno O quê Escala 2011 TimThumb, um script de imagens incluído em muitos temas, deixava os atacantes «upload and execute arbitrary PHP code»42 «many commercial and free themes» 2014 RevSlider, por trás da campanha SoakSoak43 «compromising over 100,000 WordPress sites» 2016 Mossack Fonseca, a firma dos Panama Papers: o seu site «may have been breached via a vulnerable version of Revolution Slider»44 o site corria uma versão explorável; como os dados saíram nunca foi demonstrado 2017 injeção de conteúdo pela REST API no WordPress 4.7.0 e 4.7.1, ativa por omissão45 66 000 páginas desfiguradas indexadas pelo Google pela contagem da Sucuri46; 1 893 690 pela da Wordfence quatro dias depois47 2020 WP File Manager, execução de código sem autenticação, explorada antes de existir correção48 «over 700,000 active installations» 2025 SureTriggers, criação de conta de administrador sem autenticação49 «exploitation attempts observed within hours after disclosure» Tive cuidado com a linha de 2016. A Wordfence mostrou que o site da firma corria uma versão do slider trivialmente explorável. Não mostrou que tenha sido assim que os documentos foram levados, e não vou afirmar mais do que as provas permitem.\nComo o Malware Fica Entrar é metade. Ficar é a outra metade, e o PHP torna isso fácil por uma razão que volta direitinha à imagem do processo único.\nO interpretador corre qualquer ficheiro .php a que consiga chegar. A raiz web normalmente pode ser escrita pelo mesmo utilizador que corre o código. Por isso, assim que um atacante tem qualquer forma de escrever um ficheiro, um formulário de upload, um bug num plugin, um gestor de ficheiros, consegue escrever um script que corre sempre que alguém o pede. Isso é uma web shell: um ficheiro pequeno, sentado no teu site, a receber ordens.\nA CISA diz há anos em que linguagens estas são sobretudo escritas: «The most commonly observed web shells are written in languages that are widely supported, such as PHP and ASP.»50 As orientações conjuntas da NSA e do Australian Signals Directorate chamam-lhes «a long-standing, pervasive threat that continues to evade many security tools», e difíceis de detetar porque são «easily modified by attackers and often employ encryption, encoding, and obfuscation»51.\nOs números das limpezas mostram com que frequência lá estão:\nFonte Conclusão Sucuri, 2022, 43 374 sites limpos «69.63% of compromised websites were found to have at least one backdoor»; 1 188 864 backdoors removidas52 Sucuri, 2022 «90% of credit card skimmers were found in the form of malicious PHP code»52 Sucuri, 2023, 39 594 sites limpos «49.21% of compromised websites were found with at least one website backdoor»; WordPress com 95,5% das infeções53 Wordfence, 2024 «just under one million distinct sites infected with malware»41 Portanto, no ano de limpezas mais recente, metade dos sites invadidos ainda tinha uma forma de voltar a entrar guardada no disco. Restaura a base de dados, corrige o plugin, e o atacante volta a entrar pelo ficheiro que deixou.\nNão há solução engenhosa para isto. Há a chata, a correta, e a NSA pô-la por escrito: «web applications should not have permission to write directly to a web accessible directory or modify web accessible code»51. Essa única frase é o modelo de camadas separadas do início deste artigo, dito por uma agência de informações.\nOnde corre mal O controlo que o trava o utilizador de execução consegue escrever o código código pertencente a um utilizador de implementação separado, só de leitura para o utilizador de execução os uploads caem dentro da raiz web guardar os uploads «outside of the webroot», ou noutro servidor54 o PHP executa qualquer coisa nos uploads nenhuma execução de scripts nos caminhos de upload no servidor web, e «disable per directory configuration overrides on upload directories»54 ninguém repara num ficheiro novo monitorização da integridade dos ficheiros contra uma cópia conhecida e boa51 a conta da base de dados pode fazer tudo privilégio mínimo para o utilizador da base de dados13 O guia de endurecimento do WordPress, já agora, nunca menciona impedir o PHP de correr no diretório de uploads11. É por isso que a tabela cita a OWASP e a NSA em vez dele.\nRepara no que não está nessa tabela. As próprias definições de endurecimento do PHP. O manual é honesto sobre elas. O disable_functions «can be circumvented and should not be considered a sufficient security measure for shared hosting environments», e o open_basedir «is just an extra safety net, that is in no way comprehensive, and can therefore not be relied upon when security is needed»55. Quando a documentação da própria linguagem te diz que os seus botões de segurança não são fronteiras de segurança, acredita. Como tal, a fronteira tem de vir de fora do processo.\nAté o php.net Foi Invadido Se a infraestrutura do próprio projeto fosse sólida, podias argumentar que o historial se deve a um problema difícil bem tratado. Foi invadida duas vezes.\nQuando O que aconteceu 22 a 24 de outubro de 2013 «JavaScript malware was served to a small percentage of php.net users»; «two servers were compromised», método «unknown at this time»56 28 de março de 2021 «two malicious commits were pushed to the php-src repo» em nome de dois programadores do núcleo57 A de 2021 é a que importa. Alguém meteu código na própria árvore de código-fonte da linguagem, fazendo-se passar pelas pessoas que a mantêm. Foi apanhado. A resposta do projeto merece ser citada porque é a certa, dita com clareza: «maintaining our own git infrastructure is an unnecessary security risk», e os repositórios passaram para o GitHub57.\nMérito a quem o tem: foi uma boa decisão, tomada depressa, e explicada às claras. Mas repara no que admite. Durante anos, a fonte canónica de uma linguagem que corre a maior parte da web viveu numa infraestrutura gerida pelo próprio projeto, que o próprio projeto decidiu ser um risco que não devia estar a carregar.\nMetade da Web Corre Uma Versão Que Ninguém Corrige Tudo o que está acima assume que o site está atualizado. Muitíssimos não estão.\nO php.net suporta atualmente quatro ramos. O 8.2 recebe só correções de segurança, até 31 de dezembro de 2026. O 8.3, o 8.4 e o 8.5 são o resto58. Tudo o que é mais antigo chegou ao fim de vida: o 8.1 desde 31 de dezembro de 2025, o 8.0 desde novembro de 2023, o 7.4 desde novembro de 202259.\nAgora a fatia medida do que está de facto a correr:\nQuanto do PHP corre em versões que o php.net já não corrige Versão de PHP em uso, por estado de suporte do php.net Sites PHP (W3Techs) 48,3% 18,0% 33,7% Instalações WordPress 34,7% 23,5% 41,8% sem suporte agora 8.2, sem suporte a partir de 31 de dezembro de 2026 8.3 e posteriores Versão de PHP em uso por estado de suporte. Sites PHP a partir das fatias de versões da W3Techs; instalações WordPress a partir das estatísticas do próprio wordpress.org. Ambos lidos a 23 de outubro de 2026. Sem suporte hoje Sem suporte a partir de 1 de janeiro de 2027 Sites PHP, W3Techs6061 48,3% cerca de 66% Instalações WordPress, wordpress.org62 34,7% cerca de 58% Só o PHP 7.4, sem suporte há quase quatro anos, é cerca de um quinto de todos os sites PHP que mostram a versão. A página de requisitos do próprio WordPress pede PHP 8.3, e depois diz que o WordPress «also works with PHP 7.4+», notando que essas versões «have reached their official End Of Life»63. Um fornecedor que ainda corre numa versão morta é um fornecedor que decidiu não te obrigar a mudar.\nDuas ressalvas honestas. A W3Techs só vê a versão nos sites que a anunciam. E algumas distribuições Linux fazem backport de correções para builds antigos de PHP, por isso «sem suporte do php.net» nem sempre é «sem correção». Mas o PHP2Shell é o teste disso. Desta vez o projeto publicou de facto patches de código-fonte para o 7.4, o 8.0 e o 8.11, e alguém ainda tem de os compilar, distribuir e instalar. Num alojamento partilhado a correr uma versão que não é de ninguém, esse alguém é ninguém.\nEu Desisti Dele. Devias Pensar em Sair Também. Eu escrevia PHP. Depois da Pulsant desisti da linguagem, por causa dos problemas que causava e do trabalho que esses problemas davam. Não foi um mau incidente. Foram anos das mesmas duas causas, site após site, e a limpeza a cair em cima de quem estivesse de turno.\nPor isso vou dizê-lo com clareza. Se a escolha for tua, pensa em sair. Hoje existem ferramentas melhores para isto, e o Go é a primeira para que te apontaria.\nNão por estar na moda. Porque remove, por omissão, a maior parte do que este artigo tem estado a contar:\nO site PHP habitual Um serviço em Go Segurança de memória motor escrito em C, 288 CVEs de corrupção de memória segurança de memória por desenho; a NSA e a CISA nomeiam-no as duas1819 Correr o código analisado e compilado outra vez a cada pedido a não ser que o OPcache esteja carregado, uma extensão que acrescentas tu antes da 8.5; depois corrido por um interpretador escrito em C; um JIT desde a 8.0, desligado por omissão6465 compilado uma vez, antecipadamente, para código máquina nativo66 Servir um pedido o servidor web entrega cada pedido a um interpretador um binário compilado responde ele próprio ao HTTP Um ficheiro largado na raiz web um ficheiro .php corre no momento em que alguém o pede nada corre um ficheiro do disco por causa do seu caminho Saída HTML o echo escreve em bruto; escapar é uma função de que te tens de lembrar o html/template escapa por omissão, conforme o contexto67 SQL as prepared statements existem no PDO, se as usares a forma documentada passa os parâmetros como argumentos68 Falhas conhecidas naquilo de que dependes descobres pelas notícias o govulncheck só reporta as que o teu código chama de facto69 Onde vivem as peças código, configuração e uploads numa árvore com permissão de escrita um binário só de leitura, com a configuração e os uploads noutro sítio Compilado importa duas vezes. É mais rápido: os programas Go «are compiled ahead of time to native machine code», sem máquina virtual por baixo, e um dos seus objetivos de desenho declarados é «to approach the performance of C for comparable programs»66. E é mais seguro, porque não há interpretador no caminho do pedido a analisar código em tempo de execução, nem um motor em C com 757 CVEs entre a rede e o teu programa. O PHP, entregue a si próprio, faz o contrário. Sem OPcache carrega, analisa e compila cada script a cada pedido, sem necessidade, milhares de vezes por minuto num site movimentado. O OPcache existe para parar isso, «removing the need for PHP to load and parse scripts on each request»64. Mas não vem ligado de origem. Até à 8.4 inclusive, é uma extensão partilhada à parte que alguém tem de carregar com zend_extension e configurar. Só o PHP 8.5 a inclui: «The Opcache extension is now always built into the PHP binary and is always loaded»70. O próprio RFC do projeto para essa mudança diz que «running PHP in production without OPcache is generally considered a mistake»71. A W3Techs põe a 8.5 em 4,5% dos sites PHP 860, por isso, para quase tudo o que corre hoje, a solução para compilar cada script a cada pedido continua a ser um extra de que alguém se teve de lembrar. E mesmo carregado, o que guarda em cache é bytecode para o interpretador em C correr. O Go faz a compilação uma vez, antes de o programa ver sequer um pedido.\nMais rápido e mais seguro, desde que seja programado como deve ser. Essa última oração é o conteúdo inteiro dos próximos parágrafos.\nO pacote de templates do Go resume o seu desenho numa linha: gera «HTML output safe against code injection», e «The escaping is contextual, so actions can appear within JavaScript, CSS, and URI contexts.»67 O guia de bases de dados é igualmente claro: «You can avoid an SQL injection risk by providing SQL parameter values as sql package function arguments.»68 Essas são as predefinições. Em PHP são coisas que tens de saber que existem para as ires buscar.\nA linha que eu sublinharia é a do ficheiro largado. Metade dos sites invadidos que a Sucuri limpou em 2023 ainda tinha uma backdoor no disco53, e isso só funciona porque o interpretador corre qualquer script a que consiga chegar. Um serviço compilado não anda à procura de scripts. Não há nada onde um ficheiro largado se possa ligar.\nAgora a parte honesta, porque uma linguagem não é uma cura. O Go tem mais segurança de memória, não segurança perfeita. O seu próprio modelo de memória diz que uma corrida de dados sobre uma slice, um map ou um valor de interface «can in turn lead to arbitrary memory corruption»72, e o Go traz a ferramenta para a apanhar. Compila com -race, ou corre go test -race, e o binário é compilado com um detetor que reporta uma corrida no momento em que acontece. Apanha corridas em tempo de execução e não em tempo de compilação, e «can\u0026rsquo;t find races in code paths that are not executed», por isso pertence a todas as execuções de testes e a uma carga realista73. O PHP não tem nada parecido. Manter a memória de um pedido longe do seguinte fica inteiramente a cargo do motor, e o PHP2Shell é esse motor a fazê-lo mal: memória libertada por um pedido, lida pelo seguinte no mesmo worker6. Fora isso, o Go trava a classe de corrupção de memória que este artigo tem estado a contar, e faz da forma segura a forma fácil para mais duas. Não trava uma verificação de login mal feita, um teste de permissões em falta ou uma query construída a colar strings, se insistires em fazer isso. O Go também publica os seus próprios avisos de segurança, através da sua base de dados de vulnerabilidades69. E um serviço Go a correr como root a partir de um diretório com permissão de escrita continua a estar mal implementado.\nO que muda é a predefinição. A predefinição do PHP é um processo que guarda tudo. A predefinição do Go é um programa que faz um trabalho, que é a separação do início deste artigo com a maior parte do trabalho já feita. Se o Go não servir à tua equipa, o Rust é a outra saída. Os dois compilam antecipadamente para código nativo. O Rust corre «with no runtime or garbage collector»74, e o compilador e o runtime do Go estão «implemented in Go and assembler, without C» desde o Go 1.575.\nO C# e o Java também estão na lista de linguagens com segurança de memória das agências18, mas não são uma saída para o problema com que este artigo começou. Cada um corre numa máquina virtual escrita em C++. O HotSpot do OpenJDK são «around 3000 C/C++ header and source files, comprising more than 1.2 million lines of code»76, e o recolhedor de lixo e o compilador JIT do .NET são código-fonte C++ na árvore do CoreCLR77. É a mesma forma do PHP: um grande motor nativo entre a rede e o teu código. E o Java carrega código numa aplicação em execução por desenho. O seu class loader padrão existe «to load classes and resources from a search path of URLs referring to both JAR files and directories»78, e o Log4Shell transformou isso em execução remota de código: um atacante que controlasse uma mensagem de log «can execute arbitrary code loaded from LDAP servers»79. Foi direitinho para o catálogo da CISA26. É a mesma porta que a do PHP, com mais cerimónia à frente.\nPor isso escolhe Go ou Rust. Muda primeiro o back end, um endpoint de cada vez, e deixa o front end em PHP sem guardar nada que valha a pena roubar até também ele poder sair.\nSe Ainda o Implementas Assim, Podes Chamar-te Profissional? Há provas suficientes acima para que isto tenha deixado de ser uma opinião. Por isso, aqui está a pergunta, feita diretamente. Se ainda implementas o PHP como um processo que guarda o código, as credenciais e uma raiz web com permissão de escrita, podes chamar-te profissional?\nDepende de qual de três pessoas és. E saber qual não é coisa que te acontece. Garantir que sabes é o trabalho.\nTens uma restrição real, e puseste-a por escrito. Um produto de que o negócio depende só existe em PHP. Uma migração está orçamentada e no orçamento do próximo ano. Muito bem. Isso é profissional, desde que a razão esteja no papel com uma data ao lado, o utilizador de execução não consiga escrever o código, os uploads não possam ser executados, a conta da base de dados esteja reduzida ao mínimo, e tenhas corrigido o PHP2Shell esta semana. Estás a correr um risco conhecido de propósito, com as paredes que lhe consegues pôr à volta.\nNunca ninguém te disse. Ninguém te mostrou o historial, e o tutorial com que aprendeste punha tudo num diretório. Isso é uma lacuna, e toda a gente tem lacunas. Deixa de ser uma lacuna no momento em que leste até aqui.\nSabes, e montas assim na mesma. Viste os números, ou o suficiente deles. Sabes que a palavra-passe da base de dados está na raiz web e que a raiz web tem permissão de escrita. Implementas assim porque é mais rápido, porque o cliente não paga por melhor, e porque ninguém te obrigou a justificá-lo. É a esse caso que esta pergunta se dirige. A falha não é a lacuna no teu conhecimento. É construir por cima de uma lacuna que já viste e à qual nunca voltaste para a fechar.\nToda a gente já lá esteve. Ficar lá por escolha é que não tem defesa.\nA Porta Esteve Sempre Aberta O que me impressiona ao ler este historial não é o PHP ter bugs. Todas as linguagens têm. É quão pouco disto alguma vez foi uma surpresa.\nO projeto sabia que o register_globals era perigoso em 2002 e retirou-o em 2012. O seu manual diz-te para não confiares no unserialize(), para não confiares no disable_functions, para não confiares no open_basedir. A sua própria documentação diz que um script sob o mod_php consegue chegar à base de dados sem palavra-passe. As agências dizem há anos que a linguagem de que é feito é de onde vêm dois terços dos bugs de memória. Todos os avisos estão lá, por escrito, das pessoas que deviam saber.\nE continuou a ganhar na mesma, porque era barato. Barato de alojar, barato de aprender, barato de vender a um cliente que queria um site até sexta-feira. Um diretório, um processo, uma palavra-passe num ficheiro, e um site que funcionava. O preço era um plano de alojamento partilhado. O custo nunca vinha na fatura: as limpezas, as backdoors deixadas no disco, os números de cartão dos clientes levados por PHP malicioso, a janela de cinco horas entre a divulgação e o ataque.\nÉ essa a parte para a qual não tenho paciência. Não os bugs. A decisão, tomada vezes sem conta por pessoas que sabiam melhor, de que a forma barata chegava porque ninguém estava a verificar. Uma norma é aquilo que manténs quando ninguém está a verificar. A separação entre front end e back end, o código só de leitura, a conta da base de dados reduzida ao mínimo: nada disso é novo, nada disso é caro, e tudo isso teria transformado muitos dos incidentes acima em coisa nenhuma que valesse a pena escrever.\nO PHP2Shell não é o fim deste historial. É só a entrada desta semana. A linguagem vai corrigi-lo, os alojamentos vão acabar por distribuir a atualização, e a fatia das versões vai subindo como sempre sobe, devagar. O que decide se o próximo te custa alguma coisa não é o PHP. É se construíste as paredes que ele nunca te deu, ou se mudaste para algo que já as traz.\nPHP — News archive 2026, 21st October — «PHP 8.5.12, 8.4.27, 8.3.36 and 8.2.35 fix two critical vulnerabilities that can allow unauthenticated remote code execution»; «We consider the risk highest for mod_php, with a demonstrated exploit where an unauthenticated request can trigger the attack before any application code runs»; «There are no complete mitigations, updating is the only safe choice.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nWiz Research — PHP2Shell — 21 de outubro de 2026; «Every PHP version released in the last decade is affected by at least one of these vulnerabilities, going back to version 5.4»; «All of the disclosed vulnerabilities are memory-safety issues».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nAWS Security Blog — PHP2Shell exploitation prior to public disclosure in MadPot — uma tentativa de exploração registada a 17 de outubro de 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nwatchTowr — PHP2Shell FAQ — exploração observada no terreno a 21 de outubro de 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNVD — CVE-2026-109618 — o tratamento de erros por falta de memória deixa dados do pedido parcialmente inicializados que a limpeza trata como válidos; execução remota de código.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNVD — CVE-2026-109619 — memória do pedido usada depois de ter sido libertada; execução remota de código; afeta a partir da 5.4.0.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nPHP manual — Installed as an Apache module — «When PHP is used as an Apache module it inherits Apache\u0026rsquo;s user permissions»; «a malicious script could access and modify the database, even without a username and password».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nPHP manual — Apache 2.x on Unix systems — «The mod_php approach embeds PHP directly into every Apache httpd worker process.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nWordPress — wp-config.php — fica na raiz do diretório do WordPress e guarda os dados de ligação à base de dados.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nWordPress — Changing file permissions — o wp-config.php «is initially created with 644 permissions, and it\u0026rsquo;s a hazard to leave it like that».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nWordPress — Hardening WordPress — privilégios da base de dados, permissões de ficheiros; nenhuma orientação sobre bloquear a execução de PHP nos uploads.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nOWASP — Database Security Cheat Sheet — «The application\u0026rsquo;s backend database should be isolated from other servers»; um segmento de rede interno dedicado.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nPHP manual — Database design — «Applications should never connect to the database as its owner or a superuser.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nPHP manual — FastCGI Process Manager — pools que arrancam workers «with different uid/gid/chroot/environment».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNVD CVE API, virtualMatchString=cpe:2.3:a:php:php — consultada a 23 de outubro de 2026: 757 CVEs. Corrupção de memória contada como CWE-119, 120, 121, 122, 125, 129, 131, 189, 190, 191, 415, 416, 476, 680, 787, 824, 843 ou 908: 288. Comprometimento remoto total contado como CVSS 3.x AV:N/PR:N/UI:N/C:H/I:H, ou CVSS 2 por rede, sem autenticação, impacto completo na confidencialidade e na integridade onde não existe pontuação 3.x: 172.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nMonth of PHP Bugs, php-security.org, Wayback Machine — «During March 2007 old and new security vulnerabilities in the Zend Engine, the PHP core and the PHP extensions will be disclosed on a day by day basis.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Register — Stefan Esser interview, 7th February 2007 — fundador do Hardened-PHP Project, tinha saído há pouco da PHP Security Response Team: «I dislike the ways bugs are handled».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNSA — Software Memory Safety, November 2022, Wayback Machine — «a strategic shift from programming languages that provide little or no inherent memory protection, such as C/C++, to a memory safe language when possible.» E também: «Examples of memory safe language include C#, Go, Java®, Ruby™, Rust®, and Swift®.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCISA and partners — The Case for Memory Safe Roadmaps, December 2023 — escrito em coautoria com o NCSC do Reino Unido, entre outros; «two-thirds of reported vulnerabilities in memory unsafe programming languages still relate to memory issues.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNVD — CVE-2014-8142 — use-after-free em process_nested_data durante o unserialize.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNVD — CVE-2015-0231 — use-after-free no unserialize que «exists because of an incomplete fix for CVE-2014-8142».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNVD — CVE-2016-5771 — use-after-free na SPL desencadeado através do unserialize e da recolha de lixo.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nPHP manual — unserialize — «Do not pass untrusted user input to unserialize() regardless of the options value of allowed_classes.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNVD — CVE-2019-11043 — «in certain configurations of FPM setup it is possible to cause FPM module to write past allocated buffers … opening the possibility of remote code execution.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nPHP 7 ChangeLog — corrigido a 24 de outubro de 2019 nas 7.3.11, 7.2.24 e 7.1.33, bug #78599.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCISA — Known Exploited Vulnerabilities catalogue — feed JSON versão 2026.10.21, 1754 entradas; 81 de PHP ou de aplicações escritas em PHP por fornecedor e produto; uso por ransomware tal como registado no feed.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe PHP Foundation — PHP core security audit results, 10th April 2025 — «The audit identified 27 issues, with 17 having security implications».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nPHP 4 ChangeLog — 4.2.0, 22 de abril de 2002: «register_globals defaults to \u0026lsquo;off\u0026rsquo; now».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nPHP manual — Using Register Globals, Wayback Machine — «DEPRECATED as of PHP 5.3.0 and REMOVED as of PHP 5.4.0»; «the most controversial change in PHP».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nPHP manual — Magic Quotes, Wayback Machine — «DEPRECATED as of PHP 5.3.0 and REMOVED as of PHP 5.4.0».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nPHP manual — Deprecated features in PHP 5.5.x, Wayback Machine — «The preg_replace() /e modifier is now deprecated.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nPHP manual — Pattern Modifiers, Wayback Machine — e «DEPRECATED in PHP 5.5.0, and REMOVED as of PHP 7.0.0.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nPHP manual — Deprecated features in PHP 7.4 — «The allow_url_include ini directive is deprecated.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nPHP manual — Backward incompatible changes in PHP 8.0 — os metadados phar «will no longer be automatically unserialized, to fix potential security vulnerabilities due to object instantiation, autoloading, etc.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nPHP RFC — Saner string to number comparisons — implementado no PHP 8.0; «the most notable of which is that 0 == “foobar” returns true.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nSam Thomas, Black Hat USA 2018 — It\u0026rsquo;s A PHP Unserialization Vulnerability Jim, But Not As We Know It — operações sobre ficheiros em caminhos phar:// desserializam metadados.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nPatchstack — State of WordPress Security in 2026 — dados de 2025: 11 334 novas vulnerabilidades, 91% em plugins, 6 no núcleo, 46% sem correção a tempo da divulgação, mediana de 5 horas até à exploração em massa.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nW3Techs — WordPress — «58.3% of all the websites whose content management system we know. This is 39.6% of all websites.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nW3Techs — PHP — «PHP is used by 69.3% of all the websites whose server-side programming language we know.» Lido a 23 de outubro de 2026. Versões principais entre os sites PHP: 8 com 65,3%, 7 com 26,9%, 5 com 7,7%.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nPatchstack — State of WordPress Security in 2025 — dados de 2024: 7966 novas vulnerabilidades, 96% em plugins, 7 no núcleo, 33% sem correção a tempo da divulgação.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nWordfence — 2024 Annual WordPress Security Report — 8223 vulnerabilidades, um aumento de 68%; «Roughly 35% of the vulnerabilities disclosed in 2024 remain unpatched in 2025»; «just under one million distinct sites infected with malware».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nMark Maunder — Zero day vulnerability in many WordPress themes, 1st August 2011 — o timthumb.php vinha incluído em «many commercial and free themes»; os atacantes podiam «upload and execute arbitrary PHP code».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nSucuri — RevSlider vulnerability leads to massive WordPress SoakSoak compromise, 15th December 2014 — «compromising over 100,000 WordPress sites».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nWordfence — Mossack Fonseca breach, Revolution Slider possible cause, 7th April 2016, Wayback Machine — «may have been breached via a vulnerable version of Revolution Slider».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nSucuri — Content injection vulnerability in WordPress REST API, 1st February 2017 — «allows an unauthenticated user to modify the content of any post or page»; ativa por omissão na 4.7.0 e na 4.7.1.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nSucuri — WordPress REST API vulnerability abused in defacement campaigns, 6th February 2017 — «Google alone shows 66,000+ pages compromised», para uma campanha.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nWordfence — Rapid growth in REST API defacements, 10th February 2017, Wayback Machine — as páginas desfiguradas indexadas pelo Google passaram «from 1,496,020 to 1,893,690»; a contagem anterior da Sucuri era de 66 000.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nWordfence — 700,000 WordPress users affected by zero-day in File Manager plugin, 1st September 2020, Wayback Machine — «a WordPress plugin with over 700,000 active installations».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nPatchstack — SureTriggers vulnerability exploited within 4 hours, 10th April 2025 — criação de administrador sem autenticação; «exploitation attempts observed within hours after disclosure».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCISA — Compromised Web Servers and Web Shells, TA15-314A — «The most commonly observed web shells are written in languages that are widely supported, such as PHP and ASP.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNSA and ASD — Detect and Prevent Web Shell Malware, April 2020, Wayback Machine — «web applications should not have permission to write directly to a web accessible directory or modify web accessible code»; monitorização da integridade dos ficheiros como recurso.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nSucuri — 2022 Website Threat Research Report — 43 374 sites limpos; 69,63% com pelo menos uma backdoor; 1 188 864 backdoors removidas; 90% dos skimmers de cartões em PHP malicioso.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nSucuri — 2023 Hacked Website and Malware Threat Report — 39 594 sites limpos; 49,21% com pelo menos uma backdoor; WordPress com 95,5% das infeções.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nOWASP — File Upload Cheat Sheet — guardar os uploads «outside of the webroot»; «disable per directory configuration overrides on upload directories».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nPHP manual — Description of core php.ini directives — o disable_functions «can be circumvented»; o open_basedir «can therefore not be relied upon when security is needed».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nPHP — News archive 2013, 24th October — malware servido de 22 a 24 de outubro de 2013; dois servidores comprometidos.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nPHP internals — Changes to Git commit workflow, 28th March 2021 — dois commits maliciosos enviados para o php-src; o servidor git.php.net descontinuado e o GitHub tornado canónico.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nPHP — Supported versions — 8.2 com correções de segurança até 31 de dezembro de 2026; 8.3, 8.4 e 8.5 suportados. Lido a 23 de outubro de 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nPHP — Unsupported branches — fim de vida do 8.1 a 31 de dezembro de 2025, do 8.0 a 26 de novembro de 2023, do 7.4 a 28 de novembro de 2022.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nW3Techs — PHP version 8 — fatias das subversões dentro do PHP 8; combinadas com as fatias das versões principais para dar 48,3% dos sites PHP em versões sem suporte.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nW3Techs — PHP version 7 — o 7.4 é 73,4% dos sites PHP 7.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nWordPress — Statistics — versões de PHP dos sites WordPress que reportam ao wordpress.org; 34,7% abaixo da 8.2. Lido a 23 de outubro de 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nWordPress — Requirements — «PHP version 8.3 or greater»; funciona com 7.4+, que «reached their official End Of Life».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nPHP manual — OPcache introduction — «OPcache improves PHP performance by storing precompiled script bytecode in shared memory, thereby removing the need for PHP to load and parse scripts on each request.» Até ao PHP 8.4, uma extensão partilhada carregada através de zend_extension.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nPHP manual — OPcache runtime configuration — opcache.jit disponível a partir do PHP 8.0.0, por omissão «disable».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nGo — Frequently Asked Questions — «Go programs are compiled ahead of time to native machine code»; o runtime «does not include a virtual machine»; «One of Go\u0026rsquo;s design goals is to approach the performance of C for comparable programs».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nGo — package html/template — «implements data-driven templates for generating HTML output safe against code injection»; «The escaping is contextual, so actions can appear within JavaScript, CSS, and URI contexts.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nGo — Avoiding SQL injection risk — «You can avoid an SQL injection risk by providing SQL parameter values as sql package function arguments.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nGo — Vulnerability management — uma base de dados de vulnerabilidades com curadoria; o govulncheck «only surfaces vulnerabilities that actually affect you, based on which functions in your code are transitively calling vulnerable functions».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nPHP manual — Backward incompatible changes in PHP 8.5 — «The Opcache extension is now always built into the PHP binary and is always loaded. The INI directives opcache.enable and opcache.enable_cli are still honored.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nPHP RFC — Make OPcache a non-optional part of PHP — implementado no PHP 8.5; «running PHP in production without OPcache is generally considered a mistake».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nGo — The Go Memory Model — corridas sobre valores de várias palavras «can in turn lead to arbitrary memory corruption»; o ThreadSanitizer através de go build -race reporta corridas.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nGo — Data Race Detector — correr os testes com go test -race; «The race detector only finds races that happen at runtime, so it can\u0026rsquo;t find races in code paths that are not executed.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRust — rust-lang.org — «Rust is blazingly fast and memory-efficient: with no runtime or garbage collector».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nGo 1.5 Release Notes — «The compiler and runtime are now implemented in Go and assembler, without C.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nOpenJDK — The HotSpot Group — «around 3000 C/C++ header and source files, comprising more than 1.2 million lines of code».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\ndotnet/runtime — src/coreclr — o recolhedor de lixo (gc/gc.cpp) e o JIT (jit/compiler.cpp) são C++.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nJava SE 21 — URLClassLoader — «to load classes and resources from a search path of URLs referring to both JAR files and directories».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNVD — CVE-2021-44228 — «An attacker who can control log messages or log message parameters can execute arbitrary code loaded from LDAP servers»; acrescentado ao KEV da CISA a 10 de dezembro de 2021.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\n","permalink":"https://blogs.damiendye.uk/pt/security/php-twenty-nine-years-of-leaving-the-door-open/","summary":"O PHP2Shell, divulgado a 21 de outubro de 2026, é execução remota de código sem autenticação no próprio interpretador PHP, em todas as versões desde a 5.4, explorado antes de existir a correção. É a entrada mais recente de um longo historial: 757 CVEs contra o interpretador desde 1997, pelo menos 288 deles corrupção de memória e 172 classificados como comprometimento remoto total sem login. Este artigo conta esse historial a partir do NVD e do catálogo KEV da CISA, explica porque é que um motor em C e uma linguagem que levou uma década a retirar o register_globals cometem o mesmo erro duas vezes, olha para o que o WordPress faz aos números, para como as web shells se instalam e como as travar, para as duas vezes em que o próprio php.net foi invadido, para a fatia da web que ainda corre versões que ninguém corrige, e para porque é que a implementação habitual, um processo que guarda os templates, a lógica, o SQL e a palavra-passe da base de dados, transforma cada um desses bugs em tudo. E porque é que, tendo eu próprio desistido do PHP, acho que devias pensar em trocá-lo por uma linguagem com segurança de memória como o Go.","title":"PHP: Vinte e Nove Anos a Deixar a Porta Aberta"},{"content":"Cada nome que a tua máquina consultou hoje, ela acreditou, e escrevi um artigo inteiro sobre isso. Este é sobre o que acontece ao correio depois da consulta. A versão curta: é enviado para um servidor escolhido pelo DNS, por um canal que só é cifrado se ninguém se opuser, a levar uma mensagem que qualquer pessoa no caminho pode ler e alterar, e quase nenhuma das proteções inventadas para impedir isso está ligada.\nNão é uma coisa avariada. São sete, cada uma desenhada para que, quando está errada, o correio passe na mesma. Nenhum erro. A fatura chega. A reposição da palavra-passe chega. Só que também chegam a, ou passam por, alguém que nunca as devia ter visto, e nada em lado nenhum o diz.\nEste artigo é o argumento para acertar em cada uma dessas definições, com as provas do que cada uma vale. Os três artigos seguintes constroem-no em servidores reais: Postfix, Microsoft 365 e Stalwart. Este é o porquê.\nO ataque que a norma descreve e depois proíbe Começa pelo cano entre dois servidores de correio, porque é o que a maioria das pessoas acha que já está resolvido. O STARTTLS é o comando que eleva uma ligação SMTP a TLS. A maioria dos servidores de correio suporta-o, a maior parte do correio é cifrada em trânsito, e isso parece um problema resolvido até leres como a elevação é oferecida.\nO servidor que recebe anuncia o STARTTLS na sua saudação. O servidor que envia vê a oferta e aceita-a. Nada assina essa oferta, e nada a protege. Por isso uma máquina no caminho entre eles pode apagar a linha, e eis o resultado, capturado em laboratório a partir de um remetente com o predefinido oportunista normal:\n~\u0026gt; EHLO client.test [stripped] STARTTLS removed from the greeting *** Host did not advertise STARTTLS -\u0026gt; MAIL FROM:\u0026lt;carol@sender.test\u0026gt; -\u0026gt; Please pay invoice 1042 to sort code 20-00-00, account 12345678. \u0026lt;- 250 2.0.0 Ok: queued as D6A84132069C O remetente não viu o STARTTLS oferecido, por isso fez o que oportunista quer dizer: enviou na mesma, em texto claro. A máquina do meio leu tudo, fatura e dados bancários incluídos. O correio foi entregue. Nenhum erro chegou a ninguém.\nNão inventei esse ataque. O RFC 3207, a norma que define o STARTTLS, descreve-o com precisão nas suas próprias Security Considerations:\nA man-in-the-middle attack can be launched by deleting the \u0026ldquo;250 STARTTLS\u0026rdquo; response from the server. This would cause the client not to try to start a TLS session.1\nA mesma secção dá a defesa, e é a óbvia: poder exigir TLS. «both clients and servers MUST be able to be configured to require successful TLS negotiation … for selected hosts before messages can be successfully transferred.»1 Por isso configura o recetor para o exigir, e a sessão adulterada é recusada:\n[stripped] STARTTLS removed from the greeting *** Host did not advertise STARTTLS -\u0026gt; MAIL FROM:\u0026lt;carol@sender.test\u0026gt; \u0026lt;** 530 5.7.0 Must issue a STARTTLS command first Só que não podes, não num MX público, porque a mesma norma o proíbe:\nA publicly-referenced SMTP server MUST NOT require use of the STARTTLS extension in order to deliver mail locally.2\nLê essas duas citações juntas. A norma descreve um ataque man-in-the-middle, diz-te que a defesa é exigir TLS e depois diz-te que o teu servidor de correio público não pode exigi-lo. Lê isso duas vezes. Essa regra foi escrita em 2002 para manter o correio a fluir entre servidores que ainda não sabiam todos fazer TLS. Continua em vigor, e é por isso que a maior parte da internet ainda aceita correio em texto claro, e por isso que remover o STARTTLS ainda funciona hoje.\nTambém há uma versão competente do atacante. Um recetor que exige TLS não te salva, porque o atacante não tem de passar a sessão em texto claro. Pode ler o texto claro rebaixado do remetente e abrir a sua própria ligação TLS perfeitamente válida para o recetor, que vê um bom certificado e fica satisfeito. Mostrei as duas metades no laboratório: a remoção que expõe o remetente, e um cliente TLS simples que o recetor rigoroso aceita sem se queixar. A política do recetor não consegue travar isto. Só o remetente a recusar-se a enviar sem TLS autenticado o trava, e é esse todo o argumento a favor do DANE3 e do MTA-STS,4 que aparecem mais à frente neste artigo.\nSete definições, e como cada uma falha em aberto O cano é um de dois problemas. O outro é a identidade: uma mensagem que chega cifrada continua só a alegar ser de quem diz ser. Por isso há sete definições em jogo, repartidas por essas duas tarefas, e o que têm em comum é a coisa que vale a pena aprender primeiro.\nSete definições, duas perguntas, e o que cada uma faz quando está errada O CANO É PRIVADO? transporte: entre os dois servidores de correio O REMETENTE É REAL? identidade: de quem a mensagem diz ser STARTTLS cifra, se ninguém interferir errado: removido, enviado em claro MTA-STS política HTTPS: TLS obrigatório errado: «testing» não impõe nada DANE / TLSA o DNSSEC fixa a chave do servidor errado: registo antigo trava a entrega TLS-RPT remetentes reportam TLS falhado em falta: falhas não se veem SPF que hosts podem enviar errado: ~all é encolher os ombros DKIM assinatura sobre a mensagem errado: sem seletor, nada a verificar DMARC o que fazer quando ambos falham errado: p=none para sempre Por baixo de ambos: IPv6. Um MX sem registo AAAA não recebe correio de um remetente só IPv6. Cada uma destas pode estar errada enquanto o correio continua a fluir, e é por isso que ninguém repara Eis cada uma: o que protege, e o que faz quando está mal definida. Repara na última coluna. Quase sempre diz que o correio continua a passar.\nDefinição Tarefa O que protege Mal definida, e… STARTTLS transporte cifra o troço entre dois servidores removido da saudação, enviado em texto claro MTA-STS transporte uma política publicada por HTTPS a dizer que o TLS é obrigatório deixada em testing, não impõe nada DANE / TLSA transporte o DNSSEC fixa a chave do servidor, por isso o TLS não pode ser rebaixado um registo desatualizado, e o correio para ti fica adiado TLS-RPT transporte os remetentes reportam-te as falhas de TLS5 não publicado, e as falhas ficam invisíveis SPF identidade que servidores podem enviar por um domínio ~all é um encolher de ombros, não uma recusa DKIM identidade uma assinatura sobre a mensagem nenhum seletor publicado, nada para verificar DMARC identidade o que fazer quando o SPF e o DKIM falham p=none observa, e não faz nada Seis dessas sete, mal definidas, entregam o correio na mesma. O DANE é a exceção. É a única definição de toda a lista que falha fechada: erra-a e o teu correio para em vez de vazar. Guarda essa ideia, porque acaba por ser a razão por que as pessoas têm medo dele, e a razão por que é o que mais vale.\nUma palavra sobre cada uma das três de identidade, porque o resto desta série apoia-se nelas. O SPF lista os servidores autorizados a enviar por um domínio e termina numa regra: -all quer dizer «mais ninguém», ~all quer dizer «mais ninguém, mas entrega na mesma». O DKIM acrescenta uma assinatura criptográfica sobre a mensagem, para que qualquer alteração se note, desde que o domínio tenha de facto publicado uma chave para a verificar. O DMARC liga os dois e diz ao recetor o que fazer quando falham, e se estão alinhados com o endereço From: que o leitor realmente vê. São os RFC 7208, 6376 e 7489, e cada um merece um artigo próprio.6 7 8\nSó o DMARC deixa passar uma fatura adulterada A camada de identidade tem uma lacuna exatamente onde custa mais, e vale a pena mostrá-la porque «temos DMARC em reject» é o que as pessoas dizem quando acham que estão cobertas.\nO DMARC passa se o SPF ou o DKIM passar e estiver alinhado com o domínio do From:. Um ou outro, não ambos. Por isso pega numa mensagem verdadeira e assinada de um domínio, muda os dados bancários no corpo e reenvia-a a partir do mesmo sítio:\nO DMARC deixou passar a fatura alterada. Descartar por falha de DKIM não O QUE FOI ENVIADO O QUE CHEGOU Fatura 1042, assinada com DKIM sort code 20-00-00, 12345678 alterada Mesma mensagem, mesma assinatura sort code 40-11-22, 87654321 SPF: passa enviada do endereço listado DKIM: falha hash do corpo não corresponde DMARC: passa um resultado alinhado chega O QUE O RECETOR FAZ Só o DMARC Entregue. Os novos dados bancários chegam com ar de verdadeiros. Descartar por falha de DKIM 554 5.7.1 DKIM signature does not verify Capturado no laboratório: o Rspamd 3.12.1 deu-lhe R_SPF_ALLOW, R_DKIM_REJECT e DMARC_POLICY_ALLOW. O DMARC pergunta se alguma das verificações passou. Uma fatura alterada vinda do endereço certo passa uma O SPF continua a passar, porque veio de um servidor autorizado. A assinatura DKIM agora falha, porque o corpo foi alterado. Mas o DMARC só precisa de um resultado alinhado, e o SPF deu-lho, por isso o DMARC passa e a mensagem com o novo número de conta é entregue com o aspeto exato do original. Capturei isto no laboratório: o Rspamd classificou-a com R_SPF_ALLOW, R_DKIM_REJECT e DMARC_POLICY_ALLOW, e sozinha teria sido entregue. A única coisa que a travou foi uma regra que rejeita de imediato uma assinatura partida. Um domínio em p=reject não está protegido contra a adulteração que essa assinatura existia para apanhar. Vale a pena saber isso antes de dares o trabalho por feito.\nO DANE só vale o que vale o DNSSEC por baixo dele Agora as definições de transporte que travam de facto o atacante competente, porque passam a decisão para o remetente. O DANE é a mais forte delas. Permite a um domínio publicar, no DNS, num registo TLSA, a impressão digital da chave que o seu servidor de correio vai apresentar, para que um servidor remetente possa recusar tudo o que não corresponda.9 Nenhuma autoridade de certificação envolvida, nenhuma confiança em quem quer que tenha respondido ao handshake TLS. O dono do domínio diz «esta é a minha chave», e acabou.\nSó que as respostas DNS são falsificáveis, por isso uma impressão digital publicada em DNS simples não vale nada: o mesmo atacante que remove o STARTTLS pode entregar-te uma impressão digital falsa para condizer com uma chave falsa. O DANE só significa alguma coisa quando o DNS onde vive está assinado com DNSSEC, para que a própria impressão digital não possa ser forjada. É essa a cadeia toda, e é por isso que este artigo está numa série que começou com o DNSSEC. Se ainda não o conheces, as bases estão em /pt/dns/dnssec-the-root-is-signed-you-are-not/, e a versão numa linha é: a raiz está assinada, todos os TLD dignos de nome estão assinados, e depois para de repente nos nomes que as pessoas realmente usam.\nUm registo TLSA só vale a assinatura que tem por cima ASSINADA: alpha.test NÃO ASSINADA: plain.test Âncora de confiança para test. a única chave dada ao resolvedor DS 38044 alpha.test assinada, garantida pela zona-mãe RRSIG _25._tcp.mail.alpha.test TLSA 3 1 1 093a80cac907a52e… tem de corresponder chave pública de mail.alpha.test SHA-256 093a80cac907a52e… plain.test sem DS, sem assinaturas nada a garante _25._tcp.mail.plain.test TLSA 3 1 1 0f09fe00d00d74c1… qualquer um a forja Ignorado pelo remetente nenhuma política DANE devolvida LER 3 1 1 3: a chave do próprio servidor, sem CA. 1: só a chave pública. 1: SHA-256. Renova o certificado com a mesma chave e o registo nunca tem de mudar. As duas zonas publicam um registo TLSA. Só uma o consegue provar O diagrama mostra dois domínios que publicam ambos um registo TLSA. Um está numa zona assinada, com uma cadeia ininterrupta de assinaturas desde a raiz até à impressão digital, por isso um remetente pode confiar nele. O outro está numa zona não assinada, por isso a sua impressão digital são só bytes que qualquer pessoa podia ter escrito, e um remetente correto ignora-a por completo e não tem proteção DANE nenhuma. O mesmo registo, publicado de duas formas. Só uma delas consegue provar que é verdadeira.\nO registo a publicar é 3 1 1: a chave do próprio servidor em vez da de uma CA, a chave pública em vez do certificado inteiro, com hash SHA-256. O número do meio é o que compensa na operação, porque fixar a chave em vez do certificado significa que o registo sobrevive a cada renovação desde que mantenhas a mesma chave. O artigo do Postfix tem o procedimento completo e a armadilha em que as pessoas caem, que é a forma habitual de renovar certificados criar uma chave nova de cada vez e partir o registo em silêncio. Para aqui, o que importa levar é que 3 1 1 mais reutilização da chave é um registo que publicas uma vez e deixas em paz.\nAs regras da casa, e quanto custa cada uma Tudo o que está acima transforma-se numa lista curta de regras, e os três artigos seguintes põem servidores reais à prova com elas. Não estão suavizadas, e não são de borla. Aqui estão com a fatura anexada, porque uma regra cujo custo escondes é uma regra que não decidiste realmente cumprir.\nRegra O que trava O que te custa Nada de texto claro a entrar leitura e adulteração no troço de entrada um remetente cujo servidor não sabe fazer TLS não te consegue alcançar Nada de texto claro a sair o mesmo no troço de saída o correio para um servidor sem TLS fica adiado em vez de seguir DANE ou MTA-STS à saída o man-in-the-middle competente um registo desatualizado do lado deles adia o teu correio para eles IPv6 em cada MX ficar inalcançável para um remetente só IPv6 registos AAAA e um servidor dual-stack para manter Reencaminhar só com login o teu servidor a branquear spam alheio nada de enviar de qualquer lado por IP; os utilizadores têm de se autenticar Um login envia como ele próprio um funcionário a forjar um colega regras por utilizador, impostas no envelope e no cabeçalho Descartar domínios remetentes desconhecidos backscatter e remetentes inexistentes forjados nada legítimo; estes nunca tiveram um remetente real Rejeitar falhas de SPF e DKIM falsificação e adulteração o correio reencaminhado sem SRS é devolvido O custo do reencaminhamento é o que morde, e é real: rejeita só com base no SPF e uma mensagem reencaminhada a partir de um sítio que não está no registo SPF do remetente é recusada, porque para o recetor um reencaminhador parece exatamente um falsificador. Há soluções, o SRS e o ARC,10 e o artigo do Postfix mostra a falha. A posição honesta é que estas regras devolvem algum correio que um servidor mais permissivo teria entregue. É esse o objetivo delas. Parte desse correio devia ter sido devolvida, e o resto está a falar-te de uma configuração de reencaminhamento que contava com ninguém verificar.\nFalha em aberto, e aqui está a prova A tese em que todo este artigo assenta é que estas definições falham em aberto, em silêncio, por isso não consegues distinguir uma que funciona de uma avariada só de olhar. Não é uma preocupação teórica. Ao construir o servidor Postfix para o próximo artigo, cada uma destas falhas aconteceu, e cada uma era uma definição que parecia configurada e não fazia nada.\nCinco maneiras de o laboratório falhar em aberto, e a que falhou fechada A DEFINIÇÃO, E QUANDO MORDE O QUE FEZ DE FACTO Postfix: dane o destino não publica TLSA FALHA EM ABERTO cai para oportunista: enviado em claro Postfix: verificação login-mismatch na porta 25, sem login FALHA EM ABERTO ignorada com aviso no log: domínio forjado Rspamd: local_addrs em local.d a tentar restringir a lista FALHA EM ABERTO fundido, não substituído: 10/8 e fd00::/8 por verificar Só o DMARC DKIM falha, SPF passa FALHA EM ABERTO fatura alterada entregue TLSA numa zona não assinada parece mesmo o verdadeiro FALHA EM ABERTO ignorado: nada de DANE TLSA assinado, certificado errado o registo está desatualizado FALHA FECHADA adiado: nada enviado Cada linha é uma captura do laboratório, não uma leitura do manual. O correio continuou a fluir em cinco destas seis. É esse o problema Seis definições reais, cada uma da construção do servidor Postfix para o próximo artigo. Cinco falharam em aberto: entregaram o correio, sem erro, com todo o ar de estarem a funcionar como deve ser. A sexta, o registo DANE desatualizado, falhou fechada. É a que toda a gente teme, e é a única que protegeu a mensagem em vez de a deixar vazar. A lição está ali mesmo, na última coluna do diagrama: a definição que as pessoas evitam porque pode parar o correio delas é a única que se comporta como um controlo de segurança deve comportar-se.\nCada linha disto é uma captura, não uma leitura de manual. A forma de distinguir uma definição que funciona de uma avariada é enviar a mensagem que ela devia travar e ver o que volta, e vou dizê-lo uma vez aqui e prová-lo três vezes ao longo do resto da série.\nEntão quem é que faz de facto alguma coisa disto? Uma coisa é dizer que as definições importam. Outra é perguntar se as organizações cujo correio mais importa as ligaram. Por isso fi-lo, apenas com DNS só de leitura e um resolvedor que valida, a 22 de outubro de 2026: vinte e seis domínios que recebem correio, os bancos, os grandes fornecedores, os especialistas alemães e as autoridades de certificação, cada um verificado quanto às sete coisas deste artigo.11\nDomínio MX tem AAAA DNSSEC DANE (TLSA) MTA-STS DMARC SPF Bancos britânicos barclays.co.uk — — — — reject -all hsbc.co.uk — — — — reject — lloydsbank.com — — — — reject -all natwest.com — — — — reject — santander.co.uk — — — — reject — nationwide.co.uk — — — — reject — monzo.com todos — — — reject — starlingbank.com — — — — reject — Fornecedores de correio gmail.com todos — — enforce — sem all outlook.com — — — enforce — -all yahoo.com — — — testing reject sem all icloud.com — — — — quarantine sem all fastmail.com — — — testing — ~all proton.me — sim sim enforce quarantine ~all Fornecedores alemães posteo.de — sim sim enforce — ~all mailbox.org todos sim sim enforce reject ~all gmx.de — sim sim — quarantine sem all web.de — sim sim testing quarantine sem all t-online.de — — — testing — ~all Autoridades de certificação letsencrypt.org todos — — — reject -all digicert.com todos — — — quarantine — sectigo.com — — — — reject -all globalsign.com todos — — — reject — Setor público britânico hmrc.gov.uk — — — enforce reject — nhs.uk — — — — reject -all ncsc.gov.uk — — — enforce reject -all Lê primeiro a coluna do DMARC, porque é a que está quase toda preenchida. A maioria destes publica uma política DMARC, e a maioria dos bancos está em reject. O DMARC é a definição que se faz, porque é a que um auditor pergunta e a que um fornecedor te consegue vender, e é visível: podes consultá-la e assinalar uma caixa. É também, sozinha, a definição que deixou passar uma fatura adulterada mais acima neste artigo.\nAgora lê a coluna do DANE, a única definição aqui que não pode ser rebaixada nem forjada. Cinco domínios em vinte e seis. Todos eles são fornecedores alemães ou a Proton. Nem um banco britânico. Nem uma das autoridades de certificação, as empresas cujo negócio inteiro é dar garantias sobre chaves. A proteção mais forte contra o ataque exato com que este artigo abriu é feita por um punhado de gente que se importa, e por ninguém que se limita a cumprir.\nOs bancos são a linha mais gritante. Oito, todos em DMARC reject, e entre eles: nenhum DANE, nenhum MTA-STS imposto, e um único, o Monzo, alcançável por IPv6. Duas das quatro autoridades de certificação não publicam nenhum registo SPF no seu próprio ápice. O HMRC e o NatWest também não. Não são empresas pequenas que nunca chegaram lá. São as organizações que te enviam o correio que mais temes que alguém falsifique, e a proteção que têm é o distintivo que parece mais forte e faz menos.\nA coluna do IPv6 é um pequeno escândalo à parte. Vinte dos vinte e seis não têm nenhum registo AAAA no seu servidor de correio, por isso um remetente numa rede só IPv6 não os consegue alcançar, e esse número só vai num sentido. Escrevi /pt/networking/we-never-ran-out-of-addresses/ sobre a recusa da indústria em terminar esse trabalho, e aqui está outra vez, desta vez no caminho do correio. É a mesma forma do censo do gov.uk em /pt/dns/dnssec-the-root-is-signed-you-are-not/: a parte difícil foi feita há anos, os registos oferecem-no de graça, e as pessoas que mais obviamente o deviam usar não o usam. O gov.uk central nem sequer está na tabela, porque não publica MX nenhum. Não recebe correio. É uma maneira de passar no teste.\nSe ainda não fazes isto, podes chamar-te profissional? Cada norma nomeada neste artigo, e o censo por baixo dele, apontam num só sentido: isto não é um problema de investigação, é um problema de ligar, e quem não está a ligar é precisamente quem está mais bem colocado para o fazer. Quando as provas são tão desequilibradas, a pergunta deixa de ser académica e passa a ser uma a que tens de responder sobre os teus próprios servidores. Se geres o correio de uma organização que lida com o dinheiro ou a saúde de outras pessoas, e o teu MX não faz DANE, não impõe MTA-STS e não é alcançável por IPv6, podes chamar a isso um trabalho profissional?\nHá três respostas honestas, e só as duas primeiras se aguentam. Sim, com uma razão escrita e uma data ao lado: estás numa plataforma que ainda não oferece DANE, levantaste a questão e há uma linha no plano do próximo ano. Isso é um profissional a gerir uma restrição real, e está bem. Sim, porque não sabias, e agora sabes, e vais descobrir esta semana em que ponto está o teu servidor. Ninguém nasceu a saber isto. E não: sabias o suficiente para ficares inquieto, leste até aqui, e vais fechar o separador e não mudar nada, porque o correio está a fluir e não aparece erro nenhum e ninguém te obriga. Essa última não é uma lacuna de conhecimento. É uma decisão de deixar avariada uma coisa pela qual és responsável, porque avariada faz menos barulho.\nA norma não te obriga a fazê-lo. É esse o problema todo, e é também o objetivo todo. Saber não é algo que te acontece, e ninguém te vai vir dizer que o teu servidor de correio anda há dois anos a enviar em texto claro sem dar sinal. Como tal, garantir que sabes é o trabalho, e não é de mais ninguém.\nUma norma é uma promessa que cumpres quando ninguém está a ver As peças disto ficaram todas prontas há anos. O STARTTLS é de 2002, o SPF, o DKIM e o DMARC têm uma década ou mais, o DANE para correio foi especificado em 2015, o MTA-STS em 2018. Nada disto está atrás de uma licença, nada precisa de um fornecedor, e os registos que alojariam os registos DNSSEC oferecem-nos de graça. A engenharia difícil está feita. O que falta é a parte fácil, a parte que só é fácil se alguém se der ao trabalho: ligá-la, verificar que está mesmo ligada e mantê-la ligada quando o certificado é renovado e o registo tem de acompanhar.\nEssa última parte é, no fundo, tudo. Uma norma não é o documento. O documento existe há vinte anos e o correio continua a seguir em texto claro. Uma norma é uma coisa que cumpres quando não há mensagem de erro a obrigar-te, quando o correio fluiria exatamente igual se a deixasses caducar em silêncio, quando a única pessoa que alguma vez saberia és tu. Cada uma destas definições falha em aberto precisamente para que ninguém seja obrigado a importar-se. O que quer dizer que importar-se é o trabalho todo.\nNão recebes recompensa por isso. A fatura que não foi alterada parece exatamente igual à que foi. A reposição da palavra-passe que ninguém leu em trânsito parece exatamente igual à que alguém leu. A única diferença está nos dias em que alguma coisa tentou, e nesses dias a pessoa que ligou tudo e verificou que funcionava nunca chega a saber que foi atacada, porque não resultou. É este o aspeto, visto de fora, de fazer o trabalho como deve ser: nada a acontecer, por razões que ninguém vê.\nPor isso acerta em cada definição na mesma. Não porque alguém esteja a verificar, porque ninguém está. Fá-lo porque foste tu quem disse que o correio estava seguro, e por estas bandas isso ainda vale alguma coisa.\nRFC 3207 §6 — SMTP Service Extension for Secure SMTP over TLS, Security Considerations: «A man-in-the-middle attack can be launched by deleting the “250 STARTTLS” response from the server», e que clientes e servidores «MUST be able to be configured to require successful TLS negotiation … for selected hosts».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 3207 §4 — «A publicly-referenced SMTP server MUST NOT require use of the STARTTLS extension in order to deliver mail locally. This rule prevents the STARTTLS extension from damaging the interoperability of the Internet\u0026rsquo;s SMTP infrastructure.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 7672 — segurança SMTP por DANE TLS oportunista, que define o registo 3 1 1 para correio e os ataques de rebaixamento a que resiste.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 8461 — SMTP MTA Strict Transport Security (MTA-STS).\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 8460 — SMTP TLS Reporting (TLS-RPT).\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 7208 — Sender Policy Framework (SPF) para autorizar o uso de domínios no email, versão 1.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 6376 — DomainKeys Identified Mail (DKIM) Signatures.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 7489 — Domain-based Message Authentication, Reporting, and Conformance (DMARC).\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 6698 e RFC 7671 — o registo TLSA do DNS-Based Authentication of Named Entities (DANE), e a atualização operacional.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 8617 — o Authenticated Received Chain (ARC), que permite a um reencaminhador garantir que a autenticação passou antes dele.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nMedido a 22 de outubro de 2026 com DNS só de leitura contra um resolvedor que valida (1.1.1.1), e uma obtenção por HTTPS de cada política MTA-STS. Para cada domínio: se todos os hosts MX publicam um registo AAAA; se a consulta MX foi validada (a flag AD); se _25._tcp.\u0026lt;mx\u0026gt; tem um registo TLSA numa zona assinada; o modo MTA-STS publicado; a política DMARC em _dmarc.\u0026lt;domain\u0026gt;; e o qualificador all no registo SPF do ápice. Nada foi enviado a nenhum destes servidores.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\n","permalink":"https://blogs.damiendye.uk/pt/email/why-every-mail-setting-has-to-be-right/","summary":"Cada camada da segurança do email é desenhada para recuar para algo que funciona em vez de falhar em segurança. Remove a linha STARTTLS de uma saudação e um remetente oportunista continua em texto claro, algo que o RFC 3207 descreve como um ataque e, num servidor público, te proíbe de impedir. Este artigo captura esse man-in-the-middle num laboratório e depois percorre as sete definições que protegem uma mensagem em trânsito, mostrando para cada uma o que protege, o que não protege e como falha em aberto quando está errada. Daí para o DANE: porque é que um registo TLSA não vale nada sem DNSSEC por baixo, porque é que o 3 1 1 e a reutilização da chave importam, e como um registo desatualizado é a única falha que fecha em vez de abrir. Depois, um censo só de leitura de bancos britânicos, dos grandes fornecedores de correio e das autoridades de certificação, a contar quantos fazem de facto alguma coisa disto.","title":"Porque é que cada definição de correio tem de estar certa"},{"content":"Instala o Postfix da tua distribuição, aceita as predefinições, e ficas com um servidor de correio que envia o teu correio em claro para qualquer servidor que não ofereça TLS, e que aceita correio de qualquer pessoa que diga ser qualquer pessoa. O main.cf que a Debian distribui põe os dois níveis de TLS em may. Nada verifica o SPF. Nada verifica o DKIM. Um domínio remetente que não existe é aceite.\nIsso não é um erro. É o que as normas pediam há vinte anos, e é assim que muitíssimos servidores de correio na internet ainda funcionam hoje.\nEste artigo monta o outro tipo. Pega nas regras da casa do artigo principal desta série e mete cada uma delas num Postfix a funcionar, com a resposta que cada uma produz quando recusa alguma coisa. O argumento a favor das regras está nesse artigo e não o vou fazer duas vezes. Este é a montagem.\nRegra O Postfix da Debian tal como vem Esta montagem O que uma infração recebe Nada de texto em claro a entrar TLS oferecido, nunca exigido encrypt em todos os listeners 530 5.7.0 Must issue a STARTTLS command first Nada de texto em claro a sair TLS se oferecido, texto em claro se não encrypt, DANE ou MTA-STS onde publicados adiado, dsn=4.7.4 ou dsn=4.7.5 IPv6 em tudo inet_protocols = all o mesmo, mais AAAA em todos os MX todos os testes abaixo correram nas duas famílias Só reencaminha com login reencaminha para mynetworks a porta 25 nunca reencaminha, a 587 e a 465 exigem login 554 5.7.1 … Relay access denied Um login envia como si próprio não verificado envelope e From: presos ao login 553 5.7.1 … not owned by user O domínio remetente tem de existir não verificado reject_unknown_sender_domain, código 550 550 5.1.8 … Domain not found Falha de SPF, falha de DKIM não verificado Rspamd, com rejeições forçadas 554 5.7.1 SPF hard fail / DKIM signature does not verify Todas as respostas deste artigo foram captadas de um servidor a funcionar, em IPv4 e IPv6. Várias definições acabaram por não fazer nada até outra coisa ser também definida. Encontrei cada uma delas a vê-la não fazer nada. Estão assinaladas abaixo, porque são as que te vão morder.\nO Laboratório Uma rede isolada, cada máquina nas duas famílias de endereços DNS E POLÍTICAS rede maillab: 10.89.50.0/24 e fd89:50::/64, interna lab-ns BIND 9.20.30, assina test. .10 e ::10 lab-resolver unbound 1.26.1, valida .11 e ::11 lab-tlspol postfix-tlspol 1.14.4 .25 e ::25 lab-alpha Postfix 3.10.13 alpha.test .20 e ::20 lab-bravo Stalwart 0.16.27 bravo.test .21 e ::21 lab-plain Postfix, sem TLS plain.test .22 e ::22 lab-client swaks, remetente de teste sender.test .50 e ::50 SERVIDORES DE CORREIO CA descartável para os certificados. Todos os testes destes artigos correram nas duas famílias. Tudo o que está no artigo correu aqui primeiro. Nada aqui consegue chegar à internet, por isso nada aqui é um palpite sobre a internet Peça Versão Função Postfix 3.10.13, Debian trixie o MX e o servidor de submissão de alpha.test Dovecot 2.4.1 palavras-passe para os logins, todos os protocolos de correio desligados Rspamd, Redis 3.12.1, 8.0.2 SPF, DKIM, DMARC, assinatura DKIM postfix-tlspol 1.14.4 política de saída a partir de TLSA e MTA-STS BIND, unbound 9.20.30, 1.26.1 uma zona privada test. assinada, e um resolver que a valida Domínio Para que serve alpha.test o servidor que este artigo monta bravo.test Stalwart, que tem o seu próprio artigo plain.test o mau vizinho: zona não assinada, sem STARTTLS sender.test SPF -all, DKIM, DMARC p=reject: para falsificar, adulterar e reencaminhar Todos os listeners escutam nas duas famílias, e todos os MX têm um registo A e um AAAA. Aqui o IPv6 não é um extra. Um servidor de correio sem ele é um defeito, e provar que este o tem é simples: corre cada verificação duas vezes.\nEtapa a Etapa Uma sessão SMTP é uma sequência fixa, e cada regra desta montagem tem um lugar natural nela. A ordem importa por uma razão: recusa tão cedo quanto as provas o permitam. Um domínio remetente que não existe sabe-se no MAIL FROM, por isso não há razão para aceitar o corpo antes de o recusar. Um corpo adulterado só se sabe depois do DATA, por isso é aí que é recusado.\nOnde cada regra morde, e o que o servidor disse ETAPA A REGRA, E A RESPOSTA CAPTADA NO LABORATÓRIO EHLO STARTTLS AUTH MAIL FROM RCPT TO DATA nada de AUTH até o TLS estar ativo smtpd_tls_auth_only = yes salta-o e mais nada é aceite 530 5.7.0 Must issue a STARTTLS command first só 587 e 465; a porta 25 não tem login 554 5.7.1 Client host rejected: Access denied o domínio remetente tem de existir 550 5.1.8 Sender address rejected: Domain not found o nosso próprio domínio exige login 554 5.7.1 Our own domain: send through submission o login tem de ser dono do endereço 553 5.7.1 not owned by user alice@alpha.test a porta 25 nunca reencaminha 554 5.7.1 Relay access denied Rspamd: SPF, DKIM, DMARC 554 5.7.1 SPF hard fail / DKIM does not verify o cabeçalho From: tem de ser o login 554 5.7.1 You may only send as your own address O Postfix guarda as rejeições de MAIL FROM até ao RCPT TO, por isso essas três respostas chegam um passo mais tarde. Cada regra tem uma etapa. Rejeita tão cedo quanto as provas o permitam O resto do artigo percorre essas etapas por ordem: TLS a entrar, TLS a sair, logins e reencaminhamento, endereços de remetente, e depois o que o Rspamd faz com o corpo.\nNada de Texto em Claro a Entrar Uma linha:\nsmtpd_tls_security_level = encrypt Um cliente que tente saltar o STARTTLS não recebe nada além da recusa:\n\u0026lt;- 220 mail.alpha.test ESMTP Postfix -\u0026gt; MAIL FROM:\u0026lt;carol@sender.test\u0026gt; \u0026lt;** 530 5.7.0 Must issue a STARTTLS command first Agora lê o que o próprio manual do Postfix diz sobre essa definição:\nAccording to RFC 2487 this MUST NOT be applied in case of a publicly-referenced SMTP server. Instead, this should be used on dedicated servers, for example submission (port 587).1\nRFC 2487 é o número antigo do RFC 3207, e essa regra é a razão por que a maioria dos servidores MX na internet ainda aceita correio em claro. Estou a aplicá-la a um MX referenciado publicamente na mesma. De propósito. O artigo principal explica porque acho que a regra está errada, e o custo é real: um remetente cujo servidor não sabe fazer TLS não te consegue alcançar. Em 2026, esse é um servidor do qual não queres correio.\nNada de Texto em Claro a Sair Esta é a metade que a maioria dos guias erra, porque a definição óbvia não faz o que o nome sugere.\nO Postfix tem um nível de segurança dane. Define-o e esperarias que o correio saísse autenticado. Não sai. Eis o que o postconf(5) diz que ele faz quando o outro lado não publica nada:\nWhen DNSSEC-validated TLSA records are not found the effective tls security level is \u0026ldquo;may\u0026rdquo;.2\nmay é TLS oportunista, que o TLS_README descreve sem rodeios: «Otherwise, messages are sent in the clear.»3 A maior parte da internet não publica registos TLSA. Portanto, smtp_tls_security_level = dane sozinho quer dizer DANE para a mão-cheia de domínios que o fazem, e texto em claro para todos os outros cujo servidor não ofereça STARTTLS. Oportunista, com um nome melhor.\nA solução é fazer do encrypt o mínimo e subir cada destino acima dele quando publica algo melhor. Quem faz a subida é o postfix-tlspol. É um pequeno servidor de políticas, com licença MIT, a quem o Postfix pergunta sobre cada domínio destinatário através de um socketmap. Procura primeiro registos TLSA utilizáveis numa zona assinada e depois MTA-STS, e responde com a política que o Postfix deve usar:\nsmtp_dns_support_level = dnssec smtp_tls_security_level = encrypt smtp_tls_mandatory_protocols = \u0026gt;=TLSv1.2 smtp_tls_policy_maps = socketmap:inet:[fd89:50::25]:8642:QUERYwithTLSRPT Três políticas, e nenhuma é texto em claro PERGUNTA O QUE O DOMÍNIO PUBLICA POLÍTICA QUE O POSTFIX USA postfix-tlspol por domínio destinatário, sobre DNSSEC TLSA utilizável numa zona assinada MTA-STS, enforce política obtida por HTTPS Nenhum dos dois a maior parte da internet dane-only a chave do servidor tem de bater certo secure match=… certificado de CA, só MX listados encrypt TLS exigido, não autenticado E QUANDO NÃO PODE SER CUMPRIDA, O CORREIO ESPERA sem STARTTLS oferecido: dsn=4.7.4 a chave não bate certo: dsn=4.7.5 O nível dane de origem acrescentaria uma quarta linha: sem TLSA, envia em claro. Esta configuração deixa-a de fora O README dele é específico sobre o que devolve: vai «Verify TLSA records for correctness and supported parameters, only then the dane-only policy (Mandatory DANE) will be returned.»4 Perguntado sobre os três domínios do laboratório, disse exatamente isso:\nlevel=INFO msg=\u0026#34;Evaluated policy\u0026#34; origin=network domain=alpha.test policy=dane-only ttl=214 level=INFO msg=\u0026#34;Evaluated policy\u0026#34; origin=network domain=bravo.test policy=dane-only ttl=198 level=INFO msg=\u0026#34;No policy found\u0026#34; origin=network domain=plain.test ttl=1800 Nenhuma política para plain.test quer dizer que o Postfix recai no mínimo encrypt, e o plain.test não oferece STARTTLS. O correio espera:\npostfix/smtp[194]: 78598130DA54: to=\u0026lt;someone@plain.test\u0026gt;, relay=mail.plain.test[fd89:50::22]:25, delay=0.02, delays=0.01/0.01/0.01/0, dsn=4.7.4, status=deferred (TLS is required, but was not offered by host mail.plain.test[fd89:50::22]) E o caso que prova que o DANE está a fazer alguma coisa. No início da montagem, o Stalwart em bravo.test ainda servia o seu próprio certificado de arranque enquanto a zona publicava o registo TLSA do verdadeiro. Um servidor com um certificado perfeitamente bom, só que não o que o dono do domínio tinha avalizado:\npostfix/smtp[196]: server certificate verification failed for mail.bravo.test[fd89:50::21]:25: num=65:no matching DANE TLSA records postfix/smtp[196]: 79160130DA56: to=\u0026lt;someone@bravo.test\u0026gt;, relay=mail.bravo.test[10.89.50.21]:25, delay=5.9, delays=0/0.01/5.9/0, dsn=4.7.5, status=deferred (Server certificate not verified) Adiado é a resposta certa nos dois casos. Uma mensagem adiada é tentada de novo durante dias, o que dá ao outro lado tempo para corrigir a sua parte, e nada se perde. Uma mensagem enviada em claro não pode ser desenviada. Como tal, esperar é sempre a falha mais barata.\nO resolver faz parte da cadeia de confiança smtp_dns_support_level = dnssec faz o Postfix pedir respostas validadas ao seu resolver, e depois acreditar no bit AD do resolver, a flag que diz «verifiquei as assinaturas». O Postfix não valida nada sozinho. Confia. Seja qual for o resolver indicado em /etc/resolv.conf, é ele que passa a decidir se o teu correio é autenticado.\nVais encontrar conselhos a dizer que a glibc deita esse bit fora a não ser que o resolv.conf tenha options trust-ad. Testei, e neste Postfix não faz diferença nenhuma: o DANE correspondeu com a opção e sem ela. O código-fonte explica porquê. O Postfix liga a flag ele próprio sempre que pede DNSSEC:\nif (DNS_WANT_DNSSEC_VALIDATION(flags)) flags |= (RES_USE_EDNS0 | RES_TRUSTAD); Isto é de src/dns/dns_lookup.c.5 Portanto, o que importa não é uma opção do resolver. É para que resolver apontas. Tem de validar, e o caminho até ele tem de ser um em que confias, o que na prática quer dizer que corre no próprio servidor de correio ou numa rede a que mais ninguém chega. Um resolver público do outro lado da internet põe-te o AD com todo o gosto. E também o põe qualquer pessoa que esteja entre ti e ele.\nDANE: Publica a Chave, Não o Certificado Um registo TLSA fixa o que um servidor remetente deve ver quando se liga. O que se deve usar é o 3 1 1, e cada um dos três números é uma escolha:\nCampo Valor Significado Porquê este Usage 3, DANE-EE corresponder ao próprio certificado do servidor nenhuma CA na cadeia em que confiar ou que possa falhar Selector 1, SPKI calcular o hash só da chave pública sobrevive a todas as renovações com a mesma chave Matching 1, SHA-256 um resumo, não a chave inteira todos os clientes DANE têm de o suportar O RFC 7672 dá a razão para essa combinação numa linha:\nthis record type works for all clients and need not change across certificate renewals with the same key.6\nO hash é um pipeline, e aqui está ele contra o certificado do laboratório e o registo que a zona assinada serve:\n$ openssl x509 -in mail.alpha.test.crt -noout -pubkey \\ | openssl pkey -pubin -outform DER | sha256sum 093a80cac907a52eb41d17df20163c95f2e15d6702c76f65174d7fc32460c69f - $ dig +dnssec _25._tcp.mail.alpha.test TLSA ;; flags: qr rd ra ad; QUERY: 1, ANSWER: 2, AUTHORITY: 0, ADDITIONAL: 1 _25._tcp.mail.alpha.test. 165 IN TLSA 3 1 1 093A80CAC907A52EB41D17DF20163C95F2E15D6702C76F65174D7FC3 2460C69F O laboratório provou a parte do «need not change» por acaso. A meio, as verificações de certificados mais rigorosas do Python 3.13 recusaram os certificados do laboratório por lhes faltar um identificador de chave da autoridade, por isso foram todos reemitidos. As mesmas chaves privadas, certificados novos. Nem um registo TLSA mudou, e nem um remetente DANE deu por isso.\nAgora a armadilha. A maioria das pessoas renova os certificados com o certbot, automaticamente, de poucas em poucas semanas. Da própria documentação do certbot:\nNot reusing private keys is the default behavior of Certbot.7\nPortanto, a renovação por omissão cria uma chave nova de cada vez. O registo TLSA deixa de corresponder, e todos os remetentes que verificam DANE começam a adiar o teu correio no dia da renovação. Nada do teu lado se parte. Nada te avisa. Corre o certbot com --reuse-key e o registo sobrevive a todos os certificados que lhe puseres por trás. Quando a chave tem mesmo de mudar, há uma ordem para isso:\nMesma chave: nada a fazer. Chave nova: quatro passos, por ordem RENOVAR COM A MESMA CHAVE Renovar o certificado mesma chave privada TLSA inalterado 093a80… antes e depois Nada a publicar o DANE nem nota MUDAR A CHAVE 1. Publicar TLSA novo ao lado do antigo 2. Esperar dois TTLs as caches têm o antigo 3. Trocar a chave o servidor mostra a nova 4. Remover o antigo só agora, nunca antes Salta o passo 2 e todos os remetentes DANE com o registo antigo em cache adiam o teu correio até ele expirar. Reutiliza a chave na renovação e o registo TLSA sobrevive a todos os certificados que lhe puseres por trás O segundo passo é o que as pessoas saltam. O resultado é correio adiado até o registo antigo expirar de todas as caches, e vem exatamente dos remetentes que estão a fazer a segurança como deve ser.\nNinguém Reencaminha Sem Login Reencaminhar (relay) é enviar correio adiante para um domínio do qual não és o destino. Um relay aberto é a forma como o spam se branqueia à custa da reputação de outra pessoa. A maneira antiga de fechar um era confiar numa gama de endereços, para que tudo o que viesse da rede do escritório pudesse reencaminhar. Isso é confiança pela localização. Numa rede com WiFi de convidados, utilizadores de VPN e um ou outro portátil comprometido, a localização vale muito pouco.\nPor isso nenhum endereço é de confiança a não ser a própria máquina:\nmynetworks = 127.0.0.0/8 [::1]/128 smtpd_relay_restrictions = reject_unauth_destination A porta 25 é para correio que chega para este domínio e para mais nada. Nunca reencaminha, para ninguém:\n\u0026lt;** 554 5.7.1 \u0026lt;someone@plain.test\u0026gt;: Relay access denied Os utilizadores enviam por submissão: a porta 587 com STARTTLS, ou a 465 com TLS desde o primeiro byte. As duas querem um login antes de fazerem o que quer que seja. O Dovecot verifica as palavras-passe, com todos os protocolos de correio desligados para não fazer mais nada, e o Postfix pergunta-lhe através de um socket. O listener de submissão em master.cf:\nsubmission inet n - y - - smtpd -o smtpd_tls_security_level=encrypt -o smtpd_sasl_auth_enable=yes -o smtpd_tls_auth_only=yes -o smtpd_client_restrictions=permit_sasl_authenticated,reject -o smtpd_sender_restrictions=reject_sender_login_mismatch -o smtpd_relay_restrictions=permit_sasl_authenticated,reject smtpd_tls_auth_only quer dizer que o servidor nem sequer oferece AUTH enquanto o TLS não estiver ativo, por isso uma palavra-passe nunca atravessa o fio em claro. Linhas AUTH na resposta a um EHLO em texto em claro: zero. Um cliente que se liga à 587 e tenta enviar sem fazer login não vai a lado nenhum:\n\u0026lt;** 554 5.7.1 \u0026lt;unknown[fd89:50::50]\u0026gt;: Client host rejected: Access denied Um Login É Dono dos Seus Endereços Um login prova quem és. Não diz nada sobre os endereços com que podes enviar. Sem essa ligação, qualquer utilizador do servidor pode enviar como o diretor financeiro, e o correio é assinado e entregue como se fosse verdadeiro. O Postfix liga as duas coisas com um mapa de endereço para dono:\nalice@alpha.test alice@alpha.test bob@alpha.test bob@alpha.test postmaster@alpha.test alice@alpha.test reject_sender_login_mismatch nas portas de submissão impõe isso ao remetente do envelope. Com login como alice, a tentar enviar como bob:\n\u0026lt;** 553 5.7.1 \u0026lt;bob@alpha.test\u0026gt;: Sender address rejected: not owned by user alice@alpha.test Isso cobre o envelope. Não cobre o cabeçalho From:, que é o endereço que o destinatário vê de facto, e o postconf(5) di-lo nas notas sobre esta mesma restrição:\nto enforce that the From: header address matches the envelope sender (MAIL FROM) address, use an external filter such as a Milter8\nO Rspamd já é o milter aqui, por isso a verificação do cabeçalho é uma pequena regra em Lua que compara o utilizador com login com o endereço From:, mais uma rejeição forçada no símbolo que ela levanta:\nrspamd_config.AUTH_FROM_NOT_LOGIN = { callback = function(task) local user = task:get_user() if not user then return false end local from = task:get_from(\u0026#39;mime\u0026#39;) if not from or not from[1] or not from[1].addr then return true, \u0026#39;no From address\u0026#39; end if string.lower(from[1].addr) ~= string.lower(user) then return true, from[1].addr .. \u0026#39; is not \u0026#39; .. user end return false end, score = 0.0, description = \u0026#39;Authenticated user sent with a From: address that is not their own\u0026#39;, group = \u0026#39;headers\u0026#39;, } A alice a enviar com MAIL FROM:\u0026lt;alice@alpha.test\u0026gt; e From: bob@alpha.test:\n\u0026lt;** 554 5.7.1 You may only send as your own address Um nome de apresentação não faz mal, e uma mudança de maiúsculas também não. Alice \u0026lt;ALICE@alpha.test\u0026gt; passa, porque a comparação é feita sobre o endereço e ignora maiúsculas e minúsculas.\nA verificação que se desliga sozinha Aqui está a primeira das definições que não fazem nada, em silêncio. A forma óbvia de impedir que estranhos falsifiquem o teu próprio domínio na porta 25 é pôr lá também as verificações de login-mismatch. O Postfix aceita a configuração, arranca, e regista isto:\nwarning: restriction `reject_authenticated_sender_login_mismatch\u0026#39; ignored: no SASL support warning: restriction `reject_unauthenticated_sender_login_mismatch\u0026#39; ignored: no SASL support A porta 25 tem o SASL desligado, e muito bem, porque ninguém faz login lá. Portanto a verificação é saltada. O correio é aceite. A única prova é um aviso num registo que ninguém lê, e sem a verificação, qualquer pessoa na internet podia enviar MAIL FROM:\u0026lt;alice@alpha.test\u0026gt; para este servidor e vê-lo entregue aos colegas da alice como se tivesse sido ela a escrevê-lo.\nA solução é recusar os nossos próprios domínios pelo nome na porta 25, porque o nosso correio nunca chega legitimamente por lá:\nsmtpd_sender_restrictions = reject_non_fqdn_sender, reject_unknown_sender_domain, check_sender_access texthash:/etc/postfix/own_domains com o own_domains a ter uma linha, alpha.test REJECT Our own domain: send through submission with a login. Testado de fora:\n\u0026lt;** 554 5.7.1 \u0026lt;alice@alpha.test\u0026gt;: Sender address rejected: Our own domain: send through submission with a login Domínios Remetentes Que Não Existem Se o domínio do MAIL FROM não existe, nada lhe pode ser devolvido, e nada de legítimo alguma vez veio de lá. reject_unknown_sender_domain recusa correio quando esse domínio não tem «no DNS MX and no DNS A record».9 O código de resposta por omissão do Postfix para isto é 450, uma falha temporária, que convida o falsificador a tentar de novo mais tarde. Mudei-o para 550.\nO postconf(5) é direto sobre essa definição: «Do not change this unless you have a complete understanding of RFC 5321.»10 É justo. Eis o raciocínio. Um 4xx diz ao remetente para pôr em fila e tentar de novo, o que está certo quando a resposta pode mudar. A um domínio sem registos agora não lhe vão nascer registos nos próximos cinco minutos. O Postfix separa isso do caso em que a resposta ainda não é conhecida: uma falha de DNS é tratada pelo unknown_address_tempfail_action, que continua a adiar. Mudar o código muda só o caso que tem resposta.\nO laboratório testou os três, mais o que interessa à regra do IPv6. O texto do postconf diz «A record», e um domínio cujo único endereço é um registo AAAA não deve ser tratado como inexistente:\nDomínio remetente O DNS diz Resposta nosuch-lab.co.uk NXDOMAIN 550 5.1.8 \u0026lt;someone@nosuch-lab.co.uk\u0026gt;: Sender address rejected: Domain not found v6only-lab.co.uk só AAAA, sem A, sem MX aceite dnsfail-lab.co.uk SERVFAIL 450 4.1.8 … Sender address rejected: Domain not found, tentado de novo mais tarde sender.test MX, A, AAAA aceite Na prática, «A record» abrange AAAA, e um domínio só IPv6 está seguro. A recusa chega no MAIL FROM, antes de o remetente ter enviado um único byte do corpo. Por omissão, o Postfix guarda uma rejeição de MAIL FROM até ao primeiro RCPT TO, por isso a resposta chega um passo mais tarde do que poderias esperar, e é por isso que o diagrama das etapas a mostra aí.\nSPF, DKIM e DMARC, Com Dentes Estes três são tratados como deve ser no artigo principal. Numa linha cada um: o SPF diz que servidores podem enviar por um domínio, o DKIM assina a mensagem para que as alterações se notem, e o DMARC diz o que fazer quando falham e se batem certo com o domínio visível do From:. A regra da casa é rejeitar numa falha dura de SPF e numa assinatura DKIM que está presente e não verifica. Correio sem assinatura não é uma falha de DKIM. É o DMARC p=reject no domínio do remetente que trata disso.\nO Rspamd faz os três num só milter, mais a assinatura DKIM do correio que sai. O Postfix entrega-lhe todas as mensagens e, se o Rspamd não responder, o correio espera em vez de passar sem verificação:\nsmtpd_milters = inet:127.0.0.1:11332 non_smtpd_milters = $smtpd_milters milter_default_action = tempfail O Rspamd trabalha com pontuações, e essa é a primeira coisa a perceber sobre ele. De origem, nada é rejeitado por o SPF ter falhado. Nada. Cada resultado soma ou subtrai uns pontos, e a mensagem é rejeitada quando o total passa de 15. O módulo force_actions é o que transforma um único resultado numa decisão:\nrules { SPF_FAIL_REJECT { action = \u0026#34;reject\u0026#34;; expression = \u0026#34;R_SPF_FAIL\u0026#34;; message = \u0026#34;SPF hard fail: this host is not allowed to send for that domain\u0026#34;; } DKIM_FAIL_REJECT { action = \u0026#34;reject\u0026#34;; expression = \u0026#34;R_DKIM_REJECT\u0026#34;; message = \u0026#34;DKIM signature does not verify: the message was changed or forged\u0026#34;; } DMARC_REJECT { action = \u0026#34;reject\u0026#34;; expression = \u0026#34;DMARC_POLICY_REJECT\u0026#34;; message = \u0026#34;DMARC policy of the sender\u0026#39;s domain says reject\u0026#34;; } } Cinco mensagens de sender.test, enviadas a partir do cliente no laboratório. O registo SPF permite ip6:fd89:50::50 e mais nada, por isso o mesmo cliente a enviar por IPv4 é um servidor não autorizado para esse domínio. É também exatamente o aspeto de uma mensagem reencaminhada:\nCaso Enviado como SPF DKIM DMARC Pontuação Rspamd Resposta A assinado, a partir do endereço IPv6 listado pass pass pass 3,59 de 15 aceite B assinado, e depois os dados bancários alterados pass fail pass 2,30 de 15 554 5.7.1 DKIM signature does not verify C sem assinatura, a partir de IPv4 fail none reject 5,00 de 15 554 5.7.1 SPF hard fail D assinado e intacto, a partir de IPv4 fail pass pass 2,30 de 15 554 5.7.1 SPF hard fail E sem assinatura, a partir do endereço IPv6 listado pass none pass 3,80 de 15 aceite Olha para o caso B. É uma fatura com o código do banco e o número de conta alterados depois de ter sido assinada. Fraude de faturas, por outras palavras. O SPF passou, porque veio do servidor certo. O DMARC passou, porque o SPF passou e batia certo com o domínio do From:. Pelas suas pontuações, o Rspamd deu-lhe 2,30 em 15 e tê-la-ia entregue. A única coisa que a travou foi a rejeição forçada na assinatura partida. O DMARC sozinho deixa passar uma mensagem adulterada desde que uma das duas verificações sobreviva, e vale a pena saber isso antes de dizeres que um domínio está protegido por o seu DMARC dizer reject.\nO caso D é o custo, e deve ser dito com clareza. Uma mensagem corretamente assinada e intacta é recusada porque veio de um servidor que não está no registo SPF. É isso que o reencaminhamento faz: quem reencaminha envia a tua mensagem adiante a partir do seu próprio endereço. Rejeitar só com base no SPF quer dizer que o correio reencaminhado de domínios com -all é devolvido. O SRS no reencaminhador resolve isto, e confiar no DKIM acima do SPF também resolveria, mas a regra da casa é a regra da casa, e o custo fica por escrito.\nA predefinição que confia em todas as redes privadas A segunda definição que não faz nada, em silêncio. O Rspamd salta o SPF e algumas outras verificações para endereços que considera locais, e a lista que vem em options.inc é esta:\nlocal_addrs = [192.168.0.0/16, 10.0.0.0/8, 172.16.0.0/12, fd00::/8, 169.254.0.0/16, fe80::/10]; Todas as gamas privadas, nas duas famílias. Se o teu MX estiver atrás de um balanceador de carga, de um NAT ou de um proxy num endereço privado, o SPF é saltado discretamente para tudo isso. No laboratório, que é todo de endereçamento privado, o SPF nunca falhou até isto ser mudado.\nA solução óbvia não funciona. O Rspamd tem dois diretórios para definições locais, e as perguntas frequentes dele explicam a diferença: o local.d «Merges with defaults. Collections and lists are combined», enquanto o override.d «Replaces defaults.»11 Uma lista mais estreita em local.d/options.inc é combinada com a que vem de origem, o que quer dizer que não estreita nada. Tem de ir para override.d/options.inc:\nlocal_addrs = [127.0.0.0/8, ::1]; e o rspamadm configdump options é a forma de verificares com o que o Rspamd ficou de facto, em vez daquilo que achas que escreveste.\nO greylisting também está desligado nesta montagem. Envia uma rejeição temporária a remetentes desconhecidos e aceita-os na nova tentativa, o que trava algum spam, mas o greylisting do Rspamd responde antes de o SPF e o DMARC terem dito o que tinham a dizer, por isso durante os testes vês um adiamento onde esperavas um veredicto.12 Os testes acima só têm significado com ele desligado.\nOs teus próprios bounces, recusados pelo teu próprio DMARC A última armadilha apareceu quando o Stalwart do laboratório recusou um bounce deste servidor. O Postfix envia os bounces com um remetente de envelope vazio e From: MAILER-DAEMON@mail.alpha.test. Sem remetente de envelope, a única verificação SPF que resta é sobre o nome que o servidor deu no HELO, mail.alpha.test, que não tinha registo SPF. O bounce também não estava assinado. Por isso o DMARC recaiu na política de alpha.test, encontrou p=reject, e o servidor recetor fez exatamente o que o domínio lhe mandou:\nsmtp.dmarc-fail … domain = \u0026#34;alpha.test\u0026#34;, policy = \u0026#34;reject\u0026#34;, result = DMARC check failed (dmarc.fail) { causedBy = Policy not aligned } A política do próprio domínio estava a deitar fora as suas próprias falhas de entrega. Cada nome de anfitrião MX recebe o seu próprio registo SPF, o que resolve o problema:\nmail IN TXT \u0026#34;v=spf1 a -all\u0026#34; Seis Definições Que Parecem Feitas As armadilhas acima têm a mesma forma. Cada uma delas é uma definição que parece feita, não produz erro nenhum, e não faz nada de nada.\nParece feita O que acontece de facto Encontrada por smtp_tls_security_level = dane texto em claro onde não houver TLSA publicado ler o postconf(5) verificações de login-mismatch na porta 25 saltadas, um aviso no registo enviar uma falsificação local_addrs estreitado em local.d combinado com a predefinição, nada estreitado rspamadm configdump DMARC p=reject no remetente correio adulterado passa se o SPF passar caso B renovações do certbot chave nova, o TLSA deixa de corresponder ler a documentação do certbot DMARC p=reject no teu próprio domínio os teus próprios bounces recusados um bounce recusado Duas delas estão na documentação, se leres o parágrafo certo da página certa. As outras quatro só apareceram ao enviar a mensagem que a regra devia travar e ao ver o que voltava. Reler a configuração e concordar com ela não encontrou nenhuma. Se levares um hábito deste artigo, leva esse, porque cada linha aqui pode ser copiada para um servidor e mesmo assim não estar a funcionar.\nAs Predefinições São a Decisão de Outra Pessoa Cada recusa neste artigo é uma definição que o Postfix tem há anos. Até o DANE, a coisa mais recente aqui, está lá desde a 2.11.13 Nada disto é novo, nada disto é caro, e o servidor por baixo é o mesmo software livre que sempre foi. A distância entre um servidor de correio que deixa passar uma fatura alterada e um que a recusa no DATA é uma página de configuração e uma tarde de testes.\nEntão porque é que tão pouco da internet funciona assim? Porque as predefinições decidem, e as predefinições foram escolhidas para garantir que o correio passava numa internet em que o TLS era a exceção. Na altura foram uma escolha razoável. Deixa-as estar agora e entregaste as tuas decisões de segurança a uma escolha que alguém fez em 2002, para uma rede que já não existe, sobre correio que não era teu.\nGerir um servidor de correio é uma decisão de seres responsável pelo que passa por ele. Aquelas definições são a decisão posta por escrito. As predefinições são o que tens quando ninguém a tomou.\npostconf(5): smtpd_tls_security_level — o nível encrypt: «According to RFC 2487 this MUST NOT be applied in case of a publicly-referenced SMTP server.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\npostconf(5): smtp_tls_security_level — o nível dane: «When DNSSEC-validated TLSA records are not found the effective tls security level is “may”.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nPostfix TLS_README: Opportunistic TLS — «The SMTP transaction is encrypted if the STARTTLS ESMTP feature is supported by the server. Otherwise, messages are sent in the clear.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\npostfix-tlspol on GitHub — servidor de políticas MTA-STS e DANE para o Postfix, com licença MIT: «Verify TLSA records for correctness and supported parameters, only then the dane-only policy (Mandatory DANE) will be returned.» Aqui foi usada a versão 1.14.4.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nPostfix source, src/dns/dns_lookup.c — «Automatically turns on the RES_TRUSTAD flag on systems that support this flag», e o código que o faz quando é pedida validação DNSSEC.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 7672 §3.1.1 — segurança SMTP com DANE TLS oportunista. Os registos TLSA para servidores SMTP «should, in most cases, be “DANE-EE(3) SPKI(1) SHA2-256(1)” records».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCertbot user guide, command-line options — --reuse-key: «When renewing, use the same private key as the existing certificate. (default: False)», e em --no-reuse-key: «Not reusing private keys is the default behavior of Certbot.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\npostconf(5): reject_known_sender_login_mismatch — «to enforce that the From: header address matches the envelope sender (MAIL FROM) address, use an external filter such as a Milter».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\npostconf(5): reject_unknown_sender_domain — rejeita quando o domínio do MAIL FROM tem «no DNS MX and no DNS A record», ou um MX mal formado.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\npostconf(5): unknown_address_reject_code — por omissão 450: «Do not change this unless you have a complete understanding of RFC 5321.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRspamd FAQ: the difference between local.d and override.d — o local.d «Merges with defaults. Collections and lists are combined»; o override.d «Replaces defaults. Entire sections are overwritten.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRspamd greylisting module — «The greylisting module triggers a soft reject action, which is intended to be interpreted by the MTA as a temporary rejection».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nPostfix TLS_README: DANE — «Postfix ≥ 2.11 supports the new dane and dane-only security levels».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\n","permalink":"https://blogs.damiendye.uk/pt/email/postfix-dane-done-properly/","summary":"De origem, o Postfix envia em claro quando o outro lado não oferece TLS e aceita correio de qualquer pessoa que diga ser qualquer pessoa. Esta é a outra montagem: Postfix 3.10.13 com Dovecot para os logins, Rspamd para SPF, DKIM e DMARC, e postfix-tlspol para DANE e MTA-STS. Nada de texto em claro a entrar ou a sair, a porta 25 nunca reencaminha, um login é dono dos seus endereços no envelope e no cabeçalho From, domínios remetentes que não existem são recusados, e uma mensagem adulterada ou falsificada nunca passa do DATA. Todas as respostas foram captadas num laboratório em IPv4 e IPv6, juntamente com as seis definições que não fazem nada, em silêncio, até outra coisa ser também definida, a predefinição do certbot que estraga o DANE na renovação, e o que tudo isto te custa em correio reencaminhado.","title":"Postfix, DANE e Todas as Definições Bem Feitas"},{"content":"Os dois últimos artigos montaram um servidor de correio que cumpre um conjunto de regras, uma vez com quatro pacotes e outra com um único binário. Quase ninguém faz isso. Pagam à Microsoft, apontam o domínio para o Exchange Online e deixam-no tratar de tudo. Por isso a pergunta justa aqui não é «como é que o monto?» mas sim «se já paguei pela plataforma onde corre a maior parte do país, consigo pô-la a cumprir as mesmas regras?»\nA resposta, tirada da própria documentação da Microsoft e de uma leitura só de consulta ao DNS de inquilinos reais, é: algumas bem, várias de todo, e a plataforma não te diz qual é qual. Esta é a edição Fisher-Price da segurança do correio. As arestas estão arredondadas, as ferramentas afiadas foram arrumadas, e alguns dos controlos a que irias de facto deitar a mão não estão lá para ligar. Cada afirmação está citada a uma página da Microsoft verificada a 22 de outubro de 2026, e cada resultado de DNS é reproduzível com dig.\nA tabela de pontuação Aqui estão as regras da casa do artigo principal, /pt/email/why-every-mail-setting-has-to-be-right/, contra o que o Exchange Online deixa realmente um administrador fazer.\nRegra Exchange Online Veredicto Nada em texto simples a entrar o TLS só pode ser exigido por conector de parceiro, por domínio ou IP nomeado sem interruptor para todo o inquilino Nada em texto simples a sair oportunista por omissão; TLS forçado exige um conector por destino não é a predefinição DANE de saída ligado por omissão; existe um modo Mandatory, por conector bom MTA-STS de saída sempre ligado, validado automaticamente bom IPv6 de entrada por domínio aceite, com exclusão pelo inquilino ou pela Microsoft parado na prática Descartar domínios remetentes desconhecidos nenhum controlo documentado ausente Reencaminhamento exige login SMTP AUTH, mas autenticação básica ligada até ao fim de 2026, e o reencaminhamento por IP envia como qualquer endereço meio feito Um login envia como ele próprio o SMTP AUTH impõe Send As; o Direct Send não exige autenticação nenhuma um buraco Rejeitar falha de SPF não é rejeitada; uma definição desligada por omissão marca-a como spam não Rejeitar falha de DKIM nenhum controlo rejeita só por DKIM não DANE + DNSSEC de entrada GA, mas por adesão, e não no anfitrião que todos os inquilinos usam começado, por acabar Cinco destas são um não redondo ou uma ausência. A forma da coisa são três colunas: o que a Microsoft decide e faz bem, o punhado que te deixam ligar, e o que simplesmente não está lá para ligar.\nO que a Microsoft decide, o que podes ligar, e o que não podes ter A MICROSOFT DECIDE, E BEM DANE de saída, ligado MTA-STS de saída, ligado O anfitrião de correio O filtro de spam Entrega fiável Nunca tiveste de pedir. Já estava certo. PODES LIGAR DMARC do remetente (ligado) Exigir TLS a um parceiro IPv6, por domínio Rejeitar Direct Send (adesão) Ir para o anfitrião assinado Uma lista curta, e quase toda por adesão. NÃO HÁ COMO LIGAR Exigir TLS de entrada a todos Rejeitar falha rígida de SPF Rejeitar DKIM falhado Descartar domínio inexistente DNSSEC no teu anfitrião Os controlos que mais querias. Atrás do vidro. Os controlos que mais queres para as ameaças do artigo principal são os da coluna da direita Continua a ler para saber porque é que cada um está onde está, porque as razões são mais condenatórias do que os veredictos.\nO que faz bem, dito às claras Primeiro o mérito, porque é merecido. No caminho de saída, o Exchange Online é genuinamente bom. A validação DANE está ligada por omissão desde 2022, a validação MTA-STS é automática, com «nothing administrators need to do to apply it»,1 e um modo DANE Mandatory por conector chegou no início de 2026.2 É mais do que a maioria dos servidores alojados pelos próprios consegue de origem.\nO DANE de entrada com DNSSEC chegou à disponibilidade geral a 28 de outubro de 2024, e os registos TLSA validam num inquilino que passou para o novo anfitrião.34 Portanto a capacidade existe. O problema é tudo o que está à volta, que é o resto deste artigo.\nNada em texto simples a entrar: não há interruptor A primeira regra da casa é que o servidor recusa correio que chegue às claras. No Exchange Online não há forma de exigir isso a todos os remetentes. O TLS pode ser exigido, mas só num conector de parceiro, limitado a domínios ou intervalos de IP nomeados, e o parâmetro «applies only to Partner type connectors».5 Para todos os outros, a predefinição é oportunista.6 Podes exigir TLS aos teus parceiros nomeados. Não o podes exigir à internet em geral, que é o conjunto de remetentes de que trata a regra. Não há documentação de nenhum controlo para exigir TLS de entrada em todo o inquilino.\nDescartar domínios remetentes desconhecidos: nada documentado A montagem com Postfix recusa correio cujo domínio remetente não existe, no MAIL FROM, antes do corpo. Fui procurar o equivalente no Exchange Online pela documentação de anti-spam, de autenticação e de anti-phishing, e não há nenhum. O mais parecido é a autenticação composta, e a Microsoft é explícita: «a composite authentication failure doesn\u0026rsquo;t directly result in a message being blocked».7 Por isso vou dizê-lo com cuidado: a Microsoft não documenta nenhum controlo que descarte correio de um domínio remetente inexistente. Se acontece alguma coisa não documentada na filtragem, não o consigo ver de fora, e tu também não, que é precisamente a questão.\nRejeitar falhas de SPF e DKIM: não, e não Esta é a que devia fazer um administrador parar a meio do passo. A regra da casa é rejeitar uma mensagem que falhe o SPF de forma rígida, ou cuja assinatura DKIM esteja presente e não se verifique. O Exchange Online não faz nenhuma das duas à porta.\nPara o SPF há uma definição, enterrada no filtro de spam avançado. Está «Off» por omissão, e quando ligada não rejeita a mensagem: marca o correio de um remetente não listado «as high confidence spam».8 Lê isso duas vezes. O mais forte que o Exchange Online faz contra alguém que falsifica um domínio cujo SPF diz -all é arquivá-lo no Lixo, e mesmo isso vem desligado de origem. Para o DKIM não há nada: nenhuma definição rejeita uma mensagem só porque a assinatura não se verificou. Uma assinatura falhada entra no DMARC e na pontuação composta, e fica por aí.\nA rejeição acontece num caso: quando o domínio do remetente publica DMARC p=reject, o Exchange Online respeita-o por omissão e recusa no momento do SMTP com 550 5.7.1.9 Bom, e ligado por omissão, mas depende inteiramente de o remetente ter feito a coisa certa. Os controlos que as outras montagens usaram para a tua própria proteção de entrada, rejeitar por falha de SPF e rejeitar por assinatura partida, não estão lá para ligar.\nIPv6: dois anos depois, o NCSC não é alcançável por lá O IPv6 é obrigatório nesta série. O Exchange Online suporta-o à entrada, por domínio aceite, depois de uma adesão, e sujeito a a Microsoft excluir automaticamente «a small percentage of our customers».10 Essa implementação foi anunciada em outubro de 2024 como demorando de três a seis meses. Por isso li o registo AAAA do anfitrião de correio de vinte e duas organizações do Reino Unido que usam o Microsoft 365. Nove, dois anos depois, não têm nenhum.\nSem IPv6 no MX Com IPv6 hmrc.gov.uk ons.gov.uk ncsc.gov.uk met.police.uk nhs.net cam.ac.uk, ucl.ac.uk, kcl.ac.uk lloydsbank.com jisc.ac.uk, ja.net mod.uk, justice.gov.uk ofcom.org.uk ico.org.uk gov.wales vodafone.co.uk, bt.com sheffield.gov.uk, birmingham.gov.uk A caixa de correio do próprio National Cyber Security Centre não é alcançável por IPv6, nem a do HMRC, a do serviço de correio do NHS, a do Ministry of Defence, a do Information Commissioner ou a do Lloyds Bank.4 Se cada um foi excluído pela Microsoft ou nunca aderiu não se consegue saber pelo DNS. O resultado é o mesmo, e as vinte e duas estão no anfitrião de correio antigo que, como vamos ver, não pode ser assinado.\nDNSSEC: não previsto para o anfitrião que de facto usas É aqui que a documentação e o DNS deixam de concordar, e é a conclusão mais afiada do artigo. O DANE de entrada precisa de DNSSEC, e o DNSSEC precisa de que o anfitrião de correio esteja numa zona assinada. Todos os inquilinos normais do Exchange Online têm o MX apontado para um anfitrião debaixo de mail.protection.outlook.com. Verifiquei se essa zona está assinada, e está comprovadamente não assinada:\n$ dig @1.1.1.1 +dnssec DS protection.outlook.com ;; flags: qr rd ra ad; ANSWER: 0 protection.outlook.com. 60 IN NSEC \\000.protection.outlook.com. NS RRSIG NSEC O anfitrião que todos usam não pode ser assinado; o que pode, ninguém o adotou ONDE ESTÃO TODOS OS INQUILINOS O NOVO ANFITRIÃO, SE MIGRARES *.mail.protection.outlook.com Zona não assinada NSEC prova: não há DS Aqui o DANE não funciona Nenhum registo TLSA a publicar Microsoft: sem planos de assinar *.mx.microsoft Zona assinada com DNSSEC DS presente, a cadeia valida TLSA 3 1 1, o DANE funciona Adesão, mudança manual de MX Nenhum inquilino britânico mudou Uma declaração assinada de que a delegação não está assinada. Quase todos os inquilinos estão à esquerda A zona-mãe está assinada, e devolve um registo NSEC autenticado que prova que não há DS para protection.outlook.com. É uma declaração assinada de que a delegação não está assinada. Portanto, todos os MX *.mail.protection.outlook.com, ou seja, quase todos os inquilinos do Microsoft 365 à face da terra, estão numa zona não assinada e não podem fazer DANE.\nA infraestrutura nova, assinada, vive debaixo de outro nome, mx.microsoft, e mudar para lá é uma alteração manual, por adesão. Quantos mudaram? De cerca de trinta e cinco domínios do Reino Unido que amostrei, nem um estava lá. Os inquilinos que encontrei no anfitrião assinado eram todos neerlandeses. E o próprio artigo da Microsoft de abril de 2026 diz que o plano não é corrigir o anfitrião que toda a gente usa:\nCurrently, there are no plans to enable DNSSEC on the mail flow domain mail.protection.outlook.com.2\nPortanto: o DNSSEC e o DANE estão disponíveis num anfitrião novo, se aderires e migrares, e o anfitrião onde está de facto cada inquilino existente não vai, segundo a própria Microsoft, ser assinado. A capacidade foi lançada. A predefinição não mexeu, e não vai mexer.\nOs dois maiores domínios da própria Microsoft mostram a divisão, e um deles está pior do que os inquilinos a quem dá lições:\nmicrosoft.com outlook.com Anfitrião de correio mail.protection.outlook.com olc.protection.outlook.com Zona assinada não não Política DMARC p=reject p=none MTA-STS enforce enforce IPv6 no MX sim não O outlook.com, o serviço de correio para consumidores, publica DMARC p=none: pede ao mundo que verifique o seu correio e depois não faça nada perante uma falha, que é a definição a que o artigo principal chama um encolher de ombros.4 O domínio corporativo da Microsoft faz melhor. Nenhum dos anfitriões está assinado.\nA documentação discute consigo própria Quando a documentação de um fornecedor se contradiz sobre um controlo de segurança, isso não é picuinhice. É um cliente a ouvir duas coisas incompatíveis sobre algo que decide se o seu correio está seguro, e eu presto-lhe atenção como faria com qualquer fornecedor pago para acertar. Três exemplos, todos de páginas publicadas pela Microsoft, todas no ar a 22 de outubro de 2026.\nO quê Uma página diz Outra diz Qualificador all do SPF -all falha rígida recomendado falha suave recomendada MX com wildcard no MTA-STS publicar mx: *.mail.protection.outlook.com wildcards «must not be used» DNSSEC no anfitrião principal a promover DANE e DNSSEC «no plans to enable DNSSEC on mail.protection.outlook.com» A página do SPF recomenda -all, «hard fail».11 O artigo sobre o Direct Send recomenda «a Soft Fail SPF configuration».12 Ambos estão em vigor, e um cliente que siga um leva um raspanete do outro. No MTA-STS, a página de entrada diz a um inquilino para publicar mx: *.mail.protection.outlook.com, diz na mesma página que «wildcards or \u0026lsquo;*\u0026rsquo; must not be used as the MX prefix in all MTA-STS scenarios»,1 e depois imprime um exemplo que usa exatamente esse wildcard. Não estou a pedir à Microsoft que invente nada. Estou a perguntar porque é que a página que diz a um cliente como proteger o seu fluxo de correio não consegue concordar consigo própria sobre a única linha que faz a proteção.\nDepois, o buraco do Direct Send, que é a regra da identidade, a regra seis, a falhar à porta da frente.\nUma porta verifica quem és; a outra não SUBMISSÃO AUTENTICADA DIRECT SEND SMTP AUTH, porta 587 Exige login Send As é imposto Remetente errado é recusado: 5.7.60 … send as this sender A porta que te verifica Nenhuma autenticação Ligado por omissão Reject Direct Send é por adesão E só verifica o envelope, nunca o From visível A porta que não verifica A submissão autenticada recusa um remetente falsificado. A outra entrada não pede nada Há uma forma de enviar correio para dentro de um inquilino como um dos seus próprios utilizadores sem autenticação nenhuma, porque «does not require any form of authentication»,12 e está ligada por omissão. A definição para a desligar, RejectDirectSend, vem desligada por omissão, verifica só o remetente do envelope e não o From: visível, e dezoito meses depois continua com «no fixed date for General Availability».12 Uma plataforma paga lançou uma forma não autenticada de falsificar o próprio domínio de um inquilino, deixou-a ligada por omissão, e a correção é um interruptor por adesão sem data de lançamento e com uma falha naquilo que verifica. É esse o registo que guardo para um fornecedor que vem com a conversa de que isto é difícil. Não é difícil. Como tal, não vou fingir que é. É uma predefinição que foi mal posta e assim ficou.\nDá para montar isto bem aqui? Na maior parte, não Então aqui vai o balanço honesto, e não é que o Microsoft 365 seja mau correio. Entrega de forma fiável, a segurança de saída é genuinamente boa, e para uma organização sem conhecimentos de correio é mais seguro do que o servidor que, de outra forma, teria configurado mal. Tudo verdade, e tudo ao lado da questão que esta série está a levantar.\nA questão é o controlo, e nos controlos que mais importam para as ameaças do artigo principal, o Exchange Online não to dá. Não podes exigir TLS de entrada à internet, rejeitar uma falha rígida de SPF, rejeitar uma assinatura falsificada, ou descartar correio de um domínio que não existe. A única proteção de transporte infalsificável, DANE com DNSSEC, está desligada no anfitrião em que estás e não está previsto que lá chegue. E o buraco não autenticado na porta da frente está ligado por omissão, sem data para o fechar.\nÉ isso que quer dizer a edição Fisher-Price. Não que seja para crianças, mas que te tiraram as ferramentas afiadas, te deram as arredondadas, e te disseram que é para teu bem. O que, para muitas casas, é verdade. Para muitas organizações é genuinamente verdade. Para quem leu até aqui e percebeu para que serviam as ferramentas afiadas, é uma plataforma que decidiu, em teu nome, em quais das tuas definições de segurança podes mexer. As que mais querias estão atrás do vidro.\nPagas por ela de qualquer maneira. O mínimo que podes fazer é saber quais destas regras ela decidiu, sem dizer nada, que não podes manter.\nMicrosoft Learn — Enhance mail flow with MTA-STS — validação MTA-STS de saída automática; também que «MTA-STS policy files aren\u0026rsquo;t something that Exchange Online can host», e as orientações contraditórias sobre wildcards.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nMicrosoft Tech Community — Modernizing DNS security for Exchange Online mail flow (23 de abril de 2026) — os modos DANE/MTA-STS por conector, e «Currently, there are no plans to enable DNSSEC on the mail flow domain mail.protection.outlook.com.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nMicrosoft Tech Community — General Availability of Inbound SMTP DANE with DNSSEC (28 de outubro de 2024).\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nDNS verificado a 22 de outubro de 2026 com dig @1.1.1.1 +dnssec contra um resolvedor que valida. protection.outlook.com devolve um NSEC autenticado que prova não haver DS (não assinada); mx.microsoft está assinada e os seus inquilinos publicam registos TLSA 3 1 1 que validam. Registos AAAA lidos no anfitrião MX *.mail.protection.outlook.com de vinte e duas organizações do Reino Unido; nove, incluindo ncsc.gov.uk, hmrc.gov.uk, nhs.net e mod.uk, não têm nenhum.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nMicrosoft Learn — New-InboundConnector — o parâmetro RequireTLS «applies only to Partner type connectors», limitado por SenderDomains ou pelo IP do remetente.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nMicrosoft Learn — Exchange Online uses TLS to secure email connections — «By default, Exchange Online always uses opportunistic TLS», e envia sem cifra se o destinatário não o oferecer.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nMicrosoft Learn — Email authentication in EOP — «a composite authentication failure doesn\u0026rsquo;t directly result in a message being blocked.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nMicrosoft Learn — Advanced Spam Filter settings — a definição «SPF record: hard fail» está «Off» por omissão e marca o correio correspondente como spam de alta confiança em vez de o rejeitar.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nMicrosoft Learn — Configure DMARC to validate the From address — com Honor DMARC ligado por omissão, uma política de remetente p=reject é «Rejected during SMTP (550 5.7.1)».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nMicrosoft Tech Community — IPv6 updates for Exchange Online (30 de outubro de 2024) — a implementação em três a seis meses, e a exclusão automática de «a small percentage of our customers».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nMicrosoft Learn — Set up SPF — «For Microsoft 365 domains, we recommend -all (hard fail).»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nMicrosoft Tech Community — Introducing more control over Direct Send (28 de abril de 2025, alterado a 20 de maio de 2026) — o Direct Send «does not require any form of authentication»; RejectDirectSend tem False por omissão, verifica só o remetente do envelope, e «There is no fixed date for General Availability»; e a recomendação de SPF com falha suave.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\n","permalink":"https://blogs.damiendye.uk/pt/email/microsoft-365-the-fisher-price-it-edition/","summary":"Quase nenhuma organização gere o seu próprio servidor de correio. Pagam à Microsoft, e o Exchange Online faz o trabalho. Por isso este artigo mede o Microsoft 365 exatamente pelas regras da casa que as montagens com Postfix e Stalwart cumpriram, usando apenas a própria documentação da Microsoft e DNS só de leitura contra inquilinos reais. Algumas regras cumpre-as bem: DANE e MTA-STS de saída estão ligados por omissão, e o DANE de entrada com DNSSEC chegou finalmente à disponibilidade geral. Várias não consegue cumprir de todo. Não há forma documentada de exigir TLS de entrada a todos os remetentes, nem de rejeitar uma falha rígida de SPF à porta, nada que rejeite só por uma assinatura DKIM falhada, e nenhum controlo que descarte correio de um domínio remetente que não existe. O DNSSEC não está explicitamente previsto para o anfitrião de correio que todos os inquilinos usam de facto. A implementação de IPv6 que devia levar seis meses deixou a caixa de correio do próprio NCSC inalcançável por IPv6 dois anos depois. E a documentação contradiz-se sobre wildcards, sobre SPF e sobre DNSSEC. Esta é a plataforma onde corre a maior parte do correio do país, e isto é o que ela te deixa e não te deixa fazer.","title":"Microsoft 365: a edição Fisher-Price da informática"},{"content":"A configuração Postfix do artigo anterior são quatro pacotes ligados entre si, com um socket de milter, um socket SASL e um socketmap a mantê-los em sintonia. O Stalwart faz tudo num só binário. Tudo mesmo.\nQuatro pacotes ligados, frente a um só binário QUATRO PACOTES, LIGADOS ENTRE SI UM SÓ BINÁRIO Postfix 3.10 MTA, TLS, relay Dovecot 2.4 logins SASL Rspamd 3.12, Redis SPF, DKIM, DMARC postfix-tlspol 1.14 DANE, MTA-STS socket sasl milter socketmap Stalwart 0.16.27 SMTP de entrada e saída IMAP e JMAP SPF, DKIM, DMARC, ARC assinatura DKIM DANE e MTA-STS relatórios TLS o filtro de spam scripts Sieve o armazenamento do correio nada para ligar Quatro pacotes e os sockets entre eles, frente a um só processo que já contém tudo isso SMTP, IMAP e JMAP, o armazenamento do correio, SPF, DKIM, DMARC, ARC, assinatura DKIM, DANE, MTA-STS, relatórios TLS, um filtro de spam e um motor Sieve, num só processo que arrancas uma vez. Nenhum milter para ligar, nenhum daemon de políticas num socket, nenhum segundo pacote que tenha de concordar com o primeiro. Para cada regra desta série que no Postfix exigia uma ferramenta à parte, o Stalwart já traz a resposta lá dentro.\nÉ uma vantagem real, e este artigo não finge o contrário. Mas «já incluído» e «seguro por predefinição» são afirmações diferentes, e a distância entre elas é o artigo inteiro. Submeti o Stalwart 0.16.27 exatamente às regras da casa que a configuração Postfix cumpriu, no mesmo laboratório, e capturei cada resposta. As regras ficam todas ativas. Pô-las a funcionar é outra conversa.\nAs definições são uma base de dados, não um ficheiro Começa pela coisa que surpreende toda a gente, porque molda tudo o que vem depois. O Postfix configura-se no main.cf, um ficheiro de texto que podes ler, comparar com diff e copiar para o servidor seguinte. O Stalwart tem um ficheiro de configuração, e é isto, tudo:\n{\u0026#34;@type\u0026#34;:\u0026#34;RocksDb\u0026#34;,\u0026#34;path\u0026#34;:\u0026#34;/var/lib/stalwart/\u0026#34;} Isso indica a base de dados. Todas as outras definições, os listeners, a política de TLS, as regras de spam, os scripts Sieve, vivem dentro dessa base de dados, e alteras tudo pela API JMAP ou com o stalwart-cli, seguido de um reload:\nstalwart-cli apply --file house-policy.json stalwart-cli create Action/ReloadSettings Também há uma interface web.1 A configuração é estado num serviço em execução, não um ficheiro em disco, e isso corta para os dois lados. Ganhas uma API ao vivo e nenhum daemon para recarregar à mão. Perdes o que um ficheiro de texto te dá de borla: um diff, um comentário, um commit, uma cópia boa conhecida para voltar a implementar. Quem gere o Stalwart de forma declarativa acaba por pôr sob controlo de versões o ficheiro de plano que o apply consome, o que é o instinto certo, e também é exatamente a configuração em ficheiro que começaram por não ter.\nO que aceita tal como vem Antes de as regras entrarem, aqui está o Stalwart a fazer o que faz de origem. É a base justa, e não tranquiliza ninguém.\nTal como vem, o Stalwart… uma sessão em texto simples, sem STARTTLS aceita uma fatura assinada e adulterada aceita uma mensagem que falha o SPF aceita uma falsificação do seu próprio domínio aceita um domínio de remetente que não existe aceita entrega a um servidor só em texto simples envia às claras um relay aberto na porta 25 recusa um login com o remetente de envelope errado recusa um login a falsificar o cabeçalho From: aceita saída para um certificado inválido, na nova tentativa aceita Essas duas recusas são as únicas boas notícias da coluna, e um utilizador com sessão iniciada ainda podia falsificar o From: visível.\nNada disto é exclusivo do Stalwart. É o mesmo conjunto de predefinições permissivas com que quase todos os servidores de correio saem de fábrica, pela mesma razão com vinte anos, e é o argumento inteiro do artigo principal desta série: /pt/email/why-every-mail-setting-has-to-be-right/. Um servidor que faz tudo não é um servidor que faz tudo em segurança. Isso continua a ser contigo.\nQuatro sítios para pôr uma regra É aqui que o desenho de um só binário se torna mesmo diferente de trabalhar. No Postfix, quase todas as regras de entrada são uma linha smtpd_*_restrictions ou um milter. No Stalwart, o mesmo conjunto de regras vai parar a quatro mecanismos separados, e precisas dos quatro.\nUm binário, quatro sítios para configurar uma regra O MECANISMO O QUE IMPÕE, E A RESPOSTA Listener de rede NetworkListener A submissão na 587 usa TLS; o relay exige login. 503 5.5.1 You must authenticate first. Expressão da fase MAIL MtaStageMail Sem TLS, remetente desconhecido, ou alheio ao login. 550 5.7.1 Sender address not allowed. Etiquetas de spam, em reject SpamTag Falha dura de SPF, DMARC reject, anfitrião que não resolve. 550 5.7.1 … excessive spam score. Script Sieve de sistema SieveSystemScript O DKIM tem de verificar; o From tem de ser o login. 503 5.5.3 … does not verify / send as your own. Um só binário, mas uma regra pode ser uma definição do listener, uma expressão, uma etiqueta de spam ou um script Sieve Uma linguagem de expressões, um mapa de etiquetas para ações e um script Sieve são três sintaxes diferentes, e isto antes das definições dos listeners. Um binário, quatro coisas para aprender. Mas com a política aplicada, as capturas batem regra a regra com a configuração Postfix:\nRegra Resposta do Stalwart Nada de texto simples à entrada 550 5.7.1 Sender address not allowed. Relay na porta 25 550 5.1.2 Relay not allowed. Relay na 587 sem login 503 5.5.1 You must authenticate first. Login a enviar como outro remetente de envelope 501 5.5.4 You are not allowed to send from this address. Login a falsificar o cabeçalho From: 503 5.5.3 You may only send as your own address Uma mensagem assinada, intacta e alinhada aceita Uma mensagem assinada e adulterada 503 5.5.3 DKIM signature does not verify Uma falha dura de SPF 550 5.7.1 … excessive spam score. Cada resposta vem do servidor do laboratório em execução, por IPv4 e por IPv6. As regras aguentam. Agora os três sítios onde chegar lá me ensinou alguma coisa.\nA falha de DKIM precisa de um script Sieve, não da definição óbvia O Stalwart tem um resultado DKIM incluído e uma etiqueta de spam para uma assinatura falhada, DKIM_REJECT, e o óbvio é rejeitar com base nela. Não apanha o caso que importa. Quando uma mensagem assinada tem o corpo alterado pelo caminho, que é o caso da fraude com faturas a que a série inteira está sempre a voltar, o verificador DKIM do Stalwart reporta o resultado como neutral, não fail. Lendo o código-fonte do mail-auth, uma discrepância no hash do corpo cai no balde neutral, por isso a etiqueta de rejeição nunca dispara e a mensagem adulterada é entregue.2\nPor isso a regra DKIM passa a ser um script Sieve, que olha diretamente para o resultado da verificação e recusa tudo o que não seja uma aprovação limpa ou uma verdadeira ausência de assinatura:\nif anyof (string :is \u0026#34;${env.dkim.result}\u0026#34; \u0026#34;neutral\u0026#34;, string :is \u0026#34;${env.dkim.result}\u0026#34; \u0026#34;fail\u0026#34;, string :is \u0026#34;${env.dkim.result}\u0026#34; \u0026#34;permerror\u0026#34;) { ereject \u0026#34;DKIM signature does not verify: the message was changed or forged\u0026#34;; stop; } O correio sem assinatura deixa o resultado vazio e fica em paz, porque não estar assinado não é uma falha de DKIM; disso trata o DMARC em p=reject. Com o script no sítio, a fatura adulterada é recusada no DATA:\nB REFUSED (503, b\u0026#39;5.5.3 DKIM signature does not verify: the message was changed or forged\u0026#39;) O mesmo script leva a regra do cabeçalho From:, já que comparar o cabeçalho com o login também é trabalho para o Sieve. Duas regras, um script, e nenhuma delas é a definição a que deitarias a mão primeiro.\nA verificação de remetentes desconhecidos é mais fraca do que parece No Postfix, um domínio de remetente que não existe é recusado no MAIL FROM, antes de ser enviado um único byte do corpo, com um 550 5.1.8 Domain not found limpo. O Stalwart chega à mesma recusa, mas mais tarde e de forma mais frágil.\nA verificação é uma etiqueta de spam, FROMHOST_NORES_A_OR_MX, que dispara quando o domínio do remetente não resolve para nenhum registo A nem MX. A recusa chega, portanto, depois de a mensagem inteira ter sido recebida, como uma rejeição por pontuação de spam:\n550 5.7.1 Message rejected due to excessive spam score. É a resposta certa por um caminho mais longo, e há duas coisas nela que importam. Primeiro, lendo o código-fonte do filtro de spam, a verificação só corre depois de o endereço do remetente passar num teste de «é válido», em que válido quer dizer que o domínio está debaixo de um sufixo público conhecido, por isso um domínio de topo inventado salta por completo a verificação de A e MX. Segundo, e é esta que morde: a consulta trata um erro de DNS de forma diferente de uma ausência no DNS. Um domínio que devolve SERVFAIL, em vez de um «esse nome não existe» limpo, não recebe etiqueta nenhuma, e a mensagem é aceite. O Postfix adia-a. O Stalwart deixa-a entrar. É uma falha em aberto exatamente no caso ambíguo para o qual existe um controlo de segurança, e o único sítio nesta configuração onde o Stalwart é mensuravelmente menos seguro do que o equivalente Postfix.\nO IPv6 é um recurso até o mudares O IPv6 é obrigatório nesta série, nos dois sentidos. O Stalwart escuta nas duas famílias sem complicações. O senão está na saída: a rota de origem resolve primeiro IPv4, por isso um destino dual-stack é contactado por IPv4 e o IPv6 é sempre só um recurso. No mesmo laboratório, o Postfix usou IPv6. O Stalwart usou v4 até a rota ser mudada para preferir v6:\n\u0026#34;ipLookupStrategy\u0026#34;: \u0026#34;v6ThenV4\u0026#34; Depois disso, a entrega a um servidor dual-stack segue por IPv6, confirmado nos registos a chegar ao endereço v6. É uma definição. Também não é a predefinição, e perante a obrigatoriedade do IPv6 a predefinição está ao contrário.\nO MTA-STS impõe, e devolve cedo demais O Stalwart publica a sua própria política MTA-STS, o que é um pormenor mesmo simpático, sem precisar de um servidor web à parte como a configuração Postfix precisa do nginx. Mas sai em modo testing, que não impõe nada, e é servida com o certificado do anfitrião de correio em vez de um que corresponda ao nome do anfitrião da política, por isso uma obtenção com verificação falha até corrigires as duas coisas. Põe o modo em enforce e carrega um certificado para o anfitrião mta-sts, e a política passa a ser servida e verificada como deve ser:\nmta-sts.policy-fetch strict = true mta-sts.authorized O lado do envio também impõe, e recusa um destino cuja política não inclua o seu MX. Mas recusa da forma errada: uma discrepância é uma falha permanente logo à primeira tentativa, e a mensagem é devolvida. O RFC 8461 é explícito em que não deve ser assim:\nIn all cases, MTAs SHOULD treat such failures as transient errors and retry delivery later.3\nO Stalwart volta de facto a obter a política antes de falhar, por isso a regra dura da norma, de procurar primeiro uma política nova, é cumprida. O SHOULD mais brando, de tratar a falha como temporária e tentar outra vez, não é. O custo é uma mensagem devolvida onde um adiamento teria sido mais simpático, numa falha que normalmente é passageira.\nTLS de saída: obrigatório, e depois mais forte onde puder ser Tal como na configuração Postfix, o lado de saída faz do encrypt o mínimo e sobe cada destino acima dele quando o destino o merece. O MtaTlsStrategy do Stalwart define um nível para cada mecanismo, e a política da casa é:\nMecanismo Definição da casa Efeito STARTTLS require nunca enviar às claras, para ninguém DANE optional autenticar onde houver um TLSA assinado publicado MTA-STS optional respeitar uma política em enforce onde houver uma publicada Certificados inválidos desligado um certificado que não verifica adia o correio O require no STARTTLS é o mínimo que falta à predefinição de origem: tal como vinha, a estratégia de saída recuava para aceitar um certificado inválido na nova tentativa. Com o mínimo definido, um destino que não oferece TLS utilizável é adiado, não despromovido.\nO DANE está lá, mas o laboratório não o conseguiu provar O controlo de saída mais forte, o DANE, vem incluído como o resto, e o seu TLS de saída falha fechado como deve: apontado a um servidor cujo certificado não conseguia verificar, o Stalwart recusou e reteve a mensagem em vez de a enviar às claras. O que o laboratório isolado não conseguiu foi mostrar o DANE a funcionar, e isso é uma limitação real que vale a pena registar.\nO Stalwart só liga o DANE quando consegue validar ele próprio a chave da raiz do DNS, através de uma ligação ao resolver que não seja UDP simples. Uma raiz privada de laboratório não consegue oferecer isso, por isso ele desativa o DANE e escreve um aviso num caminho que por predefinição não existe. Fácil de não ver. Pior, para uma zona assinada passa a reportar os registos TLSA como «not DNSSEC signed» quando a verdadeira causa é o seu próprio resolver. A mensagem culpa a coisa errada.\nO Stalwart traz um diagnóstico de entrega só de leitura precisamente para isto: um endpoint que percorre todo o caminho de saída e nunca envia uma mensagem. Vai transmitindo cada passo à medida que avança:\nGET /api/live/delivery/\u0026lt;domain\u0026gt;?timeout=20 Passo O que reporta Consulta MX os servidores de correio, e se a consulta validou MTA-STS a política obtida, e se o MX está autorizado TLS-RPT o endereço de relatórios que o domínio publica TLSA os registos DANE, e se estão assinados com DNSSEC Connect, EHLO, STARTTLS a sessão até ao TLS, com a cifra DANE verify, QUIT a correspondência do certificado, depois um fecho limpo Nada de MAIL FROM, nada de RCPT TO, nada entregue. É a verificação a correr contra um domínio DANE real para ver o caso positivo que este laboratório não consegue mostrar.\nProvar o caso positivo do DANE significa correr isso contra domínios reais que publiquem DANE, a partir de uma instância ligada à internet. É o único teste desta série que um laboratório isolado não consegue fazer, e o limite honesto do que um laboratório te pode mostrar.\nEntão, já incluído é melhor? Eis a coisa à volta da qual o artigo inteiro tem andado. Já incluído é menos para instalar, menos para ligar, menos para manter em sintonia entre versões, e há valor real num único processo onde o resultado do SPF simplesmente está lá para a verificação DKIM e os dois estão lá para o script Sieve, sem nenhum socket entre eles. Para uma instalação pequena que quer uma só coisa para correr e atualizar, é uma resposta mesmo boa, e nada do que está acima é razão para não a usar.\nMas todas as partes difíceis desta série sobreviveram à mudança para um só binário. As predefinições continuam a sair permissivas. As regras continuam a ter de ser encontradas e ligadas, em quatro mecanismos em vez de um. Rejeitar falhas de DKIM continua a precisar de um script escrito à mão. A verificação de remetentes desconhecidos continua a falhar em aberto perante um erro de DNS. O MTA-STS continua a devolver quando devia adiar. Nada disso ficou mais fácil por o código viver num só processo. São propriedades do problema, não da embalagem.\nPõe as duas configurações lado a lado e o padrão é claro:\nConfiguração Postfix Stalwart Peças a correr 4 pacotes, 3 sockets 1 binário Configuração main.cf, um ficheiro de texto uma base de dados, por uma API SPF, DKIM, DMARC milter Rspamd incluído DANE, MTA-STS à saída postfix-tlspol incluído Publicação MTA-STS nginx à parte incluído Rejeição de falhas DKIM ação forçada do Rspamd um script Sieve (a etiqueta incluída não apanha) Remetente desconhecido 550 no MAIL FROM 550 depois do DATA, falha em aberto com SERVFAIL Discrepância MTA-STS à saída adia, tenta outra vez devolve à primeira tentativa IPv6 à saída usou-o por predefinição recurso até ser mudado para v6 primeiro Predefinições de origem permissivas permissivas Que é a conclusão honesta, e a mesma a que o artigo do Postfix chegou por outro caminho. O que torna o correio seguro não é o número de binários. É alguém decidir que cada regra importa, descobrir onde ela vive, ligá-la, e enviar a mensagem que ela devia travar para confirmar que travou. O Stalwart deixa-te fazer tudo isso, num só processo, por uma API arrumada. Também vai, se o deixares sozinho, aceitar uma sessão em texto simples, um remetente falsificado e uma fatura alterada, exatamente como tudo o resto. O binário é um. O trabalho não.\nDocumentação do Stalwart — configuração pela API de gestão JMAP e pelo stalwart-cli, com as definições guardadas no armazenamento de dados e não num ficheiro. Versão 0.16.27 usada aqui.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nmail-auth, a biblioteca que o Stalwart usa para DKIM — o seu verificador DKIM reporta uma discrepância no hash do corpo como um resultado neutral e não como uma falha, e é por isso que rejeitar só com base na etiqueta de falha não apanha um corpo adulterado.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 8461 §5 — SMTP MTA Strict Transport Security: perante uma falha na validação da política, «In all cases, MTAs SHOULD treat such failures as transient errors and retry delivery later», e uma mensagem «MUST NOT be permanently failed» antes de o remetente ter procurado uma política atualizada.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\n","permalink":"https://blogs.damiendye.uk/pt/email/stalwart-dane-and-the-rest-built-in/","summary":"O Stalwart é um servidor de correio inteiro num só binário: SMTP, IMAP e JMAP, SPF, DKIM, DMARC, ARC, DANE, MTA-STS, relatórios TLS, um filtro de spam e o armazenamento do correio, sem milter para ligar e sem daemon de políticas a correr ao lado. Este artigo submete-o às mesmas regras da casa da configuração Postfix e captura cada resposta no laboratório. As regras ficam todas ativas, mas a história está no detalhe: as definições vivem numa base de dados e não num ficheiro, as predefinições de origem aceitam texto simples e uma fatura adulterada, cada regra vai parar a um de quatro mecanismos de configuração diferentes, rejeitar falhas de DKIM exige um script Sieve porque a verificação incluída reporta um corpo adulterado como neutral, a verificação de remetentes desconhecidos só corre depois de a mensagem ter chegado toda e falha em aberto perante um erro de DNS, e o envio com MTA-STS devolve a mensagem logo à primeira tentativa quando a norma diz que deve adiar. Já incluído é, de facto, menos coisas para ligar. Não é o mesmo que seguro por predefinição.","title":"Stalwart: DANE e o resto, já incluído"},{"content":"Uma palavra-passe para a casa toda Uma palavra-passe de WiFi é partilhada por tudo o que alguma vez se ligou. Os portáteis, os telemóveis, a televisão, a câmara da campainha com um firmware que ninguém atualizou desde que foi montada, o convidado a quem foi dada no Natal, e todos os telemóveis que esse convidado teve desde então. Estão todos na mesma rede. Cada um deles pode falar com todos os outros.\nDividir isso da maneira habitual quer dizer mais SSIDs. Um para o pessoal, um para IoT, um para convidados, cada um com a sua palavra-passe e a sua VLAN. Funciona. Depois uma palavra-passe é divulgada, e andas a correr todos os dispositivos desse SSID com uma nova, que é precisamente o trabalho que nunca chega a ser feito.\nUma porta com fios livre é pior. Nem palavra-passe tem. Ligas o cabo e ficas na VLAN que estiver definida na porta.\nO 802.1X com certificados vira isso ao contrário. Cada dispositivo leva o seu próprio certificado e prova o que é antes de passar um único pacote, e depois é a rede, não o dispositivo nem quem distribuiu a palavra-passe, que decide para onde ele vai. Um SSID. Todas as portas do switch iguais. O portátil cai na VLAN do pessoal, a câmara na VLAN de IoT, e um dispositivo a quem nunca emitiste certificado não cai em lado nenhum.\nUma palavra-passe partilhada Um SSID por VLAN 802.1X, um SSID Quem entra Quem tiver a palavra-passe Quem tiver a palavra-passe desse SSID Só um dispositivo com um certificado emitido por ti Que VLAN Todos na mesma O SSID a que se ligaram O que o servidor RADIUS disser para esse dispositivo Bloquear um dispositivo perdido Mudar a palavra-passe em todo o lado Mudar a palavra-passe desse SSID em todo o lado Revogar um certificado Portas com fios Abertas Abertas A mesma verificação que o WiFi SSIDs a emitir 1 Um por VLAN 1 É isso que este artigo constrói. O step-ca emite os certificados e escreve neles o papel de cada dispositivo, o FreeRADIUS verifica cada certificado contra a CA e a sua lista de revogação, lê dele o papel e responde com uma VLAN, e o switch ou o ponto de acesso põe o dispositivo onde lhe foi dito. O equipamento é Netgear ou TP-Link, a falar com o FreeRADIUS sobre TLS onde consegue. Correu tudo aqui antes de se aproximar de equipamento real: a CA e o servidor RADIUS em contentores, e a porta do switch e a rede WiFi em simuladores.\nQuatro partes, e só uma delas decide O 802.1X dá nome a três papéis1. O suplicante é o dispositivo que pede para entrar. O autenticador é a porta do switch ou o ponto de acesso. O servidor de autenticação é o RADIUS. Junta a CA que emitiu os certificados e é o sistema todo.\nQuem faz o quê num início de sessão 802.1X Dispositivo suplicante Switch ou AP autenticador retransmite, não decide FreeRADIUS escolhe a VLAN step-ca certificados e CRL EAP-TLS a porta abre RadSec VLAN 10 CRL, HTTPS certificado, emitido uma vez O switch ou o AP só retransmitem. O EAP viaja do dispositivo até ao FreeRADIUS dentro de EAPOL e depois dentro de RADIUS, e a resposta volta com a VLAN em três atributos. O step-ca nunca vê um início de sessão; assinou os certificados antes e publica a lista de revogação. O switch e o AP não decidem nada. Retransmitem. Até o dispositivo se autenticar, a porta deixa passar EAP e mais nada. O autenticador embrulha esse EAP em RADIUS, envia-o para o servidor e age conforme a resposta. Um Access-Accept abre a porta. Se o Accept trouxer atributos de túnel, a porta ou o cliente WiFi vai para a VLAN que eles indicam. O RFC 3580 fixa quais são esses três atributos, emprestados dos atributos de túnel do RADIUS23:\nAtributo Valor Significado Tunnel-Type VLAN (13) Este túnel é uma VLAN Tunnel-Medium-Type IEEE-802 (6) Numa rede 802 Tunnel-Private-Group-Id \u0026quot;10\u0026quot; O ID da VLAN, enviado como texto Por isso a marca do switch importa menos do que se pensaria. A decisão vive numa máquina que és tu que geres. Todos os fabricantes que fazem VLAN dinâmica leem os mesmos três atributos. O RFC é claro que o ID da VLAN é «encoded as a string»3, e é por isso que está entre aspas.\nPorquê certificados, e porquê só TLS 1.3 Há vários métodos EAP, e a maioria dos que se usam é uma palavra-passe embrulhada em TLS. Isso funciona para uma pessoa. Para uma câmara não serve de nada, porque não há ninguém para escrever coisa nenhuma, e uma palavra-passe partilhada por mil câmaras é outra vez a palavra-passe do WiFi.\nMétodo O que prova o dispositivo Se o dispositivo confiar no servidor errado Bloquear um dispositivo EAP-TLS O seu próprio certificado e chave privada O servidor fica a conhecer o certificado, que é público de qualquer forma Revogar o certificado PEAP com MS-CHAPv2 Um nome de utilizador e uma palavra-passe O servidor captura um handshake que pode ser quebrado até à palavra-passe Mudar a palavra-passe EAP-TTLS com PAP Um nome de utilizador e uma palavra-passe O servidor recebe a própria palavra-passe Mudar a palavra-passe Essa coluna do meio é a razão para o EAP-TLS. O MS-CHAPv2 está quebrado há mais de uma década. O próprio aviso da Microsoft diz que «an attacker who obtained the MS-CHAP v2 authentication traffic could then use the exploit code to decrypt a user\u0026rsquo;s credentials»4. Embrulhá-lo em PEAP só o protege se cada dispositivo verificar com quem está a falar, e, como mostra a secção dos dispositivos, muitos não verificam. Com EAP-TLS não há segredo nenhum na troca para roubar. A chave privada nunca sai do dispositivo5. Nada para quebrar.\nO TLS 1.2 põe o certificado no ar O EAP-TLS sobre TLS 1.2 tem uma falha fácil de não ver. O dispositivo envia o certificado antes de a cifra começar. Às claras. Qualquer pessoa a escutar o WiFi o pode ler, e, como este artigo escreve o papel do dispositivo no certificado, pode ler isso também.\nMedido aqui, procurando o nome do dispositivo e o seu papel em todas as mensagens EAP que o dispositivo enviou:\nExecução TLS Nome do dispositivo às claras Papel OU=staff às claras Identidade laptop1 1.2 Sim Sim Identidade laptop1 1.3 Sim, na identidade Não Identidade anonymous 1.3 Não Não O TLS 1.3 resolve isto. O RFC 9190 diz que com TLS 1.3 «the use of privacy is mandatory and does not cause any additional round trips»6. A identidade exterior continua a ir às claras, por isso também não deve dar o nome do dispositivo. O RFC recomenda uma identidade anónima6. Aqui nada precisa de uma verdadeira, porque o FreeRADIUS lê quem é o dispositivo a partir do certificado. Com anonymous do lado de fora, a última linha é o que um bisbilhoteiro apanha: nada de nada.\nPor isso esta montagem corre só com TLS 1.3. O FreeRADIUS está fixado nele nas duas pontas. Um dispositivo que não o fale não entra. Isso tem um custo, e está contado na secção dos dispositivos em vez de escondido. A própria configuração do FreeRADIUS ainda te diz para limitar a 1.2, em maiúsculas, porque «most EAP supplicants WILL NOT DO TLS 1.3 PROPERLY»7. Mérito a quem o tem: essa configuração é a documentação mais honesta deste artigo inteiro, e quase todas as armadilhas mais abaixo estão lá escritas em algum lado, se leres os comentários. Numa rede em que és tu que escolhes os dispositivos, isso é uma razão para escolher dispositivos melhores.\nPôr o papel no certificado A VLAN é decidida pelo que o dispositivo é, e o certificado é onde isso fica. O step-ca consegue escrevê-lo lá com um modelo, o mesmo mecanismo que o artigo dos certificados de cliente usa para o ponto de distribuição da CRL. Arrancar a própria CA está explicado em step-ca num contentor, e isto continua a partir daí com uma CA chamada Home Network CA.\nCada certificado de dispositivo leva o seu papel na unidade organizacional (OU) do seu sujeito. O modelo tira o papel do pedido e recusa tudo o que não esteja na lista8:\n{{- $roles := list \u0026#34;staff\u0026#34; \u0026#34;iot\u0026#34; \u0026#34;media\u0026#34; }} {{- if not (has .Insecure.User.role $roles) }} {{- fail \u0026#34;role must be one of staff, iot or media\u0026#34; }} {{- end }} { \u0026#34;subject\u0026#34;: { \u0026#34;commonName\u0026#34;: {{ toJson .Subject.CommonName }}, \u0026#34;organizationalUnit\u0026#34;: {{ toJson .Insecure.User.role }} }, \u0026#34;sans\u0026#34;: {{ toJson .SANs }}, \u0026#34;keyUsage\u0026#34;: [\u0026#34;digitalSignature\u0026#34;], \u0026#34;extKeyUsage\u0026#34;: [\u0026#34;clientAuth\u0026#34;], \u0026#34;crlDistributionPoints\u0026#34;: [\u0026#34;http://ca.home.example/1.0/crl\u0026#34;] } Dá-lhe um provisioner só seu, para que os dispositivos nunca saiam do admin de uso geral, com um ano como o certificado mais longo que aceita assinar:\nstep ca provisioner add network --type JWK --create \\ --x509-max-dur 8760h --x509-default-dur 24h \\ --x509-template templates/device.tpl O --x509-template copia o modelo para o ca.json em vez de apontar para o ficheiro, por isso editar o device.tpl depois não muda nada até voltares a correr step ca provisioner update network --x509-template templates/device.tpl. Depois emite o certificado de cada dispositivo com o seu papel:\nstep ca certificate laptop1 laptop1.crt laptop1.key \\ --provisioner network --not-after 8760h --set role=staff $ openssl x509 -in laptop1.crt -noout -subject -ext extendedKeyUsage subject=OU=staff, CN=laptop1 X509v3 Extended Key Usage: TLS Web Client Authentication Um papel em falta ou desconhecido não leva nada:\n$ step ca certificate norole norole.crt norole.key --provisioner network The request could not be completed: role must be one of staff, iot or media. O .Insecure.User chama-se inseguro porque é o que o requerente quiser enviar. Aqui isso não faz mal. O provisioner network tem uma palavra-passe, só tu a tens, e quem consegue assinar com ele já pode fazer o certificado que quiser, por isso um papel escrito por ele próprio não lhe dá nada a mais.\nO servidor RADIUS também precisa de um certificado, para que os dispositivos possam verificar com quem estão a falar. Vem do provisioner admin como qualquer outro certificado de servidor, e dura as 24 horas por omissão, renovado por step ca renew --daemon da forma que o artigo do step-ca faz para qualquer serviço que não saiba ACME. Os dispositivos verificam o nome e a CA, não o número de série. Uma renovação diária não muda nada para eles.\nCertificado Provisioner Validade Utilização alargada da chave Leva radius.home.example admin 24 horas, renovado diariamente Servidor e cliente O nome que os dispositivos verificam laptop1 network 1 ano Só cliente OU=staff cam1 network 1 ano Só cliente OU=iot tv1 network 1 ano Só cliente OU=media switch1, ap1 nas 1 ano Só cliente OU=nas, para RadSec; ver abaixo FreeRADIUS: decidir a VLAN FreeRADIUS 3.2.10, na imagem de contentor do próprio projeto. Três peças de configuração fazem o trabalho: o módulo EAP, uma política que escolhe a VLAN e uma lista de exceções.\nO módulo EAP Só EAP-TLS, só TLS 1.3, e a CRL verificada em cada início de sessão:\neap { default_eap_type = tls tls-config tls-common { certificate_file = ${certdir}/eaptls/radius.crt private_key_file = ${certdir}/eaptls/radius.key ca_path = ${certdir}/eaptls/ca ca_file = ${certdir}/eaptls/ca/root_ca.crt check_crl = yes ca_path_reload_interval = 300 tls_min_version = \u0026#34;1.3\u0026#34; tls_max_version = \u0026#34;1.3\u0026#34; } tls { tls = tls-common } } Ficheiro Contém radius.crt O certificado do servidor, seguido do intermédio do step-ca, tal como o step ca certificate o escreve radius.key A sua chave privada; como tudo aqui, legível pelo utilizador freerad, senão o FreeRADIUS não arranca ca/ A raiz, o intermédio e a CRL do intermédio, com hash feito por openssl rehash ca/ Essa linha do meio impediu o primeiro arranque aqui, embora não por causa da chave: Permission denied no certificado raiz, porque todos os ficheiros tinham saído da CA legíveis só pelo dono. O FreeRADIUS corre como freerad, por isso os três têm de ser legíveis por ele.\nO check_crl = yes verifica o certificado do dispositivo contra a CRL do intermédio. Não verifica o próprio intermédio, por isso, ao contrário do nginx no artigo dos certificados de cliente, o FreeRADIUS não precisa de CRL da raiz. O check_all_crl liga isso se o quiseres7. O ca_path_reload_interval importa mais do que parece, e tem uma secção só sua mais abaixo.\nA política Todos os certificados que esta CA alguma vez emitiu passariam a verificação TLS. Incluindo os dos servidores web que os obtiveram por ACME. Por isso a política deita fora tudo o que não foi feito para este trabalho: sem utilização de autenticação de cliente, ou sem papel, e é rejeitado.\nComo o FreeRADIUS escolhe a VLAN Handshake TLS 1.3, CRL Autenticação de cliente? Na lista de dispositivos? Papel no certificado? Sem papel: rejeitar Rejeitar Ganha a lista: cam1, VLAN 99 staff, 10 iot, 20 media, 30 sim não nenhum não sim A lista por dispositivo é consultada primeiro e ganha quando tem resposta. Senão, é o papel no certificado que escolhe a VLAN. Um certificado sem nenhum dos dois é recusado, e é isso que impede os certificados dos servidores web da CA de entrarem na rede. vlan_by_certificate { if (\u0026amp;TLS-Client-Cert-X509v3-Extended-Key-Usage-OID !~ /1\\.3\\.6\\.1\\.5\\.5\\.7\\.3\\.2/) { reject } device_vlan if (!\u0026amp;reply:Tunnel-Private-Group-Id) { if (\u0026amp;TLS-Client-Cert-Subject =~ /\\/OU=([^\\/]+)/) { switch \u0026#34;%{1}\u0026#34; { case \u0026#34;staff\u0026#34; { update reply { \u0026amp;Tunnel-Private-Group-Id := \u0026#34;10\u0026#34; } } case \u0026#34;iot\u0026#34; { update reply { \u0026amp;Tunnel-Private-Group-Id := \u0026#34;20\u0026#34; } } case \u0026#34;media\u0026#34; { update reply { \u0026amp;Tunnel-Private-Group-Id := \u0026#34;30\u0026#34; } } case { reject } } } else { reject } } update reply { \u0026amp;Tunnel-Type := VLAN \u0026amp;Tunnel-Medium-Type := IEEE-802 } } Isso vai para policy.d/vlan, e uma linha, vlan_by_certificate, vai para o topo da secção post-auth de sites-available/default. O post-auth é onde os detalhes do certificado estão disponíveis, depois de o handshake TLS terminar9.\nA lista de exceções O papel decide a maioria dos dispositivos. Não todos. A lista é para os poucos que não deve decidir: uma câmara que começou a portar-se de forma estranha e precisa de quarentena antes de perceberes porquê, ou um dispositivo emprestado por uma semana. É um módulo passwd a ler um ficheiro de duas colunas, com o nome comum do certificado como chave:\npasswd device_vlan { filename = ${modconfdir}/device_vlan/devices format = \u0026#34;*TLS-Client-Cert-Common-Name:=Tunnel-Private-Group-Id\u0026#34; delimiter = \u0026#34;,\u0026#34; } # certificate CN,VLAN cam1,99 O = à frente do atributo põe-no na resposta em vez de nos itens de verificação10. Mudar um dispositivo de sítio é uma linha num ficheiro de texto, sem certificado para reemitir e sem nada em que mexer no dispositivo.\nVLAN Papel O que lá vive 10 staff Portáteis e telemóveis em que confias 20 iot Câmaras, sensores, tudo o que liga para casa 30 media Televisões e leitores de streaming 99 Só pela lista Quarentena: internet no máximo, nada local Prová-lo antes de mexer num switch O eapol_test vem com o wpa_supplicant e faz de dispositivo e de switch ao mesmo tempo, a falar diretamente com o servidor RADIUS. Usa-o primeiro. Quando alguma coisa não funcionar mais tarde, vais saber para que metade olhar.\nnetwork={ key_mgmt=WPA-EAP eap=TLS phase1=\u0026#34;tls_disable_tlsv1_3=0\u0026#34; identity=\u0026#34;anonymous\u0026#34; ca_cert=\u0026#34;/etc/pki/home/root_ca.crt\u0026#34; domain_match=\u0026#34;radius.home.example\u0026#34; client_cert=\u0026#34;/etc/pki/home/laptop1.crt\u0026#34; private_key=\u0026#34;/etc/pki/home/laptop1.key\u0026#34; } eapol_test -c laptop1.conf -a 192.0.2.10 -s \u0026lt;shared secret\u0026gt; As respostas, tiradas do próprio registo de depuração do FreeRADIUS:\n(8) Sent Access-Accept (8) Tunnel-Private-Group-Id = \u0026#34;10\u0026#34; (8) Tunnel-Type = VLAN (8) Tunnel-Medium-Type = IEEE-802 Dispositivo Papel no certificado Na lista Resposta VLAN laptop1 staff Não Accept 10 cam1 iot 99 Accept 99 tv1 media Não Accept 30 laptop2 staff, revogado Não Reject, certificate revoked Nenhuma radius.home.example Nenhum Não Reject, sem papel Nenhuma laptop1 com o TLS 1.3 desligado staff Não Reject, protocol version Nenhuma Vale a pena conhecer essa última linha antes de entrar em produção. O wpa_supplicant 2.11 ainda vem com o TLS 1.3 desligado para EAP, descrito como «experimental - disabled by default»11. Esquece a linha phase1 e um portátil perfeitamente bom é recusado.\nUma porta de switch, simulada O eapol_test salta o switch. Para ver a metade do switch, o hostapd tem um driver com fios que transforma uma interface Linux numa porta 802.1X. Um cabo virtual liga-a a um wpa_supplicant a fazer de portátil, e aponta para o mesmo FreeRADIUS.\ninterface=port1 driver=wired ieee8021x=1 use_pae_group_addr=1 auth_server_addr=192.0.2.10 auth_server_port=1812 auth_server_shared_secret=\u0026lt;shared secret\u0026gt; O que a porta vê de um portátil bom e de um revogado:\nport1: CTRL-EVENT-EAP-SUCCESS2 4a:42:cf:cf:09:5a port1: AP-STA-CONNECTED 4a:42:cf:cf:09:5a port1: STA 4a:42:cf:cf:09:5a IEEE 802.1X: authorizing port port1: CTRL-EVENT-EAP-FAILURE2 de:d8:8c:88:6e:f2 port1: IEEE 802.1X: Force disconnection of de:d8:8c:88:6e:f2 after EAP-Failure in 10 ms Liga o tratamento de VLAN dinâmica e ela indica a VLAN que lhe foi dada, vlan=10 para o portátil e vlan=99 para a câmara em quarentena, e depois diz que could not add dynamic VLAN interface. É uma porta Linux a ser honesta: consegue abrir e fechar, mas não consegue mudar-se a si própria para uma VLAN. Um switch gerível faz essa parte em hardware, e é dessa metade que tratam as definições dos fabricantes mais abaixo.\nRevogação: a CRL que o FreeRADIUS ignora num HUP Um portátil perdido é o caso para o qual tudo isto existe. Revoga-o na CA. O provisioner admin assina um token de revogação para o número de série, o que funciona sem a chave do portátil, porque não vais ter o portátil:\nSERIAL=$(step certificate inspect laptop2.crt --format json | jq -r .serial_number) TOKEN=$(step ca token \u0026#34;$SERIAL\u0026#34; --revoke --provisioner admin) step ca revoke \u0026#34;$SERIAL\u0026#34; --token \u0026#34;$TOKEN\u0026#34; --reason \u0026#34;laptop lost\u0026#34; Certificate with Serial Number 306546036599704679037436836531698019860 has been revoked. O step-ca refaz a sua CRL de imediato quando o generateOnRevoke está ligado, configurado da forma que o artigo dos certificados de cliente mostra. Copia-a para o diretório ca/ do FreeRADIUS e o portátil fica de fora. Só que não fica. Voltou a entrar como se nada fosse.\nO que foi feito depois de a nova CRL chegar ao disco Portátil revogado Nada Continua a entrar kill -HUP Continua a entrar. O registo diz HUP - No files changed. Ignoring Esperar mais do que o ca_path_reload_interval Recusado, certificate revoked Reiniciar o FreeRADIUS Recusado, certificate revoked Um HUP recarrega ficheiros de configuração, e uma CRL no ca_path não é um deles, por isso o FreeRADIUS verifica a sua lista de ficheiros de configuração, não encontra nenhum alterado e continua com a CRL antiga em memória. O que a apanha é o ca_path_reload_interval. Está desligado na configuração por omissão. Define-o abaixo de 300 segundos e o FreeRADIUS passa-te por cima no arranque:\nca_path_reload_interval is set too low, reset it to 300 Portanto, 300. Uma revogação produz efeito até cinco minutos depois de a nova CRL chegar. Vai buscá-la com um temporizador, como o artigo dos certificados de cliente já faz para o nginx, mas para este diretório. Reinicia o FreeRADIUS se cinco minutos for demasiado para o dispositivo que acabaste de perder.\nA CRL também pode trancar toda a gente de uma vez. Nos dois sentidos, portanto. Ambos os casos foram testados com certificados bons:\nEstado da CRL O que o FreeRADIUS diz Quem entra Atual Nada Todos os dispositivos bons Em falta em ca/ error 3 : unable to get certificate CRL Ninguém Passada a data da próxima atualização error 12 : CRL has expired Ninguém A CRL do step-ca dura 24 horas por omissão. Se o temporizador que a vai buscar parar, todos os dispositivos da rede falham no dia seguinte. O allow_expired_crl existe para suavizar isso7. Não o uses. Uma rede que deixa entrar toda a gente porque uma lista ficou desatualizada deixou de verificar seja o que for, e como tal a solução é vigiar o temporizador, não desligar a verificação.\nO RADIUS continua a ser MD5 e um segredo partilhado Tudo até aqui protege a conversa entre o dispositivo e o FreeRADIUS. O EAP-TLS corre de ponta a ponta, e o switch ou o AP no meio não o consegue ler. O pacote RADIUS que o transporta é outra conversa.\nO RADIUS clássico é UDP com um segredo partilhado, e o segredo é usado através de MD5, o que importaria bastante menos se o pacote não levasse nada de valor, mas o Access-Accept de um cliente WiFi leva as chaves do tráfego desse cliente. MS-MPPE-Recv-Key e MS-MPPE-Send-Key são a chave mestra que o AP usa para cifrar o tráfego desse cliente, e o RFC 2548 protege-as com b(1) = MD5(S + R + A) e um XOR, em que S é o segredo partilhado12. Não há sigilo futuro nenhum nisso. Captura hoje o tráfego RADIUS, obtém o segredo para o ano a partir de uma cópia de segurança da configuração ou da configuração ativa de um switch, e todas as chaves capturadas se decifram, juntamente com o tráfego WiFi que protegiam.\nPor isso a pergunta não é se o segredo é suficientemente longo. É porque é que as chaves da rede sem fios andam a atravessar o cabo debaixo de MD5. Não precisam.\nAmeaça RADIUS simples sobre UDP Com Message-Authenticator obrigatório RadSec, TLS 1.3, certificados mútuos Access-Accept forjado (BlastRADIUS) Possível em pedidos sem EAP, MAB incluído Travado Travado Chaves WiFi lidas de uma captura Qualquer pessoa que alguma vez saiba o segredo Igual Precisa das chaves de sessão TLS, que nunca são guardadas Uma máquina na rede de gestão a fazer-se passar por switch Só precisa do segredo Igual Precisa de um certificado com o papel nas, a partir de um endereço conhecido Quem vê que dispositivo iniciou sessão Qualquer pessoa no caminho Igual Ninguém BlastRADIUS, e a linha que o trava O BlastRADIUS, CVE-2024-3596, permite a um atacante no caminho entre o switch e o servidor transformar uma rejeição numa aceitação atacando o MD5 que assina a resposta13. A correção é o atributo Message-Authenticator em todos os pedidos e todas as respostas13. O RFC 3579 sempre o exigiu em tudo o que leva EAP14, por isso o EAP-TLS nunca foi o ponto fraco. O MAB era, porque uma verificação de endereço MAC não leva EAP e muitos switches enviavam-na sem ele.\nO FreeRADIUS 3.2.10 exige-o de origem, com require_message_authenticator = yes no radiusd.conf. Testado aqui com um pedido MAB feito à mão:\nPedido Resposta Sem Message-Authenticator Nenhuma resposta. Registado como Packet does not contain required Message-Authenticator attribute Com Message-Authenticator Uma resposta, Access-Reject para um MAC desconhecido Deixa essa definição como está. A configuração avisa que pôr essa e a limit_proxy_state ambas a no «will allow MITM attackers to create fake Access-Accept packets to the NAS»15.\nIsso fecha a falsificação. Não faz nada pelas chaves.\nRadSec: RADIUS dentro de TLS 1.3 O padrão mais alto disponível é o RadSec, RADIUS transportado sobre TLS com um certificado em cada ponta16. O switch ou o AP prova quem é com um certificado, o FreeRADIUS prova quem é com o seu, e a conversa RADIUS inteira, chaves incluídas, fica dentro de TLS 1.3 com sigilo futuro. A IETF está a passá-lo para o caminho de normalização; o draft que substituiria o RFC experimental de 2012 «Has enough positions to pass»17.\nOs switches e os APs recebem certificados do step-ca como tudo o resto, de um terceiro provisioner cujo modelo carimba OU=nas e mais nada, o que quer dizer que um certificado de dispositivo não pode ser usado para se fazer passar por switch, e um certificado de switch, que não leva nenhum papel que a política de VLAN reconheça, também não pode ser usado para entrar na rede.\nlisten { ipaddr = * port = 2083 type = auth proto = tcp virtual_server = default clients = radsec tls { certificate_file = ${certdir}/eaptls/radius.crt private_key_file = ${certdir}/eaptls/radius.key ca_path = ${certdir}/eaptls/ca ca_file = ${certdir}/eaptls/ca/root_ca.crt require_client_cert = yes check_crl = yes ca_path_reload_interval = 300 verify { tmpdir = ${run_dir} client = \u0026#34;${raddbdir}/nas-only.sh %{TLS-Client-Cert-Filename}\u0026#34; } tls_min_version = \u0026#34;1.3\u0026#34; tls_max_version = \u0026#34;1.3\u0026#34; } } clients radsec { client switch1 { ipaddr = 192.0.2.21 proto = tls secret = radsec } } #!/bin/sh # Accept a RadSec client certificate only if step-ca issued it with the nas role. openssl x509 -in \u0026#34;$1\u0026#34; -noout -subject -nameopt compat | grep -q \u0026#39;/OU=nas/\u0026#39; O segredo é mesmo a palavra radsec. A sério. Sobre TLS não faz nada, e o próprio exemplo do FreeRADIUS diz «TLS clients MUST have the shared secret set to “radsec”»18. Duas coisas que parecem naturais não funcionam, ambas descobertas da maneira difícil. O check_cert_cn = %{client:shortname} expande para nada no momento do handshake, por isso todos os switches são recusados com Certificate CN (switch1) does not match specified value (); daí o script verify. E o listener não arranca com freeradius -X, que desliga as threads: Threading must be enabled for TLS sockets to function properly. Depura-o antes com freeradius -fxx -l stdout.\nProteger cada salto até ao FreeRADIUS FreeRADIUS porta 2083 só OU=nas Omada, hostapd RadSec integrado RadSec, TLS 1.3 Netgear só UDP radsecproxy mesma VLAN de gestão UDP + Msg-Auth RadSec step-ca emite cada certificado CRL por HTTPS, raiz fixada Onde cada salto está protegido. O equipamento que fala RadSec vai diretamente ao FreeRADIUS sobre TLS 1.3. O que só fala UDP fala com o radsecproxy na mesma VLAN de gestão, e só esse salto curto é RADIUS simples. A CRL vem do step-ca por HTTPS com a raiz fixada. A porta de switch simulada de há pouco, refeita para usar RadSec, contra os mesmos testes:\nO switch apresenta A partir de Resultado switch1, OU=nas O seu endereço listado TLS 1.3 ativo; laptop1 autorizado na VLAN 10, o laptop2 revogado recusado O certificado do laptop1 O endereço do switch Recusado no handshake; o script verify devolve 1 switch1, OU=nas Um endereço não listado Ignoring request … from unknown client Que equipamento o consegue fazer Autenticador RadSec Notas hostapd 2.11 Sim, se compilado com ele CONFIG_RADIUS_TLS=y está comentado no seu defconfig19. O pacote do Alpine deixa-o desligado e recusa a configuração: unsupported RADIUS type 'TLS'. Compilado com ele, funcionou à primeira APs e switches TP-Link Omada A partir do Controller 6.1, com firmware atual «Added support for RadSec (RADIUS over TLS) to secure SSID, MAC-Based, and 802.1X authentications on both APs and Switches»20 Proxy RADIUS do TP-Link Omada Não O próprio proxy do controlador «does not support the RadSec feature»21 Netgear M4250 e M4350 Não documentado O manual da CLI não menciona RadSec e limita o segredo partilhado: «The secret must be an alphanumeric value not exceeding 16 characters»22 APs Netgear WAX e WBE Não documentado Os manuais descrevem a porta RADIUS como UDP, e o segredo por omissão como sharedsecret23 Posso perguntar porque é que um switch vendido como totalmente gerível em 2026 não consegue falar com o seu servidor RADIUS sobre TLS? Não quem o decidiu. O que é que no processo o deixou sair assim, quando o controlador da TP-Link, o hostapd e um proxy gratuito conseguem todos. Dezasseis caracteres alfanuméricos aleatórios são cerca de 95 bits, e não é isso que se quebra. A questão é que é a única proteção que há: nenhuma opção de TLS, um esquema MD5 de 1999 a guardar as chaves do WiFi, e um AP que sai de fábrica com o segredo definido como a palavra sharedsecret. Em equipamento Netgear, o radsecproxy não é opcional.\nradsecproxy, para o equipamento que só fala UDP Onde o switch ou o AP não consegue fazer RadSec, põe o radsecproxy ao lado dele. Recebe RADIUS UDP e envia RadSec24, por isso o salto às claras são os poucos metros de VLAN de gestão entre o switch e o proxy, e não o caminho todo até ao servidor:\nListenUDP *:1812 tls stepca { CACertificateFile /etc/radsecproxy/root_ca.crt CertificateFile /etc/radsecproxy/radsecproxy.crt CertificateKeyFile /etc/radsecproxy/radsecproxy.key TlsVersion TLS1_3 } client switches { host 192.0.2.32/27 type udp secret \u0026lt;long random secret\u0026gt; RequireMessageAuthenticator on } server freeradius { host radius.home.example port 2083 type tls tls stepca secret radsec certificateNameCheck on } realm * { server freeradius } Usa o nome. Não o endereço. Com host 10.89.0.100 o proxy recusou o servidor, e bem: No subjectaltname matching address 10.89.0.100. Com o nome, subiu como TLSv1.3 with cipher TLS_AES_256_GCM_SHA384, e os mesmos dispositivos receberam as mesmas respostas através dele: laptop1 VLAN 10, cam1 99, tv1 30, laptop2 rejeitado. Um pedido sem Message-Authenticator ficou parado no proxy: ignoring request from client switches … missing required message-authenticator.\nMantém esse salto UDP honesto. Curto, e vedado. O endereço de gestão do switch e o proxy ficam numa VLAN de gestão para a qual nenhuma VLAN de clientes consegue encaminhar, e a firewall garante-o.\nA obtenção da CRL também A CRL é assinada, por isso ninguém a consegue forjar. Mas podem reenviar uma mais antiga que ainda esteja dentro da validade, o que esconde uma revogação feita desde então. Vai buscá-la ao step-ca por HTTPS com a sua própria raiz fixada, em vez de HTTP simples:\ncurl -fsS --cacert /etc/freeradius/certs/eaptls/ca/root_ca.crt --tlsv1.3 \\ -o /tmp/crl.der https://ca.home.example:9000/1.0/crl Contra qualquer outra raiz o mesmo comando falha com o código de saída 60 do curl, e o FreeRADIUS mantém a lista que tem.\nPara onde caminha O RFC 9765, RADIUS/1.1, retira o MD5 do RADIUS por completo quando corre sobre TLS: «the RADIUS shared secret is no longer used, and all MD5-based packet authentication and attribute obfuscation methods are removed»25. É Experimental. O FreeRADIUS 3.2 tem-no atrás de uma opção de compilação, --with-radiusv11, «for testing interoperability»26, e a imagem oficial 3.2.10 não é compilada com ela; a opção não está no binário. O RadSec com TLS 1.3 é o padrão mais alto que podes implementar hoje, e o RADIUS/1.1 é o passo seguinte.\nO switch: Netgear e TP-Link Todos os switches geríveis que valem a pena fazem 802.1X com VLANs dinâmicas, e as definições resumem-se às mesmas cinco coisas, diga o emblema o que disser. A diferença entre estes dois está no pormenor, e um pormenor do lado da TP-Link muda a forma como cablas uma secretária.\nDefinição Netgear M4250 e M4350 Switches TP-Link Omada Servidor RADIUS Security \u0026gt; Management Security \u0026gt; RADIUS \u0026gt; Server Configuration27 Um RADIUS Profile no controlador Omada28 802.1X ligado Security \u0026gt; Port Authentication \u0026gt; Basic \u0026gt; 802.1X Configuration: Dot1x Admin Mode, Authentication Admin Mode27 Authentication \u0026gt; 802.1X, Authentication Type «Port Based»28 VLAN vinda do RADIUS VLAN Assignment Mode, «The default is Disable»27 «enable \u0026lsquo;VLAN Assignment\u0026rsquo;»28 VLAN em falta Não é criada a não ser que o Dynamic VLAN Creation Mode esteja ligado, também desligado por omissão27 «the switch will create the related VLAN automatically»29 Portas de acesso Control Mode Auto 802.1X Control mode Auto28 Uplinks, a porta do servidor RADIUS, portas de AP Force Authorized 802.1X desligado: «Keep 802.1X authentication disabled on ports connected to the authentication server, the internet and the management computer»29 Cria primeiro as VLANs no switch, em qualquer dos casos. Uma VLAN que existe porque um início de sessão a fez aparecer é uma VLAN que ninguém configurou, e em que ninguém pôs uma regra de firewall.\nUma VLAN por porta na TP-Link O próprio guia da TP-Link diz que «VLAN Assignment takes effect only when the control type is Port Based»29. Port based quer dizer que o primeiro dispositivo a autenticar-se define a VLAN da porta inteira. Põe nessa porta um switch de secretária ou um telefone com um PC ligado através dele, e o segundo dispositivo entra à boleia na VLAN do primeiro sem nunca lhe ser pedido um certificado, o que, numa porta do pessoal, quer dizer que tudo o que estiver ligado nas costas desse telefone está na VLAN do pessoal.\nPor isso, na TP-Link: um dispositivo por porta de acesso. Nada entre a parede e o dispositivo. O modo baseado em MAC da Netgear autentica separadamente cada dispositivo de uma porta; o manual do GS710TUP descreve-o como permitindo «multiple supplicants connected to the same port»30.\nMAB, para a impressora que não sabe fazer nada disto Há equipamento que não tem cliente 802.1X nenhum. O MAC Authentication Bypass deixa o switch enviar o endereço MAC do dispositivo ao RADIUS como nome de utilizador e como palavra-passe, e os dois fabricantes suportam-no com 802.1X na mesma porta. A Netgear tenta primeiro 802.1X e recorre ao MAB: «if a client tries 802.1X authentication… and authentication fails, the interface proceeds with MAB authentication»27. A TP-Link envia o MAC como «12 hexadecimal digits, all lowercase and no punctuation»29.\nUm endereço MAC não é uma identidade. Qualquer pessoa consegue pôr a placa de rede com o MAC da impressora num só comando, a partir de um portátil que trouxe consigo, ao lado da impressora cujo cabo acabou de pedir emprestado. Por isso o MAB tem uma lista só sua, e a política só lhe vai dar a VLAN de IoT ou a quarentena:\nmab { if (!\u0026amp;EAP-Message \u0026amp;\u0026amp; \u0026amp;User-Name =~ /^[0-9a-f]{12}$/ \u0026amp;\u0026amp; \u0026amp;User-Password == \u0026amp;User-Name) { mab_vlan if (ok \u0026amp;\u0026amp; \u0026amp;reply:Tunnel-Private-Group-Id =~ /^(20|99)$/) { update control { \u0026amp;Auth-Type := Accept } update reply { \u0026amp;Tunnel-Type := VLAN \u0026amp;Tunnel-Medium-Type := IEEE-802 } } else { reject } } } Isso vai em primeiro lugar no authorize, com um módulo passwd chamado mab_vlan a ler linhas mac,vlan exatamente como a lista de dispositivos. A política dos certificados fica embrulhada em if (\u0026amp;EAP-Message) para deixar o MAB em paz. Testado:\nPedido MAB Entrada na lista Resposta aabbccddeeff 20 Accept, VLAN 20 112233445566 Nenhuma Reject ccddeeff0011 10, a VLAN do pessoal Reject. A política não põe um MAC na VLAN do pessoal, diga a lista o que disser Quem se fizer passar pela impressora fica com a VLAN da impressora e mais nada. É o máximo que um endereço MAC deve alguma vez comprar.\nAs definições do switch Omada acima também foram verificadas contra um Omada Software Controller simulado, 6.2.14.11, num contentor sem hardware por trás. As cadeias da sua interface em inglês dão nome a todas as definições usadas aqui: a opção RadSec, onde «a TLS-encrypted transmission tunnel will be established between the client and the RADIUS server», «Enable VLAN Assignment for Wireless Network», «Require Message-Authenticator», «Limit Proxy-State», e a importação do certificado e da chave de cliente para RadSec. Um controlador configura; não passa tráfego, por isso isto prova que as definições existem nessa versão e nada mais. A Netgear não tem nada equivalente para correr, por isso a sua coluna vem dos próprios manuais da Netgear e não foi testada aqui.\nO ponto de acesso: um SSID, todas as VLANs O ponto de acesso é onde o SSID único compensa. Uma rede WPA-Enterprise, e cada cliente é posto na VLAN que o RADIUS indica para ele. O AP marca o tráfego desse cliente com a sua VLAN e envia-o pelo cabo acima, por isso a porta do switch que alimenta o AP tem de levar, com tag, todas as VLANs que o RADIUS possa atribuir. Esquece uma e o dispositivo autentica-se na perfeição e nunca recebe um endereço.\nUm SSID, simulado Antes de confiar na palavra de qualquer dos fabricantes, a coisa toda correu em rádios simulados. O mac80211_hwsim do Linux cria placas WiFi virtuais que fazem WPA-Enterprise a sério. O kernel desta máquina não traz o módulo, por isso o teste arrancou o mesmo kernel numa pequena máquina virtual KVM e carregou-o lá, a partir do pacote assinado do próprio Fedora, com o hostapd 2.11 como ponto de acesso e três estações wpa_supplicant nos seus próprios namespaces de rede31:\ninterface=wlan0 driver=nl80211 ssid=Home ieee8021x=1 wpa=2 wpa_key_mgmt=WPA-EAP rsn_pairwise=CCMP ieee80211w=1 auth_server_addr=192.0.2.10 auth_server_port=1812 auth_server_shared_secret=\u0026lt;shared secret\u0026gt; dynamic_vlan=2 vlan_tagged_interface=trunk0 vlan_bridge=brvlan dynamic_vlan=2 quer dizer «required»: um início de sessão sem VLAN na resposta é recusado em vez de ser largado numa VLAN por omissão. Cada estação iniciou sessão como anonymous sobre TLS 1.3, e o próprio registo do AP mostra o que o RADIUS lhe disse:\nwlan0: STA 02:00:00:00:01:00 RADIUS: VLAN ID 10 wlan0: STA 02:00:00:00:02:00 RADIUS: VLAN ID 99 wlan0: STA 02:00:00:00:03:00 RADIUS: VLAN ID 30 WPA: group state machine entering state GTK_INIT (VLAN-ID 10) WPA: group state machine entering state GTK_INIT (VLAN-ID 30) WPA: group state machine entering state GTK_INIT (VLAN-ID 99) Um SSID, três VLANs laptop1 OU=staff cam1 na lista tv1 OU=media Ponto de acesso SSID «Home» VLAN 10, chave A VLAN 99, chave B VLAN 30, chave C Switch porta trunk 10, 30, 99 com tag um cabo Um SSID, três dispositivos, três VLANs. O AP põe cada cliente na sua própria interface de VLAN com a sua própria chave de grupo, e envia as três por um único trunk com tag. A porta do switch que alimenta o AP tem de levar todas as VLANs que o RADIUS possa indicar. Estação Certificado VLAN Bridge O seu próprio gateway A VLAN da televisão laptop1 OU=staff 10 brvlan10 Acessível Sem resposta cam1 OU=iot, na lista 99 brvlan99 Acessível tv1 OU=media 30 brvlan30 Acessível As linhas da chave de grupo são a parte que escapa às pessoas. As tramas de broadcast e multicast no WiFi são cifradas com uma chave de grupo partilhada por todos na rede, e se as três VLANs partilhassem uma, a câmara conseguiria ler do ar os broadcasts do portátil, pensasse o switch o que pensasse. O hostapd mantém uma chave de grupo separada por VLAN, e o registo mostra-o a iniciar uma para cada. A mesma execução em WPA3-Enterprise, WPA-EAP-SHA256 com proteção das tramas de gestão obrigatória, deu as mesmas três VLANs e as mesmas três chaves de grupo.\nDefinição Netgear WAX e WBE TP-Link Omada EAP Segurança WPA2 Enterprise ou WPA3 Enterprise WPA2-Enterprise ou WPA3-Enterprise, incluindo um modo exclusivo com CCMP-128 VLAN vinda do RADIUS Dynamic VLAN, Enable23 «Enable VLAN Assignment for Wireless Network»28 Sem VLAN na resposta O cliente vai para a VLAN do próprio SSID23 Não documentado; o FreeRADIUS aqui nunca envia um Accept sem ela Transporte RADIUS Só UDP, portanto radsecproxy RadSec a partir do Controller 6.1 com firmware atual20 Vale a pena conhecer dois pormenores da Netgear antes que te mordam. Um cliente a quem o servidor RADIUS não dá VLAN é «automatically assigned the VLAN ID that you configured for the SSID»23, por isso define a VLAN do próprio SSID como quarentena, não como pessoal; o FreeRADIUS aqui envia sempre uma, mas a alternativa deve falhar fechada na mesma. E a VLAN dinâmica «is mutually exclusive with a captive portal, NAT mode, wireless client isolation, and a multicast DNS (mDNS) gateway»23, por isso um portal de convidados no mesmo SSID está fora de questão.\nO WPA3-Enterprise no WAX620 é o modo de 192 bits: «the encryption is automatically set to GCMP256»32, com proteção das tramas de gestão obrigatória. Os clientes que não sabem fazer GCMP-256 não se ligam. Testa o teu dispositivo mais antigo antes de mudares, tal como para o TLS 1.3.\nOs dispositivos, e a verificação que toda a gente salta Cada dispositivo precisa de três coisas: o seu próprio certificado e chave, o certificado raiz, e o nome do servidor RADIUS que deve esperar. A maioria dos guias trata das duas primeiras. Deixa qualquer coisa de fora da terceira e continua a funcionar, e o problema é esse.\nA terceira é o que impede um dispositivo de confiar no servidor errado. Aqui, montou-se duas vezes um servidor RADIUS falso: uma com um certificado perfeitamente válido da mesma CA, emitido para ha.home.example, e outra com um certificado autoassinado. Um portátil foi apontado a cada um com três definições de cliente diferentes:\nO cliente verifica Servidor verdadeiro Mesma CA, outro nome Autoassinado A CA e o nome do servidor Liga-se Recusado, Domain mismatch Recusado Só a CA Liga-se Liga-se Recusado Nada Liga-se Liga-se Liga-se Olha para a linha do meio. A tua CA assina um certificado para cada servidor web da casa. Um dispositivo que só verifica a CA vai confiar em qualquer um deles como seu servidor RADIUS, por isso quem deitar a mão a uma dessas chaves, de uma máquina de testes esquecida ou de um servidor web que ninguém atualizou, pode montar um ponto de acesso com o teu SSID e os teus dispositivos ligam-se a ele sem um pio. Com EAP-TLS não entregam palavra-passe nenhuma, mas estão na rede do atacante e a confiar nela. O TLS 1.3 não muda isto; as mesmas três linhas voltaram com 1.3. Só a verificação do nome o muda.\nO Android chegou lá primeiro. A opção «Do not validate» foi removida «for security reasons»33, embora se note que «saved enterprise configurations that are set up to turn off server certificate validation aren\u0026rsquo;t affected»33. Um telemóvel antigo ainda pode trazer uma.\nLinux (NetworkManager) macOS, iOS, iPadOS Android Certificado e chave 802-1x.client-cert, 802-1x.private-key Payload de identidade num perfil de configuração Instalado como certificado Wi-Fi Certificado raiz 802-1x.ca-cert Payload de certificado, confiado através de PayloadCertificateAnchorUUID34 Campo do certificado da CA Nome do servidor 802-1x.domain-match35 TLSTrustedServerNames34 Campo Domínio; setDomainSuffixMatch na API36 TLS 1.3 802-1x.phase1-auth-flags tls-1-3-enable TLSMinimumVersion e TLSMaximumVersion \u0026quot;1.3\u0026quot;; o máximo é \u0026quot;1.2\u0026quot; por omissão34 setMinimumTlsVersion(TLS_V1_3), a partir do nível de API 34, onde o dispositivo o suporte36 No Linux a coisa toda é um comando. Foi verificado com nmcli --offline, que imprime a ligação que faria sem tocar no sistema em execução:\nnmcli connection add type wifi con-name Home ifname \u0026#39;*\u0026#39; ssid Home \\ wifi-sec.key-mgmt wpa-eap 802-1x.eap tls 802-1x.identity anonymous \\ 802-1x.ca-cert /etc/pki/home/root_ca.crt \\ 802-1x.domain-match radius.home.example \\ 802-1x.client-cert /etc/pki/home/laptop1.crt \\ 802-1x.private-key /etc/pki/home/laptop1.key \\ 802-1x.private-key-password-flags not-required \\ 802-1x.phase1-auth-flags tls-1-3-enable Para uma porta com fios é igual, com type ethernet e sem SSID. A versão máxima de TLS da Apple ser 1.2 por omissão é a armadilha desse lado: um perfil que a omita constrói um Mac que esta rede recusa.\nO que custa ser só TLS 1.3 O limite honesto desta montagem são os dispositivos que não o conseguem fazer. Uma câmara ou uma televisão com um suplicante embutido de há anos pode conseguir EAP-TLS sobre 1.2 e nunca 1.3, e não há definição nenhuma do teu lado que resolva isso. A versão de TLS é acordada antes de o FreeRADIUS ver o certificado, por isso não consegue abrir uma exceção para o papel de IoT.\nPor isso testa cada dispositivo antes de o comprares. Não depois. Aponta-o a um FreeRADIUS só com 1.3 e lê o registo: recv TLS 1.3 Handshake, ClientHello ou protocol version diz-te tudo o que precisas. Um dispositivo que falhe vai para uma porta com fios com MAB, ou não vai para a rede. Enfraquecer a rede inteira para servir a pior coisa que nela está é como começou a palavra-passe partilhada.\nA configuração completa, ficheiro a ficheiro Tudo o que está acima foi cortado às linhas que provam cada ponto. Isto é o lote inteiro. Todos os ficheiros aqui correram no laboratório, desde um step-ca vazio e uma árvore FreeRADIUS de origem até um portátil na VLAN 10, e as cópias abaixo são esses mesmos ficheiros com os endereços do laboratório trocados pelos da tabela. Leva-os numa só transferência, eap-tls-configs.tar.gz, ou um ficheiro de cada vez a partir das ligações.\nNome Endereço O que é ca.home.example Só pelo nome step-ca, porta 9000 radius.home.example 192.0.2.10 FreeRADIUS, RadSec na 2083 radsecproxy 192.0.2.11 radsecproxy, UDP de entrada, RadSec de saída switch1, ap1 192.0.2.21, 192.0.2.31 Equipamento que fala RadSec Equipamento só UDP 192.0.2.32 a .63 Através do radsecproxy; o AP Linux mais abaixo é o ap2 na .33 Ficheiro Vai para A sua função step-ca/templates/device.tpl /home/step/templates/ na CA Papel na OU, só autenticação de cliente step-ca/templates/nas.tpl /home/step/templates/ na CA OU=nas, para RadSec step-ca/setup.sh Correr uma vez na CA Acrescenta os provisioners network e nas step-ca/issue.sh Correr onde o step confia na CA Todos os certificados, e a receita de revogação freeradius/install.sh Correr a partir de freeradius/ Põe o resto no sítio freeradius/mods-available/eap RADDB/mods-available/ EAP-TLS, TLS 1.3, CRL verificada freeradius/mods-available/device_vlan RADDB/mods-available/ Lê a lista por dispositivo freeradius/mods-available/mab_vlan RADDB/mods-available/ Lê a lista MAB freeradius/mods-config/device_vlan/devices RADDB/mods-config/device_vlan/ Nome do certificado para VLAN freeradius/mods-config/device_vlan/mab RADDB/mods-config/device_vlan/ Endereço MAC para VLAN freeradius/policy.d/vlan RADDB/policy.d/ Escolhe a VLAN para um certificado freeradius/policy.d/mab RADDB/policy.d/ Escolhe a VLAN para um MAC, só 20 ou 99 freeradius/sites-available/default.patch Aplicado a RADDB Chama as duas políticas freeradius/sites-available/tls RADDB/sites-available/ Listener RadSec e os seus clientes freeradius/nas-only.sh RADDB/ Só deixa entrar certificados OU=nas freeradius/clients.conf RADDB/ UDP para testes na própria máquina systemd/radius-crl-refresh /usr/local/sbin/ Vai buscar e verifica a CRL systemd/radius-crl-refresh.service /etc/systemd/system/ Corre-o systemd/radius-crl-refresh.timer /etc/systemd/system/ De hora a hora systemd/radius-cert-renew.service /etc/systemd/system/ Renova o certificado do servidor radsecproxy/radsecproxy.conf /etc/radsecproxy.conf UDP de entrada, RadSec de saída hostapd/hostapd-wired.conf /etc/hostapd/ Uma porta de switch 802.1X em Linux hostapd/hostapd-wifi.conf /etc/hostapd/ Um ponto de acesso Linux, um SSID clients/wpa_supplicant-wired.conf O dispositivo Início de sessão com fios clients/wpa_supplicant-wifi.conf O dispositivo Início de sessão WiFi clients/nmcli.sh O dispositivo O mesmo, através do NetworkManager O FreeRADIUS vive num sítio diferente em cada distribuição, e os seus ficheiros não querem saber qual, porque todos os caminhos dentro deles são construídos a partir do diretório de configuração. O install.sh recebe esse diretório como RADDB. Foi corrido nas três abaixo, e a própria verificação de configuração do FreeRADIUS, -XC, passou em cada uma. Só a imagem oficial seguiu para correr todos os testes deste artigo; nas outras duas essa verificação é toda a prova, num contentor, por isso o SELinux numa máquina Fedora real não fez parte dela.\nImagem oficial Debian 13 Fedora FreeRADIUS 3.2.10 3.2.7 3.2.8 RADDB /etc/freeradius /etc/freeradius/3.0 /etc/raddb Corre como freerad freerad radiusd Serviço O contentor freeradius radiusd Testado Tudo neste artigo install.sh e -XC install.sh e -XC As duas unidades systemd indicam /etc/freeradius e o serviço freeradius. Em Debian ou Fedora, muda ambos de acordo com a tabela. Mais nada mexe.\nstep-ca O modelo de dispositivo é o de Pôr o papel no certificado, linha a linha, com um comentário no topo. O modelo nas é a mesma ideia com o papel fixo:\nstep-ca/templates/nas.tpl\n{{- /* Certificates for switches, access points and radsecproxy, used for RadSec. OU=nas is what FreeRADIUS checks for; it maps to no VLAN, so a nas certificate cannot get a device on the network. */ -}} { \u0026#34;subject\u0026#34;: { \u0026#34;commonName\u0026#34;: {{ toJson .Subject.CommonName }}, \u0026#34;organizationalUnit\u0026#34;: \u0026#34;nas\u0026#34; }, \u0026#34;sans\u0026#34;: {{ toJson .SANs }}, \u0026#34;keyUsage\u0026#34;: [\u0026#34;digitalSignature\u0026#34;], \u0026#34;extKeyUsage\u0026#34;: [\u0026#34;clientAuth\u0026#34;], \u0026#34;crlDistributionPoints\u0026#34;: [\u0026#34;http://ca.home.example/1.0/crl\u0026#34;] } O setup.sh acrescenta os dois provisioners. Corre-o uma vez dentro do contentor do step-ca. Pede uma palavra-passe para cada um, e o bloco da CRL que imprime vai para o ca.json à mão:\nstep-ca/setup.sh\n#!/bin/sh # Run inside the step-ca container, as the step user, once. # Adds the two provisioners this post uses. Each asks for a password for # its own key; keep both. set -e step ca provisioner add network --type JWK --create \\ --x509-max-dur 8760h --x509-default-dur 24h \\ --x509-template /home/step/templates/device.tpl step ca provisioner add nas --type JWK --create \\ --x509-max-dur 8760h --x509-default-dur 24h \\ --x509-template /home/step/templates/nas.tpl # Then add this block at the top level of /home/step/config/ca.json and # restart the container: # # \u0026#34;crl\u0026#34;: { # \u0026#34;enabled\u0026#34;: true, # \u0026#34;generateOnRevoke\u0026#34;: true, # \u0026#34;cacheDuration\u0026#34;: \u0026#34;24h\u0026#34;, # \u0026#34;idpURL\u0026#34;: \u0026#34;http://ca.home.example/1.0/crl\u0026#34; # } O issue.sh faz todos os certificados deste artigo, e guarda como comentário a receita de revogação da secção da revogação, para o dia em que precisares dela. Essa receita também foi corrida contra esta CA, num laptop2 feito para o efeito:\nstep-ca/issue.sh\n#!/bin/sh # Issue the certificates. Run anywhere the step CLI trusts the CA. set -e # The RADIUS server: default 24 hours, renewed daily by radius-cert-renew.service. step ca certificate radius.home.example radius.crt radius.key --provisioner admin # Devices: a year each, the role decides the VLAN. step ca certificate laptop1 laptop1.crt laptop1.key --provisioner network --not-after 8760h --set role=staff step ca certificate cam1 cam1.crt cam1.key --provisioner network --not-after 8760h --set role=iot step ca certificate tv1 tv1.crt tv1.key --provisioner network --not-after 8760h --set role=media # Switches, APs and radsecproxy, for RadSec. step ca certificate switch1 switch1.crt switch1.key --provisioner nas --not-after 8760h step ca certificate ap1 ap1.crt ap1.key --provisioner nas --not-after 8760h step ca certificate radsecproxy radsecproxy.crt radsecproxy.key --provisioner nas --not-after 8760h # A lost device: revoke by serial, no key needed. # SERIAL=$(step certificate inspect laptop2.crt --format json | jq -r .serial_number) # TOKEN=$(step ca token \u0026#34;$SERIAL\u0026#34; --revoke --provisioner admin) # step ca revoke \u0026#34;$SERIAL\u0026#34; --token \u0026#34;$TOKEN\u0026#34; --reason \u0026#34;laptop lost\u0026#34; FreeRADIUS Corre o install.sh a partir do diretório freeradius da transferência. Copia os ficheiros para dentro, aplica o patch ao site por omissão e cria as ligações. É tudo o que faz:\nfreeradius/install.sh\n#!/bin/sh # Puts these files into a stock FreeRADIUS 3.2 tree. Run from this # directory. RADDB is /etc/freeradius on the official image, # /etc/freeradius/3.0 on Debian and Ubuntu, /etc/raddb on Fedora. set -eu RADDB=${RADDB:-/etc/freeradius} cp mods-available/eap mods-available/device_vlan mods-available/mab_vlan \u0026#34;$RADDB/mods-available/\u0026#34; mkdir -p \u0026#34;$RADDB/mods-config/device_vlan\u0026#34; cp mods-config/device_vlan/devices mods-config/device_vlan/mab \u0026#34;$RADDB/mods-config/device_vlan/\u0026#34; cp policy.d/vlan policy.d/mab \u0026#34;$RADDB/policy.d/\u0026#34; cp sites-available/tls \u0026#34;$RADDB/sites-available/\u0026#34; cp clients.conf \u0026#34;$RADDB/\u0026#34; install -m 0755 nas-only.sh \u0026#34;$RADDB/nas-only.sh\u0026#34; patch -d \u0026#34;$RADDB\u0026#34; -p0 --forward \u0026lt; sites-available/default.patch for m in eap device_vlan mab_vlan; do ln -sfn ../mods-available/$m \u0026#34;$RADDB/mods-enabled/$m\u0026#34; done ln -sfn ../sites-available/tls \u0026#34;$RADDB/sites-enabled/tls\u0026#34; # The certificates go in $RADDB/certs/eaptls: radius.crt, radius.key, # and ca/ holding root_ca.crt, intermediate_ca.crt and the CRL. All of # it readable by the user FreeRADIUS runs as: freerad, or radiusd on # Fedora. mkdir -p \u0026#34;$RADDB/certs/eaptls/ca\u0026#34; O patch são duas linhas no site por omissão de origem. Foi feito contra a 3.2.10 e aplica-se à 3.2.7 e à 3.2.8 sem nada pior do que um desvio:\nfreeradius/sites-available/default.patch\n--- sites-available/default +++ sites-available/default @@ -301,6 +301,9 @@ # Make *sure* that \u0026#39;preprocess\u0026#39; comes before any realm if you # need to setup hints for the remote radius server authorize { +\t# MAC Authentication Bypass, policy.d/mab. +\tmab + # # Take a User-Name, and perform some checks on it, for spaces and other # invalid characters. If the User-Name appears invalid, reject the @@ -810,6 +813,9 @@ # Once we KNOW that the user has been authenticated, there are # additional steps we can take. post-auth { +\t# The VLAN for a certificate login, policy.d/vlan. +\tvlan_by_certificate + # # If you need to have a State attribute, you can # add it here. e.g. for later CoA-Request with O mods-available/eap substitui o de origem. Todo ele:\nfreeradius/mods-available/eap\n# EAP for 802.1X: EAP-TLS only, TLS 1.3 only, CRL checked on every login. # Replaces the stock mods-available/eap. mods-enabled/eap links to it. eap { default_eap_type = tls timer_expire = 60 ignore_unknown_eap_types = no max_sessions = ${max_requests} tls-config tls-common { # The server certificate followed by step-ca\u0026#39;s intermediate, # exactly as \u0026#34;step ca certificate\u0026#34; writes it. certificate_file = ${certdir}/eaptls/radius.crt private_key_file = ${certdir}/eaptls/radius.key # Root, intermediate and the intermediate\u0026#39;s CRL, hashed with # \u0026#34;openssl rehash\u0026#34;. radius-crl-refresh keeps the CRL current. ca_path = ${certdir}/eaptls/ca ca_file = ${certdir}/eaptls/ca/root_ca.crt check_crl = yes # A HUP does not reload a CRL. This does, at 300 s, the minimum. ca_path_reload_interval = 300 tls_min_version = \u0026#34;1.3\u0026#34; tls_max_version = \u0026#34;1.3\u0026#34; cipher_list = \u0026#34;DEFAULT\u0026#34; ecdh_curve = \u0026#34;\u0026#34; cache { enable = no } verify { } } tls { tls = tls-common } } O policy.d/vlan é a política de há pouco com o invólucro if (\u0026amp;EAP-Message) que a secção do MAB menciona:\nfreeradius/policy.d/vlan\n# Called first in post-auth. Picks the VLAN for a certificate login: # the per-device list first, then the role in the certificate\u0026#39;s OU. vlan_by_certificate { # Certificate logins only. MAB is decided in authorize. if (\u0026amp;EAP-Message) { # Only certificates made for this job: client auth, and a role. if (\u0026amp;TLS-Client-Cert-X509v3-Extended-Key-Usage-OID !~ /1\\.3\\.6\\.1\\.5\\.5\\.7\\.3\\.2/) { reject } # 1. The per-device list wins. device_vlan # 2. Otherwise the role in the certificate decides. if (!\u0026amp;reply:Tunnel-Private-Group-Id) { if (\u0026amp;TLS-Client-Cert-Subject =~ /\\/OU=([^\\/]+)/) { switch \u0026#34;%{1}\u0026#34; { case \u0026#34;staff\u0026#34; { update reply { \u0026amp;Tunnel-Private-Group-Id := \u0026#34;10\u0026#34; } } case \u0026#34;iot\u0026#34; { update reply { \u0026amp;Tunnel-Private-Group-Id := \u0026#34;20\u0026#34; } } case \u0026#34;media\u0026#34; { update reply { \u0026amp;Tunnel-Private-Group-Id := \u0026#34;30\u0026#34; } } case { reject } } } else { reject } } update reply { \u0026amp;Tunnel-Type := VLAN \u0026amp;Tunnel-Medium-Type := IEEE-802 } } } O policy.d/mab é a política da secção do MAB, e o mods-available/device_vlan e o nas-only.sh são como mostrados antes, os três com um comentário acrescentado. O módulo da lista MAB e as duas listas:\nfreeradius/mods-available/mab_vlan\n# MAC Authentication Bypass: MAC address to VLAN, for kit with no # 802.1X client. The mab policy only accepts VLAN 20 or 99 from here. # mods-enabled/mab_vlan links to it. passwd mab_vlan { filename = ${modconfdir}/device_vlan/mab format = \u0026#34;*User-Name:=Tunnel-Private-Group-Id\u0026#34; delimiter = \u0026#34;,\u0026#34; } freeradius/mods-config/device_vlan/devices\n# Certificate CN,VLAN. Overrides the role in the certificate. # cam1 is quarantined while it is looked at. cam1,99 freeradius/mods-config/device_vlan/mab\n# MAC (12 hex digits, lowercase, no punctuation),VLAN. 20 or 99 only. aabbccddeeff,20 O sites-available/tls substitui o exemplo RadSec de origem. O diretório temporário do verify é ${run_dir}, que já existe e pertence ao utilizador com que o FreeRADIUS corre, por isso não há nada para criar:\nfreeradius/sites-available/tls\n# RadSec: RADIUS over TLS 1.3 on port 2083, for switches, access # points and radsecproxy. Replaces the stock sites-available/tls; # sites-enabled/tls links to it. Requests go to the default site. listen { ipaddr = * port = 2083 type = auth proto = tcp virtual_server = default clients = radsec limit { max_connections = 16 lifetime = 0 idle_timeout = 30 } tls { certificate_file = ${certdir}/eaptls/radius.crt private_key_file = ${certdir}/eaptls/radius.key ca_path = ${certdir}/eaptls/ca ca_file = ${certdir}/eaptls/ca/root_ca.crt require_client_cert = yes check_crl = yes ca_path_reload_interval = 300 # Only certificates from step-ca\u0026#39;s nas provisioner. verify { # Where FreeRADIUS writes the certificate for the script to read. tmpdir = ${run_dir} client = \u0026#34;${raddbdir}/nas-only.sh %{TLS-Client-Cert-Filename}\u0026#34; } tls_min_version = \u0026#34;1.3\u0026#34; tls_max_version = \u0026#34;1.3\u0026#34; cipher_list = \u0026#34;DEFAULT\u0026#34; ecdh_curve = \u0026#34;\u0026#34; cache { enable = no } } } # One entry per switch, AP and proxy, by management address. Over TLS # the secret does nothing, and FreeRADIUS requires it to be \u0026#34;radsec\u0026#34;. clients radsec { client switch1 { ipaddr = 192.0.2.21 proto = tls secret = radsec } client ap1 { ipaddr = 192.0.2.31 proto = tls secret = radsec } client radsecproxy { ipaddr = 192.0.2.11 proto = tls secret = radsec } } O clients.conf substitui o de origem e deixa entrar o eapol_test na própria máquina e mais nada. Os switches e os APs entram por RadSec ou através do proxy:\nfreeradius/clients.conf\n# UDP clients. Kit talks RadSec (sites-available/tls) or goes through # radsecproxy, so plain RADIUS is only for testing on this host with # eapol_test. Replaces the stock clients.conf. client localhost { ipaddr = 127.0.0.1 proto = * secret = CHANGE-ME-test-only require_message_authenticator = yes nas_type = other } Verifica primeiro a configuração. Depois arranca-o em primeiro plano, com as threads ligadas para que o RadSec funcione:\nfreeradius -XC freeradius -fxx -l stdout Mantê-lo atualizado O radius-crl-refresh vai buscar a CRL com a raiz fixada, e recusa uma que não esteja assinada pelo intermédio ou que já esteja desatualizada, por isso uma obtenção falhada deixa a lista antiga no sítio. Nunca troca uma lista boa por lixo:\nsystemd/radius-crl-refresh\n#!/bin/sh # Fetch step-ca\u0026#39;s CRL over HTTPS with the root pinned, and put it where # FreeRADIUS reads it. FreeRADIUS picks it up within ca_path_reload_interval. # Installed as /usr/local/sbin/radius-crl-refresh. set -eu CA_URL=\u0026#34;${CA_URL:-https://ca.home.example:9000}\u0026#34; DIR=\u0026#34;${DIR:-/etc/freeradius/certs/eaptls/ca}\u0026#34; TMP=$(mktemp -d) trap \u0026#39;rm -rf \u0026#34;$TMP\u0026#34;\u0026#39; EXIT curl -fsS --cacert \u0026#34;$DIR/root_ca.crt\u0026#34; --tlsv1.3 -o \u0026#34;$TMP/crl.der\u0026#34; \u0026#34;$CA_URL/1.0/crl\u0026#34; openssl crl -inform DER -in \u0026#34;$TMP/crl.der\u0026#34; -out \u0026#34;$TMP/crl.pem\u0026#34; # Refuse a list that is not signed by our intermediate, or already stale. openssl crl -in \u0026#34;$TMP/crl.pem\u0026#34; -noout -CAfile \u0026#34;$DIR/intermediate_ca.crt\u0026#34; 2\u0026gt;\u0026amp;1 | grep -q \u0026#39;verify OK\u0026#39; next=$(date -d \u0026#34;$(openssl crl -in \u0026#34;$TMP/crl.pem\u0026#34; -noout -nextupdate | cut -d= -f2)\u0026#34; +%s) [ \u0026#34;$next\u0026#34; -gt \u0026#34;$(date +%s)\u0026#34; ] install -m 0644 \u0026#34;$TMP/crl.pem\u0026#34; \u0026#34;$DIR/intermediate.crl.pem.new\u0026#34; mv -f \u0026#34;$DIR/intermediate.crl.pem.new\u0026#34; \u0026#34;$DIR/intermediate.crl.pem\u0026#34; openssl rehash \u0026#34;$DIR\u0026#34; systemd/radius-crl-refresh.service\n[Unit] Description=Fetch step-ca\u0026#39;s CRL for FreeRADIUS Wants=network-online.target After=network-online.target [Service] Type=oneshot ExecStart=/usr/local/sbin/radius-crl-refresh systemd/radius-crl-refresh.timer\n[Unit] Description=Fetch step-ca\u0026#39;s CRL for FreeRADIUS every hour [Timer] OnBootSec=1min OnUnitActiveSec=1h RandomizedDelaySec=5min Persistent=true [Install] WantedBy=timers.target O certificado do servidor dura 24 horas, por isso renova-se sozinho. A renovação aqui manteve a chave e as permissões dos dois ficheiros, o que importa porque o FreeRADIUS os lê como freerad. Reinicia o FreeRADIUS em vez de enviar um HUP. Pela mesma razão que a CRL:\nsystemd/radius-cert-renew.service\n# Keeps FreeRADIUS\u0026#39;s 24-hour server certificate renewed, and restarts # FreeRADIUS on each renewal so it loads the new one. Once, as root: # step ca bootstrap --ca-url https://ca.home.example:9000 --fingerprint \u0026lt;root fingerprint\u0026gt; # chgrp freerad radius.key \u0026amp;\u0026amp; chmod 0640 radius.key # Renewal rewrites radius.crt and keeps the key and both files\u0026#39; modes. [Unit] Description=Renew FreeRADIUS\u0026#39;s server certificate from step-ca Wants=network-online.target After=network-online.target [Service] ExecStart=/usr/bin/step ca renew --daemon \\ --exec \u0026#34;systemctl restart freeradius\u0026#34; \\ /etc/freeradius/certs/eaptls/radius.crt /etc/freeradius/certs/eaptls/radius.key Restart=on-failure RestartSec=5min [Install] WantedBy=multi-user.target radsecproxy radsecproxy/radsecproxy.conf\n# radsecproxy beside switches and APs that only speak UDP RADIUS. # Takes UDP in on the management VLAN, sends RadSec over TLS 1.3 out. ListenUDP *:1812 LogLevel 3 LogDestination file:///var/log/radsecproxy.log tls stepca { CACertificateFile /etc/radsecproxy/root_ca.crt CertificateFile /etc/radsecproxy/radsecproxy.crt CertificateKeyFile /etc/radsecproxy/radsecproxy.key TlsVersion TLS1_3 } # The kit that only speaks UDP, from 192.0.2.32 to .63 on the management # VLAN. Netgear caps the secret at 16 alphanumeric characters, so use all # 16, random: # openssl rand -base64 32 | tr -dc \u0026#39;A-Za-z0-9\u0026#39; | head -c 16 client switches { host 192.0.2.32/27 type udp secret CHANGE-ME-16chars RequireMessageAuthenticator on } server freeradius { host radius.home.example port 2083 type tls tls stepca secret radsec certificateNameCheck on } realm * { server freeradius } hostapd Uma máquina Linux a fazer de porta de switch, a falar RadSec. Este é o ficheiro com que a porta simulada correu:\nhostapd/hostapd-wired.conf\n# A Linux box as an 802.1X wired port, talking RadSec to FreeRADIUS. # Needs hostapd built with CONFIG_DRIVER_WIRED=y and CONFIG_RADIUS_TLS=y. interface=eth1 driver=wired ieee8021x=1 use_pae_group_addr=1 eap_reauth_period=3600 nas_identifier=switch1 auth_server_addr=192.0.2.10 auth_server_port=2083 auth_server_type=TLS auth_server_shared_secret=radsec auth_server_ca_cert=/etc/hostapd/root_ca.crt auth_server_client_cert=/etc/hostapd/switch1.crt auth_server_private_key=/etc/hostapd/switch1.key logger_syslog=-1 logger_syslog_level=2 E para um ponto de acesso. Este passa pelo radsecproxy sobre UDP, como faria um AP Netgear, e é o ficheiro com que os rádios simulados correram:\nhostapd/hostapd-wifi.conf\n# A Linux access point: one WPA2/WPA3-Enterprise SSID, each client on the # VLAN RADIUS names. This one talks UDP to radsecproxy, like the Netgear # APs. For RadSec, build hostapd with CONFIG_RADIUS_TLS=y and use the # auth_server_* block from hostapd-wired.conf instead. interface=wlan0 driver=nl80211 ssid=Home country_code=GB hw_mode=g channel=6 ieee8021x=1 eapol_version=2 wpa=2 # WPA-EAP for WPA2-Enterprise; WPA-EAP-SHA256 with ieee80211w=2 for WPA3-Enterprise. wpa_key_mgmt=WPA-EAP WPA-EAP-SHA256 rsn_pairwise=CCMP ieee80211w=1 nas_identifier=ap2 own_ip_addr=192.0.2.33 auth_server_addr=192.0.2.11 auth_server_port=1812 auth_server_shared_secret=CHANGE-ME-16chars radius_require_message_authenticator=1 # 2 = required: no VLAN in the answer means no network. dynamic_vlan=2 vlan_naming=1 vlan_tagged_interface=eth0 vlan_bridge=brvlan ctrl_interface=/run/hostapd logger_syslog=-1 logger_syslog_level=2 Os dispositivos O nmcli.sh é o comando da secção dos dispositivos e o seu gémeo com fios. Sem NetworkManager, o wpa_supplicant recebe estes:\nclients/wpa_supplicant-wired.conf\n# Linux client, wired 802.1X. Run: wpa_supplicant -D wired -i eth0 -c this-file ctrl_interface=/run/wpa_supplicant ap_scan=0 network={ key_mgmt=IEEE8021X eapol_flags=0 eap=TLS phase1=\u0026#34;tls_disable_tlsv1_3=0\u0026#34; identity=\u0026#34;anonymous\u0026#34; ca_cert=\u0026#34;/etc/pki/home/root_ca.crt\u0026#34; domain_match=\u0026#34;radius.home.example\u0026#34; client_cert=\u0026#34;/etc/pki/home/laptop1.crt\u0026#34; private_key=\u0026#34;/etc/pki/home/laptop1.key\u0026#34; } clients/wpa_supplicant-wifi.conf\n# Linux client, WiFi, without NetworkManager. TLS 1.3, anonymous identity, # and the server name checked. ctrl_interface=/run/wpa_supplicant network={ ssid=\u0026#34;Home\u0026#34; key_mgmt=WPA-EAP WPA-EAP-SHA256 ieee80211w=1 eap=TLS phase1=\u0026#34;tls_disable_tlsv1_3=0\u0026#34; identity=\u0026#34;anonymous\u0026#34; ca_cert=\u0026#34;/etc/pki/home/root_ca.crt\u0026#34; domain_match=\u0026#34;radius.home.example\u0026#34; client_cert=\u0026#34;/etc/pki/home/laptop1.crt\u0026#34; private_key=\u0026#34;/etc/pki/home/laptop1.key\u0026#34; } Contra o que foi testado cada ficheiro Ficheiros Corridos contra Resultado step-ca/ step-ca 0.30.2, uma CA nova Os 7 certificados emitidos com os seus papéis; laptop2 emitido e revogado pela receita freeradius/ 3.2.10, instalado pelo install.sh laptop1 VLAN 10, cam1 99, tv1 30, um certificado nas recusado; MAB aabbccddeeff VLAN 20, um MAC desconhecido recusado radius-crl-refresh step-ca sobre TLS 1.3 CRL instalada e com hash; o portátil revogado recusado em menos de cinco minutos, sem reiniciar radius-cert-renew.service step ca renew 0.30.2 Certificado renovado; chave e permissões intactas radsecproxy.conf radsecproxy 1.11.2 EAP-TLS através dele aceite; MAB com Message-Authenticator VLAN 20, sem ele descartado hostapd-wired.conf hostapd 2.11, compilado com RadSec VLANs 10, 99 e 30 sobre TLS 1.3 hostapd-wifi.conf, wpa_supplicant-wifi.conf Rádios simulados, através do radsecproxy Três estações num SSID, VLANs 10, 99 e 30; o ficheiro de cliente tal como está escrito e uma estação só WPA3 ligaram-se ambos wpa_supplicant-wired.conf eapol_test 2.11 As mesmas respostas que a tabela mais acima Unidades systemd systemd-analyze verify Nenhuma queixa além de os dois programas não estarem instalados aqui O que tranca toda a gente lá fora Cada um destes casos foi encontrado ou testado durante esta montagem, exceto a VLAN em falta num trunk, que precisa de um switch real para se mostrar. Quase todos falham fechados. É a maneira certa de falhar, e mesmo assim uma má manhã.\nAvaria O que vês Correção CRL expirada ou em falta Todos os dispositivos recusados; CRL has expired ou unable to get certificate CRL Ir buscar a CRL com um temporizador e vigiá-lo CRL nova não apanhada Um dispositivo revogado continua a entrar ca_path_reload_interval = 300, ou reiniciar o FreeRADIUS Cliente com o TLS 1.3 desligado protocol version, dispositivo recusado tls_disable_tlsv1_3=0, tls-1-3-enable ou as chaves do perfil Apple Ficheiros de certificado não legíveis pelo freerad O FreeRADIUS não arranca, Permission denied Torná-los legíveis pelo freerad, a chave só por ele Certificado sem papel Recusado pela política Reemitir através do provisioner network com --set role= VLAN em falta no switch ou no trunk do AP O dispositivo autentica-se, não recebe endereço Criar a VLAN e marcá-la com tag em todos os trunks a que o dispositivo possa chegar Segredo partilhado RADIUS errado Nenhuma resposta; o FreeRADIUS regista invalid Message-Authenticator! (Shared secret is incorrect.) e o switch tenta de novo até desistir O mesmo segredo no clients.conf e no switch ou no AP Dispositivo que não verifica o nome do servidor Nada. Funciona, e também funcionaria com um impostor Definir o nome do servidor em todos os dispositivos Pedido sem Message-Authenticator Descartado em silêncio; o switch tenta de novo e desiste Ligá-lo no switch, ou pôr o radsecproxy à frente Listener RadSec com freeradius -X Threading must be enabled for TLS sockets freeradius -fxx -l stdout hostapd compilado sem RadSec unsupported RADIUS type 'TLS' Compilar com CONFIG_RADIUS_TLS=y, ou usar o radsecproxy radsecproxy com o endereço do servidor No subjectaltname matching address Usar radius.home.example Porque é que isto não está em todas as redes empresariais por omissão? Nada neste artigo é novo. O EAP-TLS foi publicado em outubro de 199937. Os atributos de VLAN seguiram-se em setembro de 20033. Os dois fabricantes de switches acima documentam a VLAN dinâmica nos seus próprios manuais, e a CA, o servidor RADIUS e o proxy são software livre e não custam nada. Vai pela via comercial e a mesma coisa passa a ser uma linha na fatura: a Cisco põe «RADIUS authentication, authorization, and accounting, including 802.1X, MAC authentication bypass» no escalão Essentials do ISE, licenciado por «concurrent active endpoints», em que um endpoint pode ser uma das «printers, fax machines, or other types of network devices»38 da rede. Seja como for, a capacidade está no equipamento há mais de vinte anos.\nEntão porque é que uma rede empresarial em 2026 ainda corre com uma palavra-passe que toda a gente partilha?\nPosso perguntar porque é que tantos administradores e MSP simplesmente não se dão ao trabalho? Não quem. O que deixa isto continuar. Há três respostas honestas, porque há três casos.\nAlguns não sabem. E essa é a falha, não a desculpa. Saber o que o teu próprio switch consegue fazer não é uma coisa que te acontece. Garantir que sabes é o trabalho, e o manual que o diz é de descarga gratuita.\nAlguns sabem, e deixam ficar. A palavra-passe partilhada funciona. Ninguém abre um pedido por causa dela. Um certificado por dispositivo é um conjunto de tarefas sem nada para mostrar até ao dia em que um portátil desaparece, e como tal nunca ganha lugar na lista. Para um MSP as contas são ainda mais simples: uma rede plana com uma palavra-passe é mais barata de suportar, nenhum contrato a mede, e o cliente nunca pergunta. A série sobre os MSP percorre onde esses incentivos levam, e isto é o mesmo padrão numa fatura mais pequena. É a este caso que a pergunta se dirige: o administrador que tem o switch que o faz, leu até aqui, e mantém a chave partilhada porque ninguém o vai obrigar a justificá-la.\nAlguns genuinamente ainda não conseguem. A impressora sem suplicante, a televisão que não faz TLS 1.3, a máquina de negócio que o fabricante não atualiza. É uma restrição real e a resposta é sim, é defensável: MAB para uma VLAN vedada, a razão escrita, e uma data ao lado para quando a máquina sair.\nA falha não é ter uma lacuna. Toda a gente tem lacunas. É gerir uma rede empresarial por cima de uma que nunca foste fechar, em equipamento que já vinha capaz de a fechar.\nToda a gente já teve uma palavra-passe partilhada. Mantê-la numa rede empresarial por escolha é a parte que não é defensável.\nPorque é que o Cyber Essentials não o pede Porque nunca foi essa a intenção. O Cyber Essentials é a base apoiada pelo governo, e «a growing number of organisations require suppliers to be certified to bid for work»39. Foi construído contra «the most common internet based cyber security threats»39, e os seus requisitos são explícitos sobre onde param. O equipamento sem fios fica fora do âmbito onde um atacante não lhe consegue chegar a partir da internet, porque «the Cyber Essentials scheme isn\u0026rsquo;t concerned with attacks that can only be launched within the signal range of the wireless device»40. Os seus cinco controlos são firewalls, configuração segura, atualizações de segurança, controlo de acessos dos utilizadores e proteção contra malware40. Nenhum deles pergunta quem tem autorização para entrar na rede, para começar. O mais perto que chega é «change any default or guessable account passwords»40, e uma chave de WiFi impressa no balcão da receção não é uma conta.\nAs VLANs aparecem nele, uma vez. Um «sub-set» de uma organização, um que esteja «segregated from the rest of the organisation by a firewall or VLAN»40, pode ser avaliado à parte. Por isso o único sítio onde o esquema se cruza com uma VLAN é como forma de traçar a linha à volta de uma parte menor da rede.\nNos seus próprios termos, é justo. É um piso contra ataques vindos da internet, e di-lo. O problema é o que acontece a um piso quando tem um certificado pendurado na parede. Torna-se o alvo, depois o teto, e uma empresa consegue passá-lo com todos os dispositivos numa única rede plana atrás de uma palavra-passe que a pessoa da limpeza sabe. Qualquer pessoa que passe junto ao edifício com um portátil está dentro do modelo de ameaça que importa e fora daquele que foi avaliado.\nUma palavra-passe é uma promessa que ninguém cumpre O que me impressionou, ao montar isto, foi quão pouco dele era difícil. Todas as armadilhas estavam escritas em algum lado, num comentário de configuração ou num manual de fabricante, e todas cederam a uma tarde no laboratório.\nE mesmo assim a casa corre com uma palavra-passe de WiFi escrita no frigorífico. Não porque a alternativa seja difícil, mas porque a palavra-passe é o padrão, e o padrão nunca tem de se justificar. Toda a gente sabe que é partilhada. Toda a gente sabe que se espalha. Ninguém a muda, porque mudá-la quer dizer andar por todos os dispositivos da casa com a nova, por isso fica igual durante anos, ao longo de cada convidado, cada inquilino e cada telemóvel que foi parar a um contentor de reciclagem com ela ainda guardada, e deixa entrar toda a gente que alguma vez a teve.\nUm certificado por dispositivo é uma ideia diferente do que serve a rede. A rede deve saber o que uma coisa é, e não apenas que alguém um dia lá escreveu a palavra certa. É um padrão a que te obrigas sem ninguém a verificar, o único tipo que vale a pena ter. A câmara não fica ao lado do portátil só porque calhou estar no mesmo SSID. Fica onde a puseste, em equipamento que é teu, sob uma regra que escreveste e consegues ler. Quando se porta mal, muda de sítio com uma linha num ficheiro de texto. Quando desaparece, um comando deixa-a de fora.\nA troca são tarefas. Uma CRL com um temporizador por trás, certificados com uma data na agenda, dispositivos testados antes de serem comprados. É esse o custo, e está do lado certo: pagas em esforço que consegues ver, em vez de numa palavra-passe que há anos anda a deixar entrar gente em silêncio.\nRFC 3748 — Extensible Authentication Protocol (EAP) — o EAP e os papéis de par, autenticador e servidor de autenticação entre os quais corre.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 2868 — RADIUS Attributes for Tunnel Protocol Support — define os atributos de túnel que o RFC 3580 reutiliza para as VLANs.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 3580 — IEEE 802.1X RADIUS Usage Guidelines — secção 3.31, «Tunnel-Type=VLAN (13) Tunnel-Medium-Type=802 Tunnel-Private-Group-ID=VLANID», e «the VLANID integer value is encoded as a string».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nMicrosoft Security Advisory 2743314 — «An attacker who obtained the MS-CHAP v2 authentication traffic could then use the exploit code to decrypt a user\u0026rsquo;s credentials.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 5216 — The EAP-TLS Authentication Protocol — autenticação mútua por certificados sobre EAP.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 9190 — EAP-TLS 1.3 — «TLS 1.3 also encrypts certificates and some of the extensions. When using EAP-TLS with TLS 1.3, the use of privacy is mandatory and does not cause any additional round trips»; a secção 2.1.7 recomenda NAIs anónimos na resposta de identidade.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nFreeRADIUS 3.2.10 — mods-available/eap — check_crl, check_all_crl «Check if intermediate CAs have been revoked», allow_expired_crl, e «most EAP supplicants WILL NOT DO TLS 1.3 PROPERLY».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nSmallstep — Certificate templates — os dados de utilizador passados com --set ficam disponíveis no modelo como .Insecure.User; envolve sempre os valores em toJson.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nFreeRADIUS 3.2.10 — dictionary.freeradius.internal — os atributos TLS-Client-Cert-* que a política lê, incluindo TLS-Client-Cert-Subject e TLS-Client-Cert-X509v3-Extended-Key-Usage-OID.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nFreeRADIUS 3.2.10 — mods-available/passwd — «Attributes marked as \u0026lsquo;=\u0026rsquo; are added to reply_items instead of default configure_items».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nwpa_supplicant — wpa_supplicant.conf — «tls_disable_tlsv1_3=0 - enable TLSv1.3 (experimental - disabled by default)», e domain_match, a «Constraint for server domain name».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 2548 — Microsoft Vendor-specific RADIUS Attributes — MS-MPPE-Send-Key e MS-MPPE-Recv-Key, cifradas como «b(1) = MD5(S + R + A) c(1) = p(1) xor b(1)», em que S é o segredo partilhado.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nBlastRADIUS — CVE-2024-3596; a mitigação recomendada é «to mandate that clients and servers always send and require Message-Authenticator attributes for all requests and responses».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 3579 — RADIUS Support For EAP — «the Message-Authenticator attribute MUST be used to protect all Access-Request, Access-Challenge, Access-Accept, and Access-Reject packets containing an EAP-Message attribute.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nFreeRADIUS 3.2.10 — radiusd.conf — require_message_authenticator e limit_proxy_state; pôr ambos a «no» «will allow MITM attackers to create fake Access-Accept packets to the NAS!»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 6614 — TLS Encryption for RADIUS — RadSec, maio de 2012, Experimental.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nIETF — RadSec: RADIUS over TLS and DTLS — estatuto pretendido Proposed Standard, tornando obsoletos o RFC 6614 e o RFC 7360; estado IESG «Has enough positions to pass» quando verificado a 13 de outubro de 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nFreeRADIUS 3.2.10 — sites-available/tls — o listener RadSec, require_client_cert, proto = tls, e «TLS clients MUST have the shared secret set to “radsec”».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nhostapd 2.11 source — hostapd/defconfig: «Include support fo RADIUS/TLS into the RADIUS client», #CONFIG_RADIUS_TLS=y.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nTP-Link — Omada Software Controller 6.1 release note — «Added support for RadSec (RADIUS over TLS) to secure SSID, MAC-Based, and 802.1X authentications on both APs and Switches», exigindo o firmware mais recente nos APs e nos switches.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nTP-Link Omada — 802.1X configuration — RADIUS Proxy: «It does not support the RadSec feature»; com RadSec, «it is recommended to disable Require Message-Authenticator».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNetgear — M4250 and M4350 CLI manual — radius server key: «The secret must be an alphanumeric value not exceeding 16 characters»; nenhuma menção a RadSec.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNetgear — WAX630 user manual — «Enter the number of the UDP port on the access point that is used to access the RADIUS server», e «By default, the password is sharedsecret.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nradsecproxy — «made to be able to deploy RadSec (RADIUS over TLS) so that all RADIUS communication across network links could be done using TLS, without modifying existing RADIUS software». Testado aqui com a 1.11.2.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 9765 — RADIUS/1.1 — abril de 2025, Experimental: «the RADIUS shared secret is no longer used, and all MD5-based packet authentication and attribute obfuscation methods are removed.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nFreeRADIUS 3.2.10 — ChangeLog — o RADIUS/1.1 está «Disabled by default, can be enabled by passing --with-radiusv11 to the configure script. For now, this is for testing interoperability.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNetgear — M4250 user manual — VLAN Assignment Mode, «The default is Disable»; Dynamic VLAN Creation Mode; Authentication Order, «if a client tries 802.1X authentication (based on the user and client credentials) and authentication fails, the interface proceeds with MAB authentication.» O manual do M4350 tem o mesmo texto.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nTP-Link Omada — Dynamic VLAN with the VLAN Assignment function of RADIUS — switches: Authentication Type «Port Based», «enable \u0026lsquo;VLAN Assignment\u0026rsquo;», «make sure the 802.1X Control mode is Auto»; pontos de acesso: «Enable VLAN Assignment for Wireless Network» no perfil RADIUS.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nTP-Link — Configuration guide for 802.1X VLAN assignment and MAB — «VLAN Assignment takes effect only when the control type is Port Based»; as VLANs em falta são criadas automaticamente; o MAB envia o MAC como «12 hexadecimal digits, all lowercase and no punctuation».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNetgear — GS710TUP user manual — o controlo de porta baseado em MAC «allows multiple supplicants connected to the same port».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nhostapd — hostapd.conf — VLAN dinâmica «parsed from following RADIUS attributes based on RFC 3580 and RFC 2868»; dynamic_vlan «2 = required; reject authentication if RADIUS server does not include VLAN ID»; vlan_tagged_interface e vlan_bridge. Lido do pacote hostapd 2.11.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNetgear — WAX620 user manual — WPA3 Enterprise: «the encryption is automatically set to GCMP256».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nPixel Phone Help — Connect to Wi-Fi networks — «The \u0026lsquo;Do not validate\u0026rsquo; setting option used in EAP-PEAP, EAP-TLS and EAP-TTLS configurations has been removed for security reasons.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nApple — WiFi.EAPClientConfiguration — TLSTrustedServerNames, «If a server presents a certificate that isn\u0026rsquo;t in this list, the system doesn\u0026rsquo;t trust it»; o TLSMaximumVersion é 1.2 por omissão.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNetworkManager — 802-1x settings — domain-match: «Constraint for server domain name», mais ca-cert, client-cert, private-key e phase1-auth-flags.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nAndroid Developers — WifiEnterpriseConfig — setDomainSuffixMatch; TLS_V1_3 «Added in API level 34», com WifiManager.isTlsV13Supported() a indicar «whether or not TLS v1.3 is supported».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 2716 — PPP EAP TLS Authentication Protocol — a especificação original do EAP-TLS, outubro de 1999, entretanto substituída pelo RFC 5216.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCisco — ISE licences — o Essentials cobre «RADIUS authentication, authorization, and accounting, including 802.1X, MAC authentication bypass and easy connect»; «Concurrent active endpoints refer to the total number of supported users and devices… printers, fax machines, or other types of network devices.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNCSC — About Cyber Essentials — «A growing number of organisations require suppliers to be certified to bid for work»; protege contra «the most common internet based cyber security threats».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNCSC — Cyber Essentials: Requirements for IT Infrastructure v3.3 — abril de 2026. Os dispositivos sem fios ficam fora do âmbito onde não podem ser atacados a partir da internet: «the Cyber Essentials scheme isn\u0026rsquo;t concerned with attacks that can only be launched within the signal range of the wireless device»; os cinco controlos técnicos; «change any default or guessable account passwords»; um subconjunto «is part of the organisation whose network is segregated from the rest of the organisation by a firewall or VLAN».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\n","permalink":"https://blogs.damiendye.uk/pt/networking/eap-tls-one-ssid-every-device-on-its-vlan/","summary":"802.1X com certificados (EAP-TLS) para portas de switch com fios e um único SSID WPA2/WPA3-Enterprise, em que é o servidor RADIUS que decide em que VLAN cai cada dispositivo. O step-ca 0.30.2 grava um papel em cada certificado de dispositivo e recusa emitir um sem ele; o FreeRADIUS 3.2.10 traduz esse papel numa VLAN, deixa que uma lista por dispositivo o substitua e funciona só com TLS 1.3. Porque é que uma palavra-passe de WiFi partilhada é o problema, porquê certificados e porquê TLS 1.3, a armadilha da revogação em que o FreeRADIUS ignora uma CRL nova num HUP, em que é que confia um dispositivo que não verifica o nome do servidor, como proteger o próprio tráfego RADIUS com Message-Authenticator e RadSec sobre TLS 1.3, o radsecproxy para o equipamento que só fala UDP, uma porta com fios e uma rede WiFi simuladas de ponta a ponta, as definições Netgear e TP-Link, as definições dos clientes Linux, Apple e Android, cada ficheiro de configuração completo e para descarregar, e porque é que tantos administradores e MSP continuam a não se dar ao trabalho e o Cyber Essentials não lhes pede que o façam.","title":"Um SSID, cada dispositivo na sua própria VLAN: 802.1X com certificados do step-ca"},{"content":" Atualização, 11 de outubro de 2026, 16:30: entretanto instalei a BIOS 1.30. Não corrige o desvio. O tscsync continua a alinhar os núcleos, mas em dois arranques com sincronização o kernel deixou cair o TSC na mesma, pelo watchdog de clocksource e não pela verificação de warp: BIOS 1.30: a sincronização aguenta, o TSC vai-se na mesma. Com tsc=nowatchdog acrescentado, o TSC aguentou, e cinco minutos medidos contra o relógio de tempo real não encontraram warps nem deriva: tsc=nowatchdog: cinco minutos, zero warps. Um arranque não é uma série de arranques, como tal chamo-lhe a aguentar, não resolvido.\nEm cada arranque, o mesmo aviso Isto estava no registo do kernel do meu ThinkPad E595 em todos os arranques, sem exceção:\nTSC synchronization [CPU#0 -\u0026gt; CPU#2]: Measured 6601281288 cycles TSC warp between CPUs, turning off TSC clock. tsc: Marking TSC unstable due to check_tsc_sync_source failed clocksource: Switched to clocksource hpet Nada rebentou. Nada apareceu no ambiente de trabalho. A máquina correu calada o relógio todo num chip temporizador mais lento desde o momento em que arrancou, e teria continuado assim para sempre se eu não estivesse a ler o journal por outro motivo.\nO Time Stamp Counter (TSC) é um contador dentro de cada núcleo do CPU que avança a um ritmo fixo. Lê-lo é uma única instrução. O Linux usa-o como relógio principal, mas só se todos os núcleos concordarem na contagem1. Se um núcleo estiver atrasado, o kernel não pode confiar nele e recorre ao High Precision Event Timer (HPET), um dispositivo temporizador à parte. O autor do tscsync mediu uma leitura do relógio em cerca de 1,2 µs no HPET contra dezenas de nanossegundos no TSC, e o kernel e o ambiente de trabalho leem o relógio dezenas de milhares de vezes por segundo1. É latência e bateria, pagas em cada arranque, por nada.\nEntão quão atrasado estava o núcleo? Mais de três segundos. Num portátil a 2,1 GHz isso são 6,6 mil milhões de ciclos.\nO que o firmware entrega A mensagem fala do CPU 0 e do CPU 2, mas a culpa não é do CPU 2. Medido pelo tscsync a partir do gestor de arranque, e pelo kernel quando arranca, o quadro é sempre o mesmo:\nNúcleo Desvio em relação ao CPU 0 O que quer dizer CPU 0, o processador de arranque (BSP) 0 a referência, e o que destoa CPUs 1 a 7, os outros núcleos (APs) cerca de +6,2 a +6,8 mil milhões de ciclos todos concordam entre si a menos de 32 ciclos Diferença a 2096 MHz 2,9 a 3,3 segundos o processador de arranque está atrasado, em cada arranque Sete núcleos concordam. Um vem três segundos atrasado. O firmware arranca o processador de arranque, faz o seu trabalho nele, e passa para o gestor de arranque sem nunca pôr aquele contador de volta em linha com os outros.\nO TSC do processador de arranque antes e depois do tscsync Antes: tal como o firmware entrega Depois: tscsync em modo sync CPU 0 (BSP) CPU 1 CPU 2 CPU 3 CPU 4 CPU 5 CPU 6 CPU 7 CPU 0 (BSP) CPU 1 CPU 2 CPU 3 CPU 4 CPU 5 CPU 6 CPU 7 CPU 0 cerca de 6,8 mil milhões de ciclos (3,25 s) atrás CPUs 1 a 7 concordam a menos de 32 ciclos BSP adiantado, todos os núcleos a menos de 45 ciclos O Linux mantém o clocksource TSC À esquerda: o que o firmware entrega. Os sete processadores de aplicação concordam a menos de 32 ciclos; o processador de arranque está cerca de 6,8 mil milhões de ciclos atrás deles. À direita: depois de o tscsync adiantar o processador de arranque em UEFI, todos os núcleos ficam a menos de 45 ciclos e a verificação de warp do kernel passa. Porque é que o Linux não pode simplesmente corrigir isto? Nos CPU Intel há um registo, IA32_TSC_ADJUST, que deixa o kernel dar um toque no contador de um núcleo, e o código de sincronização do kernel usa-o quando existe2. Os CPU AMD Zen não o têm. Sem ele, nada no Linux consegue reparar o desvio, e a tentativa dentro do kernel de escrever os contadores diretamente (tsc=directsync) foi rejeitada a montante por não ser fiável3.\nPor isso o kernel faz a única coisa honesta que resta. Mede, encontra o tempo a andar para trás entre dois núcleos, imprime o aviso e deixa de usar o TSC2.\nQuarenta arranques, quarenta warps Um arranque é uma história. O journal desta máquina vai até 30 de maio de 2026, por isso perguntei-lhe.\nArranques Warp, ciclos Warp a 2096 MHz 30 de maio a 11 de outubro de 2026 40 de 40 6,16 a 9,88 mil milhões 2,94 a 4,72 s Mediana 6,57 mil milhões 3,14 s Depois de desligar por completo cerca de 27 s 1 6,60 mil milhões 3,15 s Com o tscsync em modo sync, BIOS 1.28 1 nenhum registado TSC mantido BIOS 1.30, tscsync desligado 1 6,13 mil milhões 2,92 s BIOS 1.30, tscsync em modo sync 2 nenhum registado TSC deixado cair pelo watchdog, ver abaixo BIOS 1.30, modo sync e tsc=nowatchdog 1 nenhum registado TSC mantido Em todos os arranques. Arranque a frio, reinício, depois de estar desligado tempo suficiente para se esperar que qualquer coisa velha tivesse desaparecido. O valor varia, o que bate com o que o próprio autor do tscsync encontrou num Lenovo Legion: aí, o warp acompanha quase na perfeição o tempo que a máquina passa no firmware antes de o gestor de arranque começar3. Um arranque que fica mais tempo no logótipo sai mais atrasado.\nA correção tentadora é tsc=reliable na linha de comandos do kernel, que diz ao Linux para deixar de verificar. Não o faças. Os núcleos estão mesmo três segundos afastados, e desligar a verificação não muda isso; só deixa o kernel usar um relógio que salta para trás quando uma tarefa muda de núcleo. O README do tscsync diz o mesmo, e aponta os soluços de áudio e vídeo que se seguem1.\nPosso perguntar porque é que isto ainda é vendido assim? Não estou a perguntar quem. Estou a perguntar o que é que no processo da Lenovo deixou sair uma BIOS que deixa um núcleo três segundos atrasado em cada arranque.\nA resposta está nas notas de desenho do tscsync, e não é lisonjeira. O Fisher-Price OS (Windows) escreve ele próprio os TSC no arranque3. Um portátil validado só nesse sistema passa, porque o sistema operativo arruma discretamente o que o firmware deixou. O Linux mantém a sua verificação de segurança ligada e reporta o que lhe deram, e é exatamente por isso que a falha aparece ali e em mais lado nenhum.\nA parte incómoda é que, segundo consta, isto já foi corrigido antes. Há utilizadores que relatam que a Lenovo corrigiu a mesma classe de erro por atualização de BIOS no ThinkPad A485, no T14s Gen 1 AMD e no E4954. O E495 é o irmão de 14 polegadas desta máquina, e partilham uma BIOS: o próprio readme da Lenovo para o pacote lista os dois5.\nO meu E595 estava na 1.28 e tinha warp em cada arranque. A Lenovo publicou entretanto a 1.29 e a 1.30, e nenhuma das listas de alterações diz uma palavra sobre o TSC; a 1.30 corrige «system randomly freeze since BIOS V1.27» e alguns problemas de segurança5. Por isso instalei a 1.30 e voltei a medir. O primeiro arranque nela, com o tscsync desligado, registou um warp de 6 126 446 316 ciclos: 2,92 segundos, CPU#0 -\u0026gt; CPU#2, como sempre. A 1.30 não o corrige. Os dois modelos partilham uma BIOS, por isso se o relato do E495 estivesse certo, esta máquina também estaria corrigida. O relato não indica nenhuma versão de BIOS nem aponta registos4.\nVai a Lenovo voltar a um portátil de 2019 por causa de uma falha que o sistema operativo em que testa lhe esconde? Não.\ntscsync, primeiro a medir O tscsync é um pequeno programa UEFI que corre a partir do GRUB ou do systemd-boot mesmo antes do Linux. Pede a cada núcleo o seu TSC através dos próprios serviços multiprocessador do firmware, calcula o desvio de cada núcleo em relação ao processador de arranque, adianta os contadores atrasados até concordarem, e depois verifica o resultado com um teste inspirado na própria verificação de warp do kernel1. Nunca escreve na flash, na NVRAM nem nas definições do firmware; os contadores que altera reiniciam quando a máquina se desliga1.\nÉ muito para entregar a um gestor de arranque, como tal li o código primeiro, no commit 230eaa9, antes de o compilar. A instalação foi depois feita como o projeto pede:\nPasso Comando O que veio de volta Compilar make binários para GRUB e systemd-boot Instalar, só de leitura sudo scripts/install.sh modo measure, nada escrito nos contadores Desligar, arrancar, ver tscsync-status CPU 0 2964 ms atrás dos 7 APs, os APs a concordar a menos de microssegundos Ligar sudo scripts/set-mode.sh sync faz efeito no próximo arranque O modo measure é a parte que vale a pena copiar para qualquer ferramenta deste género. Mostra-te a falha no teu próprio hardware antes de ter licença para mudar o que quer que seja, e uma proteção contra bloqueios desliga-o se um arranque nunca chegar ao Linux1.\nO primeiro arranque em modo sync, tirado diretamente do tscsync-status:\nsurvey (read-only): cpu 1 apic 1: offset 6815086011 rtt 126 BAD ... cpu 7 apic 7: offset 6815086010 rtt 378 BAD 0 ok, 7 not ok moving BSP forward by ~6815086010 cycles to match cpu 7: bsp vs cpu 7 apic 0: before 6815086001 after 3 rtt 357 iter 3 warps bsp/ap 0/0 OK AP pass (corrects any AP still off): 7 ok, 0 not ok total 121 ms E o kernel, um segundo depois:\nclocksource: Switched to clocksource tsc-early tsc: Refined TSC clocksource calibration: 2096.066 MHz clocksource: Switched to clocksource tsc Nenhuma linha de warp. Nenhum «unstable». /sys/devices/system/clocksource/clocksource0/current_clocksource diz tsc. 121 ms de arranque para ter o relógio que o hardware devia ter tido desde o início. Isso foi na BIOS 1.28. A 1.30 não tem sido tão arrumada.\nOs 21 nanossegundos que o Linux deixou passar Há uma linha nesse relatório que parece pior do que é, e vale a pena explicá-la em vez de a esconder. A passagem final de verificação do tscsync assinalou um núcleo:\ncpu 7 apic 7: offset 45 rtt 357 warps bsp/ap 0/0 BAD 6 ok, 1 not ok RESULT: some APs out of sync (Linux will fall back to HPET) 45 ciclos são cerca de 21 nanossegundos. O tscsync aponta para uma concordância a menos de cerca de 10 ciclos1, por isso, pelo seu próprio objetivo, o CPU 7 falhou, e ele disse-o. Depois o Linux arrancou e não recorreu ao HPET de todo.\nAs duas verificações fazem perguntas diferentes:\nVeredicto de desvio do tscsync Teste de warp do kernel Pergunta quão afastados estão os contadores? o tempo alguma vez anda para trás entre núcleos? Método estimativa a partir de uma ida e volta cronometrada os núcleos leem à vez e comparam com a última leitura2 Critério cerca de 10 ciclos nenhuma leitura mais baixa do que a anterior CPU 7 neste arranque 45 ciclos, BAD nenhum warp, TSC mantido O warps bsp/ap 0/0 nessa mesma linha é o tscsync a correr o teste ao estilo do kernel. Não viu nenhum. O kernel também não.\nO projeto já sabe que o seu veredicto pode ser mais rigoroso do que o do kernel. Um IdeaPad na sua lista de hardware tinha quatro núcleos assinalados entre 28 e 42 ciclos que o kernel aceitou, e desde a 2.1 uma ida e volta lenta é reportada como UNSURE em vez de BAD4. A regra do README para esse caso é a certa: decide a verificação do próprio kernel, e se o clocksource for tsc, passou1. Uma ida e volta de 357 ciclos não é lenta nesta máquina, por isso saiu BAD. Uma ferramenta que mostra as contas e depois deixa a última palavra ao kernel está do lado certo.\nBIOS 1.30: a sincronização aguenta, o TSC vai-se na mesma Na 1.30 voltei a pôr o tscsync em modo sync e reiniciei duas vezes. Das duas vezes fez o seu trabalho. Adiantou o processador de arranque cerca de 6,17 mil milhões de ciclos, todos os núcleos ficaram a umas poucas dezenas de ciclos, e o kernel não registou warp nenhum. Das duas vezes o Linux acabou na mesma no HPET uns segundos depois:\ntsc: Detected 2095.890 MHz processor tsc: Refined TSC clocksource calibration: 2096.053 MHz clocksource: Watchdog remote CPU 5 read timed out clocksource: Marking clocksource tsc unstable due to frequency skew clocksource: Watchdog hpet interval: 495136113ns clocksource: Clocksource tsc interval: 496026671ns tsc: Marking TSC unstable due to clocksource watchdog Esta é uma verificação diferente. O teste de warp corre à medida que cada núcleo arranca e pergunta se o tempo alguma vez anda para trás entre núcleos. O watchdog de clocksource continua a correr depois do arranque. Mais ou menos a cada meio segundo compara quanto avançou o TSC com quanto avançou o HPET, e se discordarem por mais de uma pequena margem marca o TSC como instável6. Depois de marcado, fica assim até ao próximo arranque.\nDuas verificações do kernel, e que opção de arranque salta qual Firmware CPU 0 ~3 s atrás tscsync, em UEFI adianta o CPU 0 O Linux arranca os núcleos arrancam Verificação de warp uma vez, no arranque Watchdog cada 0,5 s vs. HPET Por omissão ambas ligadas: TSC perdido na 1.30 ✓\u0026#160;verificado ✓\u0026#160;verificado tsc=nowatchdog este arranque: TSC mantido ✓\u0026#160;verificado ✗\u0026#160;saltado tsc=reliable desaconselhado: esconde um warp real ✗\u0026#160;saltado ✗\u0026#160;saltado Duas verificações separadas podem deixar cair o TSC. A verificação de warp corre uma vez, à medida que cada núcleo arranca; é o tscsync que faz esta máquina passá-la. O watchdog continua a comparar com o HPET a cada meio segundo. tsc=nowatchdog salta só a segunda, enquanto tsc=reliable salta as duas e esconderia um warp real. Arranque na 1.30 Verificação de warp Intervalo HPET Intervalo TSC TSC face ao HPET Primeiro arranque com sync passou 495 426 793 ns 495 006 210 ns cerca de 850 ppm lento Segundo arranque com sync passou 495 136 113 ns 496 026 671 ns cerca de 1800 ppm rápido Então o TSC está a correr ao ritmo errado? Não. Com a máquina ligada, cronometrei o TSC contra o relógio raw do kernel baseado no HPET durante 30 segundos em janelas de 5 segundos. Todas as janelas deram 2096,062 MHz, cerca de 4 partes por milhão da própria calibração do kernel. Uma falha real de ritmo não salta de lento para rápido entre dois arranques e depois desaparece. Alguma coisa perturba uma janela de meio segundo logo no início do arranque, e a linha remote CPU 5 read timed out mesmo antes aponta para um núcleo que por instantes não responde. Firmware a roubar tempo aos CPU encaixaria. Não o provei.\nDois arranques é toda a prova que há. Ainda não sei dizer se é a 1.30, acaso, ou algo que a escrita do tscsync desencadeia. O único arranque com sync na 1.28 manteve o TSC e os dois na 1.30 perderam-no, e isso não chega para culpar a BIOS.\nHá uma opção do kernel mais estreita do que tsc=reliable para este caso. tsc=nowatchdog desliga o watchdog de clocksource para o TSC e deixa em paz a verificação de warp no arranque7. Se o tscsync alguma vez falhasse a sincronização, o kernel apanharia na mesma o warp e recorreria ao HPET. Esse foi o teste seguinte. Os números, e algumas alterações sugeridas aos próprios relatórios do tscsync, estão no gestor de issues do projeto8.\ntsc=nowatchdog: cinco minutos, zero warps Acrescentei tsc=nowatchdog e reiniciei. O tscsync adiantou o processador de arranque 6 207 104 421 ciclos, o kernel não registou warp nem desvio de frequência, e current_clocksource dizia tsc. Primeiro arranque na 1.30 a mantê-lo.\nIsso só prova que foi o watchdog que deixou cair o TSC. Não prova que é seguro usar o TSC, e com o watchdog desligado já nada no kernel está a vigiar. Por isso vigiei eu.\nA minha verificação de ritmo anterior não servia aqui. Cronometrava o TSC contra CLOCK_MONOTONIC_RAW, o que estava bem enquanto o kernel corria no HPET. No TSC, esse relógio é construído a partir do TSC, por isso o teste compararia o contador consigo próprio. O HPET também não pode ser lido a partir do espaço de utilizador, porque o kernel da Fedora é compilado sem CONFIG_HPET_MMAP. O relógio de tempo real (RTC) pode. Corre com o seu próprio cristal, e o kernel acorda um programa em cada tique do seu contador de segundos9.\nPor isso escrevi uma pequena verificação, tsccheck. Fixa-se no CPU 0 e corre quatro testes a cada 15 segundos:\nVerificação Como Como se vê uma falha Ritmo ciclos do TSC contados entre tiques de segundo do RTC os MHz a derivar para um lado Desvio 3000 idas e voltas do CPU 0 a cada núcleo, desvio tirado da mais rápida um desvio que cresce Warps em cada ida e volta, algum núcleo leu um valor mais baixo do que um já visto qualquer coisa acima de zero Clocksource ler current_clocksource qualquer coisa que não seja tsc A ida e volta é o cerne. O CPU 0 lê o seu contador e passa-o, o outro núcleo lê o seu e devolve-o, e o CPU 0 lê outra vez. Se os núcleos concordarem, a leitura do meio tem de cair entre as outras duas:\nUma ida e volta entre o CPU 0 e outro núcleo CPU 0 CPU 1 a 7, um de cada vez tempo t0 t1 t2 ponto médio desvio desvio = t1 − (t0 + t2) / 2 da mais rápida de 3000 idas e voltas warp se t1 \u0026lt; t0 ou t2 \u0026lt; t1 tempo a andar para trás: um só já é falha Uma ida e volta. A leitura do outro núcleo, t1, é comparada com o ponto médio das duas leituras do CPU 0, e a mais rápida de 3000 idas e voltas dá o desvio. Qualquer leitura mais baixa do que uma já vista é um warp, seja qual for o desvio. O ciclo que o faz:\nfor (int i = 0; i \u0026lt; ITERS; i++) { uint64_t t0 = rdtsc_o(); /* CPU 0 */ atomic_store(\u0026amp;pp.t0, t0); atomic_store(\u0026amp;pp.seq, 2 * i + 1); /* the other core reads t1 now */ while (atomic_load(\u0026amp;pp.seq) != 2 * i + 2) ; uint64_t t2 = rdtsc_o(); /* CPU 0 again */ uint64_t t1 = atomic_load(\u0026amp;pp.t1); if (t1 \u0026lt; t0 || t2 \u0026lt; t1) r.warps++; /* time went backwards */ if (i \u0026gt; 100 \u0026amp;\u0026amp; t2 - t0 \u0026lt; r.rtt) { r.rtt = t2 - t0; r.offset = (int64_t)(t1 - (t0 + (t2 - t0) / 2)); } } O programa inteiro é C simples para Linux x86-64, sem nada ligado ao tscsync ou a este portátil. Precisa de root para /dev/rtc0, e o terceiro argumento é o valor do teu próprio kernel tirado de journalctl -k -b | grep 'Refined TSC':\ngcc -O2 -Wall -pthread -o tsccheck tsccheck.c sudo ./tsccheck 15 20 2096.073 \u0026#8615; tsccheck.c, a verificação inteira em 161 linhas tsccheck.c · 4 kB SHA-256 02eba1966a0097196acd5dfdcad9c4b315cafc1854c60f34c5b56080e6c38408.\nVinte amostras ao longo de cinco minutos, logo a seguir ao arranque:\nMedida Resultado Clocksource tsc nas 20 amostras, nenhuma mensagem do kernel Warps 0 em cerca de 420 000 idas e voltas Pior desvio face ao CPU 0 85 ciclos, cerca de 41 ns, sem tendência Ritmo na execução toda 2096,027 MHz, entre 2096,022 e 2096,031 a partir do primeiro minuto Ritmo por janela de 15 segundos 2095,943 a 2096,104 MHz Ritmo do TSC por janela de 15 segundos, e na execução toda +20 ppm 0 ppm -20 ppm -40 ppm -60 ppm 0 s 60 s 120 s 180 s 240 s 300 s valor do kernel, 2096,073 MHz 15 s: janela -11,3 ppm, execução toda -11,3 ppm 30 s: janela -61,1 ppm, execução toda -36,2 ppm 45 s: janela -23,5 ppm, execução toda -32,0 ppm 60 s: janela +15,0 ppm, execução toda -20,2 ppm 75 s: janela -21,6 ppm, execução toda -20,5 ppm 90 s: janela -21,8 ppm, execução toda -20,7 ppm 105 s: janela -19,6 ppm, execução toda -20,6 ppm 120 s: janela -50,5 ppm, execução toda -24,3 ppm 135 s: janela +5,8 ppm, execução toda -20,9 ppm 150 s: janela -20,3 ppm, execução toda -20,9 ppm 165 s: janela -23,6 ppm, execução toda -21,1 ppm 180 s: janela -13,7 ppm, execução toda -20,5 ppm 195 s: janela -29,5 ppm, execução toda -21,2 ppm 210 s: janela -22,3 ppm, execução toda -21,3 ppm 225 s: janela -20,0 ppm, execução toda -21,2 ppm 240 s: janela -24,7 ppm, execução toda -21,4 ppm 255 s: janela -19,1 ppm, execução toda -21,3 ppm 270 s: janela -22,2 ppm, execução toda -21,3 ppm 285 s: janela -62,0 ppm, execução toda -23,5 ppm 300 s: janela +9,2 ppm, execução toda -21,9 ppm uma janela de 15 s, 61 ppm lento execução toda até aqui janela de 15 segundos execução toda até aqui Ritmo contra o RTC, em partes por milhão face ao valor do kernel. As janelas individuais saltam aos pares; o valor da execução toda estabiliza em 21 a 22 ppm lento logo no primeiro minuto e fica aí. As janelas parecem piores do que são. Um tique do RTC atrasado torna uma janela longa e a seguinte curta, por isso os erros vêm aos pares que se anulam: 61 partes por milhão (ppm) lento aos 30 segundos, 15 ppm rápido aos 60. A deriva não se anula sozinha. O valor da execução toda quase não mexeu.\nO valor da execução toda fica 22 ppm abaixo dos 2096,073 MHz do kernel durante os cinco minutos inteiros. É a diferença entre dois cristais, e manteve-se quieta. O chrony, a acertar o relógio contra servidores de tempo da internet, dava-o entre 16 e 19 ppm lento10. Mesma direção, mesmo tamanho.\nOs desvios saltitam entre os mesmos poucos valores, 10, 21 e 33 ciclos para cada lado, sem nenhum núcleo a afastar-se. É ruído de uma ida e volta de cerca de 550 ciclos. A verificação do tscsync ainda chamaria BAD a alguns deles. O kernel não.\nO TSC aguentou? Sim, em todas as medidas que eu tinha. Cinco minutos depois de um arranque continua a não ser uma série de arranques. A seguir vem a mesma verificação depois de muito tempo ligado, e outra vez ao longo de mais alguns reinícios.\nA correção pertence ao firmware O tscsync não devia precisar de existir. O próprio README o diz: os fabricantes de firmware estão à vontade para usar a abordagem e o código, «which is where this should be fixed»1. A Lenovo tem o código-fonte. O autor do tscsync só tinha o que o portátil lhe dizia, e 80 arranques de registos1.\nÉ isso que fica. A correção precisou de um estranho, de fora da empresa, para medir, diagnosticar e contornar, enquanto a firma que vendeu o hardware o validou contra o único sistema operativo que esconde a falha. Uma máquina que não podes reparar porque o firmware é fechado não é bem tua, está emprestada com condições. Firmware aberto com atualizações assinadas teria deixado isto ser corrigido uma vez, como deve ser, por qualquer pessoa que se importasse o suficiente para ir ver.\nEntretanto, bom trabalho do autor do tscsync. Modo measure primeiro, proteção contra bloqueios, os números à vista e um veredicto honesto mesmo quando discorda do kernel. É assim que as ferramentas de baixo nível devem ser feitas.\nTodos os hosts KVM com o mesmo firmware Num portátil isto custa alguma latência e alguma bateria. Num hipervisor cada convidado paga também, e nada do que se segue é culpa do Proxmox. Vive tudo no código KVM do kernel Linux, por isso é igual em qualquer host construído sobre KVM, seja o que for que esteja por cima: Proxmox VE, oVirt, OpenStack, ou QEMU e libvirt simples11.\nO que o KVM faz quando o host perde o TSC O KVM só dá aos convidados um relógio estável quando o próprio host corre no TSC. No código-fonte do kernel, o relógio mestre, uma referência de tempo partilhada por todos os vCPU de uma VM, só é ligado se host_tsc_clocksource for verdadeiro12. Desce para o HPET e desliga-se, e várias coisas mudam de uma vez:\nHost no TSC Host no HPET, TSC marcado instável Relógio mestre do KVM12 ligado desligado Um vCPU muda para outro núcleo12 nada a atualizar uma atualização de relógio forçada em todos os vCPU dessa VM, até 10 por segundo O desvio do TSC do convidado12 deixado em paz reescrito em cada mudança, e posto em modo de recuperação PVCLOCK_TSC_STABLE_BIT para os convidados12 ligado não ligado clock_gettime() no convidado13 lido no espaço de utilizador uma chamada ao sistema, decidida uma vez quando o convidado arranca Leituras do relógio entre vCPU no convidado14 independentes cada leitura verificada contra um único valor global partilhado A última linha é a que escala mal. Sem o bit de estabilidade, o kernel do convidado não pode confiar que o relógio de cada vCPU concorda com os outros, por isso cada leitura é comparada com «last_value, a global accumulator» e trocada com um compare-and-exchange atómico se for mais recente14. Todos os vCPU do convidado escrevem nesse único valor. Quantos mais vCPU leem o relógio, mais fazem fila nele.\nNada disto aparece como erro. O clocksource do convidado continua a dizer kvm-clock, e nada no convidado te dirá porque é que ficou mais lento.\nComo o clocksource do host chega a um convidado KVM Host no TSC Clocksource do host: tsc uma instrução para ler relógio mestre do KVM ligado bit de estabilidade para os convidados O convidado lê no espaço de utilizador vDSO, cerca de 28 ns Host no HPET Clocksource do host: hpet uma ida ao temporizador relógio mestre do KVM desligado sem bit de estabilidade, atualiza a cada mudança de vCPU O convidado faz uma chamada ao sistema um valor partilhado, cerca de 190 ns O mesmo código do kernel no Proxmox VE, oVirt, OpenStack ou QEMU e libvirt simples O clocksource do host decide o que cada convidado recebe. No TSC, os convidados leem o relógio no espaço de utilizador. No HPET, o KVM larga o relógio mestre, cada mudança de vCPU força atualizações de relógio, e cada leitura do relógio no convidado passa a ser uma chamada ao sistema verificada contra um valor que todos os vCPU partilham. Quanto custa, medido Medi-o neste portátil em vez de o deixar como teoria. O clocksource do host pode ser trocado com a máquina a correr, o que desliga o relógio mestre do KVM tal como o recurso ao HPET no arranque. Um convidado descartável arrancou o próprio kernel do host com 4 vCPU e um initramfs minúsculo cujo único programa cronometra clock_gettime(). Duas execuções de cada maneira, primeiro o host, depois o convidado:\nNanossegundos por leitura do relógio, host no TSC contra host no HPET Host escala de 0 a 2400 ns Host, 1 thread, host no TSC: 24 ns 24 ns Host, 1 thread, host no HPET: 1542 ns 1542 ns 1 thread Host, os 8 núcleos, host no TSC: 29 ns 29 ns Host, os 8 núcleos, host no HPET: 1922 ns 1922 ns os 8 núcleos Convidado, 4 vCPU escala de 0 a 300 ns Convidado, 4 vCPU, 1 vCPU, host no TSC: 28 ns 28 ns Convidado, 4 vCPU, 1 vCPU, host no HPET: 187 ns 187 ns 1 vCPU Convidado, 4 vCPU, os 4 vCPU, host no TSC: 31 ns 31 ns Convidado, 4 vCPU, os 4 vCPU, host no HPET: 244 ns 244 ns os 4 vCPU clocksource do host tsc clocksource do host hpet Nanossegundos por chamada a clock_gettime(), média de duas execuções de cada maneira. O host fica 61 a 73 vezes mais lento no HPET; o convidado cerca de 7 vezes com um vCPU e 8 com os quatro. Os painéis usam escalas diferentes, porque as barras HPET do host esmagariam as do convidado. O convidado não paga diretamente o preço do HPET, porque o kvm-clock continua a ler o TSC por baixo. O que perde é a leitura no espaço de utilizador e a independência entre vCPU, e só isso é sete vezes mais lento. Com os quatro vCPU a ler ao mesmo tempo o custo sobe outra vez, e isso é o tal valor global partilhado a trabalhar. Um convidado com 32 ou 64 vCPU faz mais fila nele. Isso não medi.\nPõe-lhe um número. Um convidado que lê o relógio um milhão de vezes por segundo num vCPU gasta 2,8% desse vCPU a fazê-lo num host saudável, e 19% neste. Bases de dados, a Java Virtual Machine (JVM) e tudo o mais que põe carimbos de tempo no seu trabalho leem muito o relógio.\nEsta execução também fica aquém. Trocar de clocksource à mão desliga o relógio mestre mas não marca o TSC como instável, por isso as reescritas do desvio da tabela acima nunca correram. O recurso no arranque deste E595 marca-o como instável, e um host nesse estado paga as duas coisas.\n\u0026#8615; clockbench.c, o benchmark, a correr no host ou como init de um convidado clockbench.c · 2 kB Verificar um host, e os limites Expliquei porque é que os relógios dos convidados são frágeis à partida no artigo sobre o ptp_kvm; isto é o mesmo problema a chegar por baixo. Verifica o host, não o convidado:\njournalctl -k -b | grep -iE \u0026#39;TSC warp|TSC unstable\u0026#39; cat /sys/devices/system/clocksource/clocksource0/current_clocksource O tscsync corre a partir do GRUB ou do systemd-boot1, o que cobre a maioria dos hosts KVM. O Proxmox VE usa GRUB, ou systemd-boot numa instalação UEFI com ZFS como raiz e o Secure Boot desligado15. Mas sê honesto quanto aos limites antes de isto se aproximar de um nó de produção.\nLimite O que fazer Só AMD Zen e Hygon1 os hosts Intel com TSC_ADJUST já são corrigidos pelo kernel Todas as máquinas da sua lista de hardware são portáteis4 trata um servidor como não testado e reporta-o O modo sync recusa hardware fora da lista, a não ser que optes por ele1 lê porquê antes de o forçares Um primeiro arranque com sync pode bloquear modo measure primeiro, consola fora de banda aberta, um nó de cada vez Uma atualização de BIOS pode corrigir a falha volta a pô-lo em measure depois e verifica1 Uma sincronização limpa pode ainda perder o TSC para o watchdog verifica current_clocksource depois de cada arranque; tsc=nowatchdog se o watchdog for a causa, e depois mede tu mesmo Uma falha de firmware que custa alguma bateria a um portátil custa a um hipervisor uma fatia de cada convidado que corre, em cada segundo que está ligado, e os donos dos convidados não têm maneira de o ver. É essa a razão para verificar current_clocksource em cada host que geres, seja quem for o fabricante.\ntscsync README — o que faz, o custo de ler o relógio no HPET, porque é que tsc=reliable não é solução, o modelo de segurança e a regra do UNSURE.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLinux kernel — arch/x86/kernel/tsc_sync.c — o tratamento do TSC_ADJUST, o teste de warp e a mensagem «Measured %Ld cycles TSC warp between CPUs, turning off TSC clock.».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\ntscsync — docs/DESIGN.md — o AMD Zen não tem IA32_TSC_ADJUST, tsc=directsync rejeitado a montante, o Fisher-Price OS (Windows) escreve ele próprio os TSC no arranque, e o warp a acompanhar o tempo no firmware no Legion Pro 5.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\ntscsync — docs/HARDWARE.md — máquinas testadas, os núcleos do IdeaPad 5 aceites entre -28 e -42 ciclos, e as correções de BIOS relatadas no A485, no E495 e no T14s Gen 1.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLenovo — BIOS Update Utility readme, ThinkPad E495/E595, version 1.30 — os dois modelos num só pacote, o histórico de versões até à 1.30 (14 de maio de 2024) e a sua lista de alterações.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLinux kernel — kernel/time/clocksource.c — o watchdog de clocksource, a sua comparação de intervalos e a mensagem «Marking clocksource %s unstable due to frequency skew».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLinux kernel — kernel-parameters — tsc=reliable desliga a verificação em funcionamento e as verificações de estabilidade no arranque; tsc=nowatchdog desliga só o watchdog de clocksource.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\ntscsync issue #1 — Lenovo ThinkPad E595 — os relatórios da 1.28 e da 1.30, a análise do watchdog e as alterações sugeridas.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLinux kernel — Real Time Clock (RTC) Drivers for Linux — «The clock can also be set to generate an interrupt upon every clock update, thus generating a 1Hz signal», lido através de /dev/rtc.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nchrony — chronyc manual — tracking: «The “frequency” is the rate by which the system\u0026rsquo;s clock would be wrong if chronyd was not correcting it.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nKVM — Management Tools — Proxmox VE, oVirt, OpenStack e as ferramentas baseadas em libvirt, todas a gerir KVM.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLinux kernel — arch/x86/kvm/x86.c — pvclock_update_vm_gtod_copy(): «If the host uses TSC clock, then passthrough TSC as stable to the guest», e PVCLOCK_TSC_STABLE_BIT ligado só com o relógio mestre.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLinux kernel — arch/x86/kernel/kvmclock.c — o convidado ativa o relógio de espaço de utilizador VDSO_CLOCKMODE_PVCLOCK só quando PVCLOCK_TSC_STABLE_BIT está ligado.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLinux kernel — arch/x86/kernel/pvclock.c — sem PVCLOCK_TSC_STABLE_BIT, cada leitura é verificada contra «last_value, a global accumulator» com um compare-and-exchange atómico.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nProxmox VE — Host Bootloader — GRUB por omissão, systemd-boot para instalações UEFI com raiz em ZFS e o Secure Boot desligado.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\n","permalink":"https://blogs.damiendye.uk/pt/hardware/sorting-tsc-when-your-firmware-is-broken/","summary":"Durante quatro meses, em cada arranque, o meu ThinkPad E595 entregou ao Linux um núcleo do CPU três segundos atrás dos outros sete, e o kernel abandonou o TSC pelo HPET. O que quer dizer o aviso, porque é que uma máquina AMD Zen não tem forma de o reparar a partir do Linux, o que 40 arranques de journal dizem sobre o firmware, porque é que tsc=reliable é a resposta errada, e como o tscsync mede e move os contadores em UEFI antes de o kernel sequer os ver, incluindo o único núcleo que marcou como BAD e que o Linux aceitou na mesma. Atualizado para a BIOS 1.30: não corrige o desvio, e o watchdog de clocksource do kernel deixou cair o TSC em dois arranques mesmo depois de o tscsync ter sincronizado os núcleos. Com tsc=nowatchdog aguentou, e uma verificação de cinco minutos contra o relógio de tempo real, com o código-fonte incluído, não encontrou warps nem deriva. Por fim, o que o recurso ao HPET faz em qualquer hipervisor KVM, seja Proxmox ou não: o relógio mestre desaparece, os convidados perdem a leitura rápida do relógio, e neste portátil uma leitura do relógio no convidado saiu sete vezes mais lenta.","title":"Resolver o TSC quando o firmware está avariado"},{"content":"Porquê certificados em vez de chaves O SSH confia no primeiro uso. Liga-te a uma máquina nova e ele mostra-te uma impressão digital e pergunta se tens a certeza. Ninguém verifica. Toda a gente escreve yes. É o mesmo hábito de clicar num aviso do navegador sem ler, e é exatamente o que uma máquina no meio precisa que faças.\nA outra direção não é melhor. Cada servidor guarda um ficheiro authorized_keys por utilizador, e todos eles crescem. As chaves são acrescentadas e nunca removidas. Alguém sai, e a sua chave fica numa máquina de que ninguém se lembra até ao dia em que importa. Reconstróis um servidor e todos os clientes gritam que a chave do anfitrião mudou, portanto as pessoas aprendem a apagar também esse aviso.\nUma autoridade de certificação SSH acaba com as duas coisas. A CA assina a chave de cada anfitrião, e os clientes confiam na CA, não numa lista de impressões digitais. A CA assina a chave de cada utilizador por umas horas, e os servidores confiam na CA, não numa lista de chaves. Nada para aceitar na primeira ligação, nada para limpar quando alguém sai, e um certificado de utilizador que morre sozinho até amanhã.\nEsta é uma configuração diferente do lado X.509 do step-ca tratado em A tua própria autoridade de certificação: step-ca num contentor, e é por isso que tem o seu próprio artigo. O mesmo contentor, chaves diferentes, ficheiros diferentes em cada máquina. Tudo aqui foi corrido com o step-ca 0.30.2 e o OpenSSH 10.0 num pod Podman.\nSem CA Com step-ca Um cliente encontra um servidor novo Mostra uma impressão digital, escreves yes Verifica o certificado do anfitrião contra a CA, não diz nada Um servidor é reconstruído Todos os clientes avisam que a chave mudou Assinas a nova chave, os clientes nunca dão por nada Um utilizador recebe acesso A sua chave vai para o authorized_keys em cada servidor A CA assina a sua chave, todos os servidores a aceitam Um utilizador sai Encontrar e apagar a sua chave em cada servidor Deixar de assinar; o certificado morre em 16 horas O que cada servidor guarda Um authorized_keys por utilizador Uma chave pública da CA Quem assina o quê, e quem confia em quê step-ca chave CA de anfitriões chave CA de utilizadores Cliente cert. de utilizador, 16 h confia na CA de anfitriões Servidor cert. de anfitrião, 30 dias confia na CA de utilizadores assina a chave de utilizador assina a chave de anfitrião ssh, sem perguntas cada um verifica o cert. do outro A CA assina os dois lados. O cliente só tem de confiar na chave da CA de anfitriões, e o servidor só tem de confiar na chave da CA de utilizadores. Nenhum guarda uma lista das chaves do outro. Ligar a CA SSH As chaves SSH são criadas quando o step-ca é configurado pela primeira vez, ou nunca. Define DOCKER_STEPCA_INIT_SSH=true no primeiro arranque1, e o registo mostra duas chaves extra:\nSSH Host CA Key: ecdsa-sha2-nistp256 AAAAE2VjZHNhLXNoYTItbmlzdHAyNTYAAAAIbmlzdHAy... SSH User CA Key: ecdsa-sha2-nistp256 AAAAE2VjZHNhLXNoYTItbmlzdHAyNTYAAAAIbmlzdHAy... Chave Assina Quem confia nela CA de anfitriões A chave de anfitrião de cada servidor Todos os clientes, no known_hosts CA de utilizadores A chave de login de cada pessoa Todos os servidores, no sshd_config Também acrescenta um provisioner sshpop, que é o que permite a um anfitrião renovar mais tarde o seu próprio certificado. Se a CA já estiver a correr sem SSH, não há interruptor para virar. É uma CA nova.\nAssinar o anfitrião Pega na chave de anfitrião que o servidor já tem, assina-a, e devolve o certificado ao servidor:\nstep ssh certificate --host --sign \\ --provisioner admin --provisioner-password-file prov-pass \\ nas.home.example ssh_host_ecdsa_key.pub A ordem importa. Com as flags do provisioner depois do nome do anfitrião e do ficheiro da chave, o step recusou:\ntoo many positional arguments were provided in \u0026#39;step ssh certificate \u0026lt;key-id\u0026gt; \u0026lt;key-file\u0026gt;\u0026#39; Põe todas as flags primeiro e ele assina. O certificado, tal como o ssh-keygen -L o lê:\nCampo Valor Tipo ecdsa-sha2-nistp256-cert-v01@openssh.com host certificate Key ID nas.home.example Principals nas.home.example Validade 30 dias, 2026-10-09T18:34:30 a 2026-11-08T17:35:30 O principal é o nome que um cliente tem de usar para se ligar. Liga-te por um nome que não está no certificado e o cliente não o aceita, portanto assina todos os nomes a que o anfitrião responde.\nO servidor Duas linhas no sshd_config2:\nHostCertificate /etc/ssh/ssh_host_ecdsa_key-cert.pub TrustedUserCAKeys /etc/ssh/ssh_user_ca_key.pub O HostCertificate entrega o certificado do anfitrião aos clientes, e a sua chave «must match a private host key already specified»2. O TrustedUserCAKeys é a chave pública da CA de utilizadores, «trusted to sign user certificates for authentication»2. Corre sshd -t antes de reiniciar. Uma gralha em qualquer dos caminhos e o sshd diz Could not load host certificate, o que é muito melhor descobrir agora do que a partir de uma sessão bloqueada.\nNão há authorized_keys nenhum no servidor de teste. ls /home/damien/.ssh/authorized_keys devolve No such file or directory, e os logins abaixo funcionam na mesma.\nO utilizador A CA cria o par de chaves e assina-o de uma vez:\nstep ssh certificate damien id_ecdsa \\ --provisioner admin --provisioner-password-file prov-pass Campo Valor Tipo user certificate Principals damien Validade 16 horas Extensões permit-agent-forwarding, permit-port-forwarding, permit-X11-forwarding, permit-pty, permit-user-rc As dezasseis horas são a questão. Cobrem um dia de trabalho e morrem durante a noite. Revogar um utilizador é sobretudo uma questão de não assinar para ele amanhã.\nO cliente Uma linha no known_hosts substitui todas as impressões digitais que de outra forma acumularia3:\n@cert-authority *.home.example ecdsa-sha2-nistp256 AAAAE2VjZHNhLXNoYTItbmlzdHAy... Isto diz: qualquer anfitrião sob home.example cujo certificado esteja assinado por esta chave é genuíno. O marcador @cert-authority é o que faz dela uma linha de CA em vez da chave de um anfitrião.\nO que o teste mostrou Os quatro a partir de um cliente que não tinha nada além do certificado de utilizador e aquela linha do known_hosts, com StrictHostKeyChecking=yes, para que nada pudesse ser aceite à pressa:\nTeste Resultado Chave assinada com o seu certificado, como damien logged in as damien, saída 0 A mesma chave, sem o certificado Permission denied (publickey,password,keyboard-interactive) Certificado usado para entrar como root Permission denied: o certificado só nomeia damien Cliente sem a linha da CA de anfitriões Host key verification failed. O terceiro é o que as pessoas não veem. Um certificado não abre todas as contas da máquina, só os principals escritos nele. Uma chave no authorized_keys de alguém não consegue fazer isso.\nRenovar Um anfitrião renova o seu próprio certificado com a chave que já tem. É o provisioner sshpop, que «allows a client to renew, revoke, or rekey an SSH certificate using that certificate for authentication with the CA»4. Sem palavra-passe5:\nstep ssh renew --force ssh_host_ecdsa_key-cert.pub ssh_host_ecdsa_key Série Válido até Assinado 15166325869329416997 2026-11-08 17:35:30 Renovado 6678957789797316768 2026-11-08 17:35:59 Um número de série novo e 30 dias frescos. Mete-o num temporizador semanal e o anfitrião nunca caduca. Recarrega o sshd a seguir, senão o certificado antigo fica em memória.\nOs utilizadores renovam pedindo outra vez. Um step ssh certificate por dia, ou no primeiro login do dia, e é esse o trabalho todo.\nOnde é que falha Caso O que acontece O que fazer CA em baixo Os certificados existentes continuam a funcionar; ninguém recebe um novo Corre a CA em algo que se mantenha de pé; os utilizadores têm 16 horas de folga O certificado do anfitrião caduca Os clientes recusam o anfitrião, como se fosse um estranho Um temporizador de renovação, e o sshd recarregado a seguir Um utilizador tem de sair hoje, não amanhã O certificado funciona até expirar RevokedKeys no sshd_config aceita uma lista de chaves revogadas2 Nome do anfitrião fora dos principals O cliente recusa o anfitrião Assina todos os nomes a que ele responde CA SSH não criada na configuração Não há forma de a acrescentar Uma CA nova, configurada com SSH ligado As chaves SSH da CA roubadas Quem as tiver pode entrar em qualquer lado e fazer-se passar por qualquer anfitrião Mantém a CA numa máquina só dela, com cópia de segurança, offline se puderes O último é a contrapartida. Cada ficheiro authorized_keys era um pequeno risco próprio. Agora há um grande, num só sítio. Isso é melhor, porque um só sítio pode ser vigiado e trancado, mas só se alguém o fizer.\nConfiança onde pode ser verificada O pedido da impressão digital e o ficheiro authorized_keys têm uma coisa em comum. Ambos pedem a uma pessoa que tome uma decisão de confiança sem informação nenhuma, todos os dias, para sempre. As pessoas não são boas nisso e nunca vão ser, portanto deixam de decidir e começam a escrever yes.\nUma CA leva essa decisão para um só sítio, uma vez, onde pode ser bem feita. É essa a ideia toda, e é a mesma que está por trás de qualquer norma que valha a pena ter: faz a coisa cuidadosa uma vez, escreve-a, e deixa de pedir às pessoas que a façam de cabeça cem vezes por semana. A máquina verifica a assinatura. Tu verificas a CA. É uma divisão de trabalho que se aguenta.\nsmallstep/certificates — docker/entrypoint.sh — DOCKER_STEPCA_INIT_SSH=true acrescenta --ssh ao step ca init.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nManual do OpenBSD — sshd_config(5) — HostCertificate: «The certificate\u0026rsquo;s public key must match a private host key already specified by HostKey»; TrustedUserCAKeys: «public keys of certificate authorities that are trusted to sign user certificates for authentication»; RevokedKeys: «Keys listed in this file will be refused for public key authentication».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nManual do OpenBSD — sshd(8), SSH_KNOWN_HOSTS FILE FORMAT — o marcador «@cert-authority» «to indicate that the line contains a certification authority (CA) key».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nSmallstep — Provisioners, SSHPOP — «An SSHPOP provisioner allows a client to renew, revoke, or rekey an SSH certificate using that certificate for authentication with the CA.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nSmallstep — step ssh renew — o comando usado para renovar o certificado do anfitrião.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\n","permalink":"https://blogs.damiendye.uk/pt/certificates/step-ca-ssh-certificates/","summary":"Usar o step-ca 0.30.2 como autoridade de certificação SSH, testado com o OpenSSH 10.0. Porque é que os certificados batem o authorized_keys e a confiança no primeiro uso, ligar a CA SSH quando o step-ca é configurado pela primeira vez, assinar uma chave de anfitrião (e a ordem dos argumentos que o faz tropeçar), as duas linhas no sshd_config e a única linha @cert-authority no known_hosts, um certificado de utilizador de 16 horas, quatro testes de login incluindo um utilizador errado e um anfitrião não confiável, renovar um certificado de anfitrião com o sshpop, e onde é que falha.","title":"Logins SSH assinados pelo step-ca: acabou o authorized_keys"},{"content":"Porque é que os telemóveis são o caso difícil As predefinições do step-ca foram pensadas para servidores. Um servidor renova-se sozinho todas as manhãs, e A tua própria autoridade de certificação: o step-ca num contentor mostra isso a funcionar para clientes ACME e para tudo o que consiga correr step ca renew. Esse artigo trata também do arranque da CA, das suas duas palavras-passe e de confiar na raiz, e este continua a partir daí. Um telemóvel com um certificado de cliente para a app do Home Assistant não consegue renovar nada, e quando um desaparece tens de o trancar lá fora hoje, não quando o certificado dele expirar. Há cinco predefinições no caminho, e nenhuma faz barulho. Simplesmente deixam-te com certificados que morrem amanhã e uma lista de revogação que rejeita toda a gente.\nPredefinição O que faz a um telemóvel Solução Os certificados duram no máximo 24 horas O certificado do telemóvel morre amanhã, e a app do Home Assistant não o consegue renovar Subir maxTLSCertDuration no ca.json CRL desligada Revogar um telemóvel perdido não muda nada em lado nenhum Ligar o bloco crl O âmbito da CRL não corresponde aos certificados O nginx rejeita todos os telemóveis, incluindo os bons Definir idpURL e acrescentar um template com crlDistributionPoints Não há CRL para a intermédia O nginx continua a rejeitar todos os telemóveis Assinar uma CRL da raiz vazia uma vez por ano A CRL dura 24 horas Quando caduca, o nginx volta a rejeitar todos os telemóveis Renová-la com um temporizador A Cloudflare faz a metade da CA por ti no plano gratuito, como mostra a versão com Cloudflare. Fazê-lo tu mesmo significa fazer as cinco. Os testes abaixo correram numa CA chamada Home Assistant CA, que é o nome que aparece nas saídas.\nPredefinição um: os certificados duram um dia Pede um ano e a CA diz que não:\nThe request was forbidden by the certificate authority: requested duration of 8760h1m0s is more than the authorized maximum certificate duration of 24h1m0s. É a predefinição certa para servidores e clientes ACME, que renovam o dia inteiro sem ninguém dar por isso. Um telemóvel é a exceção. A app do Home Assistant não tem forma de renovar o seu próprio certificado de cliente, por isso um certificado de 24 horas significa ir a cada telemóvel todos os dias.\nO período de validade é uma definição, e vive na configuração do próprio step-ca. Cada provisioner no ca.json aceita claims1:\n\u0026#34;claims\u0026#34;: { \u0026#34;maxTLSCertDuration\u0026#34;: \u0026#34;8760h\u0026#34;, \u0026#34;defaultTLSCertDuration\u0026#34;: \u0026#34;24h\u0026#34; } Claim Significado Valor maxTLSCertDuration O certificado mais longo que este provisioner assina 8760h, um ano defaultTLSCertDuration O que recebes sem pedir Fica em 24h, para que um ano seja sempre uma escolha deliberada minTLSCertDuration O mais curto que assina Não se mexe Reinicia o contentor e um ano já passa. Um ano é uma questão de critério, não uma regra. Mais curto significa menos tempo para um certificado roubado ser útil, e mais voltas pela casa a reinstalá-los.\nPredefinição dois: a CRL está desligada Uma lista de revogação de certificados (CRL) é a lista assinada pela CA dos certificados que retirou. É assim que um telemóvel perdido fica trancado lá fora antes de o certificado expirar, e o step-ca não faz nenhuma a menos que lho digam. A documentação marca a funcionalidade como experimental1.\n\u0026#34;crl\u0026#34;: { \u0026#34;enabled\u0026#34;: true, \u0026#34;generateOnRevoke\u0026#34;: true, \u0026#34;cacheDuration\u0026#34;: \u0026#34;24h\u0026#34; } Campo Faz Predefinição enabled Cria de todo uma CRL Desligado generateOnRevoke Reconstrói a lista no momento em que um certificado é revogado Desligado cacheDuration Quanto tempo cada lista se mantém válida 24 horas1 idpURL O URL que a lista diz cobrir O nome da própria CA mais /1.0/crl2 Guarda essas 24 horas na memória. Vão voltar.\nPredefinição três: uma CRL que nada aceita Com a CRL ligada, revoga um telemóvel e verifica os dois telemóveis contra ela:\n$ openssl verify -CAfile client-ca.pem -CRLfile crl.pem -crl_check phone1.crt phone2.crt CN=phone1 error 44 at 0 depth lookup: different CRL scope error phone1.crt: verification failed CN=phone2 error 44 at 0 depth lookup: different CRL scope error phone2.crt: verification failed Falham os dois, incluindo o telemóvel bom. Põe essa lista à frente do nginx e ninguém entra.\nA própria lista diz porquê. O step-ca marca cada CRL com um Issuing Distribution Point crítico, que diz «esta lista cobre os certificados que apontam para aqui». Os certificados que emitiu não apontam para lado nenhum:\n$ openssl crl -in crl.pem -noout -text X509v3 Issuing Distribution Point: critical Full Name: URI:https://localhost/1.0/crl $ openssl x509 -in phone1.crt -noout -ext crlDistributionPoints No extensions in certificate O OpenSSL não aplica uma lista cujo âmbito não corresponda ao certificado. Por isso falha fechado. O que está certo, e não serve de nada a ninguém.\nA CRL diz que cobre O certificado diz que a sua CRL está em Resultado De origem https://localhost/1.0/crl, crítico Lado nenhum different CRL scope, todos recusados idpURL e um template http://ca.home.example/1.0/crl http://ca.home.example/1.0/crl Os telemóveis bons passam, os revogados falham O URL predefinido nem sequer é um em que a CA sirva. O código-fonte do step-ca admite-o: «this is currently using the port 443 by default»2. Duas definições resolvem isto, e ambas têm de indicar o mesmo URL. O idpURL vai no bloco crl do ca.json, e um template no provisioner carimba o crlDistributionPoints correspondente em cada certificado3:\n{ \u0026#34;subject\u0026#34;: {{ toJson .Subject }}, \u0026#34;sans\u0026#34;: {{ toJson .SANs }}, \u0026#34;keyUsage\u0026#34;: [\u0026#34;digitalSignature\u0026#34;], \u0026#34;extKeyUsage\u0026#34;: [\u0026#34;serverAuth\u0026#34;, \u0026#34;clientAuth\u0026#34;], \u0026#34;crlDistributionPoints\u0026#34;: [\u0026#34;http://ca.home.example/1.0/crl\u0026#34;] } \u0026#34;options\u0026#34;: { \u0026#34;x509\u0026#34;: { \u0026#34;templateFile\u0026#34;: \u0026#34;templates/leaf-crl.tpl\u0026#34; } } Reemite os certificados dos telemóveis, já que só os certificados novos trazem o campo, e a mesma verificação dá a resposta certa:\nCN=phone2 error 23 at 0 depth lookup: certificate revoked error phone2.crt: verification failed phone1.crt: OK A raiz também precisa de uma CRL Essa verificação só olhou para o certificado do telemóvel. O nginx olha para a cadeia inteira. Ativa a flag CRL_CHECK_ALL do OpenSSL4, e a documentação diz isso com todas as letras: «When using intermediate certificates, their CRLs should be specified in the same file»5. O step-ca emite certificados a partir da sua intermédia e só lista as revogações da intermédia. Nada diz se a própria intermédia continua boa:\n$ openssl verify -CAfile client-ca.pem -CRLfile crl.pem -crl_check_all phone1.crt O=Home Assistant CA, CN=Home Assistant CA Intermediate CA error 3 at 1 depth lookup: unable to get certificate CRL Que CRL cobre que certificado CA raiz confiável tal como está Intermédia assina cada cert phone1 bom phone2 revogado Servidor ha.example.com assina o nginx verifica cada elo um elo sem CRL é recusado CRL da raiz 365 dias, do OpenSSL CRL do step-ca 24 horas, lista o phone2 cobre cobre Cada elo abaixo da raiz precisa de uma CRL do certificado acima dele. O step-ca cobre a fila de baixo. Nada cobre a intermédia até assinares tu mesmo uma CRL da raiz. A solução é uma CRL assinada pela raiz que não revoga nada. O OpenSSL faz uma a partir da chave da raiz e do próprio ficheiro de palavra-passe da CA, e pode durar um ano porque a raiz não revoga nada no dia a dia:\n[ca] default_ca = root [root] database = index.txt crlnumber = crlnumber default_md = sha256 default_crl_days = 365 private_key = root_ca_key certificate = root_ca.crt crl_extensions = crl_ext [crl_ext] authorityKeyIdentifier = keyid:always touch index.txt \u0026amp;\u0026amp; echo 1000 \u0026gt; crlnumber openssl ca -config root-crl.cnf -gencrl -passin file:password -out root.crl.pem As duas listas num só ficheiro, e a cadeia inteira bate certo:\n$ openssl verify -CAfile client-ca.pem -CRLfile crl-chain.pem -crl_check_all phone1.crt phone2.crt CN=phone2 error 23 at 0 depth lookup: certificate revoked error phone2.crt: verification failed phone1.crt: OK Marca uma data na agenda para daqui a um ano. Quando a CRL da raiz caducar, todos os telemóveis ficam outra vez trancados lá fora.\nPublicar a CRL A CRL tem de estar onde aponta o URL de cada certificado. Não na própria CA.\nEscolha Porquê Um servidor web à frente, não a porta 9000 A porta 9000 é a API inteira do step-ca, assinatura incluída. Ninguém precisa de nada disso a não ser da lista HTTP simples, não HTTPS O RFC 5280 diz que um ponto de distribuição «SHOULD include at least one LDAP or HTTP URI»6. Ir buscá-la por HTTPS exige verificar um certificado, o que exige a lista. O HTTP quebra o círculo Sem preocupações com adulteração A lista é assinada. Muda um byte e a assinatura falha Só os dois caminhos da CRL respondem Tudo o resto é um 404 Os dois servidores web fazem-no em poucas linhas, e ambos passam a lista diretamente do step-ca e servem a CRL da raiz como ficheiro:\nserver { listen 80; listen [::]:80; server_name ca.home.example; location = /1.0/crl { proxy_pass https://127.0.0.1:9000; proxy_ssl_trusted_certificate /etc/step/root_ca.crt; proxy_ssl_verify on; proxy_ssl_name localhost; } location = /root.crl { alias /etc/step/root.crl; default_type application/pkix-crl; } location / { return 404; } } http://ca.home.example { handle /1.0/crl { reverse_proxy https://127.0.0.1:9000 { transport http { tls_trust_pool file /etc/step/root_ca.crt tls_server_name localhost } } } handle /root.crl { header Content-Type application/pkix-crl root * /etc/step file_server } handle { respond 404 } } Pedido nginx Caddy /1.0/crl 200, application/pkix-crl, emissor a intermédia 200, application/pkix-crl, emissor a intermédia /root.crl 200, application/pkix-crl 200, application/pkix-crl /roots.pem, /1.0/sign e o resto da API 404 404 Ambos respondem em IPv6 além de IPv4, e devem. O Caddy escuta nos dois por predefinição. O nginx só escuta onde lhe dizem, por isso listen 80; sozinho é só IPv4 e precisa do listen [::]:80; ao lado. Testado por ::1, a lista voltou com 200 de ambos assim que o nginx teve essa linha. O próprio step-ca escuta nos dois de origem.\nO teste correu nas portas 8080 e 8081, por isso o URL nos certificados de teste levava uma porta. Em uso é a porta 80 e o URL é exatamente o que o template diz.\nMantê-la fresca Cada CRL que o step-ca faz traz um nextUpdate a 24 horas de distância. Depois disso expirou, e uma lista expirada falha da mesma forma que uma em falta:\n$ openssl verify -CAfile client-ca.pem -CRLfile crl-chain.pem -crl_check_all \\ -attime $(( $(date +%s) + 172800 )) phone1.crt error 12 at 0 depth lookup: CRL has expired Este é o telemóvel bom. Dois dias depois. Trancado lá fora, porque nada foi buscar uma lista nova.\nPublicar a CRL e mantê-la fresca step-ca :9000, a API inteira fica lá dentro nginx ou Caddy porta 80, v4 e v6 /1.0/crl, /root.crl o resto dá 404 A lista caduca ao fim de 24 horas, todos os telemóveis recusados Temporizador a cada poucas horas proxy mTLS ssl_crl, recarregado CRL busca recarga para A API do step-ca fica lá dentro. O servidor web entrega só as duas listas, e um temporizador vai buscar a nova e recarrega o proxy. Para o temporizador e a lista caduca um dia depois, trancando todos os telemóveis lá fora. O nginx só lê o ssl_crl quando arranca ou recarrega. Por isso alguma coisa tem de ir buscar a lista, reconstruir o ficheiro e recarregar o nginx a cada poucas horas, enquanto isto estiver a correr, haja alguém a olhar ou não.\n#!/bin/sh # Fetch step-ca\u0026#39;s CRL, add the root CRL, and reload nginx only if both parse. set -eu dir=${CRL_DIR:-/etc/nginx/pki} tmp=$(mktemp) trap \u0026#39;rm -f \u0026#34;$tmp\u0026#34; \u0026#34;$tmp.pem\u0026#34;\u0026#39; EXIT curl -fsS --max-time 20 \u0026#34;${CRL_URL:-http://ca.home.example/1.0/crl}\u0026#34; -o \u0026#34;$tmp\u0026#34; openssl crl -inform DER -in \u0026#34;$tmp\u0026#34; -out \u0026#34;$tmp.pem\u0026#34; openssl crl -in \u0026#34;$dir/root.crl.pem\u0026#34; -noout cat \u0026#34;$tmp.pem\u0026#34; \u0026#34;$dir/root.crl.pem\u0026#34; \u0026gt; \u0026#34;$dir/crl-chain.pem.new\u0026#34; mv \u0026#34;$dir/crl-chain.pem.new\u0026#34; \u0026#34;$dir/crl-chain.pem\u0026#34; ${RELOAD:-nginx -s reload} Execução Resultado Normal Lista nova no lugar, nginx recarregado, phone1 200, phone2 revogado 400 CA inacessível curl: (22) The requested URL returned error: 404, saída 22, lista antiga intacta, sem recarga É o set -e que faz o trabalho a sério. Uma busca falhada nunca pode escrever um ficheiro vazio por cima de um bom, porque uma lista partida tranca toda a gente lá fora tão certo como uma desatualizada. Corre-o a cada poucas horas a partir de um temporizador do systemd ou do cron. Isso dá-lhe várias tentativas antes de alguma coisa caducar. Nada de especial, e é a peça que mantém a porta a funcionar.\nDar a um telemóvel o seu certificado Um certificado por telemóvel, com o nome do telemóvel, para um ano:\nstep ca certificate phone1 phone1.crt phone1.key \\ --provisioner admin --provisioner-password-file prov-pass \\ --not-after 8760h --kty EC O telemóvel quer o certificado, a sua chave e a intermédia num único ficheiro PKCS12, e o step constrói-o sozinho7:\nstep certificate p12 phone1.p12 phone1.crt phone1.key \\ --ca certs/intermediate_ca.crt MAC: sha256, Iteration 2048 PKCS7 Encrypted data: PBES2, PBKDF2, AES-256-CBC, Iteration 2048, PRF hmacWithSHA256 É a cifra moderna, que é o que a documentação do Home Assistant Companion diz para experimentar primeiro, antes de recorrer a um contentor legado8.\nO telemóvel precisa de três coisas da CA, não de uma:\nFicheiro Instalar como Porquê root_ca.crt Certificado de CA Para o telemóvel confiar no certificado de servidor que o step-ca emitiu para o proxy intermediate_ca.crt Certificado de CA A cadeia entre a raiz e cada certificado que a CA de facto assina phone1.p12 Certificado de utilizador de VPN e apps A chave do próprio telemóvel, aquilo que o deixa entrar A app Android do Home Assistant confia nos certificados de CA que o utilizador instala além dos incorporados9, por isso um certificado de servidor do step-ca funciona. É também a melhor fechadura para este trabalho. O nome do host só importa dentro de casa e para os telemóveis, e um dispositivo sem a tua raiz nem sequer confia no servidor, quanto mais passar por ele.\nQuando o telemóvel desaparece:\nstep ca revoke --cert phone2.crt --key phone2.key --reason \u0026#34;phone lost\u0026#34; Certificate with Serial Number 89334534279272070053632987406394420097 has been revoked. A lista nova é construída na hora, e a próxima renovação põe-na à frente do nginx.\nUma CA é uma promessa que cumpres todos os dias Ao pôr isto a correr, o que me chamou a atenção foi quão pouco do trabalho é emitir certificados. Um comando. É tudo. O trabalho está todo nas promessas à volta: que um telemóvel revogado fica lá fora, que um telemóvel bom fica cá dentro, que a lista nunca está desatualizada. O step-ca cumpre a primeira e deixa o resto contigo, e as suas predefinições assumem que és uma frota de servidores a renovar-se todas as manhãs.\nIsso não é um defeito, é para quem foi feito. Mas é a distância entre o que uma ferramenta faz e o que se vende que ela faz. «Corre a tua própria CA» soa a um contentor e uma tarde. É um contentor, uma tarde, um template, uma CRL da raiz com uma data na agenda e um temporizador de que te vais esquecer que existe até ao dia em que para.\nFá-lo mesmo assim. Uma CA que corres tu é uma que mais ninguém pode desligar, mudar de preço ou ler. Fica só a saber que ser dono das chaves significa ser dono das tarefas, e são as tarefas que mantêm a porta fechada.\nSmallstep — step-ca configuration — maxTLSCertDuration, defaultTLSCertDuration, minTLSCertDuration; o bloco crl é «(experimental)», cacheDuration «Defaults to 24h».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nsmallstep/certificates v0.30.2 — authority/tls.go — o Issuing Distribution Point da CRL é o idpURL se estiver definido, caso contrário o nome da própria CA mais /1.0/crl, marcado como crítico.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nSmallstep — Certificate templates — crlDistributionPoints «defines URLs with the certificate revocation list».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nnginx — src/event/ngx_event_openssl.c — ssl_crl ativa X509_V_FLAG_CRL_CHECK|X509_V_FLAG_CRL_CHECK_ALL.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nnginx — ngx_http_ssl_module, ssl_crl — «When using intermediate certificates, their CRLs should be specified in the same file.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 5280 — Internet X.509 PKI Certificate and CRL Profile — secção 4.2.1.13: o DistributionPointName «SHOULD include at least one LDAP or HTTP URI».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nSmallstep — step certificate p12 — empacota um certificado, a sua chave e os certificados da CA num ficheiro PKCS12.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nHome Assistant Companion — Networking, TLS Client Authentication — experimenta primeiro a predefinição PKCS12 atual, e o contentor -legacy do OpenSSL só se isso falhar.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nhome-assistant/android — network_security_config.xml — as âncoras de confiança são system mais user: «Additionally trust user added CAs».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\n","permalink":"https://blogs.damiendye.uk/pt/certificates/step-ca-client-certificates-mtls/","summary":"O step-ca 0.30.2 a emitir certificados de cliente para TLS mútuo, testado de ponta a ponta com nginx 1.30.5 e Caddy 2.11.7. Porque é que os telemóveis são o caso difícil, subir no ca.json o limite de 24 horas dos certificados, ligar a CRL, porque é que ela falha com «different CRL scope» até o idpURL e um template acrescentarem um ponto de distribuição correspondente, a CRL da raiz de que o nginx precisa para a cadeia inteira, publicar as CRL por HTTP simples em IPv4 e IPv6, a tarefa de renovação que impede uma CRL expirada de trancar toda a gente lá fora, e emitir, empacotar, instalar e revogar o certificado de um telemóvel.","title":"Certificados de cliente do step-ca, e as predefinições que trancam toda a gente lá fora"},{"content":"A Mesma Fechadura, a Tua Própria Porta A App do Home Assistant Pela Cloudflare, Trancada Com Um Certificado põe a fechadura na periferia da Cloudflare. O telemóvel tem um certificado, a Cloudflare verifica-o, e tudo o que não o tenha nunca chega a casa. Funciona, é gratuito, e significa que é a Cloudflare que guarda o portão e lê o tráfego à passagem.\nIsto é a mesma fechadura com a porta na tua própria casa. O nginx ou o Caddy verifica o certificado. A tua própria autoridade de certificação emite-o. Mais ninguém está no caminho. A página de login continua invisível para tudo o que não tenha certificado, por isso o que muda não é se os estranhos entram. É quem faz o trabalho, e quem fica com o risco quando corre mal.\nTudo aqui foi montado e testado: nginx 1.30.5 e Caddy 2.11.7 em Podman, certificados do step-ca 0.30.2, cada proxy atacado sem certificado, com um certificado bom, com um revogado e com um upgrade para WebSocket, em IPv4 e IPv6. O backend do teste era um pequeno substituto que devolve os cabeçalhos que recebe, por isso os resultados mostram exatamente o que o Home Assistant receberia.\nO Que Muda Quando a Cloudflare Sai mTLS em casa com nginx ou Caddy Telemóvel tem certificado Outra pessoa sem certificado Uma inundação não precisa de cert. Rede de casa Router porta 443 sem escudo anti-DDoS nginx ou Caddy encadeia na tua CA? não revogado? IPv4 e IPv6 step-ca Home Assistant confia no proxy Recusado no handshake passa falha Agora tudo chega ao teu router. O proxy recusa o que não tenha um certificado bom antes de o Home Assistant o ver. Uma inundação não precisa de certificado e, sem nada a montante para a absorver, cai na tua linha. Versão com a Cloudflare nginx ou Caddy em casa Quem verifica o certificado A periferia da Cloudflare, com uma regra de WAF O teu proxy, durante o handshake TLS Autoridade de certificação Gerida pela Cloudflare A tua, step-ca para certificados de cliente Quem vê o tráfego decifrado A Cloudflare, depois o Home Assistant O teu proxy e o Home Assistant, mais ninguém Entrada a partir de fora Um túnel, só de saída Um reencaminhamento de porta para o proxy Um DDoS cai em cima de A Cloudflare A tua linha de casa A ligação de um estranho custa Nada em casa Um handshake TLS no proxy, nunca um login no Home Assistant IPv4 e IPv6 Ambos, a Cloudflare responde a qualquer um Ambos, se a linha tiver os dois e o proxy escutar nos dois Revogação Incluída, verificada pela regra O nginx verifica uma CRL; o Caddy mantém uma lista de permitidos Quando o fornecedor está em baixo Sem acesso remoto Nada muda Custos de funcionamento Plano gratuito Gratuito, mais o teu tempo com a CA As duas linhas que mais importam puxam em sentidos opostos. Mais ninguém lê o teu tráfego nem te pode desligar, e isso é soberania, a razão de ser disto tudo. Mas o reencaminhamento de porta está de volta, por isso as varreduras e as inundações batem na tua linha em vez da da Cloudflare. A diferença em relação ao simples reencaminhamento de porta da comparação no artigo da Cloudflare é o que encontram quando chegam: um proxy que corta a ligação durante o handshake, e não a página de login do Home Assistant.\nSê claro sobre o que isso compra e o que não compra. O teu próprio proxy reverso não te dá proteção nenhuma contra DDoS. O mTLS impede um estranho de entrar. Não faz nada para impedir um estranho de encher a tua linha, e uma inundação não precisa de certificado para a encher. A Cloudflare absorve isso por ti em todos os planos, incluindo o gratuito1. Aqui não há ninguém a montante para o absorver, por isso uma inundação suficientemente grande tira a casa inteira da internet, e o proxy só consegue recusar ligações que chega a ver.\nnginx Ou Caddy Os dois fazem o trabalho. Diferem num sítio que importa. A revogação.\nRevogação com nginx e com Caddy nginx: uma CRL, trazida por um temporizador step-ca revoga, CRL nova /1.0/crl HTTP simples Temporizador busca, recarrega nginx verifica a cadeia Caddy: uma lista de permitidos, mantida à mão Tu a cada reemissão Permitidos certs. exatos Recarregar após cada edição Caddy verificador leaf O nginx recebe uma CRL de um temporizador e verifica-a em cada ligação. O Caddy não suporta CRL, por isso a revogação é uma lista de certificados exatos que manténs à mão. nginx 1.30.5 Caddy 2.11.7 Sem certificado O handshake completa-se, 400 No required SSL certificate was sent Handshake recusado, curl sai com 55 Certificado revogado Recusado, 400 The SSL certificate error Entra diretamente só com a verificação da CA Método de revogação Uma CRL, verificada ao longo de toda a cadeia Uma lista de certificados permitidos, o verificador leaf WebSocket para a app Precisa dos cabeçalhos Upgrade e Connection definidos Funciona sem configuração extra IPv6 Só com listen [::]:443 acrescentado Escuta nos dois por omissão Configuração Cerca de 30 linhas Cerca de 15 linhas A revogação é o ponto a decidir. A documentação do Caddy lista exatamente um verificador incluído no Caddy padrão, o leaf, e verifica se o certificado «is one of a defined set of permitted certificates»2. Não há CRL nem OCSP para certificados de cliente. Aponta o Caddy só para a CA e um telemóvel revogado entra à vontade. O teste mostrou exatamente isso: o phone2, revogado uma hora antes, recebeu um 200. A lista de permitidos fecha a brecha. É também uma lista que manténs à mão, durante todo o tempo em que o tiveres a correr.\nA Configuração do nginx map $http_upgrade $connection_upgrade { default upgrade; \u0026#39;\u0026#39; close; } server { listen 443 ssl; listen [::]:443 ssl; server_name ha.example.com; ssl_certificate /etc/nginx/pki/server-chain.pem; ssl_certificate_key /etc/nginx/pki/server.key; ssl_protocols TLSv1.2 TLSv1.3; # The mTLS half: only certificates from our CA, and not revoked. ssl_client_certificate /etc/nginx/pki/client-ca.pem; ssl_verify_client on; ssl_verify_depth 2; ssl_crl /etc/nginx/pki/crl-chain.pem; location / { proxy_pass http://192.0.2.10:8123; proxy_http_version 1.1; proxy_set_header Host $host; proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for; proxy_set_header X-Forwarded-Proto $scheme; proxy_set_header Upgrade $http_upgrade; proxy_set_header Connection $connection_upgrade; } } Linha Porque está lá listen [::]:443 ssl Sem ela o nginx é só IPv4, e um telemóvel numa rede IPv6 não tem onde aterrar ssl_verify_client on Sem certificado, não entra. optional deixaria o pedido passar para ser julgado mais tarde ssl_verify_depth 2 O step-ca assina a partir de uma intermédia, por isso a cadeia é telemóvel, intermédia, raiz. O valor por omissão de 1 fica aquém3 ssl_client_certificate A intermédia e a raiz num só ficheiro ssl_crl A CRL do step-ca e uma CRL da raiz num só ficheiro. O nginx verifica cada elo da cadeia, por isso precisa das duas Upgrade e Connection A app fala com o Home Assistant por WebSocket. Sem isto a app carrega e depois fica ali parada O ficheiro da CRL é a parte que pede cuidado, e está tudo em Certificados de Cliente a Partir do step-ca: porque é que a CRL do step-ca é rejeitada até um modelo lhe corrigir o âmbito, porque é que o nginx também quer uma CRL da raiz, e o temporizador que a renova antes de expirar. Salta isso e o nginx tranca todos os telemóveis cá fora, incluindo os bons.\nO que o teste devolveu:\nCliente IPv4 IPv6 Sem certificado 400 No required SSL certificate was sent 400 phone1 200, X-Forwarded-For: 127.0.0.1 200, X-Forwarded-For: ::1 phone2, revogado 400 The SSL certificate error 400 phone1, upgrade para WebSocket 200, Upgrade: websocket passado adiante 200, Upgrade: websocket passado adiante Antes de entrar a linha listen de IPv6, o pedido em IPv6 nem sequer ligava. curl saiu com 7.\nA Configuração do Caddy ha.example.com { tls /etc/caddy/pki/server-chain.pem /etc/caddy/pki/server.key { client_auth { mode require_and_verify trust_pool file /etc/caddy/pki/client-ca.pem verifier leaf { file /etc/caddy/pki/allowed-phones.pem } } } reverse_proxy 192.0.2.10:8123 } require_and_verify significa que o certificado tem de lá estar e tem de encadear até à CA2. verifier leaf é a revogação. Só os certificados que estão em allowed-phones.pem entram, por isso revogar um telemóvel significa tirar o seu certificado desse ficheiro e recarregar.\nCliente IPv4 IPv6 Sem certificado Handshake recusado Handshake recusado phone1, na lista 200, X-Forwarded-For: 127.0.0.1 200, X-Forwarded-For: ::1 phone2, revogado, só verificação da CA 200 phone2, fora da lista Handshake recusado Handshake recusado phone1, upgrade para WebSocket em HTTP/1.1 200, Upgrade: websocket passado adiante A lista de permitidos tem uma armadilha própria, e o teste caiu direitinho nela. A lista guarda certificados exatos, não nomes. Volta a emitir o certificado de um telemóvel e o novo não está na lista. O phone1 foi reemitido a meio dos testes e o Caddy recusou-o com tls alert bad certificate até a lista ser refeita. Cada renovação passa a ser dois trabalhos. Emitir o certificado, e depois atualizar a lista. Esquece o segundo e o telemóvel fica trancado cá fora por nada.\nO Caddy também regista enabling strict SNI-Host enforcement because TLS client auth is configured ao arrancar. É ele a fazer a coisa certa: um pedido tem de pedir no handshake o mesmo nome de anfitrião que no pedido HTTP, para que ninguém passe a verificação do certificado para um site e depois peça outro.\nO Lado do Home Assistant As mesmas definições da versão com a Cloudflare, apontadas a um proxy diferente. Em Settings → System → Network → HTTP server4:\nDefinição Valor Porquê Trust X-Forwarded-For Ligado Sem isto o Home Assistant recusa os pedidos que passam por proxy Trusted proxies Só o endereço do proxy, IPv4 e IPv6, por exemplo 192.0.2.20 e 2001:db8::20 Só essa máquina pode afirmar que está a reencaminhar por alguém Enable IP banning Ligado Os banimentos caem no endereço real do cliente que o proxy passa adiante Home Assistant URL, Internet https://ha.example.com A app usa isto como o seu URL externo Põe na lista o endereço IPv6 do proxy, além do IPv4. O teste mostra o nginx a reencaminhar ::1 como endereço do cliente em IPv6, e em uso real reencaminha seja qual for o endereço de onde o telemóvel veio. Se o Home Assistant só confiar no endereço IPv4 do proxy, todos os pedidos que lhe cheguem do proxy por IPv6 são recusados.\nO Telemóvel Do step-ca, o telemóvel precisa de três ficheiros. Está tudo coberto no artigo sobre certificados de cliente do step-ca, e a montagem da própria CA em A Tua Própria Autoridade de Certificação.\nFicheiro Instalar como Certificado raiz Certificado de CA Certificado intermédio Certificado de CA O ficheiro PKCS12 do telemóvel Certificado de utilizador de VPN e apps5 O certificado de servidor no proxy também vem do step-ca. A app Android do Home Assistant confia nos certificados de CA que o utilizador instala6, por isso aceita-o, e isso é uma segunda fechadura, não um incómodo. Um dispositivo que não tenha a tua raiz não confia no servidor, antes sequer de se pôr a questão do seu próprio certificado.\nDepois define o nível de segurança da ligação da app para Most secure, tal como na versão com a Cloudflare7.\nOnde Isto Falha Caso O que acontece O que fazer A CRL expira O nginx recusa todos os telemóveis Renová-la com um temporizador, como no artigo do step-ca A CRL da raiz expira O mesmo, um ano depois Uma data na agenda Caddy, telemóvel revogado Entra, a não ser que tenha saído da lista de permitidos Manter a lista, ou usar o nginx Caddy, telemóvel reemitido Trancado cá fora até a lista ser atualizada Atualizar a lista a cada certificado Linha de casa atrás de NAT de operador, sem IPv6 Nada consegue chegar ao reencaminhamento de porta IPv6, ou a versão com a Cloudflare Uma inundação apontada à linha de casa Tira a casa toda do ar, não só o Home Assistant A versão com a Cloudflare, se isso te preocupar mais do que um terceiro iPhone, Wear OS O mesmo que na versão com a Cloudflare: o Android é a app documentada, o Wear OS quer o PKCS12 na configuração inicial5 Testar antes de confiar nisso Nada disto está escondido. Cada um é um trabalho. Escreve-o com uma data ou um comando ao lado e continua a ser um trabalho, não uma surpresa.\nSer Dono da Coisa Toda A versão com a Cloudflare e esta mantêm o mesmo estranho cá fora. A diferença é em quem tens de confiar enquanto o fazem.\nCom a Cloudflare confias numa empresa para guardar o portão, decifrar o tráfego e continuar a oferecê-lo de graça. Com isto confias em ti próprio para renovar uma CRL, manter uma lista em ordem e reparar quando chega uma data. Nenhuma das duas dispensa confiança. Uma espalha-a por alguém a quem não pagas nada e para quem não podes telefonar. A outra mantém-na em casa, onde a podes ver falhar e consertar.\nPara a porta da frente de uma casa, sei qual prefiro. O trabalho são uns quantos ficheiros e um temporizador. Como tal, a única coisa que realmente pede é que tomes conta dela, que é o que ser dono de alguma coisa sempre quis dizer.\nCloudflare — DDoS Protection — deteção e mitigação automática de DDoS, «Available on all plans».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCaddy — tls directive, client_auth — require_and_verify «Require clients to present a valid certificate that is verified»; «The one verifier, currently, shipped in standard Caddy is leaf», que verifica se o certificado «is one of a defined set of permitted certificates».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nnginx — ngx_http_ssl_module — ssl_verify_depth tem 1 por omissão; ssl_crl: «When using intermediate certificates, their CRLs should be specified in the same file.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nHome Assistant — HTTP integration — proxies reversos, proxies de confiança e banimento de IP; definições na interface desde a 2026.8.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nHome Assistant Companion — Getting Started, TLS client authentication — instalar como «VPN \u0026amp; app user certificate»; o Wear OS precisa do certificado fornecido como PKCS12 durante a configuração inicial.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nhome-assistant/android — network_security_config.xml — as âncoras de confiança são system mais user: «Additionally trust user added CAs».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nHome Assistant Companion — Connection security level — Most secure só usa um URL não cifrado na rede de casa.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\n","permalink":"https://blogs.damiendye.uk/pt/homeassistant/home-assistant-app-mtls-nginx-caddy/","summary":"Trancar a app do Home Assistant com um certificado de cliente, com nginx ou Caddy em casa e o step-ca como autoridade de certificação em vez da Cloudflare. O que muda quando a Cloudflare sai do caminho, uma configuração de nginx e outra de Caddy testadas cada uma sem certificado, com um bom, com um revogado e com um upgrade para WebSocket em IPv4 e IPv6, porque o nginx consegue verificar uma CRL e o Caddy só consegue manter uma lista de permitidos, as definições de proxy de confiança do Home Assistant, o que o telemóvel precisa de ter instalado, e onde é que isto falha.","title":"A App do Home Assistant Trancada Com Um Certificado, Com nginx Ou Caddy e Sem Cloudflare"},{"content":"Porquê ter a tua própria CA Olha para o que há hoje numa rede doméstica. Um NAS, Proxmox, Home Assistant, uma impressora, a página de administração de um router. Cada um deles serve HTTPS com um certificado autoassinado. Cada browser que lá vai dispara um aviso. As pessoas clicam para passar à frente. Depois clicam no seguinte, e no outro a seguir, até que passar à frente de um aviso de certificado é simplesmente o que se faz. É esse o hábito de que um atacante precisa.\nUma CA pública não resolve isto. A Let\u0026rsquo;s Encrypt não emite para localhost «because nobody uniquely owns it»1, e o mesmo vale para qualquer nome que só exista dentro de casa. Mesmo para um domínio verdadeiro, cada certificado que emite vai para os registos públicos de Certificate Transparency2. Pede um para nas.yourname.uk e o nome do teu NAS passa a ser do domínio público.\nA tua própria CA resolve as duas coisas. Assina os nomes que usares lá dentro. Nada é publicado em lado nenhum. Assim que cada dispositivo confia na sua raiz, os avisos param, e um aviso volta a querer dizer alguma coisa.\nO step-ca é a CA de código aberto da Smallstep, e corre num só contentor. Tudo aqui foi corrido no step-ca 0.30.2 em Podman, com o Caddy 2.11.7 e o nginx 1.30.5 como clientes.\nCaso de uso O que o step-ca lhe dá Secção Todos os dispositivos a confiar nos teus certificados Uma raiz para instalar, uma vez Confiar na raiz HTTPS interno para tudo o que fale ACME O mesmo protocolo da Let\u0026rsquo;s Encrypt, para nomes internos HTTPS interno com ACME Serviços sem cliente ACME Certificados que se renovam sozinhos com um temporizador Serviços que não falam ACME Telemóveis e outros certificados de cliente Chaves que um dispositivo guarda para entrar, e uma forma de as revogar Artigo próprio: as predefinições jogam contra Logins SSH Certificados em vez de authorized_keys Artigo próprio: uma configuração diferente Dois destes têm artigos próprios, porque cada um é uma configuração à parte. Certificados de cliente a partir do step-ca trata dos telemóveis e do mTLS, onde há cinco predefinições a mudar. Logins SSH assinados pelo step-ca trata do SSH, que usa chaves diferentes e ficheiros diferentes em cada máquina.\nArrancar com ela A imagem inicializa-se sozinha no primeiro arranque a partir de umas quantas variáveis de ambiente3. Duas delas decidem coisas que depois não se podem mudar sem começar de novo, por isso define-as no primeiro dia.\nVariável Faz DOCKER_STEPCA_INIT_NAME O nome do emissor em cada certificado DOCKER_STEPCA_INIT_DNS_NAMES Os nomes em que a CA responde DOCKER_STEPCA_INIT_ACME=true Acrescenta um provisionador ACME para HTTPS interno DOCKER_STEPCA_INIT_SSH=true Cria também chaves de CA SSH para anfitriões e utilizadores Os interruptores de ACME e SSH são lidos pelo entrypoint da imagem4. Liga-os já, mesmo que hoje só queiras um deles. Acrescentar SSH mais tarde obriga a construir uma CA nova.\npodman run -d --name step-ca \\ -v step:/home/step \\ -p 9000:9000 \\ -e DOCKER_STEPCA_INIT_NAME=\u0026#34;Home CA\u0026#34; \\ -e DOCKER_STEPCA_INIT_DNS_NAMES=\u0026#34;localhost,ca.home.example\u0026#34; \\ -e DOCKER_STEPCA_INIT_ACME=true \\ -e DOCKER_STEPCA_INIT_SSH=true \\ docker.io/smallstep/step-ca:0.30.2 Constrói uma raiz, uma intermédia assinada por essa raiz, as chaves SSH e três provisionadores, e depois serve na porta 9000:\nX.509 Root Fingerprint: cd2f8d4c60af32a0a534781cd63b4e2a9ce362e2c1ae5983b56a370bfa2c2489 SSH Host CA Key: ecdsa-sha2-nistp256 AAAAE2VjZHNhLXNoYTItbmlzdHAyNTYAAAAIbmlzdHAy... SSH User CA Key: ecdsa-sha2-nistp256 AAAAE2VjZHNhLXNoYTItbmlzdHAyNTYAAAAIbmlzdHAy... Serving HTTPS on :9000 ... Provisionador Tipo Assina admin JWK Tudo o que pedires com a palavra-passe dele acme ACME Certificados para clientes que provam ser donos do nome sshpop SSHPOP Renovações de certificados de anfitrião SSH O provisionador é a ideia que a CA tem de «quem está a pedir». Cada um tem as suas regras, e a maior parte do que se segue é definir essas regras.\nUma CA, cinco usos contentor step-ca Raiz, intermédia uma raiz em que confiar acme admin sshpop CRL provisionadores Cada dispositivo confia na raiz, uma vez Caddy, ACME 24 h, renova-se sozinho Sem ACME step ca renew --daemon Telemóveis 1 ano, revogado por CRL SSH artigo próprio Uma raiz, em que se confia uma vez, e um provisionador para cada forma de entrar. Os clientes ACME e os serviços renovados vivem bem com a predefinição de 24 horas; os telemóveis precisam que ela mude; o SSH tem artigo próprio. Fixa a versão. latest era a 0.30.2 no dia em que isto foi escrito, e uma CA é a última coisa que queres ver mudar debaixo dos pés num pull.\nDuas palavras-passe, não uma O guia de Docker da Smallstep diz que uma única palavra-passe gerada serve para «the encrypted CA keys and the default CA provisioner», guardada em secrets/password3. Nesta imagem não é isso que acontece. Tenta emitir um certificado com essa palavra-passe e o provisionador recusa-a:\nfailed to decrypt JWE: invalid password O próprio entrypoint da imagem explica porquê. Gera duas palavras-passe aleatórias, uma para as chaves da CA e outra para o provisionador. A do provisionador é escrita no log uma vez e depois destruída com shred4:\necho \u0026#34;👉 Your CA administrative password is: $(\u0026lt; $STEPPATH/provisioner_password )\u0026#34; ... shred -u $STEPPATH/provisioner_password Palavra-passe Desbloqueia Onde acaba secrets/password As chaves da raiz e da intermédia No volume, usada sempre que a CA arranca Palavra-passe do provisionador O provisionador admin, que assina cada certificado que pedires No log do primeiro arranque, e em mais lado nenhum Por isso lê o log no primeiro arranque e guarda essa segunda palavra-passe num sítio seguro. Perde-a e não consegues emitir mais nenhum certificado sem tirares o provisionador à mão. Define DOCKER_STEPCA_INIT_PASSWORD antes do primeiro arranque se preferires escolher tu uma; o entrypoint usa-a então para as duas4.\nConfiar na raiz Nada confia na tua CA até lhe dizeres para confiar. Uma máquina Debian a pedir ao Caddy uma página assinada pelo step-ca:\n$ curl https://nas.home.example/ curl: (60) SSL certificate problem: unable to get local issuer certificate Copia a raiz para lá, e o mesmo pedido passa:\ncp root_ca.crt /usr/local/share/ca-certificates/home-ca.crt update-ca-certificates $ curl https://nas.home.example/ internal service, certificate from step-ca O trabalho é só este. Uma vez por dispositivo. step certificate install faz o mesmo em qualquer sistema onde corra5. Só a raiz vai para um repositório de confiança. A intermédia viaja com cada certificado, e um telemóvel que vá apresentar um certificado de cliente também precisa dela, o que é tratado no artigo sobre certificados de cliente.\nTrata a raiz como a chave da porta da rua que agora é. Qualquer coisa que tenha a chave privada da raiz pode cunhar um certificado para qualquer nome, e todos os dispositivos que confiam nela vão acreditar.\nHTTPS interno com ACME ACME é o protocolo que a Let\u0026rsquo;s Encrypt usa, e o step-ca fala-o para nomes internos6. Tudo o que tenha um cliente ACME obtém certificados internos da mesma forma que obtém os públicos, renovações incluídas. Para o Caddy são duas linhas globais:\n{ acme_ca https://ca.home.example:9000/acme/acme/directory acme_ca_root /etc/caddy/root_ca.crt } nas.home.example { reverse_proxy 192.0.2.30:5000 } O que o Caddy registou no primeiro arranque:\n\u0026#34;msg\u0026#34;:\u0026#34;trying to solve challenge\u0026#34;,\u0026#34;identifier\u0026#34;:\u0026#34;nas.home.example\u0026#34;,\u0026#34;challenge_type\u0026#34;:\u0026#34;tls-alpn-01\u0026#34; \u0026#34;msg\u0026#34;:\u0026#34;certificate obtained successfully\u0026#34;,\u0026#34;identifier\u0026#34;:\u0026#34;nas.home.example\u0026#34; Verificação Resultado Desafio tls-alpn-01, respondido pelo Caddy na porta 443 Emissor Home CA Intermediate CA Validade 24 horas, das 17:31 às 17:32 do dia seguinte Renovação Trabalho do próprio Caddy, nada a configurar Um certificado de 24 horas parece alarmante. Não é. Um cliente ACME renova bem antes de expirar, todos os dias, sem ninguém metido nisso. Uma chave roubada vale um dia. É a predefinição à volta da qual o step-ca foi construído, e aqui está exatamente certa.\nO desafio precisa, isso sim, que a CA chegue ao nome que está a assinar. O step-ca tem de resolver nas.home.example e ligar-se a ele na porta 443 para tls-alpn-01, ou na porta 80 para http-01. Um DNS interno que os dois lados usem é a coisa a acertar primeiro.\nServiços que não falam ACME Há muito equipamento sem cliente ACME: a interface web de um hipervisor, uma impressora, um aparelho antigo. Para esses, emite o certificado com o provisionador admin e renova-o com step ca renew:\nstep ca certificate proxmox.home.example pve.crt pve.key step ca renew --force pve.crt pve.key Número de série Válido até Emitido 241943140971… 2026-10-10 17:33:03 Depois de step ca renew 206409156462… 2026-10-10 17:33:06 Número de série novo, 24 horas frescas, e nenhuma palavra-passe pedida. O certificado atual prova quem está a pedir, e é esse o objetivo: a renovação não precisa de nenhum segredo guardado na máquina além da chave que já lá está. Precisa, isso sim, que o certificado ainda seja válido, por isso uma renovação que falhe a janela obriga a emitir de novo à mão.\nDeixado a correr, renova-se sozinho. --daemon renova a dois terços da validade por predefinição, e --exec corre um comando depois de cada renovação, que é onde entra o reload7:\nstep ca renew --daemon --exec \u0026#34;systemctl reload nginx\u0026#34; pve.crt pve.key Corre isso a partir de uma unidade systemd e a máquina trata de si própria. Esquece-te disso, e em 24 horas o serviço atira o mesmo aviso de que te querias livrar.\nA CA é a parte fácil Pôr o step-ca a correr levou um comando. Pôr uma máquina Debian a confiar nele levou dois. O Caddy precisou de duas linhas e nunca mais pediu nada. É a parte que as pessoas adiam durante anos, a viver com um aviso do browser em cada página interna, e é o trabalho mais barato desta lista.\nO que custa é tudo o que um certificado toca depois de emitido: a raiz em cada dispositivo, as renovações que ninguém vigia, o único serviço que não fala ACME e de que alguém se tem de lembrar. Nada disto é difícil. Tudo isto é o tipo de trabalho que só fica bem feito quando alguém é dono dele.\nUma rede doméstica é uma propriedade pequena. Merece o mesmo que uma a sério recebe: uma raiz, guardada com cuidado, em que se confia de propósito, e um aviso que quer dizer alguma coisa quando aparece. Como tal, a CA não é a parte esperta. A parte esperta é nunca mais clicar para passar à frente.\nLet\u0026rsquo;s Encrypt — Certificates for localhost — não pode emitir para «localhost» «because nobody uniquely owns it, and it’s not rooted in a top level domain».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLet\u0026rsquo;s Encrypt — Certificate Transparency logs — «Let\u0026rsquo;s Encrypt submits all certificates we issue to CT logs.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nSmallstep — Run a private CA in Docker — as variáveis DOCKER_STEPCA_INIT_*; diz que a palavra-passe gerada serve para «the encrypted CA keys and the default CA provisioner».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nsmallstep/certificates — docker/entrypoint.sh — gera ficheiros password e provisioner_password separados, escreve a palavra-passe do provisionador uma vez e destrói-a com shred; uma palavra-passe fornecida é escrita nos dois.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nSmallstep — step certificate install — instala um certificado raiz no repositório de confiança do sistema.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nSmallstep — ACME basics — o provisionador ACME do step-ca e os tipos de desafio que suporta.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nSmallstep — step ca renew — com --daemon, «By default, it will renew the certificate before 2/3 of the validity period of the certificate has elapsed»; --exec permite «certificate reloads on your services».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\n","permalink":"https://blogs.damiendye.uk/pt/certificates/step-ca-in-a-container/","summary":"O step-ca 0.30.2 da Smallstep num contentor Podman ou Docker como autoridade de certificação para tudo dentro de casa, tudo testado. Porque é que uma CA privada bate os certificados autoassinados e os públicos para nomes internos, arrancá-la com ACME e SSH ligados, as duas palavras-passe que a imagem gera e para onde vai cada uma, confiar na raiz em cada dispositivo, HTTPS interno para o Caddy ou qualquer outra coisa que fale ACME, e step ca renew para os serviços que não falam. Os certificados de cliente e o SSH têm cada um o seu artigo.","title":"A tua própria autoridade de certificação: step-ca num contentor"},{"content":"O problema de chegar ao Home Assistant de fora O Home Assistant gere a casa aqui: as luzes, o aquecimento, o ar condicionado, o carregador do carro, os alarmes. A app no telemóvel é como tudo isso se usa fora de casa, e é também como a casa sabe onde estão os telemóveis, porque a app reporta a localização e os sensores em segundo plano.\nPor isso tem de funcionar quando não está ninguém em casa. A questão é como.\nA resposta habitual é pôr o Home Assistant na internet com um hostname e uma página de login. Funciona. Também quer dizer que qualquer pessoa no planeta consegue chegar à página de login, experimentar palavras-passe contra ela e sondar o que estiver por trás. Uma página de login é uma palavra-passe entre a internet e as fechaduras da tua porta da frente.\nEu não queria isso. Os requisitos eram curtos:\nNenhuma página de login acessível ao público. Nada responde a não ser que o dispositivo seja um dos nossos. A app do Home Assistant tem de continuar a funcionar em segundo plano, sem ninguém a passar por um login. Nada extra a correr nos telemóveis. Nenhum agente de VPN. O plano gratuito da Cloudflare. O túnel já lá está. Estes quatro eliminam a maior parte das opções habituais antes de começares.\nO que cada opção te dá de facto A própria documentação do Home Assistant enumera as formas de entrar: Home Assistant Cloud, uma VPN, um reverse proxy ou reencaminhamento de portas1. A Cloudflare junta as suas próprias versões das duas últimas. Eis como se saem face a esses quatro requisitos, o que pode correr mal com cada uma e quanto custa cada uma em bateria.\nOpção Quem chega à página de login A app funciona em segundo plano Extra no telemóvel O que custa de facto Riscos Custo de bateria IPv4 e IPv6 Reencaminhamento de porta para o Home Assistant Toda a gente Sim Nada Grátis na fatura. Cada scan e cada tentativa de palavra-passe corre no Home Assistant, e um DDoS cai na tua linha de casa Página de login aberta a todos os scanners. Um buraco no router direto para a LAN. Uma linha de casa atrás de carrier-grade NAT não tem porta para reencaminhar2. App: funciona em Android e iPhone, é só um URL Normal O IPv4 precisa de um endereço público teu, não de carrier-grade NAT. O IPv6 precisa de uma abertura na firewall, e um telemóvel numa Wi-Fi só IPv4 não lhe chega Cloudflare Tunnel, mais nada Toda a gente Sim Nada Grátis. A Cloudflare aguenta um DDoS, mas cada tentativa de palavra-passe continua a correr no Home Assistant Página de login aberta a todos os scanners e listas de palavras-passe. Uma palavra-passe adivinhada e o atacante tem uma máquina na tua LAN. App: funciona em Android e iPhone, é só um URL Normal Ambos. A Cloudflare responde em qualquer um3, e a casa só liga para fora4 Túnel mais um login do Cloudflare Access Só depois de um login Não, as chamadas em segundo plano batem no login Nada Grátis. Os estranhos param na Cloudflare, sem carga no Home Assistant A localização e os sensores deixam de reportar sem ninguém dar por isso. Só o Home Assistant é publicado, atrás do login. App: não consegue enviar o cabeçalho do service token que o Access exige5 Normal Ambos, como o túnel Túnel mais rede privada WARP Ninguém de fora Sim Agente WARP Grátis. Nada público para sondar Corre em portas UDP que a rede de um hotel ou de um escritório pode bloquear6. O Android permite uma VPN de cada vez7. Uma rota pode pôr a LAN inteira em todos os telemóveis inscritos8. App: não precisa de nada, mas o WARP tem clientes para Android e iPhone e nenhum para um relógio Wear OS9 Mais alto, uma VPN sempre ligada Ambos. O agente chega à Cloudflare por qualquer um6 Home Assistant Cloud Toda a gente com o URL Sim Nada £6,50 por mês ou £65 por ano10. As tentativas de palavra-passe continuam a correr no Home Assistant Página de login pública. A entrada está nas mãos da empresa de outra pessoa: sem entrada quando o serviço deles está em baixo. Uma palavra-passe adivinhada e o atacante tem uma máquina na tua LAN. App: funciona em Android e iPhone Normal Em casa, qualquer um, liga para fora a um relay da Nabu Casa11. O IPv6 para o telemóvel não está documentado Reencaminhamento de porta para nginx ou Caddy com certificado de cliente Só dispositivos com certificado Sim Um certificado e a raiz da tua própria CA Grátis na fatura. Um estranho custa um handshake TLS no proxy, nunca um login no Home Assistant, e um DDoS cai na tua linha de casa Um buraco no router para o proxy, não para o Home Assistant. És tu que geres a CA, e uma CRL desatualizada tranca todos os telemóveis cá fora. App: como na linha do certificado abaixo Normal Como o reencaminhamento de porta. O nginx tem de ser instruído a escutar em IPv6, o Caddy fá-lo por omissão Túnel mais certificado de cliente Só dispositivos com certificado Sim Um certificado Grátis. Os estranhos são recusados na periferia, sem carga no Home Assistant Um telemóvel perdido entra até ser revogado. HTTPS simples na 443, bloqueado só onde a web está. Só o Home Assistant é publicado, e só a quem tem certificado. App: suportado em Android; a app de iPhone não está documentada; o Wear OS precisa do ficheiro PKCS12 na configuração12 Normal Ambos, como o túnel O túnel também tira da mesa a questão IPv4 contra IPv6. A Cloudflare responde ao telemóvel no que ele tiver, e a casa só liga para fora, por isso uma linha de casa atrás de carrier-grade NAT, ou uma com IPv6 e nenhum IPv4 público, funciona como qualquer outra. Um reencaminhamento de porta precisa de um endereço IPv4 público teu, ou de IPv6 nas duas pontas. Porque é que tantas linhas de casa ainda não têm nem uma coisa nem outra é uma história à parte, em We Never Ran Out of Addresses. We Ran Out of Effort..\nO túnel sozinho resolve o router, não a exposição. O cloudflared faz apenas ligações de saída, por isso não há porta de entrada para reencaminhar13, mas o hostname que publica continua a servir a página de login a quem a pedir.\nO Cloudflare Access resolve? Para um browser, sim, e é assim que os desktops em Zero Trust VDI Without the Cloud Bill o usam. Para a app tem a forma errada. O Access põe uma pessoa à frente de uma página de login, e o tráfego da app em segundo plano não tem pessoa nenhuma. O contorno habitual é um service token enviado num cabeçalho, e a app não consegue enviá-lo. A sua web view não permite acrescentar cabeçalhos a pedidos POST nem a WebSockets, que é como a app fala com o Home Assistant, e a discussão entre programadores acaba nos certificados de cliente como «a better (more secure) alternative»5.\nO WARP resolveria, e foi posto de parte porque obriga a um agente em cada telemóvel. Uma VPN gasta mais bateria do que uma ligação normal, porque é um túnel mantido aberto o dia todo, esteja a app a falar ou não. Corre sobre UDP em portas que a rede de um hotel ou de um escritório pode descartar, o que te deixa trancado cá fora precisamente quando estás longe6. E o Android corre uma VPN de cada vez7, por isso o WARP e uma VPN do trabalho não podem estar ligados ao mesmo tempo. O Home Assistant Cloud é um bom serviço e paga o desenvolvimento, mas é uma subscrição, e o URL continua a servir uma página de login a quem o encontrar. Também entrega a entrada da tua casa à empresa de outra pessoa. O serviço deles, a conta deles, o preço deles, as condições deles. Isso é perda de soberania, e é a troca que todas as ofertas cloud te pedem: conveniência agora, outra pessoa no controlo para sempre.\nA Cloudflare não é diferente na natureza, e seria desonesto fingir o contrário. Todas as opções com túnel nesta tabela a põem no caminho, e ela termina o TLS na sua periferia, que é como a regra WAF consegue sequer ler a verificação do certificado. A diferença é quanto ela guarda. Aqui guarda o portão. O Home Assistant, os seus dados e as suas palavras-passe ficam em casa, e se a Cloudflare desaparecer a casa continua a funcionar, que é a última linha da tabela em «Onde falha». Se até isso for mais confiança do que queres entregar, a versão com nginx e Caddy faz a mesma verificação na tua própria casa, com a tua própria CA, e em troca fica com o reencaminhamento de porta e as tarefas da CA.\nSobra o certificado de cliente. O telemóvel prova o que é antes de o Home Assistant ver um único byte.\nO que custa realmente estar aberto à internet Grátis na fatura não é o mesmo que grátis. Tudo o que responde à internet paga por isso em carga na máquina. Cada tentativa de palavra-passe contra o login do próprio Home Assistant é uma verificação bcrypt de 12 rondas, e corre uma mesmo quando o utilizador não existe, por isso um estranho a adivinhar custa exatamente o mesmo que tu a entrar14. Essa carga cai na máquina que gere a casa, a toda a hora, enquanto os scanners continuarem a vir. E continuam a vir.\nMedi-o nesta montagem. O hostname ficou ativo às 22:38 de 14 de outubro de 2026 e não foi publicado em lado nenhum. Em menos de duas horas a Cloudflare tinha registado bem mais de cem pedidos a partir de uns vinte e tal endereços em Singapura, no Canadá, na Alemanha, nos Países Baixos, na Grécia e nos Estados Unidos, a maior parte de um crawler a percorrer o nome novo vezes sem conta. Não consigo provar como o encontraram, mas o momento aponta para a certificate transparency: a Let\u0026rsquo;s Encrypt regista cada certificado que emite15, e os scanners vigiam esses registos. Todos esses pedidos pararam na periferia. O Home Assistant não viu nenhum. Nem um byte.\nUm reencaminhamento de porta é ainda pior, porque põe o teu endereço de casa em jogo. Um DDoS apontado a ele enche a tua banda larga, e então a casa inteira fica sem internet, não só o Home Assistant. Atrás do túnel é a Cloudflare que leva com a enxurrada, em todos os planos incluindo o Free16, e não expulsa um cliente pelo tamanho de um ataque desde 201717. O certificado faz o último passo. Um estranho é recusado na periferia, e o Home Assistant não gasta nada com ele.\nDepois há a rede onde o Home Assistant está. Não é uma app web numa ilha. Está na LAN de casa ao lado das câmaras, do NAS e dos portáteis, e guarda as credenciais de bastantes deles. Passa o login dele e tens uma máquina dentro de casa, não apenas um painel. Um reencaminhamento de porta é um buraco no router apontado diretamente a essa máquina. O WARP falha para o outro lado, por ser generoso demais: uma rota pode publicar uma rede privada inteira para todos os telemóveis inscritos, e restringi-la é uma política separada que tens de te lembrar de escrever8. Perde um telemóvel com isso e quem o encontrar está na tua LAN. O certificado publica um hostname, para os dispositivos que têm um, e nada mais na rede é alcançável de fora.\nmTLS no plano gratuito: que metade é grátis Uma boa parte dos conselhos online diz que o mTLS na Cloudflare precisa de Enterprise. Não precisa. A Cloudflare vende mTLS duas vezes, e só uma delas precisa de Enterprise.\nCertificados de cliente mais regra WAF mTLS do Cloudflare Access Plano Free, Pro, Business, Enterprise Só Zero Trust Enterprise Autoridade de certificação Gerida pela Cloudflare (trazer a tua é Enterprise) Só a tua Certificados incluídos 100 ativos por zona Não se aplica Imposto por Uma regra personalizada da WAF que tu escreves Uma política do Access Revogação Integrada, verificada pela regra A tua própria CRL e um Worker A primeira coluna é a que queremos. Trazer a tua própria CA é Enterprise na Cloudflare. Fora da Cloudflare não custa nada, e certificados de cliente com o step-ca trata disso. A própria comparação da Cloudflare di-lo sem rodeios: a oferta Application Security inclui 100 certificados de cliente por zona gratuitamente, enquanto o mTLS do Access é uma funcionalidade Zero Trust Enterprise18. Os planos Free, Pro e Business têm 100 certificados ativos por zona, e revogar um liberta logo o lugar19. Dois telemóveis usam dois.\nO plano gratuito também tem cinco regras personalizadas da WAF20. Isto precisa de uma.\nComo funciona a verificação Fluxo do pedido pelo mTLS da Cloudflare até ao Home Assistant Telemóvel App HA tem certificado Outro qualquer um scanner sem certificado Periferia Cloudflare, plano gratuito Handshake mTLS ativo em ha.example.com pede certificado Regra WAF verificado? não revogado? senão Block Bloqueado nunca chega ao HA Rede de casa cloudflared túnel só de saída Home Assistant só confia nesse proxy banimento de IP ativo login é a 2.ª fechadura passa falha Cada pedido: a periferia pede um certificado durante o handshake, a regra WAF bloqueia tudo o que não esteja verificado ou esteja revogado, e só então o pedido desce pelo túnel até ao Home Assistant. A Cloudflare faz o trabalho na sua periferia. Quando o mTLS está ativo para um hostname, o handshake TLS pede um certificado ao cliente21. Isso sozinho não bloqueia nada. Um cliente que não envia certificado continua a ligar-se. Simplesmente chega com o campo de verificação a falso.\nO bloqueio é a regra WAF. A Cloudflare expõe o resultado da verificação do certificado como campos na sua linguagem de regras22:\n(http.host eq \u0026#34;ha.example.com\u0026#34; and (not cf.tls_client_auth.cert_verified or cf.tls_client_auth.cert_revoked)) Action: Block A segunda linha está lá por uma razão. Um certificado revogado continua a ser verificado, porque cert_revoked verdadeiro significa que cert_verified também é verdadeiro23. Verifica só o primeiro campo e um certificado revogado entra pela porta dentro. Revogar o certificado de um telemóvel perdido não vale nada se a regra não perguntar.\nMérito a quem o tem: o pessoal da discussão do Home Assistant para Android descobriu esta regra e publicou-a5. Bom trabalho, e poupou-me muita escavação.\nO lado do Home Assistant O Home Assistant tem de ser informado de que está atrás de um proxy, e isto não é opcional. Os pedidos vindos de um reverse proxy são bloqueados por conceção até o Home Assistant ser instruído a confiar nele24. O conector cloudflared do túnel conta como um.\nDesde a 2026.8 estas definições vivem na interface, em Definições → Sistema → Rede → Servidor HTTP, não no configuration.yaml24. Guardá-las reinicia o Home Assistant, e um administrador tem depois cinco minutos para confirmar as novas definições antes de elas voltarem atrás sozinhas. É uma rede de segurança que vale a pena conhecer antes de te trancares cá fora.\nDefinição Valor Porquê Confiar em X-Forwarded-For Ligado Sem isto, os pedidos via proxy são recusados Proxies de confiança Só o endereço da máquina do cloudflared Só essa máquina pode dizer que está a reencaminhar por alguém Ativar banimento de IP Ligado, poucas tentativas Os banimentos caem no endereço real do cliente, não no da Cloudflare URL do Home Assistant, Internet https://ha.example.com A app usa isto como o seu URL externo A entrada dos proxies de confiança é estreita de propósito. Confia numa sub-rede inteira e qualquer dispositivo nela pode forjar o endereço do cliente, o que torna a lista de banimentos inútil.\nDepois a app. A documentação da app Companion cobre esta configuração pelo nome. Se o Home Assistant estiver atrás de um reverse proxy que faz autenticação de cliente TLS, a app pede um certificado, e quer que ele seja instalado como «VPN \u0026amp; app user certificate»12. Num telemóvel sem certificado tens um erro ou um ecrã em branco, que é o resultado correto para um telemóvel que não devia entrar.\nPõe o nível de segurança da ligação da app em Mais seguro. O endereço local http:// simples passa então a ser usado só na Wi-Fi de casa, e em qualquer outro sítio a app usa o hostname HTTPS ou recusa-se a ligar25. Precisa da permissão de localização em «Permitir sempre» no Android, de que a app já precisa de qualquer forma para a localização em segundo plano.\nMontá-lo, passo a passo Passo Onde O quê 1 Túnel da Cloudflare Acrescenta um hostname público, ha.example.com, a apontar para o Home Assistant na LAN. Fixa primeiro o endereço da máquina. O meu é o endereço IPv6 construído a partir do MAC, por isso não pode mudar 2 SSL/TLS → Client Certificates Um certificado por telemóvel. Gera a chave na tua máquina e entrega à Cloudflare um CSR, que a API aceita26. A chave nunca sai da máquina que a gerou. Se deixares a Cloudflare gerar a chave, ela é mostrada uma vez e nunca mais19 3 Client Certificates → Hosts Ativa o mTLS para ha 4 Security → WAF → Custom rules Acrescenta a regra de bloqueio acima 5 SSL/TLS → Edge Certificates Always Use HTTPS ligado, TLS mínimo 1.2 6 Home Assistant → Rede Proxy de confiança, banimento de IP, URL externo, e depois confirma em cinco minutos 7 Uma máquina Linux Constrói um ficheiro PKCS12 por telemóvel 8 Cada telemóvel Instala-o como certificado de utilizador de VPN e apps, escolhe-o nas definições do servidor na app, depois força a paragem da app e abre-a outra vez. Põe a app em Mais seguro 9 Teste Dados móveis, Wi-Fi desligada. A app liga-se. Um browser sem o certificado é bloqueado Um certificado por telemóvel, não um partilhado. Quando um telemóvel se perde, revogas esse telemóvel e o outro continua.\nO telemóvel quer o certificado e a chave num único ficheiro PKCS12. A Cloudflare devolve o certificado em PEM e tu já tens a chave, por isso junta-os:\nopenssl pkcs12 -export -in phone1.pem -inkey phone1.key \\ -name \u0026#34;ha-phone1\u0026#34; -out phone1.p12 É aqui que as pessoas encravam. O Android é esquisito com a cifra dentro do ficheiro, e a documentação do Home Assistant diz para experimentar primeiro o formato por omissão atual e recorrer a um contentor legado com a opção -legacy do OpenSSL só se for recusado27. O mesmo conselho aparece nas discussões da comunidade em que um ficheiro que se instalou bem em equipamento Apple foi rejeitado pelo Android5. Não tens openssl no portátil? O módulo cryptography do Python escreve os dois contentores, o atual e o legado, e foi isso que construiu o meu.\nO caminho nos menus para o instalar muda entre fabricantes de telemóveis e versões do Android. A própria página da Google para o Pixel é um ponto de partida28. Digam os menus o que disserem, é o armazenamento de credenciais do utilizador que queres, não o armazenamento de CAs.\nCifrar o último salto O túnel termina no cloudflared, e o cloudflared corre na sua própria VM em casa. Daí até ao Home Assistant, a primeira montagem era HTTP simples pela LAN. Um troço do caminho sem TLS, dentro da rede que tem as câmaras. Não chega. Como tal, levou um certificado a sério, e as peças estão abaixo.\nPeça Definição Porquê Add-on Let\u0026rsquo;s Encrypt Desafio DNS, fornecedor dns-cloudflare, um token limitado a Zone, DNS, Edit nessa única zona29 O desafio HTTP não pode funcionar aqui. O validador não tem certificado de cliente, por isso a regra WAF bloqueia-o Servidor HTTP do Home Assistant Certificado /ssl/fullchain.pem, chave /ssl/privkey.pem, proxy de confiança e banimento de IP no mesmo gravar Um reinício em vez de dois Ingress do túnel https://[address]:8123 com originServerName definido para o hostname30 O cloudflared verifica o certificado da origem em vez de lhe dizerem para não olhar DNS interno O hostname responde com o próprio endereço da máquina dentro de casa Os telemóveis em casa vão diretamente a ela. O URL da LAN leva :8123; o de fora não pode, porque a Cloudflare não faz proxy dessa porta31 Renovação Uma automação corre o add-on todas as noites e reinicia o Home Assistant nos dias 1 e 15 O servidor HTTP carrega o certificado uma vez no arranque e nunca o volta a ler32 Duas coisas morderam pelo caminho. Guardar as definições do servidor HTTP reinicia o Home Assistant, e quando ele volta só fala HTTPS, por isso o separador de onde guardaste não consegue voltar a ligar-se. Abre o endereço HTTPS, entra aí, e a confirmação dos cinco minutos faz-se desse lado.\nA segunda é a renovação. A Let\u0026rsquo;s Encrypt dá-te noventa dias e o add-on renova quando faltam trinta, por isso um reinício duas vezes por mês apanha sempre o certificado novo com semanas de folga. Um reinício diário seria um incómodo para a casa e não compra nada.\nO que o telemóvel me ensinou Tudo o que está acima foi escrito antes de ter o telemóvel na mão. Três coisas só apareceram depois.\nO certificado vai parar ao Armazenamento de credenciais, em Credenciais do utilizador, marcado como instalado para VPN e apps, e o nome que escreves na instalação é o nome que todos os seletores te mostram a partir daí33. Instala-o duas vezes e ficas com duas entradas. Ambas funcionam. Foi assim que descobri.\nDepois os browsers. Com o certificado instalado, o Chrome mostrou o seletor do sistema da primeira vez que chegou ao hostname, enviou o certificado e aterrou na página de login. O Helium, uma build do Chromium sem Google que também uso, foi direto para a página de bloqueio e nunca chegou a perguntar ao keychain. Mesmo telemóvel, mesmo certificado, mesmo minuto.\nCliente Pergunta ao keychain do Android O que a periferia viu Chrome Sim, com um seletor Certificado verificado, até ao Home Assistant Helium Não Bloqueado, todos os pedidos App Companion, web view Sim, assim que a definição do servidor aponta para o certificado Painel carregado App Companion, cliente nativo Sim, mas só depois de forçar a paragem Envios para o webhook bloqueados até lá, 200 depois A app foi a que me custou tempo. Tem dois clientes: a web view que desenha o painel, e um nativo que envia os sensores e a localização para o webhook. Define o certificado de cliente TLS nas definições do servidor e o painel funciona logo. Os envios para o webhook continuaram a ser bloqueados na periferia, porque o cliente nativo montou a sua configuração TLS quando a app arrancou e não a volta a montar. Força a paragem da app, abre-a outra vez, e o registo da periferia mostra os envios a chegar ao Home Assistant com um 200. Nada na app te diz isto.\nE o URL. Com a Wi-Fi de casa desligada, a app tentou o hostname na porta 8123, porque o URL externo que eu tinha escrito trouxe a porta do da LAN. Essa porta vai para a Cloudflare, a Cloudflare não escuta nela, e a app ficou em timeouts de dez segundos a dizer que não conseguia ligar-se. O URL de fora é o hostname sem mais nada. A porta fica cá dentro.\nOnde falha Nada aqui está livre de arestas, por isso aqui ficam.\nCaso O que acontece O que fazer Telemóvel perdido ou vendido O certificado continua a funcionar até ser revogado Revoga-o em Client Certificates. A regra verifica a revogação Relógio Wear OS Não consegue usar o certificado instalado no telemóvel Fornece o ficheiro PKCS12 durante a configuração do próprio relógio12 iPhone A documentação da Companion marca esta secção como só Android Testa antes de confiares nisso Browser do portátil fora de casa Bloqueado, sem certificado Instala um certificado no browser, ou aceita-o Um browser que ignora o keychain do Android O Helium vai direto para a página de bloqueio O Chrome ou a app. Nada do lado do servidor pode ajudar Certificado renovado no Home Assistant O antigo é servido até um reinício O reinício duas vezes por mês na automação Cloudflare em baixo Nenhum acesso remoto A casa continua a funcionar localmente. É para isso que corre localmente A do browser é uma funcionalidade, não uma falha. Tudo o que não tem certificado é um estranho, e isso inclui o meu próprio portátil até eu lhe dar um.\nUma chave, não uma palavra-passe Uma palavra-passe é algo que sabes, e tudo o que sabes pode ser adivinhado, apanhado por phishing, reutilizado ou divulgado na fuga de dados de outra pessoa. Põe uma página de palavra-passe na internet e entraste num jogo de números contra toda a gente que tenha uma botnet e uma lista de palavras. Podes ganhá-lo durante anos. Só tens de perder uma vez.\nUm certificado é algo que o dispositivo tem. Ninguém o adivinha. Ninguém o experimenta um milhão de vezes, porque o pedido é descartado na periferia antes de haver alguma coisa contra a qual o experimentar. A página de login continua lá e continua a importar, mas agora é a segunda fechadura, não a única.\nO que está por trás dessa página não é uma app web. São as fechaduras, o aquecimento, o carregador do carro e as câmaras. Trata-o como a porta da frente, porque é isso que é.\nA parte a que continuo a voltar é que nada disto custa coisa alguma. A Cloudflare dá os certificados e a regra no plano gratuito. O Home Assistant documenta o lado da app na sua própria documentação da Companion. A única coisa que custa é um serão a ler os manuais como deve ser, e como tal a opção por omissão de uma página de palavra-passe virada para a internet inteira é uma escolha que as pessoas fazem por não os lerem.\nHome Assistant — Remote access — Home Assistant Cloud, VPN, reverse proxy e reencaminhamento de portas como as formas de entrar.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 6598 — IANA-Reserved IPv4 Prefix for Shared Address Space — o intervalo 100.64.0.0/10 para Carrier-Grade NAT, onde muitos clientes partilham um endereço público e nenhum deles tem uma porta de entrada.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCloudflare — IPv6 compatibility — ativo por omissão em todos os planos; a Cloudflare «auto generates AAAA DNS records to allow IPv6 clients to connect» aos hostnames com proxy.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCloudflare — Tunnel run parameters, edge-ip-version — o cloudflared liga-se à Cloudflare por IPv4 por omissão; 6 ou auto fá-lo usar IPv6.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nhome-assistant/android PR #3593 — Add custom header support — a web view não consegue acrescentar cabeçalhos a pedidos POST ou WebSocket; certificados de cliente sugeridos em vez de service tokens; utilizadores a reportar problemas de formato de certificado no Android.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCloudflare — Cloudflare One client firewall requirements — WireGuard em UDP 2408 com alternativas em UDP 500, 1701 e 4500; MASQUE em UDP 443.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nAndroid Developers — VpnService — «There can be only one VPN connection running at the same time.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCloudflare — Connect an IP/CIDR — «You can connect an entire private network, a subnet, or an application defined by a static IP»; as políticas de rede do Gateway para filtrar esse tráfego são um passo separado e recomendado.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCloudflare — Download Cloudflare One Client — clientes para Windows, macOS, Linux, iOS 15+, Android 5.0+ e ChromeOS; nenhum cliente Wear OS listado.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNabu Casa — Pricing — Home Assistant Cloud a £6,50 por mês ou £65,00 por ano, impostos não incluídos.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNabuCasa/hass-nabucasa — remote.py — o Home Assistant regista-se na Nabu Casa, recebe um server de relay e liga-se a ele para fora.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nHome Assistant Companion — Getting Started, TLS client authentication — instalar como «VPN \u0026amp; app user certificate»; o Wear OS precisa do certificado fornecido em PKCS12 durante a configuração inicial.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCloudflare — Cloudflare Tunnel — o cloudflared cria ligações só de saída, por isso não há nenhum listener de entrada na origem.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nHome Assistant core — auth/providers/homeassistant.py — palavras-passe com hash bcrypt a 12 rondas; um utilizador desconhecido continua a correr um checkpw fictício «to make timing the same as if user was found».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLet\u0026rsquo;s Encrypt — Certificate Transparency logs — «submits all certificates we issue to CT logs».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCloudflare — DDoS Protection — deteção e mitigação automáticas de DDoS, «Available on all plans».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCloudflare blog — Unmetered Mitigation — «Cloudflare will no longer terminate customers, regardless of the size of the DDoS attacks they receive, regardless of the plan level they use.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCloudflare — Use mTLS with Cloudflare protected resources — «100 Client Certificates per Zone are included for free»; o mTLS do Access é uma «Zero Trust Enterprise only feature».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCloudflare — Create a client certificate — 100 certificados ativos por zona nos planos Free, Pro e Business; revogar liberta o lugar; o certificado e a chave não voltam a ser mostrados depois da criação.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCloudflare — WAF custom rules — tabela de disponibilidade: cinco regras personalizadas no plano Free.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCloudflare — Enable mTLS — ativar o mTLS por hostname e depois impô-lo com uma regra personalizada da WAF.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCloudflare — Client certificate variables — os campos mTLS disponíveis para as regras personalizadas da WAF.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCloudflare — cf.tls_client_auth.cert_revoked — «When true, the cf.tls_client_auth.cert_verified field is also true.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nHome Assistant — HTTP integration — reverse proxies, proxies de confiança e banimento de IP; definições passadas para a interface na 2026.8 e revertidas se não forem confirmadas em cinco minutos.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nHome Assistant Companion — Connection security level — Mais seguro só usa um URL sem cifra na rede de casa; precisa da localização em «Permitir sempre» no Android.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCloudflare API — Create Client Certificate — aceita um csr e validity_days; a chave privada fica contigo.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nHome Assistant Companion — Networking, TLS Client Authentication — experimentar primeiro o PKCS12 por omissão atual, e o contentor -legacy do OpenSSL só se esse falhar.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nGoogle — Pixel Phone Help, Add \u0026amp; remove certificates — instalar um certificado manualmente num Pixel.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nHome Assistant Let\u0026rsquo;s Encrypt add-on — documentation — desafio DNS; o token da Cloudflare «requires only the Zone:DNS:Edit permission»; os certificados só renovam quando o add-on é iniciado outra vez.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCloudflare — Origin configuration parameters — originServerName, o hostname que o cloudflared espera no certificado da origem.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCloudflare — Network ports — a lista fixa de portas HTTP e HTTPS de que a Cloudflare faz proxy; a 8123 não está nela.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nhome-assistant/core — components/http/server.py — _create_ssl_context chama load_cert_chain uma vez, a partir de async_bind.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nAndroid Developers — KeyChain — credenciais instaladas pelo utilizador e o seletor choosePrivateKeyAlias que uma app chama para escolher uma.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\n","permalink":"https://blogs.damiendye.uk/pt/homeassistant/home-assistant-app-over-cloudflare-mtls/","summary":"Chegar ao Home Assistant pela app Android fora de casa sem pôr uma página de login na internet. Como as opções de acesso remoto se comparam em exposição, custo real (carga na máquina e DDoS, além da fatura), risco de bloqueio e bateria, porque o Cloudflare Access e os service tokens não servem a app, como os certificados de cliente do plano gratuito e uma regra personalizada da WAF prendem um hostname do túnel aos telemóveis que têm um certificado, que definições do Home Assistant o reverse proxy exige, como construir o ficheiro PKCS12, pôr um certificado Let\u0026rsquo;s Encrypt na origem e porque é que a renovação precisa de um reinício, o que os scanners fizeram nas primeiras duas horas, e o que o telemóvel, o Chrome, o Helium e os dois clientes da app Companion fizeram cada um com o certificado. Uma versão autoalojada com nginx ou Caddy é outro artigo.","title":"A app do Home Assistant através da Cloudflare, presa a um certificado, no plano gratuito"},{"content":"Entro no meu portátil com uma YubiKey. PIN, toque, ambiente de trabalho. Nenhuma palavra-passe escrita.\nDepois arranca a primeira aplicação que quer um segredo guardado e o GNOME atira-me uma caixa: «An application wants access to the keyring \u0026lsquo;Login\u0026rsquo;, but it is locked.» Em cada login. A mesma caixa, a mesma pergunta, uma palavra-passe que me tinham acabado de dizer que eu não precisava.\nNenhuma peça está avariada. Cada parte está a fazer aquilo para que foi construída. O problema é que o keyring foi desenhado partindo do princípio de que um login envolve sempre uma palavra-passe, e um login sem palavra-passe quebra esse pressuposto sem avisar ninguém.\nPorque é que um login com chave deixa o keyring à fome O keyring de sessão é onde o ambiente de trabalho guarda os segredos que as aplicações lhe entregam: chaves de Wi-Fi, chaves de armazenamento do browser, os tokens que os clientes de chat, os gestores de palavras-passe e as aplicações de videoconferência usam para se manterem autenticados. Fica no disco cifrado com a tua palavra-passe de login, e a Secret Service API1 é a forma como as aplicações pedem o que está lá dentro.\nNormalmente nunca o vês. Escreves a palavra-passe no ecrã de login, a pilha PAM verifica-a contra a conta, e um módulo de keyring mais abaixo na mesma pilha apanha discretamente essa mesma palavra-passe e usa-a para abrir o keyring antes de o teu ambiente de trabalho ter sequer acabado de se desenhar. Uma palavra-passe, dois trabalhos.\nA minha pilha começa com esta linha:\nauth sufficient pam_u2f.so cue sufficient quer dizer que uma YubiKey bem-sucedida termina a autenticação ali mesmo. É exatamente o que a Yubico documenta para o login sem palavra-passe2. Funciona. Também quer dizer que o passo da palavra-passe nunca corre, por isso não há palavra-passe na pilha para o módulo de keyring apanhar. O keyring fica trancado até alguma coisa o pedir, e essa coisa é a primeira aplicação que arrancar.\nDuas formas de entrar, e o que cada uma dá ao keyring Duas formas de entrar, e o que cada uma dá ao keyring O keyring só abre com uma palavra-passe. Entrar com YubiKey nunca a produz, por isso é o script que a dá. Login com palavra-passe o pam_unix verifica a palavra-passe o pam_oo7 passa a mesma palavra-passe ao oo7-daemon o keyring de sessão decifra-se com ela keyring aberto, sem pedido Login com YubiKey (PIN + toque) o pam_u2f é sufficient, por isso fecha a pilha sem passo de palavra-passe, não existe nenhuma ao oo7-daemon não chega nada keyring trancado, pedido no 1.º uso Script de arranque automático PIN + toque, a chave devolve o hmac-secret decifra a palavra-passe guardada, abre o keyring As apps que leem o keyring esperam que ele abra, por isso nenhuma pode levantar o pedido antes. Um login com palavra-passe entrega ao keyring a única coisa com que ele abre. Um login com chave não lhe entrega nada. O script de arranque automático à direita é a construção que este artigo descreve. As soluções habituais, e o que cada uma custa Há quatro respostas comuns para isto. Cada uma delas abdica de alguma coisa.\nSolução O que ganhas O que custa Escrever a palavra-passe no pedido Nada para construir O pedido, em cada login. A chave não te poupou nada Palavra-passe do keyring em branco O pedido desaparece Todos os segredos guardados ficam no disco sem cifra Palavra-passe e chave no login Dois fatores a sério, o keyring abre-se sozinho Escrever a palavra-passe em cada login, que era para isso que servia a chave Palavra-passe selada no TPM, desbloqueada no login Sem pedido, sem escrever Quem conseguir uma sessão nessa máquina fica com os segredos. Sem PIN, sem chave envolvida hmac-secret da YubiKey (este artigo) Sem pedido, PIN + toque, o login com palavra-passe continua a funcionar Um segundo PIN e toque depois do login, e um script para manter A palavra-passe em branco é aquela em que acaba a maioria das discussões nos fóruns, e é a pior de todas. O caminho do TPM é respeitável, mas o TPM nunca te pergunta nada, por isso o que ele protege é um disco arrancado do portátil, não uma sessão onde alguém se sentou enquanto foste fazer um chá. Eu queria o keyring ligado à mesma coisa a que o meu login está ligado: a chave, e o PIN que vem com ela.\nA chave consegue guardar um segredo Uma chave FIDO2 faz mais do que dizer sim ou não. A norma CTAP 2.1 tem uma extensão chamada hmac-secret, que «is used by the platform to retrieve a symmetric secret from the authenticator when it needs to encrypt or decrypt data using that symmetric secret»3.\nA forma como funciona é bastante simples. Quando crias uma credencial, a chave gera valores aleatórios e guarda-os dentro de si. Mais tarde envias-lhe um salt, e ela devolve um HMAC desse salt com o seu valor escondido como chave. A mesma credencial, o mesmo salt, a mesma resposta todas as vezes. Outra chave, nada.\nO pormenor que interessa aqui: a chave guarda dois desses valores escondidos, CredRandomWithUV e CredRandomWithoutUV3. UV é a verificação do utilizador, que nesta chave quer dizer o PIN. Pede com o PIN e recebes um segredo. Pede só com um toque e recebes um completamente diferente. Portanto o PIN não é uma verificação aparafusada à frente do segredo. Faz parte do segredo.\nEntrada Onde vive Sozinha dá-te ID da credencial e salt ~/.local/share/yubikey-keyring/, ficheiros simples Nada. Não são secretos Palavra-passe do keyring cifrada A mesma pasta, password.enc Nada sem o segredo de decifra Valor escondido da credencial Dentro da YubiKey, nunca sai de lá Nada sem o salt e um toque PIN A tua cabeça Escolhe o segredo com PIN. PIN errado, nenhum segredo, e a chave conta a tentativa As quatro juntas devolvem a palavra-passe da conta. Tira qualquer uma e ficas no pedido, que é onde terias ficado de qualquer forma.\nO que construí com o Claude A palavra-passe do keyring é a palavra-passe da minha conta, de propósito. Isso mantém o login com palavra-passe a funcionar da forma normal: escreve-a no ecrã de login e a pilha PAM abre o keyring sozinha, sem script envolvido. É o caminho da YubiKey que precisa de ajuda.\nPeça Trabalho yubikey-keyring-setup Uma vez só. Cria a credencial FIDO2 na chave com hmac-secret ativo. Precisa do PIN e de um toque yubikey-keyring-reset Pede a palavra-passe da conta, verifica-a contra a conta real com unix_chkpwd antes de mexer em seja o que for, cifra-a com o segredo protegido por PIN, faz cópia de segurança do keyring antigo e cria o novo yubikey-keyring-unlock Corre no login. Diálogo de PIN, toque, decifrar, desbloquear. Duas tentativas de PIN, depois desiste e deixa-te o pedido normal wait-for-keyring Envolve as entradas de arranque automático de todas as aplicações que leem o keyring. Segura cada uma até 60 segundos, até o keyring estar aberto O segredo sai do fido2-assert4 com -h para o hmac-secret, -p para o toque e -v para o PIN. A palavra-passe é cifrada com OpenSSL, AES-256 com 200 000 rondas de PBKDF2 sobre o segredo derivado. No login, a palavra-passe só viaja por um pipe. O segredo derivado e, durante um reset, a palavra-passe escrita ficam por instantes num diretório temporário privado em /tmp, que no Fedora é tmpfs em RAM, e são apagados assim que são usados. Nenhum deles vai alguma vez parar a uma linha de comandos onde o ps o pudesse ver.\nO wait-for-keyring é a peça que as pessoas saltariam. Não o faças. A ordem do arranque automático não é garantida, e se uma aplicação pedir o seu token um segundo antes de eu ter acabado de escrever o PIN, o GNOME levanta o pedido antigo por cima do meu, e a solução parece avariada quando não está.\nOs scripts são teus para levar: yubikey-keyring.zip, SHA-256 9b3670cf0f38c1b93e7738d2f68abef0380786d918491973e3ebefa5143e6263. Contém os scripts, um instalador, um README e o ambiente de teste descrito abaixo. Não tem nenhuma credencial, salt ou palavra-passe. Esses são criados na tua própria máquina quando corres o setup. Lê o README e depois corre test/run.sh antes de deixares qualquer parte disto chegar perto do teu keyring real.\nO que a construção revelou Isto era para ser uma hora de trabalho. A maior parte da noite foi para coisas que a documentação não menciona.\nO daemon tinha mudado debaixo de mim Todos os guias que li para este problema falam com o gnome-keyring-daemon, e todos me teriam mandado na direção errada, porque o processo que respondia na minha máquina era o oo7-daemon 0.7.0, uma beta. O portátil tinha passado para o Fedora 45 nessa mesma noite, uma transação dnf de 5464 passos, e o oo7 tinha chegado com ela.\nO oo7 é uma implementação em Rust do Secret Service, com o seu próprio servidor e o seu próprio módulo PAM5. Para seu mérito, implementa a interface D-Bus privada do gnome-keyring para desbloquear com uma palavra-passe, por isso as ferramentas existentes continuam a funcionar. Essa interface chama-se org.gnome.keyring.InternalUnsupportedGuiltRiddenInterface6. O nome diz-te quanto confiar nela. Funciona, testei-a, e mesmo assim conto que um dia mude.\nA primeira palavra-passe que escreves torna-se a palavra-passe do keyring Esta explicou a noite inteira.\nQuando o oo7 arranca e não encontra nenhum ficheiro de keyring, não cria um: mostra às aplicações um placeholder trancado chamado login, e a primeira palavra-passe que alguém use para desbloquear esse placeholder torna-se a palavra-passe do keyring, embora o ficheiro em si só seja escrito quando uma aplicação guarda o seu primeiro segredo.\nO meu ficheiro de keyring foi criado às 20:45, e o seu primeiro item veio de uma aplicação que tinha arrancado uns segundos antes. Portanto, às 20:45 escrevi qualquer coisa num pedido que queria tirar da frente, e isso tornou-se a palavra-passe. Nada do que tentei depois o abriu. O código de desbloqueio também não tinha culpa: provei isso num keyring descartável com uma palavra-passe conhecida, que trancou, desbloqueou e foi apagado sem problemas.\nDepois verifiquei o placeholder num daemon descartável. Antes de o ficheiro existir, qualquer palavra-passe o desbloqueia, incluindo uma errada. Por isso nada te diz, no momento, que acabaste de definir uma palavra-passe. Descobres no login seguinte, quando a palavra-passe certa, tanto quanto sabes, é recusada.\nEstado Desbloquear com qualquer palavra-passe O que é escrito Sem ficheiro de keyring, placeholder visível Funciona Nada ainda Primeiro item guardado n/a Ficheiro criado, cifrado com o que foi escrito Todos os logins seguintes Só funciona a palavra-passe das 20:45 n/a Por isso deixei de andar atrás disso. O reset faz cópia de segurança do keyring antigo, desbloqueia o placeholder com a palavra-passe da conta e guarda logo um item marcador, para que o ficheiro seja escrito ali mesmo, com uma palavra-passe que eu conheço.\nAs ferramentas FIDO2 só aceitam um PIN de um terminal O fido2-cred e o fido2-assert leem o PIN do terminal de controlo e de mais lado nenhum. Um script arrancado no login não tem terminal. Por isso há um pequeno wrapper que corre a ferramenta num pseudo-terminal, espera pela palavra PIN na saída e escreve o PIN vindo de um diálogo. Vinte linhas de Python. Não é bonito, mas faz o trabalho e o PIN nunca toca num ficheiro nem numa lista de argumentos.\nTesta-o num sítio onde não te possa fazer mal A coisa mais útil que o Claude Code fez foi recusar-se a confiar no script de reset no meu keyring real. Correu primeiro o fluxo todo contra um segundo oo7-daemon numa sessão D-Bus privada (dbus-run-session), com um diretório pessoal descartável, um keyring antigo falso e uma palavra-passe de teste com £, @, \u0026quot; e # lá dentro.\nA primeira execução falhou. Ainda bem. O reset moveu o keyring antigo para a cópia de segurança, reiniciou o daemon, viu o placeholder login do oo7, tomou-o por um keyring real e parou. Na minha máquina, isso ter-me-ia deixado sem keyring nenhum e com uma cópia de segurança para restaurar à mão. O script agora desbloqueia o placeholder em vez de o recusar, e se alguma coisa falhar depois de feita a cópia de segurança, repõe sozinho o keyring antigo.\nA própria verificação de segurança do Claude Code também travou uma versão anterior do reset no keyring real até eu a ter confirmado. Irritante na altura. Decisão acertada.\nTeste, no daemon descartável Resultado Reset a partir de um pedido no terminal, keyring antigo com cópia de segurança Passa Palavra-passe antiga contra o keyring novo Recusada Daemon novo, como no login Arranca trancado Palavra-passe errada Recusada Palavra-passe correta, o mesmo caminho de um login com palavra-passe Desbloqueia Daemon novo, PIN + toque pelo script de desbloqueio Desbloqueia Script de desbloqueio com o keyring já aberto Sai logo, sem pedir toque Depois mais uma vez na coisa real, com o keyring trancado à mão e o script de desbloqueio corrido da mesma forma que o login o corre: PIN, toque, aberto.\nAs arestas por limar É uma configuração que funciona, não um produto acabado, e estas são as partes que conheço.\nDuas entradas de PIN por login com chave. Uma no ecrã de login para o PAM, outra para o keyring. São pedidos separados à chave e a chave não os junta. Um keyring só com toque poupava um, à custa de o PIN não proteger nada depois do login. Muda a palavra-passe da conta e a cópia guardada fica desatualizada. O script de desbloqueio diz isso numa notificação em vez de falhar em silêncio. Corre o reset outra vez e fica resolvido. Perde a chave e voltas a escrever a palavra-passe. Nada se perde, porque a palavra-passe continua a ser a palavra-passe da conta. Algumas aplicações reescrevem os seus próprios ficheiros de arranque automático. Se uma delas voltar a levantar o pedido, é por isso, e o wrapper tem de ser reposto. O oo7 é uma beta, e a chamada de desbloqueio passa por uma interface com «Unsupported» no nome. Cada atualização do oo7 merece um login de teste antes de confiares nela. Fecho O keyring nunca esteve avariado. A chave também não. Foram construídos sobre pressupostos diferentes do que é um login, e ninguém a montante os ligou. O login sem palavra-passe está documentado pela Yubico, vem nos perfis authselect do Fedora e liga-se com uma flag de funcionalidade. Nada disso te diz que, no momento em que o usas, todos os segredos que o teu ambiente de trabalho guarda ficam trancados atrás de uma palavra-passe que já não estás a escrever.\nComo tal, a lacuna cai sobre quem está sentado à máquina, e a solução só é tão boa quanto o que essa pessoa percebe de onde o segredo vive de facto. A resposta fácil, uma palavra-passe em branco, é aquela para onde a maioria das pessoas é empurrada, e troca uma caixa de diálogo por um ficheiro sem cifra com todos os tokens que tens. Isso não é uma solução. Isso é desistir em silêncio.\nA forma certa esteve lá o tempo todo. A chave consegue guardar um segredo, a norma di-lo com todas as letras, e o PIN pode fazer parte desse segredo em vez de ser uma porta à frente dele. Levou uma noite e um ambiente de teste a ligar tudo. Não devia ter precisado de nenhum dos dois.\nfreedesktop.org, Secret Service API Draft — a API D-Bus que as aplicações de ambiente de trabalho usam para guardar e obter segredos, implementada tanto pelo gnome-keyring como pelo oo7.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nYubico, pam-u2f — «For a passwordless experience, where the authenticator PIN can be used in place of the user password», com a linha de exemplo auth sufficient pam_u2f.so authfile=/etc/u2f_mappings cue pinverification=1.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nFIDO Alliance, Client to Authenticator Protocol 2.1, section 12.5 HMAC Secret Extension — «This extension is used by the platform to retrieve a symmetric secret from the authenticator when it needs to encrypt or decrypt data using that symmetric secret», e «The authenticator generates two random 32-byte values (called CredRandomWithUV and CredRandomWithoutUV)».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nYubico, libfido2 fido2-assert manual — a ferramenta de linha de comandos usada para pedir uma asserção, com as opções de hmac-secret, presença do utilizador e PIN.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nlinux-credentials/oo7 on GitHub — «server: org.freedesktop.secrets server implementation» e «pam: PAM integration for the server implementation».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\ncódigo-fonte do oo7, server/src/gnome/internal.rs — a implementação no oo7 da interface interna de desbloqueio do gnome-keyring, incluindo UnlockWithMasterPassword.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\n","permalink":"https://blogs.damiendye.uk/pt/random/yubikey-login-locked-keyring/","summary":"Entras com uma YubiKey e o GNOME pede-te uma palavra-passe na mesma, porque o keyring de sessão está cifrado com uma palavra-passe que o teu login nunca produziu. Este artigo explica porque é que o pam_u2f como sufficient deixa o keyring à fome, o que custam as soluções habituais (palavra-passe em branco, escrevê-la na mesma, o TPM), e a solução que construí: o hmac-secret FIDO2 da chave, protegido por PIN e toque, a decifrar uma cópia guardada da palavra-passe da conta e a desbloquear o oo7-daemon no login. Depois, o que a construção revelou: o Fedora 45 tinha trocado o gnome-keyring pelo oo7, o keyring placeholder do oo7 adota como sua a primeira palavra-passe que escreves, as ferramentas FIDO2 só leem um PIN de um terminal, e um script de reset que me teria deixado sem keyring nenhum, apanhado por ter sido testado primeiro contra um daemon descartável. Os scripts, um instalador e esse ambiente de teste estão disponíveis para download.","title":"A minha YubiKey faz-me entrar. Ao meu keyring ninguém disse nada."},{"content":"A licença já está no firmware Muita gente tem uma licença do Fisher-Price OS (Windows) sem nunca ter visto a sua chave de produto. Veio com a máquina, e a chave vive no firmware dessa máquina, numa pequena tabela ACPI chamada MSDM.\nDepois a máquina deixa de ser o sítio onde o trabalho acontece. Ou o dono quer essa licença numa VM que agora te aluga, ou a própria máquina é apagada, transformada num anfitrião Proxmox, e a cópia do sistema que veio com ela é pedida de volta como VM por cima.\nMecanicamente, é uma opção do QEMU. Esse é o problema. O QEMU entrega qualquer tabela a um convidado sem a verificar, o convidado ativa com a chave que encontrar, e nada em parte nenhuma da pilha pergunta se a licença permite alguma coisa disto. Este artigo trata do que é a tabela, de como a pôr numa VM sem passar adiante uma corrompida, do que os termos da Microsoft dizem sobre movê-la, e de porque uma licença por volume nunca se aproxima dela.\nO que é a tabela Desde o OEM Activation 3.0, um fabricante de PCs já não imprime a chave num autocolante por baixo da caixa, onde qualquer pessoa com a câmara do telemóvel a pode copiar, e a chave passa a ir para o firmware da máquina. As ferramentas de fábrica da Microsoft «injects the product keys into the firmware», e o passo de validação verifica «that the MSDM table exists» e que o cabeçalho e as entradas «comply with the correct formats»1. Uma máquina preparada assim é «activated by using the OA3 DPK in the firmware»2. A MSDM é uma tabela ACPI comum, e no Linux lê-se diretamente do firmware:\nsudo cat /sys/firmware/acpi/tables/MSDM \u0026gt; msdm.bin O portátil em que isto foi escrito tem uma. 85 bytes.\nA especificação publicada pela Microsoft define o cabeçalho ACPI normal de 36 bytes com a assinatura MSDM, e depois para. Tudo o que vem depois do cabeçalho é uma «Proprietary data structure that contains all the licensing data necessary to enable Windows activation»3.\nBytes Contém Conhecido a partir de 0 a 35 o cabeçalho ACPI normal: assinatura MSDM, comprimento, checksum, OEM ID a especificação da Microsoft 36 a 55 20 bytes de campos: versão, tipo de dados, comprimento dos dados tabelas reais, não uma especificação publicada 56 a 84 a chave de produto de 29 caracteres, cinco grupos de cinco tabelas reais, não uma especificação publicada O QEMU passa tudo o que lhe deres O -acpitable file= do QEMU recebe a «whole ACPI table from the specified files, including all ACPI headers (possible overridden by other options)»4, e o convidado vê então uma tabela MSDM exatamente como o firmware de um portátil a apresentaria. Isso foi verificado com uma chave deliberadamente falsa. Os bytes saíram do outro lado idênticos, da assinatura ao último carácter.\nO QEMU não recusa nada. Isto é o que o hw/acpi/core.c faz com um ficheiro estragado5:\nO que está mal no ficheiro O que o QEMU faz O que o convidado vê O comprimento no cabeçalho não bate com o ficheiro avisa, e depois substitui o comprimento pelo tamanho real um cabeçalho válido O checksum não soma zero recalcula-o, em todas as tabelas, sempre um checksum válido Chave truncada ou mutilada nada, os dados depois do cabeçalho não são da sua conta uma tabela de aspeto válido à volta de uma chave estragada O convidado não tem forma de notar a diferença, e tu também não, até alguém abrir um pedido de suporte. A primeira notícia que alguém tem disto é um cliente cuja ativação falhou.\nPor isso, se os clientes enviam estes ficheiros, verifica-os antes de o QEMU os ver:\n#!/usr/bin/env python3 \u0026#34;\u0026#34;\u0026#34;Refuse anything that is not a well-formed MSDM table before QEMU sees it.\u0026#34;\u0026#34;\u0026#34; import re, struct, sys t = open(sys.argv[1], \u0026#39;rb\u0026#39;).read() fail = lambda why: sys.exit(f\u0026#34;{sys.argv[1]}: {why}\u0026#34;) if len(t) \u0026lt; 56: fail(f\u0026#34;{len(t)} bytes, too short for an MSDM table\u0026#34;) sig, length = t[:4], struct.unpack_from(\u0026#39;\u0026lt;I\u0026#39;, t, 4)[0] if sig != b\u0026#39;MSDM\u0026#39;: fail(f\u0026#34;signature is {sig!r}, not MSDM\u0026#34;) if length != len(t): fail(f\u0026#34;header says {length} bytes, file is {len(t)}\u0026#34;) if sum(t) \u0026amp; 0xff: fail(\u0026#34;checksum does not sum to zero\u0026#34;) ver, _, dtype, _, dlen = struct.unpack_from(\u0026#39;\u0026lt;5I\u0026#39;, t, 36) if (ver, dtype) != (1, 1): fail(f\u0026#34;version {ver}, data type {dtype}: expected 1 and 1\u0026#34;) if dlen != 29 or 56 + dlen != length: fail(f\u0026#34;data length {dlen}: expected 29\u0026#34;) key = t[56:].decode(\u0026#39;ascii\u0026#39;, \u0026#39;replace\u0026#39;) if not re.fullmatch(r\u0026#39;([0-9A-Z]{5}-){4}[0-9A-Z]{5}\u0026#39;, key): fail(\u0026#34;data is not a 5x5 product key\u0026#34;) print(f\u0026#34;OK OEM {t[10:16].decode(errors=\u0026#39;replace\u0026#39;).strip()!r} key *****-*****-*****-*****-{key[-5:]}\u0026#34;) Verifica Compara o ficheiro com Uma falha significa Assinatura, comprimento, checksum o cabeçalho documentado pela Microsoft o ficheiro está estragado Versão, tipo de dados, comprimento dos dados, forma da chave a forma que as tabelas reais têm olha para este à mão, não «isto é falsificado» Nunca imprime a chave, só o último grupo. Uma chave de produto num ficheiro de registo é uma chave de produto que outra pessoa pode usar.\nExecutado contra uma tabela boa e três cópias estragadas dela:\nOK OEM \u0026#39;EXMPLE\u0026#39; key *****-*****-*****-*****-EEEEE bad-sum.bin: checksum does not sum to zero bad-trunc.bin: header says 85 bytes, file is 70 bad-sig.bin: signature is b\u0026#39;SLIC\u0026#39;, not MSDM Para onde vai, e quem a pode lá pôr Do envio do cliente à chave com que o convidado ativa Tabela do cliente msdm.bin, 85 bytes da própria máquina Validador assinatura, comprimento, checksum, forma da chave Guardada /etc/pve/priv/ só root, todos os nós args da VM -acpitable file= definido só pelo root QEMU reescreve o comprimento, recalcula o checksum, não recusa nada Convidado MSDM em ACPI, a ativação lê a chave O validador fica à frente do QEMU porque o QEMU corrige um cabeçalho estragado em vez de o recusar. A tabela vive na metade privada do sistema de ficheiros do cluster, por isso acompanha a VM para qualquer nó e só o root a pode ler. Uma chave de produto é um segredo. Não pertence a nenhum sítio onde o www-data a possa ler, e o pmxcfs dá-te exatamente um lugar em /etc/pve onde não pode6:\nOnde a tabela poderia viver Quem a pode ler Em todos os nós para onde a VM pode migrar /etc/pve/priv só o root sim qualquer outro sítio em /etc/pve legível pelo grupo, incluindo o www-data da interface web sim um diretório num só nó o que tu definires não Com 85 bytes, está muito longe do limite de 1 MiB por ficheiro do pmxcfs7:\nmkdir -p /etc/pve/priv/msdm check-msdm.py upload.bin \u0026amp;\u0026amp; cp upload.bin /etc/pve/priv/msdm/9000.bin qm set 9000 --args \u0026#34;-acpitable file=/etc/pve/priv/msdm/9000.bin\u0026#34; O qm set --args substitui a linha inteira. Se a VM já tiver opções de SMBIOS ou de firmware em args, escreve-as todas juntas. E como args é só para root, isto é trabalho para o teu aprovisionamento, não algo que um cliente possa fazer a partir da interface web. É assim que deve ser. O cliente fornece o ficheiro, as tuas ferramentas verificam-no e anexam-no.\nA tabela move uma chave, não um direito É aqui que esta funcionalidade pede cabeça fria. Mover a tabela MSDM para uma VM move a chave. Não a licença.\nOs próprios termos da Microsoft dizem-no, e as linhas que importam cabem numa tabela:\nCaso O que a Microsoft diz Fonte Licença OEM, movê-la transferível para outro utilizador «only with the licensed device» termos da licença OEM8 Licença OEM, quantas instalações «only one instance of the software for use on one device, whether that device is physical or virtual» termos da licença OEM8 Licença OEM, por palavras simples «locked» ao PC original «and cannot be transferred to any other PC» blogue da Microsoft para pequenas empresas9 A exceção as disposições de transferência «do not apply» quando o software foi adquirido na Alemanha ou numa lista de outros países termos da licença OEM8 Alojá-la para clientes o Services Provider License Agreement é para «hosted applications to end customers» SPLA10 Edições de desktop como VMs alojadas «VMs must be hosted by a Qualified Multitenant Hoster (QMTH)» Microsoft Learn11 A tabela vem sempre da máquina licenciada do próprio cliente, nunca dos teus anfitriões. O caso que cabe por inteiro dentro do texto é o mais simples: a máquina com que a licença foi vendida, agora a correr Proxmox, com essa mesma cópia do Fisher-Price OS (Windows) movida para uma única VM nela. Continua a ser uma instância num dispositivo, e os termos OEM permitem-no «whether that device is physical or virtual»8. Uma segunda VM, ou outra máquina, e já não é.\nNesse único caso, a máquina do cliente e o hipervisor são a mesma caixa, por isso não há nada para enviar nem nada para copiar. O kernel do Proxmox já expõe a tabela MSDM do firmware em /sys/firmware/acpi/tables/, legível só pelo root, e o QEMU no Proxmox corre como root, por isso pode tirar a tabela diretamente dali:\nqm set 100 --args \u0026#34;-acpitable file=/sys/firmware/acpi/tables/MSDM\u0026#34; Apontar para a tabela viva em vez de uma cópia tem duas consequências. O caminho é lido no nó em que a VM arrancar, por isso isto pertence a um anfitrião isolado e não a um cluster: migra a VM e ela ou recebe a tabela desse nó, uma licença diferente numa máquina diferente, ou nem arranca, porque o QEMU recusa um ficheiro em falta com can't open file … No such file or directory. E é uma linha, o que a torna uma linha para colar numa segunda VM. Essa segunda VM é o caso que os termos não cobrem, por isso uma VM recebe-a e mais nenhuma.\nPortanto, constrói a funcionalidade. O mecanismo é sólido, e há clientes com direito a usá-lo; um que tenha comprado a licença na Alemanha pode bem estar entre eles. Mas põe o direito onde ele pertence: nos teus termos de serviço, o cliente garante que tem uma licença que cobre a execução na tua VM, e fá-lo antes de o botão de envio fazer seja o que for. O validador prova que a tabela está bem formada. Nada prova que seja dele para usar.\nAs licenças por volume nunca se aproximam da tabela Pode um cliente com uma licença por volume usar o mesmo caminho? Não. Não há nada para a tabela transportar.\nA MSDM pertence ao canal OEM e a mais nada. O próprio guia de planeamento da Microsoft diz que a ativação OEM «is available only for computers that are purchased through OEM channels and have the Windows operating system preinstalled»12. As licenças por volume ativam através de um de três outros modelos, «Multiple Activation Keys (MAK)», «KMS» e «Active Directory-based activation»12, e em todos eles a chave é instalada no sistema operativo. Nada a lê do firmware.\nMétodo Onde vive a chave Com quem fala o convidado Numa VM do Proxmox OEM, OA 3.0 a tabela MSDM no firmware os servidores de ativação da Microsoft o caminho -acpitable acima MAK instalada no convidado a Microsoft, uma vez, descontada das ativações da chave funciona com acesso à internet ou por telefone KMS uma chave genérica (GVLK) no convidado o anfitrião KMS do cliente em TCP 1688 precisa de uma rota até ele, e de 25 clientes ou 5 servidores antes de ativar seja o que for Active Directory uma GVLK no convidado os controladores de domínio do cliente, pelo menos a cada 180 dias precisa da VM juntada ao domínio dele AVMA uma chave genérica no convidado a própria licença Datacenter do anfitrião Hyper-V simplesmente não está disponível Por isso, para um cliente com licença por volume, não há nada a construir no hipervisor. A chave dele vai na imagem dele, e a tua parte é o caminho de rede: a porta 1688 até ao anfitrião KMS dele, ou uma VPN até aos controladores de domínio dele. O espaço da MSDM fica vazio, e deve ficar.\nHá duas coisas que apanham as pessoas desprevenidas. A chave genérica dos suportes de volume não ativa nada sozinha, porque «the GVLK doesn\u0026rsquo;t work unless a valid KMS host key can be found»12, por isso uma VM construída a partir do ISO Enterprise do cliente sem rota para casa fica por ativar. E uma licença por volume de desktop não é uma licença por si só. Os programas por volume «cover upgrades to Windows client operating systems only», e «an existing retail or OEM operating system license is needed for each computer»12. A licença por volume assenta numa licença de base, muitas vezes a mesma licença OEM de que tratava a secção anterior, e se pode correr na tua VM continua a ser a questão de alojamento daquela tabela, não uma questão de ativação.\nO AVMA merece uma linha só para si, porque é o que parece ser a resposta. É a forma da Microsoft de um anfitrião ativar os seus próprios convidados servidor, ligando «the VM activation to the licensed virtualization host», e exige «a Windows Server Datacenter edition with the Hyper-V server host role installed»13. A Microsoft é clara quanto ao resto: «AVMA doesn\u0026rsquo;t work with other server virtualization technologies»13. No Proxmox, os convidados servidor ativam com as tuas chaves SPLA ou com o KMS do próprio cliente.\nNada na pilha verifica a papelada Cada camada aqui faz o seu trabalho e nada mais. O firmware guarda uma chave. O QEMU copia os bytes e arruma o cabeçalho. O convidado lê a chave e ativa com ela. Nenhuma delas consegue dizer se a máquina por baixo é aquela com que a licença foi vendida, e nenhuma delas foi alguma vez feita para isso.\nPor isso a verificação cai em cima de quem gere o hipervisor. Uma licença é um acordo entre quem a comprou e a Microsoft, e a tua plataforma não é parte nele, mas é a coisa que move a chave, e isso torna a questão tua, quer a tenhas pedido quer não.\nEscreve a resposta antes de o botão de envio fazer seja o que for. Uma máquina, uma VM, a licença do próprio cliente e a palavra dele de que ela cobre isto. Não custa nada, e protege-te tanto a ti como a ele. O software move qualquer chave que lhe entreguem. Se o devia ter feito é uma pergunta a que só uma pessoa sabe responder, por isso garante que há uma.\nMicrosoft Learn, OA 3.0 on the factory floor — «injects the product keys into the firmware»; /Validate verifica «that the MSDM table exists».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nMicrosoft Learn, Validate an OEM Activation key — «is activated by using the OA3 DPK in the firmware».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nMicrosoft, Microsoft Software Licensing Tables (SLIC and MSDM) — tabela 2, offset 36: «Proprietary data structure that contains all the licensing data necessary to enable Windows activation.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nQEMU, System Emulation, Invocation — campos de -smbios por tipo; -acpitable «For file=, take whole ACPI table from the specified files, including all ACPI headers»; -boot «Currently Seabios for X86 system support it.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nQEMU v11.0.3, hw/acpi/core.c — «ACPI table has wrong length» é um warn_report, depois o comprimento é substituído e o checksum recalculado.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\npve-cluster, src/pmxcfs/pmxcfs.c — os caminhos sob priv são mascarados para 0777700, tudo o resto para 0777750.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\npve-cluster, src/pmxcfs/memdb.h — #define MEMDB_MAX_FILE_SIZE (1024 * 1024) // 1 MiB.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nMicrosoft, Windows 11 OEM licence terms — «you may transfer the license to use the software directly to another user, only with the licensed device»; as disposições de transferência «do not apply if you acquired the software in Germany» ou nos países listados. Cópia arquivada; a página ao vivo recusa pedidos automáticos.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nMicrosoft, small business blog archive — «the OEM Windows license is \u0026rsquo;locked\u0026rsquo; to the original PC it comes with and cannot be transferred to any other PC.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nMicrosoft, Services Provider License Agreement — «for service providers and software development companies licensing eligible Microsoft products to provide software services and hosted applications to end customers.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nMicrosoft Learn, Windows subscription activation for VDA — «VMs must be hosted by a Qualified Multitenant Hoster (QMTH).»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nMicrosoft Learn, Plan for volume activation — os três modelos de ativação por volume; os limiares do KMS de «at least five computers» para servidores e «at least 25 computers» para clientes, na porta TCP 1688; a ativação baseada em Active Directory a precisar do domínio «at least once every 180 days»; «the GVLK doesn\u0026rsquo;t work unless a valid KMS host key can be found»; as licenças por volume «cover upgrades to Windows client operating systems only».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nMicrosoft Learn, Automatic Virtual Machine Activation in Windows Server — «AVMA requires a Windows Server Datacenter edition with the Hyper-V server host role installed»; «AVMA doesn\u0026rsquo;t work with other server virtualization technologies.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\n","permalink":"https://blogs.damiendye.uk/pt/proxmox/moving-an-oem-licence-into-a-proxmox-vm/","summary":"Uma licença OEM do Fisher-Price OS (Windows) vive no firmware do PC como uma tabela ACPI chamada MSDM, e o QEMU passa qualquer tabela destas a um convidado sem a verificar. Este artigo trata do que a tabela contém, de um validador que recusa tabelas malformadas antes que o QEMU repare em silêncio os seus cabeçalhos, de como guardá-las na metade privada do sistema de ficheiros do cluster Proxmox, dos termos da Microsoft sobre mover uma licença OEM, do único caso que eles permitem com clareza, de tirar a tabela diretamente do anfitrião quando a máquina licenciada é o hipervisor, e de porque a ativação MAK, KMS, Active Directory e AVMA nunca toca na tabela.","title":"Mover uma licença OEM para uma VM do Proxmox, e o que se move com ela"},{"content":"O que o teu cliente vê quando a tua VM arranca Vendes máquinas virtuais com o teu próprio nome. Um cliente liga uma, e a primeira coisa no ecrã é o logótipo de outra pessoa.\nIsso é uma VM Proxmox de origem. Nada está avariado, e o Proxmox não está a fazer nada de errado: o produto é deles e o nome é deles, escreveram o firmware e a interface em que aparece, e têm todo o direito de o pôr lá, da mesma forma que um fabricante de servidores põe o seu emblema na frente da caixa. Só que não é teu.\nO logótipo é só o começo. Isto é o que um convidado UEFI de origem reporta com o firmware atual do Proxmox, pve-edk2-firmware 4.2026.08-1, lido de dentro do convidado com o dmidecode:\nOnde o convidado olha O que lê De quem é o nome Ecrã de arranque o logótipo do Proxmox Proxmox Fabricante do firmware (SMBIOS tipo 0) Proxmox distribution of EDK II Proxmox Versão do firmware 4.2026.08-1 a versão do pacote do Proxmox Fabricante do sistema (tipo 1) QEMU QEMU Nome do produto (tipo 1) Standard PC (Q35 + ICH9, 2009) QEMU Fabricante do chassis (tipo 3) QEMU QEMU Placa base (tipo 2) nem sequer existe ninguém Interface web de gestão o logótipo do Proxmox, em cima à esquerda Proxmox E o logótipo de arranque também não fica pelo firmware. O firmware UEFI entrega a imagem que desenhou ao sistema operativo através de uma tabela ACPI chamada BGRT, a Boot Graphics Resource Table, que existe para dizer «an image was drawn on the screen during boot»1, e o sistema operativo desenha-a outra vez no seu próprio ecrã de arranque. O Fisher-Price OS (Windows) põe-na por cima da sua roda giratória, e a Microsoft chama à BGRT «the standard interface that Windows uses to access the logo»2. O tema Plymouth por omissão do Fedora faz o mesmo em Linux3. Portanto, um convidado com o firmware do Proxmox mostra o logótipo do Proxmox duas vezes antes de alguém ter iniciado sessão.\nNada disto é difícil de mudar. Mantê-lo mudado é que é. O próximo apt full-upgrade vai repor discretamente metade, e a metade que não repõe é a que te devia preocupar, que é aquilo de que trata a maior parte deste artigo.\nOnde cada peça da marca entra no arranque Ligar O QEMU monta SMBIOS e ACPI a partir da config Firmware O OVMF desenha o logótipo embutido, o SeaBIOS um splash Entrega tabelas SMBIOS, ACPI com BGRT e MSDM Arranque do SO redesenha o logótipo do firmware a partir da BGRT Convidado ativo lê as strings, a ativação lê a chave MSDM config da VM ficheiro de pacote config da VM ficheiro de pacote config da VM vive em /etc/pve, sobrevive a todas as atualizações vive em /usr/share, o apt substitui-o A marca entra no arranque em cinco sítios. Três saem da própria configuração da VM e sobrevivem a tudo o que o apt faça. Dois vêm de ficheiros que pertencem a um pacote do Proxmox, e são esses que uma atualização leva de volta. A tabela MSDM nessa passagem não é marca nenhuma. Transporta uma chave de licença, e passar uma para dentro de uma VM tem o seu próprio artigo: Passar uma licença OEM para uma VM Proxmox.\nTudo o que está em /usr/share pertence ao apt Há uma regra que decide todas as escolhas abaixo. Um ficheiro que um pacote instalou é ficheiro do pacote. Edita-o no sítio e a próxima atualização desse pacote reescreve a tua edição sem dizer nada, porque, no que toca ao dpkg, está só a pôr o seu próprio ficheiro de volta onde o deixou.\nPor isso cada peça da marca tem de viver num sítio que não pertença ao apt. Um nó Proxmox tem três sítios desses, e cada um custa uma coisa diferente:\nOnde vive Como lá chega Sobrevive a uma atualização O que te custa A configuração da VM em /etc/pve smbios1, e args para tudo o resto Sim, a configuração nunca é tocada por um pacote args é só para root, e não aparece na GUI Um ficheiro que o dpkg foi instruído a deixar em paz dpkg-divert Sim, a cópia do pacote vai para um nome .distrib As atualizações deixam de chegar ao ficheiro, o que importa quando o ficheiro é firmware O teu próprio diretório, fora da árvore dos pacotes /usr/local, referido a partir de args Sim, nenhum pacote é dono dele Tens de o pôr em cada nó tu próprio A descrição que a própria Debian faz de um desvio é a mais clara: «a way of forcing dpkg not to install a file into its location, but to a diverted location»4. Isso resolve a interface web. Para o firmware é uma de duas opções, e a mais perigosa.\nO chassis é meia dúzia de strings e uma verificação de permissões O SMBIOS é a tabela que uma máquina usa para se descrever: quem a fez, que modelo é, o seu número de série, como são a placa e a caixa5. O dmidecode lê-a, todas as ferramentas de inventário de ativos que alguma vez apontaste a uma rede leem-na, o painel de informações do sistema do Fisher-Price OS (Windows) lê-a, e a maior parte das verificações de licença que decidem se um programa vai sequer correr numa determinada máquina também. Numa VM, quem a escreve é o QEMU. Daí o QEMU e o Standard PC na tabela acima.\nO tipo 1 através do smbios1 O Proxmox expõe uma estrutura SMBIOS na configuração da VM: o tipo 1, System Information, como smbios16. Aceita manufacturer, product, version, serial, sku, family e uuid.\nO senão está no qemu-server, não na documentação. Todos os campos exceto uuid têm de corresponder a um padrão base64, [A-Za-z0-9+\\/]+={0,2}, por isso um valor simples com um espaço lá dentro é recusado logo à partida. As strings reais são codificadas em base64 com base64=1 definido, e o qemu-server descodifica-as outra vez antes de construir a linha de comandos do QEMU7. O editor de SMBIOS da GUI faz isto a cada gravação, com o comentário «smbios values can be arbitrary, so encode and mark config as such»8. Na linha de comandos, o trabalho é teu:\nb() { printf %s \u0026#34;$1\u0026#34; | base64 -w0; } qm set 9000 --smbios1 \u0026#34;uuid=$(qm config 9000 | sed -n \u0026#39;s/.*uuid=\\([0-9a-f-]*\\).*/\\1/p\u0026#39;),base64=1,\\ manufacturer=$(b \u0026#39;Example Cloud Ltd\u0026#39;),product=$(b \u0026#39;EC Compute Instance\u0026#39;),\\ version=$(b \u0026#39;2026.10\u0026#39;),family=$(b \u0026#39;General Purpose\u0026#39;),sku=$(b \u0026#39;ec-gp-4c16g\u0026#39;)\u0026#34; Repara no uuid a voltar a entrar. É a identidade de máquina do convidado, e o que passares ao --smbios1 é guardado como a opção inteira, por isso lê-o primeiro e mantém-no.\nPõe a marca no modelo, não em cada VM. Um clone Proxmox recebe um UUID gerado de novo e mantém todos os outros campos do smbios1, por isso cada clone sai com a sua própria identidade e as tuas strings9, com uma exceção, mais abaixo.\nOs tipos 0, 2, 3 e 11 através de args O smbios1 fica pelo tipo 1. O fabricante do firmware, a placa base, o chassis e as strings OEM passam todos por args, a linha que o Proxmox passa diretamente ao QEMU, e que a sua própria documentação diz ser «for experts only»6. A opção -smbios do QEMU aceita os campos de cada tipo10:\nargs: -smbios \u0026#39;type=0,vendor=Example Cloud Ltd,version=EC-FW 1.0,date=10/04/2026,uefi=on\u0026#39; -smbios \u0026#39;type=2,manufacturer=Example Cloud Ltd,product=EC Virtual Board,version=1.0\u0026#39; -smbios \u0026#39;type=3,manufacturer=Example Cloud Ltd,version=1.0,asset=EC-ASSET-123,sku=ec-gp\u0026#39; -smbios \u0026#39;type=11,value=example-cloud:instance=123\u0026#39; Arrancado no QEMU com essas linhas, o dmidecode do convidado lê:\nEstrutura Campo De origem Com a marca Tipo 0 Vendor Proxmox distribution of EDK II Example Cloud Ltd Tipo 0 Version 4.2026.08-1 EC-FW 1.0 Tipo 1 Manufacturer QEMU Example Cloud Ltd Tipo 1 Product Name Standard PC (Q35 + ICH9, 2009) EC Compute Instance Tipo 1 Family não especificado General Purpose Tipo 2 Manufacturer estrutura ausente Example Cloud Ltd Tipo 2 Product Name estrutura ausente EC Virtual Board Tipo 3 Manufacturer QEMU Example Cloud Ltd Tipo 3 Asset Tag não especificado EC-ASSET-123 Tipo 11 String 1 estrutura ausente example-cloud:instance=123 Apareceram quatro armadilhas pelo caminho. As quatro são silenciosas.\nFornecer o tipo 0 faz desaparecer o «UEFI is supported». O OVMF escreve o seu próprio tipo 0 só quando o QEMU não forneceu nenhum; o ciclo que percorre as tabelas do QEMU define NeedSmbiosType0 = FALSE no momento em que encontra um tipo 011. A tua string de fabricante substitui a do Proxmox, que é o objetivo. Mas o tipo 0 do QEMU substitui também as características de firmware do OVMF, e sem uefi=on a linha «UEFI is supported» desaparece do dmidecode. Repõe-na com uefi=on. Para convidados UEFI há de qualquer forma uma casa melhor para a string do fabricante, dentro do próprio firmware, mais abaixo.\nO tipo de chassis não pode ser definido. O tipo 3 do QEMU aceita manufacturer, version, serial, asset e sku, e mais nada10. Fica Other.\nDuas definições do mesmo tipo fundem-se, e a última ganha. O qemu-server põe o seu -smbios type=1 cedo na linha de comandos e os teus args mesmo no fim12, por isso um segundo -smbios type=1,manufacturer=… em args não deita fora o primeiro: o QEMU fundiu-os campo a campo, o fabricante veio de args, e o UUID ficou onde o smbios1 o pôs. Isso importa para a quarta armadilha.\nAs duas metades têm donos diferentes. O qemu-server verifica permissões opção a opção. O smbios1 está com as opções de hardware e precisa de VM.Config.HWType, enquanto o args cai no caso genérico lá no fundo, que diz «only root can set»13. A placa, o chassis, o fabricante do firmware e as strings OEM são só teus. O tipo 1 não é. Qualquer pessoa a quem tenhas dado direitos de hardware pode reescrevê-lo, e num produto alojado essa pessoa pode muito bem ser o cliente. Se a string do fabricante importa, define-a também em args. A definição posterior ganha.\nO número de série já está na configuração A maior parte do que pertence ao tipo 1 já está na configuração da VM. O nome dá um bom número de série, porque o qemu-server só aceita aí um nome DNS14: curto, imprimível, nunca com uma vírgula, e a única coisa da VM que um cliente vai reconhecer.\nCampo do tipo 1 Tirado de Para uma VM de 4 núcleos e 16 GiB chamada web-01, com as etiquetas production;web Serial Number name web-01 SKU Number cores × sockets, e memory ec-4c16g Family a primeira entrada em tags production UUID o UUID do smbios1 que já tem inalterado Manufacturer, Product as tuas strings fixas Example Cloud Ltd, EC Compute Instance Há duas coisas que ficam de fora. O nó muda a cada migração, e o vmgenid é suposto mudar: todo o seu trabalho é dizer ao convidado que foi restaurado de um snapshot ou construído a partir de um modelo15. Nenhum dos dois é uma identidade.\n#!/bin/bash # /usr/local/sbin/ec-smbios VMID: rebuild smbios1 from the VM\u0026#39;s own config. set -euo pipefail id=$1 cfg=$(qm config \u0026#34;$id\u0026#34; --current) get() { sed -n \u0026#34;s/^$1: //p\u0026#34; \u0026lt;\u0026lt;\u0026lt;\u0026#34;$cfg\u0026#34;; } b() { printf %s \u0026#34;$1\u0026#34; | base64 -w0; } name=$(get name) [ -n \u0026#34;$name\u0026#34; ] || { echo \u0026#34;VM $id has no name to use as a serial\u0026#34; \u0026gt;\u0026amp;2; exit 1; } cores=$(get cores); sockets=$(get sockets); vcpu=$(( ${cores:-1} * ${sockets:-1} )) mem=$(get memory); mem=${mem#current=}; mem=${mem%%,*}; mem=${mem:-512} (( mem % 1024 )) \u0026amp;\u0026amp; size=\u0026#34;${mem}m\u0026#34; || size=\u0026#34;$(( mem / 1024 ))g\u0026#34; tag=$(get tags); tag=${tag%%;*} uuid=$(get smbios1 | grep -o \u0026#39;uuid=[0-9a-fA-F-]*\u0026#39; | cut -d= -f2 || true) uuid=${uuid:-$(cat /proc/sys/kernel/random/uuid)} s=\u0026#34;uuid=$uuid,base64=1,manufacturer=$(b \u0026#39;Example Cloud Ltd\u0026#39;),product=$(b \u0026#39;EC Compute Instance\u0026#39;)\u0026#34; s+=\u0026#34;,serial=$(b \u0026#34;$name\u0026#34;),sku=$(b \u0026#34;ec-${vcpu}c${size}\u0026#34;)\u0026#34; [ -n \u0026#34;$tag\u0026#34; ] \u0026amp;\u0026amp; s+=\u0026#34;,family=$(b \u0026#34;$tag\u0026#34;)\u0026#34; qm set \u0026#34;$id\u0026#34; --smbios1 \u0026#34;$s\u0026#34; Os valores por omissão são os do próprio qemu-server, um núcleo, um socket e 512 MiB16, por isso uma configuração que os omita recebe na mesma um SKU verdadeiro. Corrido contra a configuração da tabela, com o qm substituído por um script que a servia, a linha que escreveu chegou ao QEMU descodificada da forma como o qemu-server a descodifica, e o dmidecode do convidado leu de volta web-01, ec-4c16g, production e o UUID que já tinha. Uma VM sem nome é recusada em vez de receber um número de série vazio.\nO sítio óbvio para isto é um hookscript. É o errado. O qemu-server corre o hook pre-start dentro do bloqueio de configuração que tomou para arrancar a VM, e constrói a linha de comandos do QEMU a partir da configuração que carregou antes de o hook correr17. Um hook que reescreva o número de série muda o próximo arranque, não este.\nPor isso corre-o a partir do teu aprovisionamento, nos quatro momentos em que os seus dados de entrada mudam: criar, clonar, mudar o nome e redimensionar. Clonar é o que morde. Um clone mantém todos os campos do smbios1 menos o UUID9, por isso salta esse passo e todas as VMs construídas a partir de web-template reportam o nome do modelo como número de série.\nO logótipo de arranque vive em dois sítios diferentes O logótipo que um convidado mostra depende do seu firmware. Os dois firmwares que o Proxmox distribui vão buscá-lo a sítios completamente diferentes:\nSeaBIOS (bios: seabios, o valor por omissão) OVMF (bios: ovmf, UEFI) De onde vem o logótipo um JPEG que o QEMU entrega no arranque um bitmap compilado dentro do firmware O ficheiro do Proxmox /usr/share/qemu-server/bootsplash.jpg, 640×480 Logo.bmp, 400×120, 8 bits, compilado em OVMF_CODE_4M*.fd Pacote dono qemu-server pve-edk2-firmware-ovmf Mudá-lo por VM args: -boot splash=… args a apontar a VM para outro firmware Mudá-lo sem recompilar nada sim não Chega ao SO convidado através da BGRT não sim SeaBIOS: um JPEG na linha de comandos O qemu-server põe a mesma opção -boot em todas as VMs que arranca, menu=on,strict=on,reboot-timeout=1000,splash=/usr/share/qemu-server/bootsplash.jpg18. A documentação do QEMU diz que a imagem é mostrada «when option splash=sp_name is given and menu=on, If firmware/BIOS supports them. Currently Seabios for X86 system support it»10. O OVMF não tira dali nada além do splash-time, que usa como tempo de espera do menu de arranque, e não há referência nenhuma ao ficheiro do ecrã inicial em todo o OvmfPkg19.\nSubstituí-lo é uma linha na configuração da VM:\nargs: -boot splash=/etc/pve/branding/splash.jpg Um segundo -boot não entra em conflito com o primeiro. O QEMU funde-o da mesma maneira que funde o -smbios, o valor posterior ganha, e com dois ficheiros de ecrã inicial indicados a captura de ecrã mostrou o segundo. O /etc/pve é a casa certa para o ficheiro, porque é o sistema de ficheiros do cluster e todos os nós veem o mesmo ecrã inicial, e o seu limite de 1 MiB por ficheiro está muito longe de um JPEG de 640×48020.\nA imagem em si tem de cumprir três condições, e falhar qualquer uma delas custa-te o logótipo ou as suas cores:\nCondição Porquê O que acontece caso contrário JPEG ou BMP de 24 bits o QEMU verifica o ficheiro antes de a VM arrancar splash file … format not recognized; must be JPEG or 24 bit BMP JPEG baseline, croma 4:2:0 o descodificador do SeaBIOS não trata mais nada21 ERR_NOT_SEQUENTIAL_DCT ou ERR_NOT_YCBCR_221111, e um ecrã em branco 640×480, como o do próprio Proxmox o SeaBIOS pede à VGA BIOS um modo exatamente do tamanho da imagem nenhum modo correspondente, nenhum ecrã inicial A maior parte das ferramentas de imagem escreve baseline 4:2:0 por omissão, por isso a forma habitual de perder o logótipo é uma daquelas opções de «guardar para a web» que liga discretamente a codificação progressiva, que parece idêntica em todos os visualizadores de imagens que tens e deixa o SeaBIOS sem desenhar coisa nenhuma.\nA armadilha das cores Esta custou uma tarde. O mesmo JPEG, desenhado por duas compilações do SeaBIOS 1.17.0, sai em duas cores diferentes:\nEstá no jpeg.c do SeaBIOS. O escritor de 24 bits por píxel tem um ramo little-endian que põe o azul no primeiro byte de cada píxel, e o escritor de 32 bits por píxel, PIC_32, não tem esse ramo e escreve lá o vermelho21. Num framebuffer little-endian isso troca o vermelho e o azul. O azul sai dourado, e o laranja sairia azul.\nO escritor que corre depende do modo de vídeo que a VGA BIOS oferece:\nFirmware Modo VBE para 640×480 Bits por píxel Cores O SeaBIOS 1.17.0 pré-compilado do QEMU upstream, tal como o pve-qemu-kvm 11.0.3-4 o distribui 0x111 16 certas, quantizadas para 65 536 A compilação própria seabios 1.17.0-10 do Fedora 44 0x142 32 vermelho e azul trocados Os números de modo são da própria tabela do SeaBIOS22, e a linha do Proxmox foi verificada contra os próprios blobs do pacote: idênticos byte a byte ao rel-1.17.0-0-gb52ca86e094d pré-compilado do QEMU. Portanto, no Proxmox as tuas cores estão certas, mas são só 65 536, e um gradiente subtil vai ficar às faixas. E se o teu logótipo alguma vez aparecer com as cores erradas noutro hipervisor qualquer, não é o teu JPEG.\nO logótipo UEFI está compilado dentro do firmware Os convidados UEFI são a metade mais difícil, e num Proxmox moderno são a maioria dos convidados.\nNão há opção de ecrã inicial para substituir. O logótipo é um bitmap dentro da imagem do firmware, e a compilação do Proxmox põe-no lá com uma linha em debian/rules:\ndebian/setup-build-stamp: cp -a debian/Logo.bmp MdeModulePkg/Logo/Logo.bmp Isso copia o Logo.bmp deles, de 400×120 e 8 bits, por cima do do TianoCore antes de o edk2 ser compilado23. O mesmo ficheiro define o fabricante do firmware como uma constante de compilação, PcdFirmwareVendor=L\u0026quot;Proxmox distribution of EDK II\u0026quot;, que é de onde vem o fabricante do tipo 0 na primeira tabela23.\nLogótipo novo, firmware novo. A forma de obter um que se comporte exatamente como o do Proxmox é compilá-lo exatamente como o Proxmox o faz: a árvore deles na etiqueta que corresponde ao pacote que distribuem, os patches deles, as flags deles, e um bitmap trocado. O pve-edk2-firmware 4.2026.08-1 fixa o edk2 em 2970e56, que é a etiqueta upstream edk2-stable20260823.\ngit clone https://git.proxmox.com/git/pve-edk2-firmware.git cd pve-edk2-firmware git checkout f37039e52d228a7844a90aa2aaf1e161ebd04fcd # 4.2026.08-1 git submodule update --init --recursive cd edk2 QUILT_PATCHES=../debian/patches quilt push -a cp /path/to/your/Logo.bmp MdeModulePkg/Logo/Logo.bmp . ./edksetup.sh \u0026amp;\u0026amp; make -C BaseTools F=\u0026#34;-DNETWORK_HTTP_BOOT_ENABLE=TRUE -DNETWORK_IP6_ENABLE=TRUE -DNETWORK_TLS_ENABLE -DSECURE_BOOT_ENABLE=TRUE -DPVSCSI_ENABLE=TRUE -DTPM2_ENABLE=TRUE --pcd PcdUninstallMemAttrProtocol=TRUE -DFD_SIZE_4MB\u0026#34; P=(--pcd \u0026#34;PcdFirmwareVendor=LExample Cloud Ltd\\\\0\u0026#34; --pcd \u0026#34;PcdFirmwareVersionString=L4.2026.08-1+ec1\\\\0\u0026#34;) build -a IA32 -a X64 -t GCC -p OvmfPkg/OvmfPkgIa32X64.dsc $F \u0026#34;${P[@]}\u0026#34; -b RELEASE cp Build/Ovmf3264/RELEASE_GCC/FV/OVMF_CODE.fd OVMF_CODE_4M.fd rm -rf Build/Ovmf3264 build -a IA32 -a X64 -t GCC -p OvmfPkg/OvmfPkgIa32X64.dsc $F -DSMM_REQUIRE=TRUE \u0026#34;${P[@]}\u0026#34; -b RELEASE cp Build/Ovmf3264/RELEASE_GCC/FV/OVMF_CODE.fd OVMF_CODE_4M.secboot.fd As flags foram tiradas do debian/rules tal como está nesse commit. Atenção à string do fabricante: o Makefile deles escreve-a entre aspas, a shell do make tira-as, e o edk2 recebe-a sem elas, por isso é assim que é passada aqui, e pô-la entre aspas uma segunda vez dá um erro de compilação. Mantém o bitmap em 400×120 e 8 bits como o deles e mais nada no ecrã de arranque se mexe.\nPrecisas das duas imagens. O qemu-server arranca qualquer VM Q35 com um disco EFI de 4M com OVMF_CODE_4M.secboot.fd, a compilação com SMM obrigatório, e só usa o OVMF_CODE_4M.fd simples para i440fx24. Num Proxmox atual, a secboot é a que quase todos os convidados UEFI correm.\nCompilada dessa forma, sem nada mudado na árvore do Proxmox além do bitmap e de duas strings, a imagem SMM arranca assim:\nE a visão que o próprio convidado tem do seu firmware muda com ela, sem uma única opção -smbios na linha de comandos:\nLido dentro do convidado 4.2026.08-1 do Proxmox Recompilado da mesma árvore Fabricante do firmware Proxmox distribution of EDK II Example Cloud Ltd Versão do firmware 4.2026.08-1 4.2026.08-1+ec1 «UEFI is supported» presente presente Tabelas ACPI BGRT, WSMT e as restantes o mesmo conjunto Isso faz do fabricante definido na compilação a melhor resposta para convidados UEFI. É o próprio tipo 0 do OVMF, por isso o bit UEFI fica no lugar sem ninguém ter de se lembrar do uefi=on. O caminho do args para o tipo 0 é para convidados SeaBIOS, e para quem não recompila firmware nenhum.\nDuas formas de entregar o firmware novo a uma VM O qemu-server tem fixo no código onde procura o firmware: o OVMF.pm tem uma tabela de caminhos em /usr/share/pve-edk2-firmware/, indexada por tipo de máquina e opções de Secure Boot, e não há opção nenhuma na configuração da VM, na GUI ou na API que escolha outro ficheiro24. Sobram dois caminhos.\nCompilar o OVMF com a marca e as duas formas de o entregar a uma VM A árvore do Proxmox pve-edk2-firmware 4.2026.08-1 A tua marca Logo.bmp + string do fabricante Mesma compilação, mesmas flags OVMF_CODE_4M.fd + .secboot.fd A: desvio em cada nó todas as VMs UEFI o recebem, config das VMs inalterada B: por VM através de args escolhe VM a VM, ficheiros do Proxmox intactos apt full-upgrade chega o firmware novo, o teu fica antigo hook Post-Invoke versões diferentes: recompila antes de arrancar Uma compilação, duas formas de entrar. Em qualquer delas, a próxima atualização instala o novo firmware do Proxmox ao lado do teu e deixa o teu como estava, e é por isso que existe o hook lá em baixo. Caminho A: desviá-lo em cada nó. Diz ao dpkg que as duas imagens de código do Proxmox pertencem agora a outro sítio, e põe as tuas onde elas estavam:\nD=/usr/share/pve-edk2-firmware for f in OVMF_CODE_4M.fd OVMF_CODE_4M.secboot.fd; do dpkg-divert --package example-branding --add --rename --divert \u0026#34;$D/$f.distrib\u0026#34; \u0026#34;$D/$f\u0026#34; install -m 0644 \u0026#34;/root/branding/$f\u0026#34; \u0026#34;$D/$f\u0026#34; done A partir do próximo arranque, todas as VMs UEFI do nó arrancam com o teu firmware. Nenhuma alteração na configuração das VMs.\nCaminho B: apontar VMs escolhidas para ele. Guarda as imagens no teu próprio diretório e substitui o firmware uma VM de cada vez. Desde que passou para -blockdev, o qemu-server liga a imagem de código como um nó de bloco chamado pflash0 e nomeia-o em -machine24, e o QEMU funde um segundo -machine da mesma maneira que funde o -boot, por isso o args pode acrescentar um nó seu e apontar o pflash0 para ele:\nargs: -blockdev driver=raw,node-name=brandcode,read-only=on,file.driver=file,file.filename=/usr/local/share/example-branding/OVMF_CODE_4M.secboot.fd -machine pflash0=brandcode Isto foi testado pelo caminho mais longo. O firmware secboot do Proxmox foi ligado como pflash0 exatamente da forma como o qemu-server o faz, com SMM ligado, e depois essa linha args foi acrescentada a seguir, e o convidado arrancou a imagem com a marca, com o logótipo e a string do fabricante, que é de onde veio a captura de ecrã acima.\nCaminho A, desvio Caminho B, args por VM Que VMs o recebem todas as VMs UEFI do nó só as VMs onde o definires Ficheiros do Proxmox movidos para .distrib intactos Configuração da VM inalterada uma linha args, só root O tipo de máquina tem de corresponder tratado, as duas imagens são desviadas trabalho teu: imagem secboot para Q35 Desfazer dpkg-divert --remove --rename apagar a linha Migração o nó de destino também tem de estar desviado o nó de destino tem de ter o ficheiro A imagem de código tem cerca de 3,5 MB, contra um limite de 1 MiB por ficheiro no pmxcfs20. Como tal, não pode ir para /etc/pve, e seja qual for o caminho que escolhas, tem de ser posta em cada nó. Migra uma VM para um nó sem ela e tens um de dois resultados, consoante o caminho: o firmware e o logótipo do próprio Proxmox de volta no caminho A, ou no caminho B uma VM que nem sequer arranca porque o QEMU não consegue abrir um ficheiro que não está lá.\nA atualização que te deixa para trás Um desvio é a ferramenta certa para um logótipo. O firmware é diferente.\nUm desvio significa que as atualizações do Proxmox deixam de chegar ao ficheiro. Foi exatamente isso que pediste. É também exatamente o que impede as correções de segurança do edk2 de chegarem aos teus convidados: o changelog do Proxmox para a 4.2026.08-1 abre com «Besides many bug and security fixes» e continua a listar uma correção para a CVE-2024-1374525, e uma compilação com a tua marca a partir da versão anterior não tem nada disso. Nada te avisa.\nIsto foi testado, não presumido. Num contentor Debian trixie com o repositório do Proxmox, foi instalado o pve-edk2-firmware-ovmf 4.2025.05-3, as duas imagens de código foram desviadas, e o pacote foi atualizado para a 4.2026.08-1:\nDepois da atualização Resultado dpkg-query -W pve-edk2-firmware-ovmf 4.2026.08-1 A nova imagem do Proxmox instalada como OVMF_CODE_4M.fd.distrib, hash alterado A imagem com a marca inalterada, ainda compilada a partir da 4.2025.05-3 Alguma coisa na consola sobre isso nada, até ao hook abaixo Por isso acrescenta um hook. O apt corre uma lista de comandos DPkg::Post-Invoke depois de cada execução do dpkg26. Regista a versão do Proxmox a partir da qual compilaste, e compara depois de cada uma:\ncat \u0026gt; /usr/local/sbin/example-branding-check \u0026lt;\u0026lt;\u0026#39;EOF\u0026#39; #!/bin/sh built=$(cat /usr/local/share/example-branding/ovmf.built-from 2\u0026gt;/dev/null) now=$(dpkg-query -W -f \u0026#39;${Version}\u0026#39; pve-edk2-firmware-ovmf 2\u0026gt;/dev/null) [ \u0026#34;$built\u0026#34; = \u0026#34;$now\u0026#34; ] \u0026amp;\u0026amp; exit 0 echo \u0026#34;W: branded OVMF was built from pve-edk2-firmware-ovmf $built, Proxmox now ships $now.\u0026#34; \u0026gt;\u0026amp;2 echo \u0026#34;W: guests still boot the old firmware. Rebuild before the next VM restart.\u0026#34; \u0026gt;\u0026amp;2 exit 0 EOF chmod +x /usr/local/sbin/example-branding-check echo \u0026#39;DPkg::Post-Invoke { \u0026#34;/usr/local/sbin/example-branding-check\u0026#34;; };\u0026#39; \\ \u0026gt; /etc/apt/apt.conf.d/80example-branding Nessa mesma atualização imprimiu:\nW: branded OVMF was built from pve-edk2-firmware-ovmf 4.2025.05-3, Proxmox now ships 4.2026.08-1. W: guests still boot the old firmware. Rebuild before the next VM restart. Sai com 0 de propósito. O apt aborta se um comando Post-Invoke falhar26, e uma verificação de marca não é razão para deixar um nó meio atualizado. Um aviso bem alto chega.\nMais uma coisa. Os reinícios. Um convidado só apanha firmware novo quando o seu processo QEMU reinicia, por isso uma recompilação significa um parar e arrancar a partir do Proxmox em vez de um reinício de dentro do convidado, que é exatamente a forma como as próprias atualizações de firmware do Proxmox chegam também a uma VM em execução. Só que essas não precisam que te lembres de recompilar primeiro.\nOu deixa o firmware do Proxmox em paz Todos os caminhos para o logótipo até aqui mudam o firmware, e a última secção é a fatura disso. Há um que não muda, e foi prototipado para este artigo.\nUm dispositivo PCI no QEMU pode levar uma ROM opcional, qualquer ficheiro que indiques com romfile=27, e o OVMF corre o controlador EFI que lá encontrar. A compilação do Proxmox corre-o esteja assinado ou não: o OVMF define PcdOptionRomImageVerificationPolicy como 0x00, executar sempre28. O OVMF desenha o seu próprio logótipo tarde na seleção do dispositivo de arranque29 e só constrói a BGRT no ReadyToBoot, o momento antes de passar o controlo a um carregador de arranque. E o controlador BGRT do edk2 aceita uma imagem de substituição através do EDKII_BOOT_LOGO2_PROTOCOL, reconstruindo a tabela no ReadyToBoot sempre que a imagem mudou30.\nÉ tudo o que precisa. O controlador espera pelo ReadyToBoot em TPL_NOTIFY, que corre antes do handler TPL_CALLBACK do próprio controlador BGRT, limpa o ecrã, desenha o seu logótipo e entrega a mesma imagem. Compilado, é um único ficheiro de 8 KB, ligado com uma linha:\nargs: -device pci-testdev,romfile=/etc/pve/branding/brandrom.rom Com 8 KB fica bem dentro do limite de 1 MiB do pmxcfs20, por isso, ao contrário de uma imagem de firmware de 3,5 MB, pode viver em /etc/pve e seguir a VM para todos os nós.\nFoi testado contra o próprio firmware do Proxmox, tirado diretamente do pve-edk2-firmware-ovmf 4.2026.08-1: OVMF_CODE_4M.secboot.fd com as chaves da Microsoft pré-inscritas em OVMF_VARS_4M.ms.fd, em Q35 com SMM, e arrancado através do shim assinado do Fedora para que o Secure Boot estivesse ligado e a ser imposto:\nLido a partir do convidado Sem a ROM Com a ROM Variável SecureBoot 1 1 No ecrã o logótipo do Proxmox o do Proxmox durante cerca de 250 ms, depois o teu Imagem BGRT, 400×120 em 440,340 a do Proxmox, SHA-256 be5afe4b… a da ROM, SHA-256 6c494576… Ficheiros de firmware alterados nenhum nenhum A última linha é o ponto. O firmware do Proxmox fica intacto, por isso a próxima versão de segurança deles chega aos teus convidados no próximo reinício, e nada da secção anterior se aplica.\nNão é de graça:\nCusto Porquê O logótipo do Proxmox aparece durante cerca de um quarto de segundo o OVMF desenha-o antes de qualquer controlador de ROM opcional chegar ao ecrã; só uma recompilação evita isso O convidado vê mais um dispositivo PCI, sem controlador a ROM tem de ir num dispositivo, e o pci-testdev é o do QEMU que não faz nada O tipo 0 continua a dizer Proxmox a string do fabricante está compilada; define-a através de args com uefi=on, como acima Só root é uma linha args E a descoberta por baixo disto tem de ser dita sem rodeios. Um controlador não assinado correu em firmware num convidado com as chaves da Microsoft inscritas e o Secure Boot a ser imposto, porque o OVMF do Proxmox não verifica ROMs opcionais. Aqui, isso é útil. Também significa que, neste firmware, o Secure Boot verifica carregadores de arranque, não o que quer que a configuração de hardware da VM ligue, e como só o root escreve args, isso é uma questão de quem tem root nos teus nós.\nÉ um protótipo. Correu no QEMU 10.2.2 com o firmware do Proxmox, ainda não num nó Proxmox, e o que se segue é código-fonte, não um produto:\ngithub.com/damo2929/RebrandPCIRom: o controlador em ROM opcional, o conversor de logótipos e a compilação em contentor.\nA interface web são dois pacotes O logótipo em cima à esquerda da interface web não está no pve-manager. O Workspace.js pede um componente proxmoxLogoSvg com o prefixo pwt, e esse vive no proxmox-widget-toolkit, que o Backup Server e o Mail Gateway partilham31. Só os ícones do separador estão no pve-manager:\nO quê Ficheiro Pacote Logótipo do cabeçalho, desenhado a 200×35 /usr/share/javascript/proxmox-widget-toolkit/images/proxmox_logo.svg proxmox-widget-toolkit Ícone do separador do navegador /usr/share/pve-manager/images/favicon.ico pve-manager Ícone de 128×128, também o ícone tátil /usr/share/pve-manager/images/logo-128.png pve-manager Os três são ficheiros simples, por isso isto é trabalho para o dpkg-divert, e aqui o custo da última secção não se aplica de todo, porque um logótipo não tem correções de segurança para perder e o convidado de ninguém fica menos seguro por um nó ainda servir o favicon do mês passado.\ndivert() { dpkg-divert --package example-branding --add --rename --divert \u0026#34;$1.distrib\u0026#34; \u0026#34;$1\u0026#34; install -m 0644 \u0026#34;$2\u0026#34; \u0026#34;$1\u0026#34; } divert /usr/share/javascript/proxmox-widget-toolkit/images/proxmox_logo.svg /root/branding/logo.svg divert /usr/share/pve-manager/images/favicon.ico /root/branding/favicon.ico divert /usr/share/pve-manager/images/logo-128.png /root/branding/logo-128.png Testado no mesmo contentor, contra pacotes reais:\nPasso Resultado Desvio no proxmox-widget-toolkit 5.2.9, instalar o SVG próprio o SVG do Proxmox renomeado para proxmox_logo.svg.distrib Atualizar para a 5.2.10 o SVG próprio continua no lugar, a cópia 5.2.10 do Proxmox em .distrib dpkg --verify proxmox-widget-toolkit sem queixas, o dpkg sabe do desvio apt-get install --reinstall proxmox-widget-toolkit o SVG próprio continua no lugar dpkg-divert --remove --rename o original do Proxmox de volta, byte a byte Há duas coisas que continuam a ser do Proxmox. A imagem do cabeçalho é desenhada numa caixa fixa de 200×35, por isso desenha o teu SVG nesse formato ou fica espremido. E o texto alt diz Proxmox e a imagem leva a https://www.proxmox.com, ambos escritos no componente JavaScript em vez de num ficheiro que possas desviar31. Mudar isso significa remendar um bundle minificado que se parte a cada atualização. Não vale a pena por causa de um texto alternativo.\nO que a licença e a marca registada do Proxmox te pedem O Proxmox VE está licenciado sob a AGPL versão 332, e a secção 13 dessa licença é a cláusula de rede: «if you modify the Program, your modified version must prominently offer all users interacting with it remotely through a computer network … an opportunity to receive the Corresponding Source of your version»33. Trocar três imagens conta como modificar o Programa? Isso é para um advogado. A resposta barata é pôr as tuas imagens e o script de desvio num sítio público e ligá-lo a partir da página de início de sessão. Não custa nada e arruma a questão.\nO lado da marca registada é mais claro. O kit de imprensa do Proxmox diz «Don\u0026rsquo;t alter the logo or incorporate the logo or symbol into your logo»34. Por isso substitui o deles por inteiro pelo teu, nunca uma versão recolorida ou retrabalhada do deles, e mantém o Proxmox fora do nome do teu produto.\nO teu nome nele significa a tua manutenção Pôr a tua marca numa VM é barato. Meia dúzia de strings SMBIOS, um JPEG, um bitmap e três imagens numa interface web: uma tarde de trabalho, a maior parte dela a descobrir onde as coisas vivem.\nMantê-la é que é o trabalho. E é também a parte que se salta.\nAs strings SMBIOS e o ecrã inicial tomam conta de si próprios, porque vivem em configuração em que nenhum pacote vai alguma vez tocar, e o logótipo da interface web toma conta de si próprio porque o dpkg foi avisado dele. O firmware não. No dia em que pões o teu logótipo numa imagem de firmware, ficaste com um pedaço do processo de lançamento de outra pessoa, e o Proxmox compila, testa e distribui firmware novo com correções de segurança que os clientes deles recebem na próxima atualização, e os teus recebem quando te lembrares de recompilar.\nEssa troca está bem feita conscientemente. Uma empresa de alojamento cujos convidados arrancam com firmware duas versões atrás porque o logótipo importou mais do que o changelog não construiu um produto. Construiu um autocolante.\nSe o teu nome está no ecrã de arranque, o firmware por trás dele é teu para manter atualizado, seja quem for que o escreveu. Ninguém vai verificar. É exatamente por isso que tem de ser feito.\nUEFI Forum, ACPI Specification 6.6, §5.2.23 Boot Graphics Resource Table — «The Boot Graphics Resource Table (BGRT) is an optional table that provides a mechanism to indicate that an image was drawn on the screen during boot». Cópia arquivada; a página ativa devolve 403 a pedidos automáticos.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nMicrosoft Learn, Boot screen components — «This is the standard interface that Windows uses to access the logo.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nFedora Project, Changes/FlickerFreeBoot — «a new plymouth theme which incorporates the firmware\u0026rsquo;s bootsplash image»; o plymouth.spec do Fedora torna o bgrt o tema por omissão.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nDebian, dpkg-divert(1), trixie — «File diversions are a way of forcing dpkg(1) not to install a file into its location, but to a diverted location.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nDMTF, DSP0134 System Management BIOS Reference Specification 3.10.0 — tipo 1 System Information, tipo 2 placa base, tipo 3 «the system\u0026rsquo;s mechanical enclosure(s)», tipo 11 «free-form strings defined by the OEM».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nProxmox VE, qm.conf(5) — smbios1: «Specify SMBIOS type 1 fields»; args: «Arbitrary arguments passed to kvm … this option is for experts only.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nqemu-server, src/PVE/QemuServer.pm, the smbios1 format and command-line builder — todos os campos exceto uuid têm o padrão [A-Za-z0-9+\\/]+={0,2}; os valores são descodificados quando base64 está definido.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\npve-manager, www/manager6/Parser.js, printQemuSmbios1 — «smbios values can be arbitrary, so encode and mark config as such».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nqemu-server, src/PVE/API2/Qemu.pm, clone — «auto generate a new uuid», os outros campos do smbios1 são mantidos.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nQEMU, System Emulation, Invocation — campos do -smbios por tipo; -acpitable «For file=, take whole ACPI table from the specified files, including all ACPI headers»; -boot «Currently Seabios for X86 system support it.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nedk2-stable202608, OvmfPkg/SmbiosPlatformDxe/SmbiosPlatformDxe.c — o OVMF acrescenta o seu próprio tipo 0 só quando NeedSmbiosType0 ainda está definido depois de percorrer as tabelas do QEMU.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nqemu-server, src/PVE/QemuServer.pm, custom args — os args são divididos e acrescentados ao fim da linha de comandos.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nqemu-server, src/PVE/API2/Qemu.pm, config permission checks — o smbios1 é uma opção do tipo hardware que precisa de VM.Config.HWType; o caso genérico «catches args, lock, etc.» e termina com «only root can set».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nqemu-server, src/PVE/QemuServer.pm, the name option — format =\u0026gt; 'dns-name'.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nqemu-server, src/PVE/QemuServer.pm, vmgenid — «notify the guest operating system when the virtual machine is executed with a different configuration (e.g. snapshot execution or creation from a template)».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nqemu-server, src/PVE/QemuServer/Memory.pm — memória default =\u0026gt; 512; cores e sockets têm 1 por omissão no QemuServer.pm.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nqemu-server, src/PVE/QemuServer.pm, vm_start — lock_config na linha 5457, exec_hookscript($conf, $vmid, 'pre-start', 1) na 5581, e config_to_command na 5634 com o mesmo $conf, sem ser recarregado pelo meio.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nqemu-server, src/PVE/QemuServer.pm, -boot — menu=on,strict=on,reboot-timeout=1000,splash=/usr/share/qemu-server/bootsplash.jpg.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nedk2-stable202608, OvmfPkg/Library/QemuBootOrderLib/QemuBootOrderLib.c — o OVMF lê etc/boot-menu-wait, o valor do splash-time, e mais nada do -boot.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\npve-cluster, src/pmxcfs/memdb.h — #define MEMDB_MAX_FILE_SIZE (1024 * 1024) // 1 MiB.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nSeaBIOS, src/jpeg.c — o PIC escreve primeiro o azul em little-endian, o PIC_32 na linha 946 escreve primeiro o vermelho sem ramo de endianness; ERR_NOT_SEQUENTIAL_DCT e ERR_NOT_YCBCR_221111 são os únicos formatos recusados.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nSeaBIOS, vgasrc/svgamodes.c — o modo 0x111 é 640×480 a 16 bits, o 0x142 é 640×480 a 32.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\npve-edk2-firmware, debian/rules at 4.2026.08-1 — cp -a debian/Logo.bmp MdeModulePkg/Logo/Logo.bmp, a string PcdFirmwareVendor e as flags de compilação do OVMF.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nqemu-server, src/PVE/QemuServer/OVMF.pm — a tabela de firmware fixa no código em /usr/share/pve-edk2-firmware/, a escolha do SMM, e o nó de bloco pflash0.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\npve-edk2-firmware, debian/changelog — 4.2026.08-1: «Besides many bug and security fixes … fix CVE-2024-13745».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nDebian, apt.conf(5), trixie — «Pre-Invoke, Post-Invoke: This is a list of shell commands to run before/after invoking dpkg(1) … should any fail APT will abort.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nQEMU v11.0.3, hw/pci/pci.c — DEFINE_PROP_STRING(\u0026quot;romfile\u0026quot;, PCIDevice, romfile), uma propriedade que todos os dispositivos PCI têm.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nedk2-stable202608, OvmfPkg/OvmfPkgIa32X64.dsc — gEfiSecurityPkgTokenSpaceGuid.PcdOptionRomImageVerificationPolicy|0x00, o ficheiro de plataforma que o Proxmox compila.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nedk2-stable202608, OvmfPkg/Library/PlatformBootManagerLib/BdsPlatform.c — BootLogoEnableLogo (), chamado a partir de PlatformBootManagerAfterConsole.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nedk2-stable202608, BootGraphicsResourceTableDxe.c — o SetBootLogo2 na linha 239 copia a imagem; o handler do ReadyToBoot na 417 desinstala e reinstala a tabela «If BGRT data change happens».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nproxmox-widget-toolkit, src/Logo.js — proxmoxLogoSvg, 200×35, alt: 'Proxmox', com ligação para proxmox.com; usado a partir do Workspace.js do pve-manager com prefix: 'pwt'.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nProxmox VE wiki, FAQ — «Proxmox VE code is licensed under the GNU Affero General Public License, version 3.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nGNU Affero General Public License v3, §13 Remote Network Interaction — citada na íntegra no texto acima.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nProxmox, Media kit — «Don\u0026rsquo;t alter the logo or incorporate the logo or symbol into your logo.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\n","permalink":"https://blogs.damiendye.uk/pt/proxmox/branding-a-proxmox-vm/","summary":"Uma VM Proxmox de origem mostra o logótipo do Proxmox no arranque, diz Proxmox na string do fabricante do firmware e chama-se QEMU em todas as tabelas SMBIOS. Este artigo substitui tudo isso pelo nome do teu produto: os tipos SMBIOS 0, 1, 2, 3 e 11, com o número de série e o SKU preenchidos a partir do nome e do tamanho da própria VM, o ecrã inicial do SeaBIOS e a sua armadilha das cores, um OVMF com a tua marca compilado a partir da própria árvore do Proxmox ou um controlador em ROM opcional que substitui o logótipo e a BGRT com o Secure Boot ligado sem tocar no firmware, e o logótipo da interface web. Cada alteração fica num sítio onde uma atualização não a pode desfazer em silêncio, e a única que uma atualização pode deixar perigosamente desatualizada, o firmware, recebe um hook que o diz.","title":"Pôr a tua marca numa VM Proxmox, e mantê-la depois da próxima atualização"},{"content":"Tudo neste artigo foi corrido contra um NetBox 4.7.2 na minha própria secretária, com um parque real carregado lá dentro: um local, um armário, catorze equipamentos, cablados, alimentados e endereçados entre três clientes. Cada captura de ecrã é essa instância, e cada mensagem de erro é uma que eu recebi de facto.\nSegue a ordem pela qual o vais encontrar. O que a coisa é, porque havias de querer uma, o fork de que vais ouvir falar ao fim de uma semana de pesquisas, como levantar uma, a ordem pela qual tens de a preencher, e depois o que tiras de lá. O trabalho de personalização e extensão fica para o fim, porque nada disso faz sentido antes de teres visto a forma daquilo que estás a estender.\nO que é o NetBox O NetBox é uma base de dados com uma opinião muito concreta sobre aquilo de que uma rede é feita, e uma aplicação web por cima dela. É uma aplicação Django sobre PostgreSQL, é open source sob Apache 2.0 desde que a DigitalOcean a lançou em junho de 2016, e o projeto é hoje gerido pela NetBox Labs em conjunto com uma equipa de mantenedores voluntários.12\nPor baixo disso são 149 modelos repartidos por dez aplicações, alcançados através de 146 endpoints REST e um endpoint GraphQL. Contados na instância que construí para isto, e não lidos numa página de funcionalidades:\nAplicação Modelos Aplicação Modelos dcim 56 virtualization 7 extras 23 tenancy 6 ipam 18 wireless 3 circuits 11 users 7 vpn 10 core 8 Cinquenta e seis deles são DCIM, a camada física: locais, localizações, bastidores, tipos de equipamento, equipamentos, e todo o tipo de porta, baía e terminação de cabo que um equipamento pode ter. Dezoito são IPAM. O resto cobre circuitos, túneis e políticas IKE, máquinas virtuais e clusters, ligações sem fios, tenancy, e a maquinaria que torna tudo extensível.\nA contagem não é o que interessa. As ligações entre os dados é que são, e a maneira mais rápida de o ver é o ecrã pelo qual o NetBox é mais conhecido.\nComeça pelo armário, porque é o ecrã que vende a coisa.\nAquela elevação é desenhada a partir dos dados, não carregada como imagem. Cada equipamento está lá porque alguma coisa diz que ocupa aquelas unidades de bastidor, virado para aquele lado, e as cores vêm da função que lhe deste. A utilização de espaço diz 28,6% porque o NetBox fez as contas. Ninguém mantém esse número.\nDaí seguem-se duas coisas que valem mais do que a imagem.\nPodes perguntar que unidades estão livres, e obter uma resposta com a qual podes agir. Também podes reservar unidades antes de lá estar instalada qualquer coisa, que é a diferença entre vender espaço que tens e vender espaço que achas que tens.\nO que se recusa deliberadamente a fazer Um produto que sabe o que não é é mais raro do que um que faz tudo mal, e a própria documentação do NetBox é direta quanto a isso. Não faz monitorização de rede, serviço de DNS, RADIUS, gestão de configuração nem gestão de instalações.1\nMais importante ainda, guarda o estado desejado da tua rede, não o seu estado operacional, e a documentação diz que a importação automática do estado real da rede é «strongly discouraged», porque cada registo deve ser verificado primeiro por uma pessoa.1\nÉ essa a decisão sobre a qual assenta tudo o resto, e é a que as pessoas contestam. O argumento é este: uma fonte de verdade devia ser a verdade, portanto descobre a rede e carrega-a lá para dentro. A resposta é que uma rede descoberta diz-te o que lá está, e o que lá está inclui todos os erros que alguém alguma vez fez. Uma porta de switch deixada na VLAN errada em 2021 é um facto. Não é uma intenção.\nO NetBox guarda a intenção. A tua monitorização guarda a realidade. O número interessante é a diferença entre as duas, e não se calcula uma diferença a partir de um só valor.\nO outro princípio é dito com a mesma clareza: entre uma solução relativamente simples que resolve oitenta por cento e uma completa muito mais complexa, escolhe a simples.1 Vais senti-lo da primeira vez que quiseres modelar uma coisa que ele não modela, e há toda uma série de secções perto do fim sobre o que fazer quando bateres nisso.\nO NetBox faz O NetBox não faz Registar o que devia lá estar Interrogar o que lá está Guardar a VLAN pretendida para uma porta Dizer-te que a porta está em baixo Dizer a que cliente pertence um prefixo Faturar-lho Gerar a configuração de um equipamento a partir de um modelo Enviá-la para o equipamento Seguir o circuito, o fornecedor e o compromisso Monitorizar o circuito Dizer em que bastidor está um equipamento, e em que U Abrir o armário Lê a coluna da direita como uma lista de ferramentas de que ainda precisas. Lê-a mal e vais tentar transformar o NetBox em todas elas, que é como uma fonte de verdade se torna mais um sistema em que ninguém confia.\nPorque precisas de um Pergunta a um prestador de serviços geridos onde vive o registo oficial da rede de um cliente, e vais obter uma resposta. Pergunta a dois dos seus engenheiros em separado e vais obter duas.\nUm vai apontar para uma folha de cálculo. Outro vai apontar para um diagrama gravado pela última vez por alguém que saiu em 2023. Mais alguém vai dizer que a configuração da firewall é a documentação, o que pelo menos é honesto, porque uma configuração descreve de facto o que uma caixa está a fazer. Só não descreve porquê, nem quem o pediu, nem qual dos quatro clientes atrás daquela caixa está a pagar pela regra.\nA falha nunca é o dia em que reparas que o registo está errado. É o dia em que alguém precisa dele.\nO momento O que tens de apresentar O que custa quando não consegues Uma conversa de renovação Uma conta detalhada do que a mensalidade compra A proposta do concorrente vem detalhada, porque eles foram contar Um engenheiro apresenta a demissão Tudo o que ele sabia, por escrito Seis meses a descobrir, um ticket de cada vez Um cliente vai-se embora Uma descrição do seu próprio parque Três semanas a montá-la, e uma referência que ele vai dar com honestidade Um auditor faz uma pergunta de âmbito Que sistemas guardam dados pessoais, e onde estão fisicamente Um regulador a quem foi dito algo que depois se revela falso Uma migração precisa de orçamento Uma contagem do que lá está realmente Licitas sobre uma estimativa e comes a diferença Nada disto é exótico. É uma terça-feira qualquer.\nO que tiras disto não é documentação. Documentação é uma coisa que escreves e depois deixas de manter. O que tens é uma base de dados que se recusa a guardar uma contradição, e que responde a perguntas que ninguém pensou em fazer-lhe de antemão. Há um armário mais abaixo neste artigo que afinal está 28,6 por cento cheio de equipamento e 90,7 por cento cheio de energia. Ninguém foi à procura disso. Saiu de se ter introduzido uma potência num tipo de equipamento uma vez.\nA ressalva honesta vem junto, e a última secção é sobre ela. Um registo só vale aquilo que te custa mantê-lo certo. Mas a alternativa é uma empresa que não se consegue descrever a si própria, e a primeira pessoa a descobri-lo costuma ser um cliente.\nO outro: Nautobot Vais dar com isto ao fim de mais ou menos uma semana de pesquisas, por isso vale a pena saber o que aconteceu.\nEm 2021, a Network to Code fez um fork do NetBox e chamou ao resultado Nautobot. Não um fork suave nem uma distribuição: um fork a sério que diverge há cinco anos. As notas da sua própria versão v1.0 descrevem-no como «a divergent fork of NetBox 2.10», o repositório foi criado a 19 de fevereiro de 2021 e a v1.0.0 saiu a 26 de abril de 2021.3\nAs razões que apresentaram estão no blogue deles e vale a pena lê-las nas palavras deles e não nas minhas. Foram três as coisas que o motivaram. Queriam vender suporte empresarial: «We need to offer high-touch support models with Service Level Agreements (SLAs) we can guarantee. We need flexibility to offer Long-term Support (LTS) for customers who can\u0026rsquo;t upgrade at the pace of a fast moving open source project.» Queriam que a fonte de verdade ficasse no centro de uma plataforma de automação em vez de servir de documentação. E «there became a growing divergence in our vision about what a Source of Truth for networking should look like and how to get there».4\nEssa primeira razão precisa da data agarrada, porque deixou de ser verdade. Em fevereiro de 2021 não havia nenhuma empresa por trás do NetBox para te vender o que quer que fosse. A NetBox Labs só foi fundada em 2023, separada da NS1 depois de a IBM a ter comprado, e cofundada pelo próprio mantenedor principal do NetBox.5\nE não é um terceiro que montou um negócio em cima do projeto de outra pessoa. A NetBox Labs é a guardiã do NetBox: a própria documentação do projeto diz que «the open source project is stewarded by NetBox Labs and a team of volunteer maintainers».1 Vendem o NetBox Enterprise para instalações autogeridas, alojam-no por ti como NetBox Cloud, e oferecem suporte 24/7.6\nPortanto «não consegues comprar suporte para o NetBox» era uma coisa justa de dizer quando a Network to Code fez o fork, e não é uma coisa justa de dizer agora. Os dois projetos têm uma empresa comercial por trás que assina um contrato, e no caso do NetBox essa empresa é a que gere o projeto.\nA frase que a maioria das pessoas não vê é a seguinte, e é a razão pela qual esta não é uma história sórdida: «the NetBox project team suggested that we should consider forking.»\nÉ mais ou menos o mais civilizado que um fork consegue ser. Dois grupos queriam coisas diferentes, disseram-no durante muito tempo, e separaram-se em vez de lutarem por um só código-fonte. As duas metades continuam a ser Apache 2.0. Ninguém levou nada a que não tivesse direito.\nPara que servia realmente o fork As notas da versão 1.0 do Nautobot listam o que acrescentou em relação ao NetBox 2.10, e a lista explica a discussão melhor do que qualquer artigo de blogue:3\nO que o Nautobot acrescentou em 2021 Onde está o NetBox agora Suporte para GraphQL O NetBox tem Integração com Git como fonte de dados O NetBox tem, como fontes de dados sincronizadas Single sign-on O NetBox tem Segredos O NetBox tem, através de um plugin Scripts e relatórios consolidados em Jobs O NetBox vai passar os scripts para um plugin na 4.7 Custom fields em todos os modelos O NetBox tem um suporte alargado de custom fields API de plugins para validação de dados O NetBox tem regras de validação personalizadas Estados personalizáveis, como objetos na base de dados Os estados do NetBox continuam a ser um choice set em Python Relações definidas pelo utilizador entre modelos O NetBox não tem equivalente Chaves primárias UUID O NetBox usa chaves inteiras Melhorias na API de plugins A framework de plugins do NetBox cresceu muito desde então A maior parte da metade de cima convergiu. Várias coisas que o Nautobot lançou em 2021 chegaram depois ao NetBox, que é o que costuma acontecer quando dois projetos estão a resolver os mesmos problemas em público.\nAs três de baixo não convergiram, e são de arquitetura e não de cosmética. Verifiquei os dois códigos-fonte hoje em vez de confiar nas notas de 2021.\nO Status do Nautobot é um modelo da base de dados, descrito no seu próprio código como «Model for database-backend enum choice objects», portanto um estado é uma linha que alguém pode acrescentar na interface. Os estados do NetBox vêm de um choice set em Python, que é a razão pela qual a secção FIELD_CHOICES mais abaixo acrescenta um editando o configuration.py e reiniciando. O Nautobot tem os modelos Relationship e RelationshipAssociation, por isso podes definir uma relação entre dois tipos de objeto existentes sem escrever código. A resposta do NetBox a esse problema é um plugin, que tem direito a uma série de secções próprias mais abaixo. E as chaves primárias do Nautobot são UUIDs, enquanto as do NetBox são inteiros.\nTambém fizeram aquilo para que fizeram o fork. Neste momento o Nautobot está a publicar a 3.2.x e a 2.4.x no mesmo dia, o que é uma verdadeira linha de manutenção a longo prazo a correr ao lado da atual, e essa era uma das três razões apresentadas.\nQual escolher Primeiro os números honestos. O NetBox tem 21 625 estrelas e 3133 forks; o Nautobot tem 1617 e 422.7 Ambos receberam commits nos últimos dois dias, ambos são Apache 2.0, e ambos têm agora uma empresa comercial por trás a vender suporte e alojamento.\nEssa diferença não é um veredicto sobre a qualidade. Reflete cinco anos de avanço e o facto de a maioria das pessoas que precisa de uma fonte de verdade encontrar primeiro o NetBox. Mas decide aquilo que normalmente importa mais do que as funcionalidades, que é quantos plugins, integrações, módulos Ansible, respostas em fóruns e colegas vais encontrar para aquele que escolheres.\nPortanto: se queres um inventário e uma fonte de verdade que outros sistemas leem, e queres o maior ecossistema e a contratação mais fácil, a resposta é o NetBox, e é disso que trata o resto deste artigo. Se a tua razão para quereres uma fonte de verdade é especificamente conduzir automação a partir dela, ou queres estados e relações definidos pela tua equipa e não por um ficheiro de configuração e um reinício, vai ver o Nautobot com atenção antes de decidires.\nNão deixes ninguém vender-te nenhum dos dois só pelo suporte. Os dois lados já têm isso coberto, e as diferenças que ainda lá vão estar daqui a cinco anos são as da tabela acima.\nO que não deves fazer é escolher um porque alguém te disse que o outro está morto. Nenhum está, e os dois ainda lançaram versões esta semana.\nPôr um a funcionar Dois caminhos, e corri os dois para isto. Contentores se o queres a funcionar em vinte minutos, pacotes num host se vai ter de aguentar peso.\nA pilha de contentores A comunidade mantém o netbox-docker, que é a resposta rápida:8\ngit clone -b release https://github.com/netbox-community/netbox-docker.git cd netbox-docker tee docker-compose.override.yml \u0026lt;\u0026lt;\u0026#39;EOF\u0026#39; services: netbox: ports: - 8000:8080 EOF docker compose pull docker compose up Isso dá-te a aplicação, o PostgreSQL, o Redis e um worker em segundo plano, ligados entre si. Construí a mesma coisa à mão com podman para poder ver as peças, e vale a pena conhecer as peças porque duas delas apanham as pessoas:\nContentor O que faz Se o deixares de fora netbox A aplicação Django atrás do gunicorn nada funciona postgres A base de dados, 15 ou posterior nada funciona redis / valkey Duas bases de dados: uma para tarefas, outra para cache nada funciona netbox-worker rqworker, que esvazia a fila de tarefas os webhooks nunca disparam, as tarefas em segundo plano nunca correm, e nada te avisa netbox-housekeeping A arrumação periódica os registos do change log nunca expiram A quarta linha é que é. Sem um worker, tudo parece saudável. As event rules ficam em fila e ficam por lá.\nDuas coisas morderam-me na primeira execução e nenhuma delas aparece numa mensagem de erro que fosses pesquisar.\nA primeira migração demora muito. Não um minuto. Nesta máquina foram vários, porque o NetBox 4.7 substitui o django-mptt pelo ltree do PostgreSQL e reconstrói todas as tabelas hierárquicas pelo caminho. O contentor fica simplesmente parado a aplicar migrações. Deixa-o estar.\nSem API_TOKEN_PEPPERS não consegues criar um token de API v2, e o único sinal é um aviso no log:\nUserWarning: API_TOKEN_PEPPERS is not defined. v2 API tokens cannot be used. Define pelo menos um, com pelo menos cinquenta caracteres, antes de ires à procura do porquê de a API te rejeitar.\nNum host, a partir dos pacotes O caminho documentado é testado em Ubuntu 24.04. Corri-o de ponta a ponta num limpo, e foi nisto que deu:\nComponente O que o 24.04 me deu O que o NetBox 4.7 precisa PostgreSQL 16.15 15 ou posterior Redis 7.0.15 6.0 ou posterior Python 3.12.3 3.12, 3.13 ou 3.14 Django 6.1.1 vem com o NetBox NetBox v4.7.2 Esses mínimos são do próprio NetBox, e a 4.7 subiu tanto o mínimo do PostgreSQL como o do Redis.9\nO trabalho todo são cinco passos.\n# 1. the services sudo apt install -y postgresql redis-server sudo -u postgres psql -c \u0026#34;CREATE DATABASE netbox;\u0026#34; sudo -u postgres psql -c \u0026#34;CREATE USER netbox WITH PASSWORD \u0026#39;something-you-generated\u0026#39;;\u0026#34; sudo -u postgres psql -c \u0026#34;ALTER DATABASE netbox OWNER TO netbox;\u0026#34; sudo -u postgres psql -d netbox -c \u0026#34;GRANT CREATE ON SCHEMA public TO netbox;\u0026#34; # 2. the build dependencies sudo apt install -y python3 python3-pip python3-venv python3-dev build-essential libxml2-dev libxslt1-dev libffi-dev libpq-dev libssl-dev zlib1g-dev git # 3. the application, at a release tag rather than at main sudo mkdir -p /opt/netbox \u0026amp;\u0026amp; cd /opt/netbox sudo git clone https://github.com/netbox-community/netbox.git . sudo git checkout v4.7.2 sudo adduser --system --group netbox sudo chown -R netbox /opt/netbox/netbox/media/ /opt/netbox/netbox/scripts/ /opt/netbox/netbox/reports/ # 4. the configuration: five values, no more cd /opt/netbox/netbox/netbox/ sudo cp configuration_example.py configuration.py python3 /opt/netbox/netbox/generate_secret_key.py # run it twice sudo $EDITOR configuration.py # 5. let the upgrade script do the rest sudo /opt/netbox/upgrade.sh Esses cinco valores são ALLOWED_HOSTS, DATABASES, REDIS, SECRET_KEY e API_TOKEN_PEPPERS. Gera os dois últimos em separado e não reutilizes um para o outro. Assim sendo, corre o gerador de chaves duas vezes e cola os resultados em linhas diferentes.\nO upgrade.sh constrói o ambiente virtual, instala todas as dependências Python, corre as migrações, constrói a documentação para uso offline e recolhe os ficheiros estáticos. Quando acaba numa máquina nova, imprime um aviso que parece alarmante e não é:\nWARNING: No existing virtual environment was detected. A new one has been created. Update your systemd service files to reflect the new Python and gunicorn executables. (If this is a new installation, this warning can be ignored.) Depois um superutilizador, e está a correr:\nsource /opt/netbox/venv/bin/activate cd /opt/netbox/netbox \u0026amp;\u0026amp; python3 manage.py createsuperuser Para qualquer coisa a sério, põe o gunicorn à frente em vez do runserver. A configuração e os ficheiros de unidade já estão no repositório, que é o pormenor que vale a pena saber, porque há quem escreva os seus:\nsudo cp /opt/netbox/contrib/gunicorn.py /opt/netbox/gunicorn.py sudo cp -v /opt/netbox/contrib/*.service /etc/systemd/system/ sudo systemctl daemon-reload sudo systemctl enable --now netbox netbox-rq O netbox.service corre o gunicorn em 127.0.0.1:8001, o netbox-rq.service corre o worker, e o nginx ou o Apache vão à frente para terminar o TLS e servir o /static. Dois serviços, e o segundo é o mesmo worker de que a pilha de contentores precisa.\nA ordem pela qual o tens de preencher Um NetBox acabado de instalar é uma base de dados vazia com opiniões, e a primeira hora com um costuma ser passada a descobrir que opiniões são essas. Vais acrescentar um equipamento, e ele não te deixa.\nAqueles asteriscos vermelhos são a lição toda. O NetBox não regista uma coisa antes de existirem as coisas de que ela depende, e não está a ser picuinhas: um equipamento sem tipo é uma linha que não consegue responder a nenhuma das perguntas para que um equipamento serve.\nPor isso, em vez de adivinhar, perguntei ao modelo que chaves estrangeiras são de facto obrigatórias, e depois tentei partir cada regra através da API para ver o que voltava.\nPOST /api/dcim/device-types/ no manufacturer {\u0026#34;manufacturer\u0026#34;: [\u0026#34;This field is required.\u0026#34;]} POST /api/dcim/devices/ no device type {\u0026#34;device_type\u0026#34;: [\u0026#34;This field is required.\u0026#34;]} POST /api/dcim/interfaces/ no device {\u0026#34;device\u0026#34;: [\u0026#34;This field is required.\u0026#34;]} POST /api/ipam/aggregates/ no RIR {\u0026#34;rir\u0026#34;: [\u0026#34;This field is required.\u0026#34;]} POST /api/circuits/circuits/ no provider, no type {\u0026#34;provider\u0026#34;: [\u0026#34;This field is required.\u0026#34;], \u0026#34;type\u0026#34;: [\u0026#34;This field is required.\u0026#34;]} POST /api/virtualization/virtual-machines/ nothing at all {\u0026#34;__all__\u0026#34;: [\u0026#34;A virtual machine must be assigned to a site, cluster, or device.\u0026#34;]} Todos recusaram, e disseram exatamente o que faltava. Aqui está a mesma informação como lista de pré-requisitos:\nPara criar Obrigatório antes Opcional, mas queres antes Tenant nada um Tenant group Region, Site group nada um pai do mesmo tipo, aninham-se Site nada uma Region, um Site group, um Tenant Location um Site uma Location pai, um Tenant Rack type um Manufacturer Rack um Site uma Location, Rack group, Rack role, Rack type, Tenant Device type um Manufacturer Device role nada um Device role pai, aninham-se Device um Device role, um Device type, um Site um Rack e uma posição, uma Platform, um Tenant Interface, e qualquer outro componente um Device Cable duas coisas onde terminar um Tenant Aggregate um RIR um Tenant VLAN nada um VLAN group, um Role, um Tenant Prefix nada um Site, uma VLAN, um Role, uma VRF, um Tenant IP address nada uma Interface a que o atribuir, um Tenant Circuit um Provider e um Circuit type um Tenant Circuit termination um Circuit um Site onde chegar Cluster um Cluster type um Cluster group, um Site, um Tenant Virtual machine um Site, um Cluster ou um Device uma Platform, um Tenant VM interface uma Virtual machine A segunda coluna é a que te sai cara. Prefixos, endereços IP, VLANs e tenants não exigem nada, por isso nada te impede de os criar no primeiro dia pela ordem que te apetecer. Se servem para alguma coisa é outra questão, porque um endereço sem interface por trás é uma linha numa lista, e um equipamento sem tenant é um equipamento que vais voltar a editar mais tarde.\nA ordem pela qual trabalhar de facto Isso dá uma sequência. Segue-a de cima para baixo e nada te vai recusar.\nPrimeiro, as coisas de que tudo o resto depende. Nenhuma delas é empolgante e todas são baratas de errar.\nTenant groups, depois tenants. Faz estes antes de tudo o resto. Vinte e oito modelos aceitam um tenant, incluindo Site, Location e Rack, por isso se os clientes ainda não existirem não os consegues carimbar à medida que avanças e vais andar a editar em massa mais tarde. Regions e site groups. Ambos opcionais, ambos se aninham dentro de si próprios, e são independentes um do outro. As regions são para a geografia, os site groups para a função, e podes usar um, os dois ou nenhum. Sites. A raiz de quase tudo. Um site não exige nada, e é por isso que é a primeira coisa que consegues realmente criar. Locations. Precisam de um site, e aninham-se, por isso um pavilhão com filas que contêm pods é um único modelo com três níveis. Rack roles e rack groups. Ambos opcionais. Os rack groups são planos e ficam ao lado das locations como um segundo eixo, o que dá jeito para filas e pods. Manufacturers, depois rack types. Um rack type precisa de um manufacturer. Salta os rack types se não estiveres a modelar os próprios armários. Racks. Precisam de um site. Se também lhes deres uma location, essa location tem de pertencer a esse site, e o NetBox verifica. Depois o catálogo de hardware, não o hardware. Antes de poderes acrescentar um único equipamento precisas de manufacturers, device types, device roles e, na prática, platforms.\nManufacturers. Pode ser que já tenhas alguns do passo 6, porque os rack types também precisam deles. Os module types também. Device types, cada um a precisar de um manufacturer. Device roles, que se aninham, e platforms. Este é o passo que as pessoas saltam, e é o passo que decide quanto vais escrever no resto do trabalho. Um device type traz as suas próprias interfaces, portas e baías como modelos, por isso cada equipamento que crias a partir dele chega já com os componentes certos. Acerta no tipo uma vez e montar quarenta deles são quarenta nomes.\nA platform é a exceção nessa lista, porque um equipamento não precisa estritamente de uma. Faz já de qualquer maneira. É ela que vai levar o config template e o driver NAPALM mais tarde, e voltar atrás para a definir num parque inteiro é o mesmo serão que terias gasto com os tenants.\nDepois o equipamento propriamente dito.\nDevices. Role, type e site são todos obrigatórios. Rack e posição são opcionais, e se os deres têm de ser coerentes com o site. Componentes, se o device type não os tiver já fornecido. Cabos, entre os componentes. Depois o endereçamento, porque um endereço quer uma interface onde viver e a interface só existe depois do passo 12.\nRIRs, depois aggregates. Roles de prefixo e de VLAN, VRFs, VLAN groups e depois VLANs. Prefixos, depois os endereços IP individuais. Depois a camada comercial.\nProviders, provider accounts e circuit types. Circuits, depois termina-os em sites. E o parque virtual, que espelha o físico.\nCluster types e cluster groups, depois clusters. Virtual machines, que precisam de um site, de um cluster ou de um device, e depois as suas interfaces. Os passos 1 a 10 são uma tarde e parecem trabalho administrativo. Não há nada de glamoroso em nenhum deles. São também a tarde que decide se o passo 11 leva uma manhã ou quinze dias.\nAs regras que mordem mais tarde Os campos obrigatórios são a metade fácil, porque falham logo e dizem-te porquê. As que apanham as pessoas desprevenidas são as regras de coerência, que só disparam quando já tens dados suficientes para te contradizeres:\ndevice at Leeds, put in a Manchester rack {\u0026#34;rack\u0026#34;: [\u0026#34;Rack MCR1-A07 (A07) does not belong to site Leeds Edge.\u0026#34;]} device at Leeds, in a Manchester location {\u0026#34;location\u0026#34;: [\u0026#34;Location Hall 2 does not belong to site Leeds Edge.\u0026#34;]} rack at Leeds, in a Manchester location {\u0026#34;__all__\u0026#34;: [\u0026#34;Assigned location must belong to parent site (Leeds Edge).\u0026#34;]} a second device in a unit that is already taken {\u0026#34;position\u0026#34;: [\u0026#34;U39.0 is already occupied or does not have sufficient space to accommodate this device type: MX204 (1.0U)\u0026#34;]} Essa última é a que eu apontaria se alguém perguntasse para que serve isto tudo. O NetBox sabe que o equipamento tem 1U, sabe o que está no armário, e não te deixa registar duas coisas no mesmo espaço. A tua folha de cálculo deixa-te fazer isso a tarde inteira sem dizer uma palavra, e vais descobrir quando alguém estiver no pavilhão com uma caixa nas mãos.\nNenhuma destas é configurável e nenhuma devia ser. São a diferença entre um registo e um desejo.\nUsá-lo: o que te dá cada ecrã Com o parque carregado, eis o que tiras realmente de lá. Tudo o que se segue é a mesma instância: um armário, catorze equipamentos, cablados e endereçados entre três clientes.\nUm equipamento são os seus componentes Entra num desses hipervisores e o separador interessante não é o resumo, são as interfaces.\nLê uma linha de ponta a ponta. A interface, a sua velocidade, o que escreveste sobre ela, o endereço que tem, a etiqueta do cabo, e a porta na outra ponta. É uma única consulta, e é a resposta à pergunta que toda a gente faz de facto, que é «isto está ligado a quê».\nRepara onde está o endereço. Está na eno1, não no servidor. Isso parece picuinhice até ao dia em que tens uma caixa com uma interface de gestão, duas interfaces de dados e uma loopback, e alguém pergunta que endereço responde por ela. Um modelo que pendura os endereços nos equipamentos não te consegue dizer. Este consegue, e também consegue guardar o caso perfeitamente banal de quatro endereços numa interface.\nSegue o cabo Os cabos terminam em componentes, não em equipamentos. Uma interface numa ponta, uma interface na outra, ou uma front port, uma rear port, uma tomada de energia, uma terminação de circuito. É o pormenor em que assenta a funcionalidade toda, e é por isso que a lista de interfaces acima conseguiu mostrar a outra ponta numa coluna própria sem ninguém lho dizer.\nModela um cabo de equipamento para equipamento e fizeste um desenho. Termina-o nas portas e o NetBox consegue percorrê-lo.\nAqui é um salto, porque é um cabo de ligação direta. Põe painéis de patch pelo meio e ele percorre-os, painel a painel, e diz-te o que está na outra ponta de um percurso que atravessa três armários. É o trabalho que de outra forma envolve uma lanterna e alguém a segurar a outra ponta de uma sonda de tom.\nO traçado também mostra a localização completa de cada ponta. Site, pavilhão, armário, face, unidade de bastidor. Se alguma vez estiveste numa chamada a tentar dizer a um técnico de remote hands para que caixa olhar, aquela linha é o valor todo.\nEndereços, como uma árvore e não como um separador O IPAM é a metade pela qual as pessoas chegam.\nA indentação é calculada a partir dos próprios endereços. Não dizes ao NetBox que 10.20.20.0/24 está dentro de 10.20.0.0/16, ele descobre-o sozinho, e vai continuar a descobri-lo quando alguém acrescentar um /26 no meio dele no próximo ano.\nCada linha traz as coisas pelas quais filtras de facto: a VLAN a que corresponde, a função, e o cliente a que pertence. A utilização também é calculada.\nAbre um e tens os endereços que lá estão, e os buracos.\nAquelas linhas verdes são o espaço livre, mostrado em linha com o espaço usado. Há uma chamada à API que te entrega o próximo endereço livre de um prefixo, que é a única peça de automação IPAM que se paga logo, porque é aquilo que as pessoas de outra forma fazem a semicerrar os olhos para uma folha de cálculo e a ter esperança.\nUma interface leva os endereços que quiseres, das duas famílias, e nomeias um de cada como o primário do equipamento.\nDois IPv4 e dois IPv6 numa porta, o que é uma terça-feira normal e uma coisa que um modelo centrado no equipamento não consegue exprimir de todo.\nIntroduz os endereços com a máscara da rede em que estão, não como /32. O NetBox aceita 10.20.20.11/32 e arquiva-o sob o prefixo certo, porque a contenção é calculada a partir do endereço do host. O que não faz é corrigir-te depois: a máscara é guardada exatamente como foi escrita e devolvida a quem a ler, por isso um /32 num endereço de LAN gera um /32 na configuração do equipamento. O sítio onde isso morde é três meses depois num config template, não hoje no formulário.\nUma instalação, três clientes A maioria dos objetos no NetBox pode ser atribuída a um tenant. Uma empresa usa isso para unidades de negócio. Se vendes serviços geridos, crias um por cliente.\nAquele painel à direita é a resposta a «o que é que este cliente tem», e montou-se sozinho. Sem relatório, sem folha de cálculo, sem perguntar ao engenheiro que o construiu.\nVale a pena ter cuidado com o que tenancy quer dizer, porque errar no primeiro dia é um ano a desfazer mais tarde. Um tenant quer dizer que o objeto é dedicado a esse cliente. Um router que só os serve a eles recebe o tenant deles. Uma firewall que serve quatro deles não pertence a nenhum, por isso não recebe nenhum, e a relação vai para outro lado. Mais sobre isso mais abaixo, porque é o ponto em que a maioria das pessoas descobre que precisa de acrescentar uma coisa sua.\nPõe os números no device type Este é o passo que separa um inventário de uma coisa que responde a perguntas, e custa uns dez minutos por device type.\nUm device type pode levar o seu peso e, através dos seus modelos de porta de alimentação, o seu consumo de energia. Põe isso no tipo uma vez e cada equipamento que alguma vez criares a partir dele herda-o. Deixa-os de fora e o NetBox diz-te alegremente que um armário está 28,6% cheio e mais nada.\nPus o peso nos cinco tipos aqui, dei a cada um dois modelos de porta de alimentação com um consumo máximo e um alocado, dei ao tipo de PDU uma entrada e doze tomadas, e depois criei um quadro elétrico e duas alimentações para o armário e cablei tudo: a PSU1 de cada equipamento à PDU A, cada PSU2 à PDU B, e a entrada de cada PDU à sua alimentação.\nDepois a página do bastidor muda por completo.\nUtilização de espaço 28,6%. Utilização de energia 90,7%.\nAquele armário está um terço cheio de equipamento e quase sem energia, e isso é um facto sobre o teu parque que nenhuma folha de cálculo te vai alguma vez oferecer. É também o facto que decide se a próxima encomenda é montada ali ou noutro lado, e saiu de dados que introduziste uma vez, nos tipos.\nDuas coisas que o vão deixar a mostrar zero Ao princípio obtive 0,0%, duas vezes, e vale a pena conhecer as duas causas porque nenhuma produz um erro.\nAs tomadas têm de referenciar a entrada. Uma tomada de energia numa PDU tem um campo power_port que aponta para a porta a montante no mesmo equipamento. Deixa-o em branco e a cadeia fica partida: o NetBox não tem maneira de saber que aquelas doze tomadas são alimentadas por aquela entrada, por isso nada é somado.\nDeixa vazios os campos de consumo da entrada. Esta é a que vai contra a intuição. O NetBox só calcula o consumo de uma porta de alimentação a partir do que lá está ligado se os seus próprios dois campos de consumo estiverem em branco:\nif self.allocated_draw is None and self.maximum_draw is None: ...aggregate the downstream power ports... # otherwise return {\u0026#39;allocated\u0026#39;: self.allocated_draw or 0, ...} Eu tinha posto, muito prestável, maximum_draw: 7400 na entrada da PDU, porque é essa a potência nominal da PDU. O NetBox acreditou em mim, tomou o allocated_draw como não definido, e reportou zero. Limpa os dois e ele faz as contas:\nmcr1-pdu-a INPUT -\u0026gt; allocated 5340 VA, maximum 8480 VA, across 12 outlets mcr1-pdu-b INPUT -\u0026gt; allocated 5340 VA, maximum 8480 VA, across 12 outlets feed MCR1-A07-A: available 5888 VA (230 V x 32 A x 80% max utilisation) RACK power utilisation: 90.7 % RACK weight: 166.6 kg of 900 kg Portanto a regra é: põe números reais nas folhas, e deixa as portas intermédias em branco para o NetBox as poder somar. Um valor definido administrativamente ganha sempre ao calculado, o que é o comportamento correto e exatamente a coisa errada de fazer numa PDU.\nArrefecimento, que é novo A versão 4.7 acrescentou o arrefecimento ao DCIM, e chegou com a metade que está a ficar cara. Um bastidor leva uma capacidade de arrefecimento de ar, híbrida ou líquida e uma capacidade em quilowatts; um device type leva um método de arrefecimento. Acima disso ficam as fontes de arrefecimento para os chillers e as unidades CRAC, as alimentações de arrefecimento que representam um circuito até um bastidor, e componentes de entrada e saída nos próprios equipamentos para cold plates e coletores.\nO armário acima diz Hybrid, 15,00 kW, porque eu disse isso ao bastidor. Se vais receber equipamento com arrefecimento líquido este ano, é um modelo para aquilo que neste momento tens numa folha de cálculo.\nUma instalação, muitos clientes A tenancy é a razão pela qual um prestador pode correr um só NetBox em vez de um por cliente, e vale a pena perceber o que faz e, mais importante ainda, o que não faz.\nVinte e oito dos modelos do NetBox têm um campo de tenant. Sites, locations, racks e reservas de rack. Devices, cabos e virtual device contexts. Prefixos, endereços IP, ranges, aggregates, VLANs, VLAN groups, VRFs, route targets, ASNs. Circuits e circuit groups. Clusters e máquinas virtuais. Túneis, L2VPNs, wireless LANs e links. Power feeds e cooling feeds.\nSão todos os substantivos faturáveis. Define-o de forma coerente e «o que é que este cliente tem» deixa de ser uma investigação.\nMas um tenant é uma etiqueta, não uma fechadura. Diz que o objeto é dedicado a esse cliente. Não impede quem consegue entrar de ler tudo, o que está bem dentro de uma empresa e não serve para nada a partir do momento em que um cliente tem conta.\nDaí seguem-se duas coisas, e a segunda é a que as pessoas erram.\nUm tenant quer dizer dedicado. Um router que serve um só cliente recebe o tenant dele. Uma firewall que serve quatro deles não pertence a nenhum, por isso não recebe nada, e registas a relação na coisa que de facto vendeste. Forçar um tenant em equipamento partilhado torna discretamente errado cada relatório construído sobre a tenancy.\nE o acesso é um mecanismo completamente à parte.\nAs permissões são onde vive o isolamento As permissões de objeto do NetBox aceitam uma restrição em JSON, e a restrição é um filtro do ORM do Django. Estreita o queryset antes de se construir o que quer que seja a partir dele, por isso cada vista, exportação, chamada à API e pesquisa é estreitada com ele.\nTrês campos fazem o trabalho. Os tipos de objeto a que se aplica, as ações que concede, e aquela restrição ao fundo. Tudo o resto é contabilidade.\nAqui está a lista de equipamentos como administrador.\nE aqui está o mesmo URL, a mesma instalação, com a sessão iniciada como o cliente.\nDuas linhas em vez de catorze, e olha para o menu da esquerda. Encolheu para as quatro coisas em que aquela conta pode mexer. Ninguém configurou isso. A navegação é construída a partir das mesmas permissões, por isso um cliente nunca vê uma ligação para uma coisa que o recusaria.\nAs duas maneiras de dizer não Este é o pormenor que vale a pena saber, porque as duas recusas querem dizer coisas diferentes e ambas são deliberadas.\nO token do cliente pede Recebe /api/dcim/devices/ 200, uma linha de duas /api/dcim/devices/1/, o seu 200 /api/dcim/devices/2/, o de outra pessoa 404 /api/tenancy/tenants/ 403 /api/dcim/sites/, nunca concedido 403 nenhum token 403 404 quer dizer que o tipo é teu mas aquela linha não é. A restrição retirou-a do queryset, por isso, para o pedido, ela não existe. Um 403 ali confirmaria que existe, e deixaria um cliente curioso contar o teu parque percorrendo os IDs.\n403 quer dizer que o tipo nunca foi teu. Tenants e sites nunca foram concedidos, por isso recusam logo, e o cliente não consegue enumerar quem mais está na plataforma.\nDepois deixa-os escrever Só leitura é o caso fácil. A verdadeira questão é se se pode confiar a um cliente direitos de edição, por isso concedi change sob a mesma restrição e fui à procura da saída.\nTentativa Resultado Editar o seu próprio equipamento 200, gravado Editar o equipamento de outro cliente 404 Editar o seu próprio equipamento, passando-o para o tenant do outro cliente 403 Apagar o seu próprio equipamento 403, apagar nunca foi concedido A terceira linha é a que importa. Reatribuir o teu próprio equipamento ao tenant de outra pessoa é a fuga óbvia, porque o objeto está dentro da tua restrição quando o pedido chega e fora dela depois. O NetBox avalia a restrição contra o estado em que o objeto ficaria, por isso recusa. Voltei a ler o equipamento em vez de confiar no código de estado, e o tenant não tinha mudado.\nÉ esse o buraco que a maior parte da multi-tenancy feita em casa deixa aberto, e normalmente é encontrado por um cliente e não por um teste.\nVariáveis que precisam de ser herdadas Aqui está a distinção que as pessoas erram, e acertar nela poupa muita edição.\nUm custom field é um valor num objeto. Defines por objeto, e fica lá. Bom para um facto sobre a própria coisa: uma etiqueta de inventário, um número de contrato de suporte, uma data de entrada em serviço.\nUm config context é um valor ligado a uma característica, que tudo o que corresponde a essa característica herda. Bom para uma variável que deve descer em cascata: os teus servidores NTP, os teus destinos de syslog, a tua comunidade SNMP, o teu domínio DNS, a tua VLAN de gestão, a tua janela de backup.\nSe dás por ti a definir o mesmo custom field com o mesmo valor em quarenta equipamentos, querias um config context.\nUm contexto é JSON arbitrário, e pode ser ligado a uma region, site group, site, location, device type, role, platform, cluster, cluster type, cluster group, tenant group, tenant ou tag. O tenant está nessa lista, o que para um prestador quer dizer que um facto verdadeiro para um cliente em todo o lado o segue para cada equipamento que alguma vez acrescentares para ele.\nA fusão é chave a chave, e o peso decide quem ganha cada uma.\nLê o painel da direita contra o da esquerda. A região fornece quatro chaves com peso 1000. O site fornece uma chave com peso 2000. O contexto gerado mantém intactos o domínio, os servidores NTP e a comunidade da região, e fica com o servidor de syslog do site, porque é a única chave que alguém disputou.\nEscreves a exceção, não uma cópia nova de tudo com a exceção lá dentro. É esse o valor todo, e é por isso que isto escala onde um ficheiro de variáveis por equipamento não escala.\nO contexto local ganha a tudo o que está acima A pilha de herança tem um topo, e é o próprio objeto. Os dados de contexto local num equipamento ganham a todos os contextos de origem que se lhe aplicam, sejam quais forem os seus pesos.\nDefini isto em mcr1-core-01:\n{\u0026#34;syslog_servers\u0026#34;: [\u0026#34;10.20.10.99\u0026#34;], \u0026#34;note\u0026#34;: \u0026#34;this box logs somewhere else\u0026#34;} e o seu contexto gerado passou a ser:\n{ \u0026#34;note\u0026#34;: \u0026#34;this box logs somewhere else\u0026#34;, \u0026#34;domain\u0026#34;: \u0026#34;mcr1.example.net\u0026#34;, \u0026#34;ntp_servers\u0026#34;: [\u0026#34;172.16.10.22\u0026#34;, \u0026#34;172.16.10.33\u0026#34;], \u0026#34;snmp_community\u0026#34;: \u0026#34;n0rthwest\u0026#34;, \u0026#34;syslog_servers\u0026#34;: [\u0026#34;10.20.10.99\u0026#34;] } O servidor de syslog local ganhou tanto à sobreposição do site com peso 2000 como à região com peso 1000. Tudo aquilo sobre o qual não disse nada continuou a ser herdado, por isso o domínio, os servidores NTP e a comunidade passaram intactos, e a chave nova foi simplesmente acrescentada.\nÉ essa a porta de saída para a única caixa que é genuinamente diferente, e o painel diz-te claramente que sobrepõe todos os contextos de origem. Se dás por ti a usá-lo em muitos equipamentos e não num só, encontraste uma característica que esses equipamentos partilham e querias um contexto com esse âmbito.\nTrês armadilhas Um contexto sem âmbito é global. Cria um e esquece-te de o atribuir a alguma coisa, e aplica-se a todos os equipamentos e máquinas virtuais que tens. É comportamento documentado e de vez em quando é o que queres. Também é silencioso.\nAs chaves não podem ter hífenes se as quiseres alcançar de forma simples. Os dados de contexto são JSON, por isso ntp-servers é perfeitamente legal, mas os nomes de variáveis do Jinja não são chaves JSON. {{ ntp-servers }} é interpretado como uma subtração e lança UndefinedError: 'ntp' is undefined. Escreve {{ ntp_servers }} sobre dados com hífenes e recebes uma string vazia, HTTP 200, e nenhum aviso em lado nenhum. Usa underscores nas chaves e o modelo óbvio funciona.\nUm perfil pode travar as gralhas. Um config context profile agrupa contextos relacionados e impõe um JSON schema aos seus dados no momento da gravação. Dei a um deles um schema que exige syslog_servers como array de strings IPv4, e depois cometi os dois erros que as pessoas cometem de facto:\n{\u0026#34;syslog-server\u0026#34;: [\u0026#34;10.1.1.1\u0026#34;]} singular, by accident 400 Data does not conform to profile schema: \u0026#39;syslog-servers\u0026#39; is a required property {\u0026#34;syslog_servers\u0026#34;: [...], \u0026#34;syslog_port\u0026#34;: 99999} 400 Data does not conform to profile schema: 99999 is greater than the maximum of 65535 Rejeitados onde alguém os cometeu, e não quatrocentos equipamentos depois.\nGerar a configuração Dados de contexto mais um modelo Jinja dão-te um ficheiro de configuração. O equipamento está no âmbito como device, o seu contexto fundido está no âmbito como variáveis normais, e podes percorrer os seus componentes.\nTudo naquela página veio de um sítio diferente, e é esse o objetivo:\nLinha De onde veio host-name mcr1-core-01 o equipamento domain-name mcr1.example.net o config context regional location \u0026quot;Manchester DC1 / MCR1-A07 / U39\u0026quot; o site, o bastidor e a posição nele server 172.16.10.22 o contexto regional, peso 1000 host 10.20.10.99 any notice o próprio contexto local do equipamento, a ganhar ao site e à região family inet address 10.20.10.11/24 o endereço naquela interface, com a máscara tal como foi escrita O modelo é resolvido primeiro no equipamento, depois na role, depois na platform, e o pedido falha se nenhum dos três tiver um. Por isso atribuis um modelo a uma platform uma vez, e cada equipamento que corre esse software gera a partir dele, a não ser que a sua role ou o próprio equipamento digam outra coisa. É para isso que serve uma platform: o sistema operativo ou a família de software do fabricante, não o hardware.\nO NetBox gera. Não envia. Pôr o resultado na caixa é trabalho da tua automação, e no dia em que um erro num modelo teria de outra forma reconfigurado quatrocentos equipamentos, vais ficar contente por serem dois sistemas diferentes.\nPlugins Um plugin é uma aplicação Django instalada ao lado do NetBox. Pode acrescentar modelos, acrescentar páginas, estender as duas APIs, injetar conteúdo em modelos de página existentes, acrescentar navegação, acrescentar filas de tarefas em segundo plano e carregar mais aplicações Django. Há muito pouco que não consiga fazer, porque por baixo é só Django.\nInstalar um são quatro comandos e um reinício:\nsource /opt/netbox/venv/bin/activate pip install netbox-topology-views netbox-qrcode # add the package names to PLUGINS in configuration.py, then python3 manage.py migrate python3 manage.py collectstatic --no-input sudo systemctl restart netbox netbox-rq Na pilha de contentores os mesmos pacotes vão para o plugin_requirements.txt e reconstróis a imagem. De uma forma ou de outra, fixa as versões e verifica primeiro a matriz de compatibilidade, porque um plugin que ainda não acompanhou uma versão do NetBox recusa-se a arrancar a aplicação inteira em vez de se desativar a si próprio.\nO catálogo publicado lista 31. Estes são os que vale a pena conhecer, com a licença com que cada um é de facto distribuído:\nPlugin O que faz Licença DNS Zonas, registos e servidores de nomes como fonte de verdade MIT BGP Sessões, comunidades e políticas de encaminhamento Apache 2.0 Topology Views Mapas de topologia gráficos construídos a partir dos teus cabos Apache 2.0 Floorplan Mapas gráficos de sites e locations LGPL 3.0 QR Code Códigos em bastidores, equipamentos e cabos, para etiquetas de inventário Apache 2.0 ACLs Listas de acesso e regras Apache 2.0 Prometheus SD Dá ao Prometheus a lista de hosts diretamente do NetBox MIT Documents Documentos ligados a circuitos e equipamentos Apache 2.0 Lifecycle Fim de vida do hardware, licenças e contratos Apache 2.0 Contract Contratos e faturas MIT Reorder Rack Arrastar e largar unidades de bastidor Apache 2.0 Branching Ramos isolados e fundíveis dos teus dados NetBox Limited Use Custom Objects Tipos de objeto novos, definidos na interface NetBox Limited Use O Prometheus SD é a forma honesta da ideia toda. O NetBox sabe o que existe, por isso deixa o NetBox dizê-lo ao sistema de monitorização, e deixa de manter uma segunda lista de hosts que se vai desviando.\nUma coisa a saber antes de construíres sobre as duas últimas linhas. O próprio NetBox é Apache 2.0 e é-o desde que a DigitalOcean o lançou em 2016, e o projeto é hoje gerido pela NetBox Labs em conjunto com uma equipa de mantenedores voluntários.21 O NetBox Branching e o NetBox Custom Objects não são: são distribuídos sob a NetBox Limited Use License 1.0, que concede o uso «only as part of a NetBox installation obtained from NetBox Labs or a NetBox distributor authorized by NetBox Labs, and only for your own internal use», e que não concede o direito de usar o software «to provide a managed service or software products that includes, integrates with, or extends NetBox in a way that competes with any product or service of NetBox Labs». Se instalaste o NetBox Community a partir do GitHub e o corres em nome de clientes, lê tu mesmo os termos antes de lhes pores um schema por trás.10 O próprio guia de instalação do NetBox recomenda os dois plugins sem o mencionar.11\nCustom fields Um custom field acrescenta um atributo a um modelo existente. Os valores são guardados como JSON junto a cada objeto, por isso não há migração nem reinício, e há treze tipos, incluindo referências de objeto e de vários objetos para outros registos do NetBox.\nDois campos ali, agrupados sob um título «Asset» que eu escolhi. Repara no painel Dimensions à direita deles: 9,5 kg, que ninguém escreveu neste equipamento. Veio do device type.\nOs custom fields são validados, e vale a pena saber que o são, porque é uma diferença real em relação ao caminho mais abaixo. Dei ao campo do contrato uma expressão regular e a API impô-la:\nPATCH {\u0026#34;custom_fields\u0026#34;: {\u0026#34;support_contract\u0026#34;: \u0026#34;nonsense\u0026#34;}} {\u0026#34;__all__\u0026#34;: [\u0026#34;Invalid value for custom field \u0026#39;support_contract\u0026#39;: Value must match regex \u0026#39;^[A-Z]{2,4}-[0-9]{6}$\u0026#39;\u0026#34;]} Mudaram duas coisas na 4.7 que importam em escala. Criar um campo com um valor por omissão, ou apagar um campo, obriga a reescrever os dados guardados de cada objeto a que se aplica, por isso numa tabela grande esse trabalho é entregue a uma tarefa em segundo plano e o campo mostra «provisioning» ou «deleting» enquanto corre. Um campo só funciona enquanto estiver no estado ativo: durante qualquer das operações não aparece nos objetos, nos formulários, nos filtros nem em nenhuma das APIs. Isso precisa de um worker a correr, ou fica nesse estado indefinidamente.\nUsa um custom field quando estás a acrescentar um facto sobre a própria coisa. Usa um config context quando o valor deve descer em cascata. Usa a secção seguinte quando a coisa de que precisas não existe.\nMenus de seleção personalizados, e sobrepor o que vem de origem Debaixo deste título vivem dois mecanismos diferentes e resolvem problemas diferentes. Um é para os teus próprios campos. O outro reescreve os do NetBox.\nUm choice set, para o teu próprio campo de seleção Um custom field do tipo «selection» vai buscar as suas opções a um choice set, que é um objeto que geres na interface como qualquer outro. Assim, o «nível de suporte» passa a ser uma lista pendente a sério em vez de texto livre que alguém vai escrever de três maneiras.\nÉ imposto, incluindo através da API:\nPATCH {\u0026#34;custom_fields\u0026#34;: {\u0026#34;support_tier\u0026#34;: \u0026#34;platinum\u0026#34;}} {\u0026#34;__all__\u0026#34;: [\u0026#34;Invalid value for custom field \u0026#39;support_tier\u0026#39;: Invalid choice (platinum) for choice set Support tier.\u0026#34;]} Os choice sets são partilhados, por isso um conjunto pode servir de base ao mesmo campo em vários modelos, e mudar a lista num sítio muda-a em todo o lado.\nFIELD_CHOICES, para os campos do próprio NetBox Este é o que as pessoas não sabem que existe. Vários dos campos de escolha nativos do NetBox podem ser estendidos ou substituídos a partir do configuration.py, incluindo o estado do equipamento, o estado do site, o estado do bastidor, o estado do circuito e muitos mais.12\nAcrescenta um sinal de mais para somar ao que vem de origem. Deixa-o de fora para substituir a lista por completo.\nFIELD_CHOICES = { # add to what NetBox ships with \u0026#39;dcim.Device.status+\u0026#39;: ( (\u0026#39;burn-in\u0026#39;, \u0026#39;Burn-in\u0026#39;, \u0026#39;cyan\u0026#39;), {\u0026#39;value\u0026#39;: \u0026#39;awaiting-rma\u0026#39;, \u0026#39;label\u0026#39;: \u0026#39;Awaiting RMA\u0026#39;, \u0026#39;color\u0026#39;: \u0026#39;orange\u0026#39;, \u0026#39;description\u0026#39;: \u0026#39;Faulty, with the vendor\u0026#39;}, ), # replace the stock list outright \u0026#39;dcim.Site.status\u0026#39;: ( (\u0026#39;surveyed\u0026#39;, \u0026#39;Surveyed\u0026#39;, \u0026#39;purple\u0026#39;), (\u0026#39;building\u0026#39;, \u0026#39;Building out\u0026#39;, \u0026#39;orange\u0026#39;), (\u0026#39;active\u0026#39;, \u0026#39;Active\u0026#39;, \u0026#39;green\u0026#39;), (\u0026#39;closing\u0026#39;, \u0026#39;Closing\u0026#39;, \u0026#39;red\u0026#39;), ), } Pus exatamente isso nesta instância. O estado do equipamento voltou com os sete valores de origem e os meus dois:\noffline, active, planned, staged, failed, inventory, decommissioning, burn-in, awaiting-rma e o estado do site voltou só com os meus, sem a lista de origem:\nsurveyed, building, active, closing Uma escolha pode ser um simples tuplo de valor, rótulo e cor, ou um dicionário que também aceita uma descrição mostrada como subtítulo no formulário. E comportam-se como valores nativos em todo o lado, porque para o resto do NetBox são valores nativos:\nAquele distintivo é o meu estado, na minha cor, a ordenar e a filtrar como qualquer outro.\nTrês coisas que vale a pena saber antes de o usares.\nSubstituir apaga os valores de origem do menu, não da base de dados. Qualquer objeto que já tenha um deles mantém-no, mas o valor deixa de ser oferecido e não vai ser uma escolha válida da próxima vez que alguém editar esse objeto. Se substituíres uma lista, verifica se nada está assente num valor que acabaste de retirar.\nVive no ficheiro de configuração, por isso precisa de um reinício e não é uma coisa que um utilizador da interface consiga mudar. Para um prestador é assim que deve ser: o conjunto de estados que o teu negócio reconhece é uma decisão de governação, não uma decisão de terça-feira à tarde.\nEstende antes de substituíres. Os valores de origem são o que todos os plugins, scripts e integrações esperam ver. Acrescentar não custa nada. Substituir é uma decisão que fica tua para sempre.\nCustom objects Aqui está uma lacuna real. O NetBox modela clusters, máquinas virtuais e discos virtuais. Não modela o datastore onde esses discos vivem de facto, e para quem corre Proxmox ou VMware esse é o objeto que liga o armazenamento que compraste à carga de trabalho que o usa.\nO plugin Custom Objects deixa-te definir um novo tipo de objeto a partir da interface ou da API, sem escrever código nenhum. Assim:\nSete campos, dois dos quais são o objetivo todo. cluster é uma referência a um único objeto, um cluster real do NetBox, definida como protect para que ninguém consiga apagar um cluster deixando o seu armazenamento sem chão. provisioned_by é uma referência a vários objetos, os equipamentos que de facto o servem.\nIsso dá-te um objeto de primeira classe com a sua própria entrada de navegação, vista de lista, filtros, importação e exportação:\nE como as referências são reais, a relação também aparece do outro lado. Abre o cluster e os datastores estão listados nele.\nUm custom object type herda a maior parte do que faz de um objeto do NetBox um objeto do NetBox: vistas de lista e de detalhe, uma entrada de navegação, endpoints REST, pesquisa de texto integral, registo de alterações, journaling, tags, marcadores, importação e exportação, event rules e notificações. Nada disso teve de ser escrito.\nTambém não é um bloco de JSON a fingir que é uma tabela. O plugin emite DDL a sério, e o que aparece no PostgreSQL é uma tabela a sério com restrições a sério:\nTable \u0026#34;public.custom_objects_2\u0026#34; Column | Type | Nullable | Default -----------------+----------+----------+------------------ id | bigint | not null | identity name | varchar | | cluster_id | bigint | | backing | varchar | | capacity_gb | bigint | | thin_provisioned| boolean | | Indexes: \u0026#34;custom_objects_2_name_key\u0026#34; UNIQUE CONSTRAINT, btree (name) Foreign-key constraints: ... FOREIGN KEY (cluster_id) REFERENCES virtualization_cluster(id) ON DELETE RESTRICT O protect que pedi passou a ser ON DELETE RESTRICT, e funciona: apagar aquele cluster devolve 409 a dizer o que depende dele.\nDuas coisas a saber antes de confiares nele A validação está no formulário, não na API. É esta que apanharia uma automação. Declarei required, uma expressão regular e limites numéricos nos campos de um custom object type, e depois escrevi neles através da API REST:\nO que declarei O que enviei Resultado validation_regex um valor que não corresponde a nada 201 Created required: true o campo omitido por completo 201 Created validation_minimum: 1 um número negativo 201 Created unique: true um duplicado 400, rejeitado on_delete_behavior: protect apagar o objeto referenciado 409, rejeitado As duas que aguentaram são as duas que se tornaram restrições na base de dados. As restantes só existem no formulário web, por isso uma pessoa a escrever fica limitada e uma sincronização noturna não. Compara isso com o custom field nativo mais acima, onde a mesma expressão regular foi imposta através da API. Até isso mudar, põe tudo aquilo de que uma fatura depende atrás de uma restrição a sério.\nApagar um tipo apaga uma tabela. Apagar um campo apaga uma coluna. Isso é DDL a partir de um formulário web, executado por quem tiver a permissão, e a documentação di-lo.13 Restringe quem pode apagar isto.\nQuando escrever antes um plugin a sério Se o objeto importa, se há automação a escrever nele, e se ficarias chateado por encontrar lá lixo, escreve tu o modelo. Um plugin NetBox mínimo é um PluginConfig, um modelo, um serializer, um viewset, uma tabela, um formulário, umas quantas vistas e um mapa de URLs, e fica abaixo das duzentas linhas, quase tudo declarações. Herdar de PrimaryModel dá-te de borla tags, custom fields, registo de alterações, journaling, export templates e propriedade, e cada restrição que puseres no modelo é imposta em todo o lado, porque é a própria maquinaria de serializers do NetBox que a corre.\nHá um modelo cookiecutter e um tutorial de plugins completo mantidos pela comunidade. Começa por eles em vez de por um diretório vazio.\nE fica com a licença que escolheres, que ninguém pode mudar mais tarde.\nValidação personalizada, e classes de validação Tudo o que está acima é sobre registar o que lá está. Isto é sobre recusar registar o que não devia lá estar.\nO NetBox valida cada objeto antes de o escrever, e podes acrescentar regras tuas por cima. Há três mecanismos, todos vivem no configuration.py, e entre eles cobrem quase tudo aquilo de que um padrão da casa precisa.\nUm: regras simples, sem código Um validador pode ser um simples mapa de nomes de campos para condições. Sem Python, e é portável entre instalações porque é só dados.\nCUSTOM_VALIDATORS = { \u0026#39;dcim.site\u0026#39;: ( {\u0026#39;description\u0026#39;: {\u0026#39;required\u0026#39;: True}}, ), \u0026#39;dcim.device\u0026#39;: ( {\u0026#39;name\u0026#39;: {\u0026#39;regex\u0026#39;: r\u0026#39;^[a-z0-9]+-[a-z]+-([0-9]{2}|[a-z])$\u0026#39;}}, ), } As condições disponíveis são min, max, min_length, max_length, regex, required, prohibited, eq e neq. Podes chegar a um objeto relacionado com um caminho com pontos, por isso region.name num site é permitido, e podes fazer corresponder request.user.username, embora a documentação, com toda a razão, te diga para usares permissões para isso.\nAs duas regras disparam logo:\nPOST a site with no description {\u0026#34;__all__\u0026#34;: [\u0026#34;Custom validation failed for description: [\u0026#39;This field must not be empty.\u0026#39;]\u0026#34;]} POST a device named \u0026#34;Server1\u0026#34; {\u0026#34;__all__\u0026#34;: [\u0026#34;Custom validation failed for name: [\u0026#39;Enter a valid value.\u0026#39;]\u0026#34;]} Essa segunda é um padrão de nomes, imposto. Não escrito numa página de wiki, não na cabeça de alguém, não uma coisa pela qual o recém-chegado leva um raspanete numa revisão três semanas depois. A base de dados não a aceita.\nDois: uma classe de validador, quando a regra é uma frase As regras simples verificam um campo contra uma constante. As verdadeiras regras da casa costumam ser condicionais: isto só importa quando aquilo. Para essas herdas de CustomValidator, sobrepões validate() e chamas fail().\nPus três num módulo em /opt/netbox/netbox/house_rules.py:\nfrom extras.validators import CustomValidator class BillableKitNamesItsCustomer(CustomValidator): \u0026#34;\u0026#34;\u0026#34;Anything in a role we sell has to say whose it is.\u0026#34;\u0026#34;\u0026#34; BILLABLE_ROLES = {\u0026#39;hypervisor\u0026#39;} def validate(self, instance, request): role = getattr(instance, \u0026#39;role\u0026#39;, None) if role and role.slug in self.BILLABLE_ROLES and not instance.tenant: self.fail( f\u0026#34;A {role} is billable kit, so it must name the customer it belongs to.\u0026#34;, field=\u0026#39;tenant\u0026#39;, ) class RackedDeviceNeedsAPosition(CustomValidator): \u0026#34;\u0026#34;\u0026#34;A device in a rack with no rack unit is a device nobody can find.\u0026#34;\u0026#34;\u0026#34; def validate(self, instance, request): if instance.rack and instance.position is None: if instance.device_type and instance.device_type.u_height: self.fail( \u0026#34;A device in a rack needs a rack unit. Somebody has to find it.\u0026#34;, field=\u0026#39;position\u0026#39;, ) class CustomerPrefixNeedsATenant(CustomValidator): \u0026#34;\u0026#34;\u0026#34;A customer prefix that names no customer cannot be billed.\u0026#34;\u0026#34;\u0026#34; def validate(self, instance, request): role = getattr(instance, \u0026#39;role\u0026#39;, None) if role and role.slug == \u0026#39;customer\u0026#39; and not instance.tenant: self.fail( \u0026#34;A customer prefix must be assigned to a tenant.\u0026#34;, field=\u0026#39;tenant\u0026#39;, ) e liguei-as pelo caminho com pontos:\nCUSTOM_VALIDATORS = { \u0026#39;dcim.device\u0026#39;: ( {\u0026#39;name\u0026#39;: {\u0026#39;regex\u0026#39;: r\u0026#39;^[a-z0-9]+-[a-z]+-([0-9]{2}|[a-z])$\u0026#39;}}, \u0026#39;house_rules.BillableKitNamesItsCustomer\u0026#39;, \u0026#39;house_rules.RackedDeviceNeedsAPosition\u0026#39;, ), \u0026#39;ipam.prefix\u0026#39;: ( \u0026#39;house_rules.CustomerPrefixNeedsATenant\u0026#39;, ), } Repara que um modelo aceita um tuplo de validadores, regras simples e classes misturadas à vontade, e correm todos. Mesmo um único validador tem de ser passado como iterável, e é fácil perder cinco minutos com isso.\nDepois as regras fazem o que dizem:\nPOST a hypervisor with no tenant {\u0026#34;tenant\u0026#34;: [\u0026#34;A Hypervisor is billable kit, so it must name the customer it belongs to.\u0026#34;]} POST a device into a rack with no position {\u0026#34;position\u0026#34;: [\u0026#34;A device in a rack needs a rack unit. Somebody has to find it.\u0026#34;]} POST a prefix with role \u0026#34;customer\u0026#34; and no tenant {\u0026#34;tenant\u0026#34;: [\u0026#34;A customer prefix must be assigned to a tenant.\u0026#34;]} POST a leaf switch with no tenant accepted, because a leaf switch is not in BILLABLE_ROLES Como o fail() aceita um field, a mensagem aparece na caixa certa do formulário e não no topo da página, que é a diferença entre uma regra que as pessoas aprendem e uma regra de que as pessoas se ressentem.\nEssa é também a resposta à lacuna da secção dos custom objects. Ali a validação só existia no formulário web. Um CustomValidator corre na camada do modelo, por isso aplica-se à interface, à API REST, às mutações GraphQL, às importações em massa e a tudo o que um script faça. Há um sítio para escrever a regra e não há maneira de a contornar.\nTrês: regras de proteção, para apagar O CUSTOM_VALIDATORS guarda as escritas. O PROTECTION_RULES guarda as eliminações, e aceita exatamente as mesmas duas formas.\nPROTECTION_RULES = { \u0026#39;dcim.device\u0026#39;: ( {\u0026#39;status\u0026#39;: {\u0026#39;eq\u0026#39;: \u0026#39;offline\u0026#39;}}, ), } Isso diz que um equipamento só pode ser apagado quando está offline. O que dá:\nDELETE an active device {\u0026#34;detail\u0026#34;: \u0026#34;Deletion is prevented by a protection rule: [\\\u0026#34;Custom validation failed for status: [\u0026#39;Ensure this value is equal to offline.\u0026#39;]\\\u0026#34;]\u0026#34;} set it to offline, then DELETE 204 No Content Duas teclas de atrito entre uma pessoa e um equipamento em produção, e é o seguro mais barato de toda a aplicação. Faz do processo de abate a coisa que desbloqueia o botão de apagar.\nA que te vai apanhar Os dados existentes não são verificados até lhes voltares a mexer. Acrescentar uma regra não volta atrás para validar o que já lá está. Fica quieta até alguém gravar um objeto que a viole, e então essa pessoa recebe um erro sobre uma decisão com a qual não teve nada a ver.\nVi isso acontecer. O mcr1-hv-06 foi criado antes de eu escrever nada disto, como hipervisor sem tenant. Esteve lá perfeitamente tranquilo. Depois editei a descrição:\nPATCH {\u0026#34;description\u0026#34;: \u0026#34;touching it to trigger revalidation\u0026#34;} {\u0026#34;tenant\u0026#34;: [\u0026#34;A Hypervisor is billable kit, so it must name the customer it belongs to.\u0026#34;]} A edição não tinha nada a ver com o tenant. A regra disparou na mesma, porque a validação corre sobre o objeto inteiro.\nÉ o comportamento correto e é também como uma regra nova se transforma num ticket de suporte. Antes de ligares uma, faz uma consulta aos objetos que a violariam e corrige-os primeiro. A API facilita isso: a regra é um filtro, por isso pede os equipamentos com essa role e sem tenant, e tens a tua lista.\nLiga a regra depois. Aí ela só apanha erros novos, que é para isso que serve.\nConduzi-lo a partir do Ansible Uma fonte de verdade que nada lê apodrece. A coleção netbox.netbox é como a maioria das pessoas evita que isso aconteça, e funciona nos dois sentidos: o NetBox diz ao Ansible o que existe, e o Ansible diz ao NetBox o que construiu.\nEstá na versão 3.23.0, com licença GPL-3.0, e foi descarregada do Galaxy mais de 13,4 milhões de vezes. Traz 91 módulos e um plugin de inventário.14 Tudo o que se segue foi corrido contra a mesma instância, a partir de um contentor que só tinha ansible-core 2.21.4, pynetbox 7.8.0 e a coleção.\nO inventário é uma consulta, não um ficheiro Esta é a metade que se paga na primeira tarde. O nb_inventory constrói o teu inventário Ansible diretamente a partir do NetBox:\nplugin: netbox.netbox.nb_inventory api_endpoint: http://netbox:8080 token: \u0026#34;{{ lookup(\u0026#39;env\u0026#39;, \u0026#39;NETBOX_TOKEN\u0026#39;) }}\u0026#34; config_context: false group_by: - sites - device_roles - tenants - racks device_query_filters: - has_primary_ip: true Isso produz isto, sem ninguém a manter uma lista de hosts:\n@sites_manchester-dc1: @device_roles_hypervisor: |--mcr1-core-01 |--mcr1-hv-01 |--mcr1-core-02 |--mcr1-hv-02 |--mcr1-hv-01 |--mcr1-hv-03 |--mcr1-hv-02 |--mcr1-hv-04 ... |--mcr1-hv-05 @racks_MCR1-A07: @tenants_ravenscroft-legal: |--mcr1-core-01 |--mcr1-hv-01 |--mcr1-core-02 |--mcr1-hv-02 ... @tenants_padgate-foods: @device_roles_core-router: |--mcr1-hv-03 |--mcr1-core-01 |--mcr1-hv-04 |--mcr1-core-02 @tenants_hartley-components: |--mcr1-hv-05 Olha para a coluna da direita. Como a tenancy está definida nos equipamentos, recebes de borla um grupo por cliente, por isso --limit tenants_ravenscroft-legal corre um play contra o equipamento de exatamente um cliente. Acrescenta um equipamento no NetBox e está no grupo na execução seguinte. Abate um e desaparece. Ninguém edita nada.\nCada host chega com aquilo que o NetBox sabe sobre ele:\nansible_host \u0026#34;2001:db8:20:20::11\u0026#34; primary_ip4 \u0026#34;10.20.20.11\u0026#34; primary_ip6 \u0026#34;2001:db8:20:20::11\u0026#34; device_roles [\u0026#34;hypervisor\u0026#34;] sites [\u0026#34;manchester-dc1\u0026#34;] racks [\u0026#34;MCR1-A07\u0026#34;] tenants [\u0026#34;ravenscroft-legal\u0026#34;] device_types [\u0026#34;sys-1029u-tn10rt\u0026#34;] manufacturers [\u0026#34;supermicro\u0026#34;] status {\u0026#34;label\u0026#34;: \u0026#34;Active\u0026#34;, \u0026#34;value\u0026#34;: \u0026#34;active\u0026#34;} Vinte e duas chaves no total, e há uma que vale a pena notar antes que te surpreenda. O ansible_host é o endereço IPv6, porque aquele equipamento tem um v6 primário definido. Verifiquei contra outros dois que só têm v4 e vieram em v4, por isso a regra é que o plugin prefere o v6 onde existe um v6 primário. O que está correto, e é também o género de coisa que preferes descobrir agora do que enquanto te perguntas porque é que um play se está a ligar por um caminho em que não tinhas pensado.\nEscrever de volta Os módulos são o outro sentido, e o que vale a pena ter é a atribuição de IPs, porque o NetBox sabe o que está livre e o teu playbook não.\n- name: Rack the device netbox.netbox.netbox_device: netbox_url: \u0026#34;{{ nb_url }}\u0026#34; netbox_token: \u0026#34;{{ nb_token }}\u0026#34; data: name: mcr1-hv-07 device_type: SYS-1029U-TN10RT device_role: Hypervisor site: Manchester DC1 rack: MCR1-A07 position: 14 face: Front tenant: Hartley Components state: present - name: Let NetBox pick the next free address out of the customer prefix netbox.netbox.netbox_ip_address: netbox_url: \u0026#34;{{ nb_url }}\u0026#34; netbox_token: \u0026#34;{{ nb_token }}\u0026#34; data: prefix: 10.20.22.0/24 tenant: Hartley Components assigned_object: device: mcr1-hv-07 name: eno1 state: new Repara no que não está lá. Nenhum endereço IP. Indicas o prefixo e o NetBox devolve-te o próximo livre:\nTASK [Let NetBox pick the next free address out of the customer prefix] **** changed: [localhost] \u0026#34;device : mcr1-hv-07 (created)\u0026#34; \u0026#34;interface: eno1 (created)\u0026#34; \u0026#34;address : 10.20.22.1/24 (allocated)\u0026#34; E está lá na interface um segundo depois, ainda sem cabos mas montado, com tenant e endereçado:\nA armadilha naquele playbook Corre-o uma segunda vez sem mudar uma linha e acontece isto:\n\u0026#34;device : mcr1-hv-07 (already correct)\u0026#34; \u0026#34;interface: eno1 (already correct)\u0026#34; \u0026#34;address : 10.20.22.2/24 (allocated)\u0026#34; O equipamento e a interface são idempotentes. O endereço não é, e não é um bug. state: present quer dizer «põe isto com este aspeto». state: new quer dizer «dá-me um novo», sempre, e foi exatamente isso que fez: dois endereços numa interface depois de duas execuções.\nIsso está bem quando estás genuinamente a provisionar uma coisa nova, e vai comer discretamente um prefixo se o puseres numa tarefa que corre todas as noites. Atribui uma vez e regista o resultado, ou usa state: present com o endereço que já tens. O módulo está a fazer o que pediste. A questão é se pediste o que querias dizer.\nNão é só o Ansible A coleção recebe a atenção porque o Ansible é onde a maioria das equipas de rede já está, mas o produto é a API e há muita coisa que a fala.\nCoisa O que é Licença pynetbox O cliente Python que a própria coleção usa Apache 2.0 terraform-provider-netbox Gerir objetos do NetBox como recursos Terraform, mantido ativamente pela e-breuninger MPL 2.0 nornir_netbox O NetBox como inventário Nornir, para quem faz Python em vez de YAML Apache 2.0 Prometheus SD Dá ao Prometheus os seus alvos de scrape a partir do NetBox MIT go-netbox Um cliente Go, embora ninguém lhe mexa desde maio de 2025 ver o repositório Diode O pipeline de ingestão da própria NetBox Labs para empurrar dados descobertos para dentro NetBox Limited Use O do Terraform é a entrada interessante para quem já gere infraestrutura dessa maneira, porque deixa um único plano criar o recurso na cloud e o registo do NetBox que o documenta, em vez de deixar a segunda metade à memória de alguém.15\nO Diode tem a mesma licença que o Branching e o Custom Objects, por isso aplica-se a mesma leitura antes de construíres sobre ele.\nO que a tarde compra realmente Tudo o que está acima levou-me um dia numa máquina, e a maior parte desse dia foi a semear dados para os ecrãs terem alguma coisa. A instalação são vinte minutos de qualquer das maneiras. As decisões são a parte que importa e são todas tomadas na primeira hora: tenants antes de tudo, device types antes de devices, os números nos tipos e não no equipamento.\nO que recebes em troca não é documentação. É uma distinção que ninguém faz até ter tido as duas coisas: documentação é uma coisa que escreves e depois deixas de manter. O que recebes é uma base de dados que se recusa a guardar uma contradição: não te deixa pôr duas coisas numa unidade de bastidor, nem um bastidor numa location que pertence a outro site, nem um equipamento num tipo que não existe. Cada uma dessas recusas é uma discussão que não vais ter daqui a seis meses.\nE vai dizer-te coisas que ninguém lhe perguntou. Aquele armário está 28,6% cheio de equipamento e 90,7% cheio de energia. Ninguém foi à procura disso. Saiu de se pôr uma potência num device type uma vez, e é a diferença entre montar a próxima encomenda ali e descobrir da pior maneira.\nA ressalva honesta é a mesma que todas as fontes de verdade têm. Só vale aquilo que te custa mantê-la certa, e a única versão disto que sobrevive a um trimestre atarefado é aquela em que alguma coisa se parte à vista quando os dados estão errados. Liga a tua monitorização, o teu provisionamento ou as tuas regras de firewall para lerem a partir dela, e uma entrada errada deixa de ser um problema de documentação a que alguém há de chegar. Passa a ser uma falha às nove e meia de uma terça-feira, com um nome agarrado. Isso parece um custo. É o mecanismo todo.\nNinguém te vai agradecer por isso, também. Um registo correto aparece como a migração que levou quinze dias em vez de um trimestre, a auditoria que levou uma tarde, o cliente que recebeu uma resposta direta ao telefone. Nada disso aparece num relatório ao lado do teu nome.\nFá-lo na mesma. A alternativa é uma empresa que não se consegue descrever a si própria, e uma empresa que não se consegue descrever a si própria não está a ser gerida. Está a ser lembrada, por menos pessoas a cada ano que passa.\nNetBox, Introduction — «Today, the open source project is stewarded by NetBox Labs and a team of volunteer maintainers», e a origem na DigitalOcean em 2015, com o código aberto em junho de 2016.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNetBox, LICENSE.txt — Apache License 2.0, copyright DigitalOcean, LLC. Origem e gestão a partir da introdução.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNautobot v1.0.0 release notes — «a divergent fork of NetBox 2.10», publicadas a 26 de abril de 2021, e a lista do que acrescentou em relação ao NetBox 2.10.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNetwork to Code, «Why Did Network to Code Fork NetBox?», 25 de fevereiro de 2021 — o raciocínio sobre SLA e suporte a longo prazo, a divergência de visão, e «the NetBox project team suggested that we should consider forking».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nA NetBox Labs foi fundada em 2023 como spin-out da NS1 na sequência da sua compra pela IBM, cofundada pelo mantenedor principal do NetBox, Jeremy Stretch, e anunciou uma Série A de 20 milhões de dólares em abril de 2023: NetBox Labs, «Let\u0026rsquo;s Go: Announcing NetBox Labs» e o anúncio da Série A.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNetBox Labs, NetBox Enterprise — a edição comercial autogerida, com «24/7 expert assistance from the NetBox Labs team»; o NetBox Cloud é a oferta alojada. Os termos concretos do SLA não estão publicados nessa página.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nContagens de estrelas e forks, datas de lançamento e licenças dos dois projetos lidas na API do GitHub a 30 de setembro de 2026: netbox-community/netbox e nautobot/nautobot. As versões paralelas 3.2.x e 2.4.x do Nautobot têm ambas a data de 28 de setembro de 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nnetbox-community/netbox-docker — a pilha de contentores da comunidade, Apache 2.0.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNetBox, Installation — a tabela das versões suportadas, e as notas da versão v4.7 para os mínimos de PostgreSQL e Redis subidos. Versão e edição lidas em netbox/release.yaml.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNetBox Limited Use License 1.0 — presente no netbox-custom-objects e, de forma idêntica, no netbox-branching. As duas cláusulas citadas são textuais.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNetBox, HTTP Server installation, «What\u0026rsquo;s Next?» — «Some of the most popular plugins include» NetBox Branching, NetBox Custom Objects, NetBox DNS e NetBox BGP, sem qualquer menção aos termos da licença.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNetBox, Data Validation configuration — FIELD_CHOICES, e o sufixo com sinal de mais que estende em vez de substituir: «To replace the available choices, specify the app, model, and field name separated by dots \u0026hellip; To extend the available choices, append a plus sign».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nnetboxlabs/netbox-custom-objects documentation — «Deleting a Custom Object Type drops an entire database table and should be done with caution.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nnetbox.netbox on Ansible Galaxy e netbox-community/ansible_modules — versão 3.23.0, GPL-3.0, 91 módulos mais o plugin de inventário nb_inventory. Número de downloads lido no Galaxy a 30 de setembro de 2026. Tudo o que se mostra foi corrido com ansible-core 2.21.4 e pynetbox 7.8.0.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLicenças, atividade e contagens de estrelas lidas em cada projeto a 30 de setembro de 2026: pynetbox (Apache 2.0), terraform-provider-netbox (MPL 2.0, v6.0.0-rc.1 no registo do Terraform), nornir_netbox (Apache 2.0), netbox-plugin-prometheus-sd (MIT), go-netbox (último commit a 9 de maio de 2025) e Diode, que tem a mesma NetBox Limited Use License 1.0 que o Branching e o Custom Objects.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\n","permalink":"https://blogs.damiendye.uk/pt/netbox/what-is-netbox/","summary":"Uma visita prática ao NetBox 4.7.2 com um parque carregado lá dentro, em vez de uma demonstração vazia. O que cada ecrã guarda e o que fazes com ele: elevações de bastidor, traçados de cabos, a árvore IPAM, interfaces dual-stack, e o armário que afinal está 90,7 por cento cheio de energia quando só está 28,6 por cento cheio de equipamento. Como levantar um como pilha de contentores e num host a partir dos pacotes, ambos corridos de ponta a ponta. A ordem pela qual tens de o preencher, deduzida das chaves estrangeiras que são de facto obrigatórias. Como uma única instalação é repartida por clientes, de modo que o equipamento de outro cliente devolve 404 e um tipo de objeto não concedido devolve 403. Os config contexts e a herança que os torna mais valiosos do que os custom fields. Acrescentar os teus próprios valores aos menus de estado do próprio NetBox. Três maneiras de acrescentar o objeto de que o teu negócio vive, incluindo um datastore modelado sem uma linha de código. Como escrever regras de validação e classes de validador para que a base de dados recuse o que o teu padrão da casa proíbe. E a história do fork de 2021 que deu origem ao Nautobot, para que serviu, e o que entretanto convergiu. Mais a condução de tudo a partir da coleção Ansible netbox.netbox, onde o inventário é uma consulta e não um ficheiro, e onde um argumento de módulo atribui discretamente um endereço novo cada vez que corre.","title":"NetBox: o que guarda, e como pô-lo a guardar o que é teu"},{"content":"Cada nome que a tua máquina procurou hoje, ela acreditou. O teu banco, as tuas atualizações, o teu servidor de correio. Veio uma resposta da rede e nada, em lado nenhum, verificou se vinha da organização dona do nome ou de quem conseguiu meter um pacote primeiro. Não há assinatura numa resposta DNS normal, nada para verificar, e nada que reparasse se houvesse alguma coisa errada. Era um desenho razoável em 1983 e deixou de o ser há muito tempo.\nO DNSSEC é a correção exatamente para isso, e não é novo nem caro. O dono da zona assina os seus registos. A zona acima publica um hash da chave dele e assina-o, e assim por diante para cima, até a cadeia chegar a uma única chave da raiz que o teu resolver já conhece de nascença. Tudo o que verifica a cadeia consegue distinguir uma resposta verdadeira de uma falsificada. É uma norma desde 2005, a raiz está assinada desde julho de 2010, e as entidades de registo publicam os registos de graça.1 2\nO topo da árvore está acabado. Contei a zona raiz ativa para este artigo e 1351 de 1438 domínios de topo estão assinados, todos os 1038 genéricos incluídos. Depois cai por um precipício. Dos 2390 domínios gov.uk que ainda resolvem, trinta e nove estão assinados, e nove deles são juntas de freguesia. O MI6 conseguiu. O National Cyber Security Centre não.\nIsto é o que uma resposta falsificada custa de facto e o que a assinatura faz contra isso, contado a partir da zona raiz ativa a 27 de setembro de 2026 e descendo pelo governo, pelos bancos, pelas distribuições a partir das quais instalas e pelas autoridades de certificação. Um comando por domínio, sem pedir licença a ninguém, e todos os nomes listados para que possas discutir as minhas escolhas em vez da minha aritmética. Por baixo está a pergunta a que eu queria mesmo resposta. Quarenta e dois anos depois de Mockapetris ter posto o DNS por escrito, a razão pela qual quase ninguém assina é que quase ninguém percebeu alguma vez o que o DNS prometia?\nO que é o DNSSEC e para que serve Numa frase: o DNSSEC põe uma assinatura criptográfica nas respostas DNS, para que um resolver possa provar que uma resposta veio do dono da zona e não de quem conseguiu responder primeiro.\nNão é cifragem, não é uma firewall e não é um filtro. É uma assinatura e uma cadeia de chaves que remonta a uma única chave em que o teu resolver já confia. A ideia é só essa.\nAgora o ataque, porque o protocolo só faz sentido depois de veres para que serve.\nUm resolver que pergunta por um nome envia uma consulta e espera. A resposta é emparelhada com meia dúzia de campos: o nome consultado, o tipo, os endereços e portas de origem e destino, e um ID de transação de 16 bits. Quem conseguir produzir um pacote que coincida com esses campos, antes de chegar a resposta verdadeira, ganha. O resolver guarda a falsificação em cache e entrega-a a todos os clientes que perguntarem, durante o tempo que o atacante disser.\nO trabalho de Dan Kaminsky em 2008 é aquele de que toda a gente se lembra a meias.3 O que importa não é o envenenamento de cache existir, porque já se sabia dele há anos. É ele ter encontrado uma forma de repetir o palpite indefinidamente. Pergunta-se por um nome que não existe, e cada tentativa falhada não custa nada e deixa tentar de novo de imediato, por isso o atacante já não está a correr uma única vez contra um registo em cache que dura um dia. A resposta da indústria foi acrescentar aleatoriedade: portas de origem aleatórias por cima do ID de transação aleatório, o que levou o palpite de uma hipótese em 65 536 para algo à volta de uma em dois mil milhões.\nÉ um número maior. Não é uma prova.\nO resolver emparelha campos que um atacante consegue adivinhar SEM ASSINATURA: GANHA O PRIMEIRO PACOTE QUE COINCIDE resolver pergunta e espera o servidor verdadeiro responde no seu tempo atacante fora do caminho só tem de chegar primeiro É aceite se cinco campos coincidirem, e todos eles se adivinham: nome · tipo · endereços · porta de origem · ID de transação de 16 bits COM ASSINATURA: A RESPOSTA TRAZ A PROVA Uma assinatura que encadeia até à única chave da raiz que o resolver já tinha. Adivinhar não a produz. O resolver emparelha a resposta com campos que um atacante consegue adivinhar. A assinatura troca o palpite pela aritmética E a mitigação tem vindo a desgastar-se desde então, porque cada um desses campos é um palpite tornado mais difícil e não um facto tornado verificável. A aleatorização das portas é desfeita por um NAT que reescreve as portas de forma previsível. Os ataques por fragmentação contornam o emparelhamento por completo. Os ataques fora do caminho continuam a voltar em novas formas, e cada um leva o seu próprio remendo.\nA assinatura acaba com a discussão. Uma resposta assinada ou se verifica contra uma chave que o resolver consegue encadear até à raiz, ou não, e nenhuma quantidade de palpites dá ao atacante uma assinatura válida.\nO que ganhar essa corrida lhes dá de facto Vamos ser concretos, porque «envenenamento de cache» soa abstrato e as consequências não são.\nO que falsificam O que ganham O registo A do teu site Tráfego, e um formulário de login igual ao teu Os teus registos MX Todo o correio que chega, incluindo as reposições de palavra-passe O nome que uma autoridade de certificação valida Um certificado válido para um domínio que não é deles O nome de onde as tuas máquinas descarregam atualizações Não chega nada, e ninguém é avisado A tua delegação NS Tudo o que está acima de uma vez, durante o tempo que o TTL disser A terceira linha transforma um problema de DNS num problema de certificados. A emissão com validação de domínio funciona pedindo-te que publiques um registo e depois indo procurá-lo. Se um atacante conseguir controlar a resposta que a CA vê nessa consulta, a CA passa-lhe papel verdadeiro em teu nome, e a partir daí o cadeado no browser é dele. Tudo o que um utilizador foi treinado para verificar vai dizer que o site está bem.\nA quarta linha é a silenciosa. Uma resposta falsificada não tem de mandar ninguém para lado nenhum. Apontar um serviço de atualizações para um buraco negro chega, e nada na pilha foi feito para dar o alarme sobre atualizações que nunca chegaram.\nO que a assinatura faz contra isso O mecanismo é mais simples do que a fama que tem.\nCada zona assinada tem um par de chaves. O dono da zona assina cada conjunto de registos com a metade privada e publica um RRSIG ao lado. A metade pública vai para a zona como DNSKEY. Até aqui isto não prova nada, porque um atacante que consegue falsificar um registo A consegue falsificar um DNSKEY a condizer.\nO que fecha o círculo é o registo DS, e o DS vive na zona mãe, não na tua. É um hash da tua chave, publicado e assinado pela zona acima de ti. Assim, uk garante a tua chave, a raiz garante uk, e o teu resolver nasceu a saber exatamente uma coisa: a chave da raiz.2\nCada mãe garante a filha, e um DS em falta parte tudo o que está abaixo A ÚNICA COISA QUE UM RESOLVER SABE À NASCENÇA a chave da raiz incluída no resolver Tudo o resto aprende-se a perguntar, e é provado pelo nível de cima. DS para uk uk assinado, e garantido pela raiz DS para a tua zona damiendye.uk assina os registos com RRSIG Um DS é um hash da chave da filha, publicado e assinado pela mãe. Por isso só a mãe te pode pôr na cadeia. Não tu. E SE FALTAR UM DS A cadeia para aí. Tudo abaixo fica por verificar, por muito bem assinada que esteja a zona de baixo. Cada mãe garante a filha, e um único DS em falta parte tudo o que está abaixo Três tipos de registo fazem o trabalho, e convém saberes qual é qual, porque só um deles é trabalho de outra pessoa:\nRegisto Vive em Diz DNSKEY a tua zona aqui está a minha chave pública RRSIG a tua zona aqui está a minha assinatura sobre este conjunto de registos DS a zona da tua mãe eu garanto essa chave Podes publicar os dois primeiros sozinho a tarde inteira e não muda nada. Enquanto a mãe não publicar um DS, és uma zona assinada que ninguém consegue verificar, o que é o mesmo que uma zona não assinada com trabalho extra lá dentro.\n$ dig +short @127.0.0.53 uk DS 43876 8 2 A107ED2AC1BD14D924173BC7E827A1... $ dig +short @127.0.0.53 damiendye.uk DS 2371 13 2 A5B2825C57899A5A15EE9703832C8358E0D19EF29DC72DD83C691ED77C33BD7F $ dig +short @127.0.0.53 bbc.co.uk DS (nothing) A do meio é a própria zona deste site. uk garante-a, o algoritmo 13 é ECDSA P-256, e um resolver que valida consegue por isso provar cada resposta sobre ela até à raiz. bbc.co.uk não devolve nada, por isso não consegue.\nUm comando diz-te se uma zona está na cadeia de confiança. Se a mãe não publica nenhum DS para ti, não estás assinado, seja o que for que tenhas configurado, e um resolver que valida vai tratar cada resposta sobre o teu domínio como impossível de verificar.\nEsse único registo é o teste todo.\nO que não faz Vale a pena dizê-lo com clareza, porque vendê-lo acima do que vale é metade da razão pela qual as pessoas desconfiam dele.\nNão Porque Cifra nada Cada nome que procuras continua às claras. É para isso que serve o DNS over TLS, e um não substitui o outro Torna segura uma zona comprometida Um atacante que controla a gestão do teu DNS assina as falsificações dele com a tua chave, sem problema nenhum Protege o último salto Entre um resolver que valida e a aplicação, a menos que esse salto também seja de confiança Impede que te tirem um nome Um registrar ou um tribunal continuam a poder fazê-lo, e a assinatura fica perfeitamente válida o tempo todo Diz alguma coisa sobre o conteúdo Uma resposta assinada é autêntica, não honesta. O malware também pode assinar a sua zona, e assina As pessoas tropeçam nessa última linha. O DNSSEC prova que a resposta veio de quem controla a zona. Não tem opinião nenhuma sobre se essa gente é decente.\nFaz exatamente uma coisa. Torna a falsificação de uma resposta aritmeticamente inviável em vez de apenas improvável.\nComo verificar qualquer zona, incluindo a de outra pessoa Esta é a parte que torna possível o resto do artigo, e leva um comando.\nUma zona está na cadeia de confiança se a mãe publicar um DS para ela. É esse o teste todo, e podes corrê-lo contra qualquer um, sem pedir licença, a partir de qualquer máquina:\ndig +short damiendye.uk DS Se vier alguma coisa, está assinada. Se não vier nada, não está, seja o que for que a zona tenha configurado.\nSe quiseres mais do que um sim ou não, há mais três que vale a pena conhecer:\nComando Diz-te dig +short \u0026lt;zone\u0026gt; DS Se a mãe garante esta zona de todo delv @1.1.1.1 \u0026lt;zone\u0026gt; A Se a cadeia valida de ponta a ponta e, se não, onde parte resolvectl query \u0026lt;zone\u0026gt; O que um resolver que valida conclui, com o veredicto por extenso dig +dnssec \u0026lt;zone\u0026gt; SOA O RRSIG e a data em que expira, que é a coisa a monitorizar Duas armadilhas a conhecer antes de confiares nos teus próprios resultados, porque ambas me apanharam ao medir para este artigo.\ndig +short … DS imprime uma cadeia de CNAME se o nome for um alias, e um nome de anfitrião com dígitos parece-se o suficiente com um registo DS para enganar um script ingénuo. Um DS verdadeiro tem quatro campos: etiqueta da chave, algoritmo, tipo de resumo, resumo em hexadecimal. Verifica essa forma, ou vais contar zonas não assinadas como assinadas.\nUm DS debaixo de uma mãe não assinada não significa nada. A cadeia tem de chegar à raiz. update.microsoft.com tem um DS, e microsoft.com não tem, por isso o ramo não pode ser verificado de qualquer forma. Verifica sempre o caminho todo, não um só nível.\nTudo o que é contado no resto deste artigo foi medido assim. Sem scanner, sem painel de terceiros, sem tabela classificativa de fornecedor. Pergunta à mãe se garante a filha, e exige que a resposta tenha a forma de um DS.\nA zona raiz está acabada É aqui que a sabedoria recebida está simplesmente desatualizada. As pessoas ainda falam do DNSSEC como se a infraestrutura fosse o problema.\nFui buscar a zona raiz ativa a 27 de setembro de 2026, número de série 2026092701, e contei as delegações contra os registos DS.4\ndelegações assinadas percentagem gTLD (.com, .org, .dev, todos) 1038 1038 100% TLD IDN 151 136 90,1% ccTLD 248 176 71,0% arpa 1 1 100% Total 1438 1351 93,9% Todos os domínios de topo genéricos estão assinados. Todos os 1038, sem exceção, porque o Registry Agreement da ICANN o exige a tudo o que é delegado ao abrigo do programa de novos gTLD. Os 87 que não estão assinados são quase todos códigos de país, e a lista é sobretudo de pequenos territórios e meia dúzia de Estados:\nae ao aq ba bb bo bs cd cf cg ck cu cv cw do eg fk gb gf gh gm gp gq gt gu hm im iq jm jo kh km kn kp mh mk mo mp mq mt mv mw mz ne ni np nr om pa pf pk pn ps qa sd sl sm so st sv sy sz td tg tj tk to va vg vi ye zw gb está lá, o que é uma curiosidade e não um problema, já que ninguém o usa para nada. Também estão o Vaticano, a Coreia do Norte, Cuba e a Síria. E tk, que foi durante anos a maior fonte de domínios gratuitos da internet e, com isso, uma fonte fiável de abusos.\nPortanto, o topo da árvore está feito. As entidades de registo fizeram a parte difícil, a parte cara e a parte que precisava de coordenação internacional, e acabaram-na. Como tal, nada abaixo deste ponto pode ser atribuído à infraestrutura.\nNoventa e quatro por cento no topo, um e meio em baixo A CADEIA ESTÁ CONSTRUÍDA a raiz assinada desde 2010 1351 de 1438 TLD todos os gTLD, sem exceção o nome que as pessoas escrevem e aqui para PERCENTAGEM ASSINADA, CONTADA A 27 DE SETEMBRO DE 2026 TLD na raiz 93,9% Distribuições Linux e BSD 20% Bancos do Reino Unido 13% Repositórios de pacotes 18% Zonas da Microsoft 15% Autoridades de certificação 11% todos os domínios gov.uk 1,63% 39 assinados, dos 2390 do registo oficial que ainda resolvem Contado, não estimado. A cadeia está construída até ao TLD e depois ninguém a usa E depois para de repente Abaixo do TLD, o quadro inverte-se por completo.\nMedi da mesma maneira para cada conjunto abaixo: pedir à mãe um DS, e aceitar apenas um registo que tenha mesmo a forma de um. Tudo aqui foi contado a 27 de setembro de 2026.\nO quê Assinados Percentagem TLD na zona raiz 1351 / 1438 93,9% Distribuições Linux e BSD 19 / 96 20% Bancos e building societies do Reino Unido 13 / 98 13% Repositórios de pacotes e cadeia de fornecimento 4 / 22 18% Zonas da Microsoft 4 / 26 15% Autoridades de certificação 1 / 9 11% Todos os domínios gov.uk que ainda resolvem 39 / 2390 1,63% Noventa e quatro por cento no topo. Um e meio por cento em baixo. A cadeia de confiança é uma corrente com uma ponta aparafusada à parede e a outra caída no chão.\nUma nota sobre o método, porque um número tão mau merece uma. A linha gov.uk é um censo e não uma amostra: são todos os domínios de segundo nível do registo publicado pelo próprio governo, filtrados para os 2390 que ainda resolvem. As outras linhas são listas escolhidas das organizações cuja falsificação faria mesmo estragos, o que é uma questão de critério, e listei abaixo todos os nomes para que possas discordar das minhas escolhas em vez da minha aritmética.\nO censo do governo: 39 de 2390 A lista oficial de domínios gov.uk que o governo publica tem 3004 nomes de segundo nível. Desses, 2390 ainda resolvem. Trinta e nove estão assinados.\nAntes do pormenor, uma coisa sobre esse registo. A versão mais recente que o gov.uk publica tem a data de 1 de outubro de 2016.5 Com uma década, para a lista de referência dos domínios em que o Estado britânico responde. Isso é por si só uma pequena descoberta e fico por aqui.\nAgora vê quais são os trinta e nove.\nAssinados Não assinados mi6.gov.uk, sis.gov.uk gchq.gov.uk, mi5.gov.uk nationalcrimeagency.gov.uk ncsc.gov.uk, cyberessentials.ncsc.gov.uk cheltenham.gov.uk, cotswold.gov.uk, somerset.gov.uk, waverley.gov.uk, southribble.gov.uk, sedgemoor.gov.uk, fdean.gov.uk, westoxon.gov.uk birmingham.gov.uk, manchester.gov.uk, leeds.gov.uk, glasgow.gov.uk, sheffield.gov.uk, liverpool.gov.uk, bristol.gov.uk, cardiff.gov.uk, edinburgh.gov.uk, belfast.gov.uk peakdistrict.gov.uk, snowdonia-npa.gov.uk, eryri-npa.gov.uk hmrc.gov.uk, dvla.gov.uk, dwp.gov.uk, nhs.uk, homeoffice.gov.uk, mod.uk, parliament.uk nove juntas de freguesia e câmaras de vila companieshouse.gov.uk, landregistry.gov.uk, police.uk, met.police.uk, tfl.gov.uk, ons.gov.uk Lê outra vez a primeira coluna. O Secret Intelligence Service assinou a sua zona. O National Cyber Security Centre não.\nNem o GCHQ, que é a organização-mãe do próprio NCSC. Nem o programa Cyber Essentials, que existe para certificar que a segurança dos outros é adequada. Não vou fingir que isso é outra coisa que não extraordinário.\nE nove dos trinta e nove são juntas de freguesia e câmaras de vila. Abinger. Aldenham. Ashmansworth. Wheathampstead. Frampton on Severn. Sítios com um secretário, um site a tempo parcial e um orçamento que não pagava um dia de consultoria em Whitehall. Conseguiram. O HMRC, que guarda o registo fiscal de todos os adultos do país, não.\nPosso perguntar o que, no processo, permite isso? Não quem: o quê. Porque o NCSC publica orientações a dizer aos outros que implementem o DNSSEC, e o departamento que escreve as orientações não fez aquilo que as orientações dizem. Ou é importante, e nesse caso o organismo que o diz devia tê-lo feito há anos, ou não é, e nesse caso as orientações deviam dizer isso.\nA desculpa em oferta vai ser a escala e o legado. Não sobrevive à primeira coluna. somerset.gov.uk é uma autoridade unitária que serve 580 000 pessoas e está assinada. birmingham.gov.uk é uma autoridade unitária que serve 1,1 milhões e não está. O mesmo país, a mesma entidade de registo, os mesmos registrars, o mesmo dinheiro disponível para os mesmos fornecedores. Um fê-lo.\nO software de onde atualizas Esta é a parte que te devia preocupar mais do que os bancos, e é a parte que quase ninguém mede.\nCada máquina que tens vai buscar código a algum lado segundo um horário, e encontra esse lado perguntando ao DNS.\nNoventa e nove distribuições e BSD, noventa e seis delas ainda a resolver. Dezanove estão assinadas.\nAssinadas (19) debian.org, fedoraproject.org, opensuse.org, gentoo.org, almalinux.org, artixlinux.org, cachyos.org, garudalinux.org, getsol.us, linuxmint.com, q4os.org, system76.com, tails.net, whonix.org, freebsd.org, netbsd.org, hardenedbsd.org, midnightbsd.org, opnsense.org As grandes comerciais ubuntu.com, canonical.com, redhat.com, suse.com, oracle.com, rockylinux.org, centos.org, eurolinux.com Variantes do Ubuntu kubuntu.org, xubuntu.org, lubuntu.me, ubuntustudio.com, ubuntukylin.com Família Arch archlinux.org, arcolinux.com, endeavouros.com, manjaro.org, blackarch.org Independentes e minimalistas alpinelinux.org, voidlinux.org, nixos.org, devuan.org, slackware.com, antixlinux.com, mxlinux.org, puppylinux.com, tinycorelinux.net, slitaz.org, porteus.org, funtoo.org, calculate-linux.org Orientadas para o desktop zorin.com, elementary.io, deepin.org, uniontech.com, bodhilinux.com, peppermintos.com, sparkylinux.org, neon.kde.org, nobaraproject.org, ultramarine-linux.org, vanillaos.org, solus-project.com Segurança e privacidade kali.org, parrotsec.org, qubes-os.org, backbox.org, pentoo.ch, trisquel.info, pureos.net, hyperbola.info, dragora.org Regionais e estatais altlinux.org, astralinux.ru, rosa.ru, openkylin.top, openeuler.org, opencloudos.org, openanolis.cn, mageia.org, openmandriva.org, pclinuxos.com Embebidas, imutáveis, appliances openwrt.org, dd-wrt.com, librecmc.org, raspberrypi.com, armbian.com, flatcar.org, talos.dev, bottlerocket.dev, truenas.com, pfsense.org BSD openbsd.org, dragonflybsd.org, ghostbsd.org E as duas que mais importam kernel.org, gnu.org Dezanove em noventa e seis. E os nomes dessa lista de não assinadas não são obscuros: Ubuntu, Red Hat, SUSE, Oracle, Arch, Alpine, NixOS, Rocky, todas as variantes do Ubuntu, e tanto kernel.org como gnu.org.\nAs distribuições de segurança e privacidade são as que eu esperava que fossem diferentes, e na maioria não são. Tails e Whonix assinaram, o que faz sentido. Kali, Parrot, Qubes, Trisquel e PureOS não, o que não faz. O OpenBSD construiu uma reputação de vinte e cinco anos a acertar precisamente neste tipo de coisa e não assinou openbsd.org, enquanto FreeBSD, NetBSD, HardenedBSD e MidnightBSD assinaram todos.\nOs repositórios de pacotes estão quase todos na coluna errada: npm, crates.io, RubyGems, Packagist, Docker Hub e Quay estão todos por assinar. pypi.org é a exceção, e é justo reconhecê-lo, porque também está entre os mais atacados.\nA Microsoft e o canal de atualizações Quatro de vinte e seis zonas da Microsoft estão assinadas, e são todas de um só canto do património:\nAssinadas Não assinadas live.com, outlook.com, office.com, office365.com microsoft.com, windows.com, windowsupdate.com, update.microsoft.com azure.com, azurewebsites.net, microsoftonline.com, windows.net github.com, npmjs.com, linkedin.com, visualstudio.com, xbox.com, bing.com Os nomes do Outlook e do Office estão assinados e mais nada está, o que parece decisão de uma equipa e não de uma empresa. Repara no que está na coluna da direita ao lado do serviço de atualizações: github.com e npmjs.com, dois dos maiores pontos de distribuição de código da internet, ambos da Microsoft, ambos por assinar.\n$ dig +short @127.0.0.53 windowsupdate.com DS (nothing) $ dig +short @127.0.0.53 microsoft.com DS (nothing) $ dig +short @127.0.0.53 com DS 19718 13 2 8ACBB0CD28F41250A80A491389424... com está assinado, por isso não há nada técnico pelo meio. A Microsoft podia publicar um DS esta tarde.\nA resposta de serviço sobre porque é que isso não importa é que o DNS é só uma camada. As atualizações são assinadas por código, o cliente verifica a assinatura e o tráfego passa por TLS. Partes o DNS e continuas sem conseguir pôr código a executar.\nEssa resposta depende inteiramente de a assinatura ser sólida. Não tem sido.\nQuando O que aconteceu à confiança nas assinaturas da Microsoft 2012 O Flame forjou um certificado encadeado até à Microsoft Root Authority usando uma colisão MD5 contra o processo de inscrição de licenças do Terminal Services, e depois usou-o num servidor de atualizações falso6 2021 O Netfilter tornou-se o primeiro rootkit encontrado com uma assinatura WHQL emitida diretamente pela Microsoft, depois de passar no Windows Hardware Compatibility Program enquanto falava com um servidor de comando e controlo7 2021 O FiveSys, outro driver com certificação WHQL, revelou-se um rootkit que instalava o seu próprio certificado raiz e fazia de proxy ao tráfego HTTP e HTTPS da máquina7 2022 Drivers maliciosos assinados pela Microsoft apareceram em ataques de ransomware, e a Microsoft revogou as assinaturas e suspendeu as contas dos programadores7 2023 O Storm-0558 obteve uma chave de assinatura de consumidor da Microsoft a partir de um despejo de memória, depois de comprometer a conta de um engenheiro, e forjou tokens de autenticação aceites para correio empresarial em cerca de 25 organizações, incluindo agências governamentais8 Sê preciso quanto a essa última linha, porque as pessoas exageram-na. A chave roubada assinava tokens de identidade, não binários. Está na tabela por outra razão: a guarda do material de assinatura da Microsoft falhou, sem ser detetada durante dois anos, através de um despejo de memória e da conta comprometida de um engenheiro.\nAs linhas acima são as falhas de assinatura de código, e são piores. Duas vezes no mesmo ano, o próprio programa de certificação de hardware da Microsoft pôs uma assinatura da Microsoft num rootkit funcional e distribuiu-o. Não foi um certificado forjado, não foi uma chave roubada. Foi o processo legítimo a assinar malware, tal como foi desenhado.\nPortanto, a defesa que te deixa tratar o DNS como opcional foi subvertida por falsificação, por abuso do processo e por roubo de chaves, ao longo de onze anos. Um atacante com uma assinatura que a máquina aceita não é uma experiência mental. Para um ator apoiado por um Estado é um problema de aquisição, não de investigação.\nDá a esse atacante uma resposta DNS falsificada e o quadro fica completo: código assinado que ele controla, entregue a partir de um servidor que a máquina julga ser da Microsoft, por uma ligação que nada na pilha vai questionar. Isso é o Flame, com melhor material de chaves.\nO DNSSEC é a única camada dessa cadeia que não quer saber de quem é a chave de assinatura que o atacante tem. Não valida a carga, valida para onde a máquina foi mandada, e falha de forma independente de todos os certificados e assinaturas em jogo. Que é precisamente o que queres de uma segunda camada, e precisamente a razão pela qual não devia ser a que está desligada.\nE há um ataque mais barato que não precisa de chave nenhuma. Falsifica-se a resposta para que o serviço de atualizações não resolva para lado nenhum útil, e a máquina simplesmente nunca recebe correções. Nenhum erro a que o utilizador vá dar atenção, nenhum alarme, só uma frota a ficar silenciosamente para trás enquanto o painel diz que está tudo bem. Se eu quisesse um parque pronto a explorar daqui a seis meses, não lhe empurrava nada. Só me certificava de que nada chegava.\nOs bancos, todos Desta vez não é uma amostra. Noventa e oito bancos e building societies do Reino Unido, todos a resolver no dia, da rua principal até sociedades com um só balcão e um nome vitoriano.\nTreze estão assinados.\nAssinados (13) lloydsbank.com, halifax.co.uk, bankofscotland.co.uk, tsb.co.uk, co-operativebank.co.uk, smile.co.uk, monzo.com, aldermore.co.uk, hampshiretrustbank.co.uk, investec.com, handelsbanken.co.uk, allica.bank, weatherbys.bank Bancos de rua, não assinados hsbc.co.uk, firstdirect.com, barclays.co.uk, natwest.com, rbs.co.uk, ulsterbank.co.uk, santander.co.uk, nationwide.co.uk, virginmoney.com, clydesdalebank.co.uk, metrobankonline.co.uk, bankofireland.co.uk, aibgb.co.uk, danskebank.co.uk Digitais e desafiantes, não assinados starlingbank.com, revolut.com, chase.co.uk, marcus.co.uk, atombank.co.uk, zopa.com, tandem.co.uk, kroo.com, monese.com, cashplus.com, anna.money, mettle.co.uk Retalho, não assinados tescobank.com, sainsburysbank.co.uk, marksandspencer.com, johnlewisfinance.com PME e especializados, não assinados shawbrook.co.uk, paragonbank.co.uk, oaknorth.co.uk, recognisebank.co.uk, redwoodbank.co.uk, ccbank.co.uk, closebrothers.com, unitedtrustbank.co.uk, gbbank.co.uk, cynergybank.co.uk, securetrustbank.com Banca privada, não assinados coutts.com, hoaresbank.co.uk, arbuthnotlatham.co.uk, rathbones.com, brownshipley.com, butterfieldgroup.com Building societies, não assinadas todas as testadas: coventrybuildingsociety.co.uk, ybs.co.uk, skipton.co.uk, leedsbuildingsociety.co.uk, principality.co.uk, westbrom.co.uk, newcastle.co.uk, thenottingham.com, cumberland.co.uk, progressivebs.co.uk, saffronbs.co.uk, newburybs.co.uk, monbs.com, furnessbs.co.uk, ipswichbuildingsociety.co.uk, leekbs.co.uk, theloughborough.co.uk, mansfieldbs.co.uk, marsdenbs.co.uk, themelton.co.uk, familybuildingsociety.co.uk, penrithbs.co.uk, scottishbs.co.uk, srbs.co.uk, swansea-bs.co.uk, teachersbs.co.uk, thetipton.co.uk, thevernon.co.uk, beverleybs.co.uk, chorleybs.co.uk, dudleybuildingsociety.co.uk, esbs.co.uk, ecology.co.uk, harpendenbs.co.uk, hrbs.co.uk, darlington.co.uk, hanley.co.uk, bathbuildingsociety.co.uk Trinta e oito building societies. Nem uma assinada. São as instituições que detêm a hipoteca de muitíssimas casas.\nNa coluna dos assinados destacam-se dois padrões. O Lloyds Banking Group assinou três das suas marcas, lloydsbank.com, halifax.co.uk e bankofscotland.co.uk, e o Co-operative Bank assinou as duas que tem. Portanto, a decisão é tomada uma vez, ao nível da organização, e depois aplicada. Não há aí nenhum obstáculo domínio a domínio.\nE o Monzo assinou enquanto o Starling não. Dois bancos desafiantes fundados com um ano de diferença, em infraestrutura moderna comparável, com o mesmo regulador e os mesmos registrars disponíveis. Um fê-lo.\nO único sítio onde toda a gente o faz Olha para os dois últimos nomes da coluna dos assinados: allica.bank e weatherbys.bank.\n.bank é um domínio de topo restrito gerido pela fTLD Registry Services, e os seus requisitos de segurança tornam o DNSSEC obrigatório, a par de TLS e autenticação de correio, com reverificação anual de todos os titulares.9\nAs mesmas instituições, dois regimes Assinados Num domínio normal, onde o DNSSEC é opcional 13 de 98 Em .bank, onde é obrigatório e reverificado todos os anos os dois Dois é um número pequeno, por isso toma-o como demonstração e não como estatística. Ainda assim, o requisito foi a única coisa que mudou.\nEssa é a resposta a todas as desculpas mais abaixo neste artigo, e chega antes das desculpas. Os mesmos bancos, os mesmos fornecedores, os mesmos orçamentos e as mesmas competências produzem 13% de cumprimento quando é opcional e 100% quando alguém verifica todos os anos. Nada técnico mexeu. Alguém simplesmente perguntou.\nNinguém guarda os guardas Uma autoridade de certificação em nove.\nAssinadas Não assinadas entrust.com letsencrypt.org, digicert.com, sectigo.com, globalsign.com, identrust.com, buypass.com, zerossl.com, certum.eu Estas são as organizações cujo negócio inteiro é provar que uma coisa é aquilo que diz ser. São também as organizações que validam o controlo de um domínio através do DNS, pedindo-te que publiques um registo e indo depois procurá-lo. A consulta que decide se recebes um certificado para um domínio é, em oito destas nove, uma consulta que ninguém consegue verificar.\nIsto não é hipotético. É a forma documentada: falsifica-se a consulta de validação, o certificado é emitido em teu nome, e passas a ter papel válido para um nome que não é teu. O DNSSEC é uma das poucas coisas que torna isso materialmente mais difícil, e quem mais protegeria não o implementou.\nDigo-te isto de borla. Se o teu modelo de negócio é a identidade e não assinaste a tua própria zona, o argumento de que é difícil não está ao teu alcance.\nE quem está realmente a verificar? Assinar é só metade. Uma zona assinada não protege ninguém se nada do outro lado verificar a assinatura, e é aqui que o quadro piora em vez de melhorar.\nHá dois sítios onde a validação pode acontecer, e não são equivalentes:\nValidar no resolver deixa um salto não autenticado. Validar no dispositivo não DOIS SÍTIOS ONDE VERIFICAR A PROVA, E NÃO SÃO A MESMA COISA Validação no resolver a tua aplicação acredita no bit um bit AD não autenticado o resolver verifica as assinaturas cadeia verificada a zona assinada RRSIG e DS Recebes o veredicto, não a prova, no único salto de que tudo isto existe para desconfiar. Validação no dispositivo a tua aplicação verifica-as ela própria cadeia verificada de ponta a ponta, onde a resposta é usada a zona assinada RRSIG e DS Nada pelo meio te pode mentir, porque não se pergunta nada a ninguém pelo meio. Quase toda a validação do mundo é a de cima. O Windows não consegue fazer a de baixo com definição nenhuma. Um entrega-te um veredicto. O outro entrega-te a prova Quase toda a validação do mundo é do primeiro tipo. A Google, a Cloudflare e a Quad9 validam todas, e entre elas cobrem um número enorme de utilizadores. Isso conta para alguma coisa. Mas significa que a propriedade que a maioria das pessoas tem é o meu resolver diz que isto estava bem.\nO que cada sistema operativo consegue fazer Valida no dispositivo Por omissão Como o obténs Linux com systemd-resolved Sim, por completo desligado uma linha num drop-in Linux com um unbound ou knot-resolver local Sim, por completo n/a instala-o e aponta o stub para ele FreeBSD com local_unbound Sim, por completo desligado service local_unbound onestart macOS Ventura e posteriores, iOS 16 e posteriores Sim desligado por app ou por pedido, no código macOS e iOS antes disso só API desligado kDNSServiceFlagsValidate, a app tem de pedir Android não oferecido pela plataforma n/a uma biblioteca de terceiros, na tua própria app Fisher-Price OS (Windows) Não. Não consegue n/a não disponível a preço nenhum Dois deles merecem mais do que uma linha.\nA Apple fez o trabalho discretamente. O iOS 16 e o macOS Ventura acrescentaram validação DNSSEC do lado do cliente, nas palavras da própria Apple na WWDC 2022: «iOS 16 and macOS Ventura now support client side DNSSEC validation.»10 É opcional e não automática, e é opcional com a granularidade certa, por isso uma aplicação a quem isso importe pode pedi-la por sessão ou por pedido:\nlet configuration = URLSessionConfiguration.default configuration.requiresDNSSECValidation = true Um verdadeiro resolver que valida num telemóvel, a verificar assinaturas no dispositivo, e quase ninguém reparou quando saiu. Antes disso, o mDNSResponder expunha kDNSServiceFlagsValidate a quem estivesse disposto a usar a API em C.\nO Android não o oferece. O resolver DNS é um módulo atualizável desde o Android 10 e ganhou DNS over TLS no Android 9, por isso a plataforma não tem estado parada no que toca ao DNS. Mas nem a documentação do resolver do AOSP nem a API pública DnsResolver documentam validação DNSSEC, e a razão pela qual existem bibliotecas como a MiniDNS, que anunciam trazer o «DNSSEC close to your application», é que a plataforma não o traz. Não encontrei uma fonte primária a dizer taxativamente que é impossível, por isso não vou além disto: não é oferecido, e terias de o escrever tu.\nE é deitado fora mesmo onde funciona Mais uma coisa, desta máquina, que eu não esperava encontrar.\nO resolver a montante aqui valida e diz que validou. O systemd-resolved, com DNSSEC=no, deita isso fora antes de qualquer aplicação o ver:\n# ---- before: stock Fedora, DNSSEC=no ---------------------------------- $ dig @192.0.2.53 damiendye.uk A | grep flags # the upstream ;; flags: qr rd ra ad $ dig @127.0.0.53 damiendye.uk A | grep flags # the local stub ;; flags: qr rd ra # ---- the fix: two lines in a drop-in ---------------------------------- $ sudo mkdir -p /etc/systemd/resolved.conf.d $ printf \u0026#39;[Resolve]\\nDNSSEC=allow-downgrade\\n\u0026#39; \\ | sudo tee /etc/systemd/resolved.conf.d/10-dnssec.conf $ sudo systemctl restart systemd-resolved # ---- after: same query, same stub, nothing else changed --------------- $ resolvectl status | grep -m1 DNSSEC= DNSSEC=allow-downgrade/supported $ dig @127.0.0.53 damiendye.uk A | grep flags ;; flags: qr rd ra ad O mesmo nome, a mesma resposta, o mesmo segundo. Antes do drop-in, o resolver a montante fez o trabalho, ligou o bit AD, e o daemon local deixou-o cair no chão, por isso a predefinição não é simplesmente aqui não validamos, é aqui não validamos e não vamos passar o veredicto de quem validou. Depois, o bit volta e desta vez é nosso e não a afirmação de outro.\nO resolvectl põe o veredicto em palavras, e separa os dois que importam:\n$ resolvectl query damiendye.uk | tail -2 -- Data is authenticated: yes; Data was acquired via local or encrypted transport: no $ resolvectl query ncsc.gov.uk | tail -2 -- Data is authenticated: no; Data was acquired via local or encrypted transport: no Repara no que o segundo não é. Não é um erro. Uma zona não assinada volta como não autenticada e não como inválida, a resolução tem êxito e nada em lado nenhum se queixa. Esse é todo o problema dos 1,63% reescrito como um comando: ligar a validação não faz as zonas não assinadas falharem, torna-as visíveis, e só para quem for procurar.\nO maior SO cliente chumba na verificação mais básica Agora a outra ponta da escala, e não há comparação.\nO cliente DNS do Windows é, na descrição da própria Microsoft, «security-aware» mas «non-validating». Não faz validação DNSSEC. Não há forma de o pôr a fazê-la. O que faz em vez disso é pedir ao servidor DNS configurado que valide, e depois procurar o bit AD na resposta.11\nTrês coisas sobre isso, e nenhuma é pequena:\nNunca verifica uma assinatura. A garantia mais forte disponível no maior sistema operativo cliente do mundo é um único bit ligado por qualquer máquina que tenha respondido. Nem sequer faz isso por omissão. O cliente só liga o bit DO e exige AD para os espaços de nomes listados na Name Resolution Policy Table, um objeto de Group Policy que alguém tem de configurar deliberadamente. Sem uma regra lá dentro, a consulta não leva expectativa nenhuma de DNSSEC. A Microsoft diz que o bit precisa de IPsec para significar alguma coisa. A documentação deles é explícita: como o cliente não valida e se apoia no servidor, «IPsec is used to establish this trust relationship». Um bit AD que chega por uma ligação não autenticada é uma afirmação de quem lá chegou primeiro, que é precisamente o ataque que toda esta tecnologia existe para travar. Portanto, no desktop com a maior base instalada, tal como sai da caixa: sem validação, sem exigência de AD e sem canal autenticado até ao resolver. A verificação mais básica não está apenas desligada. Nunca foi implementada.\nE a defesa do costume, de que os sistemas operativos cliente simplesmente não fazem este tipo de coisa, morreu em 2022. A Apple levou a validação no dispositivo a todos os iPhone e Mac no mesmo ano em que a Microsoft não o fez. A comparação já não é desktop contra servidor, nem móvel contra fixo. É um fornecedor que o construiu contra outro que não.\nIsso importa mais do que a mesma lacuna no Linux, por causa de quem é afetado. Um servidor Linux é normalmente gerido por alguém que podia ligar a validação esta tarde e sabe o que é um registo DS. As máquinas que não conseguem validar de todo, com definição nenhuma, são as que estão em cima das secretárias nas organizações cujas zonas aparecem por assinar nas tabelas acima. O systemd-resolved traz a capacidade desligada, o que é uma decisão que podes reverter numa linha.12 O Fisher-Price OS (Windows) vem sem a capacidade.\nO serviço que se aguenta à custa do DNS Até aqui tudo foram nomes na internet pública. O mesmo buraco existe dentro do edifício, e lá dentro é estrutural.\nO Active Directory não tem endereço fixo para nada. Uma máquina associada ao domínio não sabe onde vive o seu controlador de domínio, por isso pergunta ao DNS. O processo de localização consulta _ldap._tcp.dc._msdcs.\u0026lt;domain\u0026gt; para os controladores e _kerberos._tcp para o KDC, e aquilo que vier é contra o que se vai autenticar.13\ndig +short _ldap._tcp.dc._msdcs.corp.example SRV Falsifica essa resposta e a máquina leva o seu tráfego de autenticação para um anfitrião que tu escolheste. Sejamos francos sobre o que isso é e não é: o Kerberos não entrega um bilhete a um impostor que não tenha as chaves, por isso isto não é, por si só, uma tomada do domínio. É uma posição no caminho, que é a matéria de que são feitos os ataques interessantes. Força-se o recurso ao NTLM e reencaminha-se. Fica-se no meio de tráfego que devia ir para um controlador. Ou aponta-se o parque inteiro para o nada e vê-se os inícios de sessão pararem.\nUm registo de localização falso não entrega o domínio, põe o atacante no caminho ONDE ESTÁ O MEU CONTROLADOR DE DOMÍNIO? A RESPOSTA É SÓ UM REGISTO DNS Zona `_msdcs` não assinada servidor membro _ldap._tcp.dc SRV a primeira resposta ganha um anfitrião deles agora no caminho recurso ao NTLM, relay, ou sem login O Kerberos não dá bilhetes a um impostor, por isso não é uma tomada do domínio. É uma posição. Zona assinada, cliente que valida servidor membro verifica a assinatura falsificação descartada o teu controlador a resposta assinada Rejeitada antes de qualquer autenticação. O Windows Server consegue assinar esta zona desde 2012. O cliente que a lê continua sem conseguir validar. Não é uma tomada do domínio. É uma posição no caminho, que é aquilo sobre que se constrói o resto A Group Policy, os scripts de início de sessão, as unidades mapeadas e todas as relações de confiança a jusante do início de sessão são encontrados da mesma maneira. É o conjunto de nomes de maior valor que a maioria das organizações possui, e está ali por assinar.\nA Microsoft construiu a metade servidor da correção, e construiu-a bem. Uma zona integrada no AD pode ser assinada, a assinatura online de zonas dinâmicas chegou no Windows Server 2012, e como a zona vive no diretório as chaves privadas de assinatura replicam-se para os outros servidores DNS através da própria replicação do AD.14 A parte genuinamente incómoda do DNSSEC, fazer chegar as chaves às máquinas que precisam delas, ficou resolvida aqui há catorze anos pela própria coisa através da qual a zona já se replicava.\nDepois para nos mesmos dois sítios que tudo o resto:\nAs duas metades O que a Microsoft entregou O que tens tal como sai da caixa Assinar a zona _msdcs assinatura online de zonas dinâmicas integradas no AD, chaves replicadas pelo próprio AD nada, até um administrador a assinar Verificar a assinatura o cliente que não valida da secção anterior uma regra na tabela de políticas mais IPsec, ou o bit não significa nada Portanto, a zona interna que decide que máquina pode ser o teu controlador de domínio está, na maioria dos parques, tão por assinar como a pública. A diferença é que nenhum estranho a consegue contar, por isso não há tabela neste artigo a envergonhar ninguém. Vai ver a tua antes de presumires.\nO sistema operativo devia fazer isto, e devia estar ligado O que me traz à parte disto que quero argumentar em vez de contar.\nValidar uma resposta DNS é trabalho do sistema operativo. Está na mesma categoria que manter o relógio certo, ter um repositório de certificados de confiança e ter uma pilha TLS, e pelas mesmas razões: todas as aplicações precisam disso, quase nenhuma devia estar a escrevê-lo, e a verificação tem de acontecer uma vez, num sítio onde possa ser bem feita. Resolvemos essa discussão para os certificados há muito tempo. Ninguém distribui um cliente de correio com a sua própria opinião privada sobre CA raiz.\nTrês das quatro plataformas acima já o conseguem fazer. Nenhuma o faz tal como sai da caixa:\n$ grep DNSSEC= /usr/lib/systemd/resolved.conf # Fedora 44, systemd 259.9 #DNSSEC=no Essa é a predefinição compilada, escrita em comentário para que um administrador veja qual é. O próprio manual do systemd tem outra opinião, e recomenda allow-downgrade em geral e true sempre que se possa confiar no resolver a montante.15 O código vem incluído, a âncora de confiança da raiz vem incluída e a documentação vem incluída a recomendar que o ligues. A predefinição continua a dizer não.\nPlataforma Quem tem de agir antes de uma assinatura ser verificada systemd-resolved um administrador, uma vez, num ficheiro drop-in macOS 13 e posteriores, iOS 16 e posteriores o autor de cada aplicação, uma a uma Android o autor de cada aplicação, com uma biblioteca de terceiros Windows ninguém consegue Essa coluna é o problema todo. Um requisito é uma alavanca, e a contagem do .bank mais acima mostra o que faz. Uma predefinição é a mesma alavanca sem ninguém ter de impor nada, porque decide o resultado para todos os que nunca abrem o ficheiro de configuração, e isso é quase toda a gente. O opcional deu-nos 1,63% no governo e 13% na banca. As pessoas não aderem a segurança que não conseguem ver, e ter razão quanto à tecnologia nunca mudou isso uma única vez.\nA objeção honesta é que validar por omissão estraga a vida aos utilizadores quando quem está avariado é o resolver a montante e não a zona. É para isso que serve o allow-downgrade, e é um compromisso real e não gratuito, porque um downgrade é algo que um atacante pode provocar deliberadamente. Mesmo assim, distribuir allow-downgrade em vez de um no seco seria uma melhoria enorme, e poria a avaria onde ela pertence, em quem ainda estiver a correr um resolver que não aguenta DNSSEC em 2026.\nLigar a validação, e que parte é do Fedora Quase tudo o que se segue é do systemd e não do Fedora, e funciona igual em Debian, Ubuntu ou Arch. Duas coisas aqui são genuinamente da distribuição:\nsystemd upstream Fedora 44, tal como instalado default-dnssec compilado allow-downgrade no Ficheiro de configuração principal /usr/lib/systemd/resolved.conf, com todas as predefinições comentadas para referência traz também /etc/systemd/resolved.conf com Cache=yes, que o substitui O upstream escolhe allow-downgrade em meson_options.txt, que é a definição de compromisso, não a corajosa.16 O Fedora compila-o para no e depois traz um segundo ficheiro de configuração principal, e como só é usado o primeiro ficheiro encontrado, aquele que documenta as predefinições deixa de ser o que está em vigor.15 Por isso não edites nenhum dos dois. A cópia do fornecedor pertence ao pacote e uma atualização devolve-te a alteração logo de seguida; a cópia em /etc é um ficheiro cujas outras linhas estão silenciosamente ausentes.\nUsa antes um drop-in, que é o que faz o bloco mais acima. Sobrepõe-se a qualquer que seja o ficheiro principal que ganhou, sobrevive às atualizações de pacotes e contém só aquilo que alteraste. Verifica o resultado com systemd-analyze cat-config systemd/resolved.conf, que imprime todos os ficheiros pela ordem em que são aplicados e esclarece o que ganhou de facto.\nTrês definições, e a escolha entre as duas últimas é real:\nDNSSEC= O que faz O que te custa no não valida nada e deita fora também o veredicto do resolver a montante a falsificação chega em silêncio, como hoje allow-downgrade valida, e recua quando o resolver a montante não aguenta um atacante pode provocar o recuo deliberadamente yes valida, ponto final, sem volta atrás os teus nomes vão-se com o resolver a montante no dia em que ele avariar Começa com allow-downgrade, porque assim um resolver avariado não te custa nada. Passa para yes quando o resolvectl status tiver dito supported durante quinze dias e souberes o que é de facto o teu resolver a montante. O pormenor por distribuição para tudo o que não é Fedora está no artigo sobre o resolved.12\nEntão, o que é que trava realmente as pessoas Certo. Os números são os números. Porquê?\nDão-se quatro razões, e nem todas são disparates.\nA razão Quanto dela é real A gestão de chaves é difícil Era verdade. Hoje está em grande parte automatizada pelo fornecedor de DNS Pode tirar o teu domínio da internet Verdade, e é a verdadeira O suporte dos registrars e fornecedores é irregular Em grande parte resolvido, e fácil de verificar antes de te comprometeres Nenhum benefício visível, nenhuma obrigação de conformidade Verdade, e provavelmente decisivo A gestão de chaves era um obstáculo genuíno e na maior parte já não é. Assinar costumava significar fazer as tuas próprias cerimónias de chaves, lembrares-te de voltar a assinar antes de as assinaturas expirarem, e rodar as chaves à mão segundo um calendário que tinhas de acompanhar tu. Esse trabalho é hoje feito pelo fornecedor de DNS na maioria das plataformas geridas, e assinar é um interruptor. Não é nada, mas já não é um projeto.\nO modo de falha é a objeção honesta, e é a única das quatro pela qual tenho verdadeira simpatia. Se erras no DNSSEC, o teu domínio não se degrada, desaparece. Todos os resolvers que validam recusam os teus registos, que é o que devem fazer, e não consegues dizer às pessoas que não te alcançam porquê, porque dizer-lhes exige DNS.\nTrês coisas tornam isto pior do que uma falha normal:\nFalha por causa do relógio, não de uma alteração. As assinaturas têm data de validade. Uma zona em que ninguém mexeu desde terça-feira pode ter desaparecido no domingo porque um processo de reassinatura deixou de correr sem dar nas vistas. Falha para umas pessoas e não para outras. Só os resolvers que validam te rejeitam. A tua própria monitorização, se não validar, vai dar o site como perfeitamente saudável enquanto uma fração crescente da internet não lhe consegue chegar. Falha na camada que usas para resolver as coisas. O acesso remoto, a tua página de estado e o teu próprio correio podem estar todos debaixo do nome que acabou de desaparecer. Esse medo é racional, já tirou do ar grandes operadores, e qualquer defesa honesta do DNSSEC tem de conviver com ele em vez de o despachar com um gesto.\nMas repara na forma que tem: é medo de uma disciplina operacional que ainda não tens, não medo da tecnologia.\nSem assinatura falha em silêncio, sobre os teus utilizadores. Mal configurado falha com estrondo, sobre ti DUAS FORMAS DE CORRER MAL, E SÓ SE FALA DE UMA Sem assinatura Uma resposta falsa é simplesmente aceite. Nada a regista. Nada alerta. Dura o TTL do atacante. A tua monitorização fica verde. O custo cai sobre quem confiou na resposta. Não sobre ti. Assinada, e avariada O domínio desaparece de vez. Falha pelo relógio, não por alteração. Só nos resolvers que validam, por isso as tuas verificações podem parecer bem. O custo cai sobre ti, com estrondo, com o teu nome no incidente. É por isso que a segunda tem um business case e a primeira não. Ninguém é culpado por um ataque que nunca foi detetado. Sem assinatura, falha em silêncio, sobre os teus utilizadores. Mal configurado, falha com estrondo, sobre ti E repara em quem paga em cada coluna. Uma zona não assinada que é falsificada custa aos teus clientes, em silêncio, e ninguém abre um incidente porque ninguém chega a saber. Uma zona assinada que expira custa-te a ti, de imediato, em público, com o teu nome no relatório pós-incidente. Ambas são falhas. Só uma aparece nos objetivos de alguém.\nOs certificados tiveram o mesmo problema e resolveram-no duas vezes: a falha tornou-se visível, e depois foi automatizada. Um aviso do browser fez de um certificado expirado um problema de toda a gente, veio a monitorização, e depois a Let\u0026rsquo;s Encrypt fez da renovação uma coisa que uma tarefa cron faz às três da manhã. Nada disso tornou os certificados mais fáceis em princípio. Tornou mais difícil esquecê-los.\nO suporte dos fornecedores merece dez minutos de verificação em vez de suposições. Alguns registrars ainda fazem da publicação de um DS um pedido de suporte. Muitos não.\nE a última é a verdadeira resposta, que a entidade de registo do .bank já provou mais acima neste artigo. Não há cadeado no browser para o DNSSEC. Nenhum cliente escolheu alguma vez um banco porque a zona dele estava assinada, nenhum auditor te chumba por isso, e nenhuma regulamentação geral no Reino Unido o exige. O benefício é totalmente invisível quando funciona, o custo de errar é uma falha com o teu nome nela, e quem carrega essa falha não é quem ficaria com o mérito.\nPõe um requisito e uma verificação anual à frente das mesmas instituições e o cumprimento passa de 13% para todas, sem exceção. Nada na tecnologia mudou entre esses dois números. Nada nos orçamentos, nos fornecedores ou nas competências mudou também. A única variável era se alguém ia olhar.\nCom estes incentivos, o surpreendente não é 1,63% dos domínios do governo estarem assinados. É haver trinta e nove que estão.\nLigá-lo sem te tirares do ar O risco está todo num só sítio, por isso põe lá o esforço. A expiração da assinatura é a falha que chega sem ninguém ter mexido em nada, por isso põe um alarme nela:\ndig +dnssec damiendye.uk SOA | awk \u0026#39;/RRSIG/ {print \u0026#34;sig expires\u0026#34;, $9}\u0026#39; Trata-a como um certificado. Vigia a data, dá o alarme bem antes dela, e torna a renovação automática para que o alarme seja uma rede de segurança e não um procedimento.\nDepois liga-o numa altura calma, em algo que não seja o teu domínio principal, e espera quinze dias antes de fazeres o que importa. Se o teu DNS estiver numa plataforma gerida, a assinatura em si é muito provavelmente um interruptor, e o único passo genuinamente manual é entregar o DS ao teu registrar.\nÉ a mesma falha do IPv6? É a comparação óbvia, por isso medi as duas normas nas mesmas populações no mesmo dia. As mesmas organizações, as mesmas pessoas, duas decisões.\nn DNSSEC assinado Alcançável por IPv6 Bancos e building societies do Reino Unido 98 13,3% 36,7% Distribuições Linux e BSD 96 19,8% 67,7% Todos os domínios gov.uk ativos 2380 1,6% 31,2% A migração difícil ganha à fácil, três para um e dezanove para um AS MESMAS ORGANIZAÇÕES, AS DUAS NORMAS, O MESMO DIA DNSSEC assinado alcançável por IPv6 Bancos do Reino Unido 98 testados 13,3% 36,7% Linux e BSD 96 testadas 19,8% 67,7% Todos os gov.uk ativos 2380 domínios 1,6% 31,2% O IPv6 mexe em todos os routers e anfitriões. O DNSSEC é um registo no teu registrar. As mesmas organizações, as duas normas, medidas no mesmo dia Dezanove vezes mais avançado no governo, nos mesmos domínios.\nAgora pensa em qual é qual. O IPv6 mexe em todos os routers, todos os anfitriões e todas as aplicações, e exige dual stack a correr em paralelo durante anos. Assinar com DNSSEC é um interruptor e um registo colado no teu registrar.\nO trabalho muito mais difícil está a ganhar ao fácil em todo o lado onde olhei. O que exclui a explicação confortável de que é simplesmente assim que as normas de infraestrutura avançam, devagar e a contragosto. O DNSSEC não está a avançar devagar. Não está a avançar.\nHá uma diferença que é só do DNSSEC. Implementas IPv6 e recebes alguma coisa em troca: alcance, nenhum NAT de operadora para comprar. Assinas a tua zona e tu, pessoalmente, não recebes nada. A proteção cai sobre os teus utilizadores, e só sobre os que estão atrás de um resolver que valida. Assumes um risco permanente de falha em nome de pessoas que nunca vais conhecer, e isso é mais difícil de pôr à frente de uma administração do que qualquer obstáculo técnico deste artigo.\nEscrevi a metade IPv6 deste argumento noutro sítio e não a vou repetir aqui.17\nSerá que ainda não percebemos o DNS? Quarenta e dois anos desde que Mockapetris o pôs por escrito, em novembro de 1983.18 Dezasseis desde que a raiz foi assinada.\nAcho que o problema de compreensão é real, e acho que é mais específico do que as pessoas não saberem como o DNS funciona. Muitos engenheiros competentes descrevem perfeitamente a recursão, a delegação e a cache. O que falta é um passo mais à frente, e é o passo que importa.\nQuase ninguém interiorizou que o DNS é um sistema de autorização.\nÉ tratado como canalização. Uma tabela de consulta. Uma coisa que transforma nomes em números e pertence a quem gere a rede, arquivada mentalmente ao lado do DHCP. E esse enquadramento está errado de uma forma que decide muita coisa sem fazer barulho, porque na prática é a resposta DNS que decide para que máquina vai o teu tráfego, de que servidor vêm as tuas atualizações e que anfitrião uma autoridade de certificação acredita ser teu. Quem controla a resposta controla as três.\nVês o mal-entendido no padrão de quem assinou. Não é o orçamento, nem a competência, e depois de alinhado é difícil lê-lo como outra coisa que não um padrão do que cada um acha que o DNS é:\nQuem assinou O que o DNS é para eles Entidades de registo e operadores de TLD, 100% dos gTLD o próprio produto Um serviço de informações uma superfície de ataque, porque o modelo de ameaça deles inclui a falsificação Nove juntas de freguesia um interruptor que o fornecedor de alojamento ofereceu e alguém carregou Os próprios clientes de um fornecedor de DNS uma predefinição que herdaram Quem não assinou Bancos, departamentos, fornecedores, CA canalização, um nível abaixo dos problemas interessantes Quem está mais perto do DNS como coisa em si assinou. Quem o consome como um serviço de utilidade não, quase sem exceção, por mais recursos que tenha e por mais preocupado com a segurança que se julgue. O GCHQ não assinou. Oito em nove autoridades de certificação não assinaram. Não são organizações com falta de gente inteligente nem de modelos de ameaça.\nÉ também por isso que a resposta a Kaminsky em 2008 foi tornar o palpite mais difícil em vez de acabar de implementar a coisa que torna o palpite irrelevante. Tornar o palpite mais difícil é uma correção de canalização, e era como canalização que a indústria tinha o DNS arquivado.\nUma geração aprendeu o DNS como uma lista telefónica, e nunca reviu a entrada quando ele passou, sem alarido, a ser a coisa que decide com quem estás a falar.\nConstruímo-lo e depois deixámo-lo As entidades de registo, os operadores e o pessoal das normas fizeram a parte difícil. Escreveram-no, discutiram-no no IETF durante uma década, assinaram a raiz numa cerimónia com testemunhas e conseguiram que 100% dos domínios de topo genéricos estivessem assinados. É uma verdadeira obra de engenharia coletiva e está acabada.\nE depois o resto de nós não fez a sua parte, porque a nossa parte é aborrecida, invisível, traz todo o risco pessoal e nenhum mérito, e ninguém está a verificar.\nÉ a forma de todas as normas que ninguém impõe: o custo é carregado sozinho, e o benefício só aparece quando outros suficientes também o carregaram. Assim, as entidades de registo carregaram-no, e quem publica as orientações sobre carregá-lo não.\nSó que aqui o trabalho era mais pequeno do que quase qualquer outro. A cadeia já estava construída, e paga, por outra pessoa. Só faltava um registo.\nE se isto é a parte que conseguimos ver Um último pensamento, e quero deixar claro que é uma inferência e não uma medição, porque tudo o resto neste artigo é contado e isto não é.\nO DNSSEC é talvez o controlo de segurança mais fácil de avaliar que existe. Não custa nada, o trabalho é uma tarde, a norma está acabada há vinte anos, e qualquer pessoa o pode verificar de fora com um comando sem pedir licença. Sem auditoria, sem questionário, sem NDA. Um dig.\nEntão, o que te dizem 1,6% sobre os controlos que não consegues ver daqui de fora?\nO controlo Um estranho consegue verificá-lo Custa dinheiro Visível quando funciona Um registo DS no teu registrar Sim, um comando não não MFA nas contas que importam não sim não Cópias de segurança restauradas este ano, não só feitas não sim não Segmentação de rede não sim não Cada linha abaixo da primeira é mais difícil do que assinar uma zona, custa dinheiro a sério, precisa de alguém responsável por ela, e partilha exatamente a propriedade que afundou o DNSSEC: invisível quando funciona, e ninguém de fora a verificar. A única coisa que separa a linha de cima das outras é que a podes verificar, de graça, sobre qualquer um, agora mesmo.\nSe uma organização não fez a coisa gratuita que leva uma tarde e pode ser verificada por um estranho com um comando, não estou inclinado a presumir que fez as coisas caras que levam um programa inteiro e só podem ser verificadas por alguém a quem deixem entrar.\nOra, o passo óbvio é testar isso contra o registo de violações, e tentei. De 23 organizações do Reino Unido com incidentes graves documentados, 22 não estão assinadas.\nEsse número não prova nada e não vou fingir o contrário. Com uma taxa de base de 1,6%, uma organização assinada numa lista de 23 é precisamente o que o acaso prevê. Pior, o conjunto assinado são nove juntas de freguesia e três parques nacionais, enquanto o conjunto não assinado são todos os grandes departamentos e todas as grandes cidades, por isso a dimensão determina tanto quem é atacado como quem acaba nas notícias. Qualquer comparação das taxas de violação entre os dois grupos estaria a medir o tamanho de uma organização, não se assinou.\nPor isso não, não te consigo mostrar que as organizações assinadas sofrem menos violações. Ninguém consegue, não com dados a que alguém possa chegar, e quem te disser o contrário está a brincar contigo.\nAs organizações atingidas escreveram o que falhou Não precisas da minha inferência, porque foram elas próprias que o publicaram, e o que falhou é a lista acima.\nA British Library é a melhor delas, porque o escreveu voluntariamente e em pormenor depois do ataque de ransomware de 2023. A sua própria análise nomeia as causas: entrada muito provavelmente através de uma conta de terceiros num servidor Terminal Services sem autenticação multifator, depois infraestrutura legada e segmentação de rede limitada que deixaram os atacantes mover-se pelo parque, com a complexidade crescente do acesso de terceiros já assinalada internamente como risco em 2022 e ainda lá um ano depois.19 O ICO chegou às mesmas conclusões.20\nTrês linhas da tabela acima, portanto, confirmadas por dentro pela própria organização em vez de inferidas por mim daqui de fora.\nE antes que alguém use isso como arma de arremesso, a British Library merece o contrário, e vou ser enfático quanto ao porquê.\nForam transparentes. Quase mais ninguém é. Não tinham obrigação nenhuma de escrever uma palavra. O guião habitual depois de um incidente é dizer o mínimo que a lei permite, passar tudo por uma equipa de comunicação, recusar confirmar qualquer coisa concreta e esperar que o ciclo noticioso siga em frente. Foi o que fez a maioria das organizações nas colunas de não assinadas acima quando chegou a sua vez, e é por isso que escrever esta secção depende sequer da decisão de uma instituição de se comportar de outra maneira.\nEm vez disso, publicaram uma análise de dezoito páginas a nomear as suas próprias falhas, em público, para que outras instituições pudessem aprender com elas. É o comportamento que quererias de todas as organizações deste artigo e que quase nenhuma tem. A razão pela qual te posso mostrar o que falha de facto dentro de uma organização atacada é a British Library ter escolhido contar-te.\nE há uma segunda razão para os outros ficarem calados, que é pior do que uma estratégia de comunicação. Alguns já não existem.\nA KNP Logistics transportava mercadorias como Knights of Old desde 1865. Em junho de 2023 o grupo Akira entrou, cifrou a empresa e pediu cerca de cinco milhões de libras. Em setembro o grupo estava insolvente e 730 pessoas tinham ficado sem trabalho.21 Cento e cinquenta e oito anos, desaparecidos em catorze semanas, e ninguém lá está a escrever lições para ti.\nPor isso, quando as colunas de não assinadas acima parecem calmas, essa calma é feita de três coisas diferentes: organizações que ainda não foram atingidas, organizações que foram atingidas e disseram o mínimo que a lei permite, e organizações que foram atingidas e desapareceram. Só o primeiro grupo ainda tem tempo para agir.\nO que faz da parte seguinte o teste honesto do meu próprio argumento e não um golpe baixo. Verifiquei a zona deles:\n$ dig +short bl.uk DS (nothing) $ dig +short bl.uk DNSKEY (nothing) bl.uk não está assinado. Nem britishlibrary.co.uk. Dois anos depois de um ataque de ransomware que fechou a instituição durante meses, depois de uma análise pública, depois de uma conclusão do ICO, e depois da ronda de atenção à segurança mais minuciosa que uma organização alguma vez recebe, o controlo gratuito que leva uma tarde e que um estranho pode verificar com um comando continua por fazer.\nNão leio isso como negligência, e não acho que os torne piores do que as organizações não assinadas que não publicaram nada. Leio-o como a prova mais forte deste artigo daquilo de que tudo isto tem tratado. Se o DNSSEC não é feito aqui, numa organização que passou pelo fogo, escreveu as lições e teve o regulador a passar tudo a pente fino, então não está a ser saltado porque as pessoas são descuidadas. É saltado porque nada nem ninguém o põe alguma vez na lista.\nEssa é a versão honesta do argumento. Não zonas não assinadas causam violações, o que é impossível de provar e provavelmente falso. Antes: os controlos que ninguém de fora consegue ver estão, segundo as provas publicadas pelas organizações que passaram por isso, tão negligenciados como o único controlo que toda a gente de fora consegue ver. O DNSSEC não é a causa. É a amostra que te deixam recolher.\nÉ por isso que vale a pena fazer a medição. Não porque uma zona não assinada seja o fim do mundo por si só, mas porque é uma das muito poucas propriedades de segurança que um estranho pode verificar honestamente, de graça, sobre qualquer um, sem que o deixem entrar. Trata-a como um detetor de fumo e não como um veredicto, e depois vai fazer as perguntas mais difíceis a quem o fizer disparar.\nA única parte que controlas O que deixa a única parte que qualquer um de nós controla de facto. A tua própria zona. Não a do NCSC, não a da Microsoft, não a do teu banco.\nVai perguntar à tua mãe se te garante:\ndig +short yourdomain.uk DS Se vier vazio, não estás assinado, e na maioria do DNS gerido em 2026 a correção é um interruptor e um registo DS no teu registrar. Liga-o, e depois vigia a expiração da mesma forma que já vigias os teus certificados, porque essa é a disciplina de que tudo isto precisa de facto.\nÉ esse o trabalho todo. Um registo, e uma data na tua monitorização.\nPor isso, por favor, faz pelo menos este. Não porque venha aí um regulador, porque para a maioria de vocês não vem, e não porque alguém te vá agradecer, porque não vai. Fá-lo porque ninguém vem, e uma norma que cumpres quando ninguém está a verificar é a única que alguma vez valeu alguma coisa.\nTrinta e nove secretários de freguesia e um espião conseguiram. Mexe-te e trata disso.\nRFC 4033 — «DNS Security Introduction and Requirements», Arends et al., março de 2005. A especificação atual do DNSSEC, a par do RFC 4034 e do RFC 4035.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nIANA root trust anchors — o XML que a IANA publica. O primeiro resumo de chave tem validFrom=\u0026quot;2010-07-15\u0026quot;, a data em que a raiz foi assinada; a KSK atual, etiqueta de chave 20326, tem validFrom=\u0026quot;2017-02-02\u0026quot;.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCERT VU#800113 — «Multiple DNS implementations vulnerable to cache poisoning», o aviso de 2008 sobre a técnica de Kaminsky, e a origem da resposta coordenada de aleatorização das portas de origem.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe root zone file — obtido a 27 de setembro de 2026, número de série SOA 2026092701. As contagens deste artigo vêm de analisar diretamente as delegações NS e os registos DS desse ficheiro.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nList of gov.uk domain names — o próprio registo do governo. O ficheiro mais recente publicado tem a data de 1 de outubro de 2016 e lista 3004 domínios de segundo nível.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nMicrosoft Security Response Center — Flame malware collision attack explained — «An attacker took advantage of the Terminal Services licensing system\u0026rsquo;s enrollment process for certificates that chained up to the Microsoft Root Authority which did not require internal access to Microsoft PKI»; o certificado forjado «could be used to sign code that chained up to the Microsoft Root Authority and worked on all versions of Windows».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nSentinelOne — Driving Through Defenses: targeted attacks leverage signed malicious Microsoft drivers, e Bitdefender\u0026rsquo;s FiveSys analysis — drivers de kernel maliciosos com assinaturas emitidas diretamente pela Microsoft através do Windows Hardware Compatibility Program, incluindo drivers mais tarde usados em ataques de ransomware.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nMicrosoft Security Response Center — Results of major technical investigations for Storm-0558 key acquisition — uma chave de assinatura de consumidor que foi parar a um despejo de memória através de uma condição de corrida, obtida depois de a conta empresarial de um engenheiro ter sido comprometida, e usada para forjar tokens que o sistema de correio aceitou indevidamente para contas empresariais.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nfTLD Registry Services security requirements — o registo de .bank e .insurance. «.BANK domain names must be signed with DNSSEC with strong cryptographic algorithms», a par de TLS obrigatório e autenticação de correio, com reverificação anual de todos os titulares.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nApple, WWDC 2022 session 10079, \u0026ldquo;Improve DNS security for apps and servers\u0026rdquo; — «iOS 16 and macOS Ventura now support client side DNSSEC validation», ativada por sessão ou por pedido com requiresDNSSECValidation em URLSessionConfiguration, URLRequest ou NWParameters.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nMicrosoft Learn — Understanding DNSSEC in Windows — o cliente DNS do Windows «is non-validating, which means it does not perform DNSSEC validation and relies on its local DNS servers»; a expectativa do bit AD é determinada pela Name Resolution Policy Table, e «IPsec is used to establish this trust relationship» com o servidor DNS.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nResolved: The Resolver You Are Already Running — o estado medido do systemd-resolved, incluindo porque é que todas as distribuições principais trazem DNSSEC=no em tempo de compilação e como o mudar.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nMS-ADTS: DNS-Based Discovery — a especificação do protocolo Active Directory para localizar um controlador de domínio, incluindo a consulta SRV _ldap._tcp.dc._msdcs que um cliente faz para encontrar os controladores de um contexto de nomes.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nMicrosoft Learn — Sign DNS zones with DNSSEC on Windows Server e What is DNSSEC on DNS Server in Windows Server? — a assinatura de zonas chegou no Windows Server 2008 R2 mas impedia as atualizações dinâmicas, e o Windows Server 2012 acrescentou a assinatura online de zonas dinâmicas. Numa zona integrada no Active Directory, as chaves privadas de assinatura replicam-se para os outros servidores DNS primários através da replicação do Active Directory.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nresolved.conf(5), systemd 259.9 tal como distribuído no Fedora 44 — o manual recomenda allow-downgrade, e true em sistemas onde se pode confiar no resolver a montante, enquanto a predefinição empacotada em /usr/lib/systemd/resolved.conf é DNSSEC=no.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nsystemd meson_options.txt — option('default-dnssec', type : 'combo', choices : ['yes', 'allow-downgrade', 'no'], value : 'allow-downgrade'). A predefinição escolhida pelo upstream é allow-downgrade; o #DNSSEC=no no ficheiro de fornecedor do Fedora é o que essa compilação definiu em vez disso.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nWe Never Ran Out Of Addresses — a versão IPv6 deste argumento, incluindo as 463 organizações do Reino Unido com atribuições IPv6 que não anunciam IPv6 nenhum, e a questão de um CGNAT ter uma ordem de compra enquanto fazê-lo bem não tem nenhuma.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 882 — «Domain Names: Concepts and Facilities», P. Mockapetris, novembro de 1983. A especificação original, substituída pelo RFC 1034 e pelo RFC 1035 em 1987.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nBritish Library, \u0026ldquo;Learning Lessons from the Cyber-Attack\u0026rdquo;, 8 de março de 2024 — a análise da própria biblioteca ao ataque de ransomware de outubro de 2023, que aponta a ausência de autenticação multifator na conta usada para a entrada, a infraestrutura legada, a segmentação de rede limitada e a complexidade do acesso de terceiros registada como risco em 2022.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nICO statement on the British Library\u0026rsquo;s 2023 ransomware attack, abril de 2025.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Record — UK logistics firm blames ransomware attack for insolvency, 730 redundancies — o KNP Logistics Group, dono da Knights of Old, com 158 anos, atacado pelo Akira em junho de 2023 depois de a palavra-passe de um funcionário ter sido descoberta por força bruta sem autenticação multifator, e insolvente em setembro.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\n","permalink":"https://blogs.damiendye.uk/pt/dns/dnssec-the-root-is-signed-you-are-not/","summary":"A parte difícil do DNSSEC ficou feita há anos. Contados a partir da zona raiz ativa a 27 de setembro de 2026, 1351 de 1438 domínios de topo têm um registo DS e todos os 1038 gTLD estão assinados. Depois para de repente. Um censo de todos os domínios gov.uk do registo oficial encontra 39 assinados entre os 2390 que ainda resolvem, nove deles juntas de freguesia, e o HMRC, o NHS, o GCHQ e o National Cyber Security Centre não estão entre eles. Uma autoridade de certificação em nove assinou. Tal como uma distribuição Linux ou BSD em cinco. windowsupdate.com não tem DS nenhum. Isto é o que uma resposta falsificada custa de facto, o que a assinatura faz contra isso, porque é que as desculpas do costume não sobrevivem ao contacto com os números e se, quarenta e dois anos depois de Mockapetris, o verdadeiro problema é quase ninguém perceber o que o DNS promete de facto.","title":"DNSSEC: proteger o teu tráfego contra falsificações"},{"content":"Há um resolver de DNS a correr na tua máquina neste momento. Não o instalaste, provavelmente nunca o configuraste, e está a responder a todas as consultas de nomes que a máquina faz. No Fedora, no Ubuntu e na maioria do Linux de desktop é o systemd-resolved, e está ali sossegado desde o dia em que o sistema foi instalado.\nSabe fazer três coisas que vale a pena ter. Faz cache, por isso a mesma consulta não atravessa a rede duas vezes. Valida DNSSEC, por isso uma resposta forjada é rejeitada em vez de ser acreditada. E fala DNS sobre TLS, por isso a rede local não consegue ler todos os nomes que pedes.\nPor predefinição faz exatamente uma delas. As outras duas vêm desligadas, e em algumas distribuições vêm desligadas em tempo de compilação, o que quer dizer que a definição que mudarias nem sequer é a definição que decidiu. Um validador que nunca valida não serve para nada, nem de enfeite.\nIsto é o que a coisa faz de facto, medido numa máquina Fedora 44 a correr systemd 259, e o que muda quando ligas as outras duas. Incluindo o que a tua distribuição decidiu por ti em tempo de compilação, e quanto disso podes simplesmente anular.\nO que está de facto a responder às tuas consultas Começa pelo retrato honesto, porque «usa o /etc/resolv.conf» deixou de ser verdade nestes sistemas há anos.\nO systemd-resolved expõe-se de quatro maneiras diferentes, e a que um programa usa decide o que recebe de volta.1 O caminho da glibc é o nss-resolve, ligado através do /etc/nsswitch.conf. Os caminhos nativos são o D-Bus e o Varlink, que transportam o veredicto DNSSEC e o âmbito da interface, coisas que o getaddrinfo não tem forma de exprimir. Depois há o stub à escuta, um servidor DNS a sério no loopback para tudo o que fala DNS em bruto e não sabe nada de nada do que ficou acima.\nQuatro portas, um daemon.\nNesta máquina essa ligação tem este aspeto:\n$ ls -l /etc/resolv.conf lrwxrwxrwx. 1 root root 39 May 30 13:56 /etc/resolv.conf -\u0026gt; ../run/systemd/resolve/stub-resolv.conf $ cat /etc/resolv.conf nameserver 127.0.0.53 options edns0 trust-ad search damiendye.uk $ grep ^hosts: /etc/nsswitch.conf hosts: files myhostname mdns4_minimal [NOTFOUND=return] resolve [!UNAVAIL=return] dns O resolve nessa linha é o nss-resolve. O dns a seguir é o tradicional nss-dns, ali posto como recurso que só dispara se o resolved não estiver a correr de todo.\nQuatro entradas, um daemon, e uma decisão de encaminhamento antes de qualquer coisa sair da máquina COMO UM PROGRAMA PERGUNTA O QUE O DAEMON FAZ PARA ONDE VAI nss-resolve glibc, sem veredicto D-Bus, Varlink nativo, veredicto completo 127.0.0.53 o stub completo 127.0.0.54 o stub proxy systemd-resolved 1. hosts e sintéticos 2. cache 3. validador DNSSEC 4. encaminhamento 5. transporte o stub proxy salta o 2 e o 3 LLMNR na 5355 DNS upstream Quatro entradas, um daemon, e uma decisão de encaminhamento antes de qualquer coisa sair da máquina Há dois stubs à escuta, não um Toda a gente conhece o 127.0.0.53. Menos gente sabe que há um segundo.\n$ ss -lntup | grep \u0026#39;:53 \u0026#39; udp UNCONN 0 0 127.0.0.54:53 0.0.0.0:* udp UNCONN 0 0 127.0.0.53%lo:53 0.0.0.0:* tcp LISTEN 0 4096 127.0.0.54:53 0.0.0.0:* tcp LISTEN 0 4096 127.0.0.53%lo:53 0.0.0.0:* Não são dois endereços para a mesma coisa. O segundo faz menos, de propósito:2\n127.0.0.53 127.0.0.54 Papel O resolver local completo Só modo proxy Cache Sim Não Validação DNSSEC Sim, quando ativada Nunca LLMNR e Multicast DNS Sim Não Nomes sintéticos (localhost, _gateway) Sim Não Passa a DNS sobre TLS Sim Sim Nome sintético para ele _localdnsstub _localdnsproxy O que recebes O que o resolved decidiu O que o upstream disse A documentação é seca quanto à segunda coluna. Vai «pass most DNS messages relatively unmodified to the current upstream DNS servers and back, but not try to process the messages locally, and hence does not validate DNSSEC, or offer up LLMNR/MulticastDNS».2\nIsso faz do 127.0.0.54 o alvo certo para um programa que quer fazer a sua própria validação, ou para um que precisa da resposta em bruto do upstream e não da interpretação que o resolved faz dela.\nOs dois endereços têm nomes sintéticos, _localdnsstub e _localdnsproxy, que resolvem sem configuração nenhuma.\nQuatro modos para o /etc/resolv.conf, não três O modo é detetado automaticamente a partir do que o ficheiro é, e há quatro.1\nO /etc/resolv.conf é O que significa Clientes que contornam o NSS symlink para run/systemd/resolve/stub-resolv.conf O modo recomendado. Lista o 127.0.0.53 e os domínios de pesquisa em vigor Passam pelo resolved symlink para /usr/lib/systemd/resolv.conf Estático, lista o 127.0.0.53, sem domínios de pesquisa Passam pelo resolved symlink para run/systemd/resolve/resolv.conf Lista os servidores upstream reais, mantidos atualizados Contornam o resolved por completo um ficheiro real gerido por outra coisa o resolved lê-o como consumidor, não como fornecedor Contornam o resolved por completo Essa terceira linha apanha muita gente. Parece a opção arrumada, está sempre atualizada, e quer dizer, sem dar nas vistas, que todos os programas que leem o resolv.conf diretamente estão a falar com o resolver do teu ISP sem cache, sem validação e sem cifragem, seja o que for que tenhas configurado no resolved.conf.\nA opção trust-ad no ficheiro acima também importa. Sem ela, a glibc tira o bit AD da resposta antes de o teu programa a ver, com o argumento razoável de que a alegação de um resolver qualquer de que validou alguma coisa não vale nada. Com o 127.0.0.53 como nameserver, a alegação vem da tua própria máquina, por isso o trust-ad está certo aqui e o resolved escreve-o por ti.\nSobre as teorias da conspiração do systemd Antes de qualquer pormenor, porque este é o assunto em que elas aparecem sempre.\nSe a tua objeção ao que se segue é uma teoria sobre o Lennart Poettering pessoalmente, ou sobre os motivos da Red Hat, ou sobre o systemd ser uma conspiração para te tirar alguma coisa, podes ir dar uma volta, porque não estou interessado em ouvir a tua ficção.\nTudo neste artigo saiu de uma máquina a funcionar: o código-fonte, as flags de compilação, o binário distribuído, as páginas de manual e o comportamento medido. Cada afirmação tem ao lado um comando que podes correr tu mesmo para verificar. As flags de compilação são públicas. O código-fonte é público. O único valor predefinido que acho mesmo errado foi escolhido por pessoas que deixaram o raciocínio por escrito, onde qualquer um o pode ler e discutir com elas, que é exatamente o que eu faço mais abaixo.\nIsso é bastante mais transparência do que a que tens da maior parte do software que corres sem uma palavra de queixa.\nTraz provas ou deixa-te disso.\nA cache é a parte que simplesmente funciona Esta é a única funcionalidade ligada por predefinição em todo o lado, e é a que justifica o lugar sem configuração nenhuma.\nA medição, nesta máquina, sobre 32 domínios. Limpa a cache, consulta-os todos, consulta-os outra vez, e lê o tempo de consulta que o dig reporta em vez de cronometrar o processo:\n$ resolvectl flush-caches $ for n in $NAMES; do dig +tries=1 @127.0.0.53 \u0026#34;$n\u0026#34; A | grep \u0026#39;Query time\u0026#39;; done mediana média p90 máx. total para 32 nomes cache fria 103,5 ms 106,7 ms 184 ms 238 ms 3414 ms cache quente 0,0 ms 0,5 ms 1 ms 3 ms 16 ms 3414 milissegundos contra 16. É esse o argumento todo a favor de uma cache local, e é por isso que é a predefinição.\nMas vale a pena ser honesto sobre o que esse número é. É a poupança numa série de trinta e dois nomes que nunca tinham sido consultados, contra a mesma série repetida, e nenhuma carga de trabalho real se parece com nenhuma delas. O número útil é a cauda e não a mediana: a pior consulta desse conjunto custou 238 ms a frio e 3 ms a quente. Uma página que puxa oito nomes de anfitrião não quer saber da tua mediana, espera pelo mais lento.\nOs botões [Resolve] Cache=yes # yes | no-negative | no CacheFromLocalhost=no # default: do not cache answers from 127.0.0.1 StaleRetentionSec=0 # serve expired records when upstream is down Definição Predefinição O que faz Cache=yes ligado Guarda em cache respostas positivas e negativas Cache=no-negative Só respostas positivas, para quando estás farto de esperar que um TTL negativo expire CacheFromLocalhost=no ligado Não faz cache nenhuma quando o upstream está em 127.0.0.1 StaleRetentionSec=0 desligado Serve registos expirados quando o upstream deixa de responder DNSCacheSize=4096 4096 Registos guardados por âmbito. Só no systemd 261 e posteriores Essa terceira linha é a que morde. Se o teu upstream é um dnsmasq ou um unbound no loopback, o resolved não guarda as respostas dele em cache de todo, com o argumento de que aquilo com que está a falar já é uma cache. Aponta o resolved para um resolver com filtragem noutra máquina e tens duas camadas de cache. Aponta-o para um no loopback e tens uma.\nO StaleRetentionSec= é o interessante, e vem desligado por predefinição. Define-o, e quando o upstream deixa de responder o resolved continua a servir registos para lá do TTL em vez de falhar.2 Tenta sempre o upstream primeiro. Não se aplica a NXDOMAIN, porque um nome não existir é uma resposta perfeitamente válida e não há nada de velho nela. Para um portátil que entra e sai de cobertura, ou uma máquina que tem de continuar a funcionar durante uma falha de DNS, vale a pena ter:\n[Resolve] StaleRetentionSec=1d O systemd 261 acrescentou dimensionamento da cache por protocolo, com DNSCacheSize=, MulticastDNSCacheSize= e LLMNRCacheSize=, cada um com 4096 registos por predefinição e um teto de 2^24.3 Não nesta máquina, que corre o 259, nem em nenhuma versão estável atual de distribuição. Vale a pena saber que vem aí, porque até agora o tamanho da cache não era ajustável de todo.\nO daemon também despeja tudo sob pressão de memória, o que é sensato e de vez em quando surpreende quando estás a tentar perceber porque é que uma taxa de acertos na cache parece fraca.\nO split DNS é a razão para o manter Se tirares uma coisa disto, tira esta secção, porque é a funcionalidade que faz de verdade algo que o velho stub resolver não conseguia.\nO resolv.conf tradicional tem uma lista de nameservers para a máquina inteira. Uma lista. Ligas uma VPN e alguma coisa tem de a reescrever, o que quer dizer que ou os teus nomes internos funcionam e o resto do DNS passa pelo resolver da empresa, ou o contrário. Não há terceira opção. O ficheiro não consegue exprimir uma.\nO resolved encaminha por consulta e por interface.1 Cada ligação tem os seus servidores e os seus domínios, e uma consulta é enviada para a ligação cujo domínio corresponde melhor ao nome, por número de etiquetas.\nConfiguração Escreve-se Efeito Domínio de pesquisa damiendye.uk Sufixo para nomes de uma só etiqueta, e encaminha as consultas correspondentes para esta ligação Domínio só de encaminhamento ~internal.example Encaminha as consultas correspondentes para esta ligação, nunca usado como sufixo Rota para tudo ~. Envia para esta ligação tudo o que não corresponder noutro lado Rota predefinida DNSDefaultRoute=yes Fica com as consultas sem correspondência, sem reclamar ~. Por isso um portátil com uma VPN de trabalho ligada fica assim:\nresolvectl domain tun0 \u0026#39;~corp.example\u0026#39; \u0026#39;~10.in-addr.arpa\u0026#39; resolvectl dns tun0 10.0.0.53 Os nomes debaixo de corp.example e as consultas inversas para 10.0.0.0/8 descem pelo túnel. Tudo o resto continua a sair pela ligação local como antes. Ninguém viu o resolv.conf reescrito, e quando o túnel cai as rotas vão com ele.\nUma consulta, duas ligações, e uma decisão de encaminhamento pelo número de etiquetas A CONSULTA A DECISÃO A LIGAÇÃO db01.corp.example 14.0.10.in-addr.arpa blogs.damiendye.uk Ganha quem tem mais etiquetas Cada ligação tem os seus servidores e domínios. tun0 ~corp.example wlp4s0 DefaultRoute Com til só encaminha. Sem til também é sufixo de nomes de uma etiqueta. Uma consulta, duas ligações, e uma decisão de encaminhamento tomada pelo número de etiquetas Há uma regra que vale a pena dizer claramente, porque é a que as pessoas tentam usar e erram. ~. numa ligação quer dizer prefere esta ligação para tudo. Também impede implicitamente que qualquer outra ligação seja rota predefinida. Queres que uma ligação fique com as sobras sem reclamar o espaço de nomes inteiro? Define DNSDefaultRoute=yes e deixa o ~. em paz.\nVerifica o que ele decidiu em vez de presumir:\n$ resolvectl status Link 3 (wlp4s0) Current Scopes: DNS LLMNR/IPv4 LLMNR/IPv6 Protocols: +DefaultRoute LLMNR=resolve -mDNS -DNSOverTLS DNSSEC=no/unsupported Current DNS Server: 192.0.2.53 DNS Servers: 192.0.2.53 2001:db8:1::53 DNS Domain: damiendye.uk Default Route: yes Todos os endereços neste artigo são das gamas de documentação, 192.0.2.0/24 e 2001:db8::/32, por isso não os coles numa configuração à espera de resposta.4 5 Os números e o comportamento são reais, tirados de uma máquina a funcionar. Os endereços são substitutos, porque um endereço IPv6 global construído da forma habitual leva o MAC da interface na metade de baixo, e publicar um entrega um pedaço do inventário de hardware junto com ele.\nEsse -DNSOverTLS e esse DNSSEC=no são as duas secções seguintes.\nSabe validar DNSSEC O upstream descreve o daemon como «a caching and validating DNS/DNSSEC stub resolver».1 A metade que valida é real, não é um invólucro à volta de outra coisa, e funciona. Só não está ligada.\nLigá-la por ligação não precisa de sudo, porque o resolvectl passa pelo polkit e uma sessão local ativa tem permissão:\n$ resolvectl dnssec wlp4s0 yes $ resolvectl status wlp4s0 | grep DNSSEC DNSSEC=yes/supported Esse sufixo /supported é o resolved a reportar o que encontrou quando sondou o upstream, à parte do que tu pediste. yes/supported quer dizer que pediste validação e o servidor consegue suportá-la. no/unsupported numa instalação predefinida quer dizer que ninguém pediu, por isso ninguém sondou.\nDepois de ligada, cada consulta volta com um veredicto, e há três.\nSeguro, inseguro e falso são três respostas diferentes O PAI PUBLICA UM DS, E AS ASSINATURAS VERIFICAM? SEGURO damiendye.uk Assinado, e a cadeia confere. Dados devolvidos. INSEGURO systemd.io Sem DS. Não assinado, nada para verificar. Dados devolvidos. FALSO dnssec-failed.org Diz estar assinado. A prova falha. Consulta recusada. Dois dos três devolvem dados. Ligar a validação não impede os sites não assinados de funcionar. Seguro, inseguro e falso são três respostas diferentes, e só uma delas é uma falha Aqui estão os três nesta máquina, contra nomes reais:\n$ resolvectl query damiendye.uk -- Data is authenticated: yes; Data was acquired via local or encrypted transport: no $ resolvectl query systemd.io -- Data is authenticated: no; Data was acquired via local or encrypted transport: no $ resolvectl query dnssec-failed.org dnssec-failed.org: resolve call failed: DNSSEC validation failed: missing-key (DNSKEY Missing: no SEP matching the DS found for dnssec-failed.org.) O damiendye.uk está assinado, por isso a cadeia desde a raiz valida e os dados vêm autenticados. O systemd.io não está assinado, por isso não há nada para verificar e o resolved di-lo honestamente em vez de fingir. É o domínio do próprio projeto systemd, um ponto a que vou voltar. O dnssec-failed.org é publicado com assinaturas estragadas de propósito. Esse falha a sério, com um diagnóstico que nomeia o problema exato.\nEsta é a distinção que se perde. Inseguro não é uma falha. Uma zona não assinada devolve dados e diz-te que não puderam ser verificados. Só uma zona que afirma estar assinada e depois não o consegue provar é rejeitada.\nA própria cadeia está visível, se a quiseres ver:\n$ dig +short @127.0.0.53 uk DS 43876 8 2 A107ED2AC1BD14D924173BC7E827A1... $ dig +short @127.0.0.53 damiendye.uk DS 2371 13 2 A5B2825C57899A5A15EE9703832C8358E0D19EF29DC72DD83C691ED77C33BD7F $ dig +short @127.0.0.53 damiendye.uk DNSKEY 256 3 13 oJMRESz5E4gYzS/q6XDrvU1qMPYIjCWz... 257 3 13 mdsswUyr3DPW132mOi8V9xESWE8jTo0d... A raiz responde pelo uk, o uk responde pelo damiendye.uk, e a chave 257 assina a chave 256, que assina os registos. O algoritmo 13 ali é ECDSA P-256, que é o que queres numa zona nova, em vez do RSA que o DS do uk acima ainda usa.\nPelo stub simples, um programa que nunca ouviu falar do resolved recebe o mesmo veredicto como flag AD:\n$ dig @127.0.0.53 ietf.org A | grep flags ;; flags: qr rd ra ad; $ dig @127.0.0.53 dnssec-failed.org A | grep status ;; -\u0026gt;\u0026gt;HEADER\u0026lt;\u0026lt;- status: SERVFAIL E o daemon mantém uma contagem corrente, que é a forma mais rápida de ver se a validação está a fazer alguma coisa:\n$ resolvectl statistics DNSSEC Verdicts Secure: 134 Insecure: 62 Bogus: 0 Indeterminate: 2 O que custa validar Aqui vou desiludir-te, porque tentei medir isto como deve ser e não consegui.\nA quente, é limpo e não é nada. Os mesmos 32 nomes contra uma cache cheia custaram 16 ms sem validação e 23 ms com ela. Chama-lhe um erro de arredondamento.\nA frio é onde o custo devia aparecer, e um único cliente não o consegue isolar. Corri a série das duas maneiras e tive respostas contraditórias: numa ordem a validação pareceu 74% mais lenta, noutra pareceu mais rápida, o que é impossível e diz-te o que está realmente a ser medido. A série que corre em segundo lugar beneficia de o resolver upstream já ter ido buscar tudo o que a primeira pediu. A variável que domina não é a validação, é a cache de quem estava quente.\nPor isso não te vou dar um número que não consigo defender. O que é verdade é o mecanismo, e a documentação diz-lhe a forma claramente: a validação «requires retrieval of additional DNS data, and thus results in a small DNS lookup time penalty».2 Uma consulta validada a frio percorre a cadeia de delegação a buscar DS e DNSKEY em cada nível antes de poder responder, por isso custa idas e voltas extra em nomes que ninguém pediu ainda, e nada em nomes que alguém já pediu.\nÉ também por isso que a mesma página avisa que desligar a cache «comes at a performance penalty, which is particularly high when DNSSEC is used».2 As duas funcionalidades não são independentes. A validação é comportável precisamente porque a cache faz com que só a pagues uma vez.\nSe queres o número real para a tua rede, mede-o lá. Um cliente numa ligação não te consegue dizer.\nEntão porque é que a validação está desligada Porque a tua distribuição a desligou quando compilou o pacote, e fê-lo por uma razão que deixou por escrito.\nO systemd upstream traz a validação ligada. A opção de compilação diz isso:\noption(\u0026#39;default-dnssec\u0026#39;, type : \u0026#39;combo\u0026#39;, choices : [\u0026#39;yes\u0026#39;, \u0026#39;allow-downgrade\u0026#39;, \u0026#39;no\u0026#39;], value : \u0026#39;allow-downgrade\u0026#39;) e o manual upstream concorda: DNSSEC= «Defaults to allow-downgrade».6\nAgora vê o que o Fedora passa a essa compilação:7\n-Ddefault-dnssec=no -Ddefault-dns-over-tls=no -Ddefault-mdns=no -Ddefault-llmnr=resolve E o que o Debian e o Ubuntu passam:8\n-Ddefault-dnssec=no -Ddefault-llmnr=no -Ddefault-mdns=no -Ddns-over-tls=openssl Por isso o ficheiro /usr/lib/systemd/resolved.conf numa máquina Fedora, o que tem por cabeçalho «Entries in this file show the compile time defaults», diz #DNSSEC=no. Lê isso outra vez, porque está a fazer uma coisa matreira: a linha parece o software a dizer-te a sua própria predefinição, e o que está de facto a mostrar-te é a flag de compilação do Fedora, sem a verdadeira predefinição do upstream em lado nenhum da página.\nDefinição Predefinição upstream Compilação Fedora Compilação Debian/Ubuntu Resultado nesta máquina DNSSEC= allow-downgrade no no DNSSEC=no DNSOverTLS= no no no (compilado com OpenSSL) -DNSOverTLS MulticastDNS= yes no no -mDNS LLMNR= yes resolve no LLMNR=resolve Cada uma delas corresponde ao que o resolvectl status mostra nesta máquina. Código-fonte, flag de compilação, sistema a correr: os três concordam.\nO raciocínio do Fedora está na proposta de alteração e é de uma franqueza refrescante. A funcionalidade «is known to cause compatibility problems with certain network access points», e o Fedora «is not prepared to handle an influx of DNSSEC-related bug reports», por isso fica desligada.9\nPosso perguntar porque é que a resposta a uma funcionalidade que falha em redes más é desligá-la para toda a gente, em vez de trazer allow-downgrade como faz o upstream e deixá-la desligar-se sozinha onde tiver de ser? Não quem decidiu. O que no processo levou até ali. Porque o allow-downgrade existe precisamente para o caso do portal cativo, é a predefinição do upstream exatamente por essa razão, e trazer no em vez disso quer dizer que uma máquina numa rede perfeitamente boa também fica sem validação.\nPara ser justo com eles, o allow-downgrade tem o seu próprio problema, e é real. O modo deteta um resolver que não sabe fazer DNSSEC e deixa de validar sem dizer nada. Um atacante que consiga moldar as tuas respostas DNS pode fazer essa deteção disparar de propósito, e a documentação di-lo claramente: «makes DNSSEC validation vulnerable to \u0026lsquo;downgrade\u0026rsquo; attacks».2 Uma funcionalidade de segurança que qualquer atacante pode desligar faz menos do que parece.\nPor isso nenhuma das predefinições é boa. O no não te dá nada. O allow-downgrade dá-te algo que um atacante te pode tirar, e o yes dá-te a coisa a sério mais tudo o que vem na secção seguinte.\nAfinal, quanto da web está assinado Antes de gastar muito esforço com validação, vale a pena saber que fração das tuas consultas ela pode proteger. Por isso pedi ao resolved o veredicto sobre o ápice de trinta e dois domínios que este assunto implica de facto: os organismos que escreveram a norma, as empresas que distribuem o resolver, e a infraestrutura que toda a gente resolve, queira ou não.\nDezasseis de trinta e dois. Metade.\nAssinados Não assinados Normas e registos ietf.org, iana.org, icann.org, rfc-editor.org, ripe.net, isc.org, nlnetlabs.nl, nic.cz, afnic.fr, verisign.com nenhum Distribuições e fornecedores debian.org, fedoraproject.org, opensuse.org, almalinux.org redhat.com, ubuntu.com, canonical.com, suse.com, rockylinux.org, archlinux.org O próprio systemd nenhum systemd.io, freedesktop.org Infraestrutura cloudflare.com, gov.uk github.com, kernel.org, google.com, wikipedia.org, mozilla.org, apache.org, gnu.org, quad9.net Lê a primeira coluna de cima a baixo. Todos os organismos de normalização e registos assinaram. Dez em dez, sem exceções: as pessoas que escreveram o DNSSEC, e as pessoas que gerem os registos que publicam os registos DS de toda a gente. Fizeram o trabalho nas suas próprias zonas.\nAgora lê a terceira linha. O systemd.io não tem DS. O projeto que escreveu o resolver com validação de que trata este artigo inteiro não assinou o seu próprio domínio, e o freedesktop.org, onde vive a documentação dele, também não. Mais abaixo, o quad9.net também não está assinado, e vale a pena parar um segundo nisso: um resolver público cujo argumento de venda inteiro é validar DNSSEC por ti, numa zona que ninguém consegue validar.\nE os fornecedores dividem-se de forma limpa ao longo de uma linha. As distribuições comunitárias assinaram. debian.org, fedoraproject.org, opensuse.org, almalinux.org. As empresas não. redhat.com, ubuntu.com, canonical.com, suse.com. São essas as quatro organizações que empacotam e distribuem este resolver para a maior parte do parque Linux.\nNão há aqui lacuna nenhuma na tecnologia. O protocolo pode ser implementado há mais de quinze anos, as ferramentas são gratuitas, e os registos aceitam o registo DS sem cobrar nada. Digo-te isto de borla: as pessoas que escreveram a norma assinaram, e a maior parte das pessoas que distribuem o software não.\nHá uma versão mais afiada do mesmo ponto no gov.uk, que está assinado, e depois faz isto:\n$ dig +short @127.0.0.53 www.gov.uk CNAME www-cdn.production.govuk.service.gov.uk. $ dig +short @127.0.0.53 service.gov.uk DS (nothing) O uk tem um DS. O gov.uk tem um DS. O service.gov.uk não tem nenhum, por isso a cadeia para ali de repente, e o www.gov.uk resolve como inseguro apesar de o ápice acima estar bem assinado. Alguém fez o trabalho no gov.uk e depois apontou o site propriamente dito para uma delegação não assinada. Meio trabalho.\nAssim sendo, se estás a assinar uma zona, verifica os nomes que as pessoas escrevem de facto. Um ápice assinado que faz CNAME para uma zona de CDN não assinada não te compra nada.\nO DNS sobre TLS funciona, com condições O DNS sobre TLS está implementado, vem compilado em todas as compilações correntes, e funciona. Vem desligado por predefinição em todo o lado, incluindo no upstream, onde DNSOverTLS= «Defaults to no».6\nA configuração são duas linhas, e a segunda é a que as pessoas falham:\n[Resolve] DNS=9.9.9.9#dns.quad9.net 149.112.112.112#dns.quad9.net DNSOverTLS=yes Esse #dns.quad9.net não é decoração. Define o nome usado no SNI e na validação do certificado. Deixa-o de fora e o certificado é «checked against the server\u0026rsquo;s IP» em vez disso.2 Isso funciona com os grandes fornecedores porque eles põem endereços IP nos SAN dos certificados, mas é a verificação mais fraca, parte-se no momento em que um fornecedor deixar de o fazer, e não te dá proteção nenhuma contra seres redirecionado para outro endereço que por acaso tenha um certificado válido para si próprio. O próprio artigo da revista do Fedora sobre isto omite o nome de anfitrião,10 o que é pena, porque a sintaxe está ali mesmo nos comentários do ficheiro de configuração distribuído.\nEstrito e oportunista são definições muito diferentes Modo Num servidor que suporta DoT Num servidor que não suporta Autentica o servidor yes Cifrado Todas as consultas falham Sim opportunistic Cifrado Texto simples, sem aviso Não no Texto simples Texto simples n/a O opportunistic parece o meio-termo sensato e quase nunca é. A documentação di-lo sem rodeios: nesse modo «the resolver is not capable of authenticating the server, so it is vulnerable to \u0026lsquo;man-in-the-middle\u0026rsquo; attacks»,2 e qualquer um que consiga deitar fora o teu tráfego na porta 853 pode forçar a despromoção. Protege-te da observação passiva numa rede onde ninguém está a tentar. Contra alguém que esteja, não faz nada.\nO yes é a definição honesta. Também quer dizer que, quando não consegue ligar, ficas sem DNS nenhum, o que vale a pena saber antes de o pores numa máquina a que não podes ir fisicamente.\nExperimentei DoT estrito para o Quad9 a partir desta máquina e a consulta ficou pendurada. Nenhum erro, nenhum timeout, nada no journal entre a limpeza da cache e eu reverter dois minutos depois:\nSep 27 17:12:11 systemd-resolved[40105]: wlp4s0: Bus client set DNS server list to: 9.9.9.9#dns.quad9.net, ... Sep 27 17:12:14 systemd-resolved[40105]: wlp4s0: Bus client set DNSOverTLS setting: yes Sep 27 17:12:15 systemd-resolved[40105]: Flushed all caches. Sep 27 17:14:39 systemd-resolved[40105]: wlp4s0: Bus client set DNS server list to: 192.0.2.53, ... Daqui não te consigo dizer se a porta 853 está acessível nessa ligação, porque a shell de onde corri o teste também não chegava à porta 443 e estava claramente filtrada ela própria. O que o registo mostra é o modo de falha: DoT estrito que não consegue ligar não reporta nada de útil. Espera. Se ligares isto e o teu DNS ficar calado, verifica ss -tn dport = :853 antes de ires olhar para o resolved.\nTestá-lo como deve ser # does the transport actually come up resolvectl flush-caches resolvectl query ietf.org # expect: acquired via ... encrypted transport: yes # is anything still going out in the clear sudo tcpdump -ni any \u0026#39;port 53 and not host 127.0.0.53\u0026#39; O segundo comando é o que diz a verdade. Com o DoT a funcionar, nada devia sair da máquina na porta 53, e o que sair é um programa que arranjou maneira de contornar o stub.\nO DNS sobre HTTPS não existe aqui Resposta direta à pergunta: o systemd-resolved não suporta DNS sobre HTTPS. Nem parcialmente, nem atrás de uma flag, nem com uma opção de compilação que ninguém liga. Não há DoH lá dentro de todo.\nE isto não foi lido na documentação, que podia simplesmente estar desatualizada. É o que o binário contém:\n$ strings /usr/lib/systemd/systemd-resolved | grep -icE \u0026#39;application/dns-message|dns-query|:443\u0026#39; 0 $ grep -oE \u0026#39;name=\u0026#34;DNSOver[A-Za-z]*\u0026#34;\u0026#39; /usr/share/dbus-1/interfaces/org.freedesktop.resolve1.Manager.xml name=\u0026#34;DNSOverTLS\u0026#34; Nenhum formato de transmissão DoH, nenhum HTTP/2, uma propriedade de cifragem na interface D-Bus e é TLS. A lista completa de diretivas do resolved.conf no upstream chega a dezassete definições e nenhuma menciona HTTPS.6\nJá foi pedido. O issue #8639, «Add support for DNS-over-HTTPS to systemd-resolved», foi aberto a 2 de abril de 2018 e continua aberto, com dois pull requests associados e nada integrado.11 Oito anos e a contar.\nA mesma carga, a mesma cifragem, outra porta AMBOS LEVAM A MESMA CONSULTA DNS, DENTRO DO MESMO TLS DNS sobre TLS DNS sobre HTTPS tcp/853 tcp/443 No systemd-resolved sim, desde a v239 não, de todo Um observador vê os nomes não não Uma rede pode bloqueá-lo sim, porta própria não sem custo Podes auditar o teu sim não Pedido no issue 8639 do systemd, abril de 2018. Continua aberto. A mesma carga, a mesma cifragem. A diferença é a porta em que está, e quem consegue perceber Será a decisão errada? Não é óbvio, e o argumento a favor do DoT é decente. Ambos levam DNS dentro de TLS e ambos travam o mesmo observador passivo. A vantagem do DoH é esconder-se na porta 443 com tudo o resto, por isso uma rede que queira bloquear DNS cifrado tem de se esforçar muito mais. Isso é genuinamente útil se o operador da rede for o adversário.\nTambém corta para o outro lado. Quando o operador és tu, essa indistinguibilidade quer dizer que também não consegues auditar o teu próprio DNS, e cada aplicação que traz o seu próprio cliente DoH deixa de usar o resolver do sistema, que é como acabas com um browser que ignora o teu split DNS, a tua cache e as tuas zonas internas. No teu próprio equipamento, um resolver visível numa porta conhecida é uma funcionalidade.\nPortanto: se o DoT chega ao teu resolver, usa-o e não perdes nada. Se a porta 853 estiver bloqueada, o resolved não tem resposta e queres um proxy DoH à frente dele, dnscrypt-proxy ou cloudflared no loopback com o resolved apontado para ele. A cache e a validação continuam a ser trabalho do resolved. Só o transporte muda.\nO que a tua distribuição traz de facto O mesmo daemon comporta-se de forma muito diferente conforme quem o empacotou. Ativar o serviço é a metade fácil. A metade que fica por fazer é ligá-lo às ferramentas de rede que a distribuição usa de facto, e numa destas quatro ele genuinamente não está ligado até o fazeres tu.\nInstalado Ativado nss-resolve ligado A configuração chega via Suportado Fedora (33+) sim sim sim, no systemd-libs NetworkManager sim Ubuntu sim sim sim netplan, depois NM ou networkd sim Debian (12+) pacote separado não não, pacote separado escolhes tu e ligas sim RHEL / Rocky / Alma (9, 10) sim não sim NetworkManager, depois de lhe dizerem Technology Preview Validação e uma cache completa: as definições em si São as mesmas quatro linhas em todo o lado, porque o resolved.conf é o resolved.conf em todas as distribuições. O que difere é só a forma como o resto da configuração chega ao daemon, que é o tema das próximas quatro secções.\n# /etc/systemd/resolved.conf.d/60-local.conf [Resolve] DNSSEC=allow-downgrade Cache=yes CacheFromLocalhost=no StaleRetentionSec=1d Usa um drop-in em vez de editar o /etc/systemd/resolved.conf, porque o ficheiro principal tem precedência mais baixa do que qualquer drop-in e uma atualização de pacote pode discutir contigo por causa dele. A numeração é uma convenção documentada: os fornecedores ficam com 10 a 40 debaixo de /usr/, tu ficas com 60 a 90 debaixo de /etc/, por isso o teu ganha.6\nNo systemd 261 e posteriores há uma quinta linha que vale a pena acrescentar, porque até lá o tamanho da cache não era ajustável de todo:\nDNSCacheSize=16384 # systemd 261+; default 4096, max 2^24 Aplica-a e confirma que o daemon concorda com o ficheiro, em vez de presumir que o leu:\nsystemd-analyze cat-config systemd/resolved.conf # every fragment, in precedence order systemctl restart systemd-resolved resolvectl status | grep -E \u0026#39;DNSSEC|Protocols\u0026#39; resolvectl statistics # verdicts should start moving O DNSSEC=allow-downgrade é a definição que eu poria numa máquina de que não vou andar a tomar conta, pelas razões da secção acima. O DNSSEC=yes é a honesta e falha fechada. Escolhe de propósito.\nLigá-lo à pilha de rede Ligar o serviço é um comando. Pôr as ferramentas de rede da tua distribuição a entregar-lhe a configuração de DNS é a parte que varia, e é aí que «ativado» e «a funcionar como deve ser» se separam.\nDe onde vem a configuração DNS Para ativar o DNSSEC Para dimensionar a cache Ligação extra necessária Fedora NetworkManager, automaticamente drop-in drop-in nenhuma Ubuntu netplan, depois NM ou networkd drop-in, ou por ligação no .network drop-in nenhuma Debian a pilha que escolheste drop-in, ou por ligação no .network drop-in libnss-resolve, mais a pilha abaixo Família RHEL NetworkManager, depois de lhe dizerem drop-in drop-in dns=systemd-resolved Fedora A integração mais completa das quatro, e a única em que está tudo já ligado.\nO NetworkManager é dono da rede e entrega o DNS ao resolved sem que lho digam. Nesta máquina não há linha dns= em lado nenhum de /etc/NetworkManager/ e funciona na mesma, porque o NetworkManager deteta o daemon a correr e usa-o. O /etc/resolv.conf é o symlink para o stub, e a glibc está ligada porque o libnss_resolve.so.2 vem no systemd-libs, que não é opcional:\n$ rpm -qf /usr/lib64/libnss_resolve.so.2 systemd-libs-259.9-1.fc44.x86_64 $ grep ^hosts: /etc/nsswitch.conf hosts: files myhostname mdns4_minimal [NOTFOUND=return] resolve [!UNAVAIL=return] dns Por isso no Fedora o drop-in acima é o trabalho todo. Não há mais nada para ligar.\nUbuntu Ativado por predefinição, e o nss-resolve está ligado da mesma maneira. A diferença é que a configuração costuma chegar pelo netplan:\nnetwork: version: 2 ethernets: enp1s0: dhcp4: true nameservers: addresses: [9.9.9.9, 149.112.112.112] search: [example.com] O netplan entrega isso ao seu renderizador, o NetworkManager no desktop ou o systemd-networkd no servidor, e o renderizador entrega-o ao resolved. Repara no que o netplan não consegue exprimir. Não há chave netplan para DNSSEC=, nem para DNSOverTLS=. Esses vão no drop-in acima, que é onde pertencem de qualquer forma.\nSe estás no systemd-networkd, as definições por ligação também estão disponíveis nativamente no ficheiro .network, e uma definição por ligação ganha à global:\n# /etc/systemd/network/10-lan.network [Network] DNS=9.9.9.9#dns.quad9.net DNSSEC=yes DNSOverTLS=yes Domains=~. O Debian tem de ser ligado à mão Esta é a que genuinamente não está ligada, e a razão por que a secção acima existe.\nDesde o Debian 12 que o systemd-resolved é um pacote separado, e as notas de lançamento são explícitas quanto à atualização: «The new systemd-resolved package will not be installed automatically on upgrades», e «until it has been installed, DNS resolution might no longer work since the service will not be present on the system.»12 As mesmas notas arrumam a questão mais larga: «systemd-resolved was not, and still is not, the default DNS resolver in Debian.»\nInstalá-lo são dois pacotes, não um, e o segundo é o que toda a gente falha:\napt install systemd-resolved libnss-resolve systemctl enable --now systemd-resolved O libnss-resolve está só em Suggests:, não é uma dependência,13 e o Suggests é a única relação a que o apt não dá seguimento. Por isso ninguém o instala.\nA razão por que ninguém repara é mais interessante do que a razão por que ninguém o instala. Deixa-o de fora e a glibc continua a chegar ao resolved, porque o /etc/resolv.conf aponta para o stub e o nss-dns simples fala com ele. A maior parte do daemon continua a funcionar:\nSem libnss-resolve Com ele Cache Sim, via o stub Sim Validação DNSSEC Sim, acontece no daemon Sim DNS sobre TLS Sim Sim O bit AD chega à glibc Sim, o resolv.conf leva trust-ad Sim Seguro vs inseguro vs falso Não, só um bit Sim Endereços com âmbito de ligação Não Sim /etc/hosts lido pelo daemon Não Sim Nada na coluna da esquerda parece avariado, por isso nada é corrigido. O que perdes é o que o formato de transmissão DNS não consegue levar, e o caso mais claro é um endereço com âmbito:\n$ getent hosts _gateway # via nss-resolve fe80::5054:ff:fe12:3456 _gateway $ dig +short @127.0.0.53 _gateway # via the stub, as nss-dns would 192.0.2.1 O mesmo nome, o mesmo daemon, duas respostas diferentes. Um endereço IPv6 link-local não tem significado sem a interface a que está associado, e não há sítio numa resposta DNS para pôr isso, por isso o stub só consegue devolver o IPv4. A API nativa tem onde o pôr e dá-te o endereço que realmente querias.\nA linha do veredicto é o mesmo problema. O AD é um bit, assinado ou não. A API nativa separa seguro de inseguro de falso, que é a diferença entre «ninguém assinou isto» e «alguém assinou isto e outra pessoa andou a mexer-lhe». Uma aplicação que se importe não consegue distinguir as duas coisas pela rede.\nEssa é a distância entre o serviço estar a correr e o serviço estar ligado, e fica invisível até ires à procura dela.\nVerifica que ficou:\ngrep ^hosts: /etc/nsswitch.conf # wants \u0026#39;resolve [!UNAVAIL=return] dns\u0026#39; Quatro entradas no Debian, e a que não é instalada por ti DE ONDE VEM A CONFIGURAÇÃO COMO ENTRA O DAEMON ifupdown, estático ifupdown, DHCP systemd-networkd NetworkManager shim resolvconf = resolvectl resolved 127.0.0.53 E A PARTE QUE NINGUÉM INSTALA glibc getaddrinfo() libnss-resolve Só Suggests:. Sem ele a glibc funciona, e o veredicto nunca lhe chega. Quatro entradas no Debian, e a que não é instalada por ti Como o resto da tua rede chega a ele depende da pilha do Debian em que estás.\nO pacote declara Provides: resolvconf e Conflicts: resolvconf, openresolv,13 por isso toma conta da interface resolvconf por inteiro. O /usr/sbin/resolvconf passa a ser um symlink para o resolvectl, que é um binário multi-chamada: invocado com esse nome fala o protocolo resolvconf(8) e empurra tudo o que lhe dão diretamente para o resolved.14 Tudo o que já chama resolvconf -a continua portanto a funcionar sem alterações, com o systemd-resolved como único backend suportado.\nNem toda a interface sobrevive, e as lacunas falham com estrondo e não em silêncio:\nOpção do resolvconf Debaixo do systemd-resolved -a \u0026lt;iface\u0026gt; Regista DNS por ligação lido do stdin. A que importa -d \u0026lt;iface\u0026gt; Remove o registo, o mesmo que resolvectl revert -x Mapeada para um domínio de encaminhamento ~. -p Marca a ligação como não sendo rota predefinida (systemd 257+) -f Faz o -a e o -d calarem-se sobre uma interface que não existe -m Aceite e ignorada sem aviso -u, -i, -I, -l, -r, -R, -v, -V Não suportadas. O comando falha Uma armadilha que vale a pena conhecer antes de depurares: o shim só escreve o /etc/resolv.conf quando esse ficheiro é um symlink para /run/systemd/resolve/resolv.conf, e não quando é um ficheiro estático.14\nifupdown, a predefinição numa instalação de servidor Debian. A estrofe dns-nameservers em /etc/network/interfaces sempre foi implementada pelos hooks do velho pacote resolvconf, e o systemd-resolved entra em conflito com esse pacote e não traz hooks próprios em /etc/network/if-up.d/. Para uma interface estática, não confies na estrofe. Define os servidores na ligação explicitamente e deixa o resolved ficar com eles:\n# /etc/network/interfaces auto enp1s0 iface enp1s0 inet static address 192.0.2.10/24 gateway 192.0.2.1 up /usr/sbin/resolvconf -a $IFACE \u0026lt;\u0026lt;\u0026lt; \u0026#39;nameserver 192.0.2.53\u0026#39; down /usr/sbin/resolvconf -d $IFACE DHCP no ifupdown já está tratado. O isc-dhcp-client traz hooks com o nome do daemon, /etc/dhcp/dhclient-enter-hooks.d/resolved-enter e /etc/dhcp/dhclient-exit-hooks.d/resolved,15 por isso os servidores DNS de uma concessão aterram na ligação certa sem nada para configurar.\nsystemd-networkd é a opção mais limpa e não precisa de shim nenhum, porque as duas metades são o mesmo projeto. DNS por ligação, DNSSEC e DoT são chaves nativas no ficheiro .network, exatamente como no exemplo do Ubuntu acima.\nNetworkManager, num desktop Debian, precisa que lho digam uma vez:\n# /etc/NetworkManager/conf.d/10-resolved.conf [main] dns=systemd-resolved Escolhe uma e sabe qual escolheste. O modo de falha aqui não é um daemon que se recusa a arrancar, são duas pilhas que acreditam ambas ser donas do /etc/resolv.conf, o que aparece como DNS intermitente e desperdiça uma tarde. O resolvectl status diz em que ligação os servidores aterraram. Se a resposta for nenhuma, nada está a alimentar o daemon, e é esse o bug.\nRHEL, Rocky e Alma E aqui está a que vale a pena ler duas vezes. O pacote está lá, o nss-resolve está disponível, o NetworkManager consegue conduzi-lo, e a documentação da Red Hat diz isto:\nsystemd-resolved is an unsupported Technology Preview.16\nEssa formulação está nas notas de lançamento do RHEL 9 desde a 9.0 e continua lá na 9.8. Technology Preview quer dizer nenhum SLA de produção, e a Red Hat explicitamente não o recomenda para uso em produção.\nNem vem ativado. O NetworkManager é dono do resolv.conf nestes sistemas, por isso ligá-lo é uma definição do NetworkManager e não apenas ativar a unidade:\n# /etc/NetworkManager/conf.d/10-resolved.conf [main] dns=systemd-resolved systemctl enable --now systemd-resolved systemctl reload NetworkManager resolvectl status # confirm NM actually handed the servers over Depois disso o drop-in acima aplica-se sem alterações, e a validação e a cache comportam-se exatamente como no Fedora.\nPor isso no RHEL tens uma decisão que não existe nos outros. Queres um resolver local com validação, cache e capacidade de split DNS numa máquina RHEL suportada? Então a resposta suportada não é esta. É o unbound, ou o dnsmasq através do próprio dns=dnsmasq do NetworkManager, e a Red Hat dá a cara por ambos.\nO rótulo não é um comentário sobre o código. É um comentário sobre aquilo a que a Red Hat põe um SLA por trás, e um resolver com cache e validação é coisa sobre a qual os clientes abrem tickets. É justo. Mas se estás a comprar RHEL pelo suporte, correr a resolução de nomes num componente não suportado é uma decisão a tomar de propósito e a pôr por escrito, não uma em que se cai por acaso porque estava no repositório.\nNada está de facto aleijado, e eis como o provar Vale a pena testar a premissa, porque «a minha distro desativou isto, vou ter de recompilar» é o reflexo e aqui está errado.\nO systemd tem dois tipos completamente diferentes de opção de compilação, e fala-se deles como se fossem um só:17\nOpção de compilação Tipo Upstream Fedora Debian e Ubuntu Alterável em execução resolve capacidade ligado compilado true não, e ambos o compilam nss-resolve capacidade ativado compilado, vem no systemd-libs enabled, vem como libnss-resolve não, e ambos o compilam dns-over-tls capacidade auto auto, resolve para OpenSSL openssl não, e ambos o compilam openssl capacidade ativado enabled enabled não, e ambos o ativam default-dnssec só predefinição allow-downgrade no no sim, num drop-in default-dns-over-tls só predefinição no no predefinição upstream sim, num drop-in default-mdns só predefinição yes no no sim, num drop-in default-llmnr só predefinição yes resolve no sim, num drop-in Lê a última coluna. Todas as definições de que este artigo se queixou estão na metade de baixo, e todas são uma predefinição, não uma capacidade. O código vem compilado em ambos. Ninguém tirou nada.\nA prova está mais acima neste artigo e não precisou de compilador. No pacote Fedora de origem, com DNSSEC=no metido lá dentro, um comando ligou a validação e ela funcionou por inteiro: uma zona assinada autenticada, uma não assinada reportada honestamente, uma estragada recusada com um diagnóstico preciso. Se tivesse sido tirada na compilação, o resolvectl status nunca teria dito yes/supported.\nPor isso verifica a tua própria compilação antes de ires buscar uma toolchain:\n# is the crypto there at all systemctl --version | tr \u0026#39; \u0026#39; \u0026#39;\\n\u0026#39; | grep -E \u0026#39;^[+-](OPENSSL|GNUTLS|GCRYPT)$\u0026#39; # ask for the feature and read back what the daemon says it can do resolvectl dnssec \u0026lt;link\u0026gt; yes resolvectl status \u0026lt;link\u0026gt; | grep DNSSEC # yes/supported means the code is there Nesta máquina Fedora isso dá -GCRYPT +GNUTLS +OPENSSL, que chega bem: o DNSSEC precisa de um deles e o DoT é compilado contra o OpenSSL.\nO que as distribuições tiram mesmo Há uma coisa que ambas tiram, e não está na lista de que alguém se queixa.\nO upstream compila uma lista de servidores DNS de recurso dentro do binário: Cloudflare, Google e Quad9.17 Tanto o Fedora como o Debian compilam com -Ddns-servers= vazio, e podes confirmá-lo no binário distribuído em vez de acreditares na minha palavra:\n$ strings /usr/lib/systemd/systemd-resolved | grep -ciE \u0026#39;quad9|one\\.one\\.one|dns\\.google\u0026#39; 0 Nada. Nenhum hiperescalar metido no executável.\nEsse é o único sítio em que ambas as distribuições melhoraram o upstream, e merece ser dito claramente, dado quanto deste artigo foi sobre predefinições que acho erradas. Uma máquina que perde a configuração de DNS devia falhar com estrondo e esperar por ti. Não devia encaminhar em silêncio todos os nomes que consultas para um resolver noutra jurisdição que nunca escolheste. Queres um recurso? Define FallbackDNS= e escolhe quem é.\nSe precisares mesmo de recompilar Existe um caso real: uma compilação mínima ou embebida em que alguém passou -Ddns-over-tls=false e o transporte está genuinamente ausente. Verifica primeiro com os comandos acima, porque é raro e parece idêntico a a definição estar simplesmente desligada.\nSe precisares, recompila o pacote, nunca make install:\n# Fedora dnf download --source systemd rpmbuild --rebuild --define \u0026#39;_with_upstream 1\u0026#39; systemd-*.src.rpm # Debian and Ubuntu apt source systemd cd systemd-*/ \u0026amp;\u0026amp; editor debian/rules # change the -Ddefault-* flags dpkg-buildpackage -us -uc -b Não corri nenhum deles nesta máquina, por isso trata-os como a forma do trabalho, não como uma receita testada. O que importa é o princípio. O systemd é o PID 1, e um make install compilado à mão por cima da cópia da tua distribuição tira-o do gestor de pacotes: acabam-se as atualizações de segurança, e a próxima atualização luta contigo pelos ficheiros. Compilar o pacote mantém as duas coisas. Para quase toda a gente, a resposta honesta é que um drop-in de quatro linhas faz o mesmo trabalho em vinte segundos, e é por isso que esta secção existe sobretudo para te convencer a não o fazer.\nTrês configurações que vale a pena correr Não um menu de todas as opções. Três posições, cada uma das quais eu defenderia de facto.\nPortátil, redes hostis Servidor, a tua própria rede Estrita Contra o que te defendes O café e o portal do hotel Nada local; o upstream já valida Um caminho de resolver em que não confias DNSSEC= allow-downgrade no yes DNSOverTLS= opportunistic no yes StaleRetentionSec= 1d 1d não definido Sobrevive a um portal cativo Sim n/a Não Sobrevive a um .arpa filtrado Sim Sim Não Sobrevive à porta 853 bloqueada Sim n/a Não Um atacante pode despromovê-la Sim, ambas as definições n/a Não Um portátil em redes que não controlas. Cifra o transporte, e aceita o risco de despromoção em troca de a coisa continuar a funcionar atrás de um portal cativo.\n# /etc/systemd/resolved.conf.d/60-local.conf [Resolve] DNS=9.9.9.9#dns.quad9.net 149.112.112.112#dns.quad9.net DNSOverTLS=opportunistic DNSSEC=allow-downgrade Cache=yes StaleRetentionSec=1d Um servidor numa rede que és tu a gerir, com validação no upstream. Já aconteceu um salto ao lado. Não o faças duas vezes, e não fiques dependente de um resolver público.\n[Resolve] DNSSEC=no DNSOverTLS=no Cache=yes CacheFromLocalhost=no StaleRetentionSec=1d Uma máquina onde queres a coisa a sério. Estrita nas duas frentes, nada que um atacante possa despromover, e verificaste que o upstream aguenta.\n[Resolve] DNS=9.9.9.9#dns.quad9.net 149.112.112.112#dns.quad9.net DNSOverTLS=yes DNSSEC=yes Cache=yes Essa terceira vai partir o DNS inverso se alguma coisa no teu caminho filtrar .arpa, vai partir por completo se a porta 853 estiver bloqueada, e falha fechada em vez de em silêncio. São esses os termos. Conhece-os antes de a implementares, não depois, porque uma máquina que não resolve coisa nenhuma fica a uma longa viagem de carro se não estiver na sala ao lado.\nSeja qual for a que escolheres, aplica-a e depois verifica o que o daemon decidiu de facto, e não o que escreveste:\nsystemd-analyze cat-config systemd/resolved.conf # every file, in order systemctl restart systemd-resolved resolvectl status # the state it is really in O resolvectl status é o oráculo aqui, da mesma forma que a compilação é o oráculo para um site Hugo. Uma definição num ficheiro é uma intenção. O que o status mostra é o que está a acontecer.\nOs restantes verbos vale a pena conhecer, porque entre eles respondem a quase todas as perguntas que vais ter sobre este daemon sem leres um registo:\nComando O que te diz resolvectl status Servidores, domínios e protocolos por ligação, e o estado atual do DNSSEC e do DoT resolvectl query NAME A resposta, o protocolo usado, o veredicto DNSSEC, e se veio da cache resolvectl statistics Acertos contra falhas na cache, e a contagem corrente de seguro/inseguro/falso resolvectl show-cache Tudo o que está em cache neste momento, por âmbito resolvectl flush-caches Esvazia a cache sem reiniciar o daemon resolvectl dns LINK ... Define servidores numa ligação em execução, sem ficheiro de configuração resolvectl dnssec LINK yes Liga a validação numa ligação, para testar antes de te comprometeres resolvectl domain LINK ~x Define domínios de encaminhamento e de pesquisa numa ligação resolvectl revert LINK Deita fora todas as alterações em execução nessa ligação resolvectl show-server-state Sondagem de funcionalidades por servidor: o que se apurou que cada upstream suporta resolvectl monitor Vê consultas e respostas ao vivo, o que é melhor do que adivinhar Tudo nesse bloco do meio é só em execução e não sobrevive a uma ligação voltar a subir, o que faz disso a maneira certa de experimentar uma definição antes de a escreveres num drop-in. Também quer dizer que um nmcli device reapply desfaz os teus testes sem dizer nada, por isso verifica o status depois, não antes.\nAs predefinições são uma posição, não um acidente Três funcionalidades na caixa. Uma ligada.\nÉ tentador ler isso como preguiça. Não é. Cada uma dessas predefinições foi discutida por pessoas que conseguiam ver a fila de bugs do outro lado da decisão, e o Fedora, pelo menos, escreveu honestamente que não conseguia enfrentar a carga de suporte. É uma restrição real e não vou fingir o contrário.\nMas uma predefinição é uma posição, e esta diz que uma consulta que ninguém consegue verificar é uma coisa aceitável sobre a qual construir. Temos a norma desde 2005. Os registos publicam os registos de graça, o resolver na tua máquina implementa a coisa toda, e a razão por que está parado é que demasiada internet nunca assinou coisa nenhuma, por isso ligá-lo faz da tua máquina a que parece avariada. É esse o formato de todas as normas que ninguém faz cumprir. Fazer bem é um custo que carregas sozinho, e o benefício só aparece quando outros suficientes o tiverem carregado também.\nÉ por isso que o censo é a parte disto sobre a qual eu iria mesmo agir. Não as definições. As definições são vinte minutos. O censo diz que as organizações que publicam as orientações, distribuem o resolver e alojam o código-fonte do mundo, na maioria, não assinaram as suas próprias zonas, e que o gov.uk assinou o ápice e depois apontou o único site que ninguém consegue evitar usar para uma delegação não assinada. Alguém fez a parte difícil e depois nunca verificou o nome que as pessoas escrevem.\nSó consegues tratar do que é teu. Se geres uma zona, assina-a, entrega o DS, e depois vai consultar o nome www como um visitante o faria e confirma que a cadeia sobrevive até ao fim. É uma tarde. Faz isso e o argumento a favor da validação deixa de ser teórico para toda a gente que resolve o teu nome, que é a única parte disto que qualquer um de nós consegue realmente consertar.\nsystemd-resolved.service(8) — «implements a caching and validating DNS/DNSSEC stub resolver»; as quatro interfaces de cliente, os dois stubs à escuta, os registos sintéticos, as regras de encaminhamento e os quatro modos do /etc/resolv.conf.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nresolved.conf(5), tal como vem no systemd 259.9 do Fedora 44 — DNSSEC=, DNSOverTLS=, Cache=, CacheFromLocalhost=, StaleRetentionSec= e a descrição do stub proxy 127.0.0.54.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nresolved.conf(5) — DNSCacheSize=, MulticastDNSCacheSize= e LLMNRCacheSize=, «Each defaults to 4096», acrescentados no systemd 261.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 5737 — «IPv4 Address Blocks Reserved for Documentation»: 192.0.2.0/24, 198.51.100.0/24 e 203.0.113.0/24.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 3849 — 2001:DB8::/32 reservado para documentação, «to reduce the likelihood of conflict and confusion when relating documented examples to deployed systems».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nresolved.conf(5), upstream mais recente — DNSSEC= «Defaults to allow-downgrade», DNSOverTLS= «Defaults to no», a convenção de numeração dos drop-ins, e a lista completa de diretivas, sem opção de DNS sobre HTTPS.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nsystemd.spec do Fedora, rawhide — as flags de compilação meson -Ddefault-dnssec=no, -Ddefault-dns-over-tls=no, -Ddefault-mdns=no, -Ddefault-llmnr=resolve.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nEmpacotamento systemd do Debian, debian/rules — -Ddefault-dnssec=no, -Ddefault-llmnr=no, -Ddefault-mdns=no, -Ddns-over-tls=openssl. O systemd do Ubuntu deriva deste empacotamento.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nFedora Change: systemd-resolved — o Fedora 33 tornou-o o resolver predefinido; muda a predefinição «from the upstream default DNSSEC=allow-downgrade to DNSSEC=no» porque a funcionalidade «is known to cause compatibility problems with certain network access points» e o Fedora «is not prepared to handle an influx of DNSSEC-related bug reports».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nFedora Magazine — Use DNS over TLS — a configuração DNSOverTLS=yes recomendada, dada com endereços IP simples e sem a forma SNI #hostname.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nsystemd issue #8639 — «Add support for DNS-over-HTTPS to systemd-resolved», aberto a 2 de abril de 2018, continua aberto.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNotas de lançamento do Debian 12, 5.2.3 — «The new systemd-resolved package will not be installed automatically on upgrades»; «until it has been installed, DNS resolution might no longer work»; «systemd-resolved was not, and still is not, the default DNS resolver in Debian.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nEmpacotamento systemd do Debian, debian/control — a estrofe do systemd-resolved: Provides: resolvconf, Conflicts: resolvconf, openresolv, Replaces: resolvconf, e o libnss-resolve listado só em Suggests:.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nresolvconf(1), o modo de compatibilidade do resolvectl — o resolvectl «is a multi-call binary. When invoked as \u0026lsquo;resolvconf\u0026rsquo; \u0026hellip; it is run in a limited resolvconf(8) compatibility mode»; o systemd-resolved «is the only supported backend»; que opções são suportadas, ignoradas ou rejeitadas; e a regra de que o /etc/resolv.conf só é escrito quando é um symlink para /run/systemd/resolve/resolv.conf.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLista de ficheiros do isc-dhcp-client do Debian — traz /etc/dhcp/dhclient-enter-hooks.d/resolved-enter e /etc/dhcp/dhclient-exit-hooks.d/resolved.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNotas de lançamento do RHEL 9.4, Technology Previews — «Note that systemd-resolved is an unsupported Technology Preview.» Mantido sem alterações do RHEL 9.0 ao 9.8.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nmeson_options.txt do systemd — a divisão entre opções de capacidade (resolve, nss-resolve, dns-over-tls, openssl) e opções de valor predefinido (default-dnssec, default-dns-over-tls, default-mdns, default-llmnr), e a lista de recurso dns-servers compilada no binário.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\n","permalink":"https://blogs.damiendye.uk/pt/dns/resolved-the-resolver-you-are-already-running/","summary":"O systemd-resolved está a correr neste momento na maioria dos desktops Linux, a pôr em cache todas as consultas e sem validar nenhuma. Isto percorre o caminho de resolução desde o nss-resolve até aos dois stubs à escuta, mede o que a cache vale numa máquina real, ativa o DNSSEC e mostra os três veredictos que pode devolver, e explica porque é que a validação vem desligada quando o upstream a traz ligada. Depois, um censo de quão pouco da web está de facto assinado, o DNS sobre TLS e a sua armadilha de estrito contra oportunista, e o suporte para DNS sobre HTTPS que é pedido desde 2018 e continua a não existir. Termina com o que trazem o Fedora, o Ubuntu, o Debian e a família RHEL, como ligá-lo em cada um, e porque é que as funcionalidades que a tua distribuição desativou são valores predefinidos e não código em falta.","title":"Resolved: o resolver que já tens a correr"},{"content":"Há uma forma de qualquer coisa na tua rede consultar um nome sem que o teu servidor DNS alguma vez ouça a pergunta. Nenhuma definição alterada na máquina, nenhum direito de administrador, nada que encontrasses num registo. A consulta sai como um pedido HTTPS normal na porta 443, vai para um resolvedor algures na internet e volta com uma resposta que o teu próprio resolvedor se teria recusado a dar.\nA lista de bloqueio nunca dispara. O feed de ameaças nunca recebe a consulta. A linha de registo que irias procurar nunca foi escrita.\nChama-se DNS sobre HTTPS, DoH para abreviar, e foi construído por uma boa razão. O DNS simples viaja em texto claro na porta 53, por isso o café, o aeroporto e o teu fornecedor de internet podem ler cada nome que resolves e mudar as respostas se lhes apetecer. O DoH embrulha a consulta na mesma cifra que o resto da web e esconde-a na multidão. Como medida de privacidade para uma pessoa numa rede hostil, faz exatamente o que promete.\nO problema é que aquilo que ele derrota e aquilo de que tu dependes são a mesma coisa.\nO teu resolvedor não é só um serviço de consultas. É um ponto de controlo: onde um domínio conhecido como malicioso recebe como resposta nada, onde uma consulta a um servidor de comando aparece num registo, onde o Protective DNS recusa o domínio do malware antes de a ligação ser feita. O DoH tira a consulta do teu resolvedor e entrega-a a um que nunca escolheste, e todos os controlos que penduraste nesse resolvedor vão com ela.\nO DNS normal passa pelo teu resolvedor. O DoH contorna-o. Mesmo portátil, mesma pergunta. Uma resposta passa os teus controlos, a outra nunca os encontra. DNS normal, porta 53 DNS sobre HTTPS, porta 443 Portátil pede um nome O teu resolvedor bloqueio e ameaças verificados consulta registada por cliente nome mau respondido NXDOMAIN A internet só se passou Portátil pede um nome O teu resolvedor nunca consultado nada para bloquear nada para registar HTTPS para um resolvedor à sua escolha Resolvedor de outra pessoa responde a tudo A firewall vê mais uma ligação web cifrada. Tem milhares destas por minuto, e no fio esta parece igual às outras. O mesmo portátil a fazer a mesma pergunta. À esquerda passa pelo teu resolvedor, que verifica o nome, regista-o e só depois pergunta à internet. À direita sai diretamente por HTTPS para um resolvedor escolhido pelo cliente. O teu resolvedor nunca a ouve, por isso não há nada para bloquear nem nada para registar, e na fronteira é mais uma ligação web cifrada entre milhares. Isto não é um argumento contra cifrar o DNS. O DNS cifrado está certo, e a última secção deste artigo explica como o gerir. É um argumento sobre quem escolhe o resolvedor, porque essa escolha é o jogo todo, e o DoH foi desenhado para ta tirar e dá-la ao browser, à aplicação e, se não tiveres cuidado, ao atacante.\nO que o DoH é de facto Tira-lhe a marca e o DoH é um pedido web normal que por acaso leva uma pergunta DNS.\nO DNS normal é uma pequena mensagem binária enviada por UDP ou TCP para a porta 53. O DoH coloca essa mesma mensagem, ou uma versão JSON dela, dentro de um pedido HTTPS a um servidor web que fala o protocolo; a resposta é uma resposta HTTPS1. A ideia é toda esta.\nO RFC 8484 normalizou-o em outubro de 2018, e a intenção nunca foi escondida. O objetivo, diz a própria introdução, é «allowing web applications to access DNS information via existing browser APIs»1.\nAPIs de browser existentes. Uma página web. Ninguém descobriu isto como um efeito secundário incómodo anos depois. Está no primeiro parágrafo da norma, escrito como o objetivo.\nEis uma consulta feita à maneira do DoH, a partir da linha de comandos, contra um resolvedor público, a perguntar por example.com:\n$ curl -s -H \u0026#39;accept: application/dns-json\u0026#39; \\ \u0026#39;https://cloudflare-dns.com/dns-query?name=example.com\u0026amp;type=A\u0026#39; {\u0026#34;Status\u0026#34;:0,\u0026#34;TC\u0026#34;:false,\u0026#34;RD\u0026#34;:true,\u0026#34;RA\u0026#34;:true,\u0026#34;AD\u0026#34;:true,\u0026#34;CD\u0026#34;:false, \u0026#34;Question\u0026#34;:[{\u0026#34;name\u0026#34;:\u0026#34;example.com\u0026#34;,\u0026#34;type\u0026#34;:1}], \u0026#34;Answer\u0026#34;:[{\u0026#34;name\u0026#34;:\u0026#34;example.com\u0026#34;,\u0026#34;type\u0026#34;:1,\u0026#34;TTL\u0026#34;:146, \u0026#34;data\u0026#34;:\u0026#34;23.192.228.80\u0026#34;}]} Nenhum cliente especial. Nenhuma porta além da 443. Um único pedido HTTPS, com a mesma forma de ir buscar uma página web, e um nome resolvido por uma máquina do outro lado do mundo que nunca ouviu falar da tua rede nem das tuas regras. A Google gere o mesmo endpoint, a Quad9 também, e dezenas de outros.\nAgora olha para o que a tua firewall vê. Uma ligação TLS a um servidor web na 443, que não consegue ler por dentro porque é esse o objetivo do TLS, e que não consegue distinguir das centenas de outras que se abrem a cada segundo para redes de distribuição de conteúdos, analítica e anúncios. A pergunta DNS desapareceu. Saiu do edifício disfarçada de tráfego web e ninguém à porta lhe conseguiu ver a cara.\nNo fio, uma consulta DoH é uma pergunta DNS selada dentro de um pedido web. A mesma pergunta. Uma vai escrita no envelope, a outra selada três camadas abaixo. DNS simples, porta 53 DoH, porta 443 Consulta DNS name=badsite.example type=A A firewall lê isto por inteiro. Vê o nome, verifica-o, bloqueia-o ou regista-o. Registo TLS (tudo o que a firewall vê) Pedido HTTP a um servidor web Consulta DNS (selada) name=badsite.example type=A Na porta 443 a firewall só vê a camada exterior. Uma ligação TLS a um servidor web, igual a uma página, um anúncio ou um beacon de analítica. O nome nunca aparece. Uma consulta DNS simples está escrita no envelope: a firewall lê o nome e age sobre ele. Uma consulta DoH é a mesma pergunta selada dentro de um pedido HTTP dentro de um registo TLS, e tudo o que a firewall vê é a camada exterior, uma ligação a um servidor web na 443 igual a todas as outras. O nome nunca vem à superfície onde um controlo lhe possa chegar. Há três formas de um cliente transportar uma consulta DNS, e vale a pena pô-las lado a lado, porque a diferença é o artigo todo.\nTransporte Porta O teu resolvedor vê-a Recusável na fronteira Cifrado DNS simples 53 (UDP/TCP) Sim, se o forçares a passar por ele Sim, fecha a 53 de saída Não DNS sobre TLS (DoT) 853 Só se apontar para o teu Sim, fecha a 853 de saída Sim DNS sobre HTTPS (DoH) 443 Só se apontar para o teu Não, não podes fechar a 443 Sim O DNS simples é legível e bloqueável, e é exatamente por isso que era fácil de controlar e fácil de espiar. O DoT cifra a consulta mas mantém a sua própria porta, por isso ainda a podes recusar na fronteira. O DoH é o que não tem por onde se lhe pegue: cifrado como o DoT, mas a partilhar a única porta que nunca podes fechar, por isso a única alavanca que resta é que resolvedor o cliente escolheu, e é dessa alavanca que trata este artigo.\nQuem escolhe o resolvedor A razão por que isto importa é que uma máquina moderna tem cinco coisas diferentes que podem, cada uma, decidir para onde vai o DNS, e por omissão tu controlas exatamente uma delas.\nCinco coisas numa máquina podem escolher um resolvedor. Tu defines uma delas. Quem decide para onde vai a consulta Camada Quem escolhe o resolvedor Teu por omissão? Sistema operativo A tua rede, por DHCP ou anúncios de router Sim Browser O predefinido do fabricante, salvo política tua Só se definires a política Aplicação ou a sua biblioteca Quem escreveu o código, na compilação Não Script numa página web Quem gere o site, ou um script que ele carregue Não Malware O operador, fixo no código, muitas vezes por endereço Não As três de baixo não precisam de direitos de administrador, de definições alteradas, nem de nada visível no SO. Cinco camadas numa máquina, cada uma capaz de escolher o seu próprio resolvedor. O sistema operativo usa o que a tua rede distribui, e esse é teu. O browser usa o predefinido do seu fabricante, a menos que a tua política diga o contrário. Uma aplicação, um script numa página web e o malware escolhem cada um por si e não precisam de nada teu para o fazer. O sistema operativo pergunta ao resolvedor que a tua rede distribuiu por DHCP ou por anúncios de router. Esse é teu, e é o modelo que tudo o que é anterior a 2019, mais ou menos, pressupunha: um resolvedor, distribuído pela rede, e é por isso que os controlos de DNS ao nível da rede funcionaram durante trinta anos.\nO browser partiu isso. O Firefox e o Chrome trazem ambos a maquinaria para fazer o seu próprio DoH, para um resolvedor escolhido pelo fabricante, por cima de ti, recuando apenas quando detetam uma rede gerida. E uma aplicação pode trazer o seu próprio cliente DoH e um resolvedor fixo no código, decidido na compilação; não lê o teu DHCP nem pergunta. Muito software legítimo já o faz.\nUm script numa página web é o que te devia fazer parar, porque não precisa de nada instalado. Aquele comando curl acima é um único pedido HTTPS, e um browser faz pedidos HTTPS para ganhar a vida. Umas poucas linhas de JavaScript em qualquer página que um utilizador abra podem enviar consultas a um endpoint DoH público, porque os grandes fornecedores permitem deliberadamente pedidos de origem cruzada para que as aplicações web os possam usar, o objetivo declarado no RFC 8484. A página que estás a ler podia estar a resolver nomes através de um resolvedor noutro país neste momento e tu verias mais uma ligação HTTPS.\nE o malware escolhe o seu próprio resolvedor pela razão óbvia: não quer que vejas para onde está a ligar. Traz o resolvedor no código, muitas vezes chegando a ele por endereço para que não haja consulta de arranque para apanhar, e não precisa da tua autorização para nada disto.\nLê essa coluna outra vez. As três de baixo não precisam de direitos de administrador, de nenhuma definição alterada, nem de nada que apareça no sistema operativo. O controlo que passaste anos a construir, um resolvedor, uma lista de bloqueio, um registo, partia do princípio de que a linha de cima era a única linha. Há anos que não é.\nO mesmo truque que os fabricantes de browsers temiam O caso da página web não é teórico nem recente. É assim que se abusa dos auxiliares de protocolo: uma página web emite bytes, algo a jusante age sobre eles e não consegue perceber que vieram da página de um atacante e não de um cliente verdadeiro, porque no fio são idênticos. Com o DoH, a peça a jusante é um resolvedor público, que responde sem forma de saber que o JavaScript que pergunta veio de uma página de phishing, e o teu resolvedor, o que tem a lista de bloqueio e o registo, nunca esteve no caminho para ter opinião. Não é um buraco aberto nos teus controlos, é uma estrada construída à volta deles, pavimentada com a mesma cifra que dizes a toda a gente para usar.\nJá é o canal dos autores de malware Não tens de imaginar como isto é usado. Está documentado há anos, por investigadores com nome, em amostras reais, e a direção é uma só: de um bot criminoso em 2019 para uma ferramenta de espionagem de Estado no ano seguinte, e mais movimentado a cada ano desde então, com novas backdoors ainda a aparecer em 2026.\nAmostra Reportada Ator O que o DoH transportava Godlua 1 de julho de 20192 Botnet criminosa A consulta ao nome do seu servidor de comando PsiXBot 6 de setembro de 20193 Criminoso (infostealer) Resolução do domínio de comando e controlo, pelo DoH da Google OilRig (APT34) 2.º trimestre de 20204 Alinhado com o Estado iraniano Dados roubados, exfiltrados por DoH para a Google e a Cloudflare ChamelDoH 16 de junho de 20235 ChamelGang (APT) Todo o seu canal de comando, DNS TXT sobre DoH para a Google e a Cloudflare BRICKSTORM 4 de dezembro de 20256 Backdoor ligada à China C2 enterrado sob HTTPS e TLS aninhado, com DoH entre as camadas Dohdoor 26 de fevereiro de 20267 Indeterminado (UAT-10027) Consultas de C2 enviadas para o DoH da Cloudflare na 443 O Godlua, o primeiro caso amplamente reportado, era uma backdoor para Linux e Windows cuja análise regista que «uses DNS over HTTPS to get the C2 name to ensure secure communication between the bots, the Web Server and the C2»2. Numa rede que vigia a porta 53, resolver o teu servidor de comando é uma prenda para o defensor. Por DoH não há népia para vigiar.\nA frase da Proofpoint sobre o PsiXBot é a que vale a pena citar, um fornecedor de informação sobre ameaças a dizer em voz alta a parte que se costuma calar. Usar DoH para comando e controlo, escreveram, «should be a warning shot for the cybersecurity community as there are no simple solutions to help identify an infected host or the process of receiving instructions»3. Nenhuma solução simples, dita pelas pessoas cujo trabalho é encontrá-las.\nDepois o OilRig subiu um patamar. A descrição da Kaspersky é exatamente a mudança de que trata este artigo: «instead of plain text requests to port 53, they would use port 443 in encrypted packets», com uma ferramenta que «allows DoH queries to Google and Cloudflare services»4. Uma operação de informações nacional, a usar os fornecedores públicos de DoH como cano para levar dados roubados para fora, passando por tudo o que estivesse a vigiar o DNS.\nE não ficou por aí. Espalhou-se. Em 2023 o ChamelGang tinha uma backdoor Linux em C++, a ChamelDoH, a correr todo o seu canal de comando sobre DoH, enviando consultas DNS TXT para os seus próprios servidores de nomes através da Google e da Cloudflare; o investigador que a encontrou notou que tanto a deteção como a prevenção «become difficult», porque o transporte cifrado não pode ser intercetado e um pedido malicioso não se distingue de um verdadeiro5. Em dezembro de 2025 a CISA desmontou a BRICKSTORM, uma backdoor ligada à China que empilha HTTPS, WebSockets e TLS aninhado e «also uses DNS-over-HTTPS (DoH)» para enterrar o seu C2 no tráfego web normal6. Em fevereiro de 2026 já era só técnica corrente: a Cisco Talos apanhou a Dohdoor, que «securely sends encrypted DNS requests to Cloudflare\u0026rsquo;s DNS server over HTTPS port 443» para encontrar o seu servidor de comando, entrando por phishing em escolas e hospitais americanos7.\nÉ esta a forma da coisa. Não uma técnica que teve o seu momento e se apagou, mas uma que é apanhada por mais mãos a cada ano. O problema está a piorar, não a melhorar, e aparece uma família nova com a regularidade de um horário.\nUma única propriedade fez o trabalho em todas elas: a consulta saiu como HTTPS na 443 e o resolvedor do defensor nunca a viu. Não uma fraqueza que alguém talvez encontre um dia. Uma funcionalidade que os atacantes já lançaram vezes sem conta, vários deles Estados.\nE percebe bem porque é que essa tabela se enche, ano após ano. Cada família nela entra por uma porta que os autores do DoH foram avisados de que estavam a deixar aberta, no próprio texto da norma, e deixaram-na aberta na mesma8. Não foi um descuido. Foi miopia, escolhida de propósito, por pessoas que incluíam o próprio tecnólogo da ICANN. Por isso vou chamar-lhe o que é: nisto, a ICANN é facilitadora do cibercrime. Avisados no próprio texto da norma do que ia partir, os seus quiseram pôr-lhe o nome na mesma, e a tabela acima é o que passou pela brecha. O crime não é surpresa. É a fatura de uma decisão, e de quem foi a decisão é o resto deste artigo.\nE apesar de tudo isso, o DoH nem sequer compra aquilo que as pessoas pensam que compra: proteção contra uma resposta forjada. Cifrar o troço até um resolvedor não é autenticar o que o resolvedor devolve, e um servidor DoH pode na mesma devolver um registo forjado. A norma admite-o, dizendo que a regra contra servidores não configurados «does not guarantee protection against invalid data»9.\nO único mecanismo que autentica uma resposta DNS é o DNSSEC, e o DoH não é isso. Pior, para quase todos os clientes o DNSSEC é validado no resolvedor recursivo, não no dispositivo: o cliente simplesmente confia na palavra do resolvedor de que a resposta foi verificada. Por isso o DNSSEC só te protegeu na medida em que confiavas no resolvedor que fazia a verificação, e o verdadeiro movimento do DoH é entregar essa confiança a um operador remoto que não podes ver nem auditar.\nComo tal, o DoH pode deixar-te mais propenso a cair num site forjado, não menos: as defesas locais que teriam apanhado uma resposta sequestrada, o feed de Protective DNS, a filtragem do próprio operador, são exatamente as coisas que contornaste, e tudo o que resta é a palavra de um operador remoto, aceite por confiança.\nO DoH muda em quem confias para a resposta. Não elimina a necessidade de confiar em alguém. Alguém tem de merecer confiança para a resposta. O DoH só muda quem, para um que não podes auditar. O teu próprio resolvedor Um resolvedor DoH remoto O teu dispositivo Resolvedor que controlas Valida o DNSSEC por ti Leva o teu bloqueio e registo Podes inspecioná-lo e auditá-lo Se mentir, é teu e podes verificar O teu dispositivo cano cifrado Resolvedor que não controlas Valida o DNSSEC e confias nele Não o podes ver nem auditar O teu bloqueio local fica de fora Se forjar, nada local o apanha A cifra protege o cano, não a verdade da resposta. O DNSSEC é verificado no resolvedor, por isso confias nele de qualquer maneira. O DoH só faz dele um que não vês. O DoH não elimina a necessidade de confiar num resolvedor para a resposta, apenas a muda de sítio. O teu próprio resolvedor valida o DNSSEC, leva a tua lista de bloqueio e pode ser auditado; um resolvedor DoH remoto valida em teu nome e tu aceitas a palavra dele, por um cano cifrado que protege o troço e não diz nada sobre se a resposta é verdadeira. Contra o que o DoH é vendido como proteção Protege? Escuta no troço até ao resolvedor Sim, a consulta é cifrada Adulteração nesse troço Sim Um registo forjado pelo próprio resolvedor Não, isso é trabalho do DNSSEC, não do DoH Um resolvedor malicioso, coagido ou comprometido Não, agora confias nele por completo Bloqueio de malware, de rastreadores e por ordem judicial Não, contorna-os E nada disto é uma ideia nova em que o DoH tropeçou por acaso. Filtrar domínios maliciosos no resolvedor é exatamente o que o OpenDNS faz há quase vinte anos, bloqueando phishing e malware para milhões de utilizadores antes de a resposta lhes chegar, que é o modelo que a Cisco pagou para ter em 201510. Duas décadas de segurança ao nível do resolvedor que protegeu pessoas que nunca configuraram nada, e o DoH minou o modelo inteiro de um só golpe: aponta a aplicação para o seu próprio resolvedor e o OpenDNS, ou o que quer que a tua rede tenha escolhido, deixa de estar no caminho.\nPorque é que a resposta antiga deixou de funcionar Enquanto o DNS viveu na porta 53, a resposta de rede era simples. Obriga todos os clientes a usar o teu resolvedor e bloqueia a porta 53 de saída em todo o lado na fronteira. Uma máquina que tentasse chegar a um servidor DNS externo era recusada, por isso tinha de passar pelo teu, por isso os teus controlos aplicavam-se a tudo. Rudimentar, e funcionava.\nO DoH mata isso de uma só vez ao usar a 443. Não podes bloquear a 443 de saída. É a web. Por isso a porta que fecharias para forçar o DNS a passar pelo teu resolvedor é a que nunca podes fechar, e a cifra que impede o teu ISP de bisbilhotar também te impede de distinguir uma consulta DoH do carregamento de uma página.\nAs duas coisas que usarias para recuperar o controlo, fechar a porta e ler o tráfego, desapareceram ambas por desenho. Derrotar exatamente essas duas, nas mãos de uma rede hostil, é aquilo para que o DoH foi construído.\nE ler o tráfego não é a saída que parece, porque só há uma forma de o fazer: quebrar e inspecionar todo ele. Para ver o DNS dentro de uma ligação na 443 tens de fazer man-in-the-middle a todas as ligações HTTPS da rede, pôr o teu próprio certificado raiz em todos os dispositivos e decifrar e voltar a cifrar tudo. É a isso que um número crescente de administradores recorre agora, para recuperar a visibilidade que uma única regra de firewall lhes dava de borla.\nE é uma troca muito pior: enfraqueceste o TLS para tudo, puseste uma caixa de decifra no caminho de cada início de sessão e de cada sessão bancária, e construíste um único alvo que compromete tudo isso, uma postura contra a qual o US-CERT avisou abertamente11. O controlo proporcionado foi partido, por isso o desproporcionado é o que resta.\nE é este o nó. O mecanismo que protege um jornalista no WiFi de um aeroporto de uma rede hostil é o mesmo que protege o malware na tua rede de ti, e o protocolo não consegue distinguir os dois. Um resolvedor que é contornado não sabe se é um censor ou uma equipa de segurança. Só sabe que foi posto de parte.\nA resposta certa sempre foi o DNS sobre TLS Aqui está a parte que denuncia o jogo. Cifrar o DNS nunca precisou de nada disto. Foi feito dois anos antes do DoH, de uma forma que deixava quem gere a rede capaz de fazer o seu trabalho.\nO DNS sobre TLS, RFC 7858, é de maio de 2016. O seu resumo diz para que serve logo na primeira linha: «provide privacy for DNS», uma cifra que «eliminates opportunities for eavesdropping and on-path tampering with DNS queries in the network»12. É todo o argumento da privacidade, cumprido: o café e o ISP ficam de fora exatamente como com o DoH, porque a consulta é cifrada de ponta a ponta.\nE foi coescrito por Paul Hoffman, que depois coescreveu também a norma do DoH1. Não eram, portanto, dois campos rivais. As mesmas pessoas, que já tinham resolvido a privacidade, a resolvê-la outra vez de outra maneira.\nQuem é Hoffman importa, porque diz de onde isto veio. Não é um espectador no DNS: o nome dele está em mais de oitenta RFC, entre elas a norma de terminologia do DNS, e faz esse trabalho como tecnólogo na ICANN13. Por isso a norma que escondeu o DNS na 443 foi coescrita de dentro da ICANN, o organismo americano que decide o que entra na raiz.\nE a ICANN não é o guardião desinteressado que a palavra sugere. Expus o seu historial noutro sítio: construída na Califórnia, responde perante a Califórnia e está disposta a usar a sua posição sobre o espaço de nomes para os seus próprios fins. Isto não foi uma campanha de privacidade vinda da periferia. Foi o poder instituído que detém a raiz, a cumprir pela segunda vez um argumento de privacidade que já tinha cumprido em 2016, de uma forma que eliminou o operador da rede.\nPor isso pergunta o que a segunda forma acrescentou, porque a privacidade não foi.\nNorma Ano Porta Cifra o DNS O operador ainda vê que é DNS DNS sobre TLS (RFC 7858) 2016 853 Sim Sim DNS sobre HTTPS (RFC 8484) 2018 443 Sim Não A privacidade foi resolvida em 2016 pelo DoT. O DoH veio dois anos depois e só acrescentou contorno. DNS cifrado: o que veio primeiro e o que veio depois mai. 2016 DNS sobre TLS (RFC 7858), porta 853 Cifra o DNS. O operador ainda vê que é DNS. Privacidade resolvida. out. 2018 DNS sobre HTTPS (RFC 8484), porta 443 Mesmo autor principal. Mesma cifra. O operador deixa de o ver. jul. 2019 Godlua: primeiro malware a esconder o seu C2 sobre DoH jul. 2019 A ISPA chama à Mozilla «Internet Villain» pelo DoH, e depois recua set. 2019 O PsiXBot resolve os seus domínios de C2 pelo DoH da Google fev. 2020 O Firefox ativa o DoH por omissão nos EUA, resolvedor Cloudflare 2.º trim. 2020 O OilRig (APT34) exfiltra dados sobre DoH A privacidade estava completa em 2016. Tudo abaixo do segundo ponto é contorno e aquilo para que o contorno serviu. Nada disso exigia uma nova norma de privacidade. A ordem é o argumento. O DNS sobre TLS resolveu o problema da privacidade em 2016, numa porta que o operador da rede ainda consegue governar. O DNS sobre HTTPS chegou dois anos depois, do mesmo autor principal, não acrescentou nada à privacidade além da mudança para a porta 443, e tudo o que está abaixo desse segundo ponto é contorno e aquilo para que o contorno foi usado. A única casa que mudou é a última. O DoT corre na sua própria porta, a 853, por isso o operador consegue ver que é DNS e decidir o que lhe acontece: permiti-lo para o resolvedor autorizado, recusá-lo noutro lado. O DoH põe a mesma consulta cifrada na 443 e mistura-a na web, onde o operador não a consegue distinguir.\nA mesma privacidade, a mesma cifra. A única diferença entre as duas normas é se quem gere a rede ainda consegue ver o seu próprio DNS. Isso não é uma funcionalidade de privacidade. A privacidade saiu em 2016. É uma funcionalidade de contorno, e é a única coisa que o DoH acrescenta.\nE eles sabiam. Isto está documentado, não é dedução. As próprias Operational Considerations do RFC 8484 dizem-no às claras: «Filtering or inspection systems that rely on unsecured transport of DNS will not function in a DNS over HTTPS environment due to the confidentiality and integrity protection provided by TLS»8.\nEsses sistemas são as ferramentas de segurança que já protegiam os utilizadores: bloqueio de malware e de servidores de comando, feeds de Protective DNS, filtros de proteção de crianças, inspeção empresarial. A norma nomeia-os, no seu próprio texto, como as coisas que deixam de funcionar. Partir ferramentas que já defendiam pessoas foi uma escolha, feita de olhos abertos e lançada ativa por omissão. Conhecer o efeito e escolhê-lo na mesma é uma decisão pela qual lhes podem pedir contas.\nÉ por isso que o enquadramento da privacidade não sobrevive à cronologia. Uma vez que o DoT existe, a privacidade não pode ser a razão do DoH, porque a privacidade já estava feita, pelo mesmo autor, dois anos antes. Por isso a privacidade foi a cortina de fumo.\nAfasta-a e olha para o que a segunda norma pôs de facto em marcha: uma corrida ao armamento. Pegou num controlo que era uma linha de firewall e transformou-o numa perseguição permanente, resolvedores contra listas de bloqueio contra resolvedores novos, o operador a perder por omissão, e um punhado de empresas americanas a ficar com o texto claro no fim de tudo.\nChama-lhe efeito secundário de uma funcionalidade de privacidade, se quiseres. Pelas provas, com o DoT já lançado e a própria norma a admitir que ia partir a filtragem, é o objetivo, e a privacidade foi a palavra pintada na caixa. E foi empurrado com força sob essa palavra, pelas partes que ganharam.\nPromoveram e lançaram o DoH O que mais são Mozilla Coescreveu o RFC 8484 e depois ativou o DoH por omissão no Firefox dos EUA14, com a Cloudflare como resolvedor Google Traz o DoH no Chrome, gere um grande resolvedor DoH público e é uma empresa de publicidade Cloudflare O resolvedor predefinido do Firefox nos EUA, por isso recebe essas consultas Quem o vendia como privacidade eram os fabricantes de browsers, e os beneficiários não eram só os utilizadores.\nPosso perguntar porquê, se o objetivo era a privacidade, a resposta não foi a norma de DNS cifrado que já existia e mantinha o operador no circuito, mas uma segunda, construída para que o operador não a pudesse ver? Não estou a perguntar quem a aprovou. Estou a perguntar que parte de «privacidade» exigia cortar fora a única pessoa responsável pela rede.\nPorque é esse o verdadeiro alvo, e é o administrador de rede: o profissional responsável pela segurança e pela proteção da rede, tratado por omissão como o adversário. O DoH nem sequer elimina a vigilância de que o discurso da privacidade se queixava. Como Bert Hubert, da PowerDNS, expôs, o DNS era «typically provided by the operator of a network», e passá-lo por omissão para um terceiro é «a net-negative for privacy for everyone», porque esse terceiro «gets a complete log per device of all DNS queries, in a way that can even be tracked across IP addresses»15.\nAs consultas não ficam escondidas. São entregues a um operador de resolvedor americano em vez de ao administrador, e o administrador é a única parte afastada. Os fabricantes também o sabem. A lógica de «detetar uma rede gerida e recuar» da secção seguinte existe precisamente porque o predefinido se sobrepõe ao administrador, e eles lançaram o interruptor em vez de mudar o predefinido.\nAgora pergunta quem ganha em encaminhar o DNS por fora do operador. O exemplo de cartaz é o jornalista num WiFi hostil de aeroporto, e essa pessoa é real. Também o é a indústria da publicidade e do rastreamento, cujos domínios passam pela lista de bloqueio de uma rede no momento em que uma aplicação ou um browser os resolve por DoH.\nO bloqueio ao nível da rede, o Pi-hole, a lista de bloqueio da empresa, o resolvedor com filtragem, funciona respondendo ao nome de um rastreador com nada. O DoH é a forma de o nome ser respondido na mesma. E o maior operador de um resolvedor DoH público é a Google16, uma empresa de publicidade que também traz o DoH no seu próprio browser17.\nUma funcionalidade de privacidade, vendida pela empresa que vende o rastreamento, cujo desenho derrota a ferramenta que as pessoas usam para o bloquear. Tira daí as tuas conclusões. Eu já tirei as minhas.\nAté a versão grosseira desta objeção foi ouvida. Em julho de 2019 a associação britânica de ISP nomeou a Mozilla «Internet Villain» por causa de um DoH que iria «bypass UK filtering obligations and parental controls, undermining internet safety standards in the UK»18. Escolheram um alvo desajeitado e um enquadramento pior, foram abafados aos gritos e retiraram a nomeação.\nTira-lhe a política, porém, e a observação por baixo estava certa, e vale quer o controlo contornado seja um filtro de proteção de crianças, uma lista de bloqueio de empresa ou um Pi-hole num quarto vago. O DoH é construído para levar o DNS por fora de quem gere a rede.\nE não é um assunto pequeno, porque o DoH é agora o mais difícil dos três de bloquear. O DoT está na 853, onde uma rede ainda o pode recusar. O DoH não, por isso de todas as formas que o DNS tem de sair de uma rede é a que não tem por onde se lhe pegue, o que faz dele o maior risco individual de todos.\nIsso chega à lei, não só à segurança. No Reino Unido, o bloqueio com peso legal é feito no ISP por DNS: a lista de material de abuso sexual de crianças da Internet Watch Foundation e as injunções de direitos de autor que o High Court decreta ao abrigo da secção 97A são aplicadas por filtragem de DNS e de IP no resolvedor que é entregue ao cliente19.\nEncaminha a metade DNS disso por fora, por DoH, e o bloqueio não se aplica a esse cliente. Um tribunal pode mandar bloquear um site, uma rede pode ser obrigada a aplicá-lo, e um browser que resolve por DoH encontra o endereço na mesma, por um canal que a rede não consegue ver nem fechar. Aplicar uma lei de cibersegurança ou uma ordem judicial ao nível da rede, que é onde sempre se fez, passa a ser quase impossível.\nE é aqui que a fatura cai em cima de toda a gente, não só da rede. Parte o controlo proporcionado, o cirúrgico que bloqueava um domínio identificado no resolvedor por ordem judicial, e o Estado não desiste. Pega num instrumento mais rombo. O Online Safety Act do Reino Unido é esse instrumento: deveres abrangentes para as plataformas, verificações de idade obrigatórias e a Ofcom por trás com as multas, um regime que toca cada utilizador e cada serviço do país20.\nNão estou a defender a lei. Estou a apontar para onde veio a pressão para ela. Quando a ferramenta estreita que aplicava a lei na rede deixa de funcionar, não tens menos aplicação da lei, tens uma aplicação mais grosseira, mais larga, mais intrusiva, apontada a toda a gente, porque a versão apontada já não aguenta. É esse o preço de partir um controlo básico, e quem o partiu não é quem o paga.\nE a ICANN não podia estar mais indiferente, porque, vista da Califórnia, o problema não é dela. Quando um bloqueio falha ou uma plataforma viola os seus deveres, não é a ICANN que é levada a tribunal, é o operador, a plataforma, a empresa, perante a Ofcom e as multas. As consequências caem sobre todos os que estão a jusante de uma decisão pela qual o organismo que a tomou nunca tem de responder.\nParte o controlo cirúrgico e o Estado pega na marreta. Pagam todos. Parte o controlo proporcionado e um mais rombo toma o seu lugar O controlo cirúrgico Bloquear um domínio identificado no resolvedor, por ordem judicial Preciso, proporcionado, apontado só ao alvo O DoH parte-o a consulta já não passa pelo resolvedor O instrumento rombo O Online Safety Act: idade verificada a todos, deveres em todas as plataformas, Ofcom e multas Apontado ao país inteiro Parte a ferramenta estreita e o Estado não desiste. Pega na larga, apontada a todos, porque a versão apontada já não aguenta. E quem partiu a ferramenta estreita não é quem paga a larga. O controlo cirúrgico bloqueava um domínio identificado no resolvedor, por ordem judicial. O DoH parte-o, por isso o Estado pega no instrumento rombo: o Online Safety Act, apontado a cada utilizador e a cada plataforma do país. Parte a ferramenta estreita e não tens menos aplicação da lei, tens uma mais larga que ninguém consegue apontar. Alinha as consequências e têm todas a mesma forma: uma coisa que a rede aplicava no resolvedor e já não consegue.\nO que a rede aplicava Como era feito Com o DoH Bloqueio de malware e de servidores de comando lista de bloqueio e feed de ameaças no resolvedor contornado; o Godlua, o PsiXBot e o OilRig fizeram exatamente isto Bloqueio de anúncios e rastreadores Pi-hole ou resolvedor com filtragem contornado; o nome do rastreador resolve na mesma Ordens judiciais e a lista da IWF filtragem de DNS no ISP o bloqueio por DNS não se aplica a esse cliente O DoT era a resposta honesta. Cifra o teu DNS e deixa o operador capaz de fazer o seu trabalho. O DoH manteve a cifra e acrescentou uma coisa por cima: o operador já não o consegue ver. Tudo o resto nele decorre dessa única escolha.\nFeito nos EUA, disputado em todo o lado Nada disto para no Canal da Mancha, e lê-lo como um problema britânico encolhe-o a uma fração do seu tamanho. A mesma forma atravessa toda a Europa e chega à Austrália. Um instrumento legal numa ponta, um bloqueio de DNS na rede na outra.\nA Austrália tem o seu Federal Court a ordenar aos ISP que desativem o acesso a sites estrangeiros infratores ao abrigo da secção 115A do Copyright Act21. Portugal salta o tribunal por completo: um memorando administrativo pelo qual os titulares de direitos notificam um organismo chamado MAPINET, e os ISP bloqueiam por DNS no prazo de quinze dias úteis22. Leis diferentes, um único pressuposto de suporte, e é o pressuposto que o DoH lhes arranca debaixo dos pés a todas. Que o cliente resolve através do resolvedor que lhe foi entregue.\nPor isso vê o que um Estado faz quando esse pressuposto falha. Deixa de pressionar o ISP e começa a ordenar aos próprios resolvedores públicos que devolvam a resposta errada. Não é uma previsão. É uma pilha de sentenças, e está a crescer.\nPaís A ordem de bloqueio O resolvedor público O que aconteceu Itália o Piracy Shield da AGCOM, nomes bloqueados em 30 minutos obrigado a filtrar, incluindo o 1.1.1.1 a Cloudflare recusou, foi multada em €14 247 698 e está em recurso23 França injunção do Canal+ sobre streaming desportivo Google, Cloudflare e OpenDNS todos nomeados a Cloudflare serve um HTTP 451, a Google falha a consulta em silêncio, o OpenDNS desligou-se no país24 Bélgica mais de 100 domínios de pirataria desportiva os mesmos três resolvedores a Cloudflare cumpre com um 451, a Google fica em silêncio, o OpenDNS também saiu da Bélgica24 Alemanha Universal Music v Cloudflare ordenado em primeira instância, incluindo o 1.1.1.1 revogado em recurso, com Colónia a considerar o resolvedor «passive, automatic and neutral»25 Países Baixos o bloqueio dinâmico da BREIN ao nível do ISP, ainda não do resolvedor a Ziggo, a KPN e os restantes bloqueiam por DNS e IP, atualizado a pedido26 Lê isto como uma coisa só, não como cinco. Umas poucas empresas americanas reescreveram o DNS para o planeta inteiro por sua própria autoridade, partiram o controlo proporcionado que cada um destes países tinha construído, e deixaram os tribunais a decidir o que fazer com os destroços. As respostas que essas empresas dão, arrastadas perante um tribunal diferente a cada poucos meses, dizem-te exatamente quanto pesa o resto do mundo para elas. Uma recorre e grita censura. Outra falha a consulta e não diz nada ao utilizador. E o OpenDNS, o resolvedor que filtrou malware discretamente durante vinte anos e que este artigo já apresentou como o modelo a copiar, nem sequer argumenta. Desliga-se em França e em Portugal em vez de os servir nesses termos27.\nPensa bem nesse último. É o bom exemplo de todo este texto a sair da sala. O serviço que protegia pessoas que nunca configuraram nada acha agora mais fácil abandonar um país inteiro do que servi-lo, e a razão remonta diretamente a uma decisão de desenho tomada na Califórnia por pessoas que nunca tiveram de pensar num tribunal francês ou num português.\nÉ esse o padrão, e vou dar-lhe nome. É isto que a engenharia de plataformas americana faz a todo o lado que não sejam os Estados Unidos. Constrói para o seu próprio mercado, envia o resultado para o mundo como predefinição e trata a lei de qualquer outro país, cada regulador, cada comunidade deixada a jusante da mudança, como a confusão de outra pessoa para limpar.\nE o governo do país apoia as empresas até ao fim. Em fevereiro de 2025 a Casa Branca assinou um memorando que pinta as leis digitais de outros países como «overseas extortion» de empresas americanas, nomeando o Reino Unido e a UE e apontando o representante comercial para as tarifas como resposta28. Seis meses depois, um regulador americano escreveu a uma dúzia de empresas tecnológicas americanas a avisar que obedecer ao Online Safety Act do Reino Unido ou ao Digital Services Act da UE podia, por si só, violar a lei americana29. Lê isso duas vezes. O país cujas empresas partiram os controlos diz agora a essas empresas que cumprir a resposta de outra democracia ao estrago é que é a infração.\nIsso diz tudo. Uma lei aprovada por um parlamento eleito em Westminster ou em Bruxelas é reescrita, a partir de Washington, como um ataque à América, e as empresas são mandadas ignorá-la. Não é que tenham pesado o resto do mundo e decidido contra ele. O resto do mundo nunca esteve na balança.\nA solução não é proibir a cifra Por isso a conclusão preguiçosa é «bloqueia o DoH», e está errada, da mesma forma que «bloqueia o ICMP» está errado na firewall. Não queres o DNS sem cifra de volta. As consultas em texto claro na porta 53 são uma exposição real, e voltar a elas para recuperar visibilidade é trocar um buraco por outro.\nO que perdeste de facto não foi a cifra. Foi a escolha do resolvedor. Por isso recupera essa escolha e deixa a cifra exatamente onde está.\nMantém a cifra. Recupera a escolha do resolvedor. Cifrado de ponta a ponta. Uma máquina autorizada a falar DNS com o mundo. Clientes 53, DoT ou DoH, só para o teu resolvedor O DDR diz-lhes para onde ir O teu resolvedor serve ele próprio DoH e DoT bloqueio, feed de ameaças, registo canário respondido NXDOMAIN Fronteira só este Upstream ou as raízes cliente direto à 53, 853 ou a um resolvedor DoH público: recusado Nada aqui desliga a cifra. A única coisa tirada ao cliente é o direito de escolher o resolvedor de outra pessoa. A disposição corrigida. Os clientes podem usar DNS simples, DNS sobre TLS ou DNS sobre HTTPS, mas só para o teu próprio resolvedor, que agora serve os três. Esse resolvedor mantém a lista de bloqueio e o registo e é a única máquina autorizada a enviar DNS de qualquer tipo para lá da fronteira. A porta 53, a porta 853 e os resolvedores DoH públicos conhecidos são recusados a tudo o resto. Nada aqui desliga a cifra. A única coisa tirada ao cliente é o direito de escolher o resolvedor de outra pessoa. A forma é a mesma que corrige o DNS num domínio Active Directory: o argumento nunca é «desliga a funcionalidade», é «decide quem a pode conduzir». Eis o que isso significa, por partes.\nGere tu o DNS cifrado. Monta um resolvedor que sirva DoH e DoT, não só a porta 53, para que um cliente que quer cifra a obtenha de ti. Não podes dizer aos clientes «nada de DoH» e falar a sério sem lhes ofereceres um resolvedor cifrado próprio. Dá-lhes um, e mantém nele a lista de bloqueio, o feed de ameaças e o registo como antes.\nAnuncia-o, para que os clientes o encontrem de propósito. O Discovery of Designated Resolvers (RFC 9462) permite a um cliente consultar um nome especial, ficar a conhecer o resolvedor cifrado da sua própria rede e passar automaticamente para DoH ou DoT contra ele30. Um cliente que conheça o DDR cifra então o seu DNS e usa o teu: a privacidade que o utilizador queria e o controlo de que tu precisavas, de uma só vez.\nResponde ao interruptor do próprio browser. O Firefox verifica um domínio canário, use-application-dns.net, antes de ativar o DoH por omissão: responde-lhe com NXDOMAIN ou SERVFAIL e o Firefox recua para o resolvedor do sistema31. Dois limites honestos, ambos nas palavras da Mozilla. O canário «only applies to users who have DoH enabled as the default option. It does not apply for users who have made the choice to turn on DoH by themselves»31. Por isso é um sinal para desligar o predefinido, não uma fechadura, e não faz nada contra a aplicação e o malware, que nunca perguntaram nada ao browser.\nDefine a política do browser onde geres a máquina. Num dispositivo que é teu, não dependas do canário. O DnsOverHttpsMode do Chrome aceita off, automatic e secure, e a documentação da Google diz que, quando não está definido, «for managed devices DNS-over-HTTPS queries will not be sent»32; o Chrome desativa o seu próprio DoH automático no momento em que vê uma política empresarial17. Aponta-o para o teu resolvedor, ou põe-no em off e deixa o DDR tratar da cifra. O Firefox tem os botões equivalentes Enabled, ProviderURL e Locked33. Máquina gerida, decisão gerida, e a linha que consegues de facto fechar.\nRecusa as alternativas na fronteira. As regras são curtas, e dizem todas o mesmo: DNS de qualquer tipo, para fora, só a partir do teu resolvedor.\nRegra De Efeito Bloquear a porta 53 de saída Tudo exceto o teu resolvedor Nada de DNS simples para fora Bloquear a porta 853 de saída Tudo exceto o teu resolvedor Nada de DoT para um resolvedor externo Bloquear HTTPS para endereços de resolvedores DoH públicos Tudo exceto o teu resolvedor Corta os fornecedores de DoH conhecidos Apontar o upstream do teu resolvedor para Protective DNS O teu resolvedor Domínios de malware recusados antes da ligação Não vais apanhar todos os endpoints DoH por endereço, e não consegues, porque um novo é só um servidor web e servidores web não acabam. Por isso pensa bem no que esse bloqueio custa agora. Para fazer ao DoH o que block 53 outbound fazia de borla, vais buscar uma lista de endereços de servidores DoH que outra pessoa vai varrendo por ti: as listas de bloqueio mantidas existem porque esta é a única forma que resta, e uma delas volta a resolver cada domínio DoH público conhecido para os seus IP atuais de hora a hora, por tarefa agendada, e publica as alterações34. É essa a troca que o contorno impôs.\nBloquear DNS externo Antes, na porta 53 Agora, DoH na 443 A regra uma linha: bloquear a 53 de saída subscrever uma lista de bloqueio de IP de servidores DoH Completude completa no momento em que foi guardada nunca completa; continuam a aparecer endpoints novos Manutenção nenhuma revarrida de hora a hora, descarregada e reaplicada O que exige a firewall a firewall mais o feed mantido por outra pessoa Um controlo que era uma linha estática é agora uma subscrição de um alvo móvel, a perseguir servidores web que qualquer pessoa consegue montar mais depressa do que uma lista os consegue nomear. O Protective DNS fecha a outra ponta: aponta o upstream do teu resolvedor para um serviço de filtragem como o PDNS do NCSC, que «was built to hamper the use of DNS for malware distribution and operation»35, e os domínios maliciosos são recusados antes de a ligação ser feita, para cada cliente que passa pelo teu resolvedor, que, com estas regras em vigor, são todos.\nPõe isto ao lado das cinco linhas de antes, e cada uma delas tem um controlo que a fecha. É esse o teste de uma solução: não «bloqueámos o DoH?», mas «para cada coisa que pode escolher um resolvedor, o que a impede de escolher o errado?».\nQuem escolhe o resolvedor O que o fecha Sistema operativo O DDR aponta-o para o teu resolvedor; mantém-no assim Browser Política nas máquinas geridas; o canário nas restantes Aplicação / biblioteca Bloqueio na fronteira da 53, da 853 e dos resolvedores DoH públicos Script numa página web O mesmo bloqueio na fronteira; Protective DNS no teu upstream Malware O mesmo bloqueio na fronteira, mais o Protective DNS a recusar o domínio Nada disso desliga um único bit de cifra. Os clientes continuam a ter DoH, só que o têm de ti, e os que tentam obtê-lo noutro lado batem numa parede. A privacidade está intacta e o controlo está de volta. Como tal, a única coisa que alguém perdeu foi a liberdade de escolher um resolvedor que tu nunca aprovaste, e essa liberdade nunca lhes pertenceu numa rede pela qual tu és responsável.\nPosso perguntar o que escolheu esse resolvedor Eis a pergunta a fazer a quem te disser que a rede está bem como está.\nQuando uma máquina na tua rede resolve um nome, o que decidiu que resolvedor respondeu? Se a resposta honesta for «o que o sistema operativo recebeu», ótimo, mas só se tiveres fechado as outras quatro linhas daquela tabela, porque de outro modo é «o que o sistema operativo recebeu, a menos que o browser, uma aplicação, uma página web ou algo pior tenha escolhido outro, caso em que não faço ideia e não tenho registo». Isso não é uma configuração de DNS. É uma esperança, e a esperança não apanha népia.\nNão estou a perguntar quem gere o resolvedor. Estou a perguntar o que, em cada máquina, o pode escolher, e se conseguias nomear o resolvedor para onde foi cada consulta de ontem. Numa rede onde o DoH não é gerido, não consegues, e a lacuna é cada aplicação que traz o seu próprio resolvedor, cada página que um utilizador abre e cada peça de malware que leu a mesma investigação para que acabei de remeter. Três atores de ameaça identificados construíram os seus canais exatamente nesta lacuna, e um responde perante um governo.\nUm protocolo que tira à rede a escolha do resolvedor ia sempre ser uma prenda para quem quer que a rede estivesse a tentar vigiar, e fingir o contrário porque o marketing dizia «privacidade» é a forma de um controlo que importava ser desligado por omissão sem que ninguém registe o dia em que aconteceu.\nCifra o teu DNS. Gere tu o resolvedor. Anuncia-o, responde ao canário, define a política, fecha a fronteira. Mantém a cifra e mantém a escolha. Podes ter as duas, e se geres redes para ganhar a vida, ter as duas é o trabalho.\nA privacidade era a palavra na caixa Por isso, mérito a quem o merece. Obrigado à ICANN, o organismo americano que detém a raiz e coescreveu isto por dentro, por executar mais uma vez o manual da tecnologia americana: pega num problema que já estava resolvido, embrulha a solução numa palavra virtuosa e centraliza o resultado num punhado de empresas americanas que acabam a ficar com o texto claro.\nE são sempre os EUA. O organismo que detém a raiz, o resolvedor que dois browsers agora usam por omissão, a empresa de publicidade que gere o maior público, o país onde o texto claro vai parar: americanos, sempre. É um padrão, não uma série de azares.\nA privacidade foi a cortina de fumo. O DNS estava cifrado, privado e ainda governável na porta 853 em 2016, e toda a gente que importava sabia-o. O que o poder instituído lançou por cima foi um protocolo construído para cegar a única pessoa responsável pela rede, uma corrida permanente de listas de bloqueio revarridas de hora a hora, e ordens judiciais que morrem no browser.\nSe isso foi inépcia ou ganância, deixo-te decidir, embora o historial para que remeti aponte num sentido. De qualquer forma, passou por cima do bom senso.\nE decisões como esta são a razão por que os apelos para tirar a raiz à ICANN continuam a voltar, e por que pegam: para que a comunidade internacional tenha uma palavra a dizer, em vez de uma instituição de um único país decidir o DNS por toda a gente e chamar a isso tutela.\nAntigamente fazíamos tudo isto com uma linha.\nRFC 8484 — DNS Queries over HTTPS (DoH), outubro de 2018. A introdução declara o objetivo de «allowing web applications to access DNS information via existing browser APIs in a safe way consistent with Cross Origin Resource Sharing (CORS)».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\n360 Netlab — An Analysis of Godlua Backdoor, 1 de julho de 2019. Regista que a amostra «uses DNS over HTTPS to get the C2 name to ensure secure communication between the bots, the Web Server and the C2» — o primeiro malware amplamente reportado a abusar do DoH.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nProofpoint — PsiXBot Now Using Google DNS over HTTPS, 6 de setembro de 2019. Relata o malware a resolver domínios de C2 fixos no código através do serviço DoH da Google, e avisa que isso «should be a warning shot for the cybersecurity community as there are no simple solutions to help identify an infected host or the process of receiving instructions».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nKaspersky Securelist — APT trends report Q2 2020. Sobre o OilRig (APT34): a ferramenta DNSExfiltrator «allows the threat actor to use the DNS over HTTPS (DoH) protocol [\u0026hellip;] instead of plain text requests to port 53, they would use port 443 in encrypted packets [\u0026hellip;] which allows DoH queries to Google and Cloudflare services».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Hacker News — ChamelDoH: New Linux Backdoor Utilizing DNS-over-HTTPS Tunneling for Covert CnC, 16 de junho de 2023, a relatar a descoberta da Stairwell (Daniel Mayer). O implante Linux em C++ do ChamelGang é «a tool for communicating via DNS-over-HTTPS (DoH) tunneling», que envia pedidos DNS TXT para servidores de nomes maliciosos através de fornecedores DoH legítimos, de modo que «both detection and prevention become difficult».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCISA — Malware Analysis Report: BRICKSTORM Backdoor, AR25-338a, 4 de dezembro de 2025. «For C2, BRICKSTORM uses multiple layers of encryption (HTTPS, WebSockets, nested Transport Layer Security [TLS]) to hide its communications with the cyber actors\u0026rsquo; C2 server. It also uses DNS-over-HTTPS (DoH)».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCisco Talos — New Dohdoor malware campaign, 26 de fevereiro de 2026. A backdoor, atribuída ao ator UAT-10027, «securely sends encrypted DNS requests to Cloudflare\u0026rsquo;s DNS server over HTTPS port 443» para resolver o seu servidor de comando, e visa a educação e a saúde nos EUA através de phishing.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 8484, secção 10, Operational Considerations: «Filtering or inspection systems that rely on unsecured transport of DNS will not function in a DNS over HTTPS environment due to the confidentiality and integrity protection provided by TLS.» O efeito sobre a filtragem de rede está declarado na própria norma.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 8484, secção 9, Security Considerations: um servidor DoH «can give a client invalid data in response to a DNS query», e embora a norma proíba respostas de servidores não configurados, «this prohibition does not guarantee protection against invalid data, but it does reduce the risk.» O DoH protege o transporte, não a autenticidade do registo; isso é trabalho do DNSSEC.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nOpenDNS — um resolvedor DNS recursivo fundado por David Ulevitch em 2005/2006, que oferece filtragem de segurança (bloqueio de phishing e malware) e filtragem de conteúdos no resolvedor para utilizadores domésticos e empresariais; comprado pela Cisco em 2015 e hoje parte do Cisco Umbrella. A segurança DNS ao nível do resolvedor é muito anterior ao DoH.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nUS-CERT / CISA — HTTPS Interception Weakens TLS Security, alerta TA17-075A, 16 de março de 2017. Avisa que intercetar HTTPS apresentando um certificado de confiança local e decifrando o tráfego enfraquece a segurança, porque muitos produtos de interceção não verificam devidamente os certificados e degradam as proteções da ligação.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 7858 — Specification for DNS over Transport Layer Security (TLS), maio de 2016. O resumo: «This document describes the use of Transport Layer Security (TLS) to provide privacy for DNS. Encryption provided by TLS eliminates opportunities for eavesdropping and on-path tampering with DNS queries in the network.» Coescrito por P. Hoffman (ICANN), que também coescreveu o RFC 8484. O DoT usa a porta dedicada 853.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nPaul Hoffman (engineer) — «the author or co-author of over 80 Requests for Comments (RFCs)» e «currently a technologist at ICANN»; o seu perfil no IETF datatracker lista o historial, incluindo o RFC 7858 (DoT), o RFC 8484 (DoH) e o RFC 8499 (terminologia DNS).\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe Register — Firefox now defaults to DNS-over-HTTPS for US netizens, 25 de fevereiro de 2020. «Mozilla has started rolling out encrypted DNS-over-HTTPS (DoH) by default for US users», com «the DNS resolver in Firefox to Cloudflare by default».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nBert Hubert (PowerDNS) — Centralised DoH is bad for Privacy, in 2019 and beyond, RIPE Labs. O DNS é «typically provided by the operator of a network»; o DoH centralizado «by default» é «a net-negative for privacy for everyone», porque o terceiro «gets a complete log per device of all DNS queries, in a way that can even be tracked across IP addresses».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nGoogle — DNS-over-HTTPS (DoH) — JSON API. O Google Public DNS, um dos maiores resolvedores públicos, opera um endpoint DoH (dns.google) a par do suporte DoH do próprio Chrome.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nChromium Blog — A safer and more private browsing experience with Secure DNS, maio de 2020. «If you are an IT administrator, Chrome will disable Secure DNS if it detects a managed environment via the presence of one or more enterprise policies.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nTechCrunch — Internet group brands Mozilla \u0026lsquo;internet villain\u0026rsquo; for supporting DNS privacy feature, 5 de julho de 2019 (snapshot da Wayback). A nomeação da ISPA dizia que o DoH iria «bypass UK filtering obligations and parental controls, undermining internet safety standards in the UK»; a nomeação e a categoria Internet Villain foram retiradas depois da reação.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nWeb blocking in the United Kingdom — a lista de imagens de abuso de crianças da Internet Watch Foundation e as injunções de direitos de autor ao abrigo da secção 97A do Copyright, Designs and Patents Act 1988 são aplicadas pelos ISP; «The technical measures used to block sites include DNS hijacking, DNS blocking, IP address blocking, and Deep packet inspection.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nGoverno do Reino Unido — Online Safety Act: explainer. «The Online Safety Act 2023 [\u0026hellip;] puts a range of new duties on social media companies and search services», com as «strongest protections [\u0026hellip;] designed for children», incluindo requisitos para impedir que as crianças acedam a conteúdos nocivos e impróprios para a idade; aplicado pela Ofcom.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCopyright Act 1968 (Austrália), secção 115A, «Injunctions relating to online locations outside Australia» — o Federal Court pode ordenar a um fornecedor de serviços de transmissão que «take reasonable steps to disable access to the online location», a forma australiana de bloqueio de sites ao nível do ISP por DNS e IP.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nEDRi — Portugal: \u0026ldquo;Voluntary\u0026rdquo; agreement against copyright infringements. Ao abrigo de um memorando de entendimento de 2015, os titulares de direitos notificam a MAPINET, que encaminha para o regulador IGAC, e «IGAC then contacts Internet Service Providers (ISPs) to restrict access to the websites through \u0026lsquo;Domain Name System (DNS) blocking\u0026rsquo;» no prazo de 15 dias úteis, sem ordem judicial.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nTorrentFreak — Italy Fines Cloudflare €14 Million for Refusing to Filter Pirate Sites on Public 1.1.1.1 DNS. Ao abrigo do Piracy Shield italiano, a AGCOM (deliberação 49/25/CONS) ordenou aos fornecedores de DNS, incluindo o resolvedor público da Cloudflare, que bloqueassem; a Cloudflare, chamando-lhe «unreasonable and disproportionate», recusou e foi multada em €14 247 698, de que está a recorrer.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nTorrentFreak — DNS Piracy Blocking Orders: Google, Cloudflare, and OpenDNS Respond Differently, 11 de maio de 2025. Ao abrigo de injunções do Canal+ sobre streaming desportivo em França e na Bélgica, os resolvedores públicos foram obrigados a bloquear: a Cloudflare devolve um HTTP 451, a Google recusa a consulta em silêncio, e o OpenDNS «pulled the plug» nos dois países em vez de cumprir.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nTorrentFreak — Cloudflare Applauds Court for Rejecting DNS Piracy Blocking Order. Em Universal Music v Cloudflare (o caso DDL-Music), um tribunal inferior tinha ordenado à Cloudflare que bloqueasse no seu resolvedor 1.1.1.1; o Tribunal Regional Superior de Colónia recusou estender o dever ao resolvedor, que «contributes to the connection of internet domains in a purely passive, automatic and neutral manner».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nTorrentFreak — Dutch ISPs Must Block Pirate Bay Proxies and Mirrors Again, Court Rules, 15 de outubro de 2020. A BREIN tem uma ordem de bloqueio «dynamic» contra a Ziggo, a KPN e outros; o tribunal trata o bloqueio por DNS como uma medida «clear and verifiable», e novos domínios e proxies são acrescentados à lista de bloqueio do ISP a pedido.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nComplete Music Update — OpenDNS pulls plug on France and Portugal after web-blocking injunctions. O OpenDNS da Cisco: «Due to a court order in France issued under the French Sport code and a court order in Portugal issued under the Portuguese Copyright Code, the OpenDNS service is not currently available to users in France [\u0026hellip;] and in Portugal.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nThe American Presidency Project — White House Fact Sheet: Directive to Prevent the Unfair Exploitation of American Innovation, 21 de fevereiro de 2025. O memorando instrui o US Trade Representative a ponderar tarifas em resposta aos impostos e regulamentos sobre serviços digitais de outros países, incluindo os da UE e do Reino Unido, apresentados como governos estrangeiros a apropriarem-se da «America\u0026rsquo;s tax base».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nA\u0026amp;O Shearman — FTC chairman warns major tech companies of censorship in EU DSA and UK Online Safety Act, sobre cartas de 21 de agosto de 2025: «Compliance with the requirements of non-US laws, such as the requirements in the EU Digital Services Act (DSA) and UK Online Safety Act, may result in companies censoring content», o que o regulador avisa poder entrar em conflito com a lei americana.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 9462 — Discovery of Designated Resolvers (DDR), novembro de 2023. Define como um cliente descobre «a resolver\u0026rsquo;s encrypted DNS configuration» e passa a usá-la, consultando _dns.resolver.arpa para encontrar o Designated Resolver da rede.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nMozilla — Canary domain — use-application-dns.net. «The canary domain only applies to users who have DoH enabled as the default option. It does not apply for users who have made the choice to turn on DoH by themselves.» Uma resposta diferente de NOERROR com um registo A/AAAA — como NXDOMAIN ou SERVFAIL — sinaliza ao Firefox que desative o DoH da aplicação.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nGoogle — DnsOverHttpsMode policy. Valores off, automatic e secure; «If this policy is unset, for managed devices DNS-over-HTTPS queries will not be sent.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nMozilla — Policy templates: DNSOverHTTPS. Enabled liga ou desliga o DoH, ProviderURL define o resolvedor, Locked «prevents the user from changing DNS over HTTPS preferences», e ExcludedDomains e Fallback afinam o resto.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\ndibdot/DoH-IP-blocklists — uma lista mantida dos nomes de domínio e dos endereços IPv4/IPv6 resolvidos de servidores DoH públicos, para bloqueio na firewall; o script de consulta «runs automatically every hour via GitHub actions» e atualiza as listas de endereços quando mudam. jameshas/Public-DoH-Lists é um segundo equivalente, gerado automaticamente. Que estas listas tenham de existir, e de ser revarridas continuamente, é precisamente a questão.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNCSC — Protective Domain Name Service (PDNS). «PDNS was built to hamper the use of DNS for malware distribution and operation [\u0026hellip;] a recursive resolver which prevents access to domains known to be malicious.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\n","permalink":"https://blogs.damiendye.uk/pt/dns/dns-over-https-walks-past-your-controls/","summary":"O DNS sobre HTTPS cifra as tuas consultas, o que é bom, e envia-as a um resolvedor escolhido pelo cliente, na porta 443, que é o problema. O teu resolvedor nunca vê a consulta, por isso a lista de bloqueio que teria falhado, o feed de ameaças em que teria batido e a linha de registo que teria escrito desaparecem todos. Este artigo percorre o mecanismo: porque é que uma ligação web cifrada entre milhares é invisível na fronteira, quem numa máquina pode escolher um resolvedor que tu nunca escolheste (o sistema operativo, o browser, qualquer aplicação, qualquer script em qualquer página web, e o malware), e os casos documentados, desde o próprio JavaScript de uma página a consultar um endpoint DoH público que permite pedidos de origem cruzada, ao Godlua e ao PsiXBot a esconderem o seu canal de comando dentro do DoH, até ao APT OilRig a exfiltrar dados por ele. Depois, a tese de que a história da privacidade é uma fachada: o DNS sobre TLS já cifrava o DNS em 2016, numa porta que o operador da rede ainda consegue governar, por isso a única coisa que o DoH acrescenta é derrotar o administrador, e é por isso que os fabricantes de browsers que o escreveram e lançaram, e a empresa de publicidade que gere o maior resolvedor DoH público, são os que ganharam. Depois, a solução, que não é proibir a cifra. Gere o teu próprio resolvedor DoH e DoT, anuncia-o com o Discovery of Designated Resolvers, recusa a porta 53, a porta 853 e os resolvedores DoH públicos conhecidos na fronteira, e responde ao canário do Firefox para que o browser recue. Mantém a cifra. Recupera quem escolhe o resolvedor. Fecha com as consequências: a mesma aplicação da lei baseada em DNS existe por toda a Europa e na Austrália, e tribunais em Itália, França, Bélgica e Alemanha ordenam agora aos próprios resolvedores públicos que bloqueiem, com a Cloudflare multada e em recurso, a Google a recusar em silêncio e o OpenDNS a desligar-se em países inteiros. O padrão por baixo é um desenho americano imposto ao mundo, e um governo americano que pinta as leis de outros países como extorsão de empresas americanas e as avisa para não as cumprirem.","title":"O DNS sobre HTTPS passa direto pelos teus controlos"},{"content":"Clicas numa ligação para um jornal local e o título carrega, depois a imagem, depois os três primeiros parágrafos, e já começaste a ler antes de acontecer mais alguma coisa. Depois a página fica em branco. Ou transforma-se num monte de ligações sem estilo com o logótipo esticado a toda a largura do ecrã. Ou sobe uma caixa a pedir-te que aceites o rastreio ou pagues £2,99 por mês, sem terceiro botão.\nO artigo estava na tua máquina. O servidor do editor já o tinha enviado todo, texto e folhas de estilo, e o teu navegador já o tinha desenhado. O que o levou foi código que o editor decidiu correr a seguir, no teu computador, comprado a um fornecedor comercial cujo produto é tirar de volta o que acabou de ser entregue.\nTenho um Pi-hole1 em casa, que bloqueia anfitriões de publicidade e de rastreio para todos os dispositivos da rede. Numa lista crescente de sites de notícias britânicos, isso bastava para a página ser destruída. Por isso, a 22 de setembro de 2026, construí uma extensão Chrome para o impedir, chamada Keep The Page. O código está no GitHub em damo2929/browserplugin, com licença MIT, e isto é o que ela faz, o que encontrei dentro dessas páginas enquanto a construía, e as correções que pioraram as coisas antes de aparecer a certa.\nNão é uma forma de contornar paywalls. Se o servidor nunca enviou o artigo, nada aqui o faz aparecer. O The Times continuou fechado e é assim que deve ser. O que ela guarda é o que já te tinham enviado.\nO artigo chega, e depois vai-se Todos funcionam da mesma maneira vistos de fora. O HTML chega completo, e depois um script, normalmente carregado de um anfitrião que pertence a um fornecedor e não ao jornal, decide que não mereces vê-lo, e remove-o.\nO que remove, e como, depende do fornecedor que o editor comprou. Estes são os quatro que encontrei, cada um lido de uma página ao vivo durante a construção:\nEditor O que chega O que a página faz depois a si própria Newsquest (269 títulos)2 o artigo completo constrói um muro, corre uma carga eval, lança uma caixa confirm() notebookcheck.net o artigo completo apaga o \u0026lt;body\u0026gt; cerca de 7 segundos depois, depois caixas de diálogo, depois um ciclo de recarregamentos National World (The Scotsman, Yorkshire Post)3 o artigo mais cerca de 68KB do seu próprio CSS apaga todos os \u0026lt;link\u0026gt; e \u0026lt;style\u0026gt; a cada 100ms, para sempre Reach plc (Mirror, Daily Record, Manchester Evening News, Liverpool Echo e outros)4 o artigo completo tapa-o com «aceita o rastreio ou paga £2,99/mês» Os 269 não vêm de um comunicado de imprensa, que diz «more than 200 brands». São a contagem de domínios nos próprios certificados TLS da Newsquest, a lista de que a extensão precisava para saber onde correr.\nO da National World é o que mais devia preocupar os editores, porque parte a página por razões que nada têm a ver com publicidade. O removedor de folhas de estilo tem um parceiro que vai buscar o CSS de volta ao anfitrião do fornecedor. O meu Pi-hole bloqueia esse anfitrião. Por isso a remoção correu e a reposição nunca veio, e o próprio layout do jornal ficou permanentemente dependente de um fornecedor de anúncios estar acessível. Isso não é um muro. É um editor a entregar o aspeto do seu próprio site a terceiros sem dar por isso.\nPosso perguntar porque é que a folha de estilo de um jornal tem de esperar pelo servidor de uma empresa de publicidade antes de poder ficar na página? Não há nenhuma razão do lado do leitor. Nenhuma.\nPorque lhe chamo malware Uso a palavra de propósito, como descrição do que o código faz, e não como conclusão jurídica sobre ninguém. As cargas anti-adblock cumprem o sentido comum da palavra em quatro pontos, e cada um foi observado diretamente:\nTeste O que vi Corre sem consentimento, contra o teu interesse ninguém o pediu, e a função dele é tirar-te conteúdo que já tens Destrói dados que já te foram entregues o artigo e o seu CSS chegam intactos, e depois código na página apaga-os Ofuscado para resistir à leitura tabelas de strings permutadas como o[293 * (r + 450) % e], executadas por eval Foge ao bloqueio e castiga a interferência CNAME cloaking para escapar às listas de bloqueio DNS, verificações anti-adulteração que escalam para uma caixa de diálogo ou um ciclo de recarregamentos A ofuscação não é minificação. Código minificado é pequeno. Isto é código arrumado de forma a não conseguires fazer grep pelo que ele faz, e a carga é depois corrida por eval para que nada no disco corresponda ao que é executado.\nO cloaking é uma técnica conhecida, com literatura de investigação própria5. O carregador é obtido do que parece um subdomínio do jornal, e esse nome resolve para o fornecedor:\na02342.\u0026lt;publisher-domain\u0026gt; -\u0026gt; cdn-52-x.privacy-mgmt.com (Sourcepoint) fb.html-load.com -\u0026gt; adshield-fallback-dev-wskxz.b-cdn.net O subdomínio é aleatório para cada título. Como tal, uma lista de bloqueio que nomeia anfitriões não consegue acompanhar, e é esse o objetivo de o fazer.\nE o código trata o facto de ser perturbado como prova de culpa. As strings de erro descodificadas na carga que os responsáveis pelas listas de filtros atribuem à Ad-Shield6 são literalmente Vital API blocked e Vital API blocked (eval). O carregador da Sourcepoint escreve um atributo, lê-o logo de volta e lança uma exceção se o valor tiver mudado:\nz.call(O,\u0026#39;src\u0026#39;,G), O[x](\u0026#39;src\u0026#39;) !== G \u0026amp;\u0026amp; throw E … catch (W) { try { await l(W) } catch (x) { o(W) } } // o() raises the dialog A Sourcepoint vendeu isto abertamente. A sua própria documentação dizia «on average about 30% of messaged users will turn off their adblockers»7. Por isso não estou a descrever um script desonesto que alguém lá meteu às escondidas. É um produto, comprado e instalado de propósito pelo editor.\nOs muros de consentir ou pagar são outra categoria e não lhes chamo malware. Não destroem o que foi entregue e não se escondem das listas de bloqueio. São coercivos de outra maneira, que é a secção seguinte.\nAceita 1467 parceiros ou paga £2,99 O muro nos títulos da Reach é o Quantcast Choice, agora gerido pela InMobi8 e servido a partir de cmp.inmobi.com. Dá duas escolhas. Aceitar, ou pagar £2,99 por mês. Não há um «não» gratuito.\nAceitar partilha os teus dados com 1467 parceiros listados e escreve um cookie euconsent-v2 que dura 13 meses. Ninguém lê uma lista de 1467 empresas, ninguém conseguiria pesar o que cada uma faria com os dados mesmo que a lesse, e o número por si só diz-te que tipo de consentimento está a ser pedido.\nO RGPD do Reino Unido diz que o consentimento tem de ser dado livremente, e que, ao avaliar se foi, se olha para se o serviço ficou condicionado ao consentimento para um tratamento de que não precisa9. A ICO publicou orientações a dizer que consentir ou pagar pode ser lícito10, orientações que agora diz estarem em revisão, e o Comité Europeu para a Proteção de Dados disse que, para grandes plataformas que oferecem só as duas opções, na maioria dos casos não será11. Não vou fingir que o regulador o proibiu. Não proibiu.\nPor isso, eis onde fico, sem rodeios. Escolhi remover o muro e recusar o consentimento. Isso quer dizer que leio o artigo pelo ramo gratuito sem pagar e sem entregar os meus dados a 1467 empresas. É uma decisão. A extensão di-lo na sua própria página de definições, e não a estou a disfarçar de coisa neutra. Um consentimento que não podes recusar é um preço, e não pago um preço disfarçado de pergunta.\nRemover a caixa é o terço fácil. Os outros dois terços estão em Responder como deve ser à pergunta do consentimento, porque um banner que apagas sem responder volta sempre.\nUm dia, oito commits A coisa toda foi construída num dia. Houve umas horas a mexer em páginas antes de qualquer commit, e depois oito commits entre as 20:32 e as 22:50. Construí-a com o Claude Code, e boa parte do trabalho pesado de ler script inline ofuscado linha a linha foi feita pelo agente enquanto eu via o que as páginas faziam no ecrã. Essa divisão funcionou bem, e onde correu mal está mais abaixo, porque correu mal de uma maneira que vale a pena conhecer.\nHora Commit 20:32 primeiro commit: Newsquest, notebookcheck, National World, Reach, Page Six 20:46 o fornecedor por trás de cada mecanismo, escrito no README 20:56 50 ligações da primeira página do Google News, como amostra não escolhida 21:02 responder à API de consentimento com todas as finalidades recusadas 21:11 ligações sociais desativadas 22:50 proteções comutáveis, MSN e Bing, recusa do consentimento por clique, 77 testes É uma extensão Manifest V3 com duas permissões, declarativeNetRequest e storage, e não tem permissões de anfitrião nem acesso à rede próprio, por isso não consegue ir buscar nada, reescrever uma resposta nem falar com um servidor em teu nome. Essa restrição moldou o desenho mais do que qualquer outra coisa, porque o trabalho interessante tem de acontecer dentro da página.\nDois mundos, um atributo a descer e um evento a subir O código da página e as definições da extensão vivem em mundos diferentes Armazenamento da extensão chrome.storage.local proteções canais de rastreio definições sociais últimos 50 erros lido e escrito pela página de opções Mundo isolado bridge.js social.js portal.js lê o chrome.storage não toca nas funções da própria página Mundo da página (MAIN) walls.js guard.js portal-early.js envolve setTimeout, cookie, __tcfapi, window.adLight nenhum chrome.* Desce: um atributo no elemento html, só o que está desligado \u0026lt;html data-ktp-off=\"cookies,dom\"\u0026gt; instalação de origem: nada escrito Sobe: um evento ktp-report detail: uma string JSON um objeto não passa de forma fiável O Chrome corre os scripts das extensões em dois mundos. O mundo da página chega ao JavaScript da própria página mas não tem APIs de extensão. O mundo isolado consegue ler as definições mas não toca nas funções da página. Tudo passa entre eles como um atributo a descer e um evento a subir. O mundo MAIN do Chrome partilha o ambiente JavaScript da própria página12. Um script aí pode substituir o setTimeout, envolver o document.cookie ou definir window.adLight antes de a página o fazer, que é exatamente o que combater estes muros exige. Na prática não consegue chamar o chrome.storage. O mundo isolado consegue, mas não vê as funções da página. Por isso uma pequena ponte lê as definições e escreve-as no \u0026lt;html\u0026gt;, e os erros sobem como um CustomEvent cujo detalhe é uma string JSON, porque um objeto não atravessa essa fronteira de forma fiável.\nO atributo que desce lista apenas o que desligaste. Uma instalação de origem não escreve rigorosamente nada na página. Isso importa porque um marcador permanente no \u0026lt;html\u0026gt; é precisamente o tipo de coisa que estes SDKs procuram, e quer dizer que uma falha no armazenamento falha no sentido de defender a página e não no sentido contrário.\nEncontra o portão, não combatas o muro A correção da Newsquest são duas linhas de raciocínio e é aquela contra a qual tudo o resto foi medido.\nO muro inteiro deles está atrás de uma flag na página:\nvar adLight = false; // line 1647 if (adLight !== true) { …} // line 2020: loader, eval payload, confirm() adLight é a flag de assinante «light ads». Se for true, o muro nunca se constrói. Por isso a extensão define window.adLight como true em document_start, antes de o próprio script da página correr, com um setter que ignora o que lhe for escrito:\nObject.defineProperty(window, \u0026#39;adLight\u0026#39;, { configurable: false, enumerable: true, get() { return true; }, set() { /* ignore the page\u0026#39;s \u0026#34;false\u0026#34; */ } }); Um var no topo de um script não redefine uma propriedade que o objeto global já tem. Só lhe atribui um valor13. Por isso o próprio var adLight = false da página corre, cai no setter e não faz nada. O carregador do muro nunca arranca, a carga eval nunca chega e não há verificação anti-adulteração para disparar, porque nada foi adulterado. A flag disse simplesmente que sim.\nÉ a única propriedade em toda a extensão que não é configurável. Tem de ser, para sobreviver à declaração. Tudo o resto é configurable: true, para que nenhuma página fique alguma vez com uma das suas próprias APIs confiscada de vez.\nCobre 269 títulos e não pode ser desligada nas definições, que dizem porquê: corre antes de o chrome.storage conseguir responder, e depois de definida não pode ser desfeita. Uma caixa de seleção seria decoração.\nTodas as correções que pioraram as coisas Esta é a secção útil, porque cada erro aqui é a coisa óbvia a experimentar.\nO que experimentei O que aconteceu Bloquear o anfitrião do carregador o anfitrião é um CNAME first-party aleatório por título; e um pedido falhado é ele próprio o sinal de deteção Proteger o setAttribute nos scripts injetados disparou a verificação de releitura da Sourcepoint, que lançou a caixa de diálogo que devia travar Responder ao confirm() com Cancelar neste SDK Cancelar quer dizer recarregar, por isso causou um ciclo infinito de recarregamentos Tirar uma cópia do \u0026lt;body\u0026gt; no DOMContentLoaded para repor depois o muro esvazia a página durante a análise, por isso a cópia era de um body vazio Proteger remove() e removeChild() o muro limpa a página com um único innerHTML = '', não nó a nó Proteger tudo de uma vez na notebookcheck o muro escalou para uma caixa de diálogo e depois para um ciclo de recarregamentos; estritamente pior do que não fazer nada Redirecionar o anfitrião do fornecedor para um stub local uma regra redirect só com declarativeNetRequest invalidou o conjunto de regras inteiro, matando em silêncio a regra da Newsquest em 269 sites Correr as proteções da página em todos os sites alterou protótipos globais em todas as páginas que visitei, incluindo a do meu banco A do redirecionamento merece um segundo olhar. O Chrome dá acesso implícito a uma regra block e exige permissão de anfitrião para qualquer coisa mais14. A documentação diz que as regras estáticas inválidas são ignoradas15. O que eu vi foi pior do que isso: o ficheiro inteiro foi-se, sem nenhum erro na página, e a regra 1 simplesmente deixou de existir em 269 sites. As duas regras para a MSN vivem agora num conjunto de regras próprio por essa razão, para que uma má edição numa não deite a outra abaixo.\nO ciclo de recarregamentos ensinou a outra regra dura. O location.reload não pode ser intercetado. O objeto Location é infalsificável na norma HTML16, por isso os seus métodos não são graváveis nem configuráveis, e tentar dá-te:\nObject.defineProperty(location,\u0026#39;reload\u0026#39;,...) -\u0026gt; TypeError: Cannot redefine property: reload Qualquer muro cujo caminho de falha seja «recarregar a página» não pode ser travado depois de entrar nesse caminho. Nada consegue. A única correção é garantir que nunca lá chega. Que é a mesma lição do adLight, aprendida da maneira dolorosa: cada tentativa de combater um muro já em execução piorou as coisas, e cada correção que funcionou impediu o muro de arrancar.\nUm temporizador fez o estrago A notebookcheck não tem adLight. O muro corre sempre. Com o rastreio ligado, a extensão mostrou o que ele agendava:\ndropped setTimeout(7005ms) scheduled from eval \u0026lt;- the body.remove() dropped setTimeout(1251ms) / 105ms / 0ms x8 dropped setInterval(15000ms) Um desses temporizadores faz o estrago todo: o dos 7 segundos que remove o \u0026lt;body\u0026gt;. Tudo o que vem depois é reação, porque a página em branco lança uma exceção, a exceção lança a caixa de diálogo, a caixa recarrega a página e tudo recomeça do início com um novo conjunto de temporizadores.\nPor isso a correção é uma regra. Descartar um temporizador se foi agendado a partir de código passado por eval, se a página tem a assinatura deste SDK e se o handler é uma função. A pilha diz-te de onde veio uma chamada, e o eval deixa lá a sua marca.\nbefore: 4 page loads, 3 confirms, reload loop after: 1 page load, 0 confirms, alive 40,378ms, content intact Um temporizador, e tudo o que vem a seguir notebookcheck: um temporizador faz o estrago, o resto é reação Tal como vem artigo e CSS chegam, à vista carregador de html-load.com carga eval agenda timers 7,0s: timer corre body.remove() página em branco: erro, confirm() recarrega e recomeça 4 carregamentos, 3 caixas, ciclo de recarga Com a extensão artigo e CSS chegam, à vista carregador de html-load.com carga eval agenda timers cada timer de eval descartado já 1 carga, 0 caixas, viva aos 40 segundos A notebookcheck sem e com a extensão. Nada a jusante do temporizador dos 7 segundos precisa de correção, porque nada disso acontece depois de esse temporizador ser descartado. Havia nesse momento outros dois mecanismos na construção, um redirecionamento do carregador para um stub e um elemento isco para absorver as escritas do muro. Ambos funcionavam, e ambos tratavam sintomas daquele único temporizador, o que só se tornou óbvio quando a regra do temporizador foi testada sozinha e se revelou suficiente por si. Por isso saíram os dois, e tirá-los levou consigo uma permissão e todas as permissões de anfitrião. Testa sempre se a última alteração sozinha resolve antes de manteres os andaimes à volta dela.\nA assinatura é o atributo data-sdk na tag do carregador, e corresponde a uma forma, l/\u0026lt;n\u0026gt;.\u0026lt;n\u0026gt;, e não a uma versão. Apareceram três versões num só dia. Fica presa assim que deteta e nunca guarda em cache um negativo, porque a tag do carregador pode ainda não ter sido analisada quando os primeiros temporizadores são agendados, e um «não» memorizado desarmá-la-ia de vez numa página que traz mesmo o muro.\nA sonda disse que estava bem. O ecrã não. O The Scotsman e o Yorkshire Post foram dados como corrigidos com base numa sonda que media texto. A página tinha 8808 caracteres, 22 elementos debaixo do \u0026lt;body\u0026gt;, estáveis aos 2, 8 e 16 segundos. Por essa medida estava intacta.\nNão estava. Eu estava a olhar para ela, e todas as folhas de estilo tinham desaparecido, as ligações eram uma lista crua, o logótipo SVG enchia o ecrã e havia uma barra de deslocamento horizontal. As palavras estavam todas lá, que é tudo o que aquela sonda conseguia ver. Tive de apontar para o ecrã e dizê-lo.\nO que a sonda mediu, e o que estava no ecrã Yorkshire Post, antes da correção: a mesma página, medida de duas maneiras O que a sonda mediu innerText.length8808 filhos do body22 aos 2s, 8s, 16sinalterado Veredicto: intacta O que estava no ecrã document.styleSheets.length0 ligações em lista crua, logótipo a toda a largura, uma barra de deslocamento horizontal Veredicto: partida Removedor descartado no agendamento: 2 folhas de estilo, 532 regras, a página é desenhada A mesma página, medida de duas maneiras. O comprimento do texto dizia que a página estava saudável. A contagem de folhas de estilo dizia que estava partida, e a contagem de folhas de estilo tinha razão. A causa era o removedor da primeira tabela, e não correspondia à regra do temporizador, porque é um script inline simples e não eval. Por isso a assinatura é o seu próprio código: uma tarefa repetida cujo corpo chama querySelectorAll('link,style') e depois remove(). Nada legítimo faz isso. É descartada no momento do agendamento, nunca nada é removido e nada precisa de ser reposto. O Yorkshire Post passou de 0 folhas de estilo para 2, com 532 regras, e foi desenhado.\nEncontrá-lo exigiu um stack trace, não um palpite. Altera o Element.prototype.remove para registar a pilha sempre que remove um STYLE ou um LINK, e ele apontou o script inline e o forEach à primeira.\nA partir daí, o document.styleSheets.length entrou em todas as verificações. Uma página sem nenhuma está partida, por mais texto que tenha. Medir é mais difícil do que se pensa, e estas são as armadilhas que apanharam a construção nesse dia:\nArmadilha O que dizia O que era verdade comprimento do texto como verificação de desenho «intacta» markup sem estilo uma amostra depois de carregar muros da Reach «ausentes» em oito títulos o muro vive cerca de 600ms e já tinha sido varrido consola vazia depois de navegar «a proteção não dispara» as mensagens do carregamento não sobrevivem à navegação amostragem a 1s e 4s notebookcheck saudável fica em branco entre os 5 e os 8 segundos cssRules contadas entre origens a ESPN tinha 5 regras as folhas de outra origem lançam exceção, por isso a leitura fica baixa A correção para a dos 600ms é sondar a cada 100ms desde o momento em que a página carrega. No Wales Online o muro apareceu aos 425ms e tinha desaparecido aos 1129ms.\nDepois as verificações foram corridas a sério. 52 artigos em 26 domínios, dois por site, escolhidos para cobrir todos os mecanismos: 52 de 52 com folhas de estilo, nenhum muro deixado no ecrã, nenhum ciclo de recarregamentos. Depois 50 ligações tiradas diretamente da primeira página do Google News UK, não escolhidas por mim: 45 foram desenhadas normalmente, 2 eram anfitriões que o meu Pi-hole bloqueia de propósito, 1 era o paywall verdadeiro do The Times, e 2 eram o mesmo artigo apanhado duas vezes porque o Google refaz a ordem das ligações a cada carregamento. Nenhuma com zero folhas de estilo. Três títulos da National World que eu nunca tinha testado apareceram nessa ronda com o mesmo SDK, e os três foram desenhados, que é para isso que serve corresponder a uma forma em vez de a uma lista de sites.\nHá 77 testes unitários, no repositório com tudo o resto. Não há Node nesta máquina, por isso correm em gjs, e carregam o walls.js verdadeiro contra um DOM substituto, para que os padrões de produção sejam o que está a ser testado. Cada um foi verificado partindo a coisa que protege e vendo-o ficar vermelho. Testam apenas decisões. Passar neles não quer dizer que uma página é desenhada, e o Scotsman é a razão por que essa frase está no README.\nResponder como deve ser à pergunta do consentimento Apagar um banner de consentimento deixa a pergunta sem resposta. Isso tem duas consequências, e a primeira é que o banner é reconstruído a cada carregamento de página. E um editor que retém o conteúdo até a API de consentimento responder vai simplesmente ficar pendurado, enquanto um fornecedor que não recebe resposta pode tratar a pergunta como nunca feita. O silêncio não é recusa.\nPor isso a extensão responde, por esta ordem:\nRecusar, responder não, não guardar nada, e só então remover Um banner de consentimento responde-se, não se apaga e pronto O contentor do fornecedor de consentimento está no ecrã #qc-cmp2-container #onetrust-consent-sdk sp_message_container 1. Carregar na recusa deles Reject all, Decline, Only essential, Continue without accepting só a etiqueta inteira, máx. 40 caracteres apanha Accept: a construção falha 2. Responder à API: não __tcfapi todas as finalidades, funções e fornecedores recusados tcString \"\" tcloaded 3. Nunca guardar o registo euconsent-v2 addtl_consent OptanonConsent didomi_token cookie e localStorage escritas descartadas Ainda no ecrã no ciclo seguinte? sim: remover, desbloquear o deslocamento não: a recusa mantém-se Três respostas e um recurso. O botão de recusa é carregado se existir, a API de consentimento recebe não a tudo, o registo nunca é guardado, e só um banner ainda de pé no ciclo seguinte é removido. Carrega primeiro no botão de recusa deles. Só botões cuja etiqueta inteira é uma recusa: «Reject all», «Decline», «Only essential», «Continue without accepting» e mais alguns, cada um ancorado, e tudo acima de 40 caracteres ignorado. Um teste unitário dá-lhe «I Accept», «Accept All», «Agree and close», «Allow all», «Got it», «Subscribe» e «Pay £2.99/mo» e faz falhar a construção se algum deles corresponder. Carregar no botão errado seria consentir em teu nome, que é a única coisa que este projeto nunca pode fazer. Na msn.com, carregar em «Reject All» livrou-se do banner da Microsoft e ele não voltou ao recarregar, porque a Microsoft guarda a recusa nos seus próprios servidores.\nResponde não à API de consentimento. O quadro do IAB dá a cada página com consentimento uma função chamada __tcfapi para perguntar ao que deste acordo17. Onde existe uma, a extensão responde com todas as finalidades, todas as funcionalidades especiais e todos os fornecedores recusados, uma string de consentimento vazia e eventStatus: 'tcloaded', o que quer dizer que a resposta é final. Só aparece onde já há um quadro de consentimento na página, por isso um site que nunca perguntou não a vê.\nNunca guarda o registo. O document.cookie e o localStorage descartam em silêncio euconsent-v2, addtl_consent, OptanonConsent, didomi_token e os restantes, para que um consentimento que nunca deste nunca seja escrito nem reenviado a 1467 parceiros na página seguinte. A lei do Reino Unido já exige consentimento antes de se guardar o que quer que seja no teu dispositivo para isto18. A extensão faz cumprir o não.\nCada nome dessa lista está ancorado nas duas pontas, e há uma história por trás disso. Os cookies da Sourcepoint começam por _sp_. Um padrão preguiçoso de sp_ também apanha o sp_dc e o sp_t do Spotify, que são a sessão de login, e ter-me-ia desligado do Spotify em todas as páginas. Há um teste que fixa isso também.\nA remoção é o recurso. Só para um banner ainda no ecrã depois do clique, e só um banner que esteja mesmo a ser mostrado. Vários fornecedores deixam um invólucro permanente na página haja ou não banner. A euronews mantém um anfitrião Didomi com altura zero, e arrancá-lo parte a página sem ganho nenhum. O da Reach estava três níveis abaixo do \u0026lt;body\u0026gt;, dentro de dois invólucros que não são eles próprios fixos, por isso a verificação tem de descer até à caixa que é.\nBotões de partilha, e um portal que ignora as suas próprias definições Há mais duas coisas nestas páginas que existem para servir outra pessoa que não o leitor, e precisaram de um tratamento diferente do dos muros.\nBotões de partilha e de seguir. Cada ligação para o Facebook, Instagram, X, TikTok ou LinkedIn é reescrita para http://localhost/removeme, com o original guardado num atributo para nada se perder. Depois uma segunda passagem apaga o que é claramente mobília (um ícone sem texto, «Share on X», qualquer coisa num contentor que se chama a si próprio share ou social) e esconde o resto. O marcador está lá para que um seletor mostre tudo o que está prestes a ir-se, e um modo só de marcação para depois da primeira passagem para poderes ver antes de confiar nele num site.\nA versão ingénua parte as páginas de três maneiras, e cada uma é agora um teste:\nVersão ingénua O que parte O que se faz em vez disso a[href*=\u0026quot;x.com\u0026quot;] também apanha netflix.com, linux.com, phoenix.com analisar o anfitrião e comparar etiquetas inteiras remover todas as ligações sociais «Continue with Facebook» desaparece e as pessoas ficam trancadas fora ligações de login, OAuth, legais e de programadores deixadas em paz remover uma ligação numa frase as palavras vão com ela esconder por predefinição; uma opção desembrulha-a e mantém as palavras Esta última é uma troca que fiz conscientemente. Uma despedida da BBC lê-se «follow BBC Manchester on , , and .» com ela ligada. Olhei para isso e escolhi esconder mesmo assim. A opção de manter as palavras está lá para quem discordar.\nMSN e Bing. Os mesmos web components correm nos dois, cerca de 160 shadow roots na primeira página. Uma consulta simples ao documento encontrou 1 ligação. Percorrer as shadow roots encontrou 73, incluindo os blocos do Facebook e do X. O que não as percorrer não vê quase nada.\nA MSN tem as suas próprias definições de conteúdo. São guardadas nos servidores da Microsoft associadas a um ID anónimo, não num cookie, por isso desaparecem depois de limpares os cookies, num perfil novo e em modo anónimo. Nem sequer chegam ao Bing. E com todas elas desligadas e 11 700 píxeis percorridos, isto é o que ainda estava no feed:\nInterruptor da própria MSN, desligado Ainda na página Casual Games o bloco de Jogos Shopping blocos de publicidade da Booking, da Temu e do eBay Comments 501 ligações de comentários Weather, Finance, Sports desaparecidos, até à próxima limpeza de cookies Um interruptor chamado Comments que deixa 501 ligações de comentários na página é uma afirmação feita ao utilizador, e falsa. Por isso a extensão tira-as ela própria, visando os nomes estáveis dos componentes da MSN em vez dos nomes de classe, que mudam a cada build.\nUma coisa que aprendi ali e que se aplica muito para lá da MSN: remover uma imagem da página não a impede de carregar. O Chrome começa o pedido quando o src é definido, mesmo para uma imagem que nunca é posta na página19. Quando um content script vê um cartão, a miniatura já vai a caminho. Por isso os dados do feed são bloqueados nos dois endpoints que os servem, e nunca nos anfitriões das imagens, porque o th.bing.com também serve a pesquisa de imagens do Bing.\nE o feed da MSN continua a piscar no ecrã por um momento antes de desaparecer. Quatro tentativas de o esconder mais cedo mediram-se todas como funcionais e nenhuma acabou com o piscar, o que quer dizer que o que é pintado não é o que a extensão esconde. A página de definições di-lo sem rodeios. Prefiro que diga isso a que dê a entender um carregamento limpo que não entrega.\nO que não faz Não vai Porque abrir um paywall verdadeiro se o servidor retém o artigo, ele fica retido adivinhar um site um domínio só entra depois de o seu muro ter sido visto lá; dois sites da News Corp que se presumiu corresponderem ao Page Six não correspondiam, e voltaram a sair tocar num site sem assinatura na BBC todos os ganchos são instalados e nada é registado, nenhum temporizador descartado, nenhum nó tocado ligar para casa sem permissões de anfitrião, sem acesso à rede, sem telemetria; o registo de erros fica no teu navegador fingir o piscar da MSN não está resolvido, e uma variante da Ad-Shield, wp-ls/…, ainda não corresponde; a página dela foi bem desenhada, por isso fica escrita em vez de corrigida à sorte Uma página que te enviaram é tua Depois de um servidor enviar uma página ao teu navegador, essa cópia está na tua máquina. Correr código sobre ela a seguir para a levar embora não é um modelo de negócio que eu reconheça. É o velho truque de te vender uma coisa e depois ficar com a mão nela.\nOs jornais eram uma coisa que se comprava e depois se tinha: alguém na esquina tinha uma pilha, entregavas o dinheiro, e ele ia para casa contigo e era teu para ler, dobrar, emprestar ou acender a lareira. Ninguém aparecia lá em casa uma hora depois para cortar a segunda página porque tinhas saltado os anúncios. A versão web deu o jornal de borla e depois vendeu o leitor. Primeiro aos anunciantes, depois aos 1467 parceiros, e agora a um fornecedor cujo produto inteiro é decidir se te portaste suficientemente bem para ficares com o que te deram.\nA parte que não consigo ultrapassar é a folha de estilo. Um jornal que deixa o servidor de uma empresa de anúncios decidir se o seu próprio layout sobrevive entregou a sua própria primeira página. Não terá sabido que o fez, porque ninguém lá dentro estava a bloquear o anfitrião, por isso a primeira pessoa a descobrir foi um leitor com um Pi-hole, a olhar para uma página cheia de ligações cruas e a ouvir de uma caixa de diálogo que a culpa era dele. Não era.\nHá um preço para o jornalismo e não tenho problema nenhum em pagá-lo. O que não faço é deixar um script decidir o que eu já tenho. Essa linha traça-se no meu navegador, não no deles.\nDocumentação do Pi-hole — «The Pi-hole® is a DNS sinkhole that protects your devices from unwanted content, without installing any client-side software.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNewsquest — About us — «We are the leading local news publisher in the UK with a portfolio of more than 200 brands.» Marcas não são domínios, daí a contagem mais alta tirada dos certificados.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nDaily Business, 18 de dezembro de 2024 — «National World, owner of The Scotsman and Yorkshire Post, has reached agreement on a £65.1 million takeover by Irish publisher Media Concierge.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nReach plc — About us, arquivado a 5 de setembro de 2026 — «120+ brands, from household names like the Mirror, Express, Daily Record and Daily Star, to local titles like MyLondon, BelfastLive and the Manchester Evening News».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nDimova et al., \u0026ldquo;The CNAME of the Game: Large-scale Analysis of DNS-based Tracking Evasion\u0026rdquo;, PETS 2021 — o CNAME cloaking «effectively bypasses antitracking measures that rely on fixed hostname-based block lists.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nuBlockOrigin/uAssets issue #30988, registada com a etiqueta «Ad-Shield» dos responsáveis, com a mensagem servida a partir de error-report.com: «Failed to load website properly since html-load.com is blocked.» Ver também Jacob Desforges, \u0026ldquo;Ad-Shield ad reinsertion\u0026rdquo;, 12 de abril de 2026. A atribuição é da comunidade das listas de filtros; o fornecedor não divulga nada.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nSourcepoint — Anti-adblock FAQs, arquivado a 25 de maio de 2022 — «Historical experience shows on average about 30% of messaged users will turn off their adblockers.» A mesma página pergunta se «a CNAME applied to a 1st-party subdomain» impediria que o script de deteção fosse bloqueado.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nAdExchanger, 16 de agosto de 2023 — «InMobi acquired Quantcast’s consent management platform, called Quantcast Choice».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nUK GDPR, Article 7 — «utmost account shall be taken of whether, inter alia, the performance of a contract, including the provision of a service, is conditional on consent». Considerando 42: o consentimento não é dado livremente «if the data subject has no genuine or free choice».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nICO — Consent or pay, publicado a 23 de janeiro de 2025 — «“Consent or pay” models can be compliant with data protection law if you can demonstrate that people can freely give their consent». A página diz agora que as orientações estão em revisão na sequência do Data (Use and Access) Act.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nEDPB Opinion 08/2024, adotado a 17 de abril de 2024 — «In most cases, it will not be possible for large online platforms to comply with the requirements for valid consent if they confront users only with a binary choice». Dirige-se às grandes plataformas em linha, não a jornais regionais.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nChrome for Developers — content_scripts manifest key — «Choosing the “MAIN” world means the script will share the execution environment with the host page\u0026rsquo;s JavaScript.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nECMAScript — CreateGlobalVarBinding — «If a binding already exists, it is reused and assumed to be initialized.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nChrome for Developers — declarativeNetRequest — «provides implicit access to allow , allowAllRequests and block rules», e de resto «you must request host permissions before you can perform any action on a host.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nChrome for Developers — declarativeNetRequest — «Errors and warnings about invalid static rules are only displayed for unpacked extensions. Invalid static rules in packed extensions are ignored.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nHTML Standard — the Location interface marca os seus membros como [LegacyUnforgeable], o que na Web IDL quer dizer «the property will be non-configurable and will exist as an own property on the object itself».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nIAB Tech Lab — TCF v2 CMP API — «Every consent manager MUST provide the following API function: __tcfapi(command, version, callback, parameter)».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nPECR, regulation 6 — «a person must not store information, or gain access to information stored, in the terminal equipment of a subscriber or user», com o consentimento como condição no Schedule A1, na redação dada pelo Data (Use and Access) Act 2025.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nHTML Standard — update the image data — corre «whenever that element is created or has experienced relevant mutations», incluindo quando o seu src é definido; estar no documento não é condição.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\n","permalink":"https://blogs.damiendye.uk/pt/random/the-news-site-sent-me-the-article-then-deleted-it/","summary":"A Newsquest, a National World, a Reach e outras enviam ao teu navegador o artigo completo com as folhas de estilo, e depois correm código comercial de anti-adblock e de consentimento que deixa a página em branco, apaga todas as folhas de estilo a cada 100ms ou a tapa com uma escolha entre 1467 parceiros de rastreio e £2,99 por mês. Isto percorre o que esse código faz, as quatro razões por que lhe chamo malware, e a extensão Chrome que construí num dia para manter a página: fixar a flag adLight da Newsquest antes de o muro se construir, descartar os temporizadores agendados a partir de eval, matar o removedor de folhas de estilo no momento do agendamento, e recusar o consentimento como deve ser, respondendo não à API TCF, carregando no próprio botão de rejeição do fornecedor e nunca guardando o registo. Depois as correções que pioraram as coisas, a sonda que dizia que uma página partida estava bem, os botões de partilha e o feed da MSN, e o que a extensão não faz.","title":"O site de notícias enviou-me o artigo e depois apagou-o"},{"content":"Do carvão a nada em catorze anos O painel da National Grid de Kate Morley deixa-te escolher a janela e ver os números mexer.1 Os dados começam em 2012, que calha ser o pico do carvão, por isso a coluna de todo o período é a limpeza inteira num só número.\nTodo o período (2012–) Último ano Última semana Último dia Intensidade carbónica 251 g/kWh 124 g/kWh 98 g/kWh 67 g/kWh Carvão 12,4% 0,0% 0,0% 0,0% Gás 33,5% 27,0% 21,2% 15,9% Vento 19,5% 34,8% 46,0% 64,1% Solar 3,7% 7,4% 8,3% 11,1% Nuclear 18,3% 12,0% 12,0% 12,9% Total fóssil 45,8% 27,0% 21,2% 15,9% Total renovável 24,4% 43,6% 55,8% 76,6% Procura 32,6 GW 30,9 GW 28,4 GW 25,8 GW Preço £70,13/MWh £92,77/MWh £125,01/MWh £27,18/MWh O vento é agora a maior fonte isolada de eletricidade da Grã-Bretanha. 34,8% ao longo de um ano inteiro, contra 27% do gás e 12% do nuclear. Não num dia bom. Doze meses.\nO carvão está a zero. Não baixo. Zero, durante um ano. A última central fechou a 30 de setembro de 2024, cento e quarenta e dois anos depois de a primeira do mundo abrir em Londres em janeiro de 1882, o que quer dizer que este país inventou a energia a carvão e depois levou a maior parte de um século e meio a dar-se ao trabalho de a desligar outra vez.1 A intensidade carbónica caiu para metade face à média de catorze anos, de 251 para 124. Metade, em catorze anos.\nA procura que desapareceu Volta a olhar para a linha da procura. 32,6 GW na média longa, 30,9 no último ano. Está a cair há vinte anos, cerca de 5 TWh por ano desde 2005.\n2005 2023 Procura doméstica 126 TWh 93 TWh Procura industrial 117 TWh 86 TWh Agregado familiar médio 4662 kWh (2007) 3449 kWh As casas baixaram 33 TWh nesse período enquanto o país ligava à tomada um milhão e meio de carros elétricos e um quarto de milhão de bombas de calor.2 As regras de Ecodesign da UE fizeram boa parte desse trabalho; só os regulamentos de iluminação pouparam 81 TWh em toda a UE em 2020.3 A eficiência não se limitou a absorver os carros elétricos, afogou-os.\nDuas ressalvas, porque esta é das que se exageram. A procura industrial também caiu, de 117 TWh para 86, e isso deve-se sobretudo a fábricas que fecharam e não a fábricas que ficaram espertas. E o declínio acabou. 2024 foi o primeiro ano em quase duas décadas em que a procura voltou a subir.2\nOs carros que iam dar cabo dela Aqui está a frota que a rede absorveu, tirada diretamente das tabelas de matrículas da DVLA. Veículos elétricos a bateria licenciados na Grã-Bretanha no fim de cada ano.4\nAno Carros Carrinhas Autocarros Pesados de mercadorias Motociclos Total 2015 20 472 4786 194 314 917 26 756 2017 41 222 6401 303 283 1046 49 334 2019 89 581 10 479 504 269 2790 103 724 2021 374 597 28 245 1295 331 9118 413 908 2023 916 576 64 988 3188 732 14 142 1 000 092 2024 1 266 421 84 959 4821 983 14 039 1 371 779 2025 1 708 499 111 837 7450 1472 13 460 1 843 395 Os carros multiplicaram-se por oitenta e três em dez anos, a frota inteira por sessenta e nove. O milionésimo veículo elétrico chegou no fim de 2023 com 1 000 092, o que é quase tão em cima do número redondo como uma estatística alguma vez consegue. Ninguém planeou isso.\nTrês coisas nessa tabela que não aparecem num título de jornal.\nOs camiões mal começaram. 1472 pesados de mercadorias elétricos em toda a Grã-Bretanha, e o número chegou a cair entre 2015 e 2020, até 253. Os carros foram sempre a parte fácil. Esta é a parte difícil e ainda nem começou a sério.\nOs motociclos elétricos estão a andar para trás. 14 142 em 2023, depois 14 039, agora 13 460. Dois anos de declínio, a única categoria a encolher enquanto tudo o resto cresce em cadeia.\nAs percentagens abrandam e o metal não. O crescimento dos carros foi de 114% em 2020 e de 35% em 2025. Mas 2025 pôs 442 000 carros na estrada contra os 350 000 de 2024. Uma percentagem a descer de um número grande continua a bater uma percentagem grande de um pequeno.\nQuanto ao rumo disto, os Future Energy Scenarios de 2025 do NESO põem a Grã-Bretanha em 31 milhões de veículos elétricos em 2050 no cenário Holistic Transition, 33,4 milhões no Electric Engagement e 36,1 milhões no Hydrogen Evolution.5 Os 1,84 milhões de hoje são cerca de seis por cento do caminho.\nUm pormenor desses cenários que vale a pena notar: a flexibilidade disponível do carregamento inteligente caiu este ano, de 16 GW para 10 GW. Baterias maiores significam carregamentos menos frequentes e mais longos, e menos para ir mudando de sítio.5\nA procura que nunca chegou a aparecer Há uma segunda coisa a empurrar a procura para baixo, atenção, e não é a eficiência.\nAutoconsumo Solar, sem bateria 30–40% Solar com bateria 80–90%6 Já há dois milhões de instalações solares no Reino Unido, 22,3 GW entre todas, e mais de 30% dos sistemas novos são instalados com bateria, contra 10% há cinco anos.6 Põe armazenamento atrás dos painéis e a maior parte do que o telhado produz nunca passa pelo contador.\nEssa energia não é poupada. Simplesmente deixou de ser contada. O contador é a única coisa que mudou.\nAno Capacidade solar acrescentada 2021 ~0,4 GW 2022 ~0,5 GW 2023 1,9 GW 2024 2,3 GW 2025 2,6 GW Seis vezes mais em cinco anos, e a forma da curva diz-te porquê. 2021 e 2022 foram planos. Depois chegaram as faturas, as pessoas fizeram as contas, e o solar deixou de ser uma escolha ambiental e passou a ser uma escolha financeira.\nA nossa casa está algures nessa tabela. Nove quilowatts no telhado, trinta quilowatts-hora de bateria por baixo, dois carros e o ar condicionado a beber a produção diurna. Do ponto de vista da National Grid, esta morada tem andado discretamente a encolher há anos. Do ponto de vista da física, não. A energia simplesmente deixou de aparecer no gráfico de alguém.\nA guerra contra a coisa que funcionou Nada do que está acima aconteceu por acaso, e há um esforço em curso para travar o resto.\nO Reform ganhou dez câmaras inglesas em maio de 2025 e disse que usaria «every lever» para bloquear novos projetos eólicos, solares e de baterias. A Carbon Brief pôs o valor em risco em cerca de 6 GW: 5076 MW de projetos de baterias, 786 MW de solar e 56 MW de eólica nessas dez áreas.7 O porta-voz do partido para a energia escreveu a promotores no Lincolnshire a dizer-lhes «this is war», e enviou uma notificação formal aos presidentes executivos da SSE Renewables, Octopus Energy, Centrica e Equinor de que um governo do Reform rasgaria os seus contratos.7\nPôr à prova o argumento da terra agrícola A razão declarada é a terra agrícola e a segurança alimentar. Esse argumento pode ser testado, por isso vamos testá-lo.\nUso do solo Área Parte do Reino Unido Solar no solo, set. 2024 21 200 ha ~0,1%8 O mesmo, estudo medido por satélite 15 580–17 364 ha 0,06–0,07%9 Campos de golfe 125 000 ha ~0,5%10 70 GW de solar até 2035 n/d menos de 1% da terra agrícola10 O solar cobre cerca de um décimo de um por cento deste país. O golfe cobre mais ou menos cinco vezes mais, e em todos os anos em que alguém andou a preocupar-se em voz alta com a segurança alimentar britânica nunca ninguém escreveu a um clube de golfe a declarar-lhe guerra. Nem uma carta.\nHá um argumento verdadeiro enterrado debaixo do barulho, e merece ser dito com clareza. A CPRE concluiu que 59% das maiores centrais solares de Inglaterra estão em terra agrícola produtiva, e que 31% dessa área é classificada como da melhor e mais versátil.11 A qualidade da terra é um ponto justo. A quantidade de terra não é, e é o argumento da quantidade que está a ser feito.\nE volta a olhar para o que está realmente nesses 6 GW. O solar é 786 MW. As baterias são 5076 MW, mais de quatro quintos da capacidade em disputa.7 O argumento da terra agrícola aponta ao número mais pequeno. O armazenamento é o verdadeiro alvo, e o armazenamento não cultiva nada.\nPôr à prova o argumento do fogo Os projetos de baterias são recusados por risco de incêndio. Não em todo o lado onde manda o Reform, para ser justo. Este é oposição local alargada e não a campanha de um só partido, e está a resultar. Mais de 900 objeções a um projeto perto de Allerton Bywater, em Leeds. Um terreno de cintura verde perto de Eaglesham chumbado por medo de incêndios de lítio depois de 250 objeções. Um projeto de 49,9 MW em Devon recusado contra a recomendação do próprio técnico de planeamento.12\nPor isso põe os incêndios ao lado das objeções.\nNúmero Incêndios em baterias de rede no Reino Unido, desde sempre 3 conhecidos13 Coreia do Sul, grupo de 2017–2019 2814 Base de dados global de incidentes da EPRI, desde 2011 ~95 entradas14 Objeções a um projeto em Leeds 900+12 Um único pedido de licenciamento em Leeds atraiu mais objeções do que os incêndios em baterias de rede registados em qualquer parte do planeta desde 2011. Três neste país, desde sempre. Um deles num local ainda em construção.13\nE 27 dos 30 incidentes a nível mundial em 2018 e 2019 foram na Coreia do Sul. Um grupo nacional, suficientemente grave para parar o mercado de armazenamento deles, e a razão por que a base de dados existe sequer.14 Tira-os e o registo global fica ainda mais magro.\nEntretanto a taxa afundou. As falhas por ano mantiveram-se mais ou menos estáveis enquanto a capacidade instalada passou de 11 GWh em 2018 para mais de 300 GWh em 2024. Isso é uma queda de 99% na taxa de falhas por unidade instalada, porque as normas apanharam o ritmo.14 Em 2024, 0,3% dos projetos tiveram uma falha que levou a um incêndio com preocupações de segurança.14 Analisei isso, e o incêndio de Moss Landing que toda a gente cita, no artigo sobre a energia rejeitada.\nDepois há o porquê de falharem, que é a parte que devia acabar com a discussão.\nCausa de origem Parte das falhas Integração, montagem e construção 36%15 Operação 29% Projeto 21% Defeito de fabrico 4% 89% dos incidentes nem sequer começam na bateria.15 Só três em toda a base de dados remontam a um defeito de célula ou de módulo. O que corre mesmo mal é o resto do sistema: a cablagem DC e AC, o AVAC, o próprio equipamento de supressão de incêndios. E 72% das falhas acontecem durante a construção, o comissionamento ou dentro dos dois primeiros anos.15\nPortanto não é a química. É a instalação. Montagem abaixo do padrão, atalhos na instalação, comissionamento feito com a monitorização ainda desligada, de modo que uma fuga ou uma falha de isolamento tem tempo de escalar para algo que exige um carro de bombeiros antes de ter soado um único alarme em qualquer sítio onde um ser humano o possa ouvir. Mau trabalho, por outras palavras.\nIsso importa porque muda qual é a resposta. Se o lítio tivesse uma tendência inerente para pegar fogo, terias razão em mantê-lo longe da aldeia. Não tem. Isto é um problema de qualidade de execução e de inspeção, que é o género de coisa que já sabemos resolver. Igual a qualquer outra parte de uma instalação elétrica: normas a sério, aprovação a sério, alguém competente a verificar o trabalho.\nO que nos leva de volta às regras de planeamento, onde há uma lacuna real que vale a pena corrigir. As câmaras não têm obrigação legal de consultar os bombeiros sobre um pedido de BESS, por isso umas exigem um plano completo de gestão de incêndios e outras tratam a segurança como estando de todo fora do planeamento.12\nA objeção é «estas coisas pegam fogo». Os dados dizem que as coisas mal instaladas pegam fogo. Uma delas é um argumento para recusar a licença. A outra é um argumento para inspecionar a obra. Corrige a lacuna e tiras o argumento. Deixa-a partida e continua a funcionar como argumento.\nVale a pena dizer que nada disto resultou especialmente bem até agora. Um ano depois, essas câmaras descobriram que bloquear grandes projetos solares é mais fácil de dizer num comunicado de imprensa do que de fazer numa comissão de planeamento, e vários projetos avançaram na mesma.7\nSegue o dinheiro Quanto à origem do guião, o financiamento é uma questão de registo público.\nGrupo Dinheiro recebido De Heartland Institute $676 000+ (1998–2007) ExxonMobil16 Heartland Institute outras quantias não divulgadas fundações ligadas aos Koch16 GWPF / Net Zero Watch $500 000+ um fundo ligado aos Koch17 GWPF / Net Zero Watch $210 525 Sarah Scaife Foundation, através do seu braço nos EUA17 O Heartland é uma organização americana de negação climática que abriu uma filial no Reino Unido, com Nigel Farage como convidado de honra no lançamento.16 A Global Warming Policy Foundation faz campanha cá como Net Zero Watch, uma instituição de caridade registada que gere as suas campanhas através de uma empresa privada.17\nDinheiro fóssil americano, argumentos americanos, um partido britânico a repeti-los contra uma tecnologia em que este país é comprovadamente bom. Deixo-te a ti ligar os pontos nessa.\nOs argumentos chegam com um presidente agarrado.\nA alegação O que dizem as provas O ruído das turbinas causa cancro Totalmente infundado. Nenhuma prova de que o som faça mal à saúde.18 A eólica marítima mata baleias A NOAA e o National Marine Fisheries Service não encontram qualquer prova científica. Os arrojamentos devem-se a colisões com navios, artes de pesca e águas mais quentes.18 Fabricá-las produz «tremendous fumes» Uma turbina devolve a energia usada para a construir em 5 a 8 meses. A eólica emite 37× menos CO₂ do que o gás e 77× menos do que o carvão.19 Vale a pena demorar nessa última, porque se inverte na perfeição. A eólica tem a menor pegada de carbono de todas as tecnologias de produção que o Department of Energy dos EUA mede.19 As medianas do IPCC põem a eólica terrestre em 11 g/kWh e o carvão em 820. Expus isso no artigo sobre a energia rejeitada. A coisa acusada de produzir poluição é a coisa que menos produz.\nA das aves ao menos parte de algo verdadeiro, por isso põe-na ao lado das outras coisas que matam aves.\nCausa de mortes de aves nos EUA Por ano Turbinas eólicas 140 000–330 00018 Edifícios ~600 milhões18 Gatos mais de 2 mil milhões18 As turbinas são responsáveis por qualquer coisa como uma ave em seis mil. Nunca ninguém foi à televisão por causa dos gatos. Os gatos estão bem, pelos vistos.\nE a linha do bem-estar animal não veio de ninguém que observe aves. Foi coordenada por um think tank conservador financiado por um grupo da indústria apoiado pela ExxonMobil, pela Chevron e pela Marathon Oil.18 O mesmo dinheiro da tabela acima, outra forma de entrega.\nO que é o terceiro canal. Os think tanks escrevem, os jornais imprimem, e depois é espalhado em volume online. Um estudo da Brown University concluiu que contas de bots eram responsáveis por perto de 40% dos tweets que chamavam falsa à ciência climática.20 Não vou afirmar que sei quem as gere, e esse estudo é sobre a negação climática em geral e não sobre o solar britânico em particular. Mas o padrão aguenta-se seja qual for a ponta por onde lhe pegues: as alegações estão erradas, são velhas e foram pagas.\nFalar a mesma língua Aqui está a parte que acho que passa ao lado. Pergunta porque é que o Heartland abriu uma filial em Londres e não em Lyon ou em Leipzig.\nPorque cá funciona tal como está escrito. Sem tradução, sem localização, sem adaptar o argumento a um país que mede as coisas no sistema métrico e aquece as casas a partir de uma rede urbana. O comunicado de imprensa chega em inglês e sai no mesmo dia.\nHá uma estrutura mapeada por trás, não só um vocabulário partilhado.\nA ponte Atlas Network, Washington DC apoia mais de 450 organizações em mais de 90 países21 Financiada através de Donors Trust e Charles Koch Foundation21 55 Tufton Street, Westminster GWPF, o IEA, TaxPayers\u0026rsquo; Alliance, Centre for Policy Studies, Adam Smith Institute, Civitas21 Ligações EUA–Reino Unido mapeadas pela DeSmog ~200021 Os negacionistas climáticos apareceram em força na conferência do Reform em setembro de 2025.21 Nada disso exigiu que uma única palavra fosse traduzida.\nE o tráfego corre nos dois sentidos. Canais de Telegram da extrema-direita britânica foram documentados a amplificar desinformação sobre a integridade eleitoral americana. O mesmo cano, apontado na outra direção.22 Os investigadores descrevem publicações em língua inglesa a definir narrativas que depois são apanhadas e repetidas por meios de comunicação noutras línguas, o que nos põe em primeiro na fila e não em último.22\nUm leitor francês ou alemão recebe um atraso e um tradutor, e a tradução é um filtro. Alguém tem de decidir que a alegação vale a pena levar, e verificá-la o suficiente para lhe pôr o próprio nome. Nós recebemo-la crua, à velocidade de um retweet, de um mercado mediático quarenta vezes maior do que o nosso e que já consumimos como entretenimento.\nEssa é a verdadeira vulnerabilidade. Não é os americanos discutirem a sua própria rede. Podem fazer com ela o que quiserem. É ouvirmos cada palavra disso, na nossa própria língua, sobre a nossa rede, de pessoas que nunca a viram.\nCarbono barato, luz cara Uma coisa não melhorou. A eletricidade ficou em média a £92,77/MWh no último ano contra £70,13 em todo o conjunto de dados. Cerca de um terço mais cara, enquanto o carbono caiu para metade.1\nJá leste que a culpa é das renováveis. Já o leste muitas vezes.\nImprensa nacional do Reino Unido, 2025 Editoriais a criticar as renováveis 4223 Primeiro ano em que os editoriais contra as renováveis superaram os favoráveis desde 201423 Editoriais climáticos de direita a rejeitar a ação climática 81%23 Editoriais críticos que lideram com o custo 86%23 Portanto o argumento é o custo. Não as aves, não a paisagem, não a intermitência. O custo, em sete de cada oito.\nO painel resolve essa, porque publica o preço e o mix juntos a cada meia hora. Aqui está o dia 20 de setembro de 2026, da hora do lanche em diante.1\nHora Preço Gás Parte do gás Carbono Solar Vento 16:00 −£19,03 2,85 GW 11,3% 71 g/kWh 6,33 11,30 16:30 £38,19 3,74 GW 15,1% 88 g/kWh 5,19 10,84 17:00 £103,70 4,46 GW 18,3% 109 g/kWh 4,06 10,21 17:30 £134,16 6,23 GW 25,6% 133 g/kWh 2,64 9,68 18:00 £175,57 7,96 GW 32,2% 150 g/kWh 1,53 8,96 19:30 £195,65 8,87 GW 39,9% 162 g/kWh 0,02 6,99 O sol pôs-se. O gás triplicou, de 2,85 GW para 8,87. E o preço passou de menos dezanove libras para quase duzentas em três horas e meia. Mais £57 na meia hora até às quatro e meia, mais £65 até às cinco, mais £41 até às seis. A intensidade carbónica mais do que duplicou enquanto isso acontecia.\nPega no dia inteiro em vez de só na parte interessante, e a relação mantém-se ao longo dos quarenta e oito períodos de liquidação.\n20 de setembro de 2026, as 48 meias horas A parte do gás variou de 7,4% a 39,9% O preço variou de −£19,03 a £195,65 Oscilação total £214,68/MWh Correlação, parte do gás contra o preço r = 0,933 Meias horas a preço negativo 18, das 01:00 às 16:00 Zero vírgula nove três, num só dia, com os contratos de gás fixos. E durante nove horas a Grã-Bretanha esteve a pagar a quem lhe tirasse eletricidade das mãos. O gás em 7,4%, o solar a aproximar-se dos 10 GW, o preço abaixo de zero.\nDepois o sol pôs-se e custou £195,65. Os mesmos cabos. Os mesmos parques eólicos. O mesmo país.\nO mecanismo é a fixação marginal de preços. O preço grossista é definido pelo custo de funcionamento da central mais cara necessária nessa meia hora, e essa é quase sempre a gás. Durante a crise, o gás definiu o preço 98% do tempo enquanto fornecia cerca de 40% da eletricidade; em 2021, 97% do tempo com 37% da produção.24 A proporção mais alta de qualquer país da Europa.\nParte da produção Parte da fixação do preço Gás 27,0% no último ano1 97–98% dos períodos24 Vento, solar, nuclear, hídrica, biomassa 73,0% o resto Sê honesto quanto a uma coisa nesses dados, atenção, porque alguém vai dar por ela. A média de todo o período é £70,13/MWh com um mix mais sujo do que o de hoje, mais barata do que os £92,77 do último ano. Isso não é o vento a fazer subir os preços. Isso é 2012 a 2020 terem sido anos de gás barato. Entre épocas domina o preço do gás; dentro de um único dia domina o tempo. Ambos apontam para o mesmo culpado.\nPortanto um quarto do mix fixa o preço de tudo. O vento podia ser gratuito no ponto de produção, e boa parte dele na prática é, e o número na tua fatura não se mexia, porque a última central a gás da pilha continua a definir a tarifa.\nIsso não são as renováveis a tornar a energia cara. Isso é um desenho de mercado dos anos 90 a dar de caras com uma rede que já não se parece com a dos anos 90.\nO contrafactual fecha a questão. Pega num pico do preço do gás, do género que já vivemos, e modela-o contra duas redes diferentes.24\nO mesmo pico do gás atinge uma rede com… As faturas das famílias sobem As metas de renováveis para 2030 cumpridas 8% Nenhuma renovável com CfD 45% O mesmo pico. O mesmo gás. A única diferença é quanta eólica e solar está ali sem querer saber quanto custa o gás. Mais renováveis, menor impacto. Por um fator de cinco e meio.\nPortanto os parques eólicos são a razão por que se sobreviveu à última crise, não a razão por que ela aconteceu. Três testes diferentes, uma resposta: dentro de um dia o preço acompanha o vento ao contrário, entre épocas acompanha o preço do gás, e na modelação são as renováveis que amortecem o pico. A causa é o gás. Não é renhido, e não é propriamente discutível.\nA coisa que teria resolvido aquela noite Agora põe isso ao lado das dezoito meias horas mais cedo no mesmo dia em que o preço esteve abaixo de zero. Essa é exatamente a forma de problema que uma bateria resolve. Carrega-a enquanto a rede está a pagar a quem lhe tire energia das mãos, devolve-a no pico da hora do lanche, e a última central a gás da pilha nunca é chamada. A diferença no dia 20 de setembro foi de £214,68 por megawatt-hora. As baterias existem para comer diferenças assim.\nO que nos traz de volta àqueles 5076 MW de projetos de baterias parados em dez câmaras, e ao partido que prometeu usar todas as alavancas contra eles. Bloquear o armazenamento não se limita a adiar alguma redução de carbono. Protege a margem do gás, meia hora a meia hora, precisamente nas noites em que o gás vale mais.\nSe é essa a intenção, segue o dinheiro. É o efeito de qualquer maneira, e o financiamento por trás do argumento, segundo a tabela mais acima, pertence à indústria que embolsa a diferença.\nAs taxas, e quem verificou os números E as taxas, já que são citadas como a prova do crime:\nComponente da fatura, 2025 Montante Parte Custos de política na eletricidade £148,45 17% da fatura da eletricidade25 Custos de política no gás £50,86 6% da fatura do gás25 Dezassete por cento, e a partir de abril de 2026 o governo tirou 75% da Renewables Obligation das faturas e passou-a para a tributação geral, cerca de £92 por ano dos £150 do corte médio.25 Dinheiro a sério, que vale a pena discutir, e nem de perto o prato principal. O prato principal é os 27% da produção que fixam o preço dos outros 73%.\nNão te vou dizer quantos desses 42 editoriais eram mentiras, porque provar intenção não é coisa que eu consiga fazer de uma secretária. O que se pode mostrar é a taxa de erro, e é fraca. Uma queixa contra um artigo do Daily Mail identificou quinze erros factuais; o regulador exigiu uma correção.26 O Mail on Sunday e o The Times noticiaram ambos que o NESO tinha concluído que o custo do net zero seria de £4,5 biliões até 2050. O NESO não concluiu nada disso, e foi a terceira vez que os jornais deturparam esse mesmo organismo.26\nAntes que alguém me atire com o baixo número de queixas procedentes: o comité de queixas da IPSO não inclui cientistas profissionais nem consulta especialistas em assuntos técnicos, e trata habitualmente um número errado como uma opinião.26 Uma queixa procedente em quinze erros mede o regulador, não o artigo.\nTira as tuas próprias conclusões. A minha é que o argumento mais repetido contra as renováveis na imprensa britânica é o que se desfaz mais depressa quando o pões ao lado do contador da própria rede.\nE não somos nós que fixamos o preço do gás Eis o que aconteceu de facto ao gás, no índice de referência europeu TTF.27\nPreço do gás TTF Média antes de 2021 ~€20/MWh Dezembro de 2021 €180 Março de 2022 €220 Pico de agosto de 2022 ~€340 Início de 2026 €35–45 Meados de setembro de 2026 €83,40 Dezassete vezes o valor normal no pico. E olha para essa última linha. O gás foi para os €83 este mês por receios sobre o abastecimento e o armazenamento, que é exatamente a razão por que um domingo à noite sem vento na rede britânica teve um preço de £179,70/MWh. A cadeia é curta: o mercado europeu do gás mexe, o gás fixa o preço britânico, a tua fatura vai atrás.\nRepara também que «voltar ao normal» não é voltar ao normal. O patamar atual de €35–45 continua a ser o dobro do de antes da crise, e dispara com um boato.\nNenhuma dessas decisões é tomada cá, e a nossa exposição está a crescer.28\nAbastecimento de gás do Reino Unido Parte da procura coberta pelo mar do Norte, 2025 cerca de metade Gás importado, 2025 464 TWh dos quais por gasoduto norueguês 69% das importações dos quais GNL 31% das importações GNL como parte do abastecimento total hoje 14% Parte do GNL em 2030 mais de 25% Parte do GNL em 2035 perto de 50% A produção do mar do Norte está a cair 12–13% por ano e prevê-se que desça 78% até 2035 face a 2025.28 O buraco é tapado por navios-tanque do Qatar e dos Estados Unidos, comprados num mercado spot global contra compradores na Ásia que nos conseguem cobrir a oferta em qualquer manhã fria que lhes apeteça.\nPortanto o argumento de que devíamos manter a rede no gás por causa das faturas está ao contrário. O gás é a parte que não controlamos, com o preço fixado por acontecimentos em que não temos influência, vindo de campos que se estão a esgotar. O vento e o sol são a parte que acontece cá a custo zero depois de o equipamento estar montado.\nO que custa e o preço que se cobra Há uma diferença entre o que uma coisa custa e o que te cobram por ela, e todo este negócio vive nesse intervalo.\nO custo de pôr esta rede a funcionar caiu. Metade do carbono, nenhum carvão, um terço da produção a vir agora de um tempo que chega de graça e não manda fatura. Esse é o custo. O preço foi no sentido contrário, porque mantivemos uma regra dos anos 90 que deixa a central mais cara do sistema fixar a tarifa de tudo o resto, e depois importámos o combustível para essa central de um mercado onde uma vaga de frio na Ásia mexe no que um reformado em Barnsley paga para se manter quente.\nNinguém está a esconder isso. Está escrito, em dados de liquidação à meia hora, gratuitos, num site mantido por uma só mulher.\nAquilo a que volto sempre é quem beneficia com a confusão. Porque as pessoas que te dizem que foram os parques eólicos são, quando segues o dinheiro para trás, financiadas pela coisa que de facto o fez. Isso não é coincidência e não é incompetência. É o truque mais velho que há: pôr o público zangado com a parte mais barata do sistema para ninguém olhar para a mais cara.\nE a parte que está a ser atacada é a única que é inteiramente nossa. Uma turbina a gás precisa de um navio-tanque do Qatar e de um preço fixado em Roterdão. Um parque eólico ao largo do Humber precisa de manutenção. Uma delas é soberania e a outra é uma ordem de pagamento permanente, e parece que estamos prestes a convencer-nos a abrir mão da primeira para proteger a segunda.\nConstruímos a coisa. Funciona. Alguém devia dizê-lo às pessoas.\nFontes Kate Morley — National Grid: Live — o mix de produção, a intensidade carbónica, a procura e o preço da Grã-Bretanha, selecionáveis no último dia, semana e ano e em todo o conjunto de dados desde 2012; também o encerramento da última central a carvão a 30 de setembro de 2024.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nDrax — 2024, the year GB electricity demand turned a corner — duas décadas de procura em queda, a carga acrescentada pelos veículos elétricos e pelas bombas de calor, e a inversão de 2024.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nEuropean Commission — Light sources, energy label and ecodesign — os regulamentos de ecodesign para iluminação e os 81 TWh de eletricidade que pouparam em toda a UE em 2020.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nDepartment for Transport — Vehicle licensing statistics data tables, VEH0141 — veículos plug-in licenciados no fim de cada trimestre por tipo de carroçaria e de combustível. Os números acima são a coluna dos elétricos a bateria para a Grã-Bretanha no 4.º trimestre de cada ano.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNational Energy System Operator — Future Energy Scenarios — a adoção de veículos elétricos até 2050 nos vários percursos, a capacidade vehicle-to-grid e a revisão da flexibilidade do carregamento inteligente.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nMCS — UK homes installing a small-scale renewable every 90 seconds — totais de instalações certificadas, a marca dos dois milhões e a capacidade instalada, e a parte dos novos sistemas solares acompanhados de armazenamento em bateria.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCarbon Brief — Reform-led councils threaten 6GW of solar and battery schemes across England — a capacidade situada nas dez câmaras conquistadas em maio de 2025, o compromisso «every lever», as cartas enviadas a promotores e a presidentes executivos de empresas de energia, e o que aconteceu de facto aos projetos desde então.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nHouse of Commons Library — Planning for solar farms — o solar no solo cobria uma estimativa de 21 200 hectares no fim de setembro de 2024, cerca de 0,1% da área total do Reino Unido.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLancaster University — Researchers use satellite imagery to shed light on UK solar farm land use — medição por satélite que põe o uso do solo pelas centrais solares em 15 580 a 17 364 hectares, 0,06% a 0,07% da área do Reino Unido.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nFriends of the Earth — Fact check: British farming and renewables — a área ocupada por campos de golfe face ao solar, e a parte da terra agrícola implícita na meta de 70 GW até 2035.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCPRE — Two-thirds of mega solar farms built on productive farmland — 59% das maiores centrais solares em funcionamento em Inglaterra em terra agrícola produtiva, 31% dessa área classificada como da melhor e mais versátil.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nHouse of Commons Library — Battery energy storage systems — objeções e recusas de licenciamento, incluindo os projetos de Allerton Bywater, Eaglesham e Devon, a fuga térmica como mecanismo do incêndio, e a inexistência de qualquer dever legal das câmaras de consultar os bombeiros sobre um pedido de BESS.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nHouse of Commons Library — Battery energy storage systems — incêndios documentados em BESS de escala de rede no Reino Unido, incluindo Liverpool em setembro de 2020 e um local em construção no Essex em fevereiro de 2025, e a nota de que não existe um registo público fiável do número de incidentes.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nEPRI — BESS Failure Incident Database — o registo global de falhas em escala de rede desde 2011, o grupo sul-coreano de 2017–2019, a queda da taxa de falhas por unidade instalada face ao crescimento da capacidade, e a ressalva de que a base de dados só capta incidentes noticiados publicamente.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nUtility Dive — Cells and modules not responsible for most battery energy storage system failures — a análise de causas de origem da EPRI: integração, montagem e construção em 36% das falhas, operação 29%, projeto 21%, defeitos de fabrico 4%; 89% dos incidentes sem origem na bateria; e a concentração das falhas na construção, no comissionamento e nos dois primeiros anos de funcionamento.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLeft Foot Forward — What is the Heartland Institute? — o lançamento da filial britânica, quem esteve presente, e o financiamento do Heartland pela ExxonMobil e por fundações ligadas aos Koch.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nopenDemocracy — Net Zero Watch: how dark oil money is funding influential UK climate sceptics — o financiamento da GWPF e da Net Zero Watch canalizado através dos American Friends of the GWPF, incluindo os pagamentos da Sarah Scaife Foundation.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nClimate Power — Fact check: Trump\u0026rsquo;s wind turbine claims — as alegações sobre o cancro e as baleias face à posição da NOAA e do National Marine Fisheries Service, as estimativas do US Fish and Wildlife Service para colisões de aves com turbinas face a edifícios e gatos, e a origem do argumento do bem-estar animal em trabalho de think tanks financiados pelos combustíveis fósseis.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCNN — Fact check: five things Trump got wrong about wind turbines — a alegação dos «tremendous fumes» e da pegada de carbono face à posição do Department of Energy, o retorno energético de cinco a oito meses de uma turbina média, e as emissões da eólica comparadas com as do gás e do carvão.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nInstitute at Brown for Environment and Society — Shadowy Twitter bots spread climate disinformation — a parte dos tweets que descreviam a ciência climática como falsa e que foi atribuída a contas de bots. Nota que é um estudo de 2021 sobre a negação climática em geral, não sobre as renováveis britânicas em concreto.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nDeSmog — 55 Tufton Street e Mapped: how a US-UK network pushes climate science denial — o grupo de Westminster e os seus membros, o alcance da Atlas Network e o seu financiamento através do Donors Trust e da Charles Koch Foundation, as cerca de duas mil ligações transatlânticas mapeadas, e a presença de grupos de negação climática na conferência do Reform de 2025.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nDFRLab — UK-based far-right Telegram channels amplified disinformation targeting US election integrity — amplificação transatlântica documentada nos dois sentidos, e o papel das publicações em língua inglesa na definição de narrativas depois repetidas por meios de comunicação que trabalham noutras línguas.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nPress Gazette — Record opposition to climate action in UK national newspapers in 2025 — o número de editoriais a criticar as energias renováveis, o primeiro ano desde 2014 em que superaram os favoráveis, a parte dos editoriais climáticos de direita que rejeitam a ação climática, e o custo como linha de ataque dominante.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCarbon Brief — Q\u0026amp;A: Why does gas set the price of electricity, and is there an alternative? — a fixação marginal de preços na Grã-Bretanha, a parte dos períodos de liquidação em que o gás define o preço face à sua parte da produção, e o efeito modelado de um pico do preço do gás com e sem renováveis com CfD no sistema.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nHouse of Commons Library — What costs make up an electricity bill? — os custos de política nas faturas de eletricidade e de gás, em dinheiro e em percentagem, a Renewables Obligation como o maior custo de política isolado, e a transferência de 75% do seu custo para a tributação geral a partir de abril de 2026.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCarbon Commentary — Climate misinformation and press regulation — as quinze imprecisões identificadas num único artigo do Daily Mail face a uma única correção exigida, a deturpação repetida das conclusões do NESO sobre o custo do net zero, e a composição e abordagem do comité de queixas da IPSO em assuntos técnicos.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nTrading Economics — EU natural gas (TTF) price history — o índice de referência neerlandês TTF desde o patamar de antes de 2021, passando pelo pico de 2021–22, até ao máximo de agosto de 2022 e aos níveis atuais, incluindo a subida de setembro de 2026 por receios sobre o abastecimento e o armazenamento.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nICIS — Ebbing North Sea gas production to raise UK gas prices and exposure to LNG imports — a produção do mar do Norte a cobrir cerca de metade da procura em 2025, o volume e a repartição das importações, o ritmo de declínio da UKCS, e a dependência prevista do GNL até 2030 e 2035.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\n","permalink":"https://blogs.damiendye.uk/pt/energy/the-grid-we-did-fix/","summary":"A Grã-Bretanha reduziu para metade a intensidade carbónica da sua eletricidade em catorze anos, passou um ano inteiro sem carvão e fez do vento a sua maior fonte isolada. Entretanto, a procura caiu durante duas décadas enquanto o país ligava 1,8 milhões de veículos elétricos à tomada. Isto é o que os números mostram, incluindo as partes que estragam a história.","title":"A rede que conseguimos arranjar"},{"content":"O número que toda a gente cita e ninguém lê O Lawrence Livermore publicou há dias o seu gráfico de fluxos de energia de 2024. Diz que a América gastou 94,61 quads de energia e deitou fora 62,27 deles.1\nPois bem. Um quad é um quatrilião de British thermal units. Não é dinheiro. Não há dinheiro nenhum neste artigo, e se o teu olho insiste em lê-lo como uma moeda, o meu também insistiu. Os americanos fazem as contas nacionais da energia em quads e o resto de nós trabalha em watts-hora, por isso aqui fica a conversão que lhe dá significado: um quad são cerca de 293 TWh, um pouco mais do que toda a rede do Reino Unido entrega num ano.\nEnergia rejeitada é o nome educado para esses 62,27. A parte que não fez trabalho útil nenhum. Calor pela chaminé acima, calor que sai de um radiador, calor que sai de um escape. Quase tudo é calor residual de queimar alguma coisa.\nAgora atenção às unidades, porque eu enganei-me nisto ao princípio e a maior parte da internet também se engana. 62,27 são quads, não percentagem. Compara-os com os 32,34 quads que fizeram alguma coisa útil e a fatia é 65,8%. Dois terços de tudo o que foi perfurado, escavado, bombeado e transportado, perdido como ar morno.\n2024 Em redes britânicas Energia que entra 94,61 quads 27 726 TWh 102 anos dela Rejeitada 62,27 quads 18 249 TWh 67 anos dela Serviços energéticos 32,34 quads 9477 TWh 35 anos dela Essa última coluna foi a que me bateu. A rede da Grã-Bretanha entrega cerca de 271 TWh por ano.2 Portanto, a energia rejeitada da América só em 2024 equivale a sessenta e sete anos de toda a rede britânica, deitados fora como calor, em doze meses.\nDito de outra forma: alimenta a eletricidade deste país desde agora até 2093 e ainda não terias produzido o que os Estados Unidos desperdiçaram no ano passado.\nEsse número é citado por todo o lado. A forma como o gráfico conta quase não é citada. E essa é a parte interessante.\nUma nota de arrumação, sendo isto um texto sobre a América escrito por alguém de Yorkshire. Onde os americanos dizem gasoline e gas station, eu digo petrol e forecourt; em português é sempre gasolina e bomba de gasolina. E o ar condicionado continua a ser ar condicionado.\nO eólico e o solar contam a 100% Aqui está a parte que apanha as pessoas desprevenidas. O Livermore usa a convenção da Energy Information Administration, e segundo ela há quatro fontes que entram sem perdas de conversão nenhumas.3\nFonte Como entra no gráfico Para onde vão as perdas Carvão, gás, petróleo energia do combustível ~60–70% para rejeitada Nuclear energia térmica ~67% para rejeitada Eólico em terra eletricidade produzida nada rejeitado Solar de grande escala e em telhados eletricidade produzida nada rejeitado Hidroelétrica eletricidade produzida nada rejeitado Uma central a gás é contada pela energia que está no gás, por isso os dois terços que deita fora como calor vão parar ao bloco da energia rejeitada. Uma turbina é contada pela eletricidade que entrega. Não existe uma linha de «energia no vento» contra a qual perder.\nPortanto, neste gráfico, cada terawatt-hora que passa de uma central térmica para um parque eólico faz dois trabalhos ao mesmo tempo. Soma ao útil, tira ao rejeitado. Conta a dobrar.\nO que quer dizer que o argumento de que acabar com o eólico e o solar cortaria o desperdício corre ao contrário pelo próprio diagrama sobre o qual é feito. Já mo atiraram a sério pessoas que deviam saber melhor. Não é uma questão renhida. É o sinal trocado.\nOnde está realmente o desperdício Divide o gráfico por setor e deixa de ser uma abstração.1\nSetor Energia que entra Rejeitada Útil Eficiência Residencial 11,23 3,93 7,30 65% Comercial 9,49 3,32 6,17 65% Industrial 26,39 13,46 12,93 49% Transportes 28,29 22,35 5,94 21% As centrais elétricas perdem mais 19,21 quads pelas torres de arrefecimento antes de qualquer parte disso chegar a esses quatro.\nOs transportes são de longe o pior. Ficam com a maior fatia da energia e transformam 21% dela em movimento. Esses 22,35 quads desperdiçados são 36% de tudo o que a América deita fora. Mais de um terço do desperdício nacional, num só setor.\nUm motor a gasolina, gasoline para os leitores americanos, transforma talvez 16–25% do combustível em movimento. O resto é calor e ruído.4\nÚtil nas rodas Perdido como calor Motor a gasolina (gasoline) 16–25% 75–84% Transmissão de um EV (da bateria às rodas) 87–91% 9–13% Isto não é um ganho marginal. É a diferença entre uma máquina que sobretudo aquece o céu e outra que sobretudo move o carro. A mesma viagem, física diferente.\nE passa-se ao longo de toda a cadeia, não só no veículo. Levar combustível líquido até uma bomba de gasolina, uma gas station em americano, custa energia antes de se queimar uma gota.\nEtapa Energia perdida para lá chegar Refinação do crude 7–15% da entrada5 Petroleiro, oleoduto, camião-cisterna além disso Transporte e distribuição na rede ~5%6 Petroleiros como fatia da marinha mercante mundial ~28% em tonelagem de porte bruto7 Crude e derivados transportados por mar, por ano ~4,4 mil milhões de toneladas7 O transporte rodoviário é cerca de metade da procura mundial de petróleo. Eletrifica-o e uma boa fatia da frota de petroleiros fica sem nada para carregar.\nVale a pena ser direto aqui, porque exagerar é a maneira de perder uma discussão que se estava a ganhar. As perdas na rede são reais e são calor resistivo. Um EV paga o aquecimento do habitáculo no inverno que um motor tem de borla. Mas esse calor de borla só é de borla porque o motor já deitou ao lixo três quartos do combustível. É de borla como o calor de uma casa a arder é de borla.\nA maior coisa que a América podia fazer Os veículos ligeiros são 58,5% da energia dos transportes, a parte que se eletrifica sem esperar por tecnologia nova.8 Faz as contas a trocar a transmissão e a deixar tudo o resto igual.\nTransporte rodoviário ligeiro Quads Energia que entra hoje 16,55 Trabalho útil que realmente entrega 3,47 O mesmo trabalho através de uma transmissão EV 4,09 de eletricidade …gerada a gás, com eficiência de CCGT 9,08 primária …gerada por eólico, solar ou hídrica 4,09 primária Energia poupada 7,5 a 12,5 quads Mesmo a carregar todos eles com turbinas a gás, poupas cerca de sete quads e meio. Com eólico e solar são doze e meio. Oito a treze por cento de tudo o que os Estados Unidos queimam, com uma única troca.\nÉ o maior ganho de eficiência disponível em todo o gráfico, não precisa de invenção, de avanço, de projeto-piloto nem de física nova, porque cada um dos veículos necessários para o fazer já está hoje a ser construído e vendido em volume. Os carros existem. O truque é só esse.\nSó que um motor melhor não resolve o traçado Um EV continua a ter de percorrer a distância, e é aqui que está a outra metade do problema.\nEstados Unidos Europa Milhas de carro por pessoa, por ano ~12 400 ~62009 Fatia das deslocações diárias feitas de carro 85% 50–65%9 Deslocações com menos de uma milha feitas de carro ~70% ~30%9 Lugares de estacionamento por carro ~8 não contados9 Olha para a terceira linha, porque tira de cima da mesa a desculpa da geografia. Cerca de 30% das deslocações diárias têm menos de uma milha dos dois lados do Atlântico. Os mesmos recados, as mesmas distâncias. Os americanos fazem sete em cada dez delas de carro. Os europeus vão a pé, de bicicleta ou apanham qualquer coisa em sete em cada dez.\nNão foi a geografia que fez isso. O clima também não. Foi o zonamento, que pôs as casas aqui e as lojas cinco quilómetros ali adiante, apoiado por mínimos de estacionamento que acabaram por construir quase oito lugares por cada carro no país.9 Entre os anos 1920 e os anos 1960 as cidades americanas foram reconstruídas à volta do automóvel e boa parte da Europa ocidental copiou-as. A partir do fim dos anos 1960 a Europa parou, e começou a desfazê-lo.9\nPortanto, os doze quads e meio são o teto da eletrificação sozinha. Corta também as milhas para metade e cortas para metade o que sobra. Uma coisa é um trabalho de engenharia e a outra é um trabalho de planeamento, e o de planeamento é aquele de que ninguém se livra com uma única compra.\nE o passageiro-quilómetro mais barato é partilhado Há uma terceira alavanca, e a América deixou mais ou menos de a puxar.\nModo Energia por passageiro-quilómetro Carro a gasolina (gasoline) 1,9 a 3,5 MJ10 Ferrovia elétrica urbana, cheia 0,3 a 0,6 MJ10 Quatro a seis vezes melhor, antes de alguém trocar uma transmissão. Um carro com uma só pessoa emite 7,7 vezes o CO₂ por passageiro-milha de um autocarro de turismo cheio.10\nAgora o estado das coisas.\nEstados Unidos Europa Fatia dos passageiros-milha em transportes públicos 0,40%11 muitas vezes isso Viagens feitas de carro 95%11 50 a 65% Via férrea eletrificada 1,7% (as Américas)11 ~57% na UE11 Zero vírgula quatro por cento. Não é um sistema de transportes com uma componente de transporte público. É um país que conduz, com alguns autocarros lá dentro.\nE 1,7% de eletrificação quer dizer que a ferrovia americana ainda é, de longe, a gasóleo. Portanto, cada argumento a favor de passar mercadorias e passageiros para a ferrovia está a ser feito sobre uma rede que ainda anda a petróleo. Eletrifica a via e tens a mudança de modo e a troca de combustível no mesmo trabalho.\nAqui está a parte honesta, porque corta para o outro lado e alguém a vai levantar. O transporte público só é eficiente quando vai cheio. A ocupação dos autocarros nos Estados Unidos tem vindo a cair há décadas, e a energia por passageiro-milha nos autocarros subiu 63% desde 1970.10 Um autocarro quase vazio numa volta de cinquenta minutos por um bairro suburbano é pior do que o carro que devia substituir. É um número real, e grande.\nMas olha para o que esvazia um autocarro. Ninguém a uma distância a pé da paragem, nada que valha a pena ir a pé do outro lado, e um traçado que põe oito lugares de estacionamento junto de cada porta. Autocarros vazios não são um facto sobre autocarros. São um facto sobre o que se construiu à volta da paragem.\nO que te leva à coisa que realmente tira as pessoas dos carros, e aí a diferença é maior do que o número da repartição modal sugere.\nEstados Unidos Europa Cidades com metro 13 6012 Cidades com rede de elétricos 30 muito mais12 Crescimento da extensão de linhas de metro desde 2000 referência três vezes mais rápido12 Treze. Num país de trezentos e quarenta milhões de pessoas. A Europa tem sessenta, e tem estado a assentar linha nova três vezes mais depressa desde a viragem do século, por isso a distância está a aumentar em vez de diminuir.\nO modo também conta. Um estudo sobre cidades europeias concluiu que os metros tiram as pessoas dos carros de uma forma que as redes de elétricos em grande parte não conseguem, o que bate com o que seria de esperar: um metro é mais rápido do que conduzir à hora de ponta e um elétrico normalmente não é.12 A velocidade é o produto todo. Constrói uma coisa mais lenta do que o carro e construíste um subsídio para quem não tem escolha, não uma alternativa para quem tem.\nEsse é o único item genuinamente caro da lista. A reforma do zonamento custa vontade política e uma nova redação. Os túneis custam milhares de milhões. Mas compram o que os outros dois não conseguem. Deslocas pessoas através de uma cidade densa a eletricidade, a 0,3 a 0,6 MJ por passageiro-quilómetro, e mais depressa do que teriam feito de carro. A partir daí, deixar o carro em casa deixa de ser um sacrifício e passa a ser a escolha óbvia. É aí que as pessoas o fazem de facto.\nO que quer dizer que as soluções são a mesma solução com chapéus diferentes. A eletrificação tira 7,5 a 12,5 quads à transmissão. O zonamento reduz as milhas. A densidade é o que faz o transporte público valer a pena, e o transporte público é o que torna a densidade habitável. Puxa uma alavanca e tens o que uma alavanca dá. Puxa as três e multiplicam-se.\nA América está neste momento a discutir a primeira.\nNada disto começa, porém, sem o passo mais barato de todos, que também parece o mais difícil. Alguém tem de dizer em voz alta que há um problema.\nO diagnóstico não falta. É publicado todos os anos por um laboratório federal, de graça, num sítio público, num diagrama simples o suficiente para se ler num minuto. Sessenta e cinco vírgula oito por cento desperdiçados. Os transportes um terço disso. Vinte e um por cento de eficiência no maior bloco da página. Ninguém precisa de encomendar um estudo nem de esperar pela ciência. A ciência saiu em agosto. As pessoas leram o número do título, perceberam-no mal, e seguiram em frente.\nEssa é a parte que devia doer. Nenhum país gasta milhares de milhões a escavar túneis por baixo das suas cidades para resolver uma coisa que acha que está bem, e a América arquivou discretamente 22,35 quads desperdiçados por ano debaixo de «está bem». Não discutido e rejeitado. Simplesmente nunca posto em cima da mesa.\nAs sobras têm de ir para algum lado O calor só é desperdício se não houver onde o pôr. Isso é uma decisão de planeamento, não uma lacuna tecnológica, e foi sobretudo tomada há décadas.\nAquecimento urbano como fatia da procura de calor Dinamarca ~66%13 Suécia, Finlândia, Polónia, os Bálticos acima de 50% Média da UE ~13% Reino Unido ~3%14 Estados Unidos só sistemas de campus, hospitais e centros de cidade A Europa tem cerca de 111 650 instalações comerciais e industriais a funcionar com CO₂ transcrítico em 2025, mais ou menos um terço de todo o retalho alimentar.15 O centro de dados da Meta em Odense tem estado a injetar cerca de 100 000 MWh por ano na rede local desde 2019. É calor que de outra forma teria subido por um arrefecedor seco. Em vez disso aquece 12 000 casas.13\nTemos cerca de 14 000 redes de calor no Reino Unido e mesmo assim só cobrem 3% da procura de calor.14 Catorze mil e quase nada para mostrar, porque são pequenas, fragmentadas e sobretudo acrescentadas à habitação social. O Ofgem assumiu a regulação em janeiro e o zonamento começa este ano. Meta de 7% até 2035, cerca de um quinto do calor dos edifícios até 2050.16\nA Dinamarca não está a fazer nada de esperto que nós não consigamos. A Dinamarca pôs tubos debaixo das ruas. Nós não. É isso. A diferença é essa.\nBombas de calor, e o refrigerante que ninguém espera A mesma lógica na ponta pequena. Um aquecedor resistivo não consegue ultrapassar um coeficiente de desempenho (COP) de 1,0. É a própria definição da coisa. Uma bomba de calor move calor em vez de o produzir, por isso faz melhor.\nSistema COP Condições Elemento resistivo (PTC) 1,0 no máximo quaisquer Bomba de calor automóvel 2,0–3,2 0 a 15 °C Unidade Hyundai/Kia R290 a propano 3,8 anunciado −15 °C Unidade VW R-744 (CO₂) 3,1 −20 °C17 O ADAC pôs 28 EV num teste de inverno a −7 °C. Os modelos com bomba de calor perderam em média menos 22% de autonomia do que os que só tinham aquecimento resistivo.18\nA linha do R-744 é a que merece um segundo olhar. É o próprio dióxido de carbono a funcionar como refrigerante, no VW ID.3 e no ID.4. Uma densidade de vapor de aspiração mais alta mantém a capacidade à medida que arrefece, que é exatamente quando a queres.17\nE o CO₂ de grau refrigerante é um subproduto da produção de amoníaco, etanol e fertilizantes, captado e limpo em vez de libertado.19 Um fluxo de resíduos a fazer o aquecimento e o arrefecimento, com um potencial de aquecimento global de 1 contra 1430 do R-134a. Quando esse tem uma fuga, não acontece nada.\nNão é captura de carbono e não vou fingir que é; a carga fica abaixo de um quilo. O ponto é mais estreito e melhor. O fluido de trabalho é uma coisa de que já tínhamos demasiado.\nO que eu uso de facto Equipamento Especificação Porquê Painéis solares 9 kW o telhado está virado para o lado certo, por isso usa-se Bateria 30 kWh passa a produção do dia para a noite EV MG4, Xpeng G6 carregados pelos painéis, não numa bomba de gasolina Ar condicionado autoalimentado funciona com o que os painéis produzem Controlo Home Assistant empurra as cargas grandes para a janela barata Nada de exótico nesta lista e nada de novo. O mesmo princípio de ajustar o meio de armazenamento ao padrão de IO. Põe a energia onde ela rende, mede o que realmente obténs, e deixa de confiar no rótulo da caixa.\nO que me surpreendeu foi quanto da poupança veio de não andar a mudar combustível de sítio. Sem petroleiro, sem bomba de gasolina, sem refinaria a ficar com a sua parte pelo caminho. Os painéis estão a nove metros do carro.\nO gráfico é um espelho O Livermore publica estes gráficos há anos e são bons. Honestamente construídos, genuinamente úteis, gratuitos. Valem uma hora do tempo de qualquer pessoa.1\nMas um diagrama de Sankey não tem opinião. Mostra-te o que um país decidiu fazer com a sua energia, desenhado à escala. Os 65,8% não são uma lei da física. São um retrato de escolhas sobre motores, tubos e planeamento, tomadas uma de cada vez ao longo de uns setenta anos, e seria diferente se as escolhas tivessem sido diferentes.\nO gráfico da Dinamarca é diferente porque a Dinamarca escavou.\nFontes Lawrence Livermore National Laboratory — Energy Flow Charts — os diagramas de Sankey anuais da energia nos EUA, incluindo o gráfico de 2024 e o seu total de 94,6 quatriliões de BTU.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nKate Morley — National Grid: Live — a procura de eletricidade da Grã-Bretanha, com média de 30,9 GW no último ano, o que dá cerca de 271 TWh por ano. Escrevi sobre o que esse painel mostra em A rede que conseguimos arranjar.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nHawai\u0026rsquo;i State Energy Office — Statewide Energy Flowchart — expõe a metodologia da EIA que o Livermore usa, segundo a qual o solar distribuído, a hidroelétrica, o eólico em terra e o solar de grande escala entram com uma eficiência de produção assumida de 100%, sem perdas térmicas representadas.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nEVreporter — Understanding the complete efficiency picture of electric vehicles — a eficiência do depósito às rodas e da bateria às rodas das transmissões de combustão e elétricas.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nConcawe — EU refinery energy systems and efficiency — a energia de consumo próprio das refinarias como fatia do crude que entra, de 3–4% na destilação simples a 7–10% e mais nas instalações de conversão total.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nUS Energy Information Administration — How much electricity is lost in transmission and distribution? — as perdas anuais de transporte e distribuição nos EUA tiveram uma média de cerca de 5% da eletricidade transportada, de 2018 a 2022.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nUNCTAD — World seaborne trade — a fatia dos petroleiros na marinha mercante mundial em tonelagem de porte bruto, e os volumes de crude e de produtos refinados transportados por mar.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nUS Energy Information Administration — Light-duty vehicles\u0026rsquo; share of transportation energy use — os veículos ligeiros com 58,5% da energia dos transportes nos EUA, os camiões médios e pesados e os autocarros com 23,9%, e a aviação como único outro modo acima de 5%.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCar dependency — Wikipedia e CNN — This little-known rule shapes parking in America — os quilómetros de carro per capita nos EUA face à Europa, a fatia das deslocações diárias e das de menos de uma milha feitas de carro em cada lado do Atlântico, os cerca de oito lugares de estacionamento por carro produzidos pelos mínimos de estacionamento, e a divergência na política urbana a partir do fim dos anos 1960.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nBureau of Transportation Statistics — Energy intensity of passenger modes e Public transport versus private cars: a passenger-kilometre energy comparison — a energia por passageiro-quilómetro dos carros a gasolina face à ferrovia elétrica urbana cheia, a relação de emissões entre um carro com uma só pessoa e um autocarro de turismo cheio, e a subida da energia por passageiro-milha dos autocarros à medida que a ocupação caiu.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nTransportation in the United States — Wikipedia e Statista — Share of the rail network which is electrified in Europe — a fatia dos passageiros-milha nos EUA feita em transportes públicos e em veículo particular, e a via eletrificada como fatia da rede na UE face às Américas.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nStreetsblog USA — Other countries are building transit while the US falls behind e Metros reduce car use in European cities but trams do not — o número de cidades americanas e europeias com redes de metro e de elétricos, o ritmo a que a extensão das linhas de metro cresceu desde 2000 de cada lado, e a conclusão de que os metros substituem viagens de carro onde as redes de elétricos em grande parte não o fazem.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nState of Green — Utilising excess heat to warm up Danish homes — a fatia do aquecimento urbano na procura doméstica de calor na Dinamarca, e a recuperação de calor excedente de centros de dados, incluindo os números de exportação de Odense.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nGreater London Authority — Heat networks data report, February 2026 — o parque fragmentado de redes de calor do Reino Unido e a sua fatia atual da procura de calor.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nATMOsphere — European transcritical CO₂ installations — 111 650 instalações comerciais e industriais europeias com CO₂ transcrítico em 2025, cobrindo cerca de um terço dos pontos de venda do retalho alimentar.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nDepartment for Energy Security and Net Zero — Heat Network Zoning: government response — o quadro do zonamento, a regulação pelo Ofgem a partir de janeiro de 2026, e as metas de 2035 e 2050.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNaturalRefrigerants.com — CO₂ heat pumps found to offer high efficiency at low ambient temperature in electric vehicles — o desempenho das bombas de calor automóveis R-744 a temperaturas ambiente baixas, e as implementações no VW ID.3 e ID.4.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nInsideEVs — For maximum winter EV driving range, you want a car with this feature — o teste de inverno do ADAC a 28 veículos elétricos e a diferença na perda de autonomia a −7 °C.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNaturalRefrigerants.com — FAQs — o CO₂ de grau refrigerante como subproduto recuperado da produção de amoníaco, álcool e fertilizantes, e o seu potencial de aquecimento global de 1.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\n","permalink":"https://blogs.damiendye.uk/pt/energy/rejected-energy-what-the-livermore-chart-shows/","summary":"O Lawrence Livermore publica todos os anos um diagrama de Sankey que mostra para onde vai a energia americana. Em 2024, 62,27 de 94,61 quads não fizeram trabalho útil nenhum. O que significa energia rejeitada e o que é um quad, porque é que o próprio método do gráfico faz as renováveis encolherem o desperdício em vez de o aumentarem, porque é que os transportes sozinhos valem mais de um terço do total nacional, e as três coisas que o resolveriam de facto.","title":"Energia rejeitada: o que o gráfico de Livermore mostra realmente"},{"content":"O Webex põe uma faixa amarela no topo da janela. Offline - No internet connection. Os serviços de telefone aparecem desligados, nada sincroniza, e não consegues entrar na reunião que começou há noventa segundos.\nIsso não é um incómodo quando a coisa é o teu telefone de trabalho. É pelo Webex que me chegam as chamadas, e a minha linha VoIP passa por ele, por isso um cliente que não se autentica é um telefone de secretária que não toca, uma reunião em que não estou, e um colega que vai parar ao correio de voz. Deixou-me sem trabalhar. Não degradado, não lento. Parado.\nE nada disto estava nas minhas mãos causar ou evitar. Um dia de trabalho foi ao ar por causa de um controlo de qualidade que não foi aplicado, num fornecedor que é pago, num produto vendido com contrato de suporte para uma plataforma que a sua própria página de requisitos diz ser suportada. Não configurei mal coisa nenhuma. Instalei o pacote do fabricante, a partir do repositório do fabricante, numa plataforma que o fabricante lista, e ele não conseguia abrir uma ligação TLS. Depois gastei uma noite do meu próprio tempo a descobrir porquê, e é tempo que as pessoas que assinaram o pacote não gastaram.\nA máquina não está offline. O browser ao lado está a carregar páginas. O teu correio está a chegar, o teu terminal está a puxar de um remoto, e se perguntares ao sistema operativo se consegue chegar à internet ele diz que sim. O próprio Webex concorda, no seu próprio registo, onze segundos antes de te dizer o contrário.\nO que aconteceu de facto é que a cópia do OpenSSL que a Cisco mete dentro do Webex não encontra uma única autoridade de certificação, porque foi compilada para as procurar em /workspace/.conan2/p/b/cisco8ee8b59cf93de/p/ssl. Isso é um diretório num contentor de compilação da Cisco. Nunca existiu no teu computador e nunca vai existir. Todas as ligações TLS que a aplicação faz falham na verificação do certificado, o token de login não pode ser renovado, um temporizador de quinze segundos esgota-se, e a interface agarra-se à única explicação para a qual tem uma mensagem.\nPor isso a faixa está errada de uma forma específica e inútil. Aponta para a tua rede. A falha é um caminho dentro da compilação deles.\nEsta é a versão 46.8.0.35631, no Fedora 44, kernel 7.2.4. É uma plataforma suportada. A Cisco publica requisitos de sistema para Linux e distribui um .rpm assinado, webex-46.8.0.35631-1.x86_641. O que se segue é como o provar em cerca de dez minutos, porque é que nenhuma das correções óbvias funciona, a que funciona, e depois a parte que importa mais do que tudo isso: isto não é um erro subtil. É uma compilação que ninguém alguma vez correu numa máquina que não a tivesse compilado.\nO que a faixa te está realmente a dizer O Webex gere o que mostra sobre a conectividade com uma máquina de estados composta, sete submáquinas cada uma com os seus temporizadores. No arranque inicializam assim:\nConnectivityStateMachine::ConnectivityBanner - Initializing with state: Connected ConnectivityStateMachine::Network - Initializing with state: NoNetwork ConnectivityStateMachine::Services - Initializing with state: Connected ConnectivityStateMachine::Mercury - Initializing with state: Disconnected ConnectivityStateMachine::Authentication - Initializing with state: UserNotAuthenticated ConnectivityStateMachine::Syncing - Initializing with state: Synced ConnectivityStateMachine::Survivability - Initializing with state: SurvivabilityHide Quarenta milissegundos depois o sistema operativo responde, e a aplicação regista-o:\nNetworkManagerPowerNetworkWatcher.cpp:93 onConnectivityCheckSuccess:: The host is connected to a network, that appears to be able to reach the full Internet. Essa linha está no mesmo ficheiro, na mesma sessão, que a faixa a afirmar que não há ligação à internet. A aplicação sabia. Tinha a resposta na mão às 08:25:12.131 e mostrou o contrário às 08:25:27.132.\nEntre esses dois momentos, isto:\nHora O que aconteceu 08:25:12.131 O sistema operativo confirma acesso total à internet 08:25:12.218 Deteção de proxy: nenhum configurado, ligação direta 08:25:12.241 O primeiro pedido HTTPS falha, errorCode: 167772294 Error in SSL handshake 08:25:12.569 A renovação do token de acesso CloudApps falha, mesmo código 08:25:12.571 A renovação do token de acesso Kms falha, mesmo código 08:25:15.684 Nova tentativa, ambos falham 08:25:21.745 Nova tentativa, ambos falham 08:25:27.132 O temporizador de quinze segundos expira, a faixa passa a NoInternet 08:26:12.091 Os temporizadores de sessenta segundos expiram, os serviços degradam para DisconnectedShortTerm A submáquina Authentication nunca sai de UserNotAuthenticated, por isso a Services deduz que está desligada, por isso a faixa dispara. Cada passo disso é comportamento correto dada a entrada. A entrada é que está errada, e a entrada é um número: 167772294, em cada pedido falhado, do primeiro ao último.\nEsse número é o artigo inteiro. Guarda-o.\nTrês caminhos, nenhum dos quais existe O Webex não usa o OpenSSL do sistema. Traz o seu, juntamente com a sua própria libcurl, e a libcurl liga à biblioteca empacotada em vez da tua:\n$ ldd /opt/Webex/bin/libcurl.so | grep -E \u0026#39;ssl|crypto\u0026#39; libssl.so.3 =\u0026gt; /opt/Webex/bin/../lib/libssl.so.3 libcrypto.so.3 =\u0026gt; /opt/Webex/bin/../lib/libcrypto.so.3 Até aqui, tudo bem. Empacotar uma biblioteca TLS é uma escolha defensável e muitos fabricantes fazem-no. O que importa é o que lá ficou gravado, e o OpenSSL diz-te se lhe perguntares:\n$ strings /opt/Webex/lib/libcrypto.so.3 | grep -E \u0026#39;OPENSSLDIR|ENGINESDIR|MODULESDIR\u0026#39; OPENSSLDIR: \u0026#34;/workspace/.conan2/p/b/cisco8ee8b59cf93de/p/ssl\u0026#34; ENGINESDIR: \u0026#34;/workspace/.conan2/p/b/cisco8ee8b59cf93de/p/lib/engines-3\u0026#34; MODULESDIR: \u0026#34;/workspace/.conan2/p/b/cisco8ee8b59cf93de/p/lib/ossl-modules\u0026#34; Três. Não uma definição que escapou. O prefixo de instalação inteiro, trazido da máquina que o compilou, numa biblioteca que chega ao cliente como pacote assinado numa plataforma suportada.\nO OPENSSLDIR é definido uma vez, na configuração, com --openssldir, e a própria documentação de compilação do OpenSSL é direta sobre para que serve: «Directory for OpenSSL configuration files, and also the default certificate and key store.»2 Tudo o que diz respeito à confiança pende daí. O ficheiro de CA por omissão é cert.pem lá dentro e o diretório de CA por omissão é certs lá dentro3. /workspace é uma cache de compilação do Conan. O Conan é o gestor de pacotes C++ com que a Cisco compila, e guarda cada pacote debaixo de um hash das suas entradas de compilação4. O hash cisco8ee8b59cf93de é um facto sobre um contentor que provavelmente foi apagado minutos depois de a compilação acabar.\nPergunta à biblioteca o que é, e nem sequer é o OpenSSL de origem:\nVERSION CiscoSSL 3.5.5.8.5.4 27 Jan 2026 BUILT_ON built on: Wed Feb 25 06:29:18 2026 UTC PLATFORM platform: conan-Release-Linux-x86_64-gcc-13 DIR OPENSSLDIR: \u0026#34;/workspace/.conan2/p/b/cisco8ee8b59cf93de/p/ssl\u0026#34; Um fork interno mantido, com um esquema de versões próprio, compilado em fevereiro, distribuído em agosto, e ainda com o diretório de trabalho onde foi feito.\nOnde cada cópia do OpenSSL na máquina procura as suas âncoras de confiança Uma máquina, duas cópias do OpenSSL, e só uma sabe onde estão os certificados A nenhuma se diz em execução. Cada uma traz a resposta numa cadeia compilada, definida por quem fez a compilação. A cópia do sistema: OpenSSL 3.5.8, Fedora 44 OPENSSLDIR compilado /etc/pki/tls o diretório existe cert.pem \u0026#8594; tls-ca-bundle.pem certs/ \u0026#8594; âncoras com hash a cadeia é verificada contra âncoras reais O handshake completa. Todos os outros programas funcionam. E é por isso que o utilizador tem a certeza de que a rede está bem. A cópia do Webex: CiscoSSL 3.5.5.8.5.4 OPENSSLDIR compilado /workspace/.conan2/p/b/cisco8ee8b59cf93de/p/ssl diretório ausente em todas as máquinas de clientes cert.pem \u0026#8594; ausente certs/ \u0026#8594; ausente o repositório carrega zero âncoras O handshake falha: erro 0x0A000086, decimal 167772294. A faixa mostrada ao utilizador diz que a rede está em baixo. Duas cópias do OpenSSL numa máquina. A nenhuma se diz, em execução, onde vive a confiança. Cada uma traz uma cadeia de texto compilada lá dentro, e uma dessas cadeias aponta para um diretório que só alguma vez existiu no anfitrião de compilação de outra pessoa. Não aceites o strings como resposta. Pergunta à biblioteca O strings encontra texto num ficheiro. Não prova que a biblioteca o usa. Por isso carrega a biblioteca distribuída e pergunta-lhe diretamente, o que leva umas doze linhas de Python e nenhum root:\nimport ctypes c = ctypes.CDLL(\u0026#34;/opt/Webex/lib/libcrypto.so.3\u0026#34;) for f in (\u0026#34;X509_get_default_cert_file\u0026#34;, \u0026#34;X509_get_default_cert_dir\u0026#34;, \u0026#34;X509_get_default_cert_file_env\u0026#34;, \u0026#34;X509_get_default_cert_dir_env\u0026#34;): getattr(c, f).restype = ctypes.c_char_p print(f\u0026#34;{f:34} {getattr(c, f)().decode()}\u0026#34;) X509_get_default_cert_file /workspace/.conan2/p/b/cisco8ee8b59cf93de/p/ssl/cert.pem X509_get_default_cert_dir /workspace/.conan2/p/b/cisco8ee8b59cf93de/p/ssl/certs X509_get_default_cert_file_env SSL_CERT_FILE X509_get_default_cert_dir_env SSL_CERT_DIR Aí está, da boca da própria biblioteca. Quando alguma coisa no Webex pede a esta cópia do OpenSSL o repositório de confiança por omissão, recebe um ficheiro e um diretório que não existem. É isso que o SSL_CTX_set_default_verify_paths faz, e é o que quase todos os clientes fazem a não ser que lhes digam outra coisa.\nAs duas últimas linhas merecem nota, porque são a saída de emergência: a biblioteca deixa SSL_CERT_FILE e SSL_CERT_DIR sobreporem-se a ambos5. Lembra-te disso também. Vai tornar-se importante, e não da forma que esperarias.\nReproduzir o código de erro exato Prova por inspeção não é prova. Pega na libssl.so.3 e na libcrypto.so.3 distribuídas, faz um handshake real a um host real só com as predefinições da própria biblioteca, e vê o que volta.\nA execução interessante é aquela em que as predefinições não apontam para nada. SSL_CERT_FILE e SSL_CERT_DIR sobrepõem-se exatamente aos dois valores que um OPENSSLDIR inexistente deixa pendurados, por isso apontá-los para um caminho que não existe reproduz com precisão a condição distribuída:\n$ SSL_CERT_FILE=/nonexistent/cert.pem SSL_CERT_DIR=/nonexistent/certs python3 tls.py set_default_verify_paths -\u0026gt; 1 set_fd -\u0026gt; 1 SNI -\u0026gt; 1 SSL_connect -\u0026gt; -1 SSL_get_error -\u0026gt; 1 verify result 20: unable to get local issuer certificate err: 0xa000086 error:0A000086:SSL routines::certificate verify failed 0x0A000086 em decimal é 167772294.\nÉ o número de cada linha falhada do registo do Webex, e não veio do Webex. Veio da própria biblioteca TLS da Cisco, a correr fora da aplicação deles, a falhar por exatamente uma razão: não tinha âncoras de confiança contra as quais verificar a cadeia. Mesma biblioteca, mesmo erro, nenhuma aplicação pelo meio.\nAponta as mesmas duas variáveis para o bundle real do Fedora e o mesmo caminho de código completa:\n$ SSL_CERT_FILE=/etc/pki/ca-trust/extracted/pem/tls-ca-bundle.pem python3 tls.py SSL_connect -\u0026gt; 1 SSL_get_error -\u0026gt; 0 verify result 0: ok Nada na rede mudou entre essas duas execuções. Mudou um caminho de ficheiro.\nTodos os passos de rede têm sucesso. O que falha é procurar um ficheiro local. Quatro passos atravessam a rede e têm sucesso. O quinto lê um ficheiro e não. Corrido com a libssl.so.3 e a libcrypto.so.3 distribuídas, fora do Webex, só com as predefinições da biblioteca. ligação TCP :443 ok ClientHello, SNI ok ServerHello, cadeia ok, cadeia recebida verificar a cadeia sem âncoras carregadas o que a biblioteca devolve SSL_connect -\u0026#62; -1 verify result 20: unable to get local issuer certificate err: 0xa000086 error:0A000086:SSL routines::certificate verify failed 0x0A000086 em decimal é 167772294, o número de cada linha falhada do registo do Webex. A aplicação nunca escreveu a palavra «certificado». Registou «Error in SSL handshake» e um inteiro decimal, e a interface transformou isso em «Offline - No internet connection», a única coisa que a máquina comprovadamente não estava. Nada aqui é uma falha de rede. Só faltava um diretório. Quatro passos atravessam a rede e têm sucesso, incluindo receber a cadeia de certificados completa do servidor. O passo que falha abre um ficheiro local. Ao utilizador é mostrada uma mensagem sobre a sua ligação à internet. Porque é que nada te avisou Há duas coisas que se conjugam para tornar isto silencioso, e só uma delas é culpa da Cisco.\nO que nunca diz uma palavra De quem é o desenho Porque fica calado Carregar um repositório de confiança que não existe Do OpenSSL, de propósito SSL_CTX_set_default_verify_paths devolve 1 quer os caminhos sejam reais quer não. «A missing default location is still treated as a success»3 Não ter nada a que recorrer Da Cisco, e correto Certificados validados, autoassinados recusados, nova tentativa SSL desligada, por isso não existe modo degradado que esconda uma falha A primeira é razoável. Um programa que distribui as suas âncoras à parte não deve ser obrigado a preocupar-se, por isso a chamada tem sucesso, o repositório fica vazio, e nada em lado nenhum da pilha diz carreguei zero autoridades de certificação. A primeira coisa que dá por isso é uma falha de verificação meio segundo depois. Corri essa chamada contra a biblioteca distribuída com os caminhos apontados para /nonexistent e devolveu 1. Está no resultado acima.\nA segunda é uma política que vem do serviço, e o registo guarda-a:\nWdm.cpp:1162 parseDeviceJson: Adding policy \u0026lt;\u0026lt; allowSelfSignedCertificate with value: false NetworkManager.cpp:1738 onConfigReady: ...httpRequestSSLRetryEnabled: 0 HttpRequestManager.cpp:1883 rawHttpRequest: {\u0026#34;validateCertificates\u0026#34;:\u0026#34;true\u0026#34;,\u0026#34;useClientCertificate\u0026#34;:\u0026#34;false\u0026#34;} Essas três flags são a única razão pela qual esta falha é uma indisponibilidade em vez de algo muito pior, e vale a pena ficar a pensar nisso em vez de passar à frente.\nFaz as contas. A biblioteca empacotada carrega zero âncoras de confiança, e nada abaixo da camada de políticas ia alguma vez dar por isso, porque a falha é silenciosa de propósito até ao fundo. O que a transformou numa faixa foram três flags. Inverte qualquer uma delas da forma como muitos clientes as distribuem e a mesma compilação não falha de todo. Liga-se, a qualquer coisa que tenha qualquer certificado, porque não tem nada contra o qual verificar um.\nO mesmo repositório de confiança avariado, a uma flag de política de uma falha muito diferente O caminho de confiança está igualmente avariado nas duas colunas. Só a política decide como o descobres. Comum a ambos: o OPENSSLDIR compilado não existe, por isso o repositório carrega zero autoridades de certificação Como o Webex o distribui validateCertificates: true allowSelfSignedCertificate: false httpRequestSSLRetryEnabled: 0 Nada contra que verificar, por isso recusa. O handshake falha. Faixa. Perdes um dia. Ruidoso, e inofensivo. Qualquer uma delas ao contrário validateCertificates: false ou autoassinados permitidos ou repetir sem verificação Nada contra que verificar, por isso avança. O handshake completa. Contra qualquer coisa. Silencioso, e não inofensivo. O que separou os dois resultados foi um valor de política de outra equipa, a jusante do defeito, por outras razões. O caminho de confiança nunca protegeu ninguém. Estava avariado de ponta a ponta; só faltava saber como ia falhar. A diferença entre «o Webex está offline hoje» e «o Webex confiou em quem quer que tenha respondido» é um valor de política definido por outra equipa, a jusante do defeito, por razões que nada têm a ver com ele. O problema é a forma como aparece. O utilizador recebe «Offline - No internet connection». O registo recebe «Error in SSL handshake» e um inteiro decimal. A palavra certificado não aparece em lado nenhum onde o utilizador ou um técnico de suporte de primeira linha alguma vez vá olhar, e a única pista de diagnóstico é um número que tens de converter para hexadecimal antes de querer dizer alguma coisa.\nAs correções que não funcionaram As duas óbvias falham, e as razões são diferentes e ambas valem a pena saber.\nEditar o openssl.cnf distribuído O Webex distribui um ficheiro de configuração em /opt/Webex/lib/openssl.cnf, e tal como vem ativa um único provider:\n[provider_sect] fips = fips_sect Só o FIPS. Não o provider default, que é onde vivem os algoritmos TLS normais6. Voltar a acrescentá-lo é uma edição de uma linha e não muda absolutamente nada, porque o OpenSSL empacotado nunca lê esse ficheiro. Procura o openssl.cnf dentro do OPENSSLDIR7, e o OPENSSLDIR é o caminho que não existe. O ficheiro está ali no diretório de instalação com ar de autoridade. Ninguém o lê.\nÉ um segundo defeito escondido atrás do primeiro. Mesmo que o problema do caminho fosse corrigido amanhã apontando o OPENSSLDIR para /opt/Webex/lib, esta configuração passaria a ser carregada e ativaria só o FIPS. E o próprio módulo FIPS é carregado a partir do MODULESDIR, o terceiro caminho morto da mesma árvore, por isso o fips.so distribuído em /opt/Webex/lib também não pode ser encontrado. Três caminhos, um prefixo errado, e cada um deles partido de uma forma que esconde o seguinte.\nDefinir as variáveis de ambiente A biblioteca respeita SSL_CERT_FILE e SSL_CERT_DIR. Provei-o acima. A execução bem-sucedida está mesmo ali. Por isso o passo óbvio é defini-las na entrada do ambiente de trabalho, que foi o que se tentou:\nExec=env OPENSSL_CONF=/opt/Webex/lib/openssl.cnf \\ SSL_CERT_FILE=/etc/pki/ca-trust/extracted/pem/tls-ca-bundle.pem \\ SSL_CERT_DIR=/etc/pki/tls/certs/ /opt/Webex/bin/CiscoCollabHost %U Nenhuma mudança. E a razão não é o Webex ignorar as variáveis. A razão é que o processo nunca as recebeu:\n$ tr \u0026#39;\\0\u0026#39; \u0026#39;\\n\u0026#39; \u0026lt; /proc/20293/environ | grep -E \u0026#39;SSL|OPENSSL|CURL\u0026#39; $ tr \u0026#39;\\0\u0026#39; \u0026#39;\\n\u0026#39; \u0026lt; /proc/20293/environ | wc -l 99 Noventa e nove variáveis no processo do Webex em execução, e nenhuma delas é uma das três que foram definidas. Porque há duas entradas de ambiente de trabalho com o mesmo nome nesta máquina:\nFicheiro O que corre a sua linha Exec Escrito por /usr/share/applications/webex.desktop a linha env com as três variáveis acima, completa o .rpm, depois editado à mão ~/.local/share/applications/webex.desktop /opt/Webex/bin/CiscoCollabHost %U, sem ambiente nenhum o próprio lançador do Webex E a especificação não é ambígua sobre qual ganha: «The base directory defined by $XDG_DATA_HOME is considered more important than any of the base directories defined by $XDG_DATA_DIRS.»8 O $XDG_DATA_HOME é ~/.local/share. A cópia do utilizador tapa a do pacote, sempre, em todos os ambientes de trabalho que seguem a especificação9.\nPor isso o Webex instala uma segunda cópia do seu próprio lançador na tua pasta pessoal, e é essa cópia que o teu ambiente de trabalho corre. Altera o ficheiro do pacote à vontade. Estás a editar um documento que ninguém lê.\nDuas entradas desktop com o mesmo nome, e ganha a que o Webex escreve para si O ambiente foi definido no ficheiro que o ambiente de trabalho nunca lê Duas entradas, um nome. A ordem de pesquisa está escrita, e não favorece a cópia do pacote. Editado à mão, e ultrapassado /usr/share/applications/webex.desktop Exec=env OPENSSL_CONF=... SSL_CERT_FILE=... nunca lido enquanto o outro existir Escrito pelo Webex, e ganha ~/.local/share/applications/webex.desktop Exec=/opt/Webex/bin/CiscoCollabHost %U sem ambiente nenhum descartado lançado Especificação XDG base directory: the base directory defined by $XDG_DATA_HOME is considered more important than any of the base directories defined by $XDG_DATA_DIRS. A prova, tirada do processo em execução e não de raciocínio: tr '\\0' '\\n' \u0026#60; /proc/20293/environ | grep -E 'SSL|OPENSSL' \u0026#8594; nada, 99 variáveis, nenhuma destas A correção era real, o ficheiro era real, e o processo a que se destinava arrancava de outro sítio. O ambiente foi definido no ficheiro que o ambiente de trabalho nunca lê. O Webex escreve a sua própria entrada no diretório de dados do utilizador, a especificação diz que essa tem precedência sobre a do pacote, e a prova é o processo em execução: noventa e nove variáveis de ambiente e nenhuma das três. A correção que funciona Se a biblioteca insiste num caminho, dá-lhe o caminho. Cria o diretório que ela foi compilada para querer e enche-o de ligações simbólicas para a coisa verdadeira:\n#!/bin/bash # Point the bundled CiscoSSL at the system trust store by building the # directory it was compiled to look for. Tested: Fedora 44, Webex 46.8.0.35631. set -euo pipefail OPENSSLDIR=$(strings /opt/Webex/lib/libcrypto.so.3 \\ | grep -oP \u0026#39;(?\u0026lt;=OPENSSLDIR: \u0026#34;)[^\u0026#34;]+\u0026#39;) [ -n \u0026#34;$OPENSSLDIR\u0026#34; ] || { echo \u0026#34;no OPENSSLDIR found in the shipped library\u0026#34;; exit 1; } for p in /etc/pki/ca-trust/extracted/pem/tls-ca-bundle.pem \\ /etc/ssl/certs/ca-certificates.crt \\ /etc/pki/tls/certs/ca-bundle.crt \\ /etc/ssl/cert.pem; do [ -f \u0026#34;$p\u0026#34; ] \u0026amp;\u0026amp; { CA_BUNDLE=\u0026#34;$p\u0026#34;; break; } done [ -n \u0026#34;${CA_BUNDLE:-}\u0026#34; ] || { echo \u0026#34;no system CA bundle found\u0026#34;; exit 1; } echo \u0026#34;OPENSSLDIR: $OPENSSLDIR\u0026#34; echo \u0026#34;CA bundle: $CA_BUNDLE\u0026#34; sudo mkdir -p \u0026#34;$OPENSSLDIR\u0026#34; sudo ln -sf \u0026#34;$CA_BUNDLE\u0026#34; \u0026#34;$OPENSSLDIR/cert.pem\u0026#34; sudo ln -sf \u0026#34;$(dirname \u0026#34;$CA_BUNDLE\u0026#34;)\u0026#34; \u0026#34;$OPENSSLDIR/certs\u0026#34; sudo tee \u0026#34;$OPENSSLDIR/openssl.cnf\u0026#34; \u0026gt; /dev/null \u0026lt;\u0026lt;\u0026#39;CONF\u0026#39; openssl_conf = openssl_init [openssl_init] providers = provider_sect [provider_sect] default = default_sect fips = fips_sect [default_sect] activate = 1 CONF echo \u0026#34;done. now restart Webex\u0026#34; Reinicia-o, e a mesma sequência de arranque dá o resultado oposto. O mesmo binário. As mesmas linhas de registo. A renovação do token, que antes falhava em sessenta milissegundos, acaba agora em trezentos e trinta:\nAuthTokenRequester.cpp:579 Managed to fetch a new Kms access token. AuthTokenRequester.cpp:579 Managed to fetch a new CloudApps access token. AuthTokenSupervisor.cpp:310 Auth tokens refreshed. Expires in [64799 secs]. AuthenticationManager.cpp:1860 onUserAuthenticated: User authenticated. ConnectivityStateMachine::Authentication - UserNotAuthenticated -\u0026gt; UserAuthenticated Autenticado em cerca de 750 ms, por isso o temporizador de quinze segundos nunca dispara e a faixa nunca aparece. Os serviços de telefone passam de Disconnected para Connecting, um estado que a sessão avariada nunca alcançou num minuto de tentativas.\nAntes Depois Verificação de rede passa passa Primeiro pedido HTTPS 167772294 Error in SSL handshake HTTP 200 Token CloudApps falhou obtido Token Kms falhou obtido Autenticação presa em UserNotAuthenticated UserAuthenticated Faixa aos 15 s «Offline - No internet connection» nenhuma Serviços de telefone nunca tentados a ligar Tempo até autenticar nunca ~750 ms Repara no que a correção faz ao teu sistema de ficheiros, porque te devia incomodar. Cria um diretório de topo chamado /workspace na tua máquina, um nome para o qual o Filesystem Hierarchy Standard não tem lugar10, com um caminho de cache do Conan e um hash de compilação que pertencem a uma empresa a quem compraste software. É essa a forma do remédio que a Cisco te deixou: montar o ambiente de compilação de outra pessoa na raiz do teu.\nE também vai partir. De três maneiras:\nQuando parte Porquê O que fazes Uma atualização do Webex cisco8ee8b59cf93de deriva das entradas da compilação, por isso uma dependência recompilada quer dizer um diretório novo Volta a correr o script; ele lê o caminho do binário novo em vez de presumir o antigo Uma mudança de distribuição O destino da ligação simbólica é uma decisão da distribuição, não uma norma11 Reaponta-o; o script testa quatro locais conhecidos Uma reinstalação /workspace não tem cópia de segurança, não é empacotado nem pertence a nada Corre-o outra vez, sempre, para sempre Nada disto é manutenção. És tu a fazer as vezes de um passo no pipeline de compilação de outra pessoa, indefinidamente, sem receber. A remendar um defeito em execução, em todas as máquinas que tens, porque o fabricante não o remendou uma vez na compilação.\nConheciam a regra e aplicaram-na a meia compilação É aqui que isto deixa de ser um relatório de erro e passa a ser um argumento.\nLê a secção dinâmica dos binários distribuídos:\n$ readelf -d /opt/Webex/bin/libcurl.so | grep RUNPATH 0x1d (RUNPATH) Library runpath: [$ORIGIN:$ORIGIN/../lib] $ readelf -d /opt/Webex/bin/CiscoCollabHost | grep RUNPATH 0x1d (RUNPATH) Library runpath: [$ORIGIN/../lib] O $ORIGIN expande, no carregamento, para o diretório que contém o próprio objeto12. É a ferramenta certa para um bundle relocalizável e usaram-na como deve ser. Tinham de o fazer: o Webex distribui a mesma árvore duas vezes, uma em /opt/Webex e outra em ~/.local/share/WebexLauncher/46.8.0.35631_9e6196c9-…/, e um lançador escolhe entre elas no arranque. Dois prefixos, uma compilação, e o linker encontra as bibliotecas em ambos.\nPor isso as pessoas que fizeram este pacote perceberam o problema na perfeição. Caminhos absolutos não sobrevivem a ser distribuídos. Resolveram-no para o código.\nDepois deixaram os caminhos de dados como cadeias absolutas com o nome do contentor que os compilou. A mesma compilação. A mesma tarde.\nUm caminho no bundle relocaliza-se sozinho. O outro aponta para uma máquina num centro de dados algures. Sabiam que o bundle tinha de mudar de sítio. Só o aplicaram ao código. Os dois valores são fixados na compilação, pelas mesmas pessoas, no mesmo dia. Um expande no carregamento, o outro nunca. De onde vem o código: registado como expressão relativa RUNPATH na libcurl.so $ORIGIN:$ORIGIN/../lib /opt/Webex/lib resolvido ~/.local/share/WebexLauncher/46.8.0.35631_.../lib também resolvido Correto, e de propósito. A mesma árvore vai duas vezes para dois prefixos diferentes e o linker encontra-a nos dois. De onde vem a confiança: registado como o diretório de trabalho de alguém OPENSSLDIR na libcrypto.so.3 /workspace/.conan2/p/b/cisco8ee.../p/ssl caminho inexistente não resolvido ENGINESDIR e MODULESDIR: mesma árvore, mesmo resultado Três caminhos absolutos para um contentor de compilação, enviados a cada cliente, num produto com contrato de suporte. Entre as duas metades desta imagem está só uma pessoa a correr o artefacto numa máquina que não o compilou. É o defeito todo. Não um erro difícil. Um erro não testado. A mesma compilação, o mesmo dia, os mesmos engenheiros. O caminho de pesquisa das bibliotecas fica registado como uma expressão que se resolve onde quer que a árvore vá parar. O caminho de confiança fica registado como o diretório de trabalho de alguém. Por isso isto não pode ser arquivado como não sabiam. O $ORIGIN não é coisa em que se tropece. Vai-se buscá-lo porque se percebeu que um caminho absoluto gravado num artefacto distribuído é um defeito, e percebeu-se bem o suficiente para o ir corrigir no linker. Depois a mesma compilação escreve três caminhos absolutos nas mesmas bibliotecas, e distribui-as.\nConhecer a regra e aplicá-la a meia compilação é pior do que não a conhecer. Não conhecer é um problema de formação e a formação tem solução. Isto é um pacote que tinha a ideia certa lá dentro, por escrito, no cabeçalho ELF onde qualquer um a podia ler, e saiu porta fora avariado na mesma. O que te diz que nada a jusante do compilador estava a olhar para o resultado. Nada mesmo.\nO contentor já lá estava De onde veio o /workspace não é mistério, e não tens de adivinhar. Está no cabeçalho do pacote:\n$ rpm -qi webex | grep -E \u0026#39;Build Host|Build Date|Vendor\u0026#39; Build Date : Sat 08 Aug 2026 20:47:43 BST Build Host : c964ea9239ae Vendor : Cisco c964ea9239ae não é um nome de anfitrião que alguém tenha escrito. São doze caracteres hexadecimais, que é o que um contentor reporta como nome de anfitrião quando nada lhe define um. Por isso o pacote foi compilado dentro de um contentor, por uma empresa que claramente tem as imagens, o registo e a orquestração para o fazer, e três artefactos separados nesta máquina dizem-no de forma independente:\nProva, lida do pacote instalado Valor O que prova Build Host no cabeçalho do RPM c964ea9239ae um ID de contentor, não uma máquina de compilação OPENSSLDIR na libcrypto.so.3 /workspace/.conan2/… um caminho que só existe dentro desse contentor PLATFORM na mesma biblioteca conan-Release-Linux-x86_64-gcc-13 uma toolchain Conan em contentor Requires no RPM glibc \u0026gt;= 2.28 um mínimo de ABI muito antigo, escolhido de propósito Depois assinaram-no. A compilação acabou às 20:47:43 e a assinatura tem data das 21:02:07 da mesma noite, ID de chave 9995e5bbb5ccde3c. Quinze minutos. Por isso há uma porta de lançamento, alguém ou alguma coisa a opera, e o que ela atesta é quem fez o pacote, não se o pacote funciona. Uma assinatura é uma declaração sobre proveniência. Nunca foi uma declaração sobre aptidão, e um processo que tem uma e não a outra tem as prioridades pela ordem errada.\nPorque o passo em falta é o barato. O contentor já está no pipeline. Pega no artefacto que acabou de sair dele, arranca uma imagem limpa de cada distribuição que dizes suportar, instala-o, lança-o, e lê as primeiras cem linhas do registo:\ndocker run --rm fedora:44 sh -c \u0026#39; dnf -y install ./webex-46.8.0.35631-1.x86_64.rpm \u0026amp;\u0026amp; timeout 25 /opt/Webex/bin/CiscoCollabHost \u0026amp; sleep 20 grep -c \u0026#34;Error in SSL handshake\u0026#34; ~/.local/share/Webex/current_log.txt\u0026#39; Diferente de zero, sempre, nesta compilação. A instalação tem 1,1 GB, por isso conta com um minuto por alvo com a cache quente. Seis distribuições são seis minutos de uma máquina que já está a trabalhar, em hardware que a Cisco já tem, num pipeline que já existe. Não foi corrido. Nem uma vez.\nE é essa a resposta à coisa que as pessoas ainda dizem sobre o Linux, que suportar várias distribuições é difícil. Deixou de ser difícil no dia em que estas ferramentas chegaram, e as ferramentas são as mesmas com que compilam. Uma imagem de base por alvo. O mesmo artefacto em cada uma. A matriz é um ciclo.\nUm pipeline que compila num contentor e nunca corre o resultado num não é um pipeline. É um compilador com um cron job à frente e uma chave de assinatura atrás, e o que quer que produza é um palpite.\nCompilam dentro de um contentor e nunca correm lá o resultado O contentor já está no pipeline. Só é usado para a metade que convém ao fabricante. Cada valor abaixo foi lido do pacote instalado na máquina, não deduzido. Compilação, dentro de um contentor Build Host: c964ea9239ae /workspace/.conan2/p/b/... conan-Release-Linux-x86_64-gcc-13 três provas separadas de um contentor Assinar e publicar compilado 20:47:43 assinado 21:02:07 quinze minutos, e uma porta de lançamento que atesta quem, nunca se funciona Cliente dnf install webex abre-o «Offline - No internet» O passo que não está em lado nenhum do pipeline docker run --rm fedora:44 sh -c 'dnf -y install ./webex.rpm \u0026amp;\u0026amp; CiscoCollabHost \u0026amp; sleep 20; grep -c \"Error in SSL handshake\" ~/.local/share/Webex/current_log.txt' A mesma infraestrutura. Uma imagem por distribuição. Menos de um minuto cada, e falha com estrondo nesta compilação. Compilar para várias distribuições deixou de ser difícil quando estas ferramentas chegaram, e são as mesmas com que compilam. Um pipeline que compila num contentor e nunca lá corre o resultado é um compilador entre um cron job e uma chave de assinatura. Três provas independentes no pacote distribuído de que a compilação correu num contentor, uma assinatura aplicada quinze minutos depois da compilação, e o único passo que não aparece em lado nenhum: correr o pacote acabado numa imagem limpa de cada plataforma que é vendida como suportada. Porque é que uma versão de 2026 é compilada contra uma libc de 2018? O pacote declara de que precisa, e a linha interessante é a primeira:\n$ rpm -q --requires webex | grep glibc glibc \u0026gt;= 2.28 A glibc 2.28 foi lançada a 1 de agosto de 201813. É a versão do Red Hat Enterprise Linux 814, uma versão cujo suporte completo acabou em 2024. Isto é um produto de 2026, compilado em 2026, a apontar para a biblioteca C de 2018. E depois a distribuir a sua própria cópia de 2,5 MB da libstdc++.so.6 para a pasta pessoal do utilizador, porque o runtime C++ que acompanha uma base tão antiga não aguenta o código.\nPorque é que alguém ainda faria isso? Porque não querem ligar estaticamente.\nÉ só isso. No momento em que ligas dinamicamente à biblioteca C do anfitrião, a distribuição mais antiga que estás disposto a suportar passa a ser uma restrição sobre a máquina onde compilas. Não podes usar um símbolo de que o alvo mais antigo nunca ouviu falar, por isso fixas a compilação numa imagem de base antiquíssima e ficas por lá. Todos os anos a distância aumenta. Cada nova funcionalidade da linguagem ou de uma biblioteca chega com uma discussão sobre se o mínimo pode subir. Distribui a tua própria libstdc++ para tapar o pior, e passas também a manter um runtime privado.\nEssa troca fazia sentido quando um anfitrião de compilação era uma máquina física num bastidor que alguém tinha de reinstalar. Deixou de fazer sentido há uma década. Se tens mesmo de ligar a uma libc do anfitrião, um contentor por alvo dá-te uma compilação real numa versão real de cada plataforma, e nenhuma delas restringe as outras.\nMas olha para o que a disciplina do alvo antigo comprou de facto aqui. É conservadorismo de ABI a um custo considerável: um mínimo com oito anos, um runtime C++ empacotado, uma matriz de suporte congelada à volta disso. E o cliente continua sem arrancar. Porque o que partiu foi um caminho de ficheiro, e nenhum cuidado com versões de símbolos protege um caminho de ficheiro. Pagaram o imposto da compatibilidade e o imposto do empacotamento, e saltaram a única verificação que não custa nada. As duas contas. Nenhum produto.\nPagaram por um bundle autónomo e não o tiveram A forma tradicional de distribuir software comercial em Linux é depender do mínimo possível do anfitrião. Estático onde se consegue, uma árvore autónoma onde não, e nenhuma suposição sobre a distribuição que está por baixo. Não é elegante e ninguém finge que é. Existe por causa da alternativa. Um binário que precisa de uma versão específica de uma biblioteca específica num sítio específico transforma a máquina de cada cliente num caso de suporte.\nA Cisco foi pelo segundo caminho e empacotou. Aqui está a conta:\nO que o bundle contém Tamanho ou número Objetos partilhados em /opt/Webex/lib 150 A sua própria libcurl, CiscoSSL, zlib-ng, ICU, Kerberos, cliente CUPS, hunspell e motor de inferência todos Instalado em /opt/Webex 1,1 GB Uma segunda cópia em ~/.local/share/WebexLauncher, por utilizador 1,1 GB Em disco para um cliente de chat e chamadas 2,2 GB Dois gigabytes de dependências. É esse o preço completo de empacotar: o download, o disco, a duplicação, o fardo de segurança de ser a única parte que pode corrigir qualquer coisa disso, tudo. Paga isso e o que compras é um programa que não quer saber do que o anfitrião tem instalado, que se comporta da mesma forma no Fedora e no Debian e no Arch e no que quer que um cliente tenha normalizado este ano, e que não pode ser partido por uma atualização da distribuição de que nunca ouviu falar.\nSó que quer saber. Quer saber muito de um diretório, e é um diretório num servidor de compilação.\nDistribuíram o seu próprio Kerberos e o seu próprio ICU e o seu próprio corretor ortográfico, e não conseguiram distribuir um caminho funcional para os certificados. O propósito inteiro do bundle é ser autónomo, e não é autónomo precisamente no aspeto que o impede de funcionar. Cada um desses 1,1 GB é encontrado corretamente através do $ORIGIN. Os quarenta e tal bytes que mais importam não.\nE é esta a parte que me tira do sério. Empacotar é a opção cara. Aceitaram a despesa, fizeram a engenharia difícil, acertaram na relocalização de cento e cinquenta bibliotecas em dois prefixos de instalação. E depois apontaram a única parte que decide se alguma coisa disto funciona para uma máquina que nenhum cliente alguma vez teve.\nTambém ninguém o documentou Há uma segunda falha ao lado da primeira, e é a que teria apanhado a primeira.\nPergunta ao pacote que documentação traz:\n$ rpm -qd webex | wc -l 0 $ rpm -qc webex | wc -l 0 Nenhum ficheiro de documentação. E nenhum ficheiro de configuração. Zero entradas marcadas %config num pacote que distribui um openssl.cnf. Isso não é cosmético. Um RPM marca um ficheiro como %config para que o gestor de pacotes preserve o que o administrador alterou, guardando um .rpmsave em vez de o esmagar1516. O /opt/Webex/lib/openssl.cnf é distribuído como ficheiro normal, por isso a próxima atualização sobrescreve qualquer edição que lhe tenhas feito e não te diz nada. O único ficheiro que um cliente pode legitimamente precisar de ajustar é aquele que o empacotamento trata como descartável.\nNada publicado diz que repositório de confiança o cliente usa, que variáveis de ambiente respeita, ou de onde lê a sua configuração TLS. Não há página para consultar. Nenhuma foi escrita. A única forma que tive de estabelecer qualquer coisa disto foi strings, readelf, ldd e ctypes contra os binários distribuídos. Fazer engenharia inversa a um produto suportado para responder a uma pergunta a que a documentação devia ter respondido numa frase.\nE é por isto que importa mais do que parece. Escrever essa documentação é, em si, um teste. Põe qualquer pessoa do fabricante à frente de uma página em branco com o título de onde o Webex para Linux lê os certificados de CA, e a primeira coisa que tem de fazer é ir ver. No momento em que vai ver, encontra /workspace/.conan2/p/b/cisco8ee8b59cf93de/p/ssl, e a coisa seguinte que lhe sai é uma pergunta. Caminhos de configuração documentados não são papelada em benefício do cliente. São a auditoria mais barata que um fabricante pode fazer à sua própria compilação, e saltá-los é como um caminho assim sobrevive até uma versão publicada.\nNada disto é pedir muito. Diz onde vive a tua configuração. Diz que variáveis de ambiente respeitas. Marca os teus ficheiros de configuração como configuração para que uma atualização não os coma. Assim, o cliente que encontra uma falha tem onde procurar sem ser um editor hexadecimal.\nNinguém o correu O passo em falta já foi nomeado vezes suficientes acima. O que vale a pena perguntar é porque é que faltou nesta plataforma e não nas outras.\nPelo menos não no Fedora. No macOS e no Fisher-Price OS (Windows) esta classe de falha não pode aparecer da mesma maneira, porque essas plataformas têm uma pilha TLS do sistema com um repositório de confiança gerido pelo sistema operativo. O Linux não tem tal coisa. O OpenSSL é o repositório de confiança, e como tal quem o distribui é dono do sítio onde ele procura. Por isso a única plataforma onde a biblioteca empacotada é estrutural é a plataforma que foi distribuída sem teste, o que é uma decisão sobre que clientes merecem um teste de fumo.\nA investigação toda levou uma noite: ler o registo, reparar que a deteção de rede passou antes de a faixa afirmar o contrário, tirar o caminho compilado do binário, reproduzir o código de erro exato contra a biblioteca distribuída. Tudo feito com um agente de IA a fazer a correlação do registo e o arnês em ctypes enquanto eu descobria o que lhe perguntar. Menciono isto por uma razão: o diagnóstico que um fabricante nunca fez antes de assinar este pacote e o pôr no seu próprio repositório está agora ao alcance de uma noite de qualquer cliente com paciência para olhar. Os engenheiros da Cisco têm o Claude à disposição como toda a gente, e ele teria compilado isto como deve ser. Não lhe consegues pedir para gravar /workspace/.conan2 num artefacto distribuído sem que te diga o que vai acontecer quando o artefacto sair do workspace. As ferramentas para apanhar isto já não são escassas, e o conhecimento também não. O que falta é alguém no fabricante cujo trabalho fosse olhar.\nEntretanto o caminho de suporte para quem dá com isto é uma faixa que diz que a internet está em baixo. Vão reiniciar o router. Vão ligar ao fornecedor. Vão abrir um ticket que não vai dar a lado nenhum, porque o sintoma que a Cisco escolheu mostrar aponta para longe da Cisco.\nEssa é a lista completa do que correu mal. Vale a pena dizer como teria sido o certo, porque cada ponto dela tem uma resposta assente que é anterior a este produto.\nComo devia ter sido compilado Chega do que correu mal. Aqui está a norma, e nada nela é novo. É o que distribuir um binário para o computador de outra pessoa te pede há vinte anos.\nComeça pela decisão que a Cisco acertou em princípio e errou na execução: de quanto do anfitrião estás disposto a depender. Ligar estaticamente é a resposta mais forte, e vale a pena ser concreto sobre isso, porque «liga isso estaticamente e pronto» é atirado ao ar por pessoas que nunca tiveram de o fazer e desvalorizado por pessoas que nunca tentaram.\nO que remove O que custa O RUNPATH, e todas as formas de o errar, porque não há pesquisa no carregamento A glibc não liga estaticamente de forma limpa: a resolução de nomes e utilizadores passa por dlopen, por isso o binário continua a ir buscar os módulos NSS do anfitrião17 O mínimo da glibc, por isso a distribuição mais antiga deixa de ditar onde podes compilar As partes LGPL trazem uma obrigação de religação, por isso ficam dinâmicas ou distribuis o necessário para religar Avarias por uma atualização da distribuição, uma biblioteca com nome mudado ou uma cache ldconfig desatualizada Ficas dono de todas as correções: nenhuma atualização de segurança da distribuição chega aos teus clientes O dlopen de um .so com versão a partir de um diretório que pode não lá estar Um download maior, e nenhuma partilha de páginas entre processos E uma linha na coluna da esquerda que as outras só apoiam: o artefacto que o teu pipeline produziu é o artefacto que o cliente corre, byte a byte. Testa-o e testaste a coisa que distribuíste. É a ausência dessa propriedade o tema deste artigo inteiro.\nVale a pena ser honesto sobre a coluna da direita. Custos genuínos, e a razão pela qual as pessoas vão buscar a musl ou aceitam um híbrido. Mas olha para a terceira linha. Ficar dono de todas as correções aplica-se exatamente da mesma forma ao que a Cisco já fez: uma árvore empacotada de 150 bibliotecas é o mesmo compromisso sem nenhuma das garantias no carregamento. Comprometeram-se a ser donos de todas as correções de qualquer maneira e não receberam nada em troca.\nPor isso a regra é simples, e é a regra que quebraram: o que não consegues ligar lá dentro tens de o encontrar por um caminho relativo ao binário. $ORIGIN para o código, e a mesma disciplina, de propósito, para cada caminho de dados que a biblioteca vai procurar. Neste caso são quatro e cada um tem uma alavanca documentada:\nO que a biblioteca vai procurar O que foi distribuído O que devia ter sido Âncoras de confiança OPENSSLDIR/cert.pem, fixo na compilação distribuído na árvore, ou SSL_CERT_FILE definido no arranque5 Configuração OPENSSLDIR/openssl.cnf, o mesmo caminho, nunca encontrado OPENSSL_CONF, a apontar para a cópia no pacote5 Providers, incluindo o FIPS MODULESDIR, absoluto, por isso o fips.so é inalcançável OPENSSL_MODULES, «the directory from which cryptographic providers are loaded»5 Engines ENGINESDIR, absoluto OPENSSL_ENGINES, ou nada, já que o OpenSSL 4.0 removeu de vez o suporte a engines5 Quatro caminhos, quatro variáveis de ambiente, todas numa página de manual que a sua própria biblioteca traz. Se alguma cadeia no teu artefacto começa por / e foi decidida na compilação, é um defeito à espera de que um cliente o encontre. Não há terceira opção em que um caminho de compilação absoluto esteja bem.\nAs correções para este, e a verificação que o apanha Do princípio para este defeito concreto. Seis alterações, nenhuma delas investigação:\nCorreção Esforço Porque está certa Definir --openssldir=/opt/Webex/lib/ssl e distribuir a árvore uma flag de configuração O caminho passa a existir no pacote, que é para isso que a flag serve2 Definir SSL_CERT_FILE/SSL_CERT_DIR no CiscoSSLUtils no arranque, testando os caminhos conhecidos das distribuições uma dúzia de linhas Normal, documentado, já suportado pela sua própria biblioteca5 Distribuir eles próprios o bundle de CA dentro do pacote só empacotamento Controlo total da confiança, ao preço de serem donos da sua atualização Corrigir o openssl.cnf para ativar o provider default uma linha Necessário de qualquer forma, e neste momento escondido pela falha do caminho6 Marcar o openssl.cnf como %config uma linha no spec Impede que uma atualização coma em silêncio a alteração de um administrador15 Publicar os caminhos e as variáveis respeitadas uma página A auditoria mais barata que há, e encontra esta falha enquanto é escrita A primeira é a correção de uma flag e teria feito o produto sair a funcionar. É um único valor num script de compilação, definido uma vez, que erraram porque nada a jusante alguma vez o verificou.\nA verificação é mais pequena do que a correção:\n# in CI, on the packaged artefact, in a clean container test -d \u0026#34;$(strings lib/libcrypto.so.3 | grep -oP \u0026#39;(?\u0026lt;=OPENSSLDIR: \u0026#34;)[^\u0026#34;]+\u0026#39;)\u0026#34; \\ || { echo \u0026#34;shipping a trust store path that does not exist\u0026#34;; exit 1; } Uma linha. Teria chumbado esta versão com estrondo, em fevereiro, na máquina que a fez, no contentor que a fez, antes de o pacote ser assinado. A razão pela qual não está lá não é dificuldade nem custo. É que ninguém foi encarregado de a escrever, e por isso saber se o artefacto empacotado se comportava como software não era trabalho de ninguém.\nO que um processo de compilação desleixado custa a toda a gente Tudo o que está acima é o processo de compilação de um produto visto por dentro, e não te vou levar outra vez por ele. A pergunta que vale a pena fazer é se esse nível de cuidado tem probabilidade de ficar por uma equipa.\nPor isso põe o registo de fora ao lado. A CISA mantém um catálogo de vulnerabilidades que se sabe estarem a ser exploradas no terreno. Não teóricas, não pontuadas. Observadas a ser usadas contra pessoas. A 14 de setembro de 2026 tem 1710 entradas18:\nFabricante Entradas no catálogo KEV Microsoft 388 Cisco 98 Apple 94 Adobe 81 Google 74 Oracle 46 Fortinet 30 VMware 26 Segunda, atrás de um monopólio de sistemas operativos e à frente de todos os outros. A adição mais recente da Cisco entrou a 14 de setembro de 2026, o dia antes de isto ser escrito.\nContei o mesmo ficheiro três semanas antes para /pt/random/is-your-msp-lying-to-you-part2/: versão 2026.08.27, 1685 entradas, Cisco com 96. Mais duas desde então, em vinte e um dias.\nSê justo quanto ao que essa tabela prova e não prova sozinha. Uma grande base instalada em sítios de alto valor atrai atenção, e a atenção encontra erros, por isso qualquer fabricante a essa escala vai ter uma lista comprida. O número é uma probabilidade à partida, não um veredicto.\nA composição é mais difícil de afastar do que o total. Vinte e cinco das noventa e oito da Cisco estão nas linhas de segurança: as firewalls, os appliances, os concentradores de VPN, os gateways de correio e web, os serviços de identidade. E as quatro entradas mais recentes acrescentadas contra eles, seguidas, são o Secure Firewall Management Center duas vezes, o Secure Firewall ASA e o Secure Email Gateway, a última a 14 de setembro de 202618. Não os switches. Não o equipamento de colaboração. Os produtos vendidos especificamente para serem a coisa que mantém todos os outros seguros.\nO que é a frase para a qual este artigo inteiro tem vindo a caminhar, por isso aqui está, sem rodeios. Esta é uma empresa cujo negócio é vender appliances de segurança, e não consegue pôr um cliente de secretária a verificar um certificado. Não é um caso difícil. Não é um ataque novo. A operação de segurança mais rotineira da informática, feita por todos os browsers em todos os carregamentos de página, numa biblioteca de que eles próprios fizeram fork, e distribuíram-na apontada para um diretório que nunca existiu numa máquina de cliente. E depois assinaram-na.\nO que este artigo acrescenta é uma amostra do processo que está por trás. Não uma vulnerabilidade. Um simples defeito de empacotamento, a classe de falha menos subtil que existe, numa plataforma suportada, apanhado por qualquer teste de fumo que alguém se desse ao trabalho de correr, e distribuído na mesma. Se um pipeline de compilação põe isso à frente de um cliente que paga, não é óbvio o que travaria. Nada travou.\nPosso perguntar porque é que isto foi assinado? Posso perguntar porque é que um pacote que não consegue completar um handshake TLS foi assinado e publicado para uma plataforma que a vossa própria página de requisitos lista como suportada? Não quem o assinou. Não tenho interesse nenhum num nome e isto não é sobre um. O que o permitiu, porque alguma coisa permitiu, quinze minutos depois de a compilação acabar, e seja o que for continua a correr hoje.\nAgora a versão sem rodeios. Isto não é um projeto que tirei de uma forja e com que arrisquei. É pago. Há um contrato por trás, uma linha de suporte, uma página de requisitos a fazer uma afirmação sobre Linux, e uma chave de assinatura a afirmar que o pacote veio da Cisco e está apto a ser instalado. Cada uma dessas coisas é uma declaração a um cliente, e nesta versão cada uma valeu zero, porque o resultado nunca foi aberto.\nE a norma que aqui falha não é minha. É deles. As quatro variáveis que teriam levado esses caminhos estão documentadas numa página de manual que vocês distribuem dentro do bundle. O vosso próprio formato de empacotamento tem um marcador %config que não usaram e uma secção de documentação que deixaram vazia. A vossa própria compilação correu num contentor que nunca usaram para correr o resultado. Não estou a pedir a uma empresa de redes e colaboração que invente coisa nenhuma. Estou a perguntar porque é que não leu os seus próprios manuais.\nComo tal, a desculpa que não aceito é que isto é difícil. Não é difícil para ninguém, e muito menos para uma empresa que faz isto todos os dias, a esta escala, por este dinheiro. Profissionais que fazem isto todos os dias não têm desculpa, e ser grande não é uma.\nE posso perguntar mais uma, porque é a que realmente importa. Vocês vendem firewalls. Vendem um gateway de correio, um concentrador de VPN, um serviço de identidade, um centro de gestão para tudo isso, e o argumento de venda de todos eles é que percebem disto melhor do que o vosso cliente. Então como é que uma empresa que se posiciona como autoridade em segurança de redes distribui um cliente que não consegue validar um certificado? Não é falhar a validação de forma engenhosa. É não conseguir procurar um, porque o diretório nunca lá esteve.\nNão há nenhuma versão dessa resposta que eu queira ouvir que comece com a equipa de secretária ser separada da equipa dos appliances. São a mesma assinatura, o mesmo pipeline, a mesma afirmação publicada sobre uma plataforma suportada, e o mesmo passo em falta no fim, que é abrir a caixa. Se a validação de certificados não é verificada antes de distribuir no produto onde a avaria é ruidosa e inofensiva, não tenho razão nenhuma para acreditar que é verificada no produto onde a avaria é silenciosa e cara.\nE a parte honesta, dita sem rodeios. Nada disto me surpreendeu. Habituei-me a esperar este nível deste fabricante, e é por isso que, onde a escolha é minha, não compro o equipamento deles nem construo em cima dele. Não é uma preferência de emblemas. É o mesmo juízo que faria sobre qualquer fornecedor: medi o trabalho deles, mais do que uma vez, e volta sempre igual. O catálogo acima é uma medição. O que foi preciso para escrever a primeira metade deste artigo é outra.\nA razão pela qual eu estava no Webex é que a escolha não era minha, e vale a pena dizê-lo, porque é a posição em que está a maioria das pessoas que leem isto. Raramente consegues evitar um fabricante cuja qualidade já mediste. Outra pessoa assina o contrato, o equipamento chega, e a primeira pessoa a descobrir o que foi saltado na compilação és tu, à tua secretária, com uma reunião a começar.\nDistribuir uma coisa que nunca correste Vai haver uma explicação interna. Um sprint apertado, um pipeline que mudou de mãos, uma plataforma sem dono. Nada disso vale a pena ouvir, porque cada uma descreve a mesma coisa: o trabalho não foi feito e nada no processo exigia que fosse.\nHá uma norma antiga nos ofícios que nunca chegou ao software: não sais do trabalho sem teres posto a coisa a funcionar. Enches o sistema e verificas todas as juntas. Ligas o quadro e testas todos os circuitos. Não porque duvides do teu trabalho. Porque o cliente vai usá-lo, e descobrir à frente dele não é um resultado profissional. Ninguém te vê fazê-lo. Fazes na mesma. É esse o significado inteiro da palavra.\nO software passou trinta anos a argumentar que é diferente, que a compilação é o entregável e a instalação é problema de outra pessoa, que um pipeline verde é a mesma coisa que um produto a funcionar, e não é. Uma compilação que nunca foi executada fora do contentor que a produziu não foi acabada, foi abandonada no ponto em que acabar se torna aborrecido. Tudo o que está a jusante dela é uma afirmação sobre trabalho que não foi feito.\nA correção é uma flag de configuração. A verificação é uma linha de shell. O custo de nenhuma delas é o que interessa; o número interessante é quantas pessoas escreveram as credenciais numa janela do Webex, viram-na dizer que a internet estava em baixo, e acreditaram, porque a Cisco lhes disse e a Cisco é uma empresa de redes. É isso que o teste em falta comprou de facto: não um erro, uma mentira que o produto conta com confiança, a cada arranque, a pessoas que não têm forma de saber melhor.\nE é essa a linha que vale a pena traçar antes de fechares o separador, porque as duas metades deste artigo não são dois assuntos. Um caminho de confiança que aponta para um contentor de compilação e um bypass de autenticação num appliance de periferia são a mesma falha com riscos diferentes. Ambos são um valor que ninguém verificou, num artefacto que ninguém correu, assinado por um processo que atesta proveniência e não aptidão. O que tive à minha frente era do tipo inofensivo. Partiu com estrondo, na minha própria secretária, e fui o primeiro a saber. O outro tipo não te faz esse favor.\nA mesma verificação em falta com dois riscos diferentes, e só um deles te avisa Uma verificação em falta, dois riscos. Só um te diz que lá está. Mesma falha: um valor por verificar, num artefacto nunca corrido, assinado por um processo que atesta a proveniência O tipo que parte com estrondo o que era um caminho de confiança inexistente quem o encontrou o cliente, no 1.º arranque quanto custou uma noite, uma secretária quem soube eu, logo Acaba escrito em público. O tipo que não parte nada o que era um comprimento nunca verificado quem o encontrou quem foi à procura quanto custou um incidente quem soube o cliente, pelo relatório Acaba como 1 das 98 da Cisco no catálogo. Um processo que não apanha a coluna da esquerda nunca ia apanhar a da direita. A diferença é sorte, não diligência. O defeito deste artigo e as entradas daquele catálogo são a mesma falha com roupas diferentes. Um anunciou-se na minha secretária no primeiro arranque. O outro tipo anuncia-se primeiro a outra pessoa. Ninguém na Cisco decidiu distribuir uma firewall explorável, tal como ninguém decidiu distribuir um cliente que não chega à internet. Isso não é uma defesa. É a acusação. Nenhum dos dois precisa de ser decidido, e é precisamente esse o problema: ambos são o que sai do outro lado quando um pipeline compila, assina e publica sem que ninguém seja responsabilizado por abrir o resultado. Um processo que não apanha um diretório que não existe nunca ia apanhar um comprimento que não é verificado, e um fabricante que te vende o appliance que guarda o teu perímetro não tem direito a esse processo.\nPor isso, quando o nome de um fabricante continua a aparecer nessa lista, resiste à explicação confortável de que são simplesmente grandes e muito visados. A escala explica o volume. Não explica o tipo. Olha antes para o que o processo de compilação deles faz com as coisas aborrecidas, porque as coisas aborrecidas são mensuráveis de fora, por ti, hoje, em equipamento que já tens.\nVerifica os teus próprios bundles. strings e readelf e vinte minutos dizem-te quais dos teus fabricantes distribuem um caminho para uma máquina que nunca vais ver. O que estás realmente a medir não é o caminho. É se alguém lá estava a olhar, e se a resposta é não numa coisa tão barata de apanhar, já sabes qual é nas coisas que não são.\nCisco — Webex App system requirements — a lista de plataformas suportadas, Linux incluído.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nOpenSSL — INSTALL.md, --openssldir — «Directory for OpenSSL configuration files, and also the default certificate and key store.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nOpenSSL — SSL_CTX_load_verify_locations(3) — o ficheiro de CA por omissão é cert.pem e o diretório de CA por omissão certs, ambos dentro do diretório OpenSSL por omissão; e sobre os valores de retorno, «A missing default location is still treated as a success.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nConan 2 — conan cache — os binários dos pacotes vivem debaixo de um caminho com hash na cache local, que é de onde vem /workspace/.conan2/p/b/\u0026lt;hash\u0026gt;/p.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nOpenSSL — openssl-env(7) — SSL_CERT_DIR e SSL_CERT_FILE «specify the default directory or file containing CA certificates».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nOpenSSL — provider(7) — o provider default e o que uma configuração que o omite deixa indisponível.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nOpenSSL — config(5) — o ficheiro de configuração que o OpenSSL carrega na inicialização, e onde é procurado.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nfreedesktop.org — XDG Base Directory Specification — «The base directory defined by $XDG_DATA_HOME is considered more important than any of the base directories defined by $XDG_DATA_DIRS.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nfreedesktop.org — Desktop Entry Specification — onde os ficheiros .desktop são procurados e como um tapa outro com o mesmo nome.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nFilesystem Hierarchy Standard 3.0 — os diretórios que se espera que um sistema de ficheiros raiz contenha, e /workspace não está entre eles.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nupdate-ca-trust(8) — como é produzido no Fedora e parentes o bundle consolidado em /etc/pki/ca-trust/extracted.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nld.so(8) — o $ORIGIN expande para o diretório que contém o programa ou objeto partilhado, que é o que torna relocalizável uma árvore empacotada.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nglibc timeline — «2018-08-01 GLIBC 2.28 — The GNU C Library version 2.28 is now available».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nglibc — Release wiki — a tabela de versões por distribuição; o Red Hat Enterprise Linux 8 tem a glibc 2.28.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRPM — spec file reference — o %config e o que o gestor de pacotes faz com um ficheiro marcado como configuração.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nFedora packaging guidelines — configuration files — quando um ficheiro distribuído tem de ser marcado %config.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nglibc FAQ — porque é que um binário com a glibc ligada estaticamente continua a precisar dos módulos NSS do anfitrião em execução.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCISA — Known Exploited Vulnerabilities Catalog — contado a partir do feed JSON publicado, versão do catálogo 2026.09.14, 1710 entradas.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\n","permalink":"https://blogs.damiendye.uk/pt/certificates/webex-certificates-on-a-build-server/","summary":"O Webex 46.8.0.35631 no Fedora 44 fica atrás de uma faixa amarela a dizer «Offline - No internet connection» enquanto todos os outros programas da máquina chegam à internet sem queixas. Deixou a linha VoIP completamente parada. A rede nunca foi o problema: a Cisco empacota o seu próprio fork do OpenSSL e compilou-o com OPENSSLDIR definido como /workspace/.conan2/p/b/cisco8ee8b59cf93de/p/ssl, um diretório que existe num contentor de compilação e em mais lado nenhum, por isso não carrega nenhuma âncora de confiança e todos os handshakes falham. O artigo segue por ordem: o que é de facto o estado avariado, perguntar à biblioteca distribuída onde acha que vivem os certificados, reproduzir o código de erro exato fora do Webex, porque é que nada te avisa, as duas correções que não funcionam e porquê, e a que funciona. Depois o processo de compilação: usaram $ORIGIN para o código e deixaram três caminhos de dados absolutos, o cabeçalho do RPM tem como anfitrião de compilação um ID de contentor, por isso o contentor já estava no pipeline e nunca foi usado para correr o resultado, o pacote exige uma glibc de 2018 porque não querem ligar estaticamente, 2,2 GB são distribuídos em duplicado, e não traz documentação nenhuma nem nenhum ficheiro marcado como configuração. Depois como devia ter sido compilado, as seis correções e a verificação de uma linha que o apanha. E por fim a comparação: a Cisco tem 98 entradas no catálogo de vulnerabilidades exploradas da CISA, só atrás da Microsoft, e um caminho de confiança que ninguém verificou e um bypass que ninguém verificou são a mesma falha com riscos diferentes.","title":"O Webex anda à procura dos teus certificados num servidor de compilação da Cisco"},{"content":"Há uma funcionalidade na tua firewall que lê o interior dos teus pacotes, encontra um endereço IP e um número de porta escritos no texto e abre um buraco de entrada para eles. Sem regra. Sem pedido de alteração. Sem entrada de registo que alguma vez fosses ver. Vem ligada por predefinição na maior parte do equipamento que a tem, e assim tem estado há quase vinte e cinco anos, enquanto a indústria que a lá pôs passou os últimos vinte a concluir em silêncio que devia ser desligada: em documentos de normas, nas predefinições do kernel e em quatro rondas separadas de correções de emergência nos navegadores.\nChama-se auxiliar de protocolo (protocol helper), ou Application Level Gateway, ALG, session helper, fixup, motor de inspeção, auxiliar do conntrack. É a mesma coisa. Existe porque o NAT estragou um punhado de protocolos que escrevem endereços na sua própria carga útil, e alguém decidiu que a solução menos má era ensinar o tradutor a ler e reescrever essa carga útil em trânsito.\nEis a parte que te devia fazer parar.\nO auxiliar não consegue saber quem escreveu o texto. Lê bytes de uma ligação e age com base neles, de imediato, sem perguntar nada a ninguém. Não tem forma de saber se a string PORT 192,168,1,29,4,0 foi produzida por um cliente FTP verdadeiro a fazer uma transferência verdadeira, ou por um formulário escondido numa página web que o teu utilizador abriu por engano. As duas parecem idênticas no fio, porque são idênticas no fio. Assim, um estranho na internet que consiga convencer qualquer coisa na tua rede a emitir os bytes certos (um navegador, um cliente de chat, qualquer coisa que envie o que lhe mandam) pode escolher que porta de entrada a tua firewall abre, e para onde.\nIsto não é um bug no parser de um fabricante. É o que a funcionalidade faz: um dispositivo de segurança a receber instruções de configuração de dados não fiáveis e a aplicá-las de imediato. Os relatórios de bugs e os CVE são pormenores por cima dessa forma.\nSamy Kamkar demonstrou a versão do navegador em janeiro de 20101, uma muito melhor em outubro de 20202, e três meses depois a Armis alargou-a para que a porta aberta nem sequer tenha de estar na máquina que clicou: pode estar na tua impressora, na tua câmara ou num controlador lógico duas VLAN ao lado3. Pelo meio, o IETF deixou escrito que estes deviam vir desligados por predefinição4, o Linux desligou-os no kernel5, e os fabricantes de navegadores publicaram uma lista de portas bloqueadas que se lê quase linha a linha como a listagem de um diretório de módulos do conntrack do Linux6. Cada uma destas é uma correção aplicada noutro sítio, porque aquilo que precisava mesmo de ser corrigido está numa caixa que ninguém vai atualizar.\nA conclusão a que cheguei é que os auxiliares de protocolo deviam estar desligados por predefinição em todo o lado, e desligados de facto em todas as redes pelas quais és responsável. Não afinados. Não restritos a sub-redes de confiança como primeiro recurso. Desligados, com as duas ou três exceções genuínas registadas e datadas, exatamente como documentarias qualquer outra regra de entrada, porque é isso que são.\nO que se segue é o mecanismo, os ataques pela ordem em que foram descobertos, a posição de conformidade (no Reino Unido isto é uma falha clara de um controlo que talvez já tenhas certificado) e os comandos para pôr tudo em ordem.\nO que um estranho ganha com isto Começa pelo resultado, porque é mais fácil importares-te com o mecanismo depois de veres a conta. Alguém abre uma ligação. Essa é toda a sua contribuição. A página corre JavaScript que fala com o servidor do atacante, e esse servidor molda a conversa (acolchoando-a, medindo-a, confirmando partes dela e outras não) até que um segmento chega à tua firewall com o aspeto exato da mensagem de abertura de uma chamada VoIP. A tua firewall acredita, porque acreditar é a funcionalidade. Cria um mapeamento de entrada, e o atacante liga-se diretamente de volta.\nNa versão de 2020 a porta abre-se na máquina que clicou, por isso todos os serviços à escuta nesse anfitrião ficam alcançáveis a partir da internet enquanto o mapeamento durar2. Partilha de ficheiros. O ambiente de trabalho remoto que ninguém quis deixar à escuta. No Fisher-Price OS (Windows), a Armis fez a observação óbvia: chega à porta de partilha de ficheiros e estás a um anfitrião por corrigir do caminho que o WannaCry seguiu3.\nA versão de 2021 é pior, e é a parte que te devia fazer decidir. Como o auxiliar de H.323 trata do reencaminhamento de chamadas, uma mensagem pode nomear um terceiro endereço em vez de qualquer uma das pontas da ligação, por isso o atacante deixa de estar limitado à máquina que clicou e pode percorrer a tua gama interna, abrindo uma porta em cada endereço e lendo o que quer que responda. A Armis demonstrou exatamente isso: porta 80 numa gama inteira, banners recolhidos, um alvo escolhido, depois a porta de impressão em bruto da impressora aberta e um trabalho enviado para ela. A segunda demonstração chegou a um controlador lógico através da sua porta de gestão sem autenticação e reescreveu-lhe o programa3.\nNão foi explorada nenhuma vulnerabilidade em nenhum desses dispositivos. Estavam todos a funcionar exatamente como previsto, e a única coisa que falhou foi a fronteira, que falhou por fazer precisamente aquilo para que estava configurada. Pensa também em quem está dentro dessa fronteira. Não só os teus funcionários: um visitante na rede de convidados, o portátil de um prestador de serviços, qualquer pessoa com um navegador. O ataque não precisa de credenciais, de ponto de apoio nem de malware, porque o navegador é o mecanismo de entrega e já está instalado e já é de confiança.\nUma firewall serve para garantir que nada de fora inicia uma conversa com nada de dentro a não ser que tu o digas. O auxiliar é a exceção, concedida com base numa string num pacote.\nO que é realmente um auxiliar de protocolo Um NAT simples é uma coisa burra e honesta. Chega um pacote, reescreve o endereço e a porta de origem no cabeçalho, escreve uma linha para que a resposta possa ser revertida, e reencaminha-o. Nunca olha para baixo do cabeçalho de transporte, e não sabe nem quer saber se os bytes lá dentro são um pedido web, uma consulta a uma base de dados ou a fotografia de um cão.\nIsso funciona até um protocolo escrever um endereço na sua própria carga útil. O FTP fá-lo, em texto simples, no fluxo de comandos: liga-te de volta para mim neste endereço, nesta porta. O SIP fá-lo nos campos Via, Contact e SDP, o H.323 fá-lo, e o IRC fá-lo para transferências diretas. Todos foram desenhados quando o endereço de um anfitrião era o seu endereço e todas as máquinas chegavam a todas as outras, e sob esse pressuposto é sensato. Põe um tradutor no caminho e o endereço na carga útil passa a ser uma mentira.\nUm tradutor simples lê o cabeçalho. Um auxiliar lê a carga útil e abre um buraco com o que lá encontra. O mesmo ponto do caminho. Um deles lê a carta além do envelope. Um tradutor simples Um auxiliar de protocolo O pacote que chega [cab. IP 192.168.1.29:51000] [ carga ] O pacote que chega [cab. IP 192.168.1.29:51000] [ PORT 192,168,1,29,4,0 ] O que faz Reescreve o endereço e a porta de origem no cabeçalho Corrige os checksums Escreve uma linha para poder reverter a resposta Reencaminha-o O que faz Tudo isso, e depois lê a carga útil e encontra lá um endereço e uma porta reescreve-os também e desloca os números de sequência escreve uma segunda linha: permitir esta ligação de entrada Tabelas que mantém Só a tabela de tradução. Uma linha, um fluxo, reversível. Nada na carga útil pode acrescentar uma linha. Tabelas que mantém Tabela de tradução, e uma tabela de expectativas. Uma linha na segunda é uma regra de firewall de entrada. A segunda tabela é o tema todo. Diz: quando chegar de fora uma ligação com este padrão, deixa-a passar. Ninguém a escreveu, ninguém a aprovou. Dois dispositivos no mesmo ponto do caminho. O tradutor simples reescreve o cabeçalho e nunca lê a carga útil. O auxiliar lê a carga útil, reescreve o endereço que lá encontra e acrescenta uma linha a uma segunda tabela que permite uma ligação de entrada mais tarde. Essa segunda tabela é o tema deste artigo. Por isso inventou-se o auxiliar. Lê a carga útil, encontra o endereço, reescreve-o para o público, e depois faz a parte que toda a gente salta: cria uma regra que permite a ligação de entrada que a carga útil acabou de descrever. O Netfilter chama a essa regra uma expectativa (expectation). A Cisco chama-lhe um pinhole, ou uma porta NAT (NAT door)7. A Palo Alto chama-lhe um dynamic NAT pinhole8. A Juniper chama-lhe um gate. Palavra diferente, objeto idêntico: um buraco aberto na fronteira, com base em algo lido de dentro de um pacote.\nO IETF deu nome ao padrão antes de a maioria destes produtos existir. Um ALG, diz o RFC 2663, é um «application specific translation agent» que «may interact with NAT to set up state [\u0026hellip;] modify application specific payload and perform whatever else is necessary to get the application running across disparate address realms»9. Lê isso com um adversário em mente: whatever else is necessary, conduzido por application specific payload. E em fevereiro de 2002 a taxonomia de middleboxes do IETF já chamava ao mecanismo aquilo que é, notando que alguns ALG criam problemas de fragmentação «although in this case the problem is arguably the result of a deliberate layer violation (e.g., mucking with the application data stream of an FTP control connection by twiddling TCP segments on the fly)»10.\nUma violação deliberada de camadas. Mexer em segmentos TCP em trânsito. É esse o mecanismo, nomeado pelas pessoas que o catalogaram há vinte e quatro anos, e todos os ataques aqui passam diretamente por ele.\nA expectativa é o problema todo Uma expectativa é uma ligação pré-autorizada: um tuplo de endereço de origem, porta de origem, endereço de destino, porta de destino e protocolo, com alguns campos preenchidos e outros deixados como curingas, mais um temporizador. Quando chega um pacote correspondente, a firewall trata-o como relacionado com um fluxo permitido já existente em vez de uma nova ligação de entrada, deixa-o passar e consome a expectativa. Num sistema saudável a lista delas está vazia, que é o objetivo: as expectativas devem ser raras, de vida curta e motivadas por algo que um anfitrião interno pediu genuinamente.\nUma expectativa é uma regra de entrada com espaços em branco, e os espaços em branco são o modelo de segurança Um objeto, cinco campos e um temporizador. Os campos em branco são todo o modelo de segurança. expect proto=tcp src=\u0026lt;quem se liga\u0026gt; sport=\u0026lt;qualquer\u0026gt; dst=\u0026lt;onde chega\u0026gt; dport=\u0026lt;que porta\u0026gt; timeout=300 Auxiliar Quem se pode ligar Onde chega Que porta Pior caso FTP o servidor, fixo o cliente, fixo da carga útil qualquer porta num anfitrião IRC qualquer endereço o cliente, fixo da carga útil qualquer porta, de qualquer um H.323 qualquer endereço da carga útil da carga útil qualquer porta, qualquer anfitrião Azul: fixado pela firewall a partir da ligação que vê.\u0026#160;\u0026#160;Dourado: vem da carga útil.\u0026#160;\u0026#160;Rosa: aberto, por desenho. 1. Que campos são curingas? Uma origem curinga significa que o buraco não fica reservado à outra ponta da conversa que o criou. Quem chegar primeiro à tua interface exterior pode ficar com ele. O auxiliar de IRC tem de o fazer, porque o protocolo não pode mesmo saber quem se vai ligar, o que descreve bem um protocolo que nunca devia ser auxiliado. 2. Quem forneceu os valores? Não foi a firewall. Foi a carga útil, e a carga útil foi escrita pela ponta da conversa que o auxiliar estava a ler nesse momento. Não há autenticação em parte nenhuma dessa frase. 3. Para quem pode o buraco apontar? Na maioria dos auxiliares, para o anfitrião que o criou. No H.323, para o que a carga útil disser, porque o reencaminhamento nomeia um terceiro. Uma expectativa é uma regra de firewall com alguns campos em branco e um temporizador. Três perguntas decidem se é segura, e são as três certas a fazer a qualquer auxiliar em qualquer plataforma. Duas dessas respostas são piores do que as pessoas esperam. Os valores vêm da carga útil e não da firewall, por isso vêm de qualquer que seja a ponta da conversa que o auxiliar estava a ler. E no auxiliar de IRC o endereço de origem é um curinga por desenho, porque o protocolo não pode saber quem se vai ligar: «creates expectations whose destination address is the client address and source address is any address»11.\nEis a frase a levar contigo. Uma expectativa é uma regra de firewall de entrada, criada à velocidade da linha, por uma parte não fiável, sem registo de quem a pediu nem porquê. Guarda-a até à secção sobre o Cyber Essentials, porque é todo o argumento ali.\nComo previsto: o FTP diz PORT, e a firewall acredita Pega no auxiliar mais simples e vê-o a funcionar corretamente, porque o ataque é a mesma sequência com um participante trocado. O FTP ativo usa duas ligações. O cliente abre uma ligação de controlo ao servidor na porta 21 e dá-lhe comandos em ASCII simples, e quando quer uma transferência abre um socket à escuta e envia um comando PORT que nomeia o endereço e a porta para onde ligar de volta, e nesse momento o servidor liga-se para dentro. É o protocolo tal como especificado, e funciona assim desde 1985. No fio são seis números, quatro para o endereço e dois para a porta, byte mais significativo primeiro:\nPORT 192,168,1,29,4,0 Isso é 192.168.1.29, porta 1024, porque 4 × 256 + 0 = 1024.\nFTP ativo através de um auxiliar: quatro passos, todos corretos, e só duas coisas verificadas FTP ativo, exatamente como especificado, e o que foi verificado antes de o buraco abrir Cliente FTP 192.168.1.29 Firewall + auxiliar 203.0.113.10 Servidor FTP 198.51.100.7 1\u0026#160;\u0026#160;ligação de controlo para fora, porta 21: permitida, começou dentro 2\u0026#160;\u0026#160;o cliente fica à escuta e escreve o seu endereço no fluxo PORT 192,168,1,29,4,0 3\u0026#160;\u0026#160;o auxiliar age reescreve o endereço, cria a expectativa PORT 203,0,113,10,4,0 expect src=198.51.100.7 dst=192.168.1.29 dport=1024 4\u0026#160;\u0026#160;o servidor liga-se para dentro, a expectativa corresponde, os dados passam Repara no que a firewall verificou antes de o passo quatro ser possível. Que os bytes estavam numa ligação à porta 21. Que começavam pelos quatro caracteres PORT. É tudo, porque não há mais nada para verificar. O FTP não leva assinatura, nem chave de sessão, nem mais nada para testar. FTP ativo através de um auxiliar, correto em cada passo. Repara no que a firewall verificou antes de abrir o buraco: que os bytes estavam na porta 21 e começavam por PORT. Mais nada, porque não há mais nada para verificar. O auxiliar observa esse fluxo, deteta PORT, reescreve o endereço do privado para o público ajustando os números de sequência porque a string mudou de comprimento, e cria uma expectativa que permite a ligação de entrada do servidor na porta indicada. Genuinamente útil, inteiramente razoável dadas as limitações de 1994, e correto em cada passo.\nNada mais foi verificado, porque não há mais nada para verificar: o FTP não tem assinatura para oferecer, nem chave de sessão, nem autenticação de qualquer tipo, e o auxiliar está a ler um fluxo do qual não é parte.\nHá mais uma coisa nesse código, e é um aviso que os autores escreveram para si próprios. Se o endereço no comando PORT não for o do próprio cliente (se o cliente pedir ao servidor que se ligue a outro sítio completamente diferente), o auxiliar do Linux recusa por predefinição, e o comentário no código-fonte diz porquê: «DMZ machines opening holes to internal networks, or the packet filter itself»12. Define o parâmetro de módulo loose e essa recusa desaparece. As pessoas que escreveram o auxiliar sabiam exatamente o que se podia fazer com ele. Publicaram a predefinição segura e um interruptor, e vinte e cinco anos depois o interruptor ainda lá está.\nNão como previsto: os mesmos bytes, a partir de uma página web Um auxiliar lê um fluxo de bytes e procura um padrão. Não verifica, e estruturalmente não consegue verificar, que a coisa do outro lado é o cliente que finge ser. Samy Kamkar publicou a consequência em janeiro de 2010 e chamou-lhe NAT Pinning1. A mecânica é embaraçosamente pequena: põe um formulário numa página web, aponta-o para o servidor do atacante na porta 6667, e organiza o corpo para que contenha um pedido de chat direto.\nPRIVMSG samy :^ADCC CHAT samy 3325256705 22^A O navegador submete-o, convencido de que está a fazer um HTTP POST. O auxiliar de IRC do router, a observar uma ligação na porta 6667, vê passar DCC CHAT com um endereço e uma porta e faz aquilo para que foi construído. O endereço ali é 198.51.100.1 escrito como um único número decimal, que é como o protocolo o codifica, e a porta é a 22; nada nessa string foi escolhido pela vítima. A variante FTP é a mesma ideia apontada à porta 21, usando uma linha de resposta de modo passivo em vez disso1.\nNenhum cross-site scripting. Nenhuma falsificação de pedidos no sentido habitual. Nenhuma vulnerabilidade no navegador. O navegador fez o que os navegadores fazem, a firewall fez aquilo para que estava configurada, e o resultado é um reencaminhamento de porta para o atacante.\nDuas colunas que o auxiliar não distingue, porque no fio não há nada para distinguir O protocolo como previsto, e uma página web. O auxiliar vê uma só imagem. Um cliente verdadeiro Um formulário escondido O que o inicia Alguém abre um cliente FTP ou IRC e liga-se O cliente abre um socket e nomeia-o no fluxo PORT 192,168,1,29,4,0 O que o inicia Alguém abre uma página. É toda a sua contribuição. Um formulário envia ao servidor do atacante, mesma porta PORT 192,168,1,29,4,0 O que o auxiliar verifica porta de destino coincide\u0026#160;\u0026#160;\u0026#160;\u0026#160;\u0026#160;\u0026#160;\u0026#160;\u0026#160;\u0026#160;sim palavra-chave no início\u0026#160;\u0026#160;\u0026#160;\u0026#160;\u0026#160;\u0026#160;\u0026#160;\u0026#160;\u0026#160;\u0026#160;\u0026#160;\u0026#160;sim sintaxe válida\u0026#160;\u0026#160;\u0026#160;\u0026#160;\u0026#160;\u0026#160;\u0026#160;\u0026#160;\u0026#160;\u0026#160;\u0026#160;\u0026#160;\u0026#160;\u0026#160;\u0026#160;\u0026#160;\u0026#160;\u0026#160;\u0026#160;\u0026#160;\u0026#160;\u0026#160;\u0026#160;sim endereço e porta presentes\u0026#160;\u0026#160;\u0026#160;\u0026#160;\u0026#160;\u0026#160;\u0026#160;sim O que o auxiliar verifica porta de destino coincide\u0026#160;\u0026#160;\u0026#160;\u0026#160;\u0026#160;\u0026#160;\u0026#160;\u0026#160;\u0026#160;sim palavra-chave no início\u0026#160;\u0026#160;\u0026#160;\u0026#160;\u0026#160;\u0026#160;\u0026#160;\u0026#160;\u0026#160;\u0026#160;\u0026#160;\u0026#160;sim sintaxe válida\u0026#160;\u0026#160;\u0026#160;\u0026#160;\u0026#160;\u0026#160;\u0026#160;\u0026#160;\u0026#160;\u0026#160;\u0026#160;\u0026#160;\u0026#160;\u0026#160;\u0026#160;\u0026#160;\u0026#160;\u0026#160;\u0026#160;\u0026#160;\u0026#160;\u0026#160;\u0026#160;sim endereço e porta presentes\u0026#160;\u0026#160;\u0026#160;\u0026#160;\u0026#160;\u0026#160;\u0026#160;sim abre-se uma porta de entrada, igual nas duas colunas O que difere são as três coisas que o auxiliar não vê. Se havia um cliente. Se o utilizador o quis. Quem escolheu o endereço e a porta. Nada disso deixa rasto no fio, por isso nenhum cuidado no parser o recupera. As duas colunas estão perfeitamente bem formadas. O mesmo auxiliar, a mesma correspondência de padrão, a mesma expectativa, e nenhum cliente FTP ou IRC em lado nenhum da imagem. Cada verificação que o auxiliar faz é satisfeita de forma idêntica nas duas colunas, porque no fio não há diferença nenhuma para encontrar. Isso foi em 2010. Há dezasseis anos. Os fabricantes de navegadores acrescentaram as portas de IRC à sua lista de bloqueio, o que fechou essa porta em particular e deixou a sala para onde ela dava exatamente como estava.\nSê direto quanto ao essencial, porque perde-se debaixo dos nomes dos fabricantes e dos números de CVE. Os ataques não exploram uma falha nos auxiliares. Usam os auxiliares corretamente. Cada pacote está bem formado e cada verificação passa honestamente. A funcionalidade está a fazer o seu trabalho, e o seu trabalho é o problema.\nAlinhar os bytes onde o auxiliar os vai ler Havia um obstáculo real entre o NAT Pinning e algo muito pior, e a forma de o contornar é a coisa mais engenhosa aqui. A maioria dos auxiliares não procura um padrão em qualquer ponto de um fluxo: verifica que a palavra-chave está no início da parte de dados de um pacote, que é o aspeto de uma mensagem de protocolo verdadeira e o que um corpo HTTP nunca é, porque um corpo chega depois de uma pilha de cabeçalhos que o atacante não controla. Samy cita o próprio comportamento do kernel: o handler desiste a não ser que o método esteja no início dos dados2.\nAssim, o atacante precisa que o navegador emita um segmento cujo primeiríssimo byte seja a palavra-chave. Não pode escrever os cabeçalhos, mas pode escrever o corpo e torná-lo tão longo quanto quiser, o que transforma o problema em aritmética.\nMover a fronteira do segmento até a palavra-chave cair onde o auxiliar lê O auxiliar lê o primeiro byte de um segmento. Por isso o atacante muda onde os segmentos partem. Como o navegador o enviaria segmento 1 POST / HTTP/1.1 Host: ... segmento 2 ...cabeçalhos... PORT 192,168,... segmento 3 ...1,29,4,0 enchimento A palavra-chave está a meio do segmento dois, por isso o auxiliar passa por ela e não faz nada. Depois de o atacante definir o tamanho do segmento, ou confirmar só parte do fluxo segmento 1 POST / HTTP/1.1 Host: ... segmento 2 ...cabeçalhos e enchimento... segmento 3 PORT 192,168,1,29,4,0 A palavra-chave é agora o primeiro byte de um segmento. O auxiliar lê-a e abre a porta. As duas alavancas, e nenhuma é um ataque ao TCP. O servidor do atacante é uma ponta da ligação, por isso anuncia o tamanho máximo de segmento que a pilha da vítima vai usar, e decide quanto do fluxo confirmar. Confirma só uma parte e a vítima retransmite a partir do deslocamento que o atacante escolheu. Ambas são TCP comum e conforme às normas, usado deliberadamente. Porque é que o enchimento importa. O auxiliar só lê uma palavra-chave de protocolo quando ela é o primeiro byte de um segmento, por isso um atacante que só controla o corpo tem de mover a fronteira do segmento até cair ali. As duas alavancas são TCP comum, usado de propósito. O navegador envia um pedido grande com um delimitador reconhecível enterrado no corpo; o servidor do atacante deteta-o, mede quantos bytes de cabeçalhos vieram primeiro e passa a saber o deslocamento. Depois, ou anuncia um tamanho de segmento que põe o byte desejado numa fronteira, ou envia uma confirmação parcial para que a vítima retransmita a começar exatamente ali; e a Armis acrescenta que a janela TCP também pode ser forjada nessas confirmações, «in order to fully control how the TCP stream is to be segmented»3. É esse o truque todo, e não usa mais nada senão a ponta remota de uma ligação que o próprio navegador da vítima abriu.\nDepois de o teres, o navegador é um gerador de pacotes apontado para o interior da tua firewall. Só tem de pôr os trinta bytes certos no início de um segmento.\nO trabalho de 2021 dispensou a maior parte da aritmética. Uma ligação de relay do navegador sobre TCP leva um campo de nome de utilizador controlado pelo atacante, enviado cedo, que aceita mudanças de linha e bytes nulos; a Armis mostrou uma captura em que esse campo é \\r\\nPORT 192,168,1,29,4,0\\r\\n3. Pior, esse caminho não consultava de todo a lista de portas bloqueadas do navegador, por isso a única mitigação que a indústria tinha publicado duas vezes foi simplesmente contornada.\nNAT Slipstreaming do princípio ao fim Junta as peças e este é o ataque completo, por ordem.\nDo clique à ligação de entrada em seis passos, nenhum deles uma vulnerabilidade Seis passos. Quatro são web e TCP comuns. Um é a tua firewall. Um é o atacante. 1 A vítima abre uma página Um anúncio, uma ligação numa mensagem, qualquer coisa. É todo o envolvimento do utilizador. web comum 2 A página descobre o endereço interno Entregue pela interface de media do navegador, ou deduzido cronometrando endereços de gateway comuns. web comum 3 O atacante mede o caminho Um pedido enorme com um marcador, e uma captura de pacotes na outra ponta para ver onde caem os cortes. TCP comum 4 A página envia a carga útil real Com enchimento para a palavra-chave cair numa fronteira de segmento, como mostra o diagrama anterior. TCP comum 5 A tua firewall abre a porta O auxiliar reconhece a mensagem, reescreve o endereço nela e escreve a expectativa. a tua firewall 6 O atacante liga-se para dentro Ao teu endereço público, na porta mapeada. A expectativa corresponde e a firewall reencaminha-o para dentro. a tua firewall Conta as vulnerabilidades exploradas na máquina da vítima. Não há nenhuma. O navegador estava atualizado. O sistema operativo estava atualizado. Nada foi instalado e nenhuma credencial foi usada. Segundos, um clique, e o único componente que podia ter recusado era o que foi feito para recusar. A cadeia completa, do clique à ligação de entrada. Os passos um a quatro são comportamento web e TCP comum. O passo cinco é a funcionalidade da firewall a funcionar exatamente como documentado, e é o único componente que podia ter recusado. Tempo total: segundos. Interação do utilizador: um clique. Vulnerabilidades exploradas na máquina da vítima: nenhuma.\nA cronologia da divulgação é prova por si só. Samy publicou a 31 de outubro de 2020, e entre 6 de janeiro e 26 de fevereiro de 2021 o Chrome, o Edge, o Safari e o Firefox publicaram todos mitigações3, registadas como CVE-2020-16043, CVE-2021-23961 e CVE-2021-1799.\nQuatro fabricantes de navegadores publicaram correções de emergência para uma funcionalidade de firewall. A Armis explica porquê nas suas próprias palavras: «While the underlying issue of this attack is the way NATs are implemented (in various ways in routers and firewalls, throughout numerous vendors and applications), the easiest and fastest way to mitigate was through a patch to browsers»3.\nIsso não é uma correção. São quatro outras indústrias a pôr sacos de areia à volta da porta de outra pessoa, porque a porta em si nunca ia ser substituída.\nO reencaminhamento de chamadas H.323 aponta para qualquer coisa na tua rede A maioria dos auxiliares limita os danos sem querer. O auxiliar de FTP fixa o destino da expectativa no cliente que a criou, por isso o pior que um atacante consegue é uma porta na máquina que clicou: mau, mas aguenta-se.\nO H.323 é catastrófico, e a razão é uma funcionalidade de telefonia.\nUm sistema telefónico tem de suportar o reencaminhamento de chamadas, e uma chamada reencaminhada é, por definição, uma chamada para alguém que não está na linha. Por isso a sinalização tem de nomear um terceiro ponto terminal, e o auxiliar tem de lhe abrir um caminho, ou o reencaminhamento simplesmente não funciona através de NAT. Todas as implementações sérias o suportam, e o auxiliar do netfilter documenta o comportamento de forma explícita, com um diagrama13. A Armis leu o código e enunciou a consequência numa frase: «a single H.323 packet sent over TCP port 1720 that initiates call forwarding can open a pinhole (named an expectation in the conntrack subsystem) to any TCP port of any internal IP on the network»3.\nFixada num anfitrião, ou apontada a qualquer coisa na rede A maioria dos auxiliares só chega à máquina que clicou. Um deles não tem limites. FTP, SIP, IRC H.323, com reencaminhamento A expectativa diz dst = o anfitrião cuja ligação a criou A expectativa diz dst = o endereço que a carga útil indicar a máquina que clicou 192.168.1.29 a impressora porta 9100 a câmara palavra-passe de origem o controlador sem autenticação Raio de impacto Uma máquina. Todas as portas dela, enquanto a regra durar, o que já é mau mas aguenta-se. O dispositivo é gerido, corrigido e corre algo que regista. Raio de impacto Todos os endereços da rede, uma mensagem cada. Percorre a gama, lê os banners, escolhe um alvo. Nenhum desses dispositivos fez um pedido ou correu um navegador. O reencaminhamento de chamadas é toda a diferença, e é uma funcionalidade, não uma falha. Uma chamada reencaminhada é para alguém fora da linha, por isso a sinalização nomeia um terceiro e o auxiliar obedece. Porque é que um auxiliar está numa categoria diferente dos outros. Fixa a expectativa no anfitrião que a criou e o atacante chega a uma máquina. Deixa o reencaminhamento de chamadas nomear um terceiro, como o protocolo exige, e ele percorre toda a tua gama de endereços. Qualquer porta TCP. Qualquer endereço interno. A partir de um pacote, que o atacante pôs um navegador a enviar.\nAssim, o ataque deixa de ser sobre a máquina da vítima e passa a ser uma varredura de portas da tua rede interna, feita a partir da internet, com os resultados lidos de volta através de ligações que a tua própria firewall está a autorizar. Os dispositivos que encontra são o objetivo, porque não estão corrigidos, muitas vezes nem são corrigíveis, e todo o modelo de segurança da maioria deles é está do lado de dentro. A Armis pôs um número nisso: um ano depois da publicação, 97% dos controladores industriais vulneráveis a um conjunto de falhas críticas continuavam por corrigir3. É essa a realidade que o «do lado de dentro» está a segurar.\nPor isso o H.323 é o primeiro a tratar, em todas as plataformas, porque chega para lá da vítima; e é também o que quase ninguém usa, o que o torna a melhoria de segurança mais barata aqui. Desliga-o. Ninguém te vai telefonar.\nO auxiliar pode ser disparado por uma mensagem que não enviaste Uma variante merece secção própria, porque quebra o pressuposto a que as pessoas se agarram quando querem uma razão para não agir: está bem, mas o gatilho tem de vir de dentro, por isso controla os navegadores e controlas o problema.\nNão.\nEm julho de 2022 David Leadbeater encontrou duas falhas no auxiliar de IRC do Linux14. O módulo procura a string \\1DCC em qualquer ponto do fluxo em vez de verificar que é uma mensagem bem enquadrada no sítio certo, e a sua verificação de endereço compara com o endereço do servidor de chat em vez do anfitrião atrás do tradutor, por isso o endereço publicamente conhecido de um servidor público satisfá-la. Junta as duas coisas e um atacante envia ao cliente da vítima um ping cliente-a-cliente (uma coisa perfeitamente normal de receber de qualquer outro utilizador) com um pedido de transferência direta lá dentro:\nPRIVMSG ExampleUser :^APING ^ADCC CHAT x 3325256705 22^A Pelas regras do protocolo, o cliente responde a um ping devolvendo a carga útil em eco, por isso o cliente da vítima envia obedientemente essa string para fora, e o auxiliar, a observar o fluxo de saída, encontra lá DCC e abre a porta.\nUma porta aberta por uma mensagem que a vítima nunca escreveu Ninguém lá dentro clicou em nada. O próprio cliente da vítima emitiu o gatilho, a pedido. O cliente da vítima 192.168.1.29 Firewall + auxiliar de IRC a ler o fluxo Um estranho qualquer utilizador, qualquer rede 1\u0026#160;\u0026#160;um ping normal, com um pedido de chat direto escondido na carga útil PRIVMSG ExampleUser :^APING ^ADCC CHAT x 3325256705 22^A 2\u0026#160;\u0026#160;o protocolo manda responder ao ping com a carga útil em eco, e assim faz 3\u0026#160;\u0026#160;as duas verificações do auxiliar passam, e nenhuma devia procura a palavra-chave em todo o fluxo, não no início de uma mensagem enquadrada valida o endereço contra o servidor de chat, não contra o anfitrião atrás do tradutor 4\u0026#160;\u0026#160;a expectativa existe, e a porta 22 está aberta para dentro, até à vítima Tudo nessa sequência seguiu a sua especificação. O estranho enviou uma mensagem legítima. O cliente respondeu como o protocolo exige. O auxiliar encontrou o padrão para que foi escrito. Nenhum utilizador decidiu nada, e nada em nenhum registo vai parecer minimamente estranho. O gatilho não tem de vir de alguém em quem confias, nem de um navegador, nem de nada que um utilizador tenha feito de propósito. Cada peça de software aqui seguiu a sua especificação, e o resultado é uma porta aberta e nada de estranho em nenhum registo. Ninguém lá dentro fez nada de errado e ninguém clicou. O cliente seguiu a especificação, e a especificação e o auxiliar juntos produziram um buraco de entrada para a porta 22 numa máquina dentro da rede. Tornou-se o CVE-2022-2663, e a descrição da base de dados nacional de vulnerabilidades é admiravelmente clara: «A firewall may be able to be bypassed when users are using unencrypted IRC with nf_conntrack_irc configured»15.\nRepara na palavra unencrypted. Guarda essa também.\nA recomendação do próprio autor é o ponto a que o resto deste artigo chega por outro caminho: «Potentially entirely deprecate and remove nf_conntrack_irc, it\u0026rsquo;s unclear it has much use anymore»14.\nOs parsers são a outra metade Tudo até aqui foi sobre auxiliares a funcionar corretamente. Há um segundo problema, separado: são parsers de protocolos escritos em C, no caminho rápido de um dispositivo de segurança, sobre dados fornecidos por estranhos, com a taxa de bugs que seria de esperar. Também não é um problema do Linux nem um problema de routers baratos: aparece em todos os fabricantes, no código pelo qual cobram mais.\nCVE Componente O que faz um pacote forjado CVE-2018-0051 Junos SIP ALG Faz cair o daemon de fluxo em SRX e MX; também regista que o SIP ALG vem ligado por predefinição exceto nos modelos topo de gama CVE-2018-15454 Cisco ASA / FTD, inspeção SIP Reinicia o dispositivo ou põe o CPU a 100% CVE-2022-2663 Linux nf_conntrack_irc Abre portas através da firewall, como acima CVE-2023-22412 Junos SIP ALG «Specific SIP messages» fazem cair o daemon de fluxo, de forma repetível CVE-2023-22415 Junos H.323 ALG Escrita fora dos limites a partir de «specific H.323 packets» CVE-2024-21616 Junos SIP ALG Um pacote SIP esgota o pool de NAT, e o tráfego legítimo deixa de ser traduzido CVE-2024-26851 Linux nf_conntrack_h323 Deslocamento de bits fora do intervalo ao descodificar o bitmap H.323 CVE-2024-39551 Junos H.323 ALG Memória esgotada por «specific packets» até o tráfego parar Todos são alcançáveis a partir da rede sem autenticação, por qualquer pessoa que consiga fazer chegar um pacote à interface exterior, ou seja, toda a gente. E lê a redação: specific SIP messages, specific H.323 packets, a specific SIP packet. Isso não é um protocolo a falhar sob carga. É alguém a construir um pacote de propósito.\nPensa no caso da Cisco. O CVE-2018-15454 foi publicado a 31 de outubro de 2018 com gravidade 8,6, estava a ser explorado ativamente, e o aviso dizia que a atualização de software ainda não estava disponível16. A mitigação da Cisco, no seu próprio aviso, é no inspect sip. Portanto, a resposta do fabricante a uma falha ativamente explorada na funcionalidade foi desligar a funcionalidade, o que levanta a pergunta sobre a qual o resto deste artigo assenta. Se desligá-la é uma resposta aceitável durante um incidente, com que fundamento está ligada no resto do tempo?\nUm auxiliar só funciona se não cifrares Esta parte devia encerrar a discussão por si só, e é a que recebe menos atenção. Um auxiliar de protocolo lê a tua carga útil e não consegue ler uma carga cifrada. Portanto, um auxiliar só está a fazer alguma coisa em tráfego que escolheste deixar em claro, e manter o auxiliar a funcionar significa manter esse tráfego em claro.\nTodos os protocolos da lista têm um modo cifrado há bem mais de uma década. O FTP tem TLS desde 200517; liga-o e as trocas PORT e PASV ficam invisíveis e o auxiliar não faz nada. O SIP tem TLS desde a especificação base, com media cifrada ao lado. O H.323 tem o seu próprio anexo de segurança. O chat tem TLS há muito tempo, e o conselho oficial para o CVE-2022-2663 foi, por estas palavras, usá-lo para que o auxiliar não consiga ver os teus pedidos de transferência15.\nO auxiliar precisa de texto em claro, por isso manter o auxiliar é manter o texto em claro Podes ter a cifragem ou podes ter o auxiliar. Não há terceira coluna. Canal de controlo cifrado Auxiliar a funcionar O que o auxiliar vê 17 03 03 01 a4 9c 2f e1 8b 44 d0 ... texto cifrado Sem palavra-chave. Sem endereço. Sem porta. Nada a encontrar. O que o auxiliar vê REGISTER sip:example ... Contact: 192.168.1.29:5060 E o mesmo vê qualquer outro dispositivo pelo meio. O que isso te custa O auxiliar não faz nada, por isso os pontos terminais têm de resolver a sua própria tradução, coisa que todos estes protocolos sabem fazer há uma década. O que isso te custa Credenciais de registo, quem ligou a quem, e todos os endereços internos, em texto simples, por todas as redes entre as duas pontas. Nenhuma delas é tua. O modo cifrado existe há tanto tempo FTP sobre TLS desde 2005\u0026#160;\u0026#160;\u0026#183;\u0026#160;\u0026#160;SIP sobre TLS com media cifrada desde a norma base\u0026#160;\u0026#160;\u0026#183;\u0026#160;\u0026#160;chat sobre TLS há décadas\u0026#160;\u0026#160;\u0026#183;\u0026#160;\u0026#160;H.323 tem anexo de segurança Assim, a forma honesta de «precisamos do SIP helper» é uma frase que ninguém diz em voz alta. É: precisamos que a sinalização atravesse redes não fiáveis em claro, para que uma caixa alheia a possa reescrever. A troca que ninguém regista. Um auxiliar só funciona sobre carga útil que consegue ler, por isso as duas colunas excluem-se mutuamente. A da direita é aquilo com que um SIP ALG a funcionar te pede que concordes. Assim, a forma honesta de «precisamos do SIP ALG» é: precisamos que a nossa sinalização de chamadas viaje em texto simples através de redes não fiáveis, para que uma middlebox que não controlamos a possa reescrever. Di-lo assim numa revisão de desenho e vê até onde chegas.\nHá uma versão mais afiada, e é por isso que esta não é uma decisão difícil. Deixar um auxiliar ligado é um incentivo permanente contra a cifragem: no dia em que alguém liga o SIP sobre TLS, as chamadas falham e a culpa é do auxiliar, por isso a alteração é revertida e o texto em claro fica mais um ano. Pergunta a quem já o tentou atrás de uma firewall de gama doméstica como correu.\nTodos os outros protocolos da internet foram no sentido contrário: tráfego web cifrado por predefinição, DNS cifrado, transporte de email cifrado, o QUIC a cifrar o próprio cabeçalho de transporte para que as middleboxes não o consigam ler. A era das middleboxes acabou na internet aberta há anos, e os últimos sítios que dependem de um dispositivo no caminho a ler a carga útil são aqueles onde alguém deixou um auxiliar ligado.\nO IPsec é aquele em que o auxiliar não consegue ler nada O que levanta a pergunta óbvia sobre o protocolo que não é mais do que cifragem. A resposta é pior do que imaginarias.\nO ESP não tem números de porta, sendo um protocolo IP de pleno direito, e um tradutor desmultiplexa o tráfego de retorno pela porta. Assim, com dois clientes atrás de um endereço a ir para o mesmo gateway, não há nada que distinga os seus pacotes de entrada. O RFC 3715 deixou isso escrito em março de 2004: um NAT não consegue aprender o mapeamento por inspeção, e «it is possible that the NAT will deliver the incoming IPsec packets to the wrong destination»18.\nPor isso os fabricantes construíram um auxiliar. Observa a troca IKE na UDP 500, cujos primeiros pacotes vão em claro, recolhe os cookies e o índice de parâmetros de segurança, e abre um gate para que o ESP de entrada com esse valor chegue ao anfitrião certo lá dentro. A Juniper descreve-o claramente: «When ESP traffic hits the IKE ALG gates, sessions are created to capture subsequent ESP traffic»19. O inspect ipsec-pass-thru da Cisco faz o mesmo para ESP e AH «associated with an IKE UDP port 500 connection», com um mapa predefinido que não impõe limite nenhum às ligações ESP por cliente20.\nO mesmo objeto, a mesma autoridade, exceto que o auxiliar nem sequer está a procurar uma palavra-chave. Não consegue analisar ESP, porque o ESP é a parte cifrada; está a encaminhar pacotes com base num número de 32 bits que viu passar em claro. A secção do RFC 3715 que cobre isto intitula-se, sem ironia, «Helper Incompatibilities», e regista que a desmultiplexação por cookies «results in problems with re-keying» e que os dispositivos que analisam payloads ISAKMP «may not handle all payload ordering combinations»18. Um palpite no lugar de uma regra, e um parser feito à mão no caminho dos pacotes, escrito há vinte e dois anos.\nA correção chegou dez meses depois, no protocolo: o RFC 3947 faz com que as duas pontas detetem um tradutor durante a troca de chaves, e o RFC 3948 envolve o ESP em UDP 4500 para que voltem a existir portas21. A Juniper diz então em voz alta a parte que se costuma calar: «IKE NAT-T traffic on floating port 4500 is not processed in an IKE ALG»19. Faz as coisas como deve ser e o auxiliar é totalmente contornado, que é a mesma frase que o FTP passivo e o ICE.\nO Linux principal nunca adotou este. Não há nenhum módulo ESP entre os protocolos do conntrack, e um patch de 2021 que acrescentava seguimento baseado em SPI passou por revisão na lista do netfilter e nunca foi integrado22. Os fabricantes que o incluem incluem-no fora da árvore, nas caixas com menos probabilidade de serem atualizadas.\nFalha o Cyber Essentials, ponto por ponto Até aqui isto foi um argumento de segurança. Para quem certifica no Reino Unido é também um argumento de conformidade, e não há nenhuma interpretação engenhosa envolvida: são três pontos contra três pontos. O Cyber Essentials é o esquema apoiado pelo governo do Reino Unido e gerido através da IASME, o seu primeiro controlo técnico são as firewalls, e o documento de requisitos atual é a versão 3.3, de abril de 2026. Eis o que te obriga a fazer, literalmente23:\nblock unauthenticated inbound connections by default ensure inbound firewall rules are approved and documented by an authorised person, and include the business need in the documentation remove or disable unnecessary firewall rules, when they are no longer needed Três requisitos de firewall, e o que um auxiliar faz a cada um Cyber Essentials, controlo um, firewalls. Três obrigações, e a resposta do auxiliar a cada uma. O que diz o documento de requisitos O que faz um auxiliar de protocolo Resultado «block unauthenticated inbound connections by default» A primeira obrigação, e a razão de existir do controlo. Permite uma, com base numa string num pacote. Quem forneceu a string não se autenticou perante nada. falha «ensure inbound firewall rules are approved and documented by an authorised person, and include the business need» Escrita à velocidade da linha pelo kernel. Ninguém a aprovou, ninguém a viu, sem documento, sem necessidade registada. falha «remove or disable unnecessary firewall rules, when they are no longer needed» O que pressupõe que alguém decidiu que eram precisas. Removida por um temporizador, que não é uma revisão; ninguém avaliou alguma vez se a regra era sequer necessária. falha É o primeiro dos cinco controlos técnicos, não um caso marginal no quinto. Aplica-se, nas palavras do próprio esquema, a firewalls de fronteira, computadores, portáteis, routers e servidores. Os três requisitos de firewall nos controlos técnicos do Cyber Essentials, e o que um auxiliar de protocolo faz a cada um. Três requisitos, três falhas, no primeiro dos cinco controlos. Uma expectativa existe precisamente para permitir uma ligação de entrada que de outro modo seria bloqueada, e a parte cujos dados a causaram não se autenticou perante nada, por isso o primeiro ponto falha à partida. A regra foi escrita à velocidade da linha por um módulo do kernel, por isso não há documento, nem necessidade de negócio registada, nem pessoa autorizada em lado nenhum da cadeia: pede o registo de aprovação da regra que deixou uma ligação chegar à porta 9100 da tua impressora e não tens nenhum, nem consegues fazer um, porque existiu durante noventa segundos há dezoito meses. E as regras de um auxiliar são removidas por um temporizador, o que não é uma revisão.\nTrês requisitos, três falhas, no primeiro controlo de cinco, aplicável, nas palavras do próprio esquema, a «boundary firewalls, desktop computers, laptops, routers, servers»23, ou seja, a tudo o que tens.\nSê justo quanto ao que isso significa, porque eu não sou o organismo de certificação. Um avaliador trabalha a partir do conjunto de perguntas e das provas que lhe dás, e esse conjunto pergunta se bloqueias ligações de entrada não autenticadas por predefinição e se as tuas regras de entrada estão documentadas e aprovadas. Responde que sim com um auxiliar ligado e a resposta não é verdadeira. Podes muito bem passar na mesma. Passar e cumprir não são a mesma coisa, e a diferença aparece depois de um incidente.\nE só está redigido de forma invulgarmente clara: uma norma da indústria de cartões, o questionário de um cliente e o formulário de proposta da tua seguradora perguntam todos a mesma coisa noutras palavras. Por isso esta é a secção a levar a quem assina o certificado. Não os ataques nem os CVE. Três pontos, e a resposta honesta a cada um.\nA indústria já decidiu isto há vinte anos Nada disto é novo ou contestado. O notável é há quanto tempo a decisão está tomada enquanto as predefinições continuavam iguais.\nVinte e cinco anos da mesma conclusão, e a única linha que nunca aparece A conclusão foi tirada em 2007. As predefinições não mexeram. Quando O que aconteceu Quem podia agir jan. 2001 O RFC 3027 cataloga os protocolos que o NAT estraga, e o que um ALG deve fazer a cada um normas fev. 2002 O RFC 3234 chama-lhe «a deliberate layer violation» e avisa de pontos de ataque extra normas jan. 2007 RFC 4787, uma Best Current Practice: os ALG de NAT para UDP SHOULD ser desligados normas jan. 2010 NAT Pinning: um formulário escondido numa página abre uma porta de entrada no visitante um investigador 2012 O netfilter ganha associação explícita e um interruptor contra a atribuição automática o kernel abr. 2016 O Linux muda a predefinição: sem regra explícita, os auxiliares não fazem nada. No 4.7 o kernel out. 2020 NAT Slipstreaming, e a variante de janeiro de 2021 que chega a todos os dispositivos investigadores nov. 2020 Quatro navegadores publicam mitigações; a norma web ganha uma lista de portas proibidas os navegadores ago. 2022 Afinal, o auxiliar de IRC dispara com uma mensagem que a vítima nunca escreveu um investigador 2023\u0026#8211;24 Mais quatro vulnerabilidades de ALG na gama principal de um fabricante investigadores Agora lê a coluna «quem podia agir» e repara em quem nunca lá está. Em vinte e cinco anos, nenhuma linha é um fabricante de firewalls a publicar uma atualização que desligue isto em equipamento já instalado. As normas pediram, o kernel mudou a montante, e nenhum chegou às caixas. Vinte e cinco anos da mesma conclusão, a que chegaram pessoas que não podiam corrigir aquilo que precisava de ser corrigido. A única linha que nunca aparece é um fabricante de firewalls a desligar a funcionalidade em equipamento já instalado. O RFC 3027 catalogou todos os protocolos que o NAT estraga em janeiro de 200124. O RFC 3234 pôs os ALG na taxonomia de middleboxes um ano depois e foi direto quanto ao custo de acrescentar caixas a um caminho: «creates extra points of attack, reduces or eliminates the ability to perform end to end encryption, and complicates trust models»10. Depois, em janeiro de 2007, o RFC 4787 (uma Best Current Practice, não uma sugestão) definiu como o NAT tem de se comportar, e o requisito dez dizia isto:\nREQ-10: To eliminate interference with UNSAF NAT traversal mechanisms and allow integrity protection of UDP communications, NAT ALGs for UDP-based protocols SHOULD be turned off.4\nDesligados. Há dezanove anos, com a razão dada: os auxiliares atrapalham os mecanismos que funcionam de verdade, e impedem-te de proteger o teu próprio tráfego. A mesma secção nota, com cansaço, que alguns produtos têm os ALG «turned on permanently»4.\nTrês anos depois o NAT Pinning mostrou uma página web a abrir uma porta1. O Netfilter respondeu em 2012 com o alvo CT, que associa um auxiliar a um fluxo nomeado através de uma regra explícita, e com um interruptor para parar de vez a atribuição automática11. Depois, a 25 de abril de 2016, o kernel mudou a predefinição, numa mensagem de commit que vale a pena ler na íntegra pelo cansaço que transmite:\nFour years ago we introduced a new sysctl knob to disable automatic helper assignment [\u0026hellip;] This knob kept this behaviour enabled by default to remain conservative. This measure was introduced to provide a secure way to configure iptables and connection tracking helpers through explicit rules. Give the time we have waited for this, let\u0026rsquo;s turn off this by default now, worse case users still have a chance to recover the former behaviour by explicitly enabling this back through sysctl.5\nIsso saiu no Linux 4.7, e desde então uma caixa com esses módulos carregados não faz nada com eles até escreveres uma regra que associe um a um fluxo. Tudo o que vem depois está no diagrama acima, até à própria norma da plataforma web passar a incluir a lista de portas25.\nAgora olha para a lista e vê o que falta. Em vinte e cinco anos, nem uma linha dela é um fabricante de firewalls a publicar uma atualização de firmware que os desligue em equipamento já instalado. O organismo de normas pediu. O kernel fê-lo a montante. Os navegadores pagaram a fatura. As caixas continuaram iguais.\nE a lista de portas bloqueadas é o sinal revelador. As portas 69, 137, 161, 554, 1719, 1720, 1723, 5060, 5061, 6566 e 10080 estão todas lá6: TFTP, NetBIOS, SNMP, RTSP, H.323 duas vezes, PPTP, SIP duas vezes, o protocolo dos scanners e o protocolo de backup Amanda. Lista os módulos auxiliares numa árvore do kernel Linux e vais descobrir que leste a mesma lista duas vezes. Não é coincidência, e não é um controlo de segurança: é uma indústria a manter uma lista de bloqueio de portas permanente e crescente porque outra não muda uma predefinição.\nDebaixo da maioria dos logótipos está o Linux O pormenor do netfilter é a parte importante, não uma digressão em forma de Linux. Uma parte muito grande das caixas que fazem NAT neste planeta são Linux com netfilter por baixo de uma interface de fabricante: todos os derivados do OpenWrt, que são a maior parte do mercado de routers domésticos e de pequenas empresas, a maioria dos routers domésticos fornecidos pelos ISP, uma boa parte do equipamento de NAT de operador, e muitos appliances comerciais cuja interface web não dá qualquer pista do que está por baixo. O auxiliar que analisa o teu SIP é muitas vezes o mesmo nf_conntrack_sip.c que vem no kernel principal, compilado por outra pessoa e conduzido por um menu.\nA prova está na própria investigação. Quando Samy foi procurar o SIP ALG num router Netgear, extraiu o firmware e encontrou um módulo do kernel com ftp_decode e sip_decode2. A lista de produtos testados pela Armis incluía o OpenWrt e o VyOS, mais uma categoria a que chamaram simplesmente «various consumer grade Linux routers», e a análise do H.323 que produziu a descoberta do qualquer-anfitrião-interno veio da leitura do código-fonte do netfilter, depois confirmada em firewalls comerciais de três fabricantes3.\nA predefinição do kernel não chega até ti. O Linux 4.7 desligou a atribuição automática de auxiliares em 2016, mas só se o kernel for suficientemente recente e ninguém a tiver voltado a ligar. A Armis encontrou o VyOS a pôr explicitamente nf_conntrack_helper de volta a 1, e notou que muitos produtos baseados em Linux a voltam a ativar «as it is still useful for many users»3. Um kernel de 2014 num produto de 2026 tem o comportamento de 2014, e um kernel atual com o interruptor ligado tem o mesmo. Nenhum dos dois aparece numa ficha técnica.\nConhecer o modelo do netfilter diz-te o que perguntar a qualquer outra caixa. As três perguntas da secção sobre expectativas não são perguntas de Linux. São as perguntas. Todos os fabricantes têm o mesmo objeto com outro nome, a documentação quase nunca te dá as respostas, e saber o que faz a implementação de referência é como percebes o que testar.\nFaz o trabalho no Linux como deve ser, e depois lê qualquer outro fabricante à luz dele.\nOs auxiliares do Linux, como deve ser Começa pelo que está realmente carregado:\nlsmod | grep -E \u0026#39;nf_conntrack|nf_nat\u0026#39; Os módulos auxiliares são os que têm nomes de protocolos (nf_conntrack_ftp, _sip, _h323, _irc, _tftp, _pptp, _snmp, _amanda, _sane, _netbios_ns e _talk), cada um com um nf_nat_* correspondente onde os endereços são reescritos. Depois verifica a atribuição automática, o interruptor que decide se um módulo carregado faz alguma coisa por si só:\nsysctl net.netfilter.nf_conntrack_helper Zero é o que queres, e é a predefinição a partir do Linux 4.75. Um significa que cada auxiliar carregado está ativo em cada fluxo que corresponda à sua porta, vindo de qualquer endereço: o comportamento de 2015, e aquele que os ataques deste artigo pressupõem.\nDepois observa conntrack -L expect numa firewall ativa. Com os auxiliares desligados fica vazio; com eles ligados, põe uma captura ao lado e vê as linhas a aparecer à medida que as pessoas usam a rede. Vale a pena fazê-lo uma vez: nada mostra o argumento mais depressa do que ver uma permissão de entrada que não escreveste a aparecer e a desaparecer à tua frente.\nSe a atribuição automática estiver desligada e ainda quiseres um auxiliar num fluxo específico, a forma sancionada é uma regra explícita, que o limita a um destino e a uma porta:\niptables -t raw -A PREROUTING -p tcp --dport 21 -d 192.0.2.10 -j CT --helper ftp O equivalente em nftables declara um objeto ct helper e associa-o com ct helper set na cadeia prerouting, que é a mesma disciplina com melhor sintaxe.\nRepara no que essa regra é: uma exceção de entrada documentada, aprovada e justificada pelo negócio, escrita por uma pessoa, onde um auditor a pode ler. Coisa que a versão automática nunca poderia ser.\nSe os queres eliminados em vez de adormecidos, e numa firewall devias querer, impede de todo que os módulos sejam carregados:\nfor m in ftp sip h323 irc tftp pptp snmp amanda sane netbios_ns talk; do echo \u0026#34;install nf_conntrack_$m /bin/false\u0026#34; done \u0026gt; /etc/modprobe.d/no-conntrack-helpers.conf O install ... /bin/false em vez de blacklist é deliberado: o blacklist só impede o carregamento por alias, e qualquer coisa que peça o módulo pelo nome continua a recebê-lo. E se a camada de firewall de uma distribuição os carregar por ti (o firewalld fá-lo quando uma zona tem o serviço FTP ou TFTP ativo), é essa a camada a corrigir, porque vai prestavelmente voltar a pô-los lá.\nTodos os outros logótipos, e como desligar Verifica a tua própria versão em vez de confiares em qualquer coisa na internet, incluindo o que eu escrevo; estas predefinições mudam entre versões e modelos.\nO pfSense e o OPNsense são a prova de que a discussão acabou. Não há SIP ALG para desativar, porque nunca houve um para ativar. Estão entre as distribuições de firewall mais instaladas que existem, correm a telefonia de muitíssimas organizações, e se um auxiliar fosse genuinamente necessário para o VoIP moderno isso não seria possível. O proxy de FTP seguiu o mesmo caminho: a Netgate tirou-o do sistema base em janeiro de 2015.\nO desenho do OpenBSD é o que todos os outros deviam ter copiado. O pf não reescreve cargas úteis no caminho de reencaminhamento de todo. Se queres o FTP auxiliado, corres o ftp-proxy, um daemon separado em espaço de utilizador, e escreves uma regra divert-to explícita que lhe envia a ligação de controlo26. Daí saem três propriedades de uma vez: está desligado a não ser que o ligues deliberadamente, só vê tráfego que nomeaste numa regra, e um bug nele faz cair um processo em userland em vez do caminho dos pacotes. É esse o aspeto do opt-in quando alguém o desenha em vez de o aparafusar.\nO OpenWrt não inclui os módulos ALG, e a atribuição automática fica desligada se os instalares.\nO Cisco ASA e o FTD trazem motores de inspeção na política global predefinida, e no inspect sip é o próprio conselho da Cisco durante um incidente:\npolicy-map global_policy class inspection_default no inspect sip no inspect h323 h225 no inspect h323 ras no inspect skinny No FTD é configure inspection sip disable a partir da CLI do dispositivo16. O IPsec pass-through é aquele em que a Cisco acertou: o inspect ipsec-pass-thru não está de todo na política predefinida, por isso, a não ser que alguém o tenha acrescentado deliberadamente, não há nada a remover20.\nO Cisco IOS e o IOS XE também o têm ligado por predefinição («NAT support for SIP is enabled by default on port 5060», nas palavras da própria Cisco7), e o mesmo para o H.323:\nno ip nat service sip tcp port 5060 no ip nat service sip udp port 5060 no ip nat service h225 O Juniper SRX ativa o SIP e o H.323 nos modelos para filiais e não nos topo de gama, o que só por si te diz o que os engenheiros da Juniper pensam deles. Descobre onde estás com show security alg status, e depois:\nset security alg h323 disable set security alg sip disable set security alg ftp disable set security alg ike-esp-nat disable O FortiGate inspeciona VoIP por predefinição através do perfil VoIP, com um session helper do kernel por baixo. A sequência documentada pela Fortinet remove primeiro o auxiliar27:\nconfig system session-helper show delete \u0026lt;the sip entry\u0026gt; end config system settings set default-voip-alg-mode kernel-helper-based end Lê o número da entrada na tua própria saída do show em vez de copiares um; muda entre modelos e versões, e a Fortinet avisa que muitas vezes é preciso reiniciar.\nO Check Point é o difícil de auditar, porque não há um interruptor único. O auxiliar é uma propriedade do objeto de serviço na regra, por isso o serviço SIP predefinido dá-te o handler do protocolo e tudo o que ele faz. Evitá-lo significa criar o teu próprio serviço UDP ou TCP simples na porta 5060 com o tipo de protocolo definido como nenhum, colocado acima de tudo o que ainda use os serviços incorporados. «O ALG está ligado?» não é, portanto, uma pergunta a que uma página de definições consiga responder. Assim, tem cuidado antes de aceitares a palavra de alguém de que está desativado.\nA Palo Alto dá-te uma opção por aplicação, e a sua própria documentação diz que o SIP ALG «creates dynamic NAT pinholes»8. Objects, Applications, procura sip, marca Disable ALG, faz commit.\nA MikroTik traz dez auxiliares em /ip firewall service-port (SIP, H.323, FTP, IRC, TFTP, PPTP, RTSP e mais), documentados numa linha cada, sem nenhum aviso de segurança na página. Lista primeiro, depois desativa o que encontrares:\n/ip firewall service-port print /ip firewall service-port set [find name=sip] disabled=yes /ip firewall service-port set [find name=h323] disabled=yes /ip firewall service-port set [find name=ftp] disabled=yes Routers domésticos e fornecidos pelos ISP. Procura «SIP ALG», «SIP helper», «VoIP passthrough», «IPsec passthrough» ou «application layer gateway», normalmente nas opções avançadas de NAT. Em muitos dos fornecidos pelos ISP não há opção nenhuma, o que te diz se essa caixa pertence a uma rede pela qual és responsável.\nSeja qual for a plataforma, termina da mesma maneira: prova-o. Põe uma captura na interface exterior, envia de fora uma linha PORT ou REGISTER forjada para a porta relevante e confirma que nada se abre. Uma definição que não testaste é uma crença.\nA maior parte do que deixa de funcionar já está morta Sê honesto quanto ao custo, porque é a base para pedir a alguém que faça isto. Desligar o auxiliar de SIP numa rede com telefones mal configurados pode estragar chamadas, normalmente áudio num só sentido ou registos que caem. Desligar o auxiliar de FTP estraga o FTP em modo ativo para fora. Desligar o auxiliar de H.323 estraga o H.323, se ainda tiveres algum. Conta com pelo menos uma destas se o fizeres numa única alteração numa rede para a qual ninguém olha há anos.\nAgora relê a lista, e repara que quase todos os protocolos que um auxiliar serve são protocolos que o resto da indústria já enterrou. O H.323 perdeu para o SIP há vinte anos. O PPTP é indefensável desde 1998, um caso que defendi longamente em O IPsec foi uma boa ideia. As transferências diretas por IRC pertencem a uma década de que ninguém tem saudades. O serviço de nomes NetBIOS, as versões do SNMP com community strings, o protocolo de descoberta de scanners e o velho protocolo de backup são relíquias de rede local que nunca deviam atravessar uma fronteira. O FTP simples desapareceu por completo dos navegadores: o Firefox removeu-o em julho de 2021 e o Chrome em outubro desse ano, ambos com o argumento de que o uso era insignificante e a segurança não compensava a manutenção28.\nAssim, «não podemos desligar o auxiliar, alguma coisa vai deixar de funcionar» é normalmente um argumento para manter um protocolo morto ligado à máquina para justificar uma funcionalidade que abre portas a estranhos. Desligá-lo não estraga a tua rede. Expõe a única coisa nela que devia ter sido reformada há anos, o que é informação que de qualquer forma querias ter.\nO SIP é a exceção genuína, e a única. Tudo o resto nessa lista é uma discussão que devias ficar contente por perder, e nada disso é impossível de resolver, porque cada protocolo envolvido resolveu o seu próprio problema de tradução há anos, no protocolo, onde pertence.\nO que fazer em vez disso A resposta da middlebox e a resposta das pontas, lado a lado O mesmo problema, respondido duas vezes. Uma resposta pôs a decisão a meio. Decide uma caixa no caminho Decidem as duas pontas Como funciona Um dispositivo lê a carga útil à passagem Reescreve o endereço que lá encontra escrito Abre um buraco de entrada para a ligação descrita Ninguém em nenhuma das pontas sabe que isto aconteceu Como funciona Cada ponta pergunta a um servidor como é vista de fora Cada uma oferece todos os caminhos: local, traduzido, relay As duas pontas testam os caminhos uma contra a outra Mantêm aberto o que funciona com o seu próprio tráfego O que precisa de ti A carga útil legível, portanto sem cifragem no canal de controlo. Aquele dispositivo naquele caminho. Um só tradutor, por isso um de operador mais abaixo estraga-o. E confiança em quem escreveu o texto, que é a parte em que ninguém pensou até 2010. O que precisa de ti Acesso para fora, e mais nada. Funciona através de tradutores que não são teus e que não vês, através de dois empilhados, através de uma rede móvel, e com o canal de controlo cifrado de ponta a ponta, porque nada a meio o lê. Para ficheiros é ainda mais simples: modo passivo, em que o cliente abre as duas ligações para fora e não sobra nada para um auxiliar fazer. A coluna da direita não é uma proposta. É o que o teu navegador já faz. Todas as videochamadas num navegador são negociadas assim, através de todo o tipo de tradutores, sem ALG no caminho. O mesmo problema, resolvido duas vezes. Uma resposta pôs a decisão numa caixa a meio. A outra deixou as duas pontas resolverem entre si, que é o que todos os navegadores já fazem em todas as videochamadas. FTP. Modo passivo, na especificação desde 1985 e a predefinição em todos os clientes há vinte anos: as duas ligações abrem-se para fora e não sobra nada para um auxiliar fazer. E se estás a mover ficheiros entre organizações em 2026, o FTP não é o protocolo para isso: o SFTP e o FTPS são cifrados, e nenhum auxiliar toca em nenhum deles.\nSIP e tudo o resto em tempo real. O ponto terminal pergunta a um servidor na internet qual é o aspeto do seu endereço e porta públicos vistos de fora, oferece todos os caminhos candidatos que tem, e as duas pontas testam-nos uma contra a outra e ficam com um que funcione, com um relay onde não existe caminho direto. Isso é STUN, TURN e ICE, e é o que todos os navegadores do mundo fazem em todas as videochamadas, através de todo o tipo de tradutores, sem nenhum ALG no caminho. Se o teu sistema telefónico não consegue fazê-lo em 2026, o problema é o teu sistema telefónico.\nIPsec. NAT traversal, ou seja, o RFC 3947 e o RFC 3948: as duas pontas dão pelo tradutor durante a troca de chaves e envolvem o ESP em UDP 4500 durante o resto da sessão21, sem gate em nenhuma caixa pelo meio.\nH.323. Reforma-o. O SIP ganhou essa discussão por volta de 2005, por isso não há migração a planear, só uma eliminação. Transferências diretas, TFTP, SNMP, NetBIOS, descoberta de scanners e o protocolo de backup seguem o mesmo caminho: nenhum deles tem nada que atravessar uma fronteira.\nIPv6. Nada disto existe lá, porque não há tradução e portanto nada para um auxiliar reescrever. Um anfitrião tem o seu próprio endereço, o endereço na carga útil é verdadeiro, e uma firewall com estado permite aquilo que lhe disseste e mais nada. Todos os problemas deste artigo descendem da tradução de endereços, e essa descende de não se implementar o IPv6, um argumento que defendi noutro sítio e não vou repetir.\nAgora a parte em que não vou ser diplomático.\nSe alguém te disser para ligar isto (um fornecedor, um instalador de telefonia, um serviço gerido, um integrador ao abrigo de um contrato-quadro), essa pessoa não é engenheira de redes nem especialista em segurança. Pode ser muito boa naquilo que realmente faz, e isto não vai ser isso. A resposta correta a um sistema telefónico que precisa de uma firewall para lhe reescrever a sinalização é corrigir o sistema telefónico, e quem te diz para abrires a tua fronteira a um parser de correspondência de strings ou não sabe o que é uma expectativa ou não quer saber. Não somos amadores. Há uma forma certa de fazer isto em documentos de normas desde 2007, e «basta ativar o SIP helper» é o som de alguém a agarrar-se ao que fechar o ticket hoje.\nPergunta-lhes, na sala, para que está definido o curinga do endereço de origem da expectativa. Se a pergunta cair como uma surpresa, tens a tua resposta, e nunca foi sobre o protocolo.\nSe ainda os tens ligados, podes chamar-te profissional? É uma pergunta genuína e merece uma resposta genuína, por isso aqui vão três, porque há três casos. Depende de saberes, e saber não é algo que te acontece. Garantir que sabes é o trabalho.\nSe há um auxiliar de SIP, H.323 ou FTP ligado numa fronteira pela qual és responsável, e não consegues dizer sem ir ver o que é uma expectativa, quais dos seus campos são curingas, quem fornece os valores e o que a tua submissão de certificação afirma sobre regras de entrada, então não. Não nisto. Não escolheste uma configuração, herdaste uma predefinição e nunca a leste. A falha não é a lacuna; toda a gente tem lacunas e eu já tive esta. É construir uma fronteira por cima de uma lacuna que nunca fechaste, e depois assinar um documento a dizer que a fronteira é sólida.\nSe sabes exatamente o que faz, e está ligado porque um regulador nomeia o protocolo, ou porque o equipamento de um parceiro não termina mais nada, ou porque o sistema telefónico é substituído em março e isto tem de aguentar até lá, então sim, obviamente, e estás a fazer o trabalho como deve ser. São restrições reais e já contornei piores. O que torna isto profissional em vez de negligente é teres registado que auxiliar, em que interface, para que fluxo, porquê, e a data em que é desligado. Que é a papelada que o controlo de firewall pedia de qualquer forma.\nO caso indefensável é o do meio. Saber o suficiente para estar desconfortável, e deixar ficar porque ninguém te obrigou a justificar. Isso não é engenharia. É hábito com um número de alteração agarrado, e é assim que uma funcionalidade que uma Best Current Practice te mandou desligar em janeiro de 2007 continua ligada em 2026.\nIsto importa mais quando estás a pagar a alguém pelo seu discernimento, porque não consegues inspecionar discernimento na entrega. Por isso inspeciona-o antes de assinar. Pergunta o que a configuração-padrão deles faz com os auxiliares de protocolo e porquê, pergunta o que acontece se alguém na rede de convidados abrir uma ligação, e pergunta que dispositivos internos ficariam alcançáveis com o auxiliar de H.323 ligado; depois vê se dizem «só a máquina que clicou», porque essa é a resposta errada que uma pessoa com ar competente dá. Em dois minutos vais saber se te estão a explicar alguma coisa ou a ler um guião, e dois minutos é um teste muito mais barato do que um incidente.\nSe a resposta vier como um encolher de ombros e assinares na mesma, isso também é uma decisão. Só deixou de ser deles e passou a ser tua.\nNunca ninguém foi obrigado a justificá-lo Quero ser justo com as pessoas que construíram estas coisas, porque merecem. Em 1994 o auxiliar era uma resposta razoável a um problema real. Os endereços estavam a escassear, o NAT era a solução pragmática, um punhado de protocolos importantes não lhe sobreviveu, e as opções eram mudar todos os clientes FTP do mundo ou ensinar a caixa a ler. Ensinaram a caixa a ler, publicaram as predefinições mais seguras de que se conseguiram lembrar, e escreveram avisos no código-fonte sobre o que se podia fazer com ele. Esses avisos ainda lá estão. Citei um.\nO que correu mal depois não foi uma falha técnica. Foi nada nesta indústria ter alguma vez obrigado alguém a voltar a olhar para isto. O IETF disse para os desligar e não tinha poder para obrigar ninguém. O kernel mudou a sua predefinição e não conseguia chegar aos dispositivos já enviados. Investigadores provaram-no quatro vezes em dezasseis anos, e de cada vez a correção caiu noutro sítio que não a firewall. Entretanto a predefinição ficou ligada, não porque alguém a defendesse, mas porque uma predefinição sobre a qual ninguém discute sobrevive indefinidamente, e nenhum departamento em lado nenhum tem como função acabar com coisas.\nEsse é o padrão, e é maior do que uma funcionalidade de firewall. Este ofício é excelente a manter e péssimo a parar. A manutenção tem orçamento, pessoal, é faturável e segura; a reforma precisa que uma pessoa ponha o seu nome numa alteração sem nenhum ganho se correr bem e com o seu nome por todo o lado se correr mal. Por isso a coisa fica, e um dia alguém descobre que ela abre portas para a tua impressora.\nO sinal revelador, para mim, é aquela expressão na própria documentação da Cisco: o ALG cria uma porta NAT (NAT door). Não um filtro. Não um controlo. Uma porta, na parede pela qual pagaste, aberta por quem lhe fizer chegar um pacote com as palavras certas à frente; e a resposta assente tem sido pedir a quem passa que não experimente o puxador.\nPodes fechar a tua esta tarde, e é essa a parte com que vale a pena terminar. Não os ataques; os ataques são só o que acontece quando ninguém o faz. Vai ver o que a tua fronteira permite para dentro que nunca registaste, decide se era isso que querias, e tira o que não querias, pondo uma data ao lado do que ficar.\nÉ só isso que uma fronteira alguma vez foi: uma lista de coisas que alguém escolheu permitir, e sabia dizer porquê. Qualquer coisa nela que ninguém escolheu não é segurança. É mobília.\nSamy Kamkar — NAT Pinning, 5 de janeiro de 2010. O ataque original do navegador ao ALG, usando um formulário escondido para fazer um navegador emitir um DCC CHAT de IRC ou uma linha de resposta FTP 227, de modo que o auxiliar do router abra uma porta de entrada. «No XSS or CSRF required.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nSamy Kamkar — NAT Slipstreaming, 31 de outubro de 2020, atualizado em janeiro de 2021. Resumido pelo autor como permitindo «an attacker to remotely access any TCP/UDP service bound to a victim machine, bypassing the victim\u0026rsquo;s NAT/firewall (arbitrary firewall pinhole control), just by the victim visiting a website». Contém a técnica da fronteira de segmento, a nota de que o handler SIP «will bail unless the method (eg, REGISTER) occurs at the start of the data portion of the packet», e a análise do firmware Netgear.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nBen Seri e Gregory Vishnepolsky, Armis — NAT Slipstreaming v2.0, 26 de janeiro de 2021. A primitiva de reencaminhamento de chamadas H.323, o contorno por relay da lista de portas restritas dos navegadores, a lista de produtos testados (OpenWrt, VyOS, routers Linux domésticos, FortiGate, Cisco ASAv e csr1000v, HPE vsr1000, SonicWall TZ300), a cronologia da divulgação, e a conclusão de que «resolving the issue will require a fundamental change of their implementations by various router/firewall vendors».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 4787 — Network Address Translation (NAT) Behavioral Requirements for Unicast UDP, janeiro de 2007, BCP 127. A secção 7 contém o REQ-10, e a observação de que «Certain NATs have these ALGs turned on permanently, others have them turned on by default but allow them to be turned off».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nPablo Neira Ayuso — netfilter: nf_ct_helper: disable automatic helper assignment, commit 3bb398d9, 25 de abril de 2016, incluído no Linux 4.7. Muda a predefinição de nf_conntrack_helper de ativo para desativado.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCódigo-fonte do Chromium — net/base/port_util.cc. O seu array kRestrictedPorts inclui 69, 137, 139, 161, 554, 1719, 1720, 1723, 5060, 5061, 6566 e 10080. O anúncio das portas SIP por Adam Rice, 5 de novembro de 2020: «a carefully-crafted HTTP request to port 5060 on an attacker\u0026rsquo;s server can fool some NAT devices into treating it as a SIP packet and setting up port forwarding.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCisco — SIP ALG Hardening for NAT and Firewall, IP Addressing Configuration Guide, Cisco IOS XE 17.x. «SIP ALG creates a firewall pinhole or a Network Address Translation (NAT) door based on the first value in the Via header field.» O suporte de NAT para SIP está «enabled by default on port 5060». Ver também Using Application-Level Gateways with NAT, que afirma que o SIP e o H.323 vêm ligados por predefinição.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nPalo Alto Networks — Disable the SIP Application-level Gateway (ALG). «SIP ALG creates dynamic NAT pinholes but may interfere with VoIP applications that have NAT traversal capabilities, causing communication failures.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 2663 — IP Network Address Translator (NAT) Terminology and Considerations, agosto de 1999. A secção 2.9 é onde se define o Application Level Gateway.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 3234 — Middleboxes: Taxonomy and Issues, fevereiro de 2002. A frase sobre a violação de camadas está na secção 2.11; o custo de caixas extra no caminho, na secção 5.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nEric Leblond, Pablo Neira Ayuso, Patrick McHardy, Jan Engelhardt e Mr Dash Four — Secure use of iptables and connection tracking helpers. «This system relies on parsing of data coming either from the user or the server. It is therefore vulnerable to attack.» Fonte da citação sobre o curinga do IRC; documenta o sysctl nf_conntrack_helper e o alvo CT --helper.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCódigo-fonte do kernel Linux — net/netfilter/nf_conntrack_ftp.c. O parâmetro de módulo loose é falso por predefinição, protegendo o caso em que o endereço do PORT não é o do próprio cliente; o comentário nomeia o risco como «DMZ machines opening holes to internal networks, or the packet filter itself».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nnetfilter — H.323 conntrack/NAT helper, pelo autor do módulo. Inclui o cenário de reencaminhamento de chamadas que permite a uma sessão referir um endereço de terceiros.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nDavid Leadbeater — NAT-Again: IRC NAT helper flaws, agosto de 2022. Demonstra o gatilho por eco de ping, nota que também permite varrer, desmascarar utilizadores ocultos e desligá-los nomeando a porta 0, e recomenda: «Potentially entirely deprecate and remove nf_conntrack_irc, it\u0026rsquo;s unclear it has much use anymore.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCVE-2022-2663 — «An issue was found in the Linux kernel in nf_conntrack_irc where the message handling can be confused and incorrectly matches the message. A firewall may be able to be bypassed when users are using unencrypted IRC with nf_conntrack_irc configured.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCisco — aviso para o CVE-2018-15454, 31 de outubro de 2018. A mitigação indicada é no inspect sip no ASA e configure inspection sip disable no FTD; a NVD regista que, à data da publicação, «Software updates that address this vulnerability are not yet available.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 4217 — Securing FTP with TLS, outubro de 2005.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 3715 — IPsec-Network Address Translation (NAT) Compatibility Requirements, março de 2004. A secção 2.1, alínea (f), trata da seleção do SPI face ao NAT; a secção 2.3 intitula-se Helper Incompatibilities e contém as frases citadas sobre a desmultiplexação por cookies IKE e a análise de payloads ISAKMP.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nJuniper — IKE and ESP ALG, Application Layer Gateways User Guide. Fonte da descrição do gate, da nota de que o tráfego NAT-T na porta 4500 não é processado pelo ALG, e do aviso de que, onde dois clientes partilham um endereço traduzido, o dispositivo «will be unable to distinguish and route return traffic properly».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCisco — IPsec Pass Through Inspection, ASA Firewall CLI Configuration Guide 9.20. «IPsec Pass Through application inspection provides convenient traversal of ESP (IP protocol 50) and AH (IP protocol 51) traffic associated with an IKE UDP port 500 connection.» Não está na política predefinida; o _default_ipsec_passthru_map fornecido «sets no maximum limit on ESP connections per client».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 3947 — Negotiation of NAT-Traversal in the IKE, e RFC 3948 — UDP Encapsulation of IPsec ESP Packets, ambos de janeiro de 2005.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCole Dishington — netfilter: nf_conntrack: Add conntrack helper for ESP/IPsec, maio de 2021, terceira revisão. Revisto na netfilter-devel e não integrado; o net/netfilter do ramo principal continua sem nf_conntrack_proto_esp.c.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNCSC e IASME — Cyber Essentials: Requirements for IT Infrastructure v3.3, abril de 2026. O controlo 1, Firewalls, aplica-se a «boundary firewalls, desktop computers, laptops, routers, servers, IaaS, PaaS, SaaS»; os três requisitos citados são palavras do próprio documento.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 3027 — Protocol Complications with the IP Network Address Translator, janeiro de 2001. «The purpose of this document is to identify the protocols and applications that break with NAT enroute.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nWHATWG Fetch — pull request 1109, a alteração à norma que acrescentou as entradas de portas proibidas em todos os navegadores.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nOpenBSD — ftp-proxy(8). As ligações de controlo só lhe chegam porque as enviaste para lá: «FTP control connections should be redirected into the proxy using the pf(4) divert-to command, after which the proxy connects to the server on behalf of the client.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nFortinet — Technical Tip: Disabling VoIP Inspection. Documenta a remoção da entrada SIP de config system session-helper, set default-voip-alg-mode kernel-helper-based, e nota que reativar exige um reinício.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nMozilla — Stopping FTP support in Firefox 90, 20 de julho de 2021, e Google — Deprecations and removals in Chrome 95, outubro de 2021: «Use of FTP in the browser is sufficiently low that it is no longer viable to invest in improving the existing FTP client.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\n","permalink":"https://blogs.damiendye.uk/pt/networking/protocol-helpers-turn-them-off/","summary":"Um auxiliar de protocolo (SIP ALG, auxiliar de FTP, H.323 ALG, auxiliar do conntrack, chama-lhe o que o teu fabricante lhe chamar) lê a carga útil de uma ligação, encontra um endereço e uma porta escritos no texto e abre um furo de entrada para eles. Não consegue saber se esse texto veio de um cliente FTP verdadeiro ou de um formulário escondido numa página web, porque não há nada nele que o diga. Samy Kamkar provou o caso do navegador em 2010. O NAT Slipstreaming voltou a prová-lo em 2020, e a Armis alargou-o em 2021 para chegar a qualquer dispositivo da tua rede, não só à máquina que clicou. O IETF pediu que viessem desligados por predefinição em 2007, o Linux desligou-os em 2016, e os fabricantes de navegadores acabaram por publicar uma lista de portas bloqueadas que parece um diretório de módulos do conntrack. Este artigo percorre o mecanismo diagrama a diagrama (a tabela de expectativas, o truque do alinhamento de segmentos, o reencaminhamento de chamadas H.323, o auxiliar de IRC que dispara com a mensagem de outra pessoa), inclui o auxiliar de IPsec pass-through, que não consegue ler ESP de todo e encaminha pacotes de entrada com base num SPI que viu passar em claro, confronta tudo com o controlo de firewall do Cyber Essentials que claramente falha, e dá os comandos para desligar tudo em Linux, Cisco, Juniper, FortiGate e MikroTik.","title":"A tua firewall aceita instruções de estranhos. Desliga os auxiliares de protocolo."},{"content":"O IPsec foi uma boa ideia. Põe a cifra na camada de rede, por baixo de tudo, e todos os protocolos que correm sobre IP herdam confidencialidade e integridade sem ninguém lhes dizer nada. Nenhuma biblioteca para ligar. Nenhum certificado por aplicação. Nada para reescrever naquilo que já entregaste. O pacote sai protegido e chega protegido, e os routers pelo meio transportam-no sem saber nem querer saber o que vai lá dentro.\nEsse desenho assenta num único pressuposto, e está escrito na norma, não apenas implícito: o endereço de um pacote identifica a máquina de onde ele veio. Uma associação de segurança é procurada pelo endereço de destino, pelo número de protocolo e pelo SPI1. O Authentication Header vai mais longe e assina o próprio cabeçalho IP, origem e destino incluídos2. Para o IPsec, o endereço não é metadados de encaminhamento. É parte da identidade e parte da verificação de integridade.\nDepois esta indústria passou trinta anos a tirar o endereço.\nPrimeiro o NAT, para meter um escritório atrás de uma linha. Depois o NAT de operadora, para meter várias centenas de casas atrás de um endereço, porque ativar o IPv6 dava trabalho e comprar uma caixa era só uma questão de compras. Esse é todo o assunto de We Never Ran Out of Addresses. We Ran Out of Effort. e não vou voltar a ele aqui. O que importa para este artigo é a consequência. A única coisa sobre a qual o IPsec foi construído é precisamente a coisa que a rede de acesso moderna já não fornece.\nPor isso o IPsec foi remendado. Embrulha o pacote cifrado em UDP para que um tradutor tenha uma porta para reescrever. Põe o checksum a zero para que nada o volte a validar. Envia um pacote de um byte a cada vinte segundos, para sempre, para que uma tabela no equipamento de outra pessoa não se esqueça de que existes. Tira a identidade do endereço e passa-a para um nome. Abandona o Authentication Header, porque por construção não sobrevive a um cabeçalho reescrito. Quando um hotel bloqueia UDP, embrulha tudo também em TCP3.\nCada uma destas é uma correção real, normalizada e suportada pelos fabricantes. Juntas são um protocolo segurado pelos próprios andaimes. E os andaimes são o argumento: ninguém passa um quarto de século a escorar uma coisa por ela ser fundamentalmente sólida.\nA conclusão a que cheguei é que o IPsec deve ser retirado por completo. Não afinado, não reproposto com cifras melhores, não mantido para site-to-site porque essa parte ainda funciona. Retirado, com datas, como o PPTP devia ter sido retirado uma década antes de alguém se lembrar de o fazer. O que se segue são as provas, os diagramas, a documentação dos fabricantes que diz tudo isto pelas palavras deles e, porque a maioria de quem lê isto ainda tem de manter estas coisas a funcionar na segunda-feira, um método prático para diagnosticar avarias de IPsec entretanto.\nO que te custa realmente, em tickets Antes das normas, aqui fica a conta, pela ordem em que a vais encontrar.\nO túnel cai a horas certas. De hora a hora, ou de oito em oito, ou ao fim de vinte minutos sem tráfego. Volta quando alguém abre um ficheiro, por isso metade dos utilizadores nunca o reporta e a outra metade reporta-o como «a VPN está lenta». Ninguém mudou nada.\nDuas pessoas na mesma casa não conseguem ligar-se as duas. A segunda liga-se, a primeira cai. Telefonam para o service desk em separado, por isso os tickets nunca se cruzam e ninguém repara no padrão durante quinze dias.\nAs coisas pequenas funcionam e as grandes ficam penduradas. O login funciona. O Teams funciona. O ping funciona. Copiar um ficheiro empanca sempre no mesmo sítio, e abrir uma página grande numa aplicação interna fica ali parado até dar timeout.\nO túnel está em cima e não passa tráfego. As duas pontas dizem estabelecido. As duas pontas estão muito satisfeitas consigo próprias. Nada se mexe.\nNada consegue entrar. O site-to-site para a filial que passou para uma operadora alternativa de fibra já não se estabelece no sentido em que costumava, e ninguém sabe dizer porquê, só que «o IP deles mudou».\nLigar a QoS partiu a cifra. Alguém deu prioridade à voz, e agora a outra ponta está a deitar fora pacotes como se fossem repetições.\nNenhuma destas é uma má configuração no sentido comum. Cada uma é o IPsec a encontrar a rede tal como ela é agora. O resto deste artigo explica porquê, por ordem, e como provar qual delas te calhou.\nO IPsec não é transportado pela rede. É a rede. Começa pelo que ele era, porque o desenho é genuinamente bom e as falhas só fazem sentido quando comparadas com ele.\nO ESP não é um protocolo que corre sobre TCP ou UDP. É um protocolo de transporte, número de protocolo IP 50, assente diretamente sobre o IP, no mesmo lugar onde estão o TCP e o UDP. O AH é o protocolo 51. Nenhum dos dois tem campo de porta, porque nenhum precisa: na internet para a qual o IPsec foi desenhado, o endereço de destino já identifica exatamente uma máquina, e o SPI no cabeçalho ESP identifica qual associação de segurança nessa máquina. Endereço mais protocolo mais SPI. Esse trio é a chave da pesquisa1.\nO desenho especificado: o endereço identifica a máquina, por isso não são precisas portas e qualquer ponta pode começar O IPsec especificado: o endereço é a identidade Anfitrião A 203.0.113.10 Routers só encaminham Anfitrião B 198.51.100.7 qualquer ponta pode começar O que sai da máquina cabeçalho IP exterior src 203.0.113.10 para 198.51.100.7 protocolo 50 = ESP SPI 4 B sequência 4 B conteúdo cifrado o teu pacote, ilegível em trânsito ICV 16 B Pesquisa da associação = endereço de destino + protocolo + SPI. Nenhum campo de porta, porque não é preciso. Três coisas que este desenho pressupõe, todas verdadeiras em 1995: O endereço no pacote é a máquina. Nada no caminho reescreve um cabeçalho. Qualquer ponta pode ser chamada. O Authentication Header vai ainda mais longe e assina o próprio cabeçalho exterior, origem e destino incluídos, para que o recetor possa provar que os endereços não foram tocados pelo caminho. Fora de escala. O overhead do ESP varia com a cifra; os números aqui são AES-GCM em modo túnel sobre IPv4. O desenho tal como foi especificado. O ESP assenta diretamente sobre o IP como protocolo 50, sem portas, porque não precisa delas: o endereço de destino identifica o anfitrião e o SPI identifica a associação nele. O AH assina o próprio cabeçalho IP. As duas pontas têm um endereço real e alcançável, qualquer uma pode iniciar a conversa, e nada no meio precisa de perceber o conteúdo. Vê o que isso te dá. Não há porta de handshake para expor, não há camada de sessão para errar, não há aplicação que tenha de aderir. Qualquer ponta pode começar. O meio da rede é burro, que é exatamente o que o meio de uma rede deve ser. Um router encaminha o protocolo 50 da mesma maneira que encaminha o protocolo 6, e o facto de não conseguir ler o conteúdo é o objetivo, não uma limitação.\nÉ um desenho limpo. Em 2026 é também a descrição de uma internet que a maioria de quem lê isto não consegue comprar.\nDepois alguém pôs um tradutor em cada caminho Um NAT reescreve o endereço de origem, e muitas vezes a porta de origem, para que várias máquinas possam partilhar um endereço. É só isso que faz. Contra o IPsec é quase uma demolição completa, e o IETF foi suficientemente franco para publicar um documento inteiro a listar os destroços: o RFC 3715, IPsec-Network Address Translation (NAT) Compatibility Requirements4. Dezasseis incompatibilidades distintas. Estas são as que importam.\nO AH está acabado, por construção. Nas palavras do próprio RFC 3715: «Since the AH header incorporates the IP source and destination addresses in the keyed message integrity check, NAT or reverse NAT devices making changes to address fields will invalidate the message integrity check.»4 Não há correção para isso e nunca ia haver. Um protocolo que assina o cabeçalho não consegue atravessar uma caixa cujo trabalho inteiro é reescrever o cabeçalho. O AH não foi contornado. Foi abandonado.\nNão há portas para traduzir. Um NAT que faz tradução de portas precisa de uma porta. O ESP não tem nenhuma. A Cisco disse-o sem rodeios no guia de configuração do Catalyst: «If PAT found a legislative IP address and port, it would drop the Encapsulating Security Payload (ESP) packet.»5 O pacote não é rejeitado por política. É deitado fora porque a caixa não tem onde escrever aquilo que precisa de escrever.\nA identidade deixa de corresponder ao pacote. Outra vez do RFC 3715: «Where IP addresses are used as identifiers in Internet Key Exchange Protocol (IKE) Phase 1 or Phase 2, modification of the IP source or destination addresses by NATs or reverse NATs will result in a mismatch between the identifiers and the addresses in the IP header.»4 Um esquema de identidade que nomeia máquinas pelo endereço não sobrevive a um dispositivo cujo ofício é mudar o nome às máquinas.\nDuas máquinas podem escolher o mesmo SPI. O SPI é escolhido pelo recetor e só tem de ser único para ele. Põe dois anfitriões atrás de um endereço e o tradutor fica com duas associações e nada que as distinga.\nNada pode entrar primeiro. Um NAT constrói a tabela a partir dos pacotes de saída. Não há pacote de saída até alguém começar, e numa ligação com NAT só o lado de dentro pode começar. Metade da simetria do protocolo desapareceu.\nUm tradutor no caminho parte cinco coisas ao mesmo tempo, e cada correção custa alguma coisa Um tradutor no caminho, e cinco coisas partem-se de uma vez Anfitrião 192.0.2.20 Tradutor origem passa a 203.0.113.5 Gateway 198.51.100.7 nada pode começar deste lado O que a reescrita destrói 1 O cabeçalho assinado já não bate certo. O AH cobre os endereços de origem e destino, por isso a verificação de integridade falha por construção. Não há correção. O AH não se usa através de um tradutor. 2 Sem porta para reescrever. O ESP é o protocolo IP 50 e não tem campo de porta, por isso um tradutor que traduz portas não tem com que trabalhar e deita o pacote fora. 3 A identidade já não bate certo. A troca de chaves identificou o par pelo endereço. O endereço no cabeçalho é agora o de outra pessoa. 4 Dois anfitriões, o mesmo SPI. O recetor escolhe-o e só garante que é único para si, por isso o tradutor tem duas associações que não consegue distinguir. 5 Metade da simetria foi-se. A tabela vem dos pacotes de saída, por isso só o lado de dentro pode começar. O compromisso, e o que custa cada parte dele Embrulhar o pacote ESP inteiro em UDP na porta 4500, para o tradutor ter algo que perceba. Abandonar o Authentication Header por completo, porque nada o salva. Pôr o checksum UDP a zero, porque sobre endereços reescritos só falharia. Tirar a identidade do endereço e passá-la para um nome que o par declara. Enviar um byte a cada vinte segundos, para sempre, para a tabela alheia não te esquecer. Funciona. Isso não está em causa. O argumento é que nada sólido precisa de cinco cedências para passar uma caixa. O mesmo túnel com um tradutor no caminho. Cinco coisas partem-se ao mesmo tempo: o cabeçalho assinado já não corresponde, não há porta para o tradutor reescrever, a identidade já não corresponde ao endereço de origem, dois anfitriões podem escolher o mesmo SPI, e nada do lado de fora pode iniciar uma conversa. A linha de baixo é o que a indústria fez em resposta, e cada correção é algo de que se abdicou. A correção foi real, e cada parte dela custou alguma coisa A travessia de NAT funciona. Isso não está em causa e não vou fingir o contrário. Já pus muitos túneis a atravessar muitos NAT. O que quero deixar registado é a conta, porque é paga todos os dias por toda a gente e quase ninguém a discrimina.\nO mecanismo é o RFC 3948: detetar um tradutor durante a troca de chaves e depois pôr o pacote ESP inteiro dentro de um datagrama UDP na porta 4500, para que o tradutor tenha algo que perceba6. A descrição da Cisco do formato no fio é exata: depois da cifra, «a UDP header and a non-IKE marker (which is 8 bytes in length) are inserted between the original IP header and ESP header»5. A da Juniper é mais curta e diz a mesma coisa: «NAT-T encapsulates both IKE and ESP traffic within UDP with port 4500 used as both the source and destination port.»7\nAgora a conta discriminada.\nO Authentication Header desapareceu. Não foi descontinuado com delicadeza. É inutilizável. O RFC 8221 diz agora claramente que usar ESP e AH em conjunto é NOT RECOMMENDED8, e a razão honesta é que a única coisa que o AH fazia e o ESP não faz é precisamente a coisa que o NAT destrói.\nO checksum UDP é posto a zero de propósito. O RFC 3948 exige-o: com os endereços reescritos, um checksum calculado sobre eles falharia, por isso a resposta da norma é deixar de o calcular. «If the protocol header after the ESP header is a UDP header, set the checksum field to zero in the UDP header.»6 Uma camada de deteção de erros removida para manter a funcionar uma camada de reescrita de endereços.\nAgora envias pacotes para manter uma tabela quente. O RFC 3948 define um keepalive como um byte, 0xFF, enviado quando nada mais saiu durante um intervalo configurável cujo valor por omissão é de vinte segundos6. A Juniper diz a razão sem enfeites: «Because NAT devices age out stale UDP translations, keepalive messages are required between the peers.»7 Assim, um portátil num comboio, sem fazer absolutamente nada, transmite a cada vinte segundos, para sempre, porque uma tabela numa caixa que não é de nenhuma das pontas se esquece dele de outro modo. Multiplica isso por uma frota. É o rádio a acordar, a bateria a descer e a rede móvel a transportar tráfego cujo único propósito é impedir o esquecimento.\nAgora tens duas portas na firewall em vez de um protocolo, e a própria lista de restrições da Cisco exige regras de tradução estáticas tanto para a 500 como para a 4500 antes de qualquer coisa funcionar5.\nE lê o resto dessa lista de restrições, porque é o fabricante a dizer-te a forma da coisa. Políticas de NAT dinâmico: não suportadas. Tráfego IPv6: incompatível com a funcionalidade. IPsec e NAT no mesmo dispositivo: não podem funcionar os dois5. Aquilo não é um guia de configuração. É uma lista dos sítios onde os andaimes não chegam.\nNada disto tem elegância nenhuma, e nada disto é culpa de alguém em particular. É o que acontece quando manténs vivo um protocolo de camada 3 numa rede que deixou de respeitar a camada 3.\nO NAT de operadora tirou o que restava O NAT comum tirou o endereço à máquina e deu-o ao local. Continuavas a ser dono do tradutor, por isso podias reencaminhar uma porta, fixar um mapeamento, alongar um temporizador ou pôr o concentrador à frente dele.\nO NAT de operadora tira o endereço ao local e dá-o a várias centenas de desconhecidos, e o tradutor pertence ao teu ISP. Tudo o que antes podias fazer a esse respeito, agora já não podes.\nE fica claro sobre o que está de facto no caminho, porque é aqui que as pessoas se enganam. O router de casa continua a fazer NAT. Não foi desligado. Continua a traduzir o teu portátil em 192.168.1.20 para o endereço que a linha tiver, só que agora a linha tem 100.64.12.7, que é espaço partilhado, não um endereço público. A operadora traduz isso outra vez. Por isso o pacote atravessa dois tradutores antes de chegar à internet, e esse é o caso normal, não um caso invulgar.\nNAT de operadora significa duas traduções, dois temporizadores e nenhum endereço alcançável em nenhuma delas O NAT de operadora são duas traduções, não uma Portátil 192.168.1.20 Router de casa tradução um A linha 100.64.12.7 Tradutor da operadora tradução dois, para 203.0.113.9 teu, e a única tabela que consegues ver deles, partilhado por centenas de casas, invisível para ti nada na internet alcança nenhum destes endereços Dois relógios, ganha o mais curto. O teu keepalive tem de bater o que expira primeiro, e só consegues ler um deles. O que importa é o que não consegues ver. Reencaminhar funciona e não serve. O router reencaminha contente uma porta de um endereço que a internet não alcança. UPnP e PCP reportam sucesso e abrem uma porta para um corredor. Por isso «reencaminhei a 500 e a 4500 e continua sem subir» é um ticket tão comum e tão enganador. O respondedor desapareceu. Duas filiais com fibra doméstica não se conseguem ligar. Algo no meio tem de as apresentar, e agora dependes de uma empresa que nunca escolheste. A identidade não é o endereço. Vários assinantes chegam à outra ponta como um endereço, por isso o que os distingue não é o campo que o IPsec devia usar. E há um teto publicado: nas plataformas SRX maiores a Juniper indica no máximo 1000 túneis por endereço traduzido. A confirmação mais rápida não custa nada: lê o endereço WAN no router. Se começar por 100.64, é o espaço partilhado do RFC 6598, estás atrás de NAT de operadora e metade das definições é decorativa. Uma linha empresarial com um endereço estático real tem uma tradução e uma ponta alcançável. É isso que a mensalidade extra te está a vender: a coisa que todas as máquinas tinham de graça. O pacote é traduzido duas vezes: uma pelo router de casa, outra pela operadora. Nenhum dos endereços que tem é alcançável de fora. Isso significa duas tabelas de mapeamento com dois temporizadores independentes, das quais só uma é visível para ti, um reencaminhamento de portas que tem sucesso e não serve para nada, nenhum papel de respondedor, e uma identidade do par que já não pode ser um endereço. Estás atrás de NAT duplo, e só uma das tabelas é tua. Duas traduções significam duas tabelas de mapeamento, dois temporizadores de expiração e duas hipóteses de o mapeamento desaparecer. O teu keepalive tem de bater o que expirar primeiro, e só consegues ler um deles. Pior, os dois interagem: o router de casa pode ter as suas próprias ideias sobre IPsec e tentar ajudar com um gateway de aplicação, por isso a porta de origem que o teu cliente julga estar a usar não é a que sai de casa, e também não é a que sai da operadora.\nO reencaminhamento de portas continua a funcionar e não faz absolutamente nada. Este é o ticket que come mais tempo. Alguém reencaminha UDP 500 e 4500 no router de casa, o router aceita, a página de definições diz que a regra está ativa, e nada a consegue usar, porque reencaminha a partir de um endereço que a internet não alcança. O UPnP e o PCP comportam-se da mesma maneira: o cliente pede um mapeamento, o router concede-o, e a porta abre para um corredor. Tudo reporta sucesso e nada funciona. A caixa diz-te tudo o que quiseres ouvir.\nA maneira mais rápida de tirar isto a limpo não custa nada. Lê o endereço WAN no router. Se começar por 100.64, isso é o espaço partilhado reservado no RFC 6598, estás atrás de NAT de operadora, e metade daquela página de definições é decorativa.\nO papel de respondedor deixou de existir. Um dispositivo atrás de CGNAT não pode ser a ponta para onde alguém liga. Um site-to-site entre duas filiais com fibra doméstica, coisa normal, barata e exatamente o que uma pequena empresa quer, exige que pelo menos uma ponta tenha um endereço real, ou um terceiro no meio para as apresentar. Esse terceiro é uma empresa de que agora dependes porque o teu ISP não te quis dar um endereço.\nO temporizador pertence a outra pessoa. O RFC 4787 diz aos operadores de NAT que um mapeamento UDP «MUST NOT expire in less than two minutes» e recomenda cinco ou mais9. Isso é o mínimo e o conselho, não uma promessa, e não consegues inspecionar o que a tua operadora faz realmente. Como tal, o keepalive deixa de ser uma opção de afinação. Passa a ser estrutural, num temporizador que estás a adivinhar.\nA identidade do teu par não pode ser o endereço dele. Vários assinantes chegam à outra ponta como um único endereço. Seja o que for que o concentrador usa para os distinguir, não é o cabeçalho IP, que é precisamente aquilo que o IPsec foi desenhado para usar.\nHá um teto rígido, e os fabricantes publicam-no. A Juniper documenta que nos SRX5400, SRX5600 e SRX5800 «the total number of tunnels from a given public translated IP cannot exceed 1000 tunnels»7. Lê isto como operador e não como uma linha de especificação. O teu concentrador de VPN tem um limite por endereço partilhado, a partilha é feita por uma operadora com quem não tens contrato, e o quão perto estás desse limite depende de quantos dos teus utilizadores calham estar atrás do mesmo endereço. Não há contador que possas consultar. Há apenas o dia em que começa a falhar para algumas pessoas e não para outras.\nTudo nesta secção decorre de uma decisão que este país tomou e continuou a tomar. Já expus esse caso por inteiro noutro sítio e não o vou repetir. O ponto aqui é mais estreito: o pressuposto central do IPsec foi apagado pela rede de acesso, e desde então o IPsec vive de contornos.\nE a rede só com IPv6 também não o salva É aqui que tenho de ser honesto contra o meu próprio argumento, porque a resposta óbvia a tudo o que está acima é: está bem, então dá a cada máquina um endereço IPv6 real e o IPsec volta a funcionar como foi especificado.\nFunciona, entre duas pontas que tenham ambas um. Não é essa a rede em que a maioria das pessoas está.\nAs redes de acesso só com IPv6 que existem de facto, as móveis em particular, chegam à internet IPv4 através de NAT64, que não é de todo um NAT no sentido comum. É um tradutor de protocolo, que reescreve um pacote IPv6 num pacote IPv4. E o RFC 6146 diz o que transporta, e diz o que não transporta, sem ambiguidade nenhuma:\n\u0026ldquo;The current specification only defines how stateful NAT64 translates unicast packets carrying TCP, UDP, and ICMP traffic. Multicast packets and other protocols, including the Stream Control Transmission Protocol (SCTP), the Datagram Congestion Control Protocol (DCCP), and IPsec, are out of the scope of this specification.\u0026rdquo;10\nO IPsec, pelo nome, fora de âmbito. E os pacotes que transportem algo fora dessa lista «SHOULD be discarded»10.\nPor isso, num telemóvel ou portátil só com IPv6 que tente chegar a um concentrador IPv4, e essa é a maioria dos concentradores, o ESP nativo não é deitado fora por uma firewall nem estropiado por um tradutor. Nunca chega a ser transportado. O tradutor está a fazer exatamente o que a norma lhe manda fazer.\nA resposta da indústria a isso é, inevitavelmente, mais uma camada: o 464XLAT, que dá ao dispositivo uma pilha IPv4 local e traduz duas vezes, para fora do IPv4 e de volta, para que aquilo que o NAT64 não transporta funcione na mesma11. Já está na lista de acrescentos do artigo sobre IPv6 e não o vou voltar a discutir. O que vale a pena dizer aqui é a forma: um protocolo que se partiu no NAT em 2004 também se parte na tradução construída para a transição para IPv6 em 2011, e as duas são resolvidas embrulhando-o noutra coisa.\nEsse é o teste que um protocolo tem de passar para ter lugar em 2026. Funciona na rede que as pessoas realmente têm, atrás do endereço partilhado de uma operadora, numa rede móvel só com IPv6, através de um hotel que só deixa passar TCP 443? Qualquer coisa construída sobre uma porta UDP passa nos três sem lhe dizerem nada. O IPsec precisa de um contorno diferente para cada um, e no terceiro precisa também de encapsulamento TCP3.\nSem portas também significa sem segunda ligação Aqui está uma falha que não tem nada a ver com NAT, é puramente moderna e quase não tem tempo de antena.\nRouters e switches espalham o tráfego por caminhos paralelos. Agregação de ligações, multicaminho de custo igual: as duas funcionam da mesma maneira, fazendo hash do 5-tuplo. Endereço de origem, endereço de destino, protocolo, porta de origem, porta de destino. O ESP não tem portas. Por isso cada pacote de um túnel entre os mesmos dois endereços dá o mesmo hash, e o túnel inteiro cai numa única ligação membro, independentemente de quantas compraste.\nDuas ligações de 10G e um túnel IPsec dão-te 10G. Quatro dão-te 10G. O equipamento está a funcionar exatamente como foi desenhado.\nO contorno tem a forma do costume. Algum silício consegue fazer o hash sobre o SPI, já que cada SPI identifica uma associação e portanto um fluxo, mas isso é uma funcionalidade que tens de ter comprado, não algo que possas assumir de um caminho que não é teu. Há um draft ativo do IETF cujo único propósito é embrulhar o ESP em mais um cabeçalho UDP para que os routers comuns lhe consigam fazer o hash, e diz porquê numa frase: «Although the ESP SPI field within the IPsec packets can be used as the load-balancing key, but it cannot be used by legacy switches and routers.»12 A declaração do problema é igualmente direta sobre o que as pessoas fazem em vez disso: «Many cloud service providers allow customers to establish multiple IPsec VPN tunnels in parallel to enable ECMP and increase aggregate bandwidth. However, this approach is not ideal, as each tunnel typically requires its own public IP address, leading to higher public IP consumption and increased operational overhead.»12\nPensa nisso por um segundo. A maneira recomendada de pôr uma ligação cifrada mais rápida é construir várias, cada uma a gastar um endereço IPv4 público, em plena escassez de endereços, porque o protocolo não tem um número de porta sobre o qual fazer hash. Entretanto, um túnel baseado em UDP tem multicaminho de graça, com hardware lançado há quinze anos, porque tem uma porta como tudo o resto na internet moderna.\nIsto não é um problema antigo à espera de desaparecer com o tempo. É um limite ativo em construções novas, hoje, exatamente às velocidades que as pessoas estão agora a comprar.\nO imposto do MTU, e quem o paga Todos os túneis custam bytes. O IPsec custa mais do que a maioria, e a maneira como falha quando os bytes acabam é o pior tipo de avaria: intermitente, dependente do tamanho e invisível a todos os testes que alguém faz primeiro.\nO que cada túnel gasta por pacote antes de entrar qualquer dado teu Bytes gastos antes dos teus dados, à escala cabeçalhos, por pacote total ESP nativo túnel, AES-GCM IP 20 ESP 8 IV 8 trailer + etiqueta 18 54 B ESP em UDP porta 4500, para NAT IP 20 UDP 8 ESP 8 IV 8 trailer + etiqueta 18 62 B L2TP/IPsec AES-CBC, NAT-T IP 20 UDP 8 ESP 8 IV 16 UDP 8 L2TP 6 PPP 4 trailer + etiqueta 18 88 B PPTP GRE, protocolo 47 IP 20 GRE 16 PPP 4 sem etiqueta de integridade 40 B WireGuard uma porta UDP IP 20 UDP 8 cabeçalho 16 etiqueta 16 60 B Os blocos sombreados são o preço do tradutor alheio. Na linha do L2TP, três deles ficam dentro da cifra: um segundo cabeçalho UDP, uma camada de sessão e o enquadramento de um modem. O PPTP é barato: não protege nada. Os 40 bytes não compram integridade, e o MS-CHAPv2 foi reduzido a uma só operação DES em 2012. O barato não é a medida. O que os bytes compram é a medida. Uma configuração de exemplo de cada, sobre IPv4. Os números mudam com a cifra, o modo e a família de endereços. Bytes gastos em cada pacote antes de entrar qualquer dado teu, para uma configuração exemplificada de cada. O ESP nativo é magro. Embrulhá-lo para o NAT custa mais oito. O L2TP/IPsec leva um cabeçalho UDP, um cabeçalho L2TP e um cabeçalho PPP dentro da cifra: enquadramento de linha telefónica, cifrado, em 2026. O PPTP parece barato porque não leva etiqueta de autenticação nenhuma, e esse é precisamente o problema dele. Faz as contas para uma configuração em vez de acenar com as mãos. ESP em modo túnel sobre IPv4 com AES-GCM: 20 bytes de cabeçalho IP exterior, 8 de cabeçalho ESP, 8 de nonce, 2 no mínimo de trailer, 16 de etiqueta de integridade. 54 bytes antes de entrar qualquer parte do teu pacote. Embrulha-o para a travessia de NAT e o cabeçalho UDP fá-lo chegar a 62. Num caminho de 1500 bytes isso deixa 1438, e no momento em que alguma coisa a montante estiver a correr PPPoE a 1492 voltas a descer.\nDepois vem a parte que faz disto uma avaria em vez de um problema de aritmética. Um emissor só descobre que um pacote era grande demais ao receber um erro ICMP de volta: Fragmentation Needed em IPv4, Packet Too Big em IPv6. Se alguma coisa no caminho deitar esses erros fora, o emissor nunca fica a saber e continua a enviar pacotes que continuam a morrer. É o clássico buraco negro: o handshake completa-se porque os handshakes são pequenos, e a transferência fica pendurada porque as transferências não são.\nA Cisco mantém um documento inteiro sobre isto desde a era do GRE e do IPsec, e continua a ser uma das melhores explicações da interação na biblioteca de qualquer pessoa13. A razão de precisar de manutenção é que as pessoas continuam a bloquear o ICMP por atacado e depois admiram-se de os túneis se portarem de maneira estranha.\nJá escrevi as duas metades desse argumento e valem aqui sem as repetir: que mensagens ICMP são estruturais e qual não é, em Ping: The Diagnostic Tool That Opens a Whole Lot More, e como encontrar o salto exato que te está a comer o tráfego, em The Firewall Is Eleven Hops Away. A versão curta para este artigo: os erros são o mecanismo, o echo não é, e uma política de fronteira que deita fora todo o ICMP partiu-te a VPN de uma maneira que vai ser atribuída à VPN.\nE a tua própria qualidade de serviço pode parti-lo Mais uma, porque apanha bons engenheiros a fazer a coisa certa.\nO ESP leva um número de sequência e o recetor mantém uma janela anti-repetição de 64 pacotes por omissão nas plataformas Cisco14. Agora dá prioridade à voz no router emissor. O enfileiramento de baixa latência faz o que pediste e reordena pacotes em relação à sequência em que foram cifrados. Se um pacote ficar fora da janela quando chega, a outra ponta deita-o fora como repetição, e o contador que sobe é um contador de segurança.\nAs palavras da própria Cisco: «Certain QoS features, such as Low Latency Queueing (LLQ), could cause IPsec packet delivery to become out-of-order and dropped by the receiving endpoint due to a replay check failure.»14 A resposta deles é alargar a janela para 1024 onde a plataforma o suporte, ou adotar uma extensão de múltiplos espaços de números de sequência que mapeia as classes de QoS para espaços de sequência separados dentro de uma associação14.\nPortanto: ligar uma funcionalidade normal da tua própria rede parte o teu próprio túnel, e o remédio é mais uma extensão de protocolo. É a mesma forma de tudo o que está acima.\nL2TP: enquadramento de linha telefónica, cifrado, em 2026 O L2TP não é um protocolo de segurança e nunca disse que era. O RFC 2661 é um protocolo de túnel para transportar sessões PPP, publicado em 1999, sem confidencialidade própria: a sua própria secção de segurança manda-te para o IPsec para a proteção ao nível do pacote15. Esse emparelhamento é o RFC 3193, e o resultado é a pilha do diagrama acima: um cabeçalho IP exterior, um cabeçalho UDP para a travessia de NAT, ESP, e depois dentro da cifra outro cabeçalho UDP na porta 1701, um cabeçalho L2TP e um cabeçalho PPP.\nPPP. O enquadramento dos modems de linha telefónica, transportado dentro de um túnel cifrado, pela internet, em 2026, porque era isso que o L2TP foi escrito para transportar.\nConta o que isso custa num exemplo concreto, IP exterior 20, UDP 8, cabeçalho ESP e IV 24, UDP interior 8, L2TP 6, PPP 4, trailer e etiqueta 18, e estás a gastar cerca de 88 bytes por pacote para mover dados que o ESP nativo move por 54. Trinta e quatro bytes, em cada pacote, por uma camada de sessão que não acrescenta nada que quisesses e uma camada de ligação desenhada para uma linha telefónica.\nO overhead é o menos.\nMultiplica o problema do NAT em vez de o dividir. O L2TP/IPsec usa convencionalmente ESP em modo transporte, que é o modo que o NAT mais magoa, e o resultado conhecido é que muitas implementações não conseguem de todo suportar dois clientes atrás de um endereço. Duas pessoas numa casa, ou quarenta num escritório, ou várias centenas atrás do endereço partilhado de uma operadora. A outra ponta vê um endereço e não consegue distinguir as sessões, por isso a segunda ligação substitui a primeira. É o ticket do início deste artigo, e não é um bug no produto de ninguém: é o problema da identidade pelo endereço a chegar ao sítio onde mais gente o encontra.\nE no terreno costuma ser implementado com um segredo partilhado para toda a gente. Como o segredo é configurado no perfil do cliente e distribuído com as instruções de instalação, a chave pré-partilhada está no documento de integração, na página da wiki, no email para quem entra de novo, e em cada portátil que alguma vez saiu da empresa. Não é um segundo fator. É uma palavra-passe que autentica o gateway perante ninguém em particular e nunca foi rodada uma única vez.\nO L2TP não é um protocolo que envelheceu mal. É um protocolo que transportava a coisa errada desde o primeiro dia, e foi aparafusado ao IPsec para compensar o que não conseguia fazer de todo.\nO PPTP nunca foi seguro, e continua à venda O PPTP merece dois parágrafos, não uma secção, e a razão de os ter é que as pessoas ainda o vendem.\nNunca foi uma norma. O RFC 2637 é Informational. Um protocolo de fabricante posto por escrito, não algo que o IETF alguma vez tenha recomendado. Transporta PPP dentro de GRE, protocolo IP 47, que tal como o ESP não tem portas, por isso precisa de tratamento especial próprio em cada NAT do caminho: a caixa de seleção «PPTP passthrough», que num grande número de routers domésticos suporta exatamente uma sessão de cada vez.\nA segurança acabou publicamente em 2012. Marlinspike e Hulton mostraram que a segurança do MS-CHAPv2 se reduz a uma única operação DES independentemente do comprimento da palavra-passe, construíram o chapcrack para extrair o handshake e ligaram-no a um serviço de quebra que devolvia a chave em menos de um dia por vinte dólares, com uma taxa de sucesso de 100%, não uma probabilidade16. A conclusão deles foi que o tráfego PPTP devia ser considerado não cifrado. A Apple concordou com os pés e retirou o PPTP do cliente integrado no macOS Sierra e no iOS 10 em 2016, e ainda publica o aviso17.\nDez anos depois disso, o PPTP continua a ser uma opção de menu em routers vendidos este ano, continua nas páginas de instruções dos fabricantes, continua a ser a coisa que alguém liga porque é a que funciona à primeira. Funciona à primeira porque não está a fazer o trabalho.\nTudo o que se apresenta como VPN IPsec «VPN IPsec» não é um protocolo. É uma família, e o comprimento da lista abaixo é o argumento, porque não há dois produtos que implementem o mesmo subconjunto dela, e as lacunas entre esses subconjuntos são onde vive de facto cada trabalho de interoperabilidade que alguma vez detestaste.\nPeça O que acrescenta Onde está ESP, protocolo IP 50 A própria cifra e integridade RFC 4303, atual18 AH, protocolo IP 51 Integridade também sobre o cabeçalho IP RFC 4302, inutilizável através de NAT2 IKEv1 A troca de chaves original Descontinuado, RFC passados a Historic19 IKEv2 A troca de chaves atual RFC 729620 IPComp, protocolo IP 108 Comprime antes de cifrar, com associações próprias RFC 317321 PF_KEY v2 Uma API do kernel para um daemon carregar as chaves RFC 236722 Travessia de NAT Embrulha o ESP em UDP 4500 para um tradutor se safar RFC 3947 / 39486 Encapsulamento TCP Para redes que também bloqueiam UDP RFC 9329, substitui o RFC 82293 Fragmentação IKEv2 Porque a própria troca de chaves ultrapassou o MTU RFC 738323 MOBIKE Para o túnel sobreviver à mudança de endereço RFC 455524 Deteção de par morto Um batimento, porque nada mais te avisa RFC 370625 XAUTH Autenticação do utilizador: palavra-passe, token, RADIUS Nunca foi RFC. Draft expirado, 200126 Mode-Config Dá ao cliente um endereço, DNS e rotas Também nunca foi RFC26 L2TP/IPsec Transporta PPP dentro do túnel RFC 2661 + RFC 319327 GRE ou VTI sobre IPsec Dá-te uma interface encaminhável para correr um protocolo Arquitetura de fabricante sobre ESP DMVPN mGRE mais NHRP mais IPsec, para os spokes se encontrarem Arquitetura de fabricante, NHRP RFC 233228 GETVPN Chaves de grupo sem túnel par a par nenhum GDOI, RFC 640729 PPTP A coisa que o IPsec devia substituir RFC 2637, Informational, nunca foi norma30 Agora olha para as duas linhas a negrito, porque são as que te deviam fazer parar.\nDurante a maior parte de duas décadas, a maneira normal de autenticar um utilizador numa VPN IPsec empresarial foi o XAUTH, o teu nome de utilizador e palavra-passe, o teu token, o teu servidor RADIUS, com o Mode-Config a entregar ao cliente o endereço, os servidores DNS e as rotas. Entre os dois são toda a experiência de acesso remoto. Cada cliente «Cisco IPsec», cada ícone de VPN num tabuleiro do sistema, cada conjunto de instruções de ligação.\nNenhum deles é uma norma. O XAUTH foi um draft individual da internet que expirou em 2001 e foi arquivado sem nunca se tornar RFC26. A razão declarada merece ser lida, porque é um comité a explicar porque não fazia o seu trabalho: o draft regista que o grupo de trabalho IPSRA não aceitava nenhum protocolo que estendesse o ISAKMP ou o IKE, e o grupo de trabalho IPsec recusava qualquer coisa que tratasse de acesso remoto26. Assim, a parte mais implementada do protocolo de VPN mais implementado ficou sem casa, foi implementada na mesma por cada fabricante a partir da sua própria leitura de um draft expirado, e foi entregue a milhões de utilizadores.\nO IKEv2 acabou por corrigir as duas coisas, e vale a pena dizê-lo: a autenticação passou para EAP e as cargas de configuração do cliente entraram na especificação principal20. Mas lê as datas. A funcionalidade mais usada do protocolo de VPN mais usado correu sobre um draft expirado durante cerca de uma década antes de ter sequer uma norma, e a base instalada continuou a correr a versão do draft durante anos depois disso. Uma família de protocolos não ganha crédito por acabar por normalizar a parte que toda a gente já usava.\nÉ essa a família que tens a correr. Parte dela está no caminho das normas e é atual. Parte é Historic. Parte nunca chegou a ser coisa nenhuma. E um produto que diz «VPN IPsec» na ficha técnica não te disse praticamente nada sobre quais destas dezoito coisas faz, e é por isso que ligar dois deles é uma quinzena, uma folha de cálculo de propostas e um telefonema a alguém que já o fez antes.\nO Fisher-Price OS (Windows) nunca interoperou a sério Esta é a parte em que alguém diz que o problema é na verdade o Linux, por isso vamos fazê-la com fontes.\nPor omissão, o cliente Windows não se liga de todo a um servidor IPsec que esteja atrás de NAT. Não é «vai ter dificuldades». Recusa-se. A correção é um valor de registo chamado AssumeUDPEncapsulationContextOnSendRule em HKEY_LOCAL_MACHINE\\SYSTEM\\CurrentControlSet\\Services\\PolicyAgent, posto a 1 se o servidor estiver atrás de um tradutor ou a 2 se as duas pontas estiverem, em cada cliente e no servidor, seguido de um reinício31. As palavras da própria Microsoft: «By default, Windows Vista and Windows Server 2008 don\u0026rsquo;t support Internet Protocol security (IPsec) network address translation (NAT) Traversal (NAT-T) security associations to servers that are located behind a NAT device.»31\nDuas coisas sobre isso. A primeira é que a Microsoft é coautora da norma de travessia de NAT que se recusa a usar. O nome dela está no RFC 3947 e no RFC 39486. A segunda é que a página que te manda editar o registo foi revista pela última vez em fevereiro de 202631. Vinte anos depois, um truque de registo em cada máquina continua a ser a resposta, e continua a ser mantido como a resposta.\nE lê a frase que a Microsoft põe mesmo por cima: «If you must use IPsec for communication, use public IP addresses for all servers that you can connect to from the Internet.»31\nIsto é este artigo inteiro, na documentação do próprio fabricante. Não ponhas o IPsec atrás de NAT. Dá a cada máquina um endereço real. Eles escreveram-no, e depois a indústria passou duas décadas a fazer o contrário e a cobrar a diferença.\nE não para no NAT. Vai ler o que um gateway de código aberto tem de documentar para aceitar um cliente Windows.\nO certificado do gateway precisa de uma utilização de chave alargada que existe para isto e para mais nada. serverAuth, OID 1.3.6.1.5.5.7.3.1, mais IP Security IKE Intermediate, OID 1.3.6.1.5.5.8.2.232. A tua CA tem de ser instruída a emitir um OID de que a maioria das ferramentas nunca ouviu falar, ou a ligação falha com um erro de política e nenhuma mensagem útil. É preciso um segundo valor de registo antes de o cliente oferecer criptografia decente. O strongSwan documenta acrescentar NegotiateDH2048_AES256 em Rasman\\Parameters para obter AES-256-CBC e um grupo de 2048 bits33. Lê isso ao contrário, que é a maneira que importa: sem uma edição do registo, a proposta por omissão é mais fraca do que isso. A renovação de chaves iniciada pelo servidor é rejeitada pelos clientes atrás de NAT, e o contorno documentado é desativar a renovação de chaves no gateway e deixar o cliente iniciá-la33. As extensões normais do IKEv2 simplesmente não existem: nada de redirecionamento IKE, nada de múltiplas rondas de autenticação33. Nenhuma destas é um bug do Linux. Cada uma é um projeto de código aberto a pôr por escrito o que tem de fazer para acomodar a leitura que um fabricante faz de uma norma que esse mesmo fabricante ajudou a escrever.\nÉ esse o padrão, e tem trinta anos. O PPTP era o protocolo da Microsoft, escrito como Informational e nunca normalizado30. O MS-CHAPv2 e o MPPE eram a autenticação e a cifra da Microsoft, e ambos foram quebrados em público16. O SSTP é um túnel da Microsoft que mais ninguém termina. O DirectAccess era IPsec, e era Windows nas duas pontas por desenho, e entretanto foi descontinuado e está a ser removido, com os clientes empurrados para o Always On VPN34. Nenhum deles foi alguma vez um protocolo onde o resto de nós se pudesse encontrar a meio caminho. Eram um protocolo a que aderias, e se não corresses o sistema operativo certo nas duas pontas levavas com o truque de registo, o OID estranho e a página de contornos.\nPor isso vou ser claro, já que o blogue é meu. O Fisher-Price OS (Windows) nunca foi um par genuíno numa pilha de protocolos aberta, porque ser um par nunca foi aquilo para que ele servia. Esconde a máquina de quem a usa como objetivo de desenho, e uma pilha que não consegues ver é uma pilha que não consegues pôr a interoperar. Se é o único sistema operativo que alguma vez administraste, as secções abaixo sobre ler contadores do kernel e observar o fio vão parecer-te escritas noutra língua, e essa é a lacuna. Não é uma preferência, é uma lacuna.\nNada disto tem de custar coisa nenhuma ao leitor. Cada diagnóstico neste artigo corre a partir de qualquer Unix na rede, apontado ao que estiver avariado, e não quer saber minimamente o que corre na outra ponta. E se esse sistema operativo for o único que tens, a secção de diagnóstico abaixo traz também as ferramentas dele: a captura, os dois cmdlets e os códigos de erro com aquilo que cada um te está realmente a dizer. Um túnel avariado tem de ser arranjado na segunda-feira na mesma. Depois, a substituição que defendo no fim tem um cliente, que se comporta da mesma maneira, em todas as plataformas incluindo essa, o que é a primeira vez em trinta anos que isso é verdade para uma VPN.\nO registo de descontinuações parece um obituário Põe os contornos de lado e lê apenas o que os organismos de normalização fizeram a esta família ao longo dos anos. Não é opinião. São níveis de requisito, em RFC publicados.\nO quê Onde está agora Fonte IKEv1 Descontinuado; RFC 2407, 2408 e 2409 passados a Historic RFC 9395, 202319 DES no ESP MUST NOT RFC 82218 3DES no ESP SHOULD NOT RFC 82218 HMAC-MD5-96 MUST NOT RFC 82218 ESP em conjunto com AH NOT RECOMMENDED RFC 82218 ESP só com cifra Demonstrado inseguro, e quebrado na prática em 2007 Degabriele e Paterson35 IPsec num nó IPv6 Despromovido de MUST para SHOULD RFC 6434, 201136 PPTP Nunca foi norma; apenas Informational RFC 263730 A penúltima linha é a que eu poria à frente de quem me diz que o IPsec está bem e que o problema é a rede. O IPv6 originalmente exigia o IPsec: era a história da segurança, escrita nos requisitos dos nós. Em 2011 o IETF mudou de ideias: «Previously, IPv6 mandated implementation of IPsec and recommended the key management approach of IKE. This document updates that recommendation by making support of the IPsec Architecture a SHOULD for all IPv6 nodes.»36\nAté a família de endereços que teria devolvido ao IPsec tudo o que o NAT lhe tirou deixou de o exigir há quinze anos. Isso não é a rede a falhar ao IPsec. São as pessoas que desenharam a rede a decidir que ele não tinha merecido a obrigatoriedade.\nA complexidade foi assinalada em 1999, por escrito Nada disto é visão retrospetiva, e é isso que faz valer a pena escrevê-lo.\nEm 1999 Niels Ferguson e Bruce Schneier foram contratados para avaliar o IPsec. O relatório deles é curto, claro e merece ser lido por inteiro. Abre com «IPsec was a great disappointment to us. Given the quality of the people that worked on it and the time that was spent on it, we expected a much better result.»37 Nomeia a causa: «Our main criticism of IPsec is its complexity. IPsec contains too many options and too much flexibility; there are often several ways of doing the same or similar things. This is a typical committee effect.»37\nE fez três recomendações que hoje parecem uma lista de coisas que aconteceram na mesma, vinte anos mais tarde e da maneira difícil:\nEliminar o modo transporte. «We therefore recommend that transport mode be eliminated.»37 O modo transporte é o modo que o L2TP/IPsec usa, e é o modo que o NAT mais magoa. Eliminar o AH. «We conclude that eliminating transport mode allows the elimination of the AH protocol as well, without loss of functionality.»37 Foi o NAT que o eliminou em vez disso, por uma razão pior. Nunca permitir cifra sem autenticação. Avisaram que os administradores «will be quite likely to configure ESP for only encryption, believing that it provides security.»37 Oito anos depois, esse último deixou de ser um aviso. Degabriele e Paterson publicaram ataques que «break any RFC-compliant implementation of IPsec making use of encryption-only ESP», só com texto cifrado, sem precisar de mais do que a capacidade de observar tráfego e injetar pacotes35. A previsão esteve no registo público durante oito anos e a norma continuava a permitir a configuração.\nO veredicto daquele relatório de 1999 é a frase a que volto sempre: «We have found serious security weaknesses in all major components of IPsec. As always in security, there is no prize for getting 90% right; you have to get everything right.»37\nMais dois dados, e depois deixo isto.\nLogjam, 2015. A equipa por trás dele analisou uma amostra de 1% do IPv4 à procura de IKE e descobriu que 86,1% dos servidores IKEv1 e 91,0% dos IKEv2 suportavam o Oakley Group 2 de 1024 bits, e que 66,1% dos servidores IKEv1 analisados o preferiam. A conclusão deles: a pré-computação contra um segundo grupo de 1024 bits «would allow decryption of traffic to 66% of IPsec VPNs», e os documentos de informações secretas publicados sobre a exploração de VPN são «consistent with having achieved such a break»38. A agilidade criptográfica, aquilo que o IPsec tem em maior quantidade, foi o que deixou quase toda a gente sentada no mesmo grupo fraco durante quinze anos.\nCVE-2016-1287. Um buffer overflow no código IKEv1 e IKEv2 do Cisco ASA, alcançável enviando pacotes UDP forjados, que dava execução remota de código antes da autenticação39. Pensa em onde aquela caixa está. É o dispositivo que expuseste deliberadamente à internet inteira, a correr o protocolo mais carregado de opções de toda a infraestrutura, com um remontador de fragmentos à frente do parser, a guardar as chaves de tudo o que está lá dentro. A complexidade de que Ferguson e Schneier avisaram não é uma abstração. É superfície de ataque, na única máquina que não podes pôr atrás de nada.\nDiagnosticá-lo enquanto ainda o tens a correr Não consegues desligar tudo isto esta tarde, por isso aqui fica como trabalhar nele. Este é o método, pela ordem que custa menos, com aquilo que cada resultado significa de facto.\nSeis maneiras como desiste, colocadas no caminho onde cada uma acontece Onde vive de facto cada falha Cliente política e rotas Router de casa tradução um Operadora tradução dois A internet filtros e MTU Gateway seletores e identidade 1 2 3 4 5 6 1 Nada no fio, de todo. O tráfego nunca chegou ao IPsec. Para de olhar para a cripto. ip xfrm policy e a rota, e o que a firewall do anfitrião estiver a fazer. 2 500 nos dois, a 4500 nunca. A travessia de NAT não foi negociada. tcpdump -ni eth0 'udp port 500 or udp port 4500 or ip proto 50' O ESP simples não lhe sobrevive. 3 Morre parado, volta ao usar. Um mapeamento expirou num dos dois tradutores. O keepalive perde para um temporizador que não lês. Encurta-o e deixa de confiar no valor por omissão. 4 Saída a subir, entrada parada. O ESP está a morrer num sentido, em trânsito. ip -s xfrm state nas duas pontas, depois encontra o salto que o come. 5 Login ok, o grande encrava. MTU do caminho, e os erros ICMP não voltam. ping -M do -s 1400 a descer, depois limita o tamanho de segmento e corrige a regra ICMP. 6 Ambas em cima, nada passa. Seletores de tráfego, política ou encaminhamento: não as chaves. E se um segundo utilizador deitou o primeiro abaixo, é identidade do par, não capacidade. Uma captura na fronteira durante trinta segundos responde às três primeiras. Faz isso antes de abrir uma consola. As seis falhas pela ordem em que as deves testar, com o sintoma, a verificação e o que a resposta significa. Cada linha é uma camada diferente da pilha a desistir, e as três primeiras respondem-se observando o fio durante trinta segundos, e é por isso que essa é a primeira coisa a fazer, não a última. Observa o fio primeiro, não a consola As duas consolas dizem-te aquilo em que acreditam. O fio diz-te o que aconteceu. Uma captura na fronteira, trinta segundos, responde às três primeiras perguntas de uma vez:\ntcpdump -ni eth0 \u0026#39;udp port 500 or udp port 4500 or ip proto 50 or ip6 proto 50\u0026#39; Nada a sair, de todo: o problema está à frente do IPsec, encaminhamento, política ou uma firewall do anfitrião. Para de olhar para a criptografia. Só a sair, nada a voltar: os teus pacotes estão a sair e as respostas não estão a chegar. Filtragem em trânsito, um par morto, ou a outra ponta a rejeitar em silêncio. UDP 500 nos dois sentidos mas a 4500 nunca aparece: a travessia de NAT não foi negociada. Ou uma ponta a tem desativada ou a deteção falhou. Protocolo 50 no fio enquanto uma ponta está atrás de NAT: a negociação decidiu que não havia tradutor quando há um. Nunca vai voltar. Ler a falha na troca de chaves O IKEv2 diz-te porque recusou, e os nomes das notificações são específicos o suficiente para diagnosticar só com eles. Ajuda ter primeiro à frente a forma da troca inteira, porque cada notificação abaixo pertence a um degrau concreto dela.\nA troca IKEv2 passo a passo, e que avaria vive em cada passo Cada passo da troca, e a avaria que vive nele Cliente atrás de um tradutor Gateway endereço real O que falha aqui pedido IKE_SA_INIT: UDP 500 nada volta: 809 ERROR_VPN_TIMEOUT resposta IKE_SA_INIT: UDP 500 NO_PROPOSAL_CHOSEN, INVALID_KE_PAYLOAD NAT detetado, as duas pontas passam à 4500 sem passagem: proto 50 morre no tradutor IKE_AUTH: UDP 4500, cifrado grande demais, fragmento perdido, retransmite, timeout resposta IKE_AUTH: CHILD_SA criada AUTHENTICATION_FAILED: 13801, 13806 ESP em UDP 4500: o teu tráfego TS_UNACCEPTABLE: em cima, e nada se mexe keepalive: 1 byte a cada 20 s, para sempre sem keepalive: o mapeamento expira em repouso A passagem é a charneira. Acima dela tudo é UDP 500. Abaixo dela tudo é UDP 4500. Se a passagem nunca acontecer, estás a meter o protocolo 50 num tradutor que não tem nada para reescrever, e nunca vai voltar. A avaria de tamanho vive num degrau. O IKE_AUTH leva a cadeia de certificados, por isso é a única mensagem grande da escada. Uma chave pré-partilhada que liga onde um certificado não liga é um fragmento perdido, não um certificado mau. Criada não é o mesmo que a funcionar. A associação filha pode existir e não levar nada, se as pontas discordarem sobre que tráfego cobre. Cada avaria da coluna da direita chega ao cliente como timeout, fosse o que fosse na realidade. A troca desde o primeiro pacote até ao estado estável, com a avaria que vive em cada passo. A passagem da 500 para a 4500 é a charneira: tudo acima dela é uma porta, tudo abaixo é outra, e se a passagem nunca acontecer estás a meter o protocolo 50 num tradutor que não o consegue transportar. O IKE_AUTH é a única mensagem grande aqui, e é por isso que uma chave pré-partilhada consegue ligar onde um certificado não consegue: é um fragmento perdido, não um certificado mau. Notificação O que significa de facto Onde procurar NO_PROPOSAL_CHOSEN Nenhuma das combinações de cifra/integridade/DH/PRF oferecidas é aceitável para a outra ponta As duas listas de propostas; espera um algoritmo descontinuado de um dos lados INVALID_KE_PAYLOAD Grupos Diffie-Hellman diferentes: ofereceste um grupo, ela quer outro O grupo DH, a primeira coisa na proposta AUTHENTICATION_FAILED Chave, certificado ou identidade errados: chaves pré-partilhadas diferentes, um certificado expirado, ou um ID que não é o que o par espera A identidade, não só o segredo TS_UNACCEPTABLE Os seletores de tráfego não se sobrepõem: pediste para proteger sub-redes que o par não protege A configuração de seletores das duas pontas INVALID_SPI Chegou um pacote para uma associação que já não existe, normalmente depois de um reinício de um só lado Se uma ponta renovou chaves ou reiniciou As orientações da Juniper para a Fase 2 dizem a mesma coisa sobre a mais comum delas: «no proposal chosen» significa que «the device did not accept any of the IKE Phase 2 proposals that the peer sent», e a correção é uma proposta aceitável para ambos, não um reinício repetido40.\nNo strongSwan, o estado de tudo num só comando:\nswanctl --list-sas # what is established, and what it negotiated swanctl --log # the negotiation as it happens Na Cisco, show crypto ikev2 sa e show crypto ipsec sa, com debug crypto ikev2 quando não quer subir41. No Junos, show security ike security-associations e show security ipsec security-associations, com a negociação em show log kmd-logs42.\nA travessia de NAT foi mesmo negociada? Esta é a verificação que as pessoas saltam, e explica uma grande parte do «funciona no escritório e não funciona em casa».\nCada ponta envia hashes dos endereços e portas que julga estarem em jogo. Se o hash que a outra ponta calcula a partir do pacote que recebeu não corresponder ao que enviaste, há um tradutor pelo meio, e as duas pontas passam para UDP 4500. Se a deteção falhar, porque um dos lados tem a travessia desativada ou algo no meio está a estropiar a troca, as duas pontas continuam com ESP simples, que não vai sobreviver ao tradutor.\nPortanto: vê a porta 4500 na captura, nos dois sentidos, ou não está a haver travessia nenhuma. Não acredites na palavra da consola.\nDepois confirma que o keepalive está mesmo a correr e que o intervalo está abaixo do tempo a que a tua operadora expira os mapeamentos. O valor por omissão é de vinte segundos6; o mínimo da norma para os operadores de NAT é de dois minutos9; o que a tua operadora em particular faz, não consegues ver. Se o túnel morre depois de estar inativo e revive com tráfego, é esta a avaria, todas as vezes.\nOs contadores do kernel que quase ninguém lê No Linux a camada de transformação mantém uma discriminação completa de erros, e é a maneira mais rápida de transformar «não funciona» numa causa concreta. Os contadores estão documentados pelo próprio kernel43.\ncat /proc/net/xfrm_stat # error counters, by cause ip -s xfrm state # per-SA packet and byte counters ip xfrm policy # what should be protected, and in which direction Lê-se melhor como um caminho do que como uma lista. O pacote passa por cinco fases, e cada uma tem o seu contador:\nCinco fases, e o contador que identifica aquela em que o teu pacote morreu Segue um pacote, e deixa o contador dizer a fase em que morreu A tua política este tráfego é protegido? XfrmOutPolBlock és tu a deitá-lo fora, de propósito, na política A tua associação cifrar, selar, numerar XfrmOutNoStates a política correspondeu e não há associação para o levar O caminho tradutor, MTU, filtros nada incrementa, em nenhuma ponta é aqui que vivem o NAT, o MTU e a filtragem, e nenhum contador vê nada disso A associação deles destino + protocolo + SPI XfrmInNoStates \u0026#183; XfrmInStateProtoError \u0026#183; XfrmInStateSeqError chegou e a cripto não deu certo: SPI errado, chave errada, fora da janela A política deles isto era para ser protegido? XfrmInTmplMismatch \u0026#183; XfrmInNoPols a cripto estava bem e a política discordou sobre se devia ter sido A fase três é a que não tem contador. Tudo o que um quarto de século de tradução fez a este protocolo acontece aí, e a camada de transformação de nenhuma ponta vê um único pacote disso. É toda a razão de a captura vir antes da consola. As fases quatro e cinco são avarias opostas. A quatro quer dizer que a cripto falhou. A cinco quer dizer que não, e algo discordou sobre se devia ter sido. São vistas pela ordem errada quase sempre, porque a cinco parece uma avaria de cripto e não é. Os nomes dos contadores são do Linux. No Junos as mesmas fases leem-se em show security ipsec statistics; no Fisher-Price OS (Windows), em Get-NetIPsecQuickModeSA e no registo do Windows Firewall with Advanced Security. Cinco fases, e o contador que identifica aquela em que o teu pacote morreu. A fase três é a única sem contador nenhum: o tradutor, o MTU e todos os filtros pelo meio vivem lá, e a camada de transformação de nenhuma das pontas consegue ver um único pacote dela. É esse todo o argumento para pegar numa captura antes de uma consola. As fases quatro e cinco são avarias opostas e são vistas pela ordem errada quase sempre. Observa qual deles se mexe enquanto a avaria acontece:\nContador Descrição do kernel O que significa no dia XfrmInNoStates «No state is found i.e. Either inbound SPI, address, or IPsec protocol at SA is wrong» Os pacotes deles estão a chegar para uma associação que tu não tens, normalmente uma renovação de chaves ou um reinício de um só lado XfrmInStateSeqError «Sequence error i.e. Sequence number is out of window» Reordenação ou problemas com a janela anti-repetição; vê a interação com a QoS acima XfrmInStateProtoError «Transformation protocol specific error e.g. SA key is wrong» As chaves não coincidem: a associação sobreviveu a uma renovação de chaves de um só lado XfrmInTmplMismatch «No matching template for states e.g. Inbound SAs are correct but SP rule is wrong» A associação está certa e a política está errada XfrmInNoPols «No policy is found for states e.g. Inbound SAs are correct but no SP is found» Chega tráfego protegido que ninguém pediu para proteger XfrmOutPolBlock «Policy discards» Estás tu próprio a deitá-lo fora, de propósito, na política XfrmOutNoStates «No state is found» O tráfego correspondeu a uma política sem associação para o transportar: o túnel nunca subiu XfrmInTmplMismatch e XfrmInNoPols são os dois que vale a pena conhecer de vista, porque ambos significam que a criptografia está bem e a política não está, que é o contrário de onde toda a gente olha primeiro.\nDiz que está em cima e nada se mexe As duas pontas estabelecidas, nenhum tráfego. Lê os contadores por associação nos dois sentidos:\nip -s xfrm state Bytes de saída a subir, de entrada parados: estás a cifrar e a enviar, e nada está a voltar. Ou o teu ESP não está a chegar a eles ou o deles não está a chegar a ti. Pede à outra ponta o contador de saída dela; se também estiver a subir, os pacotes estão a morrer em trânsito e a pergunta seguinte é onde, o que é uma pergunta de TTL e não de criptografia. Ambos parados: nada está a ser oferecido ao túnel. Encaminhamento ou política, não IPsec. Numa configuração baseada em rotas confirma que a rota aponta mesmo para a interface do túnel; numa baseada em políticas confirma os seletores. Ambos a subir, aplicações ainda avariadas: não é o túnel. Vai ver o que está do outro lado. As orientações da Juniper para este caso são o mesmo instinto no idioma deles: se só o contador de pacotes de saída da sessão estiver a incrementar, confirma com o par se o tráfego está sequer a ser recebido44.\nAs coisas pequenas funcionam, as grandes ficam penduradas MTU. É sempre o MTU. O teste demora dez segundos:\nping -M do -s 1400 10.0.0.1 # inside the tunnel, do-not-fragment set ping -M do -s 1300 10.0.0.1 # step down until it succeeds O ponto onde começa a ter sucesso diz-te o tamanho realmente utilizável. Depois põe o TCP a descobrir por si próprio, limitando o tamanho de segmento anunciado ao do caminho, em vez de esperar que cada erro ICMP sobreviva à viagem:\nnft add rule inet filter forward tcp flags syn tcp option maxseg size set rt mtu E corrige também a causa de fundo, que é quase sempre uma regra ICMP demasiado abrangente numa fronteira algures. Deita fora o echo se quiseres. Já defendi noutro sítio que merece ser deitado fora. Mas mantém o Fragmentation Needed e o Packet Too Big. São o mecanismo, não um luxo.\nCai a horas certas Cronometra as falhas. O intervalo identifica a causa por si só.\nUm período fixo que corresponde a um tempo de vida configurado: renovação de chaves. A associação expira e a negociação da substituta está a falhar ou a entrar em corrida. Confirma os tempos de vida das duas pontas; valores diferentes são normais e não fazem mal, mas um tempo de vida rígido numa ponta mais curto do que o tempo de vida flexível da outra produz exatamente isto. Depois de um período sem tráfego, volta ao primeiro uso: um mapeamento NAT expirou. O intervalo do keepalive, ou a falta dele. A deteção de par morto a deitá-lo abaixo enquanto a ligação está bem: as sondas estão a perder-se, não é o par que está morto, muitas vezes porque as sondas são o único tráfego e o mapeamento já desapareceu. O segundo utilizador mata o primeiro Dois pares a chegar ao concentrador a partir de um endereço, a autenticar-se com a mesma identidade. O gateway pode escolher entre manter a associação antiga e substituí-la, e um valor por omissão comum é substituir. Por isso a segunda ligação ganha e a primeira morre em silêncio.\nDá a cada par uma identidade genuinamente única em vez de um endereço ou de um nome partilhado, e configura o gateway para manter várias associações a partir de um endereço em vez de assumir uma por par. Depois testa da única maneira que conta: dois clientes, um endereço, ao mesmo tempo. Se o teu teste de aceitação nunca teve dois utilizadores atrás de um NAT, não testaste o caso em que está a maioria dos teus utilizadores.\nAs mesmas avarias, no Fisher-Price OS (Windows) Todas as verificações acima correm a partir de uma máquina Unix, e se tiveres uma nessa rede usa-a, porque te diz a verdade mais depressa e não quer saber o que corre na outra ponta. Mas muitos leitores têm um cliente que não se liga, um sistema operativo que lhes esconde a máquina de propósito, e mais nada para onde olhar. Por isso aqui fica o mesmo método outra vez, pela mesma ordem, com as ferramentas que esse sistema operativo traz de facto.\nObserva o fio. Não há tcpdump, mas há uma captura. Corre-a com privilégios elevados, reproduz a falha, para-a:\nnetsh wfp capture start cab=on file=ipsec netsh wfp capture stop Isso escreve um .cab. Lá dentro está o registo do que a plataforma de filtragem e a troca de chaves fizeram de facto enquanto a avaria acontecia, o que é mais do que qualquer das consolas vai admitir. Para ver ao vivo em vez de um ficheiro guardado, o mesmo conjunto de comandos escreve na consola com file=-: netsh wfp show state «Displays the current state of WFP and IPsec», e netsh wfp show ikeevents «Displays recent Internet Key Exchange (IKE) epoch events matching the specified parameters», filtrado para um par45.\nnetsh wfp show state file=- netsh wfp show ikeevents remoteaddr=203.0.113.5 file=- show ikeevents é o mais parecido que há aqui com o registo da troca que todas as outras pilhas escrevem sem lhes pedirem. Vale a pena saber que existe. De outro modo a interface dá-te um número de três algarismos e mais nada, e estás a diagnosticar uma troca de chaves por palpite.\nLê as associações, e lê as duas. Os equivalentes de ip -s xfrm state e swanctl --list-sas são dois cmdlets, e a divisão entre eles é o diagnóstico inteiro:\nGet-NetIPsecMainModeSA Get-NetIPsecQuickModeSA O main mode é a troca de chaves. O quick mode transporta os pacotes. A Microsoft descreve a relação com clareza: «There is only one main mode SA between a pair of computers, but there can be many quick mode SAs»46. Assim, main mode presente com quick mode vazio é a mesma avaria que um IKE_SA em cima sem nenhum CHILD_SA por baixo, e significa a mesma coisa: as duas pontas concordaram em como falar e depois não concordaram no que proteger. Olha para os seletores de tráfego, não para as cifras.\nLê os registos, nos dois sítios onde se escondem. As falhas ao nível da ligação vão parar ao registo Application com a origem RasClient, e a nota da própria Microsoft sobre como os ler é a parte útil: «All error messages return the error code at the end of the message»47. Esse número é o diagnóstico, e a secção seguinte diz o que os números significam. As decisões de política e de filtragem vão parar a um sítio completamente diferente, em Applications and Services Logs, nos canais do Windows Firewall with Advanced Security. Dois registos, duas equipas, uma avaria.\nRecolhe tudo como deve ser quando tiveres de escalar. O pacote suportado é o TSS: TSS.ps1 -Scenario NET_VPN no cliente, TSS.ps1 -Scenario NET_RAS no servidor, iniciado antes de reproduzires a avaria e parado depois48. Aprende-o antes de alguém to pedir.\nQuando fica em «A ligar» e depois dá timeout Esta é a avaria que enche os tickets, e a palavra no erro é mentira. Começa por identificar o código. O código é específico mesmo quando a mensagem é inútil.\nUm timeout de ligação é uma de três coisas, e nenhuma é um relógio O que o cliente chama timeout, e o que foi de facto O cliente diz: timeout 809, 718, 828, 930, 638: cinco códigos, uma palavra, e nenhum é um relógio É uma de três coisas, e um teste diz-te qual Não chegou nada o caso do silêncio Teste: captura no cliente. O UDP 500 sai e nada volta? Filtragem no caminho, ou travessia de NAT nunca negociada, e a 4500 nunca saiu. Chegou, grande demais o caso do fragmento Teste: uma chave pré-partilhada liga onde um certificado não liga? O IKE_AUTH leva a cadeia, fragmenta-se, e o fragmento perde-se no caminho. Nunca foi o túnel o caso da camada errada Teste: o gateway regista uma falha de autenticação no mesmo segundo? 930 é RADIUS. 812 é o método de autenticação. 13801 e 13806 são certificados. Nenhuma das três é um temporizador. Alongar o timeout é a única coisa que a interface te convida a fazer, e a única que nunca resolveu nenhuma. A palavra está lá porque a camada que reporta a falha não vê longe o bastante para dizer mais. Testa por esta ordem. O primeiro custa trinta segundos de captura, o segundo uma tentativa de ligação, o terceiro um registo. Cinco códigos de erro trazem a palavra timeout e nenhum deles é um relógio. É uma de três coisas e um único teste separa-as: uma captura diz se voltou alguma coisa, uma tentativa de ligação com uma chave pré-partilhada diz se a troca de certificados era simplesmente grande demais para chegar, e o registo do próprio gateway diz se o túnel alguma vez foi o problema. Testa-as por essa ordem, porque essa é também a ordem do que custam. Código Nome em raserror.h O que aconteceu de facto 809 ERROR_VPN_TIMEOUT Não voltou absolutamente nada. A causa declarada pela Microsoft: «the UDP 500 or 4500 ports on the VPN server or firewall are blocked»47, mas bloqueadas cobre três coisas diferentes e só uma é uma regra de recusa. Normalmente a 4500 nunca foi enviada, porque a travessia de NAT nunca foi negociada, ou o ajudante que costumava transportá-la foi desligado. Continua a ler antes de pedires uma alteração na firewall 789 ERROR_OAKLEY_GENERAL_PROCESSING «The L2TP connection attempt failed because the security layer encountered a processing error during initial negotiations»: credenciais ou certificados, não a rede 718 ERROR_PPP_TIMEOUT A parte IPsec funcionou. O PPP dentro do túnel L2TP não teve resposta 828 ERROR_IDLE_TIMEOUT «The connection was terminated because of idle timeout»: uma definição do lado do servidor, deliberada 930 ERROR_AUTH_SERVER_TIMEOUT O RADIUS não respondeu a tempo. Não tem rigorosamente nada a ver com IPsec 638 ERROR_REQUEST_TIMEOUT O genérico. Trata-o como ausência de informação e vai ao fio Cada um destes vem da própria lista de erros da Microsoft49. Agora lê o 809 outra vez. Chama-se ERROR_VPN_TIMEOUT, e a causa documentada é uma porta bloqueada. O cliente não está a dar timeout porque a outra ponta é lenta. Está a dar timeout porque a outra ponta está calada, e o silêncio é o único modo de falha que um protocolo sem portas e sem visibilidade do handshake consegue reportar.\nMas cuidado com essa palavra bloqueada, porque está a carregar mais do que aguenta. Três coisas diferentes a usam, e só uma delas é uma regra de recusa.\nNada chegou sequer a enviar a 4500. A travessia de NAT não foi negociada, por isso o cliente continuou a falar ESP, e o ESP não dá a um tradutor nada para reescrever. O valor por omissão nessa plataforma é razão suficiente por si só: sem o valor de registo, não forma de todo uma associação NAT-T com um servidor atrás de um tradutor31. Portanto a 4500 não está bloqueada. Nunca foi tentada.\nO ajudante que costumava tapar isto foi desligado. As firewalls e os routers domésticos trazem ajudantes por protocolo, o IPsec passthrough no equipamento doméstico e toda a família de gateways de camada de aplicação por trás dele, que leem um protocolo que o NAT não consegue tratar e abrem o caminho de volta para ele. No Linux, a forma automática disso foi desligada por omissão no kernel 4.7 «for security reasons», sendo a orientação desde então associar um ajudante de propósito com uma regra ou não associar nenhum; os ajudantes abrangidos incluem o do PPTP50.\nE desligá-los foi a decisão certa. Um ajudante é uma peça da tua firewall que analisa um conteúdo e depois abre um buraco com base no que leu. O NAT Slipstreaming é a fatura disso: um browser a visitar uma página, tráfego moldado para que o ajudante SIP ou H.323 do router o leia como uma chamada, e um buraco aberto através do NAT, na versão de 2021 para qualquer endereço interno, não apenas para a máquina que carregou a página51. Desligar os ajudantes fecha isso. Também faz o teu IPsec deixar de funcionar. As duas coisas são verdade ao mesmo tempo, e a segunda não é argumento para desfazer a primeira.\nO que é este artigo em miniatura, outra vez. O protocolo só funcionava porque caixas no meio liam tráfego que não era delas e abriam buracos em nome dele, e a indústria passou a última década a decidir, com razão, deixar de fazer isso.\nPor isso trabalha as causas por esta ordem, a mais barata primeiro.\nUm: não está a voltar nada. Captura no cliente, ou pergunta ao gateway. Se o UDP 500 sai e nada volta, é filtragem ou alcançabilidade e nenhum temporizador o resolve. Se a 500 se completa nos dois sentidos e a 4500 nunca aparece, a travessia de NAT não foi negociada. E se alguma das pontas estiver atrás de um tradutor, voltaste ao valor de registo de mais acima neste artigo: AssumeUDPEncapsulationContextOnSendRule, 1 ou 2, nas duas máquinas, e depois um reinício31. Sem ele o cliente recusa por desenho e reporta-o como timeout.\nDois: a resposta é grande demais para chegar. Esta desperdiça tardes inteiras. A autenticação por certificado torna a segunda troca grande, porque leva uma cadeia, e uma troca grande fragmenta-se. Os fragmentos são deitados fora pelos mesmos equipamentos intermédios que tudo o resto neste artigo, o cliente retransmite para o mesmo buraco, e depois desiste e diz timeout. O sinal é diagnóstico por si só: uma chave pré-partilhada liga e um certificado não. Isso não é uma avaria de certificado. É uma avaria de tamanho, porque a troca com chave pré-partilhada é pequena o suficiente para caber. A fragmentação IKEv2 normalizada existe precisamente para isto23, e o strongSwan regista quando esta plataforma a recebeu: «IKEv2 fragmentation is supported since the v1803 release of Windows 10 and Windows Server»33. Qualquer coisa mais antiga, ou um gateway com a fragmentação desativada, e estás a contar com um caminho que transporte um datagrama UDP fragmentado. Muitos não transportam.\nTrês: liga-se e depois cai a horas certas. Cronometra. Se morre depois de um período fixo de inatividade, é o 828 e é configuração, não avaria: -IdleDisconnectSeconds no servidor, com -SALifeTimeSeconds, -MMSALifeTimeSeconds e -SADataSizeForRenegotiationKilobytes como os outros três relógios que podem terminar uma sessão52. Este último termina-a por volume em vez de tempo, e é por isso que uma sessão pode morrer de forma fiável durante uma cópia grande de ficheiros e nunca durante um dia de email. E se morre na renovação de chaves com o cliente atrás de NAT, é a avaria de interoperabilidade documentada de há pouco: o cliente rejeita uma renovação de chaves iniciada pelo servidor com o erro 13863 da Microsoft, e a resposta do lado do gateway é deixar de a iniciar e deixar o cliente fazê-lo33.\nQuatro: não é de todo o túnel. O 930 é o RADIUS. O 812 é um método de autenticação que o servidor não aceitou47. O 13801 e o 13806 são certificados: utilização de chave alargada errada, expirado, raiz em falta, ou um nome de servidor que não corresponde ao sujeito do certificado47. A negociação do túnel correu bem nos quatro casos, e se passares a tarde nas cifras não vais encontrar nenhum deles.\nEis o que vale a pena tirar daquela tabela. Seis códigos de erro, cinco deles com a palavra timeout no nome, e nenhum é de facto um timeout. São uma porta bloqueada, um fragmento perdido, uma decisão de política e um servidor RADIUS, todos com a mesma palavra vestida, porque a camada que reporta a falha não consegue ver o suficiente do que aconteceu para dizer algo mais útil. Alongar o temporizador não resolve nenhum deles, e alongar o temporizador é exatamente o que a interface te convida a fazer.\nO que correr em vez dele Não vou fingir que a substituição é exótica. Está no kernel e está lá há anos.\nO WireGuard é uma porta UDP, uma chave por par, sem negociação de cifras e sem agilidade de protocolo nenhuma. A posição do autor sobre isso é deliberada e declarada: «It intentionally lacks cipher and protocol agility. If holes are found in the underlying primitives, all endpoints will be required to update. As shown by the continuing torrent of SSL/TLS vulnerabilities, cipher agility increases complexity monumentally.»53 Essa única decisão apaga o NO_PROPOSAL_CHOSEN, o INVALID_KE_PAYLOAD, os ataques de downgrade e a descoberta do Logjam de uma só vez, porque não há nada para negociar e nada para degradar.\nTambém é honesto quanto à troca, e eu também sou: sem agilidade significa que, quando uma primitiva cai mesmo, atualizas a frota inteira em vez de mudar uma linha de configuração. É um custo operacional real e é o custo certo a pagar.\nO resto alinha com a lista acima quase item a item. Ter uma porta UDP significa que o NAT e o CGNAT o tratam como qualquer outro fluxo, e que o ECMP e o LAG lhe fazem hash como a qualquer outro fluxo. O roaming vem incorporado em vez de aparafusado: um pacote autenticado a partir de um endereço novo muda o ponto terminal do par, por isso um telemóvel que passa do WiFi para os dados móveis não renegoceia nada. Não responde nada a um pacote não autenticado, por isso um scanner encontra uma porta fechada onde, com IPsec, encontraria um concentrador com quem falar. E tem menos de 4000 linhas de código53, contra uma pilha que precisa de um documento a listar as suas dezasseis incompatibilidades com um único equipamento intermédio.\nEm desempenho mediu simplesmente mais rápido do que as duas configurações IPsec com que foi comparado, a 1011 Mbit/s contra 881 e 825, com latência mais baixa53. Eu não retiraria um protocolo por causa de um benchmark. Menciono-o porque o último argumento de pé a favor do IPsec é normalmente o desempenho, e também não é verdade.\nPara levar uma pessoa até uma aplicação, em vez de uma rede até uma rede, a resposta não é de todo um túnel. Identidade à porta de entrada, a aplicação publicada através dela, nada encaminhado. Construí isso com Proxmox e Cloudflare Access em Zero Trust VDI Without the Cloud Bill, e o ponto relevante para este artigo é que um utilizador que precisa de três aplicações internas não precisa de uma rota para toda a tua infraestrutura.\nE diz a parte que ninguém diz sobre o hardware. Sim, há placas de rede e ASIC com descarga de ESP, e isso é um argumento genuíno a favor do IPsec em equipamento específico a velocidades específicas. É um argumento sobre silício que alguém já te vendeu, não sobre o protocolo estar certo. Como tal, envelhece, e envelhece depressa. O PPTP sobreviveu exatamente da mesma maneira, exatamente durante tanto tempo quanto existiu a caixa de seleção.\nRetirá-lo como deve ser Retirar é um plano com datas, não um sentimento. Este é o que eu assinaria.\nPara já com as novas implementações de IPsec. Não é «preferir alternativas». Para. Cada túnel novo é um túnel que alguém vai ter de migrar mais tarde, e os que estão a ser construídos hoje ainda vão estar a correr em 2035 a não ser que alguém diga que não esta semana.\nFaz primeiro o acesso remoto, porque é aí que cada falha deste artigo bate com mais força: o CGNAT, o endereço partilhado, os keepalives, o segundo utilizador na mesma casa, o buraco negro do MTU numa rede de hotel qualquer. É também o mais fácil de mudar, porque as máquinas são geridas e a mudança é um cliente.\nDepois o site-to-site pela internet pública, que é o mesmo conjunto de problemas com menos pontas e uma janela de manutenção.\nDeixa para o fim os túneis de que não és dono das duas pontas: um parceiro, um regulador, o serviço gerido de uma operadora. Esses mudam quando o contrato muda, e a maneira de os fazer mudar é o ponto seguinte.\nDeixa de comprar equipamento cujo único túnel é IPsec. Põe isso no caderno de encargos. Uma linha a pedir um túnel moderno, baseado em portas e com capacidade de roaming é uma linha a que um fabricante responde ou não responde, e é assim que o argumento da base instalada finalmente perde. Esse argumento é o único que mantém qualquer coisa disto viva, e só é derrotado pelas compras.\nEscreve que túneis restam e porquê, e põe uma data em cada um. Um protocolo que ninguém assumiu durante dez anos é como o PPTP chegou a 2026. Um inventário com datas é a diferença entre retirar uma coisa e apenas não gostar dela.\nSe ainda o estás a implementar, podes chamar-te profissional? É uma pergunta genuína e vou responder-lhe com honestidade, porque é aquela para onde o resto deste artigo tem estado a caminhar.\nDepende de saberes. E saber não é algo que te acontece. Garantir que sabes é o trabalho.\nSe estás a montar um serviço novo de acesso remoto IPsec este ano e não consegues dizer, sem ir procurar nada, porque é que o ESP não tem portas, o que uma linha residencial sob NAT de operadora lhe faz, porque é que uma rede NAT64 não o transporta de todo, ou para que serve realmente aquele pacote de um byte a cada vinte segundos, então não. Não nisto, ainda não. Não estás a escolher um protocolo. Estás a repetir uma forma, porque o último era assim e ninguém na sala perguntou porquê, incluindo tu. A falha não é a lacuna. Toda a gente tem lacunas. A falha é construir por cima de uma que nunca foste fechar. Como tal, a pessoa que o herdar em 2035 fica com uma década de tickets que eram todos evitáveis no dia em que o desenhaste.\nVou dar-lhe o nome certo, porque a versão educada anda em circulação há vinte anos e não mudou nada. Alguém que implementa um protocolo que não consegue explicar não é um engenheiro. É um seguidor. Lê os cartões de deixa, a arquitetura de referência do fabricante, o último pedido de alteração, um diagrama que alguém desenhou em 2014 e que ninguém abriu desde então, e lê-os em voz alta com verdadeira convicção, e não há compreensão nenhuma em lado nenhum por trás da atuação. Visto de fora parece exatamente competência. Continua a parecer exatamente competência até à primeira falha que os cartões não cobrem, e a partir desse momento é a única coisa na sala que importa.\nOs cartões de deixa são também a razão de este protocolo ainda cá estar. Ninguém se pôs diante de um quadro branco em 2026 a defender o IPsec pelos seus méritos. Foi implementado outra vez porque estava no cartão, e o cartão foi escrito por um fabricante cujo interesse é que continues a comprar a caixa que o termina. É assim que uma coisa sobrevive vinte anos ao seu próprio obituário: não por ser defendida, mas por nunca ter sido obrigada uma única vez a justificar-se numa sala onde alguém conseguisse notar a diferença.\nE isto é denunciado. Em voz alta, na sala, na altura, não resmungado no corredor depois. Se alguém põe a palavra profissional ao lado do nome, a palavra chega com um convite a ser questionada, e questionar não é falta de educação. Ser questionado e ter uma resposta é toda a diferença entre a palavra e um cartão de visita.\nImporta mais quando és tu a pagar. Uma consultora, um MSP, o braço de serviços profissionais de um fabricante, o integrador do acordo-quadro: o que estás a comprar é discernimento, e o discernimento é a única coisa que não consegues inspecionar na entrega. Por isso inspeciona-o antes. Pergunta porquê este protocolo e não outro. Pergunta o que lhe acontece numa linha com NAT de operadora, numa rede móvel só com IPv6, num caminho que deita fragmentos fora em silêncio. Pergunta quais destes já lhes aconteceram pessoalmente e o que fizeram a respeito. Vais saber em menos de dois minutos se te estão a dizer alguma coisa ou a ler-te um guião, e dois minutos é um teste consideravelmente mais barato do que quatro anos de tickets. E se a resposta forem cartões de deixa e assinares na mesma, isso também é uma decisão: só passou a ser tua em vez de deles.\nSe consegues dizer tudo isso, e o estás a implementar na mesma porque um regulador o exige pelo nome do protocolo, porque o equipamento do parceiro não termina mais nada, ou porque a substituição está no orçamento do ano que vem e isto tem de funcionar em março, então sim, obviamente, e estás a fazer o trabalho como deve ser. As restrições são reais e já construí à volta de piores. O que separa os dois não é o protocolo no diagrama. É se escreveste porquê, e se há uma data ao lado.\nA posição indefensável é a do meio. Saber o suficiente para estar desconfortável, e construí-lo na mesma porque ninguém te obrigou a justificá-lo. Não é engenharia. É hábito, com um número de alteração agarrado, e é exatamente assim que o L2TP foi parar a uma ficha técnica impressa este ano.\nPor isso faz a ti próprio a pergunta antes de o concurso fechar, não depois. Profissional não é uma palavra sobre que protocolos conheces. É uma palavra sobre se consegues defender aquele que escolheste, em voz alta, perante alguém que conhece os modos de falha. Se consegues, implementa o que as restrições exigirem e dorme descansado. Se não consegues, acabaste de descobrir o que ir ler esta noite, e isso não é um insulto. Toda a gente foi seguidor uma vez, sem exceção, eu incluído. A parte que não é defensável é escolher continuar a sê-lo e chamar-lhe carreira.\nUma boa ideia tem o direito de acabar Quero ser justo com o IPsec, porque ele merece.\nFoi o instinto certo. A segurança pertence ao fundo da pilha, onde tudo a herda e nenhuma aplicação tem de ser de confiança para a acertar. Ligar a associação ao endereço não foi um erro em 1995: o endereço era a máquina, e construir sobre isso estava correto. As pessoas que o escreveram eram pessoas sérias a resolver um problema real, e o artigo do WireGuard, de todos os documentos, é o que o diz melhor: a estrutura em camadas do IPsec é sólida, tudo está no sítio certo, com perfeição académica53.\nE depois o chão mexeu-se. Não porque o IPsec tenha feito alguma coisa mal, mas porque esta indústria decidiu que os endereços eram um custo a gerir e não uma coisa que todas as máquinas recebem, e construiu vinte e cinco anos de tradução para evitar a alternativa. A fundação do IPsec foi retirada em silêncio, e em vez de o admitirmos, calçámo-lo. Encapsulamento UDP. Depois keepalives. Depois encapsulamento TCP para as redes que bloqueiam UDP. Depois mais um cabeçalho UDP para um router encontrar algo sobre que fazer hash. Cada correção razoável por si só; a pilha delas é um protocolo mantido de pé por pessoas que são pagas para o manter de pé.\nEssa é a parte que vale a pena enfurecer-nos, e não é bem sobre o IPsec. A nossa indústria é muito boa a manter coisas e muito má a acabar com elas. A manutenção é faturável, orçamentada, tem pessoal atribuído e é segura. A retirada é uma decisão que alguém tem de assinar, com o nome nela, e sem recompensa imediata. Por isso o PPTP viveu catorze anos para além da prova de que não valia nada, o L2TP ainda vem em caixas vendidas este ano, e o IKEv1 continuou a negociar túneis durante uma década depois de passar a Historic. Não porque alguém os tenha defendido. Porque nunca ninguém foi obrigado a matá-los.\nNão há prémio por acertar 90%. Ferguson e Schneier escreveram isso sobre o IPsec em 1999, e o que aconteceu desde então foram trinta anos da indústria a errar os últimos 10% de uma maneira nova de cada vez e a chamar solução ao remendo.\nUma boa ideia continua a ter o direito de acabar. Saber quando parar de manter uma coisa é uma competência, e é aquela em que este ofício é pior. Alguém tem de ser quem diz que um protocolo já viveu a sua vida, escreve a data e aguenta as consequências de ter sido quem o disse. De outro modo ainda vamos estar a enviar um pacote de um byte a cada vinte segundos em 2040, para manter quente uma tabela numa caixa que não é nossa, numa rede que nos tirou os endereços e nos cobrou pelo privilégio.\nRFC 4301 — Security Architecture for the Internet Protocol, dezembro de 2005. Define a associação de segurança e o trio pelo qual é procurada: endereço de destino, protocolo de segurança e SPI.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 4302 — IP Authentication Header, dezembro de 2005. A verificação de integridade do AH cobre os campos imutáveis do cabeçalho IP, endereços de origem e destino incluídos.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 9329 — TCP Encapsulation of Internet Key Exchange Protocol (IKE) and IPsec Packets, novembro de 2022, substitui o RFC 8229. Existe porque os equipamentos intermédios em redes públicas bloqueiam UDP.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 3715 — IPsec-Network Address Translation (NAT) Compatibility Requirements, março de 2004. Dezasseis incompatibilidades enumeradas, incluindo: «Since the AH header incorporates the IP source and destination addresses in the keyed message integrity check, NAT or reverse NAT devices making changes to address fields will invalidate the message integrity check» e «Where IP addresses are used as identifiers in Internet Key Exchange Protocol (IKE) Phase 1 or Phase 2, modification of the IP source or destination addresses by NATs or reverse NATs will result in a mismatch between the identifiers and the addresses in the IP header.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCisco — Configuring IPsec NAT-Traversal, Security Configuration Guide, Cisco IOS XE 17.15.x (Catalyst 9300 Switches). «If PAT found a legislative IP address and port, it would drop the Encapsulating Security Payload (ESP) packet»; o cabeçalho UDP e um marcador non-IKE de 8 bytes são inseridos entre o cabeçalho IP exterior e o cabeçalho ESP; a lista de restrições inclui regras estáticas para as portas 500 e 4500, nenhum suporte para políticas de NAT dinâmico, nada de IPv6, e que o IPsec e o NAT não podem funcionar os dois no mesmo dispositivo.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 3948 — UDP Encapsulation of IPsec ESP Packets, janeiro de 2005, com a negociação no RFC 3947. Define o keepalive como «a one-octet-long payload with the value 0xFF», enviado «if no other packet to the peer has been sent in M seconds. M is a locally configurable parameter with a default value of 20 seconds», e exige que o checksum UDP seja posto a zero: «If the protocol header after the ESP header is a UDP header, set the checksum field to zero in the UDP header.» Microsoft, Cisco, F-Secure, Nortel e SafeNet constam todas das listas de autores do RFC 3947 e do RFC 3948.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nJuniper — Route-Based and Policy-Based VPNs with NAT-T, Junos OS IPsec VPN User Guide. «NAT-T encapsulates both IKE and ESP traffic within UDP with port 4500 used as both the source and destination port»; «Because NAT devices age out stale UDP translations, keepalive messages are required between the peers»; e nos SRX5400, SRX5600 e SRX5800, «the total number of tunnels from a given public translated IP cannot exceed 1000 tunnels.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 8221 — Cryptographic Algorithm Implementation Requirements and Usage Guidance for ESP and AH, outubro de 2017. ENCR_DES MUST NOT, ENCR_3DES SHOULD NOT, AUTH_HMAC_MD5_96 MUST NOT; ESP combinado com AH é NOT RECOMMENDED.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 4787 — Network Address Translation (NAT) Behavioral Requirements for Unicast UDP, janeiro de 2007. REQ-5: «A NAT UDP mapping timer MUST NOT expire in less than two minutes», com «a default value of five minutes or more for the NAT UDP mapping timer is RECOMMENDED».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 6146 — Stateful NAT64: Network Address and Protocol Translation from IPv6 Clients to IPv4 Servers, abril de 2011. «The current specification only defines how stateful NAT64 translates unicast packets carrying TCP, UDP, and ICMP traffic. Multicast packets and other protocols, including the Stream Control Transmission Protocol (SCTP), the Datagram Congestion Control Protocol (DCCP), and IPsec, are out of the scope of this specification.» Os pacotes que transportem outra coisa «SHOULD be discarded».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 6877 — 464XLAT: Combination of Stateful and Stateless Translation, abril de 2013. Dá a um dispositivo só com IPv6 uma pilha IPv4 local para que o tráfego que o NAT64 não transporta funcione na mesma.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nIETF — draft-xu-ipsecme-esp-in-udp-lb, Encapsulating IPsec ESP in UDP for Load-balancing. «Although the ESP SPI field within the IPsec packets can be used as the load-balancing key, but it cannot be used by legacy switches and routers»; «Many cloud service providers allow customers to establish multiple IPsec VPN tunnels in parallel to enable ECMP and increase aggregate bandwidth. However, this approach is not ideal, as each tunnel typically requires its own public IP address, leading to higher public IP consumption and increased operational overhead.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCisco — Resolve IPv4 Fragmentation, MTU, MSS, and PMTUD Issues with GRE and IPsec. A referência de longa data sobre o overhead dos túneis, a descoberta do MTU do caminho e o que se parte quando os erros ICMP não voltam.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCisco — Troubleshoot IPsec Anti-Replay Check Failures. «Certain QoS features, such as Low Latency Queueing (LLQ), could cause IPsec packet delivery to become out-of-order and dropped by the receiving endpoint due to a replay check failure.» Janela por omissão de 64 pacotes; 1024 nas plataformas mais recentes; o remédio alternativo são múltiplos espaços de números de sequência por associação.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 2661 — Layer Two Tunneling Protocol “L2TP”, agosto de 1999. Um protocolo de túnel para PPP sem confidencialidade própria ao nível do pacote; a sua secção de segurança remete para o IPsec.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nMoxie Marlinspike e David Hulton — Divide and Conquer: Cracking MS-CHAPv2 with a 100% Success Rate, 2012; ferramenta em github.com/moxie0/chapcrack. A segurança do MS-CHAPv2 reduz-se a uma única operação DES independentemente do comprimento da palavra-passe; relato da época no The Register. A conclusão deles foi que o tráfego PPTP devia ser considerado não cifrado.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nApple — If you see a “VPN Using PPTP May Not Be Secure” alert. O PPTP foi retirado do cliente integrado no macOS Sierra e no iOS 10, em 2016.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 4303 — IP Encapsulating Security Payload (ESP), dezembro de 2005. Protocolo IP 50; o cabeçalho ESP leva o SPI e o número de sequência e não tem campo de porta.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 9395 — Deprecation of the Internet Key Exchange Version 1 (IKEv1) Protocol and Obsoleted Algorithms, abril de 2023. «Internet Key Exchange Version 1 (IKEv1) has been deprecated, and RFCs 2407, 2408, and 2409 have been moved to Historic status.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 7296 — Internet Key Exchange Protocol Version 2 (IKEv2), outubro de 2014. A troca de chaves atual, e a fonte dos nomes de notificação da tabela de diagnóstico.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 3173 — IP Payload Compression Protocol (IPComp), setembro de 2001. Número de protocolo IP próprio e associações próprias, negociadas ao lado do ESP.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 2367 — PF_KEY Key Management API, Version 2, julho de 1998. A interface do kernel que um daemon de chaves usa para instalar associações.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 7383 — IKEv2 Message Fragmentation, novembro de 2014. «This document describes a way to avoid IP fragmentation of large Internet Key Exchange Protocol version 2 (IKEv2) messages.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 4555 — IKEv2 Mobility and Multihoming Protocol (MOBIKE), junho de 2006. Permite que um túnel estabelecido sobreviva a uma mudança de endereço.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 3706 — A Traffic-Based Method of Detecting Dead Internet Key Exchange (IKE) Peers, fevereiro de 2004.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\ndraft-beaulieu-ike-xauth — Extended Authentication within IKE (XAUTH). Última revisão 02, outubro de 2001, estado Expired, «Expired \u0026amp; archived», nunca publicado como RFC. O draft regista que foi apresentado como Informational porque «the IPSRA working group will not accept any protocol which extends ISAKMP or IKE, and the IPsec working group refuses to accept any protocols that deal with remote access.» O Mode-Config teve o mesmo destino.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 3193 — Securing L2TP using IPsec, novembro de 2001. Coescrito na Microsoft.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 2332 — NBMA Next Hop Resolution Protocol (NHRP), abril de 1998. A peça que permite aos spokes de DMVPN encontrarem-se.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 6407 — The Group Domain of Interpretation, outubro de 2011. Chaves de grupo, tal como usadas pelo GETVPN.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 2637 — Point-to-Point Tunneling Protocol (PPTP), julho de 1999. Categoria: Informational. Um protocolo de fabricante posto por escrito, nunca uma norma.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nMicrosoft — Configure L2TP/IPsec server behind NAT-T device, KB 926179, revisto pela última vez a 12 de fevereiro de 2026. «By default, Windows Vista and Windows Server 2008 don\u0026rsquo;t support Internet Protocol security (IPsec) network address translation (NAT) Traversal (NAT-T) security associations to servers that are located behind a NAT device»; o DWORD AssumeUDPEncapsulationContextOnSendRule em HKEY_LOCAL_MACHINE\\SYSTEM\\CurrentControlSet\\Services\\PolicyAgent aceita 0 (por omissão, não consegue), 1 (servidor atrás de NAT) ou 2 (as duas pontas atrás de NAT), e a máquina tem de ser reiniciada. Também: «If you must use IPsec for communication, use public IP addresses for all servers that you can connect to from the Internet.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nstrongSwan — Windows Certificate Requirements. O certificado do gateway precisa da EKU serverAuth, OID 1.3.6.1.5.5.7.3.1, e da EKU IP Security IKE Intermediate, OID 1.3.6.1.5.5.8.2.2.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nstrongSwan — Windows Clients. Documenta acrescentar o DWORD NegotiateDH2048_AES256 em Rasman\\Parameters para obter AES-256-CBC e MODP-2048; o contorno da renovação de chaves para clientes atrás de NAT (rekey_time = 0 no gateway, deixando o cliente iniciar); e que o cliente Windows «does not currently support IKE redirection (RFC 5685) and multiple authentication rounds (RFC 4739).» Também: «IKEv2 fragmentation is supported since the v1803 release of Windows 10 and Windows Server», e os clientes atrás de NAT recusam uma renovação de chaves de CHILD_SA iniciada pelo servidor com o erro 13863 da Microsoft.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nMicrosoft — DirectAccess e Remote Access Always On VPN migration overview. O DirectAccess está descontinuado e será removido numa versão futura do Windows Server; os clientes são encaminhados para o Always On VPN.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nJean Paul Degabriele e Kenneth G. Paterson — Attacking the IPsec Standards in Encryption-only Configurations, IEEE Symposium on Security and Privacy, 2007. Ataques que «break any RFC-compliant implementation of IPsec making use of encryption-only ESP», só com texto cifrado, precisando apenas da capacidade de escutar e de injetar tráfego.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 6434 — IPv6 Node Requirements, dezembro de 2011. «Previously, IPv6 mandated implementation of IPsec and recommended the key management approach of IKE. This document updates that recommendation by making support of the IPsec Architecture [RFC4301] a SHOULD for all IPv6 nodes.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nNiels Ferguson e Bruce Schneier — A Cryptographic Evaluation of IPsec, Counterpane Internet Security, 1999. «IPsec was a great disappointment to us»; «Our main criticism of IPsec is its complexity»; «We therefore recommend that transport mode be eliminated»; «We conclude that eliminating transport mode allows the elimination of the AH protocol as well, without loss of functionality»; e «We have found serious security weaknesses in all major components of IPsec. As always in security, there is no prize for getting 90% right; you have to get everything right.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nDavid Adrian et al. — Imperfect Forward Secrecy: How Diffie-Hellman Fails in Practice, ACM CCS 2015. A pré-computação para um segundo grupo de 1024 bits «would allow decryption of traffic to 66% of IPsec VPNs»; 86,1% dos servidores IKEv1 e 91,0% dos IKEv2 analisados suportavam o Oakley Group 2, e 66,1% dos servidores IKEv1 caracterizados preferiam-no.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCVE-2016-1287 e o aviso da Cisco, Cisco ASA Software IKEv1 and IKEv2 Buffer Overflow Vulnerability. Execução remota de código antes da autenticação, alcançada com pacotes UDP forjados enviados ao serviço IKE.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nJuniper — How to Analyze IKE Phase 2 VPN Status Messages. «No proposal chosen» significa que o dispositivo «did not accept any of the IKE Phase 2 proposals that the peer sent».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCisco — Understand and Use Debug Commands to Troubleshoot IPsec, e Troubleshoot Common L2L and Remote Access IPsec VPN Issues.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nJuniper — Troubleshoot a VPN Tunnel That is Down.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nKernel Linux — XFRM proc counters. As descrições na tabela são as da própria documentação do kernel.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nJuniper — Troubleshoot a VPN That Is Up But Not Passing Traffic. «If only the pkts counter in the out direction of the session is incrementing, then validate with the VPN peer that the traffic is being received.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nMicrosoft — netsh wfp, Windows Commands. netsh wfp capture start «Starts a capture session for network events processed by WFP» e escreve por omissão wfpdiag.cab; netsh wfp show state «Displays the current state of WFP and IPsec»; netsh wfp show ikeevents «Displays recent Internet Key Exchange (IKE) epoch events matching the specified parameters» e aceita um filtro remoteaddr=. Definir file=- em qualquer dos show escreve na consola em vez de escrever XML.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nMicrosoft — Get-NetIPsecQuickModeSA, módulo NetSecurity. «There is only one main mode SA between a pair of computers, but there can be many quick mode SAs», e monitorizá-las «can provide information about which peers are currently connected to this computer, and which protection suite is protecting the data exchanged between them.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nMicrosoft — Troubleshoot Always On VPN, revisto pela última vez a 12 de fevereiro de 2026. Sobre ler os registos do cliente: «look for events labeled RasClient. All error messages return the error code at the end of the message.» A causa do erro 809: «You can encounter this issue when the UDP 500 or 4500 ports on the VPN server or firewall are blocked.» O erro 812 é uma discrepância de método de autenticação entre a política do servidor e o perfil do cliente. As quatro causas listadas para o erro 13801 são um certificado de máquina sem Server Authentication em Enhanced Key Usage, um certificado de máquina RAS expirado, um cliente sem o certificado de raiz, e um cliente cujo «VPN server name doesn\u0026rsquo;t match the subjectName value on the server certificate»; o 13806 é «IKE can\u0026rsquo;t find a valid machine certificate».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nMicrosoft — Guidance for troubleshooting Remote Access (VPN and AOVPN). A recolha suportada é o TSS, corrido com privilégios elevados: TSS.ps1 -Scenario NET_VPN no cliente e TSS.ps1 -Scenario NET_RAS no servidor, reproduzindo a avaria entre o início e a paragem, com os registos escritos em C:\\MS_DATA.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nMicrosoft — Routing and Remote Access Error Codes, os códigos definidos em raserror.h. 638 ERROR_REQUEST_TIMEOUT; 718 ERROR_PPP_TIMEOUT; 789 ERROR_OAKLEY_GENERAL_PROCESSING, «The L2TP connection attempt failed because the security layer encountered a processing error during initial negotiations with the remote computer»; 809 ERROR_VPN_TIMEOUT, «The network connection between your computer and the VPN server could not be established because the remote server is not responding»; 828 ERROR_IDLE_TIMEOUT, «The connection was terminated because of idle timeout»; 930 ERROR_AUTH_SERVER_TIMEOUT, «The authentication server did not respond to authentication requests in a timely fashion».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nfirewalld — Automatic Helper Assignment. «With kernel 4.7 and up the automatic helper assignment in kernel has been turned off by default», controlado pelo sysctl em /proc/sys/net/netfilter/nf_conntrack_helper, e «for the secure use of iptables and connection tracking helpers it is recommended to turn AutomaticHelpers off». A própria mensagem do kernel sobre a mudança nomeia a razão e a substituição: a atribuição automática de ajudantes por omissão «has been turned off for security reasons», usa o alvo CT para associar ajudantes em vez disso. Os ajudantes abrangidos incluem ftp, irc, sip, h323, tftp, snmp e pptp.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nSamy Kamkar — NAT Slipstreaming, v1 de 31 de outubro de 2020, v2 de 26 de janeiro de 2021 com Ben Seri e Gregory Vishnipolsky da Armis. O ataque abusa de «the Application Level Gateway (ALG) connection tracking mechanism built into NATs, routers, and firewalls» para «bypass victim NAT and connect directly back to any port on any machine on the network, exposing previously protected/hidden services and systems». A v1 usava o gateway SIP na porta 5060; a v2 usava o H.323 na 1720, o que permitia apontar o buraco a qualquer anfitrião interno e não apenas à máquina que carregou a página.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nMicrosoft — Set-VpnServerConfiguration, módulo RemoteAccess. -IdleDisconnectSeconds «Specifies the time, in seconds, after which an idle connection is terminated»; -SALifeTimeSeconds e -MMSALifeTimeSeconds definem os tempos de vida do quick mode e do main mode; -SADataSizeForRenegotiationKilobytes «Specifies the number of kilobytes that are allowed to transfer using a security association (SA), after which the SA will be renegotiated.»\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nJason A. Donenfeld — WireGuard: Next Generation Kernel Network Tunnel, NDSS 2017. «It intentionally lacks cipher and protocol agility. If holes are found in the underlying primitives, all endpoints will be required to update. As shown by the continuing torrent of SSL/TLS vulnerabilities, cipher agility increases complexity monumentally»; «implemented for Linux in less than 4,000 lines of code»; «it is important to stress, however, that the layering of IPsec is correct and sound; everything is in the right place with IPsec, to academic perfection.» Benchmarks: 1011 Mbit/s contra 881 e 825 para dois conjuntos de cifras IPsec, e ping de 0,403 ms contra 0,501 e 0,508.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\n","permalink":"https://blogs.damiendye.uk/pt/networking/ipsec-was-a-good-idea-turn-it-off/","summary":"O IPsec estava certo em 1995: cifrar abaixo da aplicação, ligar a associação de segurança ao endereço IP, deixar que todos os protocolos a herdem. Depois chegou o NAT, o NAT de operadora acabou o trabalho, e a solução foi embrulhar tudo em UDP e manter um temporizador a correr para que uma tabela de tradução não se esquecesse de ti. Este artigo mostra como ele cai, diagrama a diagrama: a associação de segurança que não sobrevive a um cabeçalho reescrito, os dois tradutores que cada linha com CGNAT tem agora, a norma do NAT64 que declara o IPsec fora de âmbito, o túnel que não consegue usar uma segunda ligação porque o ESP não tem portas, o MTU de que ninguém é dono, e o L2TP e o PPTP como os dois protocolos que nunca deviam ter estado aqui. Traz a documentação dos fabricantes, Cisco, Juniper e Microsoft, que admite cada uma destas coisas, as dezoito peças que se apresentam como VPN IPsec, incluindo as duas que nunca chegaram a ser normas, porque é que o Fisher-Price OS (Windows) nunca interoperou verdadeiramente com uma pilha aberta, um método prático para diagnosticar o IPsec enquanto ainda o tens a correr, e a defesa de retirar tudo, com datas.","title":"O IPsec foi uma boa ideia. Está na hora de o desligar."},{"content":"Quanto custa realmente o Azure Virtual Desktop O Azure Virtual Desktop entrega um ambiente de trabalho Windows num browser. É isso mesmo que faz, e funciona. A questão é quanto custa mantê-lo a funcionar.\nO preço da etiqueta não é o preço. A pilha de licenciamento da Microsoft para o AVD é mais ou menos esta1:\nUma licença Microsoft 365 que inclua o direito ao Windows Enterprise: E3 ou E5, ou o equivalente Business Premium Computação Azure por baixo do ambiente de trabalho: uma VM faturada à hora, ou uma instância reservada faturada ao mês Armazenamento Azure para o disco do sistema operativo e para o perfil do utilizador Rede Azure para o tráfego entre o ambiente de trabalho e tudo o resto Opcionalmente, Microsoft Entra ID P1 ou P2 para políticas de acesso condicional O Windows 365 Cloud PC simplifica a faturação num valor fixo por utilizador por mês, mas o valor não é pequeno. Uma configuração de 2 vCPU / 8 GB / 128 GB, que é um modesto ambiente de trabalho de escritório, custa £35,60 por utilizador por mês2. Junta-lhe uma GPU e salta para £269,40 no escalão GPU Standard. Multiplica pelo número de pessoas e é uma linha a sério no orçamento, todos os meses, para sempre.\nÉ esse o produto que este artigo substitui.\nBrowser qualquer dispositivo sem cliente RDP sem VPN HTTPS Cloudflare Access\u0026#160;+\u0026#160;IdP autentica o utilizador desenha o RDP no browser grátis ≤\u0026#160;50 utilizadores sem portas expostas sem VPN política zero trust túnel LXC cloudflared VLAN própria firewall só deixa destinos RDP RDP VM\u0026#160;Windows GPU VF\u0026#160;0\u0026#160;·\u0026#160;RDP VM\u0026#160;Windows GPU VF\u0026#160;1\u0026#160;·\u0026#160;RDP VM\u0026#160;Windows GPU VF\u0026#160;2\u0026#160;·\u0026#160;RDP Host Proxmox\u0026#160;·\u0026#160;Intel Arc Pro SR-IOV Arc Pro série B PF → host VF 0 → VM VF 1 → VM VF 2 → VM Um browser, um fornecedor de identidade e um túnel: sem VPN, sem portas expostas, sem fatura de cloud por utilizador O caminho inteiro: um browser, o Cloudflare Access para a identidade, um túnel para um LXC atrás de firewall, e RDP para VMs Windows com funções virtuais Intel Arc Pro. Sem VPN, sem portas expostas, sem fatura de cloud por utilizador. Como é a pilha que o substitui Três camadas, cada uma independente, nenhuma faturada por utilizador:\nA camada de GPU é a construção Intel Arc Pro SR-IOV do artigo anterior. Uma única placa Arc Pro divide-se em funções virtuais de hardware através do SR-IOV PCIe normal: sem licença vGPU, sem subscrição NVIDIA. Cada VM Windows recebe a sua própria VF e o seu próprio ambiente de trabalho acelerado por GPU. É a placa que define o número de lugares, não um servidor de licenças.\nA camada de acesso é o Cloudflare Access com RDP desenhado no browser. O utilizador abre um URL em qualquer browser, autentica-se no teu fornecedor de identidade, e a Cloudflare desenha a sessão RDP diretamente no separador do browser. Nenhum cliente RDP instalado. Nenhuma VPN. Nenhuma porta exposta à internet. O Access federa com qualquer fornecedor OAuth ou OIDC, o que inclui fornecedores on-prem como o Keycloak ou o Authentik montados sobre o teu Active Directory existente, seja ele Samba 4 AD ou um controlador de domínio Windows. O diretório continua a fazer o que já faz: contas de utilizador, políticas de grupo, VMs juntas ao domínio. O Keycloak ou o Authentik federam contra ele e acrescentam a camada OAuth/OIDC e MFA de que o Cloudflare Access precisa. O plano de identidade fica no teu próprio hardware. Não é precisa nenhuma subscrição Entra ID. O Cloudflare Access trata do que acontece a seguir: controla o que o utilizador autenticado pode alcançar na tua rede, que aplicações, que protocolos, que hosts. O ambiente de trabalho está atrás de um túnel Cloudflare e é inalcançável de qualquer lado exceto através da política do Access, e a política decide tanto a identidade como o âmbito.\nA camada de túnel é um processo cloudflared a correr num contentor LXC no Proxmox, na sua própria VLAN: uma /30 para IPv4 com o seu próprio prefixo IPv6 dedicado, mais nada no domínio de broadcast. A firewall do Proxmox controla o que o LXC pode alcançar, e a resposta é curta: TCP 3389 para as VMs de ambiente de trabalho e mais nada. Se o ponto final do túnel for comprometido, o raio de impacto é um contentor numa VLAN de resto vazia, e a única coisa com que pode falar é aquilo que a firewall já permite. É uma superfície muito mais pequena do que um concentrador de VPN que distribui uma sub-rede encaminhada.\nO Cloudflare Zero Trust é gratuito até 50 utilizadores3. Pagas a partir do utilizador 51. O Azure Virtual Desktop cobra desde o primeiro lugar.\nA arquitetura Utilizador dispositivo browser HTTPS Cloudflare Access o IdP OAuth faz identidade\u0026#160;+\u0026#160;MFA o Access controla o\u0026#160;âmbito\u0026#160;de\u0026#160;rede desenha o RDP túnel As tuas instalações LXC cloudflared VLAN\u0026#160;própria /30\u0026#160;IPv4 Firewall Proxmox só\u0026#160;TCP\u0026#160;3389 RDP Windows VMs funções virtuais de GPU Arc\u0026#160;Pro\u0026#160;SR-IOV O caminho da sessão: o utilizador autentica-se na periferia da Cloudflare, o túnel chega a um LXC atrás de firewall na sua própria VLAN, e a firewall só permite RDP para as VMs de ambiente de trabalho. O caminho que uma sessão de ambiente de trabalho percorre:\nO utilizador abre https://vdi.example.com em qualquer browser, em qualquer dispositivo O Cloudflare Access interceta o pedido e redireciona para o teu fornecedor de identidade: Keycloak ou Authentik federado contra o teu Active Directory O fornecedor OAuth valida a identidade do utilizador contra o AD e trata do MFA O Access avalia a política: o fornecedor confirmou quem é, o Access decide o que pode alcançar na tua rede A Cloudflare estabelece uma sessão RDP através do túnel até à VM de destino A sessão RDP é desenhada no browser: sem cliente, sem plugin, sem download O túnel termina num contentor LXC no host Proxmox, numa VLAN fechada O LXC encaminha o RDP para a VM Windows, que tem uma função virtual de GPU da placa Arc Pro Em momento algum a VM Windows tem um IP público. Em momento algum a porta 3389 está aberta à internet. A única coisa à escuta na internet pública é a Cloudflare, e a única coisa que passa a Cloudflare é um utilizador que passou a política do Access.\nO ponto final do túnel: um LXC na sua própria VLAN O processo cloudflared tem de correr em algum lado, e onde o pões é uma decisão de segurança.\nCorrê-lo diretamente no host Proxmox é a opção mais simples e a pior. Um ponto final de túnel que partilha o espaço de nomes de rede do host consegue alcançar tudo o que o host alcança, o que num hipervisor é tudo. Um túnel comprometido torna-se um ponto de apoio para o plano de gestão.\nCorrê-lo numa VM completa é limpo mas pesado. Um relé de túnel é um único binário Go que quase não usa CPU e algumas centenas de megabytes de RAM. Dar-lhe um kernel inteiro e um disco virtual é exagero.\nUm contentor LXC tem a forma certa. Tem o seu próprio espaço de nomes de rede, a sua própria VLAN (uma /30 IPv4 e um prefixo IPv6 dedicado, mais nada a partilhar o domínio de broadcast) e as suas próprias regras na firewall do Proxmox. Partilha o kernel do host, mas não a sua pilha de rede. A firewall permite TCP 3389 para as VMs de ambiente de trabalho, DNS para as resolver, e HTTPS de saída para a periferia da Cloudflare. Assim sendo, mesmo um ponto final de túnel comprometido só consegue falar com aquilo com que já devia falar, e a VLAN onde está não tem outros residentes para alcançar.\nA configuração do LXC, as regras da firewall do Proxmox para a VLAN e a configuração do túnel cloudflared estão todas no próximo artigo.\nComo encaixa o Cloudflare Access Isto tem duas metades. O fornecedor OAuth, Keycloak ou Authentik, federado contra o teu Active Directory (Samba 4 ou Windows), trata da validação da identidade e do MFA. Prova que o utilizador é quem diz ser, usando o mesmo diretório a que as VMs estão juntas. O Cloudflare Access trata de tudo o que vem depois: o que o utilizador autenticado pode alcançar, por que protocolo, e como a sessão é desenhada.\nO Cloudflare Access desenha a sessão RDP diretamente no browser. Não é um download nem um plugin: a periferia da Cloudflare corre um cliente RDP sem interface e transmite o resultado como um canvas no separador do browser. O utilizador vê um ambiente de trabalho Windows. O browser vê HTTPS para a Cloudflare. A VM Windows vê uma ligação RDP vinda do túnel cloudflared.\nA aplicação do Access é uma aplicação self-hosted apontada à entrada RDP do túnel. A política do Access é onde as duas metades se encontram. O fornecedor OAuth já confirmou a identidade e passou o desafio MFA. O Access pega nesse token e decide o que fazer com ele: que aplicação o utilizador pode alcançar, se a postura do dispositivo passa, se a sua localização é permitida. O fornecedor diz quem. O Access diz o quê.\nA criação do túnel, as regras de entrada, a configuração do LXC, as regras da firewall do Proxmox e a própria política do Access estão todas no próximo artigo. Este expõe o que a pilha é e porque existe. O próximo constrói-a.\nO que o utilizador vê O Cloudflare Access inclui um App Launcher, um portal de recursos que lista todas as aplicações que o utilizador autenticado pode alcançar. Depois de o utilizador entrar através do fornecedor OAuth, o portal mostra-lhe os ambientes de trabalho disponíveis, as aplicações web internas e quaisquer outros recursos em túnel, tudo num só sítio. Um URL, um login, e um mosaico para cada coisa a que tem acesso. É a página de entrada de toda a pilha, não só do RDP.\nO utilizador clica num mosaico de ambiente de trabalho e recebe um ambiente de trabalho Windows num separador do browser. Sem cliente, sem plugin, sem download. Funciona em qualquer dispositivo que já tenha: um portátil da empresa, uma máquina pessoal, um Chromebook, um tablet. É esse o objetivo. O sistema foi feito para empresas que deixam as pessoas usar o seu próprio equipamento.\nA área de transferência, o áudio e os vários monitores não são suportados na sessão desenhada no browser. É de propósito, não por acaso. Cada um desses canais é um caminho de exfiltração de dados. Uma área de transferência que atravessa a fronteira leva ficheiros para fora. A captura de áudio leva conversas para fora. Vários monitores com um ambiente de trabalho local ao lado do remoto tornam o arrastar e largar trivial. Cortar esses canais quer dizer que um utilizador pode trabalhar dentro do ambiente de trabalho, mas não consegue tirar trabalho de lá por um canal lateral. A política do Access controla quem entra. O desenho no browser controla o que sai.\nSe a empresa precisar da área de transferência ou do áudio para um fluxo de trabalho concreto, o Cloudflare Access também suporta um cliente RDP nativo através do túnel: o mesmo túnel, a mesma política, a mesma verificação de identidade. O caminho nativo dá todas as funcionalidades do RDP aos utilizadores que precisam delas e mantém o caminho do browser fechado para todos os outros. Dois métodos de acesso, um motor de políticas, um túnel.\nA comparação de custos Um exemplo concreto. Um servidor, 42 ambientes de trabalho acelerados por GPU:\nUm CPU de 64 núcleos com hyperthreading dá-te 128 threads. Cada VM recebe 8 vCPUs, uma alocação de ambiente de trabalho a sério, não um thin client. 42 × 8 = 336 vCPUs, o que no papel passa bem dos 128 threads. Mas isto é VDI. Os ambientes de trabalho de escritório estão parados a maior parte do tempo. Um utilizador a ler um documento ou a escrever um email não está a carregar 8 núcleos. A sobrealocação aqui não é um risco, é o desenho. O Proxmox deixa-te alocar mais vCPUs do que threads físicos porque o escalonador sabe que a maioria está a dormir. O CPU é dimensionado para o pico, e o pico é um punhado de utilizadores a compilar ou a renderizar ao mesmo tempo, não os 42. Isto não é um atalho: os hiperescaladores da cloud sobrealocam da mesma maneira. Cada VM Azure que alugas partilha núcleos físicos com outros clientes no mesmo host. O modelo de desempenho é idêntico. A diferença é quem é dono do host. 12 GB de RAM por VM é um ambiente de trabalho de escritório sólido. 42 × 12 GB = 504 GB, mais 4 GB para o próprio Proxmox = 508 GB no papel. Na prática o KSM junta as páginas idênticas dessas 42 imagens Windows, por isso a RAM física necessária é bastante menor, mas orçamenta 512 GB de DIMMs e deixa o KSM dar-te a folga. Três placas duplas Intel Arc Pro B60 numa motherboard como a Supermicro H13SSL-NT. Cada placa física apresenta duas GPUs ao sistema operativo, por isso três placas dão-te 6 GPUs. Cada GPU suporta 7 funções virtuais SR-IOV4. São 42 ambientes de trabalho acelerados por GPU a partir de três slots PCIe. A B60 está à venda por cerca de $599–799 por placa. A B70 é a opção maior, a $949 no lançamento para 32 GB e 4 funções virtuais por GPU5: menos lugares, mas mais VRAM por lugar. Windows 365 Cloud PC para 42 utilizadores2:\nMesmo sem GPU, os números não são pequenos. O escalão Basic (2 vCPU, 4 GB, 128 GB) custa £26,90/utilizador/mês. O escalão Standard (2 vCPU, 8 GB, 128 GB, que é um modesto ambiente de trabalho de escritório) custa £35,60/utilizador/mês. Para 42 utilizadores no Standard, são £1495,20/mês, £17 942,40/ano, antes de qualquer um dos extras abaixo.\nCom GPU fica pior. O escalão GPU Standard custa £269,40/utilizador/mês. Para 42 utilizadores, são £11 314,80/mês, £135 777,60/ano.\nOs dois escalões somam depois:\nLicenciamento Microsoft 365, se ainda não o tiveres Rede Azure: a entrada e a saída são faturadas à parte, e um ambiente de trabalho que transmite para um browser não é leve na saída Azure Backup ou uma solução de backup de terceiros: os snapshots das VMs e o armazenamento dos perfis não têm backup de borla Endereços IPv4 públicos: o Azure cobra cada IP público ligado a um recurso, e o preço só tem subido O preço de base do Azure é em USD, por isso os custos em GBP mexem com a taxa de câmbio: uma libra fraca torna cada linha mais cara e não tens controlo sobre nenhum dos lados disso A fatura nunca para. O quinto ano custa o mesmo que o primeiro. Esta pilha para 42 utilizadores: o custo da construção:\nMotherboard Supermicro H13SSL-NT: ~£700 CPU AMD EPYC de 64 núcleos: ~£1500 512 GB DDR5 ECC RDIMM (8 × 64 GB): ~£5200 Três placas duplas B60: ~£1800 Caixa, fonte de alimentação, SSDs de arranque: ~£800 Total em hardware: cerca de £10 000 Amortizado ao longo de cinco anos de vida, são £2000/ano de custo de capital. Soma:\nCloudflare Zero Trust: gratuito até 50 utilizadores Direitos VDI do Windows 11 Enterprise: o Software Assurance sobre o Pro faz o upgrade para Enterprise, que inclui acesso VDI até quatro VMs por utilizador, ou licencia através do Microsoft 365 E3/E56 Eletricidade, e vale a pena pôr-lhe um número O orçamento de energia no consumo de pico: um EPYC de 64 núcleos a 360W de TDP, três placas duplas B60 a 400W cada (1200W), 512 GB de RAM a cerca de 80W, mais armazenamento, ventoinhas e perdas da fonte a cerca de 150W. São aproximadamente 1800W na tomada em carga total. Os ambientes de trabalho VDI não estão em carga total: o uso de escritório é sobretudo CPU parado e GPU leve, por isso uma média realista anda mais perto dos 1000–1200W. Digamos 1100W.\nA 35p por kWh, 1,1 kW a funcionar 24/7 dá:\n1,1 × 24 × 365 = 9636 kWh/ano 9636 × £0,35 = £3373/ano em eletricidade Assim, o custo anual total desta pilha anda pelas £5400/ano: £2000 em hardware amortizado e £3400 em eletricidade, antes do licenciamento Windows e da internet. Põe isso ao lado da fatura do Azure: £5400 contra £135 778 no escalão com GPU, ou £17 942 para ambientes de trabalho básicos sem GPU. Mesmo no escalão Azure mais barato, esta pilha custa menos de um terço. No escalão com GPU, é 4% da fatura do Azure.\nPorque é que a VDI encaixa no Proxmox A VDI é uma das cargas de trabalho em que o Proxmox é discretamente muito bom, por duas razões que não têm nada a ver com o hipervisor em si.\nKSM. O Proxmox ativa o KSMd, o daemon de fusão de páginas iguais do kernel, de origem. Vinte VMs Windows feitas a partir da mesma imagem partilham uma enorme quantidade de páginas de memória idênticas: o sistema operativo, as bibliotecas de base, as partes não alteradas do perfil do utilizador. O KSMd encontra esses duplicados e junta-os numa única página física, com copy-on-write. O resultado é que vinte ambientes de trabalho cabem na memória de que precisarias para oito ou dez. Num host VDI onde todas as VMs correm a mesma imagem, o KSM não é uma otimização marginal. É o que torna a densidade comportável.\nbcache. Se o teu armazenamento for Ceph sobre HDD com bcache em Optane, a VDI é a melhor carga de trabalho possível para ele. As tempestades de arranque e de login são pesadas em leituras e repetitivas, exatamente o padrão que uma cache absorve. Assim que o conjunto de trabalho está quente, os ambientes de trabalho leem do Optane com latência NVMe e os discos mal se mexem. As escritas são alterações de perfil e ficheiros temporários, pequenos e sequenciais o suficiente para que o writeback do bcache os trate sem nunca estrangular o HDD.\nPerfis: duas opções, ambas no Ceph. Os perfis dos utilizadores são a outra metade do armazenamento VDI, e há duas formas limpas de os tratar sem sair do cluster.\nOs contentores de perfil FSLogix são a forma normal de fazer roaming de um perfil de ambiente de trabalho Windows, e funcionam sobre armazenamento de objetos compatível com S3. O Ceph do Proxmox expõe um gateway S3 através do RADOS Gateway, por isso o repositório de perfis vive no mesmo cluster que os discos das VMs. Sem servidor de ficheiros à parte, sem fatura do Azure Files, sem dependência externa.\nA outra opção é saltar o FSLogix por completo e usar o redirecionamento de pastas do Windows para partilhas SMB servidas por Samba em cluster sobre CephFS. Os ambientes de trabalho redirecionam Documentos, Ambiente de Trabalho, AppData e o resto para uma partilha Samba assente em CephFS, e o cluster Samba trata do failover. Nenhum contentor de perfil: os ficheiros vivem no sistema de ficheiros como ficheiros simples, e o CephFS trata da replicação. É mais simples de gerir, mais simples de fazer backup, e contorna por completo o licenciamento FSLogix, o que dá jeito se o custo da licença for um problema ou se só quiseres menos peças móveis. De uma maneira ou de outra, os perfis ficam no teu próprio armazenamento, assentes no mesmo pool Ceph, e o custo é o disco que já compraste.\nEntre o KSM a recuperar memória, o bcache a recuperar latência de armazenamento e os perfis a ficarem no Ceph, seja pelo FSLogix sobre S3 ou pelo redirecionamento de pastas sobre CephFS, um único host Proxmox com HDDs e uma quantidade modesta de RAM serve mais ambientes de trabalho do que a ficha técnica sugere. O Azure cobra cada gigabyte dos três. Aqui, a infraestrutura faz o trabalho de borla.\nBackup, resiliência e conformidade Manter tudo dentro da VDI não é só uma decisão de custo. É uma decisão de conformidade e de resiliência.\nQuando o ambiente de trabalho vive no servidor, os dados vivem no servidor. Nada chega ao dispositivo do utilizador. Um portátil roubado é um ecrã perdido, não um conjunto de dados perdido. Não há disco local para cifrar, não há cópia local para exfiltrar, não há ponto final para fazer imagem forense depois de uma intrusão. Os dados nunca saíram da infraestrutura que controlas.\nIsso torna o backup simples. Os discos das VMs e os repositórios de perfis estão no Ceph, e os snapshots do Ceph são atómicos e instantâneos. Uma política de snapshots cobre todos os ambientes de trabalho e todos os perfis. Repor um ambiente de trabalho no estado de ontem é um rollback de snapshot, não uma reconstrução. Repor um perfil é a mesma operação noutro pool. O destino do backup é o cluster, não vinte pontos finais espalhados.\nTambém simplifica a conformidade. A residência dos dados é fácil de provar quando os dados estão em hardware que é teu, num bastidor para o qual podes apontar, numa jurisdição que escolheste. Os registos de auditoria ficam nos teus próprios logs. O acesso é controlado por políticas Cloudflare que tu escreveste, autenticado por um IdP que tu corres, e registado por sistemas que tu controlas. Não há nenhum fornecedor de cloud terceiro entre ti e as provas que um auditor pede.\nA resiliência segue a mesma linha. Uma VM de ambiente de trabalho morta é uma VM nova a partir da imagem de referência com o perfil ligado de novo. O utilizador entra outra vez e o ambiente de trabalho está de volta. Não há ponto final para reconstruir, não há sistema operativo para reinstalar, não há hardware para enviar. A unidade de recuperação é a VM, e levantar uma demora minutos.\nDo que abdicas Isto não é gratuito em todos os sentidos. As coisas de que o Azure Virtual Desktop trata e esta pilha não:\nA Microsoft trata das correções e das atualizações. Aqui, tratas tu. O Intune e o Endpoint Manager integram-se nativamente com o AVD. Aqui, geres tu as VMs Windows, à mão ou com as ferramentas que escolheres. A rede do Azure é problema do Azure. Aqui, a tua ligação à internet é o caminho até ao ambiente de trabalho. Se cair, os ambientes de trabalho ficam inalcançáveis até ela voltar. No Azure, escalar está à distância de um cartão de crédito. Aqui, escalar quer dizer comprar outra placa ou outro host. O AVD dá ao utilizador o conjunto completo de funcionalidades RDP por omissão. Aqui, o caminho desenhado no browser retira a área de transferência, o áudio e os vários monitores de propósito. Os utilizadores que precisam dessas funcionalidades recebem um cliente RDP nativo através do mesmo túnel e da mesma política, mas a omissão é o browser fechado, e é essa a omissão certa para uma força de trabalho BYOD. Nada disto é trivial. Se importa ou não depende do que tens: se já corres Proxmox, já geres Windows e já tens alguém que consegue tomar conta de um hipervisor, então tudo isto são coisas que já fazes. Se não, então o Azure está a vender-te o pessoal que não tens, e isso vale genuinamente alguma coisa.\nA questão é se vale £18 000 por ano por 42 ambientes de trabalho básicos, ou £136 000 pelos que têm GPU, todos os anos, mais rede, backup, IPv4 e licenciamento por cima, com o preço definido por outra pessoa, o hardware a pertencer a outra pessoa, e a fatura numa moeda que não controlas. Ou se gastas £5400 por ano em hardware e eletricidade e ficas com o resto.\nÉ isso que este artigo expõe. O próximo constrói-o: o túnel cloudflared, o LXC, as regras da firewall do Proxmox, a política do Cloudflare Access, e o ambiente de trabalho a funcionar num separador do browser.\nReferências Azure Virtual Desktop pricing — computação, armazenamento e rede faturados à parte, por cima do direito Microsoft 365.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nWindows 365 plans and pricing — valor fixo por utilizador por mês, configurações com GPU no escalão Enterprise.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nCloudflare Zero Trust pricing — gratuito até 50 utilizadores, pagamento conforme o uso a partir do utilizador 51.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nIntel Arc Pro B60 specifications — 24 GB GDDR6, 20 núcleos Xe2, PCIe 5.0 x8, SR-IOV com até 7 funções virtuais.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nIntel Arc Pro B70 specifications — 32 GB GDDR6, 32 núcleos Xe2, PCIe 5.0 x16, SR-IOV com até 4 funções virtuais.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nWindows 11 Licensing for Virtual Desktops — o Software Assurance num sistema operativo elegível (por exemplo, o Pro) faz o upgrade para Enterprise, concedendo direitos VDI até quatro VMs por utilizador no teu próprio servidor on-premises.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\n","permalink":"https://blogs.damiendye.uk/pt/networking/zero-trust-vdi-cloudflare-access/","summary":"Parte um: a arquitetura e o argumento de custo para substituir o Azure Virtual Desktop por Proxmox, Intel Arc Pro SR-IOV e Cloudflare Access. OAuth on-prem para a identidade, RDP desenhado diretamente no browser, um túnel LXC atrás de firewall numa VLAN só sua, KSM para a densidade de memória e os perfis no Ceph. O próximo artigo constrói-o.","title":"VDI Zero Trust sem a fatura da cloud: Proxmox, Intel Arc Pro e Cloudflare Access"},{"content":"O ping não é um diagnóstico. É um túnel. O echo ICMP (o pedido que uma máquina envia e a resposta que recebe de volta) leva quaisquer bytes que lá ponhas, nos dois sentidos, sobre um protocolo que a maioria das firewalls deixa passar sem inspecionar e que a maioria dos registos conta em vez de ler. Uma rede que «só permite ping» já tem uma VPN inteira, encriptável, a sair dela, e qualquer pessoa que chegue a essa rede consegue conduzir uma.\nIsto é antigo, e está documentado. O Loki1 publicou a técnica na Phrack 49 em 1996. O Ptunnel2 carrega sessões TCP inteiras dentro do ping há vinte anos e está a um pacote de distância em qualquer máquina Linux. Nenhum zero-day. O protocolo a comportar-se exatamente como está especificado.\nÉ essa a causa: a norma, não um erro no produto de alguém. Todos os anfitriões do planeta são obrigados a pegar nos dados de um pedido de echo e devolvê-los de imediato, inalterados. Dados arbitrários à entrada, os mesmos dados à saída: é tudo o que um túnel precisa, e está mandatado desde 1981.\nA correção é uma única alteração estreita. Descartar o echo ICMP, pedido e resposta, em IPv4 e IPv6, na fronteira, e manter todas as outras mensagens ICMP. Os erros, Time Exceeded, Packet Too Big, Destination Unreachable, são de carga; bloqueia-os e partes a descoberta do MTU do caminho e o traceroute à troca de nada. Por isso isto não é «bloquear o ICMP». É descartar a única mensagem que é um risco, e manter as que carregam a verdade.\nO que a tua política de egresso permitia de facto Se geres uma rede onde a saída é filtrada (e se não é, essa é outra conversa), então esta é a conta de uma linha dela. A política que diz «bloquear tudo à saída, permitir ICMP porque precisamos de fazer ping às coisas» não é uma política de egresso. É um túnel inteiro com a papelada arquivada em diagnósticos. Qualquer coisa do lado de dentro que consiga enviar um pedido de echo e ler a resposta pode mover dados para qualquer sítio do lado de fora que responda a um, ao ritmo que a ligação aguentar, e a passar por todos os controlos de conteúdo que compraste. Nos registos é alguém a verificar se a internet está de pé, e nada mais. O malware traz isto há anos exatamente por essa razão. Silencioso, normal, e normalmente já permitido.\nÉ por isto que é um canal de primeira escolha para quem já está lá dentro e não devia estar. É a estadia, não o assalto. Alguém à procura de uma entrada e saída que dure evita a porta que dispara um alerta. Montam um túnel sobre o echo e deixam-no a correr durante meses. Um anfitrião que faz muito ping é um anfitrião que ninguém vigia. Rede nos dois sentidos para dentro da organização: comandos para dentro, dados para fora, sobre o único protocolo que ninguém limita no ritmo, alerta ou lê. E vai encriptado, como qualquer ferramenta a sério o encripta, por isso no fio a carga são os bytes de aspeto aleatório que um ping carrega de qualquer maneira e a inspeção de conteúdo não tem nada para ler. O tamanho e os tempos ainda o podem denunciar a quem esteja mesmo a olhar. Espreitar dentro do pacote não pode.\nE a máquina que o conduz não precisa de pertencer a quem lá trabalha. Basta algo que chegue à tua rede e ponha um ping na internet, e chegar à tua rede é mais fácil do que ninguém gosta de admitir. O WiFi passa para lá das paredes, para o corredor, o parque de estacionamento, o apartamento de cima. A porta ethernet na parede da sala de reuniões, ou na receção, ou na secretária vazia junto à janela, está muitas vezes ativa e fala com tudo o que lá ligues, sem nenhum 802.1X a perguntar quem és. Um sinal ao alcance, ou uma tomada que ninguém trancou. É esse o preço de entrada. Sem crachá, sem conta, sem convite.\nImagina o visitante que de facto convidaste. Está na reunião, simpático, a tomar notas, a contribuir. O portátil dele não. No momento em que chegou à tua rede, pelo ar ou pela porta debaixo da mesa, ficou dentro da muralha, e se essa rede consegue emitir um pedido de echo, tem uma saída. Nada foi largado na tua organização. Nenhuma conta, nenhum privilégio sobre nada que seja teu, nada para os teus agentes de endpoint apanharem, porque os teus agentes não estão na máquina dele. A pessoa está do outro lado da mesa. O tráfego está a sair pela tua porta da frente, encriptado, indistinguível de um portátil que faz mais ping do que devia.\nUm visitante ao alcance do sinal, ou numa porta aberta, obtém um túnel que sai por uma firewall que só vê pings Um visitante ao alcance, ou numa porta aberta, obtém uma saída dentro da muralha, a tua rede o WiFi chega ao corredor, parque, apartamento de cima portátil do visitante sem crachá, sem conta uma porta de parede ativa sem 802.1X a perguntar quem és firewall de fronteira só vê pings servidor na internet echo request\u0026#160;\u0026#8594; \u0026#8592;\u0026#160;echo reply qualquer tráfego IP, encriptado, a viajar dentro dos pings O preço de entrada é o acesso à rede, um sinal WiFi ao alcance, ou uma porta de parede ativa sem 802.1X, e a saída é o echo pela fronteira. Para a firewall é um anfitrião que faz ping; dentro desses pings vai qualquer tráfego IP, encriptado, com destino a um servidor na internet. As duas coisas a que vais deitar a mão não ajudam. O NAT é uma tabela de tradução, não um filtro: um pedido de echo de um anfitrião interno abre um mapeamento com chave no id ICMP, que o NAT trata exatamente como trata uma porta, e a resposta volta por ele como qualquer outro fluxo. Corri um cliente por trás do meu próprio NAT doméstico e ele nunca reparou que o NAT lá estava. Uma VLAN de convidados separada não é melhor. A segregação mantém o visitante longe dos teus servidores, mas não faz nada para o manter longe da internet, e a internet, alcançada com um ping, é o requisito todo. Um controlo toca nisto: essa rede deixa o echo sair?\nNão resolves isto a inspecionar, e não resolves isto a segregar. Fechas a porta. Tudo o que vem a seguir é porque é que a norma a deixa aberta, três formas de construir o túnel para que a afirmação se apoie em mais do que a minha palavra, e a única alteração que a fecha.\nA parte do ICMP que não te deve nada de útil Começa pelo que a norma diz de facto, porque o argumento todo assenta numa frase e as pessoas deitam-na fora sem a ler.\nUm pedido de echo carrega um campo de dados. Em IPv4, o RFC 7923 diz sem rodeios que «the data received in the echo message must be returned in the echo reply message». O IPv6 apertou a redação em vez de a afrouxar: o RFC 44434 define o campo como «zero or more octets of arbitrary data» e depois exige que «MUST be returned entirely and unmodified in the ICMPv6 Echo Reply message».\nLê isso como operador e é um keepalive. Lê-o como quem move dados e é uma prenda. A norma obriga todos os anfitriões alcançáveis a aceitar um bloco de bytes que tu escolhes e a enviá-los de volta, inalterados, quando pedires. Comprimento arbitrário. Conteúdo arbitrário. Sem handshake, sem porta, sem aplicação do outro lado que tenha de concordar com o que quer que seja. O kernel fá-lo, antes de qualquer processo em userland dar por ele.\nE são as duas famílias. Passar para IPv6 não arruma isto. Abre-o mais. O RFC 792 dizia que os dados «must be returned»; o RFC 4443 diz que «MUST be returned entirely and unmodified», que é a mesma porta com um trinco mais forte a mantê-la aberta. Como tal, o canal existe tanto no echo ICMP como no echo ICMPv6, e uma regra que o fecha numa família e não na outra não fechou nada. O túnel muda-se simplesmente para a família que deixaste aberta. Faças o que fizeres quanto a isto, fá-lo em ip e ip6 ao mesmo tempo.\nNada mais no protocolo faz isto. Um Time Exceeded carrega o cabeçalho do pacote que morreu e nada mais. Um Destination Unreachable é um relatório sobre algo que já aconteceu. Essas mensagens dizem-te factos sobre a rede. O echo carrega o que lá puseres, nos dois sentidos, e chama-lhe diagnóstico.\nOs erros são de carga. O echo não é. Esta é a distinção que o pessoal do «basta bloquear o ICMP» nunca faz, e é o ponto todo, por isso faço-a uma vez e como deve ser.\nBloquear os erros ICMP parte a rede em silêncio. Filtra o Packet Too Big e matas a descoberta do MTU do caminho: o handshake completa-se, as transferências pequenas funcionam, e tudo o que carregue um pacote de tamanho cheio fica pendurado para sempre sem nada nos registos. Em IPv6 isso nem sequer é uma questão de gosto. Os routers não fragmentam, por isso o RFC 48905 lista o Packet Too Big entre as mensagens que uma firewall «must not drop» e avisa que sem ele «parts of the Internet will become inaccessible». Filtra o Time Exceeded e partes o traceroute, que o RFC 18126 aponta como a razão pela qual a mensagem é obrigatória, para começar. Isto não é opcional. É o retorno que torna a rede autocorretiva, e cobri o custo de os perder ao pormenor da última vez.\nAgora descarta o echo e vai à procura do que partiu. O ping através da fronteira deixa de funcionar. É essa a lista. A lista inteira.\nA descoberta do MTU do caminho não quer saber, porque corre sobre o Packet Too Big, que é um erro. O traceroute não quer saber, porque o traceroute -T e o -U percorrem TCP e UDP e leem os erros que voltam. Nenhum deles envia um echo. A descoberta de vizinhos em IPv6 não quer saber, porque isso são os tipos 133 a 137, e tu mantém-nos ou o segmento morre. O truque do TTL inverso do último artigo funciona em qualquer resposta, e um handshake TCP dá-te uma. Tudo o que fez os diagnósticos do último artigo funcionar continua a funcionar, porque nem uma medição dele enviava um pedido de echo.\nPor isso as duas metades do protocolo não podiam ser mais diferentes. Uma metade é a rede a dizer-te a verdade sobre si própria, e partes-la por tua conta e risco. A outra metade é um serviço mandatado de devolução de carga que por acaso se chama diagnóstico, e o mais forte que alguém pode dizer a favor de o manter aberto é que o ping dá jeito. Dá jeito. É também a única parte do ICMP que um atacante consegue conduzir, e posso mostrar-te exatamente com o quê a conduzem.\nMantém os erros ICMP, com limite de ritmo; descarta só o echo, nos dois sentidos e nas duas famílias Duas metades de um protocolo, e só uma delas é um risco MANTER limitar o ritmo, nunca bloquear Destination Unreachable diz porque um pacote não foi entregue Packet Too Big a descoberta do MTU do caminho depende dele Time Exceeded o traceroute depende dele Parameter Problem reporta um cabeçalho malformado Neighbour Discovery 133\u0026#8211;137 IPv6: o segmento local depende dele Parte estes e a rede parte-se em silêncio. DESCARTAR nos dois sentidos e famílias Echo request tipo 8 (IPv4) · tipo 128 (IPv6) Echo reply tipo 0 (IPv4) · tipo 129 (IPv6) Nada precisa destes a não ser o ping comando. Tudo o que um atacante conduz pelo ICMP passa por eles. Um túnel deixado aberto numa família não está fechado. Os erros ICMP são de carga: a descoberta do MTU do caminho, o traceroute e a descoberta de vizinhos de IPv6 dependem todos deles, e bloqueá-los parte a rede em silêncio. O echo é a única parte de que nada depende a não ser o ping, e a única parte que um atacante consegue conduzir. Descarta isso, mantém o resto, nas duas famílias. A prova: uma VPN feita de ping A ferramenta é o Hans7, escrito por Friedrich Schöller. A descrição dele é uma linha: «makes it possible to tunnel IPv4 through ICMP echo packets, so you could call it a ping tunnel.» Levanta uma interface tun em cada ponta, dá-lhes endereços, e move cada pacote entre elas dentro de echo ICMP. Para a rede que está no meio é alguém a fazer ping a um servidor e o servidor a responder. Para mim é uma rota.\nUm pacote IP inteiro viaja dentro do campo de dados de um só ping Um pacote inteiro viaja dentro de um ping O pacote que a tua sessão SSH envia cabeçalho IP src / dst cabeçalho TCP porta 22 dados da aplicação as tuas teclas, o teu ficheiro O Hans copia o pacote inteiro para o campo de dados de echo O pacote que sai no fio cabeçalho IP tu para o servidor pedido de echo ICMP tipo 8 · id · seq campo de dados de echo o pacote inteiro acima, inalterado Para a firewall de fronteira isto é um pedido de echo, e o registo anota um ping. Dentro do campo de dados está um pacote com destino a onde a outra ponta consiga chegar. A norma obriga a outra ponta a devolver logo esses dados, por isso a resposta também é um pacote. Cada pacote que o túnel carrega é copiado para o campo de dados de um pedido de echo ICMP. A norma obriga a outra ponta a devolver esses dados inalterados, por isso a resposta também carrega um pacote. A firewall conta um ping; a carga vai para onde quer que a outra ponta consiga encaminhar. Corri-o através da minha própria linha, um servidor num endereço público e um cliente por trás do meu NAT doméstico, e empurrei tráfego real por ele. Não pings sintéticos com uma flag ligada. Um login SSH e uma transferência de ficheiro, a viajar dentro do echo.\nEstá a um pacote de distância onde corri o servidor, e constrói-se a partir do código-fonte do Schöller em qualquer outro sítio. O servidor tem de ser Linux e precisa de root, porque abrir um dispositivo tun e um socket ICMP em bruto, ambos precisam. A sintaxe é deliberadamente pequena:\n# on the server (public IP), pick the tunnel network and a password hans -s 10.8.0.0 -p \u0026#39;\u0026lt;password\u0026gt;\u0026#39; # server takes 10.8.0.1; clients are handed 10.8.0.2 and up # on the client, point it at the server\u0026#39;s public address hans -c \u0026lt;server-public-ip\u0026gt; -p \u0026#39;\u0026lt;password\u0026gt;\u0026#39; Assim que as duas pontas estão de pé há uma interface nova de cada lado com um endereço na rede do túnel, e comporta-se como qualquer outra ligação ponto a ponto:\nNada daquela sessão sabe que está dentro de um ping. O SSH abre uma ligação TCP a 10.8.0.1, o kernel encaminha-a para fora pela tun0, o Hans embrulha cada pacote como a carga de um pedido de echo, e a outra ponta desembrulha-o e entrega-o à sua própria tun0. A resposta volta como a carga de uma resposta de echo. Tanto quanto o SSH sabe, está a falar sobre uma ligação normal. Tanto quanto a firewall sabe, ninguém abriu nada. Está a ser feito ping a um anfitrião.\nQue aspeto tem no fio Esta é a parte que acaba com o argumento, por isso observa a vista a partir da firewall em vez da minha.\nO que se passa de facto, e o que a firewall regista, não são a mesma imagem Um túnel, duas imagens O que se passa de facto o teu anfitrião tun0 · 10.8.0.2 o servidor tun0 · 10.8.0.1 onde quer que consiga chegar SSH, transferências encaminhado para fora qualquer tráfego IP, pelo túnel como pacotes normais O que a firewall de fronteira vê e regista o teu anfitrião 198.51.100.9 o servidor 192.0.2.7 pedido de echo resposta de echo icmp echo request 198.51.100.9 \u0026gt; 192.0.2.7 icmp echo reply 192.0.2.7 \u0026gt; 198.51.100.9 icmp echo request 198.51.100.9 \u0026gt; 192.0.2.7 ... contados como pings, conteúdo não lido Mesmo fio. A firewall nunca vê os pacotes lá dentro. O túnel move tráfego real entre dois anfitriões e depois para fora, para onde quer que o servidor consiga chegar. Na fronteira é só pedido de echo e resposta de echo, a firewall regista pings e nunca vê os pacotes carregados dentro deles. Senta-te na interface de fora com o tcpdump e captura só ICMP enquanto a sessão SSH corre. Nenhum TCP para a porta 22 atravessa a fronteira. O que atravessa é pedido de echo e resposta de echo, para trás e para a frente, cada um mais gordo do que um ping real porque carrega uma fatia de um segmento TCP na sua carga:\n# on the boundary, watch only ICMP echo while traffic runs over the tunnel tcpdump -ni \u0026lt;wan-iface\u0026gt; \u0026#39;icmp[icmptype] = icmp-echo or icmp[icmptype] = icmp-echoreply\u0026#39; Lê as duas coisas que importam nessa captura. Primeiro, os comprimentos da carga: um ping normal envia 56 bytes e cada linha tem o mesmo tamanho, enquanto estes variam e vão grandes, porque o tamanho da coisa que estás a mover vaza para o tamanho do ping. Segundo, o ritmo: um ping de diagnóstico é um por segundo, e isto é uma enxurrada, porque está a mover um ficheiro. Nenhum dos dois está escondido. Ambos estão à vista de todos, num protocolo a que ninguém está a prestar atenção.\nE é esse o ponto todo. Não que isto seja esperto, ou difícil de ver assim que olhas. Quase ninguém olha, porque a caixa está configurada para permitir ICMP, os registos contam-no como pings, e os alertas foram afinados para as portas que alguém se lembrou de recear. O tráfego sai com aspeto de verificação de saúde e a verificação de saúde é uma rota para onde quer que o servidor consiga chegar.\nUma VPN full-tunnel a sério, construída à mão O Hans prova que o canal lá está, mas faz a interface e o endereçamento por ti e devolve-te uma rota, por isso não te mostra bem o que construíste. Para ver que isto é uma VPN no sentido pleno, o tráfego da máquina inteira a sair pelo ping, não uma ligação entre dois anfitriões nomeados, monta-a à mão. O icmptunnel8, de Dhaval Kapil, é o indicado para isso, e a descrição dele é uma só linha: «Transparently tunnel your IP traffic through ICMP echo and reply packets.» Mesma ideia, dispositivo tun e cargas de echo, mas estendes a canalização tu próprio e nada se esconde dentro de um binário.\nNo servidor arrancas o túnel, levantas a interface, e depois fazes a coisa que entrega o jogo todo: dizer ao kernel para deixar de responder ele próprio aos pings, para que as suas próprias respostas de echo não briguem com as que o túnel está a enviar.\nsudo ./icmptunnel -s 10.0.1.1 # server mode; creates tun0, then blocks # from a second shell, bring the interface up (iproute2, not the net-tools the repo ships) sudo ip addr add 10.0.1.1/24 dev tun0 sudo ip addr add 2001:db8:1::1/64 dev tun0 sudo ip link set tun0 mtu 1472 up # 1500 − 20 (IP) − 8 (ICMP); see below # stop the kernel replying to pings — echo now belongs to the tunnel sudo sysctl -w net.ipv4.icmp_echo_ignore_all=1 sudo sysctl -w net.ipv6.icmp.echo_ignore_all=1 # let the server route the client\u0026#39;s packets onward sudo sysctl -w net.ipv4.ip_forward=1 Lê a linha do icmp_echo_ignore_all outra vez, porque diz mais do que parece. Esse botão é do próprio kernel, e vem como defesa: liga-o e, nas palavras do kernel, ele «will ignore all ICMP ECHO requests sent to it»9, para que um operador possa tirar um anfitrião do radar do ping por completo. Está nas duas famílias agora. O net.ipv4.icmp_echo_ignore_all há anos, e o net.ipv6.icmp.echo_ignore_all acrescentado mais tarde para condizer.10 O túnel vira esse interruptor defensivo pela razão oposta: com o kernel já a não responder ele próprio ao echo, as suas duas pontas ficam livres para usar o echo como transporte puro. Que é o sinal. As pessoas que escreveram a pilha já tratam o echo como algo que um anfitrião pode razoavelmente recusar, a regra deste artigo faz essa mesma escolha uma vez, na fronteira, por cada anfitrião atrás dela.\nNo cliente levantas a interface e depois apontas a rota predefinida para baixo por ela. Não um anfitrião alcançado pelo túnel. Tudo.\nsudo ./icmptunnel -c \u0026lt;server-public-ip\u0026gt; # client mode; creates tun0 sudo ip addr add 10.0.1.2/24 dev tun0 sudo ip addr add 2001:db8:1::2/64 dev tun0 sudo ip link set tun0 mtu 1472 up # keep the route to the server itself OUT of the tunnel... sudo ip route add \u0026lt;server-public-ip\u0026gt; via \u0026lt;gateway\u0026gt; dev \u0026lt;iface\u0026gt; # ...then send everything else down it sudo ip route replace default dev tun0 Os próprios client.sh e server.sh do projeto ainda deitam a mão ao ifconfig e ao route do net-tools. Os comandos ip acima são os equivalentes em iproute2 e fazem o mesmo trabalho. Aquela rota para o servidor é a linha de que as pessoas se esquecem: mantém-na fora do túnel, ou os pacotes de echo que carregam o túnel tentam viajar pelo túnel, e nada sai. Tudo o resto vai agora pela tun0, embrulhado em echo, e chega ao servidor. Se vai mais longe é uma escolha de encaminhamento. Uma única regra de masquerade no servidor pô-lo-ia na internet pública sob o próprio endereço do servidor, e está deliberadamente ausente aqui, porque o túnel é a coisa a mostrar e não precisa dela.\nIsso é uma VPN full-tunnel, construída a partir de ping numa mão-cheia de comandos. Cada pacote que o cliente envia, web, DNS, SSH, tudo, é capturado na tun0 e sai como um pedido de echo para o servidor, e as respostas voltam como respostas de echo. Uma máquina numa rede que «só permite ICMP» acabou de entregar o seu tráfego de saída inteiro a uma caixa lá fora, e a fronteira registou um anfitrião que gosta de fazer ping.\nEscrever o teu em Python Aqui está a parte que devia preocupar quem espera defender-se disto detetando uma ferramenta. Nem o Hans nem o icmptunnel fazem nada que tu não pudesses escrever numa tarde. Abrir um dispositivo tun, embrulhar cada pacote como a carga de um pedido de echo, desembrulhar os que voltam. É esse o mecanismo todo, e o túnel nu são cerca de sessenta linhas de Python de biblioteca-padrão sem nada para instalar. A versão abaixo acrescenta uma coisa por cima: encripta a carga, e essa é a única parte que puxa uma dependência.\n#!/usr/bin/env python3 # pingvpn.py — a VPN tunnel over ICMP echo, in one short file. # # Not a product. It exists to show the channel is trivial to rebuild, so a # defence that hunts for a known tool is chasing the wrong thing entirely. # Linux, needs root (a tun device and a raw ICMP socket both do), and the # `cryptography` package for the AES (pip install cryptography). # # server: sudo python3 pingvpn.py --server # client: sudo python3 pingvpn.py --client \u0026lt;server-public-ip\u0026gt; # # The payload is encrypted with AES-128-GCM under a pre-shared key before it # goes on the wire, so what a firewall sees in the echo data is random bytes — # the same as a real ping\u0026#39;s padding, and nothing for content inspection to read. import argparse import fcntl import hashlib import os import select import socket import struct import sys from cryptography.hazmat.primitives.ciphers.aead import AESGCM TUNSETIFF = 0x400454CA IFF_TUN = 0x0001 IFF_NO_PI = 0x1000 MAGIC = 0x4954 # \u0026#39;IT\u0026#39; in the id field, so we ignore real pings ECHO_REQUEST = 8 ECHO_REPLY = 0 PSK = b\u0026#34;change-me-to-a-shared-secret\u0026#34; # pre-shared secret, both ends KEY = hashlib.sha256(PSK).digest()[:16] # 128-bit key -\u0026gt; AES-128-GCM AEAD = AESGCM(KEY) def open_tun(name=b\u0026#34;tun0\u0026#34;): fd = os.open(\u0026#34;/dev/net/tun\u0026#34;, os.O_RDWR) fcntl.ioctl(fd, TUNSETIFF, struct.pack(\u0026#34;16sH\u0026#34;, name, IFF_TUN | IFF_NO_PI)) return fd def encrypt(data): # -\u0026gt; nonce || ciphertext+tag nonce = os.urandom(12) return nonce + AEAD.encrypt(nonce, data, None) def decrypt(blob): # raises on a packet that is not ours return AEAD.decrypt(blob[:12], blob[12:], None) def checksum(data): if len(data) % 2: data += b\u0026#34;\\x00\u0026#34; total = sum(struct.unpack(\u0026#34;!%dH\u0026#34; % (len(data) // 2), data)) total = (total \u0026gt;\u0026gt; 16) + (total \u0026amp; 0xFFFF) total += total \u0026gt;\u0026gt; 16 return ~total \u0026amp; 0xFFFF def build_echo(icmp_type, payload): head = struct.pack(\u0026#34;!BBHHH\u0026#34;, icmp_type, 0, 0, MAGIC, 0) csum = checksum(head + payload) return struct.pack(\u0026#34;!BBHHH\u0026#34;, icmp_type, 0, csum, MAGIC, 0) + payload def main(): ap = argparse.ArgumentParser(description=\u0026#34;a VPN tunnel over ICMP echo\u0026#34;) group = ap.add_mutually_exclusive_group(required=True) group.add_argument(\u0026#34;--server\u0026#34;, action=\u0026#34;store_true\u0026#34;) group.add_argument(\u0026#34;--client\u0026#34;, metavar=\u0026#34;SERVER_IP\u0026#34;) args = ap.parse_args() out_type = ECHO_REQUEST if args.client else ECHO_REPLY in_type = ECHO_REPLY if args.client else ECHO_REQUEST peer = args.client # None on the server until a client is seen tun = open_tun() sock = socket.socket(socket.AF_INET, socket.SOCK_RAW, socket.IPPROTO_ICMP) print(\u0026#34;tun0 created. bring it up with an address and route, then send traffic.\u0026#34;, file=sys.stderr) while True: readable, _, _ = select.select([tun, sock], [], []) if tun in readable: # a packet wants to leave this host packet = os.read(tun, 65535) if peer: sock.sendto(build_echo(out_type, encrypt(packet)), (peer, 0)) if sock in readable: # something arrived over ICMP data, _ = sock.recvfrom(65535) ihl = (data[0] \u0026amp; 0x0F) * 4 # skip the IP header the kernel adds icmp = data[ihl:] if len(icmp) \u0026lt; 8 or icmp[0] != in_type or icmp[4:6] != struct.pack(\u0026#34;!H\u0026#34;, MAGIC): continue try: packet = decrypt(icmp[8:]) # wrong key or a real ping -\u0026gt; skip except Exception: continue if args.server: peer = socket.inet_ntoa(data[12:16]) # reply to whoever sent os.write(tun, packet) # hand the carried packet to the stack if __name__ == \u0026#34;__main__\u0026#34;: main() É esse o túnel inteiro. Abre a tun0 e um socket ICMP em bruto e faz os pacotes vaivém entre eles: o que sai do anfitrião é embrulhado como um pedido de echo, ou uma resposta de echo no servidor, e enviado para a outra ponta; o que chega por ICMP é desembrulhado e entregue de volta à pilha. O campo id está fixo num valor para passar por cima dos pings reais, e o servidor aprende de onde responder a partir da origem do primeiro pacote que vê.\nA encriptação é o ponto que vale a pena demorar, porque é o que as ferramentas a sério fazem e é por isso que não vais apanhar isto a olhar dentro do pacote. A carga é selada com AES-128-GCM sob uma chave pré-partilhada antes de ser embrulhada, por isso os bytes nos dados de echo são indistinguíveis do enchimento aleatório que um ping real carrega. Tira as duas linhas de cripto e o túnel ainda corre sobre nada mais do que a biblioteca-padrão, a única razão por que precisa de pip install cryptography é o AES, e o AES é exatamente a parte que transforma um túnel legível num ilegível. Levanta-o da mesma maneira que antes, menos o masquerade. Não precisas dele para provar o ponto:\n# server: start it (creates tun0, then blocks), then configure from the same shell sudo python3 pingvpn.py --server \u0026amp; sudo ip addr add 10.9.0.1/24 dev tun0 sudo ip addr add 2001:db8:9::1/64 dev tun0 sudo ip link set tun0 mtu 1400 up sudo sysctl -w net.ipv4.icmp_echo_ignore_all=1 sudo sysctl -w net.ipv6.icmp.echo_ignore_all=1 # client sudo python3 pingvpn.py --client \u0026lt;server-public-ip\u0026gt; \u0026amp; sudo ip addr add 10.9.0.2/24 dev tun0 sudo ip addr add 2001:db8:9::2/64 dev tun0 sudo ip link set tun0 mtu 1400 up sudo sysctl -w net.ipv4.icmp_echo_ignore_all=1 sudo sysctl -w net.ipv6.icmp.echo_ignore_all=1 sudo ip route add \u0026lt;server-public-ip\u0026gt; via \u0026lt;gateway\u0026gt; dev \u0026lt;iface\u0026gt; sudo ip route replace default dev tun0 A razão para o escrever não é a ferramenta. É que a ferramenta é descartável. Um ficheiro curto, sem dependências até acrescentares a encriptação, e cada cópia que alguém escreve fica um bocadinho diferente no fio. Por isso uma assinatura que apanha esta não apanha nada para a semana. Não te consegues safar disto a bloquear, nomeando o software, porque não há software para nomear.\nNem sequer precisa de uma shell. A lógica é bytes para dentro, bytes para fora, por isso porta-se para qualquer coisa que consiga abrir um socket. Até WebAssembly: a sandbox do navegador normalmente recusa a uma página um socket em bruto de forma categórica, mas onde essa barreira é levantada (um navegador com a permissão dada pelo utilizador, numa máquina onde o utilizador corre com privilégio suficiente para um socket em bruto poder ser aberto) o mesmo programa curto corre dentro de um separador. Que é a metade incómoda disto. Não podes confiar nos teus utilizadores aqui. O anfitrião que conduz o túnel está do lado de dentro, nas mãos de alguém que decidiste ser seguro porque se senta atrás da firewall, e a firewall é a coisa pela qual se está a fazer o túnel. A confiança no perímetro assume que a ameaça está fora da muralha. Esta começa dentro dela, sempre.\nOlho ao MTU, e ao piso de 1280 do IPv6 O túnel não sai de graça no fio. Cada pacote que carregas ganha um cabeçalho IP exterior e um cabeçalho ICMP antes de sair, por isso a interface interior tem de ficar abaixo do que o caminho consegue carregar. Em IPv4 isso quase não custa nada ao atacante. Põe o MTU interior baixo (o 1472 do icmptunnel é 1500 menos 20 do cabeçalho IP exterior e 8 do cabeçalho ICMP, e o Python acima desce para 1400 para ter folga), e onde o número ainda está errado, o IPv4 fragmenta o pacote demasiado grande e remonta-o na outra ponta em vez de o descartar. Entre o piso baixo que podes escolher e a fragmentação a tapar o resto, o túnel corre em quase qualquer caminho. É essa flexibilidade que faz do IPv4 o sítio confortável para fazer isto.\nA fragmentação e a folga de MTU do IPv4 deixam o túnel correr em qualquer lado; o IPv6 não tem nenhuma, por isso falha fechado Porque corre em qualquer lado em IPv4 e falha fechado em IPv6 IPv4 cab. IP 20 B ICMP 8 B pacote interior tun MTU 1472 B Demasiado grande? O IPv4 fragmenta e remonta, o túnel corre em quase qualquer caminho. IPv6 cab. IPv6 40 B ICMPv6 8 B pacote interior não desce abaixo de 1280 B piso duro de 1280 B (RFC 8200) Demasiado grande? Os routers IPv6 descartam-no, sem fragmentação, o túnel falha fechado. Os recursos do IPv4, um piso à tua escolha e a fragmentação para o resto, são o que torna o túnel fiável. O IPv6 não tem nenhuma, por isso o ataque que corre em quase todo o lado em IPv4 é frágil em IPv6. A família mais segura aqui. O Packet Too Big, um erro que manténs, não um echo, é o que deixa um remetente encontrar o tamanho que cabe. Fora de escala. O túnel perde um cabeçalho IP e ICMP exterior em cada pacote. O IPv4 deixa-te raspar o MTU interior e fragmenta o que ainda for demasiado grande, por isso corre quase em qualquer lado; o IPv6 impõe um piso duro de 1280 bytes e os seus routers não fragmentam, por isso um pacote demasiado grande é descartado e o túnel falha fechado, o que faz do IPv6 a família mais segura aqui. O IPv6 é menos tolerante, e por uma vez isso está do teu lado. O piso é duro: o RFC 820011 §5 exige que «every link in the Internet have an MTU of 1280 octets or greater», e os routers IPv6 não fragmentam em trânsito. Isso retira os dois recursos do IPv4 de uma vez, e morde o túnel nos dois sentidos. Corre-o sobre ICMPv6 e cada ligação do caminho tem de carregar 1280, por isso um caminho que desça abaixo disso derruba o transporte, e não há como raspar sob o piso como podes em IPv4. Carrega IPv6 dentro do túnel e encontras a mesma parede pelo outro lado: a interface interior também não pode descer abaixo de 1280, enquanto o invólucro ICMPv6 exterior, 40 bytes de cabeçalho e 8 de ICMPv6, já está a gastar o orçamento, por isso o caminho tem de ter de sobra 1280 mais a sobrecarga. Falha-o num dos dois sítios e o pacote é descartado, não cortado para caber: o túnel levanta-se, as coisas pequenas funcionam, tudo o que seja de tamanho cheio fica pendurado. Por isso o IPv6 é a família mais segura aqui, não a mais arriscada. O ataque que corre em quase tudo em IPv4 é frágil em IPv6, e falha fechado. Mais seguro não é o mesmo que seguro, atenção: o canal de echo está aberto também em IPv6, por isso a regra ainda o descarta nas duas famílias, o atacante é que não se pode apoiar no IPv6 como se apoia no IPv4.\nA recuperação disso é o erro ICMP que tiveste o cuidado de manter. O Packet Too Big é o que deixa um remetente encontrar o tamanho que funciona, e é um erro, não um echo, por isso a regra que este artigo defende deixa-o em paz. Descarta o túnel e mantém os diagnósticos, é esse o desenho todo, e o MTU é mais um sítio onde ele justifica o seu lugar.\nA regra, estreitada ao echo O último artigo deu o conjunto de regras de trânsito completo: permitir os erros sob um limite de ritmo, descartar o echo. Não o vou reimprimir. A alteração que este artigo defende é um par de linhas, e é o par que faz o trabalho:\n# permit the ICMP errors — these are load-bearing, keep them ip protocol icmp icmp type { destination-unreachable, time-exceeded, parameter-problem } \\ limit rate 100/second accept ip6 nexthdr ipv6-icmp icmpv6 type { destination-unreachable, packet-too-big, \\ time-exceeded, parameter-problem } limit rate 100/second accept # drop the tunnel — echo, both directions, both families ip protocol icmp icmp type { echo-request, echo-reply } drop ip6 nexthdr ipv6-icmp icmpv6 type { echo-request, echo-reply } drop A regra não é do Linux, porém. É a mesma intenção em qualquer firewall digna do nome: permitir os erros, limitar o ritmo, descartar o echo nos dois sentidos nas duas famílias. Por isso aqui está nos dialetos que é mais provável que tenhas em mãos.\npf do BSD (pfSense, OPNsense, OpenBSD, FreeBSD):\n# permit the errors; block echo both directions, both families pass in proto icmp icmp-type { unreach, timex, paramprob } pass in proto icmp6 icmp6-type { unreach, toobig, timex, paramprob, \\ routersol, routeradv, neighbrsol, neighbradv } block in proto icmp icmp-type { echoreq, echorep } block in proto icmp6 icmp6-type { echoreq, echorep } Mantém os tipos de descoberta de vizinhos na linha icmp6; esses são os que derrubam o segmento se os perderes.\nCisco IOS (ACLs estendidas, aplicadas na borda):\nip access-list extended ICMP-EDGE permit icmp any any unreachable permit icmp any any time-exceeded permit icmp any any parameter-problem deny icmp any any echo deny icmp any any echo-reply ! ipv6 access-list ICMP6-EDGE permit icmp any any packet-too-big permit icmp any any unreachable permit icmp any any time-exceeded permit icmp any any parameter-problem permit icmp any any nd-ns permit icmp any any nd-na deny icmp any any echo-request deny icmp any any echo-reply Em IPv4 o tipo de echo é echo; em IPv6 é echo-request. A limitação de ritmo vive no CoPP, não na ACL.\nJuniper Junos (filtro de firewall; o filtro inet6 espelha isto e mantém a descoberta de vizinhos):\nfirewall family inet filter icmp-edge { term errors { from { protocol icmp; icmp-type [ unreachable time-exceeded parameter-problem ]; } then { policer icmp-cap; accept; } } term drop-echo { from { protocol icmp; icmp-type [ echo-request echo-reply ]; } then discard; } } MikroTik RouterOS — descarta os dois tipos de echo, depois aceita o resto do ICMP, o que mantém os erros e, em v6, a descoberta de vizinhos:\n/ip firewall filter add chain=forward protocol=icmp icmp-options=8:0 action=drop comment=\u0026#34;echo request\u0026#34; add chain=forward protocol=icmp icmp-options=0:0 action=drop comment=\u0026#34;echo reply\u0026#34; add chain=forward protocol=icmp action=accept comment=\u0026#34;keep the errors (add limit= to cap)\u0026#34; /ipv6 firewall filter add chain=forward protocol=icmpv6 icmp-options=128:0 action=drop comment=\u0026#34;echo request\u0026#34; add chain=forward protocol=icmpv6 icmp-options=129:0 action=drop comment=\u0026#34;echo reply\u0026#34; add chain=forward protocol=icmpv6 action=accept comment=\u0026#34;keep errors and ND\u0026#34; Sintaxe diferente, uma regra. Permite as mensagens que carregam a verdade, descarta a que carrega os teus bytes.\nDois cuidados, e ambos te mordem se leres por cima.\nDescarta o echo na fronteira, não no fio entre um anfitrião e o seu próprio router. Em IPv6, a descoberta de vizinhos é ICMP, tipos 133 a 137, de nd-router-solicit a nd-redirect, e é como o segmento faz o trabalho que o ARP faz em IPv4. Leva um descarte de echo para uma cadeia link-local ou de anfitrião sem manter esses e o segmento deixa de funcionar em minutos, e não vai parecer uma falha de firewall. Filtra o echo onde o tráfego sai da tua rede, e deixa as cadeias internas em paz.\nDescarta-o nos dois sentidos e deixa de ser útil de qualquer dos lados. Bloquear só o pedido impede que se faça ping aos teus anfitriões mas ainda deixa sair uma resposta, e um túnel pode ser construído só sobre respostas com um pouco mais de esforço. Descarta pedido e resposta, em IPv4 e IPv6, e o canal fica fechado dos dois lados.\nO que descartar o ping te custa de facto Sê honesto sobre a perda, porque um controlo que vendeste a mais é um controlo que alguém reverte em silêncio da primeira vez que dá jeito.\nPerdes o ping através da fronteira. É esse o custo, dito por inteiro. É um custo real. O ping é o reflexo, está nos dedos de toda a gente, e no dia a seguir a lançares isto alguém vai dizer que a internet está em baixo porque o ping dele ao gateway dá timeout. Não está em baixo. Disseste ao gateway para deixar de responder a um pedido que nunca foi mais do que uma conveniência.\nTestar a alcançabilidade não precisa de echo. Uma ligação TCP a uma porta que sabes estar aberta diz-te que o anfitrião está de pé e o caminho funciona, e diz-te mais do que um ping diz, porque prova que um serviço respondeu, não só um kernel:\n# \u0026#34;is it up and reachable?\u0026#34; without sending a single echo nc -zv \u0026lt;host\u0026gt; 443 # did the TCP handshake complete? traceroute -T -p 443 \u0026lt;host\u0026gt; # walk the path on TCP, read the errors back Ambos viajam sobre os erros ICMP que mantiveste e o TCP que um serviço a sério já fala. Nenhum envia um echo. Por isso a troca honesta é esta: desistes da ferramenta menos informativa da caixa, a que responde «um kernel está disposto a responder» e nada mais, e em troca fechas a única parte do ICMP que um atacante consegue transformar numa rota para fora da tua rede. Os diagnósticos a que de facto deitas a mão num dia mau estão todos do outro lado da linha, intactos.\nO Fisher-Price OS (Windows) não é uma saída disto Se geres uma casa com o Fisher-Price OS (Windows) talvez estejas a ler isto como um problema de outra pessoa. Não é. O risco está no protocolo, não no sistema operativo. A norma obriga todos os anfitriões que respondem a um ping a devolver os teus bytes, e não para para perguntar primeiro o que o anfitrião está a correr.\nUma caixa nesse sistema operativo faz uma ponta de túnel perfeitamente boa. O Hans traz um cliente Windows, por isso uma máquina interna pode ser a ponta cliente e passar o seu tráfego para fora dentro de echo como qualquer outra. O que ela não pode ser facilmente é a ponta servidor, porque isso quer um dispositivo tun e um socket ICMP em bruto mantido aberto, e neste sistema operativo só os membros do grupo Administrators podem criar sockets do tipo SOCK_RAW12, palavras da própria Microsoft. Por isso o servidor senta-se num sistema operativo a sério, como o meu sentou, e a caixa atrás da firewall a fazer o seu caminho para fora em silêncio com pings é aquela que te disseram ser segura por estar do lado de dentro.\nÉ esse o ponto para quem o defende. A regra de fronteira não quer saber o que o lado de dentro corre. Descarta o echo onde o tráfego sai da rede e todos os anfitriões atrás dela ficam cobertos, os que administras, e aquele que te garantiram estar escondido atrás do NAT. Eu não corro a coisa, e não vou fingir que o túnel a respeita. A correção é a mesma regra, no mesmo sítio, seja qual for o sistema em que o endpoint arrancou.\nSe a própria caixa é o que estás a endurecer (a caixa, não a rede), o PowerShell pelo menos impede-a de responder ou emitir um ping por conta própria:\nforeach ($t in 8,0) { New-NetFirewallRule -DisplayName \u0026#34;Drop ICMPv4 Echo $t\u0026#34; -Protocol ICMPv4 -IcmpType $t -Direction Inbound -Action Block } foreach ($t in 128,129) { New-NetFirewallRule -DisplayName \u0026#34;Drop ICMPv6 Echo $t\u0026#34; -Protocol ICMPv6 -IcmpType $t -Direction Inbound -Action Block } Acrescenta gémeos -Direction Outbound para a impedir de se esticar para fora como cliente de túnel em vez de ficar ali como alvo, e deixa os tipos de erro ICMPv6 e de descoberta de vizinhos em paz, pela razão por que são deixados em paz em todo o lado nesta página. Mas não o confundas com o controlo. Uma firewall de anfitrião não é uma firewall de trânsito. Endurece a caixa e não muda nada quanto à fronteira, e a fronteira é onde isto fica mesmo fechado.\nLevanta isto hoje com quem gere a tua fronteira Provavelmente leste até aqui a pensar numa rede que não é tua para mudar. A maioria das pessoas está nessa. Por isso a coisa útil a fazer não é deitar a mão à firewall, é pôr a questão a quem a tem, a tua própria equipa de rede, o teu MSP, ou o fornecedor cuja caixa está na borda, e pô-la hoje, porque isto é uma porta aberta desde 1996 e mais uma semana dela é uma escolha.\nPergunta sem rodeios, e pergunta à espera de um olhar vazio, porque eu apostava o PIB inteiro do Reino Unido em como ninguém aí deu ao echo um segundo pensamento. É o único pacote que toda a gente permite e ninguém é dono, e uma regra sem dono é exatamente aquela que esteve mal assente durante anos sem ninguém para reparar.\nPergunta-lhes quatro coisas, nestas palavras, para que não haja espaço para acenar e não mudar nada:\nDescartamos o pedido de echo ICMP e a resposta de echo na fronteira, em IPv4 e IPv6 os dois? Não «permitimos ICMP», a mensagem específica, os dois sentidos, as duas famílias. Se a resposta for só uma família, não é resposta, porque o túnel muda-se para a outra. Ainda permitimos os erros ICMP? Destination Unreachable, Time Exceeded, Parameter Problem, e Packet Too Big em IPv6, sob um limite de ritmo em vez de um bloqueio. Se não souberem dizer, as probabilidades são meio a meio de terem deixado tudo aberto ou bloqueado o lote, e ambos estão errados. Mantivemos a descoberta de vizinhos de IPv6 nas cadeias internas? Tipos 133 a 137. Esta é a que transforma «endurecemos o ICMP» num segmento que morre em silêncio uma semana depois, e é o erro que uma alteração à pressa comete. Mostra-me a regra. Não uma declaração de política, a linha de facto na caixa de facto, e a data em que foi posta. Um controlo para o qual ninguém consegue apontar é um controlo que não está lá. Terá a caixa chegado do fornecedor com isto já fechado? Não terá. A predefinição em quase todo o lado é deixar passar o echo e registá-lo como uma contagem de pacotes, que é a razão toda por que o túnel funciona. Não está a explorar um erro, está a usar a configuração que vem de origem. Ninguém fecha uma porta que nunca lhe disseram estar aberta.\nA razão para insistir na redação é que a correção preguiçosa a este artigo é «certo, vamos bloquear o ICMP», e essa correção é pior do que o buraco. Parte a descoberta do MTU do caminho e o traceroute, vai pôr-te a perseguir transferências penduradas sem nada nos registos, e em IPv6 tira partes da internet da mesa por completo. Se a pessoa a quem perguntas deitar a mão a isso, trava-a. A instrução é estreita de propósito: descartar o echo, manter os erros, manter a descoberta de vizinhos. Como tal, quem corre firewalls para viver devia conseguir fazer essa alteração numa tarde e dizer-te que está feita.\nE se forem um MSP a quem pagas para gerir isto: um fornecedor que não te consegue dizer de cabeça a tua própria postura de echo e erros, ou que responde «bloqueamos o ICMP» como se isso fosse a opção segura, acabou de te dizer algo sobre o resto da organização. Da próxima vez que uma falha se sentar entre duas redes e ambas disserem que estão limpas, lembra-te de qual delas não soube descrever o que a sua própria firewall faz a um ping.\nO diagnóstico que nunca foi um diagnóstico O ping teve uma boa corrida. Mike Muuss escreveu-o em 1983 para verificar se um anfitrião estava a responder, deu-lhe o nome a partir do sonar, e fez esse único trabalho tão bem que se tornou a primeira coisa a que toda a gente deita a mão e a última coisa que alguém questiona. Quarenta anos depois é memória muscular, e a memória muscular é exatamente como um risco sobrevive. Ninguém reexamina a coisa que sempre fez.\nMas olha para o que ele é de facto, despido do hábito. Uma mensagem que não carrega nenhum facto sobre a rede, que todos os anfitriões são obrigados a responder com os teus próprios bytes devolvidos, que corre sobre um protocolo que os controlos não inspecionam e os registos não leem. Tudo o que o faz parecer inofensivo, é só um diagnóstico, é só um keepalive, toda a gente o permite, é a mesma coisa que o torna a forma mais limpa de sair de uma rede filtrada que existe. A indústria bloqueia os erros ICMP, que carregam a verdade e partem a rede quando desaparecem, e deixa passar o echo, que carrega o que lá carregares. Tem o protocolo exatamente ao contrário.\nA correção não é esperta. Mantém as mensagens que te dizem a verdade, e descarta a que apenas devolve os teus bytes. Custa-te um comando em que não tinhas nada que confiar para um diagnóstico de qualquer maneira, e fecha uma porta que está de pé aberta desde 1996, documentada numa revista hacker, empacotada durante duas décadas, e deixada escancarada porque fechá-la significaria que alguém não podia fazer ping. Sabe o que uma coisa custa, não o que está cotada. O ping está cotado a nada. Custa-te o único canal que não consegues ver.\nLoki, Phrack 49 — um canal de comandos carregado dentro de cargas de echo ICMP, 1996.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nPtunnel — carrega uma sessão TCP dentro de echo ICMP.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 792 — ICMP: «the data received in the echo message must be returned in the echo reply message».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 4443 — ICMPv6: os dados de echo «MUST be returned entirely and unmodified in the ICMPv6 Echo Reply message».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 4890 — as mensagens ICMPv6 que uma firewall não deve descartar.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 1812 — requisitos de router: o Time Exceeded é um MUST, nomeado por causa do traceroute.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nHans — túnel de IP sobre echo ICMP, por Friedrich Schöller.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nicmptunnel — faz túnel de tráfego IP através de pacotes de echo e resposta ICMP, por Dhaval Kapil.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLinux kernel — IP sysctl — icmp_echo_ignore_all: «the kernel will ignore all ICMP ECHO requests sent to it».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nLinux commit e6f86b0f — \u0026ldquo;ipv6: Add icmp_echo_ignore_all support for ICMPv6\u0026rdquo; — o equivalente em IPv6, por Virgile Jarry.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nRFC 8200 §5 — o IPv6 exige que cada ligação tenha um MTU de pelo menos 1280 octetos.\u0026#160;\u0026#x21a9;\u0026#xfe0e;\nMicrosoft — TCP/IP raw sockets — «only members of the Administrators group can create sockets of type SOCK_RAW».\u0026#160;\u0026#x21a9;\u0026#xfe0e;\n","permalink":"https://blogs.damiendye.uk/pt/networking/ping-the-diagnostic-tool-that-opens-a-whole-lot-more/","summary":"O ping, e não o resto do ICMP, é o risco: o echo é um canal que todos os anfitriões têm de responder com os teus próprios bytes, por isso uma rede que «só permite ping» já tem uma VPN inteira a sair. Isto percorre primeiro a ameaça, o que custa ao teu egresso e como um visitante no teu WiFi ou uma porta ethernet destrancada pode abrir uma, depois três túneis a funcionar construídos só sobre o ping (Hans, icmptunnel e um curto em Python com AES-128), os senões do MTU e do IPv6, e a regra que a fecha: descartar o echo, manter os erros, em nftables, pf, Cisco, Junos, MikroTik e Windows.","title":"Ping: a ferramenta de diagnóstico que abre muito mais"},{"content":" Is Your MSP Lying To You — 3 parts\nO teu MSP está a mentir-te para te vender produtos premium?you are here O que o teu MSP te construiu, e quem mais lhe consegue chegar Quando avaria, quem é que aguenta com isso? Resposta curta: alguns estão.\nA resposta longa é pior, e é a que vale o teu tempo. A maioria nunca precisa de mentir, porque o arranjo fá-lo por eles. Recebem dos fabricantes cujos produtos recomendam, a taxas que mudam conforme o produto que escolhes e quanto dele acabas por consumir, e ninguém é obrigado a dizer uma palavra sobre isso. Põe um negócio nessa posição durante trinta anos e a desonestidade torna-se desnecessária. A lista de opções escreve-se sozinha.\nDo sítio onde estás sentado, do lado de quem recebe a fatura, uma mentira e um processo viciado custam exatamente o mesmo.\nEsta parte é a venda: quem paga à pessoa que te aconselha, o que nunca chega à lista, porque é que a melhor resposta é a que não te vão oferecer, e o que estás discretamente a alugar. A parte dois é o que se constrói depois de assinada a papelada e quem mais lhe consegue chegar. A parte três é quem carrega o prejuízo quando a coisa vai abaixo, e quanto custa sair. Parte disto vi acontecer. O resto está no registo público com o nome de um regulador, e cada afirmação aqui tem um link.\nNada disto exige que sejas técnico. Só tens de perguntar.\nA correção fácil é o sinal Pega num caso comum. Alguém que trabalha a partir de casa não consegue que o portátil mantenha um túnel VPN até ao escritório. O fornecedor olha para aquilo e volta com algo que o cliente tem de mudar do lado de casa. Não do lado deles. Do lado de casa.\nO túnel é L2TP sobre IPsec para um Cisco Meraki MX, e o que está de facto mal é a travessia de NAT. O cliente continua a negociar em UDP 500 em vez de passar para UDP 4500, porque o NAT-T nunca foi configurado do lado do escritório. O RFC 3947 não tem rodeios: assim que é detetado um NAT, o iniciador «MUST set both UDP source and destination ports to 4500». Nunca o faz. O túnel morre no NAT. Sempre.\nA resposta está na firewall deles, desligada. O mesmo MX corre AnyConnect, que «will attempt to connect using both TLS, and DTLS (Datagram TLS) over TCP and UDP 443 respectively». TLS normal numa porta normal. Um NAT entende isso perfeitamente, não há nada para atravessar nem nada para configurar, e funcionaria na tarde em que alguém o ativasse.\nNinguém faz uma captura de pacotes. Ninguém verifica em que porta o cliente está de facto a falar. São as duas primeiras coisas que se fazem, e resolveriam o assunto num minuto.\nAgora um segundo caso do mesmo fornecedor, e não há rede nenhuma nele. Uma impressora de etiquetas, e uma etiqueta de envio que tem de sair no formato certo. É todo o pedido. É também a única coisa que uma impressora de etiquetas faz.\nA resposta que veio foi que não é possível.\nEra uma opção no driver de impressão. Uma caixa, numa janela de definições, num software que eles administram, e o trabalho todo era marcá-la e fazer uma impressão de teste. Ninguém tinha de comprar nada. Ninguém tinha de projetar nada. Não a marcaram.\nRepara que «não é possível» é uma resposta sem medição nenhuma, e é a única resposta que fecha um ticket sem ninguém ter de fazer coisa nenhuma. Também fica mais difícil de desdizer quanto mais tempo dura, porque ir ver agora significa admitir que havia alguma coisa para ver.\nÉ essa a forma a que tens de estar atento, e é a mesma forma duas vezes. A avaria é grátis de corrigir, a correção está dentro de equipamento que o fornecedor já tem e que já lhe pagam para gerir, e o que vem em vez disso é ou uma instrução para mudar alguma coisa do lado do cliente ou uma afirmação seca de que aquilo não se pode fazer. Quando a resposta barata é posta de lado sem uma medição, não te estão a dar um diagnóstico. Estão a gerir-te.\nUm engenheiro que encontrou a avaria diz-te qual é a avaria. Alguém que não a encontrou diz-te que não se pode fazer, ou diz-te o que comprar.\nQuem paga ao teu conselheiro Começa pelo dinheiro, porque tudo o resto vai atrás dele.\nQuando o teu MSP recomenda um hyperscaler, não é neutro. A própria documentação de faturação da Microsoft descreve o partner earned credit, um crédito aplicado sobre os encargos do teu consumo de Azure, ganho pelo parceiro que detém os direitos de administração para o gerir. A tua fatura sobe, eles ficam com uma fatia. Ao lado disso estão margens de revenda, escalões de volume, descontos de certificação, fundos de desenvolvimento de mercado e objetivos trimestrais, em todos os fabricantes da pilha, não só naquele.\nNada disto é segredo, e nada disto vai contra regra nenhuma. Está publicado, é normal, e é assim que o canal funciona há trinta anos.\nDuas partes pagam ao teu conselheiro, e só uma delas és tu Tu Perguntas que produto comprar O teu prestador Escreve a lista de onde vais escolher O fabricante Decide quanto rende uma recomendação mensalidade uma opção desconto Desconto, margem, registo de oportunidades, objetivo de vendas Nada disto te tem de ser dito Um consultor financeiro só pode ser pago pelo cliente (FCA Handbook, COBS 6.1A). Um conselheiro de TI pode ser pago pelos dois, e nada o obriga a dizer qual paga mais. Duas partes pagam pela mesma recomendação. Só uma delas está sentada na reunião, e só um dos pagamentos tem de ser mencionado. Aqui está a parte que te devia incomodar. Ninguém tem de te dizer nada disto: nem a taxa, nem os objetivos, nem o crédito. A pessoa que te recomenda o produto é paga pela empresa que faz o produto, a uma taxa que depende de qual produto te convence a levar e de quanto dele acabas por consumir, e não há obrigação nenhuma de pôr uma palavra sobre isso na proposta que estás a ler.\nOutro setor olhou exatamente para este arranjo e proibiu-o. Pelas regras da FCA, um consultor financeiro deve «only be remunerated for the personal recommendation \u0026hellip; by adviser charges» e deve «not solicit or accept \u0026hellip; any other commissions, remuneration or benefit». Tu pagas ao teu consultor. O fornecedor do produto não. Essa regra existe porque o regulador percebeu uma coisa óbvia. Não consegues distinguir aconselhamento de venda quando o vendedor é pago pelo fabricante.\nAs TI nunca tiveram esse acerto de contas. A CMA já passou a pente fino o mercado da cloud e olhou com atenção para o gasto comprometido, o egress e a mudança de fornecedor, mas ninguém olhou ainda para a camada do meio. A empresa sentada entre ti e o fabricante, com um dever para contigo e um objetivo vindo deles.\nVale a pena chamar a coisa pelo nome, também.\nUm incentivo é um pagamento de uma parte para moldar uma decisão em que outra parte está a confiar. É esse o mecanismo, seja qual for o nome do programa no site do fabricante. O fabricante paga, o cliente confia, e a recomendação mexe-se.\nTambém é coercivo do lado do MSP, que é a metade para a qual ninguém olha. Falha o escalão e não perdes simplesmente um bónus. O teu preço de compra sobe em tudo o que vendes durante os doze meses seguintes. Portanto a pressão não é «vende isto e ganhas um mimo». É «vende isto ou o teu negócio inteiro fica mais caro». Ninguém nessa posição está a escolher livremente, e nunca foi desenhado para parecer uma escolha.\nO direito inglês já conhece esta forma. O Bribery Act 2010 não precisa de nenhum funcionário público por perto: a secção 3 cobre «any activity connected with a business», e morde quando se espera que a pessoa que exerce essa atividade o faça «in good faith», ou «impartially», ou está «in a position of trust». Lê essas três condições. Depois lê a proposta que tens em cima da secretária.\nNão estou a acusar nenhum gestor de conta de um crime. O que se passa é mais aborrecido do que isso e mais difícil de resolver. O arranjo fica a um fio do lado certo da linha, e a única coisa que o mantém lá é que nunca ninguém estabeleceu que um MSP te deve imparcialidade, para começar. O aconselhamento financeiro estabeleceu-o, e a comissão acabou. Aqui ninguém o estabeleceu, por isso não acabou.\nChama a um incentivo uma forma ligeira de corrupção e as pessoas eriçam-se. Põe o pagamento, o objetivo e a lista de opções na mesma página, e depois pergunta que outro nome lhe dar.\nO pequeno fornecedor nunca é nomeado A lista de fornecedores que te mostraram não é a lista de fornecedores que existem. É a lista daqueles com quem o teu MSP já tem conta.\nPara entrar nessa lista um fabricante precisa de um programa de parceiros. Escalões, acreditação, descontos, registo de oportunidades, um distribuidor disposto a levar a linha. Isso é uma máquina. Mantê-la custa dinheiro que não tem rigorosamente nada a ver com a qualidade do produto. Há muitas empresas pequenas neste país a construir equipamento e software melhores do que o emblema na tua proposta, e nunca lá vão aparecer, porque têm doze pessoas e nenhuma equipa de canal.\nVê o que a máquina faz à recomendação.\nO registo de oportunidades amarra o teu MSP a um fabricante antes de alguém ter falado contigo sobre requisitos. Registam a oportunidade, ficam com um preço de compra melhor e com proteção contra outro parceiro que te faça o mesmo orçamento, e a partir desse momento há uma razão para puxar o desenho para esse fabricante que não tem nada a ver com o teu negócio.\nOs escalões fazem o resto. Gold, platinum, chame-se como se chamar este ano, o estatuto depende do volume anual, e fixa o desconto deles em tudo o resto que vendem durante o ano. O teu projeto pode ser o que os faz passar a linha. Não te vão dizer isso.\nDepois o distribuidor decide o que sobra. Um MSP compra através de um distribuidor, o distribuidor leva as linhas com que tem acordos, e um fabricante que não está na tabela de preços é como se não existisse.\nO que isso te custa não é abstrato. Um fornecedor mais pequeno normalmente põe-te ao telefone com as pessoas que escreveram o software em vez de um guião de primeira linha, muda alguma coisa porque tu pediste, e continua a responder-te no ano seguinte porque és uma parte real da faturação dele em vez de um erro de arredondamento. Nada disso cabe numa matriz de comparação, e nada disso paga desconto a ninguém.\nPor isso pergunta o que seria preciso para pôr uma dessas empresas mais pequenas na lista. A resposta diz-te para quem a lista foi feita.\nE o mandato vem de um só país Olha para os emblemas na proposta. O hypervisor, a cloud, o equipamento de rede, a firewall, o pacote de escritório, o CRM, o destino dos backups, a monitorização. Quase todos americanos.\nNada disso é um veredicto sobre qualidade. É o que acontece quando o caminho para o mercado é um programa de canal, porque as empresas grandes o suficiente para gerir um desses à escala global estão num só país. Portanto os objetivos que o teu MSP carrega, os descontos que moldam a tua lista e o escalão que fixa a margem deles são todos escritos nos Estados Unidos.\nO que torna útil saber como esse país trata atualmente as regras sobre ganhar negócio no estrangeiro.\nA 10 de fevereiro de 2025 o Presidente assinou uma ordem executiva intitulada «Pausing Foreign Corrupt Practices Act Enforcement to Further American Economic and National Security». Instruía o Procurador-Geral a, durante 180 dias, «cease initiation of any new FCPA investigations or enforcement actions», com o raciocínio declarado de que a aplicação da lei contra empresas americanas «for routine business practices in other nations» prejudica a competitividade americana.\nO FCPA persegue o suborno de funcionários estrangeiros. É essa a prática que está a ser descrita.\nO que se seguiu está no registo. Novas diretrizes do Departamento de Justiça a 9 de junho de 2025 restringiram a aplicação a casos ligados a cartéis, a danos diretos a empresas americanas ou à segurança nacional. Ao longo de 2025 a Securities and Exchange Commission não interpôs nenhuma ação civil ao abrigo do FCPA e dissolveu a sua unidade FCPA, enquanto o Departamento de Justiça encerrou cerca de metade das suas investigações ativas. Também não apareceu na reunião de março de 2025 do OECD Working Group on Bribery.\nA mesma lei, direção diferente. Tirou 772 milhões de dólares a uma empresa de engenharia francesa em 2014, e é a razão por que o Estado francês encomendou um relatório sobre se o direito extraterritorial americano funciona como arma comercial. Tratei disso em até onde chega a lei de um país. Portanto a lei atravessa fronteiras para empresas estrangeiras e é posta de lado para as domésticas, pelo governo do país de onde vem toda a tua lista de produtos.\nTambém não esperes que o Reino Unido tape o buraco. A lei aqui não é a parte fraca: o Bribery Act 2010 vai mais longe do que a lei americana em alguns pontos, e a secção 7 torna crime uma organização comercial não impedir o suborno por qualquer pessoa que atue em seu nome. Rigorosa, ampla, e em vigor há quinze anos.\nA parte fraca é que a aplicação a esta escala só funciona como operação conjunta. A Airbus é o maior acordo por suborno de que este país fez parte, e o próprio comunicado da Airbus mostra a forma: EUR 3598 milhões em sanções a 31 de janeiro de 2020, indo EUR 2083 milhões para o Parquet National Financier francês, EUR 984 milhões para o Serious Fraud Office, EUR 526 milhões para o Departamento de Justiça e EUR 9 milhões para o Departamento de Estado, com o SFO e o PNF a conduzi-lo como equipa de investigação conjunta. O dinheiro atravessa vários países e as provas também, e nenhuma agência sozinha consegue obrigar a entregar tudo. Precisa que todos apareçam.\nRepara na data. Janeiro de 2020 cai dentro da primeira administração Trump, e o Departamento de Justiça da altura ficou bem contente por receber a sua parte de EUR 526 milhões. A pausa veio cinco anos depois, do mesmo presidente no segundo mandato. Isto não é uma diferença entre administrações. É uma decisão tomada em 2025.\nUm deles deixou de aparecer, e isso vai mais fundo do que uma cadeira vazia. Um procurador que não abre processos não produz nada para partilhar. Nem intimações, nem entregas de documentos, nem arguidos a colaborar, nem testemunhas sob pressão: as provas que tornaram a Airbus possível existiam porque alguém as foi buscar. Fecha metade dos processos e não abras ações novas, e não fica nada no pote de onde os outros possam tirar. Não é um país a recusar-se a entregar coisas. É um país que já não tem nada para entregar.\nTambém fecha a outra porta. O próprio comunicado da Airbus atribui o desfecho a «reporting, cooperation and new compliance standards» na empresa. As empresas apresentam-se por causa do que lhes acontece se não o fizerem. Tira o que lhes acontece, e as autodenúncias que dão início à maioria destes casos deixam de chegar. Em Londres tanto como em Washington.\nO Bribery Act não fica mais fraco quando isso acontece. Só perde o fornecimento de provas que o tornava utilizável precisamente nos casos para que foi escrito.\nDezoito meses disto, e não mexeu uma única lista de opções neste setor. Ninguém o tem num registo de riscos, ninguém pergunta por ele num formulário de aquisição, e ninguém que te esteja a vender uma subscrição de cinco anos o mencionou.\nO orçamento de formação foi o primeiro a ir Há uma segunda razão por que o produto continua a ganhar, e é menos cínica do que a primeira. Muitas das pessoas que te vendem não conseguiriam fazer a outra coisa.\nO investimento dos empregadores em formação neste país tem vindo a cair há vinte anos. A leitura do Employer Skills Survey de 2024 feita pelo Learning and Work Institute põe-no 36% abaixo por trabalhador, em termos reais, face a 2005: GBP 1700 contra GBP 2634. Só desde o inquérito de 2022 caiu mais 13%. A taxa de aprendizagem (apprenticeship levy) chegou em 2017 para inverter exatamente isto, e o gasto por trabalhador incluindo a taxa caiu 23% desde então.\nDepois vê que setores cortaram mais entre 2022 e 2024. Administração pública 50%, serviços financeiros 47%, e informação e comunicações 30%. Esse último é o nosso. Quase um terço desaparecido em dois anos, no setor que muda mais depressa.\nEntretanto aquilo que se defende cresceu. Contei as vulnerabilidades publicadas dos dois lados de uma década, diretamente da National Vulnerability Database: 6595 CVE publicadas em 2015, e 49 972 em 2025. Sete vezes e meia mais em dez anos, contra um orçamento de formação que desceu um terço. Essas duas linhas vão em direções opostas e já vão há anos.\nOs controlos que mostrariam a diferença também não estão lá. O próprio Cyber Security Breaches Survey 2025/2026 do governo põe a autenticação de dois fatores em 47% das empresas, o mesmo controlo que as agências dos cinco olhos nomearam para as contas de MSP em 2022, e o mesmo pelo qual o ICO multou a Advanced Computer Software Group em £3,07 milhões em março de 2025. O mesmo inquérito mostra as políticas formais de cibersegurança a descer de 59% para 52% num ano, e os planos de continuidade de negócio que cobrem cibersegurança a descer de 53% para 44%. Não estáveis. A cair.\nE depois põe uma tenancy de cloud por baixo de tudo isto. Uma pequena empresa não administra a sua. O MSP tem o global admin, constrói o modelo de identidade, define o acesso condicional, decide que armazenamento é público e qual não é, e é dono da consola. É precisamente para isso que foi contratado. Por isso, quando uma tenancy acaba mal configurada, as mãos que lá estavam eram as do prestador. Não um cliente a clicar na caixa errada.\nO raio de impacto também mudou. Um servidor mal configurado em 2005 chegava mais ou menos até onde chegava o cabo a que estava ligado. Uma tenancy mal configurada hoje está na internet no segundo em que é guardada, é a mesma tenancy para todos os sistemas que essa empresa corre, e a credencial que a administra está com alguém que nunca conheceram, numa empresa que não podem auditar.\nAs agências de segurança de cinco países escreveram um aviso sobre isto em 2022, e a primeiríssima ação da lista diz respeito às contas que um prestador usa para entrar nos teus sistemas. Puseram-na em primeiro porque é por aí que se entra.\nDepois há aquilo a que este setor chama formação. Uma certificação de fabricante é formação de produto. Ensina-te onde estão os botões na consola de uma empresa e o nome que essa empresa decidiu dar às suas funcionalidades, é escrita e tem o preço fixado pela empresa cujos produtos cobre, e ter um número suficiente delas é condição do escalão de parceiro que fixa a margem. É um canal de vendas de capelo e beca.\nConhecer uma consola não é saber como a coisa funciona. Um engenheiro com cinco certificações pode nunca ter lido um RFC, nunca ter feito uma captura de pacotes, e nunca ter percebido a partir dos primeiros princípios porque é que alguma coisa falhou. Põe essa pessoa à frente de um túnel que não sobe e a resposta honesta não está ao seu alcance. Culpar o IPv6 da rede de casa do cliente está.\nE assim as duas metades encontram-se. São pagos para vender um produto, e cada vez mais o produto é a única resposta que têm. Um cliente que paga por competência acaba sem nenhuma das duas coisas.\nNinguém escreveu o que precisavas Pede para ver os teus requisitos. Não a proposta, não o orçamento, não o diagrama de arquitetura com o teu logótipo. Os requisitos.\nUm levantamento como deve ser é aborrecido e não é curto. O que é que o serviço tem de fazer, e para quem. Quantas pessoas, a partir de onde, em quê. Qual é a hora de mais carga e qual o crescimento em três anos. Quanto tempo pode estar em baixo antes de custar dinheiro a sério, e quantos dados te podes dar ao luxo de perder. O que nunca pode sair do país, e sob que lei. O que tem de sobreviver a um incêndio num edifício. Por que é que estás contratualmente responsável perante os teus próprios clientes. Qual é o orçamento, capital e despesa corrente, separados. O que já tens que ainda tem vida. Quem o mantém a funcionar depois, e o que é que essas pessoas já sabem gerir.\nÉ uma manhã de trabalho com as pessoas certas na sala, e devia acabar num documento que tu aprovas antes de alguém desenhar uma única caixa.\nSe ninguém te perguntou a maior parte disto, não te deram um desenho. Deram-te aquilo que já vendem, com o nome da tua empresa na capa.\nAtenção também ao sinal no sentido contrário. Se o dimensionamento aconteceu na primeira reunião, antes de alguém olhar para qual é de facto a tua carga, então os números vieram de um modelo e não do teu parque, e um dimensionamento a sério precisa de dados. Alguém a olhar para o que o teu equipamento está de facto a fazer agora, durante tempo suficiente para ver um fecho de mês e um fecho de trimestre.\nUma opção não é uma escolha Um desenho é um conjunto de escolhas com o raciocínio anexado. O que significa opções, e custos em todas elas, não só na que querem que escolhas.\nDevias receber o não fazer nada, com preço, incluindo o que te custa quando avaria. Devias receber a coisa mais barata que cumpre os requisitos. Devias receber a recomendação, e devias receber a que está sobredimensionada para ti, para veres onde fica a linha. Cada uma com o que custa comprar, o que custa manter durante cinco anos, o que não faz, e o que terias de fazer a seguir se a ultrapassasses.\nE, crucialmente, devias receber a lista do que foi excluído e porquê. É essa a parte que mostra que alguém pensou de facto.\nSe recebeste exatamente uma resposta, e essa resposta calha ser o fabricante em que estão certificados e o modelo de licenciamento que paga todos os meses, não recebeste um desenho. Recebeste um orçamento vestido de desenho. Nada mais.\nO que a lista filtra antes sequer de a veres Quatro respostas ao mesmo requisito Open source, com contrato de suporte A margem é o trabalho do prestador Um fornecedor britânico mais pequeno Sem programa de parceiros O que já tens, configurado Nada a faturar na renovação O fabricante com programa de parceiros Desconto, registo, objetivo Dá dinheiro? Está no programa? O que chega à secretária Uma opção, orçamentada Sem comparação, sem alternativa com preço As outras três nunca tiveram preço, por isso nunca soubeste quanto custavam e a sua ausência parece que não havia nada a dizer O filtro corre antes de veres seja o que for. Três respostas ao mesmo requisito nunca chegam a ter preço, por isso a sua ausência parece que não havia nada com que comparar. Há uma pergunta simples que põe isto a descoberto, e eu fá-la-ia na sala. Que mais consideraram, e quanto custava? Quem fez o trabalho tem os números à mão e até gosta que lhe perguntem. Quem não fez vai dizer-te que as alternativas não têm suporte, não são de nível empresarial, ou não são coisa em que poria o nome. Nenhuma dessas respostas é um número.\nO open source nunca entra na lista Não é que o odeiem. Não há margem nele, nem desconto associado, nem certificação para vender, nem objetivo trimestral que ele mexa.\nA objeção é sempre a mesma, e é a única afirmação neste artigo que é redondamente falsa: «não tem suporte». Tem tudo suporte, comercial, com contrato, SLA e alguém para quem ligar: a Proxmox vende subscrições por socket, e a Red Hat, a SUSE e a Canonical vendem suporte para a pilha. Estás a escolher quem dá o suporte, não a escolher se há suporte. O que deixas de pagar é o direito de usar software que já tens.\nDepois há o equipamento que já está na sala. Passa completamente despercebido. No meu último empregador construí uma cloud privada com nós de HPC desativados, Proxmox, Ceph e uma cadeia completa de Ansible por cima, e acabei com 7 servidores, 480 núcleos, 15 TiB de RAM e 1,8 PiB de armazenamento, sem orçamento e com três pessoas. Um MSP a orçamentar esse mesmo requisito teria orçamentado hardware novo e uma subscrição: não há nada para eles em equipamento que já compraste e pagaste.\nA outra metade disto é o equipamento que já está na tua sala, e é a metade que nunca chega a ter custo calculado. Um servidor não deixa de funcionar no dia em que acaba o contrato de suporte. «Fim do suporte» é uma data que o fabricante escolheu, não uma medição que alguém fez ao hardware, e uma máquina com cinco bons anos pela frente vale mais para ti do que para quem te quer vender a substituta. O open source é o que te deixa continuar a usá-la, porque a licença não quer saber da idade do CPU nem se o emblema na frente ainda está na garantia.\nÉ essa a parte que não paga a ninguém. Não há desconto em hardware que já tens, nem crédito de escalão por uma máquina que fica onde está, nem renovação de uma licença que ninguém teve de comprar. Como tal, não é proposto, e a expressão a que se recorre em vez disso é «fim de vida», que soa a engenharia e é uma data de vendas.\nPede que a opção open source seja orçamentada como deve ser, suporte incluído, ao lado das outras, e pede a versão que reaproveita o que tens, com preço, contra a versão que não reaproveita. Não para te convencerem a largar a comercial. Para veres a diferença, para que a decisão seja tua.\nComo é de facto a alternativa Há uma resposta open source com suporte para quase tudo o que aparece numa proposta, e vale a pena começar pela parte que te custa mais, porque nunca são os servidores.\nO software pago por utilizador. É aqui que está o dinheiro recorrente, e onde nunca se menciona uma alternativa. Pacote de escritório: LibreOffice, ONLYOFFICE, ou Collabora Online, que vende implementações com suporte e te dá a edição no browser que as pessoas julgam que só vem de um sítio. Correio, calendários e contactos partilhados: o grommunio fala MAPI, por isso o Outlook liga-se a ele como se ligaria ao Exchange, e é vendido com suporte; o SOGo e o mailcow cobrem o mesmo terreno de outra maneira. Ficheiros, partilha e aquilo para que as pessoas usam de facto um disco na cloud: Nextcloud, com um contrato empresarial por trás. Chat e reuniões, que é a metade Teams: o Mattermost e o Rocket.Chat são o mais parecido, ambos alojáveis por ti com suporte para comprar, e o Zulip tem licença Apache e organiza conversas em tópicos como deve ser. O Matrix com o Element, o Nextcloud Talk e o Jitsi cobrem o resto. E a metade SharePoint, intranet, bibliotecas de documentos, sites de equipa, fica para o XWiki, o BookStack, o OpenProject, o Seafile e o Nextcloud entre eles.\nAs aplicações de negócio. ERP: Odoo Community, ERPNext, Dolibarr. CRM: SuiteCRM, para o qual a empresa por trás vende suporte, ou EspoCRM. Contabilidade: GnuCash, ou a contabilidade incluída no Dolibarr e no ERPNext. Gestão documental: Paperless-ngx. Relatórios: Metabase. Service desk e inventário de ativos, que o teu MSP te cobra como produto: GLPI e Zammad.\nIdentidade e segredos, de que tudo o resto depende. Keycloak, FreeIPA, ou Samba como controlador de domínio. Para palavras-passe, o Bitwarden pode ser alojado por ti, o Vaultwarden é um servidor AGPL leve que fala com os mesmos clientes, e o Passbolt e o KeePassXC fazem o mesmo trabalho de outra maneira. Na maioria das propostas isto é uma linha mensal por utilizador.\nGestão de dispositivos, que é a linha do Intune na tua fatura. O Fleet faz inventário, políticas e inscrição em todas as plataformas que um parque realmente tem, construído sobre o osquery. O MicroMDM trata da inscrição Apple, o Headwind trata do Android, e o Ansible, o Puppet ou o Salt fazem a configuração por baixo de qualquer um deles. Para a metade do acesso remoto, o assunto de uma secção inteira da parte dois, o MeshCentral tem licença Apache e o RustDesk é AGPL, e ambos correm num servidor teu. O que significa que a resposta a «que ferramenta remota está nas minhas máquinas, e quem consegue entrar na consola» pode ser uma que alojas e atualizas tu, em vez de uma que descobres depois.\nE a atualização em si já não é a arte obscura que te vendem. Até no Fisher-Price OS (Windows), as atualizações de aplicações correm agora pelo winget, que tem licença MIT, contra um repositório comunitário de manifestos sob a mesma licença; o Chocolatey e o Scoop fazem o mesmo trabalho há mais tempo, e todos os Unix o têm desde os anos noventa. Por isso, quando a gestão de patches aparece numa proposta como linha gerida premium, olha para o que está de facto a ser vendido. O mecanismo é grátis e vem do fabricante da plataforma, e configurá-lo é uma tarde. Depois disso é uma tarefa agendada. Uma entrada de cron, ou o nome que a consola lhe der, a correr numa máquina que já lá estava. Estás a pagar uma mensalidade por um trabalho que corre sozinho.\nA resposta a isso devia ser que estás a pagar para alguém vigiar o resultado e agir quando falha, e isso valeria o dinheiro. Por isso olha para as provas da vigilância. Na Capita, que a parte dois desmonta, o alerta foi levantado em dez minutos e tratado quase três dias depois, contra um objetivo de uma hora, por uma equipa que o regulador concluiu ter falta de pessoal. Lá fora, na internet, há firewalls que ainda carregam vulnerabilidades que entraram no catálogo das exploradas anos depois de sair uma correção. A vigilância é a parte que justificaria a fatura, e é a parte com menos provas de que acontece.\nO sistema telefónico, uma das linhas mensais por extensão mais antigas que há. O Asterisk faz isto há vinte e cinco anos, o FreePBX põe-lhe uma interface web por cima, o FreeSWITCH é o outro motor, e o Kamailio e o OpenSIPS tratam do encaminhamento SIP à escala de operador. Se o queres empacotado em vez de montado, o Wazo, o FusionPBX e o Issabel trazem-no já feito.\nTambém vale a pena lembrar o que aconteceu ao proprietário que a maioria dos prestadores propõe. Em março de 2023 a CISA publicou um alerta a dizer que «3CXDesktopApp — a voice and video conferencing app — was trojanized, potentially leading to multi-staged attacks against users employing the vulnerable app». Ninguém teve de encontrar uma vulnerabilidade e explorá-la. Chegou como a aplicação assinada do próprio fabricante, pelo canal de atualização do próprio fabricante, a todas as secretárias onde um parceiro a tinha instalado.\nA Adobe, que é uma subscrição por utilizador como tudo o resto. A maioria das empresas não está a pagar por um pacote criativo. Está a pagar pelo Acrobat e pelas assinaturas. O Stirling PDF é um conjunto de ferramentas alojado por ti que faz a junção, a divisão, a ocultação, o OCR e o preenchimento de formulários para que se compra o Acrobat Pro, e o Okular ou o LibreOffice Draw cobrem o resto. Para assinar, o Documenso e o DocuSeal são ambos AGPL e ambos alojáveis por ti, e cobrar por envelope para assinar um documento é o exemplo mais limpo que este artigo tem de pôr contador em algo que o teu próprio servidor faria de graça. Onde há mesmo uma equipa de design: GIMP e Krita para imagem, Inkscape para vetorial, Scribus para paginação, darktable e RawTherapee para fotografia, Kdenlive para vídeo, Blender para 3D e composição, Audacity e Ardour para áudio.\nO vídeo, que merece um parágrafo à parte. As câmaras são vendidas como produto gerido com uma licença por canal e um gravador onde não te deixam entrar. O Frigate tem licença MIT e faz deteção de objetos localmente em hardware teu; o ZoneMinder é GPL há vinte anos. Para videoconferência, Jitsi e BigBlueButton. E lembra-te de qual foi o produto pelo qual a Cisco pagou 8,6 milhões de dólares e mais 6 milhões em acordos, de que trata a parte dois. Software de videovigilância, vendido a organismos públicos. A pilha de câmaras premium não vem com segurança incluída.\nArmazenamento e sistemas de ficheiros, e repara que aqui ninguém te oferece escolha nenhuma. OpenZFS para armazenamento com checksums, snapshots e send/receive, Btrfs, XFS, CephFS. O sistema de ficheiros por baixo dos teus dados é uma decisão de engenharia com consequências reais em quanto deles recuperas depois de um dia mau, e normalmente chega como aquilo que vinha com o appliance.\nA infraestrutura, por último, porque é a parte mais barata da fatura. Hypervisor e cluster: Proxmox VE. Armazenamento: Ceph, que corre de bom grado nos discos que já tens em vez de num array novo. Firewall e encaminhamento: nftables, OPNsense. VPN: WireGuard ou strongSwan. Para a rede mesh em overlay que agora toda a gente vende, vale a pena ter o quadro certo. Os clientes do Tailscale são open source e o seu próprio servidor de coordenação alojado não é: a empresa afirma que ele «remains proprietary as part of our managed service». Mas há um servidor de coordenação aberto, e é coisa séria: o Headscale tem licença BSD, é «an open source, self-hosted implementation of the Tailscale control server», e o Tailscale emprega o seu principal mantenedor ao mesmo tempo que diz que «does not set Headscale\u0026rsquo;s product direction». Portanto a coisa toda pode correr no teu próprio equipamento. O NetBird e o Nebula são os outros caminhos. Balanceamento de carga: HAProxy e keepalived. Monitorização: Prometheus, Grafana, Zabbix. Backup: Proxmox Backup Server, Bareos, restic. Gestão de configuração: Ansible. E para o trabalho de integração que é orçamentado ou como desenvolvimento à medida ou como subscrição de automação na cloud paga por execução, o Node-RED tem licença Apache, corre numa máquina tua e não te cobra por execução.\nHá três sítios onde não vou fingir que a troca é limpa. Primeiro, o Teams e o SharePoint. O destino não é o problema, digam-te o que disserem: os produtos acima são maduros e há empresas a funcionar com eles. O problema é a migração: anos de sites acumulados, herança de permissões que nunca ninguém documentou, fluxos de Power Automate que alguém construiu e depois foi embora, e comportamentos de coautoria que as pessoas esperam sem os saberem nomear. Isso é trabalho real, e devia ser orçamentado como trabalho real em vez de despachado num sentido ou noutro. Mas repara também no que deixas de carregar. Esses fluxos e esses sites são processos de negócio a correr no centro de dados de outra pessoa, numa plataforma que não consegues reiniciar. Quando param, não os arranjas. Esperas, e dizes aos teus próprios clientes que estás à espera. E a contabilidade no Reino Unido tem uma aresta dura: o IVA tem de ser declarado através de software que o HMRC reconheça, e o HMRC publica a lista. Os caminhos open source para o Making Tax Digital existem, o GnuCash tem uma ponte comunitária, o ERPNext tem um módulo de IVA para o Reino Unido, mas são mantidos pela comunidade e não um produto com contrato de suporte por trás. É uma limitação real e pertence à comparação. Terceiro, uma agência de design a trabalhar vive ou morre pela troca de ficheiros, e clientes que te mandam um .psd e esperam outro de volta são um problema real e não uma questão de princípio. Para toda a gente que só precisa de preencher um PDF e assiná-lo, não há troca nenhuma a fazer. É só deixar de pagar.\nPorque é que o melhor negócio nunca é vendido Então porque é que nada disto é oferecido? Porque seria melhor negócio para eles, não pior, o que torna a recusa mais interessante, não menos.\nHá duas maneiras de ganhar dinheiro com um cliente. Revendes uma licença, e a margem é definida por outra pessoa, limitada por ela, repreçada por ela na renovação, e paga quer tenhas trabalhado nesse mês quer não. Implementas e geres uma pilha aberta, e a margem é o teu próprio trabalho ao teu próprio preço, sem ninguém a ficar com uma parte pelo caminho e sem fabricante nenhum capaz de mudar o número em abril do ano seguinte. A segunda vale mais por cliente, e constrói alguma coisa. Um engenheiro que sabe gerir Ceph, ou montar um servidor de correio com que o Outlook fala, vale mais no ano que vem do que este ano. Alguém que só alguma vez conduziu uma consola vale exatamente o mesmo no ano que vem, e só enquanto essa consola existir.\nTambém é mais difícil, e é só isso. Tem de ser merecido outra vez todos os meses. Precisa de engenheiros e não de administradores, e os engenheiros são caros, levam anos a formar, e podem sair e montar negócio por conta própria. Uma licença nunca sai.\nIsso é um compromisso, e o compromisso é precisamente o que se está a evitar. Revender não pede nada a ninguém. Escolhe um fabricante este ano, escolhe outro no ano que vem, e quando vai abaixo nunca foi o teu desenho, para começar. Gerir a pilha tu mesmo significa escolhê-la, aprendê-la como deve ser, e dar a cara por ela à frente de um cliente às duas da manhã. Uma dessas coisas exige que saibas alguma coisa. A outra exige um login num portal.\nTambém parte a aritmética de que o modelo vive. Um serviço gerido tem preço baseado na alavancagem: o máximo de clientes possível por engenheiro, pessoal júnior a seguir runbooks, escalamento só quando o runbook acaba. Isso funciona porque o trabalho foi reduzido a passos. Mete uma pilha que alguém tem de perceber de facto e a proporção desaba, a massa salarial sobe, e o negócio dá por si a depender de pessoas que podiam sair e levar clientes com elas.\nPortanto a pergunta por baixo da lista de opções nunca foi qual produto é melhor. É se uma empresa está disposta a ser do tipo que emprega pessoas que sabem coisas.\nÉ aqui que o número da formação de há pouco volta à baila. Um setor que cortou o gasto em competências 30% em dois anos não consegue vender competência, por isso vende licenças. Vender licenças significa que nunca tem de adquirir a competência, por isso a formação continua cortada, e no ano seguinte há ainda menos para oferecer. É um ciclo, e só roda num sentido.\nO resto é incentivo, e já passámos por isso. O fabricante paga um desconto sobre a licença e nada sobre o trabalho. O comercial é remunerado pelo produto. E quando um hyperscaler tem uma falha a culpa é do hyperscaler, enquanto um cluster que construíste tu é teu, por isso revender compra a alguém um sítio onde pôr a culpa. Isso vale dinheiro a sério para um negócio que prefere não ter de prestar contas.\nNada disso faz disto a resposta certa para ti. Só explica porque é que a comparação nunca é escrita.\nA taxa do IPv4 Este é o exemplo mais limpo de todo o artigo, porque podes pôr preço nos dois lados.\nConstroem-te um serviço só IPv4. Depois vendem-te os endereços públicos de que precisas para lhe chegar, por endereço, por mês, para sempre. Pede outro e há um formulário, uma justificação e uma linha na renovação.\nEntretanto o IPv6 não custa nada a mais. A atribuição vem com a filiação no registo que já estás a pagar, e o esquema de tarifas de 2026 do RIPE é um valor fixo de EUR 1800 por conta LIR, tenhas o que tiveres. O RIPE-690 diz que um site final recebe um /48 ou um /56. Não há contador por endereço do lado v6. Não há nada para contar.\nOs números do outro lado também são públicos. A AWS cobra $0,005 por hora por cada endereço IPv4 público, associado ou não, o que dá cerca de $43,80 por ano cada. No mercado de transferências, o preço médio no primeiro semestre de 2026 foi de $20,04 por endereço, com a taxa de aluguer corrente em cerca de $0,59 por endereço por mês. Portanto um endereço vale uns vinte dólares para comprar de vez, e aluga-se por grosso por cerca de sete por ano, e está a ser-te revendido como recurso escasso. Uma linha mensal na tua fatura e um formulário para preencher quando queres outro.\nA escassez é real. A razão por que ainda estás a pagar por ela não é. Pôr um serviço em dual-stack é uma tarde de trabalho, e transforma um encargo recorrente num pedido de alteração único, que é precisamente porque nunca é proposto.\nSe queres o retrato completo de quem neste país se deu de facto ao trabalho, contei-os todos: Nunca ficámos sem endereços. Ficámos sem vontade.\nCloud por omissão, quando tudo o que tens está no local Pensa em onde o trabalho acontece de facto. Uma fábrica. Uma oficina de automóveis. Uma empresa de catering.\nTodos os utilizadores estão no edifício. Todos os dados são criados no edifício: as máquinas, as caixas registadoras, as fichas de trabalho, o stock, o CAD, os programas CNC, as encomendas que chegam ao balcão. Tudo o que consome esses dados também está no edifício. Nenhum segundo local, nenhuma equipa no terreno, nenhuns clientes a bater num front end web, e nenhum mês em que a carga duplica.\nPõe a aplicação no centro de dados de outra pessoa e cada um desses bytes passa a sair das instalações e a voltar logo a seguir. Os mesmos utilizadores. Os mesmos dados. O mesmo processamento. Mais uma WAN pelo meio, uma fatura mensal, e a dependência de uma linha que não é tua.\nNada daquilo em que a cloud é genuinamente boa se aplica aqui. A escala elástica é para cargas que mexem, e uma fábrica a trabalhar em dois turnos não mexe. O alcance global é para utilizadores que estão noutro sítio, e os teus estão de pé ao lado da máquina. O edifício de outra pessoa é uma resposta real para recuperação de desastres, mas a recuperação de desastres é um destino de backups, não o sítio de onde corres a linha.\nO que te compra é uma maneira nova de parar. No local, uma linha de banda larga em baixo é um incómodo, e o trabalho continua até alguém a arranjar. Na cloud é uma paragem: a linha vai abaixo, a oficina não consegue abrir uma ficha, a cozinha não consegue receber uma encomenda, a produção fica parada, e estás à espera do técnico de outra pessoa ao abrigo de um SLA que nunca negociaste.\nPara onde vai de facto o trabalho, quando a aplicação sai do edifício No local O teu edifício As pessoas De pé junto à máquina Os dados Todos criados aqui A aplicação Também aqui Nada sai das instalações. Uma linha de banda larga em baixo é um incómodo, e o trabalho continua até alguém a arranjar. Cloud por omissão, e o caminho que faz de facto O teu edifício As mesmas pessoas, os mesmos dados A central onde a tua linha termina O núcleo do ISP e quem lhe vende trânsito Ponto de peering ou a rede de periferia O centro de dados A aplicação vive agora aqui Três edifícios que não são teus, a quem não ligas e que nunca escolheste e cada byte faz também a viagem de volta, em cada gravação e cada consulta Uma linha em baixo é agora uma paragem. A oficina não abre uma ficha, a cozinha não recebe encomendas, a produção para, e esperas pelo técnico de outra pessoa ao abrigo de um SLA que nunca negociaste. Os mesmos utilizadores, os mesmos dados, o mesmo processamento. A diferença são as redes de quatro outras entidades pelo meio, para nenhuma das quais podes ligar quando param. E a tua banda larga é só metade. A outra metade é deles, e também vai abaixo. O próprio resumo pós-incidente da AWS de outubro de 2025 descreve uma perturbação na sua região principal do Norte da Virgínia das 11:48 PM de 19 de outubro às 2:20 PM de 20 de outubro, quase quinze horas, em que os clientes e outros serviços AWS «were unable to establish new connections». A causa, nas palavras deles, foi «a latent defect within the service\u0026rsquo;s automated DNS management system». Nove dias depois, o Azure Front Door levou consigo o Microsoft 365, o Outlook e o portal do Azure durante a maior parte de um dia de trabalho. A Microsoft mantém um histórico corrente destes casos, e não é um documento curto.\nO tempo de inatividade também não é tudo. A outra coisa vendida na capa da proposta era capacidade a pedido, e isso tem um modo de falha documentado próprio. A Microsoft publica uma página intitulada «Troubleshooting Azure VM allocation failures». A AWS publica «How do I troubleshoot InsufficientInstanceCapacity errors when I start or launch an EC2 instance?». Lê outra vez esses títulos. Os dois fabricantes mantêm documentação permanente para o caso em que pedes uma máquina e não há nenhuma: nenhuma avaria, nenhuma falha, só nada disponível nessa região hoje. Por cima disso estão as quotas, definidas por subscrição, que são uma segunda maneira de te dizerem que não.\nPortanto a escala elástica da proposta traz uma ressalva que a proposta não traz. Elástica dentro do que estiver disponível, nessa região, no dia em que pedes. E os prestadores continuam a meter clientes em regiões com restrições na mesma, porque uma assinatura conta neste trimestre e uma verificação de capacidade não. Descobres na implementação, que é o pior momento possível: depois de a migração estar comprometida, depois de o equipamento local ter ido embora, e depois de a alternativa ter sido desmontada para pagar a mudança.\nLê o que tudo isso significa para a oficina e para a cozinha. No teu próprio equipamento, uma falha é alguém para quem podes ligar, ou uma máquina até onde alguém pode ir a pé e reiniciar. Na cloud de outra pessoa não há alavanca nenhuma. Não podes escalar, não podes dar prioridade à tua própria recuperação, e o prestador a quem pagas também não. Estão a atualizar a mesma página de estado que toda a gente. Aquilo que compraste como resiliência acaba por ser uma dependência que partilhas com vários milhões de outros clientes, e no dia em que falha a tua posição é a mesma que a deles.\nEntão porque é que é sempre a recomendação? Porque uma compra de capital paga ao teu MSP uma vez. Uma subscrição paga-lhe todos os meses, em percentagem, com um crédito do fabricante por cima. Migrar-te também lhe tira o hardware de cima, que é a parte do serviço para a qual tem mais dificuldade em arranjar pessoal. Três razões a apontar no mesmo sentido, nenhuma delas tua.\nDepois há o sítio onde os teus dados vão parar. Ao abrigo do 18 U.S.C. § 2713, acrescentado pelo CLOUD Act, um prestador americano tem de entregar dados na sua «possession, custody, or control» quando devidamente notificado, «regardless of whether such communication, record, or other information is located within or outside of the United States». Portanto «está na região do Reino Unido» é uma resposta verdadeira a uma pergunta que não fizeste. A região diz-te onde está o disco. A lei segue quem é dono da empresa.\nNinguém te pôs isso como decisão. Chegou como pressuposto, dentro de uma proposta, escrita por alguém que recebe mais quando dizes que sim.\nEscrevi longamente sobre essa dependência em o que custa alugar a tua tecnologia.\nTudo isso aconteceu antes de se construir fosse o que fosse Repara quando acontece, tudo isto. Antes de uma máquina ir para o rack, antes de alguém ter entrado no que quer que seja, em reuniões e folhas de cálculo onde na maior parte das vezes não estiveste. O desconto, os requisitos que ninguém levantou, a opção única, a linha open source em falta, os endereços que agora vais alugar durante toda a vida do contrato, o centro de dados de que ninguém no edifício precisava: nada disso é técnico, e tudo fica decidido na primeira quinzena.\nÉ por isso que merece a tua atenção mesmo que nunca tenhas aberto um switch. É também por isso que é tão difícil de desfazer depois. Tudo o que vem a jusante herda essa quinzena. O parque é construído como a lista de opções disse que seria. As ferramentas aparecem porque são o que o prestador já tem e já conhece. As chaves acabam onde o processo deles as puser. E o contrato assinado no fim decide, com anos de antecedência, quem carrega o prejuízo na manhã em que alguma coisa para.\nPor isso a parte dois é o que foi de facto construído: a caixa de que não há maneira de os demover, o equipamento de perímetro com o pior historial na lista das vulnerabilidades exploradas, o básico que era aquilo que compraste, e as ferramentas que chegam a todas as máquinas que tens a partir de uma consola que nunca viste. Duas das falhas lá descritas têm a conclusão de um regulador anexada. Nenhuma aconteceu a um cliente. Aconteceram a um prestador, e os clientes estavam a jusante.\nIs Your MSP Lying To You — 3 parts\nO teu MSP está a mentir-te para te vender produtos premium?you are here O que o teu MSP te construiu, e quem mais lhe consegue chegar Quando avaria, quem é que aguenta com isso? Fontes Consultado a 28 de agosto de 2026.\nComo funciona o dinheiro.\nMicrosoft Partner Center billing documentation — o partner earned credit aplicado sobre os encargos do consumo de Azure do cliente. FCA Handbook, COBS 6.1A — remuneração do consultor: a regra de que uma empresa só pode ser paga por uma recomendação pelo cliente, e não pode aceitar comissões do fornecedor do produto. CMA cloud services market investigation — o trabalho do regulador da concorrência do Reino Unido sobre o mercado da cloud. Endereços.\nRIPE NCC charging scheme 2026 — EUR 1800 por conta LIR, valor fixo. RIPE-690 — /48 ou /56 para um site final, outubro de 2017. AWS public IPv4 charge — $0,005 por endereço por hora, desde fevereiro de 2024. IPv4 transfer market, first half of 2026 — média de $20,04 por endereço, taxa de aluguer de cerca de $0,59 por endereço por mês, resumindo a análise da CircleID às transações com preço público. A VPN.\nCisco Meraki\u0026rsquo;s AnyConnect troubleshooting guide — TLS e DTLS na 443, sem problema de NAT para resolver. RFC 3947 e RFC 3948 — travessia de NAT para IPsec, e a passagem para UDP 4500. Suporte que podes mesmo comprar.\nProxmox VE subscriptions — um exemplo de suporte comercial para infraestrutura open source. Formação e competências.\nLearning and Work Institute, 24 December 2025 — investimento dos empregadores em formação 36% abaixo por trabalhador em termos reais desde 2005, e 30% abaixo em informação e comunicações entre 2022 e 2024, com base no Employer Skills Survey de 2024. National Vulnerability Database — contagens de publicação de CVE por ano, somadas por trimestre: 6595 em 2015 contra 49 972 em 2025. Cyber Security Breaches Survey 2025/2026 — autenticação de dois fatores em 47% das empresas, políticas formais a descer para 52%, planos de continuidade que cobrem cibersegurança a descer para 44%. CISA alert, 30 March 2023 — a aplicação desktop da 3CX com trojan. Direito e política.\nExecutive order, 10 February 2025 — a suspensão da aplicação do Foreign Corrupt Practices Act, nas palavras da própria administração. Just Security, on the year that followed — as diretrizes de aplicação de junho de 2025, a unidade FCPA dissolvida da SEC, e as investigações encerradas. Bribery Act 2010 e section 7 — a lei do Reino Unido, e o crime empresarial de não impedir o suborno. Airbus, 31 January 2020 — o relato da própria empresa sobre o acordo tripartido e a forma como as sanções se dividiram entre o PNF, o SFO, o DoJ e o DoS. Jurisdição.\n18 U.S.C. § 2713 — a disposição do CLOUD Act: entrega independentemente de onde os dados estão guardados. Quando a plataforma para.\nAWS post-event summary, October 2025 — a perturbação do DynamoDB e do DNS em us-east-1, nas palavras da própria Amazon. Azure status history — o registo corrente dos incidentes mantido pela própria Microsoft. ","permalink":"https://blogs.damiendye.uk/pt/random/is-your-msp-lying-to-you-part1/","summary":"Parte 1 de 3. Alguns estão a mentir. A maioria nunca precisa, porque lhes paga o fabricante do produto que te estão a recomendar e ninguém tem de te dizer. Os sinais de que te estão a vender alguma coisa em vez de projetarem para ti, e o que nunca chega à lista de opções.","title":"O teu MSP está a mentir-te para te vender produtos premium?"},{"content":" Is Your MSP Lying To You — 3 parts\nO teu MSP está a mentir-te para te vender produtos premium? O que o teu MSP te construiu, e quem mais lhe consegue chegaryou are here Quando avaria, quem é que aguenta com isso? A primeira parte foi a venda. Esta é o parque.\nA papelada está assinada, a fatura corre todos os meses, e há equipamento. Parte dele é teu, parte é deles, e a maior parte foi escolhida antes de alguém perguntar o que o negócio faz de facto entre as oito e as seis. O que se segue é o próprio equipamento: o que é escolhido, o que ficou ligado lá dentro, e quem mais consegue chegar às máquinas que pagaste a partir de uma consola onde nunca entraste.\nDuas das falhas aqui trazem a conclusão de um regulador com um número associado. Nenhuma delas aconteceu a um cliente — aconteceram a um fornecedor, e os clientes estavam a jusante. Cada afirmação tem um link.\nA caixa de que ninguém os demove Agora a parte incómoda. Quero fazê-la com provas e não com afirmações, porque é a secção em que as pessoas vão buscar a palavra conspiração — e ir buscar essa palavra é a maneira de o assunto ser largado sem ninguém ter de olhar para ele.\nA Cisco é a recomendação por omissão em quase todo este setor. Por isso olha para o que o próprio fabricante publicou sobre acessos não documentados ao seu próprio equipamento.\nEm março de 2018 publicaram um aviso sobre o CVE-2018-0141: era possível entrar por SSH no Prime Collaboration Provisioning por causa de «a hard-coded account password on the system». Oito meses depois, o CVE-2018-15439 nos switches Small Business, onde «the affected software enables a privileged user account without notifying administrators of the system», sem software corrigido disponível quando foi publicado e com uma solução de contorno oferecida em vez disso. Em outubro de 2023, o CVE-2023-20101: o Emergency Responder saía de fábrica com uma conta root com «default, static credentials that cannot be changed or deleted», credenciais «typically reserved for use during development».\nUma conta de que ninguém foi informado, que não consegues remover, com root numa caixa do teu parque. Chama-lhe o que quiseres. É o que o próprio aviso do fabricante descreve.\nDepois há o material do Snowden, que já tem mais de uma década e nunca foi desmentido. Em dezembro de 2013 a Der Spiegel publicou o catálogo ANT, noticiando que uma divisão da NSA «has burrowed its way into nearly all the security architecture made by the major players in the industry \u0026ndash; including American global market leader Cisco and its Chinese competitor Huawei». A mesma reportagem descreveu como o equipamento lá chega: remessas desviadas para oficinas secretas num processo a que a NSA chama interdição, onde «at these so-called \u0026rsquo;load stations,\u0026rsquo; agents carefully open the package in order to load malware onto the electronics, or even install hardware components that can provide backdoor access». Um boletim interno da NSA de 2010, publicado em 2014 com as fotografias, descrevia o processo nas palavras da própria agência: dispositivos «being delivered to our targets throughout the world are intercepted», depois «re-packaged and placed back into transit to the original destination».\nO que a reportagem não mostra é cumplicidade. A Der Spiegel disse claramente que nada nos documentos sugeria que os fabricantes soubessem ou ajudassem, a Cisco negou qualquer envolvimento na altura, e em maio de 2014 o seu diretor jurídico deixou-o registado: «as a matter of policy and practice, Cisco does not work with any government, including the United States Government, to weaken our products». Queixaram-se ao Presidente. À primeira vista, também eles foram vítimas.\nAceita isso pelo valor facial. Não muda nada quanto à caixa no teu bastidor, porque a interdição nunca precisou da ajuda do fabricante. E vale a pena saber que peso tem o desmentido, porque a palavra da Cisco já foi posta à prova em tribunal. Em 2019 fizeram um acordo em processos ao abrigo do False Claims Act por 8,6 milhões de dólares a nível federal, mais 6 milhões de dólares com um grupo de estados, por causa de software de videovigilância vendido a organismos públicos com «flaws that would permit unauthorized access to the system, with the potential to control and otherwise manipulate security cameras and the recorded footage». A versão do Procurador-Geral de Nova Iorque é que a Cisco conhecia as falhas em 2009 e só as corrigiu em 2013, depois de a investigação ter começado. Acordos não são admissões de responsabilidade e não vou fingir o contrário. Ainda assim são quatro anos a vender um produto a forças policiais e organismos públicos com uma porta de entrada conhecida, sem o dizer.\nPortanto o registo é este: contas root não documentadas por admissão própria, um catálogo com mais de uma década que os nomeia, uma cadeia de expedição que se demonstrou poder ser comprometida, e um período em que sabiam de um buraco e continuaram a vender. Qualquer uma destas coisas, isolada, podias encolher os ombros. Juntas são um padrão. Uma declaração de uma parte interessada não resolve um padrão.\nA resposta a isso são controlos, não uma proibição. O risco pertence ao documento de desenho junto com tudo o resto, e as alternativas são orçamentadas em vez de descartadas. Pergunta que equipamento concorrente foi avaliado e quanto custava. Pergunta qual é a política de verificação e atualização do firmware, e quem a verifica. Pergunta como é que o equipamento é recebido e inspecionado, e por quem. Pergunta o que acontece com um número de série que não bate com a nota de encomenda.\nE repara que fabricantes recebem este escrutínio no teu setor e quais não recebem. O mesmo setor que pôs a Huawei num registo de riscos por causa de uma capacidade que ninguém demonstrou em público escreve a Cisco no desenho de baixo nível sem uma linha de justificação, com base num selo de parceiro. Já escrevi sobre o que acontece a esse argumento quando aplicas o critério por igual. Um selo de parceiro é uma relação comercial com objetivos associados. Como tal, não é uma conclusão de segurança.\nA firewall é a porta de entrada Alarga isso de um fabricante para a categoria, porque a firewall é o produto que um MSP vende com mais força. É a rubrica que justifica a parte de segurança do contrato.\nA CISA mantém um catálogo de vulnerabilidades que se sabe estarem a ser exploradas na prática — não teoricamente perigosas, efetivamente usadas contra alguém. Descarreguei o catálogo e contei-o por fabricante. A versão 2026.08.27 tem 1685 entradas. A Cisco é responsável por 96 delas, atrás apenas das 386 da Microsoft, e 42 dessas estão nas linhas de firewall e de periferia. A Fortinet tem 29. A Palo Alto Networks tem 15. Para dar escala, a Ivanti tem 35 e a SonicWall 17.\nOlha para o que as entradas são de facto, porque o padrão nunca varia. É a interface de gestão ou a VPN, ou seja, a parte deliberadamente exposta à internet.\nA única parte desta linha temporal que te cabe fechar Uma vulnerabilidade, de publicada a corrigida na tua caixa Publicada existe um número CVE Correção disponível a parte do fabricante está feita Exploração confirmada acrescentada ao catálogo da CISA A tua caixa corrigida por quem quer que pagues A tua exposição Sabe-se que é usada contra alguém, e continua no teu perímetro Cisco 96 entradas, Fortinet 29, Palo Alto 15. São os números dos fabricantes e são públicos. A duração desse intervalo sombreado é tua, e ninguém a está a pedir. Todos os fornecedores têm o número. É a mesma medição que o ICO fez na Capita. O total do fabricante é público e não é o número que decide se te magoas. O intervalo sombreado é, e pertence a quem quer que pagues. O CVE-2024-3400 da Palo Alto foi uma injeção de comandos na funcionalidade GlobalProtect do PAN-OS, com pontuação 10,0, explorada como zero-day. Mais tarde nesse mesmo ano, o CVE-2024-0012 deixava «an unauthenticated attacker with network access to the management web interface» passar direto pela autenticação, com 9,8, e foi encadeado com uma injeção de comandos na mesma interface.\nO CVE-2022-40684 da Fortinet era um «authentication bypass using an alternate path or channel» com 9,8. O seu CVE-2018-13379, um path traversal na SSL VPN, entrou no catálogo em novembro de 2021. Anos depois de a correção existir, porque havia caixas ainda postas na internet sem correção e a serem invadidas.\nO CVE-2023-20198 da Cisco, na interface web do IOS XE, teve 10,0. O CVE-2025-20333, no servidor web da VPN do seu software Secure Firewall ASA e FTD, teve 9,9 em setembro passado.\nE depois há o CVE-2026-20316, acrescentado ao catálogo a 29 de julho de 2026. Cisco Secure Firewall Management Center, «use of hard-coded password», permitindo «an unauthenticated, remote attacker to log in to an affected device». Uma credencial estática, na caixa que gere as firewalls, confirmada como explorada, um mês antes deste artigo. A mesma falha de 2018 e de 2023 na secção acima, na máquina que administra o teu perímetro.\nAgora a parte útil, porque «alguns fabricantes são piores do que outros» não é bem a lição. Cada um destes tem um registo público e nada dele aparece numa proposta. Mais ao ponto, o total do fabricante não é o número que decide se te magoas. A tua exposição é o intervalo entre uma vulnerabilidade entrar nesse catálogo e a tua caixa ser corrigida. Esse intervalo não é do fabricante para fechar. Pertence a quem quer que pagues para gerir a coisa.\nQue é a mesma medição que o ICO fez na Capita, na secção seguinte. Alerta aos dez minutos, ação às cinquenta e oito horas, objetivo de uma. Ninguém está a pedir esse número ao seu fornecedor para a correção das firewalls, e é um número que todos os fornecedores têm.\nQuando o básico é precisamente o que compraste Isto é o que veio depois da venda, em dois casos em que um regulador fez a investigação e publicou o que encontrou.\nEm março de 2025 o Information Commissioner multou a Advanced Computer Software Group em 3,07 milhões de libras por um incidente de ransomware em agosto de 2022. A Advanced «provides IT and software services to organisations, including the NHS and other healthcare providers». Os atacantes entraram «via a customer account that did not have multi-factor authentication». O NHS 111 foi afetado, os profissionais de saúde não conseguiam aceder aos registos dos doentes e os dados pessoais de 79 404 pessoas foram levados. A conclusão do ICO sobre a causa merece ser lida devagar: «while Advanced had installed multi-factor authentication across many of its systems, the lack of complete coverage meant hackers could gain access». Foi também a primeira coima que o ICO aplicou a um subcontratante e não à organização a quem os dados pertenciam.\nEm outubro de 2025 o mesmo regulador multou a Capita em 14 milhões de libras pelo ataque de 2023 que levou os dados pessoais de 6,6 milhões de pessoas. Um ficheiro malicioso chegou ao dispositivo de um funcionário a 22 de março de 2023. Um alerta de alta prioridade disparou em dez minutos. O dispositivo só foi posto em quarentena 58 horas depois, contra um tempo de resposta objetivo de uma hora, e o ICO concluiu que o Security Operations Centre «was understaffed, and in at least six months before the incident fell well below the target response times for responding to security alerts», a par de testes de intrusão e avaliação de riscos inadequados.\nLê o que essas duas conclusões têm em comum. Não um adversário engenhoso. Não um zero-day. Nada que ninguém pudesse ter visto. Autenticação multifator comprada mas não terminada, e uma fila de alertas para a qual ninguém pôs pessoal. Ambas são rubricas que alguém aprovou e reportou a verde.\nE nada disto apanhou o setor de surpresa. A 11 de maio de 2022, três meses antes do incidente da Advanced, as agências de cibersegurança do Reino Unido, da Austrália, do Canadá, da Nova Zelândia e dos Estados Unidos publicaram um aviso conjunto sobre ameaças aos prestadores de serviços geridos e aos seus clientes, porque estavam «aware of recent reports that observe an increase in malicious cyber activity targeting managed service providers». A primeira ação tática da lista é impor autenticação multifator nas contas do MSP que chegam ao ambiente do cliente.\nAs agências de segurança de cinco países escreveram-no, em público, e nomearam o controlo. Três anos depois um regulador ainda está a multar gente por não o ter terminado.\nNenhum destes é uma história de pequena empresa. Aqui vai uma. Na sexta-feira, 24 de novembro de 2023, o fornecedor de TI do setor jurídico CTS foi abaixo num incidente informático. O próprio jornal da Law Society noticiou que cerca de 80 escritórios não conseguiam concluir transações, com sistemas em baixo e contratos parados. São escritórios de conveyancing, na maioria pequenos, e os seus clientes eram pessoas a meio de uma mudança de casa. Um deles disse-o sem rodeios: «This leaves us with so much uncertainty — with movers needing to be booked, days needing to be taken off work at potentially short notice and lives put on hold.» A CTS só conseguiu dizer que estava «unable to give a precise timeline for full restoration».\nNinguém nessa cadeia escolheu a CTS. Escolheu-a o escritório, e todos os clientes a jusante do escritório herdaram a decisão sem nunca lhes ter sido perguntado.\nÉ isso que compras quando compras um serviço gerido.\nE como é que terias sabido? Repara numa coisa em todos os incidentes da secção acima. Nenhum aconteceu ao cliente. Aconteceram ao fornecedor, e os clientes estavam a jusante da má semana de outra pessoa.\nPor isso faz a pergunta diretamente. Se fores alvo de uma violação, sabemos por ti? E com que rapidez?\nHá um mínimo legal, e é mais baixo do que as pessoas presumem. Quando tratam dados pessoais por tua conta, o Artigo 33 diz «the processor shall notify the controller without undue delay after becoming aware of a personal data breach». Nenhum número fixo de horas. Entretanto tu, como responsável pelo tratamento, tens 72 horas para informar o Information Commissioner a partir do momento em que tomas conhecimento. Lê as duas coisas juntas. Cada hora que eles passam a decidir se te contam é uma hora a menos num relógio que corre contra ti, não contra eles.\nE esse mínimo só cobre dados pessoais. Uma intrusão na consola de gestão deles, sem provas ainda de que alguma coisa tua tenha saído, pode não gerar dever nenhum de te informar — enquanto as credenciais que chegam a todas as máquinas que tens estão nas mãos de outra pessoa. É esse o intervalo. Não é pequeno.\nPensa em quem é informado antes de ti. Os advogados deles, por causa do sigilo. A seguradora deles, porque a apólice o exige. O regulador deles, no prazo legal. Estás mais abaixo nessa lista do que gostarias, e o incentivo em cada passo é dizer menos até se saber mais.\nO que deixa as alternativas, e são todas piores. Ficas a saber porque os teus sistemas param, que foi como os escritórios de conveyancing ficaram a saber. Ficas a saber porque um jornalista telefona. Ou ficas a saber porque alguém vê o nome do fornecedor no site de fugas de um grupo de ransomware, o que não é um processo de notificação, é um acidente do marketing de outra pessoa.\nPor isso põe-no no contrato, e sê específico, porque cláusulas vagas caem para o mínimo legal. Notificação de qualquer incidente relevante na rede deles dentro de um número de horas definido, por escrito, quer esteja ou não confirmado que os teus dados estão envolvidos. Notificação se alguma credencial com acesso aos teus sistemas possa ter sido exposta. Notificação se aparecerem num site de fugas. Um contacto nomeado do teu lado, não uma caixa de correio genérica.\nDepois faz a pergunta que mais te diz, e fá-la enquanto ainda te estão a vender. Já tiveram um incidente? O que aconteceu, quando é que os clientes souberam, e como é que souberam? Um fornecedor que passou por um e o tratou como deve ser vai contar-te. É a melhor prova que tem. Alguém que diz que nunca aconteceu ou tem muita sorte, ou é muito pequeno, ou não está a contar nada.\nA ferramenta que chega a todos os clientes de uma vez Nenhum MSP ganha dinheiro a mexer em máquinas uma de cada vez. A economia precisa de uma consola que chegue a tudo, e é para isso que serve o software de monitorização e gestão remota. O RMM está em todas as máquinas sob contrato, a correr como system, e o fornecedor conduz tudo a partir de um único login.\nUma consola chega a todas as máquinas, em todos os clientes O fabricante da ferramenta Entrega o agente, e cada atualização dele uma atualização assinada é aceite à chegada A consola do teu fornecedor Um login, todos os clientes que têm Outro cliente Agente em cada máquina O teu edifício Agente em cada máquina, a correr como system Outro cliente Agente em cada máquina A máquina confia na consola. A consola confia no fabricante. A tua firewall recebeu ordens para deixar passar tudo. O alcance é o produto. Uma consola, todos os clientes, todas as máquinas — e é por isso que um atacante que fica com a consola fica com tudo de uma vez. Vira isso ao contrário e olha do teu lado. Há software nas tuas máquinas que não escolheste, que provavelmente não consegues nomear e cujo historial de correções nunca viste. Como tal, pode fazer qualquer coisa, a qualquer uma delas, a qualquer momento.\nO historial dessas ferramentas não é reconfortante. Começa em 2021.\nKaseya, julho de 2021. A CISA e o FBI descreveram a resposta a um ransomware «leveraging a vulnerability in the software of Kaseya VSA on-premises products — against managed service providers (MSPs) and their downstream customers». Cerca de cinquenta fornecedores foram atingidos, e até 1500 empresas estavam por baixo deles, a maioria das quais nunca tinha ouvido falar da Kaseya e não teve voto nenhum em ela lá estar.\nEm janeiro de 2023 a CISA, a NSA e o MS-ISAC emitiram um aviso conjunto para «warn network defenders about malicious use of legitimate remote monitoring and management (RMM) software», depois de uma campanha no outubro anterior em que os atacantes levaram pessoas, por phishing, a instalar o ScreenConnect e o AnyDesk, e depois os usaram para uma burla de reembolso contra as contas bancárias das vítimas. Ninguém teve de invadir um MSP para isso. A ferramenta funciona tão bem para eles como para o fornecedor.\nEm fevereiro de 2024 descobriu-se que o ConnectWise ScreenConnect tinha o CVE-2024-1709, que «may allow an attacker direct access to confidential information or critical systems». Teve 10,0. Repara na classe de fraqueza: authentication bypass using an alternate path or channel, palavra por palavra a mesma categoria do bypass do FortiOS mais acima. Fabricante diferente, produto diferente, o mesmo erro. Nota máxima, no software que chega a todos os clientes que um fornecedor tem.\nDepois o SimpleHelp. O aviso da CISA de junho de 2025 descreve atores de ransomware «leveraging unpatched instances of a vulnerability in SimpleHelp Remote Monitoring and Management (RMM) to compromise customers of a utility billing software provider», chegando a «downstream customers» para dupla extorsão. A falha por baixo disso, o CVE-2024-57727, deixa um atacante não autenticado tirar «server configuration files containing various secrets and hashed user passwords» diretamente do servidor.\nRepara onde cai o prejuízo de cada vez. Não no fabricante. Na verdade nem sequer no fornecedor. Nos clientes por baixo, que nunca compraram a ferramenta, nunca foram informados de qual era e não tiveram voto nenhum sobre quando foi corrigida.\nUma ressalva sobre essas fontes, porque importa. São avisos americanos, e isso é porque a CISA publica detalhes dos incidentes enquanto o NCSC, em geral, não dá nomes. É uma diferença na divulgação, não na conduta. As ferramentas são as mesmas ferramentas, do mesmo catálogo, e uma pequena empresa de suporte informático neste país está a correr ScreenConnect ou SimpleHelp ou um dos seus concorrentes nas tuas máquinas esta tarde.\nPor isso pergunta qual é. Pergunta que versão, quando foi corrigida pela última vez, quem consegue entrar na consola, se todas as contas nela têm autenticação multifator, e qual é o plano da próxima vez que uma destas sair com um dez.\nDepois faz mais uma, porque a resposta diz-te uma coisa que as outras não dizem. Funciona sobre IPv6?\nÉ uma pergunta justa em 2026 e bate mais forte do que parece. Se a ferramenta de gestão só fala IPv4, então é o IPv4 que a tua rede tem de manter — não porque o teu negócio precise, mas porque as ferramentas deles precisam. É o plano de endereçamento a ser definido pelo software de um fornecedor e não pelos teus requisitos, e estás a pagar todos os meses os endereços que o tornam possível. Um trabalhador remoto numa ligação móvel pode muito bem estar já numa rede só IPv6, e nesse caso o arranjo todo assenta numa tradução que outra pessoa mantém.\nE se a resposta for que nunca verificaram, ficaste a saber aquilo que estavas de facto a perguntar.\nPrimeiro uma mais simples, que se esquece no meio de toda a conversa sobre segurança. Que carga põe o agente na máquina, e onde estão as provas?\nA resposta que vais ouvir é «insignificante». Isso é um adjetivo. O que queres é um número, medido em hardware como o teu e não tirado de uma ficha técnica — CPU médio e de pico, memória residente, atividade de disco durante um varrimento de inventário ou uma análise de correções, e tráfego de rede diário. Medido na máquina mais antiga do parque e não na mais recente.\nE mede a pilha toda, não um agente sozinho. Gestão remota, antivírus, deteção em endpoints, o cliente de backup, monitorização, inventário de ativos. Todos os fabricantes dizem menos de um por cento, há seis deles, e a pessoa que tem mesmo de trabalhar naquele portátil é quem descobre quanto somam os seis. Perto de zero é o objetivo certo. As provas são a única maneira de o demonstrar.\nPede os números antes da implementação, e pede para fazeres as tuas próprias medições depois numa máquina escolhida por ti. Um fornecedor confiante nas suas ferramentas oferece as duas coisas sem ser pressionado.\nMais uma sobre a própria ferramenta, e é a que as pessoas acham mais estranha até pensarem nela com calma. És informado quando o agente se atualiza nas tuas máquinas?\nO agente é o software com mais privilégios do teu parque. Corre como system, em tudo, e muda de versão sempre que o fornecedor ou o fabricante decide que deve. Há software a ser instalado em toda a tua empresa por terceiros, em silêncio, e na maioria dos contratos ninguém te diz que aconteceu.\nAgora põe isso ao lado do que correu mal de facto na Kaseya. Uma atualização maliciosa empurrada por um canal de gestão de confiança para todas as máquinas de uma vez. De onde estás, no próprio dia, isso é indistinguível de uma atualização de rotina do agente — o mesmo canal, o mesmo privilégio, o mesmo silêncio. A única diferença é a intenção. A intenção não é coisa que consigas observar.\nPor isso pede notificações de mudança de versão, pergunta quem aprova uma atualização do agente e se é testada em algum lado antes de chegar a ti, e faz a pergunta que mais importa: o que te diria que tinha acontecido um envio que não devia ter acontecido? Se a resposta honesta for nada, então o controlo em que estás a confiar é a vigilância do próprio fornecedor, que é precisamente o assunto de toda esta secção.\nE as chaves que a abrem Depois há o que abre a consola. Isso recebe ainda menos atenção do que a consola.\nUm MSP guarda credenciais de administração de todos os clientes que tem na carteira. É esse o trabalho — é o produto todo. Por isso o critério aplicado às suas próprias credenciais devia ser mais alto do que o que define para as tuas, e na prática é rotineiramente mais baixo. Contas partilhadas, porque logins individuais para doze técnicos em duzentos tenants é uma chatice. Palavras-passe num cofre que todo o service desk consegue ler. Chaves SSH sem frase-passe em portáteis que vão para casa de comboio. Contas de emergência em que ninguém mexe desde que a pessoa que as criou saiu da empresa.\n«Usamos MFA» é onde essa conversa costuma parar, e não devia, porque as formas de MFA não são iguais. A CISA ordena-as da mais forte para a mais fraca: FIDO/WebAuthn e as baseadas em PKI no topo, a que chama «the gold standard»; palavras-passe de uso único em aplicação e notificações push abaixo disso, «vulnerable to push bombing attacks as well as user error»; e o SMS no fundo, que «should only be used as a last resort MFA option». Só a linha de cima resiste ao phishing. Tudo abaixo dela pode ser retransmitido, vencido pelo cansaço ou intercetado enquanto a pessoa que aprova julga estar a entrar como de costume.\nOs atacantes também leram esse documento. O aviso da CISA sobre o Scattered Spider diz que o grupo «targets large companies and their contracted information technology (IT) help desks». Não o cliente. O help desk que consegue repor as credenciais do cliente. É muito mais fácil, e dá-te toda a gente de uma vez.\nPor isso a pergunta é mais estreita do que se usam MFA. Todas as contas que conseguem chegar aos teus sistemas estão num token físico — um token, não uma aplicação — e o que acontece quando alguém liga para o service desk às onze da noite a dizer que é um técnico que ficou trancado fora da conta?\nA solução aqui é invulgarmente simples, e é isso que torna difícil perdoar a sua ausência. A Google disse ao KrebsOnSecurity em 2018 que «has not had any of its 85,000+ employees successfully phished on their work-related accounts since early 2017», quando começou a exigir chaves de segurança físicas em vez de palavras-passe e códigos de uso único. Não menos incidentes. Nenhum. O mesmo artigo nota que a chave básica custava vinte dólares.\nAgora leva isso à escala de um prestador de serviços geridos. Não precisam de dar chaves aos teus funcionários. Precisam de as dar aos seus próprios técnicos, e talvez haja uma dúzia deles com as credenciais que chegam a todos os clientes da carteira. Uma dúzia de chaves, compradas uma vez, contra um raio de impacto que cobre todas as empresas em que tocam. Vinte libras cada. Quando alguém te disser que os tokens físicos são impraticáveis, pergunta quantas pessoas precisariam mesmo de um.\nE há uma pergunta relacionada que devias fazer sobre o teu próprio parque, porque a maioria dos clientes nunca pensou nela. Quem tem a conta de emergência dos teus sistemas? Em muitíssimos contratos a resposta honesta é que é o fornecedor, e tu não tens um conjunto de todo. Não consegues entrar na tua própria infraestrutura sem lhes telefonar. Isso não é um controlo de segurança, é uma dependência. Morde nos piores dias e não nos normais. O dia em que rescindes. O dia em que são comprados por alguém que não escolheste. O dia em que são eles os comprometidos e precisas de agir sem eles.\nDevias ter as tuas próprias credenciais de emergência, seladas, escritas no contrato e testadas numa data que alguém consiga apontar. Se o teu fornecedor se mostrar relutante, a própria relutância já te disse alguma coisa.\nA mesma pergunta desce até à secretária, e esta é a que se esquece por completo. Cada portátil e cada computador de secretária que te montaram tem uma palavra-passe de administrador da BIOS, definida durante a montagem por alguém do lado deles. A máquina é tua. A chave dela é deles.\nPensa no que essa palavra-passe governa de facto. A ordem de arranque. O secure boot. Se a coisa arranca sequer a partir de uma pen USB. Ou seja, se consegues reinstalar uma máquina que é tua, recuperar uma que não arranca, entregar um lote a outra pessoa ou apagá-las como deve ser antes de saírem porta fora. Num portátil pode também ser o que está entre um ladrão e o disco. Nada disto é exótico. É o assunto normal de ter computadores, e em muitíssimos parques o dono não consegue fazer nada disto sem telefonar ao fornecedor.\nPede tudo. Cada portátil, cada computador de secretária, cada servidor — a palavra-passe da BIOS ou do firmware, o login do BMC em tudo o que tenha um, e a palavra-passe do bootloader em tudo onde o GRUB ou equivalente tenha sido trancado, que é a mesma fechadura uma camada acima e é o que está entre ti e um arranque de recuperação num servidor que não arranca. Se for a mesma palavra-passe em todos, também vale a pena saber. E se a resposta for não, pergunta porquê, porque as razões que oferecem são fracas: a honesta é que lhes facilita a montagem, e o resto vem disfarçado de segurança. Uma palavra-passe que não te deixam ter não te está a proteger de ninguém. Está a protegê-los a eles de tu te ires embora.\nDepois há a conta com que entras de facto para arranjar uma máquina. Administrador local em cada máquina Windows, root em cada Linux, e algo equivalente em cada switch, firewall e hipervisor do edifício. Duas perguntas cobrem tudo, e cobrem também as palavras-passe de firmware e bootloader acima. São diferentes em cada máquina, e qual é o sistema de gestão de palavras-passe que as guarda — o teu, ou o deles?\nDiferentes importa mais do que as pessoas esperam. Uma palavra-passe de administrador local em duzentas máquinas não são duzentas palavras-passe, é uma, e está no portátil menos defendido da empresa tanto como no servidor das finanças. Isso não é uma fraqueza teórica, é a jogada habitual — entrar em qualquer coisa, ler a palavra-passe, caminhar até tudo. A Microsoft entrega a resposta na caixa. O Windows LAPS define uma palavra-passe diferente em cada máquina, roda-a segundo um calendário e guarda uma cópia no Active Directory ou no teu próprio tenant Entra. A própria página da Microsoft põe como primeiro benefício a «protection against pass-the-hash and lateral-traversal attacks», e a funcionalidade é gratuita em todas as versões suportadas do Windows, sem mais nada a pagar para guardar as palavras-passe no teu próprio diretório. Por isso, se a resposta for uma palavra-passe em todo o lado, não é um problema de licenciamento nem um problema de ferramentas. Alguém nunca o ligou.\nDe quem é o sistema que guarda a palavra-passe da tua máquina O arranjo comum O cofre deles, ou o acoplado à ferramenta Todas as palavras-passe de administração da empresa guardadas por uma empresa onde não tens conta As tuas máquinas Servidores, PCs, switches, firewalls, hipervisores O registo de quem leu uma é deles Não auditas aquilo em que não consegues entrar Retirá-lo é pedir com jeitinho, no pior momento O arranjo que queres O teu diretório, ou o teu cofre Uma palavra-passe diferente em cada máquina, rodada, depositada onde o teu controlo de acessos lhe chega As mesmas máquinas O fornecedor recebe acesso, não a custódia Ficas com o registo de quem leu o quê Consegues vê-lo hoje, sem pedir a ninguém Podes retirá-lo numa terça-feira à tarde Uma palavra-passe de administrador local em duzentas máquinas não são duzentas palavras-passe. É uma, e está no portátil menos defendido da empresa tanto como no servidor das finanças. A Microsoft entrega a resposta a isso de borla, e põe a palavra-passe no teu diretório e não no deles. As mesmas máquinas, as mesmas palavras-passe, duas respostas diferentes sobre quem as guarda e quem consegue ver quando uma é lida. De quem é o sistema é o ponto onde carregar, e repara onde o LAPS põe a palavra-passe por omissão: no teu diretório, sob o teu controlo de acessos, com o teu registo de quem a leu. É essa a forma que queres em tudo. A credencial da tua máquina vive em algo que é teu, e ao teu fornecedor é concedido acesso — acesso que consegues ver, e retirar numa terça-feira à tarde sem pedir licença.\nA outra forma é a comum. As palavras-passe estão no gestor de palavras-passe deles, ou no cofre de acesso privilegiado acoplado à ferramenta de gestão remota, e tu não tens login nele. Então todas as palavras-passe de administração da tua empresa estão guardadas por uma empresa onde não tens conta, o registo de quem leu uma é deles, e no dia em que a relação azeda estás a pedir com jeitinho as chaves de máquinas que são tuas.\nPor isso faz a pergunta seguinte, e fá-la agora e não na reunião de saída. Como é que estas passam para o nosso sistema? Há três respostas honestas. Mudar o depósito para o nosso diretório ou o nosso cofre, e ficarem com acesso delegado. Ou dar-nos hoje acesso de leitura ao vosso, com uma exportação que possamos correr nós mesmos, num formato que o nosso cofre aceite. Ou entregar-nos uma cópia selada periodicamente, datada, que abrimos e testamos. «Está tudo no nosso sistema e podem ficar com ela quando saírem» não está na lista, porque o dia em que sais é o dia em que eles têm menos razões para se despacharem com o que quer que seja.\nE pergunta o que acontece depois a essas palavras-passe. Uma credencial que os técnicos deles conhecem há quatro anos não fica segura com um email a dizer que desapareceu. Cada uma delas precisa de ser rodada à saída, por ti, em máquinas de que agora tens a palavra-passe do firmware.\nE depois a versão ao vivo de tudo isto. És informado quando uma palavra-passe de um dos teus sistemas é lida?\nNão um registo que eles guardam e te podiam mostrar se pedisses. Uma mensagem que chega do teu lado: que credencial, que técnico, que pedido, e quando. A capacidade não está em dúvida em lado nenhum — todos os cofres dignos desse nome registam um levantamento, e o próprio depósito da Microsoft fá-lo no teu tenant, onde recuperar uma palavra-passe fica escrito no registo de auditoria do Entra como «Recover device local administrator password» contra a conta que o fez. Por isso a única pergunta real é se o registo aponta para algum lado que consigas ver.\nPergunta, e se a resposta for não, pergunta porquê. Há algures aqui um não honesto — um alerta em cada levantamento num parque movimentado dispararia quarenta vezes por dia e deixarias de o ler na quarta-feira. Isso tem resposta em vez de ser o fim da conversa. Alerta nos que deviam ser raros: a conta de administrador de domínio, as credenciais de emergência, as palavras-passe de firmware e bootloader, as chaves de recuperação. E alerta em qualquer leitura sem número de pedido associado, porque isso ou é desleixo nos registos ou é precisamente aquilo de que queres saber, e nenhum dos dois fica bem servido sendo descoberto na revisão trimestral.\nO que conseguem fazer depois de estarem lá dentro Mais uma, e é a que mais vezes recebe um olhar vazio. És informado quando um dos técnicos deles entra nos teus sistemas?\nNão um registo que eles guardam. Uma notificação que tu recebes — quem entrou, quando, durante quanto tempo e associado a que pedido. Pede-a, e se a resposta for não, pergunta porquê.\nHá um precedente, e está dentro dos produtos que te revendem. O Customer Lockbox da Microsoft obriga um técnico da Microsoft a pedir a tua aprovação explícita antes de poder chegar ao teu conteúdo num caso de suporte. A Google publica registos de Access Transparency dos seus próprios funcionários a mexer nos teus dados, e o Access Approval obriga-os a pedir primeiro. Ou seja, os maiores fornecedores do planeta, com um acesso muito mais estreito do que o do teu fornecedor, construíram fluxos de aprovação e registos de acesso para os seus próprios funcionários, e entregam-te o registo.\nO teu MSP tem administrador de domínio. Pergunta o que é que te entrega.\nE há uma razão mais dura do que a responsabilização. Uma notificação que chega do teu lado é o único sinal independente que alguma vez vais ter de que as credenciais deles estão a ser usadas por alguém que não são eles. Se um atacante entrar pelo service desk, todos os registos que o mostrariam estão dentro da organização que acabou de ser comprometida. Um que caia na tua caixa de correio está fora dela.\nMais um nível abaixo, na própria máquina. A ferramenta remota consegue ligar-se ao computador de alguém sem essa pessoa concordar?\nPara um servidor às três da manhã, o acesso sem supervisão é o objetivo todo e ninguém sensato se opõe. Para uma máquina onde alguém está sentado, com o correio aberto e o trabalho no ecrã, é um ato diferente. Todos os produtos sérios de gestão remota podem ser configurados para pedir autorização antes de se ligarem, mostrar um indicador visível enquanto uma sessão está ativa e deixar a pessoa recusar. Se o teu faz alguma dessas coisas é uma opção de configuração, e a opção foi escolhida pelas pessoas a quem convém.\nPor isso pergunta três coisas, e mantém-nas separadas. Os vossos técnicos conseguem chegar ao computador de um funcionário sem pedido de autorização? A pessoa sentada à frente dele vê alguma coisa enquanto alguém está ligado? Pode recusar?\nSe a primeira for sim e as outras duas forem não, isso não é uma limitação técnica. É uma predefinição que ninguém revisitou, num produto comprado pela parte que ela favorece. Também vale a pena pô-lo à frente de quem trata da proteção de dados na tua organização, porque alguém a ver o ecrã de um funcionário sem o seu conhecimento é uma decisão que devia ter um nome associado.\nDepois a pergunta que decide se alguma coisa disto pode ser provada depois. Os técnicos deles são gravados enquanto trabalham nos teus sistemas?\nA gravação de sessões não é exótica nem é pedir muito. É uma funcionalidade de destaque de todos os produtos de acesso privilegiado do mercado, o que significa que o teu fornecedor muito possivelmente já está a pagá-la e nunca a ligou. Uma sessão gravada dá-te um vídeo, ou um registo de teclas e comandos, ou ambos, associados a um técnico com nome e a um número de pedido. É assim que a responsabilização se parece quando é real e não prometida — não uma garantia de que os técnicos se portam bem, mas um registo que o mostraria se um não se portasse.\nPor isso pergunta se está ligada, e depois pergunta como lhes chegas, porque uma gravação que não consegues obter não é prova, é um boato. Há três respostas que valem a pena, por ordem decrescente. As gravações caem num armazenamento que é teu, escritas à medida que são feitas. Ou tens hoje acesso de leitura ao sistema deles, com uma exportação que consegues correr tu mesmo. Ou há uma via de pedido com um prazo definido — horas, por escrito, no contrato — que já testaste pelo menos uma vez numa sessão normal e não pela primeira vez a meio de uma discussão.\nO que não queres é o arranjo comum: gravações guardadas só pelo fornecedor, retenção definida pelo fornecedor, apagamento ao critério do fornecedor. É um controlo que funciona na perfeição até ao dia em que é preciso contra o fornecedor. Por isso pergunta quem pode encurtar a retenção, quem pode apagar uma, e se ver uma gravação fica também registado. E pergunta o que acontece a tudo isso no dia em que sais.\nSê justo quanto ao outro lado, porque há um. Uma gravação de um técnico a arranjar um portátil é também uma gravação do que quer que os teus funcionários tivessem naquele ecrã, e de vez em quando de uma credencial escrita à vista de todos. As gravações são sensíveis por direito próprio e querem o mesmo tratamento do cofre: cifradas, com controlo de acessos, registadas quando vistas, guardadas durante um período definido e não mais. Um fornecedor que levanta isso contigo antes de tu o levantares com ele pensou no problema. Um que nunca pensou nisso também te disse alguma coisa.\nA mesma ferramenta quase de certeza move ficheiros, nos dois sentidos. Pergunta se move, e depois pergunta o que foi posto à volta disso.\nA saída é a que ninguém orçamenta. Uma transferência pelo canal de gestão é cifrada, de confiança, e fica fora de todos os controlos que já pagaste — a prevenção de perda de dados, a monitorização do tráfego de saída, a política sobre pens USB. Qualquer pessoa com acesso à consola pode tirar uma cópia de qualquer coisa em qualquer máquina, e na maioria das implementações não há registo disso que alguma vez te seja mostrado.\nA entrada é como os incidentes mais acima neste artigo aconteceram de facto. Empurrar um ficheiro para todos os endpoints de uma vez não é uma falha destes produtos, é a funcionalidade de destaque. O ransomware limitou-se a usá-la da forma para que foi construída.\nPor isso pergunta se a transferência de ficheiros está sequer ligada, se pode ser desligada nas máquinas que nunca precisam dela, se cada transferência fica registada com o ficheiro, o sentido, a máquina e o técnico — e se esse registo vem para ti ou se junta aos outros na caixa de correio deles.\nE por último nisto, porque é a que ninguém se lembra de perguntar. O que é que o agente está de facto a recolher, e o que acontece a isso?\nEstas ferramentas recolhem muito mais do que um nível de correções. Inventário de hardware e de software, registos de eventos, telemetria de desempenho, muitas vezes gravações de sessões e capturas de ecrã, às vezes bastante mais conforme o que estiver ligado. É um retrato detalhado de como o teu negócio funciona e do que os teus funcionários fazem o dia todo. Está a sair das tuas instalações continuamente.\nPor isso pergunta o que é recolhido, onde é guardado e sob que jurisdição, durante quanto tempo é mantido e quem o consegue ver — porque a resposta é normalmente o fornecedor e o fabricante da ferramenta, que é uma segunda empresa que nunca escolheste e com quem não tens contrato. Pergunta se alguma parte disso é usada para outra coisa além de te dar suporte: análise de produto, benchmarking, treino de modelos. Pergunta o que acontece a tudo isso no dia em que o contrato acaba, e põe isso por escrito em vez de numa conversa.\nE repara de quem são os dados. Registos sobre os teus funcionários e os teus sistemas, guardados por alguém que trata dados por tua conta, é uma expressão com obrigações associadas, e são tuas e não deles.\nO chip que responde quando a máquina está desligada Há mais uma camada por baixo de tudo isso, e vale a pena perguntar por ela pelo nome. Estão a usar o Intel vPro, ou a Active Management Technology por baixo dele?\nSe ainda não te cruzaste com ele, a versão curta é que há firmware de gestão a correr num controlador separado dentro do chipset, com a sua própria pilha de rede. Responde com a máquina desligada, desde que haja corrente e um cabo. Consegue ligar a caixa, alterar definições da BIOS, montar uma imagem remota e reinstalar, e com a configuração certa tomar conta do ecrã e do teclado ao nível do hardware — antes de o sistema operativo ter carregado, e quer chegue a carregar quer não.\nHá razões reais para querer isso. Uma máquina que não arranca, uma definição da BIOS num dispositivo a trezentas milhas, uma reinstalação sem mandar ninguém ao local. Num parque grande e espalhado é útil e não vou fingir o contrário.\nMas olha para onde fica. Por baixo do sistema operativo, o que significa por baixo de todos os controlos que compraste. A tua proteção de endpoints não o consegue ver, porque não está a correr no sistema operativo. A firewall do anfitrião não o filtra, porque o tráfego nunca chega à pilha de rede do sistema operativo — é tratado nas suas próprias portas antes de mais alguma coisa lhe pôr os olhos. Os teus registos não o cobrem. Nada do que instalaste te consegue dizer que houve uma sessão.\nOnde param os teus controlos, e o que continua por baixo deles Uma máquina, de cima para baixo As tuas aplicações e os teus dados O que o negócio usa de facto Os teus controlos veem-no Proteção de endpoints, registos, firewall do anfitrião É a parte que estás a pagar Os teus controlos são isto O sistema operativo Tudo o que está acima corre dentro dele Os teus controlos correm aqui Abaixo desta linha, nada do que instalaste está a vigiar Firmware e BIOS Atualizado pelo fabricante, no calendário dele Fora das tuas correções Motor de gestão, vPro ou um BMC Processador, pilha de rede e portas próprios Responde com a máquina desligada o tráfego de gestão chega aqui Tudo o que compraste corre no sistema operativo. As duas camadas por baixo dele não, e nada instalado acima da linha te consegue dizer que houve uma sessão. O historial de segurança também não é tranquilizador. O CVE-2017-5689 teve 9,8, e a descrição merece ser lida devagar: «an unprivileged network attacker could gain system privileges to provisioned Intel manageability SKUs». A CISA emitiu um alerta e o CERT/CC uma nota de vulnerabilidade. Repara na palavra «provisioned» — adormecido não é uma porta de entrada, e ligado é. E o firmware que o traz não se atualiza pelas correções normais que estás a pagar. Vem do fabricante da máquina, no calendário dele.\nDepois há a parte que devia preocupar qualquer pessoa responsável por pessoas e não por servidores. O controlo do ecrã ao nível do hardware significa que alguém pode ver um monitor sem o sistema operativo fazer ideia. Pergunta se o pedido de consentimento do utilizador é imposto e se o indicador visível de sessão está ligado, porque ambos são configuração e ambos podem ser desligados por quem o provisionou.\nPor isso as perguntas são curtas. Está provisionado nas nossas máquinas, quem o fez e quando — fez parte de uma montagem de que ninguém falou? Que trabalhos concretos precisam dele, e quantas máquinas precisam de facto desses trabalhos? Que rede consegue chegar às portas de gestão, e está segmentada de tudo o resto? O consentimento é imposto, o indicador está ligado, e onde está o registo de auditoria? E pode ser desprovisionado em todas as máquinas que não precisam dele?\nSe a resposta à primeira for «não sabemos», isso vale a pena saber por si só, porque significa que a capacidade está ali, configurada por alguém e vigiada por ninguém.\nO risco veio de borla Vira esta parte toda ao contrário e diz uma coisa só. Cada capacidade nela chegou como uma conveniência e foi orçamentada como tal. O agente que corrige mil máquinas é a coisa que consegue pôr um ficheiro em mil máquinas. O chip que poupa uma viagem de duzentas milhas responde com a máquina desligada e não diz nada aos teus registos. A conveniência foi cotada, discriminada e aprovada. A capacidade veio na mesma caixa, sem preço. Não aparece em nenhum documento que alguma vez te tenham mostrado.\nNada disto é um argumento para passar sem nenhuma destas coisas. Os parques precisam de correções, e alguém tem de conseguir chegar a uma máquina morta. É um argumento para saber o que está no edifício, quem lhe consegue chegar, de onde, e o que seria preciso para que a pessoa que detém esse alcance fosse outra que não a empresa que o detém hoje. Uma fatura nunca to vai dizer, porque uma fatura é uma lista do que estás a pagar. Não é uma lista daquilo a que estás exposto. Nunca ninguém neste arranjo foi chamado a produzir a segunda.\nA terceira parte é o que acontece quando uma destas rebenta. O que o contrato promete de facto, quem acaba por suportar o prejuízo, como soam as desculpas, e quanto custa sair quando finalmente estás farto.\nIs Your MSP Lying To You — 3 parts\nO teu MSP está a mentir-te para te vender produtos premium? O que o teu MSP te construiu, e quem mais lhe consegue chegaryou are here Quando avaria, quem é que aguenta com isso? Fontes Consultadas a 28 de agosto de 2026.\nO equipamento.\nCVE-2018-0141 — palavra-passe de conta fixa no código, Cisco Prime Collaboration Provisioning, março de 2018. CVE-2018-15439 — Small Business Switches, uma conta privilegiada ativada sem notificar os administradores, novembro de 2018. CVE-2023-20101 — Cisco Emergency Responder, credenciais root estáticas que não podem ser alteradas nem apagadas, outubro de 2023. Der Spiegel, 29 de dezembro de 2013 — o catálogo ANT, que nomeia a Cisco e a Huawei entre outros, a partir dos documentos do Snowden. Der Spiegel, 29 de dezembro de 2013 — por dentro da TAO: interdição, load stations, e o que acontece a uma remessa desviada. Ars Technica, 14 de maio de 2014 — o boletim interno da NSA de 2010 e fotografias de um router Cisco a receber um implante, publicados em No Place to Hide, de Glenn Greenwald. Cisco, 13 de maio de 2014 — a resposta da empresa, nas suas próprias palavras. New York Attorney General, 2019 — o acordo multiestadual sobre software de videovigilância vendido a organismos públicos, e a cronologia de 2009 a 2013. O equipamento de perímetro.\nCISA Known Exploited Vulnerabilities catalogue — versão 2026.08.27, 1685 entradas; as contagens por fabricante neste artigo são uma contagem minha desse ficheiro. CVE-2024-3400, CVE-2024-0012 — PAN-OS, o GlobalProtect e a interface web de gestão. CVE-2022-40684, CVE-2018-13379 — bypass de autenticação no FortiOS e path traversal na SSL VPN. CVE-2023-20198, CVE-2025-20333, CVE-2026-20316 — interface web do Cisco IOS XE, o servidor web da VPN do ASA, e uma palavra-passe fixa no código do Secure Firewall Management Center. CISA, Implementing Phishing-Resistant MFA — a ordenação das formas de MFA, da mais forte para a mais fraca. KrebsOnSecurity, julho de 2018 — a Google sobre mais de 85 000 funcionários e nenhum phishing bem-sucedido depois de tornar obrigatórias as chaves de segurança físicas. Joint advisory AA23-320A — o Scattered Spider, e o seu foco nos help desks de TI contratados. Windows LAPS overview — uma palavra-passe de administrador local diferente por máquina, rodada e guardada no teu próprio Active Directory ou tenant Entra; gratuito em todas as versões suportadas do Windows. Quando corre mal.\nICO, março de 2025 — a Advanced Computer Software Group multada em 3,07 milhões de libras, a primeira coima do regulador a um subcontratante. A página da ação de fiscalização tem os pormenores. ICO, outubro de 2025 — a Capita multada em 14 milhões de libras pela violação de 2023: o alerta aos dez minutos, a resposta às 58 horas contra um objetivo de uma hora, e o Security Operations Centre com falta de pessoal. Law Society Gazette, 28 de novembro de 2023 — cerca de 80 escritórios de conveyancing incapazes de concluir transações depois de o seu fornecedor de TI ir abaixo. CISA and the FBI on the Kaseya VSA attack, julho de 2021 — ransomware contra prestadores de serviços geridos e os seus clientes a jusante. Joint advisory AA23-025A, 25 de janeiro de 2023 — a CISA, a NSA e o MS-ISAC sobre o uso malicioso de software RMM legítimo. CVE-2024-1709 — bypass de autenticação no ConnectWise ScreenConnect, CVSS 10,0, fevereiro de 2024. CISA advisory AA25-163A, junho de 2025 e CVE-2024-57727 — atores de ransomware a chegar a clientes a jusante através de instâncias SimpleHelp RMM sem correção. Joint advisory AA22-131A, 11 de maio de 2022 — as agências do Reino Unido, da Austrália, do Canadá, da Nova Zelândia e dos EUA sobre ameaças aos prestadores de serviços geridos e aos seus clientes. ","permalink":"https://blogs.damiendye.uk/pt/random/is-your-msp-lying-to-you-part2/","summary":"Parte 2 de 3. O que se constrói de facto depois de assinada a papelada: a caixa de que ninguém os demove, a firewall que é a porta de entrada, o básico que era precisamente o que compraste, e o agente em cada máquina que responde à consola de outra pessoa.","title":"O que o teu MSP te construiu, e quem mais lhe consegue chegar"},{"content":" Is Your MSP Lying To You — 3 parts\nO teu MSP está a mentir-te para te vender produtos premium? O que o teu MSP te construiu, e quem mais lhe consegue chegar Quando avaria, quem é que aguenta com isso?you are here A parte um foi sobre como se escreve a lista de candidatos. A parte dois foi sobre o que se construiu a partir dela. Esta parte é a manhã em que deixa de funcionar, e tudo o que vem a partir daí.\nQuem está contratualmente responsável, e por quanto. O que se diz na sala quando a resposta é ninguém. O que faz em vez disso um prestador que valha a pena manter. E o que é preciso para sair de um que não vale, que acaba por ser a parte que ninguém planeia até precisar dela nessa semana.\nO que é que o prémio comprou de facto As provas estão na parte dois e não te vou levar de volta por elas. Dá como assente que a opção cara não comprou competência, não acabou o básico e não te deu uma caixa nada mais difícil de arrombar.\nEntão a que é que o dinheiro está agarrado?\nNão ao silício, que fica mais barato todos os anos. Não aos endereços. Não às horas de engenharia, num setor que cortou quase um terço do que gasta em formação em dois anos. O prémio está agarrado ao canal: um fabricante suficientemente grande para ter escalões, rebates, registo de negócios e uma rede de distribuidores, o que quer dizer uma fila de gente que recebe toda antes de se construir o que quer que seja, e cada um deles na tua fatura.\nEssa é a metade do vendedor, e sozinha não explica grande coisa. Muitos compradores são perfeitamente capazes e assinam na mesma. Por isso aqui vai a outra metade, e é a mais desconfortável.\nO prémio compra cobertura. Não para a empresa. Para a pessoa que assina.\nPôr lá o emblema conhecido é defensável de uma forma que escolher a opção aberta nunca é. Se a firewall líder de mercado for violada, a de toda a gente também foi, e tiveste azar. Se a coisa que montaste tu for violada, foste tu que a escolheste, e vão perguntar-te porquê. O resultado para o negócio é o mesmo. A consequência para o indivíduo não é, e todos os compradores acima de certo nível percebem isso sem ninguém ter de o dizer em voz alta.\nComo tal, o círculo fecha-se. O vendedor recebe mais por recomendar a opção cara. O comprador fica pessoalmente mais seguro por a aceitar. Nenhum deles age em momento algum contra os seus próprios interesses, e a única parte que suporta o custo desse arranjo é o negócio para o qual os dois trabalham.\nEssa é a resposta à pergunta com que esta série começou, e é pior do que mentir. Um mentiroso sabe qual é a verdade. Este arranjo não precisa de que ninguém saiba. Só precisa de que a lista de candidatos continue a sair da mesma maneira, e sai.\nOs relatórios que nunca recebes Cada linha recorrente numa fatura de serviço gerido devia produzir um documento. A maioria não produz nada, e quase ninguém pergunta.\nPega na aplicação de patches à infraestrutura, a linha que fica acima da dos postos de trabalho. A forma honesta de atualizar um parque é um playbook, Ansible ou outra coisa qualquer, guardado num sítio onde o possas ver, corrido segundo um calendário e a deixar resultados para trás. Por isso pede para ver o playbook, e pede para ver o registo das execuções. Em muitíssimos contratos nenhum dos dois existe. As atualizações são manuais quando acontecem, acontecem quando alguém se lembra, e a linha é faturada todos os meses na mesma. O que te venderam como automação é uma nota num calendário.\nO que cada linha da fatura devia produzir NA FATURA O DOCUMENTO QUE O PROVA O QUE COSTUMA CHEGAR Patches O playbook e o registo onde o podes ler, corrido com calendário Uma % de conformidade Cópias Um teste de restauro, datado o que voltou, para onde, quanto levou, quem viu Um relatório de vistos verdes Monitorização Os alertas, também para ti direto do sistema, com calendário, sem edição Um painel, arranjado ao mês Documentação Registos nos teus sistemas o teu IPAM, os teus ativos, a tua wiki Uma exportação, ao ritmo deles Uma cópia que ninguém restaurou não é uma cópia. É uma hipótese sobre uma cópia. Pede o teste de restauro mais recente. A resposta, ou a pausa antes dela, é a revisão toda. Cada linha recorrente devia deixar um documento para trás. A maioria deixa uma percentagem, um visto verde ou nada de nada. Depois, as cópias de segurança. Esta é a pior de todas, porque é a linha em que as pessoas mais acreditam.\nVais receber um relatório de cópias de segurança. Vistos verdes, tarefas concluídas, bytes escritos, tudo a chegar semanalmente e nada disso lido. Esse relatório não é o que interessa. Uma cópia de segurança que ninguém restaurou não é uma cópia de segurança. É uma hipótese sobre uma cópia de segurança.\nO documento que queres é um teste de restauro. O que foi restaurado, para que hardware, quanto tempo levou do princípio ao fim, e quem abriu os dados depois e confirmou que eram os dados. Pede o mais recente.\nDepois pergunta o mesmo sobre a cópia offline, porque é uma afirmação separada e precisa de prova separada. Toda a gente diz que tem uma. Pede-lhes que ta mostrem, o suporte, onde está, a data da última escrita, quem tem as credenciais, e pergunta quando foi feito pela última vez um restauro a partir dessa cópia e não do sistema de cópias em produção. São suportes diferentes em formatos diferentes, e testar um não prova rigorosamente nada sobre o outro. A cópia offline é a que sobrevive a uma semana má, e é a que tem menos probabilidade de alguma vez ter sido lida de volta. Pergunta com que frequência são feitos, contra que sistemas, e se alguém do teu lado já viu alguma vez o resultado. Em muitos contratos nunca foi feito de todo, porque fazê-lo custa um dia do tempo de alguém e ninguém o fatura.\nHá uma pergunta anterior a tudo isto, e decide se o resto significa alguma coisa. Estes relatórios vêm para ti, ou só para eles?\nNa maior parte das vezes as ferramentas geram-nos, vão parar à caixa de correio do prestador, alguém os lê se houver tempo, e tu és avisado quando há um problema. Isso não é prestação de contas. É autoavaliação com uma fatura agarrada, e pede-te que acredites na palavra deles sobre exatamente aquilo que lhes pagas para fazerem.\nPor isso pede que os relatórios venham também para ti. Diretamente do sistema, segundo um calendário, na forma que as ferramentas cuspirem, e não um diapositivo montado pela pessoa que está a ser medida, nem um painel verde preparado para a reunião mensal. Os sucessos das cópias de segurança e, mais importante, as falhas. A execução dos patches e o que ficou de fora. Volumes de alertas e tempos de resposta face ao objetivo. O teste de restauro quando acontecer, e a lista de exceções tal como está.\nNão tens de ler todos. Tens de poder lê-los, e eles têm de saber que podes. Esse é o mecanismo todo, e é a diferença entre confiar em alguém e estar em posição de verificar.\nE se isso se revelar difícil, pergunta porquê. Todos os relatórios dessa lista já existem e já estão a ser enviados para algum lado. Acrescentar um segundo destinatário é uma linha numa lista de distribuição, não um projeto. A relutância aqui não é um problema técnico, e diz mais do que a resposta teria dito.\nHá uma versão maior da mesma pergunta, e é a que decide se alguma vez podes verificar alguma coisa por ti. Onde vive a documentação?\nPergunta se vão registar o teu parque nos teus sistemas, no teu IPAM, na tua base de dados de ativos, na tua wiki, ou nos deles. A maioria vai dizer nos deles, e vai ser apresentado como eficiência. As ferramentas deles, os modelos deles, o processo deles, nada para tu gerires.\nOlha para o que esse arranjo faz. O plano de endereçamento, o diagrama de rede, o registo de ativos, os procedimentos e as chaves de licença são todos registos do teu negócio, criados com o teu dinheiro, a descrever equipamento que é teu. Guardados num sítio onde não os vês. Não podes auditar o que não podes ler, por isso não tens forma de saber se a documentação corresponde ao parque, e a documentação afasta-se da realidade constantemente, o que é normal e perdoável, mas um desvio invisível é a forma de descobrires durante um incidente em vez de durante uma revisão.\nDepois há o que acontece no fim, a que a secção sobre sair volta. A documentação nos teus próprios sistemas já é tua, já está atualizada, já está num formato que usas. A documentação nos deles é uma exportação, ao ritmo deles, na forma que a ferramenta deles oferecer, normalmente um PDF de algo que era uma base de dados.\nPor isso faz a pergunta às claras, e pede acesso de leitura hoje e não em princípio. Um prestador que trabalha nos teus sistemas tomou uma decisão que lhe custa um pouco e te dá muito, e vai dizer-to. Um que insiste em guardar o retrato nas suas próprias ferramentas tomou a decisão oposta, e vale a pena perguntar que parte dela achou atraente.\nEssa lacuna não é académica. Todos os incidentes da parte dois caem nela. Os clientes da Kaseya, as oitenta firmas de transmissão de imóveis, os fundos de pensões por trás da Capita: para cada um deles, a única pergunta que importou nesse dia foi se o restauro funcionou. É aí que um relatório que ninguém pediu se torna o único documento no edifício que vale a pena ter.\nSe o teu prestador não consegue apresentar um teste de restauro, não estás a comprar cópias de segurança. Estás a comprar cópias, e vais descobrir qual das duas na pior manhã do ano.\nNinguém está responsável Comprar um sítio onde pôr a culpa merece mais do que a oração que teve na parte um, porque a responsabilização é precisamente aquilo que todo este arranjo foi construído para contornar. Não moralmente. Contratualmente.\nComeça pelo acordo de nível de serviço, e lê o que promete de facto. Quase sempre é um tempo de resposta. Quatro horas para confirmar, oito para comparecer, esse género de coisa. Responder está inteiramente nas mãos deles, por isso pode ser prometido sem risco. Resolver não está, por isso não é. Procura uma linha que os comprometa com um resultado, o serviço funciona, os dados voltam, a loja vende, e na maioria dos contratos não há uma em lado nenhum.\nDepois encontra o limite de responsabilidade. Vai lá estar, e costuma ser o que pagaste em mensalidades nos doze meses anteriores, às vezes menos. Portanto o pior que lhes pode acontecer é devolverem o que já lhes deste. O pior que te pode acontecer a ti é o negócio. Esses dois números não estão no mesmo universo, e a distância entre eles é a tua posição de risco real.\nO que o acordo promete, e o que cada lado pode perder Aquilo a que o acordo os compromete de facto Confirmar a avaria em quatro horas Prometido Comparecer em oito horas Prometido O serviço volta a funcionar, os dados voltam, a loja vende Não prometido E o que cada lado perde no pior dia Eles limitado a uns doze meses das mensalidades que já pagaste Tu as encomendas, os salários, os clientes, o negócio Responder está nas mãos deles, por isso é prometido. Resolver não está, por isso não é. As duas barras são o mesmo contrato, visto de cada ponta. A revenda empurra o resto para montante. Se o hiperescalador está em baixo, a culpa é do hiperescalador. Se a firewall sai com uma falha de nota dez, a culpa é do fabricante. Se um instalador com um trojan chega assinado e entregue como uma atualização normal, também é o fabricante. Cada uma destas coisas é verdade, e nenhuma te serve de nada, porque nunca tiveste relação com nenhuma dessas empresas. Tinhas uma com a firma que as escolheu por ti e recebeu um rebate por isso.\nE por baixo de tudo isso fica o mecanismo mais silencioso de todos. Não podes falhar a entrega de um requisito que nunca foi escrito. O documento de requisitos que ninguém escreveu na parte um não é só desleixo: é proteção. Sem requisito registado, não há promessa mensurável. Sem promessa mensurável, não há incumprimento. Não se pode fugir de um desenho que ninguém aprovou.\nOlha para o que aconteceu quando a responsabilização chegou finalmente a algum lado. A Capita foi multada em 14 milhões de libras, e a multa veio do Information Commissioner ao abrigo da lei de proteção de dados, por um alerta que ninguém tratou durante cinquenta e oito horas. Não de um cliente, e não ao abrigo de um contrato de serviço. O dinheiro foi para o Estado. Os 6,6 milhões de pessoas cujos dados saíram porta fora, e os 325 fundos de pensões que carregam as consequências, não foram quem a levou e não foram quem recebeu.\nPortanto, o arranjo de ponta a ponta. O fabricante vende um produto com uma licença que recusa qualquer adequação a um fim em particular. O prestador vende horas contra uma responsabilidade limitada e uma promessa de tempo de resposta. A seguradora põe preço ao que sobra. E a perda assenta no negócio que não se pode mexer, que é a única parte da cadeia que nunca pôde recusar responsabilidade nenhuma.\nTodos na cadeia recusam a sua parte, e tudo cai num só sítio Cada camada passa a consequência para baixo e fica com a margem O fabricante A licença recusa adequação a tudo O distribuidor Move o produto, fica com uma fatia O prestador Horas vendidas com responsabilidade limitada A seguradora Põe preço ao que sobra O negócio que tem de abrir as portas na segunda-feira Faz coisas, emprega pessoas, não se mexe depressa e é a única parte da cadeia que não pode recusar nada Todas as camadas acima estão juridicamente a salvo. A perda tem de ficar em algum lado. Cada camada está juridicamente a salvo, e cada uma recebe antes de se construir o que quer que seja. A consequência continua a viajar até chegar a alguém que não a pode passar adiante. Há um teste mais simples em tudo isto, e não precisa de advogado.\nSe uma firma acredita no que recomendou, devia estar disposta a responder por isso. É isso que uma recomendação é. Não compraste a caixa: qualquer pessoa com um site te vende uma caixa. Compraste o juízo de alguém de que aquela era a caixa certa para ti, e pagaram-lhe por esse juízo, e pagou-lhe outra vez o fabricante cuja caixa acabou por ser.\nPor isso, quando falha e a resposta que vem é que o fabricante desiludiu toda a gente, olha para o que acabou de acontecer. A parte que compraste de facto foi recusada. O juízo evapora-se exatamente no momento em que é posto à prova, e o que fica é uma firma que fez passar um produto e ficou com uma margem pelo caminho.\nNinguém está a pedir a um MSP que dê garantias pela Microsoft. Mas há uma grande distância entre dar garantias por um hiperescalador e responder pelos teus próprios conselhos, e todos os outros ofícios vivem algures nesse intervalo. Um eletricista que instala um quadro elétrico não pode culpar o fabricante por o ter escolhido. Um engenheiro de estruturas que especifica uma viga é dono da especificação. Carregam com o seu juízo, porque o juízo era o serviço.\nPor isso pergunta o que o teu prestador está disposto a carregar. Não o produto do fabricante: a sua própria recomendação. A resposta, ou o tamanho da pausa antes dela, diz-te o que eles pensam dela em privado.\nE depois a culpa é tua O contrato é a metade silenciosa disto. A metade barulhenta aparece no dia em que alguma coisa se avaria de facto, e chega antes da solução.\nRepara para que lado viaja a responsabilidade. Para fora, em todas as direções disponíveis, e mais ou menos por esta ordem. O fabricante lançou um patch mau. O circuito era da operadora. É um problema conhecido e toda a gente o está a ver. Ninguém o podia ter previsto, dito sobre uma falha que estava na lista de vulnerabilidades exploradas há tempo suficiente para ter criado barba. O prestador anterior deixou-o assim, o que é uma resposta justa durante seis meses e continua a ser dada no terceiro ano. Depois as direções para fora acabam-se, e sobra uma. Nunca aprovaste a atualização. Isso estava fora do âmbito, os teus funcionários clicaram na ligação, e nunca abriste um pedido.\nAqui está a parte desconfortável. Algumas destas são verdade. Um cliente que recusou a mesma substituição três anos seguidos é dono dessa decisão, e um prestador que o diz está a ser direito contigo. Por isso a questão não é se a desculpa é exata. É quando foi dita pela primeira vez. Um risco posto à tua frente por escrito antes da falha, com o que custaria resolver e o que custaria não resolver, é um prestador a gerir o teu parque. A mesma frase enviada na semana a seguir é uma defesa a ser montada. As mesmas palavras, outra data, o significado oposto.\n«Nunca abriste um pedido» é a que merece que pares, porque não é desculpa nenhuma. É o modelo de funcionamento dito em voz alta. Nada é trabalho de ninguém até tu reparares, o que faz de ti a monitorização, e estás a pagar uma mensalidade a uma firma cuja camada de deteção é um cliente a telefonar. Depois de ouvires essa resposta uma vez, sabes o que é o serviço.\nHá uma versão mais ativa disto, e funciona muito melhor do que devia. Convocas uma revisão para perguntar porque é que os últimos seis meses correram como correram, e a ordem de trabalhos que volta é sobre outra coisa completamente diferente: um assunto de segurança urgente, um prazo de licenciamento que ninguém tinha mencionado, um aviso de fim de vida numa caixa que está em fim de vida há dois anos e de repente se tornou premente esta quinzena. É apresentado com preocupação genuína e um orçamento em anexo, e come a hora. Sais de lá depois de aceitares gastar dinheiro, e a coisa para que convocaste a reunião nunca chegou a ser dita em voz alta.\nRepara no que a crise fabricada tem sempre em comum. Precisa de uma compra, precisa dela este trimestre, e não exige que ninguém na sala admita nada. A urgência real tem outro aspeto, porque vem com um identificador, a data em que foi publicada, as máquinas concretas do teu parque que a têm, e o que eles já fizeram enquanto esperavam para te dizer. A inventada chega como um prazo do fabricante e um valor arredondado. Pergunta quando é que apareceu pela primeira vez no radar deles. Se a resposta for a mesma semana em que começaste a fazer perguntas incómodas, não é coincidência e nunca foi para ser.\nPor isso mantém o teu próprio dossiê, e começa-o antes de precisares dele. Sempre que te disserem que uma coisa está bem, pede isso num email. Sempre que recusares alguma coisa, escreve o que te mostraram e por quanto foi orçamentado. Leva um minuto e quer dizer que, no dia em que a culpa passar a ser tua, podes pedir a data, e a resposta ou existe ou não existe. Uma firma que faz este trabalho como deve ser chega lá primeiro de qualquer maneira. Começam com falhámos isto, eis o que vamos mudar, e dizem-no antes de acabares de perguntar. Custa-lhes uma frase, e é precisamente por isso que tão poucos a gastam.\nE quando te aparecer a crise inventada, ou a culpa cair em ti por algo que nunca ninguém te pôs à frente, di-lo na sala. Não como uma queixa depois e não como uma nota para o dossiê. Pergunta-lhes se consideram aquilo profissional, se é a resposta que aceitariam se lha dessem a eles, e onde está a integridade nisso. Alguém vai ficar desconfortável, e esse é todo o propósito da pergunta. Uma firma que ainda tenha algum amor-próprio aguenta, diz que é justo, e volta diferente no mês seguinte. Num minuto sabes que tipo tens sentado à tua frente.\nDepois começa a procurar na mesma. Nessa semana. Uma reunião má não decide nada, mas o desvio nunca foi um dia mau. Foi uma decisão sobre ti: que gerir como te sentes é mais barato do que resolver o que compraste, e que vais aguentar. As firmas não desfazem essa conta porque um cliente fez uma careta. Substituir um prestador como deve ser leva meses que ainda nem começaste a gastar, e a altura para o fazer é enquanto ainda estás calmo o suficiente para escolher bem, e não na quinzena a seguir à falha que finalmente te faz decidir.\nPergunta isto na próxima reunião Nada disto te custa coisa nenhuma, e não precisas de ser engenheiro para perguntar nada disto.\nPus as perguntas numa folha de cálculo em vez de as pôr pela página abaixo: 120 delas em quinze áreas, cada uma com o que soa uma resposta competente contra o que soa uma fuga, e uma coluna para registares qual recebeste.\n\u0026#8615; Perguntas ao fornecedor, a versão longa msp-supplier-questions.xlsx · 26 kB Trata-a como uma cábula, não como um guião. Lê-a de cima a baixo, marca a dúzia que tem de facto a ver com o teu contrato, e pergunta essas. Ninguém aguenta cem perguntas numa hora e aprenderias menos se tentassem. Envia-a antes da reunião em vez de a tirares do bolso nela: um prestador que faça o trabalho como deve ser vai agradecer o aviso, e a forma como recebem o aviso já é uma resposta.\nUma das perguntas lá dentro é quais das recomendações deles lhes rendem um rebate, um crédito, uma margem ou um objetivo junto do fabricante. É a que muda a temperatura de uma sala, e não devia. Um prestador sem nada a esconder responde a direito, porque ia recomendar a mesma coisa de qualquer maneira e prefere que saibas. Repara no que acontece quando perguntas. A resposta interessa menos do que a reação.\nUm prestador que faça o trabalho como deve ser tem tudo isto à mão. Já, hoje, sem preparar. Os requisitos escritos, as opções orçamentadas, a linha do open source na comparação, o plano de endereços em dual-stack, a ferramenta de gestão remota com os patches em dia e os riscos no registo onde pertencem. Pergunta, e descobres numa reunião que tipo estás a pagar.\nE se o que os incomoda é o próprio facto de perguntares, descobriste tudo o que precisavas.\nTodas as contas ficam em silêncio Tudo isto parte do princípio de que podes sair se precisares. Vale a pena testar isso antes de precisares, porque sair é onde um contrato de serviço gerido deixa de ser sobre tecnologia.\nParte do princípio de que vais precisar, mais cedo ou mais tarde. Todos estes arranjos derivam da mesma maneira, seja com quem for que assines. A atenção que recebeste enquanto eles estavam a ganhar o trabalho rareia quando o débito direto está a correr, e assentas nos livros deles como um valor mensal em vez de um parque em que alguém está a pensar. Ninguém se senta e decide deixar de se importar. O melhor engenheiro vai para onde está o barulho, as revisões deixam de acontecer sem alarido, e o teu equipamento fica na resposta certa do ano em que assinaste enquanto o resto do ofício segue em frente sem ti.\nPercebe o que é de facto uma conta silenciosa, porque a expressão soa a elogio e não é. Uma conta silenciosa é uma que ninguém verificou. As cópias de segurança correm a verde todas as noites e ninguém restaurou uma para uma máquina de reserva e a viu arrancar. O par de failover nunca fez failover, porque fazê-lo implica marcar uma paragem e alguém teria de lá estar. O firmware é o que veio de fábrica, o certificado foi renovado por quem se lembrou, e a documentação descreve uma rede que foi desmantelada há duas mudanças. A contagem de licenças não é vista desde o ano em que tinhas mais onze pessoas. Nada disso gera um pedido, por isso nada disso chega ao ecrã de ninguém, e a conta passa por todas as revisões internas porque a única coisa a ser medida é se telefonaste.\nDepois descobres. Não numa revisão, porque não houve nenhuma. Descobres na manhã em que o restauro é preciso, ou quando o auditor pede o diagrama, ou quando uma coisa que correu sem lhe tocarem durante seis anos para e já ninguém no edifício sabe o que fazia. Uma conta silenciosa paga o mesmo que uma movimentada e custa muito menos a servir. Esse é o incentivo todo, e aponta para longe de alguém alguma vez abrir a tampa.\nO conselho que lhes custa dinheiro Vira o teste ao contrário, e pergunta o que é que devias estar de facto a comprar. Não é a ausência de problemas. Qualquer um consegue estar ausente. O que pagas é alguém que conheça o negócio bem o suficiente para chegar com coisas que não pediste: uma forma de fazer o fecho do mês que deixe de cair, uma licença que estás a pagar e que ninguém abre desde o ano antes do passado, uma forma mais barata de guardar os dados, um plano para a caixa que toda a gente concordou em silêncio não reiniciar. Parte disso custa-lhes receita a dizer-te, e é exatamente por isso que é o sinal honesto. Pergunta-te quando foi a última vez que o teu prestador te pôs à frente uma recomendação que tornou a fatura dele mais pequena.\nA forma mais comum que isso toma não é um desconto. É alguém a passar a pente fino o que já tens a correr. A maioria das empresas não tem falta de software, tem falta de alguém que alguma vez se tenha sentado a sério com o software que tem: o escalão de licença que já inclui a funcionalidade que estão a orçamentar, o módulo pago no projeto original e nunca implementado, o fluxo no sistema financeiro que acabaria com a reintrodução de dados se alguém lhe desse dois dias, a segunda subscrição comprada porque ninguém perguntou ao primeiro fornecedor se o produto dele também fazia aquilo, os relatórios que nunca ninguém construiu e por isso a empresa inteira exporta para uma folha de cálculo e faz lá o trabalho. Um prestador a sério começa nesse monte. O que tens, o que se pode pôr a fazer, o que nunca vai fazer, e quanto do problema desaparece se a coisa que já estás a pagar for configurada como devia ser, tudo isso antes de alguém abrir uma tabela de preços.\nO que te diz como tencionam ganhar dinheiro contigo, porque esse trabalho é do género incómodo. Implica ler a documentação de outra pessoa, aprender um sistema que não revendem e com o qual não ganham nada por o conhecer, e sentar-se com as pessoas que o usam o dia todo para descobrir o que acontece de facto às quatro da tarde de uma sexta-feira. Não chega rebate nenhum por nada disso. É também tudo aquilo que julgavas estar a comprar. E às vezes a resposta no fim é mesmo um sistema novo, e nesse caso compra o sistema novo. Gastar não é o problema. A ordem é: o que tens, o que ainda vai fazer, onde fica genuinamente aquém, e só depois o que ir buscar. Uma recomendação que salta as três primeiras nunca foi uma avaliação. Foi um catálogo com o teu nome escrito no topo.\nE um prestador que nunca se sentou a aprender o que o negócio faz não consegue fazer nada disto. Há uma diferença entre saber que tens noventa caixas de correio e saber a que hora de que dia doeria a sério perder o sistema que recebe as encomendas. Um é inventário, o outro é compreensão, e só o segundo produz conselhos que valham o dinheiro. Uma firma que não propôs nada em três anos, que não sabe dizer o que vendes nem quando calha a tua época alta, que mantém as luzes acesas e emite a fatura no mesmo dia todos os meses, não é um parceiro e já deixou de fingir que é. É uma subscrição com um número de telefone. Não é para manter.\nA falha oposta aparece com um fato melhor. É o prestador que nunca está calado, que tem alguma coisa para ti todos os trimestres, e cuja resposta a todas as perguntas que alguma vez fizeste veio com uma referência de produto agarrada. Parece atenção. O que separa o conselho da venda não é o volume, e também não é a qualidade dos diapositivos: é se a recomendação é capaz de voltar como deixa estar, este ano não precisas de nada, e esse dinheiro está mais bem gasto na coisa ao canto para a qual ninguém fez orçamento. Se nem uma recomendação em toda a relação lhes custou alguma vez uma venda, não estás a ser aconselhado. Estás a ser trabalhado por uma lista, e a parte um é sobre de onde vêm essas listas. Um parceiro às vezes convence-te a não gastar. Para todos os outros és uma conta que compra o que lhe mostram, ou seja, uma vaca leiteira com um serviço de assistência agarrado, e ninguém envolvido tem de ser desonesto para ser exatamente isso que está a acontecer.\nLivrar-te de um mau Passa em revista o que tem de acontecer de facto. Tudo. Credenciais de administração entregues para todos os sistemas. Documentação que descreva como o parque está construído, partindo do princípio de que existe. O controlo dos nomes de domínio, e da conta onde estiver o DNS. As chaves privadas dos certificados. Subscrições tiradas do acordo de parceiro do prestador e postas num inquilino que seja teu. O agente deles removido de todas as máquinas, por eles. E o incumbente a cooperar com quem o substitui, em pormenor, durante semanas, sem receber nada por isso e depois de lhe terem dito que acabou.\nO que tem de mudar à saída, e quem o tem Nas mãos da firma que deixas Todas as credenciais de administração Documentação, se alguma foi escrita Os domínios, e a conta do DNS Chaves privadas dos certificados Licenças no acordo de parceiro deles O agente deles, em todas as tuas máquinas E semanas dos engenheiros deles tem de mudar sem pagamento Teu, ou de quem te substitui Antes do fim do pré-aviso E nesse dia Acabaram de ouvir que acabou O engenheiro que conhecia o parque está num trabalho que paga Metade do que pedes afinal é cobrável Nada disto é sabotagem Quanto piores tiverem sido, menos dessa lista existe para entregar. Quem nunca escreveu os teus requisitos também não escreveu o dossiê de passagem, e a confusão é o fosso. Por isso pede o dossiê hoje, enquanto todos se dão bem, e confronta uma página com uma máquina ao vivo. Está tudo nas mãos da firma a quem acabaram de dizer que acabou, e nada dessa mudança é trabalho pelo qual alguém lhes pague. Agora a parte que te devia preocupar mais. Quanto pior é um prestador, mais difícil fica essa saída, porque as falhas são as mesmas falhas. Uma firma que nunca escreveu os teus requisitos também não escreveu o dossiê de passagem. Uma firma que guardou as credenciais num cofre partilhado não tem forma limpa de as dar a outra pessoa. Uma firma sem playbook e sem teste de restauro não tem nada para entregar além de acesso e boa sorte. A confusão é o fosso. Ninguém se sentou a desenhá-lo assim, e funciona melhor do que se o tivessem feito.\nPor isso parte do princípio de que a linha da documentação não se aguenta. A documentação é a primeira coisa a ficar por escrever e a última que alguém verifica, e o que chegar à saída vai descrever um parque que seguiu em frente sem ela. Esse é o caso bom. O mau é um dossiê que parece completo e está errado: um diagrama com um switch que foi para a sucata há dois anos, um procedimento para um servidor que entretanto foi reconstruído, uma folha de credenciais cheia de contas com que ninguém consegue entrar. Documentação errada é pior do que nenhuma, porque ages com base nela. Nenhuma, pelo menos, manda-te ir ver.\nPõe preço à saída como se nada sobrevivesse. Alguém percorre os bastidores, lê a configuração do equipamento ao vivo, exporta as regras da firewall, os âmbitos de DHCP e os ficheiros de zona, e escreve o que está de facto a correr. São semanas de trabalho, e numa saída são semanas que passas em pré-aviso, enquanto as únicas pessoas que sabem as respostas já ouviram que acabou. Faz isso agora. Pede o dossiê hoje, depois pega numa página e confronta-a com uma máquina ao vivo. Se se aguentar, aprendeste algo que vale a pena saber. Se não valer os bits usados para a guardar, também aprendeste isso, e aprendeste-o com um ano para o corrigir em vez de uma quinzena.\nEssa linha da cooperação é a que vai doer de facto, e é a que ninguém orçamenta. Lê-a de volta como um pedido: está-se a pedir a uma firma que acabou de perder a conta que passe semanas a explicá-la às pessoas que lha tiraram. Ninguém tem de recusar. A conta vai para a pilha dos que saem, o engenheiro que conhecia o teu parque vai para um trabalho que ainda paga, e as tuas perguntas caem em quem sobrar. As respostas chegam em dias em vez de horas. A chamada de passagem fica marcada para daqui a três semanas. Metade do que pedes afinal é cobrável, e a única pessoa que construiu aquilo saiu em março. Nada disto é sabotagem. Tudo isto te custa exatamente o que custaria uma sabotagem.\nQuem te substitui carrega com isso, e depois carregas tu outra vez. O primeiro mês deles vai em perceber o que herdaram. É descoberta sem nada para te mostrar, por isso ou a orçamentam honestamente e parecem caros ao lado da renovação do incumbente, ou a engolem e começam o trabalho já atrasados. Pagas de qualquer maneira. Por isso compra a cooperação antes de precisares dela. Põe-na no contrato à entrada e não à saída: um período de passagem definido, uma pessoa nomeada a fazê-lo, um preço por dia acordado enquanto ainda querem a tua assinatura, e acesso que se mantém ativo até a firma que entra dizer que pode ser cortado. Paga uma sobreposição e conta-a como barata. E nunca chegues ao dia da troca com o prestador que sai a ter a única chave de algo que é teu.\nA papelada também faz a sua parte. Períodos de pré-aviso medidos em meses e não em semanas, datas de renovação automática que passam enquanto ainda estás a decidir, e uma passagem orçamentada como serviços profissionais a um preço por dia que alguém fixa depois de já teres dado o pré-aviso. Nada disso é invulgar, e nada disso viola regra nenhuma.\nPor isso testa a saída enquanto a relação está bem e ninguém está aborrecido. Pede o dossiê de passagem agora, por escrito, como um entregável e não como uma promessa. Pergunta quem é de facto o titular registado dos teus domínios. Pergunta se as tuas licenças estão no teu próprio inquilino ou debaixo do acordo de parceiro deles, e o que implica mudá-las. Um prestador que faça o trabalho como deve ser responde às três de cabeça, porque uma firma confiante no seu trabalho não tem razão nenhuma para dificultar a saída.\nE se as respostas forem vagas, lembra-te do que a próxima secção diz sobre a quem te queixas.\nNão há regulador para a venda A esta altura já devia haver qualquer coisa a moer. Todas as falhas desta série que vieram com uma conclusão formal agarrada são falhas de segurança. O ICO sobre a Advanced. O ICO sobre a Capita. A CISA sobre as ferramentas. Sobre a venda, a lista de candidatos, o rebate, a opção única, a renovação, não há nada. Nem uma ação de fiscalização contra um MSP britânico.\nNão é porque a venda seja limpa. É porque ninguém tem a função de olhar para ela.\nA lei do consumidor fica à tua porta. O Consumer Rights Act 2015 protege consumidores, e uma sociedade por quotas que compra um serviço gerido não é um. O Digital Markets, Competition and Consumers Act 2024 deu à CMA poderes diretos de fiscalização em abril de 2025, apontados em cheio a práticas de venda agressivas, informação enganosa e cláusulas contratuais claramente desequilibradas. São poderes de consumo. O próprio balanço do primeiro ano da CMA vale a pena ler tanto pela redação como pelos números: catorze investigações, dois acordos, 760 000 libras «refunded to consumers», 4,7 milhões de libras em multas, 157 cartas de aconselhamento e de aviso. Consumidores, sempre. Não o fabricante de trinta pessoas que assinou cinco anos de serviço gerido na primavera passada.\nAs telecomunicações são o único canto de que um regulador britânico se aproximou. Mostram como é a fiscalização quando alguém tem a pasta. Em julho de 2015 a Ofcom multou em 200 000 libras um prestador de telecomunicações para pequenas empresas por venda enganosa de serviços de linha fixa a uma base de «around 100,000 small businesses», e obrigou-o a indemnizar os clientes afetados e a reescrever os materiais de venda. O comportamento certo, o tamanho de cliente certo, a indústria errada, e há onze anos.\nNão há equivalente para os serviços de TI. Soma tudo a partir de onde estás sentado. Sem período de reflexão. Sem provedor a quem recorrer. Sem regulador com jurisdição. Sem dever de ninguém te dizer o que o fabricante lhes paga. Sem conclusões publicadas com que aprender, porque não há de onde uma conclusão possa vir. O contrato foi redigido pelo fornecedor, e o único remédio nele é processar, o que quer dizer custas, anos e um orçamento jurídico que uma pequena empresa não tem, como o fornecedor sabe bem.\nO aconselhamento financeiro teve exatamente este problema e tratou dele. A Retail Distribution Review, a RDR, entrou em vigor no fim de 2012 e acabou com as comissões que os fornecedores de produtos pagavam aos consultores. A solução não foi complicada: dizer quem paga ao consultor, e impedir que o fornecedor do produto seja a resposta.\nNão vai haver uma RDR para as TI. Ninguém vem obrigar o teu MSP a declarar o que o fabricante lhe paga, e o Cyber Security and Resilience Bill que está agora a passar pelo Parlamento, e que traria os prestadores de serviços geridos para dentro das NIS Regulations, trata de deteção e de notificação e não de quem paga o conselho.\nPor isso, quando alguém te diz que não há provas de um problema na forma como a tecnologia é vendida neste país, tem razão. Não quer dizer absolutamente nada. Não há provas porque não há inspetor, não há via de queixa que acabe num documento público, e não há registo do que aconteceu a mais ninguém que tenha assinado o mesmo contrato. Num mercado que ninguém supervisiona, a ausência de provas é só a ausência de alguém a olhar.\nO que isto diz sobre o ofício Tira as faturas e olha para quem está de facto metido neste arranjo.\nNuma ponta, empresas que fazem e fabricam coisas. Uma firma a maquinar peças. Uma oficina. Uma cozinha a dar de comer às pessoas. Solicitadores a pôr alguém dentro de uma casa numa sexta-feira. Cada uma delas produz algo para que se pode apontar, e cada uma delas carrega o risco deste artigo, porque são a única parte da cadeia que não pode recusar responsabilidade nenhuma.\nNa outra ponta, várias camadas que não produzem nada de nada. Um fabricante cuja licença recusa adequação a qualquer fim em particular. Um distribuidor a mudar uma caixa entre armazéns e a ficar com uma fatia. Um programa de parceiros a pagar a alguém para preferir um emblema a outro. Um prestador a vender horas contra uma responsabilidade limitada. Cada um fica com a sua margem e passa a consequência para baixo, e a consequência continua a viajar até chegar à única pessoa que tem de abrir as portas na segunda-feira.\nUm ofício é um conjunto de pessoas que sabem fazer uma coisa, que são pagas por a saberem, e que respondem pelo que dizem porque o nome delas está lá. Comparada com isso, a maior parte desta indústria é um canal de distribuição com certificações.\nOlha para o que se deu de mão para lá chegar. Primeiro a competência, porque não podes cortar um terço do que gastas em formação e continuar a vender conhecimento de cara séria. Depois o juízo, vendido à cabeça do trabalho e recusado no momento em que é posto à prova. E por último a simples disposição de dizer «essa não é a resposta certa para ti» quando a resposta certa paga menos, que é a única coisa que separa o conselho da venda, e não custa nada além de coragem.\nA saída disto é pouco vistosa e está inteiramente ao alcance. Sê dono do equipamento de que podes ser dono. Guarda as tuas próprias chaves. Mantém a documentação num sítio a que chegas sem telefonar a ninguém. Aprende o suficiente sobre os teus próprios sistemas para saber quando te estão a dizer um disparate: não para os gerires tu, só para reconheceres um adjetivo a chegar onde pediste um número. Isso não é saudade de toda a gente ter um servidor num armário. É a única alavanca que há, e é barata.\nHá gente neste ofício que nunca deixou de fazer o trabalho como deve ser, e não é difícil de identificar quando sabes o que procurar. Orçamentam a opção aborrecida. Dizem-te quanto uma coisa custa e não por quanto está à venda. Põem o risco por escrito antes de perguntares, e ficam aliviados quando alguém finalmente verifica.\nOs restantes arranjaram as coisas de modo a que ninguém verifique. Tens o direito de perguntar quanto custa, quem paga a quem, e o que acontece quando avaria. Ninguém neste arranjo vai oferecer essa informação, e isso não é o mesmo que não ta deverem.\nIs Your MSP Lying To You — 3 parts\nO teu MSP está a mentir-te para te vender produtos premium? O que o teu MSP te construiu, e quem mais lhe consegue chegar Quando avaria, quem é que aguenta com isso?you are here Fontes Consultadas a 28 de agosto de 2026.\nLei e política.\nCyber Security and Resilience (Network and Information Systems) Bill 2024-26 — nota informativa da House of Commons Library sobre a inclusão dos prestadores de serviços geridos nas NIS Regulations. Quem tem direito a queixar-se.\nConsumer Rights Act 2015 e o Digital Markets, Competition and Consumers Act 2024 — as proteções, e para quem são. CMA, direct consumer enforcement one year on — de abril de 2025 a abril de 2026: 14 investigações, 760 000 GBP devolvidas a consumidores, 4,7 milhões de GBP em multas. FCA, Post-implementation review of the RDR, phase 1 — a RDR «realigned adviser and platform incentives with those of consumers\u0026rsquo; by removing the commission they received from providers», em vigor desde o fim de 2012. Ofcom fines Unicom, 31 July 2015 — 200 000 GBP por venda enganosa a pequenas empresas, o mais próximo de um precedente de fiscalização, nas telecomunicações e não nas TI. ","permalink":"https://blogs.damiendye.uk/pt/random/is-your-msp-lying-to-you-part3/","summary":"Parte 3 de 3. Tempos de resposta em vez de resultados, um limite de responsabilidade fixado nas mensalidades que já pagaste, e um prestador cujas desculpas acabam por chegar a ti. As perguntas que trazem isso à tona, o que faz em vez disso um prestador a sério, e o que é preciso para te livrares de um mau.","title":"Quando avaria, quem é que aguenta com isso?"},{"content":"Uma ligação que dá timeout diz-te quase nada. A outra ponta pode não ter nada à escuta, uma firewall a três saltos pode estar a deitar fora o teu SYN em silêncio sem gerar sequer uma linha de log, ou a rota pode simplesmente não existir, e de onde estás sentado todas essas hipóteses parecem iguais. Esperas. Não acontece nada.\nPor isso o ticket é escrito como «a porta 445 está bloqueada algures», e é o «algures» que o faz andar aos saltos. O teu fornecedor verifica a sua periferia, encontra-a limpa e devolve-o. Tu verificas a firewall do teu host, encontra-la limpa e devolve-lo. Passa uma semana. Nada fica resolvido.\nA palavra que faz o estrago é «algures». Não tem de lá estar. Cada router entre ti e o destino é obrigado a dizer-te quando é ele o culpado, e essa obrigação está escrita nas normas desde 1995. Só tens de perguntar da maneira certa.\nPorque é que isto precisa de ser explicado Porque demasiadas pessoas nesta indústria não sabem fazer o básico, e isso custa dinheiro a sério aos seus empregadores todas as semanas.\nNão me refiro aos juniores. Refiro-me a pessoas com anos de casa, certificações na parede e sénior no cargo, cujo diagnóstico de uma porta em timeout acaba em «está bloqueada» e não vai mais longe. Correm ping. Falha, ou funciona, e de qualquer maneira não aprenderam nada sobre a porta de que lhes perguntaram. Depois o ticket vai para o fornecedor, o fornecedor devolve-o, e quinze dias do salário de alguém vão para uma troca de mensagens que podia ter sido um comando.\nNada disto é difícil. Distinguir um drop de um reject, ler o TTL de uma resposta, saber que uma estrela num traceroute não quer dizer nada por si só: é uma tarde para aprender e dura uma carreira. A razão por que as pessoas não sabem isto não é serem burras. É que ninguém o ensina. A formação dos fabricantes ensina-te a consola de um fabricante. As certificações ensinam-te o exame. Os fundamentos por baixo são dados como adquiridos no primeiro dia e nunca chegam a ser dados, por isso as pessoas chegam a cargos séniores sem nunca lhos terem mostrado, e a essa altura já têm vergonha de perguntar.\nPor isso, em vez de me queixar, aqui fica por escrito. Isto é o básico, explicado, com os comandos e um script que podes correr hoje.\nE uma palavra sobre porque me dei ao trabalho: corri isto contra a minha própria linha enquanto o escrevia e encontrei três avarias que não sabia que tinha. Um drop de SMB a onze saltos. Resets SMTP forjados a um salto de distância. Uma regra de firewall que existe em IPv4 e não em IPv6. Uma tarde, sem root, numa linha de que eu próprio trato e a que presto atenção. Pensa um bocado no que estará parado sem ninguém dar por isso nas redes que alguém é pago para gerir.\nPorque é que o Fisher-Price OS (Windows) não está aqui Há duas razões para não estar aqui. Uma é técnica e a outra não, e prefiro dar-te as duas a fingir que é tudo engenharia.\nA técnica é que não consegue fazer isto. O tracert envia pedidos de eco ICMP e mais nada: a própria referência da Microsoft descreve-o como «sending Internet Control Message Protocol (ICMP) echo Request or ICMPv6 messages to the destination with incrementally increasing time to live (TTL) field values», e não há parâmetro de porta em parte nenhuma da sua sintaxe. O pathping é essa mesma ferramenta com estatísticas aparafusadas. O Test-NetConnection diz-te se uma porta TCP está aberta ou fechada e absolutamente nada sobre a distância de onde veio a resposta. Nenhum deles consegue sondar a porta que realmente te interessa a uma distância escolhida, que é todo o método deste artigo.\nNem consegues dar a volta com um script. Definir o TTL num socket é bastante fácil em .NET, mas ler de volta o erro ICMP é a metade difícil, e não há equivalente do truque em que este artigo se apoia: nenhuma forma de pôr o kernel a reportar o erro no socket normal que o causou. Isso deixa um raw socket, e a própria documentação da Microsoft diz «only members of the Administrators group can create sockets of type SOCK_RAW». Portanto o caminho sem privilégios não existe e o privilegiado exige um token de administrador local. Estás a descarregar software de terceiros antes de teres começado.\nA outra razão é que não me interessa, e prefiro dizê-lo a disfarçá-lo. O nome também não é uma provocação barata, é uma descrição. É o SO que te põem nas mãos quando nunca tiveste outro, esconde-te a máquina como objetivo de design e não por acidente, e no momento em que queres fazer uma pergunta precisa à rede descobres que a ferramenta nunca foi construída, porque nunca se esperou que as pessoas para quem é feito perguntassem. Trinta anos depois, o tracert continua sem conseguir apontar um pacote a uma porta.\nNão é um sistema operativo a sério para gente de TI a sério, e se é o único que alguma vez usaste então não estás a fazer este trabalho ao nível para que este artigo foi escrito. Sei que isto cai mal. Não escrevo para ser simpático, escrevo o que meço para pessoas que medem coisas, e não me importa grande coisa que alguém que só alguma vez o usou preferisse que eu o dissesse de outra maneira.\nA lista de ferramentas é o argumento, não a opinião. Todos os Unix da tabela mais abaixo te deixam definir um limite de saltos e escolher um protocolo, quatro deles com um único comando, e o Linux faz a medição inteira sem sequer precisar de sudo. Não é por serem mais difíceis de usar. É porque foram construídos por pessoas que esperavam que quem estivesse ao teclado quisesse saber coisas. Um sistema operativo cujo diagnóstico acaba no ping disse-te com clareza o que pensa de quem o usa, e trinta anos de pessoas a aceitar isso é a forma como acabámos com uma indústria que não consegue localizar um pacote perdido.\nPor isso não o uso, não o uso a sério há anos, e não lhe vou escrever uma secção própria para parecer imparcial sobre uma lacuna que é real. Tudo aquilo em que construo e tudo aquilo a partir de onde vale a pena medir é Unix, e é aí que este artigo vive.\nSe a máquina avariada estiver por acaso a correr o Fisher-Price OS (Windows), isso não muda nada no método. Arranja uma shell noutra coisa qualquer, uma VM Linux, um Mac, um Raspberry Pi no mesmo switch, e faz subir o limite de saltos em direção a ela. A medição não quer saber minimamente o que corre na outra ponta. Só quer saber o que está pelo meio.\nO TTL é um orçamento de saltos, e cada router te deve um recibo O cabeçalho IPv4 tem um campo Time to Live de 8 bits. O nome é um resto do passado: foi especificado em segundos, e nada o trata como segundos há décadas. O RFC 1812 arrumou a discussão em 1995 e tornou normativa a leitura como contagem de saltos:\nEach router (or other module) that handles a packet MUST decrement the TTL by at least one, even if the elapsed time was much less than a second. Since this is very often the case, the TTL is effectively a hop count limit on how far a datagram can propagate through the Internet.\nDepois a parte que importa aqui, da mesma secção:\nIf the TTL is reduced to zero (or less), the packet MUST be discarded, and if the destination is not a multicast address the router MUST send an ICMP Time Exceeded message, Code 0 (TTL Exceeded in Transit) message to the source.\nIsso é um MUST. Não é uma cortesia, não é uma sugestão. O RFC 792, em 1981, só dizia que um gateway «may also notify the source host»; treze anos depois o requisito foi apertado, e o RFC 1812 diz porquê com todas as letras:\nICMP Time Exceeded messages are required because the traceroute diagnostic tool depends on them.\nO IPv6 deixou-se de fingimentos e mudou o nome ao campo. O RFC 8200 chama-lhe Hop Limit, «8-bit unsigned integer. Decremented by 1 by each node that forwards the packet», e a mensagem de expiração passou a ser o ICMPv6 tipo 3, código 0, «hop limit exceeded in transit».\nLê isso como um instrumento em vez de uma regra e diz algo útil. Cada router no caminho é um farol que podes endereçar pela distância. Põe o limite de saltos em 4 e o quarto router identifica-se. Não precisas de conhecer a topologia, não precisas de acesso a nada, e não precisas da colaboração do operador. Precisas de um pacote por salto.\nO traceroute faz exatamente isto desde o fim dos anos 80. O que faz mal é aquilo que realmente te interessa, porque por predefinição sonda portas UDP lá para a gama dos 33434, que é uma porta que ninguém filtra e ninguém serve, por isso fala-te de um caminho que nada de real alguma vez usa. Um traceroute limpo para um host que não consegues alcançar em TCP/445 prova apenas que o UDP/33434 lá chega. O que nunca foi a pergunta.\nPortanto sonda a porta que te interessa.\nLê o que voltou, não se alguma coisa voltou Antes de contar saltos, olha para o que a outra ponta faz quando lá chegas com um limite de saltos normal. Há cinco respostas distintas e as pessoas reduzem-nas habitualmente a uma.\nO que volta O que significa Quem o enviou SYN-ACK, a ligação abre a porta está aberta o host, ou algo que responde por ele TCP RST recusada ativamente o host sem nada à escuta, ou um dispositivo configurado para rejeitar ICMP 3/13, comunicação proibida administrativamente um dispositivo está a recusar por política e di-lo esse dispositivo: o seu endereço de origem é a tua resposta ICMP 3/1, 3/2, 3/3 host, protocolo ou porta inalcançável o último router, ou o host nada de nada alguém está a deitar fora em silêncio desconhecido, por isso vai medir A terceira linha é a que justifica mudar de hábitos. Quando uma firewall está configurada para rejeitar em vez de deitar fora, põe o seu próprio endereço no campo de origem do ICMP e entrega-te o culpado de graça. Em Linux é isso que nft ... reject with icmpx admin-prohibited produz, e o que iptables -j REJECT --reject-with icmp-admin-prohibited sempre produziu. A maioria das ferramentas deita isso fora e imprime «filtered». O nmap --reason mostra-o. O script mais abaixo também.\nAs linhas dois e cinco são a falha interessante. Um drop silencioso é uma decisão de política de não te dizer nada, e como é a predefinição em quase todas as firewalls comerciais é aquela com que vais mesmo dar. Espera silêncio.\nA linha dois também merece desconfiança. Um reset não prova que foi o host a enviá-lo, e vou voltar a isso com um exemplo ao vivo, porque encontrei um na minha própria linha enquanto escrevia isto.\nPercorre a porta que te interessa, duas vezes O método são duas execuções e uma comparação. É tudo.\nFaz subir o limite de saltos de 1 a 20 usando exatamente o protocolo e a porta que falham, e anota que router responde em cada salto. Faz o mesmo com algo que funciona, de preferência o mesmo host e uma porta que abre. O salto onde as respostas param na primeira execução e continuam na segunda é o dispositivo que te está a deitar fora. A segunda execução dá-te o seu endereço. Porque é que as respostas param em vez de mudarem: um router aplica a sua lista de acesso de entrada antes de fazer qualquer outra coisa com o pacote, por isso se a política diz drop então o pacote desaparece antes de o caminho de encaminhamento olhar sequer para o limite de saltos, não é gerado nenhum Time Exceeded, e o dispositivo nunca assina o que fez. Como tal, o silêncio começa no salto culpado, não depois dele.\nEscrevi uma pequena ferramenta para percorrer os saltos porque nenhuma das nativas o faz de forma portável. Define IP_TTL (ou IPV6_UNICAST_HOPS) num socket normal, liga-se e lê de volta o erro ICMP. Em Linux, o IP_RECVERR reporta esse erro no próprio socket que o provocou, o que quer dizer que a coisa toda corre sem privilégios: sem root, sem raw sockets, sem capabilities. Em macOS, nos BSD e em Solaris o kernel não te entrega o ICMP dessa maneira, por isso recorre a um raw socket e precisa de root.\n\u0026#8615; hopfind.py: o caminhante do TTL hopfind.py · 11 kB São 279 linhas de biblioteca padrão e mais nada, e está tudo impresso no fim deste artigo se preferires lê-lo em vez de o descarregar.\npython3 hopfind.py example.net 445 # the port under suspicion python3 hopfind.py example.net 443 # the reference run python3 hopfind.py example.net 53 --proto udp python3 hopfind.py 2001:db8::1 443 -6 Usa o mesmo protocolo nas duas execuções. Comparar um rasto TCP com um rasto ICMP é comparar dois caminhos, porque o balanceamento de carga faz hash sobre o tuplo de cinco elementos e o ICMP não tem portas para o hash. Mesmo host, mesmo protocolo, porta diferente: essa é a comparação honesta.\nTudo o que está abaixo é saída real da minha própria linha a 28 de agosto de 2026, corrida como utilizador sem privilégios em Fedora. Cada endereço foi reescrito para as gamas de documentação: o RFC 5737 para IPv4, o RFC 3849 para IPv6, com o único identificador de interface também alterado. Portanto 198.51.100.x é o meu próprio router e o meu ISP, 203.0.113.x é trânsito e peering, 192.0.2.x é a rede distante, e 2001:db8::/32 é todo o caminho IPv6. A estrutura mantém-se do princípio ao fim: as mesmas fronteiras de prefixo, as mesmas formas da parte do host, o mesmo número de redes distintas. Os números dos saltos, os tempos, os tipos ICMP e o salto que ficou calado estão exatamente como foram medidos.\nUm host, três portas, três avarias diferentes O mesmo destino do princípio ao fim: um host na internet pública, a catorze saltos, com a 443 aberta. Primeiro a execução de referência.\n$ python3 hopfind.py 192.0.2.4 443 --max 15 walking to 192.0.2.4 TCP/443 hop limit 1-15 1 198.51.100.254 0.3 ms ICMP 11/0 time exceeded in-transit 2 198.51.100.133 28.8 ms ICMP 11/0 time exceeded in-transit 3 * 4 198.51.100.153 6.3 ms ICMP 11/0 time exceeded in-transit 5 * 6 203.0.113.240 16.5 ms ICMP 11/0 time exceeded in-transit 7 203.0.113.188 16.5 ms ICMP 11/0 time exceeded in-transit 8 203.0.113.185 16.5 ms ICMP 11/0 time exceeded in-transit 9 203.0.113.15 15.6 ms ICMP 11/0 time exceeded in-transit 10 203.0.113.125 16.1 ms ICMP 11/0 time exceeded in-transit 11 192.0.2.31 26.6 ms ICMP 11/0 time exceeded in-transit 12 * 13 * 14 192.0.2.4 19.5 ms connected Verdict: TCP/443 is open. It answered at hop 14. Repara nos saltos 3, 5, 12 e 13. Quatro routers num caminho que claramente funciona não disseram nada, porque há muito equipamento configurado para não gerar ICMP para si próprio, ou que o limita com força. Uma estrela não é prova de uma firewall. Se só levares uma coisa daqui, leva esta. O sinal nunca é haver estrelas numa só execução; é onde duas execuções deixam de concordar.\nAgora o mesmo host na 445, que daqui dá timeout.\n$ python3 hopfind.py 192.0.2.4 445 --max 15 walking to 192.0.2.4 TCP/445 hop limit 1-15 1 198.51.100.254 0.3 ms ICMP 11/0 time exceeded in-transit 2 198.51.100.133 8.0 ms ICMP 11/0 time exceeded in-transit 3 * 4 198.51.100.153 6.4 ms ICMP 11/0 time exceeded in-transit 5 203.0.113.76 5.6 ms ICMP 11/0 time exceeded in-transit 6 203.0.113.240 15.9 ms ICMP 11/0 time exceeded in-transit 7 203.0.113.188 15.8 ms ICMP 11/0 time exceeded in-transit 8 203.0.113.185 16.6 ms ICMP 11/0 time exceeded in-transit 9 203.0.113.15 15.9 ms ICMP 11/0 time exceeded in-transit 10 203.0.113.125 15.0 ms ICMP 11/0 time exceeded in-transit 11 * 12 * 13 * 14 * 15 * Verdict: answers stop after hop 10 (203.0.113.125). Whatever swallows TCP/445 is hop 11. Walk a port that works and read off the address at hop 11. O salto 11 respondeu à execução da 443 em 26,6 ms e não disse rigorosamente nada à execução da 445. A mesma caixa, o mesmo caminho, os mesmos dez routers à frente dela. Cruza com a execução que funciona e o salto 11 tem nome: 192.0.2.31. É esse o dispositivo que deita fora o SMB, a três saltos do destino e oito saltos depois da periferia do meu fornecedor. Não é meu, nem do meu ISP.\nO salto 5 mostra a questão das estrelas pelo lado contrário. Foi uma estrela na execução da 443 e respondeu na da 445, ao contrário da avaria. Pode ser limitação de ICMP, ou podem ser as duas execuções a seguir caminhos diferentes através de um balanceador de carga. Não sei qual é, e tu também não vais saber. Repete as duas execuções antes de acreditares em qualquer uma delas.\nDuas caminhadas do limite de saltos até ao mesmo host, e o salto onde deixam de concordar Duas caminhadas até ao mesmo host, e o salto onde deixam de concordar Uma sonda por limite de saltos. Uma célula sombreada quer dizer que esse router devolveu ICMP Time Exceeded e se identificou. o router respondeu não voltou nada calado daqui em diante 1 2 3 4 5 6 7 8 9 10 11 12 13 14 limite de saltos definido na sonda TCP/443 referência, abre \u0026#8226; \u0026#8226; * \u0026#8226; * \u0026#8226; \u0026#8226; \u0026#8226; \u0026#8226; \u0026#8226; \u0026#8226; * * \u0026#10003; abre TCP/445 em teste, dá timeout \u0026#8226; \u0026#8226; * \u0026#8226; \u0026#8226; \u0026#8226; \u0026#8226; \u0026#8226; \u0026#8226; \u0026#8226; * * * * o salto 11 respondeu a uma caminhada e não à outra Os saltos 3, 5, 12 e 13 nada disseram num caminho que funciona: uma estrela sozinha não quer dizer nada. O salto 11 respondeu à caminhada de referência em 26,6\u0026#160;ms e nunca respondeu à de teste. É essa a fronteira, e é a caminhada de referência que lhe dá um endereço:\u0026#160;192.0.2.31. As mesmas duas execuções, lado a lado. A única célula que importa é a do salto 11, e o que importa nela é o desacordo: respondeu a uma execução e não à outra. Depois a porta 25. Esta fez-me parar.\n$ python3 hopfind.py 192.0.2.4 25 --max 15 walking to 192.0.2.4 TCP/25 hop limit 1-15 1 192.0.2.4 0.4 ms TCP reset Verdict: a reset came back to a probe with a hop limit of 1. Nothing more than one hop away can have sent it, so check the reply TTL before you believe the host did. Um limite de saltos de 1 quer dizer que o pacote morreu no meu próprio router. Fez um salto. Não pode ter viajado catorze. E no entanto voltou um reset TCP em 0,4 ms com o endereço do destino, e o meu kernel reportou obedientemente connection refused. Sem o limite de saltos definido eu tê-lo-ia lido como «a outra ponta não tem servidor de correio» e fechado o ticket.\nAlguma coisa a um salto de distância está a forjar resets para SMTP de saída e a assiná-los com o endereço do destino. Bloquear a porta 25 de saída é uma coisa perfeitamente normal para um router doméstico ou um ISP fazer, e fazê-lo com um reset em vez de um drop é discutivelmente a versão educada, mas o reset leva o endereço de outra pessoa e eu não fazia ideia de que o meu o fazia. Foi o limite de saltos que o apanhou, e mais nada na resposta o teria apanhado.\nDesvio de um: onde fica a lista de acesso no pipeline O veredicto acima diz que quem deita fora é o salto 11 porque as respostas pararam depois do salto 10. Cuidado com essa aritmética, porque depende da ordem em que o dispositivo culpado faz duas tarefas.\nA maior parte do equipamento aplica primeiro a política de entrada e depois a verificação do limite de saltos. A regra de negação dispara, o pacote é descartado, e nunca é gerado nenhum Time Exceeded, por isso o dispositivo nunca aparece e o silêncio começa no seu próprio número de salto. É o caso acima. É também o mais comum.\nAlgumas plataformas tratam a expiração do limite de saltos no caminho rápido, antes de a política ser avaliada. Aí, o dispositivo responde à sonda que lhe é dirigida e só deita fora as sondas apontadas para lá dele, por isso aparece normalmente e o silêncio começa um salto mais tarde.\nPorque é que o salto culpado normalmente não aparece: a política é avaliada antes da verificação do limite de saltos Dentro do salto que te deita fora, a ordem de duas verificações decide o que vês A tua sonda chega com um salto de orçamento, e corresponde a uma regra que diz deny. Primeiro a política: quase todas as firewalls, e todos os casos medidos neste artigo o router no salto N sonda entra política de entrada limite de saltos encaminhar descartada antes de algo olhar para o limite de saltos Não é gerado ICMP, por isso este router nunca assina o drop. A tua caminhada fica calada\u0026#160;no\u0026#160;salto\u0026#160;N. Primeiro a expiração: algumas plataformas tratam-na no caminho rápido o router no salto N sonda entra limite de saltos política de entrada encaminhar expirou, por isso o ICMP 11/0 volta com o endereço deste router Responde por si e só engole as sondas apontadas para lá dele. A tua caminhada fica calada a partir do salto\u0026#160;N+1. Porque é que o salto que deita fora fica normalmente invisível. Em quase todas as firewalls a negação é avaliada primeiro, por isso a sonda desaparece antes de o caminho de encaminhamento reparar que o limite de saltos expirou, e nunca é gerado nenhum ICMP. Em equipamento que trata a expiração no caminho rápido, o mesmo dispositivo responde à sonda que lhe é dirigida e só engole as que apontam mais além. Portanto a leitura honesta de «as respostas param depois do salto N» é: quem deita fora é o salto N+1 se deitou a tua sonda ao lixo antes de reparar que o orçamento se tinha esgotado, ou o próprio salto N se respondeu à sonda que lhe era dirigida e engoliu tudo o que apontava para lá. Dois dispositivos adjacentes, e a execução que funciona dá nome a ambos. Cita os endereços, não a contagem de saltos: uma contagem de saltos não quer dizer nada a quem lê o teu ticket, que está a contar a partir de outro sítio.\nO TTL da resposta diz-te quem respondeu de facto O reset SMTP acima foi apanhado pelo limite de saltos à ida. Há uma segunda verificação, independente, disponível em cada resposta que volta, e não custa nada.\nOs valores iniciais de TTL não estão normalizados, mas na prática há três:\nComeça em Remetente típico 64 Linux, macOS, os BSD, illumos, a maioria dos hosts 255 Cisco IOS, Junos, Solaris, o tráfego próprio da maior parte do equipamento de rede 128 o Fisher-Price OS (Windows), de que continuas a precisar para ler uma resposta vinda de um Subtrai o TTL que recebeste ao valor seguinte acima e tens a contagem de saltos de volta. Uma resposta que chega com TTL 50 começou em 64 e fez 14 saltos. Uma que chega com TTL 250 começou em 255 e fez 5. O ping imprime-o sem que lho peçam:\nping -c1 192.0.2.4 # ttl=50 → 14 hops away tcpdump -n -v \u0026#39;icmp\u0026#39; # -v prints the ttl of every packet it shows Daí saem duas coisas. Ambas de graça.\nUma resposta cuja contagem de saltos de volta não bate com as outras respostas do host não foi enviada pelo host. Se uma resposta de eco de um servidor volta a 14 saltos e o RST na porta 25 volta a 1 salto, foi uma middlebox que escreveu o RST. O mesmo truque da secção acima, pela outra ponta, e funciona mesmo quando não consegues definir o TTL de saída.\nUma resposta que começou em 255 veio de equipamento de rede, não de um servidor. Útil quando estás a tentar perceber se aquilo que te rejeita é o host ou o router à frente dele.\nPara veres o campo em TCP em vez de ICMP precisas de uma captura, e vale a pena decorar o filtro:\n# every hop-limit expiry coming back to you, IPv4 and IPv6 tcpdump -n -v \u0026#39;icmp[icmptype] == 11 or icmp6[icmp6type] == 3\u0026#39; # who is resetting you, and from how far tcpdump -n -v \u0026#39;tcp[tcpflags] \u0026amp; tcp-rst != 0\u0026#39; O tcpdump imprime a expiração como ICMP time exceeded in-transit, a mesma expressão que as normas usam, e o mesmo evento que aparece como «TTL expired in transit» nas plataformas que o formulam assim.\nO mesmo truque com ferramentas nativas, em cinco Unix Se preferires não correr um script, as ferramentas nativas fazem a maior parte. Só que discordam umas das outras mais do que esperarias. O -P, em particular, quer dizer três coisas diferentes consoante o traceroute que tens na mão, e uma delas estraga-te o teste sem dizer nada.\nLinux (traceroute 2.1.x) macOS / FreeBSD OpenBSD NetBSD Solaris 11 Sondas TCP -T -P tcp inutilizável não não Sondas ICMP -I -I -I -I -I UDP para uma porta fixa -U -p N -e -p N não não não porta de destino -p N (constante para TCP) -p N (incrementa sem -e) -p N (incrementa) -p N (incrementa) -p N (incrementa) o que quer dizer -P não usado protocolo da sonda protocolo numérico, «will not work reliably for most protocols» define DF e sonda a MTU do caminho pausa entre sondas, em segundos precisa de privilégios sim, para -T e -I sim sim sim sim Todas essas precisam de raw sockets, por isso todas precisam de privilégios, embora o macOS e os BSD costumem trazer o traceroute com setuid root, por isso talvez não tenhas de escrever sudo antes dele. O Linux não traz, e o Fedora não traz, que é metade da razão por que o script acima existe.\nTrês armadilhas nessa tabela, e já vi as três desperdiçarem uma tarde.\nNos BSD e no macOS, o -p é uma porta base que incrementa a cada sonda. Por isso traceroute -P tcp -p 445 host testa a 445, depois a 446, depois a 447, e lá para o salto 10 estás a perguntar por uma porta de que nunca ninguém ouviu falar. Queres também o -e, a que a página do manual chama modo de evasão de firewall e que na verdade quer só dizer «mantém a porta quieta»:\nsudo traceroute -P tcp -e -p 445 example.net # macOS, FreeBSD Em Linux, o -p sozinho faz o mesmo no método UDP predefinido e precisas de -U -p para uma porta UDP constante. Para TCP, o -T -p já é constante: a página do manual é explícita em que «for TCP and others specifies just the (constant) destination port to connect».\nsudo traceroute -T -p 445 example.net # Linux sudo traceroute -U -p 53 example.net # Linux, UDP/53 specifically Em Solaris e NetBSD não há forma nenhuma de fixar a porta, e em Solaris o -P é uma pausa em segundos, por isso uma linha de comando copiada do Linux corre sem erro e não mede nada daquilo que pediste. O Solaris também não tem modo de sonda TCP. Este é o caso em que queres o script.\nO Redox é o caso à parte e merece uma frase, porque conto com a pergunta. Todo o seu conjunto de ferramentas de rede é o netutils: dns, ifconfig, nc, ping, telnetd, wget. Sem traceroute, sem tcpdump, nada com que capturar. Se uma máquina Redox for uma das pontas do problema, mede a partir da outra ponta e aponta-lhe a caminhada.\nO mtr também merece uma menção, porque faz a parte de repetir e tirar a média que as tabelas acima te obrigam a fazer à mão:\nsudo mtr -T -P 445 --report --report-cycles 20 example.net Corre isso contra a porta que falha e outra vez contra uma que funciona, lado a lado. O mesmo método, saída mais bonita.\nNada disto funciona se alguém bloquear o ICMP Cada medição neste artigo é feita de erros ICMP a viajar de volta até mim. Bloqueia-os e o diagnóstico inteiro fica às escuras, e muito mais com ele.\nBloquear o ICMP por atacado ainda é tratado em alguns sítios como uma postura de segurança. Não é defensável desde os anos 90. Os ataques que se imagina que trava eram o ping of death e o smurf, ambos corrigidos nas pilhas de rede e não na fronteira, e ambos corrigidos antes de terem nascido alguns dos engenheiros que ainda repetem o conselho. O que o bloqueio geral trava hoje é o diagnóstico. Mais nada.\nO RFC 1812 não deixa margem para interpretações neste ponto: o Time Exceeded é um MUST, e a norma diz que a razão é o traceroute depender dele. Deita-o fora e partiste uma ferramenta que o próprio documento de requisitos dos routers da internet aponta como a justificação para a mensagem existir.\nA descoberta da MTU do caminho é a cara. Precisa que o ICMP 3/4, fragmentation needed, volte ao remetente. Filtra isso e tens a avaria que todos os engenheiros de rede já perseguiram pelo menos uma vez, aquela em que o handshake completa e as transferências pequenas funcionam e tudo o que leve um pacote de tamanho completo fica pendurado para sempre. O SSH liga e o scp empanca. A página carrega e a imagem nunca chega. Nada nos logs. Nada a que fazer grep.\nEm IPv6 deixa de ser uma questão de gosto. O RFC 4890 §4.3.1 enumera as mensagens que uma firewall não pode deitar fora:\nDestination Unreachable (Type 1) - All codes Packet Too Big (Type 2) Time Exceeded (Type 3) - Code 0 only Parameter Problem (Type 4) - Codes 1 and 2 only e sobre o Packet Too Big é direto quanto à consequência: «Effectively, parts of the Internet will become inaccessible.» Os routers IPv6 não fragmentam. Se o Packet Too Big não conseguir chegar ao remetente, não há caminho de recuperação.\nO controlo é um limite de ritmo, não um drop. Permite o tipo 3 e o tipo 11 à entrada, conta-os, limita-os a qualquer coisa como cem por segundo, regista o que passar do limite, e manténs o diagnóstico, manténs a descoberta da MTU do caminho a funcionar, e manténs toda a proteção que se imaginava que a regra geral estava a dar à partida. Restringir quanto de uma coisa aceitas é um controlo. Recusar tudo e chamar-lhe endurecimento é só recusar ser medido.\nPara quem gere um MSP: se a linha do teu cliente deita fora os erros ICMP, tiraste-lhe a capacidade de provar em que rede está uma avaria, e a ti também. Da próxima vez que uma avaria ficar entre dois fornecedores que dizem ambos estar limpos, essa é a conta da política.\nExceto o eco. Esse deita-o fora. Tudo o que está acima é sobre erros ICMP. O eco é outro bicho, e é a única parte do protocolo que eu tiraria da linha na fronteira.\nVê o que a norma lhe exige. Em IPv4, o RFC 792 diz de um pedido de eco que «the data received in the echo message must be returned in the echo reply message». O IPv6 é ainda mais direto: o RFC 4443 define o campo como «zero or more octets of arbitrary data» e depois exige que «MUST be returned entirely and unmodified in the ICMPv6 Echo Reply message».\nLê isso como um atacante e não como um operador. A norma obriga todos os hosts do planeta a aceitar um bloco de bytes que tu escolhes e a devolver-to tal e qual. Isso não é um efeito secundário. É um canal obrigatório, bidirecional, de carga arbitrária, a correr sobre um protocolo que a maioria das firewalls deixa passar sem inspecionar e que a maior parte dos registos guarda como contagem de pacotes e não como conteúdo.\nHá trinta anos que se constroem túneis em cima dele. O Loki fê-lo na Phrack 49 em 1996. O Ptunnel leva uma sessão TCP inteira dentro de um ping e está a um pacote de distância há duas décadas. Se a tua política de saída é «bloquear tudo, permitir ICMP porque a equipa de rede precisa», não tens uma política de saída. Tens uma VPN com passos a mais, e o tráfego sai com ar de alguém a testar se a internet está em cima.\nO RFC 4890 discorda de mim, e vale a pena dizê-lo com clareza em vez de citar só a metade que me convém. O §4.3.1 põe o Echo Request e o Echo Response na mesma lista de mensagens a não deitar fora que os erros. Depois lê a justificação que dá:\nFor Teredo tunneling [RFC4380] to IPv6 nodes on the site to be possible, it is essential that the connectivity checking messages are allowed through the firewall.\nA razão declarada para manter o eco aberto é que alguém precisa de construir um túnel através da tua firewall com ele. Esse é o meu argumento, escrito pelas pessoas que defendem o contrário.\nPor isso a política é estreita, não geral:\n# transit rules. permit the errors, drop the ping ip protocol icmp icmp type { destination-unreachable, time-exceeded, parameter-problem } \\ limit rate 100/second accept ip protocol icmp icmp type { echo-request, echo-reply } drop ip6 nexthdr ipv6-icmp icmpv6 type { destination-unreachable, packet-too-big, \\ time-exceeded, parameter-problem } limit rate 100/second accept ip6 nexthdr ipv6-icmp icmpv6 type { echo-request, echo-reply } drop Em IPv6, não leves esse padrão para uma cadeia link-local ou de host sem manter a descoberta de vizinhos. Os tipos 133 a 137, do nd-router-solicit ao nd-redirect, são a forma como o IPv6 faz o trabalho que o ARP faz em IPv4. Deita-os fora e o segmento deixa de funcionar em minutos, e não vai parecer uma avaria de firewall. Filtra o eco na fronteira, não na ligação entre um host e o seu próprio router.\nQuanto é que isso te custa? O ping através da fronteira, e mais nada. Tudo o que está neste artigo continua a funcionar, porque nem uma das medições aqui envia um pedido de eco. O hopfind.py percorre TCP e UDP e lê os erros que voltam; o traceroute -T e o -U fazem o mesmo. A descoberta da MTU do caminho precisa do Packet Too Big, que é um erro. O truque do TTL inverso funciona com qualquer resposta, e um handshake TCP dá-te uma. A única coisa que perdes é a ferramenta menos informativa da caixa, e este artigo inteiro é um argumento sobre porque é que parar no ping é, à partida, o problema.\nA minha própria linha já faz exatamente isto, embora duvide que tenha sido de propósito. O ping para o meu gateway predefinido dá 100% de perda, e o ICMP Time Exceeded desse mesmo gateway volta em 0,3 ms, como mostram todos os rastos deste artigo. Eco fechado, erros abertos. Quem lançou esse firmware acertou, e eu só descobri que tinha acertado por ir à procura.\nA mesma regra, escrita uma só vez Aqui está a avaria que não esperava encontrar em minha casa. Um resolver DNS público, percorrido em TCP/443 nas duas famílias, com minutos de diferença.\n$ python3 hopfind.py 192.0.2.53 443 --max 10 walking to 192.0.2.53 TCP/443 hop limit 1-10 1 * 2 * 3 * 4 * 5 * 6 * 7 * 8 * 9 * 10 * Verdict: nothing answered at all, not even the first hop. Nada de nada. Nem um salto. O meu próprio router nem sequer reportou a expiração que tem de ter gerado, a mesma expiração que reportou em 0,3 ms em todas as outras caminhadas deste artigo, por isso o drop acontece no salto 1, antes de a verificação do limite de saltos chegar a correr, e o salto 1 é meu.\nO caminho está bem, como o mesmo destino prova em UDP:\n$ python3 hopfind.py 192.0.2.53 53 --proto udp --max 10 1 198.51.100.254 0.3 ms ICMP 11/0 time exceeded in-transit 2 198.51.100.133 5.4 ms ICMP 11/0 time exceeded in-transit 3 * 4 198.51.100.167 14.5 ms ICMP 11/0 time exceeded in-transit 5 203.0.113.50 6.3 ms ICMP 11/0 time exceeded in-transit 6 203.0.113.174 5.7 ms ICMP 11/0 time exceeded in-transit 7 203.0.113.201 6.4 ms ICMP 11/0 time exceeded in-transit 8 * Sete saltos de respostas limpas para o mesmo endereço. Portanto não é o encaminhamento e não é o destino: alguma coisa na minha linha deita fora o TCP para esse host e deixa passar o UDP para ele.\nDepois o mesmo resolver, a mesma porta, em IPv6:\n$ python3 hopfind.py 2001:db8:53::53 443 -6 --max 10 walking to 2001:db8:53::53 TCP/443 hop limit 1-10 1 2001:db8:1:ee:beef:abcd:fec0:2a30 0.5 ms ICMP 3/0 hop limit exceeded in-transit 2 2001:db8:1::15c 24.6 ms ICMP 3/0 hop limit exceeded in-transit 3 * 4 2001:db8:2:200::50 5.5 ms ICMP 3/0 hop limit exceeded in-transit 5 2001:db8:2:2::4 5.7 ms ICMP 3/0 hop limit exceeded in-transit 6 2001:db8:2:991:: 16.6 ms ICMP 3/0 hop limit exceeded in-transit 7 2001:db8:53::53 5.7 ms connected Verdict: TCP/443 is open. It answered at hop 7. A direito. Sete saltos, sem drama. O mesmo serviço, a mesma porta, a mesma intenção, e a regra só existe numa família de endereços.\nQuem escreveu essa regra escreveu-a para IPv4 e nunca escreveu a gémea. Não faço ideia do que pretendia conseguir, o meu palpite é algo para manter o DNS local, mas fosse o que fosse, tem-no conseguido em metade do tráfego desde que esta linha tem IPv6. Se estava lá por uma razão, não funciona. Se não estava, não devia lá estar.\nEssa é a versão do dia a dia do problema do dual-stack, e é muito mais comum do que as discussões sobre se se deve sequer implementar IPv6. Dois livros de regras. Um mantido.\nO script, completo Sem dependências, sem instalação, nada além da biblioteca padrão. Python 3.6 ou posterior, e em Linux sem privilégio nenhum.\nAs duas classes são toda a história da portabilidade. A ErrorQueue é o caminho do Linux: ativa IP_RECVERR no socket e, depois de a sonda falhar, lê MSG_ERRQUEUE e tira o endereço do router da estrutura sock_extended_err à qual o kernel o acrescenta. A RawIcmp é para todo o resto: abre um raw socket ICMP, lê o que chegar, tira o endereço de origem do pacote. A primeira não precisa de nada, a segunda precisa de root, e o resto do programa não quer saber qual delas lhe calhou.\nHá um pormenor que vale a pena apontar porque é a diferença entre uma resposta certa e uma plausível. Em probe() a fila de erros é esvaziada antes de se consultar o SO_ERROR. Um erro ICMP chega a um socket TCP como um errno simples, ICMP 3/3 port unreachable chega como ECONNREFUSED, exatamente como um reset verdadeiro, por isso verificar primeiro o SO_ERROR teria reportado o reset SMTP forjado mais acima neste artigo como uma recusa honesta da outra ponta. Lê primeiro a fila e o ee_origin diz-te que foi um router a falar.\n#!/usr/bin/env python3 \u0026#34;\u0026#34;\u0026#34;hopfind - work out how many hops away the thing blocking your port is. Walks the IPv4 TTL, or the IPv6 hop limit, up from 1 and records which router answers at each step - using the protocol and port you actually care about instead of traceroute\u0026#39;s default UDP high ports. Run it twice. Once against something that works, once against the port that does not. The hop where the answers stop is the device dropping you, and the run that works gives you its address. python3 hopfind.py example.net 445 # the port under suspicion python3 hopfind.py example.net 443 # the reference run python3 hopfind.py example.net 53 --proto udp python3 hopfind.py 2001:db8::1 443 -6 On Linux this needs no privileges at all: IP_RECVERR and IPV6_RECVERR hand the ICMP errors back on the ordinary socket that caused them. On macOS, the BSDs and Solaris the errors have to be read off a raw ICMP socket, which means root. Written for https://blogs.damiendye.uk/networking/how-far-away-is-the-firewall/ Public domain. Do what you like with it. \u0026#34;\u0026#34;\u0026#34; import argparse import errno import os import select import socket import struct import sys import time # Linux socket options. Absent from the socket module on some builds, so they # are spelled out rather than looked up. IP_RECVERR = 11 IPV6_RECVERR = 25 # ee_origin values from linux/errqueue.h. Anything else means the errno came # from the local stack rather than from a router. SO_EE_ORIGIN_ICMP = 2 SO_EE_ORIGIN_ICMP6 = 3 ICMP_V4 = { (11, 0): \u0026#34;time exceeded in-transit\u0026#34;, (11, 1): \u0026#34;fragment reassembly time exceeded\u0026#34;, (3, 0): \u0026#34;net unreachable\u0026#34;, (3, 1): \u0026#34;host unreachable\u0026#34;, (3, 2): \u0026#34;protocol unreachable\u0026#34;, (3, 3): \u0026#34;port unreachable\u0026#34;, (3, 4): \u0026#34;fragmentation needed\u0026#34;, (3, 9): \u0026#34;net administratively prohibited\u0026#34;, (3, 10): \u0026#34;host administratively prohibited\u0026#34;, (3, 13): \u0026#34;communication administratively prohibited\u0026#34;, (5, 0): \u0026#34;redirect\u0026#34;, } ICMP_V6 = { (3, 0): \u0026#34;hop limit exceeded in-transit\u0026#34;, (3, 1): \u0026#34;fragment reassembly time exceeded\u0026#34;, (1, 0): \u0026#34;no route to destination\u0026#34;, (1, 1): \u0026#34;communication administratively prohibited\u0026#34;, (1, 3): \u0026#34;address unreachable\u0026#34;, (1, 4): \u0026#34;port unreachable\u0026#34;, (2, 0): \u0026#34;packet too big\u0026#34;, } def describe(family, icmp_type, icmp_code): table = ICMP_V4 if family == socket.AF_INET else ICMP_V6 return table.get((icmp_type, icmp_code), \u0026#34;unrecognised\u0026#34;) def is_expiry(family, icmp_type): \u0026#34;\u0026#34;\u0026#34;Was this the router saying \u0026#39;your hop budget ran out here\u0026#39;?\u0026#34;\u0026#34;\u0026#34; return icmp_type == (11 if family == socket.AF_INET else 3) class ErrorQueue: \u0026#34;\u0026#34;\u0026#34;Linux. The kernel reports the ICMP error on the socket that provoked it.\u0026#34;\u0026#34;\u0026#34; def arm(self, sock, family): if family == socket.AF_INET: sock.setsockopt(socket.IPPROTO_IP, IP_RECVERR, 1) else: sock.setsockopt(socket.IPPROTO_IPV6, IPV6_RECVERR, 1) def extra_readers(self): return [] def collect(self, sock, family): try: _, ancillary, _, _ = sock.recvmsg(0, 1024, socket.MSG_ERRQUEUE) except OSError: return None wanted = (socket.IPPROTO_IP, IP_RECVERR) if family == socket.AF_INET \\ else (socket.IPPROTO_IPV6, IPV6_RECVERR) for level, kind, data in ancillary: if (level, kind) != wanted or len(data) \u0026lt; 16: continue # struct sock_extended_err, then the sockaddr of the router that # sent the error - SO_EE_OFFENDER in the kernel headers. _, origin, icmp_type, icmp_code = struct.unpack_from(\u0026#34;=IBBB\u0026#34;, data, 0) if origin not in (SO_EE_ORIGIN_ICMP, SO_EE_ORIGIN_ICMP6): return None addr = None if len(data) \u0026gt;= 24: offender_family, = struct.unpack_from(\u0026#34;=H\u0026#34;, data, 16) if offender_family == socket.AF_INET: addr = socket.inet_ntoa(data[20:24]) elif offender_family == socket.AF_INET6 and len(data) \u0026gt;= 40: addr = socket.inet_ntop(socket.AF_INET6, data[24:40]) return addr, icmp_type, icmp_code return None class RawIcmp: \u0026#34;\u0026#34;\u0026#34;macOS, the BSDs, illumos, Solaris. Read the ICMP off a raw socket, as root.\u0026#34;\u0026#34;\u0026#34; def __init__(self, family): proto = socket.IPPROTO_ICMP if family == socket.AF_INET else socket.IPPROTO_ICMPV6 self.sock = socket.socket(family, socket.SOCK_RAW, proto) self.sock.setblocking(False) def arm(self, sock, family): pass def extra_readers(self): return [self.sock] def collect(self, sock, family): try: packet, peer = self.sock.recvfrom(1500) except OSError: return None if family == socket.AF_INET: # BSD raw sockets hand back the IP header too. header_len = (packet[0] \u0026amp; 0x0F) * 4 packet = packet[header_len:] if len(packet) \u0026lt; 2: return None return peer[0], packet[0], packet[1] def probe(dest, port, proto, family, hop_limit, timeout, listener): \u0026#34;\u0026#34;\u0026#34;One probe at one hop limit. Returns (icmp, socket_state, note).\u0026#34;\u0026#34;\u0026#34; kind = socket.SOCK_STREAM if proto == \u0026#34;tcp\u0026#34; else socket.SOCK_DGRAM sock = socket.socket(family, kind) if family == socket.AF_INET: sock.setsockopt(socket.IPPROTO_IP, socket.IP_TTL, hop_limit) else: sock.setsockopt(socket.IPPROTO_IPV6, socket.IPV6_UNICAST_HOPS, hop_limit) listener.arm(sock, family) sock.setblocking(False) try: if kind == socket.SOCK_DGRAM: sock.connect((dest, port)) sock.send(b\u0026#34;\\x00\u0026#34; * 32) else: try: sock.connect((dest, port)) except BlockingIOError: pass except OSError as exc: sock.close() return None, None, \u0026#34;local error: %s\u0026#34; % exc.strerror readers = [sock] + listener.extra_readers() writers = [] if kind == socket.SOCK_DGRAM else [sock] deadline = time.time() + timeout icmp = state = None while time.time() \u0026lt; deadline: ready_r, ready_w, ready_x = select.select( readers, writers, [sock], max(0.01, deadline - time.time())) if not (ready_r or ready_w or ready_x): continue # Drain the error queue first, always. An ICMP error reaches a TCP # socket as a plain errno, so SO_ERROR on its own cannot tell you # whether a router spoke or the far end did. icmp = listener.collect(sock, family) if icmp: break if ready_w: err = sock.getsockopt(socket.SOL_SOCKET, socket.SO_ERROR) if err == 0: state = \u0026#34;connected\u0026#34; elif err == errno.ECONNREFUSED: state = \u0026#34;TCP reset\u0026#34; else: state = os.strerror(err) break sock.close() if icmp or state: return icmp, state, None return None, None, \u0026#34;no reply\u0026#34; def walk(dest, port, proto, family, first, last, timeout, listener): print(\u0026#34;walking to %s %s/%d hop limit %d-%d\u0026#34; % (dest, proto.upper(), port, first, last)) answered = [] for hop in range(first, last + 1): started = time.time() icmp, state, _ = probe(dest, port, proto, family, hop, timeout, listener) rtt = (time.time() - started) * 1000 if icmp: addr, icmp_type, icmp_code = icmp print(\u0026#34; %2d %-39s %7.1f ms ICMP %d/%d %s\u0026#34; % (hop, addr or \u0026#34;?\u0026#34;, rtt, icmp_type, icmp_code, describe(family, icmp_type, icmp_code))) if is_expiry(family, icmp_type): answered.append((hop, addr)) else: return answered, hop, \u0026#34;icmp-reject\u0026#34;, addr elif state: print(\u0026#34; %2d %-39s %7.1f ms %s\u0026#34; % (hop, dest, rtt, state)) return answered, hop, state, dest else: print(\u0026#34; %2d *\u0026#34; % hop) return answered, None, \u0026#34;silent\u0026#34;, None def main(): parser = argparse.ArgumentParser(description=__doc__.splitlines()[0]) parser.add_argument(\u0026#34;host\u0026#34;) parser.add_argument(\u0026#34;port\u0026#34;, nargs=\u0026#34;?\u0026#34;, type=int, default=443) parser.add_argument(\u0026#34;--proto\u0026#34;, choices=(\u0026#34;tcp\u0026#34;, \u0026#34;udp\u0026#34;), default=\u0026#34;tcp\u0026#34;) parser.add_argument(\u0026#34;--first\u0026#34;, type=int, default=1, help=\u0026#34;hop limit to start at\u0026#34;) parser.add_argument(\u0026#34;--max\u0026#34;, type=int, default=20, help=\u0026#34;hop limit to stop at\u0026#34;) parser.add_argument(\u0026#34;--wait\u0026#34;, type=float, default=2.0, help=\u0026#34;seconds to wait per hop\u0026#34;) parser.add_argument(\u0026#34;-6\u0026#34;, dest=\u0026#34;v6\u0026#34;, action=\u0026#34;store_true\u0026#34;, help=\u0026#34;force IPv6\u0026#34;) parser.add_argument(\u0026#34;-4\u0026#34;, dest=\u0026#34;v4\u0026#34;, action=\u0026#34;store_true\u0026#34;, help=\u0026#34;force IPv4\u0026#34;) args = parser.parse_args() family = socket.AF_INET6 if args.v6 else socket.AF_INET kind = socket.SOCK_STREAM if args.proto == \u0026#34;tcp\u0026#34; else socket.SOCK_DGRAM dest = socket.getaddrinfo(args.host, args.port, family, kind)[0][4][0] if sys.platform.startswith(\u0026#34;linux\u0026#34;): listener = ErrorQueue() else: try: listener = RawIcmp(family) except PermissionError: sys.exit(\u0026#34;%s cannot report ICMP errors on a normal socket, so this \u0026#34; \u0026#34;needs a raw one. Run it as root.\u0026#34; % sys.platform) answered, stop, why, who = walk(dest, args.port, args.proto, family, args.first, args.max, args.wait, listener) what = \u0026#34;%s/%d\u0026#34; % (args.proto.upper(), args.port) print() if why == \u0026#34;connected\u0026#34;: print(\u0026#34;Verdict: %s is open. It answered at hop %d.\u0026#34; % (what, stop)) elif why == \u0026#34;icmp-reject\u0026#34;: print(\u0026#34;Verdict: %s at hop %d is refusing %s on policy, and is honest \u0026#34; \u0026#34;enough to say so.\u0026#34; % (who, stop, what)) elif why == \u0026#34;TCP reset\u0026#34;: print(\u0026#34;Verdict: a reset came back to a probe with a hop limit of %d.\u0026#34; % stop) print(\u0026#34; Nothing more than %s away can have sent it, so check the reply\u0026#34; % (\u0026#34;one hop\u0026#34; if stop == 1 else \u0026#34;%d hops\u0026#34; % stop)) print(\u0026#34; TTL before you believe the host did.\u0026#34;) elif answered: last_hop, last_addr = answered[-1] print(\u0026#34;Verdict: answers stop after hop %d (%s).\u0026#34; % (last_hop, last_addr)) print(\u0026#34; Whatever swallows %s is hop %d.\u0026#34; % (what, last_hop + 1)) print(\u0026#34; Walk a port that works and read off the address at hop %d.\u0026#34; % (last_hop + 1)) else: print(\u0026#34;Verdict: nothing answered at all, not even the first hop. Either the\u0026#34;) print(\u0026#34; first hop is the one dropping you, or the ICMP errors are being\u0026#34;) print(\u0026#34; filtered on the way back. Walk a port that works to tell those\u0026#34;) print(\u0026#34; two apart.\u0026#34;) if __name__ == \u0026#34;__main__\u0026#34;: main() O que isto não te consegue dizer O método é barato e é honesto sobre quase tudo, mas não é um scanner de topologia. Sê franco no ticket sobre o que mediste de facto.\nTuplos de cinco elementos diferentes podem seguir caminhos diferentes. O ECMP faz hash das portas de origem e de destino na escolha do próximo salto, por isso não há garantia nenhuma de que duas execuções em duas portas diferentes atravessem os mesmos routers, que é uma das duas coisas que podiam explicar o salto 5 acima responder a uma execução e ficar calado na outra. Repete as duas execuções. Uma fronteira que se mexe não está provada.\nO MPLS esconde saltos. Um núcleo com comutação de etiquetas pode apresentar-se como um salto, ou como nenhum. Qualquer contagem através da rede dorsal de outra pessoa é um limite inferior.\nA geração de ICMP tem limite de ritmo em quase todo o lado. Sonda mais depressa do que o router responde e fabricas as tuas próprias estrelas. O hopfind.py envia uma sonda por salto e espera; é de propósito.\nO caminho de volta não tem de coincidir com o de ida. A contagem de saltos à ida não é a contagem de saltos à volta, e a aritmética do TTL inverso mede só a perna de regresso.\nAnycast quer dizer que o host no salto N pode não ser a mesma caixa duas vezes. Resolvers públicos e CDN, em particular.\nUm handshake completo não quer dizer que a sessão sobrevive. Uma firewall com estado pode permitir o SYN e deitar fora o que vem a seguir após inspeção. Se a ligação abre e depois morre, este é o instrumento errado: vai capturar.\nEncontraste o primeiro dispositivo que deita fora, não aquele que alguém vai admitir. Numa CGN ou numa rede de operador, o endereço no salto N+1 pode ser uma de várias caixas atrás de um só endereço. Continua a ser a coisa certa a citar, porque é um facto sobre o caminho.\nPara que serve de facto Acabar com o pingue-pongue. É todo o retorno do exercício.\n«A porta 445 está bloqueada algures» é um convite a devolver o ticket. Isto não é:\nTCP/445 para 192.0.2.4 é deitado fora em silêncio no salto 11, endereço 192.0.2.31. O salto 11 responde com ICMP Time Exceeded a TCP/443 no mesmo caminho em 26 ms e não responde rigorosamente nada na 445, por isso o drop é uma decisão de política nesse dispositivo, não uma avaria de encaminhamento. Os dez saltos à frente dele estão limpos. Reproduzido quatro vezes ao longo de vinte minutos, a partir de uma shell sem privilégios, script em anexo.\nNinguém devolve isso. Dá nome a um dispositivo, diz o que ele fez, diz o que ele não fez, e mostra as contas. Se decidem mudá-lo continua a ser decisão deles. Mas a semana de pingue-pongue acabou, e bastaram quatro comandos.\nTudo isto saiu de um campo de 8 bits que foi especificado como temporizador em 1981, nunca foi usado como tal uma única vez, e transforma discretamente «algures» num endereço.\nVale a pena aprender a lê-lo.\n","permalink":"https://blogs.damiendye.uk/pt/networking/how-far-away-is-the-firewall/","summary":"«A porta 445 está bloqueada algures» não é um diagnóstico, e é por isso que os tickets de firewall andam uma semana aos saltos entre ti e o teu fornecedor. Cada router no caminho deve-te um ICMP Time Exceeded quando o teu orçamento de saltos se esgota, e isso transforma um timeout numa distância. Fiz subir o TTL na minha própria linha e encontrei três avarias que não sabia que tinha: um drop de SMB a onze saltos, resets SMTP forjados a um salto de distância, e uma regra IPv4 sem gémea em IPv6.","title":"A firewall está a onze saltos de distância"},{"content":"Há uma história que a indústria britânica conta sobre o IPv6, e é mais ou menos assim. A mudança é difícil. O equipamento é velho. Os clientes não o pedem. Não há dinheiro nisso. Um dia, quando o business case virar, lá chegaremos.\nCada pedaço disto é uma mentira que a indústria conta a si própria para não ter de trabalhar.\nO IPv6 foi especificado em dezembro de 1995. Cheguei a ele pelo 6bone, a rede de testes experimental que o transportava antes de a internet a sério o fazer, e corri tanto a pilha do Linux como a pilha da Microsoft Research no Windows XP para ver em que diferiam. O meu acesso vinha da Hurricane Electric.\nO 6bone foi desligado a 6 de junho de 2006, por isso passei para o túnel automático 6to4, e mais tarde para um túnel da Hurricane Electric — ainda gratuito, e encaminham-te um /48 é só pedir. O IPv6 nativo chegou a minha casa em 2017, quando mudei de ISP para a Zen.\nPortanto, durante quase vinte anos o meu IPv6 veio de uma empresa de trânsito americana que o dava de borla, e não de nenhum dos ISP britânicos a quem eu pagava. A Hurricane Electric distribuía /48 encaminhados a quem quisesse um. O meu próprio fornecedor vendia-me um IPv4 fixo por cinco libras por mês.\nAs datas dizem o resto. O IETF matou o 6bone em 2006 e descontinuou os relays anycast do 6to4 em maio de 2015, chamando ao mecanismo «unsuitable for widespread deployment and use in the Internet». Sobrevivi a dois mecanismos oficiais de transição à espera de que um ISP britânico me desse um endereço. No dia em que o 6bone fechou, trinta e sete dos quarenta fornecedores britânicos do gráfico mais abaixo ainda não tinham pedido uma alocação ao registo. Vinte e dois deles — mais de metade — só pediram em 2015 ou depois, o ano em que o IETF também desistiu do 6to4.\nVem ligado por omissão em todos os sistemas operativos que alguém usa desde o Windows Vista, em 2007. Não custa nada a mais no registo. O maior ISP que alguma vez o tentou neste país acabou o trabalho em três anos com uma equipa que cabia numa sala de reuniões, e ganhou um prémio por isso.\nTrinta anos depois da especificação. Catorze anos depois do dia em que a internet o ligou para sempre. E a resposta neste país foi partir a internet de propósito, embrulhar a parte partida em mais maquinaria e cobrar ao cliente o incómodo.\nIsto não é um problema de custo. É um problema de falta de pachorra, e já dura há vinte anos.\nO que medi, e como Tudo o que se segue é ou trabalho de outra pessoa, com ligação, ou um número que eu próprio produzi. Onde é meu, o script que o contou está no download abaixo, corrido tal como publicado. A única exceção são os totais de endereços, e explico como são calculados nas ressalvas. Quatro fontes públicas, todas gratuitas: os ficheiros de delegação dos registos, o dump da tabela de encaminhamento do RIPE, a base de dados do RIPE e o DNS. Onde escolhi uma amostra em vez de medir tudo, digo-o.\nOs números de encaminhamento vêm de dois conjuntos de ficheiros públicos.\nO primeiro são os ficheiros de delegação, um por registo regional, que listam cada bloco de endereços e número AS que esse registo distribuiu, o país em que está registado e um identificador opaco da organização que o detém. O do RIPE cobre a Europa e o Médio Oriente, e é o que conta para o Reino Unido — mas umas dezenas de números AS registados no Reino Unido estão nos ficheiros da ARIN e da APNIC, e a comparação mais abaixo precisa de todos. Os meus foram gerados a 26 e 27 de agosto de 2026.\nO segundo é o dump da tabela de encaminhamento global do RIPE Routing Information Service, que lista cada prefixo no BGP e o número AS que o anuncia. IPv4 e IPv6 vêm em ficheiros separados. O meu foi gerado às 18:06 UTC de 27 de agosto de 2026.\nJunta-os e consegues responder a uma pergunta que ninguém na indústria britânica quer ver feita em voz alta: das redes que este país registou, quantas ligaram de facto o IPv6?\n\u0026#8615; Os scripts, prontos a correr ipv6-uk-2026-scripts.zip · 10 kB Tira dos ficheiros de delegação os números AS registados em GB, tira dos dumps do RIS todos os números AS que originam um prefixo, e faz comm das duas listas uma contra a outra por família de endereços. Isso dá a primeira tabela abaixo. Uma armadilha que vale a pena nomear: ordena lexicalmente, não com sort -n. O comm compara cadeias de caracteres, e uma entrada ordenada numericamente dá-te silenciosamente a resposta errada em vez de um erro que notarias.\nTroca GB por qualquer outro código de país e obténs a linha desse país na tabela de comparação mais abaixo. O 05-country-row.sh faz exatamente isso.\nOs números ao nível da organização usam o oitavo campo, que é o identificador opaco do registo para a conta que detém cada recurso. Estes ficam só no ficheiro do RIPE — os identificadores são locais a cada registo, por isso juntar cinco deles contaria a mesma empresa duas vezes em vez de a fundir. As organizações britânicas são membros do RIPE, por isso é no RIPE que estão. Eis quantas têm um número AS e nenhum IPv6:\nO 03-org-no-ipv6.sh conta-as. E o 04-silent-holders.py é o que mais importa. As organizações que têm IPv6, estão ativas no BGP e não anunciam nada dele.\nQuatro ressalvas antes dos números, porque importam e prefiro dizê-las a vê-las atiradas à cara.\nOs identificadores de organização são por conta de registo, por isso uma empresa com várias contas conta mais do que uma vez.\nAnunciar um prefixo IPv6 no BGP não é o mesmo que entregar IPv6 a um cliente. É o chão, não o teto. Uma rede que não anuncia nada certamente não o implementou. Uma rede que anuncia alguma coisa pode ainda estar sentada em cima dele.\nOs totais de endereços fundem os prefixos sobrepostos. Uma rede que anuncia um /16 ao lado de quatro /17 tirados dele está a anunciar 65 536 endereços, não 196 608, e contar os prefixos de forma ingénua infla os grandes detentores duas ou três vezes. Uso o ipaddress.collapse_addresses do Python antes de somar.\nA lista de cinquenta sites mais adiante é uma amostra que escolhi à mão, não uma medição do país inteiro. Outros cinquenta dariam outra fração. Ilustra um padrão em vez de provar uma proporção, e nomeio os que refiro à medida que avanço.\nAs duas primeiras ressalvas tornam os números de encaminhamento mais simpáticos para a indústria do que a verdade.\nA contagem Números AS britânicos, e quantos transportam IPv6 Redes britânicas na tabela de encaminhamento global, 27 de agosto de 2026 Fonte: ficheiro de delegação do RIPE NCC e dump da tabela de encaminhamento do RIPE RIS registados no Reino Unido 3106 visíveis na tabela de rotas 2248 a anunciar IPv4 2078 a anunciar IPv6 1048 IPv4 e nenhum IPv6 1200 57,7% das redes britânicas ativas Dessas 1200, um total de\u0026#160;463 têm espaço IPv6 que o registo já lhes atribuiu e nunca anunciaram um único prefixo dele. Outras 1113 organizações britânicas com um número AS nunca pediram IPv6, embora não custe nada além da quota de membro que já pagam. Todos os números AS registados por uma organização britânica, medidos contra a tabela de encaminhamento global a 27 de agosto de 2026. O fosso à direita é o argumento todo: 1200 redes britânicas estão ativas na internet sem IPv6 nenhum, e 463 delas detêm espaço IPv6 atribuído pelo registo que nunca anunciaram. Números AS registados por organizações britânicas 3106 Visíveis na tabela de encaminhamento global 2248 A anunciar IPv4 2078 A anunciar IPv6 1048 A anunciar IPv4 e nenhum IPv6 1200 — 57,7% Quase seis em cada dez redes britânicas ativas não transportam IPv6 nenhum. Nem parcialmente. Nem atrás de uma opção. Nem num laboratório. Nem um prefixo.\nAgora a parte que acaba de vez com o argumento do custo.\nDas 2363 organizações britânicas com um número AS, 1113 — 47,1% — não têm alocação IPv6 de espécie nenhuma. Nunca a pediram ao registo.\nSer membro do RIPE NCC custa 1800 EUR por ano em 2026, valor fixo, e essa quota cobre as tuas alocações. Um /29 IPv6 dá-te 524 288 sub-redes do tamanho da internet IPv4 inteira. É gratuito com uma quota que estas organizações já pagam, e chega em dois ou três dias.\nMetade delas nunca preencheu o formulário.\nE das que preencheram, 463 organizações britânicas têm espaço IPv6, anunciam IPv4 ao mundo todos os dias e não anunciam IPv6 nenhum. São 44,7% dos detentores britânicos de IPv6 que estão ativos no BGP.\nLê isso outra vez, porque é o artigo inteiro numa frase. Pediram os endereços. Deram-lhes os endereços. Puseram-nos numa folha de cálculo. Depois ninguém teve pachorra para os escrever num router.\nNão consegues explicar isso com dinheiro. Ninguém gastou nada. Não há fatura, não há compras, não há business case, não há pedido de investimento. Há uma coisa gratuita parada numa conta de registo, e um departamento de engenharia que não abriu o ticket em catorze anos.\nQuem está nessa lista Estas são as maiores redes britânicas a anunciar IPv4 e nenhum IPv6, pela quantidade de espaço de endereços que anunciam de facto, a 27 de agosto de 2026. Os nomes vêm da base de dados do RIPE, que te diz quem detém qualquer uma delas:\ncurl -s https://rest.db.ripe.net/ripe/aut-num/AS15914.json \\ | python3 -c \u0026#39;import sys,json; a=json.load(sys.stdin)[\u0026#34;objects\u0026#34;][\u0026#34;object\u0026#34;][0][\u0026#34;attributes\u0026#34;][\u0026#34;attribute\u0026#34;]; print(next(x[\u0026#34;value\u0026#34;] for x in a if x[\u0026#34;name\u0026#34;]==\u0026#34;org\u0026#34;))\u0026#39; As maiores redes britânicas sem IPv6 As maiores redes britânicas a anunciar IPv4 e nenhum IPv6, 27 de agosto de 2026 Endereços IPv4 anunciados no BGP, prefixos sobrepostos fundidos. Nomes da base de dados do RIPE. 0 mil 50 mil 100 mil 150 mil 200 mil Vodafone Limited AS25310 229 376 Nationwide Building Society AS8698 131 072 British Airways plc AS15914 131 072 Convergence Group (Metronet) AS42973 94 976 Rackspace Ltd AS24867 86 016 Lloyds Banking Group AS49758 81 920 QinetiQ Limited AS24775 69 632 Barclays Bank plc AS12701 68 608 MUFG Securities EMEA AS8651 65 792 University of Warwick AS201773 65 792 NatWest Markets plc AS21054 65 536 PricewaterhouseCoopers Services AS21296 65 536 London Borough of Hackney AS39400 65 536 Wireless Logic Limited AS51320 39 424 Somadas, as redes britânicas sem IPv6 estão sentadas em\u0026#160;4 232 232 endereços IPv4. O Barclays detém o 141.228.0.0/16 desde agosto de 1990. As catorze maiores redes britânicas a anunciar IPv4 e nenhum IPv6 a 27 de agosto de 2026, pelo espaço de endereços que anunciam de facto. Prefixos sobrepostos fundidos antes de somar. Olha para essa lista e tenta dizer as palavras «barreira de custo» sem te rires.\nQuatro dos grandes bancos de compensação. Uma consultora de contabilidade global cujo produto inteiro é dizer aos outros como gerir os seus assuntos. Uma empresa de tecnologia de defesa. Um fornecedor de alojamento cujos clientes lhe pagam para saber disto. Uma empresa de conectividade para a internet das coisas, a vender cartões SIM, sem IPv6.\nSomadas, as redes britânicas que não anunciam IPv6 estão sentadas em 4 232 232 endereços IPv4. O mercado de transferências teve uma média de 20,04 dólares por endereço no primeiro semestre de 2026, por isso é um património que vale bem mais de oitenta milhões de dólares. E é essa a verdadeira razão por que nenhuma delas se mexeu: são ricas em endereços, por isso a escassez é problema de outro, e a canalização de longo prazo da internet não é trabalho de ninguém em particular.\nIsto não é uma estratégia. Isto é estar confortável.\nO ficheiro de delegação traz a data em que cada bloco foi atribuído, por isso podes ver exatamente quão confortável:\ngrep -E \u0026#39;\\|ipv4\\|(141\\.228|155\\.131|155\\.136|161\\.2)\\.0\\.0\\|\u0026#39; \\ delegated-ripencc-extended-latest | cut -d\u0026#39;|\u0026#39; -f4,5,6 O Barclays detém o 141.228.0.0/16 desde 6 de agosto de 1990. O Nationwide e o NatWest ficaram com os seus em novembro de 1991, com quatro dias de diferença. A British Airways recebeu o 161.2.0.0/16 em abril de 1992. São blocos de classe B de antes de a web existir, distribuídos quando os endereços eram gratuitos e ninguém os contava.\nTodos os que vieram depois pagam por isso. A AWS começou a cobrar 0,005 dólares por hora por cada endereço IPv4 público a 1 de fevereiro de 2024 — 43,80 dólares por ano, cada um — e disse claramente porquê: o custo de adquirir um «has risen more than 300% over the past 5 years.» A escassez é real e tem preço. Só que não está a ser paga por quem detém quatro milhões de endereços que recebeu a troco de nada em 1991.\nComo nos comparamos com países como o nosso Dois números por país. O primeiro é a percentagem da sua população que chega à Google por IPv6 nativo, que é a medição da Google a 25 de agosto de 2026. O segundo é a percentagem das suas redes ativas que anunciam um prefixo IPv6, que é minha, a partir dos mesmos ficheiros de cima. Fiquei pelas economias desenvolvidas. Comparar-nos com países que chegaram tarde à internet não nos diz nada sobre nós. Ordenado por pessoas.\nPaís Utilizadores em IPv6 Redes com IPv6 Redes ativas França 85,6% 48,5% 1368 Alemanha 76,6% 63,9% 2291 Bélgica 72,8% 45,8% 273 Estados Unidos 56,6% 25,9% 18 453 Japão 56,1% 56,4% 721 Reino Unido 53,7% 42,3% 2078 Noruega 52,6% 66,9% 278 Países Baixos 51,9% 61,8% 1023 Canadá 43,6% 33,1% 1578 Irlanda 38,1% 41,5% 195 Austrália 37,2% 26,3% 1652 Suécia 36,1% 53,6% 642 Coreia do Sul 18,1% 5,3% 916 Itália 17,6% 35,8% 1078 Espanha 13,3% 26,7% 934 Sexto em quinze. A França tem mais dois terços da sua população em IPv6 do que nós, com a mesma cadeia de fornecimento europeia, com os mesmos fabricantes de equipamento, com os mesmos clientes a dizer-lhes que ninguém o pede. A Alemanha está vinte e três pontos à nossa frente em utilizadores e vinte e dois pontos à frente em redes.\nAs duas colunas de percentagem não concordam uma com a outra, e o desacordo é a história.\nUtilizadores em IPv6 contra redes com IPv6, quinze economias desenvolvidas Pessoas em IPv6, contra redes com IPv6 Medição de utilizadores da Google, 25/08/2026, contra a minha contagem de redes ativas com prefixo IPv6, 27/08/2026. % de pessoas % de redes França 85,6% 48,5% Alemanha 76,6% 63,9% Bélgica 72,8% 45,8% Estados Unidos 56,6% 25,9% Japão 56,1% 56,4% Reino Unido 53,7% 42,3% Noruega 52,6% 66,9% Países Baixos 51,9% 61,8% Canadá 43,6% 33,1% Irlanda 38,1% 41,5% Austrália 37,2% 26,3% Suécia 36,1% 53,6% Coreia do Sul 18,1% 5,3% Itália 17,6% 35,8% Espanha 13,3% 26,7% 0% 20% 40% 60% 80% 100% Uma barra azul longa sobre uma cor-de-rosa curta quer dizer que três ou quatro operadores fizeram o trabalho e o resto do país não. A França, a Bélgica, os Estados Unidos e o Reino Unido têm todos essa forma. A Noruega, a Suécia e o Japão não. Os mesmos quinze países nas duas medidas, ordenados pela percentagem de pessoas a usar IPv6. Onde a barra das redes é muito mais curta do que a dos utilizadores, meia dúzia de grandes operadores carregam o país e mais ninguém se deu ao trabalho. É essa a forma dos Estados Unidos, da Bélgica, da França — e do Reino Unido. A percentagem de utilizadores de um país é decidida por três ou quatro empresas. A percentagem de redes é decidida por todos os outros. Quando a primeira é alta e a segunda é baixa, quer dizer que as grandes redes de acesso fizeram o trabalho e o resto do país foi à boleia.\nOs Estados Unidos são o caso mais claro: 56,6% da população está em IPv6 e só 25,9% das redes estão. Os operadores de cabo e móvel carregam quase toda a gente. As outras dezoito mil redes americanas não fizeram nada.\nA nossa é a mesma habilidade com números mais pequenos — 53,7% dos utilizadores contra 42,3% das redes. Esses 53,7% não são uma conquista nacional. São a Sky e a BT, e um erro de arredondamento de todos os outros.\nA Noruega e a Suécia são a forma inversa honesta: menos utilizadores em IPv6 do que nós, mais redes a transportá-lo. Uma parte maior da sua indústria fez mesmo o trabalho, e são os ISP de consumo que estão atrasados, não o setor profissional.\nE há uma linha que merece um olhar mais atento, porque é aquela a que as pessoas se agarram quando se querem sentir melhor connosco.\nA Coreia do Sul é o pior país desta lista, de longe. Das 916 redes coreanas ativas, 61 anunciam IPv6. Sessenta e uma.\nAlguma da banda larga doméstica mais rápida do planeta, uma indústria de chips que imprime dinheiro, e 94,7% das suas redes nunca o ligaram. Os três grandes operadores — KT, SK Broadband e LG U+ — anunciam-no todos, e é por isso que 18,1% dos utilizadores coreanos o têm. As outras oitocentas e cinquenta redes não fizeram nada.\nSeja qual for a desculpa lá, não é dinheiro, não é capacidade e não é o estado da fibra.\nVinte anos a aparafusar coisas Eis o que a indústria construiu em vez de escrever os endereços.\nQuando os endereços começaram a escassear, a resposta foi o NAT de operador (carrier-grade NAT): pôr centenas de clientes atrás de um endereço IPv4 público e traduzir entre eles. Tudo o que se segue existe para tornar isso suportável, e cada um destes documentos é um pedaço de trabalho de engenharia que alguém escolheu fazer em vez de implementar IPv6.\nRemendo Para que serve RFC 6598 (2012) Queima um /10 inteiro — quatro milhões de endereços — como «shared address space», para que o remendo da escassez precise de endereços próprios RFC 6333 (2011) DS-Lite: fazer túnel de IPv4 sobre a rede IPv6 que construíste mas não deste ao cliente RFC 6877 (2013) 464XLAT: traduzir IPv4 para IPv6 e de volta na mesma viagem RFC 6888 (2013) A lista de requisitos que um NAT de operador tem de cumprir para não ser perigoso RFC 7021 (2013) Um estudo completo das aplicações que o NAT de operador parte RFC 7422 (2014) Mapeamento determinístico de endereços, inventado só para impedir que o volume de registos leve o fornecedor à falência RFC 7597 / 7599 (2015) MAP-E e MAP-T: mais duas formas de transportar IPv4 sobre IPv6 sem admitir que tens IPv6 Vinte anos de remendos contra a única mudança que substituem O que construímos em vez disso, e em vez de quê A evitar o IPv6 Espaço partilhado — um /10 inteiro queimado RFC 6598, 2012 DS-Lite — túnel IPv4 sobre núcleo IPv6 RFC 6333, 2011 464XLAT — traduzir de IPv4 e de volta RFC 6877, 2013 Regras para o NAT de operador ser suportável RFC 6888, 2013 Estudo das aplicações que ele parte RFC 7021, 2013 Mapeamento determinístico para cortar registos RFC 7422, 2014 MAP-E e MAP-T — IPv4 sobre IPv6 outra vez RFC 7597/9, 2015 Mais a própria camada de NAT: tabelas de sessão, blocos de portas, gateways de aplicação, failover, capacidade, cadeia de registos — e uma lei de conservação para tapar a atribuição que destruiu. A fazer IPv6 Dual-stack Mais uma família de endereços, no protocolo de encaminhamento e na política de firewall que já tens. Nenhuma camada nova no tráfego. Nenhum estado de sessão a dimensionar. Nenhum registo guardado por lei. Gratuito no registo. As duas colunas são trabalho de engenharia, e a da esquerda é maior. A diferença é que o trabalho da esquerda pode ser comprado a um fornecedor, e o da direita tem de ser compreendido pelas pessoas a quem a rede pertence. Duas décadas de trabalho de normalização, hardware e registos, tudo ao serviço de não fazer a coisa da direita. Dual-stack é uma família de endereços acrescentada ao lado da que já corres. Tudo o que está à esquerda existe para o evitar. Olha para a forma disto. Cada item da lista é mais difícil do que dual-stack. Fazer túnel de IPv4 dentro de IPv6 dá estritamente mais trabalho do que encaminhar IPv6, porque tens de encaminhar o IPv6 de qualquer maneira para transportar o túnel. Traduzir entre famílias dá mais trabalho do que não traduzir. Um NAT de operador é uma caixa com estado no meio da tua rede, com planeamento de capacidade, failover, tabelas de sessão, alocação de blocos de portas, gateways de camada de aplicação para os protocolos que parte, e uma cadeia de registos dimensionada para uma obrigação legal.\nDual-stack é uma família de endereços, um protocolo de encaminhamento que já corres e uma política de firewall que já escreveste.\nA indústria olhou para estas duas opções e escolheu a cara, vinte anos seguidos, porque a cara podia ser comprada e a barata tinha de ser compreendida. Comprar uma caixa é um exercício de compras. Ligar o IPv6 quer dizer que alguém no edifício tem de saber como a rede funciona.\nO que isto parte de facto Para quem acha que isto é estética, eis o que um endereço partilhado custa aos teus utilizadores, pela ordem em que te vão telefonar por causa disso.\nNada consegue entrar. Sem reencaminhamento de portas, portanto nada alojado por ti, nenhuma consola de jogos a fazer de anfitrião, nenhuma VPN site-a-site sem relay, nenhuma câmara de segurança sem a nuvem do fabricante, nenhum acesso remoto à coisa no outro local. Cada uma delas é substituída por um serviço de ponto de encontro de terceiros, que é mais uma empresa a guardar os teus dados porque o teu fornecedor não te quis dar um endereço.\nHerdas a reputação de estranhos. Partilha um endereço com umas centenas de pessoas e partilhas o comportamento delas. Limites de taxa, CAPTCHAs, bloqueios da Wikipédia, erros geográficos de streaming e pontuação de fraude caem-te todos em cima por uma coisa que outra pessoa fez.\nAs portas esgotam-se. Um NAT de operador tem 65 535 portas por endereço público por protocolo, e uma sessão de browser moderna come dezenas. Sobrevende e a falha não é um erro limpo. É uma avaria lenta, intermitente e impossível de reproduzir que parece tudo menos o que é, e queima dias de suporte por incidente.\nCada remendo tem de ser mantido para sempre, por pessoas que podiam ter gasto esse tempo na solução.\nE depois há aquele que deixou de ser um incómodo e passou a ser problema de toda a gente. Ninguém consegue dizer quem fez o quê.\nO remendo que chegou ao Parlamento Assim que centenas de clientes partilham um endereço, um endereço já não identifica ninguém. Por isso a polícia não consegue ligar um endereço IP a uma pessoa, e a resposta a isso não foi IPv6. Foi legislação.\nA secção 21 do Counter-Terrorism and Security Act 2015 alterou o regime de conservação de dados especificamente para que o Secretary of State pudesse obrigar os fornecedores a guardar os dados extra necessários «to link the unique attributes of a public Internet Protocol (IP) address to the person (or device) using it at any given time.» As notas explicativas são diretas sobre o porquê: os fornecedores «may share IP addresses between multiple users, and the providers generally have no business purpose for keeping a log of who used each address at a specific point in time.»\nLê isso como engenheiro e não como advogado. A indústria partiu a atribuição para se poupar a algum trabalho, e o Parlamento aprovou uma lei que a obriga a construir um sistema de registos para tapar a avaria.\nDois anos depois a Europol disse-o às claras. Em outubro de 2017 publicou um apelo à indústria para deixar de usar NAT de operador, com números: 90% dos fornecedores de acesso à internet móvel e 50% dos fornecedores fixos tinham adotado uma tecnologia que os impedia de identificar os seus próprios assinantes. O então diretor executivo da Europol disse que o CGN «has created a serious online capability gap in law enforcement efforts to investigate and attribute crime», e notou que «forces judiciary and law enforcement authorities to investigate many more individuals than would normally be necessary.»\nA Europol também disse a parte que ninguém diz. O NAT de operador «was supposed to be a temporary solution until the transition to IPv6 was completed». Em vez disso, a indústria continuou a aumentar o seu uso enquanto a substituição estava ali, acabada, gratuita e ignorada.\nPortanto o custo de não implementar IPv6 inclui: uma peça de legislação primária, uma obrigação de conservação a nível nacional, pessoas inocentes arrastadas para investigações porque partilharam um endereço com alguém que não era inocente, e uma lacuna de capacidade contínua que a polícia descreve como um problema de segurança pública.\nNinguém pôs isso no business case. Nunca aparece no diapositivo «o IPv6 não tem ROI», porque não é pago por quem o causou.\nNão esconde só os criminosos. Ajuda-os. O argumento da atribuição é o que as autoridades fazem, e é sobre apanhar pessoas depois do facto. Há um segundo argumento que se faz muito menos vezes e é pior: a partilha de endereços degrada ativamente as defesas que impedem os ataques de acontecer de todo.\nEsta análise não é minha. O IETF publicou o catálogo no RFC 6269, Issues with IP Address Sharing, em junho de 2011. Isso foi antes de o Reino Unido implementar a maior parte do NAT de operador que hoje corre. Nas suas palavras simples: a partilha de endereços «creates a vector for attack amplification in numerous ways.»\nEis o que avisou que se ia partir, e partiu.\nA limitação de taxa e os bloqueios deixam de funcionar. A defesa padrão contra adivinhação de palavras-passe e credential stuffing é contar as falhas por endereço e pôr o infrator de castigo. Partilha esse endereço entre centenas de pessoas e o contador está a medir uma multidão. O RFC 6269 é direto quanto ao resultado: «In the presence of widespread large-scale address sharing, penalty box solutions to service abuse simply will not work.» Os logins falhados de um utilizador bloqueiam todos os outros, por isso os operadores sobem os limites, e subir os limites é o que o atacante queria.\nPôr em lista negra passa a ser dano colateral. Bloqueia o spammer e bloqueias a rua onde ele mora. Por isso o operador sensato deixa de bloquear, e o abuso continua a partir de um endereço em que ninguém se atreve a tocar.\nAs máquinas infetadas ficam infetadas. Os feeds de abuso e as notificações de malware chegam como um endereço e uma hora. Atrás de um CGN sem registo de portas, o fornecedor não consegue dizer qual dos seus clientes está a correr o bot, por isso o cliente nunca é avisado e a infeção continua ativa. Pior, o RFC 6269 nota o problema inverso: «someone else\u0026rsquo;s worm can interfere with the ability to access the service for other subscribers sharing the same IP address.»\nO controlo de acesso por endereço falha. Cada lista de permissões construída sobre o endereço de origem está agora a admitir uma multidão em vez de um cliente.\nE há uma defesa que fica mensuravelmente enfraquecida em vez de apenas embotada. Os ataques TCP às cegas dependem de adivinhar o five-tuple, e a mitigação da indústria é aleatorizar a porta de origem (RFC 6056). Um NAT de operador dá a cada assinante uma fatia da gama de portas em vez da gama inteira. Nas palavras do RFC 6269, «with shared IPv4 addresses, the port selection space is reduced.» O remendo para a escassez de endereços tira entropia diretamente a um mecanismo anti-ataque.\nDepois há a parte que devia preocupar qualquer pessoa, pense o que pensar sobre policiamento. Se o servidor não registou as portas de origem e o NAT não registou os destinos, o RFC 6269 explica o que um fornecedor tem de fazer quando chega um pedido legal: «would need to disclose the identity of all subscribers who had active sessions on the NAT during the time period in question. This may be a large number of subscribers.»\nA alternativa a identificar um assinante culpado é entregar as identidades de várias centenas de inocentes. É esse o resultado real da partilha de endereços para a privacidade, e é o oposto do que os seus defensores lhe atribuem.\nTrês coisas têm de bater certo, e ninguém é obrigado a fornecer nenhuma delas As pessoas partem do princípio de que os registos existem algures e que é só pedir. Na maior parte dos casos não existem, e a razão é aritmética, não má vontade.\nPara transformar um endereço partilhado de volta numa casa, três coisas separadas têm todas de ter corrido bem:\nO servidor do outro lado registou a porta de origem. O RFC 6302 pediu aos servidores virados para a internet que registassem a porta de origem e a hora ao lado do endereço, em 2011. É uma recomendação. Ninguém a faz cumprir, e muitíssimos servidores continuam a registar só o endereço. Aí o rasto morre antes de chegar ao lado britânico. O fornecedor guardou o mapeamento. Cada sessão, durante meses. Os relógios concordavam. O RFC 6269 avisa que num CGN movimentado «even very small amounts of clock skew between a third party\u0026rsquo;s server and the CGN operator will result in ambiguity about which customer was using a specific port at a given time.» Falha uma e não tens nada. E é a do meio que se desfaz, porque os documentos de normalização trazem as contas.\nO RFC 7422 pôs números reais nisto. Os operadores reportaram cerca de 33 000 ligações por casa por dia. A cerca de 150 bytes por entrada de registo, são 5 MB por assinante por dia, 150 MB por mês. Para um fornecedor com um milhão de assinantes: 150 terabytes de registos por mês, 1,8 petabytes por ano — a guardar durante os seis a doze meses que a lei espera, e a pesquisar a pedido.\nE nunca é um só registo. O NAT444, o caso para o qual o RFC 7422 dimensiona as suas entradas, põe uma tradução no router do cliente e outra no operador, e cada porta que um pacote atravessa tem de anotar o que fez. Reconstruir uma única sessão quer dizer correlacionar tabelas separadas, guardadas por partes separadas, com o problema dos relógios acima. A prova chega aos bocados de sistemas diferentes, ou não chega.\nE o dinheiro é só metade. Capturar registos de sessão a esse ritmo, enviá-los para algum lado, indexá-los para que um pedido legal tenha resposta em horas e não em semanas, e guardar tudo durante um ano é um projeto de engenharia de dados. Não há dashboard para isto nem caixa para comprar. Tem de ser construído por alguém que percebe o que está a construir, e isso não é apontar e clicar, o que nesta indústria é quase o mesmo que dizer que não chega a ser construído.\nNinguém ia pagar por isso, de qualquer maneira. E o IETF sabia-o, e é por isso que o RFC 6888 diz aos operadores o oposto do que a segurança pública precisa: «A CGN\u0026rsquo;s port allocation scheme SHOULD minimize log volume», justificado porque «huge log volumes can be problematic to CGN operators.» O RFC 7422 não existe para mais nada senão para cortar essa fatura.\nPortanto o conselho de desenho dado à indústria é registar menos, a economia diz que 1,8 petabytes por ano é incomportável, e a expectativa legal é um registo completo. Não podem ser todas verdade ao mesmo tempo, e a que cede é o registo.\nÉ por isso que a Europol descobriu que a maioria dos fornecedores de acesso não consegue identificar um assinante quando recebe uma ordem judicial. Não porque estejam a obstruir. Porque aquilo que se pede nunca foi economicamente possível de guardar, e nunca ninguém foi obrigado a isso.\nDaqui seguem-se duas coisas, e são minhas, não citações de ninguém.\nPrimeiro: uma grande parte das ligações à internet britânicas é impossível de atribuir por construção. O móvel é o caso mais claro, e uma medição independente põe-no mais alto do que a Europol, nos 95%. Portanto o anonimato que antes exigia Tor, ou uma VPN que alguém tinha de comprar, é agora a configuração de fábrica de uma ligação móvel britânica — oferecida com o SIM, a toda a gente, incluindo o pequeno número de pessoas que todo o aparelho existe para encontrar.\nSegundo, e pior: partir o método barato e dirigido é o que cria procura pelo método caro e indiscriminado. Quando podes apresentar um mandado para um endereço e obter uma casa, não precisas de mais nada. Quando isso deixa de funcionar, o Estado não encolhe os ombros. Vai buscar algo mais amplo. Foi isso que a lei de 2015 foi: um dever de conservação sobre toda a base de assinantes, para responder a perguntas sobre meia dúzia de pessoas.\nNada disto existe do outro lado. Nada é traduzido, por isso não há registo por ligação nenhum a guardar. O endereço no registo do servidor do outro lado já é o prefixo do assinante: um registo, escrito uma vez quando a linha foi ativada, num só sistema. Mesmo um fornecedor que rode prefixos todos os dias escreve umas centenas por ano por cliente, contra os doze milhões a que 33 000 ligações por dia chegam. Não é que o IPv6 registe menos. Não há nada para registar.\nAs pessoas que escreveram o remendo sabiam-no. A meio de uma especificação escrita sem outra razão senão tornar o CGN comportável de registar, pararam para anotar que «native IPv6 will offer subscribers a better experience than CGN».\nUma indústria recusou-se a gastar quinze dias por rede num protocolo gratuito, e o país ficou em vez disso com um regime de conservação de dados.\nResolver isto protegeria as crianças melhor do que o Online Safety Act? Quero ter cuidado aqui, porque é fácil fazer este argumento mal e a versão mal feita merece a tareia que levaria.\nComeça por como corre de facto uma investigação de abuso de menores. Uma plataforma deteta o material e reporta-o. A denúncia traz um endereço e uma hora. A polícia notifica o fornecedor de acesso para transformar isso num assinante, e o assinante é uma morada no mundo real com uma porta. É a cadeia toda, e cada passo depois dele depende do anterior.\nAgora põe um NAT de operador no meio. A denúncia continua a chegar. O endereço continua a resolver. Para várias centenas de casas, e a Europol encontrou investigações «dropped or delayed» por causa disso. Os seus exemplos de casos incluem um procurador incapaz de identificar os membros de um fórum de apoio ao ISIS, pelo que a acusação não aconteceu, e o HMRC a seguir uma fraude fiscal em massa até endereços móveis e a encontrar as pistas «frustrated from the outset».\nA CyberTipline do NCMEC recebeu 21,3 milhões de denúncias em 2025 e encaminhou mais de 18,8 milhões para as autoridades, incluindo mais de 53 000 que envolviam uma criança em perigo imediato. O NCMEC regista também que mais de 10% das denúncias da indústria chegaram com informação tão pobre que não dava para perceber para que jurisdição as enviar. Esse número não é obra do CGNAT e não estou a dizer que seja — mas diz-te em que ponto desta cadeia os casos morrem. Morrem nos metadados.\nPor isso a versão honesta da comparação é esta. O NAT de operador parte a última milha do próprio Online Safety Act. O Parlamento impôs deveres de detetar e reportar, e deixou a rede de acesso incapaz de resolver o que é reportado. Podes aprovar tantos deveres de reporte quantos quiseres. Se o último passo devolve uma multidão, a denúncia é papel.\nE o custo das duas coisas não é nem remotamente comparável. O Act é a maior peça de regulação da internet que este país já tentou — milhares de serviços abrangidos, um regulador a escrever códigos durante anos, verificação de idade a correr milhões de verificações por dia, e um problema de contorno tão grande que o Parlamento debateu o uso de VPN na Câmara dos Lordes. O IPv6 não custa nada no registo e leva duas ou três semanas a uma equipa competente. Uma destas coisas foi exigida à indústria inteira. A outra nunca foi pedida a ninguém.\nHá três coisas que têm de ser ditas às claras, porque sem elas o argumento não vale nada.\nUm. Não é um substituto, e não o estou a propor como tal. O IPv6 não faz nada para impedir um miúdo de doze anos de encontrar pornografia. Não faz nada quanto a sistemas de recomendação, reprodução automática ou transmissões em direto. Não faz nada quanto a material alojado noutro país, que é a maior parte. Esses são os problemas para que o Act foi escrito e nenhuma mudança de protocolo lhes toca.\nDois. O IPv6 não é uma camada de identidade, e quem o vende como tal está a vendê-lo a mais. As extensões de privacidade rodam o endereço de um dispositivo de propósito, por isso o endereço da máquina não é a coisa estável. O que é estável é o prefixo delegado à linha — o /56 que a Sky dá a cada assinante desde 2016. Isso resolve para um assinante, que é exatamente a resolução de que um pedido legal precisa, e nada mais. É repor o que um único endereço IPv4 por linha costumava dar, não uma nova capacidade de vigilância.\nTrês. A propriedade que frustra a polícia também frustra toda a gente que te segue, e há quem dê valor a isso. Ser um em quinhentos atrás de um endereço partilhado é uma cobertura de multidão genuína contra a definição de perfis comerciais. Não acho que valha o que custa — é cobertura comprada à custa de tornar o abuso impossível de atribuir e a limitação de taxa inútil, e é cobertura que as plataformas, na maior parte, atravessam de qualquer maneira com cookies e fingerprinting. Mas é um argumento a sério e merece ser dito em vez de ignorado.\nPortanto não, isto não é IPv6 em vez do Online Safety Act. É que a Grã-Bretanha escreveu a lei de segurança online mais cara da sua história por cima de uma canalização que sabia estar partida, quando a solução era gratuita, bem documentada e esteve disponível durante todo o tempo em que o projeto de lei esteve a ser redigido.\nO que pedir de facto Uma proibição não. Uma proibição é o instrumento errado e sairia pela culatra.\nNão há IPv4 para distribuir — o RIPE está vazio desde novembro de 2019, e um fornecedor novo recebe um único /24 de uma lista de espera. Proíbe a partilha de endereços amanhã e o pequeno operador não consegue ligar clientes de todo, enquanto os que estão sentados em blocos de classe B de 1990 continuam intocados. Entrincheiraria exatamente as pessoas de quem este artigo fala.\nO instrumento melhor já existe e alguém já fez a experiência.\nEm 2012, a polícia federal belga, o regulador das telecomunicações, o Conselho de Procuradores-Gerais e a associação de ISP assinaram um código de conduta voluntário de duas páginas. No máximo 16 assinantes atrás de um endereço IPv4. Limitar o uso de CGN. Começar a adotar IPv6.\nEm 2017 a maioria dos operadores belgas estava dentro do limite, um tinha descido para 8, e a polícia belga via uma média de quatro utilizadores por endereço móvel. O resumo da própria Europol sobre o porquê é a parte que vale a pena ler duas vezes: os maiores fornecedores «are quickly moving towards IPv6 because no financial interest to invest in CGN anymore.» Limita a sobrevenda e a economia do remendo desaba, porque um NAT que só consegue empilhar dezasseis pessoas não é mais barato do que o protocolo que não precisa de nenhum.\nNesse ano a Bélgica tinha a maior adoção de IPv6 do mundo, com 49%, quando a Grã-Bretanha e a França estavam nos 14% e a Espanha e a Itália abaixo de 1%. A Bélgica continua em terceiro na tabela de países acima, com 72,8%.\nÉ esse o pedido. Não «não podes partilhar endereços» — não podes vender uma ligação que seja ao mesmo tempo impossível de atribuir e sem IPv6. Endereçamento partilhado com IPv6 a funcionar ao lado está bem. É assim que funcionam todas as redes móveis do planeta. Endereçamento partilhado sem IPv6 é vender um serviço partido e cobrar ao público as consequências.\nA Sky provou que era possível, há onze anos Se fosse mesmo difícil, ninguém no Reino Unido o teria conseguido.\nA Sky começou um projeto interno de IPv6 no início de 2013 e acabou em 2016, com cerca de 90% da sua base fixa — uns cinco milhões de utilizadores — a apanhar IPv6 e a usá-lo. O engenheiro deles escreveu tudo no RIPE Labs: 6PE no núcleo MPLS, peering e trânsito em dual-stack, atributos RADIUS para o ativar por assinante, trabalho de firmware em sete modelos de CPE incluindo cinco antigos, e reforço de capacidade no RADIUS e no DNS.\nTrês anos, um ISP e o mesmo cobre da Openreach sobre o qual toda a gente vendia. O ISPreview noticiou o fim em setembro de 2016, com a Sky a contar ter 95% da base até ao fim desse ano, e a Sky levou o Jim Bound IPv6 Award por isso.\nO conselho deles foi: «Do not underestimate the work required to enable IPv6, and do not leave it to the last minute to begin the journey.»\nOnze anos depois, a maior parte da indústria continua no último minuto, e trata-o como um sítio onde viver.\nToda a gente tem os endereços há anos A Sky foi o primeiro dos grandes ISP. Esteve longe de ser o primeiro do país, e nem um fornecedor desta lista pode dizer que estava à espera do registo.\nO RIPE carimba a data de alocação no nome do bloco, por isso podes verificar qualquer um tu mesmo:\nwhois -h whois.ripe.net 2a01:4b00::/32 | grep -E \u0026#39;netname|^org:\u0026#39; # netname: UK-BCUBE-20110225 -\u0026gt; Hyperoptic, allocated 25 February 2011 Cada data abaixo veio dessa consulta à alocação do próprio fornecedor, verificada contra o ficheiro de delegação. Os grandes ISP estão a negrito, os restantes são os construtores de fibra. Se os clientes recebem mesmo IPv6 vem do inquérito do ISPreview, atualizado em março de 2025, e do monitor móvel para as redes de telemóvel.\nHá quanto tempo cada fornecedor britânico tem IPv6, e se os clientes o recebem Há quanto tempo cada fornecedor britânico tem IPv6 — e se os clientes o recebem mesmo Datas de alocação do ficheiro de delegação do RIPE e dos carimbos netname. Se chega aos clientes: ISPreview, março de 2025, e o monitor móvel da comunidade. os clientes recebem-no em parte — só uma rede ainda não o entregam (17 de 40) 2002 2002 2006 2006 2010 2010 2014 2014 2018 2018 2022 2022 2026 2026 TalkTalk (como Opal Telecom) Andrews \u0026amp; Arnold Vodafone UK EE (como T-Mobile) Sky Gigaclear O2 (Telefónica UK) BT Virgin Media (como NTL) KCOM Hyperoptic (como Bcube) Zen Internet B4RN Trooli (como Call Flow) Exascale Three UK Community Fibre Ogi (como NetSupport) WightFibre Truespeed Airband G.Network Wessex Internet Quickline FibreNest Wildanet Fibrus (como B4B Networks) Zzoomm GoFibre (como Borderlink) Toob Netomnia / YouFibre Pine Media BeFibre Squirrel Internet brsk Lit Fibre (como Broadreach) iDNET * Grain Hey! Broadband Octaplus Todos os quarenta têm espaço IPv6 há pelo menos três anos, e a maioria há mais de uma década. 17 deles continuam a não o dar a um cliente. Quarenta fornecedores britânicos, ordenados pela data em que o registo lhes deu IPv6. Cada barra vai dessa alocação até hoje. As barras azuis entregam-no aos clientes; as cor-de-rosa nunca o fizeram. Quarenta fornecedores. Todos têm espaço de endereços IPv6 há pelo menos três anos, a maioria há mais de uma década — e dezassete deles continuam a não o dar a um cliente.\nA Hyperoptic tem o 2a01:4b00::/32 desde fevereiro de 2011. Quinze anos a meter fibra em prédios, a vender ligações de gigabit e a pôr pessoas atrás de NAT de operador com uma alocação IPv6 por usar nos livros. A Trooli tem a sua há treze anos. A Truespeed e a Airband há dez.\nA Andrews \u0026amp; Arnold é a bitola pela qual medir os outros. Um pequeno ISP em Bracknell com uma fração dos clientes e dos engenheiros de qualquer outro da lista, a dar IPv6 a todas as linhas desde 2002, e um dos que estiveram por trás do 6UK. A TalkTalk recebeu a sua alocação três meses antes e continua sem o entregar aos clientes domésticos.\nA Virgin Media recebeu o seu bloco três semanas antes da Zen receber o dela. A Zen entregou-o, e desde então estou na ponta de um dos /48 deles. A Virgin continua a dizer «when we are ready».\nE olha para o fundo da tabela. A Squirrel, a brsk, a Lit Fibre e a Octaplus receberam todas as suas alocações nos últimos seis anos e todas entregam IPv6, enquanto fornecedores com espaço desde 2011 não entregam. Começar tarde não é o obstáculo. Começar de todo é que é.\nDois nomes desse inquérito não estão no gráfico, e a razão é a mesma para os dois. A Cuckoo é uma marca de retalho que compra acesso grossista sobre a Openreach, a CityFibre e outras, e a Freedom Fibre é uma rede grossista cujos clientes chegam através de parceiros de retalho. Nenhuma tem espaço de endereços próprio, por isso o IPv6 é uma decisão que outro toma por elas. A iDNET está marcada com um asterisco porque a sua é uma atribuição independente do fornecedor e não uma alocação própria.\nO que arruma a questão Se quiseres o argumento reduzido a uma só empresa, é a Plusnet.\nA BT comprou a Plusnet em janeiro de 2007. A Plusnet está debaixo da própria conta RIPE da British Telecommunications, por isso tem acesso à alocação IPv6 da BT desde junho de 2010. A BT entrega IPv6. A EE, a outra empresa irmã, entrega IPv6. O ISPreview notou que a BT e a Plusnet até usam routers de cliente quase idênticos, chamando ao fosso «somewhat of a peculiarity».\nA Plusnet testou IPv6 em 2011 e incitou publicamente o resto da indústria a avançar. Em 2019 disse que lançaria na primavera de 2020. Em 2021 esperava «to make good progress over the coming year». Em novembro de 2023 fez um teste de três meses em dois locais, Chesterfield e Sheffield, com cerca de vinte funcionários e clientes amigos.\nEm abril de 2026 o seu próprio fórum de clientes ainda perguntava onde é que o IPv6 tinha ido parar.\nUma empresa-mãe. Uma alocação de endereços. Hardware quase idêntico. Engenheiros que trabalham para o mesmo grupo e podem ir pelo corredor até às pessoas que já o fizeram. Três marcas, e uma delas não consegue em quinze anos o que as outras duas acabaram.\nSeja o que for que está a travar isto, não é a tecnologia, o dinheiro, o equipamento ou o espaço de endereços. É alguém a decidir que não é problema seu neste trimestre, quinze anos seguidos.\nVirgin Media, dezasseis anos de «When We Are Ready» O outro extremo da escala merece ser nomeado, porque a cronologia é do domínio público e é notável.\nMarço de 2010: um cliente pergunta no próprio fórum da Virgin Media quando chega o IPv6. A resposta é «when we are ready».\nNovembro de 2016: a Virgin diz ao ISPreview que planeia adotar IPv6 até meados de 2017. Não adota.\nJunho de 2018: é noticiado um teste com clientes. Dezembro de 2018: uma terceira apresentação ao UK IPv6 Council, a deixar entender 2019.\n2021: uma declaração de que estão «continuing to plan our IPV6 deployment having tested several solutions and intend to introduce IPV6 for our customers in future.»\nFevereiro de 2024: a Virgin Media fecha o tópico do fórum com catorze anos.\nAgosto de 2026: continua sem nada.\nDezasseis anos. Nesse tempo a empresa foi comprada, fundiu-se com a O2, reconstruiu o núcleo duas vezes e substituiu todo o parque de routers. Em momento nenhum alguém acrescentou uma família de endereços. Fechar o tópico é a coisa mais honesta dessa lista. É o momento em que deixaram de fingir e começaram a gerir a reclamação em vez do problema.\nOs altnets não tinham desculpa nenhuma Os construtores de fibra eram a oportunidade de começar do zero. Redes novas, equipamento novo, nada herdado, engenheiros contratados nesta década. Vê onde estão na tabela de alocações e a maioria pegou no espaço de endereços e parou.\nPortanto uma empresa que angariou dinheiro institucional para construir uma rede de fibra novinha em folha abriu as estradas, soprou fibra até cem mil casas, comprou routers novos, escreveu uma nova pilha de aprovisionamento. E pôs os seus clientes atrás de um endereço partilhado numa rede sem IPv6, em 2026, com o espaço de endereços já parado na sua própria conta de registo.\nE depois várias delas cobram 5 libras por mês por um IPv4 público fixo.\nTiraram a coisa que funcionava, recusaram-se a entregar a substituta gratuita e transformaram a avaria resultante numa linha da tua fatura. Há uma palavra para um modelo de negócio que fabrica uma avaria e depois vende a reparação, e não é «inovação».\nOs sites denunciam o jogo A tabela de encaminhamento mostra o que as redes fazem. O DNS mostra o que todos os outros fazem. Por isso, a 27 de agosto de 2026, pus cinquenta dos sites mais conhecidos do Reino Unido num ficheiro — administração central, os bancos, os grandes retalhistas, as operadoras de telecomunicações, os transportes e umas quantas universidades — e perguntei a cada um se responde em IPv6:\nwhile read -r d; do n=$(dig +short AAAA \u0026#34;$d\u0026#34; | grep -c \u0026#39;:\u0026#39;) printf \u0026#39;%-46s %s\\n\u0026#39; \u0026#34;$d\u0026#34; \u0026#34;$([ \u0026#34;$n\u0026#34; -gt 0 ] \u0026amp;\u0026amp; echo AAAA || echo none)\u0026#34; done \u0026lt; sites.txt | sort -k2 Depois verifiquei cada resposta contra um segundo resolver, porque um servidor recursivo num mau dia não é uma conclusão:\ndig @1.1.1.1 +short AAAA www.tesco.com | grep -c \u0026#39;:\u0026#39; Dezassete em cinquenta tinham um registo AAAA. Trinta e três não tinham, e os dois resolvers concordaram em todos.\nOs que não têm IPv6 incluem www.bbc.co.uk, www.nhs.uk, www.hmrc.gov.uk, www.hsbc.co.uk, www.barclays.co.uk, www.lloydsbank.com, www.santander.co.uk, www.tesco.com, www.johnlewis.com, www.marksandspencer.com, www.britishairways.com, tfl.gov.uk, monzo.com — um banco fundado em 2015, sem nada herdado — e, o meu preferido, www.sky.com.\nA Sky. A empresa que pôs cinco milhões de clientes em IPv6 e ganhou um prémio por isso. O seu próprio site não responde em IPv6.\nAgora a parte que prova a tese sem discussão possível.\nQuinze dos dezassete que têm IPv6 receberam-no de um fornecedor, não de si próprios. Resolvi cada um e fui ver de quem é o endereço que respondeu:\nwhois -h whois.radb.net -- \u0026#34;$(dig +short AAAA www.sainsburys.co.uk | grep \u0026#39;:\u0026#39; | head -1)\u0026#34; | grep -i descr O www.gov.uk e o www.cam.ac.uk respondem a partir da Fastly. O ico.org.uk, o www.parliament.uk, o www.ofcom.org.uk, o www.asda.com, o www.autotrader.co.uk, o www.nationalrail.co.uk e o www.jisc.ac.uk respondem a partir da Cloudflare, que liga o IPv6 para toda a gente por omissão. O natwest.com e o nationwide.co.uk respondem a partir do Azure Front Door. O www.legalandgeneral.com e o www.screwfix.com respondem a partir da CloudFront. O www.sainsburys.co.uk e o www.next.co.uk respondem a partir da Akamai.\nDois fizeram-no sozinhos: o Imperial College London, a responder a partir do seu próprio espaço de endereços, e o site do próprio UK IPv6 Council. Uma universidade e as pessoas cujo propósito inteiro é o IPv6. É essa a lista.\nE o www.tesco.com, o www.sky.com e o www.nhs.uk também estão na Akamai — a mesma CDN, o mesmo produto — e não têm IPv6 nenhum.\nA Akamai tem sido explícita sobre isto desde junho de 2022: «Akamai has enabled IPv4+IPv6 dual-stack as the default for our CDN delivery products for many years, meaning that customers have needed to opt-out for content to be IPv4-only.» Acrescentaram que tornaram fácil mudar, inclusive pela API.\nMesmo fornecedor. Mesma plataforma. Ligado por omissão. Uma organização deixou-o estar e outra foi lá desligá-lo, ou manteve uma configuração antiquíssima que ninguém leu desde então. A Sainsbury\u0026rsquo;s tem IPv6 e a Tesco não, e a diferença entre elas é uma única opção de configuração e a atenção de alguém.\nDepois disto não fica de pé nenhum argumento de custo nem de complexidade. Fica só a questão de se alguém estava a prestar atenção.\nEm toda a amostra a regra mantém-se: onde o IPv6 chega como predefinição de um fornecedor, a Grã-Bretanha tem-no. Onde uma organização britânica teria de decidir alguma coisa, não tem. Dois sites em cinquenta, e um deles era o IPv6 Council.\nO que nos leva à indústria dos serviços geridos Os ISP de consumo levam as culpas do CGNAT, e mereceram-nas. Mas a camada que faz mais estragos é a que vende competência: os fornecedores de serviços geridos, os integradores, as equipas de rede externalizadas, as consultoras que escrevem o desenho de baixo nível.\nVolta à lista das maiores redes britânicas sem IPv6 — os bancos, a British Airways, a PwC, a QinetiQ. Não são startups improvisadas. São organizações que pagam muito dinheiro para que outra pessoa lhes gira a rede, ou que empregam uma equipa grande para a gerir elas próprias. Cada um desses números AS tem atrás um documento de desenho, um processo de mudança, um comité de revisão de arquitetura e um fornecedor com «network» no nome. Nem um deles produziu um plano de IPv6.\nO padrão é o mesmo para onde quer que olhes:\nO modelo é IPv4. A norma de construção, o conjunto de regras da firewall, as verificações de monitorização, o IPAM, o runbook, o plano de recuperação de desastres, o pacote de entrega ao cliente — tudo IPv4, escrito uma vez, clonado durante uma década. Acrescentar uma família de endereços quer dizer editar tudo isso, e ninguém é pago para o editar.\nNinguém o pediu. Esta é a frase que acaba com todas as conversas sobre IPv6 nesta indústria, e é uma confissão. Também ninguém pediu o TLS 1.3. Ninguém te pediu para deixares de usar SMBv1. Os clientes compram o resultado e pagam-te para saberes o que o resultado exige. «O cliente não pediu» quer dizer «não quero aprender isto e eles não dão pela diferença».\nO RFC 1918 parece infinito. O dez-ponto são 16,7 milhões de endereços, por isso uma rede interna nunca parece curta, por isso nunca há um acontecimento que force a mudança. Depois chega a fusão, os dois parques estão em 10.0.0.0/8, e a resposta é mais uma década de NAT de sub-redes sobrepostas e um documento a explicar que endereço falso quer dizer que endereço verdadeiro — mais maquinaria, outra vez, para evitar a família de endereços que teria feito disto um não-problema.\nO IPv6 expõe a competência. Esta é a verdadeira. O dual-stack não te deixa esconder.\nTens de saber qual é de facto a tua política de firewall, porque tens de a escrever duas vezes. Tens de saber como é o teu DNS. Tens de perceber neighbour discovery, delegação de prefixos e o que o teu CPE faz com um /56.\nUm engenheiro que tem andado a safar-se com o NAT como controlo de segurança acidental descobre, à frente de outras pessoas, que nunca o foi. Há carreiras de vinte anos nesta indústria construídas sobre essa única confusão.\nPor isso não é proposto. Não porque custe dinheiro — não custa — mas porque propô-lo quer dizer ficar responsável por ele, e ficar responsável quer dizer aprendê-lo.\nÉ isso que quero dizer com mandriice pura. Não preguiça no sentido de não trabalhar muito. Esta indústria trabalha imenso. Trabalha imenso em NAT de operador, e a explicar a um cliente porque é que o CCTV já não liga de fora. Faz qualquer quantidade de trabalho, desde que seja o tipo de trabalho que se compra e não o tipo que se tem de perceber.\nE isso está prestes a deixar de ser uma questão de gosto. O Cyber Security and Resilience Bill que está agora a passar pelo Parlamento alteraria as NIS Regulations para incluir, entre outros, «managed service providers (organisations that provide third-party IT services to other businesses)». Ainda não é lei. Quando for, a deteção, o registo e a notificação de incidentes deixam de ser linhas de produto que esta camada vende e passam a ser deveres que tem de cumprir.\nPõe isso ao lado da cadeia mais acima. Resolver qualquer denúncia de abuso começa com um servidor do outro lado ter registado uma porta de origem, e o servidor do outro lado é muitas vezes uma das caixas destas empresas. As pessoas que em breve vão ter de provar que conseguem detetar e reportar um incidente são as mesmas que neste momento não há maneira de pôr a ativar uma família de endereços, ou a ler uma captura de pacotes quando um túnel não sobe.\nAs três desculpas Vais ouvir as mesmas três todas as vezes, e nenhuma delas aguenta um minuto.\n«Dual-stack é tudo a dobrar.» Corri-o em produção na Nominet, em balanceadores de carga F5 à frente do registo .uk, por isso sei quanto vale a objeção. Também o é a camada de NAT que compraste em vez disso, e essa está no caminho do tráfego com uma tabela de sessões, um modelo de capacidade, uma história de failover e uma obrigação de registo agarrada. Nunca estiveste a escolher entre complexidade e simplicidade. Escolheste a complexidade que vinha com fatura.\n«O equipamento não o suporta.» Em 2006, está bem. Em 2026 quer dizer que o teu equipamento está fora de suporte, o que é pior de admitir do que aquilo que estavas a tentar não dizer.\n«Não há receita nisso.» Também não há receita nas cópias de segurança.\nAs coisas que as pessoas publicam As desculpas de cima são o que ouves numa reunião. Por baixo delas há uma camada de alegações técnicas que se repetem em tópicos de fóruns, secções de comentários e respostas no LinkedIn sempre que o IPv6 vem à baila, e a maioria está errada há mais de uma década.\nParte disto é confusão honesta e parte é alguém que decidiu não aprender uma coisa a ir buscar uma razão. De qualquer forma vale a pena passar por elas, porque estas alegações fazem trabalho a sério. São o que um engenheiro repete a um chefe que não as consegue verificar.\n«O NAT é a minha firewall. O IPv6 põe todos os dispositivos diretamente na internet.»\nEsta é a grande e está ao contrário. A proteção que as pessoas atribuem ao NAT vem de não haver mapeamento até algo do lado de dentro pedir um — o que é uma firewall com estado, e é a firewall que faz o trabalho, não a tradução. O IETF disse-o no RFC 4864 em 2007: esse papel, «often marketed as a firewall, is really an arbitrary artifact», enquanto uma firewall a sério te dá «explicit and more comprehensive management controls.»\nTodos os routers IPv6 de consumo vêm com negação por omissão para tráfego de entrada. Obténs a mesma postura, a partir de uma política que alguém escreveu, em vez de um efeito secundário de ficar sem endereços. E podes então permitir exatamente a única coisa que querias permitir, em vez da sessão espírita do reencaminhamento de portas.\nSe todo o teu modelo de segurança é «os atacantes não conseguem encontrar os meus dispositivos», não tinhas um modelo de segurança. Tinhas NAT.\n«O IPv6 é mais lento.»\nEsta merece uma resposta honesta em vez de ser despachada, porque a verdade é mista e quem o diz não está simplesmente errado.\nOs fornecedores de conteúdos que otimizaram para ele medem ganhos: o Facebook reportou carregamentos de página cerca de 15% mais rápidos em IPv6, a Akamai cerca de 5% no móvel. A medição mais ampla da APNIC sobre a internet inteira é menos lisonjeira e mostra tempos de ida e volta em IPv6 marginalmente mais altos em média — na ordem de um milissegundo ou coisa assim, e a melhorar com o tempo.\nPortanto: no geral, empate, melhor onde alguém fez o trabalho, ocasionalmente um pouco pior onde ninguém fez.\nVale a pena saber onde está de facto o custo, porque o cabeçalho é a coisa que as pessoas imaginam e o cabeçalho não é o problema.\nOs cabeçalhos IPv4 e IPv6, e o que cada um custa a um router Os dois cabeçalhos, e o que cada um custa a um router Campos desenhados à escala ao longo de 32 bits. Fontes: RFC 791 (IPv4) e RFC 8200 (IPv6). trabalho do router em cada salto chave de pesquisa mais larga IPv4 20 bytes, até 60 com opções 031 Version IHL Type of Service Total Length Identification Flags Fragment Offset Time to Live Protocol Header Checksum Source Address Destination Address Options — comprimento variável, mais 0 a 40 bytes IPv6 40 bytes, fixo. Sempre. 031 Version Traffic Class Flow Label Payload Length Next Header Hop Limit Source Address (128 bits) Destination Address (128 bits) O IPv4 obriga um router a\u0026#160;recalcular o checksum em cada salto, ler um comprimento antes de saber onde começa a carga útil e fragmentar. O IPv6 larga as três — mas compara\u0026#160;uma chave quatro vezes mais larga. Os dois cabeçalhos lado a lado, campos desenhados à escala ao longo de 32 bits. A laranja está o trabalho que um router tem de fazer em cada salto; a azul está a chave de pesquisa mais larga. Começa pelo que o IPv6 tirou ao router. O IPv4 leva um checksum do cabeçalho. O Time to Live muda em cada salto, por isso o checksum tem de mudar com ele, e o RFC 6583 lista «verifying and updating the checksum» como um passo do próprio processo de encaminhamento. O IPv6 não tem nenhum. Esse passo simplesmente desaparece.\nDepois o comprimento. Um cabeçalho IPv4 é variável, que é para isso que serve o IHL: um router lê um comprimento antes de saber onde começa a carga útil. Um cabeçalho IPv6 tem 40 bytes. Sempre. Cada campo está num deslocamento fixo e nada tem de ser calculado primeiro.\nDepois a fragmentação. Os routers IPv4 podem fragmentar em trânsito, que é a razão por que Identification, Flags e Fragment Offset estão sequer no cabeçalho. O RFC 8200 é taxativo: «fragmentation in IPv6 is performed only by source nodes, not by routers along a packet\u0026rsquo;s delivery path». Portanto esse caminho também desaparece.\nSó no tratamento do cabeçalho, o IPv6 é o protocolo mais barato de encaminhar. Foi feito para isso.\nO único sítio onde custa mais é por rota, e afinal isso não importa. A chave de pesquisa passou de 32 bits para 128, por isso uma entrada de encaminhamento IPv6 é mais larga e em muito equipamento ocupa duas posições de hardware onde uma rota IPv4 ocupa uma. Toda a gente para o argumento aí. Vale a pena dar mais um passo, porque a tabela completa é quatro vezes mais pequena.\nNo dump do RIS gerado às 02:03 UTC de 28 de agosto de 2026 havia 1 229 166 prefixos IPv4 na tabela de encaminhamento global e 300 470 IPv6. Quatro vezes mais rotas IPv4, cada uma com um quarto da largura. Por isso o armazenamento bruto das chaves dá um empate técnico: 4,92 MB contra 4,81 MB. Agora aplica a regra das duas posições por rota IPv6 que preocupa as pessoas. Uma tabela IPv6 completa continua a precisar de cerca de metade das entradas de hardware de uma tabela IPv4 completa.\nE a razão por que a tabela IPv4 é tão grande é a própria escassez. 767 543 desses 1,2 milhões de rotas são /24 — 62% da internet IPv4 inteira no prefixo mais longo que alguém aceita, porque os blocos foram retalhados, vendidos e anunciados aos bocados por quem os comprou. Cada uma delas é um router algures a guardar uma entrada de que não precisaria se o espaço não tivesse acabado.\nA tabela de encaminhamento IPv4 é quatro vezes maior do que a IPv6 A tabela IPv4 é quatro vezes maior — e a maior parte é a escassez Prefixos distintos na tabela de encaminhamento global, dump do RIPE RIS gerado às 02:03 UTC, 28 de agosto de 2026. IPv4chave de 32 bits 767 543 deles são /24 1 229 166 IPv6chave de 128 bits 300 470 Quatro vezes mais rotas IPv4, cada uma com um quarto da largura — o armazenamento bruto das chaves dá empate: 4,92 MB contra 4,81 MB. Conta uma rota IPv6 como duas entradas de hardware, como as pessoas temem, e uma tabela IPv6 completa continua a precisar de cerca de metade. 62% da tabela IPv4 são /24\u0026#160;— blocos retalhados, vendidos e anunciados aos bocados porque o espaço acabou. Cada um é uma entrada que um router não guardaria se não tivesse acabado. Prefixos distintos na tabela de encaminhamento global a 28 de agosto de 2026, contados a partir do dump do RIPE RIS. A parte sólida da barra IPv4 são os /24 — a desagregação que a escassez de endereços forçou. Portanto o argumento da memória corre ao contrário de como é contado nas reuniões. Transportar IPv6 é mais barato para a tua FIB do que transportar IPv4, e fica mais barato a cada ano em que o mercado de transferências corta mais um /16 em dezasseis /24.\nE os picos de CPU que as pessoas de facto apanham não são nenhum destes. Um router moderno encaminha as duas famílias em silício à velocidade da linha. O que dói é tudo o que empurra um pacote para fora desse caminho para o plano de controlo, a que o RFC 6583 chama «a \u0026lsquo;slower\u0026rsquo; software process running on a general purpose processor». Esse processador foi dimensionado para protocolos de encaminhamento. Nunca para tráfego.\nHá duas coisas que lhe empurram pacotes. A primeira são os cabeçalhos de extensão. São uma cadeia e não um bloco fixo, por isso uma caixa que queira as portas de camada 4 para uma ACL ou um hash ECMP tem de percorrer uma lista de comprimento variável para as encontrar, e um cabeçalho Hop-by-Hop Options «may be examined or processed by any node along a packet\u0026rsquo;s delivery path». Em muito equipamento isso quer dizer ser enviado para o processador.\nA segunda é o Neighbour Discovery. Um /64 cobre biliões de endereços que nunca serão atribuídos, por isso varrer um põe um router a resolver endereços que não existem. O RFC 6583 existe para isso, e chama-lhe negação de serviço.\nAs duas têm respostas conhecidas. Filtra o Hop-by-Hop na periferia, limita a taxa do ND, põe um teto na cache de vizinhos. Nenhuma é razão para o protocolo ser lento. São razões para um router não configurado ser lento, e isso aponta para onde o resto deste artigo aponta.\nAgora pesa um milissegundo contra a alternativa que de facto implementaste — uma caixa de tradução com estado no caminho de cada ligação, a guardar uma tabela de sessões, que parte algumas delas de vez. Ninguém ficou parado vinte anos por causa de um milissegundo.\n«Há muito IPv4 por aí, basta comprá-lo.»\nPodes. É assim que uma escassez se parece. Blocos distribuídos a troco de nada em 1990 mudam agora de mãos a cerca de 20 dólares por endereço, e a AWS cobra 43,80 dólares por ano por cada um que usas.\nHaver um mercado de uma coisa não prova que haja muito dela. Prova que alguém descobriu como te cobrar a escassez.\nNinguém os ia obrigar O Reino Unido não tem política nenhuma sobre isto, e nunca teve.\nHouve uma tentativa. O 6UK foi criado em 2010 com 20 000 libras de capital inicial do Department for Business, Innovation and Skills, apoiado por Vint Cerf, com a LINX, a AAISP, a Timico e a Easynet por trás. Em dezembro de 2012 os seus administradores voluntários demitiram-se na assembleia geral, ninguém se candidatou à direção, e foi extinto. O seu veredicto de despedida: os incentivos do mercado livre são insuficientes, «one factor appears to dominate IPv6 adoption rates, namely government support,» e «countries with hands-off governments fall behind.»\nCatorze anos depois, foi exatamente isso que aconteceu. O UK IPv6 Council continua a existir, mas um fórum não é uma alavanca.\nCompara com os Estados Unidos, onde o memorando M-21-07 do OMB exigiu que 80% dos ativos federais com IP fossem só IPv6 até ao fim do ano fiscal de 2025. As agências falharam. Mesmo assim tinham um número a falhar, uma data para o falhar e alguém que tem de se levantar e explicar a falha. Aqui não há nada a falhar, por isso nunca ninguém teve de explicar nada.\nO governo britânico não exige IPv6 nas suas próprias compras de forma significativa. A Ofcom não o mede. Nenhum regulador pergunta por ele. E assim, como seria de prever, o www.nhs.uk e o www.hmrc.gov.uk não o têm, enquanto o www.gov.uk tem. E o www.gov.uk só o tem porque é servido pela Fastly, que ligou o IPv6 há anos em nome de outros.\nJá escrevi sobre o que acontece quando ninguém tem um contrato sobre uma indústria — os mecanismos que funcionam acabam por ser os que alguém com recursos escolhe operar, e se ninguém o faz, não acontece nada durante uma década. O IPv6 no Reino Unido é esse padrão outra vez, sem sequer uma votação dos membros no fim.\nE não é que ninguém tenha reparado A ausência de um requisito seria uma desilusão se isto tivesse passado despercebido. Não passou.\nO Estado percebeu o que o NAT de operador faz e legislou sobre isso. O Parlamento olhou diretamente para o problema, percebeu-o o suficiente para escrever uma lei sobre ele, e escreveu a lei que acomoda a avaria. «Obrigá-los a implementar o protocolo que a elimina» ou nunca foi levantado, ou foi levantado e abandonado.\nPortanto somos um país cuja posição declarada é que a atribuição de IP importa o suficiente para legislação antiterrorista, e que não pede a um único fornecedor que faça a coisa gratuita que a repõe. Fraude, roubo de contas, assédio, ameaças de morte, denúncias de abuso de menores e terrorismo chegam todos à rede de acesso com a mesma pergunta, e para muitas ligações britânicas a resposta honesta é «uma destas várias centenas de casas».\nO National Cyber Security Centre faz parte do GCHQ e publica orientações sobre imensas coisas. Não exige IPv6 a ninguém. Ninguém na Grã-Bretanha exige.\nO www.ncsc.gov.uk e o www.gchq.gov.uk respondem os dois em IPv6, atenção. A Internet Watch Foundation também. Os três porque estão atrás da Cloudflare, que o ligou para toda a gente por omissão. O www.police.uk não tem nenhum.\nE o que isso quer dizer para os dezassete Dezassete dos quarenta fornecedores deste artigo vendem ligações sem IPv6, e cerca de metade dos construtores de fibra põem os clientes atrás de NAT de operador.\nNão estou a acusar nenhum deles de um crime, e ninguém nesses edifícios está à espera de um.\nMas uma ligação atrás de NAT de operador sem IPv6 não pode ser resolvida para um assinante. Isto não é contestado. O IETF escreveu-o em 2011, a Europol em 2016 e 2017, o Parlamento em 2015 — tudo publicado antes de a maior parte deste equipamento ser comprada. A alternativa era gratuita, e esteve sempre disponível.\nÉ isso que «havemos de chegar ao IPv6» quer dizer, quando o segues até ao fim.\nO que fazer em relação a isto, em concreto Curto, porque nada disto é difícil. É esse o ponto do artigo inteiro.\nSe compras conectividade: põe o IPv6 no concurso como requisito eliminatório, não como coisa simpática de ter. Pede dual-stack nativo e um prefixo delegado, por escrito, e pergunta de que tamanho.\nSe a resposta for um único /64, continua a perguntar. O RFC 6177 acabou com isso em 2011: dar a um local doméstico um /64 «precludes the expectation that even home sites will grow to support multiple subnets», e é «strongly intended that even home sites be given multiple subnets worth of space, by default».\nO que não fez foi indicar um tamanho. Retirou o antigo /48 para todos, disse que a escolha «is an issue for the operational community», e deixou cair um exemplo de passagem: uma predefinição doméstica «of less than /48, such as a /56».\nOs operadores responderam eles próprios. O RIPE-690 é o seu próprio documento de boas práticas e é direto. Um /48 para cada um se quiseres um plano simples. Um /48 para empresas e um /56 para residências se quiseres um pragmático. Qualquer coisa mais longa do que um /56 é «strongly discouraged», e um /64 não cumpre as normas do IPv6 e vai partir as LAN dos clientes.\nPortanto o mínimo é um /56, e é o número do próprio IETF e não a preferência de ninguém. A Sky dá um a cada assinante desde 2016. A Zen dá um /48, que são 65 536. Uma empresa não devia aceitar menos do que um /48.\nSe um fornecedor te disser que um /48 para uma casa é um exagero, há um ISP britânico a fazê-lo há anos enquanto eles ainda estavam a decidir a sua posição.\nSe geres um número AS: provavelmente já tens um /29 que nunca anunciaste. Verifica.\nAS=AS20712 # your AS number ORG=$(whois -h whois.ripe.net \u0026#34;$AS\u0026#34; | awk \u0026#39;/^org:/{print $2; exit}\u0026#39;) # what IPv6 the registry has already given you whois -h whois.ripe.net -- \u0026#34;-i org $ORG\u0026#34; | grep -i \u0026#39;^inet6num\u0026#39; # what you are actually announcing of it whois -h whois.ripe.net -- \u0026#34;-i origin $AS\u0026#34; | grep -i \u0026#39;^route6\u0026#39; Se o primeiro comando imprimir um prefixo e o segundo não imprimir nada, és um dos 463.\nAnuncia-o, põe a tua fronteira e uma VLAN interna em dual-stack, e põe um AAAA num serviço público. São quinze dias de trabalho para um engenheiro e transforma a tua organização de uma estatística na tabela de cima numa que já começou.\nSe geres um site: verifica se há um registo AAAA. Se estás atrás de uma CDN, é provavelmente um interruptor que podes ligar esta tarde sem custo nenhum. Se está desligado, alguém o desligou.\nSe vendes serviços geridos: escreve o IPv6 na norma de construção e no modelo de desenho de baixo nível, uma vez, e todos os clientes a partir daí recebem-no por omissão. Ninguém tem de o pedir, porque também ninguém pede TLS.\nSe és um engenheiro que nunca o fez: monta um laboratório esta noite. Cerca de 90% do meu próprio tráfego passa por IPv6 nativo e é a coisa menos acidentada da minha rede. Arranja um túnel ou um VPS com um /64, põe endereços nas coisas, parte, conserta. Leva uma noite a deixar de meter medo e é a coisa mais barata que podes fazer pela tua carreira este ano.\nAs perguntas que não consigo arrumar Tudo o que está acima consigo mostrar-te. Esta parte é a que continuo a remoer, e não tenho uma resposta limpa para nenhuma delas.\nPorque é que uns conseguem e outros não? Esta é a que importa, e os dados tornam-na mais estranha em vez de mais clara.\nA Sky e a Virgin Media venderam banda larga ao mesmo país, com o mesmo regulador, ao mesmo tempo. Uma acabou em 2016. A outra anda a dizer «when we are ready» desde 2010. A Sainsbury\u0026rsquo;s e a Tesco estão na mesma CDN, num produto em que o dual-stack é a predefinição, e uma tem IPv6 e a outra não. A Noruega e a Grã-Bretanha compram aos mesmos fabricantes e 66,9% das redes norueguesas transportam IPv6 contra 42,3% das nossas.\nTodos os fatores externos a que possas deitar as culpas estão constantes nesses pares. Mesmo país, mesmos fornecedores, mesmo equipamento, mesmos clientes, mesma década, mesmo regulador, mesmo dinheiro. E os resultados são opostos.\nPortanto a causa não está nas circunstâncias. Está dentro do edifício. Algures na Sky houve uma pessoa que fez disto assunto seu e continuou a fazê-lo assunto seu durante três anos. Nos outros sítios não houve, ou houve e ninguém acima dela se importou. É essa a variável toda, e não é técnica.\nO que é uma resposta incómoda, porque não a consegues comprar, e não a consegues pôr num documento de estratégia.\nÉ formação? Em parte, e menos do que pensarias.\nOlha outra vez para as 463 organizações com IPv6 que nunca anunciaram. Alguém em cada um desses edifícios sabia o suficiente para saber que precisava dele, sabia a quem pedir, preencheu o formulário e conseguiu que fosse atribuído. O conhecimento estava lá e o seguimento não.\nA formação leva um engenheiro ao ponto de ser capaz. Não o leva ao ponto de ser obrigado a. Nunca ninguém teve uma má avaliação por não implementar IPv6. Nunca ninguém perdeu um contrato por causa disso. Até uma dessas coisas ser verdade, a formação vai para a pilha junto com tudo o resto que alguém aprendeu num curso e nunca usou.\nQuanto tempo até estarmos todos nele? Esta consigo pôr em números, e é pior do que esperava.\nA Google mede a percentagem dos seus próprios visitantes que chegam por IPv6 desde 2008. Tomando meados de agosto de cada ano, para comparar o que é comparável:\nA adoção mundial de IPv6 está a abrandar antes de meio caminho A adoção mundial de IPv6 está a abrandar, não a acelerar Visitantes da própria Google a chegar por IPv6 nativo, em meados de agosto de cada ano. Fonte: estatísticas de IPv6 da Google. 0% 10% 20% 30% 40% 50% 2017 18,1% 2018 2019 2020 2021 2022 2023 2024 2025 2026 48,1% Pontos ganhos nesse ano +3,6 +5,0 +4,4 +3,3 +4,3 +3,3 +2,3 +2,6 +1,1 Este ano acrescentou\u0026#160;1,1 pontos, o menor ganho numa década, contra 6,6 pontos no ano até agosto de 2017. A medição da Google dos seus próprios visitantes a chegar por IPv6 nativo, tomada em meados de agosto de cada ano para comparar o que é comparável. A linha é o nível. As barras são o que cada ano acrescentou. Não estamos a acelerar para a meta. Estamos a abrandar antes de meio caminho. Este ano acrescentou 1,1 pontos, o menor ganho numa década, contra 6,6 pontos no ano até agosto de 2017.\nExtrapola em linha reta a partir dos últimos três anos e o mundo chega aos 100% em 2049. Extrapola só a partir deste ano e é 2073. Nenhuma das duas é uma previsão. Uma curva que está a achatar não chega ao topo por inércia de todo. Estanca algures nos sessenta e o resto nunca se mexe, porque as redes que não o fizeram até lá são as que nada ia alguma vez mexer.\nAdorava estar enganado sobre isto. O número tem ficado mais pequeno todos os anos em que olhei para ele.\nPrecisamos de uma lei? É aquela sobre a qual mais andei para trás e para a frente, e cheguei a «não a lei a que as pessoas costumam recorrer».\nContra uma imposição: os americanos aprovaram a mais forte que alguém tem, e falharam-na. Um prazo não é uma implementação.\nA favor: o veredicto de despedida do 6UK em 2012 foi que os incentivos do mercado livre são insuficientes e que os países que ficam para trás são os de governos que não intervêm. Catorze anos de dados britânicos dão-lhes razão.\nE eis a parte que arruma a questão. Este país já legislou sobre este problema — só que legislou no sentido errado. Estivemos dispostos a legislar para acomodar a partilha de endereços. Nunca estivemos dispostos a legislar para a eliminar.\nO que eu pediria não é uma proibição nem uma meta, mas o instrumento belga descrito antes: um limite rígido para quantos assinantes podem partilhar um endereço. Não precisa de endereços novos, não põe ninguém fora do mercado, e atua sobre a economia em vez de sobre as boas intenções de alguém.\nUma imposição sozinha produz uma coisa útil, e não é implementação. É uma pessoa com nome que tem de explicar a falha. Nunca tivemos uma dessas.\nEntão como é que passámos para o IPv4 tão depressa? Porque alguém podia desligar o antigo.\nA comparação é exata, e quase ninguém a faz. A ARPANET corria o Network Control Program, que endereçava as máquinas em 8 bits — 6 para o nó e 2 para a máquina, portanto 64 nós de 4 máquinas, 256 máquinas no total. No fim dos anos 70 isso claramente não chegava, e a resposta foi um protocolo novo com um endereço maior. O mesmo problema que temos agora, quarenta e tal anos antes.\nJon Postel publicou o plano de transição em novembro de 1981. Em março de 1982 o Departamento de Defesa dos EUA declarou o TCP/IP a sua norma oficial. Os dois protocolos correram lado a lado, e a 1 de janeiro de 1983 o NCP foi desligado. As máquinas que não tinham sido convertidas perderam o acesso à rede. Vint Cerf lembra-se dos pins «I survived the TCP/IP switchover» usados depois pelas pessoas que passaram por isso.\nCatorze meses do plano ao dia da mudança.\nAgora conta o que tornou isso possível. Mais ou menos duas centenas de máquinas, não quatro mil milhões. Uma rede, não todas as redes. Um financiador que era dono de todas as máquinas e pagava o salário de toda a gente que lhes tocava. Uma única organização capaz de marcar uma data, e — esta é a parte que importa — capaz de fazer o protocolo antigo deixar de funcionar nessa data.\nNada disso existe hoje, e é essa a resposta toda. O IPv4 não ganhou porque a migração fosse fácil. Ganhou porque havia alguém em posição de acabar com a discussão.\nNinguém está nessa posição hoje. Não há nenhuma autoridade que possa desligar o IPv4, e nunca haverá. O que quer dizer que esta transição não pode ser acabada como a anterior — só pode ser acabada por vários milhares de organizações a decidir, cada uma por si, dar-se ao trabalho.\nCom os números deste ano, isso dá 2073. Noventa anos depois do dia da mudança.\nAntes fazíamos as coisas como deve ser Uma norma é uma coisa que cumpres quando ninguém está a verificar. É só isso. Não há inspetor para isto, não há certificado, não há auditor que apareça e peça para ver a tua tabela de encaminhamento, e vinte anos já mostraram exatamente o que este país faz com uma obrigação que ninguém faz cumprir.\nLargamo-la, e depois compramos alguma coisa para tapar o buraco.\nNada disto é uma falha técnica e não vou fingir que é. A Grã-Bretanha consegue fazer este trabalho. As competências estão cá, o equipamento está cá, o espaço de endereços está atribuído e parado à espera em contas que já pagamos. O que desapareceu foi o instinto de fazer um trabalho como deve ser porque é esse o trabalho — sem receber a mais por isso, e sem alguém em cima de ti a obrigar-te.\nPergunta o que é que de facto o trava e vais dar ao dinheiro, mas não da maneira que as pessoas querem dizer.\nUm NAT de operador tem uma nota de encomenda. Tem um fornecedor, um orçamento, um desconto, um contrato de suporte e uma data de renovação. Vai para o plano de investimento, deprecia ao longo de cinco anos, e o nome de alguém fica no business case. Entregá-lo é uma coisa visível para a qual um chefe pode apontar numa avaliação.\nO IPv6 não tem nada disso. Nem fatura, nem fornecedor, nem renovação, nada para pôr num orçamento e nada que alguém possa ser visto a comprar. É só trabalho, bem feito, por pessoas que sabem o que estão a fazer, sem retorno neste trimestre. Nunca ninguém nesta indústria foi promovido por uma coisa que nunca apareceu num orçamento.\nComo tal, a opção mais barata perde, todos os anos, há vinte anos. Não porque alguém tenha pesado as coisas e escolhido mal, mas porque cresceu aqui uma cultura de gestão que só consegue ver as partes da engenharia que chegam com um preço. O barato nunca foi o obstáculo. O que não se podia faturar é que foi. É este o aspeto de um negócio que deixa de se importar com normas e passa a importar-se só com o que pode pôr numa fatura, e é uma escolha feita por pessoas pagas o suficiente para saberem melhor.\nDepois há o que nos venderam em vez de um endereço, o que devia pôr as pessoas mais zangadas do que põe.\nA internet foi construída para que qualquer máquina pudesse chegar diretamente a qualquer outra. Não é um pormenor do desenho. É o desenho. É por isso que qualquer pessoa com uma ligação e uma ideia podia pôr no ar uma coisa a que o mundo inteiro conseguia chegar. Põe um cliente atrás de um endereço partilhado e isso acabou. Podes perguntar, mas nunca podes responder. És consumidor dos serviços dos outros, para sempre, e nunca fornecedor dos teus.\nIsto não é um efeito secundário infeliz de uma escassez. É uma reestruturação da arquitetura, e dá jeito a toda a gente que a vende. A câmara que agora precisa da nuvem do fabricante. O acesso remoto que agora precisa do relay de alguém. A coisa que as pessoas costumavam correr em casa e que agora é uma subscrição mensal. Cada uma delas é alguém que era dono de uma coisa a ser convertido em alguém que a aluga, e uma ligação discretamente rebaixada de um lugar na internet para uma janela para o lugar de outra pessoa.\nEntregámos o meio da internet a meia dúzia de empresas noutro continente, e depois ficámos parados com cara de surpresa por ter acabado centralizada. Não consegues ser autossuficiente numa ligação que não te deixa alojar nada.\nA autossuficiência é a parte a que continuo a voltar, porque este país deixou de a esperar de si próprio. O instinto agora é esperar. Por um fornecedor, um regulador, um subsídio, uma imposição, um cliente que telefone a pedir. Nada disso vem a caminho. Não há sinal de mercado a caminho, nenhuma política em redação, nenhum prazo cuja falha alguém vá ter de explicar.\nO que deixa tudo onde sempre esteve. Uma alocação gratuita, parada numa conta de registo com o nome da tua empresa, e quinze dias entre ti e teres feito o trabalho como deve ser.\nNinguém vem obrigar-te. É exatamente por isso que conta.\nPodes verificar se é o teu edifício. O script está no download no topo do artigo.\nFontes Tudo o que se segue foi consultado a 27 de agosto de 2026.\nOs dados a partir dos quais medi. Cada número meu vem daqui. São gratuitos, são públicos, e podes repetir tudo numa tarde.\nFicheiros de delegação dos registos, um por registo regional: RIPE NCC, APNIC, ARIN, LACNIC, AFRINIC. O do RIPE foi gerado a 26 de agosto de 2026, os restantes a 27 de agosto de 2026. Dumps da tabela de encaminhamento do RIPE RIS, riswhoisdump.IPv4.gz e riswhoisdump.IPv6.gz, gerados às 18:06 UTC de 27 de agosto de 2026. Interface REST da base de dados do RIPE, para a organização por trás de cada número AS. O DNS público, para a varredura de AAAA, verificada contra um segundo resolver. Medições de outras pessoas.\nEstatísticas de IPv6 da Google — IPv6 nativo por país entre os próprios visitantes da Google, números a 25 de agosto de 2026. A APNIC sobre o desempenho do IPv6 e sobre equívocos de segurança no IPv6 — o retrato medido em vez do dos fóruns. Preços do mercado de transferências IPv4, primeiro semestre de 2026, a resumir a análise da CircleID das transações com preço público. Normas. Os remendos, pela ordem em que foram publicados.\nRFC 3056 — túnel automático 6to4, fevereiro de 2001. RFC 3701 — o plano de desativação do 6bone, a marcar o encerramento para 6 de junho de 2006. RFC 7526 — descontinua os relays anycast do 6to4 e passa-os a Historic, maio de 2015. RFC 4864 — o que o NAT dá e não dá, e porque é que a firewall que as pessoas julgam ter é «an arbitrary artifact», 2007. RFC 4941, RFC 7217 e RFC 8981 — endereços temporários e opacos, a razão por que o endereço IPv6 de um dispositivo não é um identificador estável. RFC 801 — o plano de transição NCP/TCP de Jon Postel, novembro de 1981, a marcar o dia da mudança para 1 de janeiro de 1983. RFC 1883 — a especificação original do IPv6, dezembro de 1995. RFC 6333 — DS-Lite, 2011. RFC 6056 — aleatorização da porta de origem, a defesa que o CGN enfraquece, 2011. RFC 6269 — Issues with IP Address Sharing, junho de 2011. O próprio catálogo do IETF do que o CGN parte, incluindo o registo de abusos, os castigos por endereço, as listas negras, a aleatorização de portas e a rastreabilidade. RFC 791 e RFC 8200 — os dois formatos de cabeçalho, e porque é que o IPv6 deixou cair o checksum, o comprimento variável e a fragmentação em trânsito. RFC 6583 — esgotamento da cache de Neighbour Discovery num /64, e a divisão entre plano de encaminhamento e plano de controlo que decide o que custa CPU a um router. RFC 6177 — quanto espaço de endereços deve receber um local final, 2011. Torna obsoleto o /48 para todos do RFC 3177, exclui o /64 único e entrega o número real à comunidade operacional. RIPE-690 — a resposta dos próprios operadores europeus a essa pergunta, outubro de 2017: /48 ou /56 para um utilizador final, nunca um /64. RFC 6302 — registar a porta de origem, a hora e o protocolo, 2011. RFC 6598 — espaço de endereços partilhado, 2012. RFC 6877 — 464XLAT, 2013. RFC 6888 — requisitos do NAT de operador, 2013. RFC 7021 — o impacto do NAT de operador nas aplicações, 2013. RFC 7422 — mapeamento determinístico para cortar os registos do CGN, 2014. RFC 7597 e RFC 7599 — MAP-E e MAP-T, 2015. World IPv6 Launch, 6 de junho de 2012. O tunnel broker gratuito da Hurricane Electric — onde muitos de nós arranjaram IPv6 enquanto os nossos próprios ISP não tinham nenhum. Lei e política.\nCyber Security and Resilience (Network and Information Systems) Bill 2024-26 — nota informativa da House of Commons Library sobre o projeto de lei que poria os fornecedores de serviços geridos dentro das NIS Regulations. Counter-Terrorism and Security Act 2015, secção 21 — conservação de dados de internet relevantes, e as suas notas explicativas. Europol, outubro de 2017 — as autoridades a pedir o fim do NAT de operador, com os números de 90% no móvel e 50% no fixo. Memorando M-21-07 do OMB — o requisito federal norte-americano de só IPv6, novembro de 2020. Online Safety Act 2023. Europol EC3, Carrier Grade NAT and crime attribution online — a apresentação de Gregory Mounier no RIPE 74, com o inquérito de agosto de 2016 às autoridades da UE, os exemplos de casos, e o código de conduta belga e os seus resultados. Dados da CyberTipline do NCMEC — volumes de denúncias e encaminhamentos de 2025. A Multi-perspective Analysis of Carrier-Grade NAT Deployment, ACM IMC 2016 — a medição independente do uso de CGN pelos fornecedores móveis e fixos. Tabela de quotas do RIPE NCC 2026 — 1800 EUR por conta LIR, valor fixo. Fabricantes, pelas suas próprias palavras.\nAkamai, junho de 2022 — o dual-stack é a predefinição e os clientes têm de optar por sair dele. AWS, 2023 — a cobrança pelo IPv4 público, e porquê. Imprensa e registo público.\nO relato da própria Sky no RIPE Labs — como cinco milhões de utilizadores foram mudados. ISPreview, setembro de 2016 — a Sky a concluir a implementação. CircleID, setembro de 2016 — o Jim Bound IPv6 Award. ISPreview, dezembro de 2012 — o 6UK a dissolver-se. Inquérito do ISPreview sobre IPv6 e CGNAT nos altnets — abril de 2024, atualizado até março de 2025. O ISPreview sobre o teste de IPv6 da Plusnet, novembro de 2023 — o teste de 2011, o lançamento falhado de 2020, e a nota de que a BT e a Plusnet entregam routers quase idênticos. Um monitor mantido pela comunidade das redes móveis britânicas e do IPv6 — reportado pelos utilizadores e não oficial, e a fonte para saber que redes móveis dão IPv6 hoje. havevirginmediaenabledipv6yet.co.uk — a cronologia da Virgin Media, de 2010 até hoje. Internet Society, setembro de 2016 — a Sky em 90% da sua base, cada assinante a receber um /56. Internet Society, setembro de 2016 — o relato de Ron Broersma da migração de NCP para TCP/IP em 1983, incluindo o limite de 256 máquinas e o que aconteceu a quem falhou o prazo. The Register, janeiro de 2013 — trinta anos depois do dia da mudança, e os pins que as pessoas usaram depois. UK IPv6 Council. ","permalink":"https://blogs.damiendye.uk/pt/networking/we-never-ran-out-of-addresses/","summary":"O IPv6 está acabado, é gratuito e vem ligado por omissão em todos os sistemas operativos há quase vinte anos. A resposta do Reino Unido foi o NAT de operador, uma lei sobre registos e uma taxa de 5 libras por mês para te devolver o endereço que antes tinhas. Contei todas as redes britânicas na tabela de encaminhamento global para saber quem ligou mesmo o IPv6: 1200 não ligaram, e 463 dessas estão sentadas em espaço de endereços que pediram e nunca usaram.","title":"Nunca ficámos sem endereços. Ficámos sem vontade."},{"content":"Declaração logo à partida: trabalho para a croit, que vende Ceph e aparece nas tabelas abaixo. Tentei ser tão crítico connosco como com toda a gente. Cada número vem do histórico git público, dos registos do próprio Ceph dentro da árvore, ou de uma declaração pública identificada, tudo reproduzível, tudo listado nas referências no fim.\nO Ceph segura muito equipamento em que ninguém pensa. Clusters Proxmox, OpenStack, Kubernetes, laboratórios nacionais de investigação, bancos, operadoras de telecomunicações, aceleradores de partículas. Vinte anos depois, continua a ser a primeira resposta quando alguém quer armazenamento em bloco, de ficheiros e de objetos a partir de um só cluster construído com hardware comum.\nEntão, quem o escreve, quem o mantém, e quem o corre?\nNão «quem está na mailing list» nem «quem falou na Cephalocon». Clonei o ceph/ceph, peguei em todos os commits que não são merges, de autoria nos dez anos até 2026-08-27, e associei os autores a empresas usando o .organizationmap do próprio Ceph mais um conjunto documentado de correções. Depois peguei no ficheiro de governança dentro da árvore do Ceph e segui os 38 membros do Steering Committee até ao empregador no endereço que eles próprios publicaram. Depois fui procurar quem diz publicamente que o corre.\nIsso dá 69 613 commits de 1718 pessoas em 478 organizações. É um retrato melhor do que eu esperava à partida, e não aquele que me propus escrever.\nA década Posição Organização Commits Quota 1 Red Hat 42 354 60,8% 2 SUSE 6191 8,9% 3 IBM 4308 6,2% 4 Intel 2066 3,0% 5 ZTE 1176 1,7% 6 QiAnXin 900 1,3% 7 Ceph Foundation 691 1,0% 8 Mirantis 566 0,8% 9 IONOS 498 0,7% 10 China Mobile 397 0,6% 11 Proxmox 254 0,4% 12 croit 242 0,3% 13 Cloudbase Solutions 239 0,3% 14 Bloomberg 231 0,3% 15 XSKY 225 0,3% — Clyso 181, Huawei 159, Inspur 155, Cafe Bazaar 130, CERN 121, SK Telecom 120, UMCloud 106, Deutsche Telekom 105, EasyStack 103, ISCAS 99, Tencent 83, e mais 460 organizações — Sem empregador visível no endereço 6295 9,0% As linhas 1 e 3 são a mesma equipa. A 4 de outubro de 2022, a Red Hat e a IBM anunciaram que toda a equipa de Ceph da Red Hat passava para a IBM, com a IBM a assumir o patrocínio da Foundation que era da Red Hat e a ajudar a financiar o laboratório de testes upstream. As pessoas não mudaram; os seus endereços de email ainda estão a migrar, um engenheiro de cada vez, quatro anos depois.\nSomem-se: 46 662 commits. 67,0% da década.\nPensa nisso antes de mais nada, porque é o acordo que faz o Ceph existir. Uma empresa pagou a dezenas de engenheiros para construir e cuidar de armazenamento distribuído que depois oferece. Dez anos disso, ao longo de duas aquisições e de uma mudança de empresa-mãe. Ninguém os obrigou.\nOs últimos três anos Posição Organização Commits Quota 1 Red Hat 7273 45,0% 2 IBM 3818 23,6% 3 QiAnXin 597 3,7% 4 Ceph Foundation 526 3,3% 5 IONOS 498 3,1% 6 Intel 279 1,7% 7 Proxmox 249 1,5% 8 Bloomberg 220 1,4% 9 croit 157 1,0% 10 Clyso 153 0,9% 11 Cafe Bazaar 118 0,7% 12 ISCAS (Institute of Software, Chinese Academy of Sciences) 99 0,6% — Sem empregador visível no endereço 2008 12,4% 16 160 commits. Red Hat mais IBM: 11 091, ou 68,6%.\nA quota de uma empresa no Ceph, numa década e em três anos A quota não mexe. O que está dentro dela mexe. Dez anos até 2026-08-27 69 613 commits Red Hat\u0026#160;\u0026#160;60,8% IBM 6,2% SUSE 8,9% todos os outros\u0026#160;\u0026#160;24,1% Red Hat + IBM: 46 662 commits, 67,0% Últimos três anos 16 160 commits Red Hat\u0026#160;\u0026#160;45,0% IBM\u0026#160;\u0026#160;23,6% SUSE: 13 todos os outros\u0026#160;\u0026#160;31,4% Red Hat + IBM: 11 091 commits, 68,6% A SUSE foi o segundo maior contribuidor da década. Nos últimos três anos escreveu 13 commits, e em 2025 e 2026 nenhum. A quota de uma só empresa quase não mexe entre a década e a janela recente: 67,0% contra 68,6%. O que muda é tudo o resto à volta. A resiliência de que ninguém fala Eis a parte que eu não esperava, e é a melhor coisa de todo o exercício.\nO Ceph já sobreviveu aos dois acontecimentos que estes dados te diriam para temer, e nem pestanejou.\nO seu criador, Sage Weil, escreveu 7517 commits ao longo da década, mais do que qualquer organização exceto a Red Hat, a SUSE e a IBM. Só em 2017 escreveu 2184 commits, 21,5% de todo o projeto sozinho. Afastou-se em outubro de 2021 ao fim de 17 anos; o seu último commit tem data de 2022-01-20.\nO segundo maior contribuidor da década, a SUSE, escreveu 6191 commits e chegou a um pico de 1839 num ano. Depois cancelou o SUSE Enterprise Storage em favor do Longhorn da Rancher e foi encolhendo: 463 em 2021, 110 em 2022, 14 em 2023, 10 em 2024, nada desde então.\nAmbos dentro dos mesmos cinco anos. Se um projeto tão concentrado fosse frágil, teria sido aí que partia.\nNão partiu. O ritmo de commits este ano é de 14,6 por dia, contra 14,8 no ano passado. Plano. As versões continuaram a sair. A governança foi reconstruída num Executive Council e num Steering Committee de 38 pessoas, e aguentou.\nAno Total de commits Red Hat + IBM Quota Todos os outros 2016 10 286 5834 56,7% 4452 2017 10 158 6942 68,3% 3216 2018 8099 5265 65,0% 2834 2019 9000 5934 65,9% 3066 2020 8361 5230 62,5% 3131 2021 7381 4517 61,1% 2864 2022 4731 2937 62,0% 1794 2023 4634 3315 71,5% 1319 2024 5410 3571 66,0% 1839 2025 5389 3730 69,2% 1659 2026 3495 2329 66,6% 1166 (2026 vai até 27 de agosto, cerca de oito meses.)\nEntre 57 e 72 por cento de um só fornecedor, todos os anos durante uma década. O volume está abaixo do pico de 2016, que é o que acontece quando um projeto deixa de reconstruir as fundações e passa a cuidar delas. Os últimos três anos estão planos, ou um pouco acima.\nVolume de commits do Ceph por ano — a quota mantém-se, o total cai para metade Commits por ano, e quem os escreveu Ramo principal do Ceph, commits sem merges, por data de autoria 0 3k 6k 9k 12k 2016 57% 2017 68% 2018 65% 2019 66% 2020 63% 2021 61% 2022 62% 2023 72% 2024 66% 2025 69% 2026* 67% Red Hat + IBM — uma só equipa desde outubro de 2022 todos os outros pico da SUSE: 1839 Sage Weil sai SUSE: 110 em 2022, 14 em 2023, 0 em 2026 * 2026 vai até 27 de agosto; projetado ao ritmo diário atual de 14,6 commits, contra 14,8 em 2025. Volume de commits por ano, dividido entre a equipa Red Hat/IBM e todos os outros. Assinalados: o pico e a saída da SUSE, e a saída de Sage Weil. O Ceph absorveu ambos sem mudar de cadência. O Ceph sobreviveu às empresas que o construíram Esta é a verdadeira história da década, e numa janela de três anos não se vê de todo.\nOlha para as linhas 2, 5, 8, 10, 13 e 15. SUSE, ZTE, Mirantis, China Mobile, Cloudbase Solutions, XSKY, e ainda Inspur, EasyStack, UMCloud, Kylin, UnitedStack, Xtao, Istuary e mais lá para baixo. Entre elas, bem mais de 10 000 commits. Quase tudo parou.\nSUSE: 6191 commits, pico em 2020, agora zero. ZTE: 1176 commits, 1071 só em 2016, último commit em 2020. Mirantis: 566 commits, desaparecida. XSKY, EasyStack, Inspur, UMCloud, Kylin, UnitedStack: a geração de armazenamento da era OpenStack, todas encolhidas até parar. Cada uma delas era uma empresa a apostar um produto no Ceph. Os produtos foram cancelados ou mudaram de rumo. E o Ceph continua aqui, a entregar ao mesmo ritmo, com o código delas ainda na árvore e outra pessoa a cuidar dele.\nA melhor ilustração é o dashboard. Ao longo da década, o src/pybind/mgr/dashboard tem este aspeto:\nsrc/pybind/mgr/dashboard, dez anos Commits Quota SUSE 1408 36,6% Red Hat 1177 30,6% IBM 734 19,1% Sem empregador visível 478 12,4% O dashboard do Ceph foi sobretudo trabalho da SUSE. A SUSE depois saiu completamente do projeto. Nos últimos três anos o mesmo diretório é 57,5% IBM e 30,3% Red Hat, e o dashboard continua a sair e a ganhar funcionalidades.\nIsto é o desenvolvimento upstream-first a fazer exatamente o trabalho para que existe. Um fornecedor pôs lá muito, o fornecedor saiu, e os utilizadores ficaram com o software. Se a SUSE tivesse construído esse dashboard como uma camada fechada aparafusada por cima, como muitos fornecedores de armazenamento teriam feito, teria morrido com a linha de produto. Foi para upstream, e por isso viveu.\nA próxima década está a ser construída por várias empresas ao mesmo tempo O Crimson é a reescrita de raiz do OSD, o daemon que é dono dos teus discos, sobre a framework Seastar, a pensar no modelo de uma thread por core que o NVMe moderno exige. É a maior aposta nos próximos dez anos do Ceph. Ao longo da década:\nsrc/crimson, dez anos Commits Quota Red Hat 3038 52,1% Intel 1269 21,8% QiAnXin 824 14,1% Sem empregador visível 450 7,7% E nos últimos três anos, a Red Hat e a IBM juntas são uma minoria dele, com 45,4%, com a QiAnXin nos 28,4% e a Intel nos 13,4%.\nA coisa mais importante a ser construída no Ceph neste momento é mesmo um trabalho de várias empresas. Não é o roadmap de um fornecedor com uns quantos contribuidores aparafusados: são três organizações a fazer engenharia pesada no mesmo subsistema, em público, durante anos.\nA QiAnXin merece uma nota, porque não é um nome que a maioria das pessoas do armazenamento conheça. É uma empresa chinesa de cibersegurança empresarial, fundada como subsidiária da Qihoo 360 em 2014 e autonomizada por volta de 2016; a Qihoo 360 vendeu a sua participação restante de 22,6% a empresas ligadas à China Electronics Corporation em abril de 2019, e a CEC detinha 38,3% à data do pedido de IPO de 2020. A história empresarial lê-se no git log: o seu principal contribuidor, Xuehan Xu, tem commits sob @360.cn em 2017 e 2018 e @qianxin.com a partir de 2021. Uma empresa de segurança sem nenhum produto de armazenamento para vender pôs 900 commits no OSD futuro do Ceph. Isso é um projeto aberto a funcionar tal como diz no rótulo.\nQuem mantém o Ceph, e quem lhes paga Escrever código é uma coisa; ter as chaves é outra. O Ceph guarda a sua governança no repositório, em doc/governance.rst, e o Ceph Steering Committee está lá listado por nome e email. Isso torna a pergunta de quem emprega cada maintainer respondível a partir de uma fonte primária, em vez de palpites.\nTrinta e oito lugares, seguidos até ao empregador no endereço que cada membro listou:\nEmpregador Lugares Red Hat 16 IBM 9 Clyso 3 Endereço pessoal (Anthony D\u0026rsquo;Atri, Myoungwon Oh) 2 croit — Igor Fedotov 1 Bloomberg — Joseph Mundackal 1 Intel — Yingxin Cheng 1 Ceph Foundation — Zac Dover 1 XSKY — Haomai Wang 1 ZTE — Xie Xingguo 1 Ubiquiti — Yehuda Sadeh 1 11:11 Systems — David Orman 1 A Red Hat e a IBM ocupam 25 de 38 lugares, 65,8%. Contra 67,0% dos commits da década e 68,6% dos dos últimos três anos. O órgão de governança espelha o código quase exatamente, que é o sentido saudável: quem faz o trabalho tem voz, e como tal ninguém tem um veto que não tenha merecido.\nLugares no Ceph Steering Committee por empregador — 25 de 38 são uma empresa Quem mantém o Ceph, por quem lhes paga 38 lugares no Ceph Steering Committee, pelo endereço que cada membro lista em doc/governance.rst Red Hat IBM Clyso endereço pessoal um lugar cada 16 9 3 2 8 croit, Bloomberg, Intel, Ceph Foundation, XSKY, ZTE, Ubiquiti, 11:11 Systems Red Hat + IBM: 25 de 38 lugares, 65,8% Contra 67,0% dos commits da década e 68,6% dos dos últimos três anos. O comité espelha o código. A XSKY e a ZTE ainda têm lugares. Nenhuma fez um commit no Ceph desde 2020. Cinco dos 38 não fazem um commit desde 2021, ou nunca fizeram. Dirigir não é o mesmo que escrever código \u0026#8212; mas dois desses lugares pertencem a empresas que saíram de todo do projeto. Os 38 lugares do Ceph Steering Committee pelo empregador no endereço que cada membro listou, a partir de doc/governance.rst. A composição do comité acompanha de perto a distribuição dos commits. Há dois pormenores que vale a pena destacar, e ambos dizem algo de bom.\nA XSKY e a ZTE ainda têm lugares. Nenhuma das duas empresas fez um commit desde 2020: o último commit de Haomai Wang é de 2020-03-18, o de Xie Xingguo de 2020-07-24, depois de 750 commits na década. O Ceph não os pôs na rua. Um projeto que guarda um lugar quente para as pessoas que construíram grandes partes do BlueStore e do OSD, anos depois de o empregador delas se ir embora, não é um projeto que trata os contribuidores como descartáveis.\nYehuda Sadeh senta-se no comité com um endereço @ui.com. Ele escreveu o RADOS Gateway, a porta de entrada S3 e Swift para o RADOS, o Reliable Autonomic Distributed Object Store sobre o qual assenta tudo o resto no Ceph, a começar na DreamHost em 2008, passando pela Inktank, Red Hat e IBM: 972 commits só na década e milhares antes disso. Em julho de 2025 ainda estava a escrever código de criptografia do cephx. Depois, em junho de 2026, fez exatamente um commit, doc: governance/csc: update email address, a mudar a sua própria entrada para a Ubiquiti. Mudou de empregador e manteve o lugar. Aqui, a tua posição viaja contigo, e essa é uma das melhores coisas de trabalhar às claras.\nOs líderes de componente Os líderes de componente são donos de cada subsistema no dia a dia:\nComponente O que é Líder Empregador Cephadm Implementação e gestão do cluster Adam King Red Hat CephFS O sistema de ficheiros POSIX Venky Shankar Red Hat Crimson O OSD da próxima geração Matan Breizman Red Hat Dashboard A interface web de gestão Afreen Misbah IBM RADOS O armazenamento de objetos sobre o qual tudo o resto assenta Radosław Zarzyński Red Hat RBD RADOS Block Device, discos virtuais Ilya Dryomov Red Hat RGW RADOS Gateway, a camada S3 e Swift Adam Emerson, Eric Ivancich Red Hat NVMe-oF Gateway NVMe over Fabrics Aviv Caro IBM Seastore O backend de armazenamento do Crimson Yingxin Cheng Intel Dez líderes nomeados, nove na Red Hat ou na IBM, e o Seastore, o backend de armazenamento do Crimson, liderado a partir da Intel. Acima deles está o Executive Council de três pessoas, criado quando Sage Weil saiu: Dan van der Ster (Clyso), Neha Ojha (Red Hat), Patrick Donnelly (IBM). A Clyso ocupa um terço do órgão de governança de topo com 0,3% dos commits da década: o conselho foi construído à volta de critério e reputação, não de números de pessoal.\nOs maintainers mudaram, e o código ficou O argumento mais forte de que o Ceph é um verdadeiro bem comum e não o produto de uma empresa é o que acontece quando os seus maintainers mudam de emprego. Cada um destes pode ser seguido através de endereços no repositório:\nMaintainer (empregador atual) Carreira, segundo o git log Último commit Igor Fedotov (croit) — BlueStore Mirantis (2015–17) → SUSE (2017–24) → croit (2021–) 2026-08-24 Kefu Chai (Proxmox) — núcleo, build Red Hat (2015–22, 4770 commits) → XSKY → Proxmox (2025–) 2026-08-18 Radosław Zarzyński (Red Hat) — líder do RADOS Mirantis (2015–17) → Red Hat (2017–) 2026-06-16 Dan van der Ster (Clyso) — Executive Council CERN (2013–22) → Clyso (2023–) 2026-03-18 Zac Dover (Ceph Foundation) — documentação independente → Clyso → Ceph Foundation 2026-07-23 Yehuda Sadeh (Ubiquiti) — autor do RGW DreamHost → Inktank → Red Hat → IBM → Ubiquiti 2026-06-08 Mark Nelson (Clyso) — desempenho DreamHost → Inktank → Red Hat → Clyso 2024-04-16 Xuehan Xu (QiAnXin) — Crimson Qihoo 360 (2017–18) → QiAnXin (2021–) 2026 Três empregadores cada um, quatro em alguns casos, e o trabalho continuou ao longo de cada mudança. Igor Fedotov já sobreviveu a duas estratégias de Ceph dos seus empregadores e continua a manter o motor que põe os teus bytes no disco. Por isso, a resposta honesta a «e se um fornecedor sair» é esta: os engenheiros continuam.\nQuem corre realmente o Ceph As contribuições são só metade. Eis quem diz em voz alta que corre Ceph, com os números que eles próprios publicaram.\nOrganização Implementação declarada publicamente CERN, a Organização Europeia para a Investigação Nuclear 19 clusters de produção, ~73 PB em bruto, mais 5 num novo centro de dados, a espinha dorsal de armazenamento por baixo da cloud de TI do CERN Bloomberg Armazenamentos de objetos de centenas de TB a mais de 8 PB; acrescentou 6 PB de capacidade em bruto ao vivo, um aumento de 50% num cluster em linha, em menos de uma hora Wikimedia Foundation Cinco clusters Ceph de produção: bloco para o Cloud VPS, S3 via RGW multisite, e CephFS para Airflow, Dumps e ML-Lab DigitalOcean O Ceph alimenta o seu serviço Block Storage via RBD, com «hundreds of enterprise-class SSDs» por região e replicação 3× entre servidores e bastidores OVHcloud «Persistent storage for virtual machines is ensured by Ceph RADOS Block Device» na sua On-Prem Cloud Platform Proxmox Distribui o Ceph como a opção de armazenamento hiperconvergente integrada no Proxmox VE O CERN merece um olhar mais atento, porque é o relato público mais detalhado que alguém publicou. De uma palestra de TI do CERN de setembro de 2024, por Enrico Bocchi:\nCeph no CERN, por aplicação Tamanho em bruto Clusters Blocos — OpenStack Cinder/Glance, HDD réplica 3× 25,1 PB 5 Blocos — Flash, EC 4+2 976 TB 2 Sistema de ficheiros — OpenStack Manila, K8s/OKD, HPC, HDD réplica 3× 13,4 PB 5 Sistema de ficheiros — Flash, réplica 3× 1,7 PB 4 Objetos — S3, Swift, Backups, HDD EC 4+2 28,2 PB 2 Objetos — multi-site, EC 4+2 3,6 PB 1 EC 4+2 é erasure coding, quatro blocos de dados para dois de paridade. HPC é computação de alto desempenho, K8s é Kubernetes e OKD é a sua distribuição upstream. Os números são capacidade em bruto, antes da sobrecarga de replicação e de codificação.\nDezanove clusters de produção, geridos segundo o princípio declarado «don\u0026rsquo;t put all your eggs in the same basket», com mais cinco a entrar num novo centro de dados. O historial do serviço é um anúncio discreto ao software: prova de conceito de 300 TB em 2013, 3 PB em produção para RBD em dezembro desse ano, expansão de 3 PB para 6 PB sem tempo de inatividade em 2016, S3 e CephFS em produção em 2018, um cluster CephFS inteiro mudado fisicamente de sítio sem tempo de inatividade em 2022, RBD em kernel em produção em 2023.\nO que ele carrega no CERN é a parte reveladora: GitLab, OpenStack, OpenShift, Kubernetes, Harbor, Jenkins, Grafana, Kafka, OpenSearch, InfluxDB, HTCondor, Slurm, Jupyter, Spark, Zenodo, Indico, e a virtualização de NFS, AFS e CVMFS. O Ceph não é ali uma experiência à parte. É o chão sobre o qual assenta o resto do edifício.\nE o número da comunidade inteira, do próprio anúncio da versão Squid pela Linux Foundation: 1 exabyte de dados em mais de 3000 clusters Ceph.\nEsse exabyte é um mínimo, não um total Esta é a parte em que vale a pena parar, porque muda a forma como lês cada número de adoção do Ceph.\nA telemetria do Ceph é opt-in. Só és contado se alguém correr ceph telemetry on --license sharing-1-0. Toda a gente que nunca o correu é invisível, e na prática isso é a maioria das pessoas, porque não é a predefinição e nada te chateia por causa disso.\nAgora junta o Proxmox. O Proxmox VE traz o Ceph como a sua opção de armazenamento hiperconvergente: três nós, uns quantos cliques na interface web, pveceph por baixo, e tens um cluster Ceph. Um número muito grande de pessoas corre Ceph em produção sem nunca se ver a si próprias como utilizadoras de Ceph. São utilizadoras de Proxmox. Nunca entraram numa mailing list, nunca vão escrever um testemunho, não ligaram a telemetria, e não aparecem em nenhuma das tabelas acima.\nCada pequena empresa de alojamento, fornecedor de serviços geridos, departamento universitário, homelab que passou discretamente para produção e cluster de escritório de três nós nesse escalão é uma implementação real de Ceph que nenhum número deste artigo conta. O mesmo vale para quem recebe o Ceph através do Rook em Kubernetes, ou dentro de um appliance de um fornecedor que nunca diz o que está debaixo da tampa.\nPortanto, 1 EB em 3000 clusters é o número dos clusters que levantaram a mão. A base instalada real é bastante maior e ninguém sabe em quanto. É uma posição estranha para software de infraestrutura, porque normalmente o fornecedor sabe, já que tiveste de comprar uma licença, e é um resultado direto de a coisa ser gratuita.\n478 organizações já contribuíram código O registo de commits serve também de lista de quem corre Ceph em escala, porque uma empresa que envia patches é quase sempre uma empresa que corre a coisa. Ao longo da década aparecem 478 domínios de email organizacionais distintos, 140 deles com cinco commits ou mais.\nOs nomes, agrupados, só a partir do git log:\nFabricantes de chips, discos e hardware: Intel, Samsung, Seagate, SanDisk, Western Digital, Quantum, Mellanox, Lenovo, Fujitsu, Hitachi, Nokia, Arm, Linaro, HiSilicon, Synology, 45Drives Clouds e alojamento: DigitalOcean, OVH, IONOS, Akamai, Linode, Hetzner, Binero, City Network, iland, 11:11 Systems, Vexxhost, StackHPC, Canonical, Deutsche Telekom, China Telecom, China Unicom, China Mobile, Chunghwa Telecom Utilizadores de internet e empresariais: Bloomberg, eBay, GoDaddy, Flipkart, Wikimedia, Naver, LINE, Kakao, SK Telecom, Alibaba, Tencent, Baidu, ByteDance, Kuaishou, UnionPay, SenseTime, Sangfor, Micro Focus, MITRE, Igalia, Walmart Labs Fornecedores e integradores de armazenamento: SUSE, Mirantis, XSKY, EasyStack, Inspur, UMCloud, Kylin, UnitedStack, H3C, Xtao, Eisoo, Cloudin, Istuary, ProphetStor, SoftIron, Bigtera, Cloudbase Solutions, Digiware, Bisect, 42on, croit, Clyso, Proxmox, DreamHost Investigação e ensino: CERN, o Institute of Software da Chinese Academy of Sciences (ISCAS), Pennsylvania State University, Boston University, a University of Michigan, Carnegie Mellon University, mais os membros Associate da Foundation: FAS Research Computing em Harvard, a Greek Research and Technology Network (GRNET), Monash University, o South African Radio Astronomy Observatory (SARAO), o Science and Technology Facilities Council (STFC), SWITCH, o SLAC em Stanford, e o Center for Research in Open Source Software (CROSS) na UC Santa Cruz Nem todos são atuais, e é esse o objetivo de olhar para uma década. Mostra toda a amplitude de quem se apoiou neste software com força suficiente para enviar patches de volta, e quão larga tem sido essa dispersão.\nOs que dizem apoiar o Ceph, contra o que entregam A adesão por escalões da Foundation é onde as empresas declaram apoio. Os escalões não acompanham a engenharia, e a ilustração mais clara vem dos três membros Diamond citados no próprio anúncio da versão Ceph Squid da Linux Foundation.\nMembro Diamond O que disseram publicamente Commits, últimos 3 anos IBM — Vincent Hsu, IBM Fellow, CTO \u0026amp; VP of IBM Storage «reinforce our trust in Ceph and our commitment to open source» 11 091 (com a Red Hat) Bloomberg — Matthew Leonard, Head of Storage Engineering «Our Diamond Membership is a symbol of our commitment to the future of Ceph and its growing community» 220 45Drives — Doug Milburn, Co-founder and President «our unwavering commitment to open-source excellence» 0 A declaração da IBM é sustentada pelo maior compromisso de engenharia da história do projeto, e mais ainda. A da Bloomberg é sustentada por 220 commits, um lugar no Steering Committee, e um parque de produção de 8 PB de que falam abertamente: uma contribuição séria por qualquer medida. A 45Drives constrói e vende appliances de hardware para Ceph e financia a infraestrutura partilhada; isso também é uma contribuição genuína, e não é código.\nO quadro completo pelos escalões:\nMembro Escalão Commits, últimos 3 anos IBM Diamond 11 091 (com a Red Hat) Bloomberg Diamond 220 CLYSO Diamond 153 45Drives Diamond 0 Western Digital Platinum 0 42on Gold 1 croit Silver 157 DigitalOcean Silver 13 Canonical Silver 9 OVHcloud, Sony, OSNexus, CloudFerro Silver 0 cada E no sentido inverso, quatro dos sete maiores contribuidores nem sequer são membros:\nContribuidor Commits Membro? QiAnXin 597 Não IONOS 498 Não Intel 279 Já não Proxmox 249 Não Escalão na Foundation contra commits — o dinheiro e o código não estão relacionados O que pagam, contra o que escreveram Escalão na Ceph Foundation vs commits no main, 2023-08-27 a 2026-08-27 200 400 600 commits DIAMOND IBM, com a Red Hat 11 091 Bloomberg 220 CLYSO 153 45Drives nada de nada PLATINUM Western Digital nada de nada GOLD 42on 1 SILVER croit 157 DigitalOcean 13 Canonical 9 seis outros membros Silver nada de nada, todos os seis NÃO MEMBROS QiAnXin 597 IONOS 498 Proxmox 249 Cafe Bazaar 118 Os seis membros Silver sem nada: OVHcloud, Sony Interactive Entertainment, OSNexus, CloudFerro, Intelligent Systems, LongVan. Dois dos quatro membros do escalão de topo não escreveram nada. O terceiro e o quinto maiores contribuidores do Ceph nem sequer são membros. Escalão na Foundation contra commits nos últimos três anos. Patrocínio e engenharia são contribuições diferentes: os escalões medem a primeira, não a segunda. Não leio isso como hipocrisia e preferia que mais ninguém o lesse assim. O dinheiro da Foundation paga o laboratório de testes upstream, a integração contínua que serve de barreira a cada pull request, a Cephalocon e o pessoal da comunidade, coisas sem as quais o Ceph não passaria, e coisas que um fornecedor de hardware que vende appliances Ceph faz bem em financiar. A Western Digital, a DigitalOcean e a OVHcloud vendem todas produtos que assentam no Ceph, e pagam para o bem comum que o mantém vivo. É uma troca justa.\nA conclusão prática é estreita: lê a página de membros como uma lista de quem financia a infraestrutura partilhada, e o registo de commits para saber quem escreve o código. São perguntas diferentes com respostas diferentes, e ambas as respostas são úteis.\nOs fundadores, oito anos depois A Foundation foi lançada a 12 de novembro de 2018. A lista está registada duas vezes, no anúncio da Linux Foundation e no comunicado de agência, e batem exatamente: treze membros Premier, dez General, oito Associate.\nContra a página de membros de hoje: quatro de treze membros Premier continuam listados com o seu próprio nome (Canonical, DigitalOcean, OVHcloud, Western Digital), cinco se contares a IBM como o lugar da Red Hat. Dois de dez membros General continuam: a croit e a Intelligent Systems.\nE todos os oito membros Associate continuam lá. Os seus nomes completos, tal como os dá o anúncio de fundação:\nBoston University Information Services and Technology CERN, a Organização Europeia para a Investigação Nuclear FAS Research Computing, Harvard University The Greek Research and Technology Network (GRNET) Monash University, Melbourne The South African Radio Astronomy Observatory (SARAO) The Science and Technology Facilities Council (STFC) na UK Research and Innovation (UKRI) The Center for Research in Open Source Software (CROSS) na University of California, Santa Cruz, onde o Ceph foi escrito em primeiro lugar, como trabalho de doutoramento de Sage Weil com Scott Brandt, Ethan Miller, Darrell Long e Carlos Maltzahn; o artigo original de 2006 continua alojado em ceph.io Oito em oito, ao longo de oito anos.\nOs membros pagantes foram rodando. As universidades e os laboratórios de investigação, que aderem sem custos, aguentaram oito anos sem que nenhum saísse. São essas as pessoas que correm Ceph em escala para a ciência, e nem uma se foi embora.\nA documentação do Quincy ainda tem a lista de membros tal como estava por volta de 2022, o que dá o ponto a meio: doze dos vinte e quatro membros comerciais nesse retrato já saíram, exatamente metade. A cadência do Ceph ao longo desse período não mudou.\nSobre a croit, já que é o meu empregador e um dos sobreviventes. A croit GmbH aderiu como membro General fundador no primeiro dia e continua a ser membro oito anos depois, uma permanência mais longa do que a Intel, a SUSE, a ZTE, a Arm ou a Samsung conseguiram. Também é 0,3% dos commits da década. Ficar não é o mesmo que construir, e não vou disfarçar longevidade de contribuição pela empresa que me paga.\nO manual é uma pessoa, e a Foundation paga-lhe A linha 7 da tabela da década é «Ceph Foundation», 691 commits. Isso é quase só um homem.\nZac Dover tem 1060 commits ao longo da década, quase todos de documentação. Nos últimos três anos é 28,4% de tudo o que está em doc/, o maior contribuidor individual, à frente tanto da Red Hat como da IBM. O seu historial de endereços passa por @gmail.com, depois @clyso.com, depois @proton.me, associado nos registos do próprio Ceph à Ceph Foundation.\ndoc/, últimos três anos Commits Quota Ceph Foundation 499 28,4% Sem empregador visível 383 21,8% Red Hat 379 21,5% IBM 333 18,9% O doc/ é o único diretório em que o maior contribuidor individual não é nem a Red Hat nem a IBM, e nota-se. O manual do Ceph é melhor do que aquilo que a maioria do software de infraestrutura deste tamanho consegue. Pagar a um redator técnico que não responde a nenhum fornecedor é a coisa mais inteligente que a Foundation faz com o dinheiro.\nOs indivíduos ainda conseguem fazer a diferença Os indivíduos de topo da década, agrupados por nome de autor:\nPessoa Commits na década Empregador(es) Sage Weil 7517 Red Hat — criador, saiu em 2022 Kefu Chai 5538 Red Hat → Proxmox Casey Bodley 2472 Red Hat Patrick Donnelly 2330 Red Hat → IBM Jason Dillaman 1629 Red Hat — saiu em 2021 Radosław Zarzyński 1607 Mirantis → Red Hat Samuel Just 1415 DreamHost → Inktank → Red Hat John Mulligan 1300 Red Hat Yingxin Cheng 1202 Intel Zac Dover 1060 Ceph Foundation Yehuda Sadeh 972 Red Hat → IBM → Ubiquiti Alfredo Deza 930 Red Hat — saiu em 2019 Vinte e uma pessoas escreveram metade dos commits da década; noventa e uma escreveram 80%. Isso é normal para uma grande base de código C++, e é também por isso que os indivíduos contam tanto aqui.\nA prova mais clara de que a porta está aberta: o quinto lugar nos últimos três anos é um engenheiro da IONOS. Max Kellermann tem 498 commits desde 2024, mais do que a Intel, a Proxmox, a Bloomberg, a croit ou a Clyso conseguiram como empresas, em src/mds, src/common, src/mon, src/tools, src/librbd, src/mgr e src/rgw. É 19,3% de todo o trabalho de metadados do CephFS na janela, atrás apenas da Red Hat.\nNinguém o nomeou. Apareceu e começou a corrigir coisas, e três anos depois é um dos contribuidores mais ativos de um projeto gerido por uma empresa da Fortune 50. Ainda podes entrar no Ceph e contar.\nA Proxmox é o outro lado da mesma moeda: 249 commits nos últimos três anos, 241 deles de Kefu Chai desde 30 de setembro de 2025. A Proxmox passou do nada para os dez maiores contribuidores do Ceph em onze meses ao contratar um bom engenheiro.\nRGW: onde está realmente o trabalho Se queres saber para onde vai a engenharia do Ceph, a resposta é o armazenamento de objetos, e a razão é simples: o RGW é o que tem mais caminho a percorrer até igualar aquilo com que compete.\nO src/rgw é o maior subsistema funcional do Ceph ao longo da década, 6958 commits, à frente dos 5827 do Crimson, dos 4499 do OSD, dos 3848 do dashboard, dos 2560 do BlueStore e dos 2546 do CephFS. É quatro vezes o esforço da camada de bloco. Nos últimos três anos levou 1705 commits, atrás apenas do Crimson, e o Crimson é uma reescrita de raiz. Em código entregue, o RGW é o maior programa de funcionalidades em curso no projeto.\nO S3 da Amazon é um alvo em movimento com uma enorme superfície de API, e todos os anos ganha funcionalidades que os clientes depois esperam de qualquer coisa que se diga compatível com S3. Por isso o RGW persegue-o. Conta os assuntos dos commits do RGW dos últimos três anos por área funcional e a forma dessa perseguição é clara:\nTrabalho no RGW nos últimos 3 anos Commits que o mencionam Replicação multisite 94 Contas 94 IAM — gestão de identidade e acessos 72 Políticas 71 Notificações de buckets 69 STS (credenciais temporárias) 67 Tópicos 50 Roles 47 Restore 41 POSIX / gateway de sistema de ficheiros 40 Cifragem do lado do servidor (SSE) 38 Multipart upload 32 Ciclo de vida 16 KMS — serviço de gestão de chaves 12 S3 Select 11 Checksums 11 Transição para a cloud 10 Versioning, CORS, object lock, bucket logging, tagging 28 no total (Contagens de palavras-chave em 1705 assuntos de commits, por isso um commit pode aparecer em mais de uma linha; o que importa é a distribuição, não um total preciso.)\nIsso não é manutenção. São contas de identidade, roles e políticas, tokens de sessão, notificações de buckets e tópicos, SSE-KMS, object lock, regras de ciclo de vida, S3 Select, checksums, tiering para a cloud e replicação multisite: a lista de funcionalidades da AWS, a ser construída. Lê os assuntos recentes e encontras trabalho de verificação de assinaturas SigV4, tratamento do x-amz-content-sha256, URLs pré-assinados. Pormenores de compatibilidade minuciosos, do tipo que só importa porque a biblioteca cliente de alguém espera o comportamento exato da Amazon e cai sem ele.\nÉ também por isso que o RGW tem a lista de contribuidores mais variada dos grandes subsistemas. Ao longo da década a Red Hat é 64,3% dele, mas a Bloomberg (8,6% na janela recente) e a Cafe Bazaar (6,2%) também lá estão, empresas que correm grandes armazenamentos de objetos em produção, a corrigir as coisas que as mordem.\nSe estás a pesar o Ceph para trabalho com S3, este é o número que te deve tranquilizar. A distância para a Amazon é a razão pela qual o RGW recebe mais atenção do que qualquer outra coisa na árvore, e o maior esforço de engenharia individual do projeto está apontado a fechá-la.\nRBD: código estável, não um declínio O src/librbd é o dispositivo de bloco do Ceph, o que o Proxmox usa, o que o OpenStack Cinder usa, o que a maioria dos drivers Container Storage Interface do Kubernetes usa. Se corres Ceph, provavelmente corres RBD. O seu gráfico de commits tem este aspeto:\nCommits no RBD por ano — um componente a assentar em manutenção Commits em\u0026#160;src/librbd, por ano O dispositivo de bloco do Ceph — o que usam o Proxmox, o OpenStack Cinder e a maioria dos drivers CSI do Kubernetes 0 100 200 300 400 431 2015 477 2016 258 2017 276 2018 209 2019 455 2020 165 2021 85 2022 49 2023 74 2024 45 2025 19 2026 Trabalho de funcionalidades no essencial completo Jason Dillaman escreveu 281 dos 455 commits de 2020 — cache write-back persistente e criptografia — depois o RBD assentou em manutenção. 2026 vai até 27 de agosto. Isto não é declínio — é um componente maduro a ser mantido em vez de reconstruído. Commits em src/librbd por ano. O trabalho pesado de funcionalidades terminou por volta de 2020 (Jason Dillaman escreveu 281 dos 455 commits desse ano, na cache write-back persistente e na criptografia) e o componente assentou desde então em manutenção. 159 commits nos últimos três anos, cerca de um por semana, contra 1705 do RGW e 1944 do Crimson.\nÉ este o aspeto do código estável, e é uma qualidade. Armazenamento em bloco sobre RADOS é um problema resolvido. O RBD tem snapshots, clones, layering, mirroring, cifragem, migração ao vivo e uma cache persistente há anos, e não há nada como a API do S3 a fugir-lhe à frente, porque o que um hipervisor quer de um dispositivo de bloco quase não mudou numa década. O trabalho de funcionalidades está feito. O que resta é manutenção: correções de bugs, acompanhar o kernel, uma ou outra melhoria de desempenho.\nPõe-no ao lado do RGW de propósito. O RGW leva dez vezes mais commits porque tem dez vezes mais caminho pela frente. O RBD não tem, por isso não leva. Um componente que deixou de mudar de forma não é um componente em decadência, e se o librbd de repente levasse 400 commits por ano eu ia querer saber o que tinha corrido mal, porque são os discos das minhas máquinas virtuais que ele está a segurar.\nA única coisa que vale a pena saber é que põe o conhecimento em muito poucas cabeças. O RBD é mais ou menos Ilya Dryomov, que cuida das duas pontas: o Ceph upstream e o driver rbd do kernel Linux. Essa é praticamente a melhor configuração possível, e mesmo assim tem uma pessoa de profundidade. O que te diz a quem perguntar, não se deves implementar.\nOnde está o trabalho O mesmo mapeamento pela árvore, a década e a janela recente lado a lado:\nÁrea Líder da década Quota Líder dos últimos 3 anos Grupo IBM, últimos 3 anos src/mds — metadados do CephFS Red Hat 78,5% Red Hat 56,4% 73,9% src/osd — OSD atual Red Hat 69,7% Red Hat 56,9% 84,0% src/cephadm — implementação Red Hat 66,8% Red Hat 73,7% 92,0% src/rgw — S3 Red Hat 64,3% Red Hat 56,1% 66,7% src/librbd — bloco Red Hat 61,1% Red Hat 76,7% 83,0% src/crimson — próximo OSD Red Hat 52,1% Red Hat 42,0% 45,4% doc/ — o manual Red Hat 45,6% Ceph Foundation 28,4% 40,5% src/os/bluestore — motor Red Hat 36,9% IBM 46,5% 54,2% src/pybind/mgr/dashboard SUSE 36,6% IBM 57,5% 87,8% Há duas coisas a tirar daqui. Propriedade: quanto mais perto das partes que um fornecedor vende, as ferramentas de implementação, a GUI, mais é uma só empresa; quanto mais longe, o OSD da próxima geração, o motor de armazenamento, o manual, mais concorrido, e é aí que há espaço se quiseres contribuir num sítio que ainda não tem dono.\nVolume: por total de commits ao longo da década, a classificação é RGW 6958, Crimson 5827, o OSD 4499, o dashboard 3848, os monitores 2896, BlueStore 2560, CephFS 2546, RBD 1750, cephadm 1685. O esforço acompanha a distância até estar feito, não a quota de implementação. O RGW vem primeiro porque a paridade com o S3 ainda está longe; o RBD está perto do fundo porque o armazenamento em bloco está acabado.\nO BlueStore merece uma linha só para si. É o motor que escreve os teus bytes no disco, e nos últimos três anos o segundo maior contribuidor depois da IBM é a croit, com 18,1%: Igor Fedotov, o seu maintainer principal, numa empresa de umas poucas dezenas de pessoas. É o meu empregador, por isso pesa-me em conformidade. O argumento mantém-se seja quem for que lhe assina o cheque: uma pequena empresa pode empregar o maintainer de um dos componentes mais críticos para a segurança dos dados em toda a pilha, e o projeto fica melhor por isso.\nQuem tem o botão de merge Também contei os merges, 7893 nos últimos três anos, atribuídos a quem carregou no botão:\nOrganização Merges Quota Red Hat 3892 49,3% IBM 1597 20,2% Ceph Foundation 524 6,6% Proxmox 202 2,6% Intel 136 1,7% croit 76 1,0% 69,5% dos merges contra 68,6% dos commits. A barreira e o trabalho têm a mesma forma. Isto não é uma empresa a escrever o código e outra a controlar o que entra, que é o modo de falha que realmente vale a pena temer no open source empresarial. O Ceph não o tem.\nDe onde vêm os números Tudo isto é reproduzível. O Ceph mantém o seu próprio mapeamento de contribuidor para organização no repositório, .organizationmap, ao lado de .mailmap, .peoplemap e .githubmap, e documenta o comando para o usar.\ngit clone --filter=blob:none --no-checkout https://github.com/ceph/ceph.git cd ceph git show HEAD:.organizationmap \u0026gt; /tmp/orgmap # Ceph\u0026#39;s own documented method, over the last ten years git log --no-merges --since=2016-08-27 --until=2026-08-27 --pretty=\u0026#39;%aN \u0026lt;%aE\u0026gt;\u0026#39; \\ | git -c mailmap.file=/tmp/orgmap check-mailmap --stdin \\ | sort | uniq -c | sort -rn | head -30 # the maintainer-to-employer mapping, straight from the repo git show HEAD:doc/governance.rst | sed -n \u0026#39;/^.. _csc:/,/^\\.\\. _ctl:/p\u0026#39; \\ | grep -oE \u0026#39;\\* [^\u0026lt;]+\u0026lt;[^\u0026gt;]+\u0026gt;\u0026#39; Corre o primeiro e obténs uma IBM mais pequena do que a minha, porque o mapa oficial está desatualizado. Não conhece aainscow@uk.ibm.com, bill_scales@uk.ibm.com, ylifshit@ibm.com, rkachach@ibm.com, leonid.usov@ibm.com nem os nomes de anfitrião gerados por máquina li-*.ibm.com. Usar as ferramentas do próprio projeto subestima a concentração.\nAs minhas correções por cima do mapa:\nQualquer endereço terminado em ibm.com, incluindo uk.ibm.com, il.ibm.com, in.ibm.com, de.ibm.com e as formas li-*.ibm.com, é IBM. redhat.com e inktank.com são Red Hat, mostrada à parte da IBM mas a mesma equipa desde outubro de 2022. Sete endereços pessoais são atribuídos a empregadores quando o próprio repositório o prova: sage@newdream.net (Red Hat), idryomov@gmail.com (listado como idryomov@redhat.com no próprio doc/governance.rst do Ceph), max.kellermann@gmail.com (IONOS), xxhdx1985126@gmail.com (QiAnXin), yuvalif@yahoo.com (IBM), yingxincheng@gmail.com (Intel), shraddha.agrawal000@gmail.com (IBM). Tudo o resto fica com o seu domínio. Os endereços pessoais ficam como «sem empregador visível» em vez de serem adivinhados. Ressalvas que não consigo corrigir. Os commits são uma unidade grosseira: um refactor cuidadoso de 900 linhas conta uma vez, quarenta correções de gralhas contam quarenta vezes, e nada aqui é ponderado. Os domínios de email são imperfeitos: 9,0% da década não mostra empregador, e algumas dessas pessoas são certamente pagas para escrever Ceph. A revisão é invisível no git: o Ceph revê em pull requests do GitHub, não em trailers Reviewed-by:, dos quais encontrei doze em três anos; a barreira mais importante do projeto não deixa rasto num clone. Os números são só do main, por isso os backports para ramos estáveis não são contados, o que subestima o trabalho de manutenção. E cada número de adoção aqui é um mínimo, pela razão da telemetria explicada acima.\nQuando uma afirmação assenta numa data, usei a data de autoria; quando assenta no empregador de alguém, um endereço que essa pessoa publicou.\nO que tiro disto O Ceph é um projeto financiado por empresas com uma comunidade real à volta, e tem sido assim durante toda a sua vida comercial. Isso não é uma crítica. Alguém tem de pagar a engenheiros para cuidarem de armazenamento distribuído a esta escala, e durante dez anos alguém pagou.\nNão vou fingir que o Ceph é típico, porque fui verificar. As estatísticas da LWN para o Linux 6.15 registam 2068 programadores de pelo menos 195 empregadores, com a maior empresa individual, a Intel, em 12,0% dos changesets. O Ceph são 1718 pessoas ao longo de uma década com uma empresa nos 67,0%. O kernel espalha a sua dependência empresarial por dezenas de empresas. O Ceph concentra-a numa. É uma diferença real, e «toda a gente faz isto» seria uma forma preguiçosa de a despachar.\nMas eis o que dez anos de dados dizem sobre se isso importa, e é uma resposta melhor do que a que fui procurar:\nO Ceph é resistente da forma que conta. Perdeu o homem que o escreveu, que fazia um quinto do trabalho. Perdeu a SUSE, o seu segundo maior contribuidor e autora do dashboard. Perdeu a ZTE, a Mirantis, a XSKY, a EasyStack, a Inspur e metade dos membros fundadores da Foundation. O ritmo de commits hoje está a menos de dois por cento do do ano passado. Vinte anos de engenharia de armazenamento estão naquela árvore sob LGPL-2.1 ou LGPL-3, e ninguém a pode fechar, mudar-lhe a licença ou tirá-la de volta.\nOs maintainers são portáteis. Fedotov manteve o BlueStore a andar através de três empregadores. Kefu Chai passou da Red Hat para a Proxmox e continuou. Sadeh escreveu o RGW na DreamHost e mudou o seu endereço no comité para a Ubiquiti em junho deste ano. Quando uma empresa se vai embora, as suas pessoas muitas vezes ficam.\nA porta está mesmo aberta. Um engenheiro da IONOS tornou-se o quinto maior contribuidor em três anos. A Proxmox entrou nos dez primeiros com uma contratação. Uma empresa de segurança sem produto de armazenamento está a construir um quinto do OSD da próxima geração. 478 organizações enviaram patches. Se queres entrar, nada te impede além do trabalho.\nA base de utilizadores é muito maior do que alguém consegue medir. Um exabyte em 3000 clusters é o que levantou a mão através da telemetria opt-in, e o CERN sozinho conta dezanove clusters de produção. Cada cluster hiperconvergente Proxmox, cada implementação Rook, cada appliance de fornecedor com Ceph debaixo da tampa é uso real em produção que nenhum número publicado conta. Software tão amplamente e tão discretamente implementado não desaparece assim.\nO esforço vai para onde está a distância, não para onde estão os utilizadores. O RGW é o maior programa do projeto, 6958 commits ao longo da década, porque apanhar a Amazon no S3 é uma longa perseguição atrás de um alvo em movimento. O RBD está perto do fundo porque o armazenamento em bloco está feito. Um número baixo de commits num componente maduro é um trabalho acabado, não um aviso, e ler esses dois números ao contrário é o erro mais fácil de cometer com dados como estes. Eu próprio o cometi na primeira passagem.\nJulga os fornecedores pelos commits, não pelos escalões. O histórico é público e quatro linhas de shell mostram-te quem cuida realmente da coisa de que estás prestes a depender. O armazenamento fechado não te oferece isso a preço nenhum.\nPortanto, se estás a pesar o Ceph: vale a pena conhecer a concentração quando planeias a cinco anos, e não é razão para te conteres. Uma camada de bloco madura. O maior esforço de engenharia do projeto apontado diretamente à paridade com o S3. Um OSD futuro a ser construído por três empresas ao mesmo tempo. Um manual melhor do que a maioria. Uma governança que sobreviveu à perda do seu fundador. Uma década de revisão feita às claras, o trabalho de 478 organizações na árvore, e uma licença cujo pior cenário é um fork e não um beco sem saída. Com base em 69 613 commits, este projeto está de boa saúde.\nE conta tu mesmo se duvidas de mim. Os comandos estão lá em cima, os dados são públicos, e nada neste artigo precisa de ser aceite por confiança, nem a minha nem a de mais ninguém.\nReferências Fontes do projeto Ceph\n«Ceph: A Scalable, High-Performance Distributed File System» — Weil, Brandt, Miller, Long e Maltzahn, OSDI \u0026lsquo;06, novembro de 2006. O artigo com que o Ceph começou ceph/ceph no GitHub — o repositório de onde vem cada número de commits; .organizationmap, .mailmap, .peoplemap, .githubmap, doc/governance.rst e COPYING estão todos na árvore Governança do Ceph — membros do Executive Council e do Ceph Steering Committee, com endereços Equipa de componentes do Ceph — líderes de componente Membros da Ceph Foundation — membros atuais por escalão Documentação da Ceph Foundation — estrutura de escalões e adesão Associate sem custos Membros da Ceph Foundation, documentação do Quincy — os membros tal como estavam por volta de 2022 Módulo de telemetria do Ceph — confirma que a telemetria é opt-in «Red Hat\u0026rsquo;s Ceph team is moving to IBM», 4 de outubro de 2022 Ceph Community Newsletter, novembro de 2021 — Sage Weil a afastar-se Ceph Foundation e Linux Foundation\nIntroducing Ceph Squid — as declarações dos membros Diamond citadas acima, e os números de 1 exabyte / mais de 3000 clusters The Linux Foundation Launches Ceph Foundation, 12 de novembro de 2018 — lista de membros fundadores O mesmo comunicado via PRNewswire — usado para confirmar a lista de forma independente Implementações\n«Ceph: Infrastructure Storage at CERN» — Enrico Bocchi, CERN IT Storage, 27 de setembro de 2024. Cada número do CERN acima vem desta apresentação Why We Chose Ceph to Build Block Storage — DigitalOcean «We Added 6 Petabytes Of Ceph Storage and No Clients Noticed» — Matthew Leonard e Joseph Mundackal, Bloomberg, Cephalocon 2020 Ceph no Wikitech — os cinco clusters de produção da Wikimedia Foundation Ceph RBD block storage — documentação da própria OVHcloud Deploy Hyper-Converged Ceph Cluster — o Proxmox VE a distribuir o Ceph como o seu armazenamento hiperconvergente Empresas\n«SUSE says tschüss to Ceph-based enterprise storage product», The Register, 25 de março de 2021 — o SUSE Enterprise Storage cancelado em favor do Longhorn Qi An Xin files for $634m IPO, Global Venturing, 13 de maio de 2020 — as origens da QiAnXin na Qihoo 360, a participação da CEC e a estrutura acionista Comparação\nDevelopment statistics for the 6.15 kernel, LWN.net — contagens de programadores e empregadores do kernel usadas na comparação da concentração ","permalink":"https://blogs.damiendye.uk/pt/ceph/who-actually-writes-and-uses-ceph/","summary":"Contei todos os commits no ramo principal do Ceph dos últimos dez anos, 69 613 deles, de 1718 pessoas em 478 organizações, segui os 38 membros do Steering Committee até aos seus empregadores, e reuni as implementações declaradas publicamente. O resultado é um projeto que absorveu a perda do seu fundador e do seu segundo maior contribuidor sem perder o passo, e que continua hoje a entregar ao mesmo ritmo.","title":"Quem escreve e usa realmente o Ceph"},{"content":"Desta vez o anfitrião existe. Só está no hipervisor errado Da última vez o problema era que a máquina indicada no inventário ainda não existia — sem IP, sem SSH, sem Python, nada a que ligar. Todas as tarefas tinham de ser delegadas para longe dela.\nUma migração da VMware inverte isso e não muda nada. A máquina existe, está a correr, há pessoas a usá-la. Continuas a nunca te ligar a ela. É um nome e um saco de variáveis que descrevem uma coisa a reconstruir noutro sítio. Todas as tarefas continuam a correr no nó de controlo, e agora há duas APIs do outro lado em vez de uma.\nUma nota sobre o que isto é. Este artigo é o desenho e o playbook, não uma história de guerra. Ainda não o corri de ponta a ponta contra um parque em produção. Tudo o que digo abaixo sobre o comportamento dos módulos foi lido no código distribuído e verificado, e disse claramente onde uma afirmação vem do código-fonte e não de uma execução. Quando tiver feito uma migração real com ele, os números e as surpresas terão um artigo só deles.\nVersões contra as quais isto foi verificado:\n$ ansible --version | head -1 ansible [core 2.20.7] $ ansible-galaxy collection list | grep -E \u0026#39;vmware|proxmox\u0026#39; community.proxmox 1.6.0 community.vmware 6.2.1 vmware.vmware 2.9.0 Os fragmentos abaixo foram cortados de um único playbook — migrate.yml, um inventário dinâmico vSphere em inventory/vmware.vms.yml, e um group_vars/all.yml. Tornei genéricos os nomes do datacenter, dos nós e do armazenamento para facilitar a leitura.\nA forma do trabalho Cinco passos, e só o último custa alguma coisa.\nconvidados ativos, nada em risco a interrupção discover lê os portgroups distribuídos e as suas tags de VLAN sdn uma zona VLAN, uma VNet por VLAN no Proxmox build cascas sem discos, CPU, RAM, firmware e MACs certos relocate storage vMotion dos VMDKs para NFS, enquanto correm cutover desliga, importa os discos, define o arranque e arranca o convidado Tudo o que é reversível é feito antes de se desligar seja o que for A parte lenta é o relocate, e não custa tempo de indisponibilidade nenhum. Quando a janela abre, os discos já estão num armazenamento que o Proxmox monta, por isso a passagem é uma importação local e não uma cópia. Uma casca sem disco é barata de apagar, por isso um erro antes da passagem só custa tempo. Abandonar a migração a meio deixa todos os convidados a correr na VMware, intactos. Tudo o que é reversível acontece primeiro. A fase lenta é gratuita, e a fase cara é curta, porque nessa altura os discos já estão onde precisam de estar. A ordem é o desenho todo. A descoberta não muda nada. Construir a rede só muda o Proxmox. Construir as cascas só muda o Proxmox, e uma casca sem disco é barata de apagar. Mover os discos é lento mas acontece a quente. Só a última play desliga alguma coisa.\nVai-te embora a meio e todos os convidados continuam a correr na VMware, intactos.\nDuas coleções, e uma delas está a ser retirada Precisas das duas, e não pela razão que adivinharias.\ncollections: - name: community.vmware version: \u0026#34;\u0026gt;=6.2.1\u0026#34; - name: vmware.vmware version: \u0026#34;\u0026gt;=2.5.0\u0026#34; - name: community.proxmox version: \u0026#34;\u0026gt;=1.6.0\u0026#34; A community.vmware é a coleção antiga e abrangente, e está a ser desmontada. O seu MANIFEST.json declara {\u0026quot;vmware.vmware\u0026quot;: \u0026quot;\u0026gt;=2.5.0\u0026quot;} como dependência obrigatória, por isso instalar a primeira traz a segunda, quer a tenhas pedido quer não. Os módulos estão a passar de uma para a outra um de cada vez, e os que usas numa migração estão em fases diferentes dessa passagem:\nvmware_dvs_portgroup_info — ainda só na community.vmware, e é ele que lê as tuas VLANs. vmware_vmotion — ainda só na community.vmware. vmware_guest_powerstate — obsoleto, removido na community.vmware 7.0.0. Usa vmware.vmware.vm_powerstate. vmware_vm_inventory — obsoleto, removido na 7.0.0. Usa vmware.vmware.vms. O Ansible avisa-te das obsolescências dos módulos na primeira execução, o que é decente da parte dele:\n[DEPRECATION WARNING]: community.vmware.vmware_guest_powerstate has been deprecated. Use vmware.vmware.vm_powerstate instead. This feature will be removed from collection \u0026#39;community.vmware\u0026#39; version 7.0.0. Não te avisa do plugin de inventário, porque os plugins de inventário são analisados antes de esse mecanismo estar a correr. Tens de ir ler o plugin.\nHá uma terceira armadilha na divisão. O vmware.vmware.vm_portgroup_info parece exatamente o que uma migração de rede quer — por VM, por NIC, dá-te o portgroup e a VLAN. Mas está construído sobre ModuleRestBase e importa com.vmware.vapi, o que quer dizer que precisa do vSphere Automation SDK no nó de controlo, e não apenas do pyVmomi. O valor de retorno documentado também está desatualizado: o bloco RETURN promete name e vlan_id, enquanto o código constrói na verdade portgroup_name e um dicionário vlan_info para o caso distribuído. Fui por outro caminho, mais abaixo, e não precisei de nenhum dos dois.\nO inventário é a descoberta Não há nenhuma play de «ir procurar as VMs» neste playbook, porque quando a primeira tarefa corre o inventário já o fez — numa única consulta ao property collector em vez de um ciclo por VM.\n# inventory/vmware.vms.yml plugin: vmware.vmware.vms hostname: \u0026#34;{{ lookup(\u0026#39;ansible.builtin.env\u0026#39;, \u0026#39;VMWARE_HOST\u0026#39;) }}\u0026#34; username: \u0026#34;{{ lookup(\u0026#39;ansible.builtin.env\u0026#39;, \u0026#39;VMWARE_USER\u0026#39;) }}\u0026#34; password: \u0026#34;{{ lookup(\u0026#39;ansible.builtin.env\u0026#39;, \u0026#39;VMWARE_PASSWORD\u0026#39;) }}\u0026#34; validate_certs: false search_paths: - /Datacenter-1 properties: - name - config.name - config.uuid - config.guestId - config.firmware - config.template - config.hardware.numCPU - config.hardware.numCoresPerSocket - config.hardware.memoryMB - config.hardware.device - summary.runtime.powerState gather_compute_objects: true hostnames: [\u0026#39;name\u0026#39;] filter_expressions: - \u0026#39;config.template\u0026#39; O nome do ficheiro importa. O verify_file do plugin só reclama ficheiros que terminem em vms.yml, vms.yaml, vmware_vms.yml ou vmware_vms.yaml. Chama-lhe vcenter.yml e, em silêncio, não é o teu inventário.\nO search_paths filtra antes da consulta, não depois. Num parque grande é a diferença entre segundos e minutos — ao contrário do filter_expressions, sobre o qual a documentação é explícita: corre depois da recolha e «does not affect the speed of the inventory plugin».\nO filter_expressions descarta um anfitrião quando a expressão é verdadeira. Por isso config.template remove os modelos, o que se lê ao contrário da primeira vez.\nE a linha importante é config.hardware.device, que não está em lista de propriedades por omissão nenhuma. É o inventário de hardware completo da VM, e traz três coisas sem as quais esta migração não pode avançar: o MAC de cada NIC, a chave do dvportgroup a que cada NIC está ligada e o caminho no datastore de cada disco. Sem ela voltas a um ciclo de vmware_guest_info, uma ida e volta por VM.\nOs dispositivos vêm como JSON com o seu tipo vSphere preservado em _vimtype. Vale a pena saber isso, porque é assim que distingues uma NIC de um disco. Verifiquei o codificador em vez de adivinhar:\n{ \u0026#34;_vimtype\u0026#34;: \u0026#34;vim.vm.device.VirtualVmxnet3\u0026#34;, \u0026#34;macAddress\u0026#34;: \u0026#34;00:50:56:87:a5:9a\u0026#34;, \u0026#34;backing\u0026#34;: { \u0026#34;_vimtype\u0026#34;: \u0026#34;...DistributedVirtualPortBackingInfo\u0026#34;, \u0026#34;port\u0026#34;: { \u0026#34;_vimtype\u0026#34;: \u0026#34;vim.dvs.PortConnection\u0026#34;, \u0026#34;portgroupKey\u0026#34;: \u0026#34;dvportgroup-1014\u0026#34; } } } Assim, um bloco compose consegue puxar os caminhos complicados para hostvars planas:\ncompose: vm_moid: moid vm_firmware: config.firmware vm_memory_mb: config.hardware.memoryMB vm_num_cpu: config.hardware.numCPU # A virtual NIC is any device with a MAC. Filtering on _vimtype does not # work cleanly here, because VMXNET3, E1000 and SR-IOV cards are all # different types with no shared substring. vm_nics: \u0026gt;- config.hardware.device | selectattr(\u0026#39;macAddress\u0026#39;, \u0026#39;defined\u0026#39;) | selectattr(\u0026#39;macAddress\u0026#39;, \u0026#39;ne\u0026#39;, None) | list # Disks are one exact type, so this one can match on it. vm_disks: \u0026gt;- config.hardware.device | selectattr(\u0026#39;_vimtype\u0026#39;, \u0026#39;eq\u0026#39;, \u0026#39;vim.vm.device.VirtualDisk\u0026#39;) | list Essa assimetria é real e apanha muita gente. Não há nenhum tipo VirtualEthernetCard com que fazer correspondência. Essa é a classe base abstrata, e o que o vCenter te entrega na verdade é VirtualVmxnet3, VirtualE1000, VirtualE1000e, VirtualPCNet32 ou VirtualSriovEthernetCard. Não há nenhuma subcadeia comum a todos eles. Ter um MAC, no entanto, é uma coisa que só uma NIC faz.\nCada módulo info esconde o campo de que precisas Este é o fio condutor do trabalho todo, e depois de o veres três vezes começas a verificar cada valor por omissão antes de escrever a tarefa.\nO vmware_dvs_portgroup_info tem seis opções show_*. Cinco são true por omissão. A sexta é show_vlan_info, e é false por omissão.\nshow_mac_learning=dict(type=\u0026#39;bool\u0026#39;, default=True), show_network_policy=dict(type=\u0026#39;bool\u0026#39;, default=True), show_teaming_policy=dict(type=\u0026#39;bool\u0026#39;, default=True), show_uplinks=dict(type=\u0026#39;bool\u0026#39;, default=True), show_port_policy=dict(type=\u0026#39;bool\u0026#39;, default=True), show_vlan_info=dict(type=\u0026#39;bool\u0026#39;, default=False), Deixa-o como está e recebes a política de aprendizagem de MAC, a política de teaming, a ordem dos uplinks e a política de porta de todos os portgroups do parque. Tudo menos a tag da VLAN, que é o único campo sobre o qual uma migração de rede está realmente a perguntar. Por isso a tarefa fica do avesso em relação ao que escreverias por instinto: liga a única coisa, desliga as outras cinco.\n- name: Read the distributed portgroups community.vmware.vmware_dvs_portgroup_info: datacenter: \u0026#34;{{ vcenter_datacenter }}\u0026#34; show_vlan_info: true show_network_policy: false show_teaming_policy: false show_port_policy: false show_mac_learning: false show_uplinks: false register: dvs_pgs Não é caso único. O vmware.vmware.vms tem gather_compute_objects, que preenche cluster e esxi_host — false por omissão. O community.vmware.vmware_vm_info tem show_allocated, que é o bloco com o CPU e a memória — false por omissão. Nos três casos, o campo caro de recolher é o de que a migração precisa, e o valor por omissão protege um uso de relatório só de leitura que não é aquele em que estás.\nO vlan_id tem três tipos diferentes Depois recebes as tags das VLANs e descobres que não têm todas a mesma forma. Diretamente do get_vlan_info:\nif isinstance(vlan_obj, vim...TrunkVlanSpec): ... return dict(trunk=True, pvlan=False, vlan_id=vlan_id_list) elif isinstance(vlan_obj, vim...PvlanSpec): return dict(trunk=False, pvlan=True, vlan_id=str(vlan_obj.pvlanId)) else: return dict(trunk=False, pvlan=False, vlan_id=str(vlan_obj.vlanId)) Um portgroup de acesso dá-te a cadeia \u0026quot;100\u0026quot;. Uma PVLAN dá-te uma cadeia. Um trunk dá-te uma lista de cadeias, cada uma \u0026quot;20\u0026quot; ou \u0026quot;20-30\u0026quot;. E todos os switches distribuídos têm pelo menos um trunk, quer o tenhas criado quer não, porque o portgroup de uplink é um trunk que leva \u0026quot;0-4094\u0026quot;.\nPor isso o | int não está ao teu alcance até deitares fora as outras duas formas:\naccess_pgs: \u0026gt;- {{ dvs_pgs.dvs_portgroup_info | dict2items | map(attribute=\u0026#39;value\u0026#39;) | flatten | rejectattr(\u0026#39;vlan_info.trunk\u0026#39;) | rejectattr(\u0026#39;vlan_info.pvlan\u0026#39;) | rejectattr(\u0026#39;vlan_info.vlan_id\u0026#39;, \u0026#39;in\u0026#39;, [\u0026#39;0\u0026#39;, 0]) | list }} Três rejects, por esta ordem. Saem os trunks, saem as PVLANs, e depois saem os portgroups sem tag, o que também despacha os grupos de uplink e tudo o que esteja na VLAN 0.\nNão estou a traduzir trunks nem PVLANs automaticamente, e contestaria quem o fizesse. Um trunk da VMware a aterrar no Proxmox precisa ou de uma zona Q-in-Q ou de uma VNet com reconhecimento de VLAN, e qual está certa depende do que o convidado espera ver. Isso é uma decisão, não um mapeamento. O playbook imprime-os e segue em frente:\nTASK [Report what was found] ok: [localhost] =\u0026gt; { \u0026#34;msg\u0026#34;: \u0026#34;3 access portgroups -\u0026gt; [100, 200]. Not translated: [\u0026#39;dvs_001-uplink\u0026#39;] (trunks), [\u0026#39;isolated\u0026#39;] (PVLANs).\u0026#34; } Espelhar as VLANs no SDN Uma zona VLAN ligada a uma bridge, e depois uma VNet por VLAN com a tag nela.\n- name: Create the VLAN zone community.proxmox.proxmox_zone: zone: \u0026#34;{{ sdn_zone }}\u0026#34; type: vlan bridge: \u0026#34;{{ sdn_bridge }}\u0026#34; mtu: \u0026#34;{{ sdn_mtu }}\u0026#34; state: present - name: Create one VNet per VMware VLAN community.proxmox.proxmox_vnet: vnet: \u0026#34;{{ sdn_vnet_prefix }}{{ item.vlan_info.vlan_id | int }}\u0026#34; zone: \u0026#34;{{ sdn_zone }}\u0026#34; tag: \u0026#34;{{ item.vlan_info.vlan_id | int }}\u0026#34; alias: \u0026#34;{{ item.portgroup_name }}\u0026#34; state: present loop: \u0026#34;{{ access_pgs | unique(attribute=\u0026#39;vlan_info.vlan_id\u0026#39;) }}\u0026#34; throttle: 1 Os nomes das VNets são curtos e restritos, e os nomes dos portgroups da VMware não. Production-Web-Tier-VLAN100 é um nome de portgroup perfeitamente normal e um nome de VNet impossível. Por isso o nome é gerado — v100, a partir da tag — e o original legível vai para alias, onde continua visível na interface e na saída do pvesh. Derivar o nome da VLAN em vez do portgroup também quer dizer que o mapeamento é reversível só de olhar, seis meses depois.\nDois portgroups na mesma VLAN fundem-se numa VNet. Isso está certo — já eram o mesmo domínio de broadcast na VMware — mas deves vê-lo acontecer, e é isso que o unique(attribute='vlan_info.vlan_id') está a fazer. Dois portgroups chamados prod-web e prod-web-b, ambos na VLAN 100, produzem um único v100.\nO throttle: 1 não é cautela, é o módulo. Cada escrita SDN na community.proxmox obtém um bloqueio global do cluster, aplica a configuração pendente e liberta-o — get_global_sdn_lock(), depois apply_sdn_changes_and_release_lock(). Corre-as em paralelo e ficam na fila do bloqueio na mesma; o throttle só te impede de fingir o contrário. Vale também a pena saber que a reversão em caso de falha depende da versão — o módulo verifica is_lock_and_rollback_supported e, num PVE mais antigo, diz-te que não conseguiu reverter em vez de o fazer.\nUma coisa cosmética que te vai fazer duvidar de ti próprio. Na 1.6.0, o proxmox_vnet emite o dicionário completo dos seus parâmetros como um aviso do Ansible em cada criação:\nself.module.warn(f\u0026#34;{vnet_params}\u0026#34;) self.proxmox_api.cluster().sdn().vnets().post(**vnet_params) É uma linha de depuração que alguém lá deixou. É ruído, não uma avaria.\nConstrói as cascas, sem discos Agora as VMs, e é aqui que o desenho se justifica. Cada VM é construída no Proxmox com o número certo de CPUs, a memória certa, o firmware certo e as NICs certas nas VLANs certas. Sem discos nenhuns.\nUma casca sem discos é rápida de criar, não custa nada a apagar, e arranca para um prompt PXE se alguém a ligar sem querer. Consegues construir quatrocentas numa tarde, olhar para o resultado, decidir que está errado, apagar o lote todo e fazê-lo outra vez. Nada foi copiado, nada foi desligado, e ninguém reparou.\nOs valores derivados são declarações, não tarefas. O Ansible avalia-os de forma preguiçosa contra o anfitrião que estiver em âmbito, por isso cada VM recebe os seus sem um único set_fact:\n# group_vars/all.yml pve_vmid: \u0026#34;{{ vmid_base | int + (vm_moid | regex_replace(\u0026#39;^vm-\u0026#39;, \u0026#39;\u0026#39;) | int) }}\u0026#34; pve_bios: \u0026#34;{{ \u0026#39;ovmf\u0026#39; if vm_firmware == \u0026#39;efi\u0026#39; else \u0026#39;seabios\u0026#39; }}\u0026#34; pve_cores: \u0026#34;{{ vm_cores_per_socket | int }}\u0026#34; pve_sockets: \u0026#34;{{ ((vm_num_cpu | int) / (vm_cores_per_socket | int)) | round(0, \u0026#39;ceil\u0026#39;) | int }}\u0026#34; O VMID vem do MoID do vCenter. vm-42 passa a 20042. Isso importa mais do que parece: a play da passagem tem de encontrar a VM que a play de construção criou, e uma nova execução tem de cair na mesma em vez de construir discretamente uma segunda. Deixar a API atribuir o próximo ID livre — que é o que acontece se omitires vmid, e sobre o que escrevi da última vez — torna isso impossível.\nA memória não precisa de conversão. A VMware indica config.hardware.memoryMB e o Proxmox quer MB. Os sockets precisam: a VMware dá-te o total de vCPUs e os núcleos por socket, o Proxmox quer sockets e núcleos.\n- name: Create the VM shell delegate_to: localhost community.proxmox.proxmox_kvm: node: \u0026#34;{{ proxmox_node }}\u0026#34; vmid: \u0026#34;{{ pve_vmid }}\u0026#34; name: \u0026#34;{{ inventory_hostname }}\u0026#34; cores: \u0026#34;{{ pve_cores }}\u0026#34; sockets: \u0026#34;{{ pve_sockets }}\u0026#34; memory: \u0026#34;{{ vm_memory_mb }}\u0026#34; ostype: \u0026#34;{{ pve_ostype }}\u0026#34; bios: \u0026#34;{{ pve_bios }}\u0026#34; scsihw: \u0026#34;{{ default_scsihw }}\u0026#34; efidisk0: \u0026#34;{{ {\u0026#39;storage\u0026#39;: pve_target_storage, \u0026#39;efitype\u0026#39;: \u0026#39;4m\u0026#39;, \u0026#39;pre_enrolled_keys\u0026#39;: false} if pve_bios == \u0026#39;ovmf\u0026#39; else omit }}\u0026#34; agent: \u0026#34;enabled=1\u0026#34; onboot: false state: present onboot: false de propósito. Nada deve arrancar sozinho a meio de uma migração, muito menos uma máquina cujos discos ainda estão a ser escritos por outro hipervisor.\nAcertar no firmware não é opcional. Um convidado UEFI importado para uma VM SeaBIOS importa na perfeição e depois recusa-se a arrancar, e vais perder uma hora com isso. O config.firmware é efi ou bios e corresponde diretamente a ovmf e seabios. Um convidado UEFI também precisa de um disco de variáveis EFI, que tem de ser criado com a VM — vê abaixo porquê.\nO proxmox_kvm não corrige uma NIC, e não te diz Da última vez escrevi que o proxmox_kvm se recusa a convergir em vez de atualizar. Eis a versão mais afiada disso, que me mordeu enquanto escrevia isto e sobre a qual vale a pena ser exato.\nO update é false por omissão, por isso voltar a correr contra uma VM que já existe não faz nada. Tudo bem, e está documentado. Mas põe update: true e o módulo continua a recusar-se a mexer em alguns parâmetros:\n# If update, don\u0026#39;t update disk (virtio, efidisk0, tpmstate0, ide, sata, scsi) # and network interface, unless update_unsafe=True if update_unsafe is False: ... if \u0026#34;efidisk0\u0026#34; in kwargs: del kwargs[\u0026#34;efidisk0\u0026#34;] Apaga-os do pedido e segue em frente. Então corriges uma NIC no mapeamento do inventário, voltas a correr com update: true, vês o Ansible indicar changed, e a NIC está exatamente tão errada como estava. O changed é verdadeiro — outra coisa no payload foi atualizada — mas não aquilo que estavas a corrigir.\nO update_unsafe: true levanta a restrição, e o nome é honesto. A mesma guarda cobre os discos, por isso, numa VM que tem discos, uma atualização insegura é uma boa maneira de arranjar uma segunda cópia de um deles. Não é um interruptor a que se deite a mão durante uma migração.\nA saída é não usar net de todo. As NICs entram com o proxmox_nic, um módulo cujo trabalho todo é uma interface e que converge como deve ser:\n- name: Attach each NIC to its VNet delegate_to: localhost community.proxmox.proxmox_nic: vmid: \u0026#34;{{ pve_vmid }}\u0026#34; interface: \u0026#34;net{{ idx }}\u0026#34; bridge: \u0026#34;{{ sdn_vnet_prefix }}{{ pg_vlan[item.backing.port.portgroupKey] }}\u0026#34; mac: \u0026#34;{{ item.macAddress }}\u0026#34; model: \u0026#34;{{ default_net_model }}\u0026#34; state: present loop: \u0026#34;{{ vm_nics }}\u0026#34; loop_control: index_var: idx É a mesma divisão a que cheguei da última vez: proxmox_kvm para definir a máquina, proxmox_disk e proxmox_nic para as coisas que mudam depois. O parâmetro é mac, não mac_addr.\nO efidisk0 não pode ser tirado da mesma forma — o proxmox_disk não tem efitype nem pre_enrolled_keys — por isso tem de entrar no momento da criação e estar certo à primeira.\nLeva o MAC contigo. A VMware distribui MACs de 00:50:56:... e o Proxmox aceita-os sem se queixar. Mantê-los quer dizer que as reservas DHCP continuam a corresponder, as licenças presas ao MAC continuam a validar e qualquer regra de firewall escrita contra um MAC continua a disparar. Mudá-los quer dizer um dia de pequenos mistérios. O proxmox_nic também aceita model: vmxnet3 se precisares que o convidado veja a mesma NIC que via antes, mas no KVM a virtio é a melhor placa, e um convidado Windows vai querer drivers novos de qualquer forma.\nRecusar em vez de adivinhar Uma NIC num portgroup standard não tem backing.port nenhum. O seu backing é um NetworkBackingInfo com um deviceName. Não vai estar no mapa, e o certo a fazer é parar:\n- name: Every NIC must sit on a distributed portgroup with a VNet ansible.builtin.assert: that: - vm_nics | rejectattr(\u0026#39;backing.port.portgroupKey\u0026#39;, \u0026#39;defined\u0026#39;) | list | length == 0 - vm_nics | map(attribute=\u0026#39;backing.port.portgroupKey\u0026#39;) | reject(\u0026#39;in\u0026#39;, pg_vlan.keys() | list) | list | length == 0 fail_msg: \u0026gt;- {{ inventory_hostname }} has NICs that do not map to a Proxmox VNet. Attaching it to the wrong network is worse than not building it. Duas condições em vez de uma, porque a primeira tem de correr antes da segunda: um map(attribute=...) sobre uma NIC sem port rebentaria na consulta indefinida. Rejeita primeiro as que não têm forma, e depois verifica as restantes contra o mapa.\nUma exportação, montada duas vezes Eis a parte que torna a coisa toda barata.\nPõe uma exportação NFS onde os dois hipervisores a possam montar. O vCenter vê um datastore chamado nfs-migration; os nós Proxmox montam a mesma exportação e veem /mnt/pve/nfs-migration. Agora faz storage vMotion dos VMDKs para lá.\nO storage vMotion é a quente. O convidado continua a servir tráfego o tempo todo. Nada é passado, não é preciso janela nenhuma, e pode ser abandonado a meio sem outra consequência além de I/O desperdiçado. É de longe a fase mais lenta e não custa nada.\n- name: Relocate to the NFS datastore delegate_to: localhost throttle: 2 community.vmware.vmware_vmotion: moid: \u0026#34;{{ vm_moid }}\u0026#34; destination_datastore: \u0026#34;{{ nfs_datastore_vmware }}\u0026#34; timeout: \u0026#34;{{ vmotion_timeout }}\u0026#34; O timeout é 3600 por omissão — uma hora. Um VMDK de 2 TB não chega lá, e o modo de falha é traiçoeiro de uma forma silenciosa: a tarefa do Ansible falha enquanto o vMotion continua a correr no vCenter. Tens agora um playbook que diz que falhou e um parque que continua ocupado. Define-o com algo que reflita o teu armazenamento real.\nthrottle: 2, porque o estrangulamento não é o nó de controlo. O storage vMotion está limitado pelo array e pela rede. Seis de uma vez não te dão seis vezes o débito; dão-te seis migrações lentas e uma equipa de armazenamento furiosa.\nO módulo é idempotente da forma que queres — define storage_vmotion_needed = False se a VM já estiver no datastore de destino — por isso voltar a correr para apanhar as que ficaram para trás é seguro.\nQuando isto termina, os bytes estão num armazenamento que o Proxmox já monta. Como tal, mais nada precisa de os copiar. Nunca.\nA passagem Esta é a única play que custa tempo de indisponibilidade, e a ordem dentro dela não é negociável.\nPrimeiro, um problema fácil de não ver: o inventário está agora desatualizado. Foi recolhido antes do vMotion, por isso o vm_disks ainda tem os caminhos antigos dos datastores. Importa a partir deles e estás a apontar o Proxmox para um caminho que ele não consegue ver.\n- name: Re-read the inventory now the disks have moved ansible.builtin.meta: refresh_inventory É também por isso que a cache está desligada na configuração do inventário. Uma cache quente devolveria ao refresh_inventory exatamente os dados desatualizados que ele foi chamado para substituir. É uma troca real — o vCenter não é rápido — mas um caminho errado aqui é uma passagem falhada dentro de uma janela, e a ida e volta é barata em comparação.\nDepois, desligar. Importar um VMDK que um anfitrião ESXi ainda tem aberto dá-te, na melhor das hipóteses, uma cópia consistente com uma falha:\n- name: Shut the guest down in VMware delegate_to: localhost vmware.vmware.vm_powerstate: moid: \u0026#34;{{ vm_moid }}\u0026#34; state: \u0026#34;{{ \u0026#39;shutdown-guest\u0026#39; if vm_power_state == \u0026#39;poweredOn\u0026#39; else \u0026#39;powered-off\u0026#39; }}\u0026#34; timeout: 600 force: true O shutdown-guest é um encerramento ordeiro através das VMware Tools; o force: true para à força tudo o que não sair dentro do timeout. No módulo novo o parâmetro é timeout, e não state_change_timeout como era no obsoleto.\nDepois a importação, que é o ponto de viragem:\n- name: Import each VMDK onto its VM delegate_to: localhost throttle: 2 community.proxmox.proxmox_disk: vmid: \u0026#34;{{ pve_vmid }}\u0026#34; disk: \u0026#34;scsi{{ idx }}\u0026#34; storage: \u0026#34;{{ pve_target_storage }}\u0026#34; import_from: \u0026gt;- {{ item.backing.fileName | regex_replace(\u0026#39;^\\[[^\\]]+\\]\\s*\u0026#39;, \u0026#39;/mnt/pve/\u0026#39; ~ nfs_storage_pve ~ \u0026#39;/\u0026#39;) }} format: \u0026#34;{{ pve_target_format }}\u0026#34; timeout: \u0026#34;{{ import_timeout }}\u0026#34; create: regular state: present loop: \u0026#34;{{ vm_disks }}\u0026#34; loop_control: index_var: idx O regex_replace está a fazer a tradução entre os dois mundos. O vCenter chama a um disco [nfs-migration] app01/app01.vmdk; o Proxmox chega ao mesmo ficheiro em /mnt/pve/nfs-migration/app01/app01.vmdk. A mesma exportação, os mesmos bytes, nenhuma segunda cópia. Ficas com o descritor .vmdk e ignoras o -flat.vmdk ao lado dele — o qemu-img lê o descritor e segue-o até à extent.\nTrês coisas sobre o import_from que estão todas no módulo e que vale a pena saber antes de a janela abrir.\nSó dispara na criação. No ramo de atualização:\n# \u0026#39;import_from\u0026#39; fails on disk updates playbook_config = self.get_create_attributes() playbook_config.pop(\u0026#34;import_from\u0026#34;, None) Se o scsi0 já existir nessa VM, o parâmetro é descartado e recebes uma atualização normal. Por isso uma nova execução depois de uma importação falhada não volta a importar. Em silêncio, não faz rigorosamente nada e indica sucesso. Se uma importação correr mal, apaga o disco antes de tentar outra vez.\nO timeout é 600 segundos por omissão. Dez minutos, para importar e converter o disco de uma máquina virtual. A própria documentação do módulo diz para o aumentar; segue o conselho.\nE um caminho absoluto precisa de root. A documentação é direta sobre isso:\n\u0026lt;STORAGE\u0026gt;:\u0026lt;VMID\u0026gt;/\u0026lt;FULL_NAME\u0026gt; or \u0026lt;ABSOLUTE_PATH\u0026gt;/\u0026lt;FULL_NAME\u0026gt;. \u0026lt;STORAGE\u0026gt;:import/\u0026lt;FULL_NAME\u0026gt; for PVE 9.x and later, to use storage\u0026rsquo;s import directory. Attention! Only root can use absolute paths.\nO que cai mal ao lado do conselho que dei da última vez, e que mantenho: usa um token de API com âmbito limitado, não root. Esse conselho vale para todas as outras fases aqui: a descoberta, o SDN, a construção das cascas e a definição da ordem de arranque funcionam todas bem com um token. Esta tarefa não, e nenhuma quantidade de privilégios no papel o vai mudar, porque a restrição é sobre o utilizador ser root e não sobre uma permissão.\nHá três saídas honestas, e nenhuma quarta engenhosa:\nPVE 9.x: usa \u0026lt;storage\u0026gt;:import/\u0026lt;file\u0026gt; e fica com o token. PVE 8.x: faz esta tarefa como root@pam, e só esta. PVE 8.x, sem root pela API: corre antes qm importdisk por SSH. O playbook suporta as duas primeiras através de uma opção, porque fingir o contrário só passaria o problema para quem o corresse.\nPor fim a ordem de arranque, que é uma atualização normal e por isso não é afetada pela restrição do update_unsafe:\n- name: Boot from the first imported disk delegate_to: localhost community.proxmox.proxmox_kvm: node: \u0026#34;{{ proxmox_node }}\u0026#34; vmid: \u0026#34;{{ pve_vmid }}\u0026#34; boot: \u0026#34;order=scsi0\u0026#34; update: true Nada arranca o convidado. É deliberado. Arranca-o à mão, vê-o subir, e só então pensa em apagar seja o que for na VMware.\nCorrê-lo A coisa toda é um playbook, com tags por fase, porque estes não são passos que queiras correr juntos:\nansible-playbook migrate.yml --tags discover # look, change nothing ansible-playbook migrate.yml --tags sdn # build the VLANs ansible-playbook migrate.yml --tags build # build the diskless shells ansible-playbook migrate.yml --tags relocate # storage vMotion, live ansible-playbook migrate.yml --tags cutover # power off and import O --limit é teu amigo do princípio ao fim. Faz primeiro uma VM. Faz um cluster. O playbook não tem opinião sobre quanto abocanhas de cada vez, e o inventário dá-te grupos de borla — power_poweredOn, cluster_\u0026lt;name\u0026gt;, mais vmware_windows e vmware_linux do bloco groups.\nVerifica para o que estás a apontar antes de apontares:\nansible-inventory --graph ansible-inventory --host some-vm O que eu ainda vigiaria Coisas que espero encontrar quando isto se cruzar com um parque real, escritas agora para que depois não possa dizer que as vi chegar:\nOs convidados Windows não arrancam de forma limpa a partir de um controlador VirtIO SCSI sem o driver estar presente primeiro. O virtio-scsi-single é o controlador certo e o errado para entregar a uma VM Windows que nunca o viu. Isso é um problema à parte e não fica resolvido por nada do que está acima. As VMware Tools devem sair antes da mudança, não depois. Snapshots. Uma VM com uma cadeia de snapshots tem mais do que um .vmdk por disco, e importar a base dá-te o estado anterior ao snapshot. Consolida primeiro. A ordem de config.hardware.device é o que decide que disco passa a ser o scsi0. Correspondeu à ordem do próprio convidado em todo o lado onde olhei, mas verificá-la-ia num servidor de base de dados com vários discos antes de confiar nela dentro de uma janela. Discos independentes e RDM não fazem storage vMotion como os normais. Nada disso muda a forma. Constrói primeiro as cascas, move os discos enquanto tudo continua a correr, e mantém a interrupção restrita à única play que precisa dela.\n","permalink":"https://blogs.damiendye.uk/pt/ansible/vmware-to-proxmox-ansible/","summary":"Ler um parque vSphere com o inventário dinâmico, espelhar as suas VLANs no SDN do Proxmox e reconstruir cada VM como uma casca sem discos antes de um único disco se mover. Porque é que cada módulo info da VMware esconde precisamente o campo de que a migração precisa, porque é que vlan_id tem três tipos diferentes e porque é que uma exportação NFS montada duas vezes transforma a passagem numa leitura local.","title":"Da VMware para o Proxmox com Ansible — constrói as cascas antes de mover um byte"},{"content":"Fui administrador de sistemas do registo DNS na Nominet, o registo de .uk, de 2017 a 2019. O que se segue sobre a ICANN é tudo do domínio público e deixei a ligação para tudo. Onde falo a partir do trabalho, digo-o.\nPergunta à maioria dos engenheiros quem gere o DNS e recebes uma de duas respostas. Ou um encolher de ombros, ou qualquer coisa sobre treze servidores raiz. Estão ambas erradas, e a segunda está errada de uma forma mais interessante, porque aponta para as máquinas em vez de apontar para o ficheiro.\nO controlo do DNS não está distribuído por treze servidores. Está num único ficheiro de texto, e na mão-cheia de entidades que decidem o que lá entra, o editam, o assinam e o publicam. Tudo o resto no sistema — cada resolver, cada registrar, cada zona que alguma vez geriste — está a jusante desse ficheiro e tira dele a sua autoridade.\nEste artigo é sobre quem tem esse ficheiro, o que a passagem de testemunho de 2016 transferiu de facto, e o que as pessoas que o têm fizeram com ele. A maquinaria por baixo — o que um registo é de facto, como os nomes lá entram e quem pode tirar-te um — fica para a continuação.\nAntes da ICANN, bastava um telefonema Nada no arranjo atual é inevitável, e a história diz o que a ICANN foi construída para resolver.\nAo princípio não havia DNS nenhum. A partir de 1972 havia um único ficheiro de texto, HOSTS.TXT, com o nome de cada máquina da ARPANET e o endereço onde vivia. Era mantido no Stanford Research Institute por Elizabeth Feinler e a sua equipa, e se querias a tua máquina lá dentro telefonavas ao Network Information Center em horário de expediente e pedias. Toda a gente ia buscar o ficheiro de vez em quando e esperava que estivesse atualizado.\nIsso não escala, e no início dos anos 80 claramente já não escalava. O DNS foi construído para o substituir — uma árvore, delegada para baixo, para que nenhum escritório tivesse de guardar sozinho a lista inteira.\nAlguém tinha ainda de segurar o topo da árvore. Durante anos esse alguém foi um homem só. Jon Postel, na University of Southern California, geria as atribuições de nomes e números com dinheiro de investigação do governo americano. A IANA — a Internet Assigned Numbers Authority — não era nessa altura uma instituição. Era o Postel e uma mão-cheia de colegas, e funcionava porque as pessoas que geriam a rede confiavam nele.\nO dinheiro chegou em 1993, quando a National Science Foundation contratou a InterNIC — a Network Solutions entre elas — para tratar do registo. A 14 de setembro de 1995 o registo gratuito acabou. A Network Solutions cobrava 50 $ por ano com um mínimo de dois anos, e 30% disso ia para um fundo do governo que um tribunal viria a declarar um imposto ilegal. Uma empresa, um preço, mais lado nenhum para onde ir, e em 1997 um processo antitrust.\nDepois, em janeiro de 1998, o Postel fez a coisa que te diz de que é feita, na verdade, a autoridade da raiz.\nMandou um email a oito dos doze operadores de servidores raiz, com base apenas no seu próprio prestígio, e pediu-lhes que apontassem os servidores para a máquina da IANA em vez da da Network Solutions. Os oito fizeram-no. Durante cerca de uma semana a raiz autoritativa da internet esteve onde quer que Jon Postel tivesse pedido às pessoas que olhassem.\nEle chamou-lhe um teste. Muita gente leu-o como uma demonstração — de que a raiz pertencia aos engenheiros que a construíram e não a um contratado do governo. A reação deixa claro qual das leituras Washington fez. Ira Magaziner, o conselheiro presidencial para o assunto, disse ao Postel que ele nunca mais trabalharia na internet. O teste foi revertido.\nA ICANN foi constituída na Califórnia nesse setembro. O Postel morreu no mês seguinte.\nPortanto, o arranjo de que trata este artigo foi construído para resolver dois problemas reais: um espaço de nomes vendido por um monopolista que não prestava contas a ninguém, e uma raiz cuja autoridade assentava em um homem gozar de confiança generalizada. Eram ambos problemas reais. A ICANN foi a resposta a eles. O que essa resposta acabou por ser é o resto deste artigo.\nDois códigos que sobreviveram à regra Duas pontas soltas dessa época antes de avançar, porque juntas dizem mais sobre como este sistema funciona realmente do que qualquer coisa nos estatutos da ICANN.\nO Reino Unido ficou com o código errado e manteve-o.\nO RFC 920, em outubro de 1984, dizia que os domínios de topo de país seriam tirados dos códigos de duas letras da ISO 3166. O código ISO 3166 do Reino Unido é GB. Pela regra tal como está escrita, o domínio do Reino Unido devia ser .gb.\nNão é, porque o Reino Unido chegou primeiro. A JANET, a rede académica, já tinha adotado uk como identificador de topo uns meses antes de a lista derivada da ISO ser elaborada, e .uk foi registado a 24 de julho de 1985. .gb também foi atribuído, no entendimento de que .uk migraria para ele com o tempo.\nA migração nunca aconteceu. Ninguém a fez acontecer. .gb ficou depois na raiz durante quatro décadas tendo recolhido, em toda a sua vida, um único domínio de segundo nível — hmg.gb, para o Governo de Sua Majestade — que quase não foi usado. A ISO acabou por se dobrar à realidade no terreno e reservou excecionalmente UK a pedido do Reino Unido.\nNinguém foi roubado, já agora. UK não era o código de outro país — está excecionalmente reservado na ISO 3166 para o Reino Unido, a pedido do próprio Reino Unido, e nenhum outro Estado alguma vez teve direito a ele. É exatamente por isso que ninguém forçou a questão: não havia parte lesada para se queixar.\nÉ isso que faz valer a pena contá-lo. A regra da ISO 3166 é rígida para quem tenta entrar: sem entrada na lista, sem domínio de código de país. É por isso que há territórios a fazer lóbi para serem acrescentados à ISO 3166, e é por isso que lugares sem reconhecimento não têm ccTLD nenhum. Para um titular que já está na raiz, a mesma regra revelou-se uma sugestão.\nHá até um bom argumento de que o Reino Unido ficou com o nome melhor. GB é a Grã-Bretanha, que deixa de fora a Irlanda do Norte. UK não deixa. O código não conforme descreve o Estado com mais rigor do que o conforme teria descrito.\nE a União Soviética ainda está na raiz. Esta é mais estranha.\n.su foi delegado à União Soviética a 19 de setembro de 1990. A União Soviética deixou de existir quinze meses depois.\nAinda lá está. Trinta e cinco anos depois de o Estado a que pertence ter deixado de existir, .su está ativo e a aceitar registos — qualquer coisa acima de 111 500 nomes em maio de 2025, administrado a partir de Moscovo.\nA regra diz que os ccTLD vêm da ISO 3166. A ISO 3166 não lista a União Soviética. E não é como se a regra nunca tivesse sido aplicada: .dd da Alemanha de Leste e .yu da Jugoslávia foram-se ambos quando esses Estados se foram. .su foi o que não se foi, e ninguém conseguiu alguma vez explicar a diferença nos termos da regra.\nAquilo em que se tornou é bastante previsível. Quando o .ru apertou as verificações de registo no final de 2011, o negócio mudou-se para a porta ao lado. Os sítios maliciosos em .su duplicaram em 2011 e voltaram a duplicar em 2012, que é a mesma história dos novos gTLD baratos e dos ccTLD gratuitos mais adiante neste artigo: o abuso é um fluido, e corre para onde as verificações são mais fracas.\nDois códigos de país, então, que sobreviveram à regra que os produziu. .uk porque ninguém obrigou um titular a mudar, .su porque ninguém obrigou uma delegação a ir-se quando o seu país se foi. Em ambos os casos o regulamento é claro e em ambos ficou por aplicar, porque aplicá-lo teria significado tirar alguma coisa a alguém que já a tinha.\nÉ esse todo o carácter da autoridade no DNS, visível antes de a ICANN existir, e como tal nada do que se segue te deve surpreender.\nOs dezoito anos até à passagem de testemunho A ICANN foi constituída na Califórnia a 30 de setembro de 1998 e assinou de imediato um Memorando de Entendimento com o Departamento de Comércio dos EUA. Não começou independente para depois se tornar americana. Foi americana desde o primeiro dia, por construção, e o arranjo foi renovado de uma forma ou de outra durante dezoito anos.\nComeça pela coisa que fez bem, porque há uma e importa.\nEm 1999 a ICANN quebrou o monopólio do registo. A Network Solutions tinha sido o único sítio onde comprar um .com; o Shared Registration System deixou outros registrars venderem nomes na mesma zona, e o preço desceu e continuou a descer. É uma conquista real, é a razão pela qual um domínio custa o que custa hoje, e nada mais adiante neste artigo a anula.\nDepois começa o padrão que atravessa tudo o resto.\n2000. A ICANN fez uma eleição global em que os utilizadores da internet escolheram diretamente cinco membros do conselho de administração. Nunca foi repetida. A estrutura at-large que a substituiu aconselha e não vota. Da primeira e última vez que o público teve uma palavra vinculativa na ICANN, a ICANN acabou com ela.\n2005. Na Cimeira Mundial sobre a Sociedade da Informação, em Tunes, uma grande parte do mundo objetou a que os EUA detivessem a raiz. O que saiu dali foi o Internet Governance Forum — uma conferência anual sem autoridade sobre coisa nenhuma. O arranjo da raiz não mudou.\n2005. O caso .xxx, que se arrastou seis anos e é a prova isolada mais nítida de todo este artigo de que a jurisdição não é abstrata. Grupos de pressão socialmente conservadores nos Estados Unidos pressionaram o Departamento de Comércio. A NTIA — a National Telecommunications and Information Administration, o braço do Comércio que detinha o acordo com a ICANN — redigiu cartas à ICANN e, nas suas próprias palavras, mobilizou os seus recursos junto da ICANN. O conselho — que caminhava para a aprovação — rejeitou a candidatura, por nove contra cinco, e depois outra vez por oito contra quatro, com o presidente e o CEO a inverterem ambos a sua posição. Viviane Reding, então a comissária europeia responsável, chamou-lhe o primeiro caso claro de interferência política na ICANN por parte do governo dos EUA. .xxx acabou por ser aprovado em 2011, altura em que o Departamento de Comércio anunciou que estava desapontado.\nUma campanha de lóbi doméstica americana, encaminhada através de uma agência federal americana, mudou os domínios de topo que existem na internet. Nenhum tratado, nenhum tribunal, nenhum voto fora dos Estados Unidos.\n2009. O Joint Project Agreement com o Comércio foi substituído pela Affirmation of Commitments, amplamente noticiada como a ICANN a tornar-se independente. O contrato das funções IANA ficou exatamente onde estava.\nDepois veio a coisa que de facto a fez mexer, e não foi nada que a ICANN tenha feito.\n2013. Edward Snowden. A 7 de outubro, meses depois do início das revelações, os líderes da ICANN, da Internet Engineering Task Force, do Internet Architecture Board (IAB), do World Wide Web Consortium, da Internet Society e dos cinco registos regionais de internet publicaram a Declaração de Montevideu, a pedir a globalização da ICANN e das funções IANA e a citar, por extenso, o dano que a vigilância generalizada tinha feito à confiança global. A própria liderança técnica da internet — com o diretor executivo da ICANN entre os signatários — disse em voz alta que a tutela americana se tinha tornado um passivo.\n14 de março de 2014. A NTIA anunciou a intenção de transferir a sua tutela das funções IANA.\n1 de outubro de 2016. O contrato expirou.\nPortanto, a passagem de testemunho não foi conquistada nem foi concedida por mérito. Foi cedida, dezoito anos depois, porque um escândalo dos serviços de informações dos EUA tornou o arranjo existente politicamente indefensável e a comunidade técnica disse-o em público.\nO que vale a pena ter presente quando leres o que a transição fez de facto.\nO que a transição de 2016 mudou, e o que não mudou Vais ouvir que os americanos entregaram a internet em 2016. Quem defende que a ICANN é um instrumento de controlo dos EUA ouve isto, e se tiver os factos errados perde a discussão ali mesmo. Portanto, acerta nos factos.\nA 1 de outubro de 2016 o contrato das funções IANA entre a NTIA e a ICANN expirou e não foi renovado. Isso foi real. O governo dos EUA já não tem um contrato que lhe dê aprovação sobre as alterações à zona raiz, e novos estatutos criaram uma Empowered Community com a capacidade teórica de rejeitar orçamentos e destituir membros do conselho.\nEis o que não mudou, e não foi um descuido. Foi escrito como objetivo.\nA proposta de transição declarava que a jurisdição legal em que a ICANN reside devia manter-se inalterada. Os novos estatutos obrigam a ICANN a manter a sede na Califórnia. Toda a estrutura de prestação de contas construída durante a transição está assente no direito da Califórnia. Funciona fazendo da ICANN uma entidade sem fins lucrativos californiana que os tribunais californianos podem ser chamados a obrigar a cumprir os seus próprios estatutos.\nPortanto, depois da grande passagem de testemunho: a ICANN é uma empresa da Califórnia, sujeita ao direito federal dos EUA e ao direito californiano, cujos mecanismos de prestação de contas se podem fazer valer em tribunais americanos e em mais lado nenhum, a definir a política de uma zona raiz editada e assinada por uma empresa americana ao abrigo de um acordo com o Departamento de Comércio americano.\nO contrato foi-se. A jurisdição foi mantida de propósito. E a jurisdição é a parte que tem dentes, porque não exige que ninguém intervenha. Aplica-se automaticamente, o tempo todo, por omissão.\nA demonstração mais clara são as sanções. O OFAC — o Office of Foreign Assets Control, parte do Tesouro dos EUA — gere as sanções económicas e comerciais americanas, e decide com quem as pessoas e empresas dos EUA podem fazer negócio. A ICANN é uma empresa da Califórnia, portanto o OFAC vincula-a, e limita com quem a ICANN pode contratar e quem pode acreditar.\nSê preciso quanto ao alcance: isto chega aos registos e registrars de domínios de topo genéricos (gTLD), porque esses têm contratos com a ICANN. Não chega às operações de código de país (ccTLD), que estão inteiramente fora da estrutura contratual da ICANN. Mas o efeito escorre muito para lá da fronteira legal, porque registrars fora dos Estados Unidos aplicaram restrições do OFAC aos seus próprios clientes no pressuposto errado de que ter um contrato com a ICANN o exige, ou simplesmente por copiarem contratos de titulares americanos. A política externa americana propaga-se pela cadeia de registrars tanto por imitação como por lei.\nNão há versão disto em que a resposta a «quem controla o DNS» não comece pelos Estados Unidos.\nQuem é que isso deixa em condições de fazer alguma coisa contra uma decisão da ICANN é a outra metade da pergunta, e é melhor fazê-la quando houver um registo contra o qual a testar. Este artigo volta a ela no fim.\nA raiz é um ficheiro de texto Chega de quem manda. Eis a coisa em que mandam, e podes simplesmente ir buscá-la. A ICANN publica a zona raiz por transferência de zona — AXFR, o mecanismo do DNS para copiar uma zona inteira em vez de um registo — a quem pedir, sem credenciais:\ndig . AXFR @xfr.dns.icann.org Neste momento são 1 578 790 bytes em 24 886 linhas. Contém 1439 delegações — todos os domínios de topo que existem — das quais 1350 têm um registo DS — o delegation signer, a impressão digital que liga a chave de assinatura de uma zona filha à zona mãe — e fazem, portanto, parte da cadeia assinada.\nUm megabyte e meio. Todo o espaço de nomes da internet, pequeno o suficiente para mandar por email.\nEsse ficheiro é a totalidade da autoridade da raiz. Um resolver que arranca a frio não sabe nada exceto os endereços das suas root hints, e no momento em que recebe uma resposta está a seguir delegações tiradas desse ficheiro e de mais lado nenhum. Muda uma delegação lá dentro e mudaste para onde vai o tráfego de um país inteiro. Não há segunda cópia com outra opinião, nenhum protocolo de consenso, nenhum voto no momento da resolução. Há o ficheiro.\nPortanto, a pergunta «quem controla o DNS» reduz-se a uma muito mais estreita: quem pode mudar esse ficheiro, e quem o assina a seguir.\nTrês organizações mexem nele A resposta é uma cadeia de três, e vale a pena ser claro sobre quem faz o quê, porque é nas distinções que vivem todas as discussões.\nA PTI — Public Technical Identifiers, uma afiliada da ICANN — executa as funções IANA. Recebe os pedidos de alteração à zona raiz dos operadores de TLD, verifica-os e autoriza-os. É a camada administrativa, e de propósito: toda a intenção do desenho é que a IANA seja um escriturário cuidadoso sem margem de decisão.\nA Verisign é o Root Zone Maintainer. Pega na alteração autorizada, edita o ficheiro de zona, assina-o com a chave de assinatura da zona raiz e publica-o para distribuição. A Verisign é uma empresa cotada americana, e faz isto ao abrigo de um Cooperative Agreement com o Departamento de Comércio dos EUA.\nOs operadores de servidores raiz servem-no a seguir. São a parte menos poderosa da cadeia e a única de que alguém ouviu falar.\nRepara onde está de facto a margem de decisão. Não nos operadores. Não propriamente no escriturário. Está em quem define a política que o escriturário aplica, que é a ICANN, e na empresa que segura a caneta e a chave de assinatura, que é a Verisign, ao abrigo de um acordo com o governo americano.\nDez dos treze Vale a pena listar as letras dos servidores raiz por inteiro, porque as pessoas citam o número treze como se isso implicasse dispersão:\nLetra Operador País A Verisign EUA B USC Information Sciences Institute EUA C Cogent Communications EUA D University of Maryland EUA E NASA Ames Research Center EUA F Internet Systems Consortium EUA G Departamento de Defesa dos EUA (DISA) EUA H US Army Research Laboratory EUA I Netnod Suécia J Verisign EUA K RIPE NCC Países Baixos L ICANN EUA M WIDE Project Japão Treze letras, doze organizações, porque a Verisign tem tanto a A como a J. Dez das treze são operadas a partir dos Estados Unidos. Duas delas são as forças armadas americanas.\nNão é uma conspiração, é história fossilizada. São as instituições que estavam na rede nos anos 80 e nunca saíram. Mas um acaso da história que deixa as forças armadas dos EUA a gerir dois dos servidores raiz da internet continua a ser as forças armadas dos EUA a gerir dois dos servidores raiz da internet, e é uma coisa estranha de descrever como sistema global.\nOs operadores também não têm nenhum contrato digno desse nome que os vincule. A ICANN não os emprega e não os pode remover de nenhuma forma simples. Servem a raiz porque sempre a serviram. A estabilidade do sistema nesta camada assenta em boa vontade e em nada mais sólido, o que funciona até ao dia em que deixa de funcionar.\nA ICANN não gere a zona raiz Este é o facto mais importante do artigo e quase nunca é dito em voz alta, por isso tem direito a título próprio.\nA ICANN não opera a zona raiz.\nDecide o que lá deve entrar. Não edita o ficheiro, não assina o ficheiro, e não serve o ficheiro. A Verisign edita e assina. Doze organizações servem. O trabalho da ICANN é dizer qual deve ser a resposta, e depois pôr outra pessoa a torná-la realidade.\nEssa divisão é a única coisa que mantém a ICANN sob controlo.\nImagina-a sem a divisão. Um único organismo define a política, segura a caneta, é dono da chave de assinatura e gere os servidores. Entre decidir uma coisa e essa coisa ser verdade em todo o planeta não há outra parte, nenhum segundo par de mãos, e ninguém em posição de dizer que não. Pense-se o que se pensar do historial da ICANN mais abaixo, esse arranjo seria pior.\nTal como está, há três travões. Nenhum deles está num estatuto.\nO ficheiro é público. Qualquer pessoa pode puxar a zona raiz por AXFR — o comando está no início deste artigo — e compará-la com a de ontem. Não consegues mudar uma delegação às escondidas. Outra pessoa tem de fazer a alteração. O maintainer faz a edição e a assinatura. É mais uma organização que tem de aceitar fazê-lo, e mais uma que pode recusar. Os operadores servem por consentimento. Como acima, a ICANN não tem nenhum contrato digno desse nome com os operadores de servidores raiz. Distribuem a zona porque sempre a distribuíram. Nada os obriga a distribuir coisa nenhuma — e como o Postel mostrou em 1998, o consentimento pode ser movido por alguém em quem confiam a pedir com jeitinho. O último é a verdadeira rede de segurança, e foi usado uma camada abaixo ainda dentro da memória viva. Quando a Verisign pôs um wildcard em .com em 2003, o Internet Systems Consortium (ISC) lançou delegation-only no BIND e os operadores simplesmente deixaram de honrar as respostas. Ninguém teve de ganhar uma discussão num fórum de políticas. A capacidade de recusa da comunidade técnica não está escrita em lado nenhum e toda a gente envolvida sabe que está lá.\nAgora a parte desconfortável, porque isto é mais fino do que parece.\nNinguém desenhou este controlo. Não é uma separação de poderes, é um acaso da forma como o trabalho foi dividido nos anos 90, e a transição de 2016 nem o reforçou nem o pôs por escrito. Não há regra nenhuma a dizer que o organismo que define a política não pode um dia segurar também a caneta.\nE a parte que faz o controlo é uma empresa comercial com quem a ICANN está a fazer negócio. A Verisign tem o papel de root zone maintainer, e o contrato do .com, e — como o resto deste artigo expõe — um acordo de 20 milhões de dólares com a ICANN assinado na mesma negociação que uma subida de preço do .com. Um controlo que depende de uma parte estar disposta a recusar à outra deixa de funcionar quando as duas andam a assinar coisas juntas.\nPortanto, a separação é o melhor do arranjo atual. É também não escrita, não planeada, e mantida pelo hábito.\nVender o espaço de nomes Antes de qualquer discussão sobre governação, uma coisa mais simples mostra o que as pessoas que têm um pedaço do espaço de nomes fazem com ele quando nada as impede. Aconteceu repetidamente, em todas as camadas, e da primeira vez que aconteceu no topo durou dezanove dias.\nA 15 de setembro de 2003 a Verisign acrescentou um registo A wildcard às zonas .com e .net:\n*.com. IN A 64.94.110.11 Esse endereço resolve inversamente para sitefinder.verisign.com. A partir desse momento, todos os nomes em .com e .net existiam. Cada gralha, cada domínio não registado, cada cadeia malformada, cada nome expirado — todos resolviam, para uma página de pesquisa da Verisign com publicidade da Verisign.\nPorque é que isto não é uma história de publicidade As queixas na altura eram sobretudo sobre os anúncios, e passavam ao lado da questão. O NXDOMAIN não é uma funcionalidade de experiência de utilizador. É um sinal de protocolo que suporta carga, e uma quantidade enorme de software acima do DNS assenta em poder perguntar «este nome existe?» e receber uma resposta verdadeira.\nApaga a resposta negativa e as coisas partem-se de maneiras que nada têm a ver com navegadores.\nO correio foi o pior, e é a parte que as pessoas ainda percebem mal. A Verisign não publicou um registo MX wildcard. Não precisava. O RFC 5321 §5.1 diz que, quando uma consulta MX não devolve nada, o remetente recorre ao registo de endereço do domínio e trata-o como um MX implícito com preferência 0. A Verisign tinha acabado de dar a todos os domínios inexistentes em .com um registo de endereço. Portanto, cada MTA da internet — cada mail transfer agent, cada máquina que reencaminha correio — a seguir a norma corretamente, passou a ter um servidor de correio para soemcompany.com — e era a caixa da Verisign.\nLiga-te à porta 25 e ela respondia:\n220 snubby2-wceast Snubby Mail Rejector Daemon v1.3 ready A intenção declarada da Verisign era bastante razoável: rejeitar o correio de imediato para que não ficasse em filas pelo mundo fora. A implementação não era. O Snubby só desistia depois de o MTA remetente ter transmitido o corpo da mensagem, e devolvia um código que a maioria dos MTA lia como falha temporária — portanto, em vez de uma devolução instantânea, o correio para endereços mal escritos era reenviado durante dias antes de morrer. A Verisign trocou-o mais tarde por um respondedor baseado em Postfix depois de os operadores se queixarem na lista NANOG.\nO antispam partiu-se ao mesmo tempo, e mais discretamente. Verificar se o domínio de um remetente existe de facto era, e ainda é, uma das heurísticas de filtragem mais baratas e eficazes que há. De um dia para o outro, todos os domínios dos dois maiores TLD existiam. A verificação devolvia verdadeiro para tudo e deixou de discriminar.\nE tudo o resto que fala DNS mas não HTTP — relés de correio, clientes FTP, impressoras de rede, sistemas de monitorização — deixou de receber «no such host» e passou a receber um servidor web, o que se manifestou sobretudo como timeouts e bloqueios em vez de falhas limpas. Um nome morto parecia agora um serviço avariado.\nUma empresa acrescentou um registo a um ficheiro de zona e mudou a semântica de falha da internet.\nO que o travou Não foi a governação. Foi a engenharia, e depois uma ameaça.\nO ISC lançou uma funcionalidade delegation-only no BIND em poucos dias, que deixava os operadores descartar respostas sintetizadas das zonas de TLD — a comunidade técnica a contornar o registo em vez de apelar a alguém. Muitos ISP adotaram-na.\nA ICANN pediu à Verisign que suspendesse o serviço. A 21 de setembro a Verisign recusou. A ICANN exigiu-o então a 3 de outubro, com as consequências contratuais explicitadas, e a Verisign retirou os registos a 4 de outubro de 2003. O IAB publicou a sua objeção arquitetural aos wildcards de registo, e o próprio Security and Stability Advisory Committee da ICANN concluiu, a 9 de julho de 2004, que o serviço nunca devia ter sido implementado sem revisão e que os registos deviam abandonar gradualmente os wildcards.\nDepois a Verisign processou a ICANN, a 27 de fevereiro de 2004, alegando que a ICANN tinha excedido a sua autoridade ao travá-la. O processo foi em grande parte rejeitado nesse agosto, e o resto terminou em acordo a 1 de março de 2006 — um acordo que deu à Verisign um novo contrato de registo do .com.\nLê essa sequência outra vez. O registo rentabilizou o espaço de nomes que estava contratado para operar, recusou parar, foi obrigado a parar, processou o organismo que o obrigou, e saiu do acordo com um contrato renovado para o TLD mais valioso que existe. Ainda o tem. É a mesma empresa que hoje edita e assina a zona raiz.\nDepois toda a gente o fez na mesma Travar o registo não travou a ideia, apenas a desceu um salto. Se o servidor autoritativo não mente sobre a inexistência, mente o resolver.\nA partir de agosto de 2006 a Earthlink começou a redirecionar respostas NXDOMAIN para a Barefruit, servindo páginas de pesquisa e anúncios. A Paxfire vendia a mesma coisa, e ainda por cima redirecionava certas palavras-chave escritas para anunciantes pagantes. O «Domain Helper» da Comcast fazia-o em grande escala. No Reino Unido, a BT e a Virgin Media fizeram-no ambas. Do lado de um ISP a economia é irresistível: domínios mal escritos são inventário grátis gerado pelos dedos dos teus próprios clientes.\nOs modos de falha foram piores do que os da Verisign, porque um resolver vê todas as consultas, não apenas um TLD. A implementação da Barefruit sequestrava o NXDOMAIN de espaço de endereços privado, partindo consultas split-horizon e o comportamento de VPN em redes empresariais. Dan Kaminsky demonstrou cross-site scripting (XSS) contra as próprias páginas de redirecionamento, porque agora cada nome de anfitrião inexistente do mundo resolvia para HTML alcançável por um atacante, servido num contexto que o navegador associava ao domínio de outra pessoa. Rentabilizar o caso de erro tinha transformado uma consulta falhada numa superfície de XSS.\nA correção no protocolo Duas coisas fecharam a porta, e ambas merecem nota porque têm a forma de qualquer correção real no DNS: tornar a mentira detetável, e depois torná-la contratual.\nO DNSSEC dá negação de existência autenticada. Os registos NSEC e NSEC3 permitem a uma zona assinada provar que um nome não existe, e um resolver que valida rejeita uma resposta sintetizada no seu lugar. A inexistência deixou de ser a única resposta que ninguém conseguia verificar. Não é estanque — um resolver que retira as assinaturas pelo caminho pode ainda reescrever a resposta, e é exatamente por isso que validar no cliente em vez de confiar no resolver importa, e é o argumento que este site já fez longamente.\nE a ICANN, diga-se em seu abono, aprendeu esta. A Specification 6 do contrato de registo dos novos gTLD proíbe taxativamente wildcards, registos sintetizados e redirecionamento para nomes não registados, e exige que os servidores autoritativos devolvam Name Error, RCODE 3. Cada uma das 1200 cadeias da ronda de 2012 está contratualmente impedida de fazer o que a Verisign fez ao .com.\nÉ uma melhoria real, e vale a pena ser exato sobre o que a produziu: não o processo de governação, mas dezanove dias de avaria visível em 2003 suficientemente embaraçosos para serem escritos num contrato uma década depois.\nE nada disto tocou nos códigos de país A Specification 6 vincula os gTLD. Vincula-os porque assinam um contrato de registo com a ICANN, e esse contrato é a alavanca.\nUm ccTLD não assina nada do género. Nenhum contrato de registo, nenhuma Specification 6, nenhuma função de conformidade, nenhuma taxa. Nada no regulamento da ICANN governa a forma como um registo de código de país opera a sua zona — e é por isso que as duas coisas abaixo foram possíveis, e por isso que ninguém estava em posição de as travar.\nIsso não é o mesmo que dizer que a ICANN está ausente, e quero ser preciso sobre onde ela está, porque passei dois anos do lado de quem a recebe.\nO que a ICANN detém sobre um ccTLD é a própria delegação. Cada registo NS, cada pedaço de glue, cada registo DS e cada alteração de contacto de .uk vive na zona raiz, e a única via para a zona raiz é um pedido de alteração à IANA — verificado contra os contactos administrativos e técnicos registados, e processado ao ritmo da IANA e não ao teu. Ao abrigo do RFC 1591 a IANA também decide, em último recurso, quem detém de todo a delegação. As redelegações são raras. Não são hipotéticas.\nPortanto, um registo de código de país é soberano sobre a forma como funciona, e completamente dependente de um terceiro para tudo o que tem de ficar visível na raiz. Os momentos em que mais precisas que uma alteração entre — um servidor de nomes a mudar, uma rotação de chave cujo DS tem de ser publicado antes de o antigo sair — são exatamente os momentos em que estás à espera na fila de outra pessoa. É uma dependência operacional bem viva e não uma abstração de governação, e é assunto para a continuação.\nAgora repara no que essa combinação produz. O aperto da ICANN sobre um ccTLD é forte precisamente onde incomoda um registo que se porta bem, e ausente precisamente onde podia ter refreado um que não se porta. Pode atrasar o teu registo DS. Não conseguiu impedir os Camarões de apontar um domínio de topo inteiro para uma página de publicidade.\nPortanto, a prática nunca parou. Apenas se mudou para onde o contrato não chegava.\nOs Camarões puseram um wildcard num domínio de topo inteiro para colher gralhas.\nEm agosto de 2006 o registo .cm apontou todos os nomes não registados da zona para uma página de estacionamento com ligações de pesquisa pagas. Não há nada de subtil na jogada: .cm é .com sem o o, portanto o mercado-alvo era a taxa de dedos gordos do maior TLD que existe, e o operador era uma agência do governo — a ANTIC, sob o Ministério dos Correios e Telecomunicações dos Camarões.\nRendeu bem. A NameJet reportou mais de 500 000 $ em vendas de .cm no primeiro dia e mais de 2 milhões de dólares na primeira semana; hotels.cm foi vendido por 81 100 $ em 2009. Também fez exatamente o que seria de esperar à segurança da zona, porque o tráfego de gralhas que chega é o canal de entrega ideal para um download hostil. Em dezembro de 2009 a McAfee classificou o .cm como o TLD mais arriscado do mundo, com 36,7% dos seus sítios avaliados como representando um risco.\nA Verisign foi obrigada a desfazer o mesmo truque em dezanove dias. Os Camarões mantiveram-no durante anos. A diferença não é um ter sido pior. A diferença é que um tinha assinado um contrato.\nTokelau tornou-se o maior domínio de código de país do mundo dando nomes de graça.\nTokelau é um território da Nova Zelândia no Pacífico Sul com uma população de cerca de 1500 pessoas. O seu ccTLD, .tk, era operado pela Freenom, que dava os registos de graça. Em 2016 era o domínio de código de país com mais registos do mundo, com 31 311 498 nomes — um número que vem, por acaso, de um mapa-múndi publicado pela Nominet.\nO grátis não era grátis. Os termos da Freenom exigiam que um domínio gratuito tivesse tráfego regular, e previam que, se o redirecionamento deixasse de funcionar — ou se o nome começasse a atrair visitantes que valesse a pena ter — o registo o podia tomar de volta e servir nele a sua própria publicidade. É esse o negócio todo, e é mais elegante do que o da Verisign. Não tentes adivinhar que nomes são valiosos. Dá o espaço de nomes inteiro a custo marginal zero, deixa o mundo descobrir os valiosos por ti, depois recupera esses e rentabiliza o tráfego. Cerca de um sexto do rendimento anual de Tokelau vinha daí.\nA externalidade caiu em cima de todos os outros. Registo gratuito sem verificação é a matéria-prima ideal para abuso em massa — a mesma economia dos novos gTLD baratos, levada até ao zero. Quando a Meta avançou com o processo, os cinco ccTLD gratuitos da Freenom — .tk, .ml, .ga, .cf, .gq — eram a origem de mais de metade de todos os novos domínios de phishing vindos de TLD de código de país.\nO que o travou é a parte que aqui importa.\nNão foi a ICANN, que não tinha contrato nem legitimidade. Não foi Tokelau, que recebia um sexto do seu rendimento nacional. Não foi a Nova Zelândia. Foram os advogados da Meta, no Northern District of California, em março de 2023, com pedidos por cybersquatting e por marca registada.\nA Freenom suspendeu novos registos em poucos dias. O phishing com origem nessas extensões caiu de mais de 60% para menos de 15%. A Freenom chegou a acordo em fevereiro de 2024 e saiu do negócio dos domínios, e nesse março cerca de 12,6 milhões de domínios — 99% da sua carteira — tinham deixado de resolver.\nO departamento jurídico de uma empresa, num tribunal americano, removeu doze milhões e meio de nomes da internet. Nenhum organismo de governação em toda a história do DNS exerceu alguma vez tanta autoridade sobre o espaço de nomes, e não o fez através da governação.\nÉ a terceira vez neste artigo que a resposta a «o que é que faz cumprir alguma coisa aqui» acaba por ser um tribunal na Califórnia — e a segunda vez que quem fez cumprir foi uma parte privada a agir no seu próprio interesse comercial, que nessa ocasião calhou coincidir com o de toda a gente.\nE .uk também é um ccTLD. A mesma ausência de qualquer contrato a governar a forma como a zona é gerida, a mesma ausência de Specification 6, a mesma liberdade para lhe pôr um wildcard ou dar o espaço de nomes de graça. Não fez nenhuma das duas coisas. Em vez disso, manteve um processo contra o abuso.\nÉ aí que a divisão arrumadinha deixa de ser arrumadinha, e vale a pena estragá-la de propósito.\nA Nominet não gere só o .uk. Gere também domínios de topo genéricos — os seus, e várias dezenas mais em nome de outros operadores — e para esses assina o contrato de registo da ICANN como qualquer outro, Specification 6 e monitorização contínua incluídas. Na sua própria plataforma, a zona sem contrato estava em minoria de cerca de trinta para um.\nPortanto, os requisitos da ICANN chegaram ao .uk na mesma. Não por autoridade, que não tinha, mas porque ninguém no seu perfeito juízo mantém dois regimes operacionais lado a lado para preservar uma isenção para uma zona. Constróis a coisa rigorosa uma vez e corres tudo em cima dela.\nÉ a mesma forma do problema do OFAC mais acima: o alcance formal da ICANN para no contrato, e o seu alcance real continua para lá dele, propagado por operadores para quem cumprir em todo o lado é mais barato do que manter a distinção. O conjunto de registos efetivamente governados pela ICANN é materialmente maior do que o conjunto dos que assinaram alguma coisa.\nEsse parque, como era geri-lo, e o que aconteceu à Nominet depois é um artigo à parte.\nO que deixa a pergunta a que este artigo não para de chegar por direções diferentes: quando os contratos não chegam, o que é que impede de facto um registo de fazer o que lhe der na gana?\nUma continuação vai responder-lhe a partir de dentro da Nominet — o pipeline de publicação, o EPP (o protocolo que os registrars usam para criar e alterar nomes num registo) e a economia por baixo dele, a assinatura à escala de um registo, e quem pode realmente tirar-te um nome. Este artigo é sobre a camada acima, e a camada acima não fica bem na fotografia.\nO dinheiro A acusação seguinte é mais simples e precisa de menos interpretação.\nO produto que inventaram Em 2012 a ICANN abriu candidaturas a novos domínios de topo genéricos. Qualquer pessoa podia candidatar-se a gerir uma nova cadeia à direita do ponto, mediante uma taxa de avaliação, em grande parte não reembolsável, de 185 000 $.\nRecebeu 1930 candidaturas. São mais de 350 milhões de dólares em taxas de avaliação, cobrados antes de uma única cadeia ser delegada. Os candidatos que desistiram cedo receberam parte de volta numa escala decrescente; a grande maioria do dinheiro ficou.\nA ICANN descreveu a taxa como recuperação de custos.\nDepois, quando dois candidatos queriam a mesma cadeia e não chegavam a acordo em privado, a ICANN leiloava-a entre eles e ficava com o produto, que somou mais 240 590 128 $. Portanto, o programa cobrava-te para te candidatares, e voltava a cobrar-te para ganhares.\nFaz a pergunta que devia ter sido feita em 2008: que problema é que isto resolvia?\nO argumento declarado era a concorrência, a escolha e a inovação. Catorze anos depois, os resultados são mensuráveis. Foram delegadas cerca de 1200 cadeias. Em agosto de 2026 há 1112 novos gTLD com cerca de 48,7 milhões de domínios entre todos — contra o .com sozinho com mais de dez vezes isso. O monopólio instalado não foi minimamente perturbado. Teve antes uma subida de preço.\nO argumento da escolha cai pelas suas próprias provas. 34% das candidaturas de 2012 eram cadeias .brand — uma empresa a candidatar-se à sua própria marca, em grande parte para que mais ninguém a pudesse ter. Isso não são escolhas novas para ninguém. Muitas nunca foram usadas de todo. A McDonald\u0026rsquo;s nunca lançou o .mcdonalds. A Intel recebeu o .intel em julho de 2016 e terminou-o em novembro de 2020, a Symantec abdicou do .symantec dois meses antes, e a SC Johnson candidatou-se a oito cadeias — .scjohnson, .raid, .glade, .off, .duck entre elas — e terminou-as todas em janeiro de 2022. Seis anos depois da janela de candidaturas, mais de um em cada dez novos gTLD ainda não tinha sido lançado, 144 não tinham chegado a um período sunrise, e a L\u0026rsquo;Oréal estava sentada em cadeias para as quais nunca anunciara plano nenhum.\nÉ muito espaço de nomes morto. Eis porque é que isso não incomoda a ICANN.\nAo abrigo do contrato de registo base, um operador de gTLD paga à ICANN uma taxa fixa de 25 000 $ por ano, mais 0,25 $ por registo — mas só quando o TLD passa as 50 000 transações num trimestre. Abaixo desse limiar não há taxa por transação nenhuma.\nLê o que isso significa. O rendimento da ICANN com um domínio de topo sem nenhum nome lá dentro é exatamente o mesmo que com um que tenha quarenta mil: 25 000 $ por ano, todos os anos, por uma delegação que ninguém usa. Uma cadeia morta não é um fracasso nas contas da ICANN. É uma renda vitalícia sem encargos de suporte.\nNão havia nenhuma razão financeira para a ICANN se importar com se alguma coisa disto funcionava, e é difícil encontrar provas de que se tenha importado.\nO que a internet recebeu em vez disso O programa produziu de facto um efeito mensurável, e não é o do prospeto.\nAs novas cadeias que venderam, venderam pelo preço. Registos sem marca e sem procura natural concorreram da única forma que tinham ao seu alcance, a um dólar ou menos por nome, em massa, com verificações mínimas. Isso é um produto, e encontrou o seu mercado.\nO estudo Cybercrime Supply Chain 2025 da Interisle concluiu que os novos gTLD concentravam 47% dos domínios de cibercrime reportados, sendo 12% do mercado de domínios — uma sobrerrepresentação de cerca de seis vezes. O mesmo estudo registou 19,5 milhões de domínios únicos usados em ataques, mais 126% em termos homólogos, 7,3 milhões dos quais registados em massa. O fator comum que identifica nos domínios mais abusados é serem baratos.\nA ICANN não criou o phishing. Mas fabricou 1200 novos sítios a partir de onde o fazer, pôs o preço de entrada de forma a que a única estratégia viável para a maioria deles fosse o volume a custo quase zero, e cobrou uma taxa fixa a cada um independentemente do que de lá saísse.\nO próprio fracasso de montra do programa demonstra-o melhor do que qualquer estatística. O .sucks foi delegado à Vox Populi, que cobrava aos donos de marcas 2499 $ por nome durante o sunrise — um preço fixado exatamente porque as marcas teriam de o pagar para impedir outra pessoa. A resposta da ICANN foi denunciar o registo à Federal Trade Commission dos EUA por preços predatórios. A FTC concluiu que não tinha sido violada regra nenhuma, e observou que a ICANN já tinha ignorado várias preocupações que a FTC levantara sobre o programa de novos gTLD.\nEstá ali a coisa toda num só episódio. A ICANN desenha o programa, ignora os avisos do regulador sobre ele, delega a cadeia, cobra a taxa, e depois queixa-se ao regulador do resultado previsível.\nAs candidaturas para a ronda seguinte abriram em 2026. A taxa é de 227 000 $.\nAs cadeias demasiado perigosas para delegar Mais uma coisa que o programa produziu, e esta é para quem alguma vez construiu uma rede interna.\nAs organizações sempre inventaram domínios de topo para uso interno, no pressuposto de que um nome que não existe publicamente nunca existirá. .corp. .home. .mail. .local. Escolhe qualquer coisa, mete-a no teu Active Directory, ninguém lá fora a vê.\nA ronda de 2012 propôs delegar alguns desses a sério, e nesse momento cada um desses pressupostos privados torna-se um problema de segurança bem real: nomes internos começam a resolver para os servidores de outra pessoa, consultas que antes falhavam começam a revelar a tua estrutura interna a um registo, e certificados emitidos para nomes internos passam a ser certificados para nomes que agora um estranho controla.\nNinguém tinha verificado. Só veio à tona porque investigadores mediram o que estava de facto a ser pedido à raiz, e descobriram que .home e .corp estavam entre as cadeias mais consultadas que existem — nomes muito usados que nunca tinham sido delegados a ninguém. O próprio Security and Stability Advisory Committee da ICANN levantou a questão em 2013, depois de as candidaturas terem entrado.\n.corp, .home e .mail nunca foram delegados. Continuam adiados, indefinidamente, porque delegá-los partiria demasiadas coisas. Três cadeias que foram pedidas e pagas revelaram-se demasiado perigosas para existir.\nIsto é um programa que alargou a raiz sem primeiro estabelecer com o que é que esse alargamento ia colidir, e descobriu-o depois pelas medições de outras pessoas. Se quiseres o lado prático disto, é a razão pela qual inventar um TLD interno é má ideia — o espaço de nomes que inventaste só é privado até alguém o vender.\nO dinheiro dos leilões Entre junho de 2014 e julho de 2016 esses leilões de disputa recolheram os tais 240 590 128 $, cerca de 233 milhões de dólares depois dos custos dos leilões.\nÉ dinheiro obtido vendendo pedaços de um espaço de nomes que a ICANN não possui e que detém em fideicomisso. Há uma resposta defensável para o que lhe deve acontecer, e a comunidade criou um grupo de trabalho intercomunitário para a encontrar.\nEnquanto esse grupo de trabalho ainda estava reunido, o conselho da ICANN tirou 36 milhões de dólares do produto e meteu-os no fundo de reserva da própria ICANN, que estava 68 milhões de dólares abaixo do objetivo. Não proposto — aprovado. E quando a comunidade objetou, a posição que lhe foi apresentada foi que a alternativa era a ICANN aumentar as taxas.\nO grupo de trabalho continuou na mesma. O conselho só adotou as suas recomendações em junho de 2022 — seis anos depois do último leilão, durante os quais a ICANN guardou um quarto de mil milhões de dólares de dinheiro alheio e se serviu de 36 milhões dele enquanto as pessoas que decidiam para que servia ainda estavam na sala.\nOs tetos de preço do .org Em março de 2019 a ICANN propôs renovar o contrato de registo do .org sem os tetos de preço. Os tetos eram o que impedia o operador do .org de cobrar o que lhe apetecesse às instituições de solidariedade, ONG e entidades sem fins lucrativos a quem tinham dito durante vinte anos que o .org era o lugar delas.\nA consulta pública decorreu. 3252 comentários opuseram-se à remoção. Seis apoiaram-na. A oposição incluía a NPR, a YMCA, a C-SPAN, a National Geographic Society, a AARP e o National Trust for Historic Preservation — não os comentadores habituais da indústria dos domínios, mas precisamente o público para quem o .org existe.\nA 1 de julho de 2019 a ICANN assinou o contrato. Sem anúncio público. A comparação do texto assinado com o texto proposto não mostrou alteração nenhuma feita em resposta ao período de consulta. Não «algumas preocupações atendidas» — o mesmo documento.\nSe um processo de consulta pública pode correr 542 contra 1 e não mudar uma palavra, não é uma consulta. É uma formalidade que produz um rasto em papel.\nDepois a venda Em novembro de 2019, quatro meses depois, a Internet Society anunciou que ia vender o Public Interest Registry — o operador sem fins lucrativos do .org — à Ethos Capital, uma empresa de private equity, por 1,135 mil milhões de dólares.\nA remoção do teto de preços é o que fez o PIR valer 1,135 mil milhões de dólares. Um registo que não pode subir preços é uma renda. Um registo que pode é um ativo de crescimento. A ICANN tinha convertido o primeiro no segundo quatro meses antes, contra uma objeção unânime, e o mercado pôs-lhe preço de imediato.\nA Ethos Capital tinha sido criada em maio de 2019. O domínio ethoscapital.com foi registado a 8 de maio de 2019 por Fadi Chehadé, antigo CEO da ICANN — na semana do prazo para o pessoal da ICANN publicar o seu relatório sobre a remoção dos tetos de preço. O nome dele não aparecia em lado nenhum no sítio da Ethos Capital quando o negócio foi anunciado. O seu envolvimento tornou-se público por causa dos dados WHOIS — o registo público de quem é dono de um domínio, que é o tema da secção seguinte — e a ironia escreve-se sozinha. A Ethos confirmou então que ele tinha dado aconselhamento na transação, e em julho de 2020 tornou-se seu co-CEO.\nA ICANN acabou de facto por bloquear a venda, em abril de 2020. É justo registá-lo. Também é justo registar o que veio antes: meses da ICANN a insistir que o assunto estava em grande parte fora da sua competência, campanha pública contínua, cartas de senadores dos EUA, e por fim uma carta do Procurador-Geral da Califórnia a avisar a ICANN para se afastar do negócio e a citar a falta de transparência em torno da Ethos Capital.\nA ICANN não foi aqui a salvaguarda. A ICANN removeu os tetos que criaram a oportunidade, e foi ela própria travada, à última hora, por um magistrado estadual — o que é mais uma demonstração de que o verdadeiro mecanismo de prestação de contas neste sistema é a jurisdição californiana e não qualquer coisa nos estatutos.\nO arranjo com a Verisign É a mesma contraparte do wildcard, quinze anos depois. Em outubro de 2018 a NTIA e a Verisign assinaram a Amendment 35 ao Cooperative Agreement, levantando o congelamento do preço do .com e permitindo aumentos de 7% por ano em quatro de cada seis anos.\nEssa foi uma decisão do governo dos EUA, não da ICANN. Mas os aumentos precisavam ainda de uma alteração ao contrato de registo do .com, e esse é da ICANN. Em março de 2020 a ICANN aceitou a Amendment 3 — e, a par dela, uma Letter of Intent vinculativa ao abrigo da qual a Verisign paga à ICANN 20 milhões de dólares ao longo de cinco anos a partir de 1 de janeiro de 2021, para trabalho de segurança e estabilidade.\nAs duas coisas foram negociadas antes de a consulta pública abrir. O período de consulta decorreu, foi esmagadoramente hostil, e não mudou nada — o mesmo padrão do .org, na mesma janela, com o mesmo resultado.\nToma a estrutura nos seus próprios termos. O organismo que decide se um monopolista pode subir preços negociou, ao mesmo tempo e com a mesma contraparte, um pagamento a si próprio. A consulta pública veio depois e foi decorativa. Seja no que for que o dinheiro é gasto, um arranjo em que o regulador é pago pelo regulado na mesma transação que a subida de preço é um em que nenhum regulador competente entraria, e a palavra a que os comentadores recorreram na altura — luvas — é a óbvia.\nO .com por grosso passou de 7,85 $ para 10,26 $ por causa disso, num nome sem nenhuma necessidade técnica de subida de preço e sem concorrente para onde um titular se possa mudar.\nOito países contra uma empresa Se queres um único episódio que mostre a quem a ICANN responde de facto, é o .amazon, e arrastou-se sete anos.\nA Amazon, a empresa, candidatou-se ao .amazon na ronda de 2012. A Organização do Tratado de Cooperação Amazónica objetou — Bolívia, Brasil, Colômbia, Equador, Guiana, Peru, Suriname e Venezuela, oito Estados soberanos cujo território o nome descreve e onde vivem uns 30 milhões de pessoas. A posição deles era que um nome geográfico e cultural partilhado não devia tornar-se propriedade privada de uma empresa.\nUsaram o canal que a ICANN dá aos governos. O Governmental Advisory Committee (GAC) emitiu um parecer de consenso contra a candidatura, e em maio de 2014 o conselho da ICANN aceitou-o. Os Estados tinham ganho, através do mecanismo desenhado exatamente para isso.\nA Amazon apresentou um pedido de Independent Review Process (IRP).\nEm 2017 o painel do IRP deu razão à Amazon. Concluiu que o conselho tinha agido de forma incompatível com os próprios estatutos da ICANN, considerou que o conselho não pode tratar um parecer de consenso do GAC como conclusivo, mandou-o reavaliar as candidaturas quanto ao mérito, e condenou a ICANN a reembolsar a Amazon em 163 045,51 $ de custas.\nEm maio de 2019 a ICANN concluiu que não havia razão de política pública para as candidaturas não avançarem. A Amazon ficou com o .amazon.\nLê a estrutura em vez do resultado, porque o resultado é discutível e a estrutura não é.\nOs governos têm o GAC, e o GAC aconselha. Uma empresa tem o Independent Review Process, e o IRP produz uma declaração vinculativa, uma instrução ao conselho e uma condenação em custas. Quando esses dois canais chocaram de frente, a conclusão do painel foi explicitamente que o governamental não é conclusivo.\nPortanto, a ICANN tem de facto um mecanismo de prestação de contas que funciona. Funcionou. Foi usado com êxito por uma das maiores empresas do planeta para derrubar a objeção coletiva de oito países, e a ICANN pagou-lhe as custas judiciais pelo privilégio.\nÉ o mesmo facto que o problema da jurisdição mais acima neste artigo, com outra roupa. Os mecanismos são reais, e estão moldados de forma a que as partes que se podem dar ao luxo de os pôr a funcionar sejam as que tiram resultados deles. Oito governos não conseguiram fazer valer o canal consultivo. Uma empresa pôs o canal jurídico a funcionar em três anos.\nA luta do RGPD: o que a ICANN faz quando uma lei se lhe aplica A prova mais forte sobre uma instituição não é a sua declaração de missão. É o que ela faz da primeira vez que uma regra que não escreveu lhe é aplicada.\nPara a ICANN esse momento foi o RGPD, e o registo é inequívoco.\nÀ ICANN não faltou aviso. Teve, pelas contas do The Register, mais de uma década de cartas a dizer-lhe que o WHOIS — publicar o nome, a morada, o email e o telefone de cada titular de domínio, para quem quisesse, sem controlo de acesso — era incompatível com a lei europeia de proteção de dados. O próprio RGPD foi adotado em 2016 com dois anos de margem precisamente para que as organizações se pudessem preparar. A ICANN chegou a maio de 2018 sem nenhum modelo conforme.\nO que fez em vez disso, em abril de 2018, foi ir a Bruxelas pedir ao Grupo de Trabalho do Artigo 29 uma moratória de um ano na aplicação da lei, e ainda autorização para continuar a publicar os endereços de email dos titulares entretanto.\nPensa no que esse pedido é de facto. Não uma prorrogação para entregar papelada. Um pedido para que os reguladores europeus aceitassem não aplicar um regulamento de direitos fundamentais a uma organização e às suas partes contratadas a nível global, durante um ano, porque essa organização não tinha chegado a cumprir. Não há mecanismo nenhum no RGPD para conceder isto. A proteção de dados é um direito fundamental ao abrigo da Carta; nenhuma autoridade de controlo, nem o Comité Europeu para a Proteção de Dados, tem poder para a suspender para um único responsável pelo tratamento. A ICANN não estava a pedir uma concessão que lhe estivesse a ser recusada. Estava a pedir uma coisa que não existe, aparentemente sem ter verificado se existia.\nO WP29 recusou os dois pedidos. O próprio resumo da reunião feito pela ICANN admitia que os endereços de email dos contactos do titular, administrativo e técnico tinham de ser anonimizados, e simplesmente omitia qualquer referência à moratória que tinha pedido.\nDepois processou.\nA 25 de maio de 2018, o dia em que o RGPD entrou em vigor, a ICANN avançou contra a EPAG — o registrar alemão da Tucows — em Bona. A EPAG tinha decidido deixar de recolher os dados de contacto Admin-C e Tech-C, com o argumento de que recolher dados pessoais para os quais não tinha uso era exatamente o que o RGPD proíbe. A posição da Tucows era que na esmagadora maioria dos registos os contactos do titular, administrativo e técnico são de qualquer forma a mesma pessoa, pelo que a recolha não era apenas ilegal, era inútil.\nA teoria jurídica da ICANN era que o fundamento do RGPD «necessário para a execução de um contrato» cobria a recolha, porque o próprio contrato da ICANN com o registrar a exigia. É um argumento notável: que uma organização pode fabricar um fundamento lícito para tratar os dados pessoais de outras pessoas escrevendo a obrigação de os recolher num contrato com um terceiro. Se funcionasse, o artigo 6.º, n.º 1, alínea b), seria uma formalidade que qualquer um satisfaria com uma redação.\nNão funcionou. A ICANN perdeu em Bona. Recorreu. Perdeu outra vez. Em agosto de 2018 o tribunal de recurso de Colónia rejeitou-a uma terceira vez, considerou convincentes as decisões anteriores, entendeu que não havia urgência iminente que justificasse uma providência cautelar, e — esta é a parte que vale a pena ler duas vezes — recusou o pedido da ICANN de reenviar a questão para o Tribunal de Justiça da União Europeia com o fundamento de que a interpretação jurídica da ICANN não era relevante para a decisão. O tribunal não considerou o argumento suficientemente equilibrado para valer a pena perguntar ao Luxemburgo.\nA ICANN gastou o dinheiro dos membros a tentar levar o caso a esse tribunal na mesma. Em 2019 desistiu do WHOIS por completo.\nO resultado técnico foi o correto — o WHOIS tal como existia não devia ter existido. Mas olha para como se lá chegou. Dez anos de avisos ignorados. Um pedido de isenção de um direito fundamental. Litígio contra a sua própria parte contratada, intentado no dia em que a lei entrou em vigor, para estabelecer que a lei não se aplicava da forma que os reguladores diziam. Três derrotas. Depois a capitulação.\nIsso não é uma organização que leu mal uma lei. É uma organização que não aceitou, até os tribunais lho dizerem três vezes, que a lei se lhe dirigia de todo.\nO que custou a todos os outros A maior parte deste artigo é sobre o que a ICANN e os registos fizeram. Esta parte é sobre quem pagou, porque muito raramente foram eles.\nCada titular de um .com no planeta paga o aumento. O .com por grosso passou de 7,85 $ para 10,26 $. Os próprios relatórios da Verisign põem a base do .com em 163,6 milhões de nomes a 31 de março de 2026. Multiplica os dois e essa subida vale na ordem dos 394 milhões de dólares por ano, tirados a cada titular de um .com em qualquer parte do mundo, por um nome que não precisou de alteração técnica nenhuma para a justificar. Uma empresa em Lagos ou Manila paga o mesmo aumento que uma em Palo Alto, decidido por uma agência americana e uma entidade sem fins lucrativos americana que recebeu 20 milhões de dólares do beneficiário na mesma negociação.\nA decisão do .org cai em cima de instituições de solidariedade de todo o mundo. O .org foi vendido ao setor não lucrativo durante vinte anos como a parte do espaço de nomes que lhe pertencia. Levantar os tetos foi decidir que quem o gere lhes pode cobrar o que o mercado aguentar. A NPR e a YMCA aguentam isso. Uma pequena ONG a viver de um subsídio não aguenta, e também não lhe perguntaram — 3252 contra, seis a favor, assinado sem uma palavra mudada.\nO fardo do abuso é carregado por toda a gente que gere um servidor de correio. Os novos gTLD são 12% do mercado e 47% dos domínios de cibercrime reportados. Cada um desses nomes chega à caixa de correio de outra pessoa, à fila de abuso de outra pessoa, às perdas por fraude de outra pessoa. A ICANN cobrou 185 000 $ por candidatura e cobra 25 000 $ por ano por cadeia, aconteça o que acontecer. O custo do que as cadeias baratas depois produziram cai em cima de cada operador de correio, cada banco, cada equipa de segurança e cada pessoa enganada por uma página de phishing. Isso é uma externalidade no sentido de manual, e o programa foi desenhado sem uma linha sobre quem a suportaria.\nO Site Finder partiu a semântica de falha do planeta inteiro de uma só vez. Vale a pena dizê-lo sem rodeios, porque é fácil lê-lo como uma história americana. Há uma raiz e um .com. Quando a Verisign mudou o que um nome inexistente faz, mudou-o para todas as redes da Terra em simultâneo — incluindo todas as redes sem relação nenhuma com a Verisign, sem voto na decisão e sem saída a não ser corrigir os seus próprios resolvers, que foi o que muitíssimas delas acabaram por fazer.\nO WHOIS apagou-se para as pessoas que o usavam contra o abuso. Os dois danos aqui são reais e ambos eram evitáveis. Publicar o nome, a morada, o email e o telefone de cada titular a quem perguntasse foi um dano genuíno, de décadas, a pessoas de todo o mundo, e o RGPD tinha razão nisso. Mas a ICANN teve mais de dez anos de aviso e nenhum plano, portanto maio de 2018 não foi uma passagem gerida para acesso por níveis. Foi um corte abrupto. Investigadores antiabuso, equipas de segurança e autoridades policiais, incluindo muito para lá da Europa, perderam uma ferramenta que funcionava de um dia para o outro porque a ICANN gastou a margem a litigar em vez de construir a substituta. A exposição antes e o vazio depois pertencem ambos à mesma falta de preparação.\nE 12,6 milhões de nomes deixaram de resolver. O colapso da Freenom foi um bom resultado para os números do phishing. Não foi um bom resultado para toda a gente que usava um .tk ou .ml gratuito porque não podia dispensar 10 $ por ano, e havia muitíssimos desses, desproporcionadamente em lugares onde 10 $ não são pouco. Quando o único espaço de nomes gratuito da internet é também o mais abusado, quem o perde quando ele acaba não são os criminosos. Esses mudaram-se para a coisa barata seguinte na semana a seguir.\nA forma é consistente. As decisões são tomadas na Califórnia, a receita é cobrada na Califórnia, e os custos são distribuídos pelo mundo inteiro a pessoas sem voto, sem contrato e sem tribunal a que possam chegar.\nE só em tribunais americanos Agora que o registo está feito, volta ao ponto da jurisdição do início deste artigo, porque faz mais trabalho do que a constituição da empresa.\nToda a gente no mundo está sujeita ao que a ICANN decide. As pessoas que podem fazer alguma coisa contra isso são as que podem litigar na Califórnia.\nPensa em quem isso deixa de fora. Um operador de ccTLD nos Camarões. Um titular em Teerão cujo domínio foi abandonado porque um registrar aplicou em excesso um OFAC que nunca o vinculou. Um registrar em Bona — que é exatamente o motivo por que a luta entre a ICANN e a EPAG teve de ser travada como um caso alemão à luz do direito alemão, e não como uma questão de prestação de contas da ICANN. Qualquer pequeno registo que não consiga pagar advogados americanos para discutir um ponto de direito californiano das entidades sem fins lucrativos contra uma organização com um orçamento de nove dígitos.\nDepois pensa em quem isso deixa entrar. Todas as intervenções neste artigo que mudaram de facto alguma coisa:\nO Site Finder acabou quando a ICANN ameaçou o contrato da Verisign — e a resposta da Verisign foi processar num tribunal americano, e sair do acordo com um .com renovado. A venda do .org foi travada depois de o Procurador-Geral da Califórnia mandar uma carta. A Freenom parou porque a Meta processou no Northern District of California, e 12,6 milhões de nomes apagaram-se atrás dela. O .amazon foi para a Amazon porque a Amazon levou a ICANN pelo seu próprio Independent Review Process e lhe foram atribuídas as custas. Quatro intervenções que funcionaram. Quatro atores americanos — um magistrado estadual e três empresas. Nenhuma delas uma via ao alcance de alguém fora dos Estados Unidos, e em três das quatro o que fez mexer foi o interesse comercial de uma empresa privada, que nessas ocasiões calhou apontar no mesmo sentido que o de toda a gente.\nA comunidade levantou de facto a questão. Um subgrupo de jurisdição do grupo de trabalho sobre prestação de contas dedicou-lhe o Work Stream 2 e produziu recomendações que deixaram as coisas mais ou menos onde as encontraram, o que não surpreende dado que a proposta de transição já tinha posto fora do âmbito a única mudança que importava antes de alguém se sentar.\nPortanto, a governação global multissetorial resume-se, no único sítio onde pode ser testada, a isto: podes processar na Califórnia, se tiveres dinheiro para isso.\nO que o registo mostra de facto Junta-os, porque separadamente cada um tem uma desculpa e juntos não têm.\nUma organização a quem os tribunais alemães tiveram de dizer três vezes que o direito europeu se lhe aplicava, depois de ter pedido primeiro aos reguladores desses tribunais que simplesmente não o aplicassem.\nUma organização que inventou um produto que ninguém tinha pedido, cobrou mais de 350 milhões de dólares em taxas para apreciar candidaturas a ele, mais 240 milhões a leiloar as disputadas, e agora cobra 25 000 $ por ano a domínios de topo sem nada lá dentro — enquanto as cadeias que venderam se tornaram o sítio mais barato da internet para comprar um domínio de phishing.\nUma organização cujo processo de consulta pública correu 542 contra 1 e não alterou uma palavra do documento sobre o qual consultava.\nUma organização que levantou os tetos de preço do espaço de nomes não lucrativo quatro meses antes de o veículo de private equity do seu antigo CEO oferecer 1,135 mil milhões de dólares por ele, e que teve de ser travada por um Procurador-Geral estadual e não por qualquer mecanismo próprio.\nUma organização que recebeu 20 milhões de dólares do registo monopolista na mesma negociação que deixou o registo monopolista subir preços, e abriu a consulta pública depois.\nUma organização que se serviu de 36 milhões de dólares de dinheiro que guardava em fideicomisso, enquanto o grupo que decidia para que servia esse dinheiro ainda estava reunido.\nE uma organização que pôs fim a um processo do registo que tinha sequestrado as duas maiores zonas da internet entregando a esse registo um contrato renovado para o .com.\nUma organização cujo único mecanismo de prestação de contas que funciona foi usado por uma empresa de um bilião de dólares para derrubar a objeção unânime de oito países, com custas atribuídas contra a ICANN.\nUma organização que esteve à distância de um relatório de comité de delegar .corp e .home a estranhos, e descobriu o que isso partiria pelas medições de outra pessoa.\nO fio condutor não é a incompetência. A incompetência é aleatória. Isto tem direção: cada uma destas coisas foi no sentido dos instalados, do dinheiro e do interesse institucional da própria ICANN, e os mecanismos de participação — períodos de consulta, grupos de trabalho, comunidades empoderadas — produziram documentação em vez de resultados.\nE este é o organismo que define a política para o ficheiro. Não um organismo de normalização, não um tribunal, não nada que tenhas eleito. Uma entidade sem fins lucrativos da Califórnia com um historial de governação destes, sentada em cima de 1,5 megabytes de texto contra os quais todas as redes da Terra resolvem.\nA única coisa entre esse historial e o ficheiro é que a ICANN não segura a caneta. Tem de pedir. Tudo o que está acima é o que uma organização faz quando ainda tem de pedir — portanto a pergunta que vale a pena levar contigo não é se a ICANN se porta bem. Claramente não se porta. É o que mantém o pedir no lugar, sabendo que ninguém o pôs por escrito e que a parte a quem se pede já está na folha de pagamentos.\n","permalink":"https://blogs.damiendye.uk/pt/dns/who-actually-controls-dns/","summary":"A raiz da internet é um ficheiro de texto de 1,5 MB que uma única empresa americana edita e assina. Quem controla realmente o DNS, o que a transição da IANA de 2016 mudou e não mudou, e o registo documentado de como a ICANN tem usado esse controlo.","title":"Quem controla realmente o DNS"},{"content":"Fui administrador de sistemas do registo DNS na Nominet, o registo do .uk, de 2017 a 2019, dentro do edifício enquanto se acumulava a pressão que produziu a revolta de 2021. A votação em si veio depois de eu sair, e essa parte é de registo público, com as ligações do costume. Onde falo de como as coisas se viam por dentro, digo-o.\nO artigo irmão deste é sobre a ICANN, e não para de chegar à mesma pergunta por caminhos diferentes: quando ninguém tem um contrato sobre um registo, o que é que o faz portar-se bem de facto?\nO .uk é um bom sítio para responder a isso, porque ninguém tem. Não há nenhum acordo de registo da ICANN sobre ele, nenhuma Specification 6, nenhuma função de conformidade, nenhuma monitorização externa e nenhum regulador no sentido habitual. A Ofcom não o gere. O governo não o gere.\nOs seus membros gerem. E em março de 2021 usaram isso.\nO que a Nominet é de facto A Nominet é uma sociedade limitada por garantia. Não tem acionistas. Tem membros, registadores e outras partes interessadas que pagam uma quota e têm direito a voto, e foi criada para gerir o .uk em benefício público e não com fins lucrativos.\nEssa estrutura é a história toda. Uma empresa sem donos para enriquecer continua a receber dinheiro, e um registo que gere um espaço de nomes nacional sem concorrente recebe muito. Para que serve esse excedente é uma pergunta a que os estatutos respondem vagamente e o conselho responde na prática.\nOs membros são o único controlo. Não há mais nada. O que está bem enquanto as respostas batem certo, e passa a ser o jogo todo quando deixam de bater.\nA casa, vista por dentro Aqui está a parte que quem está fora de um registo raramente imagina, e importa para tudo o que vem depois.\nA Nominet nunca foi só o .uk. Enquanto lá estive, a plataforma levava:\nO .uk, o domínio de código de país (ccTLD), sem contrato nenhum com a ICANN. O .cymru e o .wales, domínios genéricos de topo (gTLD) que a Nominet detém por direito próprio, e esses estão sob acordos de registo da ICANN. Os gTLD de outras pessoas. Em abril de 2016, a Minds + Machines entregou à Nominet o back end de até 28 das suas cadeias, entre elas .london, .work, .law, .fashion e .cooking, o que pôs a Nominet no escalão de topo dos operadores de registo por número de TLD geridos. Junta-se as dot-brands como .bbc e .bentley. O papel de emergência da ICANN. A Nominet é um dos Emergency Back-end Registry Operators da ICANN, as entidades a quem a ICANN entrega um gTLD quando o tira a quem o estava a gerir. Aderiu em 2014, e em dezembro de 2017 a ICANN usou-a: a Nominet tornou-se operadora interina de emergência do .wed depois de o serviço de dados de registo do seu operador ter falhado. O lado do resolver. A Nominet construiu e geriu o Protective DNS para o National Cyber Security Centre (NCSC), o resolver recursivo que os organismos do setor público britânico consultam, e que se recusa a resolver nomes conhecidos como maliciosos. Vale uma clarificação, porque «a Nominet gere o .uk» é mais vago do que devia ser.\nA Nominet gere o registo .uk e a maior parte do que está por baixo dele: .co.uk, .org.uk, .me.uk e o próprio .uk de segundo nível. Nunca o geriu todo. O .ac.uk pertence à Jisc, sucessora da rede académica que deu o nome uk em primeiro lugar, e que administra e regista nomes debaixo dele desde 1996. Durante os anos que este artigo cobre, o .gov.uk também era da Jisc: a Nominet só o assumiu em 2024, e ainda hoje as aprovações ficam com o Central Digital and Data Office e não com o registo.\nVai mais longe do que isso, e numa direção que não adivinharias. A Jisc também faz a administração do .gov.scot, e do .gov.wales e do .llyw.cymru, que vivem ambos dentro do .wales e do .cymru, os dois domínios genéricos de topo que a Nominet detém por direito próprio. A Nominet gere esses TLD. Outra entidade gere o canto dos governos dentro deles.\nPortanto, mesmo dentro do espaço de nomes de um só país, a autoridade está dividida, e está dividida pela história e pelo costume, não pelo desenho de ninguém.\nPortanto uma só organização estava em quatro relações diferentes com o sistema de nomes ao mesmo tempo. Totalmente fora do alcance da ICANN para o .uk. Dentro dele, sob contrato e continuamente medida, para os gTLD. O instrumento a que a ICANN recorria quando precisava de tirar um domínio de topo a outra entidade. E o resolver que decidia o que um departamento do governo podia consultar.\nNada disso é uma contradição. É o aspeto real da estrutura quando deixas de ler organigramas e começas a ler contratos. A autoridade aqui prende-se a delegações individuais, não a empresas.\nDois regimes, uma plataforma Agora a parte que só se vê por dentro, e é a razão pela qual a casa importa em vez de ser uma curiosidade.\nPara os gTLD, a Nominet assina o acordo de registo da ICANN como qualquer outro. Aplica-se a Specification 6: nada de wildcards, nada de respostas sintetizadas. Aplica-se também a Specification 10, e a ICANN mede o seu cumprimento continuamente a partir de fora: resolução DNS, o sistema de registo partilhado, o serviço Whois, os depósitos de escrow e as zonas corretamente assinadas são todos monitorizados contra limiares, e falhar um deles é um evento de conformidade e não apenas uma interrupção.\nConta as zonas. De um lado, o .uk, sem contrato. Do outro, várias dezenas de gTLD, cada um sob um acordo de registo e uma sonda de monitorização. A zona sem contrato estava em minoria na sua própria plataforma, numa proporção de qualquer coisa como trinta para um.\nDois regimes contratuais numa plataforma, e ganha o rigoroso Uma plataforma, dois regimes contratuais Nominet: uma plataforma de registo, um só conjunto de procedimentos .uk 1 zona sem acordo de registo sem Specification 6 ninguém a monitorizar domínios genéricos de topo ≈30 zonas .cymru\u0026#160;· .wales\u0026#160;· MMX\u0026#160;×28\u0026#160;· .bbc\u0026#160;· .bentley acordo de registo ICANN Spec 6, Spec 10, monitorizados de fora o regime rigoroso torna-se a norma da casa Ninguém mantém duas normas operacionais para preservar uma exceção para uma zona. o .uk recebe as regras da ICANN na mesma: sem contrato, sem consulta, sem perguntar a ninguém no Reino Unido. Uma plataforma a levar os dois regimes. A zona sem contrato está em minoria de cerca de trinta para um, portanto as regras escritas para os gTLD tornam-se a maneira como tudo é gerido, incluindo a zona sobre a qual ninguém tem autoridade nenhuma. Correr dois regimes operacionais numa só plataforma é penoso, por isso não se faz. Dois processos de escrow, dois regimes de monitorização, dois conjuntos de procedimentos, dois procedimentos de piquete, duas respostas à mesma pergunta conforme a zona de que o pedido calha tratar: é assim que se fazem erros às três da manhã. Quando a ICANN impõe alguma coisa para os gTLD, não a constróis duas vezes. Constróis uma vez e corres tudo em cima disso.\nO que quer dizer que os requisitos da ICANN caíram também em cima do .uk. Não porque a ICANN tivesse alguma autoridade sobre o .uk, não tinha nenhuma, mas porque a maneira segura mais barata de cumprir uma regra que vincula a maior parte da tua casa é aplicá-la a toda ela, e porque manter deliberadamente uma separação para que o ccTLD pudesse fazer coisas que os gTLD não podem não te compra nada a não ser uma segunda maneira de a plataforma avariar.\nNão se assinou nenhum contrato para isso. Não houve consulta. Ninguém no Reino Unido foi consultado. Um requisito escrito em Los Angeles para domínios genéricos de topo moldou a forma como o registo do próprio país funcionava, por via de uma decisão de construção.\nPara que conste, isso também fez da ICANN uma presença real na escala de piquete e não uma linha num documento de política. Para parte da casa, era uma contraparte com um contrato, uma sonda apontada à nossa infraestrutura e um caminho de escalonamento.\nVender o .uk para pagar o resto A lógica comercial disto tudo foi aquilo a que os membros acabaram por se opor.\nO .uk é um monopólio. Há exatamente um sítio onde comprar um domínio .uk, a procura é quase inelástica, e a margem financia o que quer que o conselho decida financiar. Desde 2016 que o The Register fazia o argumento em voz alta de que os titulares de .uk estavam a pagar a mais para subsidiar o resto da operação.\nCom o CEO Russell Haworth, nomeado em 2015, a Nominet investiu a fundo na cibersegurança, o contrato com o NCSC entre outras coisas, com o raciocínio de que um registo sentado em cima da infraestrutura DNS nacional estava bem posicionado para vender serviços de segurança.\nEsse foi o rumo durante todo o meu tempo lá. A revolta não veio do nada em 2021. As condições para ela foram lançadas anos antes, à vista de qualquer pessoa que trabalhasse no edifício.\nA instituição de caridade foi a primeira Em janeiro de 2018, enquanto lá estava, a Nominet retirou-se da sua própria fundação de caridade.\nO Nominet Trust era financiado pelo registo desde 2008: 44 milhões de libras nesse período, 4 milhões em 2016, 5,4 milhões em 2017. Dava dinheiro a projetos de tecnologia para o bem comum. Era, num sentido bastante direto, o benefício público numa empresa de benefício público. Tornou-se independente e em maio de 2018 passou a ser o Social Tech Trust.\nA razão declarada por Haworth foi que «the grant-giving, single funder model we set up in 2008 was not the most effective route to greatest impact.»\nO que foi anunciado ao mesmo tempo foi um Cyber Advisory Panel, presidido por Haworth, dirigido ao governo e às grandes empresas, apoiado por um programa de marketing e, nas palavras da própria Nominet, potencialmente por uma aquisição.\nPõe essas duas coisas lado a lado, porque foram anunciadas juntas. O dinheiro que saía do edifício para uma instituição de caridade independente parou. Arrancou um empreendimento comercial presidido pelo diretor executivo. Os membros não foram consultados sobre nenhuma das duas.\nUm deles, Andrew Bennett, fez a pergunta óbvia na altura: onde vão ser gastos todos os lucros operacionais futuros?\nTrês anos depois, os membros responderam-lhe.\nÉ também por isso que os parágrafos abaixo não são só a minha impressão. O maior movimento de dinheiro de benefício público na história da Nominet passou de um trust independente com governação própria para um painel presidido pelo diretor executivo, num só anúncio, sem perguntar aos donos. O que quer que penses da intenção, a direção do dinheiro está registada.\n«Profit With a Purpose» Essa era a frase, «lucro com propósito». Era o lema de toda a estratégia e ouvimo-la muitas vezes.\nO problema não era ser ambiciosa. Era as duas metades terem-se separado. O lucro era real, crescente, e vinha de um mercado cativo que não tinha mais onde comprar um .uk. O propósito era um diapositivo numa apresentação.\nLucro a subir, propósito retirado: as duas metades do slogan a separar-se «Profit with a purpose», nas contas Propósito: doações ao Nominet Trust £4,0 M 2016 £5,4 M 2017 retirado, janeiro de 2018 Trust largado à procura de financiadores de 2018 em diante £44 M doados no total entre 2008 e 2018. Depois, nada. Nos mesmos anos, o preço de um domínio .uk subiu mais de 50%. A metade «lucro» do slogan funcionava exatamente como previsto. As duas metades do slogan, a andar em direções opostas. Os valores das doações vêm do historial de financiamento do Nominet Trust; a subida de preço é a própria queixa dos membros em 2021. Podes pedir contas a uma empresa por um slogan desses, e os membros acabaram por fazê-lo. Lá dentro, produziu sobretudo aquele cansaço especial que vem de te dizerem em cada reunião geral que o impulso comercial é o benefício público, enquanto a linha do benefício público real desce.\nPara onde foi o dinheiro Três coisas correram enquanto lá estive, e nenhuma delas é DNS para o Reino Unido.\nUm registo de espectro rádio. A Nominet construiu uma base de dados de TV White Space, um registo de que frequências de rádio estão livres para uso num dado sítio a uma dada hora, e conseguiu ser aprovada pela FCC como administradora de base de dados nos Estados Unidos. O argumento era que um registo é um registo, e uma empresa boa num tipo de consulta podia vender outro.\nUm produto de segurança DNS. O NTX, deteção de ameaças baseada na inspeção do tráfego DNS, vendido a governos e empresas. Por outras palavras, um concorrente do OpenDNS, o que quer dizer um concorrente da Cisco, lançado por um registo de domínios britânico.\nCarros sem condutor. A par dos drones e da internet das coisas, apresentados como a próxima grande vaga de coisas que iam precisar de nomes e de registo.\nO que lhes aconteceu é a resposta à pergunta sobre se eram uma estratégia. O negócio do espectro foi vendido à RED Technologies quando a Nominet mudou de foco. O trabalho de ciber produziu a tecnologia por trás do contrato com o NCSC, que a Nominet depois perdeu em 2024. Os carros sem condutor nunca chegaram, e os domínios de que iam precisar também não.\nA candidatura à Austrália Houve uma quarta, e é a que mais diz sobre a ambição. Em 2018, a Nominet candidatou-se a gerir o registo da Austrália.\nA auDA, que administra o .au, tinha posto as operações do registo a concurso. Nove propostas chegaram de todo o mundo, três ficaram na lista final, e a Afilias assumiu em 1 de julho de 2018, pondo fim a dezasseis anos de gestão pela AusRegistry. A auDA nunca publicou quem mais concorreu, portanto não vais encontrar isto no registo público, mas a Nominet estava lá, e eu estava lá enquanto concorríamos.\nPõe isso ao lado das outras notícias do mesmo ano. Em janeiro de 2018, a Nominet retirou-se da fundação de caridade a que tinha dado 44 milhões de libras, alegando que as doações de financiador único não eram o caminho mais eficaz para o impacto. Nos mesmos doze meses estava a concorrer para gerir o registo de domínios de um país do outro lado do mundo.\nVale também a pena reparar no que o concurso do .au é, porque é exatamente o que a maioria das pessoas presume que o .uk deve ser. A auDA pode pôr o seu registo a concurso e entregá-lo a outra entidade, e em 2018 fê-lo. Não há equivalente para o .uk. A posição da Nominet não é um contrato que chega a renovação, o que é uma posição mais forte do que a que a Afilias ganhou na Austrália, e assim sendo vale a pena lembrá-lo quando se pesa quanta pressão a votação dos membros representou de facto. Era a única alavanca que havia.\nE eis o que estava a acontecer à auDA enquanto a Nominet concorria para trabalhar para ela.\nEm paralelo com o concurso, o governo australiano estava a fazer uma revisão da própria auDA. Em abril de 2018 concluiu que o quadro de gestão e governação da auDA estava «no longer fit-for-purpose», impôs 29 reformas obrigatórias como novas condições de reconhecimento, e pôs um alto funcionário do Department of Communications no conselho da auDA para acompanhar o trabalho. Também disse, sem rodeios, que transferiria a delegação do .au para outro fornecedor se a auDA não cumprisse.\nIsto é um governo nacional a declarar por escrito que vai mudar o domínio do seu país se a entidade que o detém não se puser em ordem. Os próprios membros da auDA estavam amotinados ao mesmo tempo: uma petição para uma assembleia geral extraordinária que afastasse quatro dos seus dirigentes, três anos antes de os membros da Nominet fazerem o mesmo a cinco dos seus.\nDois registos nacionais, duas entidades sem fins lucrativos que detêm o espaço de nomes de um país, ambas acusadas de falha de governação com menos de quatro anos de diferença. Não é uma excentricidade da Nominet. É o que esta estrutura faz quando ninguém a vigia com atenção suficiente.\nO que os membros viram Quanto ao porquê destes e não de outros, vou ter cuidado, porque posso dizer-te como as coisas pareciam e não o que estava na cabeça de alguém. A opinião muito difundida entre o pessoal na altura era que o financiamento seguia os entusiasmos de quem o aprovava. Não te consigo mostrar um livro de contas e não vou fingir que consigo.\nO que posso apontar é que, três anos depois, a queixa formal dos membros era uma versão mais documentada da mesma suspeita: que uma entidade sem acionistas e com um fim de benefício público estava a gastar o excedente de um monopólio nacional em coisas que convinham a quem a dirigia, e que as doações que deviam justificar todo o arranjo tinham sido cortadas enquanto isso acontecia.\nPara onde foi o excedente do .uk, e como acabou cada destino Para onde foi o excedente .uk um vendedor, nenhum rival preços a subir 50%+ Nominet Trust £44 M doados, 2008 a 2018 parado, jan. 2018 base de dados de espectro TV White Space aprovada pela FCC nos Estados Unidos vendida cibersegurança NTX £12,6 M de receita no último ano completo £2,4 M de prejuízo Candidatura ao registo australiano nove concorrentes, três na lista final ganha pela Afilias Carros sem condutor, drones, internet das coisas a próxima vaga de coisas a precisar de nomes nunca chegaram A única linha que fazia aquilo para que a empresa existia foi a que se cortou. Tudo o resto foi pago por quem compra domínios .uk. Cinco destinos para o dinheiro de um monopólio. Quatro acabaram numa venda, num prejuízo, numa candidatura perdida ou em nada, e o quinto, aquele que os estatutos existiam para financiar, foi o que se parou. A queixa dos membros não era que diversificar fosse errado. Era aritmética. Os preços do .uk subiram mais de 50 por cento. As doações de caridade e de benefício público caíram, enquanto a organização tinha margens de monopólio sobre um ativo nacional. O desempenho operacional andava para trás apesar dos cortes de custos. A remuneração e os bónus dos executivos subiram ao longo de tudo isto. E o feedback dos membros, dado pelos canais que os estatutos preveem, não chegou a lado nenhum durante anos.\nUma empresa sem acionistas tinha começado a portar-se como uma com acionistas impacientes, e o excedente do espaço de nomes nacional estava a pagar a conta.\nA revolta dos membros A campanha foi a PublicBenefit.uk, organizada por Simon Blackler, da empresa de alojamento Krystal. A sua resolução era direta: afastar administradores identificados pelo nome.\nA resposta da Nominet é a parte que vale a pena registar, porque te diz em que a organização se tinha tornado.\nFez campanha contra os seus próprios membros com o dinheiro dos próprios membros: emails, telefonemas e envios postais a pedir a rejeição. Recusou-se a discutir a substância da campanha. Quando a campanha exerceu o seu direito aos contactos dos membros para defender a sua posição, a Nominet não mandou uma folha de cálculo. Mandou um pacote físico com os dados impressos em mais de 500 folhas de papel, sem os endereços de email.\nTambém bloqueou uma segunda resolução que teria instalado dois administradores interinos qualificados, com o argumento de que não era legal, e depois criticou a campanha por não ter plano de sucessão.\nA 22 de março de 2021 foi a votos. A participação foi de 53%. A resolução passou com 52,7%, e cinco dos onze membros do conselho saíram:\nMark Wood Presidente do conselho Russell Haworth Diretor executivo Eleanor Bradley Diretora-geral, Registo Ben Hill Diretor financeiro Jane Tozer Administradora não executiva Haworth demitiu-se horas antes da votação em vez de a perder. Rob Binns passou a presidente interino.\nEis o que acho que essa dupla significou, e assinalo-o como opinião porque é isso que é.\nWood e Haworth geriram a Nominet como uma empresa de capital de risco gere uma empresa do seu portfólio. Não como um registo que por acaso produz um excedente, mas como um balanço com um ativo subaproveitado aparafusado: um monopólio cativo a deitar dinheiro que podia ter melhor uso noutro sítio com mais potencial.\nTudo o que está documentado acima é coerente com isso. Pegas no rendimento fiável e sobes-lhe o preço, porque os clientes não têm para onde ir. Paras a despesa que não dá retorno, que é a instituição de caridade. Pões a diferença num portfólio, espectro, ciber, um registo estrangeiro, carros sem condutor, com a teoria de que um deles vai dar certo. Pagas a quem o dirige à taxa que esse tipo de trabalho exige. E continuas até alguém com legitimidade para te parar o fazer.\nNão há nada de invulgar em gerir uma empresa assim. Não é maneira de gerir um organismo de benefício público que guarda um ativo nacional em confiança, porque esse excedente nunca foi capital à procura de retorno. Era aquilo que todo o arranjo existia para produzir, e os estatutos diziam-no.\nOs membros acabaram por dizer o mesmo, na única linguagem que tinham à sua disposição.\nVale a pena ser honesto sobre a margem. 52,7% com 53% de participação não é uma vitória esmagadora, é uma vitória tangencial numa base de membros dividida, e a organização combateu-a com todos os recursos que tinha. Mesmo assim perdeu.\nO que aconteceu a seguir A Nominet recuou no rumo comercial da cibersegurança e virou-se para o registo e para o trabalho de benefício público. Depois chegaram os números.\nO negócio principal atingiu o pico no ano em que saí. Os domínios .uk geridos chegaram ao máximo de 13 348 378 em 2019. Em janeiro de 2023 eram 11 045 559. Em janeiro de 2024, 10 688 932. Um quinto da base, desaparecido, e ainda a cair.\nA diversificação perdeu dinheiro. No seu último ano completo antes do ajuste de contas, a unidade de negócio de ciber faturou 12,6 milhões de libras e registou um prejuízo de 2,4 milhões de libras. Essa é a resposta à pergunta sobre se os projetos pagos pelo excedente eram um investimento ou um capricho, e o número é da própria Nominet.\nDepois foi-se o contrato. Em 2024, o NCSC voltou a pôr a concurso o Protective DNS, um serviço que trata cerca de meio bilião de consultas por ano, e a Nominet perdeu-o. O trabalho foi para a Cloudflare com a Accenture a partir de setembro de 2024, num contrato noticiado em cerca de 30 milhões de libras. O diretor executivo Paul Fletcher disse que o governo tinha escolhido um concorrente mais barato.\nE a carteira de back end muda de mãos. Em abril de 2021, semanas depois da assembleia geral extraordinária, a MMX vendeu o seu portfólio à GoDaddy Registry por 120 milhões de dólares, e as 28 cadeias que tinham posto a Nominet no escalão de topo dos operadores de registo foram com o comprador. O .blog já tinha saído para a CentralNic em 2019.\nÉ justo dizer que isto anda nos dois sentidos. A Amazon passou o grosso dos seus 54 gTLD para a plataforma da Nominet em 2019, e a Microsoft mais tarde mudou o .skype e o .office da GoDaddy para lá. A Nominet ganha portfólios tal como os perde.\nMas isso é a questão sobre o negócio, não uma defesa dele. Os serviços de registo de back end são receita que não controlas. Chega e parte ao sabor da transação empresarial de outra pessoa: a MMX não saiu porque a Nominet gerisse mal a plataforma, saiu porque a MMX foi vendida. Construir as finanças de um organismo de benefício público sobre uma carteira de negócio que pode sair porta fora numa terça-feira porque o dono recebeu 120 milhões de dólares é uma escolha estratégica, e foi feita.\nE no mesmo ano ganhou o .gov.uk.\nO .gov.uk tinha sido gerido pela Jisc durante anos, pro bono, ao abrigo de um memorando de entendimento herdado, um arranjo que o governo acabou por concluir que não cumpria as normas reconhecidas internacionalmente. O Central Digital and Data Office fez um procedimento de contratação através do Crown Commercial Service, a Nominet ganhou-o em novembro de 2023, e a transição ficou concluída a 26 de junho de 2024, marcada para uma semana antes das eleições gerais para manter o recenseamento eleitoral fora de perigo. A própria página do registo da Jisc regista agora a data secamente: desde 26 de junho de 2024 já não gere o espaço de nomes .gov.uk, embora tenha ficado como registador para alguns clientes. Vinte e oito anos a gerir um espaço de nomes nacional, a acabar numa linha numa página web.\nOs requisitos declarados eram resiliência, conformidade com as normas DNS da ICANN e cumprimento do Cyber Assessment Framework do NCSC.\nLê isso à luz do argumento mais acima neste artigo. A razão pela qual a Nominet era uma candidata credível ao espaço de nomes do próprio governo é que já funcionava segundo as normas da ICANN, normas que tinha adotado porque a maior parte da sua casa estava contratualmente vinculada a elas, e que chegaram ao .uk porque ninguém mantém dois regimes numa só plataforma. A disciplina que chegou de lado, através dos contratos dos gTLD, foi o que a qualificou para gerir o .gov.uk.\nPortanto 2024 não foi simplesmente um mau ano. Perdeu o maior contrato que tinha e ganhou aquele com o nome do governo.\nDuas coisas nessa vitória merecem atenção, porque são a diferença entre operar um espaço de nomes e detê-lo.\nO governo ficou com a autoridade. A Nominet gere o registo. O Central Digital and Data Office continua a gerir e a aprovar os pedidos: quem pode ter um .gov.uk continua a ser uma decisão do governo, não do registo. Não é assim que funciona o .co.uk, onde registadores acreditados vendem a quem aparecer. A operação técnica foi subcontratada. A palavra sobre o espaço de nomes não foi.\nE é um contrato. O .gov.uk foi contratado através do Crown Commercial Service, o que quer dizer que tem um prazo e uma data de fim, e o governo já demonstrou exatamente uma vez o que faz quando decide que o arranjo não é suficientemente bom: tirou tudo à Jisc ao fim de vinte e tal anos.\nPortanto a Nominet detém o .gov.uk em termos em que não detém o .uk. Um pode ser retomado no fim de um contrato por um funcionário que decida não renovar. O outro não tem contrato, nem prazo, nem renovação, e as únicas pessoas que alguma vez o conseguiram disciplinar tiveram de organizar uma votação dos membros para o fazer.\nEm março de 2024, sem o PDNS e com o .uk a encolher, Fletcher anunciou uma reestruturação com até 70 postos em risco.\nE depois a frase que fecha o círculo. Fletcher observou que os preços dos domínios «cannot be held at the level set in January 2020 indefinitely.»\nAs subidas de preço do .uk estavam entre as coisas contra as quais os membros se revoltaram. Cinco anos depois, com a diversificação encerrada com prejuízo, o contrato principal perdido para um concorrente mais barato e os registos a cair, a resposta que se prepara é voltar a subir o preço do .uk.\nE a visão por dentro não recuperou Os membros conseguiram a sua mudança de conselho. Se conseguiram a organização de volta é outra questão.\nA 25 de agosto de 2026, a classificação da Nominet no Glassdoor está em 2,9 em 5, com base em 97 avaliações, com 31% a dizer que a recomendariam, 22% otimistas quanto às perspetivas do negócio e 29% a aprovar o diretor executivo. A categoria com pior pontuação é a direção de topo, com 2,3. Quem avalia classifica bem os colegas e o trabalho. O que não classifica bem é a camada acima.\nÉ uma pontuação medíocre e não arrasadora, e deve ser lida pelo que é: uma amostra autosselecionada num site público. Mas a forma da queixa é reconhecivelmente a que os membros fizeram em 2021: uma estratégia que ninguém consegue explicar, a recompensa a correr para cima, e as pessoas que gerem o registo nacional sem serem ouvidas.\nDiretor executivo diferente. A mesma queixa.\nO que isto diz sobre quem governa um ccTLD Volta à pergunta do início.\nA ICANN não podia ter feito nada disto. Não tinha contrato sobre o .uk, nem legitimidade, nem mecanismo para além de escrever uma carta. Tudo o que está no artigo sobre a ICANN sobre a Specification 6, a conformidade e a monitorização aplicava-se aos gTLD da Nominet e não à zona que de facto importa ao país.\nO governo britânico também não o fez, e vale a pena ser claro sobre porquê, porque o pressuposto comum está errado. O .uk não é atribuído por um contrato do governo. Não há concurso, nem data de renovação, nem concorrente à espera de licitar. A Nominet detém a delegação da IANA, da mesma forma que qualquer outro registo de código de país detém a sua, e ninguém a distribui de poucos em poucos anos.\nO que o governo tem é um poder de reserva, e quase ninguém sabe que ele existe.\nAs secções 19 a 21 do Digital Economy Act 2010 permitem ao Secretary of State agir quando há uma «serious relevant failure» num registo de domínios de internet qualificado, uma falha que afete negativamente a disponibilidade ou a reputação das comunicações britânicas, ou os interesses dos consumidores ou do público. A Nominet é esse registo. Depois de aviso prévio e de uma oportunidade de apresentar observações, o Secretary of State pode nomear um gestor para o registo, ou pedir a um tribunal que altere os seus estatutos.\nIsso é bastante mais do que a ICANN alguma vez teve sobre qualquer ccTLD. E aqui está a parte em que vale a pena pensar: essas duas secções estiveram adormecidas durante catorze anos, e entraram em vigor a 6 de abril de 2024, o mesmo ano em que a Nominet perdeu o contrato com o NCSC e anunciou 70 despedimentos.\nNão vou alegar que esses factos estão ligados, porque não sei se estão. O que está registado é que o poder de pôr um gestor no registo .uk passou a vigorar em 2024, e não vigorava nos catorze anos anteriores.\nE essa é só a via interna. Há uma segunda, e é a razão pela qual nenhum operador de ccTLD em parte nenhuma detém a sua delegação por direito.\nUma delegação de código de país pode ser mudada. A IANA redelega ccTLD, ao abrigo do RFC 1591, do ICP-1 e dos GAC Principles, e já o fez repetidamente: .kz, .iq, .za, .gd, .gw e outros. Os GAC Principles estabelecem que cada governo tem a responsabilidade última, dentro do seu território, pela política pública nacional, e na prática a IANA trata a posição do governo reconhecido como uma consideração de peso em qualquer transferência do domínio do seu país.\nA Austrália, como se viu acima, pôs isso por escrito em 2018: reformem-se ou a delegação muda.\nPortanto um governo britânico que decidisse que o .uk precisava de estar noutro sítio não seria travado. Não seria instantâneo, não é um poder exercido por anúncio, e a comunidade local da internet seria consultada. Mas a maquinaria existe, os precedentes existem, e a opinião do governo é o maior peso individual nela.\nO que põe o .uk numa posição que vale a pena dizer com clareza. As comunicações são um dos setores da infraestrutura nacional crítica do Reino Unido, e o Estado trata o DNS em conformidade: o NCSC compra DNS protetor para o setor público há anos. Um registo que gere infraestrutura nacional crítica, cujo governo lhe pode nomear um gestor internamente e cuja palavra ganharia uma redelegação a nível internacional, não detém a sua delegação como propriedade. Detém-na por tolerância, e a tolerância depende de não envergonhar ninguém.\nO que o disciplinou foi uma votação dos membros, por pouco, seis anos depois de o problema começar, a seguir a uma campanha conduzida por uma empresa de alojamento a quem tiveram de entregar os dados dos seus próprios colegas membros em 500 folhas de papel para poder defender a sua posição.\nÉ um mecanismo de responsabilização melhor do que qualquer coisa que a ICANN tenha. Afastou o diretor executivo e o presidente do conselho de um registo nacional, o que nenhum processo da ICANN alguma vez fez a ninguém. É também lento, conflituoso, depende de alguém decidir gastar um ano da sua vida nisso, e esteve a um par de pontos percentuais de falhar.\nO que é mais ou menos o ponto em que está a governação do DNS em todo o lado. Os mecanismos que funcionam são os que alguém com recursos decide pôr a funcionar. O .cm pôs um wildcard num domínio de topo inteiro durante anos porque ninguém com legitimidade se opôs. A Freenom só parou quando a Meta a processou. O .uk mudou de rumo porque uma empresa de alojamento organizou uma votação.\nNada disso é governação no sentido que a palavra sugere. É quem calhou aparecer.\nUm pensamento livre para acabar Tudo o que está acima ou tem fonte ou está assinalado como experiência minha. Esta última parte não é nem uma coisa nem outra. É o que eu penso, e és livre de discordar.\nComecei na Nominet em 2017, há nove anos. Russell Haworth assumiu em 2015, há onze. É tempo suficiente para uma organização ter aprendido alguma coisa.\nAprendeu?\nNo papel, sim. O conselho que foi afastado por votação já lá não está. As ambições comerciais em ciber foram encerradas. O braço de caridade tornou-se independente e continua a funcionar com nome próprio. Os membros usaram o único mecanismo que tinham e funcionou.\nDepois olha para o que tens de facto à frente. O .uk é um quinto mais pequeno do que era em 2019 e continua a encolher. O contrato que a diversificação acabou por produzir foi para um concorrente mais barato. Setenta postos foram com ele. O diretor executivo anda a dizer que os preços do .uk não podem ficar nos níveis de 2020 indefinidamente, que é a mesma alavanca que ajudou a começar os problemas. E o pessoal dá à direção de topo 2,3 em 5, com 29% a aprovar o diretor executivo. Um diretor executivo diferente, e reconhecivelmente a mesma queixa.\nPortanto a minha resposta honesta é que as pessoas foram mudadas e não estou convencido de que a organização tenha sido.\nVale a pena notar para onde foi Haworth depois, porque não é uma crítica, e é exatamente por isso que importa. Antes da Nominet tinha passado catorze anos na Thomson Reuters, em dados financeiros. Depois foi para a NBS, depois para a Byggfakta, depois para a Acclaro: negócios de subscrição com clientes profissionais, receita recorrente e poder de fixar preços. A NBS faturou 45 milhões de libras com 23,6 milhões de EBITDA em 2023. São bons números, e consegui-los é aquilo para que serve um diretor executivo comercial.\nO que é precisamente a questão, e não tens de acreditar na minha palavra quanto à caracterização. O seu próprio perfil profissional descreve-o como diretor executivo para empresas B2B apoiadas por private equity. É esse o trabalho que faz, di-lo ele próprio, e é claramente bom nele.\nÉ um operador comercial e fez coisas comerciais. O erro nunca foi o seu temperamento: foi pôr esse temperamento à frente de uma organização cujo excedente não era capital e nunca devia ter sido, e depois não deixar ninguém em posição de o controlar durante seis anos.\nMas a NBS merece uma segunda olhadela, porque a forma dela é familiar.\nA NBS vende o Chorus, a ferramenta de especificação em que trabalha a maior parte dos gabinetes de arquitetura do Reino Unido. Está ligada aos fluxos de trabalho do Revit e da ISO 19650, e não há alternativa séria: os arquitetos descrevem-na como uma ferramenta vital que simplesmente têm de continuar a pagar. A licença de um profissional passou de 1385 libras em 2015 para 7350, o que o Architects\u0026rsquo; Journal noticiou como uma subida de 400% numa década. Não há tarifa para pequenos gabinetes, portanto um profissional em nome individual paga o mesmo por posto que uma empresa de 200 pessoas. As palavras na imprensa do setor são «rip-off increases» e «well above inflation», a par da observação de que há pouca alternativa a pagar.\nCuidado com a atribuição, porque as datas não batem certo como talvez quisesses. O Chorus foi lançado em 2018. O RIBA vendeu a NBS entre 2018 e 2020 por cerca de 172 milhões de libras, e um antigo presidente do RIBA disse que nunca devia ter cedido o controlo, uma frase com um certo eco. Haworth dirigiu o negócio de outubro de 2021 a outubro de 2024. As subidas mais fortes noticiadas, e as queixas mais ruidosas, são de 2024 e 2025, depois de ele ter saído, e o diretor executivo que as defende publicamente agora é outra pessoa.\nPortanto isto não é prova sobre um homem. É prova sobre uma forma.\nUm organismo profissional vende a ferramenta sem a qual os seus membros não conseguem trabalhar. O comprador descobre que os clientes não podem sair. O preço sobe bem acima da inflação, ano após ano, e as queixas não vão a lado nenhum porque não há para onde irem. Isso é o .uk, e é aquilo em que o .org quase se tornou quando a ICANN levantou os tetos de preço quatro meses antes de um veículo de private equity oferecer 1,135 mil milhões de dólares por ele.\nQue é a verdadeira lição, e não é confortável para quem esperava que isto fosse sobre um só executivo. Clientes profissionais cativos, uma ferramenta essencial, nenhum fornecedor alternativo: esse arranjo produz o mesmo resultado seja quem for que o dirija, a não ser que alguma coisa se meta no caminho. Na Nominet, os membros acabaram por meter-se. Na NBS não há ninguém: o organismo profissional que podia ter tido esse papel vendeu a sua participação e foi-se embora com 172 milhões de libras.\nTambém não acho que isso seja realmente sobre um indivíduo. Põe qualquer pessoa à frente de um monopólio detido pelos membros, que gere um ativo nacional sem nenhum regulador a vigiar, dá-lhe um excedente sem dono óbvio, e a tentação vai ser sempre gastá-lo em algo mais interessante do que aquilo que o ganha. Gerir bem o .uk não é uma história que se conte numa conferência. Concorrer à Austrália é.\nA correção, quando vem, tem de vir dos membros, o que quer dizer que alguém tem de abdicar de um ano da sua vida para organizar uma votação contra uma direção em funções que gasta o dinheiro desses mesmos membros para lhe resistir. Isso aconteceu uma vez, e passou por 2,7 pontos percentuais com 53% de participação. Ninguém desenharia assim um mecanismo de responsabilização.\nAs duas verdadeiras redes de segurança ficaram sem uso o tempo todo. Os poderes do Digital Economy Act só entraram em vigor em 2024. Uma redelegação nunca foi seriamente sugerida por ninguém.\nNove anos depois, o que eu gostava de saber, e não consigo ver de fora, é se alguém na Nominet hoje poderia dizer em voz alta numa reunião, somos uma entidade sem fins lucrativos, devíamos mesmo estar a gastar dinheiro nisto?, e continuar lá a trabalhar um ano depois.\nSe a resposta for sim, aprendeu alguma coisa. Se for não, então tudo o que mudou em 2021 foram os nomes.\n","permalink":"https://blogs.damiendye.uk/pt/dns/what-happened-at-nominet/","summary":"O registo .uk pertence aos seus membros, e em março de 2021 votaram a saída de metade do conselho. Como a casa era de facto vista por dentro, porque é que gerir o .uk ao lado de dezenas de gTLD moldou a forma como era gerido, e como um registo sem regulador acabou disciplinado pelas únicas pessoas que o podiam fazer.","title":"O que aconteceu na Nominet"},{"content":"Parte 1 de 8. Esta série está escrita de forma simples, com frases curtas e palavras do dia a dia.\nO que este artigo cobre O que mudou na forma como compras tecnologia. Porque é que mudou. Porque é que deixar um fornecedor ficou mais difícil. Porque é que o open source não pôs fim a isso. Onde é que tudo isto foi parar. A mudança Há vinte anos, compravas software.\nPagavas uma vez. Aquela cópia era tua. Podias continuar a usá-la enquanto funcionasse.\nAgora a maior parte do software é alugada. Pagas todos os anos só para continuar a usá-lo.\nDeixa de pagar, e deixa de funcionar. Não ficas com nada.\nÉ isso uma subscrição. Uma subscrição é um pagamento que fazes vezes sem conta para manter um serviço.\nO mesmo aconteceu à própria computação. Antes compravam-se servidores. Agora muitas empresas alugam a sua computação a um fornecedor de cloud.\nUm fornecedor de cloud é uma empresa que gere os computadores por ti, nos seus próprios edifícios.\nPorque é que mudou Sejamos justos quanto a isto, porque importa. Mudou porque alugar era muitas vezes o melhor negócio.\nComprar servidores custa muito à partida. Alugar custa muito pouco à partida.\nOs serviços de cloud eram fiáveis e rápidos de montar. Equipas pequenas passaram a ter ferramentas que antes só as grandes empresas podiam pagar.\nAs subscrições também trouxeram atualizações regulares. Acabou-se o planeamento de uma grande revolução a cada poucos anos.\nPor isso a maioria das empresas mudou, e tinham boas razões. Ninguém foi obrigado.\nA pergunta que esta série faz vem mais tarde. É sobre o que acontece quando ir para outro lado se tornou difícil.\nPorque é que sair ficou mais difícil Eis a parte que importa.\nCada passo desta mudança deslocou o sítio onde era difícil sair.\nAo início estava no formato de ficheiro. Um formato de ficheiro é a forma como um programa guarda o teu trabalho. Se só um programa conseguia abrir os teus ficheiros, continuavas a comprar esse programa.\nOs formatos de ficheiro abertos resolveram isso. A maioria dos documentos hoje abre em mais do que um programa.\nPor isso a parte difícil mudou de sítio. Foi para a interface.\nUma interface é a forma como uma peça de software fala com outra. Constrói todos os teus sistemas à volta da interface de um fornecedor, e mudar de fornecedor quer dizer reescrever tudo.\nDepois mudou outra vez, para os teus dados.\nMudar uma pequena quantidade de dados é bastante fácil. Mudar anos de dados é lento, e alguns fornecedores cobram-te para os tirares de lá.\nCada mudança fez o próprio software importar menos. Como tal, o que conta agora é quanto trabalho te daria sair.\nOnde tem estado a dificuldade de sair, ao longo do tempo Antes Depois Agora Os teus dados Formato de ficheiro Interface O programa Os teus dados Formato de ficheiro Interface O programa Os teus dados Formato de ficheiro Interface O programa A caixa azul é a parte difícil de mudar. Cada vez que uma camada se abriu, a dificuldade passou para a seguinte. As mesmas camadas, 3 vezes. A parte difícil de mudar foi subindo: primeiro o formato de ficheiro, depois a interface, depois os dados. Porque é que o open source não pôs fim a isso Software open source é software cujo código qualquer pessoa pode ler, usar e alterar.\nMuita gente esperava que ele resolvesse isto. Resolveu uma parte real, mas não a parte que pensarias.\nO open source ganhou. A maior parte da internet corre nele. O código da maioria das peças importantes está lá para ler.\nMas a parte difícil de sair não desapareceu, porque já tinha mudado de sítio.\nPodes ler cada linha de uma base de dados. Continuas a não conseguir tirar facilmente 5 anos de dados do serviço gerido onde ela corre.\nUm serviço gerido é quando um fornecedor corre o software por ti, para que não tenhas de ser tu.\nO código é aberto. O serviço não.\nHá aqui um segundo ponto, e é justo.\nMuito do open source é mantido por voluntários que não são pagos. Grandes empresas constroem produtos em cima desse trabalho.\nEm 2024 descobriu-se que uma ferramenta de compressão muito usada tinha código malicioso escondido. Essa ferramenta era mantida por 1 pessoa não paga. Bruce Schneier e outros escreveram sobre isso em pormenor.\nA lição não é que o open source seja arriscado. É que o trabalho partilhado em que todos se apoiam precisa de ser pago, e muitas vezes não é.\nOnde é que tudo foi parar Junta esses passos e chegas onde estamos hoje.\nUm pequeno número de empresas fornece os serviços de que a maioria das organizações depende.\nA maioria dessas empresas está em 1 país, os Estados Unidos.\nA investigação reunida pelo projeto EuroStack põe os fornecedores não europeus em cerca de 85% do mercado europeu de cloud.\nNenhuma decisão isolada fez isto. É o resultado de muitíssimas escolhas sensatas, feitas uma de cada vez, ao longo de 20 anos.\nÉ isso que faz disto uma tendência e não um acontecimento.\nO que isto significa para ti Nada disto diz que o software americano é mau. Muito dele é muito bom, e foi exatamente assim que chegou a todo o lado.\nQuer dizer, isso sim, que 1 pergunta importa mais do que antes.\nQuanto tempo demorarias a mudar para outro fornecedor?\nEsse número decide bastante coisa, e a parte 2 explica porquê.\nPublicado pela primeira vez: 2026-08-25. Última atualização: 2026-08-25.\n","permalink":"https://blogs.damiendye.uk/pt/random/technology-you-rent/","summary":"Há vinte anos compravas software e a cópia era tua. Agora alugas, e é o fornecedor quem dita as condições. A Parte 1 de 8 mostra como isso aconteceu, e porque é que cada passo tornou mais difícil ir para outro lado.","title":"Como a tecnologia se tornou uma coisa que alugas"},{"content":"Parte 2 de 8. A parte 1 explicou como o aluguer substituiu a compra.\nO que este artigo cobre Como o preço é fixado quando sair é difícil. Onde o lucro é tributado. Que lei se aplica aos teus dados. Como as decisões comerciais chegam ao teu equipamento. O que acontece se um serviço simplesmente parar. 1. O preço segue o teu custo de saída Começa pelo que a maioria das organizações já viveu.\nEm 2023 a Broadcom comprou a VMware. A VMware faz o software usado para correr muitos servidores virtuais em 1 servidor físico.\nA Broadcom deixou então de vender licenças perpétuas. Os clientes tiveram de passar para subscrições.\nPara muitos deles, os preços subiram a pique. A AT\u0026amp;T disse em documentos judiciais que os seus custos iam subir cerca de 1050%.\nO CISPE é uma associação de fornecedores europeus de cloud. Apresentou queixa à Comissão Europeia sobre as alterações, com números de dimensão semelhante.\nEm março de 2026 o CISPE voltou a queixar-se, depois de o programa europeu de parceiros ter sido encerrado. O The Register relatou o que os fornecedores acharam disso.\nNada de ilegal ficou provado aqui. As queixas ainda estão a ser analisadas.\nMas o padrão é claro o suficiente para se aprender com ele.\nUma renovação é uma negociação. A tua posição nela assenta numa só coisa: a facilidade com que te poderias ir embora.\nSe ir embora te levasse 3 anos, tens muito pouca margem para dizer que não.\nE atenção, isto não é só sobre fornecedores americanos. Qualquer fornecedor nessa posição tem a mesma vantagem.\n2. Onde o lucro é tributado O segundo custo é mais difícil de ver.\nMuitas grandes empresas de tecnologia vendem a clientes num país e registam o lucro noutro.\nA empresa local é muitas vezes tratada como prestadora de serviços à empresa-mãe. A maior parte do lucro vai para outro lado.\nAssim, tens grandes vendas num país e uma pequena fatura fiscal nesse mesmo país.\nA TaxWatch é um grupo de investigação no Reino Unido. Calculou que 7 grandes grupos de tecnologia tiveram perto de 15 mil milhões de libras de lucro com clientes do Reino Unido em 2021. Estimou que os seus esquemas retiraram cerca de 2 mil milhões de libras ao imposto sobre as sociedades devido no Reino Unido.\nA Europa enfrentou estes esquemas. Os resultados são mistos, e é justo mostrar os dois lados.\nA Apple perdeu. Em setembro de 2024 o Tribunal de Justiça da União Europeia confirmou que os acordos fiscais irlandeses eram auxílios de Estado ilegais. A Irlanda recuperou cerca de 14 mil milhões de euros. A Amazon ganhou. Em dezembro de 2023 o mesmo tribunal rejeitou o recurso da Comissão Europeia num caso semelhante sobre o Luxemburgo. Há também um acordo global, chamado Pilar Dois. Fixa uma taxa mínima de imposto de 15%.\nEm janeiro de 2026 a Organização para a Cooperação e Desenvolvimento Económico publicou um regime paralelo. Ao abrigo dele, as empresas com sede nos Estados Unidos seguem as regras dos Estados Unidos em vez da maior parte das regras globais.\nAlguns países tentaram os seus próprios impostos sobre serviços digitais. O Canadá aprovou um e depois abandonou-o em junho de 2025, depois de os Estados Unidos terem cancelado negociações comerciais por causa dele.\nPortanto, o dinheiro é ganho num sítio. Onde é tributado decide-se noutro.\n3. Que lei se aplica Este é o mais mal compreendido de todos, por isso vale a pena ser exato.\nMuita gente acredita que manter os dados na Europa os mantém sob a lei europeia e mais nenhuma.\nNão é bem assim. O que conta é quem controla a empresa que os guarda.\nO CLOUD Act é uma lei dos Estados Unidos de 2018. Obriga um fornecedor dos Estados Unidos a entregar os dados que controla, estejam onde estiverem. O Departamento de Justiça expõe os pormenores.\nAssim, um centro de dados em Frankfurt, gerido por uma empresa detida nos Estados Unidos, pode ainda ser alcançado por uma ordem judicial dos Estados Unidos.\n«Os nossos dados ficam na Europa» e «os nossos dados estão fora da lei dos Estados Unidos» são 2 afirmações diferentes. Os fornecedores cuidadosos só fazem a primeira.\nUma ordem judicial segue quem controla a empresa, não onde está o edifício Centro de dados na Europa Os teus dados estão aqui O local segue a lei da UE Empresa-mãe Sediada noutro país Controla os dados gere o local A ordem judicial chega aqui A ordem não precisa de ir ao edifício. Vai para quem controla os dados. O edifício está na Europa. A empresa que o gere tem dono noutro lado. Uma ordem judicial vai para o dono, não para o edifício. Também aqui as regras estão a mudar, nos dois sentidos.\nA Secção 702 é uma lei de vigilância dos Estados Unidos. Caducou a 2026-06-12 quando o Congresso não a renovou.\nIsso não quer dizer que a recolha tenha parado. As autorizações já concedidas continuam até expirarem, o que se espera que aconteça por volta de março de 2027. O Brennan Center acompanha o assunto.\nHá também o Quadro de Privacidade de Dados UE–EUA. Permite que dados pessoais passem da Europa para os Estados Unidos.\nUma contestação judicial contra ele foi rejeitada em setembro de 2025. Essa decisão está agora em recurso.\nO quadro é válido hoje. É também o terceiro do género, porque os 2 anteriores foram anulados.\nSe um mecanismo de transferência cair, o custo recai sobre a organização europeia que o usa. Em 2023 a Comissão de Proteção de Dados irlandesa multou a Meta em 1,2 mil milhões de euros por transferências para os Estados Unidos.\nHá uma resposta calma e prática para tudo isto, e vale a pena conhecê-la.\nSe o teu fornecedor tem as chaves dos teus dados, o teu fornecedor pode responder a uma ordem judicial.\nGuarda tu as chaves e a ordem tem de vir ter contigo. Assim, a decisão fica sob a lei do teu próprio país.\n4. As decisões comerciais chegam ao teu equipamento A tecnologia faz agora parte da política comercial.\nEm janeiro de 2026 os Estados Unidos aplicaram uma tarifa de 25% a um grupo restrito de chips avançados e aos produtos que os contêm. Já foi anunciada uma segunda fase.\nSe o teu equipamento é ou não abrangido muda com o tempo. O teu fornecedor é quem deves questionar.\nAs relações comerciais também podem mudar depressa. As negociações entre os Estados Unidos e o Canadá falharam a 2026-08-22, com novas tarifas de 50%. O Canadá anunciou medidas em resposta.\nO primeiro-ministro canadiano expôs as razões publicamente.\nO que te interessa aqui é uma coisa estreita, e não depende da política de ninguém.\nO custo e a disponibilidade do equipamento podem mudar por causa de uma decisão tomada noutro país, sem grande aviso.\nVale a pena contar com isso num plano a 3 anos.\n5. Um serviço pode parar por razões que não são tuas Este último é improvável para a maioria das organizações. Está aqui porque funciona de forma diferente dos outros.\nEm fevereiro de 2025 os Estados Unidos aplicaram sanções ao Procurador do Tribunal Penal Internacional.\nO Procurador perdeu então o acesso à sua conta de email da Microsoft e mudou-se para um fornecedor suíço.\nO presidente da Microsoft disse publicamente que a empresa não fechou a conta. O que aconteceu exatamente ainda é contestado, e é justo dizê-lo.\nO que não é contestado é o efeito. A publicação tecnológica alemã heise descreveu-o como um ponto de viragem para a soberania digital na Europa. O caso foi levantado no Parlamento Europeu.\nNo final de 2025 o Tribunal tinha passado para o openDesk, uma alternativa de código aberto.\nO que importa aqui é o mecanismo.\nNenhuma conta por pagar. Nenhuma regra violada. Nada de errado com o serviço.\nUm governo tomou uma decisão, e um fornecedor teve de perceber o que podia legalmente continuar a fornecer.\nO teu contrato é com o teu fornecedor. Os deveres legais do teu fornecedor são para com o seu próprio governo.\nNão consegues monitorizar isto. Não há luz de aviso num painel.\nPara a maioria dos leitores o risco é pequeno, e aceitá-lo é razoável. Só é razoável se pensaste nele.\nO padrão nos 5 Estes 5 custos são muito diferentes entre si.\nO mais provável é encontrares o primeiro. Podes nunca encontrar o último.\nMas partilham 1 coisa.\nTodos pioram quanto mais difícil for para ti sair.\nUma subida de preço é um incómodo se tiveres para onde ir. É grave se não tiveres.\nÉ esse o fio que atravessa tudo, e aponta para algo útil.\nA pergunta que vale a pena trabalhar não é em que país está o teu fornecedor. É a rapidez com que conseguirias mudar de ideias.\nA parte 3 olha para quem mais paga pelo software que usas.\nPublicado pela primeira vez: 2026-08-25. Última atualização: 2026-08-25.\n","permalink":"https://blogs.damiendye.uk/pt/random/what-renting-costs/","summary":"Quando mudar de fornecedor é difícil, os custos mudam de forma. O preço segue o teu custo de saída. O lucro é declarado num país e ganho noutro. A lei segue quem é dono da empresa, não onde está o edifício. Parte 2 de 8, em linguagem simples.","title":"O que custa alugar a tua tecnologia"},{"content":"Parte 3 de 8. A Parte 2 mostrou o que a dependência te custa.\nO que este artigo cobre Os anos em que o open source foi combatido. Porque é que a luta parou. Quem mantém o software a funcionar hoje. O que aconteceu quando os criadores tentaram cobrar. O que acontece às empresas depois de serem compradas. O que isto significa para ti. Os anos em que o open source foi combatido Open source é software cujo código qualquer pessoa pode ler, usar e alterar.\nHoje é coisa corrente. Durante cerca de 15 anos foi tratado como uma ameaça.\nEm outubro de 1998 vazou um memorando interno da Microsoft. Eric Raymond publicou-o com notas, e ficou conhecido como os documentos Halloween.\nO memorando era honesto sobre a qualidade do open source. Chamava notável à forma como milhares de pessoas trabalham juntas nele.\nDepois explicava o que fazer quanto a isso. Uma frase explica muita coisa:\nBy extending these protocols and developing new protocols, we can deny OSS projects entry into the market.\nUm protocolo é uma forma combinada de 2 sistemas falarem um com o outro.\nPor isso o plano não era fazer um produto melhor. O plano era mudar as ligações entre produtos, para que não se pudesse pôr um concorrente no lugar.\nSeguiram-se vários outros passos nos 10 anos seguintes.\nEm 2003, uma empresa chamada SCO alegou que o Linux tinha código que era seu. O processo arrastou-se durante anos e a SCO não ganhou. Enquanto durou, muitas organizações não tinham a certeza se era seguro adotar o Linux.\nA Microsoft também assinou acordos de patentes com fabricantes de telemóveis. Durante vários anos recebeu um pagamento por cada telemóvel vendido com Android, um sistema operativo que não tinha escrito.\nEm 2008, os formatos de documento da Microsoft foram aprovados como norma internacional. Vários organismos nacionais de normalização contestaram a forma como isso foi conduzido.\nA Europa resistiu a parte disto. A Comissão Europeia multou a Microsoft em €497 milhões em 2004 por causa de informação de que os concorrentes precisavam para trabalhar com os seus produtos.\nVoltou a multar a empresa em €561 milhões em 2013, porque uma solução acordada não tinha sido posta em prática.\nVale a pena parar um momento nessa segunda multa. O problema não era novo. A correção acordada simplesmente não tinha sido feita.\nPorque é que a luta parou Parou por volta de 2014, porque não tinha resultado.\nO Linux tinha-se tornado o software em que corre a maioria dos servidores. Também corre a maioria dos serviços de cloud e a maioria dos telemóveis.\nNão consegues tirar uma coisa do mercado pelos tribunais quando já está tudo construído por cima dela.\nPor isso a abordagem deu uma volta completa.\nA Microsoft entrou na Linux Foundation. Lançou algumas das suas próprias ferramentas como open source. Em 2018 comprou o GitHub, o site onde se escreve grande parte do open source do mundo.\nA Amazon e a Google construíram negócios muito grandes em cima do open source, e as 3 empresas devolvem-lhe hoje muito trabalho.\nEsse trabalho é real, e o software está melhor por causa dele. Seria tolice fingir o contrário.\nMas 1 coisa não mudou.\nAs empresas que em tempos tentaram travar o open source estão hoje entre os seus maiores financiadores. Também continuam a ser as maiores empresas do mercado.\nO open source ganhou a discussão técnica. Não mudou quem tem as melhores cartas na mão.\nQuem mantém o software a funcionar hoje Eis a parte que surpreende quem está fora do software.\nMuito do open source amplamente usado é mantido por equipas muito pequenas. Parte dele por 1 pessoa, no seu tempo livre, a troco de nada.\nEssas mesmas peças ficam depois dentro de produtos vendidos por empresas muito grandes.\nEm dezembro de 2021 apareceu uma falha no Log4j, uma pequena ferramenta que os programas Java usam para registar o que estão a fazer.\nA falha deixava os atacantes correr o seu próprio código nos sistemas afetados. Atingiu um número enorme de organizações ao mesmo tempo. O National Cyber Security Centre do Reino Unido publicou orientações sobre ela.\nA ferramenta era mantida por um pequeno grupo de voluntários.\nA lição não é que o open source seja arriscado. A maior parte é muito boa, e está aberta a inspeção de uma forma que o software fechado nunca está.\nA lição é sobre pagar as coisas. O trabalho partilhado em que muitas empresas se apoiam precisa de financiamento, e muitas vezes não o recebe.\nEste tem solução, e algumas organizações resolvem-no. Pagar a quem mantém o software, ou financiar uma fundação, é normalmente um custo muito pequeno ao lado do que o software te poupa.\nO que aconteceu quando os criadores tentaram cobrar Algumas empresas fazem open source e vendem um serviço pago à volta dele. Isso funcionou bastante bem durante muito tempo.\nFicou mais difícil quando os fornecedores de cloud começaram a oferecer o mesmo software como serviço seu.\nO fornecedor ficava com a receita. A empresa que escreveu o software não.\nVárias delas responderam mudando a licença, para que outros não pudessem oferecer o seu software como serviço concorrente.\nA MongoDB mudou a licença em 2018. A Elastic seguiu-a em 2021. A HashiCorp mudou em 2023. A Redis mudou em 2024. A Open Source Initiative define o que é aceite como open source. Decidiu que 1 destas novas licenças não cumpria essa definição.\nMuitas distribuições Linux deixaram então de incluir o software afetado.\nA comunidade mais alargada pegou em cópias das últimas versões abertas e continuou-as em separado. A uma cópia assim chama-se fork.\nO OpenSearch continua o código antigo do Elasticsearch. O OpenTofu continua o código antigo do Terraform. O Valkey continua o código antigo do Redis. A Elastic e a Redis já voltaram ambas a licenças abertas.\nVale a pena ver como isto acabou, porque ninguém envolvido conseguiu o que queria.\nUma empresa fez software útil. Uma empresa maior ganhou mais com ele do que quem o fez. O criador restringiu a licença para sobreviver. A comunidade protestou, com razão, que aquilo já não era open source. Apareceu um fork, muitas vezes apoiado pelas empresas maiores.\nNo fim, o software continua a ser de uso livre. Os forks são sobretudo dirigidos pelos maiores. A empresa que pagou o trabalho original está mais fraca do que quando começou.\nO que acontece às empresas depois de serem compradas A segunda forma de o valor sair de um negócio não tem nada a ver com licenças de software.\nTem a ver com a forma como uma empresa é comprada.\nEis o padrão, de forma simples.\nUm comprador pede emprestada a maior parte do preço de compra. O empréstimo fica depois garantido pela própria empresa que está a ser comprada. Por isso a empresa acaba por carregar a dívida usada para a comprar.\nO comprador pode depois vender os edifícios da empresa e arrendá-los de volta. O dinheiro obtido pode ser pago aos novos donos. A empresa passa a pagar renda por instalações que antes eram suas.\nOs custos que não aparecem este ano são cortados. Isso normalmente quer dizer manutenção, número de pessoas, investigação e desenvolvimento de produto.\nDepois a empresa é vendida a outro.\nO Banco de Inglaterra estudou o lado disto que toca à estabilidade financeira. A sua análise do private equity nota que o endividamento pesado nas aquisições torna essas empresas mais propensas a entrar em incumprimento, e deixa os seus credores expostos a perdas. Tem continuado a vigiar o setor desde então.\nNem todas as aquisições funcionam assim, e muitos donos investem em vez de despir a empresa. Isto é um padrão a reconhecer, não uma descrição de todos os compradores.\nMas onde acontece, o resultado é sempre o mesmo.\nO negócio normalmente estava a funcionar bem. O que não funcionava era o negócio mais a dívida contraída para o comprar.\nO mesmo negócio antes e depois de uma aquisição com dívida Antes Depois O trabalho Mesmas pessoas, mesmos clientes É dono dos edifícios Sem dívida da compra Financia a manutenção Financia a investigação Renda paga: nenhuma O trabalho Mesmas pessoas, mesmos clientes Arrenda os mesmos edifícios Carrega o empréstimo da compra Manutenção reduzida Investigação reduzida Renda paga: todos os meses comprado com dinheiro emprestado O negócio continua a fazer o mesmo trabalho para os mesmos clientes. O que mudou foi o que possui, e o que agora tem de pagar. O mesmo negócio, antes e depois. O trabalho e os clientes ficam onde estão. Os edifícios e o endividamento mudam de mãos, e os custos de funcionamento sobem. O mesmo padrão no software Isto chegou ao software há alguns anos.\nO ativo a ser explorado não é um edifício. São os clientes que não conseguem sair com facilidade.\nUm produto maduro com clientes de longa data pode ter o preço revisto. Esses clientes não conseguem mudar depressa, e como tal a maioria paga.\nAo mesmo tempo, os gastos em engenharia podem ser cortados. Isso leva anos a notar-se, e nessa altura a venda já está feita.\nA Parte 2 mostrou como isto foi para os clientes da VMware.\nTambém há uma versão financiada por investidores em vez de dívida. Foi descrita vezes suficientes para merecer um nome: enshittification, uma palavra usada pelo escritor canadiano Cory Doctorow desde 2022.\nTem 3 fases.\nO serviço é vendido abaixo do que custa a manter, pago por investidores. É barato e bom, por isso as pessoas mudam-se para ele. Quando as pessoas já não conseguem sair com facilidade, é alterado para servir os clientes empresariais que pagam. Quando os dois lados estão presos, as condições mudam outra vez para aumentar o lucro. A fase 1 é a que importa para esta série.\nUma empresa que vende abaixo do custo durante anos não está a ganhar por ser melhor. Está a ser financiada para ficar com o mercado.\nOs negócios mais pequenos que têm de cobrir os seus próprios custos não conseguem igualar esse preço. Muitos fecham.\nQuando mais tarde os preços sobem para algo sustentável, a escolha que antes existia muitas vezes já desapareceu.\nO que isto significa para ti Daqui saem duas coisas práticas, e ambas são fáceis de fazer.\nVerifica quantas pessoas mantêm as tuas dependências a funcionar.\nOlha para as ferramentas sem as quais os teus sistemas não funcionariam. Descobre quantas pessoas mantêm ativamente cada uma.\nSe a resposta for 1 ou 2, vale a pena saber. Talvez queiras financiar esse trabalho, guardar a tua própria cópia do código-fonte ou planear o que farias se ele parasse.\nVigia quem é dono dos teus fornecedores.\nAs tuas condições seguem o dono, não o produto. Uma mudança de dono pode alterar a tua renovação mais do que qualquer mudança no software.\nQuando assinares, verifica o que guardas se deixares de pagar. Verifica se ainda podes usar o que já instalaste, e se continuas a receber atualizações de segurança.\nNenhuma das duas demora muito. Ambas são muito mais fáceis antes de uma renovação do que durante uma.\nA Parte 4 vê o que tribunais e reguladores já decidiram.\nPublicado pela primeira vez: 2026-08-25. Última atualização: 2026-08-25.\n","permalink":"https://blogs.damiendye.uk/pt/random/who-pays-for-the-software/","summary":"Os 2 primeiros artigos viram o que a dependência te custa. Este vê quem mais paga a conta: os voluntários que mantêm software a funcionar para empresas muito grandes, e os negócios comprados, endividados e reduzidos ao osso. Parte 3 de 8, em linguagem simples.","title":"Quem paga o software que usas"},{"content":"Parte 4 de 8. A Parte 3 olhou para quem paga o software que usas.\nDe que trata este artigo Porque é que vale a pena ler o registo. O que foi decidido sobre a Google. O que foi decidido sobre a Apple. O que foi decidido sobre a Amazon. O que foi decidido sobre a Meta. O padrão no conjunto. Porque é que vale a pena ler o registo Escolher um fornecedor é uma previsão. Estás a decidir como ele se vai portar daqui a 3 ou 5 anos.\nAs declarações de valores das empresas não servem de muito para isso. Toda a gente tem uma, e dizem todas mais ou menos o mesmo.\nAs conclusões de facto são melhores. São conclusões a que um tribunal ou um regulador chegou depois de ouvir as provas.\nÉ isso que este artigo usa. Onde existe uma decisão europeia, vem primeiro.\nDuas coisas antes da lista, porque a mantêm honesta.\nNem todos os casos correram contra as empresas. Alguns correram contra os reguladores, e esses também estão aqui.\nE isto não é uma afirmação de que as empresas europeias se portam melhor. A Volkswagen e a Wirecard resolvem essa questão bem o suficiente. O padrão decorre da dimensão e da posição no mercado, não da origem da empresa.\nGoogle A Comissão Europeia chegou lá primeiro, e os casos demoraram muito a acabar.\nEm 2017 aplicou à Google uma multa de 2,42 mil milhões de euros. Concluiu que a Google tinha empurrado o seu próprio serviço de comparação de compras para cima nos resultados de pesquisa e os rivais para baixo.\nA Google recorreu, e o Tribunal de Justiça da União Europeia confirmou a decisão em setembro de 2024.\nSão 7 anos desde a multa, e mais ainda desde o comportamento.\nEm 2018 a Comissão aplicou à Google uma multa de 4,34 mil milhões de euros pelas condições impostas aos fabricantes de telemóveis que queriam a Play Store. A multa foi depois reduzida para cerca de 4,1 mil milhões de euros, e o recurso final foi rejeitado em 2026.\nEm 2019 a Comissão aplicou à Google uma multa de 1,49 mil milhões de euros por contratos de publicidade. O Tribunal Geral anulou essa em 2024, por entender que o caso não tinha ficado provado. O regulador perdeu.\nNos Estados Unidos, um tribunal concluiu em 2024 que a Google tinha mantido ilegalmente um monopólio na pesquisa. Em setembro de 2025 o mesmo tribunal fixou os remédios. Exigiu alterações aos acordos de predefinição e alguma partilha de dados com concorrentes. Recusou obrigar a Google a vender o Chrome ou o Android.\nUma decisão separada nos Estados Unidos, em abril de 2025, concluiu que a Google tinha ligado ilegalmente 2 dos seus produtos de publicidade. Esse remédio ainda está a ser decidido.\nApple Em 2021 um tribunal dos Estados Unidos ordenou à Apple que deixasse os programadores de aplicações informar os clientes sobre outras formas de pagar.\nEm abril de 2025 o mesmo tribunal concluiu que a Apple não tinha cumprido.\nConcluiu também que um alto quadro da Apple tinha prestado um depoimento falso, e que os próprios documentos internos da empresa diziam o contrário. A CNBC noticiou a decisão na altura.\nO tribunal remeteu o assunto para o Ministério Público, para ponderar um processo por desobediência criminal. A Apple disse que ia recorrer.\nEste importa por uma razão diferente dos outros.\nUma empresa pode ter uma posição firme sobre a sua situação jurídica e mesmo assim ser franca com um tribunal. Uma conclusão de que um depoimento era falso é outra coisa completamente diferente.\nA tua relação com um fornecedor é um conjunto de promessas. Isto é prova direta de como as promessas são tratadas quando cumpri-las fica caro.\nAmazon Em setembro de 2025 a Amazon aceitou pagar 2,5 mil milhões de dólares para resolver um processo movido pela Federal Trade Commission dos Estados Unidos. A Comissão publicou os pormenores.\nForam mil milhões de dólares em sanções e 1,5 mil milhões devolvidos aos clientes.\nO processo era sobre o desenho da adesão e do cancelamento do Prime. A acusação era que os ecrãs tinham sido construídos para inscrever pessoas que não tinham escolhido inscrever-se, e para tornar o cancelamento trabalhoso. A Comissão disse que cerca de 35 milhões de pessoas foram afetadas.\nA Amazon aceitou mudar o processo de adesão e de cancelamento como parte do acordo.\nOs desenhos de interface a essa escala são testados e medidos antes de serem lançados — é uma prática normal e sensata. Como tal, o efeito de um desenho é normalmente conhecido antes de sair.\nMeta Em 2019 a Federal Trade Commission dos Estados Unidos aplicou uma sanção de 5 mil milhões de dólares ao Facebook pelas suas práticas de privacidade, depois do caso Cambridge Analytica.\nO ponto maior não é uma multa.\nEm 2021 uma antiga funcionária entregou investigação interna da empresa a jornalistas, e depois depôs perante uma comissão do Senado dos Estados Unidos. A BBC noticiou a sua acusação central, que era a de que a empresa tinha posto o lucro à frente da segurança, vezes sem conta.\nParte dessa investigação estudava o efeito do Instagram nos utilizadores adolescentes. Partes dela deram resultados preocupantes.\nA Meta discordou da forma como a investigação foi descrita. Disse que as conclusões eram mais mistas do que o noticiado, e que a antiga funcionária não tinha trabalhado nessas equipas. A ciência mais ampla sobre isto não está assente, e é justo dizê-lo.\nHá um ponto que não está em disputa, e é esse que importa guardar.\nA empresa estudou se o seu produto estava a prejudicar um grupo de utilizadores. Parte desse trabalho deu resultados preocupantes. Os resultados chegaram ao público porque alguém os levou para fora do edifício.\nInvestigação que só sai dessa maneira não tem nada a ver com supervisão independente.\nO padrão no conjunto Põe os casos lado a lado e destacam-se 4 coisas. Importam mais para o planeamento do que qualquer caso isolado.\n1. As sanções são pequenas face ao ganho.\nUns quantos mil milhões são um valor pequeno contra receitas de centenas de milhares de milhões. E chegam anos depois de o dinheiro ter sido ganho.\nQuando uma sanção fica abaixo do benefício, funciona como um custo do negócio e não como um elemento dissuasor.\n2. Os remédios chegam tarde.\nO intervalo entre o comportamento e um remédio executável vai de cerca de 7 a 12 anos nestes casos.\nOs concorrentes raramente duram tanto. Quando um remédio começa a morder, o mercado que devia proteger normalmente já mudou de forma.\n3. Raramente se toca nas pessoas.\nAs multas são pagas pela empresa — portanto pelos seus acionistas — enquanto as pessoas que aprovaram as decisões normalmente mantêm o salário e o emprego.\nIsso importa porque molda o incentivo. Quando o custo cai na empresa e a recompensa cai na pessoa, a decisão parece valer a pena a quem a toma.\n4. Os problemas são conhecidos dentro antes de serem conhecidos fora.\nEm vários destes casos a empresa teve a informação primeiro. Chegou ao público através de uma fuga, de um processo ou de um regulador.\nMas cuidado com o que tiras daí.\nEstes não são normalmente casos de uma pessoa que decidiu fazer mal. Uma equipa melhorou um ecrã de adesão em função de um objetivo. Um sistema de classificação foi afinado para aumentar a utilização. Uma conclusão de investigação ficou por publicar.\nAs decisões estão espalhadas por muita gente, e cada passo parece razoável por si só. É isso que torna o padrão tão estável, e é por isso que pedir às empresas que se esforcem mais dificilmente o vai mudar.\nO que fazer com isto Usa-o para a pergunta a que responde de facto.\nQuando um fornecedor tem um interesse comercial e tu não tens alternativa real, o registo diz que o resultado tende a ir no sentido do fornecedor.\nQualquer correção chega normalmente anos depois, e normalmente custa ao fornecedor menos do que o comportamento lhe rendeu.\nIsso não é razão para evitar um fornecedor por causa do país onde está.\nÉ uma boa razão para não dependeres de nenhum fornecedor de quem não conseguirias sair.\nA Parte 5 olha para como a lei de um país pode chegar a empresas de outro.\nPublicado pela primeira vez: 2026-08-25. Última atualização: 2026-08-25.\n","permalink":"https://blogs.damiendye.uk/pt/random/what-the-record-shows/","summary":"Escolher um fornecedor é adivinhar como ele se vai portar mais tarde. A base mais justa para essa aposta é o que os tribunais e os reguladores já decidiram. A Parte 4 de 8 expõe as decisões, inclui os casos que os reguladores perderam, e tira o padrão.","title":"O que o registo mostra"},{"content":"Parte 5 de 8. A Parte 4 olhou para o que os tribunais e os reguladores decidiram.\nO que este artigo cobre A lei que chega a empresas noutros países. O que a França concluiu disso. Preocupações antigas com a informação comercial. Pressão exercida através do comércio. Pressupostos que viajam com um produto. A lei que chega a empresas noutros países A Parte 2 explicou como a lei de um país pode chegar a dados guardados por uma empresa que esse país controla.\nO mesmo princípio chega às próprias empresas, e os efeitos podem ser bem maiores.\nO exemplo mais bem documentado na Europa é a Alstom, uma empresa de engenharia francesa.\nEm 2014 a Alstom declarou-se culpada nos Estados Unidos e aceitou pagar 772 milhões de dólares. O caso correu ao abrigo do Foreign Corrupt Practices Act, uma lei americana contra o suborno. O Departamento de Justiça dos Estados Unidos publicou os pormenores.\nO suborno foi real. Esta não é a história de uma empresa inocente.\nUm executivo da Alstom foi também detido quando passava pelos Estados Unidos, e esteve preso.\nMais ou menos na mesma altura, a Alstom vendeu o seu negócio de energia à General Electric, uma empresa americana.\nO executivo tem defendido desde então que o processo por resolver funcionou como pressão durante essa venda. Os procuradores dos Estados Unidos negam ter agido para ajudar um comprador americano.\nEsse desacordo nunca foi resolvido, e como tal este artigo também não o consegue resolver.\nO que a França concluiu disso O que se pode mostrar é o que o Estado francês concluiu depois.\nEm junho de 2019 chegou um relatório ao primeiro-ministro francês. É conhecido como o relatório Gauvain, e o título fala em restabelecer a soberania francesa e europeia e em proteger as empresas de leis com alcance extraterritorial.\nExtraterritorial quer dizer uma lei que se aplica para lá das fronteiras do país que a fez.\nO relatório chegou a 3 conclusões que vale a pena repetir aqui.\nTinham sido aplicadas sanções muito grandes, na ordem das dezenas de milhares de milhões de dólares, a empresas francesas, europeias e outras não americanas. Grande parte da conduta tinha pouca ligação direta ao território dos Estados Unidos. As empresas francesas não tinham instrumentos jurídicos eficazes para se defenderem. Notou também que as empresas americanas raramente eram o alvo.\nA França atualizou então a sua lei de bloqueio, uma lei que limita a informação que as empresas francesas podem entregar a autoridades estrangeiras. Um inquérito parlamentar anterior tinha olhado para o mesmo assunto em 2016.\nNão tens de engolir todas as conclusões desse relatório. Basta que um parlamento nacional tenha olhado para a questão e decidido que era uma questão de soberania.\nPara o teu próprio planeamento, a ideia é curta.\nA exposição jurídica a outro país é uma exposição comercial. Não apenas uma questão de conformidade.\nPreocupações antigas com a informação comercial Esta preocupação não é nova, e vale a pena saber até onde recua.\nEm 2001 o Parlamento Europeu publicou um relatório sobre um sistema global de interceção de comunicações, então conhecido como ECHELON. O Parlamento publicou depois um estudo que revisita esse trabalho.\nO relatório concluiu que esse sistema existia. Examinou também alegações de que informação intercetada tinha sido usada para obter vantagem comercial, incluindo contra empresas europeias.\nEssas alegações foram contestadas na altura e continuam difíceis de provar.\nA razão para as mencionar não é resolvê-las. É que o Parlamento Europeu levou a questão suficientemente a sério para abrir um inquérito formal há 25 anos, e ela não desapareceu desde então.\nPressão exercida através do comércio A Parte 2 tratou das tarifas sobre equipamento, e do Canadá a deixar cair o seu imposto sobre serviços digitais depois de as negociações comerciais terem sido suspensas.\nHá mais um passo que vale a pena registar à parte, porque se aplica a pessoas e não a bens.\nEm janeiro de 2026 o Departamento de Estado dos Estados Unidos impôs restrições de visto a 5 responsáveis europeus. Tinham trabalhado no Digital Markets Act e no Digital Services Act, as leis europeias que regem as grandes plataformas online.\nVeio acompanhado de ameaças de tarifas ligadas a medidas europeias de fiscalização.\nO Center for Strategic and International Studies descreveu isto como usar medidas comerciais para desencorajar a regulação digital.\nO Istituto Affari Internazionali, um instituto italiano, analisou se, em consequência, a aplicação do Digital Markets Act se está a tornar negociável.\nEssa é a questão em aberto. Se as regras europeias sobre tecnologia podem ser mexidas por pressão comercial, a proteção que te dão é menos certa do que o texto sugere.\nÉ justo acrescentar que a pressão comercial é um instrumento normal da política entre Estados, usado por muitos países, incluindo europeus. A questão aqui é aquilo sobre que está a ser usada.\nPressupostos que viajam com um produto O último ponto é mais discreto do que os outros: nenhum processo em tribunal, nenhuma coima. E afeta-te todos os dias.\nO software é feito para o mercado que os seus criadores conhecem melhor. Os pressupostos desse mercado viajam com ele.\nAlguns vais reconhecê-los logo.\nAs definições de privacidade vêm muitas vezes, por omissão, a partilhar, porque é essa a abordagem comum nos Estados Unidos. A lei europeia parte de pedir autorização. As ferramentas de gestão de pessoal assumem muitas vezes que o vínculo pode acabar com pouco aviso, e que não há comissão de trabalhadores a consultar. Os termos contratuais padrão querem muitas vezes que os litígios sejam julgados num tribunal dos Estados Unidos, ao abrigo da lei dos Estados Unidos, mesmo para um cliente europeu. As regras de conteúdo seguem a abordagem de 1 país à liberdade de expressão, e depois são aplicadas no mundo inteiro. O suporte para línguas mais pequenas chega em último lugar, e às vezes nem chega. Nada disto é feito para incomodar. É o resultado normal de construir para um mercado doméstico e vender o resultado em todo o lado.\nAinda assim, explica uma coisa sobre a discussão mais ampla.\nO Regulamento Geral sobre a Proteção de Dados, o Digital Markets Act e o Digital Services Act são sobretudo a Europa a afirmar que é um espaço jurídico à parte, com as suas próprias regras assentes.\nA resposta a isso incluiu as medidas comerciais acima.\nO que isto significa para ti Daqui saem três pontos práticos.\nLê a cláusula da lei aplicável. Vê de quem são os tribunais que julgariam um litígio. Num contrato grande, vale a pena negociar isso.\nPergunta onde está registada a empresa-mãe do teu fornecedor. Essa resposta decide mais do que a morada do centro de dados.\nConfirma que um produto se ajusta ao teu enquadramento jurídico antes de o comprares. Consentimento, regras laborais e conservação de registos são os sítios habituais onde uma predefinição importada não bate com a lei local.\nNada disto exige uma opinião sobre qualquer governo. É a diligência normal com fornecedores, aplicada a uma pergunta que a maioria das listas de verificação de compras ainda deixa de fora.\nA Parte 6 olha para a segurança, e para o critério aplicado quando um fornecedor é afastado por razões de segurança nacional.\nPublicado pela primeira vez: 2026-08-25. Última atualização: 2026-08-25.\n","permalink":"https://blogs.damiendye.uk/pt/random/how-far-the-law-reaches/","summary":"A Parte 2 tratou da lei que chega aos teus dados. A Parte 5 de 8 trata da lei que chega à tua empresa: grandes sanções ao abrigo da lei americana, um relatório parlamentar francês sobre se isso funciona como arma comercial, pressão comercial aplicada à lei fiscal e aos reguladores, e produtos que levam para todo o lado os pressupostos de um só mercado.","title":"Até onde chega a lei de um país"},{"content":"Parte 6 de 8. A Parte 5 viu até onde chega a lei de um país.\nO que este artigo trata A razão dada para fechar a porta a alguns fornecedores. O que está estabelecido sobre produtos enfraquecidos. O que aconteceu em 2024. Porque é que isto também cai sobre a Europa. O que podes fazer quanto a isso. A razão dada para fechar a porta a alguns fornecedores Vários governos fecharam a porta a fornecedores chineses nas redes de telefone e de internet, e restringiram algumas aplicações chinesas em dispositivos oficiais.\nA razão dada costuma ser a mesma: uma empresa pode ser obrigada a ajudar o seu próprio governo. Por isso o equipamento traz um risco, faça o código o que fizer.\nEsse raciocínio é sólido. É também o mesmo raciocínio usado na parte 2 sobre que lei se aplica aos teus dados.\nSejamos claros quanto a uma coisa antes de continuar.\nAs operações informáticas do Estado chinês são reais. As agências de segurança nacional europeias documentam-nas, tal como as americanas, e incluem roubo de informação comercial em grande escala. Nada neste artigo é uma defesa disso.\nMas se o princípio é que um fornecedor pode ser obrigado a ajudar o seu próprio governo, então aplica-se a todos os fornecedores que têm um governo.\nAplica-o por igual e o registo do lado europeu e americano não está vazio. Em certos pontos está mais bem estabelecido do que as acusações, porque houve parlamentos que o investigaram.\nO que está estabelecido sobre produtos enfraquecidos Três casos, cada um com uma fonte, pela ordem de quão firmes são.\nUm serviço de informações era dono de uma empresa de cifra.\nA Crypto AG era uma empresa suíça que vendeu máquinas de cifra a mais de 120 governos a partir da década de 1950.\nEra propriedade da CIA americana e do BND alemão. As máquinas eram alteradas para que esses serviços pudessem ler as mensagens dos governos que as compravam.\nAssenta em mais do que jornalismo. Depois de a história rebentar, o próprio órgão de fiscalização dos serviços de informações do Parlamento suíço investigou e publicou um relatório em novembro de 2020.\nO serviço público de radiodifusão suíço SWI noticiou as conclusões, incluindo que os serviços de informações suíços sabiam desde 1993.\nEntre os clientes havia governos europeus. Durou cerca de 50 anos.\nUma norma criptográfica foi retirada.\nUm gerador de números aleatórios chamado Dual_EC_DRBG foi publicado como norma dos Estados Unidos — os números aleatórios são o que a cifragem usa para tornar as chaves imprevisíveis.\nInvestigadores mostraram que o seu desenho deixava quem escolhesse certos valores lá dentro prever o que ele produzia.\nO organismo de normalização desaconselhou o seu uso em 2013 e retirou-o em 2014. O The Register noticiou na altura os acordos comerciais relacionados.\nHá equipamento que foi intercetado em trânsito.\nEm dezembro de 2013, a revista alemã Der Spiegel publicou um catálogo de ferramentas de interceção que abrangia routers, firewalls, servidores e firmware de armazenamento de fabricantes conhecidos.\nAs reportagens também descreviam equipamento desviado em trânsito, alterado, reembalado e enviado ao cliente.\nEste último merece um momento de atenção de quem compra hardware.\nQuer dizer que a fronteira de confiança não é só o teu fornecedor — é o teu fornecedor e tudo o que trata da entrega.\nUm fornecedor honesto não te pode dar garantias sobre a segunda parte.\nO que aconteceu em 2024 Este é o caso que responde à pergunta de engenharia, e é a coisa mais útil deste artigo.\nEm 1994, os Estados Unidos aprovaram uma lei que obrigava as empresas de telefone a construir as suas redes de forma a que as comunicações pudessem ser intercetadas mediante um pedido legal.\nPor isso a entrada era permanente, embutida, e regida por processo legal.\nEm 2024 descobriu-se que um grupo ligado ao Estado chinês, conhecido publicamente como Salt Typhoon, tinha entrado em pelo menos 9 grandes empresas de telefone americanas.\nEntre os sistemas atingidos estavam os próprios sistemas de interceção. O The Register noticiou a resposta dos legisladores.\nA entrada que um governo obrigou a construir tornou-se a forma de outro governo entrar.\nIsso não é azar. Decorre de como uma coisa destas funciona.\nUma entrada embutida é uma capacidade, não uma regra. A lei que a rege só vincula quem aceita essa lei. Quem entrou à força não aceita.\nTodos os argumentos a favor do acesso legal embutido partem do princípio de que o acesso pode ficar restrito ao utilizador pretendido. Esta é a prova mais clara que há de que esse pressuposto não se aguenta.\nPorque é que isto também cai sobre a Europa Se esse raciocínio está certo, está certo em todo o lado, e assim sendo também cai sobre as propostas europeias.\nAs propostas para analisar mensagens no dispositivo antes de serem cifradas criam o mesmo tipo de entrada embutida.\nO Reino Unido tem um poder para exigir às empresas que forneçam capacidades técnicas. Já foi usado para exigir alterações a uma funcionalidade de cifragem, e o fornecedor retirou essa funcionalidade no Reino Unido em vez de a alterar.\nAmbos são levados a cabo por democracias, com fiscalização, por razões sérias como a proteção das crianças.\nAmbos também constroem exatamente o tipo de capacidade que 2024 mostrou não poder ficar, com fiabilidade, restrita ao utilizador pretendido.\nUma entrada europeia não é mais segura do que qualquer outra, porque um intruso não quer saber de quão responsável é a instituição. O que lhe interessa é se a coisa existe.\nÉ por isso que a versão útil deste argumento é técnica, não política.\n«Não confies em fornecedores do país X» tem de ser reaberto sempre que a política muda.\n«Parte do princípio de que qualquer entrada embutida vai acabar por ser usada por alguém para quem não foi feita» aguenta-se seja como for.\nO que podes fazer quanto a isso A resposta prática não tem a ver sobretudo com quem te vende. Tem a ver com desenhar as coisas para que a pergunta importe menos.\nTrata a rede como não fiável. Cifra o tráfego de ponta a ponta, e não deixes um sistema confiar noutro só por causa do sítio onde está na rede.\nGuarda as tuas próprias chaves de cifra onde puderes. A Parte 2 explicou porque é que isso muda a quem podem pedir os teus dados. Também limita o que um intruso acha que vale a pena levar.\nEnvia menos. Dados que nunca recolheste não podem ser intercetados, pedidos ou perdidos. É o controlo menos na moda da lista, e muitas vezes o mais eficaz.\nVerifica o que o teu equipamento corre antes de confiares nele. O arranque verificado e a verificação de firmware valem a pena ligar onde o teu hardware os suporta.\nEm sistemas genuinamente sensíveis, verifica as entregas. Embalagens com selo de violação e números de série registados são coisas bastante simples.\nNenhuma destas coisas te obriga a decidir com que governo te deves preocupar mais.\nÉ exatamente por isso que são a melhor resposta. Um controlo que só funciona se o teu palpite sobre a política estiver certo não é bem um controlo.\nA Parte 7 sai da tecnologia e vê como outras indústrias lidaram com o mesmo problema.\nPublicado pela primeira vez: 2026-08-25. Última atualização: 2026-08-25.\n","permalink":"https://blogs.damiendye.uk/pt/random/backdoors-and-who-is-accused/","summary":"Fechar a porta a um fornecedor por razões de segurança exige um critério, aplicado por igual. A Parte 6 de 8 expõe o que está estabelecido sobre produtos enfraquecidos e interceção, incluindo um inquérito parlamentar suíço, e mostra porque é que uma entrada embutida pertence a quem quer que lá chegue.","title":"Backdoors, e quem é acusado delas"},{"content":"Parte 7 de 8. A parte 6 olhou para a segurança e para as entradas embutidas.\nO que este artigo cobre Porque é que a comparação é útil. As sementes, e as licenças sobre seres vivos. Os supermercados, e as regras feitas para eles. Porque é que a tecnologia não tem nada assim. O que isto te diz. Porque é que a comparação é útil Há uma ideia comum de que a tecnologia é um tipo novo de poder e precisa de um tipo novo de pensamento.\nÉ uma ideia reconfortante, e está quase toda errada. Acreditar nela é uma das razões por que a resposta tem demorado tanto a chegar.\nO problema desta série é antigo. Um fornecedor torna-se essencial. As alternativas do cliente desaparecem. Os termos deixam de ser acordados e passam a ser anunciados.\nIsso aconteceu em indústrias sem software nenhum.\nA comparação ajuda de 2 maneiras.\nMostra o que costuma vir a seguir, porque essas indústrias já vão mais à frente no caminho.\nE mostra como é uma resposta séria, porque algumas dessas respostas já existem e funcionam.\nAs sementes, e as licenças sobre seres vivos Um agricultor que compra sementes está quase na mesma posição que uma organização que compra software essencial.\nQuatro empresas, a Bayer, a Corteva, a Syngenta e a BASF, detêm a maior parte do mercado mundial de sementes e uma quota semelhante dos pesticidas. A organização suíça Public Eye publica análises sobre isso.\nPara algumas culturas concretas é ainda mais apertado, e um punhado de empresas detém a maior parte das patentes relevantes.\nO licenciamento vai parecer-te familiar se alguma vez leste um contrato de software.\nUma semente patenteada não é simplesmente vendida. É licenciada, e os termos podem impedir a prática mais antiga da agricultura: guardar parte da colheita deste ano para semear no próximo.\nAssim, o agricultor compra o uso da semente por 1 época. O direito de a reproduzir, que é o objetivo de uma semente, fica com o fornecedor.\nÉ uma compra permanente transformada numa compra recorrente. Aconteceu à agricultura antes de acontecer ao software.\nHá um segundo pormenor familiar.\nA semente é muitas vezes feita para funcionar com um pesticida específico, e a mesma empresa vende os dois. Comprar um torna mais fácil comprar o outro do que mudar.\nOs economistas agrícolas acompanharam os resultados: menos variedades disponíveis, custos de produção mais altos e menos capacidade de mudar de fornecedor.\nOs supermercados, e as regras feitas para eles A outra metade da comida mostra o mesmo problema do lado de quem compra. Este é o exemplo que vale a pena copiar.\nUm pequeno número de retalhistas trata da maior parte das vendas de mercearia no Reino Unido.\nPor isso, um fornecedor tem muito poucos clientes possíveis. Perder um pode acabar com o negócio. Para o retalhista, substituir um fornecedor é trabalho de uma manhã.\nEsse desequilíbrio ficou documentado o suficiente para o Parlamento agir. O Groceries Code Adjudicator foi criado em 2013. Fiscaliza se os grandes retalhistas cumprem o Groceries Supply Code of Practice.\nVê o que esse código restringe e depois pensa na tua última renovação de software.\nMudar termos acordados depois do facto, sem acordo. Cobrar a um fornecedor pelo direito de continuar a fazer negócio. Passar custos e riscos para o fornecedor sem compensação. Usar a retirada da venda como alavanca numa disputa. A União Europeia construiu a sua própria versão. A Diretiva 2019/633 relativa às práticas comerciais desleais cobre a cadeia de abastecimento agrícola e alimentar.\nProíbe os pagamentos em atraso, o cancelamento de encomendas em cima da hora, a alteração unilateral dos termos e as ameaças de retaliação comercial. Cada Estado-membro tem uma autoridade para a fazer cumprir.\nNenhum dos regimes é perfeito. Os poderes do Adjudicator são limitados, não cobre os preços em si, e tem usado os seus poderes mais fortes com parcimónia.\nMas o princípio que está lá dentro é o que falta na tecnologia.\nOnde o poder negocial é muito desigual, a liberdade contratual não existe de verdade. Por isso, certas práticas são proibidas sem mais, em vez de deixadas à negociação.\nNinguém sugeriu que um fornecedor de software deva ser impedido de mudar termos acordados depois do facto.\nNinguém trata uma cobrança por levares os teus próprios dados como passar um custo para a parte mais fraca.\nNa comida, as duas coisas seriam detetadas logo. No software chamamos-lhe um modelo de licenciamento.\nPorque é que a tecnologia não tem nada assim Quatro razões, e vale a pena percebê-las porque apontam para o que teria de mudar.\nVelocidade. A concentração na mercearia demorou cerca de 100 anos. A concentração na cloud demorou cerca de 15. Quando a conseguiste ver com clareza, já tinha acontecido.\nServiços gratuitos. Na maioria dos países, o direito da concorrência cresceu à volta dos preços pagos pelos consumidores. Um serviço a preço zero parece inofensivo nesse teste, mesmo quando o cliente não é o utilizador.\nA alegação de novidade. A indústria argumentou, com sucesso, que a sua economia era diferente, e que ser difícil de abandonar era apenas uma propriedade dos sistemas complexos e não uma escolha de desenho.\nOrganização. Os agricultores têm sindicatos, cooperativas e um longo hábito de negociar em conjunto. Usaram-no para ganhar proteções legais específicas.\nOs compradores de tecnologia têm grupos de utilizadores e uma conferência. Quando os clientes da VMware levaram com grandes aumentos, a verdadeira resistência veio de uma associação de fornecedores de cloud, e passou pelo direito da concorrência. A parte 2 mostrou quanto tempo isso demora.\nO que isto te diz Duas conclusões, e vale a pena ter as duas.\nO problema é estrutural, não nacional.\nA Bayer é alemã. Os maiores supermercados são britânicos, franceses e alemães. O modelo de compra na parte 3 é usado com entusiasmo por toda a Europa.\nSubstitui amanhã todos os fornecedores americanos desta série por 4 europeus e o comportamento volta, porque decorre da estrutura.\nComo tal, o conselho aqui é sobre seres capaz de mudar de fornecedor, e não sobre escolher um país.\nJá existe uma resposta que funciona.\nNão precisamos de inventar uma teoria nova de regulação de plataformas.\nHá um modelo em que certas práticas são proibidas porque o poder negocial é desigual, um adjudicador ouve as queixas, e a parte mais fraca não carrega sozinha o ónus da prova.\nFoi feito para couves. Funcionaria em contratos de cloud.\nA parte 8 olha para o que está a ser construído na Europa agora, e para como verificares onde estás.\nPublicado pela primeira vez: 2026-08-25. Última atualização: 2026-08-25.\n","permalink":"https://blogs.damiendye.uk/pt/random/the-same-pattern-elsewhere/","summary":"Nada disto é novo, e não é bem sobre tecnologia. Quatro empresas controlam a maior parte do fornecimento mundial de sementes. Dez retalhistas movem a maior parte da comida da Grã-Bretanha. Ambos produziram uma resposta legal que o software não tem. A parte 7 de 8 compara-os e pergunta porque é que a tecnologia se safou.","title":"O mesmo padrão noutras indústrias"},{"content":"Parte 8 de 8. A parte 7 comparou o padrão com outras indústrias.\nO que este artigo cobre O que a Europa construiu de facto. O que é realista hoje, e o que não é. 3 perguntas para perceberes onde estás. Uma palavra honesta sobre este site. A tendência mudou Durante muitos anos, a independência digital europeia foi sobretudo conversa.\nDesde 2025 isso mudou. Agora há produtos que funcionam, e organizações a usá-los todos os dias.\nEsta é a tendência mais útil de toda a série, porque é aquela sobre a qual podes agir.\nSoftware de escritório e colaboração O openDesk é um conjunto de ferramentas de código aberto para o trabalho de escritório do dia a dia. Documentos, email, calendários, ficheiros, chat e reuniões por vídeo.\nÉ mantido pelo ZenDiS, o centro alemão para a soberania digital.\nÉ construído a partir de ferramentas que já existiam: Nextcloud para ficheiros, Collabora para documentos, Open-Xchange para email e calendários, Element para chat, Jitsi para vídeo.\nEstá em uso real. As forças armadas alemãs assinaram um acordo de vários anos. O Instituto Robert Koch, um organismo alemão de saúde pública, usa-o para vários milhares de pessoas. O Tribunal Penal Internacional escolheu-o em 2025.\nAgora também há opções comerciais.\nO office.eu foi lançado em Haia em março de 2026. É uma alternativa alojada, de propriedade europeia, às grandes suites de escritório americanas.\nO Euro-Office seguiu-se em junho de 2026. É um editor de documentos partilhado, construído em conjunto por várias empresas europeias, incluindo IONOS, Nextcloud, XWiki, OpenProject, Open-Xchange e office.eu.\nTrabalhar assim em conjunto importa. Significa que cada empresa não está a construir sozinha o mesmo editor outra vez.\nGovernos a mexer-se de verdade Alguns governos já fizeram a mudança, o que dá ao resto de nós experiência real com que aprender.\nO Ministério da Digitalização dinamarquês passou do Microsoft 365 para o LibreOffice a partir de julho de 2025. O LibreOffice é uma suite de escritório gratuita.\nO estado alemão de Schleswig-Holstein está a passar dezenas de milhares de computadores de funcionários para código aberto.\nA França e a Alemanha também estão a construir ferramentas partilhadas em conjunto, em vez de cada uma pagar as suas.\nÉ justo dizer que isto nem sempre corre sem sobressaltos.\nMunique passou a câmara municipal para Linux ao longo de vários anos e depois voltou ao Windows em 2017. O The Register noticiou o custo na altura.\nA principal lição de Munique não foi técnica. O software funcionou, na maior parte. O que não durou foi o apoio político, através de mudanças de executivo, num projeto que correu mais de uma década.\nPor isso estas coisas precisam de apoio constante durante muitos anos. É um requisito real, e vale a pena planeá-lo com honestidade.\nPagamentos Os pagamentos seguem a mesma tendência, e muita gente não se apercebe de quão concentrados estão.\nUma análise dos números do Banco Central Europeu sugere que a Visa e a Mastercard trataram cerca de 47% do valor dos pagamentos com cartão na zona euro em 2025. Em vários países a quota é bastante mais alta.\nVários países europeus têm os seus próprios sistemas de cartões. O problema é que não funcionam além-fronteiras, e por isso o que funciona em todo o lado é o americano.\nA Wero é a resposta europeia. É gerida pela European Payments Initiative.\nComeçou com pagamentos entre pessoas na Bélgica, em França e na Alemanha. Agora tem dezenas de milhões de utilizadores registados. O Luxemburgo aderiu em 2026, e os Países Baixos estão a passar o seu sistema iDEAL para ela. O European Payments Council publica os progressos.\nPagar em lojas e online é a fase seguinte. É essa fase que decide se a Wero se torna uma alternativa real.\nO euro digital está por trás, num horizonte mais longo, por volta de 2029.\nRegras novas A Comissão Europeia publicou a sua proposta de Cloud and AI Development Act em 2026-06-03.\nÉ a primeira tentativa séria de transformar a soberania na cloud de um rótulo voluntário num requisito legal.\nClassifica os fornecedores de cloud por níveis, conforme onde está a infraestrutura, com que independência pode ser operada e quem é o dono. Os compradores do setor público teriam de exigir fornecedores que cumprissem pelo menos o nível mais baixo.\nÉ uma proposta. Ainda não é lei, e pode mudar pelo caminho.\nO que é realista, e o que não é Uma lista esperançosa pode facilmente correr mal aqui, por isso vamos ser claros.\nRealista hoje. Documentos de escritório, email, calendários, ficheiros, chat e vídeo. Existem opções europeias e de código aberto que funcionam, e há organizações a usá-las em produção neste momento.\nA chegar lá. Pagamentos, e alguns serviços de cloud. As peças existem. A cobertura ainda está a ser preenchida.\nAinda não. Infraestrutura de cloud em grande escala. A capacidade europeia está muito aquém da procura.\nO que pode ser substituído hoje por uma opção europeia ou de código aberto Quão substituível é cada camada hoje Trabalho de escritório Documentos, email, calendários, ficheiros, chat, vídeo Substituível já Pagamentos A Wero está a crescer; lojas e online são a fase seguinte Parcialmente pronto Infraestrutura de cloud A capacidade europeia é muito menor do que a procura Ainda não Chips de computador Pontos fortes europeus reais, mas sem substituto completo hoje Não nesta década Quanto mais acima na pilha olhas, mais escolha tens hoje. Não nesta década. Os próprios chips. A Europa tem pontos fortes reais, incluindo a ASML nos Países Baixos e a Infineon e a NXP no desenho de chips. Nada disso substitui hoje um processador gráfico de centro de dados.\nA Bertelsmann Stiftung, uma fundação alemã, estimou que construir uma pilha europeia completa levaria cerca de 10 anos e uns 300 mil milhões de euros.\nPor isso a independência total não está em cima da mesa, e quem a oferecer está a vender mais do que tem.\nComo tal, a independência total nunca foi o objetivo útil.\n3 perguntas para perceberes onde estás Aqui fica uma forma simples de olhares para os teus próprios sistemas. Funciona para qualquer fornecedor, em qualquer país.\nFaz estas 3 perguntas sobre cada serviço de que dependes.\n1. O que deixa de funcionar se este serviço parar?\nSê específico. Nomeia os sistemas e as pessoas afetadas. «É importante» não é coisa com que se possa planear.\n2. Quantas semanas de trabalho levaria a mudar?\nEsse número define a tua posição em cada renovação, enquanto mantiveres o fornecedor.\nSe não o consegues estimar, isso já vale a pena saber.\n3. A tua organização conseguiria mesmo operar a alternativa?\nNão se existe uma alternativa. Se a tua equipa, com a dimensão que realmente tem, a conseguiria operar.\nO LibreOffice é uma resposta genuína para um ministério com orçamento de formação. É uma resposta mais difícil para uma pequena empresa sem pessoal de informática.\nOrdena os teus serviços por essas 3 respostas. A lista costuma ser curta, e muitas vezes não é a que as pessoas esperam.\nPara muitas organizações, o email e as contas do pessoal ficam acima da computação na cloud. Mudá-los raramente é testado, e levaria muito tempo.\nDepois faz as mesmas 3 perguntas sobre qualquer alternativa europeia que estejas a ponderar.\nUm único fornecedor europeu de que não consegues sair não é muito melhor do que um único fornecedor americano de que não consegues sair.\nA verdadeira vantagem dos formatos abertos e do código aberto não é o preço. É tornarem a pergunta 2 respondível, e a pergunta 3 possível.\nUma palavra honesta sobre este site Não seria justo escrever tudo isto sem o virar contra mim próprio.\nEste site é construído com Hugo e servido pela Cloudflare, uma empresa americana. Cada ponto desta série aplica-se a ele.\nEscolhi a Cloudflare porque funciona bem e não me custa nada. Se a conta parasse amanhã, mudava algumas definições de DNS e publicava noutro lado.\nPor isso a exposição é real e a consequência é pequena. É uma troca justa, e fi-la de propósito.\nO resto do meu equipamento também é misto. O Proxmox, sobre o qual escrevo muitas vezes, é austríaco. Corre em processadores desenhados nos Estados Unidos, com firmware que não consigo inspecionar.\nNão há configuração que chegue a zero. Esse nunca foi o objetivo.\nA versão curta A tecnologia passou de algo que compravas para algo que alugas.\nAlugar é muitas vezes melhor, e foi exatamente por isso que aconteceu.\nCada custo de alugar cresce quanto mais difícil for para ti sair.\nDesde 2025 chegaram alternativas reais para o trabalho de escritório do dia a dia, e estão a chegar para os pagamentos.\nPor isso o objetivo prático não é fugir de um país em particular. É reduzir o número de serviços de que não conseguirias sair em 3 meses.\nComeça pelos que nunca testaste. É normalmente aí que a surpresa está à espera.\nPublicado pela primeira vez: 2026-08-25. Última atualização: 2026-08-25.\n","permalink":"https://blogs.damiendye.uk/pt/random/choice-coming-back/","summary":"Desde 2025 a resposta europeia passou de planos a coisas que podes instalar. A parte 8 de 8 mostra o que chegou, o que honestamente ainda está a anos de distância e dá 3 perguntas para perceberes onde estás.","title":"Onde as tuas escolhas estão a voltar"},{"content":"Todas as máquinas de um domínio Active Directory encontram o seu controlador de domínio perguntando ao DNS. Não a partir de uma lista configurada. Pede um registo SRV e vai para onde a resposta a mandar. O que faz de um punhado de registos debaixo de _msdcs a coisa mais crítica para a segurança de toda a zona, e levanta duas perguntas que merecem resposta a sério: como os assinas, e quem tem permissão para os escrever. Nenhuma das duas é feita muitas vezes, e ambas recebem, por omissão, uma má resposta.\nEste artigo responde às duas para um controlador de domínio Samba4. BIND com dlz_bind9 a servir o diretório, inline signing, um primário oculto que nenhum cliente alguma vez alcança, uma delegação dentro de uma zona pública para que a cadeia de confiança chegue à raiz, e as atualizações dinâmicas dos clientes mantidas bem longe dos localizadores.\nMas a assinatura só vale alguma coisa se souberes o que protege, e isso obriga a começar um nível abaixo: em como um nome chega sequer a ser resolvido. Por isso o primeiro terço disto é a descida a partir da raiz. Se já sabes isso de cor, salta para os dois backends DNS do Samba.\nUm resolver começa a saber quase nada Vale a pena ter claro o pouco com que um resolver nasce, porque tudo o resto neste artigo decorre disso.\nUm resolver recursivo acabado de instalar sabe duas coisas. Sabe os endereços dos servidores raiz: um ficheiro de hints, treze nomes de a.root-servers.net a m.root-servers.net, servidos por anycast a partir de muitas mais instâncias do que treze. E, se validar, conhece uma chave pública: a da raiz.\nÉ toda a configuração de origem. Todos os outros factos que alguma vez vai servir (que servidores têm autoridade sobre uk, onde vive o teu domínio, que endereço tem o teu servidor de correio) são aprendidos em tempo de execução, perguntando, e depois ficam em cache até o TTL expirar.\nÉ um bom desenho. Ninguém tem de distribuir uma lista dos servidores de nomes da internet, e nenhuma entidade central tem de aprovar uma alteração à tua zona. Mas tem uma consequência, e é dela que trata o resto deste artigo: um resolver acredita no que lhe dizem, seja qual for o servidor para onde a resposta anterior o apontou. Tira as assinaturas e a estrutura inteira é uma cadeia de afirmações, cada uma autenticada apenas pelo facto de ter chegado do endereço que a resposta anterior indicou. É muito peso para pendurar num endereço de remetente.\nA descida pela árvore Uma consulta não é uma pergunta. É uma série de referências pela árvore de nomes abaixo, e cada passo é uma consulta separada a um servidor diferente.\nImagina que um cliente quer dc01.ad.example.co.uk. Um resolver com a cache fria faz isto:\nPergunta a um servidor raiz. A raiz não sabe a resposta e não finge saber. Devolve uma referência: uma secção de resposta vazia e, na secção de autoridade, os registos NS de uk, com os endereços desses servidores de nomes como glue na secção adicional. Pergunta a um servidor de uk. Outra referência, desta vez para os servidores de nomes de example.co.uk. Pergunta a um servidor de example.co.uk. Se ad.example.co.uk estiver delegado (e no desenho mais adiante neste artigo está), mais uma referência. Pergunta a um servidor de ad.example.co.uk. Este tem autoridade sobre o nome, por isso responde com o registo A e liga o bit AA (authoritative answer, resposta com autoridade). Uma única consulta pela árvore de delegação abaixo, uma referência de cada vez Resolver recursivo Nasce a saber apenas: \u0026#183; os hints da raiz \u0026#183; a chave pública da raiz 1 \u0026#160; Servidor raiz a\u0026#8211;m.root-servers.net Referência os registos NS de uk. \u0026#8212; mais os endereços como glue 2 \u0026#160; Servidor de nomes uk autoritativo para uk. Referência os registos NS de example.co.uk. 3 \u0026#160; example.co.uk guarda a delegação Referência ad.example.co.uk. está delegada \u0026#8212; pergunta aos seus servidores 4 \u0026#160; ad.example.co.uk autoritativo para o nome Resposta o registo A de dc01, com o bit AA ligado Cada passo fica em cache até o TTL expirar, por isso um resolver quente começa no passo 3 ou 4. É exatamente isso que faz uma entrada de cache envenenada valer tanto. Uma consulta, quatro servidores. Cada passo devolve não a resposta, mas o nome de um sítio melhor onde perguntar, e o resolver guarda em cache cada passo pelo caminho. Três coisas nessa descida importam mais tarde.\nA referência é a delegação. O pai de uma zona não guarda o conteúdo dela. Guarda registos NS que dizem «pergunta ali» e, quando a assinatura entra em cena, um registo DS que diz «e aqui está a impressão digital da chave que deves esperar quando o fizeres». A delegação é o único mecanismo estrutural que o DNS tem, e é ela que vais usar para manter interna uma zona interna.\nQuase tudo isto fica em cache. As referências da raiz e do TLD têm TTL longos, por isso um resolver quente salta diretamente para o passo três ou quatro. É por isso que vale a pena atacar a cache de um resolver: envenena uma entrada e redirecionaste tudo o que está debaixo dela durante o TTL que escolheste.\nO nome completo não é enviado a todos os servidores. Com a minimização do QNAME, um resolver pergunta à raiz apenas por uk, não por dc01.ad.example.co.uk. Convém saber, se alguma vez fores procurar os teus nomes internos num registo de consultas a montante. Não deviam lá estar.\nStub, recursivo, autoritativo Três palavras usadas como se fossem sinónimos e que designam trabalhos bem diferentes. A distinção sustenta a metade Active Directory deste artigo, por isso vale a pena fixá-la.\nO que faz Percorre a árvore? Guarda dados de zona? Resolver stub A biblioteca ou o serviço local que as tuas aplicações chamam. Pergunta a um servidor configurado e aceita a resposta. Não Não Forwarder Passa as consultas a outro resolver e guarda as respostas em cache. Não Não Resolver recursivo Faz a descida acima, guarda cada passo em cache, valida opcionalmente as assinaturas. Sim Não Servidor autoritativo Responde pelas zonas que lhe foram dadas, e só por essas. Diz «não sei» sobre tudo o resto. Não Sim A linha importante é a última. Um servidor autoritativo não tem nada que fazer recursão, e um resolver recursivo não tem nada que ser autoritativo. Juntá-los é a forma de obter uma máquina que tanto aceita perguntas arbitrárias dos clientes como guarda dados de que esses clientes dependem, que é exatamente a máquina que não queres que o teu controlador de domínio seja.\nNum desktop Linux moderno há mais uma camada de que convém estar ciente. O systemd-resolved corre um listener stub no endereço de loopback e escreve um resolv.conf a apontar para si próprio, com options edns0 trust-ad. É nesse trust-ad que deves reparar: diz ao stub para acreditar no bit AD (authenticated data, dados autenticados) nas respostas desse servidor. O bit AD sozinho não prova nada; é a afirmação do resolver a montante de que ele validou. Confiar nele é razoável quando o servidor a montante é teu e o salto até ele é de confiança, e não significa nada no resto dos casos.\nComo os serviços são realmente encontrados Um registo A responde a uma pergunta: que endereço tem este nome. Não diz nada sobre em que porta está o serviço, qual de vários servidores preferir, ou o que fazer quando o primeiro está em baixo.\nOs registos SRV respondem às três. Segundo o RFC 2782, a forma é:\n_service._proto.name. TTL IN SRV priority weight port target As partes de um registo SRV e o que cada uma decide o transporte o domínio o serviço que tipo de servidor _ldap. _tcp. dc._msdcs. ad.example.com. 600 IN SRV 0 100 389 dc01.ad.example.com. um nome \u0026#8212; o underscore tira-o do espaço de hosts TTL tipo de registo prioridade peso porta alvo A prioridade mais baixa é tentada primeiro. O peso reparte a carga entre servidores com a mesma prioridade. O alvo tem de ser um nome de host com registos A ou AAAA \u0026#8212; nunca um CNAME. Um único alvo «.» significa que o serviço não é oferecido aqui, de propósito. Um registo SRV dissecado. O nome do proprietário codifica o serviço e o transporte; o corpo do registo leva a ordem de failover, a partilha de carga dentro de uma ordem, a porta, e um alvo que tem de ser um nome de host real. Cada campo justifica o seu lugar:\nOs prefixos com underscore mantêm as etiquetas de serviço num espaço de nomes próprio. _tcp nunca pode colidir com um host que se chame mesmo tcp, porque um nome de host não pode começar por underscore. A prioridade é a ordem de failover: o valor mais baixo é tentado primeiro. Os servidores com um número de prioridade mais alto só são usados quando tudo o que está abaixo está inalcançável. O peso reparte a carga dentro de uma prioridade. Um par com peso 100 e peso 300 recebe aproximadamente um quarto e três quartos dos clientes. É um sorteio proporcional, não round-robin. A porta liberta o serviço de um número bem conhecido, que é como um cliente encontra um servidor LDAP na 3268 sem que ninguém a tenha escrito à mão no código. O alvo tem de ser um nome com registos A ou AAAA. O RFC 2782 é explícito: não pode ser um CNAME, e um único alvo . significa «este serviço não é oferecido aqui, de propósito», o que é útil publicar deliberadamente. É isto que torna um domínio localizável em vez de configurado. Uma máquina associada ao domínio não tem uma lista dos teus controladores de domínio. Tem um nome de domínio, e pergunta.\nOs nomes que o Active Directory publica Um domínio AD é, do ponto de vista de um cliente, sobretudo um conjunto de registos SRV. A árvore debaixo de _msdcs é a parte interessante, porque é assim que os clientes distinguem «um servidor LDAP» de «um controlador de domínio para este domínio» de «um catálogo global para esta floresta»:\nNome Quem o pede _ldap._tcp.\u0026lt;domain\u0026gt; Tudo o que queira LDAP no domínio _ldap._tcp.dc._msdcs.\u0026lt;domain\u0026gt; Localização do controlador de domínio: o mais importante _ldap._tcp.pdc._msdcs.\u0026lt;domain\u0026gt; Especificamente o emulador PDC _ldap._tcp.gc._msdcs.\u0026lt;forest\u0026gt; Catálogo global _kerberos._tcp.\u0026lt;domain\u0026gt;, _kerberos._udp.\u0026lt;domain\u0026gt; Localização do KDC, antes de existir qualquer ticket _kpasswd._tcp.\u0026lt;domain\u0026gt;, _kpasswd._udp.\u0026lt;domain\u0026gt; Mudanças de palavra-passe _ldap._tcp.\u0026lt;site\u0026gt;._sites.dc._msdcs.\u0026lt;domain\u0026gt; Localização por site: encontrar um DC que esteja perto Repara para que serve essa lista. A autenticação Kerberos não pode começar enquanto o cliente não encontrar um KDC, e encontra o KDC pelo DNS. A localização por site significa que a resposta também decide contra que centro de dados um cliente se autentica.\nA mesma ideia, modernizada O SRV tem um sucessor que vale a pena conhecer. Os registos SVCB e HTTPS (RFC 9460) generalizam o padrão: parâmetros de serviço no DNS, incluindo ALPN, porta e sugestões de endereço, num só registo. É assim que um browser aprende a ir diretamente para HTTP/3 sem redirecionamento. O registo HTTPS já está amplamente implementado. O mecanismo é, no espírito, o mesmo do SRV: é o DNS que diz ao cliente como chegar ao serviço. O que significa que o argumento da secção seguinte se aplica a ele exatamente da mesma forma.\nTudo o que vem depois da consulta confia na consulta Eis o ponto de viragem, e é a razão de um artigo sobre DNS ter uma secção de segurança e não o contrário.\nUma máquina associada ao domínio arranca e pergunta onde está um controlador de domínio. Recebe um nome e uma porta. Liga-se lá e só então começa a fazer todas as coisas que normalmente consideramos a camada de segurança: Kerberos, assinatura LDAP, channel binding, validação de certificados.\nE então, o que acontece se a resposta for mentira?\nConvém ser justo aqui, porque a resposta não é «catástrofe imediata». O Kerberos foi desenhado com autenticação mútua precisamente para que um cliente não fique à mercê da sua consulta de nomes: um host que não consegue apresentar um ticket de serviço para o nome que o cliente pediu não consegue completar a troca. Recebe uma resposta SRV que aponta para uma máquina sem chave no domínio e, num cliente configurado com rigor, falha.\nO dano realista é mais subtil, e está todo nas brechas à volta disso:\nDowngrade. Um cliente que recua para NTLM quando o Kerberos não funciona acabou de ser entregue a quem respondeu. Relay e coerção. O atacante não precisa de ser o DC. Ser o nome a que um cliente se liga basta para começar a reencaminhar essa autenticação para um sítio onde ela seja útil. Negação de serviço com cara de avaria. Aponta _ldap._tcp.dc._msdcs para algo que não responde e o domínio fica intermitentemente avariado de uma forma que ninguém diagnostica como DNS durante um bom bocado. Tudo o que não tem autenticação mútua nenhuma. Sincronização de hora, syslog, monitorização, agentes de backup, aquela coisa HTTP interna com verify=False. Muitos parques têm mais disto do que gostariam de admitir. O princípio geral é o que vale a pena levar daqui: o DNS é um mecanismo de descoberta, não um mecanismo de autorização. É perfeitamente razoável encontrar um serviço pelo nome. Não é razoável conceder seja o que for com base num nome, e o número de sistemas que o fazem discretamente (listas de permissões baseadas em PTR, ACL por nome de host, «está na rede interna, por isso tem de ser nosso») é a verdadeira superfície de ataque.\nO que o DNSSEC resolve, e o que não resolve O DNSSEC existe para responder a uma pergunta: esta resposta veio mesmo da zona dona do nome, sem alterações?\nFunciona (RFC 4033 e os dois que se lhe seguem) por assinatura, e encadeando as assinaturas até algo em que já confias:\nCada RRset numa zona assinada tem um RRSIG: uma assinatura sobre esse conjunto. As chaves públicas da zona são publicadas como DNSKEY. A zona pai publica um registo DS: um hash da chave do filho. Esse DS é, por sua vez, assinado pelo pai, cuja chave tem o hash no DS do pai dele, e assim por diante até à raiz; e a chave da raiz é a única coisa que o teu resolver já sabia ao nascer. Uma cadeia de confiança desde a raiz até uma zona interna . \u0026#8212; a raiz a única chave que o teu resolver já tem Onde todas as cadeias começam. Vem com o resolver, roda raramente, merece confiança implícita. DS assinado para com. com. ou uk., ou aquilo debaixo do qual estiveres Um pai garante a chave do filho. O DS é um hash da chave do filho, assinado pelo pai. DS assinado para example.com. example.com. pública, assinada, DS entregue ao pai A zona de que já és dono e que já assinas. Guarda a delegação da zona interna, e o DS que a autentica. É tudo o que guarda do interior. DS assinado para ad.example.com. acima da linha: publicado na internet abaixo: servido só dentro do parque ad.example.com. a vista derivada do AD \u0026#8212; só servidores internos Assinada dentro, confiança vinda de fora. Os teus resolvers validam-na raiz \u0026#8594; com \u0026#8594; example.com \u0026#8594; aqui, sem âncora de confiança local e sem nada para distribuir. Os dados nunca saem. Só a confiança entra, pela cadeia pública normal abaixo. A cadeia que um resolver validador constrói. Cada pai garante a chave do filho com um registo DS assinado, por isso uma única âncora de confiança de origem na raiz autentica todas as zonas abaixo dela, incluindo uma zona interna delegada cujo conteúdo nunca sai do edifício. A negação também é assinada, o que é fácil de esquecer e importa mais do que parece. Sem isso, «esse nome não existe» é uma resposta não autenticada que um atacante pode forjar para fazer algo desaparecer. O NSEC e o NSEC3 dão um «não existe nada entre estes dois nomes» autenticado.\nÉ uma solução real para um problema real. O envenenamento de cache não é teórico: o ataque de Kaminsky tornou o spoofing fora do caminho tão barato que obrigou a aplicar patches de emergência em toda a internet, e as mitigações que se seguiram (aleatorização da porta de origem, mistura de maiúsculas 0x20) são todas tentativas de tornar a adivinhação mais difícil, não de tornar as respostas verificáveis. O trabalho com canais laterais desde então tem-nas corroído repetidamente. As assinaturas são a única coisa dessa lista que muda as regras do jogo em vez de subir o preço.\nAgora os limites honestos, porque o DNSSEC é vendido em excesso nos dois sentidos.\nNão é confidencialidade. Assinar é autenticação por chave pública; todas as consultas e respostas continuam em texto claro na rede. A privacidade no salto do cliente é o DoT, o DoH ou o DoQ, e esses são um mecanismo diferente a resolver um problema diferente. Cifrar o salto até um resolver que não valida compra-te uma conversa privada com algo a quem ainda se pode mentir.\nNão valida o significado, só a origem. O DNSSEC prova que o dono da zona publicou isto. Se o registo estiver errado, ou for malicioso, ou tiver sido escrito por alguém a quem a zona imprudentemente permitiu escrevê-lo, a assinatura é aplicada a isso com a mesma fidelidade. Assinar uma zona que máquinas sem confiança podem escrever não torna o conteúdo fiável: autentica a mentira. Guarda esta frase; o último terço deste artigo é, no essencial, a consequência dela.\nSó ajuda se alguém validar. Se o teu resolver não valida, as assinaturas nas zonas que consultas são decoração. E se a validação acontecer num resolver do outro lado da rede em relação ao cliente, o cliente está a confiar no bit AD e no caminho: vê o trust-ad acima.\nE precisa de ser operado. Uma assinatura expirada não é uma resposta degradada, é SERVFAIL: o nome apaga-se. Um DS no pai que já não corresponde à chave do filho faz o mesmo. É o custo honesto e, como tal, a automação das secções seguintes importa mais do que a assinatura inicial.\nPorque é que um TLD interno inventado não pode ser assinado É aqui que decisões de nomes tomadas há anos regressam com a fatura, e vale a pena explicar isto bem, porque é a razão de o desenho deste artigo usar um domínio real, de que és dono, para os nomes internos.\nOlha outra vez para como a cadeia é construída: a chave de uma zona é garantida por um registo DS no seu pai. Por isso, um resolver validador só consegue autenticar uma zona interna se essa zona tiver um pai disposto e capaz de publicar um DS para ela.\nad.corp.local não tem esse pai. Nem .lan, .home, nem qualquer outra coisa inventada no dia em que o domínio foi criado:\n.local está reservado para o mDNS. Usá-lo para DNS unicast não é só ficar sem assinatura, é uma colisão documentada com o comportamento a que todos os sistemas operativos do edifício têm direito. Tem uma secção própria mais abaixo, porque joga num campeonato diferente dos outros três. .lan, .corp, .home são cadeias de caracteres não registadas. Não há pai para guardar um DS, e as versões candidatadas ficaram retidas sem delegação por causa da confusão de colisão de nomes em parques privados. home.arpa está devidamente reservado para redes domésticas, o que parece ideal, mas a sua delegação é deliberadamente insegura. Não há caminho assinado até ele, por desenho. .internal foi reservado pela ICANN exatamente para este uso, e resolve o problema da colisão. Não resolve este: sem delegação não há DS, logo não há cadeia. As tuas opções com uma zona interna sem cadeia são deixá-la sem assinatura, ou configurar uma âncora de confiança local em todos os resolvers validadores do parque e tornares-te a raiz da tua própria ilha privada: uma chave que agora tens de distribuir, monitorizar e rodar à mão, em todos os resolvers, para sempre, com SERVFAIL em todo o domínio como modo de falha.\nHá uma resposta muito mais fácil, e é gratuita: faz da zona interna uma delegação dentro de uma zona pública de que já és dono e que já assinas. ad.example.com, delegada a partir de example.com. O DS vai para o pai público. Todos os resolvers validadores do parque passam então a autenticar os nomes internos com a âncora de confiança que já têm, e não distribuis nada.\nO conteúdo fica dentro. Só a confiança vem de fora. Essa distinção é o desenho do resto deste artigo.\n.local não é uma questão de estilo Um desses quatro merece secção própria, porque é o que as pessoas defendem, e porque a defesa é sempre a mesma: funciona, usamo-lo há anos, qual é o problema.\nO problema é que .local não é uma cadeia não registada que alguém possa um dia vender. É um espaço de nomes que já tem dono e um comportamento definido, e esse comportamento não é «perguntar ao servidor DNS». O RFC 6762 §3 não é meigo:\nAny DNS query for a name ending with \u0026ldquo;.local.\u0026rdquo; MUST be sent to the mDNS IPv4 link-local multicast address 224.0.0.251 (or its IPv6 equivalent FF02::FB).\nLê o que esse MUST realmente rege. Não é uma afirmação sobre quem é dono da cadeia. É uma instrução sobre para onde vai a consulta, e a resposta é um grupo multicast na ligação local, não o teu controlador de domínio. A mesma secção diz que os nomes debaixo de .local são «meaningful only on the link where they originate», o equivalente DNS de um endereço 169.254.\nPortanto, um cliente que siga a especificação corretamente nunca vai perguntar ao teu servidor DNS por um nome .local. Grita na rede e aceita o que responder.\nIsso produz um conjunto de falhas com um sabor muito particular:\nA resolução depende do cliente, não do teu DNS. O macOS resolve .local através do Bonjour e sempre o fez; o systemd-resolved encaminha o domínio local para mDNS por omissão; o Windows faz mDNS desde o Windows 10. Três pilhas, três conjuntos de regras, e nenhuma delas consulta o teu ficheiro de zona. Para no primeiro router. O mDNS é link-local por desenho. Um nome que resolve numa secretária na mesma VLAN não resolve a partir de outro piso, de outro site ou da VPN: é o pedido de suporte «funciona no escritório, falha em casa» que é fechado quatro vezes como «problema de rede» antes de alguém ler a especificação. O comportamento muda debaixo dos teus pés. Se uma dada máquina tenta primeiro multicast, primeiro unicast, ou ambos em paralelo, depende da pilha do resolver e da sua versão. Os parques que correram em .local «sem problemas durante anos» costumam ser parques onde uma atualização da distribuição ainda não mudou a ordem. As provas não estão onde as procuras. O registo de consultas do DC não mostra nada, porque nada chegou. As pessoas passam dias no servidor, e a consulta nunca saiu do cliente. E não pode ser assinado, que é o ponto desta secção. Sem pai, sem DS, sem cadeia, sem forma de publicar um. Agora põe isso debaixo de um domínio Active Directory. O realm deriva do nome do domínio. Os service principals derivam do realm. Os localizadores _msdcs (os registos de que trata este artigo inteiro) ficam debaixo de um sufixo que um cliente conforme é obrigado a resolver aos gritos no segmento local. Estás a construir Kerberos em cima de um espaço de nomes que metade do teu parque resolve com um protocolo desenhado para encontrar impressoras.\nE a saída é cara, e é isso que torna a decisão original digna de ser encarada sem sentimentalismos. Não há renomeação no local no Samba. O caminho documentado é samba-tool domain backup rename seguido de uma restauração: tiras uma cópia renomeada da base de dados, semeias um novo DC a partir dela e voltas a juntar todos os outros DC do zero, sem sobreposição permitida entre DC com o nome antigo e com o nome novo. Não é o rendom do Windows, que pelo menos percorre os DC um de cada vez. É uma reconstrução com um nome mais bonito.\nPortanto, o resumo honesto. .local para um domínio unicast não é uma preferência, uma convenção, nem um bocado inofensivo de legado. É um conflito documentado com um protocolo que vem ativo em todos os sistemas operativos do edifício, e a fatura chega anos depois sob a forma de falhas de resolução intermitentes e impossíveis de reproduzir e, quando finalmente quiseres assinar a zona, de uma reconstrução do domínio.\nO mesmo erro, com outro chapéu Já que aqui estamos: porta 5353.\nO mDNS escuta em UDP 5353, e não é uma porta sobresselente que por acaso está livre. Pôr um serviço DNS unicast normal nela, ou apontar resolvers para :5353 porque a 53 estava ocupada ou precisava de root, faz o mesmo estrago na direção oposta: todas as máquinas com mDNS nesse segmento estão agora a falar com o teu serviço de nomes, e o teu serviço de nomes está agora a receber descoberta de serviços multicast a que nunca devia responder. O nome e a porta são as duas metades de um mesmo espaço de nomes, e ambas já pertencem a outra pessoa.\n.local na 53, ou DNS unicast na 5353. O mesmo mal-entendido, a mesma classe de falha intermitente, as mesmas semanas do tempo de outra pessoa.\nE sê honesto sobre o que isso te diz A Microsoft recomendou .local na era do Small Business Server, e é por isso que tantos parques ainda o arrastam, e deixou de o recomendar há muito tempo. Herdar um domínio .local é azar. A maioria das pessoas que estão a ler isto e têm um não o escolheu, e a secção acima é um plano de migração, não uma acusação.\nImplementar um é uma questão completamente diferente, e vou ser direto sobre isso, porque suavizá-lo não ajudou ninguém.\nQuem implementa .local para Active Directory ou para DNS unicast normal, ou põe um serviço DNS na porta 5353, não é um profissional de TI. Pode ter o título do cargo. Não está a fazer o trabalho. O RFC 6762 está publicado desde 2013, lê-se em vinte minutos, e a frase que arruma a questão inteira está na secção 3. Construir o serviço de nomes de uma empresa num espaço de nomes que a especificação reserva para multicast link-local não é uma decisão de engenharia defensável. É alguém a adivinhar na única parte da pilha em que adivinhar produz falhas que ninguém consegue reproduzir e de que todos culpam a rede.\nEssa pessoa deve ser afastada do teu departamento de TI. Não transferida para o lado, não posta a tratar do DNS sob supervisão. Afastada da função. O cargo existe para saber que pacote vai para onde e com que autoridade. Quem não leu o documento que rege o espaço de nomes que escolheu para todas as máquinas do edifício não está a desempenhar esse cargo, e mantê-la lá significa que a próxima decisão deste tamanho vai ser tomada da mesma maneira.\nE todos os sistemas em que mexeu devem ser auditados. É a parte que as pessoas saltam, e é a que mais importa. Uma decisão destas nunca é isolada. Quem não verificou o RFC 6762 antes de dar nome ao domínio também não verificou mais nada; por isso vai ver o que mais construiu. Conta encontrar:\nServidores DNS abertos ao mundo, forwarders a responder a quem quer que pergunte, e nenhuma ACL em lado nenhum. Atualização dinâmica escancarada, e contentores de zona com permissões que ninguém revê desde que o domínio foi criado. Certificados e Kerberos construídos em cima de nomes que nunca iam resolver de forma consistente, com as falhas tapadas por ficheiros hosts. Ficheiros hosts. Por todo o lado. Parques inteiros foram mantidos de pé por eles, precisamente porque o .local nunca funcionou bem e alguém encontrou um remendo em vez de uma causa. Regras de firewall e contas de serviço criadas para fazer desaparecer os sintomas, ainda lá, ainda a conceder mais do que alguém hoje se lembra. Isto não é vingança. É para isso que serve um sinal de competência. Quando encontras uma decisão tomada sem ler a especificação, a resposta correta é assumir que as restantes foram tomadas da mesma maneira e ir verificar, porque a mesma pessoa configurou a tua autenticação, os teus certificados e o teu controlo de acessos, e tu tens agora prova direta de como aborda um problema que não compreende por completo.\nHerdar esta confusão custa-te uma migração. Empregar a pessoa que continua a criá-la custa-te bastante mais.\nOs dois backends DNS do Samba Um controlador de domínio Samba AD guarda os seus dados DNS no próprio diretório, e há duas maneiras de os servir.\nSAMBA_INTERNAL é o servidor DNS do próprio Samba, embutido no AD DC. Trata das zonas AD e das atualizações dinâmicas autenticadas por Kerberos, e entrega tudo o resto a um forwarder. O Samba descreve-o como suportando «the basic feature required in an AD» e recomenda-o «for simple DNS setups», o que é justo e vale a pena ler à letra. Tem uma secção própria mais abaixo, porque o que ele não faz é mais longo e mais interessante do que o que faz.\nBIND9_DLZ corre o BIND como servidor DNS, com o módulo dlz_bind9 do Samba carregado nele. DLZ (Dynamically Loadable Zones) é uma interface do BIND para suportar uma zona com algo que não seja um ficheiro de zona. O módulo responde às consultas do BIND diretamente a partir de sam.ldb, por isso não há cópia, não há passo de exportação e não há sincronização que possa correr mal: o BIND está a ler o diretório enquanto serve.\nO servidor DNS interno não faz recursão: não consegue Começa pela coisa que é quase sempre mal descrita, inclusive por quem o corre.\n«O DC é o nosso servidor DNS, faz recursão para os clientes» não é o que está a acontecer, porque o servidor DNS interno não consegue fazer recursão de todo. A própria lista de funcionalidades do Samba di-lo sem rodeios. O DNS interno não suporta:\nfuncionar como resolver com cache consultas recursivas (mas pode reencaminhar para outro servidor de nomes DNS recursivo) assinatura de transações com chave partilhada (TSIG) zonas stub transferências de zona balanceamento de carga Round Robin entre DC com o scavenging e os forwarders condicionais também listados como não implementados.\nLê os dois primeiros juntos, porque é a história toda. Não consegue resolver, e não consegue guardar em cache. O que o dns forwarder te compra na realidade é um relay: um cliente pergunta ao DC por windowsupdate.com, o DC pergunta a um resolver a sério, a resposta volta através do DC, e depois o DC esquece-a por completo. O cliente seguinte faz a mesma pergunta e tudo acontece outra vez.\nVolta à tabela mais acima neste artigo e repara no que isto é: um forwarder sem a cache do forwarder. Tem os custos do papel (um salto extra, uma dependência, mais uma coisa que pode estar em baixo) e nenhum dos benefícios.\nPor isso, um DC com SAMBA_INTERNAL a servir o parque não é um servidor DNS no sentido em que as pessoas o entendem. É um proxy sem cache para um resolver a sério, e puseste-o na máquina que guarda o teu diretório.\nPorque é que isso é um risco e não apenas uma ineficiência A ineficiência é fácil de ver: todas as consultas externas do edifício passam a ser uma ida e volta pelo AD DC, permanentemente, sem cache para amortecer. Num domínio sossegado ninguém dá por isso. É exatamente por isso que sobrevive.\nO argumento de segurança é o que vale a pena fazer, e tem três partes.\nO listener está no processo errado. O DNS interno é uma tarefa de serviço do próprio AD DC, a correr com os privilégios do diretório, e não um daemon separado sob a sua própria conta como é o named. Por isso, aquilo que analisa UDP não autenticado vindo de tudo o que consiga chegar à porta 53 está a correr dentro do processo que serve LDAP e Kerberos e é dono de sam.ldb. O BIND tem trinta anos de atenção hostil, um utilizador dedicado e o hábito de correr numa jail, precisamente porque um listener DNS é um bairro mal frequentado. O servidor interno do Samba é uma funcionalidade de conveniência que por acaso vive nas joias da coroa.\nServir clientes significa estar ao alcance dos clientes. Para ser o servidor DNS do parque, tem de aceitar consultas de todas as estações de trabalho, todas as impressoras, todos os portáteis de prestadores de serviços na VLAN de convidados que alguém ligou em ponte por engano. É uma superfície de ataque grande, permanentemente aberta e não autenticada no host mais valioso que tens, e estás a corrê-la para poupar o custo de um resolver que um Raspberry Pi conseguiria alojar.\nE um forwarder aberto ao mundo é a arma de outra pessoa. Um DC que reencaminha para quem quer que pergunte é um forwarder aberto. Quando fica alcançável de fora da tua rede, passa a participar em reflexão e amplificação, o que significa que o tráfego e as queixas de abuso chegam ambos ao teu controlador de domínio. Não há limitação de taxa a que recorrer, porque o servidor interno não tem nenhuma.\nNada disto precisa de uma vulnerabilidade do Samba para ser má ideia. É má ideia só pela forma: põe um serviço não autenticado, exposto à internet por acidente e carregado de parsing no mesmo processo que o teu diretório, para fazer um trabalho que está documentado como não sendo capaz de fazer bem.\nVai cair mais cedo, e levar mais coisas consigo Convém ser claro sobre o que este argumento não é. Não é uma afirmação de que o código DNS do Samba tem mais bugs do que o do BIND. O BIND tem uma longa lista de CVE, sobretudo porque é a implementação de DNS mais escrutinada que existe, e contar avisos de segurança seria uma má forma de escolher entre os dois.\nA comparação que importa é estrutural, e resume-se a três perguntas com três respostas desconfortáveis.\nQuem lhe pode enviar um pacote malformado? Com SAMBA_INTERNAL a servir o parque: todas as estações de trabalho, todos os telemóveis na rede sem fios, tudo o que consiga encaminhar para a porta 53 dessa máquina. Com o desenho deste artigo: o signer. Um host, uma chave TSIG, allow-query limitado a ele. Não é uma pequena diferença de grau. É a diferença entre um serviço exposto e um que é, na prática, inalcançável, e ofusca qualquer diferença de qualidade de código entre as duas implementações.\nO que cai quando ele cai? É esta que decide a gravidade. O named é um daemon separado sob a sua própria conta; quando morre, o DNS para e o controlador de domínio continua a autenticar. O DNS interno do Samba é uma tarefa de serviço dentro do AD DC, por isso tudo o que o encrave, esgote ou rebente está a acontecer dentro do processo que serve LDAP e Kerberos. Um problema de DNS torna-se uma falha do diretório. E systemctl restart named custa um segundo, ao passo que reiniciar um DC é outro tipo de manhã.\nO que podes fazer enquanto está a acontecer? O BIND tem response rate limiting, allow-query, allow-recursion, blackhole, política por vista, e a opção de simplesmente não responder a clientes. O servidor interno tem dns forwarder e um ficheiro de log. Quando algo começa a martelá-lo, não há botão para rodar.\nJunta-lhe a cache que falta. Cada consulta de cliente é uma nova ida e volta para fora, por isso uma inundação de consultas custa ao DC uma consulta a montante por pacote em vez de um acerto na cache, e custa-lhe isso no mesmo processo que está a tentar emitir tickets Kerberos. Não precisas de um exploit para isso; precisas de uma manhã movimentada, de uma aplicação mal comportada, ou de alguém a apontar um scanner à VLAN errada. Se for sustentado, apresenta-se como autenticação lenta, e ninguém se lembra de olhar para o DNS.\nPortanto sim, mesmo com o DLZ no quadro, o BIND é o sítio mais seguro para isto. O módulo DLZ dá de facto ao named acesso aos dados do Samba, e isso é uma consideração real que este artigo já fez questão de sublinhar. Mas uma falha do named é uma falha de DNS e não do diretório, e neste desenho esse named nem sequer recebe consultas do parque. Os bugs são um facto de qualquer código. O raio de impacto e a alcançabilidade são coisas que escolhes.\nE não consegue construir o desenho deste artigo Há uma razão mais simples e mais definitiva para não ser este o backend aqui.\nNão há transferências de zona. A pipeline da secção seguinte (primário oculto, signer, servidores autoritativos independentes) começa com um AXFR a sair do DC. O SAMBA_INTERNAL não tem com que transferir. Também não há TSIG, por isso até a autenticação de que essa transferência precisaria está ausente. E não há assinatura, nem validação de nada do que reencaminha.\nPortanto, o resumo honesto do SAMBA_INTERNAL: é o backend que te deixa montar um domínio AD num laboratório num domingo à tarde sem configurar o BIND, e é muito bom nisso. O Samba diz «simple DNS setups» e fala a sério. Não é um resolver, nunca foi construído para ser o serviço DNS de um parque, e no momento em que quiseres assinatura, transferências, vistas, ACL, cache ou limitação de taxa, a resposta não é afiná-lo. Não tem esses botões. A resposta é o BIND.\nSe o estás a correr hoje com todos os clientes apontados para o DC, a correção não é urgente, mas também não é opcional: dá aos clientes um resolver validador a sério, e põe o dns forwarder do DC a apontar para ele, para que o DC responda pelas suas próprias zonas e por mais nada.\nE esta é a parte sobre a qual quero ser claro, porque «não uses DLZ» é repetido como se fosse uma regra de hardening: o DLZ não é a exposição. É o mecanismo de extração. O que importa não é que módulo está carregado no BIND, é quem tem permissão para falar com esse BIND, e o que acontece à zona a seguir. Um BIND com backend DLZ que só responde a um pedido de transferência do teu signer não é uma superfície de ataque em nenhum sentido interessante. Um DC com SAMBA_INTERNAL a receber todas as consultas de nomes de quatrocentos portáteis é-o, e muito. Só um dos dois aparece nas listas de verificação de hardening, e não é o que importa.\nHá duas coisas sobre o DLZ que são verdade e que vale a pena planear em vez de temer:\nO módulo está acoplado à versão do BIND. O Samba distribui um .so separado por versão do BIND, e o named.conf indica um em concreto. Uma atualização de versão principal do BIND significa que o módulo correspondente tem de estar no sítio, ou o named não arranca. É uma dependência de empacotamento a testar com antecedência, não uma propriedade de segurança. O named precisa de acesso aos dados do Samba, e é por isso que o Samba mantém um diretório dedicado com as partes de que o BIND precisa, em vez de lhe conceder o diretório privado inteiro. A concessão deve ser estreita; vale a pena verificar se ainda o é nos teus DC, já que é o único sítio onde o DLZ alarga de facto o que um comprometimento do named alcançaria. A razão pela qual o DLZ é a escolha certa aqui é o que ele permite: a interface DLZ do BIND suporta enumerar uma zona inteira, e é isso que torna possível, de todo, uma transferência de zona a partir de uma zona com backend DLZ. Essa transferência é o primeiro salto da pipeline, e é o BIND a fazê-la, o que significa que o resto da pipeline é configuração BIND normal e não nada de exótico.\nHá uma restrição que molda tudo a jusante, e vale a pena dizê-la com clareza, porque é fácil supor o contrário. Uma zona DLZ não pode ela própria ser assinada. A ISC é explícita sobre isso no BIND ARM: o DLZ «is unable to handle DNSSEC-signed data due to its limited API». Não podes pendurar um dnssec-policy na instrução dlz e dar o assunto por arrumado.\nO que podes fazer (e o que a ISC sugere para o DLZ no mesmo fôlego) é corrê-lo como primário oculto, com a assinatura feita por uma zona BIND normal que recebe os dados por transferência. É a secção seguinte, e a restrição é a razão de ter a forma que tem.\nConvém saber que isto é uma restrição do Samba e não uma lei do Active Directory. O servidor DNS da Microsoft faz assinatura online de zonas dinâmicas integradas no AD desde o Windows Server 2012. A zona é assinada no local, as chaves privadas replicam para os Key Masters através da própria replicação do AD, e as atualizações dinâmicas continuam a funcionar. No Windows, «assinar as partições AD» é uma opção real e a resposta à objeção da rotatividade vem incluída. (No Server 2008 R2 não era: podias assinar uma zona integrada no AD, mas não uma que aceitasse atualizações dinâmicas, e cada alteração obrigava a voltar a assinar à mão; é daí que vem o folclore de que as zonas AD não se podem assinar.)\nO Samba não tem equivalente. Nenhum dos backends assina: o servidor interno não tem DNSSEC nenhum, e o DLZ não consegue transportar dados assinados. Por isso, no Samba, a pipeline de transferir e assinar não é um desenho entre vários. É o caminho.\nA pipeline de publicação Agora a forma da coisa. Quatro papéis, e o DC está lá atrás, onde nada lhe chega.\nPublicar uma zona Active Directory a partir de um DC primário oculto Controlador de domínio \u0026#8212; primário oculto BIND com dlz_bind9, autoritativo a partir do diretório sem recursão \u0026#183; transfere só para o signer, com TSIG O host do diretório não aceita perguntas. A máquina de maior valor do parque não está ao alcance das máquinas que dependem dela. AXFR no refresh do SOA um poll \u0026#8212; o DLZ não faz notify Signer \u0026#8212; um secundário normal recebe a zona por transferência e serve-a assinada um segundo named no DC, ou um host próprio A zona DLZ não pode ser assinada em si. Por isso assina um secundário normal com a cópia \u0026#8212; e com os clientes fora da zona, não há rotatividade. transferência para fora a zona assinada Servidores autoritativos secundários simples da zona assinada sem chaves, sem caminho para o diretório Um comprometimento obtém uma cópia, não uma falsificação. Sem chave nos servidores virados para o parque, não se pode criar nenhum registo novo que valide. consultas respondidas com assinaturas Resolvers validadores para onde aponta o resolv.conf do cliente zonas internas reencaminhadas, árvore pública percorrida A validação acontece junto do cliente. A cadeia chega à âncora de confiança da raiz, porque a zona interna é uma delegação dentro de uma pública. sem DNS virado para clientes no DC A publicação corre num só sentido, do diretório para fora. Nada do que um cliente envia chega alguma vez ao topo. O DC é um primário oculto: serve a zona AD por transferência e não responde a mais nada. A instância de assinatura é uma zona secundária normal que guarda a cópia transferida; a zona DLZ em si não pode ser assinada, por isso a assinatura acontece sempre um salto mais à frente, seja esse salto um segundo named no DC ou um host separado. Os servidores autoritativos independentes são a única coisa que os clientes alguma vez veem, e são secundários da zona assinada. 1. O controlador de domínio: primário oculto. BIND com dlz_bind9, autoritativo para as zonas AD a partir do diretório. Recursão desligada. Nenhum serviço virado para os clientes. allow-transfer restrito apenas ao signer, com TSIG. Do ponto de vista da rede, o DC não serve DNS de todo, e a única coisa que alguma vez o consulta é a máquina seguinte.\n2. A instância de assinatura: uma zona BIND normal que recebe os dados por transferência. É aqui que vivem o inline-signing e o dnssec-policy, numa zona com o mesmo nome que guarda a cópia transferida. O BIND mantém a cópia não assinada que recebeu e a cópia assinada que publica como coisas separadas, e volta a assinar à medida que chegam novas transferências. Como é uma transferência e não um ficheiro partilhado, esta instância pode estar no próprio DC (um segundo named no seu próprio endereço) ou num host separado, e a configuração é quase idêntica num caso e noutro.\nA troca é a que parece: no DC é uma máquina a menos para correr, enquanto um host separado mantém as chaves privadas fora da máquina que guarda o diretório. Ambas são defensáveis, e a escolha não muda mais nada na pipeline. O que importa é que a assinatura acontece uma vez, num ponto definido, sob uma política de chaves: a diferença entre DNSSEC que operas e DNSSEC que expira às três da manhã.\n3. Os servidores autoritativos: a única coisa que os clientes veem. Secundários simples da zona assinada. Não guardam chaves, não assinam nada e não têm caminho para o diretório. Se um for comprometido, o atacante tem uma cópia de uma zona e nenhuma capacidade de forjar um registo novo que valide.\n4. Os resolvers. Resolvers recursivos validadores para o parque, que reencaminham condicionalmente as zonas internas para esses servidores autoritativos e percorrem a árvore pública para tudo o resto. É para estes que aponta o resolv.conf dos clientes.\nDesta disposição saem duas propriedades que vale a pena enunciar à parte, porque são o objetivo todo:\nA máquina que guarda o diretório não está ao alcance das máquinas que o usam. Um controlador de domínio é o host de maior valor do parque. Dar-lhe um serviço de rede virado para os clientes, que responde a UDP não autenticado de qualquer estação de trabalho, é uma má troca por um serviço que outras máquinas podem prestar. A assinatura acontece uma vez, num ponto definido. A objeção habitual a assinar uma zona AD é a rotatividade: o conteúdo muda demasiadas vezes para as assinaturas acompanharem. Essa objeção é, na verdade, uma objeção à disposição por omissão, não à assinatura. Com o registo dos clientes retirado, como a secção seguinte defende que tem de ser, a zona AD muda quando um controlador de domínio é promovido ou despromovido e praticamente nunca noutra altura. Uma zona escrita só por DC é uma zona estável, e uma zona estável é algo banal de assinar. Manter os clientes de fora não é apenas um controlo de segurança; é o que torna a zona sossegada o suficiente para ser assinada sem sobressaltos. Como a assinatura é realmente montada A forma acima é a parte importante, mas «uma zona BIND normal que recebe os dados por transferência» merece ser mostrada em vez de descrita, porque a primeira tentativa costuma naufragar ao tentar assinar diretamente o DLZ.\nNo DC, o lado DLZ fica deliberadamente aborrecido. Serve o diretório, entrega a zona a exatamente um par, e não faz mais nada:\nkey \u0026#34;transfer-to-signer\u0026#34; { algorithm hmac-sha256; secret \u0026#34;...\u0026#34;; }; options { recursion no; allow-query { key transfer-to-signer; localhost; }; allow-transfer { key transfer-to-signer; }; notify no; }; dlz \u0026#34;AD DNS Zone\u0026#34; { database \u0026#34;dlopen /usr/lib64/samba/bind9/dlz_bind9_18.so\u0026#34;; }; Repara que o .so traz a versão principal do BIND no nome. É o acoplamento de versões da secção anterior tornado concreto: uma atualização do BIND precisa do módulo Samba correspondente no sítio antes de o named arrancar.\nDo lado da assinatura, a zona é um secundário comum com as opções de assinatura acrescentadas. É esta a parte que não pode viver no DLZ:\ndnssec-policy \u0026#34;ad-internal\u0026#34; { keys { ksk lifetime P365D algorithm ecdsa256; zsk lifetime P90D algorithm ecdsa256; }; }; zone \u0026#34;ad.example.com\u0026#34; { type secondary; primaries { 192.0.2.10 key transfer-to-signer; }; file \u0026#34;ad.example.com.axfr\u0026#34;; inline-signing yes; dnssec-policy \u0026#34;ad-internal\u0026#34;; allow-transfer { key transfer-to-public; }; also-notify { 192.0.2.20; 192.0.2.21; }; }; Que isto funcione num secundário é o detalhe que sustenta tudo, e o ARM di-lo diretamente:\nIf yes, BIND 9 maintains a separate signed version of the zone. An unsigned zone is transferred in or loaded from disk and the signed version of the zone is served with, possibly, a different serial number.\nPortanto, o BIND mantém duas cópias: a não assinada que recebeu, escrita em file, e a assinada que serve, escrita ao lado com a extensão .signed. Chega uma transferência, a versão assinada é regenerada, e os servidores a jusante recebem um notify, porque a esta altura é uma zona perfeitamente comum. O inline-signing yes é, aliás, o valor por omissão quando há um dnssec-policy associado; está escrito acima porque uma configuração que diz o que faz vale a linha.\nA rotação de chaves vem com a política e não com um cron job. As rotações da ZSK não precisam de intervenção nenhuma; as rotações da KSK precisam de que o novo DS chegue ao pai, que é a automação CDS/CDNSKEY de mais adiante neste artigo. rndc dnssec -status ad.example.com diz-te em que ponto do seu ciclo de vida está cada chave.\nSe esse bloco corre no DC ou num host próprio é uma questão de para que endereço aponta primaries. No DC é uma segunda instância de named num segundo endereço, a transferir da primeira pelo loopback ou por uma interface de gestão. É isso que «o BIND com DLZ pode ser o signer» significa na prática: o mesmo software, a mesma máquina se quiseres, mas a assinatura acontece na cópia transferida e não na zona DLZ.\nO único senão operacional é o notify, e está do lado do DLZ. O manual da ISC é direto: o DLZ «has no built-in support for DNS notify», por isso os servidores secundários não são informados automaticamente das alterações às zonas na base de dados. O Samba pode alterar um registo no diretório e a instância DLZ não faz ideia de que devia avisar alguém.\nPor isso, o primeiro salto é um poll, não um push. O signer atualiza-se pelo temporizador SOA da zona que está a transferir, o que significa que:\nA propagação desde uma alteração no DC até um registo assinado e publicado é limitada por esse intervalo de refresh, não por segundos. Promove um DC e os seus novos registos _msdcs aparecem a jusante até um refresh mais tarde. Esse intervalo é o botão a rodar se o atraso importar. É uma troca contra a frequência com que queres que o DLZ seja consultado, o que traz à baila a outra coisa que a ISC diz sobre o DLZ: faz consultas à base de dados em tempo real sem cache e é «not recommended for use on high-volume servers». Ambas as coisas são argumentos a favor desta topologia, não contra. O único cliente que a instância DLZ alguma vez tem é o signer, a perguntar uma vez por refresh. A carga real de consultas do parque cai nos servidores autoritativos independentes, que servem um ficheiro de zona assinado simples à velocidade máxima. Tudo o que está a jusante do signer é convencional: os servidores autoritativos são secundários da zona assinada, recebem um notify como deve ser, e nunca tocam no diretório nem numa chave.\nOs clientes não podem escrever na zona que contém os localizadores Esta é a importante, e é uma regra de desenho, não uma definição.\nO Active Directory regista registos dinamicamente. Uma máquina junta-se ao domínio e regista-se a si própria; um DC arranca e regista os registos SRV que anunciam os seus serviços. A atualização dinâmica «segura» significa que essas atualizações são autenticadas: a máquina prova que é quem diz ser com as suas próprias credenciais, e há uma ACL por registo, para que uma máquina, em geral, só possa modificar um registo que criou.\nLê isso com atenção, porque a garantia é mais estreita do que parece à primeira vista. A atualização dinâmica segura autentica quem está a escrever. Não avalia o que o registo significa. E o conjunto de contas com direito a escrever é muito mais largo do que as pessoas supõem: numa zona integrada no AD por omissão, o grupo Authenticated Users tem Create All Child Objects no contentor da zona no diretório, porque o ADIDNS guarda cada registo como um objeto AD debaixo de CN=MicrosoftDNS,DC=DomainDnsZones. Não só as contas de máquina: qualquer conta autenticada no domínio, incluindo a de quem abriu o anexo da fatura esta manhã.\nO que produz dois modos de falha numa zona que contém tanto registos de clientes como localizadores de serviços:\nOs nomes que ainda não existem não pertencem a ninguém. As ACL por registo protegem um registo que já tem dono. Um nome que nunca foi registado não tem objeto onde aplicar uma ACL, por isso a primeira conta a criá-lo fica com ele. É esse o mecanismo por trás de toda a família de ataques ADIDNS, sendo o mais afiado um wildcard: cria * e todos os nomes da zona que ninguém reivindicou explicitamente (erros de escrita, hosts desativados, wpad) resolvem para o atacante. Os registos existentes ficam intactos, e é exatamente por isso que passa despercebido.\nO raio de impacto inclui os localizadores. Os registos debaixo de _msdcs são a forma como todos os clientes do domínio encontram um controlador de domínio e um KDC. São os registos mais críticos para a segurança que tens e, numa implementação por omissão, estão na mesma zona em que quatrocentos portáteis escrevem sempre que recebem uma concessão DHCP.\nQuem pode escrever em que zona: uma zona combinada contra uma separação por escritor Por omissão \u0026#8212; uma zona ad.example.com localizadores e registos de clientes juntos _ldap._tcp.dc._msdcs. SRV _kerberos._udp SRV dc01 A laptop-042 A * A \u0026#8592; não reivindicado um nome que ninguém registou não tem ACL a aplicar todas as máquinas associadas podem escrever tudo Uma conta de máquina comprometida pode reescrever os registos que localizam um controlador de domínio. Separada por quem escreve ad.example.com \u0026#8212; só DC nenhum cliente tem caminho de atualização para esta zona _ldap._tcp.dc._msdcs. SRV _kerberos._udp SRV dc01 A delegação NS dyn.ad.example.com ou uma zona Samba separada com ACL própria laptop-042 A todas as máquinas associadas podem escrever sem caminho para localizadores Quem pode escrever o quê. À esquerda, uma zona, e todas as máquinas associadas são escritores autorizados na zona que contém os localizadores dos DC. À direita, a zona AD é escrita só pelos DC, e os registos dos clientes caem numa subzona separada onde o pior que uma máquina comprometida pode fazer é mentir sobre si própria. Por isso, a regra: a zona que contém os localizadores é escrita pelos controladores de domínio e por mais nada. O registo dinâmico dos clientes vai para outro sítio.\nOutro sítio pode ser uma de duas coisas, e ambas servem:\nUma subzona delegada servida noutro lado. A zona AD tem uma delegação NS para, digamos, dyn.ad.example.com, e os registos caem num servidor separado que aceita as atualizações. As partições do Samba nunca recebem uma escrita de cliente. Uma zona separada no Samba com a sua própria ACL de atualização. Continua no diretório, mas é uma zona própria, por isso uma escrita de cliente não tem caminho para _msdcs nem para os registos de um DC. A primeira dá a separação mais dura; a segunda dá menos trabalho a correr. O que falha a regra não é nenhuma delas. É o valor por omissão, em que as duas coisas vivem juntas. Que é como a maioria dos domínios ainda funciona, porque ninguém o escolheu e ninguém voltou lá para ver.\nE há um segundo dividendo, o que liga isto de volta à pipeline. Uma zona escrita só por controladores de domínio é uma zona que quase nunca muda: uma promoção de DC, uma despromoção de DC, e de resto silêncio. Toda a rotatividade numa zona AD por omissão é registo de clientes. Tira isso e a objeção a assinar as partições AD vai com ele: não há um fluxo de atualizações atrás do qual as assinaturas tenham de correr, por isso assiná-la é rotina e não uma luta. A disciplina de escrita e a assinatura são a mesma decisão vista duas vezes.\nAo lado de qualquer uma delas, há uma permissão que deves ir verificar, e num DC Microsoft é a correção direta. Como os registos ADIDNS são objetos do diretório, o direito vem de uma ACL do AD e não de nada no protocolo DNS: Authenticated Users com Create All Child Objects no contentor da zona. Apertar isso é a mitigação mais limpa para o problema dos nomes não reivindicados e do wildcard, e em muitos parques a permissão pode ser retirada por completo quando souberes o que precisa realmente de se registar a si próprio. O DNS AD do Samba guarda os seus registos no diretório da mesma maneira, por isso aplica-se a mesma pergunta: vai ver o que o teu contentor de zona concede realmente.\nMas espera: em 2026 os clientes deviam sequer registar-se? Tudo o que está acima assume que a atualização dinâmica dos clientes é algo de que precisas e que estás a tentar tornar seguro. Antes de aceitar isso, vale a pena fazer a pergunta que ninguém faz, porque a resposta mudou desde que este comportamento foi desenhado.\nO registo dinâmico no DNS foi construído para um desktop. Uma caixa debaixo de uma secretária, um cabo de rede, um endereço que manteve durante anos. Nesse mundo, uma máquina registar o seu próprio nome era arrumado e basicamente verdade.\nAgora olha para o que é um cliente em 2026. Acorda no wi-fi de casa. Chega ao escritório e liga-se à rede sem fios da empresa. Vai para uma docking station e apanha também um endereço com fios. Alguém liga a VPN e aparece um adaptador de túnel com um terceiro endereço. Vão para um café, partilham a ligação do telemóvel, e a VPN volta com um quarto. É uma máquina, um nome e meia dúzia de endereços num dia de trabalho, e por omissão vai tentar registar uma boa parte deles.\nPor isso a zona enche-se de afirmações que um dia foram verdade.\nO Windows regista todos os adaptadores que tem, a menos que alguém tenha andado a desmarcar Register this connection\u0026rsquo;s addresses in DNS interface a interface. Um portátil na dock e na VPN é uma máquina com três adaptadores ativos e uma opinião sobre todos eles. Vários registos A para um nome não são um estado de erro, são o resultado normal. Uma consulta devolve-os todos, os clientes tentam-nos pela ordem que lhes apetecer, e as ligações a esse nome falham na proporção dos endereços que estão mortos. É este o mecanismo por trás de «o suporte remoto vê a máquina num minuto e no seguinte já não». Os endereços da VPN são os piores, porque um endereço de túnel é válido durante uma hora e o registo sobrevive-lhe. O túnel cai, o endereço do pool vai para outra pessoa, e o nome aponta agora para um colega. As docking stations baralham a própria identidade. A menos que esteja configurado o pass-through do endereço MAC, a concessão pertence à dock e não ao portátil, por isso num parque de secretárias partilhadas os nomes, as concessões e as máquinas afastam-se uns dos outros todos os dias. E a propriedade torna-o permanente. Um registo só pode ser atualizado pela conta que o criou. Quando um registo foi feito pelo DHCP com uma credencial e a máquina tenta depois atualizá-lo com a sua, a atualização falha, em silêncio, e o endereço desatualizado fica exatamente onde está. A história da limpeza também não é o salvamento que parece. O Samba tem scavenging desde a 4.9, mas vem desligado por omissão (dns zone scavenging = yes, com samba-tool dns zoneoptions --aging=1), e o próprio Samba diz que «should only be enabled on new zones or new installations», porque versões antigas marcavam os registos dinâmicos como estáticos e os estáticos como dinâmicos. Nos parques com mais probabilidade de estarem cheios de lixo, os que correm há anos, a ferramenta para os limpar é precisamente a que te aconselham a não ligar. Também já teve um CVE só seu.\nPor isso, faz a pergunta diretamente: o que é que consome de facto o registo A de um portátil?\nNa maioria das organizações, muito pouco. Os utilizadores ligam-se a servidores; os servidores não se ligam a portáteis. Os consumidores genuínos são as ferramentas de suporte remoto, o RDP para uma estação de trabalho pelo nome, e o inventário ou a monitorização; e quase todas essas ferramentas mantêm o seu próprio inventário e trabalham a partir de um agente que dá sinal de vida, porque nunca puderam contar com o DNS para clientes móveis.\nO que sugere inverter o valor por omissão:\nOs servidores e a infraestrutura recebem registos a partir do provisionamento. Com NetBox e Ansible já no quadro, o registo é criado pela mesma coisa que criou a máquina, está correto por construção, e é removido quando a máquina o for. O parque fixo com fios pode receber registos do DHCP se algo precisar realmente deles, com uma única credencial como dona, para que as atualizações não falhem. Os clientes móveis não registam nada. São consumidores de DNS, não publicadores. Se algo precisa de chegar a um portátil, precisa de um agente, não de um registo A. Acabas no mesmo sítio onde o argumento de segurança te pôs, vindo de uma direção completamente diferente. Menos escritores significa uma superfície ADIDNS mais pequena, uma zona que não está cheia de afirmações caducadas e, de volta à pipeline, uma zona sossegada o suficiente para ser assinada sem pensar nisso.\nO argumento de segurança diz que os clientes não podem escrever na zona que contém os localizadores. O argumento operacional pergunta porque é que estão sequer a escrever no DNS. Em 2026, para uma frota que muda de endereço cinco vezes por dia, «não estão» é uma resposta perfeitamente boa, e bastante menos trabalho do que tornar segura a confusão que fazem.\nVistas separadas, e de onde vem a confiança A última peça junta as duas metades do artigo.\nHá duas vistas do espaço de nomes. Uma zona pública, publicada na internet, com o punhado de nomes de que o mundo precisa. E uma vista interna (o conteúdo derivado do AD, cada host associado, cada localizador de serviço, a topologia de sites) que o mundo não tem nada que ver. Esse conteúdo é um mapa do parque, e deve ser inalcançável e intransferível a partir de fora.\nMas a confiança para a vista interna vem do lado público, e é isso que torna este desenho melhor do que a habitual ilha de DNS interno:\nexample.com é pública e assinada, com o seu DS no pai e uma cadeia até à raiz. ad.example.com é delegada a partir dela. O pai público publica a delegação e um DS para a chave da zona interna. Os servidores autoritativos internos servem o ad.example.com assinado. Os resolvers internos validam-no (raiz → com → example.com → ad.example.com) sem usar mais nada além da âncora de confiança da raiz que já tinham. Sem âncora de confiança local. Sem ilha. Sem chave distribuída à mão. Os dados nunca saem do edifício, e o caminho de validação é o caminho público normal. Quando acrescentas um resolver, ele valida os nomes internos corretamente sem configuração DNSSEC nenhuma.\nSendo franco quanto à troca, porque há uma. Publicar uma delegação e um DS na zona pública significa que a existência de ad.example.com, e os nomes dos seus servidores de nomes, são públicos. O conteúdo não é, e nunca será, mas disseste ao mundo que a zona existe. Em troca, todos os resolvers que tens validam os nomes internos contra a raiz verdadeira. É uma boa troca para a maioria dos parques, e deve ser deliberada, não uma surpresa.\nDuas coisas a acertar ao lado disto:\nMantém a vista interna não enumerável e intransferível. O allow-transfer nos servidores autoritativos internos é para o signer e para os teus próprios secundários, mais nada. E lembra-te de que a negação autenticada NSEC deixa quem consegue consultar a zona percorrê-la de uma ponta à outra; o NSEC3 sobe esse custo, mas o verdadeiro controlo é que quem está de fora não consegue chegar aos servidores de todo. Automatiza o DS. Um DS no pai que deixa de corresponder à chave do filho leva o domínio interno inteiro para SERVFAIL. O CDS/CDNSKEY existe para que o filho possa sinalizar uma mudança de chave e o pai a possa apanhar sem que um humano edite um registo a meio de uma rotação. Se a zona pai estiver num registrar ou fornecedor que o suporte, usa-o; se não, o procedimento de rotação tem de ficar escrito antes da primeira rotação, não durante. Pôr o Windows e o Linux a validar de verdade Tudo até aqui foi sobre publicar uma zona que pode ser verificada. Nada disso faz coisa nenhuma enquanto algo do lado do cliente não insistir em verificá-la. Uma zona perfeitamente assinada e um cliente que nunca verifica uma assinatura dão exatamente a mesma experiência que uma zona não assinada, até ao dia em que não dão.\nSó há dois sítios onde a validação pode acontecer, e a diferença entre eles é a diferença entre um controlo de segurança e uma sugestão educada.\nValidar no resolver, e confiar no bit AD. O cliente pergunta a um resolver, o resolver faz a criptografia e comunica o resultado ligando um bit (AD, authenticated data) na resposta. O cliente acredita no bit. É o modelo que o Windows usa, e só é tão forte quanto o caminho entre o cliente e o resolver, porque qualquer coisa que consiga responder como se fosse o resolver consegue ligar esse bit.\nValidar no próprio cliente. A máquina corre o seu próprio resolver validador, por isso o «caminho até ao resolver» é um socket de loopback dentro da máquina e já não sobra nada para falsificar. É mais forte e, no Linux, é perfeitamente alcançável.\nPor omissão, nada Antes de configurar seja o que for, vale a pena ver o que uma estação de trabalho Linux comum faz de origem. Isto é uma máquina Fedora 44, systemd 259, sem alterações:\n$ resolvectl status | head -3 Global Protocols: LLMNR=resolve -mDNS -DNSOverTLS DNSSEC=no/unsupported resolv.conf mode: stub $ grep options /etc/resolv.conf options edns0 trust-ad $ dig +dnssec cloudflare.com A | grep flags ;; flags: qr rd ra; QUERY: 1, ANSWER: 3, AUTHORITY: 0, ADDITIONAL: 1 Lê os três juntos, porque contam uma pequena história.\nO stub está configurado com trust-ad: disseram-lhe para acreditar no bit AD. O systemd-resolved reporta DNSSEC=no/unsupported, por isso não está a validar nada por si. E a resposta para uma zona assinada volta com as flags qr rd ra e sem ad: nada em todo esse caminho afirmou ter validado.\nIsso não é uma má configuração. É o valor por omissão. Um cliente pode ser instruído a confiar numa afirmação que nada na cadeia está a fazer. Ninguém está a verificar nada. Vale a pena ficares um minuto com isso antes de configurares mais alguma coisa.\nLinux Três opções, por ordem crescente de quão pouco tens de confiar na rede.\n1. systemd-resolved, a validar localmente. Um drop-in, em vez de editar o ficheiro distribuído:\n# /etc/systemd/resolved.conf.d/dnssec.conf [Resolve] DNSSEC=yes DNSOverTLS=opportunistic Depois systemctl restart systemd-resolved e confirma com resolvectl status que a linha diz agora DNSSEC=yes.\nA definição com que deves ter cuidado é a do meio. DNSSEC=allow-downgrade parece um compromisso sensato e não é um controlo de segurança; o próprio resolved.conf(5) o diz:\nNote that this mode makes DNSSEC validation vulnerable to \u0026ldquo;downgrade\u0026rdquo; attacks, where an attacker might be able to trigger a downgrade to non-DNSSEC mode by synthesizing a DNS response that suggests DNSSEC was not supported.\nUm atacante que consegue forjar respostas é exatamente o atacante que o DNSSEC existe para travar, por isso um modo que ele pode desligar forjando uma resposta não te compra nada contra ele. É yes ou é decoração.\n2. Um resolver validador a sério no host. O validador do systemd-resolved é conveniente, não exaustivo. Onde importa, corre Unbound ou BIND no loopback e aponta o stub para lá:\n# unbound: validate against the root anchor, refuse to be stripped server: module-config: \u0026#34;validator iterator\u0026#34; auto-trust-anchor-file: \u0026#34;/var/lib/unbound/root.key\u0026#34; harden-dnssec-stripped: yes val-permissive-mode: no # the internal zone is reached like any other name — no local anchor needed forward-zone: name: \u0026#34;ad.example.com.\u0026#34; forward-addr: 192.0.2.53 O equivalente no BIND é uma linha, dnssec-validation auto;, que usa a sua cópia embutida da âncora da raiz e gere a rotação por ti.\n3. Em todo o parque, nos resolvers que já corres. São a fase quatro da pipeline mais acima neste artigo. A validação acontece lá, os clientes confiam no bit AD, e o salto entre eles é aquilo que tens de proteger: com DoT, ou com uma rede sobre a qual estejas disposto a fazer essa suposição.\nE repara no que não está em nenhuma dessas configurações: uma âncora de confiança para a zona interna. Como ad.example.com é uma delegação dentro de uma zona assinada publicamente, cada um destes valida os nomes internos pela cadeia normal a partir da raiz. É o desenho da secção anterior a pagar-se a si próprio. A alternativa é empurrar uma âncora local para todos os clientes e resolvers do parque, e voltar a empurrá-la a cada rotação.\nWindows Primeiro o importante, porque é constantemente mal compreendido: o DNS Client do Windows não valida DNSSEC. Não faz criptografia nenhuma, não verifica nenhuma assinatura e não guarda nenhuma âncora de confiança. É um resolver stub, e sempre foi.\nO que podes fazer é obrigá-lo a recusar respostas que não foram validadas pelo servidor em seu nome. É a Name Resolution Policy Table, e funciona por espaço de nomes, não globalmente:\n# Require validated answers for the internal zone Add-DnsClientNrptRule -Namespace \u0026#34;.ad.example.com\u0026#34; ` -DnsSecEnable -DnsSecValidationRequired # What is actually in force on this machine, including from Group Policy Get-DnsClientNrptPolicy -Effective Get-DnsClientNrptRule Para o parque, a mesma coisa vive na Group Policy em Computer Configuration → Policies → Windows Settings → Name Resolution Policy: cria uma regra para o espaço de nomes, marca a opção DNSSEC, e marca a exigência de que o cliente verifique que os dados foram validados pelo servidor DNS.\nDaí decorrem duas coisas, e ambas importam.\nAlgo a montante continua a ter de fazer a validação. A regra NRPT faz o cliente exigir o bit AD; não cria um. O resolver para onde esses clientes apontam tem de ser um resolver validador, ou todos os nomes desse espaço de nomes falham.\nE é por isso que a regra NRPT tem opções de IPsec ao lado. A Microsoft pô-las lá pela razão exposta no início desta secção: exigir um bit que qualquer atacante no caminho pode ligar não é grande exigência. Se dependes do modelo em que o resolver valida numa rede sem confiança, o último salto precisa de proteção: IPsec entre cliente e resolver, ou DoT onde o resolver o suporte.\nFalha fechado, por isso implementa-o por esta ordem Forçar a validação converte uma classe de comprometimento silencioso numa classe de falha ruidosa. É a troca certa, e continua a ser uma falha: um RRSIG expirado, um DS no pai que já não corresponde depois de uma rotação, ou um resolver que não consegue chegar à zona pai produzem todos SERVFAIL, e SERVFAIL para _ldap._tcp.dc._msdcs significa que o domínio está em baixo, não degradado.\nPor isso faz assim, por esta ordem:\nLiga a validação primeiro nos resolvers, e deixa os clientes em paz. Vigia os SERVFAIL nos logs dos resolvers durante umas semanas: é aqui que encontras a zona que está discretamente avariada há um ano. Automatiza o DS antes de forçar seja o que for, como na secção anterior. A maioria das falhas DNSSEC autoinfligidas é uma rotação em que o pai nunca foi atualizado. Depois força os clientes, um espaço de nomes de cada vez, começando pela tua própria estação de trabalho e por uma OU de teste em vez do parque inteiro. A falha contra a qual estás a construir é um cliente receber um controlador de domínio forjado. A falha que estás a arriscar é um cliente não receber nada. A segunda é recuperável e óbvia; a primeira não é nem uma coisa nem outra. Vais saber da falha em menos de um minuto. Da outra nunca terias sabido.\nCifrar o último salto: DoT e DoH nos resolvers internos A secção sobre validação deixou uma coisa pendurada. No modelo em que o resolver valida (o que o Windows te dá), o cliente está a confiar num único bit ligado pelo resolver, e esse bit só vale o caminho por onde viajou. Alguma coisa tem de proteger esse caminho.\nO BIND suporta nativamente os dois transportes cifrados, por isso isto é um trabalho de configuração e não de compras:\nDNS over TLS: um bloco tls referenciado a partir de listen-on, por convenção na porta 853. DNS over HTTPS: o mesmo bloco tls mais um bloco http, na 443. DoT de saída, porque forwarders aceita um transporte TLS por endereço ou para a lista inteira. Transferências de zona sobre TLS, porque a instrução primaries de uma zona type secondary também aceita um, o que é diretamente útil para a pipeline mais acima neste artigo. Primeiro, tem claro o que isto compra, porque o DoT e o DNSSEC são confundidos constantemente e não são alternativas. O DNSSEC autentica os dados, desde a zona que os publicou. O DoT protege a conversa com o resolver. Um sobrevive a um resolver hostil e a uma rede hostil entre resolvers; o outro impede a máquina no teu wi-fi de ler e reescrever o que o teu portátil perguntou. Queres os dois, e nenhum substitui o outro. Cifrar o salto até um resolver que não valida é uma conversa privada com algo a quem ainda se pode mentir.\nServi-lo tls internal-resolver { key-file \u0026#34;/etc/pki/dns/resolver.key\u0026#34;; cert-file \u0026#34;/etc/pki/dns/resolver.pem\u0026#34;; protocols { TLSv1.3; }; }; http internal-doh { endpoints { \u0026#34;/dns-query\u0026#34;; }; }; options { dnssec-validation auto; listen-on port 53 { 192.0.2.53; }; listen-on port 853 tls internal-resolver { 192.0.2.53; }; listen-on port 443 tls internal-resolver http internal-doh { 192.0.2.53; }; listen-on-v6 port 853 tls internal-resolver { 2001:db8::53; }; }; O certificado é o trabalho a sério, e é a parte que se salta. Um cliente que verifica (que é o objetivo todo) precisa de um certificado válido para o nome com que foi configurado, emitido por algo em que já confia. Isso significa a tua CA interna e a tua automação de certificados existente, não a palavra-chave ephemeral. O ephemeral gera um certificado autoassinado descartável; existe para poderes provar que o listener funciona, e não vale nada para um cliente que esteja de facto a verificar.\nReencaminhar por cima dele Se esses resolvers reencaminham para algum lado em vez de percorrerem a árvore eles próprios, o salto a montante também pode ser cifrado, e há aqui uma distinção que vale a pena acertar:\ntls upstream { ca-file \u0026#34;/etc/pki/tls/certs/ca-bundle.crt\u0026#34;; remote-hostname \u0026#34;dns.example.net\u0026#34;; }; options { forwarders port 853 tls upstream { 192.0.2.1; }; }; Sem remote-hostname, tens cifra sem autenticação: o tráfego é ilegível para um observador passivo, e um atacante ativo que consiga intercetar a ligação limita-se a apresentar o seu próprio certificado. Com remote-hostname e ca-file, o BIND verifica com quem está a falar. A primeira vale alguma coisa. Só a segunda merece ser chamada controlo.\nA metade do cliente não é simétrica É aqui que um parque misto se torna incómodo, e é a razão para configurar os dois transportes em vez de escolher um.\nO Linux faz DoT como deve ser. O systemd-resolved aceita DNSOverTLS=yes para o modo estrito, e o servidor pode receber o nome contra o qual verificar:\n[Resolve] DNS=192.0.2.53#resolver.ad.example.com DNSOverTLS=yes DNSSEC=yes Tal como com DNSSEC=, a definição do meio é a armadilha: DNSOverTLS=opportunistic recua para texto claro quando o TLS não está disponível, o que um atacante capaz de interferir com a ligação consegue arranjar.\nO Windows faz DoH, e não DoT. O suporte DoH no cliente chegou com o Windows 11 e o Server 2022, configurado por servidor com um modelo:\n$doh = \u0026#34;https://resolver.ad.example.com/dns-query\u0026#34; netsh dnsclient add encryption server=192.0.2.53 dohtemplate=$doh O DoT, à data em que escrevo, só apareceu em builds Insider. Por isso, no Windows lançado, a opção cifrada é DoH ou nada, e é exatamente por isso que a secção NRPT mais acima recorreu antes ao IPsec.\nDaí servir os dois a partir da mesma instância BIND. DoT para a frota Linux e para tudo o resto que o fale, DoH para o Windows, um resolver, um certificado.\nQual, e onde Para um resolver interno, o DoT é o melhor transporte e o DoH é a resposta de compatibilidade.\nO DoT está na sua própria porta. Podes vê-lo, permiti-lo, negá-lo, e alertar sobre tudo o que faça DNS sem ser por ele. A vantagem do DoH (indistinguível do tráfego web normal na 443) é um benefício real numa rede hostil e um incómodo na tua, onde conseguir distinguir o que é DNS é uma funcionalidade pela qual pagaste. No parque que controlas, prefere o transporte que consegues observar, e corre o DoH porque o Windows não te deixa escolha, não porque seja melhor.\nJá que estás aí: cifra as transferências A pipeline mais acima neste artigo move a zona AD por AXFR, e a secção das vistas separadas sublinhou que o seu conteúdo é um mapa do parque. O TSIG autentica essas transferências; não as esconde. Como a instrução primaries de um secundário aceita uma configuração TLS, a transferência também pode correr sobre TLS (RFC 9103, se quiseres a norma):\nzone \u0026#34;ad.example.com\u0026#34; { type secondary; primaries { 192.0.2.10 port 853 tls xfr-tls key transfer-to-signer; }; ... }; Autenticada pela chave, cifrada pelo transporte. Se algum salto dessa pipeline atravessar uma ligação entre sites, um hipervisor que partilhas, ou qualquer coisa onde não porias de bom grado um hub, vale os vinte minutos.\nO que não resolve Não é validação. Já tratado acima, e vale a pena repetir, porque os fornecedores vendem «DNS seguro» querendo dizer só cifra. Não esconde nada do resolver. O resolver vê todas as consultas por inteiro. A cifra protege o caminho, não a privacidade da consulta perante o operador, o que não tem mal nenhum quando o operador és tu. Não faz nada por um cliente que não verifica o certificado, e os modos oportunistas podem ser rebaixados exatamente pelo atacante que te preocupa. E não é razão para pôr um listener no controlador de domínio. DNS cifrado no DC seria resolver lindamente o problema errado. O DC continua a não responder a ninguém. Como verificar o que tens Comandos para correr contra o teu próprio parque. Os resultados são a parte interessante, e um ou dois deles costumam ser leitura desconfortável da primeira vez.\n# Walk the tree yourself, one delegation at a time dig +trace dc01.ad.example.com # Validate, and show the chain being built delv +rtrace +vtrace ad.example.com SOA # Is the resolver you are pointed at actually validating? # A deliberately broken test name must come back SERVFAIL, not an address dig @\u0026lt;resolver\u0026gt; dnssec-failed.org A # What does the estate advertise as a domain controller? dig SRV _ldap._tcp.dc._msdcs.\u0026lt;domain\u0026gt; dig SRV _kerberos._udp.\u0026lt;domain\u0026gt; # Is a DC answering for names it has no business answering? # Ask it for something it is not authoritative for. \u0026#34;recursion requested # but not available\u0026#34; is the answer you want. An actual address means it is # serving the estate — recursing if it is BIND, relaying to the forwarder # if it is SAMBA_INTERNAL. Either way it should not be doing that. dig @\u0026lt;dc\u0026gt; www.example.org A # Is the DC configured as the estate\u0026#39;s DNS relay? grep -E \u0026#39;dns forwarder|server services\u0026#39; /etc/samba/smb.conf # Will a DC hand its zone to anybody who asks? dig @\u0026lt;dc\u0026gt; AXFR ad.example.com # Which backend is this DC running, and does named have the module? grep -r dlz /etc/named.conf /var/lib/samba/bind-dns/ 2\u0026gt;/dev/null samba-tool dns query \u0026lt;dc\u0026gt; \u0026lt;domain\u0026gt; @ ALL # Is the internal zone chained to the public parent? dig DS ad.example.com @\u0026lt;public-authoritative-for-example.com\u0026gt; # What does the local stub actually do with the AD bit, and is the # hop to the resolver encrypted? resolvectl status # DNSSEC= and DNSOverTLS= per link grep options /etc/resolv.conf # trust-ad, trusting whom exactly? # Did anything in the path claim to have validated? Look for \u0026#34;ad\u0026#34; in the flags dig +dnssec ad.example.com SOA | grep flags # Validate independently of whatever the local resolver believes delv ad.example.com SOA # \u0026#34;fully validated\u0026#34; is the line you want # Is the resolver actually listening for DoT, and does its certificate # match the name clients are configured with? kdig +tls @192.0.2.53 ad.example.com SOA openssl s_client -connect 192.0.2.53:853 \\ -servername resolver.ad.example.com \u0026lt;/dev/null 2\u0026gt;/dev/null \\ | openssl x509 -noout -subject -dates E num cliente Windows, para ver se está sequer a exigir alguma coisa:\nGet-DnsClientNrptPolicy -Effective # the rules actually in force Resolve-DnsName ad.example.com -DnssecOk Get-DnsClientDohServerAddress # is the hop to the resolver encrypted? As duas que mais vezes trazem surpresas são a verificação da recursão e a tentativa de AXFR. Se um DC responder a qualquer uma delas para um cliente arbitrário, a pipeline deste artigo não está montada, diga o que disser o diagrama na wiki.\nA terceira é resolvectl status numa máquina em que ninguém mexeu. DNSSEC=no/unsupported ao lado de trust-ad no resolv.conf é o estado normal de um desktop Linux, e significa que o trabalho de assinatura descrito acima não está, neste momento, a ser verificado por ninguém.\nA versão curta Um resolver nasce a conhecer os servidores raiz e uma chave, e aprende tudo o resto por lhe dizerem. Os nomes são encontrados descendo por delegações, e os serviços são encontrados pedindo um registo SRV; por isso, quando um cliente começa a fazer Kerberos com um controlador de domínio, a identidade desse controlador de domínio veio de uma resposta DNS. A descoberta por DNS está certa e não tem mal. A autorização por DNS não está, e uma quantidade surpreendente de infraestrutura fá-la na mesma, discretamente.\nO DNSSEC é o que torna essas respostas verificáveis: assinaturas em cada conjunto, um DS em cada pai, uma cadeia até uma única âncora de confiança na raiz, e negação autenticada para que um nome não possa ser feito desaparecer. Compra autenticação da origem e integridade, não privacidade nem correção. Assina o que quer que a zona diga, e é por isso que não pode salvar uma zona que máquinas sem confiança podem escrever. E precisa de um pai: um TLD interno inventado não tem onde pôr um DS, por isso .local, .lan, .internal e home.arpa deixam-te todos ou sem assinatura ou a correr uma ilha privada de chaves distribuídas à mão.\nPara um domínio Active Directory, isso produz um desenho e não uma lista de definições. Usa uma delegação dentro de uma zona pública de que és dono, para que a confiança desça pela cadeia normal a partir da raiz enquanto os dados nunca saem. Serve as partições AD com BIND e dlz_bind9 (o DLZ não é o risco, é como tiras a zona do diretório) e deixa o DC ser um primário oculto que transfere para fora e não responde a mais ninguém. Uma zona DLZ não pode ela própria ser assinada, por isso a assinatura é uma zona secundária normal que guarda a cópia transferida, com inline-signing e um dnssec-policy: um segundo named no DC se quiseres menos máquinas, um host separado se quiseres as chaves privadas fora do diretório. Seja como for, é assinada uma vez, num ponto definido, sob uma política de chaves, e o primeiro salto é um poll e não um push, porque o DLZ não consegue enviar um notify. Publica a partir de servidores autoritativos independentes que não guardam chaves e não têm caminho para o diretório.\nE mantém os clientes fora da zona que importa. A atualização dinâmica segura autentica o escritor, não o significado, e numa zona integrada no AD por omissão os escritores são os Authenticated Users (todas as contas, não só todas as máquinas), por isso uma zona que contém tanto registos de portáteis como localizadores _msdcs está a um utilizador vítima de phishing de um cliente ouvir, com uma assinatura perfeitamente válida, que o controlador de domínio está noutro sítio. Os registos dos clientes pertencem a uma subzona, delegada para fora ou separada no Samba, onde o pior que uma conta comprometida pode fazer é mentir sobre si própria.\nEmbora a melhor pergunta seja se os clientes deviam sequer registar-se. Um portátil de 2026 tem um endereço no wi-fi de casa, outro na rede sem fios do escritório, outro através da dock e outro na VPN, e vai alegremente publicar a maior parte deles. O que consome o registo A de um portátil é quase nada: as ferramentas que precisam de chegar a uma estação de trabalho mantêm o seu próprio inventário, porque o DNS nunca foi fiável para clientes móveis. Os registos dos servidores devem vir do provisionamento, e a frota não deve registar nada.\nDepois, põe alguma coisa a verificar as assinaturas, porque nada do que está acima vale coisa alguma enquanto um cliente não recusar uma resposta. No Linux isso significa DNSSEC=yes no systemd-resolved, ou um resolver validador a sério no loopback; nunca allow-downgrade, que um atacante capaz de forjar respostas pode simplesmente desligar forjando uma resposta. No Windows significa aceitar que o cliente DNS nunca valida nada por si e usar uma regra NRPT para o obrigar a exigir uma resposta validada pelo resolver, com o último salto protegido, porque essa exigência é um único bit. Liga-a primeiro nos resolvers e vigia os SERVFAIL, automatiza o DS, e depois força os clientes. Falha fechado, que é o sentido certo, e continua a ser uma falha.\nNada disto é exótico. É delegação, transferência e assinatura, as três coisas que o DNS sempre fez, dispostas de modo a que a máquina que guarda o teu diretório não seja a máquina que recebe perguntas do parque de estacionamento, e a que, quando algo mente a um cliente, o cliente dê por isso.\n","permalink":"https://blogs.damiendye.uk/pt/dns/samba4-securing-ad-records-with-dnssec/","summary":"Todas as máquinas associadas ao domínio encontram o seu controlador de domínio pedindo ao DNS um registo SRV, por isso os localizadores _msdcs são os registos mais críticos para a segurança que tens. Eis como publicá-los e assiná-los como deve ser a partir de um DC Samba4: BIND com dlz_bind9 a ler o diretório, inline signing, um primário oculto que os clientes nunca alcançam, e as atualizações dinâmicas dos clientes mantidas fora da zona que contém os localizadores. Depois, como obrigar os clientes Windows e Linux a verificar de facto as assinaturas, porque uma zona assinada que ninguém valida comporta-se exatamente como uma zona não assinada.","title":"Samba4 e a proteção dos registos AD com DNSSEC"},{"content":"A baia que aceita tudo O argumento de venda de um adaptador tri-mode é genuinamente bom, e vale a pena expô-lo como deve ser antes de o desmontar.\nCompra um chassis com um backplane U.3 e um controlador tri-mode, e todas as baias passam a ser universais. A ranhura 0 pode levar um disco SAS de 24G, a ranhura 1 um dispositivo de arranque SATA barato, a ranhura 2 um SSD NVMe Gen4, e o adaptador negoceia o que aparecer. A Broadcom chama ao silício Tri-Mode SerDes; a norma da baia é a SFF-TA-1001, conhecida como U.3, que define um conector comum para SAS x1/x2, SATA e NVMe em x1, x2 ou x4. O lado da gestão é a SFF-TA-1005, Universal Backplane Management, que é como o compartimento descobre com o que está de facto a falar e acende os LED de atividade certos.\nPara quem especifica servidores, isso resolve um problema real e irritante. Já não tens de decidir o protocolo de armazenamento na altura da nota de encomenda, nem manter dois SKU de chassis, nem descobrir que as baias com NVMe são as quatro da esquerda e os teus discos foram para as outras vinte. Um único número de peça cobre o parque todo, e um parque SAS pode passar para NVMe um disco de cada vez em vez de um chassis de cada vez.\nNada disto é marketing. É a razão por que estes adaptadores vendem, e seria parvo fingir o contrário.\nMas a flexibilidade não é de borla, e a conta não se paga em libras. Paga-se em filas.\nO que acontece de facto ao disco Um SSD NVMe é um endpoint PCIe. Num servidor com ligação direta, as suas quatro lanes vão até ao root complex do CPU, através de um retimer ou de um switch PCIe, mas elétrica e logicamente é um dispositivo no barramento PCIe. O kernel enumera-o, associa-lhe o driver nvme, e a partir daí o driver fala diretamente com os registos do disco.\nPõe o mesmo disco atrás de um adaptador tri-mode e isso deixa de ser verdade.\nAs lanes do disco terminam agora no controlador. A documentação da Broadcom chama ao bloco relevante a PCIe device bridge, e a palavra bridge está a fazer muito trabalho: isto não é um switch transparente que encaminha as transações do teu CPU para um disco que ele ainda consegue ver. O adaptador é o endpoint PCIe que o teu host enumera. O disco é um alvo pendurado do outro lado, e o firmware do controlador volta a originar cada I/O.\nNVMe em ligação direta contra os mesmos discos atrás de um adaptador tri-mode Ligação direta Atrás de um adaptador tri-mode Root complex do CPU Root complex do CPU x4 x4 x4 x4 quatro ligações independentes cerca de 7 GB/s cada, em paralelo x8 Gen4 tudo o que está abaixo partilha isto Controlador tri-mode o único endpoint PCIe que o host enumera NVMe NVMe NVMe NVMe nvme0n1 nvme1n1 nvme2n1 nvme3n1 NVMe NVMe NVMe NVMe sda sdb sdc sdd driver nvme um par de filas por núcleo, por disco a largura de banda cresce com os discos driver mpt3sas: os discos são alvos SCSI fila de 128 cada, um pool de tags comum a largura de banda para no adaptador Os mesmos quatro discos, ligados de duas maneiras. À esquerda cada disco tem as suas quatro lanes até ao root complex. À direita as lanes param no adaptador, e tudo o que está a jusante partilha um uplink x8 e um controlador. Portanto o adaptador não está a deixar passar os teus comandos NVMe. Está a terminá-los, e a falar com o disco em teu nome.\nO que levanta a questão de que protocolo fala contigo.\nO SO nunca vê um disco NVMe Fala SCSI.\nLiga um SSD NVMe a um HBA tri-mode da Broadcom e ele não aparece como /dev/nvme0n1. Aparece como /dev/sdb, associado ao mpt3sas, o mesmo driver que gere controladores SAS da LSI há mais de uma década. O nvme list não devolve nada. O lsblk -o NAME,TRAN indica o transporte como sas. No que toca a todas as camadas da pilha de armazenamento acima do driver, compraste um disco SAS.\nIsto não é um bug nem uma limitação do firmware à espera de ser corrigida. É o desenho. Apresentar tudo como alvo SCSI é exatamente como um adaptador serve três protocolos: o controlador normaliza SAS, SATA e NVMe num único modelo de dispositivo, e o host fica com um driver, um caminho de enumeração, um conjunto de ferramentas. A flexibilidade do marketing e a apresentação SCSI no dmesg são a mesma decisão de arquitetura vista de cada uma das pontas.\nAs gerações 9500 e 9600 acrescentam um mecanismo de passthrough para que as ferramentas do fabricante cheguem aos comandos de administração NVMe do disco, e as peças mais recentes da Broadcom são muito melhores a mostrar a saúde do disco do que a 9400 era. Mas isso é um canal lateral de gestão. O caminho dos dados, cada leitura e escrita que a tua carga de trabalho emite, continua a descer pela pilha SCSI.\nE a pilha SCSI tem um modelo de filas vinte anos mais velho do que o flash.\nO modelo de filas de que acabaste de abdicar Esta é a parte que te custa de facto desempenho, e vale a pena ser preciso, porque «o NVMe é mais rápido do que o SAS» não é a razão.\nA decisão central de desenho do NVMe não foi um fio mais rápido. Foi deixar de fingir que um dispositivo de armazenamento é uma coisa única e serializada.\nA especificação permite até 65 535 pares de filas de I/O, e esse número aparece em todos os textos explicativos de NVMe que por aí andam. É o número errado para ir buscar. Nenhum disco implementa nada que se pareça, por isso qualquer pessoa que já tenha olhado para um sistema a correr pode descartar a comparação, e teria razão. O número real é mais pequeno, sem brilho, e defende melhor o argumento.\nPortanto, aqui está um disco real. Não é uma peça empresarial: um SSD OEM SK Hynix de 256 GB, do género que vem soldado num portátil de gama média, numa máquina de 16 núcleos.\n$ nproc 16 $ cat /sys/class/nvme/nvme0/queue_count 17 $ ls /sys/block/nvme0n1/mq | wc -l 16 $ cat /sys/block/nvme0n1/queue/nr_requests 1023 Dezassete filas: uma fila de administração e dezasseis filas de I/O para dezasseis núcleos. Cada uma com 1023 comandos de profundidade. A correspondência é de um para um, cada fila de hardware está associada a exatamente um CPU:\n$ cd /sys/block/nvme0n1/mq \u0026amp;\u0026amp; grep -H . */cpu_list 0/cpu_list:1 1/cpu_list:9 2/cpu_list:3 3/cpu_list:11 ... Um CPU por fila, até ao fim: a fila de hardware 0 serve o núcleo 1 e mais nada.\nÉ isso que «o NVMe tem muitas filas» quer dizer na prática. Não 65 535: uma por núcleo, sejam quantos forem os núcleos que tens. O Linux cria um par de filas por CPU até ao que o controlador conceder, e os controladores concedem muito mais do que um servidor típico tem de núcleos, por isso na prática o número é o número de núcleos. Põe este disco numa máquina de 64 núcleos e tens 64.\nÉ dessa divisão por núcleo que vem o desempenho:\nUm núcleo submete para a sua própria fila. Sem lock, porque nenhum outro núcleo lhe toca. Cada fila tem o seu próprio vetor MSI-X, com afinidade a esse núcleo. A interrupção de conclusão volta ao núcleo que emitiu o I/O, onde as linhas de cache relevantes já estão. Os dezasseis núcleos podem ter I/O em curso ao mesmo tempo sem nunca disputarem uma estrutura partilhada. O paralelismo escala com o número de núcleos, e o trabalho de nenhum núcleo fica alguma vez na fila atrás do de outro. Um disco barato de consumo faz isto. É o mínimo.\nAgora vê o que o disco recebe atrás do adaptador. Os números abaixo não são estimativas: são constantes no driver mpt3sas do kernel principal.\nA profundidade de fila por dispositivo é definida a partir de ioc-\u0026gt;max_nvme_qd, que o driver vai buscar ao que o firmware do controlador reporta e, caso contrário, recorre a um valor por omissão de compilação em drivers/scsi/mpt3sas/mpt3sas_base.h:\n#define MPT3SAS_SATA_QUEUE_DEPTH\t32 #define MPT3SAS_SAS_QUEUE_DEPTH\t254 #define MPT3SAS_RAID_QUEUE_DEPTH\t128 #define MPT3SAS_NVME_QUEUE_DEPTH\t128 128. Um dispositivo capaz de dezenas de milhares de comandos pendentes recebe uma profundidade de fila de 128, e repara que é menos funda do que o valor por omissão do SAS, 254, duas linhas acima. As capacidades do próprio disco nunca entram na decisão. O número vem do controlador.\nO número de filas de hardware é pior, e o driver é franco quanto a isso. Do mpt3sas_scsih.c:\nshost-\u0026gt;nr_hw_queues = 1; if (shost-\u0026gt;host_tagset) { shost-\u0026gt;nr_hw_queues = ioc-\u0026gt;reply_queue_count - ioc-\u0026gt;high_iops_queues; ... dev_info(\u0026amp;ioc-\u0026gt;pdev-\u0026gt;dev, \u0026#34;Max SCSIIO MPT commands: %d shared with nr_hw_queues = %d\\n\u0026#34;, shost-\u0026gt;can_queue, shost-\u0026gt;nr_hw_queues); } Lê isso com atenção, porque estão a acontecer três coisas distintas.\nO valor por omissão é uma fila de hardware. nr_hw_queues = 1. As várias filas só acontecem em controladores gen35 com a funcionalidade host_tagset ativada, e mesmo aí são aquilo que o próprio histórico de commits do driver descreve como várias filas de hardware simuladas: o hardware do controlador de I/O é uma única fila de submissão com várias filas de resposta, e o blk-mq está a ser encaixado por cima disso.\nO número de filas vem do controlador, não do número de núcleos. É reply_queue_count menos as filas de IOPS altos, a atribuição de vetores MSI-X do adaptador. Não tem nada a ver com quantos CPU tens, e não cresce quando acrescentas discos. É a inversão exata do disco acima, onde o número de filas era o número de núcleos.\nE o pool de tags é partilhado. host_tagset quer dizer exatamente o que diz: um pool de tags para o adaptador do host inteiro, e aquela linha de registo diz «shared» em voz alta. Todos os discos da placa vão buscar ao mesmo conjunto de slots de comando. Um chassis de vinte e quatro baias tem vinte e quatro discos a disputar as tags de um controlador.\nPõe os dois lado a lado. Aquele SSD de portátil tinha dezasseis filas privadas de 1023, uma por núcleo, sem responder a mais ninguém. O mesmo disco atrás do adaptador recebe uma parte das filas de resposta da placa, 128 comandos pendentes e vinte e três vizinhos a ir buscar ao mesmo pool.\nPares de filas NVMe por núcleo contra um pool de tags partilhado do adaptador As filas multiplicam-se com os núcleos Os discos dividem um pool núcleo 0 núcleo 1 núcleo 2 núcleo 3 SQ + CQ SQ + CQ SQ + CQ SQ + CQ 1023 de fundo 1023 de fundo 1023 de fundo 1023 de fundo SSD NVMe /dev/nvme0n1 um par de submissão e conclusão por núcleo vetor MSI-X próprio, conclusões voltam a esse núcleo sem lock, sem disputa entre núcleos núcleo 0 núcleo 1 núcleo 2 núcleo 3 Controlador tri-mode as filas de resposta vêm dos vetores MSI-X da placa, não do teu número de núcleos um pool de tags partilhado por todos os discos sda sdb sdc sdd qd 128 qd 128 qd 128 qd 128 e mais 20 baias a ir buscar ao mesmo pool. 128 pendentes por dispositivo, seja o que for que o disco faça acrescentar discos divide um recurso fixo À esquerda: um par de filas por núcleo, privado e com 1023 de profundidade, com a interrupção de conclusão a voltar ao núcleo que submeteu, medido no disco acima. À direita: todos os núcleos afunilados nas filas de resposta do controlador, a ir buscar a um pool de tags partilhado, com cada disco limitado a 128. Portanto a perda não é o SCSI ser lento. O SCSI moderno sobre blk-mq está bem. A perda é estrutural:\nAs filas pertencem ao adaptador, não ao disco. Acrescentar discos divide um recurso fixo em vez de o aumentar. O pool de tags é partilhado por todo o host. Um disco sob carga pesada pode deixar os outros à fome de uma maneira que simplesmente não pode acontecer quando cada disco tem as suas próprias filas. A profundidade por dispositivo está limitada a 128, independentemente do que o disco aguenta. A localidade das interrupções fica enfraquecida. As conclusões chegam na fila de resposta que o controlador usou, não necessariamente no núcleo que submeteu. Com uma profundidade de fila de 1 ou 2, um processo de uma só thread a fazer leituras ocasionais, nada disto se nota. Mede-se a mesma latência das duas maneiras, dentro do ruído. A penalização aparece exatamente onde compraste NVMe para ajudar: muitos núcleos a emitir muitos I/O em simultâneo. Quanto mais funda a carga de trabalho, mais do disco pagaste sem lhe conseguir chegar.\nO uplink é uma ranhura x8 O modelo de filas é o problema subtil. O teto de largura de banda é o óbvio, e podes lê-lo nas fichas de produto da própria Broadcom sem precisares de um benchmark.\nO HBA da série 9500 é uma placa x8 PCIe Gen 4.0. Os números publicados pela Broadcom para ela são 13 700 MB/s em leitura sequencial de 256K e 3M IOPS em leitura aleatória de 4K. A mesma ficha diz que suporta até 32 dispositivos NVMe.\nPõe esses dois números lado a lado e a pergunta responde-se sozinha: quantos discos são precisos para esgotar o adaptador?\nNão muitos, e menos todos os anos. Um SSD Gen4 x4 faz cerca de 7 GB/s. Um SSD Gen5 x4 faz cerca de 14. Ambos são peças comuns em 2026: Gen4 é aquilo de que o mercado de U.2 usados está cheio, e Gen5 é o que tens se comprares novo.\nTeto Discos Gen4 para o atingir Discos Gen5 para o atingir HBA 9500 — 13 700 MB/s sequencial 2 1 HBA 9500 — 3M IOPS (4K RR) 3 1–2 eHBA 9600 — 6,4M IOPS (4K RR) ~6 ~3 MegaRAID 9600 — 1,1M IOPS RAID 5 (4K RW) ~1 ~1 Lê outra vez a linha de cima. Um único SSD Gen5 atinge todo o teto sequencial de um HBA 9500. Um disco, numa placa preparada para trinta e dois. Tudo o que vem depois é capacidade. Não desempenho.\nE a linha de baixo é a que devia travar uma nota de encomenda: no MegaRAID da geração atual, uma prateleira cheia de NVMe em RAID 5 entrega mais ou menos o que um disco comum faz sozinho.\nOs discos nem sequer ligam a x4 Há um segundo estrangulamento por baixo do uplink partilhado, fácil de não ver porque está numa tabela de especificações e não num título.\nO PERC 12 User\u0026rsquo;s Guide da Dell, que cobre os controladores tri-mode H965i, diz:\nSupports drive speeds for NVMe drives are 8 GT/s (Gen 3) and 16 GT/s (Gen 4) at maximum x2 lane width.\nCada disco NVMe recebe duas lanes, não quatro. Portanto, antes de qualquer disputa pelo uplink, antes do pool de tags, antes da tradução SCSI, um disco Gen4 já está reduzido a cerca de 3,5 GB/s, metade do que consegue fazer. Põe um disco Gen5 nessa baia e ele negoceia para baixo até Gen4 x2 e entrega mais ou menos um quarto da largura de banda nominal.\nVale a pena ser preciso sobre o que isto muda e não muda. Não quer dizer que o adaptador chega mais longe. São precisos uns quatro discos limitados a x2 para encher o uplink da 9500 em vez de dois, mas só porque cada disco contribui com metade. O estrangulamento passou do uplink para a ligação do disco. O total que consegues extrair não melhorou.\nCom ligação direta, esses mesmos trinta e dois discos teriam cada um o seu caminho x4 até ao root complex, na geração que o disco e o CPU conseguirem negociar.\nA linha do RAID 5 naquela tabela merece um olhar à parte, porque é um número da própria Broadcom e é publicado sem rodeios. Da ficha da série 9600:\n900K to 1.1M RAID 5 IOPS (4K RW)\nRAID de paridade no firmware do controlador é a coisa mais cara que podes pedir a uma placa tri-mode, e isto é a geração atual a fazê-lo. Vale a pena ler antes de alguém especificar RAID 5 em vinte e quatro discos NVMe e esperar o desempenho de vinte e quatro discos.\nNúmero de discos contra dois tetos tri-mode, uma placa x8 Gen4 e uma placa x16 Gen5 0 15 30 45 60 75 90 GB/s agregados 1 2 3 4 5 6 discos NVMe Gen5 direto: cerca de 14 GB/s cada Gen4 direto: cerca de 7 GB/s cada fora do alcance de ambas as placas PERC13, Gen5 x16: 52,5 GB/s medidos HBA 9500, Gen4 x8: 13,7 GB/s 2 discos Gen4 atingem a 9500, 4 discos Gen5 atingem até um PERC13 Números do fabricante e de análises, não medidos aqui. A 9500 está preparada para 32 dispositivos NVMe, o PERC13 para 16. Ambas as placas ligam ainda cada disco a x2, o que estas linhas de ligação direta não fazem. Quantos discos são precisos para esgotar o adaptador, contra dois tetos. Dois discos Gen4 atingem o HBA 9500; quatro discos Gen5 atingem até um PERC13. As placas estão preparadas para trinta e dois e dezasseis dispositivos, respetivamente. E uma placa x16? A objeção óbvia a tudo o que está acima é que a 9500 é uma placa x8 Gen4, e o teto é um artefacto de uma ligação ao host estreita. Dá ao adaptador dezasseis lanes de Gen5 e o problema desaparece.\nÉ uma objeção justa, e merece o exemplo mais forte em vez de um espantalho. Então pega no PERC13 H975i da Dell, a geração atual, e mais ou menos o melhor que o tri-mode consegue ser. O seu guia do utilizador especifica «Gen 4 and Gen 5 PCIe x16 host interfaces», e a StorageReview mediu 52,5 GB/s e 12,5M IOPS por controlador, com até dezasseis discos NVMe.\nSão números sérios, e mudam bastante o quadro. Face aos 13 700 MB/s e 3M IOPS da 9500, é cerca de quatro vezes a largura de banda e quatro vezes os IOPS, repartidos por metade dos discos. A Dell não se limitou a alargar o tubo: também reduziu o fan-out para metade, e a razão de sobresubscrição melhorou por consequência. Nos IOPS em particular, 12,5M por dezasseis discos dá cerca de 780K por disco, o que está perto do que um disco comum entrega sozinho. Nesse ponto o controlador não é genuinamente o que te está a travar.\nMérito a quem o tem, portanto: uma placa tri-mode x16 Gen5 moderna é uma peça de engenharia muito melhor do que uma x8 Gen4, e se a largura de banda era a tua única objeção, a x16 responde-lhe em grande parte.\nHá três coisas que não resolve.\nOs discos continuam a ligar a x2. Esta foi a que me surpreendeu. O guia do PERC13, a descrever um controlador Gen5 x16, continua a dizer:\nSupports drive speeds for NVMe drives are 8 GT/s (Gen 3), 16 GT/s (Gen 4), and 32 GT/s (Gen 5) at maximum x2 lane width.\nUma ligação ao host mais larga não alarga as ligações aos discos a jusante. Todos os discos NVMe no controlador RAID tri-mode mais recente e mais rápido que a Dell vende continuam ligados por duas lanes em vez de quatro, e continuam a abdicar de metade da largura de banda antes de qualquer outra coisa acontecer.\nO modelo de filas fica completamente intocado. Nada na secção de filas deste artigo depende da largura da ligação ao host. O nr_hw_queues vem da atribuição de filas de resposta MSI-X do controlador; a profundidade por dispositivo de 128 é uma constante do driver e do firmware; o pool de tags é partilhado por todo o host porque o host_tagset assim o diz. Alarga a ligação ao host para x16, x32, o que quiseres: os discos continuam a ser alvos SCSI a partilhar as filas da placa, continua a não haver /dev/nvme0n1, e continuas a não conseguir passar um disco a uma VM.\nE a x16 não fabrica largura de banda: distribui lanes que já tinhas. Este é o argumento que de facto arruma a questão. Dezasseis lanes Gen5 para um PERC13 dão-te 52,5 GB/s partilhados por dezasseis baias. Essas mesmas dezasseis lanes ligadas diretamente a quatro discos Gen5 a x4 dão-te cerca de 56 GB/s por quatro baias, a mesma largura de banda das mesmas lanes, só que cada disco recebe o seu x4 completo, o seu próprio par de filas por núcleo e um nó de dispositivo nvme a sério.\nPortanto a maneira honesta de descrever uma placa tri-mode x16 não é «um adaptador mais rápido». É um multiplexador de lanes: converte um orçamento fixo de lanes em mais baias, e cobra-te o modelo de filas pela conversão. Se o negócio vale a pena depende de uma coisa. Baias ou paralelismo.\nO que acontece quando enches as baias todas O que nos traz ao caso que importa de facto, porque ninguém compra um chassis de 24 baias para lhe meter quatro discos.\nDepois do ponto de saturação, a linha agregada é plana. Acrescentar discos acrescenta capacidade, e mais nada, por isso o desempenho por disco cai como 1/N. Essa aritmética é implacável com populações realistas:\nDiscos num HBA 9500 Agregado Por disco Fração de um disco Gen4 2 13,7 GB/s 6,9 GB/s 98% 12 13,7 GB/s 1,14 GB/s 16% 24 13,7 GB/s 0,57 GB/s 8% Olha para a linha de baixo. Vinte e quatro discos NVMe atrás de um HBA 9500 entregam cerca de 570 MB/s cada um. Um SSD SATA faz à volta de 550. Compraste vinte e quatro discos NVMe, pagaste um controlador tri-mode para os ligar, e chegaste a uma largura de banda por disco de classe SATA.\nA aritmética dos IOPS tem a mesma forma: 3M repartidos por vinte e quatro discos dá 125K a cada um, contra o 1M que um disco Gen4 comum consegue sozinho, cerca de um oitavo do que tens.\nA placa x16 melhora isto consideravelmente mas não escapa. Um PERC13 com os seus dezasseis discos completos dá 52,5 GB/s ÷ 16 = 3,3 GB/s por disco, ou cerca de 23% de um disco Gen5, e isso antes de a ligação x2 o reduzir outra vez a metade.\nCom muitos discos há dois efeitos piores do que a divisão sugere:\nA falta de tags atravessa dispositivos. O pool de tags partilhado pelo host significa que um único disco sob carga pesada pode consumir slots de que os outros discos precisam. Vinte e quatro dispositivos, cada um nominalmente com direito a 128 comandos pendentes, querem 3072 entre todos, tirados do can_queue de um só controlador. O bloqueio na cabeça da fila entre discos distintos é um modo de falha que simplesmente não existe quando cada disco é dono das suas filas. As reconstruções atingem tudo. A reconstrução de paridade numa prateleira cheia satura o único uplink partilhado, por isso o I/O em primeiro plano para todos os outros discos da placa degrada-se ao mesmo tempo. Com os discos em lanes independentes e RAID por software, a reconstrução disputa CPU, não um único tubo. Quando nada disto importa Há um contrapeso importante, e é a razão por que muitos servidores tri-mode de 24 baias correm perfeitamente felizes.\nO teto do adaptador só morde se alguma coisa a jusante conseguir consumir mais do que ele entrega. Um servidor com 2 × 25GbE tem 6,2 GB/s de rede: não consegue encher nem um HBA 9500. Se esses vinte e quatro discos forem uma camada de capacidade a servir ficheiros por essa ligação, o adaptador está longe de ser o estrangulamento e a aritmética por disco acima é irrelevante.\nO momento em que começa a importar é quando o consumidor fica mais rápido do que a placa: 100GbE (12,5 GB/s) põe-te sozinho ao nível de todo o teto sequencial de uma 9500, e as cargas locais, bases de dados, compilação, análise de dados, hosts de virtualização com guests ocupados, não têm rede nenhuma no caminho.\nPortanto a pergunta a fazer sobre uma prateleira cheia não é «o adaptador é lento?» mas «o que é que vai consumir isto, e consegue consumir mais do que a placa entrega?» Se a resposta for uma ligação de 25GbE, deixa de te preocupar. Se a resposta for 100GbE, NVMe-oF ou uma base de dados local, a placa é o teu estrangulamento e o número de discos está a piorá-lo.\nO que mais desaparece Para além do débito, apresentar um disco NVMe como disco SCSI faz com que as partes específicas de NVMe das tuas ferramentas deixem de funcionar:\nLigação direta Atrás de um adaptador tri-mode Nó de dispositivo /dev/nvme0n1 /dev/sdb Driver nvme mpt3sas / mpi3mr nvme-cli Funciona Nada com que falar Dados de saúde Páginas de registo SMART NVMe Páginas de registo SCSI traduzidas Gestão de namespaces Sim Não Atualizações de firmware nvme fw-download Ferramenta do fabricante através do controlador Format / sanitize NVMe Format NVM Equivalentes SCSI, se implementados Filas de hardware Um par por núcleo (16 na máquina acima) As filas de resposta da placa, partilhadas por todos os discos Profundidade de fila 1023 por fila 128 por dispositivo Há uma consequência que apanha as pessoas desprevenidas vezes suficientes para merecer menção à parte: não consegues passar um disco individual para uma máquina virtual. O passthrough PCIe precisa que o disco seja um endpoint PCIe com o seu próprio grupo IOMMU, e atrás de um adaptador tri-mode não é: o único dispositivo PCIe presente é o controlador. Podes passar o adaptador inteiro, com todos os discos ligados a ele, ou nada. Se o teu plano passava por entregar discos NVMe específicos a guests específicos, a decisão do backplane já tomou essa decisão por ti.\nEntão quem é que quer isto em 2026? É aqui que o argumento de venda do início deste artigo tem de enfrentar uma pergunta mais difícil, porque o mundo para que foi concebido já quase desapareceu.\nO tri-mode foi concebido quando o NVMe era a camada cara que acrescentavas a um parque SAS. Em 2026 isso está ao contrário: o NVMe é o padrão, os discos empresariais U.2 abundam e são baratos no mercado de usados, e «SAS, SATA e NVMe misturados num chassis» descreve cada vez menos implementações reais. Então quem é que o compra de facto?\nQuase ninguém, de propósito. A resposta honesta é que a maioria dos controladores tri-mode não foi escolhida. Chegaram, porque o fabricante do servidor envia um, e o fabricante envia um porque um único SKU de backplane U.3 lhe permite vender configurações SAS, SATA e NVMe a partir do mesmo chassis. É uma vitória da cadeia de abastecimento para o OEM. Não faz nada pelo teu desempenho e, como tal, nunca foi vendido como fazendo.\nTrês das justificações clássicas já não se aguentam bem:\n«Preciso de tipos de disco misturados.» Raramente no mesmo chassis, e mesmo quando precisas, o tri-mode não é a única maneira. Um HBA SAS simples para os discos rotativos mais NVMe ligado ao root complex dá-te os dois, sem penalizar nenhum. Parque misto não implica controlador misto.\n«Não tenho lanes PCIe suficientes.» Este era o argumento real em 2019, em plataformas de 40 lanes com 24 baias. Um Epyc Genoa ou Turin de um só socket tem 128 lanes. Vinte e quatro discos a x4 são 96. A escassez que justificava agregar discos atrás de um controlador quase desapareceu, e onde não desapareceu, um switch PCIe faz o trabalho sem terminar o protocolo.\n«As baias têm de ser universais.» Este merece ser separado com cuidado, porque é o argumento mais usado para justificar o componente errado. O U.3 é uma norma de backplane, não um requisito de controlador. Um backplane U.3 pode ser cablado diretamente às lanes PCIe do CPU em vez de passar por um controlador tri-mode, e os fabricantes documentam as duas topologias. Podes manter as baias universais e eliminar a portagem. Se herdaste um servidor tri-mode, a coisa mais valiosa que podes verificar é se o backplane pode ser recablado em ligação direta.\nO que sobra de facto:\nRAID por hardware em densidade, onde uma política ou a plataforma o exigem: um requisito de auditoria, uma matriz de suporte, uma implementação Windows ou ESXi sem camada de software para fazer o trabalho. Este é o mercado real que resta, é o único caso em que estás a comprar o motor RAID e não a conectividade, e no silício atual é um produto capaz: dezasseis discos NVMe em RAID 5 por hardware com uma cache protegida por supercondensador, a partir de dezasseis lanes, é algo que a ligação direta não consegue oferecer de todo. Capacidade em massa de HDD SAS, onde o £/TB ainda pertence decisivamente aos discos rotativos. Mas isso é trabalho para um HBA SAS simples, e mais barato. Números de baias muito grandes e compartimentos externos, onde os expansores SAS chegam mais longe e mais largo do que o PCIe. Cargas de trabalho que nunca vão fundo. Se as tuas profundidades de fila ficam em um dígito, nada disto se nota. Muitos sistemas reais vivem aqui bastante felizes. Há também um argumento operacional simples, um tipo de compartimento, um driver, uma peça sobressalente na prateleira, e para um host de virtualização de uso geral isso vale alguma coisa de real. Só tens de o pôr honestamente na balança contra o facto de que, segundo a tabela acima, um disco Gen5 consegue atingir todo o teto sequencial da placa.\nQuando é a ferramenta errada A troca piora na proporção da concorrência que a tua carga de trabalho tem.\nO Ceph é o caso mais claro. Um nó de armazenamento corre um OSD por disco, cada um com os seus próprios pools de threads, todos a emitir I/O ao mesmo tempo, e depois os clientes de um cluster inteiro atacam-nos em simultâneo. Esse é o pior caso do pool de tags partilhado: vinte e quatro daemons a disputar os slots de comando de um controlador, cada disco limitado a 128 pendentes, tudo afunilado por um uplink x8. Põe esses discos diretamente no root complex e cada OSD fica com as suas próprias filas, as suas próprias tags e as suas próprias lanes. Um nó Ceph todo NVMe não devia ter um adaptador tri-mode no caminho dos dados.\nA mesma lógica aplica-se a alvos NVMe-oF, onde estás a reexportar discos e cada camada de serialização se acumula; a bases de dados com I/O assíncrono fundo; e a tudo o que é construído sobre io_uring ou SPDK, que existem precisamente para explorar filas por núcleo que o adaptador acabou de levar.\nA regra geral: quanto mais paralelismo o teu software foi escrito para explorar, mais um adaptador tri-mode te cobra por ele.\nComo saber o que tens Se herdaste um servidor e queres saber de que lado disto estás:\n# What is the transport? \u0026#34;nvme\u0026#34; is direct, \u0026#34;sas\u0026#34; means it went through a controller lsblk -o NAME,TRAN,MODEL,SIZE # Is there a tri-mode controller in the machine at all? lspci -nn | grep -Ei \u0026#39;sas|megaraid|serial attached\u0026#39; # Which driver claimed the disk? ls -l /sys/block/sdb/device/driver # Per-device queue depth — 128 is the mpt3sas NVMe default cat /sys/block/sdb/device/queue_depth # How many hardware queues does this device actually get? ls /sys/block/sdb/mq/ | wc -l ls /sys/block/nvme0n1/mq/ | wc -l # compare against a direct-attached drive # On a direct-attached drive, what did the controller actually grant? # One admin queue plus one I/O queue per core, so expect nproc + 1 cat /sys/class/nvme/nvme0/queue_count nproc # The driver says it out loud at load time dmesg | grep -i \u0026#39;nr_hw_queues\u0026#39; Esse último imprime a linha Max SCSIIO MPT commands: N shared with nr_hw_queues = M citada acima. Se o nvme list estiver vazio numa máquina que te disseram ser toda flash NVMe, a culpa é do adaptador.\nA versão curta Um adaptador tri-mode converte os teus discos NVMe em discos SCSI. Essa conversão não é um efeito secundário. É como uma placa serve três protocolos, e é o que estás a comprar.\nAquilo de que abdicas é específico e mensurável: pares de filas por núcleo substituídos pelas filas de resposta partilhadas de um controlador, uma profundidade por dispositivo de 128, um pool de tags dividido por todos os discos da placa, uma ligação x2 onde o disco queria x4, e um uplink partilhado onde cada disco tinha antes o seu próprio caminho até ao root complex. O adaptador deixa de ser uma ligação e passa a ser o estrangulamento, e no hardware atual passa a sê-lo depressa: dois discos Gen4 atingem um HBA 9500, quatro discos Gen5 atingem até um PERC13.\nUma ligação ao host mais larga ajuda, uma placa x16 Gen5 tem cerca de quatro vezes a largura de banda e os IOPS de uma x8 Gen4, mas não muda a forma. Compra baias, não paralelismo: as mesmas dezasseis lanes ligadas diretamente a quatro discos entregam a mesma largura de banda sem nenhuma da portagem das filas. E não salva uma prateleira cheia. Vinte e quatro discos atrás de uma 9500 recebem cerca de 570 MB/s cada um, que é o que um SSD SATA faz.\nEm 2019, quando o NVMe era a camada que acrescentavas a um parque SAS e as plataformas tinham poucas lanes, era uma troca razoável. Em 2026 normalmente não é. O NVMe é o padrão, os discos U.2 usados são baratos, um Epyc de um só socket tem lanes de sobra, e o único benefício que se mantém, as baias universais, pertence ao backplane U.3, não ao controlador. Muitas vezes consegues manter as baias e eliminar a portagem cablando o backplane diretamente ao CPU.\nPortanto compra um adaptador tri-mode se estás a comprar o seu motor RAID e precisas de um. Não o compres pela flexibilidade e, se herdaste um num chassis cheio de NVMe, vai descobrir como está cablado esse backplane.\nNão faz sentido pagar duas vezes por discos que depois não consegues usar como deve ser.\n","permalink":"https://blogs.damiendye.uk/pt/hardware/tri-mode-adapters-nvme-as-sas/","summary":"Um adaptador tri-mode deixa qualquer baia aceitar SAS, SATA ou NVMe, flexibilidade real e a razão de existirem backplanes U.3. O que não anuncia é que os teus discos NVMe deixam de ser discos NVMe: chegam ao Linux como discos SCSI no mpt3sas, profundidade de fila 128, a partilhar um pool de tags e um uplink x8. Dois discos Gen4 saturam a placa. Um único disco Gen5 já a ultrapassa. Se essa troca ainda faz sentido em 2026, e porque é que as baias universais pertencem ao backplane e não ao controlador.","title":"Os adaptadores tri-mode compram flexibilidade com as tuas filas NVMe"},{"content":"O pressuposto que o Ansible normalmente pode fazer Quase todos os módulos Ansible que já usaste funcionam assim: o Ansible liga-se ao anfitrião indicado no inventário, copia para lá um pequeno programa Python, executa-o e lê o resultado. O anfitrião é a coisa que está a ser alterada e a coisa que faz o trabalho.\nCriar uma máquina virtual quebra isso da forma mais básica possível. O anfitrião que estás a construir não existe. Não tem IP, nem daemon SSH, nem Python, nem sistema operativo. Não há nada a que te ligares.\nPor isso o community.proxmox não é um agente de configuração. É um cliente de API que por acaso é distribuído como coleção Ansible. Como tal, tudo neste artigo decorre desse único facto: onde correm as tarefas, como fazes chegar as credenciais, porque é que voltar a executar não faz o que esperas, e porque é que o --check não te está a dizer a verdade.\nOs exemplos aqui são versões reduzidas de um playbook que constrói VMs Windows e Linux a partir de registos do NetBox: proxmox-create-vms.yml. Tornei genéricos os nomes de nós, de armazenamento e de bridges para facilitar a leitura; o original está nesse repositório.\nTudo o que afirmo abaixo sobre o comportamento dos módulos foi verificado contra o community.proxmox 1.6.0, que é a versão que tenho instalada:\n$ ansible-galaxy collection list community.proxmox # /home/damien/.ansible/collections/ansible_collections Collection Version ----------------- ------- community.proxmox 1.6.0 Primeiro: a coleção mudou de sítio Se estás a ler um playbook mais antigo ou uma resposta mais antiga, os módulos chamavam-se community.general.proxmox_kvm. Agora vivem numa coleção dedicada, e é aí que o desenvolvimento está a acontecer. A versão 1.6.0 traz 47 módulos, que cobrem Ceph, SDN, firewall, regras de HA e adesão a cluster, nada do qual existia na era do community.general.\nansible-galaxy collection install community.proxmox pip install \u0026#39;proxmoxer\u0026gt;=2.0\u0026#39; requests A dependência Python não é opcional nem vem incluída: a coleção declara requirements: [\u0026quot;proxmoxer \u0026gt;= 2.0\u0026quot;, \u0026quot;requests\u0026quot;], e isso tem de estar instalado onde quer que o módulo seja de facto executado, que, como explica a secção seguinte, não é o nó Proxmox.\nO requirements.yml, se preferires fixar a versão:\n--- collections: - name: community.proxmox version: \u0026#34;\u0026gt;=1.6.0\u0026#34; A coleção é testada contra o ansible-core 2.17 a 2.20. Renomear as tuas tarefas community.general.proxmox_* para community.proxmox.proxmox_* é a maior parte da migração.\nTodas as tarefas do Proxmox correm em localhost Duas linhas no topo do play fazem o trabalho pesado, e ambas parecem estar a desligar algo útil:\n- name: Create Proxmox virtual machines hosts: \u0026#34;{{ target_hosts | default(\u0026#39;cluster_pve:\u0026amp;status_planned\u0026#39;) }}\u0026#34; gather_facts: false serial: 1 O gather_facts: false não é uma otimização. A recolha de factos liga-se ao anfitrião do inventário, e o anfitrião do inventário é uma VM que ainda não foi construída. Deixa-a ligada e o play falha antes da primeira tarefa.\nDepois, cada tarefa do Proxmox leva delegate_to: localhost:\n- name: Create Proxmox VM delegate_to: localhost register: created_vm community.proxmox.proxmox_kvm: api_user: \u0026#34;{{ proxmox_user }}\u0026#34; api_password: \u0026#34;{{ proxmox_password }}\u0026#34; api_host: \u0026#34;{{ proxmox_api_ip }}\u0026#34; name: \u0026#34;{{ inventory_hostname }}\u0026#34; node: \u0026#34;{{ proxmox_api_host }}\u0026#34; ... O anfitrião do inventário passa a ser apenas um nome e um saco de variáveis. O inventory_hostname torna-se o nome da VM; as suas variáveis descrevem a máquina que queres. Nada se liga a ele. A tarefa corre no nó de controlo, que abre uma sessão HTTPS para o api_host e envia uma definição de VM.\nTambém vais ver isto escrito como local_action:, que é a sintaxe mais antiga para a mesma coisa. O playbook de remoção nesse repositório usa-a em todo o lado. São equivalentes. O delegate_to é a forma atual.\nA saída de emergência aponta para o nó Algumas coisas têm mesmo de acontecer num anfitrião Proxmox, e essas tarefas delegam para um sítio completamente diferente:\n- name: Fail if no ISO file exists for the OS delegate_to: \u0026#34;{{ proxmox_api_host }}\u0026#34; ansible.builtin.stat: path: \u0026#34;{{ iso | replace(\u0026#39;isos:\u0026#39;, \u0026#39;/mnt/pve/isos/template/\u0026#39;) }}\u0026#34; register: iso_file failed_when: not iso_file.stat.exists Isto é uma ligação SSH real a um nó real, a verificar um caminho real em armazenamento partilhado, porque a API aceita alegremente uma referência a um ISO que não corresponde a nenhum ficheiro, e mais vale descobrires agora do que no arranque. Repara na cirurgia de strings que traduz uma referência de armazenamento PVE (isos:iso/debian.iso) num caminho do sistema de ficheiros. A abstração de armazenamento não está disponível para o stat.\nPortanto, um único play tem tarefas a executar em três sítios diferentes, e confundi-los é a forma mais comum de estes playbooks falharem:\nOnde corre de facto cada tarefa de um playbook de construção Proxmox Nó de controlo Ansible delegate_to: localhost proxmox_kvm proxmox_vm_info proxmox_disk proxmox_access_acl cada um deles é um cliente HTTPS, não um agente proxmoxer \u0026#8805; 2.0 + requests instalado aqui, não no nó gather_facts: false Nó Proxmox \u0026#8212; pve1 pvedaemon, API REST na porta 8006 qm, /etc/pve, armazenamento a definição da VM chega aqui a VM que estás a criar sem IP \u0026#183; sem SSH \u0026#183; sem Python sem sistema operativo no inventário é só um nome e um saco de variáveis API SSH qm set stat nada a que te ligares só num play posterior Três contextos de execução num só play. Os módulos do Proxmox nunca tocam no nó nem no convidado: são clientes HTTPS a correr ao lado do playbook. A saída de emergência qm é a única parte que precisa de SSH para um hipervisor. Credenciais, e uma predefinição prestes a mudar As opções de autenticação são partilhadas por todos os módulos da coleção através de um fragmento de documentação, por isso são as mesmas em todo o lado: api_host, api_user, e depois ou api_password ou o par api_token_id / api_token_secret. Todas recorrem a variáveis de ambiente quando não são dadas, PROXMOX_HOST, PROXMOX_USER, PROXMOX_PASSWORD, PROXMOX_TOKEN_ID, PROXMOX_TOKEN_SECRET, PROXMOX_VALIDATE_CERTS, que é a forma mais limpa de manter os segredos totalmente fora do play.\nUm token de API é a melhor predefinição. Tem âmbito limitado, pode ser revogado sem mudar a palavra-passe de uma pessoa, e pode receber exatamente os privilégios de que o playbook precisa, em vez dos que uma pessoa por acaso tem:\n- name: Create Proxmox VM delegate_to: localhost community.proxmox.proxmox_kvm: api_host: \u0026#34;{{ proxmox_api_ip }}\u0026#34; api_user: ansible@pve api_token_id: automation api_token_secret: \u0026#34;{{ proxmox_token_secret }}\u0026#34; validate_certs: true ca_path: /etc/ssl/certs/pve-cluster-ca.pem Define o validate_certs explicitamente, hoje. A própria documentação da coleção di-lo claramente:\nCurrently defaults to false and changes default to true with community.proxmox 2.0.0.\nO que significa que um playbook que nunca o menciona não está a validar TLS neste momento, e vai começar a validar, e portanto a falhar contra o certificado autoassinado com que vem cada instalação nova do Proxmox, no momento em que alguém correr --upgrade. Mais vale tomar essa decisão de propósito do que tê-la a cair a meio de uma construção. Se vais manter o certificado autoassinado, escreve validate_certs: false e aceita o reparo; se tens uma cadeia como deve ser, aponta o ca_path para ela. Seja como for, fica escrito.\nA criação mínima viável Reduz a tarefa de produção ao que de facto define uma máquina e ela fica legível:\n- name: Create Proxmox VM delegate_to: localhost register: created_vm community.proxmox.proxmox_kvm: api_host: \u0026#34;{{ proxmox_api_ip }}\u0026#34; api_user: ansible@pve api_token_id: automation api_token_secret: \u0026#34;{{ proxmox_token_secret }}\u0026#34; validate_certs: true node: pve1 name: \u0026#34;{{ inventory_hostname }}\u0026#34; cores: \u0026#34;{{ vcpus | int }}\u0026#34; memory: \u0026#34;{{ memory }}\u0026#34; machine: q35 bios: ovmf ostype: l26 scsihw: virtio-scsi-single scsi: scsi0: \u0026#34;vmdata:32,format=qcow2,discard=on,ssd=1\u0026#34; sata: sata0: \u0026#34;isos:iso/debian-13-netinst.iso,media=cdrom\u0026#34; net: net0: \u0026#34;virtio,bridge=vmbr0\u0026#34; efidisk0: storage: vmdata format: raw efitype: 4m pre_enrolled_keys: true boot: \u0026#34;order=scsi0;sata0\u0026#34; agent: \u0026#34;enabled=1,fstrim_cloned_disks=1\u0026#34; onboot: true tags: - production Vale a pena saber algumas coisas sobre esta forma antes de escreveres a tua.\nAs opções de dispositivo são sintaxe PVE dentro de YAML. scsi, sata, net, virtio, ide são todas do tipo dict, com chaves scsi0, net0 e por aí fora, e os valores são as strings de opções separadas por vírgulas tiradas diretamente do man qm: \u0026lt;storage\u0026gt;:\u0026lt;size\u0026gt;,option=value para um disco, [model=]\u0026lt;enum\u0026gt;,option=value para uma NIC. O módulo não as modela; reencaminha-as. Quando algo é rejeitado, a resposta está na referência de opções do PVE, não na documentação do Ansible.\nTambém vais ver isto escrito como string JSON em vez de um mapeamento YAML:\nnet: \u0026#39;{\u0026#34;net0\u0026#34;:\u0026#34;virtio,bridge={{ vlan_bridge }}\u0026#34;}\u0026#39; Ambas funcionam. O Ansible converte a string para um parâmetro do tipo dict. A forma JSON existe porque é mais fácil gerar uma estrutura inteira numa só expressão Jinja. A forma de mapeamento é mais fácil de ler seis meses depois.\nO boot tem duas gerações de sintaxe. O módulo aceita as letras antigas, em que boot: \u0026quot;cdn\u0026quot; significa «tenta o disco, depois o CD-ROM, depois a rede». O PVE atual quer uma lista ordenada explícita, boot: \u0026quot;order=scsi0;sata0;net0\u0026quot;, que não deixa dúvidas sobre qual disco. A forma antiga continua a funcionar. A forma explícita é a que queres em trabalho novo. Uma verdadeira ratoeira enterrada na documentação do módulo: o arranque pela rede requer definir rng0 desde o PVE 8.3.5.\nnuma e numa_enabled são parâmetros diferentes. O numa_enabled é o booleano que liga o NUMA. O numa é um dict que descreve uma topologia (cpus, hostnodes, memory, policy). Definir numa: true é um erro de tipo, e é uma hora fácil de perder. Se queres saber porque é que isto importa, o alinhamento NUMA no Proxmox trata do problema de fundo.\nmachine: q35 e bios: ovmf são as predefinições certas, não decoração: esse argumento por inteiro.\nOmitir o vmid significa que o módulo pede à API o próximo ID livre. Conveniente, e a causa direta da coisa seguinte.\nPorquê serial: 1 «Ir buscar o próximo ID disponível, e depois criar uma VM com ele» são duas chamadas à API com um intervalo no meio. Dois workers a fazer isso ao mesmo tempo podem ler o mesmo ID livre, e o perdedor recebe um erro ou, pior, uma surpresa.\nO serial: 1 faz a fase de criação um anfitrião de cada vez. Não é rápido e não precisa de ser. A parte cara de construir uma VM acontece depois de este playbook passar o testemunho. O play correspondente que arranca as VMs terminadas usa serial: 5, porque arrancar não tem nenhum contador partilhado onde haja corrida.\nSe preferires ter o paralelismo, atribui tu o VMID a partir da tua fonte de verdade e passa-o explicitamente. Assim não há ler-modificar-escrever nem corrida.\nA idempotência não é o que esperas Esta é a secção para ler duas vezes, porque o proxmox_kvm não se comporta como o ansible.builtin.package.\nO name não é uma identidade. Os nomes das VMs não são únicos num cluster Proxmox, e o módulo di-lo. Com state: present e sem vmid, se já existir uma VM com esse nome, o módulo sai com changed=false e msg: \u0026quot;VM with name \u0026lt;x\u0026gt; already exists\u0026quot; e não faz nada. Não compara os teus parâmetros com a realidade. Não converge. Recusa-se.\nO update tem false por predefinição. Por isso editar o memory: no teu playbook e voltar a executar não faz nada. A VM fica com a memória com que foi construída, a tarefa reporta sucesso, e nada em lado nenhum te diz que as duas divergiram.\nO update: true continua a recusar os parâmetros interessantes. Da documentação do módulo:\nBecause of the operations of the API and security reasons, I have disabled the update of the following parameters net, virtio, ide, sata, scsi. Per example updating net update the MAC address and virtio create always new disk…\nO update_unsafe: true levanta essa restrição, e o aviso não está lá para enfeitar:\nUse this option with caution because an improper configuration might result in a permanent loss of data (for example disk recreated).\nPortanto, o disco que julgavas estar a redimensionar pode ser substituído por um novo e vazio. Não vás por aí: os parâmetros recusados têm os seus próprios módulos, e isso é a secção seguinte.\nE o --check não cobre nada disto. A coleção declara o suporte de modo de verificação módulo a módulo, e é inconsistente exatamente na direção errada:\nMódulo check_mode diff_mode proxmox_kvm nenhum nenhum proxmox_disk nenhum nenhum proxmox_template nenhum nenhum proxmox_snap total nenhum proxmox_nic total nenhum proxmox_pool total nenhum A divisão não é «os módulos só de leitura podem, os de escrita não», porque o proxmox_nic cria e apaga interfaces e respeita perfeitamente o modo de verificação. É que os três módulos que lidam com armazenamento e ciclo de vida das VMs não o fazem. Uma execução --check de um playbook de construção salta em silêncio a criação da VM e depois reporta sobre um mundo onde a VM nunca foi feita, por isso cada tarefa a seguir está a raciocinar sobre o estado errado. Num playbook de construção, o --check não é uma rede de segurança, e tratá-lo como tal é pior do que não o correr.\nO que uma segunda execução do proxmox_kvm faz de facto segunda execução \u0026#8212; state: present, e existe uma VM com esse nome o módulo nunca compara os teus parâmetros com a VM em execução update: false a predefinição changed = false \u0026#8220;VM with name \u0026lt;x\u0026gt; already exists\u0026#8221; edita a memória no play, volta a executar, e nada em lado nenhum te avisa update: true converge quase tudo cores, memória, tags, agent, onboot aplicados net, virtio, ide, sata, scsi, efidisk0, tpmstate0 recusados de propósito usa proxmox_disk e proxmox_nic para esses update_unsafe: true converge tudo os parâmetros recusados também são aplicados um parâmetro de disco pode recriar o disco perda de dados permanente é o risco documentado --check não te diz nada check_mode: none a tarefa é saltada cada tarefa seguinte raciocina sobre um mundo onde a VM nunca foi criada Dois dos quatro convergem alguma coisa, e o que cobre discos é o que os pode destruir. Por isso condiciona tu à existência, e trata a criação como um acontecimento único. O que uma segunda execução faz de facto. Dois dos quatro caminhos convergem alguma coisa, e o único que cobre discos é o que os pode destruir. Então faz da existência a barreira Dado tudo isso, o padrão que funciona é deixar de pedir ao módulo que seja idempotente e decidir tu se deves construir. O playbook de produção fá-lo assim:\n- name: Check if VM is present or manually built delegate_to: localhost community.proxmox.proxmox_vm_info: api_host: \u0026#34;{{ proxmox_api_ip }}\u0026#34; api_user: \u0026#34;{{ proxmox_user }}\u0026#34; api_password: \u0026#34;{{ proxmox_password }}\u0026#34; name: \u0026#34;{{ inventory_hostname }}\u0026#34; config: current register: existing_vm ignore_errors: true failed_when: (existing_vm.proxmox_vms | length) == 0 - name: Configure Proxmox VM when: existing_vm is failed block: - name: Create Proxmox VM ... O proxmox_vm_info com config: current devolve a VM e a sua configuração ativa, ou uma lista vazia. O failed_when transforma «lista vazia» numa falha, o ignore_errors: true impede essa falha de terminar o play, e o when: existing_vm is failed passa a ser «a VM não está lá, constrói-a».\nUsar uma tarefa deliberadamente falhada como booleano lê-se mal, e não vou fingir o contrário. A alternativa é when: (existing_vm.proxmox_vms | default([]) | length) == 0, que é honesta quanto a ser uma verificação de comprimento e não precisa de ignore_errors. Ambas funcionam. A versão acima é a que está em produção, e a sua única vantagem real é que o resultado registado traz a configuração existente para as tarefas seguintes lerem.\nO que importa é a forma, não a grafia: verifica, depois ramifica, e trata a criação como um acontecimento único. A configuração contínua de uma VM é um problema diferente da existência de uma VM, e este módulo só é bom no segundo.\nDiscos e NICs têm os seus próprios módulos Eis a coisa por que passei por cima acima, e muda o quadro todo: os parâmetros que o proxmox_kvm se recusa a atualizar não são uma lacuna na coleção. São delegados. O community.proxmox.proxmox_disk e o community.proxmox.proxmox_nic acrescentam, alteram e removem exatamente as coisas em que o módulo de criação não toca, com chaves nos mesmos nomes scsi0 e net0 que usaste quando construíste a VM.\nAmbos se portam melhor do que o proxmox_kvm, e um deles é o único módulo neste fluxo de trabalho que pode ser ensaiado a seco.\nproxmox_nic — Acrescentar, mudar a tag ou remover uma interface - name: Move the VM\u0026#39;s primary NIC to a new bridge and VLAN delegate_to: localhost community.proxmox.proxmox_nic: api_host: \u0026#34;{{ proxmox_api_ip }}\u0026#34; api_user: ansible@pve api_token_id: automation api_token_secret: \u0026#34;{{ proxmox_token_secret }}\u0026#34; vmid: \u0026#34;{{ created_vm.vmid }}\u0026#34; interface: net0 bridge: vmbr1 tag: 120 model: virtio mtu: 1 queues: 4 firewall: true state: present O interface é a única opção obrigatória além da autenticação, net[n] em que n vai de 0 a 31, e state: present ou absent dá-te acrescentar e remover. O model tem virtio por predefinição, que é a resposta certa a não ser que um convidado não aguente.\nA razão de este módulo existir é o endereço MAC. Lembra-te porque é que o proxmox_kvm se recusa a atualizar o net: «updating net update the MAC address». O proxmox_nic resolve isso explicitamente:\nWhen not specified this module will keep the MAC address the same when changing an existing interface.\nPortanto, podes mudar a tag de uma VLAN, mudar de bridge, alterar o MTU ou ligar a firewall sem que a identidade da NIC do convidado mude por baixo dele. Isso importa mais do que parece: um MAC novo invalida reservas DHCP, estraga tudo o que esteja licenciado a uma NIC, e dessincroniza o registo de interface do NetBox que o playbook de criação escreveu com tanto cuidado. Este é o módulo que deixa uma alteração de rede do dia 2 ser aborrecida.\nAlgumas opções que vale a pena conhecer antes de precisares delas:\nO rate é em MBps, MegaBytes por segundo, não bits. A documentação é explícita e o erro de um fator de oito é muito fácil de cometer. link_down: true desliga a interface, descrito na documentação como «like pulling the plug». Uma forma limpa de isolar uma VM suspeita sem a parar nem tocar no convidado. trunks recebe uma lista de IDs de VLAN a deixar passar, para um convidado que faz as suas próprias tags. mtu: 1 não é gralha nem um MTU de 1 byte: significa «herda o MTU da bridge», e só se aplica ao virtio. queues define o multiqueue, de 0 a 16. Vale a pena igualar ao número de vCPUs em tudo o que tenha tráfego a sério. E suporta totalmente o modo de verificação. O --check numa tarefa proxmox_nic diz-te a verdade, o que faz dele a única parte deste fluxo de trabalho que podes ensaiar em segurança. As suas mensagens também são devidamente idempotentes. Uma interface inalterada reporta Nic net0 unchanged on VM with vmid 103 em vez de alegar uma alteração.\nproxmox_disk — O ciclo de vida completo do disco O proxmox_disk é o maior módulo dos três, e o seu state faz cinco trabalhos diferentes:\nstate O que acontece Reversível? present cria o disco, ou atualiza as opções de um existente n/a resized aumenta-o; o PVE não consegue encolher, e a documentação diz para o fazer à mão não detached passa a unused[n]; o volume e os seus dados ficam sim moved muda o armazenamento de suporte, ou entrega o disco a outra VM original mantido salvo delete_moved absent removido do armazenamento de suporte não O espaço entre detached e absent é a rede de segurança que o proxmox_kvm nunca te dá. Desanexar é uma alteração de configuração; apagar destrói dados. Duas palavras diferentes, duas consequências diferentes.\nAcrescentar um segundo disco a uma VM que já existe:\n- name: Add a data disk delegate_to: localhost community.proxmox.proxmox_disk: api_host: \u0026#34;{{ proxmox_api_ip }}\u0026#34; api_user: ansible@pve api_token_id: automation api_token_secret: \u0026#34;{{ proxmox_token_secret }}\u0026#34; vmid: \u0026#34;{{ created_vm.vmid }}\u0026#34; disk: scsi1 storage: vmdata size: 200 format: qcow2 iothread: true aio: io_uring discard: \u0026#34;on\u0026#34; ssd: true backup: true state: present O create é o botão que o proxmox_kvm devia ter tido. Controla o que o state: present pode fazer:\nregular (a predefinição): cria o disco se faltar, caso contrário atualiza as suas opções. disabled: só atualiza opções, e nunca cria. É o que deves usar quando estás a mudar cache ou iothread num disco que tem de já existir. Não te pode surpreender a fazer aparecer um volume novo porque uma chave estava mal escrita. forced: cria sempre. Um disco existente é desanexado e deixado sem uso, não apagado. Esse último comportamento é o pormenor importante. O create: forced é a opção com ar destrutivo, e mesmo assim não destrói nada: o volume antigo sobrevive como unusedN e podes voltar a anexá-lo. Compara isso com o proxmox_kvm mais update_unsafe, cujo modo de falha documentado é um disco recriado. Mais ou menos a mesma operação, raio de explosão muito melhor.\nAumentar um disco:\n- name: Grow the data disk by 100 GiB delegate_to: localhost community.proxmox.proxmox_disk: api_host: \u0026#34;{{ proxmox_api_ip }}\u0026#34; api_user: ansible@pve api_token_id: automation api_token_secret: \u0026#34;{{ proxmox_token_secret }}\u0026#34; vmid: \u0026#34;{{ created_vm.vmid }}\u0026#34; disk: scsi1 size: \u0026#34;+100G\u0026#34; state: resized Atenção às unidades, porque o size muda de significado com o state. Com state: present é GiB como número simples (size: 200). Com state: resized leva um sufixo: +100G para somar ao tamanho atual, ou 500G como alvo absoluto. Um parâmetro, duas convenções, e a falha é silenciosa se adivinhares mal.\nMover um disco para outro armazenamento, que é o caso da migração ao vivo de um só volume:\n- name: Move the disk to NVMe storage delegate_to: localhost community.proxmox.proxmox_disk: api_host: \u0026#34;{{ proxmox_api_ip }}\u0026#34; api_user: ansible@pve api_token_id: automation api_token_secret: \u0026#34;{{ proxmox_token_secret }}\u0026#34; vmid: \u0026#34;{{ created_vm.vmid }}\u0026#34; disk: scsi1 target_storage: nvme-pool bwlimit: 200000 delete_moved: true timeout: 3600 state: moved O target_storage move dentro de uma VM; o target_vmid entrega o disco a outra VM e requer o mesmo armazenamento em ambas. São mutuamente exclusivos. O delete_moved tem false por predefinição, por isso, por omissão, acabas com duas cópias e o original ali parado como não usado: seguro, e uma boa forma de encher um pool de armazenamento se nunca lá voltares.\nO timeout tem 600 por predefinição aqui, contra 30 no proxmox_kvm. Parâmetro com o mesmo aspeto, diferença de vinte vezes, porque estas operações copiam dados. Aumenta-o para imagens grandes ou armazenamento lento; a documentação di-lo tanto para moved como para import_from.\nO que nos leva à opção que faz deste módulo o caminho para V2V e imagens cloud:\nimport_from: \u0026#34;vmdata:9000/base-debian13.qcow2\u0026#34; O import_from constrói o disco a partir de um volume existente em vez de alocar um vazio: \u0026lt;STORAGE\u0026gt;:\u0026lt;VMID\u0026gt;/\u0026lt;NAME\u0026gt;, ou \u0026lt;STORAGE\u0026gt;:import/\u0026lt;NAME\u0026gt; usando o diretório de importação do armazenamento no PVE 9.x e posteriores. É mutuamente exclusivo com size, e só o root pode usar caminhos absolutos do sistema de ficheiros.\nO resto da lista de parâmetros é a razão para anexar discos com este módulo em vez de diretamente na chamada de criação: cache, aio, iothread, discard, ssd, backup, detect_zeroes, e toda a família de limitação, iops, iops_rd, iops_wr, as variantes _max e _max_length, e os controlos de rajada bps_*_max_length. Nada disso é alcançável através do proxmox_kvm depois da criação.\nDuas ressalvas, ambas da própria documentação do módulo:\nAlgumas alterações de opções precisam de reinício. «Some updates on options (like cache) are not being applied instantly and require VM restart.» Uma tarefa verde significa que a configuração foi escrita, não que a VM em execução se esteja a comportar de forma diferente. Não suporta o modo de verificação. check_mode: none, tal como o proxmox_kvm. Por isso a coleção divide-se ao meio: as alterações de NICs podem ser ensaiadas com --check, as de discos não. A divisão do trabalho Para fazer isto Usa Criar a VM proxmox_kvm, uma vez, condicionado à existência Mudar cores, memória, tags, agent, onboot proxmox_kvm com update: true Acrescentar, mudar a tag, desligar ou remover uma NIC proxmox_nic Acrescentar, aumentar, mover, desanexar ou remover um disco proxmox_disk Snapshot proxmox_snap (também com modo de verificação total) Tudo o que nenhum deles expõe qm set por SSH Mudar um disco ou uma NIC através do proxmox_kvm nada: é para isto que serve o update_unsafe, e é por isso que não o deves usar Constrói a VM com uma chamada mínima ao proxmox_kvm, e depois anexa os discos e as interfaces com os seus próprios módulos. São mais tarefas, e é a versão em que as alterações do dia 2 têm um caminho que não envolve uma opção cujo risco documentado é perder um disco.\nOnde o módulo para O proxmox_kvm tem uma lista enorme de parâmetros e mesmo assim não cobre tudo o que o qm consegue fazer. Em vez de esperar, o playbook de produção desce para a linha de comandos no nó:\n- name: Set RNG source and better SPICE quality delegate_to: \u0026#34;{{ proxmox_api_host }}\u0026#34; become: true ansible.builtin.command: cmd: \u0026gt;- /usr/sbin/qm set {{ created_vm.vmid }} --rng0 source=/dev/urandom --spice_enhancements videostreaming=all Não há nada de errado nisto. Não é idempotente em nenhum sentido útil, porque o qm set é uma escrita e vai reportar changed em cada execução, mas é explícito, é legível, e não finge. Se um módulo ganhar o parâmetro mais tarde, apagas a tarefa.\nOutras coisas precisam de uma segunda passagem pelo módulo com update: true, porque não podem ser definidas na mesma chamada que cria a VM:\n- name: Add SPICE-compatible USB device delegate_to: localhost community.proxmox.proxmox_kvm: api_host: \u0026#34;{{ proxmox_api_ip }}\u0026#34; api_user: \u0026#34;{{ proxmox_user }}\u0026#34; api_password: \u0026#34;{{ proxmox_password }}\u0026#34; node: \u0026#34;{{ proxmox_api_host }}\u0026#34; vmid: \u0026#34;{{ created_vm.vmid }}\u0026#34; usb: usb0: \u0026#34;spice,usb3=1\u0026#34; update: true when: spice_usb | default(false) Repara que passa o vmid, não o name. Assim que tens o ID, usa-o. É o único identificador que a API trata como único.\nE para as coisas que o QEMU consegue fazer e para as quais o PVE não tem opção, há o args, que é passado tal e qual para a linha de comandos do QEMU:\nargs: \u0026gt;- -global scsi-hd.physical_block_size=4k -global scsi-hd.logical_block_size=4096 Esse apresenta o disco virtual como 4Kn em vez de 512e, o que importa mais do que parece: tamanhos de bloco, 4Kn e 512e. O módulo marca o args como «for experts only», e a razão é que o PVE não o valida e uma flag errada impede a VM de arrancar com um erro que vem do QEMU e não do Proxmox.\nO cluster não é instantaneamente consistente - name: Let registration complete on cluster ansible.builtin.pause: seconds: 5 when: created_vm.changed Uma pause num playbook costuma ser mau sinal, e esta aguenta peso. A chamada de criação regressa quando a API aceitou a definição, o que não é o mesmo que todos os nós concordarem que a VM existe, e a tarefa seguinte quer definir uma ACL em /vms/\u0026lt;vmid\u0026gt;. Cinco segundos de paciência saem mais baratos do que um ciclo de repetição à volta de um erro que só aparece sob carga.\nO playbook de remoção tem a mesma forma pela mesma razão: parar, esperar, depois apagar.\nLer de volta o que construíste O proxmox_kvm documenta três valores de retorno: vmid, status e msg. Na prática vais querer um quarto, e ele não está na documentação.\n- name: Get MAC address of VM ansible.builtin.set_fact: primary_mac_addr: \u0026#34;{{ created_vm.mac.net0 }}\u0026#34; O created_vm.mac é real, o módulo constrói-o em get_vminfo() e despeja-o no resultado, mas não consta do bloco RETURN documentado, o que significa que nada promete que continue a funcionar. Vale a pena saber exatamente como se comporta, porque tem duas armadilhas:\nSó aparece quando o módulo criou de facto a VM. O mac só é montado no caminho de criar e implementar. Vai pelo ramo «already exists» e o resultado tem vmid e msg e mais nada. Só contém as interfaces que passaste. O código percorre os parâmetros que tu forneceste e escolhe os que correspondem a net[0-9], depois lê a configuração guardada de cada um a partir da API. Sem parâmetro net, não há chave mac. É por isso que o playbook de produção precisa das duas metades, e a segunda é feia:\n- name: Get MAC address of VM ansible.builtin.set_fact: primary_mac_addr: \u0026gt;- {{ created_vm.mac.net0 if created_vm is defined and created_vm.changed else ((existing_vm.proxmox_vms[0].config.net0 | split(\u0026#39;,\u0026#39;))[0] | split(\u0026#39;=\u0026#39;))[1] }} Quando a VM já existia, não há mac, por isso o MAC tem de ser escavado da string de configuração em bruto. O net0 volta da API como virtio=AE:AE:5C:A8:89:85,bridge=vmbr0, portanto: divide pelas vírgulas, fica com o primeiro campo, divide pelo =, fica com a segunda metade. É cirurgia de strings numa resposta de API, e é o custo honesto de um módulo cuja forma de retorno depende do ramo que seguiu.\nSe precisas do MAC de forma fiável nos dois casos, vai buscá-lo ao proxmox_vm_info incondicionalmente e analisa uma forma em vez de duas.\nConduzi-lo a partir de uma fonte de verdade Olha outra vez para a linha que abre o play:\nhosts: \u0026#34;{{ target_hosts | default(\u0026#39;cluster_pve:\u0026amp;status_planned\u0026#39;) }}\u0026#34; Essa é a arquitetura real, e vale a pena dizê-lo claramente: as VMs a construir não são uma lista num ficheiro de variáveis. São os anfitriões do teu inventário cujo estado registado diz que deviam existir e ainda não existem.\nO inventário aqui é o NetBox. Uma VM é pedida criando um registo no NetBox com o estado planned, com o seu CPU, memória, disco, VLAN, dono e plataforma. O playbook seleciona as máquinas planned, constrói-as, atribui um IP, escreve o DNS, e depois põe o registo em staged, momento em que esse anfitrião deixa de corresponder ao padrão de anfitriões do play, e um handler atualiza o inventário para que o play seguinte veja o novo estado:\nhandlers: - name: Refresh inventory ansible.builtin.meta: refresh_inventory O campo de estado é uma máquina de estados, o playbook é uma transição dentro dela, e a coisa toda pode ser executada de novo porque um anfitrião que já avançou deixa de ser selecionado. Essa é uma propriedade muito melhor do que qualquer quantidade de idempotência ao nível do módulo, e é a razão pela qual a tarefa de criação se pode dar ao luxo de ser de uma só vez.\nO community.proxmox também traz o seu próprio plugin de inventário, que constrói um inventário a partir do cluster: a escolha certa quando o Proxmox é a fonte de verdade. Aqui é ao contrário: o NetBox é a autoridade e o Proxmox é onde a sua intenção se concretiza. Isso dá um artigo inteiro e vou escrevê-lo à parte.\nDesfazer tudo outra vez Criar sem remover é meio ciclo de vida, e o caminho de remoção tem a sua própria armadilha: não podes apagar uma VM em execução:\n- name: Force stop the VM if it is running delegate_to: localhost community.proxmox.proxmox_kvm: api_host: \u0026#34;{{ proxmox_api_ip }}\u0026#34; api_user: \u0026#34;{{ proxmox_user }}\u0026#34; api_password: \u0026#34;{{ proxmox_password }}\u0026#34; name: \u0026#34;{{ inventory_hostname }}\u0026#34; state: stopped force: true timeout: 10 - name: Allow the cluster to stop the VM before removing it ansible.builtin.pause: seconds: 10 - name: Remove the VM from the cluster delegate_to: localhost community.proxmox.proxmox_kvm: api_host: \u0026#34;{{ proxmox_api_ip }}\u0026#34; api_user: \u0026#34;{{ proxmox_user }}\u0026#34; api_password: \u0026#34;{{ proxmox_password }}\u0026#34; name: \u0026#34;{{ inventory_hostname }}\u0026#34; state: absent force: true timeout: 10 O state: stopped é um encerramento ordenado, e a interação com o timeout está documentada e vale a pena decorar: se o tempo limite for atingido com force: true, a VM é desligada à força; com force: false, a tarefa falha. Uma janela ordenada de dez segundos seguida de puxar a ficha é uma política razoável para uma máquina que está a ser desmantelada, e péssima para qualquer outra coisa.\nA remoção completa (proxmox-remove-vms.yml) desfaz depois o resto do registo: o DNS, o IP atribuído, as interfaces no NetBox, a VM no NetBox, e as entradas obsoletas no known_hosts. Envolve o bloco em ignore_errors: true, o que se defende numa remoção. Estás a remover coisas que podem já ter desaparecido, e uma máquina meio apagada é pior do que um registo barulhento.\nO que eu mudaria numa construção de raiz Tendo lido o código-fonte do módulo e não só a documentação, cinco coisas:\nUsa um token de API, não api_user mais api_password. Com âmbito limitado, revogável, e nunca pertence a uma pessoa. Define o validate_certs explicitamente, antes que a 2.0.0 o mude por baixo de ti. Atribui tu o VMID a partir da fonte de verdade. Elimina a corrida de ler-modificar-escrever, deixa-te abandonar o serial: 1, e dá a cada tarefa seguinte um identificador estável em vez de um nome que não é único. Cria a VM despida, e depois anexa os discos e NICs com proxmox_disk e proxmox_nic. Mais tarefas, mas cada disco e interface passa a ter um módulo que o pode alterar mais tarde, incluindo create: disabled para edições só de opções e state: detached em vez de apagar, em vez de uma configuração que só pode ser mudada através do update_unsafe. Vai buscar o MAC ao proxmox_vm_info num só sítio, para haver uma forma a analisar em vez de uma condição entre um valor de retorno documentado e um não documentado. E não recorras ao --check num playbook de construção. O módulo que importa não o consegue respeitar.\nUm ensaio a seco que diz sempre que sim é pior do que nenhum ensaio, porque vais acreditar nele.\nReferências Documentação da coleção community.proxmox — a superfície completa de 47 módulos community.proxmox no GitHub — onde vive o código acima; plugins/modules/proxmox_kvm.py é o ficheiro a ler quando a documentação é ambígua Documentação do módulo proxmox_kvm — a lista de parâmetros, e os avisos de update / update_unsafe citados acima Documentação do módulo proxmox_vm_info — config: current e config: pending Referência de opções qm do PVE — a verdadeira especificação de cada string scsi[n], net[n] e boot que passas proxmoxer — o cliente Python sobre o qual a coleção é construída damo2929/ansible-example — os playbooks de onde vêm estes excertos, incluindo o inventário conduzido pelo NetBox, a geração de DHCP e a construção do hipervisor ","permalink":"https://blogs.damiendye.uk/pt/ansible/proxmox-create-vms-community-proxmox/","summary":"A coleção community.proxmox é um cliente de API, não um agente de configuração, e isso muda a forma de cada playbook que a usa. Onde correm de facto as tarefas, porque o proxmox_kvm se recusa a convergir em vez de atualizar, porque é no proxmox_disk e no proxmox_nic que pertencem as alterações de discos e de NICs, e o valor de retorno não documentado de que vais acabar por precisar.","title":"Criar VMs do Proxmox com Ansible — O anfitrião que estás a construir ainda não existe"},{"content":"A pergunta com que começa qualquer avaliação do Proxmox «O Proxmox é mesmo de nível empresarial?»\nSurge em quase todas as conversas de migração, e a preocupação por baixo dela quase nunca é a interface web. Ninguém teme a sério que um painel no navegador lhe corrompa os dados. O que as pessoas estão a perguntar é se aquilo que fica entre uma máquina virtual e o hardware — o componente que tem de manter um inquilino fora da memória de outro, para sempre, sem um único erro — é uma peça de engenharia séria ou um projeto comunitário que ficou popular.\nÉ exatamente a coisa certa com que ficar nervoso. Só está apontada à camada errada, porque o Proxmox VE não contém um hipervisor.\nO hipervisor é o KVM. Faz parte do Linux, está lá desde 2007 e, se a tua organização usa EC2, Google Cloud, Oracle Cloud, Alibaba Cloud, DigitalOcean ou Nutanix, já o tens a correr em produção hoje — simplesmente nunca tiveste de pensar nele, porque as camadas de cima eram de outra pessoa.\nEste artigo é sobre o que essa base comum significa de facto. As duas metades: a parte do argumento que se aguenta mesmo e a parte que é exagerada nos diapositivos dos fornecedores.\nO Proxmox VE é uma camada de gestão A virtualização em Linux são quatro camadas distintas, construídas e mantidas por quatro grupos diferentes de pessoas.\n1. Extensões de virtualização do hardware. Intel VT-x com EPT, ou AMD-V com NPT. Silício. É isto que permite a um convidado correr o seu próprio kernel à velocidade nativa com as suas próprias tabelas de páginas, sem nada a emular instruções.\n2. KVM — o hipervisor. Módulos do kernel: kvm.ko para o núcleo independente da arquitetura, mais kvm-intel.ko ou kvm-amd.ko para as extensões do fabricante. É este o componente dono da fronteira de isolamento. Prepara as estruturas de controlo da máquina virtual do convidado, trata as saídas de VM, gere as tabelas de páginas de segundo nível e entrega as interrupções.\n3. O VMM — o monitor de máquinas virtuais, em espaço de utilizador. No Proxmox VE é o QEMU. Constrói a placa-mãe virtual: chipset, topologia PCIe, discos, placas de rede, portas série, firmware. O KVM corre o CPU; o QEMU decide que hardware o convidado julga ter.\n4. A camada de gestão. É o Proxmox VE: pve-manager e pveproxy para a API e a interface, qemu-server para transformar um ficheiro de configuração de VM numa linha de comandos do QEMU, pve-container para o LXC, pmxcfs por cima do Corosync para a configuração replicada do cluster, pve-ha-manager para o fencing e o reinício, mais a firewall e a pilha SDN.\nEssas quatro camadas também existem na plataforma de onde estás a migrar, a fazer os mesmos quatro trabalhos — o vCenter é a camada 4, o VMkernel é a camada 2 — e volto a essa comparação quando as peças estiverem todas em cima da mesa.\nAs mesmas quatro camadas no Proxmox VE e no vSphere Proxmox VE VMware vSphere 4 \u0026#183; gestão Proxmox VE pve-manager \u0026#183; pveproxy \u0026#183; qemu-server pmxcfs sobre Corosync \u0026#183; pve-ha-manager \u0026#183; SDN vCenter Server um appliance à parte para dimensionar, licenciar, atualizar e salvaguardar 3 \u0026#183; modelo de dispositivos pve-qemu, em espaço de utilizador a placa-mãe virtual: chipset, PCIe, discos, NICs QEMU upstream + 78 patches do Proxmox 2 \u0026#183; hipervisor \u0026#183; a fronteira de isolamento KVM \u0026#8212; kvm.ko + kvm-intel.ko / kvm-amd.ko entrada e saída de vCPU \u0026#183; EPT/NPT \u0026#183; interrupções Linux upstream, num kernel compilado pelo Proxmox o userworld VMX, um por VM E/S de dispositivos, snapshots, consola remota espaço de utilizador \u0026#8212; não dentro do kernel VMkernel, mais um VMM por vCPU instruções e memória do convidado As palavras da própria VMware sobre o VMkernel: «a POSIX-like operating system» 1 \u0026#183; silício Intel VT-x + EPT \u0026#183; AMD-V + NPT o mesmo silício As mesmas quatro camadas dos dois lados. O Proxmox escreve a camada 4, aplica muitos patches à camada 3, compila o kernel da camada 2 e vai buscar o próprio KVM ao upstream. A VMware escreve as quatro e não te deixa ler nenhuma. O que o Proxmox mantém de facto O Proxmox VE é dono da camada 4 por inteiro. Mas seria errado dizer que se limita a empacotar as camadas 2 e 3, e essa é a leitura errada mais comum do que a empresa faz.\nO pve-qemu traz 78 patches contra o QEMU upstream no seu ficheiro series, no momento em que escrevo:\nO que o Proxmox acrescenta ao QEMU: 78 patches, à escala extra/ bitmap-mirror/ pve/ 78 patches, à escala 26 6 46 Correções do upstream retroportadas. Um número impressionante são correções de segurança no modelo de dispositivos: validação de stride no qxl e virtio-gpu, um abort do intel_iommu provocável pelo convidado, DMA reentrante no lsi53c895a e virtio-net. Modos de sincronização de dirty bitmap para o drive-mirror. Trabalho do próprio Proxmox: savevm-async, o formato VMA, o controlador de blocos PBS, pbs-restore, alloc-track, backup fleecing. Desenhado à escala a partir de debian/patches/series. A maior parte da fila é engenharia do próprio Proxmox, e toda ela fica na camada 3 — nenhum destes patches toca no kvm.ko. Também compilam o seu próprio kernel, e mantêm empacotamento ou patches para a maior parte da pilha à volta — pve-edk2-firmware para o OVMF, mais lxc, zfsonlinux, openvswitch, libiscsi, corosync-pve, lvm e ceph.\nPortanto a fronteira real é: toda a camada 4, engenharia substancial dentro da camada 3 e um kernel que eles compilam. O que não fizeram foi escrever um hipervisor. O código KVM da camada 2 é Linux upstream.\nE nada disto é uma crítica ao Proxmox. Como tal, é a razão por que se pode confiar o trabalho a uma empresa do tamanho do Proxmox. Uma pequena empresa em Viena não se sentou a escrever um hipervisor de raiz; construiu sobre um que a Intel, a AMD, a Red Hat, a Google, a Amazon e a IBM já pagavam a engenheiros para manter, e gastou o seu próprio esforço na camada de cima e no trabalho de integração de que essa camada precisa. É aí que uma equipa daquele tamanho pode fazer a diferença, e a fila de patches mostra-os a fazê-la.\nO que o KVM é de facto KVM significa Kernel-based Virtual Machine, e o nome é exato: é uma funcionalidade do kernel, não um programa.\nCarrega os módulos e o Linux ganha um dispositivo de caracteres, /dev/kvm, mais um pequeno conjunto de chamadas ioctl sobre ele — KVM_CREATE_VM, KVM_CREATE_VCPU, KVM_SET_USER_MEMORY_REGION, KVM_RUN. Essa interface é toda a API do hipervisor. Qualquer coisa capaz de abrir um descritor de ficheiro e chamar ioctl pode criar máquinas virtuais.\nFoi escrito por Avi Kivity na Qumranet e integrado no Linux 2.6.20, lançado em fevereiro de 2007 — há dezanove anos. A Red Hat comprou a Qumranet em 2008, e o KVM saiu em todas as versões do kernel desde então, ao ritmo habitual do kernel de nove a dez semanas. Foi portado muito para lá do x86: arm64, POWER, s390 no IBM Z e RISC-V.\nO ponto de arquitetura importante é porque é pequeno.\nO KVM não tem um escalonador, porque o Linux tem um. Um vCPU é uma thread normal do anfitrião, e o completely fair scheduler põe-na num núcleo como qualquer outra thread. Não tem um gestor de memória, porque o Linux tem um. A RAM do convidado é um mapeamento normal em espaço de utilizador, por isso pode ir para paginação, ser suportada por hugepages ou ser colocada num nó NUMA com a mesma maquinaria de qualquer outro processo. Não tem uma pilha de controladores, uma camada de blocos, uma pilha de rede nem um sistema de ficheiros, porque o Linux já tinha tudo isso e são esses que o fabricante do teu hardware está a testar.\nEsse é o verdadeiro argumento da maturidade, e é muito mais forte do que um número de versão. Cada melhoria no balanceamento NUMA, cada alteração ao io_uring, cada controlador de rede, cada nova solução para uma errata de CPU que entra no Linux entra por baixo das tuas máquinas virtuais, porque não existe um kernel de hipervisor à parte para onde alguém tenha de a portar.\nO argumento do tipo 1 traça a linha no sítio errado A objeção que se segue, invariavelmente, é que o KVM é «só um hipervisor de tipo 2». Corre num SO anfitrião, ao contrário do ESXi, que corre em bare metal.\nEssa taxonomia é três décadas mais velha do que a virtualização por hardware, e aquilo à volta do qual traçava uma linha já não está onde se julga.\nO que acontece de facto quando um vCPU corre O QEMU chama ioctl(vcpu_fd, KVM_RUN). O controlo passa para o kvm.ko, que carrega o estado do CPU do convidado e executa VMLAUNCH. Dessa instrução até à saída de VM seguinte, o convidado está a executar diretamente no núcleo físico, em modo convidado, com as suas próprias tabelas de páginas ativas através do EPT, à velocidade total do hardware. Não há nada por baixo dele a interpretar seja o que for. O «SO anfitrião» não está no caminho. Nem sequer está a correr nesse núcleo.\nQuando o convidado faz algo que precisa de tratamento, o CPU sai para o anfitrião — e cai no kvm.ko, no kernel, exatamente no nível de privilégio que o VMkernel do ESXi ocupa. A maioria das saídas é resolvida ali mesmo e reentrada sem o espaço de utilizador alguma vez ser envolvido.\nO caminho de um vCPU do QEMU para o modo convidado, e onde as suas saídas param espaço de utilizador kernel \u0026#8212; anel 0 modo anfitrião modo convidado \u0026#8212; VMX non-root QEMU \u0026#8212; a thread do vCPU uma thread normal do anfitrião por vCPU kvm.ko entrada na VM \u0026#183; tratamento de saídas \u0026#183; EPT \u0026#183; interrupções o convidado, no núcleo físico o seu próprio kernel, as suas tabelas de páginas via EPT à velocidade total do hardware ioctl(KVM_RUN) VMLAUNCH saída de VM resolvida aqui saída p/ espaço de utilizador Nada interpreta o convidado, e o anfitrião não está a correr nesse núcleo. Onde uma saída para Resolvidas no kernel \u0026#183; EPT/NPT violation \u0026#183; escrita APIC local \u0026#8212; com APICv, muitas vezes sem saída \u0026#183; interrupção entre processadores, posted em hardware \u0026#183; doorbell virtio-net, tratado pelo vhost-net Chegam ao QEMU \u0026#183; acesso a registo num e1000 ou IDE emulado \u0026#183; escrita no espaço de configuração PCI \u0026#183; tudo o que só o QEMU sabe responder Só a segunda lista paga uma ida e volta ao espaço de utilizador, e é a lista que encolhes usando dispositivos virtio e um tipo de máquina que não traz hardware legado. O caminho que um vCPU faz. Tudo acima da linha tracejada é uma thread do anfitrião; tudo abaixo é o convidado sobre o silício. As únicas saídas que chegam ao QEMU são as que o QEMU tem de responder. O ESXi tem a mesma divisão Agora olha para a plataforma que supostamente prova a distinção.\nA própria documentação de arquitetura da VMware descreve o VMkernel como «a POSIX-like operating system», que fornece «process creation and control, signals, file system, and process threads». Isso é um sistema operativo, pela descrição do seu autor. E uma VM em execução no ESXi não é uma coisa dentro do kernel — é um grupo de processos userworld: um VMM por CPU virtual, que virtualiza as instruções do convidado e gere a sua memória, e um processo VMX por VM, que trata a E/S para os dispositivos que não são críticos para o desempenho e fala com o gestor de snapshots e com a consola remota.\nLê isso a pensar no QEMU. Contexto de execução por vCPU no kernel, processo por VM em espaço de utilizador a fazer emulação de dispositivos e gestão. A VMware dividiu-o pela mesma razão que toda a gente.\nO Hyper-V não é diferente. A documentação da Microsoft é explícita: o Virtual Machine Worker Process, vmwp.exe, é «a user mode component of the virtualization stack», lançado por VM, e todos os dispositivos emulados estão implementados nele — a correr na partição raiz, que é Windows. Até o Xen, a arquitetura a que a taxonomia melhor se ajusta, precisa de um Linux de uso geral no dom0 para funcionar, e vai buscar ao QEMU o modelo de dispositivos para os convidados totalmente virtualizados.\nEntão onde fica a linha? O critério nunca foi «usa espaço de utilizador». A taxonomia de Goldberg, do início dos anos 70, pergunta se o hipervisor é uma aplicação a correr num sistema operativo preexistente que já é dono do hardware e faz o escalonamento. Isso é um hipervisor de tipo 2, alojado: VMware Workstation, VirtualBox, Parallels Desktop, QEMU simples sem aceleração. Instalas um SO de uso geral, depois instalas um programa nele, e esse programa pede ao SO memória e tempo de CPU como qualquer outro programa.\nNão é isso que o KVM é. O kvm.ko não é um programa por cima do Linux. Faz parte do Linux, executa no mesmo nível de privilégio do código que é dono do hardware, e quando um convidado sai cai ali diretamente. Não há nenhum SO anfitrião por baixo do hipervisor. O kernel é o hipervisor. O Proxmox VE entrega esse kernel como o sistema, exatamente como o ESXi entrega o VMkernel como o sistema.\nE a versão «precisa de espaço de utilizador, logo é tipo 2» não tem salvação, porque aplicada de forma coerente apanha tudo. Nenhuma VM corre no ESXi sem o seu processo VMX, nenhuma no Hyper-V sem vmwp.exe, nenhuma no Xen como convidado HVM sem QEMU. Um teste que põe todos os hipervisores no mercado no mesmo balde não está a distinguir nada.\nKernel dono da virtualização do CPU e da memória Modelo de dispositivos por VM em espaço de utilizador Precisa de um SO anfitrião preexistente? VMware ESXi VMkernel VMX por VM Não Microsoft Hyper-V hipervisor mais a partição raiz Windows vmwp.exe Não Xen hipervisor Xen mais Linux no dom0 QEMU, no dom0 ou num stub domain Não KVM kvm.ko QEMU Não VirtualBox, VMware Workstation o kernel do anfitrião, através de um controlador instalado a própria aplicação Sim Quatro produtos, uma forma — e depois uma quinta linha que é genuinamente diferente. Essa última linha é o que «tipo 2» foi cunhado para descrever, e é a única em que outra coisa já mandava no hardware.\nPortanto a taxonomia ainda traça uma linha. Só que não a traça nem perto de onde o argumento presume: o KVM e o ESXi estão do mesmo lado dela. Chamar tipo 2 ao KVM é pedir emprestada uma palavra à categoria do VirtualBox e aplicá-la a algo que, em arquitetura, está na categoria do ESXi.\nO que deixa o rótulo sem fazer trabalho útil nenhum numa avaliação, porque os dois produtos entre os quais estás a escolher estão na mesma caixa. O que difere não é o número do tipo. É que um dos fornecedores também escreveu o kernel e não te deixa lê-lo — uma distinção de licenciamento e de transparência vestida com a roupa de um diagrama de arquitetura. A Nutanix mostra o ponto comercialmente: entrega o mesmo código KVM que o Proxmox e descreve o AHV como um hipervisor bare-metal de tipo 1. O mesmo código, o rótulo oposto, um departamento de marketing diferente.\nHá uma preocupação real escondida dentro da acusação, e merece um nome melhor: um kernel de uso geral faz mil trabalhos que um feito de propósito não faz, o que significa mais código e mais superfície de ataque ao lado da fronteira de isolamento. Isso é legítimo e mensurável, e volto a ele perto do fim.\nOnde o trabalho acontece de facto O único sítio onde o instinto «está num SO anfitrião» tem razão de ser é o tratamento das saídas, por isso vale a pena ser claro sobre que saídas vão para onde.\nO convidado faz isto Tratado por Custo Toca numa página ainda não mapeada no EPT/NPT kvm.ko, no kernel Uma saída, microssegundos Escreve no seu APIC local O próprio CPU, via APICv/AVIC Muitas vezes nenhuma saída Envia uma interrupção entre processadores Posted interrupts em hardware Muitas vezes nenhuma saída Transmite numa fila virtio-net com vhost-net Thread do kernel, sem passar pelo espaço de utilizador Um doorbell Lê um registo num controlador e1000 ou IDE emulado Até lá fora, ao QEMU Saída mais uma ida e volta ao espaço de utilizador Só a última linha se parece de alguma forma com a caricatura do tipo 2 — e é também a linha que eliminas com engenharia, usando dispositivos virtio e não apresentando hardware legado emulado de que não precisas. É o mesmo raciocínio por trás de escolher o Q35 em vez do i440fx: menos acessos a registos intercetados, menos dispositivos legados a percorrer.\nO SO anfitrião é uma funcionalidade, não bagagem A outra metade dessas contas nunca chega ao argumento, por isso aqui está: um nó Proxmox é uma máquina em que podes realmente trabalhar. É Debian, por isso todo o repositório do Debian está a um apt install de distância.\nA monitorização que já tens — um node exporter do Prometheus, smartmontools, o teu agente atual — em vez do que o appliance decidir expor. Diagnóstico quando algo está lento: fio, iperf3, nvme-cli, perf, bpftrace. Agentes de backup de qualquer fornecedor que entregue um binário Linux. Gestão de configuração, para que o hipervisor fique no mesmo inventário Ansible que tudo o resto em vez de ser um caso especial. fwupd para firmware, em hardware cujo fabricante suporte o LVFS. Nada disso precisa de um formato de plugin, de um pacote assinado ou da bênção do fornecedor. Compara com o modelo do ESXi, onde a shell é deliberadamente restrita, o código de terceiros chega como um VIB e não há gestor de pacotes nenhum a que recorrer.\nChega à pilha de armazenamento Os agentes de monitorização são a versão aborrecida disto. A própria documentação de armazenamento do Proxmox enumera os plugins nativos — dir, NFS, CIFS, CephFS, ZFS, BTRFS, LVM, LVM-thin, iSCSI, FC/SAS, RBD, ZFS-over-iSCSI, PBS — e depois acrescenta uma frase que vale a pena levar à letra:\nyou may use all storage technologies available for Debian Linux\nÉ uma afirmação sobre onde fica a fronteira, e o mecanismo por trás dela é genérico: põe um dispositivo de blocos em cada nó, mete LVM em cima, adiciona-o como armazenamento LVM com shared ativado. É exatamente assim que funcionam os caminhos suportados de Fibre Channel e iSCSI, por isso qualquer coisa capaz de produzir um dispositivo de blocos partilhado pode usar a mesma rota.\nQuatro transportes, uma rota para armazenamento partilhado no Proxmox o transporte o que o Linux te dá o que o Proxmox vê Fibre Channel / SAS plugin nativo iSCSI plugin nativo NVMe/TCP ou RDMA sem plugin \u0026#8212; nvme-cli ATA over Ethernet sem plugin \u0026#8212; aoetools um dispositivo de blocos em cada nó /dev/sdX \u0026#183; /dev/nvme0n1 grupo de volumes LVM shared: 1 storage type: lvm migração em direto em todo o cluster O Proxmox VE só tem de reconhecer as duas caixas da direita. Tudo à esquerda delas é a camada de blocos do Linux, e ela não quer saber de como o dispositivo chegou. Dois destes transportes têm um plugin do Proxmox e dois não têm nada, e a partir da segunda caixa não faz diferença nenhuma. A camada LVM é onde um LUN partilhado passa a armazenamento do cluster, seja o que for que o entregou. NVMe sobre TCP ou RDMA é o caso que vale a pena conhecer, porque é rápido, atual e ausente dessa lista de plugins. O nvme-tcp e o nvme-rdma são controladores de anfitrião Linux na árvore principal — o NVMe/TCP está no mainline desde o 5.0 — por isso não há nada para compilar. O nvme-cli é um pacote Debian (nvme discover, depois nvme connect), e o nvmetcli configura o alvo nvmet do kernel na outra ponta. Um namespace ligado aparece como /dev/nvmeXnY, e daí em diante é um dispositivo de blocos normal.\nATA over Ethernet faz o mesmo ponto do extremo oposto do espectro — antigo, obscuro, igualmente sem suporte como plugin. O controlador aoe está no mainline; o aoetools dá-te aoe-discover e aoe-stat; o vblade transforma qualquer ficheiro ou dispositivo de blocos noutra máquina num alvo. A mesma rota, o mesmo resultado.\nNenhum dos dois é uma API de plugins, um SDK ou um programa de certificação. É o que acontece quando a camada de armazenamento do hipervisor é a camada de blocos do Linux.\nAs ressalvas honestas, porque isto parece um truque de salão até serem 3 da manhã. Nenhum dos transportes é um tipo de armazenamento do Proxmox testado, por isso a integração e os seus modos de falha — comportamento de religação, multipath, timeouts sob carga — são teus para assumir e teus para testar antes de qualquer coisa importante viver lá. E o AoE é um protocolo de camada 2 nu, não encaminhável e sem autenticação, por isso pertence a uma VLAN de armazenamento isolada e a mais lado nenhum. O NVMe/TCP ao menos tem um modelo de descoberta e pode ser encaminhado, e é em boa parte por isso que é o que se deve escolher agora.\nQuem mais corre KVM É daqui que vem a afirmação «já o tens a correr». Todas as plataformas abaixo correm o mesmo módulo do kernel.\nPlataforma Onde a encontras A parte KVM O VMM em espaço de utilizador Amazon EC2 (Nitro) Nuvem pública Módulo central do KVM À medida — QEMU removido, modelo de dispositivos nas placas Nitro AWS Lambda, Fargate Serverless /dev/kvm Firecracker — um monitor de microVM mínimo em Rust Google Compute Engine Nuvem pública KVM desde o lançamento O VMM da própria Google, deliberadamente não QEMU Alibaba Cloud ECS Nuvem pública KVM simplificado (X-Dragon) À medida, com rede e armazenamento descarregados para uma placa MoC Oracle Cloud (OCI) Nuvem pública Oracle Linux KVM — a mesma pilha que a Oracle entrega on-premises Linhagem QEMU DigitalOcean, Linode/Akamai, Vultr, Hetzner, OVHcloud, Scaleway, UpCloud Nuvem pública KVM de série QEMU Nutanix AHV HCI on-premises KVM de série QEMU com libvirt e Open vSwitch OpenStack (Nova) Nuvem privada KVM de série QEMU via libvirt — o controlador por omissão e o mais testado Apache CloudStack, OpenNebula, oVirt On-premises KVM de série QEMU via libvirt OpenShift Virtualisation, SUSE Harvester Kubernetes KVM de série QEMU dentro de um pod, via KubeVirt Proxmox VE On-premises KVM de série QEMU, com LXC ao lado para contentores Todos ficam com a metade do kernel e reescrevem a do espaço de utilizador Os hyperscalers não fizeram um fork do KVM. Fizeram um fork do trabalho do QEMU.\nA AWS passou o EC2 do Xen para o hipervisor Nitro, que é construído sobre o módulo central do KVM com o QEMU deitado fora por completo. O modelo de dispositivos vive antes em placas Nitro dedicadas, que é como conseguem um desempenho indistinguível do bare metal. Todos os tipos de instância EC2 da geração atual correm isto. À parte, o Lambda e o Fargate correm o Firecracker, um VMM feito de propósito em Rust que fala com o mesmo /dev/kvm.\nA Google corre todas as VMs do Compute Engine em KVM desde que o Compute Engine foi lançado, e escreveu o seu próprio VMM em espaço de utilizador em vez de usar o QEMU, explicitamente para evitar a enorme matriz de convidados, dispositivos e modos do QEMU. Também foram no sentido contrário e endureceram o módulo do kernel no upstream, removendo dispositivos emulados de que ninguém precisava e estreitando o conjunto de instruções emuladas. Esse trabalho está no KVM que tens a correr.\nA Alibaba fez a mesma forma de coisa com o X-Dragon: um hipervisor KVM despojado, com a virtualização de rede e de armazenamento descarregada para uma placa MoC baseada em FPGA.\nO Nutanix AHV é KVM mais libvirt mais QEMU mais Open vSwitch mais a orquestração da Nutanix — de todos os produtos comerciais dessa lista, o parente mais próximo que o Proxmox VE tem. Uma camada 4 diferente, e uma fatura muito diferente.\nCinco plataformas, cinco modelos de dispositivos, um KVM Amazon EC2Nitro Google CloudCompute Engine Alibaba CloudECS, X-Dragon NutanixAHV Proxmox VEsobre Debian gestão mod. disposit. hipervisor hardware plano de controlo EC2 consola e API por hora de instância plano de controlo GCE consola e API por hora de instância consola ECS e API por hora de instância Prism e AOS em cada nó por nó, por ano pve-manager pveproxy, HA, SDN em cada nó subscrição opcional VMM à medida, sem QEMU nenhum dispositivos vivem nas placas Nitro VMM próprio da Google, em espaço de utilizador, de propósito não QEMU VMM simplificado, rede e armazenamento descarregados para uma placa MoC QEMU, libvirt e Open vSwitch QEMU, com LXC ao lado KVM \u0026#8212; kvm.ko, kvm-intel.ko / kvm-amd.ko a fronteira de isolamento, e é o mesmo código em todas as colunas Intel VT-x + EPT \u0026#183; AMD-V + NPT O mesmo módulo do kernel em todas as colunas. O que muda ao subir na pilha é o modelo de dispositivos, depois a camada de gestão, depois o licenciamento — que é também a ordem pela qual estas plataformas diferem de facto. O Proxmox VE mantém o QEMU de propósito É tentador ler a tabela como uma classificação, com a AWS e a Google no topo por terem substituído o QEMU. É a leitura errada, porque a restrição deles não é a tua.\nA AWS e a Google correm um único perfil de hardware, a uma escala em que um único bug de emulação de dispositivos é um evento em toda a frota, e controlam todas as fronteiras de imagem de convidado que lhes importam. Nesse mundo a amplitude do QEMU é quase toda passivo, por isso apagá-la é obviamente correto.\nTu não estás nesse mundo. Tens uma imagem de appliance de 2013 que quer uma e1000. Tens uma VM Windows cujo tipo de máquina tem de ficar fixo para o resto da vida. Tens uma GPU para passar, um controlador SAS emulado para satisfazer um instalador, um armazém de variáveis UEFI para preservar. O QEMU é exatamente o que permite a uma plataforma de uso geral dizer que sim a tudo isso.\nAquilo a que a AWS chama superfície de ataque é aquilo a que tu chamas matriz de compatibilidade. As duas descrições estão certas; a diferença é se podes escolher as tuas cargas de trabalho.\nTambém explica a forma daquela fila de patches. A AWS e a Google resolveram o backup e os snapshots fora do VMM, nos seus próprios serviços de armazenamento. O Proxmox não tinha um serviço de armazenamento onde o resolver, por isso pôs isso no QEMU — e é por isso que o savevm-async e o controlador de blocos do PBS existem como patches e não como produtos.\nE vale a pena saber isto por uma razão prática: as partes do Proxmox VE de que mais sentirias falta são as partes que não estão no upstream. As configurações das tuas VMs são texto simples e as imagens de disco estão em formatos normais, por isso uma máquina muda-se. Mas um snapshot que inclui o estado da RAM, e uma cadeia incremental do Proxmox Backup Server, dependem do fork do QEMU do Proxmox. É uma dependência muito mais leve do que um hipervisor proprietário — o fork é público, AGPL, e podes ler todos os patches que tem — mas não é zero, e «sem lock-in ao nível do software» devia levar essa nota de rodapé.\nEntão — é de nível empresarial? A forma preguiçosa deste argumento não funciona, e vale a pena dizê-lo claramente. «A AWS usa KVM, portanto o Proxmox VE é de nível empresarial» é um non sequitur: pega numa afirmação sobre uma camada e aplica-a às escondidas a um produto inteiro.\nEis a versão que se aguenta.\nO que é partilhado é a camada mais difícil de acertar e mais perigosa de errar. A virtualização do CPU e da memória, e a fronteira de isolamento entre inquilinos, é a parte em que um bug é uma violação e não uma indisponibilidade. Esse código é revisto por engenheiros pagos pela Amazon, Google, Red Hat, Intel, AMD, IBM e Alibaba, e os seus bugs são encontrados pelas casas que correm as maiores frotas que existem — normalmente antes de o kernel chegar até ti. Quando uma vulnerabilidade de fuga do convidado aparece mesmo, a correção chega pela atualização normal do kernel que ias aplicar de qualquer maneira. Não estás à espera do ciclo de lançamentos de um fornecedor para um hipervisor que só esse fornecedor consegue ver.\nO que não é partilhado é tudo acima da fronteira. O que significa que a pergunta se reduz a duas muito mais respondíveis:\nA camada de gestão é boa o suficiente para a forma como operas? Consegues comprar suporte para ela em termos com que consigas viver? As duas podem ser testadas numa prova de conceito e escritas num contrato. Nenhuma exige fé num hipervisor.\nÉ uma posição muito melhor do que aquela que a pergunta original presume — que te estão a pedir para confiar num hipervisor novo de um fornecedor pequeno. Não estão. O código específico do Proxmox é uma camada de gestão sobretudo em Perl e cada vez mais em Rust, mais aquela fila de patches contra o QEMU, e repara onde os patches caem: no modelo de dispositivos e no caminho de backup, não na fronteira de isolamento.\nTambém vale a pena saber o que te custa a falha da camada específica do Proxmox. Os processos QEMU são processos independentes normais no anfitrião, por isso o pveproxy ir abaixo não para uma única máquina virtual. É um raio de impacto muito diferente de perder o componente dono da fronteira de isolamento.\nO que «o mesmo hipervisor» não te compra É aqui que os documentos de confiança dos fornecedores costumam parar, o que te diz alguma coisa sobre para quem são escritos. É a metade mais útil.\nNão te compra a fiabilidade da AWS. A disponibilidade do Nitro tem muito pouco a ver com o KVM. Vem do plano de controlo, da fabric de rede, do serviço de armazenamento, da gestão de capacidade e da prática operacional à volta disso. A fiabilidade do teu cluster vai vir do desenho do quórum do Corosync, da configuração do fencing, da escolha de armazenamento e da redundância de rede. O KVM não tem opinião sobre nada disso. Partilhar um hipervisor com um hyperscaler não herda as operações deles.\nNão te compra a superfície de ataque do Nitro, e é aqui que cai a metade legítima da acusação de tipo 2. Estás a correr o QEMU num kernel de uso geral, e historicamente o modelo de dispositivos do QEMU é onde viveram as fugas de VM memoráveis — o VENOM, num controlador de disquetes emulado que ninguém usava, é o exemplo canónico. A Google pôde notar na altura que o Compute Engine não foi afetado precisamente porque não corre QEMU. Tu corres, por isso os controlos compensatórios são teus: prefere virtio a hardware emulado, não apresentes dispositivos de que não precisas, deixa os perfis do AppArmor em paz e aplica patches ao QEMU com a mesma disciplina que ao kernel. Os patches extra/ do Proxmox são eles a fazer exatamente isso em teu nome, e é razoável verificar que ainda o fazem.\nNão torna o comportamento das VMs portável entre plataformas. A seleção do modelo de CPU, o versionamento do tipo de máquina, a compatibilidade da migração em direto e o comportamento do relógio são todos decididos nas camadas 3 e 4, e diferem em todo o lado. Um cluster com gerações de CPU misturadas vai continuar a castigar-te por pores o tipo de CPU em host, e os relógios dos convidados continuam a derivar seja qual for o logótipo da plataforma. O mesmo hipervisor não é o mesmo comportamento.\nNão responde à pergunta do suporte — que é a que as compras realmente querem saber, e com razão. O Proxmox VE é AGPLv3 e gratuito para correr em produção. A subscrição compra o repositório testado para empresas e o suporte do fornecedor, a partir de 120 € por socket por ano. O suporte do próprio Proxmox é prestado em horário de expediente austríaco, por isso a cobertura a qualquer hora vem de parceiros e não de Viena. A croit, onde trabalho, é um desses parceiros, e cobre 24/7, 365 dias por ano. Isso é uma negociação comercial, não um risco técnico — e ser uma negociação comercial é o objetivo de tudo o que está acima.\nO que avaliar de facto em vez disso Se o hipervisor está resolvido, uma prova de conceito deve gastar o tempo na camada que é genuinamente específica do Proxmox VE:\nFencing e HA. Corta a energia a um nó com convidados HA a correr e cronometra o reinício. Depois fá-lo a dois nós e confirma que os restantes se comportam como esperas quando o quórum se perde. Migração em direto entre gerações de CPU. Com o modelo de CPU que tencionas mesmo normalizar, não host. Backup e, mais importante, restauro. Tempos de restauro sob carga, não tempos de backup. Nunca ninguém foi agradecido por um backup rápido. O modelo de permissões. Se consegues dar a uma equipa de aplicação o controlo da consola e da energia das suas próprias VMs e mais nada, com granularidade suficiente para satisfazer um auditor. A API. Tudo o que a interface web faz é uma chamada à API; se a tua automação não a conseguir conduzir, a plataforma não vai encaixar na forma como trabalhas. O caminho de atualização. Uma atualização de versão principal no cluster da PoC, antes de teres 400 VMs nele. Nenhuma destas é uma pergunta sobre o KVM. É mesmo esse o ponto.\nO hipervisor é a parte resolvida. Gasta a prova de conceito nas partes que não estão.\nReferências O próprio KVM\nKVM API documentation — a interface ioctl do /dev/kvm, que é todo o contrato do hipervisor Linux 2.6.20 release notes — a versão em que o KVM foi integrado, fevereiro de 2007 Some KVM developments — LWN, janeiro de 2007, sobre o KVM nos dias a seguir à sua entrada no mainline Como são construídos os outros hipervisores\nInterpreting virtual machine monitor and executable failures — a própria descrição da Broadcom de uma VM ESXi em execução como «several processes or userworlds», com um VMM por vCPU e um VMX por VM The Architecture of VMware ESXi (PDF) — o whitepaper que chama ao VMkernel «a POSIX-like operating system» com processos, sinais, um sistema de ficheiros e threads. Ligado através de um espelho porque o URL original da VMware não sobreviveu à reorganização da Broadcom, o que é um pequeno comentário em si sobre a continuidade dos fornecedores Hyper-V architecture — a Microsoft sobre o Virtual Machine Worker Process como componente em modo de utilizador, um por VM, onde vivem todos os dispositivos emulados The Nutanix Bible — AHV architecture — o AHV descrito como KVM com libvirt, QEMU e Open vSwitch Quem corre KVM, e como o alterou\n7 ways we harden our KVM hypervisor at Google Cloud — a Google sobre correr KVM sem QEMU, e o endurecimento que fez no upstream The AWS Nitro System — que tipos de instância EC2 correm o hipervisor Nitro AWS EC2 Virtualization 2017: Introducing Nitro — o texto de Brendan Gregg sobre a transição do Xen para o KVM, ainda o relato mais claro dela Firecracker — o VMM mínimo da AWS baseado em KVM por trás do Lambda e do Fargate Alibaba Cloud\u0026rsquo;s sixth-generation ECS instances — o hipervisor X-Dragon e o descarregamento para a MoC KubeVirt — o modelo QEMU/KVM dentro de um pod por trás do OpenShift Virtualisation e do Harvester OpenStack Nova hypervisor support matrix — o KVM como controlador de referência O que o Proxmox mantém\nThe Proxmox GitHub organisation — 89 repositórios, incluindo pve-qemu, pve-kernel, pve-edk2-firmware e empacotamento para lxc, zfsonlinux, openvswitch, libiscsi, corosync-pve e ceph pve-qemu patch series — os 78 patches contados acima, e a forma mais rápida de ver exatamente o que o Proxmox acrescenta ao QEMU Proxmox VE storage documentation — a lista de plugins nativos, que tipos de armazenamento são partilhados, e a linha sobre usar todas as tecnologias de armazenamento disponíveis para Debian Linux nvme-cli e nvmetcli — ferramentas de anfitrião e de alvo NVMe-oF; aoetools e vblade para o equivalente ATA over Ethernet. Todos no Debian trixie, que é a base do Proxmox VE 9 Proxmox VE pricing and subscription tiers — o que a subscrição cobre Declaração de interesses: trabalho para a croit, um Proxmox Gold Partner. As afirmações técnicas acima têm fontes e podem ser verificadas; o parágrafo comercial é a parte em que tenho interesse, por isso trata-o em conformidade.\n","permalink":"https://blogs.damiendye.uk/pt/proxmox/kvm-the-hypervisor-inside-proxmox-ve/","summary":"«O Proxmox é de nível empresarial?» é uma pergunta sobre o hipervisor, e o Proxmox VE não contém nenhum. O hipervisor é o KVM — o mesmo módulo do kernel por baixo do EC2, do Google Cloud, do Alibaba Cloud, do Nutanix AHV e do OpenShift Virtualisation. O que o Proxmox mantém de facto, porque é que o argumento do tipo 1 aponta para a linha errada, e o que a base comum não te compra.","title":"O Proxmox VE não é um hipervisor — o KVM é, e já o tens a correr"},{"content":"Porque é que os HDD voltaram ao menu Durante anos o conselho foi simples o bastante para caber num post-it: põe tudo em SSD.\nEsse conselho estava certo, e também era barato. Nenhuma das duas coisas é bem verdade agora. A oferta de NAND apertou, a procura da IA empurrou o preço do flash para cima, e o NVMe de grande capacidade tornou-se difícil de justificar numa instalação Proxmox atenta aos custos, o tipo que tem de estar operacional, ser fiável e sair tão barata quanto a honestidade permite.\nOs HDD enterprise voltam a ser interessantes pela mesma razão de sempre: capacidade por libra, e nada mais chega perto.\nO senão é que toda a gente que já correu VM em discos rotativos sabe como isso pode correr mal. Essa experiência é real, e normalmente a culpa é da arquitetura e não dos discos.\nCulpar os discos é mais fácil, atenção. Também está errado, e sai caro, porque convence as pessoas a comprar flash de que não precisavam.\nTudo o que se segue parte do princípio de Proxmox com OSD Ceph hiperconvergentes, porque é aí que as decisões de disposição mordem a sério.\nO problema é a latência, não o débito Um HDD enterprise moderno move grandes dados sequenciais perfeitamente bem. Esse nunca foi o gargalo.\nUm disco enterprise de 7200 RPM entrega algo como 80 a 100 IOPS de trabalho aleatório, porque cada operação aleatória espera por um posicionamento da cabeça e por uma rotação do prato. Esse número quase não mexeu em vinte anos. É mecânica, não eletrónica. Um SSD enterprise de entrada está a três ou quatro ordens de grandeza dele.\nDá ao mesmo disco trabalho sequencial e é um dispositivo útil. A taxa de operações mais ou menos duplica, para cerca de 200 IOPS, mas cada uma dessas operações leva agora um bloco grande, porque a cabeça já está no sítio certo e pode continuar a debitar. Portanto tens débito real, 150 a 250 MB/s, a um preço por terabyte em que nada mais toca.\nEssa é a assimetria importante, e não é «os HDD são lentos». Um disco rotativo é bom em trabalho sequencial e inútil em trabalho aleatório, e os dois números só estão próximos porque o que tem limite é a contagem de operações, não os bytes.\nO que define todo o caderno de encargos. Não estás a tentar tornar o disco mais rápido. Não consegues. Estás a tentar arranjar maneira de ele passar o tempo no modo em que já é competente, e de manter o tráfego pequeno e aleatório longe dele. Assim sendo, tudo o que se segue é essa ideia aplicada duas vezes.\nO problema é que as máquinas virtuais não geram a carga em que os HDD são bons. Geram atualizações de metadados, escritas de diário, pequenos flushes síncronos, registos, manutenção do sistema de ficheiros e rajadas de atividade aleatória de uma dúzia de convidados ao mesmo tempo, que chegam intercaladas ao disco.\nInútil no aleatório, bom a sério no sequencial: o modo em que o disco corre é o desenho todo Operações por segundo, um dispositivo: barras fora de escala, três ordens de grandeza não cabem HDD 7200 RPM: aleatório 80–100 cada operação espera pela cabeça e pela rotação: inútil HDD 7200 RPM: sequencial ~200 e cada uma leva um bloco grande: 150–250 MB/s de débito real NVMe enterprise 100k+ sem peças móveis, nenhuma cabeça a pagar O que um cluster hiperconvergente manda de facto ao disco metadados dos convidados escritas de diário e fsync registos e manutenção RocksDB metadados rajadas aleatórias, muitos convidados grandes transferências sequenciais Cinco das seis são pequenas e aleatórias. Só uma é aquilo em que o disco é bom. Não é «os HDD são lentos». Um disco rotativo é bom a sério no sequencial e inútil no aleatório, e os dois números só ficam próximos porque a quantidade com limite é o número de operações, não os bytes de cada uma. Portanto o trabalho não é tornar o disco mais rápido. É mantê-lo no modo em que já é competente. As taxas de operações aleatórias e sequenciais ficam surpreendentemente próximas, porque o que tem limite é o número de operações e não os bytes que cada uma leva. O sequencial é onde o disco ganha o seu dinheiro; um cluster hiperconvergente manda-lhe, de origem, o outro tipo de trabalho. O Ceph junta a isto a sua própria camada. Cada escrita leva atualizações de metadados do RocksDB ao lado dos dados. Se tudo isso cair em discos rotativos crus, os discos passam o tempo a posicionar a cabeça em vez de servir, e tens o sintoma que qualquer administrador reconhece: espera de I/O alta, convidados lentos, resposta inconsistente e um cluster que parece muito mais lento do que a ficha de capacidade sugere.\nA própria orientação de hardware do Ceph é direta sobre onde isto vai dar. Avisa para «consider carefully the ostensible cost-per-gigabyte advantage of larger HDDs, and the concomitant limitations of IOPS per TB», e diz que os discos acima de 8 TB «may be best suited for storage of large files / objects that are not at all performance-sensitive.»\nVale a pena fazer essa conta, porque os discos que tornam isto económico, para começar, são os grandes. 20 TB para cima. Um disco de 20 TB continua a fazer os seus 80 a 100 IOPS aleatórios, porque a capacidade não te compra operação nenhuma. Portanto oferece cerca de 4 a 5 IOPS aleatórios por terabyte, onde um disco de 8 TB consegue uns onze, e um de 2 TB quarenta.\nPela própria medida do Ceph, então, um disco rotativo de 20 TB está bem dentro do território onde ele te diz para não pôr cargas sensíveis ao desempenho.\nIsso não é um argumento contra comprá-los. É a razão de existir o resto deste artigo. O desenho abaixo é exatamente o que torna viável um disco de 20 TB para armazenamento de VM, arranjando as coisas para que o trabalho pequeno e aleatório nunca lá chegue.\nTira os metadados do disco rotativo A alteração de maior valor num cluster sobre HDD é deixar de obrigar o disco rotativo a guardar a contabilidade do Ceph.\nO BlueStore guarda três coisas por OSD: os próprios dados em block, a base de dados de metadados RocksDB em block.db e o registo de escrita antecipada (write-ahead log) em block.wal. Por omissão, as três vivem no mesmo dispositivo. Põe o block.db em NVMe e uma grande quantidade de I/O pequeno e aleatório sai do disco por completo.\nA documentação de hardware do Ceph di-lo sem rodeios: «HDD OSDs may see a significant write latency improvement by offloading WAL+DB onto an SSD.»\nDisposição de um OSD BlueStore: tudo no disco rotativo, contra metadados em NVMe Por omissão: um dispositivo guarda os três escritas de dados de objetos metadados RocksDB Um HDD de 7200 RPM block block.db .wal Os dois fluxos partilham um orçamento de 80 IOPS. A cabeça salta entre dados e metadados em cada escrita. block.db em NVMe: os metadados saem escritas de dados de objetos metadados RocksDB HDD de 7200 RPM block: só dados NVMe enterprise block.db .wal O disco rotativo faz agora um só trabalho. Indica um dispositivo DB e o WAL vai com ele. Dimensiona o\u0026#160;block.db\u0026#160;a 1–2% do\u0026#160;block\u0026#160;para cargas RBD, ou a 2,5% para ficar à vontade. Subdimensiona-o e o RocksDB não falha: transborda para o disco rotativo, o único desfecho que desperdiça o flash que acabaste de comprar. Os tamanhos úteis sobem em degraus de cerca de 3, 30 e 300 GB, porque uma partição DB só usa por inteiro as somas dos níveis do RocksDB. Arredondar para o degrau de cima costuma ser barato; arredondar para baixo não compra nada. À esquerda, tudo num só disco rotativo: as escritas de dados e as atualizações do RocksDB disputam os mesmos 80 e tal IOPS. À direita, block.db em NVMe: o tráfego de metadados sai do disco, e o disco rotativo fica a fazer a única coisa em que é bom. Usa aqui NVMe enterprise a sério, não flash de consumo. A razão não são os números de benchmark de montra. É a latência estável sob carga contínua, e a proteção contra perda de energia. A documentação do Ceph é direta: «Enterprise-class SSDs are best for Ceph: they feature power loss protection (PLP)», e «bargain client-class or off-brand SSDs are a false economy.»\nDiscos da classe Samsung PM9A3 e Micron 7450 Pro são o género de coisa que pertence aqui. Sob pressão de escrita, o Ceph preocupa-se muito mais com a consistência do que com os números de pico, e é exatamente isso que separa um disco enterprise de um disco de consumo rápido.\nDimensionar o block.db, e quanto custa o transbordo Erra o tamanho e o benefício evapora-se em silêncio, porque quando o block.db enche, o RocksDB não falha: transborda de volta para o dispositivo lento, exatamente onde estaria sem o NVMe.\nÉ o pior dos dois mundos: compraste o flash e continuas a posicionar cabeças no disco rotativo.\nA orientação atual do Ceph:\nCarga block.db como fração de block RBD / bloco, discos de VM 1% a 2% RGW / objetos pelo menos 4% Recomendação geral ao descarregar WAL+DB pelo menos 2,5% O armazenamento de VM no Proxmox é a linha RBD, portanto 1–2% é o número honesto para planear, e 2,5% é um sítio confortável para ficar.\nFaz essa conta para um disco de 20 TB e os números chamam a atenção:\nblock.db para um OSD de 20 TB A 1% 200 GB A 2% 400 GB A 2,5% 500 GB Junta isso aos degraus de nível do RocksDB abaixo e 300 GB por OSD é o ponto de aterragem sensato. O degrau útil mais perto do meio do intervalo.\nO que muda aquilo que o dispositivo de metadados partilhado realmente é. Oito OSD de 20 TB querem 2,4 TB de NVMe entre eles; quinze, o máximo declarado pelo Ceph atrás de um NVMe, querem 4,5 TB. Em discos tão grandes, é a capacidade de DB que decide quantos OSD ficam atrás de um dispositivo, não a proporção. Vais ficar sem gigabytes muito antes de ficar sem a bênção do Ceph.\nHá mais um pormenor que vale a pena saber, porque torna errado o dimensionamento intuitivo. A estrutura de níveis do RocksDB faz com que uma partição de DB só consiga usar por completo tamanhos que correspondem às somas dos seus níveis, o que historicamente produziu degraus úteis por volta de 3 GB, 30 GB e 300 GB, sem que os tamanhos intermédios ofereçam nada a mais do que o degrau de baixo. Arredondar 18 GB para cima, para 30 GB, sai muitas vezes de graça na prática; arredondar para baixo, para 20 GB, no pior caso não te compra nada a mais do que 3 GB.\nVerifica o transbordo depois de o cluster estar a correr há algum tempo, não no primeiro dia. É um problema de instalação lenta.\nNão precisas de um dispositivo WAL separado Este poupa uma partição e muita trapalhada.\nSe indicares um dispositivo de DB e nenhum dispositivo WAL explícito, o Ceph põe o WAL automaticamente no dispositivo rápido, junto com a DB. A documentação diz que «whenever a DB device is specified but an explicit WAL device is not, the WAL will be implicitly colocated with the DB on the faster device.»\nPortanto «põe a DB e o WAL em NVMe» é o objetivo certo, mas é um argumento, não dois. Um block.wal separado só faz sentido se tiveres uma terceira camada, mais rápida, onde o pôr.\nDesliga a cache de escrita do HDD Pequeno, sem glamour, e fácil de deixar escapar.\nA documentação do Ceph nota que o desempenho do OSD «may be dramatically increased \u0026hellip; by disabling this write cache» nos HDD. A cache volátil do disco reordena e atrasa escritas de formas que lutam contra a semântica de flush do Ceph, e desligá-la costuma tornar as coisas mais rápidas, não mais lentas.\nPassa de aconselhável a obrigatório assim que o bcache entra em jogo, que é a secção seguinte.\nJá que estás aí: não precisas de um HBA com RAID. O Ceph di-lo diretamente: «You do not need an RoC (RAID-capable) HBA.» Dá os discos aos OSD.\nUm Optane por disco rotativo Tirar os metadados do disco resolve o estado estável. Não resolve as rajadas, porque uma rajada de pequenas escritas síncronas continua a ter de ser confirmada, e o disco rotativo continua a confirmar à velocidade de disco rotativo.\nÉ para isso que serve o bcache, e o que o faz funcionar aqui é o Optane.\nO que importa não é a capacidade. É o comportamento sob carga de escrita. Face à NAND, o Optane oferece latência muito baixa, resistência muito alta e nenhum dos precipícios de recolha de lixo que tornam imprevisível o desempenho de um SSD como cache de escrita depois de algum tempo em serviço. Absorver tráfego pequeno, em rajadas e pesado em escritas é aquilo em que é o melhor do mundo.\nA disposição que importa: um Optane por HDD, cada par com o seu próprio dispositivo bcache. Não um Optane partilhado por uma prateleira inteira de discos.\nTrês camadas, dois modelos de partilha: cache de escrita emparelhada, dispositivo de metadados partilhado Um nó Proxmox, três OSD Escritas das VM: pequenas, síncronas, em rajadas Metadados RocksDB do Ceph bcache0 Optane cache escrita HDD osd.0 block bcache1 Optane cache escrita HDD osd.1 block bcache2 Optane cache escrita HDD osd.2 block Um Optane por disco: emparelhado, nunca partilhado Uma falha de cache custa um OSD, que o Ceph reconstrói por rotina. Resistência pedida: 30–100 DWPD. Só Optane. NVMe enterprise partilhado block.db + WAL implícito, os três OSD com proteção contra falha de energia Partilhado, porque os metadados são poucos O Ceph diz 4–5 HDD por SSD SATA, não mais de 15 por NVMe. Perde este e todos os OSD atrás dele vão com ele. NAND enterprise serve, mas um NVMe rápido. As duas camadas são necessárias, e não são a mesma compra. O Optane encurta a confirmação das escritas; nada faz pelas leituras de metadados que o Ceph faz sem parar, e só adia as escritas de metadados. Salta o NVMe e o RocksDB volta ao prato. Cada escrita para um OSD passa pela sua cache, por isso essa tem de ser Optane. O dispositivo de metadados não, mas tem de ser um NVMe rápido: pouco volume de escrita, e mesmo assim leva a latência de metadados de cada OSD atrás dele. Três camadas, dois modelos de partilha diferentes. O dispositivo DB/WAL é partilhado por vários OSD porque o volume de escrita do RocksDB é pequeno, embora continue a ter de ser um NVMe rápido, porque leva a latência de metadados de todos eles. A cache de escrita Optane está emparelhada um para um com o seu disco rotativo, portanto uma falha da cache só pode custar um OSD. O emparelhamento é uma escolha deliberada, e compra duas coisas.\nNenhuma contenção. Cada disco rotativo tem para si a latência e a profundidade de fila de um Optane inteiro, em vez de ficar na fila atrás das rajadas de outros sete OSD.\nUm domínio de falha que o Ceph já sabe sobreviver. Uma cache de escrita partilhada guarda dados sujos de todos os OSD que tem atrás, portanto perdê-la perde-os todos de uma vez; emparelhada um para um, perder um Optane custa exatamente um OSD. Essa distinção é a consequência mais importante deste desenho, e tem o seu próprio tratamento em o que estás a trocar.\nIsto tem de ser Optane. Não NAND. A palavra «Optane» não é aqui uma preferência de marca nem um extra simpático. Substituir por um NVMe NAND, por mais caro que seja, constrói uma coisa que se gasta, e a razão é a resistência.\nOlha para onde fica o dispositivo de cache. Como este desenho desliga o desvio sequencial do bcache, o sequential_cutoff=0 em a regra abaixo, cada uma das escritas para esse OSD passa por ele: não só as rajadas, tudo. Isso faz da cache o dispositivo com o ciclo de trabalho mais alto do nó, a quem se pede que absorva o volume de escrita de um disco rotativo inteiro durante a vida da máquina.\nA resistência é indicada em escritas do disco inteiro por dia (DWPD), e a diferença não é marginal:\nDispositivo Resistência nominal Optane P5800X 100 DWPD Optane P4800X 30 DWPD NAND enterprise de escrita intensiva, topo de gama cerca de 10 DWPD NAND enterprise de uso misto 3 DWPD ou menos NAND enterprise corrente, classe PM9A3, 7450 Pro cerca de 1 DWPD O Optane tem entre dez e cem vezes a resistência da NAND que porias ali de outro modo. Põe um disco de 1 DWPD na única posição que recebe todas as escritas do cluster e não construíste uma cache, construíste um consumível.\nÉ pior do que a tabela sugere, porque a NAND sofre amplificação de escrita internamente e o Optane não. O DWPD nominal de um disco NAND é o que ele aguenta na interface; o que as suas células absorvem de facto é mais. O número do Optane não precisa de asterisco nenhum.\nAs reconstruções são onde isso é posto à prova. O backfill empurra terabytes de escritas pelos nós sobreviventes numa janela comprimida, cada byte a passar pelos dispositivos de cache deles: um evento de resistência, não apenas de latência, que chega exatamente quando menos queres que um segundo dispositivo falhe.\nPortanto as duas camadas de flash querem discos diferentes, por razões diferentes:\nCamada Volume de escrita O que o dispositivo precisa DB/WAL pequeno, só RocksDB Um NVMe enterprise rápido. Latência baixa, IOPS aleatórios altos, PLP. A NAND enterprise é a tecnologia certa; um PM9A3 ou um 7450 Pro é a compra certa Cache de escrita tudo PLP e resistência nas dezenas de DWPD. A NAND é a tecnologia errada a qualquer preço Comprar um só tipo de disco para os dois trabalhos é o erro que esta secção existe para evitar, mas não leias a primeira linha como licença para poupar, porque volume de escrita baixo não é exigência baixa.\nO dispositivo DB/WAL continua a ter de ser NVMe genuinamente rápido, por três razões que nada têm a ver com quantos bytes o atravessam.\nServe todos os OSD que tem atrás ao mesmo tempo, portanto a fila que vê são quatro ou quinze conjuntos de tráfego de metadados, não o de um só disco.\nA sua latência cai diretamente nos teus clientes. As consultas ao RocksDB estão no caminho crítico para encontrar objetos, para o peering e para o scrub, e são pequenas leituras aleatórias. A carga onde a diferença entre um NVMe rápido e um medíocre é maior. Cada microssegundo é multiplicado por cada OSD que dele depende.\nE a compactação vem em rajadas. O RocksDB reescreve periodicamente os seus níveis, transformando uma rotação constante num pico concentrado de leituras e escritas. Um dispositivo que aguenta a média e encrava no pico encrava todos os OSD que tem atrás no mesmo momento.\nAs próprias proporções do Ceph denunciam-no. Permite três vezes mais OSD atrás de um NVMe do que atrás de um SSD SATA, e isso é a interface e a classe do dispositivo a falar, não a capacidade. Usa NVMe.\nPortanto: o dispositivo de cache tem de ser Optane, o dispositivo DB/WAL pode ser NAND, e nenhuma das posições é onde se poupa dinheiro.\nQue Optane: um M10 de 32 GB chegaria muitas vezes Nada disso quer dizer que o maior Optane seja o certo. O dispositivo de que precisas é decidido pela tua carga de escrita, embora, afinal, o mercado de segunda mão possa decidir por ti de qualquer forma. A aritmética continua a importar, porque te diz o que estás a comprar a mais ou a menos.\nComeça pelo que a cache serve. Guarda uma rajada, não um disco. Com writeback_percent=40, um dispositivo de 32 GB dá cerca de 13 GB de buffer sujo, o que é um número enorme de pequenas escritas síncronas.\nPortanto não te deixes assustar pela proporção. Um módulo de 32 GB à frente de um disco de 20 TB é 0,16% dele, o que parece absurdo até te lembrares de que é um absorvedor de rajadas e não uma cache de conjunto de trabalho a tentar guardar dados quentes. Um dispositivo de 375 GB à frente do mesmo disco é 1,9%, o que é simplesmente mais folga do que vais usar.\nO que põe em jogo a ponta barata da gama. Aqui está o pequeno módulo de consumo contra a peça de centro de dados, porque a diferença não está onde as pessoas esperam:\nOptane Memory M10 32 GB Optane DC P4800X 375 GB Leitura aleatória, 4K 240 000 IOPS 550 000 IOPS Escrita aleatória, 4K 65 000 IOPS comparável à leitura Leitura sequencial 1200 MB/s 2400 MB/s Escrita sequencial 290 MB/s 2000 MB/s Latência típica — abaixo de 10 µs Resistência 365 TBW 12,3 PBW, 30 DWPD Interface PCIe 3.0 x2, M.2 2280 PCIe 3.0 x4, U.2 ou AIC Olha primeiro para a linha de IOPS de escrita. O pequeno M10 faz 65 000 escritas aleatórias por segundo; o disco rotativo atrás dele faz 80. Mesmo o Optane mais barato é cerca de 650 vezes o disco que está a servir de cache, portanto no eixo do desempenho a discussão acaba antes de começar. Os IOPS a mais da peça DC não têm para onde ir quando há um só disco de 7200 RPM a jusante.\nA linha que decide a compra é a resistência, onde a diferença é de 34×. Convertida num orçamento diário ao longo de uma vida de cinco anos:\nDispositivo Escritas sustentáveis por dia, ao longo de cinco anos M10 32 GB, 365 TBW cerca de 200 GB/dia P4800X 375 GB, 12,3 PBW cerca de 6,7 TB/dia Abaixo de 200 GB de escritas por dia, um M10 de 32 GB aguenta a montagem toda. Ao dobro disso, tens dois anos e meio. Com uma carga realmente pesada em escritas, a peça DC ganha o seu preço, não pelos IOPS, que não consegues usar, mas pelas trinta e tal vezes mais escrita que tolera.\nPortanto mede em vez de adivinhar. nvme smart-log num dispositivo de cache existente dá-te data_units_written; tira uma amostra com uma semana de intervalo, divide e compara com o TBW nominal do que estiveres a considerar. O bcache guarda os seus próprios totais em /sys/block/bcacheN/bcache/stats_total/, se preferires lê-los aí.\nDuas ressalvas sobre o M10. Os seus números aleatórios são indicados sobre uma extensão de 8 GB e não sobre o dispositivo inteiro, portanto numa cache que tencionas correr bastante cheia, trata-os como o lado otimista. E é uma peça de consumo sem nenhuma alegação de PLP enterprise: o meio do Optane é escrito no lugar, sem buffer DRAM no caminho de escrita, e é por isso que estes módulos se portam muito melhor numa falha súbita de energia do que a NAND de consumo, mas «porta-se bem na prática» não é uma especificação. Se queres a garantia por escrito, compra uma peça da série DC.\nO mínimo é a largura de banda, não a capacidade: esquece os módulos de 16 GB Há uma segunda restrição, independente de tudo o que está acima, e desqualifica a peça mais barata da gama.\nA cache tem de ser mais rápida do que o disco em sequencial, ou é um estrangulador. O M10 de 16 GB não é, e é o módulo que mais te vai tentar, porque é quase de graça:\nEscrita sequencial Optane Memory M10 16 GB 150 MB/s Optane Memory M10 32 GB 290 MB/s Optane DC P4800X 375 GB 2000 MB/s Um HDD enterprise de 7200 RPM 150–250 MB/s Lê a primeira e a última linhas juntas. Um módulo de 16 GB escreve em sequencial mais ou menos à mesma velocidade do disco rotativo que devia acelerar, e mais devagar do que um bom. Continua a ser tremendamente mais rápido em trabalho aleatório, 35 000 IOPS de escrita aleatória contra os 80 do disco, mas num fluxo sequencial é, no melhor dos casos, um empate e, no pior, um teto abaixo do que o disco nu conseguia sozinho.\nE este desenho garante que dás com esse teto, porque desligar o desvio sequencial manda tudo pela cache, fazendo da largura de banda de escrita sequencial da própria cache o teto rígido de todo o OSD. A recuperação é onde morde com mais força: fazer o backfill de um OSD de 20 TB é praticamente o mais sequencial que esta carga consegue ser, e limitá-lo a 150 MB/s torna mais lenta uma reconstrução que já era lenta.\nPortanto a linha M10 tem um mínimo em 32 GB, e é um mínimo de largura de banda, não de capacidade. A aritmética da capacidade dizia que 32 GB chegavam e sobravam; a aritmética da largura de banda exclui os 16 GB, por pouco que precisasses de guardar. Os dois testes têm de passar, e a peça barata chumba no que as pessoas não verificam.\nSeja o que for que estiveres a considerar, põe o seu valor de escrita sequencial ao lado de 250 MB/s antes de o comprares.\nComprar um produto que já ninguém fabrica O Optane foi descontinuado. A Intel encerrou o negócio em 2022, abateu 559 milhões de dólares de inventário e terminou o desenvolvimento. Não há produção nova nem reposição; a oferta total só desce daqui para a frente.\nO que levanta uma pergunta óbvia, porque há uma quantidade surpreendente à venda. Perceber de onde vem diz-te o que estás a comprar.\nÉ inventário de peças de assistência dos OEM a ser liquidado. Os três grandes fabricantes de servidores tinham Optane em stock como peças sobresselentes para suportar as plataformas onde o venderam. Essas plataformas chegaram ao fim de vida e saíram do suporte, por isso as peças que as sustentavam tornaram-se stock morto de um dia para o outro: armazéns de peças para máquinas que ninguém é contratualmente obrigado a reparar. Esse inventário é o que está a escorrer para o AliExpress e para os recondicionadores.\nDuas consequências, e ambas são boas notícias.\nMuito disto está por usar, não foi retirado de máquinas. As peças de assistência ficaram numa prateleira à espera de uma avaria que nunca veio, por isso o desgaste à chegada é muitas vezes efetivamente zero: não «alguns anos de serviço leve», mas nunca escrito. Verifica em vez de confiar: nvme smart-log dá-te percentage_used e data_units_written, e em stock genuíno de peças de assistência esses valores devem ser espantosamente baixos. Tudo o que mostre desgaste real é uma peça retirada a ser vendida como outra coisa, embora mesmo assim a folga de resistência faça com que um Optane usado possa ter mais vida pela frente do que um disco NAND novo da mesma capacidade.\nExplica que capacidades vais encontrar. As peças de assistência dos OEM eram para servidores, o que quer dizer peças de centro de dados. Aqui está a gama completa, e repara onde começa o topo de gama:\nPeça Capacidades Formato Optane Memory M10 16, 32, 64 GB M.2 2280, consumo Optane SSD 800P 58, 118 GB M.2 2280, consumo Optane SSD P1600X 58, 118 GB M.2 2280, peça de arranque e cache para centro de dados Optane SSD DC P4801X 100, 200, 375 GB M.2 110 mm ou U.2 Optane SSD DC P4800X 375 GB no mínimo, 750 GB, 1,5 TB U.2 ou placa de expansão Optane SSD P5800X 400 GB, 800 GB, 1,6 TB U.2 ou placa de expansão Em teoria, as pequenas peças M.2 são a resposta elegante: o M10, o 800P, o P1600X e o P4801X de 100 GB fazem todos o trabalho, e barato. Na prática, o mercado não as tem, porque ninguém armazenou módulos aceleradores de secretária como peças de assistência de servidores. O que aparece listado é de 375 GB para cima, hardware da classe P4800X.\nPortanto conta com comprar mais capacidade do que o papel precisa, porque é isso que está à venda. Não é um mau resultado. Comprar a mais um dispositivo de cache deixa-te com 30 DWPD e latência abaixo de 10 µs quando a tua carga pedia uma fração de qualquer um dos dois, e para um disco de 20 TB que tencionas manter durante anos, é para esse lado que se deve errar. Quer dizer, isso sim, que o preço de entrada é mais alto do que a aritmética sugere, e que o dimensionamento acima passa a ser uma verificação contra comprar a menos em vez de uma lista de compras.\nTrês coisas a planear, já que isto é uma liquidação e não uma cadeia de abastecimento:\nCompra as peças sobresselentes com a montagem. Está a ser escoado um stock finito. Quando um dispositivo falhar daqui a três anos não vais encomendar um substituto, vais andar à caça de um, por isso põe as sobresselentes no orçamento agora, enquanto o stock lá está.\nConta com firmware OEM e verifica o namespace. As peças do programa de sobresselentes de um fabricante trazem muitas vezes o firmware desse fabricante e podem chegar formatadas com um tamanho de LBA ou com definições de metadados adequadas àquilo para que estavam em stock. Confirma com nvme id-ns antes de construíres em cima, e está pronto para fazer nvme format para um formato simples de 4096 bytes.\nNão há garantia, nem suporte, nem mais atualizações de firmware. O próprio aviso de suporte da Intel cobre o que o encerramento significa para dispositivos já em serviço, que é a situação em que já está qualquer coisa que compres. Verificar que a peça que chegou é a peça do anúncio fica por tua conta.\nO bcache não substitui a descarga do DB/WAL Vale a pena dizê-lo explicitamente, porque é o sítio óbvio onde tentar poupar dinheiro e não funciona: continuas a precisar do block.db em NVMe. As duas camadas, não uma ou a outra.\nO Optane é uma cache de escrita. É só isso. Encurta o caminho de confirmação das escritas a caminho do disco, e não faz mais nada.\nO RocksDB não se limita a escrever. O Ceph lê os seus metadados constantemente, para encontrar objetos, para servir o peering, para responder aos scrubs, e uma cache de escrita não oferece rigorosamente nada a uma leitura quando os dados já foram despejados dela. Nem a cache remove o tráfego de metadados; adia-o e agrupa-o, portanto cada atualização do RocksDB acaba por chegar ao disco rotativo, a disputar os mesmos posicionamentos de cabeça. E a compactação transforma uma rotação modesta em muito mais tráfego no dispositivo do que as escritas que a causaram.\nPortanto as duas alterações resolvem problemas diferentes e nenhuma substitui a outra:\nO que resolve O que não resolve block.db em NVMe os metadados vivem em flash, leituras e escritas, fora do disco rotativo para sempre nada para uma rajada de escritas dos convidados Optane via bcache latência de confirmação de rajadas para escritas de dados nada para leituras de metadados; só adia as escritas de metadados Salta a descarga da DB e mantém o Optane, e o RocksDB volta ao prato com as leituras servidas a 80 IOPS. Salta o Optane e mantém a descarga da DB, e o estado estável é decente, mas as rajadas continuam a encravar à velocidade do disco rotativo.\nA regra udev, linha a linha Os parâmetros do bcache vivem no sysfs, e o sysfs repõe-nos sempre que o dispositivo é registado, ou seja, em cada arranque. Portanto pertencem a uma regra udev e não a um script que alguém tem de se lembrar de correr:\n# /etc/udev/rules.d/99-bcache.rules ACTION==\u0026#34;add|change\u0026#34;, SUBSYSTEM==\u0026#34;block\u0026#34;, KERNEL==\u0026#34;bcache*\u0026#34;, \\ ATTR{bcache/cache_mode}=\u0026#34;writeback\u0026#34;, \\ ATTR{bcache/sequential_cutoff}=\u0026#34;0\u0026#34;, \\ ATTR{bcache/congested_read_threshold_us}=\u0026#34;0\u0026#34;, \\ ATTR{bcache/writeback_rate}=\u0026#34;81920\u0026#34;, \\ ATTR{bcache/writeback_rate_minimum}=\u0026#34;20480\u0026#34;, \\ ATTR{bcache/writeback_percent}=\u0026#34;40\u0026#34; KERNEL==\u0026quot;bcache*\u0026quot; apanha todos os dispositivos bcache do nó, portanto uma regra cobre todos os pares. ACTION==\u0026quot;add|change\u0026quot; quer dizer que volta a aplicar-se sempre que um dispositivo aparece ou é reanexado, não só no arranque.\nO que cada definição está a fazer, e porquê:\ncache_mode=writeback: a razão de tudo. No writethrough por omissão, uma escrita só é confirmada quando chega ao HDD, portanto a cache não faz nada pela latência de escrita. Em writeback, o Optane confirma e o disco rotativo apanha-o depois.\nsequential_cutoff=0: por omissão, o bcache deteta I/O sequencial e encaminha-o diretamente ao lado da cache assim que passa os 4 MB, com a teoria de que o disco de suporte lida bem com o sequencial. Zero desativa esse desvio, para que tudo passe pela cache. Num nó hiperconvergente essa é a decisão certa: o que parece sequencial para um dispositivo bcache deixa de ser sequencial no prato assim que vários OSD se intercalam, e queres cada escrita confirmada à velocidade do Optane de qualquer forma. Traz, no entanto, uma obrigação: sem desvio, a largura de banda de escrita sequencial do próprio dispositivo de cache torna-se o teto de todo o OSD, que é porque é que os módulos de 16 GB estão desqualificados.\ncongested_read_threshold_us=0: o bcache vigia a latência do seu próprio dispositivo de cache e começa a contornar a cache quando o julga congestionado, por omissão a 2000 µs para leituras. O Optane não fica congestionado como a NAND, portanto isto é o bcache a duvidar de um dispositivo que mediu mal. Zero desliga essa vigilância.\nwriteback_rate=81920 e writeback_rate_minimum=20480: a taxa de despejo em segundo plano, em setores por segundo, ou seja, um alvo de uns 40 MB/s com um mínimo de 10 MB/s. Um controlador PD move a taxa real entre os dois. O alvo fica perto do que um disco rotativo consegue absorver em sequencial, e o mínimo impede o controlador de estrangular o despejo até perto de zero e deixar os dados sujos acumularem-se indefinidamente. Ambos são pontos de partida e não constantes; como os mudar está mais abaixo.\nwriteback_percent=40: quanto da cache o bcache deixa ficar sujo antes de travar com força, contra um valor por omissão de 10. Quarenta dá-te um buffer de rajadas muito mais fundo. Também quer dizer que até 40% desse Optane guarda a única cópia de dados no sistema, que é o preço a pagar, e é a razão pela qual a disposição de um por disco rotativo importa. Este é o valor que mais vale a pena rever depois de teres observado uma carga real.\nMudar os valores de enchimento e despejo mais tarde Os 40% e as duas taxas acima são os valores que correm aqui, não constantes universais. São a primeira coisa que vais querer mexer depois de observares uma carga real, por isso vale a pena saber que há dois sítios para os mudar, que fazem duas coisas diferentes.\nO sysfs muda-o agora. A regra udev muda-o no próximo arranque. Queres as duas, e por essa ordem.\nMuda-o em direto, num dispositivo:\necho 30 \u0026gt; /sys/block/bcache0/bcache/writeback_percent Ou em todos os pares do nó:\nfor d in /sys/block/bcache*/bcache; do echo 30 \u0026gt; \u0026#34;$d/writeback_percent\u0026#34; done A taxa de despejo funciona da mesma maneira. Ambos os valores estão em setores por segundo, portanto estes reduzem para metade o alvo e o mínimo:\nfor d in /sys/block/bcache*/bcache; do echo 40960 \u0026gt; \u0026#34;$d/writeback_rate\u0026#34; echo 10240 \u0026gt; \u0026#34;$d/writeback_rate_minimum\u0026#34; done Isso tem efeito imediato e sobrevive exatamente até o dispositivo voltar a ser registado. A documentação do kernel é explícita em que estas definições «do not persist across reboot», que é a razão inteira de a regra udev existir.\nQuando estiveres satisfeito com um valor, edita a regra e recarrega-a sem reiniciar:\nudevadm control --reload udevadm trigger --subsystem-match=block --action=change É aqui que o ACTION==\u0026quot;add|change\u0026quot; mostra o que vale. O trigger dispara um evento change para dispositivos que já estão presentes, portanto a regra volta a aplicar-se a um nó em funcionamento em vez de esperar pelo próximo arranque. Se a regra apanhasse só add, aquele comando não faria nada.\nDepois lê os valores de volta, porque um erro de escrita numa regra udev falha em silêncio:\ngrep . /sys/block/bcache*/bcache/writeback_percent Saber para que lado os mexer Não afines isto a partir de princípios teóricos: o bcache expõe o que precisas no mesmo diretório do sysfs.\nO dirty_data é o que deves vigiar: quantos dados estão neste momento na cache e em mais lado nenhum. A documentação descreve-o como «continuously updated unlike the cache set\u0026rsquo;s version, but may be slightly off», o que serve bem para este fim. Tira amostras ao longo de um dia normal de trabalho e de uma janela de backup.\ncache_hits, cache_misses e cache_hit_ratio dizem-te se a cache está a ser usada, com a ressalva de que «a partial hit is counted as a miss». bypassed conta o IO que passou ao lado da cache por completo; com sequential_cutoff=0 deve ficar quase plano, portanto um número a crescer quer dizer que alguma coisa ainda a está a contornar.\nTodos esses vêm como totais acumulados mais versões que decaem ao longo do último dia, hora e cinco minutos, o que torna os de janela curta muito mais úteis para detetar um problema do que o número de toda a vida.\nA partir daí:\nSintoma Botão Direção As rajadas encravam: as escritas batem na latência do disco rotativo a meio da rajada writeback_percent para cima, para um buffer mais fundo Mais dados expostos na cache do que te deixa confortável writeback_percent para baixo dirty_data encostado ao teto durante o trabalho normal writeback_rate para cima: o problema não é o buffer, é o escoamento O despejo em segundo plano a competir com as leituras dos convidados no disco rotativo writeback_rate para baixo dirty_data a subir devagar ao longo de dias e não de horas writeback_rate_minimum para cima, para o controlador não estrangular até rastejar Se o dirty_data ficar encostado ao teto faças o que fizeres, nenhum dos botões é a resposta: o cluster está a escrever mais depressa do que os discos rotativos conseguem absorver, e as soluções honestas são mais discos rotativos ou menos escritas.\nUm ficheiro para deixar em paz: writeback_running. Desligá-lo para o writeback por completo, e a documentação diz que é «only meant for benchmarking». Num OSD de produção quer dizer que os dados sujos se acumulam até a cache encher e nunca escoam.\nO que estás a trocar A maior parte dos textos sobre este desenho para nas boas notícias. Estas são as partes que te vão doer de facto, e vale a pena conhecer cada uma antes de construíres e não depois.\nOs dois dispositivos acrescentados falham de forma muito diferente Morre o NVMe DB/WAL partilhado block.db de osd.0–2 perdido osd.0 perdido osd.1 perdido osd.2 perdido Três OSD, um só evento. Uma falha correlacionada em todo o nó, que é exatamente aquilo de que a replicação não te protege. Escolhe a proporção pela reconstrução que estás disposto a aguentar, não pelo preço por OSD. Morre um Optane emparelhado Optane de osd.0 perdido Optane de osd.1 bem Optane de osd.2 bem osd.0 perdido osd.1 a servir osd.2 a servir Um OSD, e o Ceph faz isto todos os dias. O raio de impacto são os dados de um só disco, que é a falha que um pool replicado existe para absorver. É o argumento inteiro para comprar vários dispositivos pequenos em vez de um grande. A mesma classe de perda dos dois lados: cada dispositivo guarda estado que não existe noutro lado, portanto o OSD é destruído e não parado, e tem de ser recriado e repovoado. Só muda o número, e é isso que o emparelhamento de um por disco compra. Os dois dispositivos acrescentados guardam estado que não existe em mais lado nenhum, portanto perder qualquer um destrói os OSD que dependem dele. A diferença é só quantos são: o NVMe DB/WAL partilhado deita abaixo todos os OSD que tem atrás, enquanto um Optane emparelhado um para um deita abaixo exatamente um. É isso que os dispositivos extra compram. Perder qualquer um dos dispositivos flash destrói o OSD. Não o para: destrói-o. Os dois dispositivos guardam estado que não existe em mais lado nenhum: o block.db guarda o RocksDB que dá sentido ao block, e uma cache writeback guarda todas as escritas ainda não despejadas. A documentação do kernel não hesita sobre a segunda: «In writeback mode you\u0026rsquo;ll lose data if something happens to your SSD.» De uma maneira ou de outra o OSD não volta; é recriado e passa por backfill.\nPortanto são a mesma classe de risco, e vale a pena ser claro quanto a isso em vez de tratar a cache como a assustadora. O Optane não é um dispositivo mais perigoso do que o NVMe. Duas coisas os separam, e nenhuma é a gravidade por OSD.\nA primeira é o raio de impacto, e é a justificação inteira do emparelhamento. Um Optane por disco rotativo quer dizer que uma falha de cache custa um OSD, uma perda de um só disco, que é exatamente o evento que um pool replicado existe para absorver, e que o Ceph trata sem que ninguém seja chamado de madrugada. O dispositivo DB/WAL é partilhado, portanto perdê-lo custa todos os OSD que tem atrás de uma vez, o que é uma falha correlacionada contra a qual a replicação não te protege. A mesma falha, um dispositivo contra cinco.\nA segunda é a forma como a falha se apresenta, e esta é uma armadilha operacional. Quando uma cache morre em writeback, o dispositivo de suporte para e devolve erros de I/O, o que está bem: o Ceph marca o OSD como em baixo e segue em frente. O caso mau é um reinício em que o dispositivo de suporte arranca sem a sua cache anexada. Parece então um sistema de ficheiros montável a que simplesmente faltam todas as escritas sujas, o que é corrupção e não apenas dados desatualizados. Um block.db em falta falha ruidosamente e o OSD recusa-se a arrancar; uma cache em falta pode falhar em silêncio e deixar-te montar os destroços. Trata um dispositivo de suporte bcache como não montável sem a sua cache, e nunca deixes nada montá-lo por ti com boas intenções.\nO bcache, por si só, não garante writeback seguro face a falhas de energia. É aqui que a cache de escrita do HDD deixa de ser uma otimização e passa a ser um requisito: desliga-a, e corre um kernel suficientemente recente para ter o tratamento de FUA, para que as escritas síncronas sejam respeitadas ao longo da pilha em vez de confirmadas cedo algures no meio. Um dispositivo de cache sem proteção contra perda de energia agrava o problema, porque pode perder dados que já declarou seguros.\nO que faz da proporção DB/WAL o número que importa. O Ceph permite 4–5 OSD HDD por SSD SATA e não mais de 15 por NVMe, e avisa sobre «balancing the risk of reducing costs by placing too many responsibilities into too few failure domains.» Ao contrário da camada de cache, não há emparelhamento disponível para conter este; partilhar é a razão de ser do dispositivo.\nEm discos de 20 TB essa é a conversa toda, porque a reconstrução é enorme. Um OSD falhado são 20 TB de backfill; aos 150–250 MB/s que um disco rotativo sustenta, estrangulado para que a recuperação não deixe os convidados à fome, estás a olhar para bem mais de um dia de funcionamento degradado por um só disco. Perde um dispositivo de DB partilhado que leva cinco deles e há 100 TB para mover.\nPortanto a proporção não é bem uma decisão de custo. É uma decisão sobre quanto tempo estás disposto a correr degradado, e quanto tráfego de reconstrução o cluster aguenta enquanto continua a servir VM.\nO desenho depende de um dispositivo que já ninguém fabrica. Este é o que não tem resposta técnica. O Optane é a peça certa para a posição de cache e nada atual o substitui: a NAND não aguenta o volume de escrita, e a memória baseada em CXL para onde a Intel se virou não é um substituto direto para uma cache de blocos. Portanto a mitigação é comercial e não engenhosa, está tratada acima, e o resumo honesto é que esta arquitetura tem uma data de fim algures no futuro.\nNada disto faz de um cluster HDD um cluster todo em flash. Um tráfego de escrita aleatória contínuo que ultrapasse a taxa de despejo vai encher a cache, e uma vez cheia estás a escrever à velocidade do disco rotativo com camadas a mais no caminho. Este desenho absorve rajadas e remove a sobrecarga de metadados. Não fabrica IOPS.\nNo que tudo isto se resume Três camadas, cada uma a fazer a única coisa em que é melhor, e as três são necessárias:\nO Optane absorve as rajadas de escrita aleatória, um dispositivo por disco rotativo. Tem de ser Optane, porque todas as escritas o atravessam e a resistência da NAND é errada para essa posição Um NVMe enterprise rápido guarda o RocksDB e o WAL, partilhado por um punhado de OSD numa proporção que escolheste deliberadamente em vez de aceitares Os HDD dão a capacidade bruta, livres tanto dos metadados como das rajadas A ideia não é fingir que os discos rotativos são flash. É deixar de lhes mandar o trabalho em que são piores, para que a capacidade por que realmente pagaste seja utilizável.\nÉ esse o truque todo, e não tem nada de engenhoso. Põe cada trabalho no dispositivo que é bom nele, e deixa de pagar duas vezes pelos que não são.\nPara um cluster Proxmox hiperconvergente que precisa de capacidade de vários terabytes sem preços de tudo em flash, este é um desenho defensável. Bem construído, parece muito mais rápido do que HDD crus, falha de maneiras que o Ceph foi feito para tratar, e o dinheiro vai para onde muda o resultado.\nDuas leituras relacionadas que vale a pena fazer ao lado desta: o trabalho sobre tamanhos de setor em 4Kn, 512e e 512n conta muito para o que os discos rotativos fazem com as escritas que lhes chegam, e se estiveres a construir isto em nós com armazenamento direto, a malha sem switch cobre o lado da rede de um pequeno cluster Ceph.\nReferências Ceph — Hardware Recommendations — o aviso sobre IOPS por TB nos HDD grandes, «HDD OSDs may see a significant write latency improvement by offloading WAL+DB onto an SSD», as proporções de 4–5 HDD por SSD SATA e ≤15 por NVMe, a proteção contra perda de energia nos SSD enterprise, desligar a cache de escrita do HDD e não precisar de um HBA RoC Ceph — BlueStore Configuration Reference — block.db a 1–2% de block para RBD e pelo menos 4% para RGW, a recomendação geral de 2,5%, o transbordo de volta para o dispositivo principal, os tamanhos de nível do RocksDB por trás dos degraus de 3/30/300 GB, e o WAL implicitamente colocado junto da DB Linux kernel — bcache admin guide — os modos de cache, sequential_cutoff e o seu valor por omissão de 4 MB, os 2000 µs por omissão para congestionamento de leitura, writeback_rate em setores por segundo, o controlador PD do writeback_percent, os contadores dirty_data / cache_hit_ratio / bypassed e as suas versões decrescentes de um dia, uma hora e cinco minutos, o aviso de que writeback_running é «only meant for benchmarking», a afirmação de que estas definições «do not persist across reboot», e «in writeback mode you\u0026rsquo;ll lose data if something happens to your SSD» Intel — Optane Memory M10 32 GB specifications — 365 TBW, 240 000 IOPS de leitura aleatória e 65 000 de escrita aleatória a 4K sobre uma extensão de 8 GB, 1200/290 MB/s em sequencial, PCIe 3.0 x2 Intel — Optane Memory M10 16 GB specifications — os 150 MB/s de escrita sequencial e os 35 000 IOPS de escrita aleatória que põem esta peça abaixo de um disco rotativo em débito sequencial PC Perspective — Optane SSD DC P4800X performance — os 550K IOPS de leitura aleatória a 4K da peça de 375 GB, 2400/2000 MB/s em sequencial, latência típica abaixo de 10 µs e 12,3 PBW a 30 DWPD ServeTheHome — Optane DC P4801X 100GB M.2 review — as peças M.2 de centro de dados de pequena capacidade, para a escada de capacidades StorageReview — Intel Optane SSD P5800X — a classificação de 100 DWPD, os 30 DWPD do P4800X, e a comparação com os discos NAND enterprise que chegam a cerca de 10 DWPD nas peças de escrita intensiva e a 3 ou menos nas de uso misto Bcache — ArchWiki — os modos de falha práticos, incluindo um dispositivo de suporte que arranca sem a sua cache depois de um reinício, e os requisitos de segurança face a falhas de energia em torno da cache de escrita do HDD e do FUA Intel — Optane business update — o encerramento, e o que significa para a garantia e o suporte de dispositivos já em serviço, que é a situação em que já está qualquer coisa que compres no mercado de recicladores ","permalink":"https://blogs.damiendye.uk/pt/proxmox/hdd-backed-ceph-bcache-optane/","summary":"O preço do flash tornou difícil justificar o tudo NVMe, e os HDD enterprise merecem nova atenção. Tirar deles uma latência aceitável em Ceph hiperconvergente no Proxmox significa tirar o RocksDB do disco rotativo, juntar cada disco ao seu próprio Optane através do bcache, Optane mesmo, porque a resistência da NAND é errada para esse trabalho, e ser honesto sobre os modos de falha que isso te compra.","title":"Tornar rápidos os clusters Ceph do Proxmox sobre HDD: metadados em NVMe, um Optane por disco, e quanto te custa"},{"content":"Porque é que isto tem sido caro até agora A VDI, Virtual Desktop Infrastructure, entrega um ambiente de trabalho completo a partir de um centro de dados ou da nuvem, em vez de o tirar do dispositivo que tens à frente. Um utilizador entra a partir de um portátil, de um thin client ou da sua própria máquina, e recebe um ambiente de trabalho Windows ou Linux familiar cujas aplicações, ficheiros e processamento acontecem todos de forma centralizada.\nO atrativo para uma equipa de TI é que as atualizações, o controlo de acessos e a proteção de dados acontecem todos num só sítio, e as pessoas chegam ao mesmo ambiente de trabalho a partir de qualquer lado.\nO obstáculo nunca foi o hipervisor. Foi a GPU.\nPartilhar uma GPU física entre vários ambientes de trabalho tem sido território da NVIDIA, e a NVIDIA cobra pelo software vGPU que faz a divisão. Essa licença é a razão pela qual a VDI com gráficos acelerados por hardware tem sido sobretudo reserva de entidades com orçamentos empresariais. Pagar uma taxa anual para ligar uma coisa que o silício já sabe fazer é difícil de aplaudir.\nA Intel mudou as contas com a linha Arc Pro. Estas placas suportam a divisão por hardware através do SR-IOV normal, que é uma funcionalidade do PCIe e não um produto. Assim sendo, não há servidor de licenças, nem subscrição, nem software vGPU separado para comprar.\nPor isso arranjei uma Intel Arc Pro B50 para ver se encaixa bem com o Proxmox. A resposta curta: o mecanismo funciona exatamente como anunciado, e depois o firmware meteu-se no caminho. As duas metades estão abaixo.\nComo uma placa se torna várias: função física no anfitrião, funções virtuais para os convidados Intel Arc Pro Bxx 03:00.0: função física driver do anfitrião: xe 03:00.1 vfio-pci 03:00.2 vfio-pci 03:00.3 criadas onde há suporte 03:00.4 criadas onde há suporte Ambiente Windows 1 acelerado por hardware Ambiente Windows 2 acelerado por hardware Ambiente Windows 3 acelerado por hardware Ambiente Windows 4 acelerado por hardware Nenhuma licença vGPU entra em momento algum. O SR-IOV é uma capacidade PCIe que a placa anuncia ou não, e esta anuncia-a em\u0026#160;[320]. Quantas funções cria é definido no firmware, porque cada uma recebe uma fatia fixa da memória da placa: uma fatia maior quer dizer menos funções. Uma B50 de 16 GB dá duas de 8 GB; as placas de 24 e 32 GB relatam sete. A função física fica com o driver xe do anfitrião. Cada função virtual é um dispositivo PCIe por direito próprio, ligado ao vfio-pci e entregue a um convidado: a mesma maquinaria de passthrough que para uma placa inteira, só que várias vezes. O par tracejado depende da placa: quantas funções cria cada uma está mais abaixo. O elefante na sala: precisas primeiro de Windows Antes de qualquer coisa disto funcionar, a placa quer o firmware atualizado. A Intel distribui essa atualização dentro do instalador do driver para Windows.\nO que é inconveniente, porque a razão pela qual compraste a placa é para a correr debaixo do Proxmox.\nHá uma maneira de contornar isso que não precisa de mais nada além do Proxmox: constrói uma VM Windows, passa-lhe a placa inteira, deixa o Windows atualizar o firmware, e depois devolve a placa ao anfitrião. É um ciclo de arranque, e vale a pena sabê-lo antes de planeares a montagem e não depois.\nQuebrar com uma VM temporária o ciclo que exige Windows primeiro O senão: o SR-IOV precisa de firmware atualizado, e o firmware vem num instalador de driver para Windows. 1 Placa no anfitrião lspci → 03:00.0 2 Placa inteira → VM Windows hostpci0, Q35 + OVMF 3 Instala o driver Intel o firmware atualiza-se 4 Reinicia o anfitrião a placa reinicializa-se placa devolvida ao Proxmox 5 SR-IOV presente lspci -v → [320] 6 tmpfiles.d no arranque numvfs, unbind, bind 7 VF aos convidados quantas o firmware deixar Os passos 2 e 3 só existem para atualizar o firmware. A VM Windows é temporária: quando a placa volta ao anfitrião deixa de ter qualquer papel, e nada na configuração final depende de haver Windows a correr no hipervisor. A placa não consegue fazer SR-IOV enquanto o firmware não estiver atualizado, e a atualização do firmware chega como um driver para Windows. Uma VM Windows temporária com a placa inteira anexada quebra o ciclo. Encontrar a placa No anfitrião Proxmox, lspci para a localizar:\nlspci Aqui está em 03:00.0, identificada como Battlemage G21, o silício por trás da Arc Pro B50. Toma nota do endereço. Vais precisar dele várias vezes, e há uma função de áudio separada em 04:00.0 que vem com ela.\nPassar a placa inteira a uma VM Windows Adiciona a placa a uma VM Windows como dispositivo PCI em bruto. No hardware da VM, isso é uma entrada PCI Device: 0000:03:00 com pcie=1:\nVale a pena reparar no resto do que essa VM é, porque nada disso é acidental: tipo de máquina Q35, firmware OVMF, VirtIO SCSI single e um TPM para o Windows 11. O Q35 em particular não é opcional para isto. Uma GPU passada para uma i440fx aparece como dispositivo PCI legado, que é a forma errada para um driver gráfico moderno. Isso está explicado em Usa sempre Q35, não i440fx.\nArranca a VM e confirma que o Windows vê a placa:\nAparece como Microsoft Basic Display Adapter porque ainda não há driver instalado. É o estado esperado, e chega. O Windows encontrou o hardware.\nAtualizar o firmware Vai buscar o driver atual à página de downloads da Arc Pro B50 da Intel. Na altura em que escrevo era a versão 32.0.101.8306 (Q4.25), para Windows 11 e Windows 10 22H2:\nInstala-o, e deixa a atualização do firmware correr como parte do processo em vez de cancelares a meio. Esse passo do firmware é a razão inteira deste desvio.\nQuando acabar, devolve a placa ao anfitrião e reinicia, para que se reinicialize por completo debaixo do Proxmox.\nConfirmar que o SR-IOV lá está Agora pergunta à placa o que ela sabe fazer:\nlspci -v A linha que importa:\nCapabilities: [320] Single Root I/O Virtualization (SR-IOV) É a proposta toda numa linha de saída do lspci, sem licença nenhuma agarrada.\nHá outras três coisas nessa saída que vale a pena ler já que lá estás:\nKernel driver in use: xe: a placa está no driver xe, mais recente, da Intel, e não no i915, e é ele que vai criar as funções virtuais. [420] Physical Resizable BAR e [220] Virtual Resizable BAR: a placa suporta BAR redimensionáveis, e as suas funções virtuais também. Vale a pena saber quanto isso te custa em espaço de endereçamento se estiveres a passar várias delas: vê PCIe Resizable BAR e as GPU modernas. IOMMU group 13: a placa está num grupo só seu, que é o que queres para um passthrough limpo. Porque é que isso importa está no artigo sobre o imposto do IOMMU. Criar as funções virtuais no arranque As funções virtuais não são persistentes. Pedi-las é uma escrita no sysfs, portanto tem de acontecer em cada arranque.\nO tmpfiles.d é uma forma arrumada de o fazer declarativamente, em vez de aparafusar um script a um ficheiro de unidade:\nO ficheiro faz três trabalhos por ordem.\nCriar as funções virtuais, escrevendo o número no sriov_numvfs da função física:\nw /sys/devices/pci0000:00/0000:00:01.1/0000:01:00.0/0000:02:01.0/0000:03:00.0/sriov_numvfs - - - - 4 Desligar cada nova função do xe, porque o driver do anfitrião reclama-as à medida que aparecem, e um convidado não pode ter um dispositivo que o anfitrião está a segurar:\nw /sys/bus/pci/drivers/xe/unbind - - - - 0000:03:00.1 w /sys/bus/pci/drivers/xe/unbind - - - - 0000:03:00.2 w /sys/bus/pci/drivers/xe/unbind - - - - 0000:03:00.3 w /sys/bus/pci/drivers/xe/unbind - - - - 0000:03:00.4 Ligá-las ao vfio-pci, que é o que as torna disponíveis para passthrough:\nw /sys/bus/pci/drivers/vfio-pci/bind - - - - 0000:03:00.1 w /sys/bus/pci/drivers/vfio-pci/bind - - - - 0000:03:00.2 w /sys/bus/pci/drivers/vfio-pci/bind - - - - 0000:03:00.3 w /sys/bus/pci/drivers/vfio-pci/bind - - - - 0000:03:00.4 Repara nos endereços: a função física é 03:00.0 e as funções virtuais aparecem de .1 a .4.\nUm pormenor sobre o w que explica a ordem, e que te vai morder se o fizeres mal. O systemd documenta-o assim: «Write the argument parameter to a file, if the file exists.» O sriov_numvfs só existe depois de um driver se ter ligado à função física, e os caminhos das funções virtuais só existem depois de essa escrita ter acontecido. Portanto a sequência no ficheiro não é uma questão de estilo. Cada linha depende de a anterior já ter tido efeito.\nPorquê duas, e não quatro O driver 32.0.101.8306, o que foi instalado acima, traz o firmware gráfico BMG__21,1162, e essa é a versão em que a Intel ativou pela primeira vez oficialmente o SR-IOV na Arc Pro. O valor por omissão declarado pela Intel para a B50 nessa versão é duas funções virtuais, cada uma com um VF Local Memory BAR de 8 GB.\nO que faz do número aritmética e não política. A B50 tem 16 GB. A 8 GB por função virtual, só cabem duas.\nHá um pormenor que vale a pena saber se fores à procura de uma forma de contornar isto. Antes de haver suporte oficial, algumas pessoas corriam um firmware mais antigo que expunha 12 funções virtuais numa B50, e voltar ao driver 32.0.101.6979 repõe esse número. Essas 12 partilhavam os mesmos 16 GB, portanto cada uma ficava com uma fração da memória que as minhas recebem. A posição da Intel é que as duas foram escolhidas deliberadamente para dar a cada função computação, capacidade e largura de banda suficientes para se comportar de forma previsível.\nPortanto o limite pode ser mexido, mas não por ti. O número máximo de VF e o tamanho do VF Local Memory BAR vivem no IFWI, não há ferramenta pública para mudar nenhum dos dois, e a resposta suportada numa pilha atual é duas.\nQuantos ambientes de trabalho te dá cada placa A B50 é a placa pequena da família, e as suas duas funções são o ponto mais baixo da família. Se o número de postos é o que te interessa, compra mais acima na gama.\nToda a linha Arc Pro Battlemage faz SR-IOV. O que muda é quantas funções o firmware vai recortar, e isso acompanha a memória:\nPlaca Memória VF na pilha suportada atual Visto noutros sítios Arc Pro B50 16 GB 2, com 8 GB de VF BAR cada, o valor por omissão documentado pela Intel 12 com firmware pré-oficial, via driver 32.0.101.6979 Arc Pro B60 24 GB 7 relatadas 24 num firmware inicial da ASRock, reduzidas a 7 por um posterior Arc Pro B60 Dual 2 × 24 GB 7 por GPU: duas GPU, portanto 14 de uma só ranhura como acima; as duas metades são independentes Arc Pro B65 32 GB nenhum número publicado encontrado — Arc Pro B70 32 GB 7 relatadas, com o firmware 8517 4 com firmware anterior Só a linha da B50 está documentada pela Intel. Os números da B60 e da B70 são o que as pessoas relatam a partir do lspci, e já mudaram mais de uma vez. A B60 em particular passou de 24 para 7 numa atualização de firmware, que é o mesmo tipo de estreitamento que a B50 sofreu. Ninguém parece ter publicado um número de VF para a B65, portanto trata essa linha como desconhecida e não como zero.\nDaquela tabela seguem-se duas coisas, e ambas importam mais do que qualquer número nela.\nO número de VF é uma divisão da memória, não uma característica do chip. A regra da Intel é que um VF Local Memory BAR maior quer dizer menos funções. É por isso que a placa de 16 GB dá duas e as de 32 GB dão sete: nada nos shaders da GPU o decide.\nVerifica a placa que estás prestes a comprar, não a família. A presença do SR-IOV tem variado entre fabricantes de placas com o mesmo chip: a B60 Blower da Sparkle saiu inicialmente sem a capacidade sequer visível e só a ganhou depois de uma atualização de firmware com o igsc. Pede a saída do lspci -v do modelo exato, ou conta com uma atualização de firmware antes de contares com qualquer coisa disto.\nA B60 Dual são duas placas com um só suporte A Arc Pro B60 Dual 48G Turbo da Maxsun é a interessante para o número de postos, e o que tens de perceber é que os 48 GB não são um bloco comum.\nSão duas GPU B60, dois chips BMG-G21, numa só placa, com 24 GB de GDDR6 ligados a cada uma, e nenhum chip de ponte PCIe entre elas. Os dois chips estão ligados diretamente aos contactos x16, a PCIe 5.0 x8 cada um.\nO que quer dizer que tem de ser o anfitrião a dividir a ranhura por ti. A placa precisa que a ranhura x16 principal seja bifurcada em x8/x8, e a maioria das motherboards de consumo não ativa isso por omissão. É uma definição de firmware que tens de ir procurar, na mesma categoria das definições de IOMMU e ACS de que tudo isto precisa.\nAcerta nisso e o sistema operativo vê duas GPU separadas, cada uma com a sua função física e a sua capacidade SR-IOV. Portanto tens dois lotes de funções virtuais de uma só ranhura, 14 postos se cada chip se comportar como uma B60 simples, e o ficheiro tmpfiles.d acima duplica, uma escrita em sriov_numvfs por chip.\nErra nisso e vês uma GPU, e metade da placa fica invisível.\nVale a pena ser claro sobre o que os 48 GB não são: um convidado ligado a uma função virtual do primeiro chip não consegue chegar à memória do segundo. São duas placas de 24 GB num só espaço físico, que é exatamente o que queres para postos de VDI e exatamente o que não queres para um modelo grande.\nPortanto: se dois postos chegam, a B50 é uma placa de 70 W que o faz. Se queres sete, planeia à volta de uma B70. Se queres catorze e tens uma motherboard que bifurca, a B60 dual leva-te lá numa só ranhura.\nConsegues correr IA numa função virtual? Resposta curta: trata-o como não suportado. Resposta mais longa, porque a razão importa e não é a que adivinharias.\nEstas placas são vendidas como placas de IA, e não estão a fingir. Os 128 motores XMX da B50 têm uma classificação de 170 TOPS de pico, a B70 de 367, e a história de software da Intel é real: o vLLM serve modelos de 8B até 120B na série B da Arc Pro, e o IPEX-LLM e o backend SYCL do llama.cpp correm ambos nelas.\nMas olha para como cada um desses resultados é produzido. Os próprios números do vLLM na Arc Pro vêm de um contentor Docker em bare metal, em sistemas com quatro e oito placas B60 inteiras a fazer paralelismo de tensores. O artigo da Intel não menciona SR-IOV nem funções virtuais uma única vez.\nEsse padrão mantém-se em todo o lado onde procurei. A Intel limita os casos de uso do SR-IOV ao ambiente de trabalho remoto virtualizado, à aceleração gráfica do sistema operativo convidado e à codificação e descodificação de multimédia. A computação não está nessa lista, e não consegui encontrar um único caso publicado de alguém a correr inferência de LLM dentro de uma VM ligada a uma função virtual.\nO que as pessoas fazem de facto é revelador: correm o modelo em Docker no anfitrião, e entregam funções virtuais a VM para ambientes de trabalho. Uma pessoa que faz as duas coisas ao mesmo tempo relata simplesmente que «VRAM gets pretty tight.»\nO que é o verdadeiro problema, e é aritmética e não suporte do driver.\nUma função virtual recebe uma fatia fixa de memória local, 8 GB na B50, definida no firmware. Essa fatia é o teto rígido para pesos mais cache KV nesse convidado, e não cresce porque a placa tem mais. Um modelo de 8B em FP16 são cerca de 16 GB de pesos antes de juntares qualquer contexto, portanto não cabe numa função virtual da B50 com nenhum driver. Quantiza para Q4 e um 8B cabe em cerca de 4 GB, deixando uns poucos GB para contexto, o que funciona, mas está muito longe do que a placa consegue fazer inteira.\nPortanto as duas cargas disputam a mesma memória, e a divisão é decidida no firmware antes de qualquer uma delas arrancar.\nSe o trabalho é IA, não dividas a placa. Passa-a inteira a uma VM, o mesmo passthrough hostpci0 usado para a atualização de firmware mais acima neste artigo, ou corre o contentor no anfitrião e salta a virtualização para essa carga. Ambas as opções dão ao modelo os 16 GB todos e a matriz XMX completa.\nSe o trabalho é VDI, as funções virtuais são a escolha certa, e conta com gráficos de ambiente de trabalho e não com um servidor de inferência por trás de cada uma. Ambientes de trabalho acelerados por hardware, reprodução de vídeo e codificação funcionam. É para isso que o mecanismo está documentado.\nVale a pena dizê-lo claramente: a ausência de provas publicadas não prova que falhe. O driver xe expõe computação através do Level Zero e do OpenCL, e é perfeitamente possível que um convidado com uma VF os ponha a funcionar sem problemas. Mas nada da Intel diz que está validado, ninguém parece tê-lo mostrado a funcionar, e o teto de memória limita o retorno mesmo que funcione. Não é coisa sobre a qual construir um plano.\nO que ainda vale Duas funções virtuais são dois ambientes de trabalho Windows acelerados por hardware a partir de uma placa, sem licença de vGPU, sem subscrição e sem servidor de licenças. Num hipervisor que não custa nada a correr. Chega para provar que a abordagem funciona, que é o trabalho honesto para uma B50. É o fundo da gama.\nPara uma instalação de VDI a sério, eu especificaria a B60 dual.\nCatorze funções de uma só ranhura, se cada chip se comportar como uma B60 simples, põem-na no mesmo território de número de postos das placas NVIDIA vendidas para esta carga, a um preço muito mais baixo, e sem nada para licenciar por utilizador. Essa última parte é a que se acumula. O vApps, o vPC e o RTX vWS da NVIDIA são todos licenciados por utilizador em simultâneo, ou como subscrição anual ou como licença perpétua que tem de ser comprada juntamente com uma subscrição de suporte e manutenção de cinco anos. Cada posto é uma linha na fatura, e volta sempre. Do lado da Intel não há linha equivalente. Compras a placa.\nE o mecanismo é a parte que importa a longo prazo. O SR-IOV na GPU é uma capacidade do PCIe, não um escalão de produto, portanto o ficheiro tmpfiles.d simplesmente cresce para acompanhar o que a placa permitir.\nA forma é uma escrita em sriov_numvfs, depois um unbind e um bind por função, portanto duas funções são cinco linhas, e as nove acima são quatro funções pedidas a uma placa que entrega duas. Sete funções são quinze linhas. Uma B60 dual são trinta, porque cada chip é a sua própria função física e tem a sua própria escrita em sriov_numvfs.\nMais nada muda quando escalas. Em ponto nenhum desse ficheiro aparece um servidor de licenças.\nReferências Intel support — why the latest Arc Pro B50 firmware shows 2 SR-IOV VFs — a declaração de referência: SR-IOV ativado oficialmente a partir do firmware gráfico BMG__21,1162 no driver 32.0.101.8306, duas VF com um VF Local Memory BAR de 8 GB cada na B50, e o número máximo de VF e o tamanho do BAR definidos ao nível do IFWI, sem ferramenta pública para os mudar Intel Community — «Why did the latest Intel Arc Pro B50 firmware nerf SR-IOV VFs from 12 to 2?» — o firmware pré-oficial com 12 VF, o regresso a 32.0.101.6979 que o repõe, e o raciocínio da Intel para o valor por omissão mais baixo Level1Techs — B60 SR-IOV support in the Arc Pro drivers — relatos de lspci no terreno para a B60, a atualização de firmware com igsc que expôs a capacidade, e de onde vêm os números de 24 e depois 7 Level1Techs — B50, B60 or B70 for SR-IOV — os números de VF relatados por placa e por firmware, fonte das linhas da B70 ASRock — Intel Arc Pro B65 Creator 32GB — as especificações da B65: 32 GB GDDR6, 20 unidades de computação, 160 motores XMX, 256 bits, PCIe 5.0 MAXSUN — Arc Pro B60 Dual 48G Turbo — a declaração do próprio fabricante de que a placa «uses PCIe 5.0 x8 + x8 interfaces and runs efficiently on consumer platforms that support PCIe x16 lane bifurcation» vLLM — Fast and affordable LLM serving on Intel Arc Pro B-Series — a história de IA nestas placas, e o facto de ser uma história de Docker em bare metal com quatro e oito B60 inteiras, sem nenhuma menção a SR-IOV ou a funções virtuais Linux kernel — Intel Xe driver — o driver em uso na placa, segundo o lspci -v tmpfiles.d(5) — o tipo de linha w, e a sua condição «if the file exists» que dita a ordem acima NVIDIA Virtual GPU Software Packaging, Pricing and Licensing Guide — a alternativa licenciada que este desenho evita: vApps, vPC e RTX vWS todos vendidos por utilizador em simultâneo, como subscrição anual ou como licença perpétua acompanhada de cinco anos de suporte e manutenção Proxmox VE — PCI(e) Passthrough — os requisitos de passthrough do lado do anfitrião ","permalink":"https://blogs.damiendye.uk/pt/proxmox/licence-free-vdi-intel-arc-pro-sriov/","summary":"As placas Arc Pro da Intel fazem SR-IOV de origem, sem licença de vGPU para comprar, o que torna genuinamente possível uma VDI Windows sem licenças no Proxmox. A montagem toda numa B50, o problema do arranque que exige Windows primeiro, porque é que o firmware a limita a duas funções virtuais, e quantas te dá cada placa da série B.","title":"VDI Windows sem licenças no Proxmox com uma Intel Arc Pro B50, e o limite de firmware que a travou"},{"content":"O switch que não compras Um cluster Proxmox de três nós com Ceph quer uma rede rápida entre os nós. A resposta habitual é um switch de 100 Gbit, e a objeção habitual é quanto custa.\nPara três nós há outra resposta: liga-os diretamente uns aos outros em triângulo e encaminha através dele. Nenhum switch no caminho do armazenamento.\nO componente mais barato de qualquer desenho é aquele que não compras, e é o único que nunca avaria.\nIsso compra quatro coisas.\nO custo do switch desaparece. Precisas de placas de rede e de três cabos, não de um switch de 100 ou 200 Gbit com o número de portas a condizer.\nO caminho dos dados não tem um ponto único de falha. Um switch que avaria ou reinicia leva consigo todo o tráfego leste-oeste do cluster. Nós ligados diretamente uns aos outros não querem saber do que acontece a um switch noutro ponto do edifício.\nO tráfego pesado tem os seus próprios fios. A migração em direto e a replicação do Ceph ficam na mesh em vez de competirem com o tráfego do escritório e de gestão.\nCrescer é um trabalho de cablagem, não de orçamento de portas. Não há uma caixa central a servir de teto à largura de banda ou ao número de portas, por isso a fabric cresce enquanto cada servidor tiver uma ranhura PCIe livre. O OpenFabric encaminha pelas novas ligações sozinho.\nE um limite honesto, porque importa mais do que os quatro benefícios. Uma mesh completa precisa de um cabo entre cada par de nós. Três nós são três cabos. Quatro são seis. Cinco são dez. A cablagem cresce mais depressa do que o número de nós, e este desenho não sobrevive para lá de um cluster pequeno sem passar para algo comutado, como leaf-spine.\nTrês nós é exatamente onde uma mesh completa faz sentido. Para lá disso, com duas portas de mesh por nó, o que ainda consegues construir é um anel — e isso precisa de uma coisa que esta montagem evita de resto, explicada mais abaixo.\nO que se constrói Três anfitriões Proxmox VE, cada um com duas interfaces de 100 Gbit dedicadas, cablados em triângulo para que cada nó tenha dois vizinhos diretos.\nO SDN do Proxmox trata do encaminhamento. O OpenFabric é o protocolo: calcula o melhor caminho pela mesh e, quando um cabo é puxado ou uma ligação cai, reencaminha pelo caminho que resta. Ninguém faz login.\nA fabric vive em 10.10.10.0/24, reservado para a mesh e para mais nada — nem gestão, nem convidados, nem endereçamento de armazenamento, nem nada externo.\nNó Endereço na mesh Interfaces da mesh mesh1 10.10.10.1/32 nic1, nic2 mesh2 10.10.10.2/32 nic1, nic2 mesh3 10.10.10.3/32 nic1, nic2 Cada nó recebe um /32, não uma fatia da sub-rede. É esse o sentido de uma mesh encaminhada em vez de uma em ponte. O endereço identifica o nó, o OpenFabric anuncia-o e as duas ligações físicas são apenas caminhos para lá chegar. O Proxmox cria uma interface de loopback dummy para o guardar.\nO triângulo de três nós, e em que NIC chega cada cabo switch de 2,5 Gbit gestão + clientes mesh1 10.10.10.1/32 mesh2 10.10.10.2/32 mesh3 10.10.10.3/32 DAC-01 nic1 ↔ nic1 DAC-03 nic2 ↔ nic2 DAC-02 mesh2 nic2 ↔ mesh3 nic1 nic0 nic0 nic0 Cada nó chega aos outros dois diretamente, por isso cada salto na mesh é um salto. As ligações nic0 tracejadas são o caminho de gestão de 2,5 Gbit à parte — nunca parte da fabric, e a razão por que ainda consegues entrar se a mesh estiver partida. Três cabos, seis portas e dois caminhos para cada nó. Puxa um cabo qualquer e todos os nós continuam alcançáveis — as duas ligações que restam formam uma cadeia que o OpenFabric contorna. A cablagem Cabos DAC de fibra ativa, em triângulo, com jumbo frames ativadas nas duas interfaces da mesh em todos os nós.\nCabo De Para DAC-01 mesh1 nic1 mesh2 nic1 DAC-02 mesh2 nic2 mesh3 nic1 DAC-03 mesh3 nic2 mesh1 nic2 Fibra ativa em vez de DAC de cobre, por duas razões que têm a ver com o bastidor e não com a rede:\nGestão de cabos. Os DAC de fibra ativa são mais finos e muito mais flexíveis do que os de cobre, por isso passam de forma limpa e não se amontoam atrás dos servidores. Fluxo de ar. Menos volume de cabos atrás do chassis significa menos perturbação do fluxo de ar da frente para trás, o que importa quando várias ligações de alta velocidade chegam às mesmas poucas unidades de bastidor. Duas redes, não uma A mesh não é a única rede, e não pode passar a sê-lo.\nCada nó tem a nic0 num switch de 2,5 Gbit, apresentada ao Proxmox como a bridge vmbr0. Essa transporta a interface web, o acesso de administração e o tráfego dos clientes. É também o caminho que usas enquanto constróis a fabric, e é por isso que tem de ser independente dela.\nA nic0 fica deliberadamente de fora da fabric. Só a nic1 e a nic2 são selecionadas quando se criam os nós da fabric.\nA mesh transporta três coisas:\nCeph. Replicação, recuperação e backfill de nó para nó para o armazenamento hiperconvergente. Rede virtual dos clientes. VNets suportadas por VXLAN estendem as redes dos convidados pelos três nós, usando a mesh encaminhada como underlay. Corosync, como segundo caminho. O tráfego de pertença ao cluster corre pela rede de gestão e pela mesh, por isso o quórum não depende de nenhuma delas sobreviver sozinha. O que vai pela rede de gestão, o que vai pela mesh, e a única coisa nas duas Rede de gestão de 2,5 Gbit nic0 → vmbr0 → switch Interface web do Proxmox Acesso de administração Tráfego dos clientes Mesh encaminhada de 100 Gbit nic1 + nic2 → DAC direto, sem switch Replicação, recuperação e backfill do Ceph Redes virtuais de clientes VXLAN Migração em direto Corosync — os dois caminhos A pertença ao cluster não depende de nenhuma das redes sobreviver sozinha. A separação é o desenho. A gestão continua alcançável seja qual for o estado das interfaces de 100 Gbit, e é isso que torna seguro construir — e reverter — a fabric a partir da interface web. O Corosync é a única coisa que está nas duas. Tudo o resto tem exatamente uma casa — e o acesso de gestão é o que tem de continuar a funcionar enquanto mexes no outro. A regra que vale a pena escrever no pedido de alteração: o acesso de gestão e dos clientes fica disponível através do switch de 2,5 Gbit em todos os momentos, seja qual for o estado das interfaces de 100 Gbit.\nTudo pela interface web Esta montagem é feita inteiramente na interface web do Proxmox. É uma escolha deliberada, não um limite das ferramentas.\nNão usado, de propósito:\nEditar /etc/network/interfaces à mão. Editar ficheiros de configuração do FRR à mão. O vtysh como método de montagem. O Proxmox gera a configuração de rede e de encaminhamento subjacente a partir dos objetos SDN que defines. Se alguma coisa genuinamente não puder ser definida na interface, vale a pena apontá-la como pré-requisito em vez de a corrigir às escondidas na linha de comandos. A próxima pessoa a abrir a interface web não vai saber que o fizeste.\nA saída da linha de comandos aparece abaixo apenas como prova, nunca como passo de montagem.\nA montagem 1. Abre a interface web do Proxmox e vai a Datacentre → SDN → Fabrics.\n2. Adiciona a fabric. Dá-lhe um nome, o prefixo da mesh e define os temporizadores.\nIntervalos de Hello e CSNP de 1 atualizam o estado o mais depressa possível quando algo muda, que é o que queres numa fabric tão pequena. O custo é mais conversa no plano de controlo. Irrelevante com três nós e duas ligações cada, merece uma segunda reflexão se a fabric alguma vez crescer.\n3. Adiciona cada nó com Add node. Dá-lhe um endereço da gama da mesh e marca as interfaces que participam.\nRepara no que não está marcado: a nic0 fica de fora e a vmbr0 mantém o endereço de gestão. Usa Create another para os dois primeiros nós e Create no último.\n4. Verifica o resultado antes de o aplicar.\nTrês nós, três endereços, nic1, nic2 em cada um, todos marcados new — ainda nada foi escrito.\n5. Aplica a configuração SDN.\nHá um Dry-Run ao lado de Apply se preferires ver primeiro o que ele tenciona fazer.\nSaber que funcionou A vista de estado deve mostrar as entradas de zona e de fabric ok nos três nós, e nenhuma alteração pendente por aplicar.\nDepois verifica a fabric do ponto de vista do próprio nó. Primeiro as rotas — cada nó deve ter um /32 para cada um dos outros, e a coluna Via diz-te que vizinho está a usar.\nA seguir os vizinhos. Dois, ambos Up, num triângulo de três nós.\nDepois as interfaces, que é onde se vê a forma da coisa: dummy_Mesh como o loopback que guarda o endereço do router, e a nic1 e a nic2 como Point-To-Point em vez de segmentos de broadcast.\nPor fim, prova-o de ponta a ponta.\nSem perdas, e médias de 0,134 ms e 0,141 ms. Os dois vizinhos estão a um salto direto de distância, que é o que um triângulo te dá.\nA verificação que vale a pena fazer e que nenhuma captura de ecrã consegue mostrar: puxa um cabo e confirma que tudo continua alcançável. É essa a razão de ser de escolher uma mesh encaminhada em vez de um par de ligações ponto a ponto. Como tal, é o único teste que importa.\nPara lá de três nós: o anel Um triângulo é uma mesh completa. Cada nó tem um cabo direto para todos os outros, cada salto é um salto, e nenhum nó transporta tráfego que não seja seu.\nÉ essa propriedade que duas portas de mesh por nó te compram com três nós, e é exatamente o que perdes com quatro. Não parte dela. Toda ela. Uma mesh completa de quatro nós precisa de três portas cada. Com duas, o máximo que consegues cablar é um anel.\nUm anel muda o modelo de tráfego. Os nós adjacentes continuam a ter um cabo direto, mas os nós em lados opostos do anel não — o tráfego deles tem de atravessar um nó intermédio. E esse nó tem de estar disposto a reencaminhar pacotes entre as suas duas interfaces da mesh, coisa que o Linux não faz por omissão. O kernel documenta o ip_forward como «Forward Packets between interfaces» com um «Default: 0 (disabled)».\nUm anel de quatro nós: os nós opostos não têm cabo, por isso um nó reencaminha por eles mesh1 10.10.10.1 mesh2 reencaminha mesh3 10.10.10.3 mesh4 10.10.10.4 mesh1 → mesh3 sem cabo entre eles por isso atravessa mesh2 nó de trânsito reencaminha entre nic1 e nic2 Mesh completa com 4 nós 6 cabos, 3 portas por nó sem trânsito nem reencaminhamento Anel: 4 cabos, 2 portas — e é por isso que aqui estás Dois dos seis pares de nós não têm cabo direto. O tráfego deles é levado por um vizinho, o que significa que as ligações desse vizinho levam a replicação Ceph de outros nós além da sua — o custo que o triângulo não tem. Entre mesh1 e mesh3 não há cabo. O tráfego atravessa mesh2 ou mesh4, e esse nó só o reencaminha porque o reencaminhamento está ativado nas duas interfaces por onde chega. Ativa-o nas interfaces da mesh, e só nessas:\n# /etc/sysctl.d/99-mesh-forwarding.conf net.ipv4.conf.nic1.forwarding = 1 net.ipv4.conf.nic2.forwarding = 1 sysctl --system Lê-os de volta em vez de presumir:\nsysctl net.ipv4.conf.nic1.forwarding net.ipv4.conf.nic2.forwarding A definição por interface é o âmbito certo aqui, e funciona sozinha. O net.ipv4.ip_forward global não é pré-requisito. A decisão de reencaminhamento do kernel lê o valor próprio da interface que recebe:\n#define IN_DEV_FORWARD(in_dev) IN_DEV_CONF_GET((in_dev), FORWARDING) O IN_DEV_CONF_GET devolve a definição desse dispositivo, não um AND com a global. Assim, a nic1 e a nic2 reencaminham tráfego de trânsito para a fabric enquanto a nic0 e a vmbr0 ficam exatamente como devem ser: interfaces do anfitrião que não encaminham. Ligar o interruptor global faria de todas as interfaces da máquina um router, incluindo a que está virada para a rede do escritório. É coisa de que este desenho não precisa para nada.\nUma coisa a saber sobre o interruptor global do IPv4, mesmo não o definindo: o net.ipv4.ip_forward é um definidor em massa, e é por isso que a documentação do kernel avisa que alterá-lo «resets all configuration parameters to their default state». Se alguma outra coisa no anfitrião o escrever, sobrepõe-se a estes valores por interface. Vale a pena saber antes de passares uma tarde a perceber porque é que o trânsito deixou de funcionar.\nO IPv6 é a exceção, e é o único sítio onde o interruptor global tem lugar. A documentação do kernel di-lo diretamente em conf/all/forwarding:\nEnable global IPv6 forwarding between all interfaces. IPv4 and IPv6 work differently here; the force_forwarding flag must be used to control which interfaces may forward packets.\nPor isso não há equivalente IPv6 da abordagem arrumada por interface acima. Se a fabric transportar IPv6, ativas o reencaminhamento globalmente e depois limitas o âmbito com force_forwarding, documentado como «Enable forwarding on this interface only — regardless of the setting on conf/all/forwarding». Repara que o mesmo comportamento de sobreposição se aplica ao contrário: pôr conf.all.forwarding a 0 repõe o force_forwarding em todas as interfaces.\nA montagem acima deixa vazio o prefixo IPv6 da fabric, por isso nada disto se aplica aqui — só importa se acrescentares um.\nRepara no que o reencaminhamento não muda: o OpenFabric já estava a anunciar o /32 de cada nó e já estava a calcular o caminho pelo anel. O reencaminhamento é a permissão em falta, não o cérebro em falta. A tabela de encaminhamento esteve sempre certa. O kernel estava simplesmente a recusar-se a fazer de router.\nO que o anel custa, comparado com o triângulo:\nTráfego de trânsito. Num anel de quatro nós, os dois pares diagonais atravessam um nó intermédio, por isso o tráfego deles consome a largura de banda das ligações desse nó além da sua própria. O Ceph é o primeiro a notar, porque a replicação é de todos para todos e não de vizinho para vizinho. Um salto extra de latência nesses caminhos, por cima dos valores habituais abaixo do milissegundo do desenho sem switch. Menos margem para falhas. Uma ligação partida transforma um anel numa cadeia: continua totalmente ligada, mas com caminhos mais longos e mais trânsito. Uma segunda quebra parte o cluster. Um triângulo tolera uma quebra sem trânsito nenhum. E piora de uma forma que é mais fácil de desenhar do que de descrever. Junta um quinto nó e metade de todos os pares de nós do cluster dependem de alguém que reencaminhe:\nUm anel de cinco nós: metade dos pares de nós depende agora de outro que reencaminhe mesh1 mesh2 mesh3 mesh4 mesh5 cabo — direto, um salto sem cabo — um vizinho reencaminha Cinco nós, duas portas cada 10 pares de nós no total 5 têm um cabo direto 5 não têm, e transitam por um vizinho Cada nó reencaminha agora tráfego que não é seu. E uma mesh completa? 10 cabos, e 4 portas por nó — mais duas NIC em cada servidor, que é onde o desenho para. Com três nós nada transita. Com quatro, dois pares. Com cinco, metade deles — e uma única quebra alonga todos os caminhos. Dez pares de nós, cinco cabos. As linhas tracejadas são pares sem cabo entre eles — cada um desses é tráfego Ceph a passar pelas ligações de um terceiro nó. A mesh completa que o evitaria quer quatro portas por servidor. Esse é o verdadeiro teto deste desenho, e não é o protocolo de encaminhamento. O OpenFabric aguenta-se bem. É que as portas por nó são fixas, por isso, a partir de três nós, cada máquina nova converte mais do teu tráfego em trânsito de outro.\nE a nota honesta, porque importa numa montagem que até aqui foi só pela interface web: um sysctl não é uma ação da interface web. Pela regra definida antes, isso faz dele um pré-requisito a apontar em vez de algo a corrigir às escondidas na linha de comandos — escreve-o no runbook, porque a próxima pessoa a abrir o painel SDN vai ver uma fabric saudável e nenhum indício de que um anel depende de um ficheiro em /etc/sysctl.d.\nDesfazer A remoção é a montagem ao contrário, na mesma interface: apaga os objetos SDN criados para a mesh, aplica a configuração e confirma que o acesso de gestão não foi tocado.\nEsse último passo é a razão de existirem a nic0 e o switch de 2,5 Gbit. Se reverter a mesh te pudesse custar a interface web, o desenho estava errado antes de começares.\nAntes de começares O acesso de gestão é genuinamente independente da mesh. Verifica-o, não o presumas. Os três nós estão saudáveis antes de qualquer alteração SDN. Os nomes dos nós, os nomes das interfaces e a cablagem estão escritos, porque a nic1 de um anfitrião ser a nic2 de outro é uma tarde má. As jumbo frames estão definidas nas duas interfaces da mesh, e a MTU tem em conta o overhead do VXLAN no underlay. A gama da mesh está reservada e não está em uso em mais lado nenhum. Referências Proxmox VE — Software-Defined Network — a documentação das SDN Fabrics. As fabrics «provide automated routing between nodes in a cluster», o OpenFabric é «based on IS-IS and optimized for the spine-leaf topology common in data centers», cada nó precisa de um Router-ID único, e «a dummy \u0026rsquo;loopback\u0026rsquo; interface with the router-id is automatically created» Proxmox VE — Cluster Manager — a rede do Corosync e as ligações redundantes, por trás do desenho de pertença com dois caminhos Proxmox VE — Deploy Hyper-Converged Ceph Cluster — as expectativas de rede para um cluster hiperconvergente Linux kernel — IP sysctl documentation — o ip_forward e o seu valor por omissão de 0, o controlo forwarding por interface, e o aviso de que alterar o interruptor global repõe a configuração por interface ","permalink":"https://blogs.damiendye.uk/pt/proxmox/proxmox-routed-mesh-sdn-openfabric/","summary":"Três nós Proxmox ligados diretamente entre si em triângulo, com o OpenFabric a encaminhar pela mesh e o Ceph mais as redes de clientes VXLAN por cima. Construída inteiramente na interface web, e honesta sobre onde o desenho deixa de escalar.","title":"Uma mesh Proxmox sem switch com SDN OpenFabric — redes Ceph e de clientes sem um switch de 100G"},{"content":"O problema das linhas de arranque copiadas Pesquisa afinação do Proxmox e vais encontrar uma única linha GRUB_CMDLINE_LINUX comprida, apresentada como um todo, sem qualquer indicação de que flags se aplicam onde.\nIsso importa mais do que parece. O hipervisor e o convidado estão a resolver problemas opostos.\nO host quer acesso determinístico a hardware real: comportamento do IOMMU, estados das ligações PCIe, estados de inatividade físicos. O convidado quer deixar de fingir que tem hardware: os seus temporizadores são aproximações, os seus estados de inatividade são ficção, e os seus bloqueios são normalmente o escalonador de outra pessoa. Como tal, a mesma flag pode estar certa de um lado, ser inútil do outro, e de vez em quando ser prejudicial.\nAbaixo fica onde cada uma realmente pertence.\nOnde pertence cada flag de arranque do kernel Só host o hardware real vive aqui iommu=pt amd_iommu=pgtbl_v2 pcie_acs_override=… pcie_aspm=off pci=pcie_bus_perf → pcie_bus_safe se USB4 processor.max_cstate=1 + intel_idle.max_cstate na Intel amd_pstate=disable define também um governor O convidado não tem ligações PCIe, nem C-states, nem cpufreq. Só convidado deixa de fingir que é hardware cpuidle.off=1 a inatividade do convidado é ficção nmi_watchdog=0 um vCPU sem escalonamento dispara-o softlockup_panic=0 o bloqueio foi culpa do host Deixa o kvm-clock em paz. Não forces tsc nem hpet — os contadores não são teus. No host, estas três significam outra coisa, e duas delas custam-te algo real. Ambos — razões diferentes mesma flag, decisão separada mitigations=off host: fugas convidado-host convidado: isolar processos default_hugepagesz + hugepages host: RAM dos convidados convidado: uma aplicação escolhe uma camada, não as duas watchdog_thresh / nowatchdog host: ruído que aceitaste convidado: nunca fiável «Ambos» não quer dizer que a ponhas nos dois sítios. Quer dizer que a decisão tem de ser tomada duas vezes. Nenhum — estas não fazem nada amd_iommu=on não é uma opção válida; o kernel regista «Unknown option - 'on'» e segue em frente consoleblank=0 já é o valor por omissão do kernel Se uma linha de arranque copiada contém alguma destas, nunca foi conferida contra /proc/cmdline — a verificação mais barata que há, e a que apanha o erro do bootloader errado também. As flags em circulação, ordenadas. Duas das mais populares não fazem nada em nenhum dos lados, e a linha do watchdog é uma verdadeira questão de critério e não uma regra. Primeiro: estás sequer a editar o ficheiro certo? Uma instalação Proxmox com raiz em ZFS arranca com systemd-boot, onde ninguém lê /etc/default/grub. Editá-lo e reiniciar não produz alteração nenhuma nem erro nenhum. É uma hora frustrante.\nproxmox-boot-tool status # tells you which bootloader is in use # systemd-boot: edit /etc/kernel/cmdline, then proxmox-boot-tool refresh # GRUB: edit /etc/default/grub, then update-grub Seja como for, verifica em vez de supor:\ncat /proc/cmdline E do lado do GRUB, usa GRUB_CMDLINE_LINUX_DEFAULT, não GRUB_CMDLINE_LINUX. Esta última aplica-se a todas as entradas de arranque, incluindo a de recuperação, e a recuperação é exatamente quando queres o comportamento de origem, não as mitigações desligadas e os C-states fixados.\nA linha do host IOMMU e passthrough iommu=pt amd_iommu=pgtbl_v2 pcie_acs_override=downstream,multifunction iommu=pt põe o IOMMU em modo passthrough: os dispositivos atribuídos a VM são traduzidos, os dispositivos nativos do host contornam a tradução. É real e é tratado em arch/x86/kernel/pci-dma.c, que chama iommu_set_default_passthrough(true). O kernel documenta-o como equivalente a iommu.passthrough=1.\namd_iommu=on não existe. É o parâmetro inexistente mais copiado nos guias de Proxmox. A função parse_amd_iommu_options() do kernel aceita fullflush, force_enable, off, force_isolation, pgtbl_v1, pgtbl_v2, irtcachedis, nohugepages e v2_pgsizes_only. Tudo o resto vem parar aqui:\npr_notice(\u0026#34;Unknown option - \u0026#39;%s\u0026#39;\\n\u0026#34;, str); O AMD-Vi está ativo por omissão quando o firmware o anuncia. Verifica o teu próprio log e vais descobrir que o parâmetro nunca fez o trabalho que lhe atribuíam:\ndmesg | grep -i \u0026#34;AMD-Vi\\|Unknown option\u0026#34; amd_iommu=pgtbl_v2 é válido: seleciona o formato de tabela de páginas DMA v2, que partilha a estrutura da tabela de páginas da CPU em vez de usar a da própria AMD. Duas coisas a saber: a documentação limita-o à DMA-API, ou seja, aos domínios de dispositivos do próprio host e não aos domínios VFIO usados para passthrough; e falha em segurança, com uma linha de log que deves procurar:\nif (amd_iommu_pgtable == PD_MODE_V2) { if (!amd_iommu_v2_pgtbl_supported()) { pr_warn(\u0026#34;Cannot enable v2 page table for DMA-API. Fallback to v1.\\n\u0026#34;); amd_iommu_pgtable = PD_MODE_V1; } } Por isso vale a pena medi-lo num nó com muito IO do lado do host, e vale a pena verificar que o obtiveste mesmo.\npcie_acs_override=downstream,multifunction é o patch fora da árvore do Proxmox. Divide os grupos IOMMU afirmando um isolamento que o hardware não anuncia, e é isso que torna o passthrough possível em placas de consumo. É também, exatamente, dizer ao kernel algo falso sobre a topologia. Aceitável numa máquina cujos convidados mereçam tanta confiança como o host. Não aceitável no resto dos casos. Há mais sobre o porquê no artigo sobre o imposto do IOMMU.\nLatência e jitter pcie_aspm=off processor.max_cstate=1 amd_pstate=disable pcie_aspm=off mantém as ligações PCIe fora dos estados de baixo consumo, para que um IO que chega nunca tenha de esperar que uma acorde. Custa alguns watts por ligação e elimina uma cauda de latência difícil de diagnosticar. Vê PCIe ASPM e passthrough.\nprocessor.max_cstate=1 limita a inatividade ACPI a C1. Repara no driver: este é o botão de processor/acpi_idle, por isso na Intel precisas também de intel_idle.max_cstate=1, porque o intel_idle tem precedência. Na AMD é este o certo.\nHá um contra-argumento real. O sono profundo nos núcleos inativos é o que dá ao pacote margem térmica e de energia para fazer boost aos ocupados, por isso fixar tudo em C1 pode baixar a tua frequência máxima de thread única enquanto sobe o consumo em inatividade. Num host sensível à latência, essa troca costuma valer a pena. Num host à procura de débito, talvez não. Mede-a em vez de a herdar.\namd_pstate=disable recua para o acpi-cpufreq. Vale a pena conhecer as alternativas documentadas antes de recorrer a ele: passive (o driver pede um nível de desempenho), active (o driver EPP, com tendência para desempenho ou eficiência) e guided. active com tendência para desempenho, ou passive mais o governor performance, consegue muitas vezes a mesma latência mantendo o controlo mais fino do CPPC. E se o desativares, escolhe um governor de propósito: cair no acpi-cpufreq com schedutil pode ser um passo atrás.\nMemória default_hugepagesz=1G hugepages=64 default_hugepagesz=1G sozinho não reserva nada. O kernel documenta-o como definindo «the size of the default HugeTLB page… the default hugetlb size used for shmget(), mmap() and mounting hugetlbfs»: uma unidade, não uma alocação. A alocação vem de hugepages=, documentado como «Number of HugeTLB pages to allocate at boot».\nIsso importa muito mais para páginas de 1 GiB do que de 2 MiB, porque regiões contíguas de 1 GiB são, na prática, impossíveis de obter quando o host já está ligado há algum tempo e a memória fragmentada. O arranque é a tua única oportunidade fiável.\nDepois o convidado tem de aderir (hugepages: 1024 na configuração da VM). Páginas reservadas que nada usa são apenas memória que não consegues recuperar, e perdes o ballooning e o KSM nas VM que as usam.\nA troca de segurança mitigations=off Isto não é um interruptor. O kernel expande-o numa lista, e num hipervisor estas são as entradas que importam:\nl1tf=off mds=off mmio_stale_data=off kvm.nx_huge_pages=off gather_data_sampling=off retbleed=off spec_rstack_overflow=off nospectre_v2 nopti indirect_target_selection=off O resumo do próprio kernel é «improves system performance, but it may also expose users to several CPU vulnerabilities». L1TF, MDS e MMIO stale data são especificamente caminhos de fuga do convidado para o host e de convidado para convidado, e kvm.nx_huge_pages é a mitigação do iTLB-multihit dentro do próprio KVM.\nDefensável numa máquina de um só inquilino em que todos os convidados merecem tanta confiança como o host. Não defensável onde os convidados não são de confiança ou pertencem a inquilinos diferentes. E repara que se soma ao pcie_acs_override: duas garantias de isolamento independentes retiradas na mesma linha. Vale a pena fazê-lo de propósito e não por herança.\nO PCIe sobre USB4 muda duas destas Se os teus dispositivos PCIe chegam por USB4 ou Thunderbolt (uma GPU externa ou uma caixa NVMe), duas das respostas acima mudam.\nA afinação do MPS deixa de ser grátis Em slots fixos, pci=pcie_bus_perf é um pequeno ganho grátis. O kernel descreve-o assim:\nSet device MPS to the largest allowable MPS based on its parent bus. Also set MRRS (Max Read Request Size) to the largest supported value… for best performance.\nO senão é que configura as bridges no arranque, a partir da topologia presente no arranque. Sobre USB4, o hot-plug é o caso normal, e um dispositivo acrescentado mais tarde pode suportar um MPS mais pequeno do que aquele com que a bridge já ficou configurada.\nO kernel diz em voz alta a parte que se costuma calar, ao anunciar outra política:\npcie_bus_peer2peer — Set every device\u0026rsquo;s MPS to 128B, which every device is guaranteed to support… This also guarantees that hot-added devices will work.\nSó uma política traz essa garantia, e é a que fixa tudo em 128 bytes, exatamente aquilo de que a afinação do MaxPayloadSize pretende fugir. Para uma topologia com hot-plug, pcie_bus_safe (o maior valor suportado por todos os dispositivos abaixo do root complex) ou simplesmente deixar tune_off é o ponto de partida mais seguro. O switch do próprio túnel limita o MPS alcançável de qualquer forma, por isso o teto nunca foi teu para subir.\nPorque é que o hot-plug muda a resposta sobre a política de MPS No arranque,\u0026#160;pcie_bus_perf\u0026#160;configura a bridge a partir do que consegue ver bridge — MPS 512 dispositivo A · 512 dispositivo B · 512 presentes no arranque ligado a quente · só 256 não corresponde nada renegociado Num chassis isso nunca acontece — a topologia no arranque é a topologia para sempre. Numa porta USB4 é o caso normal. As quatro políticas, e qual o kernel diz ser segura para hot-plug pcie_bus_tune_off deixa os valores da BIOS em paz pcie_bus_safe maior valor que todos os dispositivos abaixo do root complex suportam pcie_bus_perf o maior que o bus pai permite, por dispositivo — mais MRRS pcie_bus_peer2peer 128 B em todo o lado — «guarantees that hot-added devices will work» Só uma política traz essa garantia, e é a que deita fora o tamanho de payload que estavas a afinar. A bridge é configurada uma vez, no arranque, a partir dos dispositivos então presentes. Tudo o que vem depois tem de viver com essa decisão, o que está bem num chassis e não está bem numa porta. O empilhamento de segurança torna-se sério PCIe externo significa que alguém pode ligar ao teu hipervisor um dispositivo capaz de DMA. A documentação do kernel sobre Thunderbolt é direta:\n…the connected devices can be DMA masters and thus read contents of the host memory without CPU and OS knowing about it. There are ways to prevent this by setting up an IOMMU but it is not always available for various reasons.\nO IOMMU é a defesa. Agora conta o que a linha do host lhe faz. iommu=pt dá aos dispositivos do host domínios de identidade sem tradução, pcie_acs_override afirma um isolamento que não existe, e mitigations=off desliga as mitigações de isolamento dos convidados. Cada uma é defensável sozinha. Juntas, numa máquina com uma porta USB4 fisicamente acessível, acumulam-se.\nVerifica onde estás:\ncat /sys/bus/thunderbolt/devices/domain*/security # none | user | secure | dponly | usbonly none ao lado dessa linha de arranque é uma porta aberta. Se as portas estão ao alcance de pessoas a quem não darias root, iommu=pt é a primeira coisa que eu reconsideraria.\nA linha do convidado Estas são as que pertencem dentro da VM, e três delas significam aqui algo diferente do que significariam no host.\nnmi_watchdog=0 softlockup_panic=0 cpuidle.off=1 cpuidle.off=1 desativa o subsistema cpuidle. Num convidado isso quase não custa nada: os estados de inatividade do convidado são emulação, e não há núcleo físico para pôr a dormir, por isso tudo o que a framework te dá é latência ao acordar. No host, a mesma flag é uma troca real de energia e de margem de boost, e sobrepõe-se a processor.max_cstate=1. Só do lado do convidado.\nsoftlockup_panic=0 impede que um soft lockup ponha o convidado em pânico. Numa VM isto protege de verdade, porque lá um soft lockup muitas vezes não é culpa do convidado. Um vCPU retirado do escalonamento parece exatamente uma tarefa que se recusou a ceder. É o mesmo mecanismo que explica porque não se pode confiar no relógio de uma VM. Mas verifica se precisas dela. Na maioria das builds é 0 por omissão.\nsysctl kernel.softlockup_panic nmi_watchdog=0 é a interessante, e merece mais do que uma regra.\nA questão do watchdog Há dois detetores a partilhar um limiar:\nwatchdog_thresh= — Set the hard lockup detector stall duration threshold in seconds. The soft lockup detector threshold is set to twice the value. A value of 0 disables both. Default is 10 seconds.\nO hard lockup (nmi_watchdog) dispara quando uma CPU deixa de todo de receber interrupções do temporizador. O soft lockup dispara quando uma tarefa monopoliza uma CPU durante o dobro do tempo sem escalonar.\nNum convidado, desativar o detetor de hard lockup está certo. Um vCPU retirado do escalonamento pode dispará-lo sem culpa nenhuma, e o trabalho do detetor com contadores de desempenho provoca saídas da VM por um sinal que não era mais do que ruído.\nNo host é uma questão de critério, e depende do ruído que estás realmente a perseguir. O sobreaprovisionamento deixa os convidados à fome, não o kernel do host: as CPU físicas do host continuam a receber interrupções por muito apinhadas que estejam as VM. Por isso o ruído de log que um hipervisor ocupado produz é esmagadoramente mensagens de soft lockup e RCU stall, não relatórios de hard lockup NMI. Se o ruído é esse, nmi_watchdog=0 não o cala, e softlockup_panic=0 também não: esse trava o pânico, não as mensagens.\nOs botões certeiros são:\nwatchdog_thresh=30 # hard 30s, soft 60s — scale to taste nowatchdog # honest single flag: disables both detectors sysctl -w kernel.soft_watchdog=0 # runtime, keeps hard-lockup detection Há uma razão separada e melhor para desativar o detetor de hard lockup num host ocupado, que nada tem a ver com ruído: consome um contador de desempenho de hardware por CPU. É por isso que o parâmetro aceita rNNN para configurar um evento perf em bruto. Se estás a fazer profiling baseado na PMU, ou a correr uma máquina deliberadamente sobreaprovisionada em que já aceitaste a variação de latência como preço da densidade, devolver esse contador é uma troca razoável, e pequenos bloqueios que aceitaste conscientemente não são incidentes.\nSó faz a escolha por essa razão e não pela razão do ruído, porque só uma delas é verdadeira.\nconsoleblank=0 não faz nada. O kernel documenta o tempo de apagamento da consola como «A value of 0 disables the blank timer. Defaults to 0.» Já está desligado. Inofensivo, mas é o segundo parâmetro em circulação comum que não tem efeito nenhum, e trazê-lo faz uma linha parecer ponderada quando é copiada.\nReferência rápida: onde pertence cada flag Flag Host Convidado Notas iommu=pt sim não O host é dono do IOMMU. Só se aplica num convidado se estiveres a correr passthrough aninhado com um vIOMMU amd_iommu=pgtbl_v2 sim não Domínios DMA-API do host. Verifica que obtiveste o v2 e não o recurso ao v1 amd_iommu=on — — Não é uma opção válida. O kernel regista «Unknown option - \u0026lsquo;on\u0026rsquo;» pcie_acs_override=… sim não Patch do Proxmox, só para a topologia do host. Enfraquece o isolamento por desenho pcie_aspm=off sim não Não há ligações PCIe reais num convidado; o host é dono da ligação física pci=pcie_bus_perf sim não de forma fiável O host define o MPS no fio. Usa antes pcie_bus_safe se os dispositivos chegarem por USB4 processor.max_cstate=1 sim não Os estados de inatividade reais são do host. Acrescenta intel_idle.max_cstate=1 na Intel amd_pstate=disable sim não Os convidados não controlam a frequência da CPU cpuidle.off=1 com cuidado sim Grátis num convidado. No host custa margem de boost e sobrepõe-se a max_cstate nmi_watchdog=0 critério sim Certo num convidado. No host, fá-lo pelo contador da PMU, não pelo ruído softlockup_panic=0 não sim Os bloqueios do convidado são muitas vezes o escalonador do host. Normalmente já é o valor por omissão consoleblank=0 — — Não faz nada. O valor por omissão do kernel já é 0 mitigations=off ambos ambos Válido em qualquer um, com cálculo de risco diferente: fugas do convidado para o host no host, isolamento de processos no convidado default_hugepagesz + hugepages= ambos ambos Host: suportar a memória das VM. Convidado: uma carga dentro da VM que as queira. Propósitos diferentes, as mesmas flags watchdog_thresh= / nowatchdog ambos ambos Host: calar bloqueios que aceitaste. Convidado: o detetor nunca foi de confiança Três pertencem genuinamente aos dois lados, e vale a pena ser exato: «ambos» não quer dizer «pela mesma razão»:\nmitigations=off no host tem a ver com fugas do convidado para o host e de convidado para convidado. Dentro de um convidado tem a ver com o isolamento de processos dentro dessa VM. Podes razoavelmente desativá-lo num sítio e não no outro. As hugepages no host suportam a RAM dos convidados; num convidado suportam uma aplicação. Reservá-las duas vezes para a mesma memória é desperdício, por isso decide que camada as quer. A afinação do watchdog é uma decisão de ruído no host e uma decisão de correção no convidado. Tudo o resto é de um lado ou do outro, e duas delas nem sequer são escolhas.\nAs duas linhas Host, numa máquina AMD a fazer passthrough, de um só inquilino:\nGRUB_CMDLINE_LINUX_DEFAULT=\u0026#34;quiet amd_iommu=pgtbl_v2 iommu=pt pcie_acs_override=downstream,multifunction pcie_aspm=off pci=pcie_bus_perf default_hugepagesz=1G hugepages=64 processor.max_cstate=1 amd_pstate=disable mitigations=off\u0026#34; Troca pci=pcie_bus_perf por pcie_bus_safe se alguma coisa chegar por USB4. Tira mitigations=off se os convidados não forem todos teus. Na Intel, intel_iommu=on substitui as flags AMD e intel_idle.max_cstate=1 junta-se ao limite de C-states.\nConvidado Linux:\nGRUB_CMDLINE_LINUX_DEFAULT=\u0026#34;quiet nmi_watchdog=0 softlockup_panic=0 cpuidle.off=1\u0026#34; E deixa o kvm-clock em paz no convidado: não forces tsc nem hpet. O relógio paravirtual existe precisamente porque os contadores não são teus. É o argumento todo do artigo sobre a medição do tempo nas VM.\nO que apagar Se herdaste uma linha de uma publicação num fórum, estas duas são as primeiras coisas a tirar, porque não te dão nada e provam que a linha nunca foi testada:\namd_iommu=on: não é uma opção válida; o kernel regista «Unknown option - \u0026lsquo;on\u0026rsquo;» e segue em frente consoleblank=0: já é o valor por omissão E confere o resto contra /proc/cmdline depois de reiniciar. Cada flag nessa linha deve ser uma para a qual consegues dar uma razão.\nSe não consegues dizer o que uma flag faz, isso não é afinação. É superstição. E vai ser copiada para a próxima build por alguém que confia em ti.\nReferências Linux kernel — the kernel\u0026rsquo;s command-line parameters — mitigations=, default_hugepagesz=, hugepages=, watchdog_thresh=, nowatchdog, consoleblank=, processor.max_cstate=, amd_pstate=, amd_iommu= e as políticas pci=pcie_bus_* Linux kernel source — drivers/iommu/amd/init.c — parse_amd_iommu_options(), e a verificação da capacidade da tabela de páginas v2 que recua para v1 Linux kernel source — arch/x86/kernel/pci-dma.c — iommu=pt a chamar iommu_set_default_passthrough() Linux kernel — Thunderbolt — níveis de segurança, e os dispositivos ligados como DMA masters Proxmox VE — System Administration — proxmox-boot-tool status, editar a linha de comandos do kernel no systemd-boot face ao GRUB ","permalink":"https://blogs.damiendye.uk/pt/proxmox/kernel-boot-flags-host-guest/","summary":"A maioria das linhas de afinação do Proxmox que encontras online são um bloco único de flags do kernel. Metade pertence ao hipervisor, metade pertence ao convidado, duas das mais populares não fazem nada, e algumas mudam de significado conforme o lado da fronteira onde caem.","title":"Duas linhas de arranque: que flags do kernel pertencem a um host Proxmox e quais pertencem ao convidado"},{"content":"Porque é que quererias um O QEMU consegue emular um controlador NVMe a sério — não um dispositivo paravirtual que precisa de um driver fornecido por ti, mas um controlador NVMe PCIe que um convidado reconhece como um SSD normal e conduz com o suporte NVMe que já tem.\nÉ esse o atrativo todo, e vale mais do que parece.\nO Linux tem um driver nvme incluído há anos. O Windows traz o stornvme desde o Windows 8.1 e o Server 2012 R2. Por isso um convidado arranca, enumera um controlador NVMe PCIe, carrega o seu próprio driver e encontra um disco. Nenhuma ISO VirtIO, nenhuma injeção de drivers durante a instalação, e nenhum ecrã de «nenhum disco encontrado» a meio de um instalador do Windows.\nQuem já ficou a olhar para esse ecrã, com a ISO VirtIO montada e o instalador a insistir que não há discos, vê o atrativo de imediato.\nA segunda razão é que se comporta como NVMe de ponta a ponta. O nvme-cli funciona. Os namespaces são reais. Formatos de LBA, bytes de metadados e informação de proteção são todos configuráveis. O que faz dele um ótimo sítio para praticar as operações que não devias andar a praticar em hardware que guarda dados.\nComo acrescentar um O Proxmox não tem caixa de verificação na GUI nem chave de configuração para isto. É um dispositivo QEMU em bruto, por isso vai no args: em /etc/pve/qemu-server/\u0026lt;vmid\u0026gt;.conf.\nA documentação do QEMU dá o par mínimo: um disco de suporte sem interface, e o controlador que o consome. Editado diretamente em /etc/pve/qemu-server/\u0026lt;vmid\u0026gt;.conf, sem aspas:\nargs: -drive file=/var/lib/vz/images/100/nvm.img,if=none,id=nvmidentifier -device nvme,serial=LAB-NVME-01,drive=nvmidentifier O if=none importa: diz ao QEMU para não ligar o disco a um controlador predefinido, porque a linha -device nvme vai reclamá-lo. O id= no disco e o drive= no dispositivo têm de corresponder. É esse emparelhamento que junta as duas metades.\nO serial= é obrigatório; o QEMU recusa-se a arrancar a VM sem ele. Escolhe algo que reconheças, porque é exatamente o que o convidado reporta no nvme list e no smartctl, e «qual destes quatro discos virtuais idênticos é qual» é uma pergunta que vais acabar por fazer.\nAspas: a parte que apanha toda a gente Se pões aspas nessa string depende de onde a estás a escrever, e trocar isto é a razão mais comum para um destes falhar à primeira tentativa.\nO Proxmox guarda o valor de args: e mais tarde divide-o com Text::ParseWords::shellwords. Por isso no ficheiro de configuração as aspas são respeitadas e retiradas. Uma string toda entre aspas passa a ser um único argumento:\n# WRONG in the config file — collapses to one argv element QEMU cannot parse args: \u0026#34;-drive file=…,if=none,id=nvmidentifier -device nvme,serial=…,drive=nvmidentifier\u0026#34; Passado pelo shellwords, isso dá exatamente um elemento. Sem aspas, a mesma linha dá os quatro de que o QEMU precisa de facto: -drive, o seu bloco de parâmetros, -device, o seu bloco de parâmetros.\nNa linha de comandos é o contrário, porque aí estás a pôr aspas para a tua shell, não para o Proxmox. Aqui as aspas são obrigatórias, e o que fica guardado na configuração é o valor sem aspas:\nqm set 100 --args \u0026#34;-drive file=/var/lib/vz/images/100/nvm.img,if=none,id=nvmidentifier -device nvme,serial=LAB-NVME-01,drive=nvmidentifier\u0026#34; As duas formas estão certas. Só não são intercambiáveis. Se montares a linha com qm set, verifica o resultado com qm config 100 a seguir e vais vê-la guardada sem aspas. É essa a forma que o ficheiro de configuração quer.\nCria primeiro a imagem de suporte se não existir:\nqemu-img create -f raw /var/lib/vz/images/100/nvm.img 32G Mais do que um namespace Para qualquer coisa além de um único disco, separa o controlador dos seus namespaces:\n-device nvme,id=nvme-ctrl-0,serial=deadbeef -drive file=nvm-1.img,if=none,id=nvm-1 -device nvme-ns,drive=nvm-1 Os identificadores de namespace são atribuídos automaticamente a partir de 1. Esta é a configuração que torna o dispositivo genuinamente útil para aprender, porque a gestão de namespaces é a parte do NVMe em que a maioria das pessoas nunca chega a mexer.\nUm namespace virtual 4Kn O namespace aceita as propriedades habituais de tamanho de bloco, e o QEMU deriva o tamanho de dados do LBA diretamente delas. O hw/nvme/ns.c calcula o expoente do formato como ds = 31 - clz32(ns-\u0026gt;blkconf.logical_block_size). Por isso isto dá-te um namespace 4K nativo como deve ser:\n-device nvme-ns,drive=nvm-1,logical_block_size=4096,physical_block_size=4096 O dispositivo de namespace também aceita ms para bytes de metadados por LBA, mset para LBA estendidos, e pi e pif para o tipo de informação de proteção e o formato do guard.\nÉ um laboratório completo para tudo o que está no artigo sobre 4Kn e 512e — blocos lógicos de 512 bytes contra 4096 bytes, formatos com metadados, T10-PI — num dispositivo que podes destruir as vezes que quiseres.\nVerifica que ficou De dentro do convidado:\nlsblk -o NAME,MODEL,SIZE,LOG-SEC,PHY-SEC nvme list nvme id-ns -H /dev/nvme0n1 | grep -i \u0026#34;lbaf\\|data size\u0026#34; Deves ver um namespace NVMe real, com os tamanhos de bloco que pediste.\nDe que abdicas Três coisas, e as duas primeiras não são compromissos de desempenho. São capacidades retiradas. Conhece-as antes de pores alguma coisa no dispositivo.\nO que o Proxmox gere, e aquilo de que um dispositivo ligado por args fica de fora Na configuração da VM, como disco scsi0: local-zfs:vm-100-disk-0,iothread=1 O Proxmox é dono do volume e sabe que existe Incluído nas cópias vzdump / PBS sim Snapshots do PVE sim Migração em direto sim Redimensionar e Move Disk na GUI sim Contado na vista de armazenamento sim Ligado através de args: -device nvme,drive=nvm1,serial=… um dispositivo QEMU em bruto — o PVE não sabe nada dele Incluído nas cópias não Snapshots do PVE não Migração em direto não Redimensionar e Move Disk não Contado na vista de armazenamento não Só um desses «não» se anuncia. A migração em direto falha com um erro, porque o QEMU marca o dispositivo como não migrável. A cópia tem simplesmente êxito sem o disco — e é por isso que isto pertence ao teu runbook, e não só à tua memória. O Proxmox gere como disco o que está na configuração da VM. Um controlador ligado por args fica fora disso, por isso todas as funcionalidades construídas sobre a camada de armazenamento simplesmente não se lhe aplicam. 1. A migração em direto fica desligada Isto não é uma limitação do Proxmox nem um descuido. O QEMU declara o dispositivo não migrável no próprio modelo do dispositivo. Do hw/nvme/ctrl.c no QEMU 10.2:\nstatic const VMStateDescription nvme_vmstate = { .name = \u0026#34;nvme\u0026#34;, .unmigratable = 1, }; Três linhas, e a do meio é a história toda. O controlador não tem estado de migração, por isso o QEMU recusa a migração em vez de a tentar. É a falha certa. Recebes um erro, não um convidado que retoma noutro nó com um disco baralhado.\nHá uma segunda razão, independente, para não poder funcionar: o Proxmox não sabe que o disco existe. Mesmo que o QEMU conseguisse mover o estado do dispositivo, nada na lógica de migração do PVE trataria de pôr o volume de suporte disponível no destino.\nVale a pena acompanhar, no entanto: o ramo de desenvolvimento do QEMU substituiu a flag geral por uma função nvme_set_migration_blockers() que permite a migração e só a bloqueia para funcionalidades específicas. Mais do que um namespace, por exemplo, onde o comentário nota «we don\u0026rsquo;t handle this in migration code yet». Isso ainda não apareceu numa versão até à 10.2 inclusive, por isso não te ajuda hoje, mas esta restrição parece destinada a abrandar. Verifica a tua própria versão do QEMU em vez de confiares num artigo.\n2. As cópias de segurança do Proxmox não o veem O vzdump e o Proxmox Backup Server fazem cópia dos volumes que aparecem na configuração da VM como discos — scsi0, virtio0, e por aí fora. Um disco ligado através de args: não é um desses. É um dispositivo QEMU em bruto de que o PVE não sabe coisa nenhuma.\nPor isso a cópia corre, reporta sucesso, e não contém o dispositivo.\nEsse modo de falha é pior do que um erro, porque nada te avisa. O mesmo se aplica a tudo o resto: nenhum snapshot do PVE, nenhum redimensionamento do disco pela GUI, nenhum Move Disk, nenhuma contabilização na vista de armazenamento. Se criaste o volume através do PVE e depois o desligaste, o PVE também pode não o limpar. Um órfão à espera de baralhar alguém mais tarde.\nSe vão viver dados num destes, faz a cópia de segurança de dentro do convidado, e escreve algures que o hipervisor não o está a cobrir.\n3. Não é mais rápido do que o VirtIO SCSI Esta surpreende as pessoas, porque «NVMe» soa a funcionalidade de desempenho. Aqui não é.\nO VirtIO SCSI e o VirtIO block são paravirtuais: o driver do convidado e o hipervisor partilham um ring buffer desenhado exatamente para este trabalho, e o convidado sabe que está a falar com um hipervisor.\nO controlador NVMe emulado é o oposto, por desenho. Apresenta registos NVMe reais, por isso o convidado programa-o como se fosse hardware. Cada escrita no doorbell é um acesso MMIO que salta para o hipervisor. Correto, e mais caro por E/S do que pôr um descritor num anel.\nUm anel partilhado contra registos emulados convidado │ hipervisor VirtIO SCSI — paravirtual driver do convidado sabe que é uma VM anel partilhado as duas pontas percebem-no blocos do anfitrião 1 aviso Um descritor vai para o anel e o anfitrião é avisado. O anel atravessa a fronteira de propósito. NVMe emulado — registos reais driver do convidado julga que é hardware registos NVMe doorbells, filas, MMIO blocos do anfitrião cada escrita no doorbell faz trap trap + emulação, por E/S O convidado faz exatamente o que faria a um controlador físico, que é a ideia — o seu próprio driver funciona sem alterações. É também por isso que isto é compatibilidade e não desempenho. Coalescência de interrupções sem suporte e desligada: comportamento de hardware correto, ao custo de emular hardware. O caminho paravirtual é um anel que o convidado e o anfitrião percebem. O caminho emulado põe o convidado a conduzir registos, e cada escrita no doorbell é um trap — comportamento de hardware fiel, ao custo da emulação de hardware. A própria documentação do QEMU também é franca sobre as arestas do dispositivo: a coalescência de interrupções «is not supported and is disabled by default», e os números de contabilização na página de registo SMART/Health «are reset when the device is power cycled».\nNada disso o torna lento em termos absolutos. É perfeitamente utilizável. Só quer dizer que nunca o deves escolher à espera de mais débito do que o VirtIO SCSI te dá. Escolhe-o pelo driver, ou pela semântica NVMe.\nOnde de facto justifica o lugar Instalar um convidado sem suportes VirtIO. Um instalador do Windows que não vê um disco VirtIO SCSI vê um NVMe, porque o driver já está na imagem. Instala nele, e depois decide se passas para VirtIO a seguir. Appliances e imagens que não controlas. Qualquer coisa distribuída como imagem fixa sem drivers VirtIO, e que preferias não recompilar. Aprendizagem e laboratório. nvme format --lbaf, criação e associação de namespaces, metadados e informação de proteção — as operações que são destrutivas e dependentes do fabricante em hardware real são gratuitas aqui. É a forma mais segura de criar memória muscular antes de mexer num disco que importa. Reproduzir a topologia de outra pessoa. Se estás a depurar a disposição NVMe de um cliente, um controlador emulado com namespaces e tamanhos de bloco iguais é um ciclo muito mais rápido do que pedir o hardware emprestado. O que usar em vez disso em produção Para uma VM que precisa de desempenho, das funcionalidades do PVE e de uma vida sossegada: VirtIO SCSI single, com iothread=1, discard=on e ssd=1, em cache=none. É essa a configuração que mantém a migração em direto, as cópias de segurança, os snapshots e a vista de armazenamento todos a funcionar.\nPara uma VM que precisa dos últimos pontos percentuais e pode abdicar dessas funcionalidades de propósito, a resposta não é um dispositivo NVMe emulado. É passthrough real, com os seus próprios compromissos duros, tratado no artigo sobre o imposto da IOMMU.\nO dispositivo NVMe emulado não está em nenhum dos campos. Assim sendo, é uma ferramenta de compatibilidade e de laboratório, e é muito boa a ser isso.\nUsa-o para o trabalho em que é bom e não te deixa ficar mal. Pede-lhe que seja uma funcionalidade de desempenho e deixa-te ficar mal muito depressa.\nReferências QEMU — NVMe Emulation — a sintaxe -drive/-device nvme, o nvme-ns para vários namespaces, os parâmetros de namespace ms/mset/pi/pif, e as limitações declaradas quanto à coalescência de interrupções e à contabilização SMART Código-fonte do QEMU — hw/nvme/ctrl.c — a declaração nvme_vmstate com .unmigratable = 1 na versão 10.2 Código-fonte do QEMU — hw/nvme/ns.c — o namespace a derivar o seu formato de LBA de logical_block_size Proxmox VE — Backup and Restore — o que o vzdump cobre, e as opções de cópia por volume que existem para os discos que o PVE gere Proxmox VE — Qemu/KVM Virtual Machines — VirtIO SCSI, iothread, discard e as opções de disco suportadas ","permalink":"https://blogs.damiendye.uk/pt/proxmox/virtual-nvme-proxmox/","summary":"O QEMU consegue emular um controlador NVMe real, por isso o convidado usa o seu próprio driver NVMe incluído, sem precisar de suportes VirtIO. Também não é migrável por desenho, é invisível para as cópias de segurança do Proxmox e não é mais rápido do que o VirtIO SCSI. Eis como acrescentar um e quando vale a pena.","title":"Um dispositivo NVMe virtual no Proxmox — e as três coisas de que abdicas"},{"content":"O pressuposto de todos os relógios O relógio de um computador funciona a contar algo regular e a confiar que continua a contar. Um cristal oscila, um contador incrementa, e o software calcula quanto tempo passou.\nA virtualização quebra a parte da confiança.\nA própria documentação do kernel sobre a gestão do tempo em KVM resume o problema numa frase: «the virtual operating system does not run with 100% usage of the CPU, despite the fact that it may very well make that assumption.» Tudo o que se segue decorre daí.\nO teu vCPU nem sempre está a correr Um vCPU é uma thread no host. Corre quando o escalonador do host assim o decide.\nQuando não está a correr, o guest não está apenas parado. Está ausente. Não consegue contar, não consegue atender uma interrupção de temporizador, e não tem maneira de saber quanto tempo esteve fora. O host regista isso como steal time, que é o nome honesto para «tempo que te aconteceu em vez de ser para ti».\nÉ nas interrupções de temporizador que isto dói mais. Um guest que pede um tick periódico está a pedir ao host que entregue interrupções a um ritmo fixo, e o host nem sempre consegue. Outra vez da documentação do kernel: «the host virtualization engine may not be able to deliver the proper number of interrupts per second, and so guest time may fall behind.»\nPorque é que os ticks do temporizador de um guest deixam de ser regulares Bare metal: o CPU é sempre teu a correr ticks do temporizador, regulares: contá-los dá-te a hora Numa VM: o vCPU é uma thread no escalonador de outra pessoa a correr fora do CPU fora do CPU os ticks devidos nos intervalos chegam tarde, amontoados ou nunca O guest não vê os períodos tracejados. Por dentro, o relógio limitou-se a produzir menos ticks do que devia, e é por isso que a documentação do kernel diz que o tempo de um guest «may fall behind» quando o host não consegue entregar as interrupções que ele pediu. O host chama steal time às zonas tracejadas. O guest não lhes chama nada, porque não estava lá. A visão do próprio guest é a linha de baixo: ticks que chegam atrasados, ticks que chegam em rajadas e intervalos que não consegue explicar. Está a medir o escalonador do host tanto quanto a passagem do tempo. Quanto mais alto o ritmo de ticks, pior fica, e um host sobrecomprometido piora ainda mais. É também por isso que um host ocupado degrada a gestão do tempo dos guests sossegados. Estão todos em fila pelos mesmos núcleos físicos.\nOs contadores também não são teus Se os ticks periódicos não são fiáveis, a resposta óbvia é ler um contador. Isso tem os seus próprios problemas.\nO TSC é o rápido, e a documentação do kernel não tem rodeios sobre ele: «The TSC is a CPU-local clock in most implementations… the TSCs of different CPUs may start at different times.» O ritmo pode variar com os estados de energia do processador, e em peças mais antigas para por completo quando o núcleo fica inativo. Um vCPU que migra entre núcleos físicos pode, portanto, ler um contador que discorda daquele que leu um microssegundo antes.\nAs alternativas são piores de outra maneira. O HPET, o PIT e o temporizador ACPI PM são todos dispositivos emulados, por isso cada leitura é uma armadilha para o hypervisor. Correto, e caro o suficiente para que um guest que lê o relógio num ciclo apertado dê por isso.\nÉ por isso que existem relógios paravirtuais. Em KVM, o kvm-clock deixa o host publicar a sua própria gestão do tempo numa estrutura partilhada que o guest lê diretamente: sem armadilha, sem contagem, sem pressupor que o guest estava acordado. É também por isso que deves deixar a fonte de relógio do guest em paz, em vez de forçares tsc ou hpet porque um post num fórum disse que era mais rápido.\nMigração, snapshots e suspensão A migração a quente, o restauro de um snapshot e a suspensão/retoma fazem todos o mesmo ao relógio de um guest: param-no e depois voltam a pô-lo a andar noutro sítio.\nO que o guest vê não é deriva, é um salto. O relógio tinha um valor e agora tem outro, sem nada pelo meio. Migrar para um host cujo TSC corre a uma frequência diferente agrava isto.\nOs saltos importam porque o software que corrige relógios foi feito para corrigir deriva, não teletransporte.\nIsto não é um problema do KVM É tentador ler tudo o que está acima como uma falha do KVM. Não é.\nTodos os hypervisors trazem um relógio paravirtual, porque todos têm o mesmo problema estrutural: o KVM tem o kvm-clock, o Hyper-V tem a sua página de TSC de referência, a VMware tem um contador de pseudo-desempenho mais sincronização pelas Tools, o Xen tem o seu pvclock. São quatro implementações independentes do mesmo remendo.\nA conclusão da própria documentação do kernel é que aqui não há solução perfeita. Só compromissos entre precisão, desempenho e complexidade.\nSe o preferires da boca de um fabricante em vez de programadores do kernel, a fronteira de suporte da Microsoft para tempo de alta precisão é notavelmente franca. Para afirmar uma precisão de 50 ms num sistema Windows virtualizado, um dos requisitos indicados é que «the one-day average CPU utilization of the host must not exceed 90%.» Para 1 ms, o host tem de ficar abaixo dos 80%.\nLê outra vez: a precisão do relógio do guest está documentada como dependente de quão ocupado está o host. Isso não é uma peculiaridade do Windows, é a mesma física que a documentação do kernel descreve, escrita como fronteira de suporte.\nAs três camadas do tempo no guest, e quais são de facto do guest Sincronização da hora que horas são de facto NTP pela rede jitter, assimetria, stratum hypercall ptp_kvm pergunta diretamente ao host Relógio paravirtual o host publica a sua própria hora Todos os hypervisors trazem um, porque todos têm este problema: kvm-clock Hyper-V TSC page VMware pseudo-perf Xen pvclock quatro implementações independentes do mesmo remendo Contadores de hardware não são teus numa VM TSC HPET PIT temporizador ACPI PM locais ao CPU e de ritmo variável, ou emulados: cada leitura é uma trap no hypervisor O guest é dono da sua escolha no topo. A camada do meio é o hypervisor a emprestar-lhe um relógio que esteve a correr o tempo todo. Três camadas, e o guest só é verdadeiramente dono da de cima. O relógio paravirtual de cada hypervisor existe para contornar a mesma garantia em falta na camada de baixo. Porque é que NTP dentro do guest é a ferramenta errada O NTP é bom naquilo para que foi concebido: uma máquina com um oscilador real que anda ligeiramente adiantado ou atrasado, corrigido medindo a ida e volta até um servidor remoto e ajustando suavemente o relógio local.\nCada um desses pressupostos é frágil numa VM.\nO oscilador local não está ligeiramente errado, está intermitentemente ausente. A medição da ida e volta é feita por um processo que pode ser desescalonado entre ler o relógio e enviar o pacote, o que corrompe a própria medição. E as correções necessárias depois de uma migração são saltos, que um algoritmo de ajuste gradual trata mal ou recusa à partida.\nO chrony aguenta-se muito melhor do que o ntpd aqui. Ajusta mais depressa, tolera saltos e é honesto sobre a sua própria incerteza. Mas continua a resolver o problema errado: ir buscar o tempo através de uma rede a um servidor stratum 2 a 20 ms de distância, quando a hora certa está no hypervisor, do outro lado de uma única fronteira de memória.\nO que obténs na prática é um guest que está quase sempre certo, ocasionalmente desviado dezenas ou centenas de milissegundos, e nunca bem capaz de te dizer qual das duas.\nO que o desvio parte de facto Ninguém se interessa por relógios por eles próprios. Interessa-se quando alguma coisa deixa de funcionar.\nKerberos e Active Directory O Kerberos depende do tempo por desenho, porque a validade de um ticket é expressa como uma janela temporal.\nA documentação do krb5.conf do MIT define clockskew como «the maximum allowable amount of clockskew in seconds that the library will tolerate before assuming that a Kerberos message is invalid», e o valor por omissão é de 300 segundos, cinco minutos.\nPassa disso e a autenticação não se degrada, falha. Como a autenticação do Active Directory é Kerberos, isso significa logons no domínio, net use, ligações ao SQL Server, Exchange, partilhas de ficheiros, tudo. Cinco minutos parece generoso até um guest saltar para trás depois do restauro de um snapshot.\nTLS Um certificado traz uma janela de validade: notBefore e notAfter. Um guest cujo relógio está atrasado rejeita um certificado emitido esta manhã porque, tanto quanto sabe, o certificado ainda não é válido. Um guest cujo relógio está adiantado rejeita um que na realidade ainda não expirou.\nA mesma aritmética rege a frescura do OCSP e das CRL, as claims nbf/exp de um JWT e os códigos TOTP de autenticação multifator, que vivem em janelas de 30 segundos. Um relógio desviado 45 segundos é uma falha de autenticação com uma mensagem de erro muito confusa.\nCeph Os monitores do Ceph preocupam-se com isto mais do que quase qualquer outra coisa na pilha, porque o seu consenso depende disso.\nO health check MON_CLOCK_SKEW dispara quando «the clocks on hosts running Ceph Monitor daemons are not well-synchronized». Concretamente, quando o desvio excede mon_clock_drift_allowed. O conselho da documentação é sincronizar com ntpd ou chrony contra várias fontes, e nota que a sincronização entre monitores importa particularmente.\nPodes subir o mon_clock_drift_allowed, mas a documentação é clara: tem de ficar «significantly below the mon_lease interval». Como tal, é um orçamento pequeno, e gastá-lo a tapar um problema de gestão do tempo do hypervisor não é boa troca.\nTudo o resto Os registos entre hosts deixam de se correlacionar, o que transforma a cronologia de um incidente em adivinhação. A replicação de bases de dados e o consenso distribuído, etcd, Galera, tudo o que use leases de líder, ficam infelizes. As janelas de backup e de monitorização saem de alinhamento com aquilo que deviam observar.\nOs guests Windows desviam-se de outra maneira O Windows merece uma nota à parte, porque o seu serviço de tempo foi construído com outros objetivos e nota-se.\nA Microsoft diz claramente que as versões anteriores ao Windows 10 1607 / Server 2016 «can\u0026rsquo;t guarantee highly accurate time». O que o serviço Windows Time oferecia nessas versões era «the necessary time accuracy to satisfy Kerberos version 5 authentication requirements» e «loosely accurate time» para máquinas numa floresta AD comum. Mais apertado do que isso estava «outside of the design specification… and weren\u0026rsquo;t supported.»\nPor outras palavras, o Windows antigo procura ficar dentro da janela de cinco minutos do Kerberos, não estar certo. O que está bem até alguma coisa no teu parque precisar de melhor. Uma máquina Windows virtualizada desviada 90 segundos autentica-se alegremente enquanto escreve registos que não se correlacionam com nada.\nO Windows 10 e o Server 2016 em diante conseguem 1 s, 50 ms ou até 1 ms, mas só nas condições citadas acima, incluindo os limites de utilização do CPU do host. A Microsoft nota também que «anything that introduces network asymmetry, such as a one-way satellite connection or high CPU load on the target system, will negatively influence accuracy». Um vCPU disputado é carga alta de CPU no sistema alvo com outro nome.\nNão há ptp_kvm para Windows. O que tens em vez disso:\nOs enlightenments de relógio do Hyper-V. O Proxmox já os expõe aos guests Windows. O PVE::QemuServer::CPUConfig define hv_time ao lado de hv_vapic, hv_spinlocks, hv_relaxed e hv_synic. O hv_time é o relógio paravirtual, e é o equivalente do lado Windows ao kvm-clock. Está ligado por omissão nas VMs do tipo Windows; não há nada para ativar. O agente de guest do QEMU. Com o agente instalado, o host pode empurrar a sua hora para o guest depois de uma retoma ou do restauro de um snapshot, o que trata o caso do salto, que é o que o NTP trata pior. Escolhe uma autoridade. A falha clássica do Windows numa VM são duas fontes de tempo à luta: sincronização host-guest e sincronização pela hierarquia do domínio, ambas a corrigir o mesmo relógio em sentidos opostos. Num guest membro de um domínio, deixa ganhar a hierarquia do domínio e impede o host de lhe empurrar a hora. Num guest isolado, a sincronização pelo host está bem. Nunca as duas. Se queres saber exatamente o que o teu hypervisor está a dizer a uma dada VM sobre o tempo, pergunta-lhe em vez de adivinhares:\n# Everything Proxmox actually passes to QEMU for this VM, including -rtc and CPU flags qm showcmd \u0026lt;vmid\u0026gt; --pretty A solução em QEMU/KVM: ptp_kvm Para guests Linux em KVM há uma resposta como deve ser, e não é «mais servidores NTP».\nO ptp_kvm deixa o guest perguntar ao host que horas são, diretamente, através de uma hypercall: KVM_HC_CLOCK_PAIRING em x86, e uma chamada de firmware equivalente em arm64. O kernel apresenta isso como um dispositivo de relógio de hardware PTP, por isso no espaço de utilizador parece uma fonte de relógio de precisão como outra qualquer, e o chrony pode usá-lo como relógio de referência.\nAs propriedades que importam:\nSem rede. Sem jitter, sem assimetria, sem stratum, sem pacotes. O caminho é uma fronteira de memória. Abaixo do microssegundo. A precisão é limitada pela hypercall, não por uma ida e volta através de um centro de dados. Contorna a parte avariada. O guest não está a contar nada nem a estimar uma ida e volta. Está a ler um valor que o host calculou com um relógio que esteve a correr o tempo todo. NTP através da rede contra ptp_kvm através de uma fronteira de memória chrony com pools de rede guest o relógio para rede jitter, assimetria servidor stratum 2 a dezenas de ms a ida e volta é medida pelo relógio a corrigir e o processo que mede pode sair do CPU a meio da medição chrony com ptp_kvm guest lê /dev/ptp_kvm relógio do host nunca parou hypercall KVM_HC_CLOCK_PAIRING uma fronteira de memória, não uma rede sub-µs Sem pacotes, sem stratum, sem assimetria, e nada a estimar. O guest não está a calcular que horas são: é-lhe dito pelo único participante que esteve acordado o intervalo todo. Os dois caminhos acabam com o guest a acertar o relógio. Um mede uma ida e volta pela rede com um relógio que está sempre a parar; o outro pergunta ao hypervisor. Implementação Aplica isto a todas as VMs Linux que tenham o driver. O hypervisor anfitrião precisa de NTP ou PTP próprio a funcionar. O ptp_kvm entrega ao guest a hora do host, por isso herda o erro do host.\n1. Carrega o módulo do kernel no arranque.\n# /etc/modules-load.d/ptp_kvm.conf ptp_kvm 2. Dá-lhe um nome estável e deixa o chrony lê-lo.\n# /etc/udev/rules.d/90-ptp-kvm.rules ACTION==\u0026#34;add\u0026#34;, SUBSYSTEM==\u0026#34;ptp\u0026#34;, ATTR{clock_name}==\u0026#34;kvm\u0026#34;, SYMLINK+=\u0026#34;ptp_kvm\u0026#34;, GROUP=\u0026#34;chrony\u0026#34;, MODE=\u0026#34;0660\u0026#34; O symlink importa porque a numeração dos dispositivos PTP não é estável. O /dev/ptp0 pode ser o relógio de uma placa de rede num arranque e o relógio KVM no seguinte. Fazer a correspondência pelo clock_name apanha o certo sempre.\n3. Aponta o chrony para ele e retira as pools.\nEdita /etc/chrony/chrony.conf em Debian e Ubuntu, ou /etc/chrony.conf na família RHEL. Apaga as linhas pool e usa:\nrefclock PHC /dev/ptp_kvm poll 2 stratum 1 delay 0.0004 Retirar as pools não é arrumação opcional. Deixá-las lá pede ao chrony que concilie uma referência local abaixo do microssegundo com servidores na internet a dezenas de milissegundos, e as fontes da internet só podem piorar a resposta.\n4. Reinicia e verifica.\nsystemctl restart chronyd # or chrony, on Debian/Ubuntu Verificar # The symlink exists and points at the KVM clock ls -l /dev/ptp_kvm cat /sys/class/ptp/ptp*/clock_name # chrony should be using PHC0 as its selected source chronyc sources -v # and the offset should be microseconds, not milliseconds chronyc tracking No chronyc sources, o refclock PHC aparece como #* PHC0 depois de selecionado. O # marca uma referência de hardware local em vez de um par na rede, e o * marca-o como o que está em uso. Se o vires listado mas não selecionado, o chrony não o aceitou: verifica as permissões no dispositivo e se o grupo chrony na regra udev corresponde ao utilizador com que o chrony corre de facto na tua distribuição.\nRessalvas O host tem de estar certo. Isto faz o guest concordar com o host, o que só é útil se o host concordar com a realidade. Dá aos hypervisors NTP ou PTP a sério. Todos os guests precisam disto. Um parque em que metade das VMs usa ptp_kvm e a outra metade usa pools da internet é um parque com duas autoridades de tempo. A migração a quente não é problema, e é precisamente o objetivo. Depois de migrar, o guest lê o relógio do novo host. Desde que os hosts concordem entre si, o guest nunca vê um salto. Só KVM. É uma hypercall do KVM. Hypervisors aninhados ou de outro tipo não apresentam o dispositivo, e a regra udev simplesmente não dispara. É uma falha limpa em vez de uma resposta errada em silêncio. O que não fazer Não forces a fonte de relógio. Deixa o kvm-clock em paz. Forçar tsc ou hpet na linha de comandos do kernel do guest troca um relógio paravirtual concebido para esta situação por um contador que nunca foi teu. Não corras ntpdate nem hwclock a partir do cron. Isso é um salto com horário marcado, que é exatamente o que as bases de dados e o Kerberos detestam. Não mantenhas as pools «como alternativa». Com um refclock a funcionar não são uma alternativa, são uma segunda opinião de uma fonte pior. Não subas o mon_clock_drift_allowed e digas que está resolvido. Gastaste parte de um orçamento que existe para a realidade da rede, para tolerar um problema que tem solução conhecida. Esta última merece ser dita com todas as letras: alargar o limiar não é arranjar o relógio. É mudar o alarme de sítio para que deixe de tocar.\nReferências Linux kernel — KVM timekeeping — porque é que o tempo do guest se atrasa, o problema do TSC como relógio local, e a conclusão de que só existem compromissos Linux kernel — PTP_KVM — a interface de hypercall por trás do dispositivo de relógio PTP Linux kernel — KVM x86 hypercalls — KVM_HC_CLOCK_PAIRING, o lado x86 chrony — chrony.conf — a diretiva refclock e as opções do driver PHC MIT Kerberos — krb5.conf — clockskew e o seu valor por omissão de 300 segundos Microsoft — support boundary for high accuracy time — os objetivos de precisão, e as condições de utilização do CPU do host para sistemas virtualizados Ceph — health checks — MON_CLOCK_SKEW, mon_clock_drift_allowed e a sua relação com mon_lease ","permalink":"https://blogs.damiendye.uk/pt/proxmox/vm-time-ptp-kvm/","summary":"O relógio de uma máquina virtual assenta num pressuposto que a virtualização quebra: que o CPU continua a contar. Porque é que o tempo do guest deriva em todos os hypervisors, o que o desvio parte de facto (Kerberos, TLS, Ceph, Windows) e como o ptp_kvm o resolve como deve ser em QEMU/KVM.","title":"Não se pode confiar no relógio de uma VM, e a solução ptp_kvm para QEMU/KVM"},{"content":"Três formas de um disco se apresentar Um disco tem dois tamanhos de bloco, e a diferença entre eles é a história toda.\nO setor físico é a unidade com que o suporte trabalha de facto — a unidade mais pequena que o disco consegue ler ou escrever sem trabalho extra. O bloco lógico é a unidade com que o disco diz ao host que trabalha — a unidade que o host endereça.\nHá três combinações por aí.\n512n — 512 nativo. Os dois tamanhos são 512 bytes. É o mundo antigo: discos rígidos de antes de 2010, e nada que comprasses novo hoje em qualquer capacidade que valha a pena.\n512e — emulação de 512 bytes. O setor físico tem 4096 bytes, mas o disco reporta blocos lógicos de 512 bytes e traduz no firmware. Existe por uma única razão: compatibilidade com sistemas operativos, bootloaders e aplicações que assumiram 512 para sempre. Razoável como engenharia, e a raiz de quase todos os problemas que se seguem.\n4Kn — 4K nativo. Os dois tamanhos são 4096 bytes. O disco diz a verdade, o host endereça-o na unidade que o suporte usa, e não há camada de tradução pelo meio.\n512n, 512e e 4Kn: o que o host endereça contra o que o suporte usa linha de cima = lógico, o que o host endereça · linha de baixo = físico, a unidade do suporte 512n 512512 512512 512512 512512 1:1, e honesto — mas obsoleto. Nada de novo sai assim. 512e 8 × 512 B lógicos — o que é dito ao host um setor físico de 4096 B — o que existe de facto o firmware traduz, em cada acesso O host endereça uma coisa que não existe. As escritas que não enchem um setor custam mais. 4Kn um bloco lógico de 4096 B um setor físico de 4096 B nada para traduzir O disco diz a verdade, por isso nada a jusante pode tomar uma decisão com um número errado. O 512e é o caso interessante: o host está a endereçar uma coisa que não existe, e o firmware mantém a ficção em cada acesso. O que o 512e faz em cada escrita desalinhada Uma leitura é barata nos três casos. O disco lê o setor de 4K e devolve a fatia de 512 bytes que pediste.\nAs escritas são onde a ficção sai cara.\nSe o host escreve um único bloco lógico de 512 bytes, o disco não consegue escrever 512 bytes. O suporte não tem essa unidade. Por isso faz isto em vez disso:\nLê o setor físico inteiro de 4096 bytes. Junta-lhe os 512 bytes de dados novos. Escreve de volta o setor inteiro de 4096 bytes. Isso é um read-modify-write, e transforma uma escrita pequena numa leitura mais uma escrita. Num disco rotativo, isso quer dizer esperar que o prato dê a volta outra vez. Uma rotação completa a 7200 rpm são uns 8 ms com que não contavas. Em flash o custo é de outra natureza, e não desaparece quando a escrita acaba. Esse tem a sua própria secção mais abaixo.\nA penalização do read-modify-write, e o que o desalinhamento lhe faz 4Kn — escrita de 4 KB alinhada 4 KB de dados novos enchem o setor 1 escrita nada para ler primeiro 512e — escrever um bloco lógico de 512 B 1. lê o setor físico inteiro 4096 B lidos 2. junta os 512 B só isto mudou de facto 3. escreve o setor inteiro de volta 4096 B escritos 1 leitura + 1 escrita uma rotação num disco; uma página programada em flash 512e — escrita de 4 KB desalinhada (a cara) uma escrita de 4 KB, deslocada meio setor setor físico n setor físico n+1 2 read-modify-writes em cada escrita, para sempre As ferramentas de particionamento modernas alinham ao setor físico por omissão, por isso isto é herdado de uma instalação antiga ou de uma imagem clonada, não criado de novo. Não se corrige sozinho. Uma escrita de 4K alinhada a 4K não precisa de leitura nenhuma. Tudo o resto precisa — e uma escrita que atravessa a fronteira de um setor precisa de duas. O desalinhamento é a versão disto que morde com mais força. Se uma partição começa num deslocamento de 512 bytes ímpar — o caso clássico é a velha convenção dos 63 setores — então cada escrita de 4K do sistema de ficheiros atravessa dois setores físicos. Isso não é um read-modify-write, são dois, em cada escrita, para sempre, até alguém voltar a particionar o disco.\nAmplificação de escrita em flash Num disco rígido, o read-modify-write custa-te uma rotação e acabou. Em flash custa-te vida útil do disco, e essa é uma conta que pagas uma vez e continuas a pagar.\nA amplificação de escrita é a razão entre o que foi de facto escrito na NAND e o que o host pediu para escrever. Uma razão de 1,0 quereria dizer que o disco escreveu exatamente o que lhe deram. Nunca é 1,0, porque a flash não consegue sobrescrever no lugar: o disco programa uma página nova, marca a antiga como obsoleta, e mais tarde a recolha de lixo realoca as páginas sobreviventes para que um bloco inteiro possa ser apagado. Essas realocações também são escritas.\nO 512e acrescenta uma camada evitável por cima disso, e a razão é um pormenor que vale a pena dizer com clareza: a camada de tradução do disco mapeia em unidades de cerca de 4 KB, seja qual for o tamanho de bloco lógico que anuncia. Um disco que reporta blocos de 512 bytes continua a gerir unidades de 4 KB internamente.\nAssim, uma escrita de 512 bytes vinda do host torna-se, dentro do disco: ler a unidade de mapeamento de 4 KB, juntar-lhe os 512 bytes, programar uma nova unidade de 4 KB. Chegam 4096 bytes à NAND para que 512 bytes pudessem mudar. Oito vezes a escrita, para essa escrita.\nO desalinhamento é menos dramático por escrita e pior no total. Uma escrita de 4 KB que atravessa duas unidades de mapeamento suja as duas, por isso são programados 8 KB para 4 KB de dados. Isso é uma amplificação de 2× em cada escrita, permanentemente, até a tabela de partições ser corrigida.\nPorque é que uma escrita desalinhada duplica o que chega à NAND a ler de cima para baixo: o que o host escreveu → as unidades de mapeamento de 4 KB → o que chegou à NAND 512e — escrita de 4 KB, desalinhada 4 KB do host unidade n unidade n+1 4 KB reescritos 4 KB reescritos 8 KB escritos para 4 KB — WAF 2× em cada escrita, até corrigir a tabela de partições 4Kn — escrita de 4 KB, alinhada 4 KB do host unidade n 4 KB escritos 4 KB para 4 KB — WAF ≈ 1× o mínimo, antes da recolha de lixo Nenhum dos lados escapa à recolha de lixo: o disco continua a ter de realocar o que estiver vivo num bloco antes de o poder apagar, e esse trabalho cresce com a quantidade que foi escrita à partida. O 4Kn não faz desaparecer a amplificação — elimina a parte que estavas a pagar por nada. O host pediu os mesmos 4 KB nos dois casos. À esquerda, caem em duas unidades de mapeamento, por isso ambas são reescritas — e a recolha de lixo vai mais tarde mover o que ainda estiver vivo nelas. Os efeitos em cadeia são o que faz isto importar, em vez de ser só desarrumado:\nMais escritas na NAND quer dizer que a recolha de lixo corre mais vezes, e as suas realocações são elas próprias amplificação. Uma cache de escrita SLC enche mais cedo, por isso o disco cai mais cedo para o seu regime estável mais lento e o débito de escrita sustentado desce. Os ciclos de programação/apagamento são consumidos em proporção ao que chegou à NAND, não ao que o host enviou. Duplica a amplificação e reduziste para metade a vida do disco para a mesma carga. As classificações de resistência — TBW, DWPD — são dadas em relação às escritas do host. A amplificação come essa margem em silêncio, e o disco desgasta-se antes das contas da garantia que fizeste quando o compraste. As escritas diretas e síncronas são o pior caso Na maior parte do tempo, a page cache esconde tudo isto. O kernel acumula escritas pequenas, junta-as e envia IO de 4 KB ou maior para o disco, por isso o read-modify-write nunca acontece.\nDuas flags retiram essa proteção, e as aplicações que se preocupam com durabilidade ativam as duas.\nO O_DIRECT contorna a page cache. Já não há nada entre a aplicação e o disco para juntar uma escrita de 512 bytes em algo do tamanho de um setor.\nO O_SYNC ou o O_DSYNC exige que a escrita esteja em suporte estável antes de a chamada voltar. Isso impede o disco de absorver a escrita num buffer volátil e de a combinar mais tarde com as vizinhas.\nJunta as duas e cada escrita de 512 bytes é um ciclo completo de read-modify-write que tem de acabar agora, sozinho, sem nada contra o qual se amortizar. É aí que a amplificação num disco 512e se aproxima dos seus 8× teóricos, e é exatamente o padrão que produzem o registo de commits de uma base de dados, um ZIL do ZFS ou um WAL do BlueStore do Ceph.\nA proteção contra falhas de energia é o que salva isto em hardware empresarial. Um disco com PLP pode confirmar uma escrita síncrona assim que ela está num buffer DRAM suportado por condensadores, que é durável, e continuar a juntar internamente antes de programar a NAND. Um disco de consumo sem PLP tem de chegar à flash antes de poder responder, por isso paga o custo completo por escrita. Mais uma razão para o PLP não ser opcional neste tipo de carga.\nNo Proxmox, é o modo de cache que decide qual destes tens:\ncache=none é O_DIRECT — o padrão do PVE, e a escolha certa para HA all-flash. A page cache do host fica fora do caminho, por isso os padrões de escrita do convidado chegam ao disco tal como o convidado os emitiu. cache=directsync é O_DIRECT mais O_DSYNC — todas as escritas síncronas. É uma definição de nicho para discos dedicados a registos de bases de dados e inutilizável para cargas gerais. Num dispositivo de suporte 512e, cache=directsync com um convidado a fazer commits em registos de 512 bytes é praticamente a disposição menos eficiente que existe: sem agregação no host, sem agregação no disco, e um read-modify-write por commit.\nE aqui está a parte que torna o 4Kn estrutural em vez de apenas preferível. O O_DIRECT exige que o deslocamento, o comprimento e o buffer estejam alinhados ao tamanho de bloco lógico do disco. Num disco 512e isso são 512 bytes, por isso uma escrita direta de 512 bytes é legal e o disco paga-a em silêncio. No 4Kn o bloco lógico é 4096, por isso a escrita direta mais pequena que o kernel aceita é de 4 KB. O padrão patológico deixa de ser algo que tens de evitar e passa a ser algo que a pilha não consegue exprimir.\nOverhead no suporte físico O segundo custo é estrutural, e é a razão de o Advanced Format sequer existir.\nUm setor não é só os seus dados. Num disco rígido, cada um leva uma marca de sincronização para a cabeça saber onde o setor começa, um intervalo para que setores consecutivos não se atropelem, um marcador de endereço e um campo ECC para corrigir erros de leitura.\nCom setores de 512 bytes pagas tudo isso oito vezes por cada 4K de dados. Com um setor de 4K pagas uma vez.\nIsso tem duas consequências, e a segunda importa mais do que a primeira:\nParte do prato que era overhead passa a ser capacidade utilizável. Foi esta a motivação declarada da indústria durante a transição para o Advanced Format, na ordem de poucas unidades percentuais. O campo ECC pode ser muito maior para o mesmo overhead total. Um código forte a proteger 4096 bytes corrige muito mais do que oito códigos fracos a proteger 512 bytes cada. À medida que a densidade de gravação subiu, isso deixou de ser um extra e passou a ser a única forma de manter as taxas de erro aceitáveis. O overhead por setor paga-se oito vezes a 512 bytes e uma vez a 4K setores de 512 bytes — os mesmos 4 KB de dados 8 setores × (sync + dados + ECC + intervalo) 8 × o overhead por setor, e oito campos ECC pequenos Um setor de 4096 bytes — os mesmos dados 1 × o overhead, e um campo ECC muito maior sincronização · endereço · intervalo ECC os teus dados Fora de escala — os campos de overhead estão exagerados para se verem sequer. A capacidade recuperada valia poucas unidades percentuais. O ECC mais forte é a razão por que a indústria mudou de facto. Oito conjuntos de marcas de sincronização, intervalos e ECC, ou um. O espaço recuperado é o ganho pequeno; a correção de erros mais forte é a razão por que a indústria mudou. A flash não tem marcas de sincronização nem intervalos de rotação, mas a mesma lógica aplica-se um nível acima: a NAND é programada em páginas, as páginas são muito maiores do que 512 bytes, e as tabelas de mapeamento do disco têm uma entrada por unidade endereçável. Blocos lógicos mais pequenos querem dizer mais metadados para gerir a mesma capacidade.\nOverhead no host: comandos e interrupções O terceiro custo é o que as pessoas não veem, porque nem sequer está no disco.\nO tamanho de bloco lógico define o mínimo do tamanho de um IO. Num disco com blocos lógicos de 512 bytes, um sistema de ficheiros ou uma aplicação pode emitir uma escrita de 512 bytes, e cada uma é um IO completo: um comando construído e submetido, uma escrita no doorbell, uma entrada na fila de conclusão e uma interrupção a dizer que acabou.\nCada um destes tem um custo fixo que não quer saber de quantos dados estavam envolvidos. Move 4 KB como oito comandos de 512 bytes e pagas esse custo oito vezes. Move-os como um comando de 4K e pagas uma vez.\nO tamanho de bloco lógico define o mínimo do IO, e cada comando tem um custo fixo blocos lógicos de 512 B — uma aplicação pode emitir escritas de 512 B 4 KB de dados tornam-se 8 comandos 512 B512 B 512 B512 B 512 B512 B 512 B512 B 8 × submissão + doorbell 8 × entrada de conclusão 8 × oportunidade de interrupção 8 × o custo fixo por comando para exatamente os mesmos 4 KB de dados blocos lógicos de 4 KB — 4 KB é o mínimo um comando de 4 KB 1 × submissão, 1 × conclusão, 1 × interrupção 1 × o custo fixo Isto só ajuda onde se emite mesmo IO pequeno: um comando pode descrever muitos blocos, por isso uma escrita de 1 MB é um comando de qualquer forma. Os mesmos 4 KB de dados. O disco não é o gargalo aqui — o custo por comando e por conclusão no host é que é. Duas ressalvas honestas, porque é aqui que o argumento costuma ser exagerado.\nPara IO grande, o tamanho de bloco lógico não muda nada no número de comandos. Um único comando pode descrever muitos blocos, por isso uma escrita sequencial de 1 MB é um comando, sejam os blocos de 512 bytes ou de 4K. A poupança só é real onde se está a emitir IO pequeno.\nMas onde se está a emitir IO pequeno, o efeito não é subtil: cada um desses oito pedidos é um que o kernel tem de construir, agendar e concluir, cada um com a sua própria interrupção MSI-X e transição de utilizador para kernel, e com filas profundas é assim que se chega a uma tempestade de interrupções. Dentro de uma VM é pior ainda, porque cada uma dessas interrupções é também uma mudança de contexto do convidado.\nE os controladores NVMe modernos agregam interrupções, por isso o número de interrupções não é simplesmente o número de comandos. O trabalho de submissão e conclusão por comando mantém-se, no entanto, e a algumas centenas de milhares de IOPS o custo de CPU por comando é uma fração mensurável de um núcleo. É a mesma aritmética das posted interrupts na série sobre passthrough — custos fixos pequenos multiplicados por um número muito grande.\n4Kn, metadados de setor e RAID por hardware Passar para um formato 4096 + 0 tem uma consequência que apanha as pessoas desprevenidas, e cai em cheio no RAID por hardware.\nAlguns controladores RAID e storage arrays não usam setores simples de 512 ou 4096 bytes. Formatam os discos com um tamanho estendido — 520 ou 528 bytes, ou os equivalentes 4K como 4104, 4160 e 4224 — porque esses bytes extra por setor são onde o controlador guarda os seus próprios metadados. Isso é informação de proteção T10-PI/DIF, ou dados de integridade do fabricante, guardados em linha com os próprios dados que descrevem.\nUm formato 4096 + 0 não tem onde os pôr. O setor é dados, de ponta a ponta, e é esse o objetivo de o escolher.\nAssim, um controlador que quer metadados em linha tem três opções, e nenhuma é de borla:\nRecusar o disco. Reformatá-lo de volta para um formato estendido, desfazendo o trabalho 4Kn que acabaste de fazer. Guardar os seus metadados noutro sítio do disco. A terceira é onde a flash te castiga. Metadados escritos separadamente dos dados que descrevem são uma segunda escrita, noutro deslocamento, a cair noutra unidade de mapeamento. Mais uma página NAND programada por cada uma que querias de facto escrever. É a amplificação da secção acima, reintroduzida de propósito, para transportar metadados de integridade que o disco podia ter guardado em linha de borla se o tivesses deixado num formato estendido.\nNão podes ter as duas coisas. Ou o setor leva os metadados do controlador, ou leva só os teus dados.\nE é por isso que a flash minou bastante a defesa do RAID por hardware O resto disto é opinião e não mecanismo, por isso toma-o como tal.\nUm controlador RAID por hardware é RAID em firmware a correr num processador dedicado. O «hardware» é um CPU, alguma DRAM e uma bateria. Não é uma forma fundamentalmente diferente de calcular paridade. O que historicamente te comprava era uma cache de escrita com bateria e a descarga do cálculo de paridade, e em flash ambos os argumentos enfraqueceram muito. O NVMe empresarial já tem uma cache própria protegida contra falhas de energia, e o controlador torna-se um teto de largura de banda à frente de dispositivos que conseguem, cada um, saturar vários gigabytes por segundo.\nTambém te custa coisas que agora queres ativamente:\nO estado do dispositivo desaparece. O detalhe SMART, os indicadores de desgaste e os registos do fabricante que te deixam calcular a amplificação de escrita ficam todos atrás de uma abstração opaca. Sem checksums de ponta a ponta. Um controlador verifica a paridade, que deteta um disco em falta, não uma resposta errada de um que está presente. O ZFS e o Ceph fazem checksum dos próprios dados e conseguem dizer-te qual cópia está errada — corrupção silenciosa que um controlador deixa passar direitinha. Como tal, o controlador está a resolver o problema errado. Os metadados do fabricante nos discos prendem o array a uma família de controladores, o que é uma forma própria de pouca fiabilidade quando o que falha é o controlador. O RAID com paridade faz o seu próprio read-modify-write nas escritas de faixa parcial, empilhado por cima de tudo o que está nas secções acima. Para o Ceph isto nem sequer é uma preferência. A orientação do próprio Proxmox para hiperconvergência é que os discos têm de ser apresentados em modo HBA ou pass-through, não atrás de um controlador RAID, e o ZFS quer exatamente o mesmo pelas mesmas razões.\nPortanto, a disposição que decorre de tudo isto é: um HBA em vez de um controlador RAID, discos formatados em 4Kn com zero metadados, e redundância mais checksums feitos pelo ZFS ou pelo Ceph, que conseguem de facto dizer-te quando um disco mentiu. Se alguma coisa no teu parque precisar mesmo de um formato de setor estendido, isso é uma escolha deliberada a resolver enquanto os discos ainda estão vazios. Não algo a descobrir depois de os OSD estarem construídos.\nOnde o 512e morde de facto Seria desonesto dizer que o 512e arruína um sistema moderno, porque normalmente não arruína.\nUma pilha Linux atual lê o tamanho do setor físico, alinha as partições a ele — o parted e o sfdisk já fazem isso por omissão — e usa blocos de 4K no sistema de ficheiros. Nessa configuração o host emite IO de 4K alinhado a 4K, o disco nunca precisa de um read-modify-write, e o 512e não te custa praticamente nada.\nOs problemas são concretos:\nPartições desalinhadas, normalmente herdadas de uma instalação antiga ou de uma imagem clonada. Dois read-modify-writes em cada escrita. ZFS com ashift=9 num disco 512e, porque o ZFS acreditou nos 512 reportados. Cada escrita de registo torna-se um read-modify-write, e não podes mudar o ashift depois do facto — a pool tem de ser reconstruída. Aplicações que escrevem registos de 512 bytes com O_DIRECT, contornando a agregação da page cache. Algumas bases de dados e muito software feito por medida fazem isto. Tudo o que confia que o tamanho lógico é o real. Esse é o verdadeiro mal da emulação: distribui um número que está errado, e as coisas a jusante tomam decisões com ele. O 4Kn elimina a categoria inteira. O disco não pode mentir sobre um tamanho de setor que não tem.\nVale a pena ser franco quanto ao tamanho do prémio, no entanto. A orientação da própria Seagate é que o 4Kn vale claramente a pena quando a pilha está totalmente otimizada para 4K e estás a contar cada IOPS — uma camada all-flash afinada, por exemplo. Abaixo disso, num Linux moderno corretamente alinhado, a diferença de desempenho para IO alinhado é muitas vezes pequena. O outro argumento é a consistência da frota: um parque uniformemente 4Kn não tem surpresas de formatos misturados, e ninguém tem de se lembrar de quais discos mentem.\nA maioria dos discos pode ser convertida — se o fabricante deixar Esta é a parte que passa despercebida: o 512e é muitas vezes uma definição de formato, não uma propriedade do hardware. Muitíssimos discos SAS e SATA empresariais, e a maior parte do NVMe empresarial, saem de fábrica a reportar 512 bytes e reformatam para 4Kn sem problemas.\nTudo o que se segue destrói todos os bytes do dispositivo. Não há conversão no lugar.\nNVMe — nvme-cli Vê primeiro o que o namespace suporta:\n# Lists each LBA format and marks which one is in use nvme id-ns -H /dev/nvme0n1 | grep -i \u0026#34;lbaf\\|data size\u0026#34; Queres um formato com Data Size 4096 e Metadata Size 0, marcado como best e que não esteja em uso. Depois aplica-o:\n# -l/--lbaf selects the LBA format index from the list above nvme format /dev/nvme0n1 --lbaf=1 --force O tamanho dos metadados importa tanto como o tamanho dos dados. Alguns formatos de fábrica reservam bytes extra por setor — 520, ou 4160 — para transportar metadados de proteção T10-PI/DIF de ponta a ponta. Se nada na tua pilha os consome, é enchimento em cada setor, por isso escolhe o formato com zero metadados e livra-te disso. Escolher por engano um formato com metadados também te dá um disco que se comporta de forma diferente daquele que querias criar, e combinar uma mudança de tamanho de setor com uma mudança de PI pode forçar uma formatação completa lenta em vez de uma rápida.\nPara os discos de um host inteiro, faz um ciclo. Isto precisa de shopt -s extglob para os globs estendidos, e só seleciona formatos que sejam 4096/0 e não estejam em uso:\nshopt -s extglob for dev in /dev/nvme+([0-9])n+([0-9]); do # Skip anything that is not actually there [ -e \u0026#34;$dev\u0026#34; ] || continue # An LBA format with 4096-byte data, 0-byte metadata, marked Best, not in use lbaf=$(nvme id-ns -H \u0026#34;$dev\u0026#34; \\ | grep -P \u0026#39;(?=.*Metadata Size: 0)(?=.*Data Size: 4096)(?=.*Best)(?!.*in use)\u0026#39; \\ | awk \u0026#39;{found=$3} END {print (found != \u0026#34;\u0026#34; ? found : -1)}\u0026#39;) if [ \u0026#34;$lbaf\u0026#34; != \u0026#34;-1\u0026#34; ]; then echo \u0026#34;Formatting $dev using LBA Format: $lbaf\u0026#34; nvme format --force --lbaf=\u0026#34;$lbaf\u0026#34; \u0026#34;$dev\u0026#34; else echo \u0026#34;Skipping $dev: no matching LBA format found.\u0026#34; fi done Há duas coisas ali que fazem mais trabalho do que parece.\nO glob apanha namespaces — nvme0n1, nvme12n3 — e deliberadamente não apanha partições como nvme0n1p1, porque o padrão acaba depois dos dígitos a seguir ao n. Essa é a diferença entre reformatar um namespace e fazer algo irrecuperável a um sistema em funcionamento.\nE a seleção só converte um disco que ofereça de facto o que pediste. Tudo o resto cai para -1 e é saltado, o que cobre três casos distintos:\nO disco só oferece 512. Não existe formato de 4096 bytes, por isso não há nada para onde converter e o ciclo deixa-o em paz. Não tenta, e não falha a meio. O disco já é 4Kn. O formato 4096/0 é o que está em uso, e o (?!.*in use) exclui-o — por isso uma segunda passagem pelo mesmo host não faz nada. Nenhuma reformatação desnecessária de todos os discos. Os únicos formatos de 4096 levam metadados. Um formato 4096 + 8 não satisfaz Metadata Size: 0, por isso o ciclo não te entrega discretamente um disco T10-PI que não pediste. Por outras palavras, falha fechado. Quando não tem a certeza, salta.\nUma nota de portabilidade: esses lookaheads precisam do modo -P (PCRE) do grep da GNU. Num sistema em que o grep seja outra coisa, o padrão não apanha nada e todos os discos são saltados. Irritante, mas pelo menos erra para o lado seguro.\nLê o ciclo antes de o correres, mesmo assim. Onde apanha, reformata sem mais perguntas. O nvme format --force não pergunta duas vezes. Pertence ao aprovisionamento, numa máquina cujos discos não têm nada, nunca num host com um OSD, uma pool ou um disco de VM ativo.\nNo FreeBSD o equivalente é o nvmecontrol, onde -f é o índice do formato:\nnvmecontrol format -f 1 nvme0ns1 SAS e SATA — openSeaChest O openSeaChest da Seagate é multiplataforma, open source, e funciona também em discos de outros fabricantes.\n# Find the handle openSeaChest_Format --scan # Ask the drive which sector sizes it will accept openSeaChest_Format -d /dev/sg1 --showSupportedFormats # Convert. The confirmation string is deliberately hard to type by accident. openSeaChest_Format -d /dev/sg1 --setSectorSize 4096 \\ --confirm this-will-erase-data-and-may-render-the-drive-inoperable Essa frase de confirmação não sou eu a ser dramático. É a string literal que a ferramenta exige, e a parte «may render the drive inoperable» é real. Uma formatação de baixo nível interrompida por um corte de energia pode deixar um disco a precisar de outra formatação antes de voltar sequer a funcionar.\nPor baixo, a operação difere conforme o transporte: SAS e SCSI usam Format Unit, SATA usa Set Sector Configuration Ext — o caminho de formatação rápida — e NVMe usa NVM Format. Num disco SAS podes chamar o Format Unit diretamente, e nota que esta opção leva a string de confirmação mais curta:\nopenSeaChest_Format -d /dev/sg1 --formatUnit 4096 --poll \\ --confirm this-will-erase-data Duas opções diferentes, duas strings de confirmação diferentes — troca-as e a ferramenta recusa.\nOnde o disco suporta formatação rápida, o tamanho de setor muda em segundos em vez de horas; o disco faz depois o seu trabalho de integridade e em segundo plano, e escrever os teus dados reais nele reduz esse tempo em segundo plano. Uma formatação completa escreve zeros de ponta a ponta e pode levar muitas horas, até dias, num disco rotativo grande.\nopenSeaChest_Format -d /dev/sg1 --setSectorSize 4096 --fastFormat \\ --confirm this-will-erase-data-and-may-render-the-drive-inoperable SCSI — sg_format Para tudo o que fale SCSI, o sg3_utils faz o mesmo trabalho:\n# --size requires --format; expect hours on a large spinning disk sg_format --format --size=4096 /dev/sdb # Fast format where the drive supports it — seconds instead of hours sg_format --format --size=4096 --ffmt=1 /dev/sdb O sg_format dá-te uma contagem decrescente de 15 segundos antes de avançar, que o --quick salta. A sua documentação também avisa de uma falha concreta que vale a pena conhecer: se a mudança de tamanho de bloco tiver sucesso mas a formatação depois falhar, o disco pode ficar num estado «format corrupt» e precisa de outra formatação para recuperar.\nAntes de converteres seja o que for Verifica o caminho de arranque. Um disco 4Kn como dispositivo de arranque precisa de UEFI e de um SO que o suporte. O Linux moderno não tem problema. O Windows mais antigo tem, e alguns controladores RAID por hardware ainda recusam o 4Kn por completo. Fá-lo antes de o disco ter alguma coisa. Fazê-lo depois quer dizer evacuar, converter, restaurar. Faz um, depois verifica. Converte um único disco, confirma os tamanhos reportados, depois faz os restantes. Conta com horas num disco rotativo sem formatação rápida. Não comeces uma formatação de baixo nível numa máquina de que precisas de volta em breve. Verificar o que tens # LOG-SEC is what the host addresses, PHY-SEC is what the medium uses lsblk -o NAME,MODEL,SIZE,LOG-SEC,PHY-SEC # The same, from sysfs cat /sys/block/sda/queue/logical_block_size cat /sys/block/sda/queue/physical_block_size # SMART states both, and this is the clearest 512e signature there is smartctl -a /dev/sda | grep -i \u0026#34;sector size\u0026#34; 512 bytes logical, 4096 bytes physical é um disco 512e. Números iguais querem dizer nativo — 512n se ambos forem 512, 4Kn se ambos forem 4096.\nE verifica se as partições estão mesmo alinhadas:\nparted /dev/sda align-check optimal 1 ZFS, Ceph e discos virtuais ZFS — define ashift=12 explicitamente ao criar uma pool, e não confies no tamanho reportado pelo disco, porque no 512e ele vai dizer-te 9 e estar errado. Não pode ser mudado depois.\nCeph — o tamanho mínimo de alocação do BlueStore deve ser 4 KB em flash. O Ceph moderno usa 4096 por omissão, mas versões mais antigas usavam valores mais altos — cerca de 16 KB em SSD e 64 KB em HDD — e isso serve mal os discos de VM em RBD, porque emitem muitas escritas aleatórias pequenas de 4 KB, e uma escrita de 4 KB a cair numa unidade de alocação de 16 ou 64 KB amplifica a escrita e desperdiça o resto em enchimento. É fixado quando o OSD é criado, por isso tem de ser definido antes de criar ou reconstruir:\nceph config set global bluestore_min_alloc_size_ssd 4096 # new or rebuilt OSDs only Há um bluestore_min_alloc_size_hdd correspondente. Os OSD existentes mantêm aquilo com que foram construídos, por isso mudá-lo quer dizer reconstruí-los.\nDiscos virtuais — um convidado vê o que o hipervisor lhe apresenta, não o disco por baixo, por isso um disco 4Kn debaixo de uma VM continua a entregar ao convidado blocos de 512 bytes, a não ser que digas o contrário. Manter a pilha em 4K de ponta a ponta quer dizer dizer ao QEMU para apresentar 4K, o que no Proxmox é uma linha de argumentos em bruto em /etc/pve/qemu-server/\u0026lt;vmid\u0026gt;.conf:\nargs: -global scsi-hd.physical_block_size=4k -global scsi-hd.logical_block_size=4096 Essa linha é o que obriga de facto o QEMU a 4Kn para esses discos — o -global aplica-a a todos os dispositivos scsi-hd da VM, por isso é dito ao convidado 4096 tanto para o tamanho de bloco lógico como para o físico, e ele particiona e alinha em conformidade.\nNão ponhas a string toda entre aspas. O Proxmox interpreta o args: com Text::ParseWords::shellwords, por isso isto:\nargs: \u0026#34;-global scsi-hd.physical_block_size=4k -global scsi-hd.logical_block_size=4096\u0026#34; colapsa num único argumento — as aspas são respeitadas e retiradas, e o QEMU recebe uma opção comprida e impossível de interpretar em vez de quatro. Sem aspas, a mesma linha divide-se em -global, scsi-hd.physical_block_size=4k, -global, scsi-hd.logical_block_size=4096, que é o que queres. É um erro fácil de cometer porque pôr aspas é o instinto certo numa linha de comandos, e a falha — uma VM que não arranca, a queixar-se da opção — não aponta de volta para as aspas.\nFaz isto antes de instalar o SO do convidado. Mudar o tamanho de bloco de um disco debaixo de um sistema já instalado pode deixá-lo sem arrancar, porque o esquema de partições e o bootloader foram escritos para setores de 512 bytes. Nota também que o args: é uma saída de emergência para especialistas fora da gestão da GUI, e a interação com a migração em direto e os snapshots merece ser verificada de novo contra a documentação atual do Proxmox.\nQuando o convidado diz 512 e o host diz 4K Este é o caso que vale a pena perceber bem, porque é o que tens por omissão depois de fazeres todo o trabalho acima.\nO QEMU apresenta blocos lógicos de 512 bytes ao convidado, a não ser que lhe digam o contrário, seja qual for o dispositivo de suporte. Por isso podes converter todos os discos do host para 4Kn, e as VM por cima continuam a ouvir 512 — e vão acreditar.\nO convidado particiona então em fronteiras de 512 bytes porque pode, e emite IO de 512 bytes porque pode. Mas o dispositivo do host tem agora genuinamente um bloco lógico de 4096 bytes, e não aceita uma escrita de 512 bytes. Alguma coisa tem de conciliar as duas, e essa coisa é o host: o QEMU lê os 4 KB à volta, junta-lhes os 512 bytes do convidado e escreve tudo de volta.\nNão eliminaste a emulação. Mudaste-a do firmware do disco para o teu hipervisor, onde custa CPU do host e um buffer intermédio em vez de ciclos do disco.\nCom cache=none, isto também não é uma penalização ligeira. O O_DIRECT contra um dispositivo 4Kn exige deslocamentos e comprimentos alinhados a 4 KB, por isso uma escrita do convidado abaixo de 4K não pode simplesmente passar — o alinhamento tem de ser corrigido no QEMU antes de o IO sequer ser emitido.\nE o caso do desalinhamento volta uma camada acima. Um convidado particionado com granularidade de 512 bytes põe as escritas de 4 KB do seu sistema de ficheiros em deslocamentos que atravessam dois blocos de 4 KB do host, por isso cada uma torna-se dois read-modify-writes no host. A mesma falha de uma partição desalinhada num disco 512e sem nada por cima, só que agora está a acontecer dentro de uma VM onde ninguém a procura.\nPortanto a regra é: se o host é 4Kn, apresenta 4K também ao convidado, e fá-lo antes de o SO ser instalado.\nA exceção é o suporte do convidado, que é a razão toda de o 512e existir:\nOs convidados Linux lidam com 4Kn sem drama. O Windows suporta 4Kn para volumes de dados a partir do Windows 8 e do Server 2012, e arrancar de 4Kn pede UEFI. Tudo o que for mais antigo — Windows 7 e anteriores — não consegue fazer 4Kn de todo. Para esses, um disco virtual a apresentar 512 é o preço de os correr, e o host faz a conciliação. Se isso importar, mantém esses convidados em armazenamento onde te custe menos, e não na tua camada mais rápida. Verifica com o que o convidado ficou de facto, a partir de dentro do convidado:\nlsblk -o NAME,LOG-SEC,PHY-SEC Um 512 aí num host 4Kn quer dizer que a conciliação acima está a acontecer em cada escrita desalinhada.\nReferências OpenZFS — Workload Tuning — o ashift, porque é que 2^ashift é o IO mais pequeno possível num vdev, e a observação de que «many devices misreport their sector sizes» Página man do nvme-format — --lbaf, --namespace-id, --ses e --force Página man do sg_format — --size com --format, a opção de formatação rápida e o aviso de format-corrupt openSeaChest — os utilitários de disco open source da Seagate, incluindo --setSectorSize e --showSupportedFormats Wiki do openSeaChest — Format, Fast Format, And Sector Sizes — que transporte usa que comando, e quando se aplica a formatação rápida nvmecontrol(8) — o equivalente no FreeBSD Documentação da camada de blocos do Linux — como o kernel modela os tamanhos de bloco lógico e físico ","permalink":"https://blogs.damiendye.uk/pt/proxmox/block-sizes-4kn-512e/","summary":"Os discos 512e apresentam setores de 512 bytes que não têm, e o firmware compensa a diferença em cada escrita desalinhada. O que isso custa no suporte físico, no host e em amplificação de escrita — porque é que as escritas diretas síncronas são o pior caso — e como converter uma frota para 4Kn.","title":"4Kn, 512e e 512n — Porque é que o 4K nativo ganha, e quanto custa a emulação"},{"content":"O que é um BAR, e porque é que as GPU o ultrapassaram Cada dispositivo PCIe expõe um ou mais Base Address Registers. Um BAR diz ao sistema quanto espaço de endereços o dispositivo quer, e o firmware mapeia-o no mapa de memória do host. Depois de mapeado, o CPU chega à memória do dispositivo com leituras e escritas normais.\nO tamanho de um BAR era fixado no silício. O firmware lia-o no arranque e a conversa acabava ali.\nIsso funcionava enquanto os BAR eram pequenos. Uma placa de rede quer umas dezenas de kilobytes para os seus registos. Um controlador NVMe quer de 16KB a 64KB.\nAs placas gráficas acabaram com esse arranjo. Uma placa moderna tem 8, 12, 16 ou 24GB de memória de vídeo, e o óbvio é mapeá-la toda para o CPU poder escrever em qualquer ponto dela. Os BAR fixos não conseguiam exprimir isso, por isso a convenção passou a ser uma janela pequena, normalmente de 256MB, que o driver vai reapontando sobre o framebuffer, copiando por ela aos bocados. Funciona. É só uma quantidade disparatada de contabilidade para chegar a memória que já compraste e instalaste.\nUma abertura fixa mostra uma fatia de cada vez; o Resizable BAR mapeia tudo BAR fixo: uma janela de 256 MB 24 GB de VRAM, desenhados em fatias a janela O driver reaponta a janela e copia através dela, uma fatia de cada vez. Fatias ilustrativas, sem escala. Resizable BAR: tudo os mesmos 24 GB, mapeados de uma vez um BAR cobre tudo O CPU escreve onde quer. Não há janela para mover. A abertura de 256MB é menos um limite de largura de banda do que um imposto de contabilidade: o driver passa o tempo a mover a janela em vez de mover dados. O que o Resizable BAR muda O Resizable BAR é uma capacidade PCIe que deixa negociar o tamanho de um BAR em vez de o fixar. O dispositivo anuncia os tamanhos que suporta, e o firmware ou o sistema operativo programa um deles.\nNuma GPU isso quer dizer que o framebuffer inteiro pode ser mapeado de uma vez. O driver deixa de paginar através de uma janela e escreve onde quer escrever. O kernel reporta a capacidade como Physical Resizable BAR, e ela não depende do fabricante. Uma placa AMD funciona com ela numa plataforma Intel e vice-versa.\nO que os três fabricantes fazem de facto A parte interessante é que os fabricantes não concordam sobre a importância disto.\nTrês fabricantes, uma capacidade, três posturas diferentes Intel Arc / Arc Pro OBRIGATÓRIO «Required to get a good experience with Arc» Desligado, os picos de frametime que já lá estavam aumentam. Plataformas: Core de 10.ª ger. e posteriores, quase todos os Ryzen 3000, todos os Ryzen 5000. NVIDIA PERFIL POR JOGO Da série RTX 30 em diante, março de 2021 «A few percent, up to 12%»: e alguns jogos ficam mais lentos, por isso o driver só o ativa onde testou mais rápido. Exigia atualizar VBIOS + SBIOS. AMD Radeon SMART ACCESS MEMORY A mesma capacidade, vendida com nome de marca Lançada com a RX 6000 e o Ryzen 5000 como funcionalidade em par, mas a capacidade é PCIe normal e funciona entre fabricantes. Mais irregular em Vega e Polaris. A capacidade é idêntica nos três casos: muda se o fabricante a trata como pré-requisito, uma otimização a aplicar com critério, ou uma funcionalidade de produto. A mesma capacidade, três posturas diferentes. A Intel trata-a como pré-requisito; a NVIDIA só a entrega ligada nos jogos que testou; a AMD vende-a como funcionalidade. Intel Arc e Arc Pro: a Intel diz que é obrigatório A Intel é a enfática. As orientações dela dizem que o Resizable BAR é «required to get a good experience with Intel® Arc™ hardware». É uma linguagem invulgarmente forte para uma funcionalidade de plataforma, e mostra como o driver do Arc está construído, mais do que uma escolha de marketing.\nDo lado dos sintomas, a Intel descreve o efeito de o desligar em termos de consistência e não de médias: com «ReBAR off» o resultado «will generally result in spikes that were already there getting bigger». É um argumento de estabilidade do frametime, e é o mesmo tipo de problema que o efeito do ASPM nas caudas de latência. A média esconde-o.\nA Intel lista os processadores Intel Core de 10.ª geração e mais recentes, a maioria da série Ryzen 3000 e todos os CPU Ryzen 5000 como plataformas suportadas, e trata-o como uma funcionalidade da BIOS da motherboard que tens de ir lá ativar.\nA consequência prática para o Arc e o Arc Pro é simples. Se puseste uma placa Arc numa máquina e o desempenho desilude ou é irregular, verifica isto antes de verificares qualquer outra coisa. Como tal, nessas placas não é tanto um botão de afinação como um pré-requisito.\nNVIDIA: da Ampere em diante, e só onde ajuda A NVIDIA acrescentou suporte nas placas e portáteis GeForce RTX 30 Series em março de 2021. Pô-lo a funcionar exigia uma VBIOS suportada, um CPU e uma motherboard compatíveis, uma atualização do firmware da motherboard e um driver atual. A RTX 3060 saiu com ele; a 3060 Ti, a 3070, a 3080 e a 3090 podiam precisar de uma atualização de firmware para o ter.\nA forma como a própria NVIDIA apresenta o desempenho é refrescantemente pouco glamorosa. Concluiu que «some titles benefit from a few percent, up to 12%» enquanto «there are also titles that see a decrease in performance».\nA resposta a isso é o pormenor que vale a pena saber: em vez de o deixar ligado em todo o lado, a NVIDIA testa os jogos de antemão e usa perfis por jogo para ativar o Resizable BAR só onde mediu um ganho. Por isso, numa placa NVIDIA, «o ReBAR está ligado?» tem uma resposta por aplicação, e um benchmark que não mostra nada pode ser simplesmente um jogo que o driver decidiu deixar em paz.\nAMD: o Smart Access Memory é a mesma coisa A marca da AMD para isto é Smart Access Memory, lançada com a série Radeon RX 6000 e os CPU Ryzen 5000. O marketing dá a entender um par CPU AMD mais GPU AMD, e foi assim que foi lançado, mas a capacidade por baixo é a PCIe normal. Ativa o Resizable BAR no firmware com uma placa Radeon numa máquina Intel e tens a mesma funcionalidade sem a marca.\nAs placas Radeon Pro série W também o suportam. Nas arquiteturas mais antigas, Vega e Polaris, o suporte é mais irregular, e é também aí que vivem os problemas de virtualização.\nResizable BAR e trabalho de IA É aqui que a funcionalidade é mal compreendida, por isso vale a pena ser claro sobre aquilo em que toca.\nO Resizable BAR muda a forma como o CPU chega à memória da GPU. Esse é o caminho de transferência: preparar os pesos do modelo, enviar lotes, ler os resultados de volta. Não mexe na largura de banda da memória da própria GPU, e não torna uma multiplicação de matrizes mais rápida.\nPor isso, o resumo honesto é que afeta o carregamento e a alimentação de um modelo, não a aritmética. Num modelo grande, a cópia do host para o dispositivo no carregamento é um custo real, e um BAR de tamanho total deixa o CPU escrever diretamente na memória do dispositivo em vez de andar a passar tudo por uma vigia de 256MB. No regime estável de uma inferência, com os pesos já residentes e o trabalho limitado pela computação, não esperes nada.\nHá três pormenores que vale a pena saber.\nO Arc Pro para IA herda o veredicto da Intel. Se a Intel diz que a placa precisa de Resizable BAR para uma boa experiência, isso aplica-se a uma placa a correr oneAPI ou PyTorch tanto quanto a uma a correr um jogo. As placas Arc e Arc Pro a fazer inferência devem tê-lo ativado, ponto final.\nNa NVIDIA, o número que queres é o BAR1. O BAR1 é a janela visível pelo host sobre a memória do dispositivo, e é por ela que passam as alocações mapeadas no host e o GPUDirect RDMA:\n# How much device memory is actually host-visible nvidia-smi -q | grep -A3 \u0026#34;BAR1 Memory Usage\u0026#34; Uma placa de centro de dados já é construída com um BAR1 grande. Numa placa de secretária, é o Resizable BAR que torna essa janela grande em vez de minúscula. Se estás a fazer RDMA diretamente de uma NIC para a memória da GPU, isto não é um luxo.\nNão confundas isto com o requisito do ROCm. Os requisitos de sistema do ROCm da AMD pedem CPU com suporte para atómicas PCIe, «modern CPUs after the release of 1st generation AMD Zen CPU and Intel™ Haswell», e não dizem nada sobre o tamanho do BAR. São dois requisitos de plataforma diferentes que vivem no mesmo menu da BIOS, e as pessoas confundem-nos constantemente. Verifica aquele de que precisas de facto.\nO modo de falha que mais morde as máquinas de IA nem sequer é de desempenho, e é tratado mais abaixo: várias GPU com BAR grandes numa máquina podem esgotar o espaço de endereços.\nO que é preciso para funcionar Quatro coisas, todas ao nível do firmware:\nResizable BAR ativado no firmware da motherboard. Muitas vezes vem desligado. Above 4G Decoding ativado. Um BAR de 24GB não cabe abaixo da linha dos 4GB, por isso a plataforma tem de estar disposta a alocar espaço de endereços acima dela. Liga isto mesmo sem GPU instalada. Não custa nada. Arranque UEFI, com o CSM desligado. O modo de compatibilidade legado e os BAR grandes não se misturam. Firmware e drivers atuais, sobretudo nas placas da transição de 2020–2021, onde o suporte chegou por atualização e não no lançamento. Um BAR grande só cabe acima dos 4GB, e a abertura do convidado tem de chegar para o conter Onde um BAR redimensionado pode mesmo ficar RAM do sistema 0 buraco MMIO de 32 bits 4 GB MMIO de 64 bits alto GPU 0 BAR de 24 GB GPU 1: 24 GB GPU 2: 24 GB GPU 3: 24 GB Cheio, e com só 4 GB de largura no total Um BAR de 24 GB não cabe aqui. Um de 256 MB mal cabe. Utilizável só com Above 4G Decoding Uma opção do firmware. Desligada de origem em algumas placas, e sem ela um BAR grande nunca chega a ser alocado. Cada placa precisa do seu espaço aqui em cima Quatro placas de 24 GB querem 96 GB de MMIO de 64 bits, mais tudo o resto no barramento. Nem todo o firmware de placas de consumo o faz. O sinal: bem com duas placas, com quatro uma recusa inicializar, e o dmesg diz que não há espaço para o BAR. Sem escala: a região de 64 bits é muitíssimo maior do que os 4 GB abaixo dela, e é esse mesmo o ponto. O Above 4G Decoding é o que torna a região superior utilizável, e cada placa precisa do seu próprio espaço lá em cima, que é onde as máquinas de IA com várias GPU batem na parede. Como verificar em Linux Se a placa tem a capacidade, e que tamanhos oferece:\n# Substitute your card\u0026#39;s address from lspci lspci -vvs 0000:XX:00.0 | grep -A6 \u0026#34;Physical Resizable BAR\u0026#34; O kernel também expõe isto no sysfs, um ficheiro por BAR redimensionável:\ncat /sys/bus/pci/devices/0000:XX:00.0/resource1_resize Esse valor é um mapa de bits dos tamanhos suportados, não um tamanho. O bit 0 quer dizer 1MB, o bit 1 quer dizer 2MB, o bit 2 quer dizer 4MB, e o tamanho de um dado bit é 2 ^ (bit + 20). Por isso 00000000000001c0 tem os bits 6, 7 e 8 ligados, o que quer dizer que o BAR pode ter 64MB, 128MB ou 256MB.\nPara ver o que está de facto em vigor, lê as regiões atribuídas:\nlspci -vvs 0000:XX:00.0 | grep -i Region Uma placa a correr com o framebuffer inteiro mapeado mostra uma região do tamanho da sua VRAM em vez de uma de 256MB.\nRedimensionar à mão Podes escrever tu a posição do bit:\n# bit 7 -\u0026gt; 2 ^ (7 + 20) = 128MB echo 7 \u0026gt; /sys/bus/pci/devices/0000:XX:00.0/resource1_resize As condições associadas são rigorosas, e vale a pena lê-las antes de o experimentares numa máquina que te importa. Todos os drivers têm de ser desligados do dispositivo primeiro. Os dispositivos vizinhos debaixo da mesma bridge-mãe podem ter de ser removidos por software. Num dispositivo VGA, escrever um valor de redimensionamento deita abaixo os drivers de consola de baixo nível. Tudo o que tiver os ficheiros sysfs resourceN abertos tem de os largar.\nA documentação do kernel também é direta quanto ao resultado: o sucesso não é garantido. O redimensionamento falha se não houver espaço de endereços para colocar o BAR maior. O que te leva diretamente de volta ao Above 4G Decoding.\nQuando corre mal O dmesg diz que não consegue atribuir o BAR. Mensagens com o formato BAR 0: no space for [mem size ...] querem dizer que a alocação falhou, não que a placa está avariada. O Above 4G Decoding é a primeira coisa a verificar.\nVárias GPU e uma delas não inicializa. Esta é a falha das máquinas com várias GPU e de IA. Quatro placas com BAR de 24GB precisam de 96GB de espaço MMIO de 64 bits alocado, mais tudo o resto, e nem todo o firmware de motherboard de consumo o faz. O sintoma é a máquina estar bem com duas placas e cair com quatro.\nO desempenho baixou. Na NVIDIA isso pode ser a conclusão do próprio driver, já que o ativam jogo a jogo precisamente porque algumas cargas regridem. Nos outros, mede das duas maneiras em vez de presumir.\nNão mudou nada. O resultado mais provável para uma carga que nunca foi limitada pela janela do CPU sobre a VRAM.\nPassar uma GPU com BAR grande para uma VM Vale a pena assinalar porque apanha as pessoas de surpresa: um convidado não herda o mapa de memória do host. O firmware da VM constrói a sua própria abertura MMIO de 64 bits, e a predefinição do OVMF é muito mais pequena do que uma GPU moderna precisa, por isso a placa ou não inicializa ou recua para um BAR pequeno. É um tema de Proxmox e QEMU mais do que de GPU, e está no artigo sobre o imposto do IOMMU ao lado dos requisitos do tipo de máquina de Usa sempre Q35, não i440fx.\nReferências Intel — Resizable BAR and Intel Arc Graphics — a declaração da própria Intel de que é obrigatório para uma boa experiência no Arc, e a lista de plataformas suportadas NVIDIA — Resizable BAR support for GeForce RTX 30 Series — os requisitos, o intervalo medido e a abordagem de perfis por jogo AMD — Smart Access Memory — a marca da AMD e o emparelhamento de plataforma Linux kernel sysfs-bus-pci ABI — resourceN_resize — o mapa de bits, o cálculo 2 ^ (bit + 20) e as condições de desligar o driver ROCm system requirements — o requisito das atómicas PCIe que é confundido com este ","permalink":"https://blogs.damiendye.uk/pt/proxmox/pcie-resizable-bar/","summary":"O Resizable BAR deixa o CPU mapear todo o framebuffer de uma GPU em vez de o espreitar por uma janela de 256MB. A Intel diz que é obrigatório no Arc, a NVIDIA ativa-o jogo a jogo, a AMD vende-o como Smart Access Memory, e no trabalho de IA muda a transferência, não as contas.","title":"PCIe Resizable BAR e as GPU modernas: Intel Arc, NVIDIA e AMD"},{"content":"O problema Isto surgiu durante um trabalho com um cliente em que estávamos a desenhar uma implementação de Proxmox VE com passthrough de NVMe para uma carga de trabalho sensível à latência. O cliente tinha feito o seu próprio benchmarking antes da chamada. No host, o fio contra o disco NVMe reportava 700K IOPS de leitura aleatória com latência de conclusão abaixo dos 10µs. Dentro da VM, com o mesmo disco e o mesmo teste, obtinham mais ou menos metade disso.\nJá tinham verificado as coisas óbvias. O disco não tinha mudado. O firmware não tinha mudado. A ranhura PCIe não tinha saído do sítio. Começavam a perguntar-se se o passthrough era de todo a abordagem errada.\nNão era. O que estavam a ver é o imposto do IOMMU. Apanha muita gente desprevenida porque ninguém te fala dele antes de te comprometeres com um desenho baseado em passthrough. A boa notícia é que a maior parte da sobrecarga é recuperável, assim que percebes de onde vem.\nEm profundidade Os problemas que tinham de ser resolvidos Dar a uma VM acesso direto a um dispositivo PCIe físico parece simples. Na prática, é um dos problemas mais difíceis da virtualização de sistemas. Algumas coisas que funcionam sozinhas em bare metal tornam-se perigosas quando um dispositivo é partilhado entre um host e um convidado.\nIsolamento de DMA Este é o problema fundamental.\nOs dispositivos PCIe não passam pelo CPU para ler e escrever na memória. Usam Direct Memory Access. Escrevem diretamente em endereços físicos da RAM. Em bare metal, não há problema. O dispositivo e o sistema operativo confiam um no outro.\nCom virtualização, a VM convidada tem a sua própria visão da memória física. Os endereços que o driver do convidado entrega ao controlador NVMe são endereços físicos do convidado. Não correspondem às mesmas posições na RAM do host. Se o dispositivo os usar diretamente, lê e escreve na memória errada. Isso corrompe o host, outras VMs, ou ambos.\nPior ainda, um driver convidado malicioso ou com erros poderia programar deliberadamente o dispositivo para fazer DMA para qualquer parte da memória do host. Na prática, isso é acesso root à máquina inteira sem nunca explorar um erro do hipervisor.\nA solução é o IOMMU — uma unidade de tradução em hardware (Intel VT-d, AMD-Vi) que fica entre cada dispositivo PCIe e a memória principal. Mantém as suas próprias tabelas de páginas, separadas das do CPU. Cada pedido de DMA do dispositivo passa pelo IOMMU, que traduz endereços físicos do convidado em endereços físicos do host e bloqueia qualquer acesso fora das regiões de memória atribuídas ao convidado.\nSem o IOMMU, um passthrough seguro é impossível. Com ele, o dispositivo fica contido.\nAgrupamento de dispositivos O IOMMU não isola dispositivos individuais. Isola grupos.\nA especificação PCIe define os Access Control Services (ACS), que determinam se os dispositivos no mesmo barramento podem falar diretamente uns com os outros — DMA ponto a ponto — sem passar pelo root complex onde está o IOMMU. Se dois dispositivos partilham um switch PCIe que não impõe ACS, um deles pode fazer DMA para o espaço de memória do outro, contornando por completo o IOMMU.\nO kernel agrupa num único grupo IOMMU os dispositivos que se podem alcançar uns aos outros sem a fiscalização do IOMMU. Se o teu controlador NVMe partilha um grupo com outro dispositivo, passar apenas o NVMe quebra o modelo de isolamento. O outro dispositivo do grupo continuaria a poder servir de canal lateral à volta do IOMMU.\nHardware de classe servidor, com suporte ACS correto em cada bridge e switch, dá normalmente a cada dispositivo o seu próprio grupo. As placas de consumo e de workstation juntam muitas vezes vários dispositivos, porque o root complex PCIe não implementa ACS em todas as portas.\nO Proxmox inclui um patch do kernel — pcie_acs_override — que diz ao kernel para tratar cada dispositivo como isolado, independentemente do suporte ACS do hardware. Na prática funciona, mas está a mentir ao kernel sobre a topologia do hardware. Num sistema de produção, grupos limpos sustentados por ACS real no hardware são sempre preferíveis.\nEntrega de interrupções Em bare metal, quando um controlador NVMe conclui uma operação de IO, dispara uma interrupção MSI-X diretamente para o CPU. O CPU trata-a em poucas centenas de nanossegundos.\nCom virtualização, essa interrupção tem de chegar ao convidado, não ao host. A abordagem ingénua é intercetar cada interrupção no hipervisor, provocar uma saída da VM, injetar a interrupção no convidado e retomar. Funciona, mas cada saída da VM custa 5–20µs. Com IOPS altos — centenas de milhares de interrupções por segundo — a sobrecarga é substancial.\nA solução em hardware são as interrupções postadas (posted interrupts). O APICv da Intel e o AVIC da AMD permitem ao IOMMU escrever a interrupção diretamente na página APIC virtual do convidado sem provocar qualquer saída da VM. O convidado vê a interrupção como se viesse de hardware em bare metal. A sobrecarga desce para poucas centenas de nanossegundos.\nNem todas as plataformas suportam interrupções postadas. CPUs mais antigos, alguns chipsets de workstation e algumas versões de BIOS não expõem a capacidade. Quando faltam, cada interrupção vai pelo caminho lento, e não há solução em software.\nReposição do dispositivo Quando uma VM se desliga ou falha, o dispositivo passado tem de voltar a um estado limpo e conhecido. Caso contrário, não pode ser reatribuído a outra VM nem recuperado pelo host.\nEm bare metal, o sistema operativo desliga o driver do dispositivo de forma ordenada. Com passthrough, o convidado pode falhar, o utilizador pode forçar a paragem da VM, ou o hipervisor pode matar o processo. O dispositivo pode estar a meio de uma transferência, com operações de DMA em curso.\nO PCIe define o Function Level Reset (FLR) para isto — uma forma de repor uma única função de um dispositivo sem afetar o resto do barramento. Os controladores NVMe geralmente suportam FLR e lidam bem com ele. As GPUs são notoriamente más nisto, mas isso é outro artigo.\nSe o FLR não for suportado, a alternativa é uma reposição do barramento secundário, que repõe tudo o que está por trás dessa bridge PCIe. Se a bridge tiver outros dispositivos, também são todos repostos. No pior caso, um reinício completo do host é a única forma de recuperar o dispositivo.\nSobrecarga da tradução de endereços O IOMMU resolve o problema da segurança. Como tal, não é opcional. Mas introduz um problema de desempenho.\nCada operação de DMA passa agora por um nível extra de tradução de endereços. O IOMMU tem o seu próprio TLB — o IOTLB — e, quando acerta, a sobrecarga é pequena. Quando falha, o IOMMU tem de percorrer as suas tabelas de páginas, e isso acrescenta latência real a cada operação de IO afetada.\nEste é o imposto do IOMMU. O resto deste artigo trata de perceber de onde vem e como o minimizar.\nTodo o DMA passa pelo IOMMU: um acerto é barato, uma falha percorre as tabelas VM convidada driver NVMe entrega endereços físicos do convidado controlador NVMe escreve na memória diretamente — sem CPU DMA IOMMU IOTLB as suas tabelas de páginas traduz, depois permite ou recusa Memória do host páginas desta VM a tradução chega aqui host e outras VMs inalcançáveis por desenho Sem o IOMMU, o controlador escreveria endereços do convidado diretamente na RAM do host e corromperia o que lá estivesse. acerto — a tradução já está em cache e não custa quase nada. falha — o IOMMU percorre as tabelas de páginas, e essa latência cai neste IO. Este é o imposto. Nada chega à memória sem passar por aqui. Essa é a garantia de segurança, e a tradução que faz é o custo. Mapeamento de BARs e espaço de endereços Cada dispositivo PCIe expõe um ou mais Base Address Registers (BARs), que mapeiam os registos internos e a memória do dispositivo no espaço de endereços MMIO do host. O CPU do host acede ao dispositivo através destes mapeamentos. Para o passthrough funcionar, o hipervisor tem de apresentar estes mapeamentos corretamente ao convidado.\nTradicionalmente, os tamanhos dos BARs eram fixados no arranque pela BIOS e cabiam na janela MMIO legada de 32 bits abaixo dos 4GB. Isso funcionava enquanto os BARs eram pequenos. As GPUs modernas mudaram o cenário. Um framebuffer de 24GB precisa de um BAR de 24GB, que não cabe num espaço de endereços de 32 bits.\nO Resizable BAR (ReBAR) — também comercializado como AMD Smart Access Memory (SAM) — é uma capacidade PCIe que permite renegociar o tamanho do BAR depois do arranque. Para as GPUs, é uma funcionalidade importante. Em vez de aceder ao framebuffer por uma janela de 256MB e ir paginando por blocos, o host mapeia a VRAM inteira de uma só vez.\nPara o NVMe, o impacto direto é menor. Os BARs dos controladores NVMe têm normalmente entre 16KB e 64KB para o conjunto de registos do controlador (BAR0). A especificação NVMe define um Controller Memory Buffer (CMB) que pode expor um BAR maior para filas de submissão residentes no host, mas a maioria dos discos não o implementa. O ReBAR não altera o débito do NVMe da forma que altera nas GPUs.\nA razão pela qual importa num contexto de passthrough de NVMe é o ambiente PCIe partilhado. Se estás a passar um disco NVMe ao lado de uma GPU no mesmo host, o BAR redimensionado da GPU precisa de espaço de endereços acima do limite dos 4GB. A BIOS, o IOMMU e a topologia PCIe virtual têm todos de acomodar isso. Errar a atribuição do espaço de endereços significa que os dispositivos não inicializam, e o passthrough do NVMe falha juntamente com tudo o resto.\nExposição a falhas de energia Num disco virtual, o hipervisor e a camada de armazenamento tratam da ordem das escritas e da consistência após falhas. Com passthrough, o convidado fala diretamente com a flash. Se o host perder a energia a meio de uma escrita, o que o firmware do controlador NVMe faz — ou não faz — com a sua cache de escrita determina se perdes dados.\nOs discos NVMe empresariais têm condensadores de proteção contra falhas de energia (PLP) que esvaziam a cache de escrita em segurança durante um corte de energia. Os discos de consumo sem PLP podem não o fazer. Com passthrough, não há rede de segurança do hipervisor entre o convidado e o hardware.\nPara uma carga de trabalho de produção, um disco empresarial com PLP não é opcional.\nCompromissos operacionais O passthrough também retira capacidades que os discos virtuais oferecem.\nUm dispositivo passado fica fisicamente preso a um host específico. A VM não pode ser migrada em direto enquanto o dispositivo estiver ligado. Num cluster Proxmox com HA, a falha de um nó significa que a VM vai abaixo e arranca a frio noutro nó. Não há failover transparente.\nO disco também é invisível para o vzdump e para o Proxmox Backup Server. Não será incluído nos snapshots da VM nem nas cópias de segurança agendadas. É preciso ter uma estratégia de cópias de segurança separada — ao nível do convidado, do sistema de ficheiros ou da aplicação — antes de a carga de trabalho entrar em produção.\nComo o passthrough VFIO funciona de facto Quando passas um dispositivo PCIe a uma VM, o hipervisor dá ao convidado o controlo direto dos registos MMIO do dispositivo. O driver do convidado fala com o controlador NVMe como se estivesse a correr em bare metal. Essa parte é quase nativa. O acesso aos registos MMIO passa pelas Extended Page Tables (EPT na Intel, NPT na AMD) e normalmente conclui-se sem uma saída da VM.\nO caminho do DMA é onde aparece o custo. Cada operação de DMA passa pelo IOMMU para a tradução de endereços e, como descrito acima, essa tradução tem um preço. Sobretudo nas falhas do IOTLB.\nPorque é que os benchmarks parecem piores do que a realidade É aqui que a maioria das pessoas erra nos testes.\nUma discussão no fórum do Proxmox que deu origem a este artigo tinha utilizadores a correr o fio com iodepth=1. Com essa profundidade de fila, o fio submete um IO, espera que termine e depois submete o seguinte. O teste está apenas a medir a latência por IO. Cada microssegundo de sobrecarga do IOMMU aparece por inteiro.\nOs números dessa discussão contam a história com clareza. A latência de conclusão em bare metal rondava em média os 10µs. Dentro da VM, rondava em média os 28µs. Esses ~18µs extra por IO são a sobrecarga da tradução do IOMMU. Com iodepth=1, corta diretamente o débito para metade, porque o débito é igual a 1 / latency quando só há um IO em curso.\nSobe a profundidade de fila para 32 ou 64 — que é como os discos NVMe foram desenhados para funcionar — e o cenário muda. Com vários IOs em curso, a sobrecarga do IOMMU é amortizada por todos eles. O controlador processa conclusões enquanto acontecem novas traduções. O débito recupera para poucos por cento do bare metal.\nA conclusão prática é esta. Se a tua carga de trabalho corre com profundidades de fila acima de 4, a penalização de débito do IOMMU é provavelmente desprezável. Isso cobre a maioria das cargas de bases de dados, virtualização e armazenamento. Se a tua carga de trabalho é sensível à latência com profundidades de fila baixas — certas aplicações de tempo real, operações síncronas de metadados — vais senti-la.\nA penalização do IOMMU é mais um artefacto da profundidade de fila do que um teto de débito débito da VM em fração do bare metal as cargas realistas vivem aqui 0% 25% 50% 75% 100% o benchmark que todos correm iodepth=1 mede latência pura por IO, por isso os 10 µs contra 28 µs aparecem por inteiro a poucos por cento 1 2 4 8 16 32 64 profundidade de fila (iodepth do fio) Ilustrativo, a partir dos próprios números do artigo, 10 µs / 28 µs. Mesmo hardware, mesmo teste, mesma sobrecarga — só muda a profundidade de fila. A sobrecarga é a mesma em todos os pontos desta curva. A única coisa que muda é quantos IOs estão em curso para a amortizar. Corre os teus benchmarks com profundidades de fila realistas antes de concluíres que o passthrough é demasiado lento:\n# Bare metal baseline — run on the host before binding to vfio-pci fio --name=randread --ioengine=libaio --direct=1 --bs=4k \\ --iodepth=32 --numjobs=4 --rw=randread --size=1G \\ --filename=/dev/nvme0n1 --runtime=30 --time_based \\ --group_reporting # Same test inside the VM after passthrough fio --name=randread --ioengine=libaio --direct=1 --bs=4k \\ --iodepth=32 --numjobs=4 --rw=randread --size=1G \\ --filename=/dev/nvme0n1 --runtime=30 --time_based \\ --group_reporting Compara os percentis de clat (latência de conclusão) e os números de IOPS. Com iodepth=32 e quatro jobs, a diferença deve ser de um só dígito em pontos percentuais, não de 50%.\nAlinhamento NUMA Isto tem o seu próprio artigo. Vê Alinhamento NUMA no Proxmox VE — porque importa e como o acertar.\nA versão curta: em sistemas com vários sockets, cada dispositivo PCIe está ligado a um socket específico. Se o disco NVMe estiver no nó NUMA 1 e os vCPUs da VM estiverem fixados no nó 0, cada conclusão de DMA atravessa a ligação entre sockets. Isso acrescenta 50–100ns por operação. Com IOPS altos, a diferença de débito entre NUMA alinhado e desalinhado é de 20–30%.\nVerifica com cat /sys/bus/pci/devices/0000:XX:00.0/numa_node e depois fixa os vCPUs da VM em núcleos do mesmo nó com o parâmetro affinity na configuração da VM. Em sistemas com um só socket, isto não é uma preocupação.\nPCIe Active State Power Management (ASPM) Isto tem o seu próprio artigo. Vê O ASPM do PCIe e porque o deves desativar para passthrough.\nA versão curta: o ASPM permite que as ligações PCIe entrem em estados de baixo consumo quando estão inativas. Com passthrough, o host continua a controlar a ligação física, mas é o convidado que é dono do dispositivo. Quando o convidado submete IO e a ligação está adormecida, o tempo de despertar acrescenta latência. O sintoma é uma grande dispersão nos teus percentis de clat. O p99 pode ser 5–10x mais alto do que a média, enquanto a média parece normal.\nDesativa-o no host com pcie_aspm=off na linha de comandos do kernel. Acrescenta também disable_idle_d3=1 às opções do módulo vfio-pci se o teu controlador NVMe tiver problemas a recuperar de estados de energia. O Samsung 990 EVO Plus é um infrator conhecido.\nMaxPayloadSize (MPS) Isto tem o seu próprio artigo. Vê O MaxPayloadSize do PCIe — um ganho de desempenho gratuito para passthrough.\nA versão curta: os dispositivos PCIe transferem dados em Transaction Layer Packets. O root complex virtual do QEMU usa por omissão um payload máximo de 128 bytes. A maioria dos dispositivos suporta 256 ou 512 bytes. Acrescentar pci=pcie_bus_perf à linha de comandos do kernel do host define o MPS no máximo que o barramento pai de cada dispositivo permite. É uma pequena melhoria de débito — um só dígito baixo em percentagem — mas é gratuita e não tem desvantagens.\nResizable BAR e abertura MMIO O problema de mapeamento de BARs descrito antes tem passos práticos tanto do lado da BIOS como do lado da VM.\nPrimeiro, ativa o Above 4G Decoding na BIOS. Isto permite mapear os BARs em espaço de endereços acima do limite dos 4GB, o que é obrigatório para qualquer dispositivo com BARs grandes. Ativa-o mesmo para passthrough só de NVMe. Não tem desvantagens e evita problemas se mais tarde acrescentares uma GPU ou outro dispositivo com BAR grande.\nSe o ReBAR estiver disponível na BIOS, ativa-o também. Não afeta diretamente o desempenho do NVMe, mas permite que as GPUs no mesmo host usem o mapeamento completo do seu framebuffer.\nDo lado da VM, o root complex Q35 virtual do QEMU precisa de uma janela MMIO de 64 bits suficientemente grande para o convidado ver os BARs redimensionados. Por omissão, o OVMF atribui uma janela relativamente pequena. Para passthrough só de NVMe, isto chega. Os BARs do NVMe cabem com folga. Mas se a VM tiver tanto um NVMe como uma GPU passados, aumenta a abertura MMIO:\nargs: -fw_cfg name=opt/ovmf/X-PciMmio64Mb,string=65536 Isto diz ao OVMF para atribuir 64GB de espaço MMIO de 64 bits, o suficiente para a maioria dos framebuffers de GPU ao lado do pequeno BAR do controlador NVMe.\nO suporte de ReBAR no QEMU tem vindo a melhorar, mas ainda não é transparente. Algumas GPUs AMD (Vega e mais recentes) provocam erros no driver (Code 43 no Windows) com o ReBAR ativo no QEMU. Se te acontecer, desativa o ReBAR na BIOS como primeiro passo. O passthrough do NVMe não é afetado de uma forma ou de outra.\nPara o que o Resizable BAR faz do lado das GPUs, e porque é que a Intel o trata como obrigatório na Arc enquanto a NVIDIA o ativa jogo a jogo, vê O Resizable BAR do PCIe e as GPUs modernas.\nTratamento de interrupções O problema da entrega de interrupções descrito antes tem um passo prático de afinação. As interrupções postadas (APICv na Intel, AVIC na AMD) podem não estar ativas por omissão.\nVerifica se estão ativas:\n# Intel — look for \u0026#34;Posted-Interrupts\u0026#34; in dmesg dmesg | grep -i \u0026#34;posted\u0026#34; # AMD — check AVIC support dmesg | grep -i \u0026#34;avic\u0026#34; Entrega de interrupções intercetadas contra interrupções postadas Sem interrupções postadas — a conclusão dá a volta longa NVMegera MSI-X hipervisorinterceta-a injetano convidado convidado retomatrata-a saída da VM entrada na VM 5–20 µs por interrupção A umas centenas de milhares de IOPS, isto não é um erro de arredondamento — é o custo dominante. Interrupções postadas (Intel APICv / AMD AVIC) — entrada direta NVMegera MSI-X IOMMUescreve-a diretamente página APIC virtual do convidado o convidado só vê uma interrupção sem saída sem saída ~centenas de ns Não há solução em software: as interrupções postadas são uma capacidade do hardware. Mas nem sempre vêm ativas por omissão, por isso confirma antes de concluíres que o caminho lento é inevitável. Quatro passos e duas saídas da VM, ou uma escrita na página APIC do convidado. Com IOPS altos, a diferença deixa de ser académica. Em sistemas AMD EPYC, ativa o AVIC no módulo KVM se não estiver ligado por omissão:\n# /etc/modprobe.d/kvm.conf options kvm_amd avic=1 Em sistemas Intel, o APICv com interrupções postadas costuma ficar ativo automaticamente quando o VT-d está ativo.\nSe a tua plataforma não suporta interrupções postadas, não há solução em software. É uma capacidade do hardware. Mas vale a pena confirmar que está mesmo ligada antes de assumires que o caminho lento é inevitável.\nAfinidade de interrupções e alinhamento de filas Os controladores NVMe usam vários pares de filas de submissão e de conclusão. Normalmente um por núcleo de CPU. Quando os vCPUs da VM não estão alinhados com os núcleos físicos que tratam as interrupções do NVMe, as conclusões têm de atravessar núcleos através de interrupções entre processadores. Isso acrescenta latência.\nDentro do convidado, verifica quantas filas de IO o driver NVMe criou e como estão mapeadas:\n# List NVMe IO queues cat /proc/interrupts | grep nvme # Check affinity for irq in $(grep nvme /proc/interrupts | awk \u0026#39;{print $1}\u0026#39; | tr -d \u0026#39;:\u0026#39;); do echo \u0026#34;IRQ $irq: $(cat /proc/irq/$irq/smp_affinity_list)\u0026#34; done Idealmente, a interrupção de cada fila de IO do NVMe deve ter afinidade com o vCPU que submete para essa fila. A maioria dos drivers NVMe modernos trata disto automaticamente. Mas vale a pena confirmar, sobretudo se fixaste vCPUs à mão ou reduziste o número de vCPUs abaixo do número de filas do controlador.\nUsa sempre Q35, não i440fx Isto merece o seu próprio artigo. Vê Usa sempre Q35, não i440fx.\nA versão curta: o i440fx apresenta um barramento PCI legado e plano. O Q35 apresenta um root complex PCIe a sério. Os dispositivos passados no i440fx aparecem como PCI legado, o que quebra a entrega de interrupções MSI-X com várias filas. Os controladores NVMe precisam de MSI-X para a sua arquitetura de uma fila por núcleo. Sem ele, todas as conclusões de IO passam por uma única interrupção e ficas com um estrangulamento com IOPS altos que nenhuma afinação do kernel vai resolver.\nNo Proxmox 8.x e posteriores, o Q35 é o predefinido para VMs novas. Se estás a fazer passthrough numa VM mais antiga que ainda é i440fx, muda-a. O RHEL 10 descontinuou formalmente o i440fx, e o resto do ecossistema KVM vai pelo mesmo caminho.\nJuntar tudo Aqui fica um resumo dos passos de afinação, por ordem de impacto.\nOs passos de afinação por ordem de impacto, e o que cada um muda de facto por ordem de impacto o que muda 1 Alinhamento NUMA 20–30% do débito numa máquina com vários sockets. Mais nada desta lista se aproxima. DÉBITO 2 ASPM desligado Retira a latência de despertar da cauda. A média quase não mexe; o p99 mexe. VARIAÇÃO DE LATÊNCIA 3 Profundidades de fila realistas Não muda nada na máquina. Impede-te de tirar a conclusão errada do iodepth=1. A MEDIÇÃO 4 Interrupções postadas (APICv / AVIC) De microssegundos a nanossegundos por interrupção — só se a plataforma a tiver. Confirma, não assumas. CUSTO POR INTERRUPÇÃO 5 MaxPayloadSize — pci=pcie_bus_perf Um só dígito baixo em percentagem. Grátis e sem desvantagens, por isso define-o — mas não esperes vê-lo. SOBRECARGA NA LIGAÇÃO 6 vfio-pci disable_idle_d3 Impede um controlador esquisito de morrer em D3. Compra fiabilidade, não velocidade. FIABILIDADE Ordenado, e de propósito sem barras: não partilham uma unidade, por isso um gráfico de barras convidaria a uma comparação que não existe. Percorre esta lista de cima para baixo, não de lado. Numa máquina com vários sockets, a primeira entrada vale mais do que todas as outras juntas. Alinhamento NUMA — garante que o disco NVMe e os vCPUs da VM estão no mesmo nó NUMA. Só isto pode representar uma diferença de débito de 20–30% em sistemas com vários sockets.\nASPM desligado — acrescenta pcie_aspm=off à linha de comandos do kernel do host. Elimina a variação de latência causada pelas transições de estado de energia da ligação PCIe.\nProfundidades de fila realistas — testa com iodepth=32 ou mais, não com iodepth=1. A sobrecarga do IOMMU que domina com profundidades de fila baixas é amortizada com profundidades realistas.\nInterrupções postadas — confirma que o APICv (Intel) ou o AVIC (AMD) está ativo. Reduz a sobrecarga por interrupção de microssegundos para nanossegundos.\nOtimização do MPS — acrescenta pci=pcie_bus_perf à linha de comandos do kernel do host. Define o MaxPayloadSize no máximo que a topologia suporta.\nGestão de energia do vfio-pci — acrescenta disable_idle_d3=1 se o teu controlador NVMe tiver problemas de estados de energia com passthrough.\nUma linha de comandos do kernel do host combinada, para um nó Proxmox a fazer passthrough de NVMe num sistema AMD EPYC, seria mais ou menos assim:\nGRUB_CMDLINE_LINUX_DEFAULT=\u0026#34;quiet amd_iommu=on iommu=pt pcie_aspm=off pci=pcie_bus_perf\u0026#34; Para Intel:\nGRUB_CMDLINE_LINUX_DEFAULT=\u0026#34;quiet intel_iommu=on iommu=pt pcie_aspm=off pci=pcie_bus_perf\u0026#34; Quando o passthrough não compensa Antes de ires por este caminho, vale a pena perguntares se precisas mesmo de passthrough de NVMe.\nO VirtIO-SCSI e o VirtIO-BLK com um disco virtual assente em NVMe já são muito eficientes. A sobrecarga em relação ao passthrough é normalmente de 5–10% na latência. A diferença de débito é desprezável para a maioria das cargas de trabalho.\nO passthrough faz sentido quando precisas que o sistema operativo convidado gira o dispositivo diretamente. Isso inclui a monitorização SMART, as atualizações de firmware, o controlo de TRIM/discard e funcionalidades NVMe específicas como as reservas. Também faz sentido para cargas de trabalho sensíveis à latência, onde até poucos microssegundos contam. Certos motores de bases de dados e a ingestão de dados em tempo real cabem nessa categoria.\nPara tudo o resto, os compromissos operacionais tratados antes — perda da migração em direto, perda dos snapshots e da integração com as cópias de segurança — costumam pesar mais do que o pequeno ganho de desempenho.\nNão há nada de esperto em escolher o caminho mais difícil quando o mais fácil faz o trabalho.\nVerificar as tuas alterações Depois de aplicares os passos de afinação, confirma que está tudo a funcionar como esperado:\n# Host side — confirm IOMMU is in passthrough mode dmesg | grep -i iommu # Confirm ASPM is disabled lspci -vv | grep -i \u0026#34;ASPM Disabled\u0026#34; # Check MPS on the NVMe controller lspci -vv -s XX:00.0 | grep MaxPayload # Inside the VM — run the fio comparison fio --name=randread --ioengine=libaio --direct=1 --bs=4k \\ --iodepth=32 --numjobs=4 --rw=randread --size=1G \\ --filename=/dev/nvme0n1 --runtime=30 --time_based \\ --group_reporting Compara os resultados da VM com a tua linha de base anterior em bare metal. Com iodepth=32, deves ver um débito a menos de 5% do bare metal. As médias da latência de conclusão devem ficar a menos de 10–15µs dos números do host. Se a diferença continuar grande, verifica primeiro o alinhamento NUMA. É o fator mais esquecido. E não custa nada além de uma alteração de configuração, o que faz dele o melhor tipo de problema com que se pode ficar.\nReferências Linux kernel PCI documentation — MPS and MRRS tuning options — a fonte de referência para pcie_bus_perf, pcie_bus_safe e os parâmetros relacionados Proxmox VE Administration Guide — PCI(e) Passthrough — documentação oficial do Proxmox sobre a configuração do passthrough de dispositivos com VFIO Proxmox Forum — NVMe Passthrough Performance — a discussão da comunidade que deu origem a este artigo ","permalink":"https://blogs.damiendye.uk/pt/proxmox/pcie-passthrough-performance-the-iommu-tax/","summary":"Porque é que os dispositivos PCIe perdem débito quando são passados a uma VM através de VFIO, e os passos práticos de afinação que recuperam a maior parte dele.","title":"Desempenho do passthrough PCIe no Proxmox VE — o imposto do IOMMU e como o minimizar"},{"content":"O que é NUMA NUMA significa Non-Uniform Memory Access, acesso não uniforme à memória. Num sistema de um só socket, todos os núcleos da CPU acedem a toda a RAM do sistema através do mesmo controlador de memória. O tempo de acesso é o mesmo, seja qual for o núcleo que faz o pedido ou o sítio onde os dados estão na memória física.\nNum sistema multi-socket, cada socket de CPU tem o seu próprio controlador de memória e o seu próprio banco de RAM. Um núcleo no socket 0 acede depressa à RAM ligada ao socket 0: é a memória local. Também consegue aceder à RAM ligada ao socket 1, mas esse pedido tem de atravessar a ligação entre sockets (Intel UPI, AMD Infinity Fabric). Essa é a memória remota, e é mais lenta.\nO kernel chama nó NUMA a cada conjunto de socket e respetiva memória local. Um sistema AMD EPYC de dois sockets tem pelo menos dois nós NUMA. Alguns processadores EPYC expõem quatro nós NUMA por socket (um por CCD), o que dá oito nós numa placa de dois sockets.\nA diferença de desempenho entre o acesso à memória local e à remota não é subtil. O acesso local anda pelos 80–100ns. O acesso remoto anda pelos 130–200ns. É uma penalização de 50–100% por cada operação de memória. Sozinho, é um número muito pequeno. Pago em cada acesso à memória durante toda a vida da VM, deixa de ser pequeno.\nPorque importa para a virtualização Quando o Proxmox cria uma VM, atribui vCPUs e RAM. Por omissão, essas vCPUs podem ser escalonadas em qualquer núcleo físico de qualquer socket. A RAM da VM pode ser alocada a partir do conjunto de memória de qualquer nó NUMA.\nSe o escalonador põe uma vCPU no socket 0 e a RAM da VM está no socket 1, cada acesso à memória que essa vCPU faz atravessa a ligação entre sockets. Se as vCPUs saltam de socket em socket, e saltam se não estiverem fixadas, o padrão de acesso à memória fica uma confusão. Alguns acessos são locais, outros remotos, e o desempenho da VM oscila em conformidade.\nPara cargas genéricas, como um servidor web, um servidor de ficheiros ou uma VM de secretária, isto costuma ser suportável. O custo existe, mas espalha-se por muitas operações e não domina.\nPara cargas intensivas em IO, como bases de dados, servidores de armazenamento ou qualquer coisa com muito IO de disco ou de rede, a penalização acumula-se. Cada conclusão de DMA, cada entrega de interrupção, cada cópia de buffer envolve acesso à memória. Se esses acessos atravessam sockets, o custo soma-se depressa.\nPorque importa para o passthrough Os dispositivos PCIe estão fisicamente ligados a um socket de CPU concreto. Cada socket tem o seu próprio root complex PCIe. A unidade NVMe na ranhura 3 pode estar nas linhas PCIe do socket 0. A GPU na ranhura 5 pode estar nas do socket 1.\nQuando um dispositivo faz DMA, os dados vão para a memória ligada ao nó NUMA para onde a IOMMU os mapeia. Se a RAM da VM for alocada a partir do nó local do dispositivo, a escrita DMA vai diretamente para a memória local. Se a RAM estiver no outro nó, cada operação DMA atravessa a ligação entre sockets.\nPara uma unidade NVMe a fazer centenas de milhares de IOPS, essa penalização de 50–100ns por operação soma-se. Com iodepth=32 e leituras aleatórias de 4KB, a diferença de débito entre NUMA alinhado e desalinhado pode chegar a 20–30%. E isto antes de olhares para o custo da IOMMU, para o ASPM, para o MPS ou para qualquer outra coisa.\nNUMA desalinhado manda cada DMA pela ligação entre sockets; alinhado mantém-no local Desalinhado: a VM está no nó 0, a unidade está no nó 1 Nó NUMA 0 núcleos 0–15 RAM 128 GB VM: vCPUs fixadas em 0–15, RAM alocada aqui Nó NUMA 1 núcleos 16–31 RAM 128 GB NVMe: root complex 1 UPI / IF cada DMA atravessa a ligação: 130–200 ns Alinhado: vCPUs, RAM e unidade todas no nó 1 Nó NUMA 0 núcleos 0–15 RAM 128 GB livre para outras VMs Nó NUMA 1 núcleos 16–31 RAM 128 GB NVMe: root complex 1 VM: affinity 16-31, numa0 hostnodes=1, policy=bind inativa 80–100 ns Com iodepth=32 e leituras aleatórias de 4 KB, a diferença entre estes dois é 20–30% do débito, antes de o custo da IOMMU, o ASPM ou o MPS entrarem na conta. Num sistema de um só socket não há segundo nó nem ligação entre sockets, por isso nada disto se aplica. O mesmo hardware nos dois casos. A única diferença é o nó a que a VM foi fixada, e se o DMA da unidade tem de atravessar a ligação para chegar à memória da VM. O mesmo se aplica a placas de rede, GPUs e qualquer outro dispositivo em passthrough. O tráfego DMA do dispositivo deve cair em memória local, e as vCPUs que processam esse tráfego devem estar no mesmo nó.\nComo verificar a tua topologia Descobrir em que nó NUMA está um dispositivo # Replace 0000:XX:00.0 with your device\u0026#39;s PCI address from lspci cat /sys/bus/pci/devices/0000:XX:00.0/numa_node Isto devolve o número do nó NUMA. Se devolver -1, o kernel não conseguiu determinar o nó. Isso acontece por vezes com dispositivos atrás de certos switches PCIe. Nesse caso, segue a topologia PCIe à mão com lspci -tv e faz corresponder a root port ao socket.\nVer a disposição NUMA completa numactl --hardware Isto mostra-te cada nó NUMA, quantos núcleos de CPU tem, quanta memória está ligada e a distância (custo relativo) entre nós.\nExemplo de saída de um sistema EPYC de dois sockets:\navailable: 2 nodes (0-1) node 0 cpus: 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 node 0 size: 131072 MB node 1 cpus: 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 node 1 size: 131072 MB node distances: node 0 1 0: 10 32 1: 32 10 Ler a tabela de distâncias entre nós de numactl --hardware A tabela de distâncias de\u0026#160;numactl --hardware Dois sockets, 2 nós NUMA por socket. Custo relativo, não nanossegundos. nó 0 nó 1 nó 2 nó 3 nó 0 nó 1 nó 2 nó 3 10 16 32 32 16 10 32 32 32 32 10 16 32 32 16 10 socket 0 socket 1 10: o próprio nó, memória local 16: mesmo socket, o outro nó 32: através da ligação entre sockets Fixa uma VM e o dispositivo dentro de um 10, e nunca deixes a memória dela cair num 32. Uma placa de 2 nós mostra só 10 e 32; os 16 aparecem quando um socket expõe vários nós. Os números são custos relativos, não nanossegundos. Mantém uma VM e o seu dispositivo dentro de um único 10, e nunca deixes a memória dela cair num 32. A tabela de distâncias diz-te o custo relativo. 10 é local. 32 é remoto. Números mais altos significam mais saltos. Em configurações EPYC com quatro nós por socket, alguns pares de nós têm distância 32 e outros 16, conforme o CCD em que estão.\nMapear dispositivos para nós # List all PCI devices and their NUMA nodes for dev in /sys/bus/pci/devices/*; do node=$(cat \u0026#34;$dev/numa_node\u0026#34; 2\u0026gt;/dev/null) echo \u0026#34;$(basename $dev) node=$node $(lspci -s $(basename $dev) 2\u0026gt;/dev/null | cut -d\u0026#39; \u0026#39; -f2-)\u0026#34; done Isto dá-te o quadro completo de que dispositivos estão em que nós. Procura os teus controladores NVMe, as placas de rede e as GPUs que estás a passar à VM.\nComo alinhar uma VM no Proxmox Fixar as vCPUs no nó certo No ficheiro de configuração da VM (/etc/pve/qemu-server/\u0026lt;vmid\u0026gt;.conf):\nnuma: 1 affinity: 0-15 # Adjust to match cores on the correct NUMA node O parâmetro affinity fixa as vCPUs da VM a núcleos físicos específicos. Define-o com o intervalo de núcleos do mesmo nó NUMA que o teu dispositivo em passthrough.\nSe o teu NVMe está no nó 1 e o nó 1 tem os núcleos 16–31, define affinity: 16-31. Se a VM só precisa de 8 vCPUs, fixa-a a um subconjunto: affinity: 16-23.\nAlocar a memória a partir do nó certo Ativar numa: 1 na configuração da VM diz ao Proxmox para apresentar à VM uma topologia NUMA. O QEMU tenta alocar a memória da VM a partir do nó NUMA onde as vCPUs estão fixadas.\nPara controlo explícito, podes definir a topologia NUMA na configuração da VM:\nnuma0: cpus=0-7,hostnodes=0,memory=16384,policy=bind Isto diz ao QEMU para associar o primeiro nó NUMA da VM (o nó 0 do ponto de vista do convidado) ao nó NUMA 0 do anfitrião, usando os núcleos 0–7 e 16GB de memória. O policy=bind garante que a memória é alocada estritamente a partir desse nó, em vez de recorrer a outros nós se o conjunto local estiver sob pressão.\nVerificar a fixação Depois de arrancar a VM, confirma que as vCPUs estão mesmo a correr onde esperas:\n# Find the QEMU process pgrep -a qemu | grep \u0026lt;vmid\u0026gt; # Check CPU affinity of the process taskset -cp \u0026lt;pid\u0026gt; # Or check per-vCPU thread affinity for tid in $(ls /proc/\u0026lt;pid\u0026gt;/task/); do echo \u0026#34;Thread $tid: $(taskset -cp $tid 2\u0026gt;/dev/null)\u0026#34; done Erros comuns Não fixar de todo Se não definires affinity, as vCPUs da VM podem ser escalonadas em qualquer núcleo. O escalonador do kernel vai movê-las entre nós para equilibrar a carga. Sempre que uma vCPU migra de um nó para outro, os dados com que estava a trabalhar na cache do nó antigo passam a ser remotos.\nPara VMs genéricas isto é aceitável. Para VMs com passthrough e muito IO, não é.\nFixar no nó errado Verifica o nó NUMA do dispositivo antes de fixares. Não presumas. Em algumas motherboards, a numeração física das ranhuras não corresponde de forma óbvia à atribuição dos nós NUMA. Confirma sempre com cat /sys/bus/pci/devices/.../numa_node.\nSobrecarregar um nó Se fixares demasiadas VMs ao mesmo nó NUMA, os núcleos desse nó ficam sobrecarregados e o conjunto de memória local esgota-se. Quando a memória transborda para o nó remoto, ficas com o pior dos dois mundos: vCPUs fixadas com memória remota.\nDistribui as VMs pelos nós. Se tens dois nós NUMA e quatro VMs, reparte-as por igual.\nEsquecer a alocação de memória Fixar as vCPUs sem controlar também a alocação de memória dá-te metade do benefício. As vCPUs estão no nó certo, mas a memória pode não estar. Usa policy=bind ou, no mínimo, ativa numa: 1 para que a alocação do QEMU acompanhe a fixação das CPUs.\nSistemas de um só socket Num sistema de um só socket, tudo está no nó NUMA 0. Há apenas um controlador de memória e um conjunto de linhas PCIe. O alinhamento NUMA não é uma preocupação.\nPodes na mesma definir numa: 1 na configuração da VM, não estraga nada, mas também não ajuda. Um socket, um controlador de memória, nada para alinhar. Guarda o esforço para uma máquina que tenha dois. Como tal, os ganhos de desempenho aqui descritos aplicam-se apenas a sistemas multi-socket, onde existe a ligação entre sockets.\nReferências Proxmox VE Administration Guide — CPU and NUMA Configuration — documentação oficial sobre fixação de vCPUs e opções NUMA Linux kernel NUMA documentation — referência das políticas de memória do kernel AMD EPYC 7003 Series — BIOS \u0026amp; Workload Tuning Guide (doc 58002) — documentação da AMD sobre NUMA por socket e a topologia CCD/CCX ","permalink":"https://blogs.damiendye.uk/pt/proxmox/numa-alignment-proxmox/","summary":"Em sistemas multi-socket, uma VM com as vCPUs num nó NUMA e o dispositivo em passthrough noutro perde 20–30% de débito antes sequer de olhares para outra coisa.","title":"Alinhamento NUMA no Proxmox VE: porque importa e como acertar"},{"content":"O que faz o ASPM A gestão de energia em estado ativo do PCIe (Active State Power Management, ASPM) permite que as ligações PCIe entrem em estados de baixo consumo quando estão inativas. A especificação PCIe define vários estados de ligação:\nL0 é o estado totalmente ativo. A ligação está em cima, as duas pontas estão alimentadas e os dados podem fluir de imediato.\nL0s é um estado de inatividade ligeiro. A ligação desliga-se parcialmente. A recuperação para L0 demora cerca de 1–4µs, conforme o hardware. Cada ponta pode entrar em L0s de forma independente.\nL1 é um estado de inatividade mais profundo. As duas pontas da ligação desligam-se em conjunto. A recuperação para L0 demora mais — tipicamente 2–32µs, às vezes mais. O tempo exato de recuperação depende do dispositivo, da geração PCIe e da plataforma.\nL1.1 e L1.2 são subestados de L1 introduzidos no PCIe 3.0. Reduzem ainda mais o consumo ao desligar a referência de relógio do PLL. A recuperação de L1.2 pode demorar 32–100µs. Para um dispositivo de armazenamento, isso não é um erro de arredondamento. É mais ou menos o tempo da própria leitura que estavas a tentar fazer.\nQuanto mais fundo a ligação dorme, mais espera o próximo IO estado da ligação tempo de recuperação até L0: a latência que um IO paga se chegar agora L0 ativo: os dados fluem já nenhum L0s inatividade ligeira, cada ponta por si 1–4 µs L1 inatividade profunda, as duas pontas juntas 2–32 µs L1.1 / L1.2 subestados 3.0: PLL desligado 32–100 µs Barras à escala contra o pior caso de 100 µs. Sono mais profundo poupa mais energia e custa mais ao acordar. As barras são os tempos de recuperação, desenhados à escala contra o pior caso de 100 µs. Um sono mais profundo poupa mais energia e custa mais quando o tráfego regressa. A ideia é simples. Se uma ligação PCIe estiver inativa durante alguns microssegundos, passa-a para um estado de menor consumo. Quando o tráfego regressar, acorda-a. Pelo meio, poupa-se um pouco de energia.\nNum portátil ou num computador de secretária que passa a maior parte do tempo sem fazer nada, o ASPM poupa energia a sério. Alguns watts por ligação, que se somam em todos os dispositivos PCIe do sistema. Num servidor com cargas intensivas de IO, as ligações raramente ficam inativas tempo suficiente para o ASPM entrar em ação de forma significativa.\nPorque causa problemas com passthrough Em bare metal, o sistema operativo e o controlador do dispositivo negociam a gestão de energia em conjunto. O controlador NVMe sabe quando a ligação está prestes a ficar inativa e quando está prestes a submeter novo IO. O subsistema PCIe do kernel coordena as transições de estado da ligação com o controlador. Está tudo sincronizado.\nCom passthrough VFIO, essa coordenação desfaz-se.\nO kernel do anfitrião continua a controlar a ligação PCIe física. A VM convidada é dona do dispositivo através do VFIO, mas não controla a ligação em si. O subsistema PCIe do anfitrião vê a ligação ficar inativa — porque, do ponto de vista do anfitrião, nenhum controlador do lado do anfitrião a está a usar. Passa a ligação para um estado de baixo consumo. Quando a convidada submete IO, o dispositivo precisa da ligação de volta em L0. O tempo de recuperação aparece como latência acrescida nessa operação de IO.\nO resultado é latência inconsistente. A maioria das operações de IO termina à velocidade normal. Algumas demoram muito mais porque apanham uma ligação que está em L1 ou L1.2 e tem de acordar primeiro. Isto aparece como uma grande dispersão nos percentis de clat (latência de conclusão). A média pode parecer normal. O p99 pode ser 5–10x mais alto.\nÉ difícil de detetar porque os números de débito médio podem parecer bons. Só vês o problema quando olhas para a latência de cauda. Muitos benchmarks não a destacam a menos que peças os percentis.\nO ASPM deixa a média intacta e arrasa a cauda ASPM ativo pcie_aspm=off latência de conclusão (µs) 0 30 60 90 120 3× pior no p99, e 7× a sua própria média ASPM ativo pcie_aspm=off p50 p90 p99 p99.9 p99.99 A média e o p50 são idênticos nas duas execuções: só a cauda os separa. Valores ilustrativos do padrão, não medições de uma unidade concreta. A mesma unidade com e sem ASPM. O p50 é idêntico, por isso um benchmark que só mostra médias não reporta problema nenhum; o estrago está todo para lá do p90, onde se acumulam as operações de IO que encontraram uma ligação adormecida. A particularidade do VFIO Há aqui uma particularidade que vai além do problema básico de «o anfitrião e a convidada a lutar pelo estado da ligação».\nQuando um dispositivo está associado ao vfio-pci no anfitrião, o kernel do anfitrião sabe que o dispositivo está em modo passthrough. Mas a política de ASPM do PCIe aplica-se ao nível da ligação, não do dispositivo. A política de ASPM do anfitrião continua a aplicar-se à ligação física porque o anfitrião continua a ser dono da topologia PCIe.\nO VFIO não interceta nem sobrepõe as transições de ASPM. Passa o espaço de BAR e as interrupções do dispositivo, mas a gestão de energia da ligação fica sob controlo do anfitrião. A convidada não tem nenhum mecanismo para dizer ao anfitrião «mantém esta ligação em L0».\nA convidada é dona do dispositivo; o anfitrião continua dono da ligação, e não há canal entre eles VM convidada controlador NVMe dona do dispositivo, submete o IO Kernel do anfitrião subsistema PCIe política ASPM vfio-pci política de D-state sem forma de dizer «mantém esta ligação em L0» ligação PCIe física: em L1, a dormir quem decide é o anfitrião, não a convidada nenhum controlador a usa, e deixa a ligação dormir a convidada submete IO, à espera de L0 este IO espera que a ligação acorde: 2–32 µs, ou até 100 µs a partir de L1.2 O VFIO passa o espaço de BAR e as interrupções. A gestão de energia da ligação não faz parte do acordo. A maioria dos IO nem apanha a ligação adormecida, e é por isso que só a cauda mexe. A divisão que o causa: a convidada é dona do dispositivo e submete o IO, o anfitrião é dono da ligação e decide quando ela dorme, e nada liga os dois. Algum hardware e algumas versões do kernel mais recentes lidam melhor com isto do que outros. Como tal, a abordagem mais segura é tirar o ASPM de cena por completo.\nComo o desativar Acrescenta pcie_aspm=off à linha de comandos do kernel do anfitrião:\n# Edit /etc/default/grub GRUB_CMDLINE_LINUX_DEFAULT=\u0026#34;quiet pcie_aspm=off\u0026#34; # Update GRUB and reboot update-grub reboot Isto impede o anfitrião de pôr qualquer ligação PCIe num estado de baixo consumo. Aplica-se globalmente. Todos os dispositivos PCIe do anfitrião, não só o que está a ser passado.\nVerifica depois do reinício:\n# Should show \u0026#34;ASPM Disabled\u0026#34; for all devices lspci -vv | grep -i \u0026#34;ASPM\u0026#34; O custo energético Desativar o ASPM aumenta de facto o consumo em inatividade. Cada ligação PCIe que de outro modo estaria em L1 fica em L0, a consumir umas centenas de miliwatts a mais. Num sistema com dez ou quinze dispositivos PCIe, isso pode somar 2–5 watts em inatividade.\nPara um servidor num centro de dados, 2–5 watts é um erro de arredondamento na fatura da eletricidade. Para um home lab, é uma fração do que o CPU e a memória estão a gastar. Para um portátil, conta. Mas não ias fazer passthrough VFIO a bateria num portátil.\nO compromisso é claro. Alguns watts de consumo em inatividade contra picos de latência imprevisíveis nos dispositivos que passaste. Em qualquer sistema que faça passthrough, o ASPM deve estar desligado.\nProblemas de estado de energia ao nível do dispositivo O ASPM controla o estado de energia da ligação PCIe. Os dispositivos também têm a sua própria gestão de energia — os D-states do PCIe (D0 a D3).\nQuando um dispositivo está em D3 (totalmente desligado), não é só a ligação que está a dormir. O próprio dispositivo parou. Com passthrough VFIO, o controlador vfio-pci do anfitrião pode pôr o dispositivo em D3 quando a VM não está a correr ou quando a política de gestão de energia do anfitrião decide que o dispositivo está inativo.\nAlguns controladores NVMe não lidam bem com a transição de D3 para D0. Não conseguem voltar de forma limpa, a convidada perde o dispositivo e a única saída é reiniciar a VM ou, às vezes, reiniciar o anfitrião.\nO Samsung 990 EVO Plus é um infrator bem conhecido. A correção é a opção de módulo disable_idle_d3 do vfio-pci:\n# /etc/modprobe.d/vfio.conf options vfio-pci disable_idle_d3=1 Isto impede o vfio-pci de pôr qualquer dispositivo associado em D3 quando inativo. Tal como o pcie_aspm=off, é uma definição global. Todos os dispositivos associados ao vfio-pci ficam em D0. Normalmente é isso que queres para passthrough, em que a convidada deve ser a única a controlar o estado de energia do dispositivo.\nA opção disable_idle_d3 é independente do ASPM. O ASPM controla a ligação. O D3 controla o dispositivo. Ambos podem causar problemas de forma independente. Para uma configuração de passthrough limpa, desativa os dois.\nControlo de ASPM por dispositivo Se não quiseres desativar o ASPM globalmente — talvez tenhas outros dispositivos PCIe no anfitrião que beneficiam da poupança de energia — podes controlar o ASPM por ligação através do sysfs:\n# Find the link\u0026#39;s ASPM policy cat /sys/bus/pci/devices/0000:XX:00.0/link/l1_aspm # Disable ASPM for a specific link echo 0 \u0026gt; /sys/bus/pci/devices/0000:XX:00.0/link/l1_aspm É mais direcionado, mas menos fiável entre reinícios e atualizações do kernel. Para a maioria das configurações de passthrough, a opção global pcie_aspm=off do kernel é mais simples e mais previsível.\nQuando o ASPM não é o problema Nem toda a variação de latência é culpa do ASPM.\nSe os teus percentis de clat forem consistentemente altos (não só na cauda), o problema é mais provavelmente a sobrecarga de tradução do IOMMU, um desalinhamento NUMA ou uma discrepância de MPS. O ASPM causa especificamente um padrão bimodal — a maioria das operações de IO é rápida, algumas são lentas — porque só afeta as operações de IO que calham chegar quando a ligação está num estado de baixo consumo.\nVerifica primeiro o ASPM quando vires:\nlatência p99 5x ou mais acima da média resultados de fio inconsistentes entre execuções latência que melhora sob carga sustentada mas piora com cargas em rajadas Se a latência for consistentemente má, seja qual for o padrão de carga, procura noutro sítio. Vale a pena excluir o ASPM cedo porque é barato de testar. Mas não é a resposta para todas as ligações lentas, e persegui-lo quando os números não encaixam no padrão é uma tarde que não vais recuperar.\nReferências Linux kernel PCI documentation — ASPM parameters — código-fonte do kernel que cobre pcie_aspm=off e opções relacionadas Proxmox Forum — PCI Passthrough NVMe Unable to Change Power State — tópico da comunidade sobre disable_idle_d3 para controladores NVMe da Samsung Proxmox VE Wiki — PCI(e) Passthrough — documentação oficial sobre a configuração de passthrough ","permalink":"https://blogs.damiendye.uk/pt/proxmox/pcie-aspm-passthrough/","summary":"A gestão de energia em estado ativo (ASPM) poupa alguns watts em ligações PCIe inativas. Com passthrough VFIO, acrescenta variação de latência difícil de diagnosticar e fácil de corrigir.","title":"ASPM do PCIe e porque o deves desativar para passthrough"},{"content":"O que é o MPS Os dispositivos PCIe transferem dados em pacotes chamados Transaction Layer Packets (TLP). Cada TLP tem um cabeçalho e um payload. O tamanho máximo desse payload é o MaxPayloadSize (MPS).\nO MPS é negociado entre um dispositivo e a sua bridge a montante durante o treino do link. O valor negociado é o menor entre o que o dispositivo suporta e o que a bridge permite. Cada bridge e cada switch no caminho entre o dispositivo e o root complex tem a sua própria capacidade de MPS. O MPS final de qualquer dispositivo é definido pelo ponto mais estreito da cadeia.\nOs valores de MPS comuns são 128, 256 e 512 bytes. Alguns dispositivos suportam 1024 ou até 4096 bytes, mas na prática 256 ou 512 é o típico para controladores NVMe e placas de rede. As GPU suportam muitas vezes 256 bytes.\nPorque é que importa Um MPS maior significa menos pacotes para a mesma quantidade de dados. Um IO de 4 KB transferido com MPS 128 precisa de 32 TLP. A mesma transferência com MPS 512 precisa de 8 TLP.\nCada TLP leva overhead de protocolo: o cabeçalho, o CRC, o enquadramento. Menos TLP significa menos overhead de protocolo por byte transferido. Com débito elevado, essa diferença mede-se. Não é dramática. Mas é real. E é o mesmo overhead, pago em cada pacote.\nO MPS também afeta o aproveitamento do link PCIe. Payloads mais pequenos fazem o link gastar mais tempo em cabeçalhos em relação aos dados. Payloads maiores deslocam a proporção para os dados úteis.\nOs mesmos 4 KB de payload custam 32 cabeçalhos com MPS 128 e 8 com MPS 512 MPS 128: uma transferência de 4 KB torna-se 32 TLP 32 cabeçalhos × ≈24 B:\u0026#160;≈16% dos bytes no fio é overhead de protocolo MPS 512: os mesmos 4 KB tornam-se 8 TLP 8 cabeçalhos × ≈24 B:\u0026#160;≈4% dos bytes no fio é overhead de protocolo cabeçalho, número de sequência, CRC e enquadramento payload As duas faixas levam os mesmos 4 KB. Payloads maiores não movem mais dados: gastam menos link a descrevê-los. O ganho de débito medido é pequeno. As duas faixas levam os mesmos 4 KB. As barras cheias são os cabeçalhos por pacote: com MPS 128 há 32, com MPS 512 só 8. O impacto na latência é menor do que no débito. Uma única leitura de 4 KB com MPS 128 contra 512 não vai mostrar uma diferença de latência que valha a pena medir, porque os TLP seguem em pipeline. Mas força muitas IOPS com muitas transferências em curso e o overhead menor de um MPS maior vai somando.\nO problema sob passthrough Em bare metal, a BIOS define o MPS durante o POST com base na topologia PCIe. Uma BIOS de servidor moderna define normalmente o MPS no máximo que a topologia suporta, em geral 256 ou 512 bytes.\nSob QEMU, o root complex do chipset virtual Q35 tem a sua própria capacidade de MPS. Por omissão, apresenta um MPS baixo. A política de MPS por omissão do kernel Linux (pcie_bus_default) põe o MPS de cada dispositivo igual ao da sua bridge mãe, o que numa topologia virtual significa o valor por omissão do root complex do QEMU. Muitas vezes 128 bytes.\nComo tal, um dispositivo capaz de payloads de 512 bytes trabalha a 128 porque o root complex virtual fixou o teto.\nO MPS é fixado pelo ponto mais estreito do caminho, que sob QEMU é o root complex virtual Bare metal: a BIOS define o MPS a partir da topologia real NVMesuporta 512 switch PCIepermite 512 Root complexpermite 512 MPS = 512 B o menor do caminho Passado a uma VM: o root complex virtual é agora o ponto mais estreito NVMesuporta 512 root complex virtual Q35 do QEMU apresenta 128 por omissão MPS = 128 B capacidade do dispositivo por usar Kernel do host com\u0026#160;pci=pcie_bus_perf NVMesuporta 512 cada dispositivo no máximo do barramento pai MRRS sobe em conformidade MPS = 512 B define-se no host, não no guest O MPS é o menor valor do caminho. Fazer passthrough de um dispositivo mete o root complex virtual nesse caminho, e o seu valor por omissão conservador passa a ser o teto de todos. Como corrigir: do lado do host Diz ao kernel para definir o MPS no máximo que o barramento pai de cada dispositivo suporta:\n# Add to GRUB_CMDLINE_LINUX_DEFAULT in /etc/default/grub pci=pcie_bus_perf Isto define o MPS de cada dispositivo no maior valor que o seu barramento pai permite. Também define o MRRS (Max Read Request Size) em conformidade. O código-fonte do kernel diz que garante que o MPS de um dispositivo não é maior do que o do pai. Isso mantém a cadeia consistente e obtém os melhores tamanhos de transferência.\nDepois de reiniciar, verifica o novo MPS:\n# Check MPS on a specific device lspci -vv -s XX:00.0 | grep -i \u0026#34;MaxPayload\u0026#34; Deves ver MaxPayload 256 bytes ou MaxPayload 512 bytes em vez do 128 por omissão.\nAs outras opções do kernel O kernel oferece cinco políticas de MPS, cada uma definida com o parâmetro de arranque pci=:\npcie_bus_tune_off: não mexe no MPS. Usa o que a BIOS tiver definido. Em bare metal com uma boa BIOS, isto muitas vezes chega. Sob QEMU, a BIOS é OVMF ou SeaBIOS, que podem não otimizar o MPS.\npcie_bus_default: o valor por omissão do kernel. Põe o MPS de cada dispositivo igual ao da sua bridge a montante. Conservador e seguro, mas não maximiza o desempenho.\npcie_bus_safe: define o MPS no maior valor suportado por todos os dispositivos do sistema. Útil em sistemas fechados onde conheces todos os dispositivos e nada vai ser ligado a quente. Ligeiramente mais agressivo do que o valor por omissão.\npcie_bus_perf: define o MPS por dispositivo no maior valor que o barramento pai permite. Cada dispositivo recebe o melhor MPS que a sua topologia local suporta. É a escolha certa para passthrough porque otimiza cada caminho de forma independente.\npcie_bus_peer2peer: define o MPS em 128 bytes em tudo. Todos os dispositivos falam no menor tamanho comum. Usa-se quando os dispositivos precisam de fazer DMA diretamente uns para os outros (GPU para GPU, GPU para NIC via RDMA). Não serve para passthrough normal.\npcie_bus_perf é o certo para passthrough.\nComo corrigir: do lado do guest Também podes definir pci=pcie_bus_perf na configuração de arranque do kernel do guest. Se isso tem algum efeito prático depende de como o QEMU apresenta a topologia PCIe virtual. O root complex virtual limita o que o guest consegue negociar.\nNos testes, a correção do lado do host é a que pega. O host é dono do dispositivo físico, e a sua definição de MPS fixa o tamanho real dos TLP no fio. A definição do guest só mexe na topologia virtual dentro da VM, e se isso muda o comportamento real depende de como o QEMU apresenta o caminho PCIe desse dispositivo.\nDefine-o no host. Defini-lo também no guest não faz mal, mas não contes só com isso.\nO que é o MRRS O Max Read Request Size (MRRS) está relacionado, mas é outra coisa. O MPS limita quantos dados um dispositivo pode enviar num TLP. O MRRS limita quantos dados um dispositivo pode pedir num pedido de leitura.\nUm dispositivo com MRRS 4096 pode emitir um único pedido de leitura de 4 KB. A resposta volta em vários TLP, cada um até ao tamanho do MPS. Um MRRS maior significa que o dispositivo pode pedir mais dados por transação, o que reduz o número de TLP de pedido de leitura no barramento.\nO MRRS dimensiona o pedido, o MPS cada pacote da resposta controlador NVMe MRRS 4096 B memória do host através do root complex 1 × pedido de leitura: «manda-me 4 KB» o MRRS limita quanto um pedido pode pedir 8 × TLP de completion: 512 B cada o MPS limita o tamanho de cada pacote da resposta Um pedido, muitos pacotes.\u0026#160;pci=pcie_bus_perf\u0026#160;sobe ambos, por isso não precisam de afinação separada. Os dois confundem-se facilmente: o MRRS limita quanto um dispositivo pode pedir num pedido, o MPS limita o tamanho de cada pacote da resposta. pci=pcie_bus_perf define tanto o MPS como o MRRS nos seus valores ótimos. Não precisas de os afinar em separado.\nImpacto face a outras afinações A diferença de MPS entre 128 e 512 bytes tem um impacto no desempenho menor do que o alinhamento NUMA ou o ASPM. É tipicamente uma melhoria de uma percentagem baixa de um só dígito no débito. Não a vais ver em benchmarks de latência com filas pouco profundas.\nMas é uma otimização grátis. Um parâmetro do kernel, sem desvantagens, sem risco de compatibilidade. Não há razão nenhuma para não o definir em qualquer sistema que faça passthrough.\nNão custa nada, e o hardware já está pago. Mais vale teres aquilo que compraste.\nReferências Linux kernel PCI Kconfig — opções de afinação de MPS e MRRS — fonte de referência para as cinco políticas de MPS Linux Plumbers Conference 2017 — MPS vs MRRS (PDF) — a apresentação de Sinan Kaya sobre o tratamento de MPS/MRRS no kernel ","permalink":"https://blogs.damiendye.uk/pt/proxmox/pcie-maxpayloadsize/","summary":"O root complex virtual do QEMU usa por omissão payloads TLP de 128 bytes. A maioria dos dispositivos suporta 256 ou 512. Um parâmetro do kernel resolve isso.","title":"PCIe MaxPayloadSize: um ganho de desempenho grátis para passthrough"},{"content":"O que são o i440fx e o Q35? Todas as máquinas virtuais QEMU têm um chipset virtual. Ele define a motherboard virtual inteira: a topologia de barramento PCI/PCIe, a south bridge, o controlador de interrupções, aquilo que o sistema operativo convidado vê quando enumera o hardware no arranque.\nO QEMU oferece duas escolhas: i440fx e Q35.\nO i440fx emula o Intel 440FX, de nome de código Natoma, lançado em 1996 como chipset do Pentium Pro e, mais tarde, do Pentium II. Apresenta um barramento PCI plano, sem suporte nativo de PCIe. Foi o tipo de máquina original do QEMU e é o valor por omissão há muito tempo. Teve uma boa carreira, para um chipset desenhado para o Pentium Pro.\nO Q35 emula o Intel Q35 Express, lançado em junho de 2007 para a geração Core 2, emparelhado com a south bridge ICH9. Dá ao guest um root complex PCIe a sério e um controlador de interrupções moderno. Os dispositivos em passthrough aparecem como dispositivos PCIe nativos, com a topologia correta.\nAmbos são virtuais. Nenhum afeta o hardware real que o host usa. A diferença está naquilo que o sistema operativo convidado vê.\nO barramento PCI plano do i440fx contra o root complex PCIe do Q35 i440fx: um barramento PCI plano Intel 440FX «Natoma», Pentium Pro / Pentium II, 1996 vCPU barramento PCI 0 NVMePCI legado NIC só INTx IDE legado Áudiofictício MSI-X indisponível: só interrupções INTx Sem AER: erros PCIe invisíveis para o guest Sem ACS: isolamento IOMMU mais fraco Um barramento partilhado: um grupo IOMMU Q35: root complex PCIe Intel Q35 Express + ICH9, era Core 2, junho de 2007 vCPU root complex PCIe root port root port root port NVMeMSI-X NIC multi-fila GPU AER + ACS MSI-X: um vetor de interrupção por fila AER: o guest vê e trata os erros PCIe ACS: DMA peer-to-peer controlado Cada slot pode ter o seu grupo IOMMU Todas as diferenças que se seguem vêm daqui: o i440fx pendura todos os dispositivos num só barramento partilhado, enquanto o Q35 dá a cada slot a sua própria root port debaixo de um root complex PCIe. Porque é que o Q35 importa para o passthrough Os dispositivos passados a uma VM i440fx aparecem como dispositivos PCI legados, seja o que for que realmente sejam. O guest vê-os como «dispositivos PCI muito rápidos» em vez de dispositivos PCIe. Alguns drivers dão-se bem com isto. Outros esperam PCIe e comportam-se mal ou recusam-se a carregar quando não o encontram.\nO root complex PCIe do Q35 muda o quadro de várias maneiras.\nMSI-X O MSI-X (Message Signalled Interrupts, Extended) exige PCIe. Sob i440fx, o MSI-X ou recua para interrupções INTx legadas ou não funciona de todo.\nIsto importa muito para o NVMe. Os controladores NVMe dependem do MSI-X para a sua arquitetura de múltiplas filas. Cada par de filas de IO recebe o seu próprio vetor de interrupção. Sem MSI-X, todas as conclusões de IO afunilam por uma única interrupção, o que cria um estrangulamento com muitas IOPS.\nTambém importa para placas de rede e GPU modernas. Qualquer dispositivo que use vários vetores de interrupção para espalhar a carga pelos núcleos do CPU precisa de MSI-X.\nO INTx afunila todas as conclusões NVMe por uma interrupção; o MSI-X dá a cada fila o seu vetor i440fx, INTx: uma linha para todas as filas fila 0 fila 1 fila 2 fila 3 1 × INTx vCPU 0 as conclusões serializam: um teto com muitas IOPS Q35, MSI-X: um vetor por fila fila 0 fila 1 fila 2 fila 3 4 vetores MSI-X vCPU 0 vCPU 1 vCPU 2 vCPU 3 cada fila conclui no seu próprio núcleo Com INTx, as conclusões de todas as filas chegam numa só linha de interrupção e caem num só vCPU. Com MSI-X, cada fila leva o seu próprio vetor e conclui no seu próprio núcleo. AER (Advanced Error Reporting) O AER do PCIe permite ao guest detetar e tratar erros de dispositivo como deve ser, em vez de falhar em silêncio. Sob i440fx, o guest não tem visibilidade nenhuma sobre erros ao nível do PCIe.\nPara uma carga de produção com um dispositivo em passthrough, engolir erros em silêncio é um problema. O AER dá ao driver do guest a capacidade de registar, reportar e, em alguns casos, recuperar de erros de hardware que de outro modo passariam despercebidos até os dados se corromperem.\nACS (Access Control Services) O ACS controla o DMA peer-to-peer entre dispositivos do mesmo barramento. Faz parte do modelo de isolamento do IOMMU. Impede que um dispositivo faça DMA para o espaço de memória de outro sem passar pelo IOMMU.\nSob i440fx, a topologia de barramento virtual não suporta ACS de todo. Isto não estraga o passthrough básico, mas enfraquece o isolamento que o IOMMU devia dar-te.\nApresentação dos grupos IOMMU A hierarquia PCIe do Q35 significa que cada slot virtual pode ficar no seu próprio grupo IOMMU dentro do guest. O i440fx junta tudo num só barramento partilhado, o que torna problemática a configuração do IOMMU do lado do guest.\nIsto é relevante para a virtualização aninhada, em que o próprio guest precisa de grupos IOMMU limpos. Também é relevante para o vIOMMU, que só existe no Q35.\nvIOMMU Se precisas que o próprio guest tenha capacidade de IOMMU, para passthrough aninhado, para DPDK ou para certas configurações de segurança, isso exige o tipo de máquina Q35.\nA emulação de vIOMMU deixa o guest correr o seu próprio IOMMU, o que é útil para:\nPassthrough em VM aninhada (uma VM dentro de uma VM com acesso a dispositivos) Rede em espaço de utilizador com DPDK, em que a aplicação precisa da proteção do IOMMU Configurações de segurança que exigem isolamento de DMA dentro do guest Porque é que o Q35 importa para além do passthrough Mesmo que não faças passthrough, o Q35 é a melhor escolha para cargas modernas.\nFirmware OVMF (UEFI) A combinação de Q35 e OVMF dá ao guest um ambiente de arranque UEFI moderno com suporte de Secure Boot. O i440fx pode usar OVMF, mas a combinação está menos testada e algumas funcionalidades não funcionam corretamente.\nO Windows 11 exige UEFI com Secure Boot. Os requisitos de hardware da Microsoft impõem-no. O Windows Server 2025 funciona melhor com UEFI. O Q35 com OVMF é o caminho suportado para ambos.\nSe estás a correr uma VM Windows 11 ou Server 2025 em i440fx com SeaBIOS, estás a remar contra a corrente. Pode funcionar hoje. Não é para lá que o ecossistema vai.\nAHCI O Q35 inclui emulação nativa de AHCI (Advanced Host Controller Interface) através da south bridge ICH9. O i440fx usa a emulação mais antiga de IDE ou LSI SCSI para os discos de arranque.\nPara armazenamento VirtIO isto não importa. O VirtIO contorna por completo o controlador de armazenamento do chipset. Mas se usas emulação SATA para um sistema operativo convidado que não tem drivers VirtIO no momento da instalação, o AHCI no Q35 é muito mais rápido do que o IDE no i440fx.\nO IDE faz trap em cada acesso a registos; o AHCI monta os comandos na RAM do guest e toca uma campainha fronteira host / hipervisor: cada passagem custa uma saída da VM i440fx, IDE: cada acesso a registos faz trap driver IDE no guest I/O por porta, um acesso de cada vez 5 × VM exit para emitir um comando PIIX3 IDE 1 comando em curso Sem NCQ: o comando seguinte espera que o anterior termine IRQ 14/15, INTx por nível: mais saídas para mascarar e reconhecer Q35, AHCI: montado em RAM, uma campainha driver AHCI no guest lista de comandos na RAM do guest: grátis 1 × VM exit AHCI HBA (ICH9) até 32 em fila (NCQ) Os comandos em fila concluem fora de ordem: o disco reordena para poupar buscas MSI-X: sem linha partilhada a identificar, sem ida e volta de EOI O IDE é programado um registo de cada vez através de portas de I/O legadas, e cada acesso faz trap para o host. O AHCI deixa o guest montar o comando na sua própria memória e tocar uma única campainha. O overhead que o i440fx carrega e o Q35 não A diferença do AHCI não é só um controlador ser mais novo. É que o i440fx faz o guest pagar ao hipervisor em quase todas as interações, e o Q35 na maioria das vezes não.\nAcesso a registos com trap. O IDE é programado através de portas de I/O x86 legadas. O guest escreve a contagem de setores, depois os registos de LBA, depois o registo de comando. Cada escrita bate numa porta diferente. Cada um desses acessos é apanhado e emulado pelo host, e cada trap é uma saída da VM que custa microssegundos de um só dígito. Emitir um comando IDE custa por isso várias saídas antes de se mexer qualquer dado.\nO AHCI funciona ao contrário. O guest monta uma tabela de comandos na sua própria RAM, sem traps, porque está só a escrever em memória, e depois faz uma escrita MMIO num registo de campainha para dizer ao controlador que a vá buscar. Um comando custa mais ou menos uma saída em vez de cinco ou seis.\nSem fila de comandos. O IDE emite um comando e espera que termine. O AHCI suporta NCQ, por isso podem estar pendentes até 32 comandos, e o disco é livre de os concluir fora de ordem para reduzir as buscas. Como tal, o custo que sobra por comando espalha-se por uma fila em vez de ser pago um de cada vez.\nO caminho de interrupção legado. O controlador IDE PIIX3 sinaliza a conclusão nas IRQ legadas fixas 14 e 15, entregues como INTx por nível. Uma interrupção por nível tem de ser reconhecida e desmascarada, e como as linhas INTx são partilhadas, o guest também tem de descobrir qual foi o dispositivo que a levantou. Cada um desses passos é mais um trap. O MSI-X, que precisa do Q35, é uma simples escrita em memória, sem linha partilhada a identificar e sem ida e volta de reconhecimento. Em hardware com posted interrupts pode chegar ao guest sem saída nenhuma.\nUma superfície de dispositivos legados maior. O i440fx apresenta sempre os seus dispositivos de plataforma legados, incluindo o controlador IDE, quer a VM os use quer não. Ocupam slots PCI, são enumerados e sondados em cada arranque, e os drivers do guest podem fazer polling sobre eles. O Q35 apresenta um conjunto mais pequeno e mais moderno. Menos para o host aguentar, menos para o guest percorrer.\nNada disto aparece numa VM com VirtIO, e é por isso que a diferença passa facilmente despercebida. Importa durante a instalação, em imagens de appliance sem drivers VirtIO e em qualquer guest que ainda use SATA ou IDE emulados no disco de arranque.\nMenos dispositivos virtuais, topologia mais limpa O i440fx vem com hardware virtual legado que o Q35 deixa cair. Uma placa de som fictícia. Um controlador IDE legado. Nenhum faz nada de útil, mas ambos gastam slots PCI virtuais e podem baralhar o software do guest que os tente usar.\nO Q35 apresenta um conjunto de hardware virtual mais limpo, mais próximo do que um servidor físico moderno exporia.\nO Q35 deita fora os dispositivos legados que o i440fx mantém nos slots PCI virtuais i440fx dispositivos legados ocupam os slots Controlador IDE legado Controlador de disquete (FDC) Funções legadas do PIIX3 Outros dispositivos legados livre livre substituído por AHCI deitado fora pelo Q35 Q35 menos dispositivos, slots a sobrar ICH9 AHCI (SATA) root ports PCIe livre para um NVMe em passthrough livre para uma NIC livre para uma GPU livre O controlador IDE legado é substituído em vez de removido; tudo o resto vai para o lixo, deixando slots livres para os dispositivos que queres mesmo passar. Para onde as coisas vão O RHEL 10 descontinuou o i440fx A Red Hat descontinuou formalmente o tipo de máquina i440fx no RHEL 10. Isso indica o rumo para todo o ecossistema KVM. Quando a Red Hat descontinua alguma coisa, quer dizer que deixou de a testar como caminho de primeira classe e não vai corrigir bugs ligados a ela.\nO projeto QEMU upstream anda há anos a discutir a descontinuação do i440fx. O consenso é que manter dois caminhos de chipset é um fardo. O Q35 é o que corresponde ao hardware moderno.\nO Proxmox não foi atrás O Proxmox VE continua a criar as VM novas como i440fx. O tipo de máquina no assistente de criação diz «Default (i440fx)», e fica assim a não ser que o mudes. O Q35 está à distância de uma lista pendente, mas é uma escolha que tens de fazer deliberadamente, em cada VM que montas.\nÉ essa a razão de ser deste artigo. O valor por omissão é o chipset de 1996, e nada no assistente te diz que a escolha importa.\nMudar uma VM existente Se tens uma VM existente em i440fx, podes mudá-la para Q35 nas definições de hardware ou diretamente na configuração:\nmachine: q35 Isto é, na prática, uma troca de motherboard virtual. Hardware diferente no arranque seguinte.\nO Linux costuma lidar com isto sem problemas. O kernel volta a enumerar os dispositivos e carrega os drivers certos. Os nomes das interfaces vão mudar porque a NIC virtual passa de um barramento PCI para um barramento PCIe. Se a tua configuração de rede lhes dá nome (por exemplo eth0, ens18), atualiza-a antes de reiniciar ou perdes o acesso à rede.\nO Windows é menos tolerante. A mudança de chipset significa IDs de hardware virtual diferentes para o controlador de armazenamento, o adaptador de rede e outros dispositivos de plataforma. O Windows pode precisar de reinstalar drivers. Em alguns casos, uma instalação de raiz é o caminho mais limpo. O Windows mais antigo é o culpado habitual.\nO FreeBSD e derivados (OPNsense, pfSense) costumam aguentar a mudança, mas testa primeiro.\nEm todos os casos, testa numa VM que não seja de produção antes de mudar seja o que for que importe.\nQuando o i440fx ainda é necessário Há meia dúzia de casos que ainda precisam do i440fx.\nSistemas operativos convidados legados anteriores ao UEFI, como o Windows XP, o Windows 2000 e outros da mesma colheita, podem não arrancar sob Q35. Estes sistemas esperam a topologia PCI legada e o SeaBIOS que o i440fx fornece.\nCertas imagens de appliance são construídas e testadas exclusivamente contra i440fx. Se o fornecedor só suporta i440fx, é isso que usas até ele atualizar.\nPara tudo o resto, VM Linux novas, Windows moderno, qualquer carga com passthrough, usa Q35. Não há nada a ganhar em ficar agarrado a um chipset de 1996 por hábito.\nReferências Proxmox VE Wiki — PCI(e) Passthrough — documentação oficial do Proxmox que aponta o Q35 como tipo de máquina recomendado para passthrough QEMU Q35 Chipset Specification (PDF) — o documento de desenho original do Q35 no QEMU Proxmox Forum — Q35 vs i440fx Discussion — discussão da comunidade sobre as diferenças práticas ","permalink":"https://blogs.damiendye.uk/pt/proxmox/q35-not-i440fx/","summary":"Os dois chipsets virtuais do QEMU não são intercambiáveis. O Q35 dá uma topologia PCIe a sério, da qual dependem o passthrough, o Windows moderno e todo o ecossistema KVM.","title":"Usa sempre Q35, não i440fx: porque é que importa no Proxmox VE"},{"content":"Sou o Damien Dye.\nPresales Engineer para a Europa e a Ásia-Pacífico na croit GmbH, membro fundador da Ceph Foundation e Proxmox Gold Partner oficial.\nVinte e tal anos disto foram a parte paga: plataformas Microsoft, Linux, aplicações empresariais, virtualização, redes, armazenamento e segurança. A parte paga não é tudo. Ando a montar coisas e a desmontá-las desde meados dos anos noventa e a usar Linux a sério desde 1999, anos antes de alguém achar que valia a pena pagar-me por isso, e conto esses anos porque se aprende tanto com equipamento que é nosso como com equipamento que outra pessoa pôs no seguro.\nSouth Yorkshire, por isso vais ouvi-lo a direito. Se uma coisa funciona, digo-te porquê. Se não funciona, também to digo, e prefiro dizê-lo antes de gastares o dinheiro do que depois.\nOs primeiros anos Desmonto computadores desde os oito anos. A minha primeira máquina foi um Atari STfm com 512K de RAM.\nO meu primeiro PC chegou aos doze, com Windows 3.11, e daí passei por todos: 95, 95b, 95c, 98, 98SE e depois Windows 2000.\nAquilo não era usar software. Era perceber o que mudava de uma versão para a seguinte, o que se partia pelo caminho, e como pôr uma coisa a funcionar quando ela tinha decidido que preferia não funcionar.\nO PERCURSO NO WINDOWS DESKTOP: 3.11 \u0026#8594; 10 3.11 95 98 2000 XP XP64 bits Vista64 bits 764 bits 8.1 10 A minha primeira ligação à internet foi um modem de 56k por linha telefónica na Freeserve, um dos primeiros ISP gratuitos do Reino Unido. Passei para ADSL assim que ficou disponível, em 2001, através da Demon Internet. Depois para VDSL em 2008, e por fim para FTTP com a Zen Internet em 2017, que foi quando chegou o IPv6 nativo. Foi aí que tudo começou em termos de redes, e está muito longe das fabrics de 100GbE que desenho agora. Mas a curiosidade era a mesma.\nA rede local começou ainda mais cedo, e mais à bruta. A minha primeira LAN foi 10BASE2: cabo coaxial fino, conectores BNC e um terminador de 50 ohms em cada ponta, com todas as máquinas a partilhar um único barramento de 10 Mbit. Pus dois PC a falar por ali, e depois acrescentei um hub de 5 portas à medida que foram aparecendo mais máquinas. Esse hub passou mais tarde a switch, um verdadeiro salto, que dava a cada porta o seu próprio domínio de colisão em vez de tudo a lutar pelo mesmo coaxial partilhado. A seguir veio o sem fios, assim que ficou acessível: 802.11b a 11 Mbit, com placas PCMCIA Orinoco Gold nos portáteis. De barramento coaxial a hub partilhado, a Ethernet comutada, a Wi-Fi: passei por cada um desses passos à mão.\nTambém montei instalações totalmente automáticas de Windows XP. Usavam os velhos DriverPacks para injetar controladores e scripts próprios para instalar aplicações automaticamente. Ia-se de uma máquina nua a um sistema totalmente configurado sem tocar no teclado. Isso era pensar em automação anos antes de eu ouvir falar do Ansible, e era em Windows, não em Linux.\nDescobrir o Linux Comecei com Linux aos quinze anos, no SuSE 6. Fui direto às distribuições que nos obrigavam a perceber o que se passava por baixo.\nNas férias de Natal de 2001 montei um sistema completo com o livro Linux From Scratch. Cada pacote compilado à mão. Cada dependência percebida. Cada decisão de configuração tomada de propósito.\nEm 2002 já tinha passado para Gentoo. O Gentoo assenta no mesmo princípio: constróis o sistema inteiro a partir do código-fonte, percebes o que faz cada USE flag, e quando alguma coisa se parte sabes exatamente onde procurar.\nLINUX: O PERCURSO PELAS DISTRIBUIÇÕES SuSE6–7.2 Mandrake Gentoo Ubuntu RHEL Fedora Explorar outras plataformas Nunca me fiquei por uma arquitetura.\nTive um sistema DEC Alpha de 2001 a 2007. O Alpha era o processador RISC de 64 bits da Digital Equipment Corporation, lançado em 1992: uma verdadeira máquina de 64 bits mais de uma década antes de o x86 recuperar o atraso com o AMD64 em 2003. Corria Tru64 UNIX, OpenVMS, Windows NT e Linux, e durante algum tempo era mais ou menos a coisa mais rápida que se podia pôr numa secretária. Graças a discussões na comunidade, pus USB e FireWire a funcionar nele. Cheguei a meter um adaptador PCMCIA-para-ISA na traseira, para que as mesmas PC Cards que usava nos portáteis, entre elas a Orinoco Gold sem fios, funcionassem no Alpha de secretária. Não é coisa pouca numa plataforma onde nada tinha garantia de funcionar.\nExperimentei o BeOS. Atacava o multithreading e o multimédia de uma forma completamente diferente de tudo o que havia na altura.\nNa universidade, eu e um amigo salvámos estações de trabalho Sun SPARC que iam para o lixo e montámos Gentoo nelas. O SPARC era a arquitetura RISC da Sun Microsystems, apresentada em 1987: o motor por trás das estações de trabalho e servidores Sun que fizeram correr grande parte do mundo Unix nos anos noventa, normalmente com Solaris. Pôr um Linux compilado do código-fonte a correr naquele hardware era o objetivo todo. Porque porque não, se o equipamento está ali e queres ver se funciona.\nTambém montei e trabalhei com Linux em ARM e ARM64, com Raspberry Pi e Odroid. E já corri Windows em ARM64.\nCorre o mesmo sistema operativo em x86, Alpha, SPARC, ARM e ARM64 e os pressupostos que fizeste num não te acompanham para o seguinte: a ordem dos bytes, o alinhamento, o tamanho das páginas, o suporte de controladores e as manias das toolchains mudam todos por baixo de ti. Isso importa mais do que nunca agora que o ARM64 está no centro de dados ao lado do x86, e é essa forma de pensar que mantém honesto um parque Ceph ou Proxmox com arquiteturas mistas.\nTambém andava a experimentar IPv6 cedo. Tinha acesso ao 6bone, a rede experimental de testes IPv6. O 6bone era um banco de ensaio global que funcionou a partir de 1996 para ajudar a desenvolver e implementar o IPv6 antes de a internet de produção estar pronta para ele. Transportava IPv6 sobretudo por túneis IPv4, usava o seu próprio intervalo de endereços 3ffe::/16, e foi desligado de propósito a 6 de junho de 2006, quando o IPv6 nativo já tinha amadurecido o suficiente para se aguentar sozinho. Corri tanto a stack IPv6 do Linux como a stack IPv6 da Microsoft Research para o Windows XP. Passei por todas. Comecei com túneis IPv6-em-IPv4. Passei para 6to4 (RFC 3056), para túneis automáticos. Depois para IPv6 nativo completo quando mudei para um ISP decente, a Zen Internet. A maioria das pessoas não tocou em IPv6 até o empregador as obrigar. Eu já tinha passado por todos os mecanismos de transição nessa altura, em Linux e em Windows, porque queria perceber para onde ia o mundo das redes. É por isso que o IPv6 me parece natural agora, e não uma coisa aparafusada depois. Hoje, noventa por cento do meu tráfego passa por IPv6 nativo. Uso uma extensão do navegador chamada IPvFoo que me mostra o que cada ligação está a usar e se os sites servem protocolos mistos ou só IPv4. Velhos hábitos: gosto de ver o que está de facto a acontecer, não de presumir.\nIPv6: DUAS DÉCADAS, DE EXPERIMENTAL A CRÍTICO De uma stack de ensaio em casa a infraestrutura de produção à escala nacional 6bone: o banco de ensaio IPv6 experimental As stacks IPv6 do Linux e da Microsoft Research lado a lado Túneis IPv6-em-IPv4 IPv6 transportado pela internet IPv4, configurado à mão 6to4 (RFC 3056) Túneis automáticos, sem broker manual para manter IPv6 nativo Ponta a ponta em casa por FTTP · Zen Internet · 2017 Nominet: infraestrutura nacional crítica IPv6 em produção no registo .uk · balanceadores F5 em IPv4 e IPv6 Hoje, cerca de 90% do meu tráfego passa por IPv6 nativo. Aprender a fazer Tudo o que sei de técnico aprendi a meter as mãos na massa. Montei coisas, parti-as, percebi porque se partiram, voltei a montá-las.\nA licenciatura foi em Business Studies and Computer Network Engineering na Sheffield Hallam, e deu-me a única coisa que aprender sozinho não dá: como funciona de facto um negócio, como uma decisão técnica se transforma num resultado comercial, e como pensar num sistema em função do problema que resolve a quem o está a pagar. Isso moldou todos os cargos desde então.\nAs competências técnicas, porém, vieram de fazer e não de estudar. Os problemas de produção não chegam com uma bibliografia. Ser capaz de perceber uma coisa a partir dos princípios básicos vale mais do que um certificado na parede, e não caduca.\nDe onde vem o open source Quando a liderança da Microsoft descreveu o open source como «a cancer» no início dos anos 2000, eu já estava metido a fundo no Linux. A montar sistemas de raiz. A correr Gentoo. A contribuir para comunidades.\nEsse tipo de hostilidade contra pessoas que partilham conhecimento e constroem coisas juntas não me afastou. Empurrou-me mais para dentro. Se a resposta de uma empresa ao desenvolvimento colaborativo é chamar-lhe doença, isso diz mais sobre a empresa do que sobre o software. Aprofundei o open source e fiz dele a minha escolha por defeito em vez de alinhar com essa mentalidade.\nCom os anos, o argumento prático alcançou o de princípio. As plataformas proprietárias funcionam razoavelmente até o fabricante mudar o licenciamento, ser comprado, ou decidir que o teu caso de uso não vale a pena manter. Aí ficas preso. Os teus dados, os teus fluxos de trabalho e o saber da tua equipa estão todos amarrados a uma plataforma que já não controlas. A compra da VMware pela Broadcom é o exemplo mais recente e mais visível, mas está longe de ser o único.\nO mesmo raciocínio aplica-se à cloud. Pergunta o que estás de facto a alugar e a resposta é capacidade que podias ter comprado de vez, num contador que nunca para. Os benefícios prometidos, agilidade, elasticidade e menos para gerir, raramente chegam com a forma que a apresentação descrevia, e o custo vai crescendo ano após ano de uma maneira que o equipamento próprio não cresce. Como tal, tenho conseguido mostrar, sempre que alguém mo pediu, que o open source em hardware bem desenhado dá melhor valor, mais controlo e menos surpresas. Não é uma posição da moda. É uma em que consigo pôr números.\nConstruir uma carreira A minha carreira começou em 2005 num fabricante de peças de fundição de precisão em Worksop. Engenheiro de TI, numa equipa pequena, a dar suporte a cerca de cinquenta utilizadores.\nEsse primeiro cargo cobria um leque a sério. Manter o sistema ERP Manusoft e o arquivo de documentos. Administração de servidores Linux e Windows 2003. Desenvolvimento em Crystal Reports para a tomada de decisões na produção e na manutenção. Administração da central telefónica. Integração de sistemas CAD/CAM e gestão do fabrico robotizado assistido por computador. Compras de hardware e software. Formar utilizadores finais e dar suporte nos postos de trabalho deles.\nTambém escrevia automação desde o primeiro dia. Atualizei o Active Directory da empresa e escrevi scripts VB para mapear unidades, atribuir impressoras e instalar software automaticamente com base na pertença a grupos. Isso foi em 2006: automação de infraestrutura a sério no meu primeiro cargo profissional.\nIsso é TI fabril. Quando a linha para por causa de algo de que tratas, descobres depressa que a fiabilidade não é uma preferência, e as pessoas ao lado da máquina dizem-to elas próprias. Foi também a primeira vez que geri Linux e Windows no mesmo edifício para ganhar a vida, o que tem sido o padrão desde então.\nDaí passei para o suporte técnico de primeira linha. Primeira e segunda linha, num balcão dedicado a um grande cliente multinacional. Desktops Windows, Active Directory, Exchange 2007, Cisco VPN, Cisco Call Manager, gestão de pedidos baseada em ITIL no Remedy. Essa disciplina ITIL, gestão de alterações, gestão de problemas, processos estruturados, acompanhou-me em todos os cargos desde então. Também liguei cedo os mundos Linux e Windows, a configurar o Services for Unix e a resolver o acesso do Citrix a partilhas NFS em Unix.\nMesmo nesse balcão eu construía para lá da descrição de funções. Escrevi uma interface que criava e desativava contas de utilizador diretamente a partir dos dados de RH no Agresso, a tratar da conta do Active Directory, da pertença a grupos, da configuração do Office Communicator, da caixa de correio Exchange e dos aliases. Isso é integração de sistemas a partir de uma cadeira de primeira linha, que não era o que dizia o título do cargo.\nUm dos clientes a quem dei suporte nesse balcão contratou-me mais tarde na empresa seguinte.\nA seguinte foi uma empresa global de comunicações, TIC e segurança. Foi aí que o desenvolvimento de aplicações começou a sério. Em dois anos e meio construí ou contribuí para seis sistemas internos distintos. Uma ferramenta web própria de orçamentação. Interfaces de processamento de encomendas entre Salesforce e Agresso. Um catálogo de dados mestre em SharePoint alimentado pelo Salesforce e pelo Agresso. Um sistema web próprio de gestão de projetos com interfaces para o MSPE e o Agresso para o processamento financeiro. E uma migração de uma aplicação Salesforce Service Cloud personalizada para ServiceNow, com implementação completa dos processos ITIL. Também escrevia a arquitetura de interfaces SQL para as aplicações de negócio da empresa e afinava o desempenho do MS SQL. Administrei IIS e Windows Server 2008 Terminal Services, e era dono do modelo de dados da empresa. Os serviços de diretório, Active Directory e LDAP, tornaram-se aqui uma competência central que me seguiu em todos os cargos depois.\nTambém conduzi um programa de substituição por Windows 7 em todo o Reino Unido, a passar toda a base de utilizadores do Reino Unido para equipamento HP novo em três semanas, com 95% deles a dizer que não tiveram perturbação nenhuma no trabalho. Três semanas é o género de número que só se consegue se a preparação tiver sido bem feita, e a preparação é a metade pouco vistosa sobre a qual ninguém pergunta depois.\nDepois veio a gestão. Uma casa de design de semicondutores com uma pequena equipa de engenheiros espalhados por vários países. Isso juntou vários fios de uma vez. Estava a desenvolver na plataforma Force.com, triggers, páginas Visualforce, controladores próprios, para integrar a contabilidade Financial Force e os sistemas PSA a nível global. Ao mesmo tempo estava a montar dois clusters HPC separados com arranque PXE. Um para as operações de engenharia do Reino Unido e da Europa e outro para as operações de engenharia da China. Ambos usavam Red Hat com sistemas de ficheiros raiz em NFS para criar farms de computação sem disco consistentes e 100% repetíveis. Implementei ZFS em Linux com equipamento Dell PowerVault para armazenamento unificado. Substituí ambientes de segurança antigos e isolados por um Active Directory em Windows Server com Kerberos e LDAP nativos para autenticação única em Linux e Windows. Estabilizei a conectividade internacional montando uma rede unificada com túneis OpenVPN em condições difíceis de operação para a China.\nDurante boa parte desse cargo fui a única pessoa a cobrir tudo isso: as farms de computação Linux, o suporte Windows, o desenvolvimento Salesforce e o suporte aos utilizadores em vários fusos horários, com cargas de trabalho de design de SoC em nós tecnológicos avançados. Um dos engenheiros que reportavam a mim acabou por se tornar programador de Salesforce, e conto isso como o melhor resultado desses anos.\nA seguir veio um mergulho a sério no Linux. Suporte de terceira linha na Pulsant, um fornecedor de cloud e alojamento, a trabalhar em toda a stack. RHEL, CentOS, Ubuntu. Clustering de MySQL com Galera, sharding de MongoDB, HAProxy com SNI e terminação SSL, Apache, PostgreSQL, afinação de PHP-FPM para comércio eletrónico de alto desempenho, correio com Postfix, BIND e PowerDNS para alojamento de DNS, Varnish para cache web, Squid para cache de proxy. IPTables, IPset e Cisco ASA para firewall e proteção contra DoS. Afinação de desempenho de servidores Linux para rede e armazenamento. Resolução de problemas em CPanel, desenvolvimento de modelos de monitorização em SolarWinds e administração de New Relic. Tudo a correr em VMware 5.5 com vCloud Director por baixo.\nE não era só suporte. Desenhei lá um produto de replicação de bases de dados com Galera e levei-o do conceito, passando pelo protótipo, até um serviço pelo qual os clientes pagavam. Aquilo não foi um exercício de laboratório. Foi construído e provado contra cargas de trabalho reais de clientes reais que pagavam, que não é coisa que um fornecedor de alojamento entregue de ânimo leve.\nA terceira linha ensina-te o que quer dizer ser o último nível de escalamento. Quando chega a ti, não há ninguém atrás de ti que o vá resolver.\nDepois a Nominet, o registo por trás de todos os nomes de domínio .uk. DNS à escala nacional. A infraestrutura tem de ser sólida como uma rocha vinte e quatro horas por dia, todos os dias, sem paragens e com prevenção fora de horas. VMware 5.5 e 6, armazenamento HP 3par com zoning fibre channel em Brocade, RHEL 6 e 7 geridos com Puppet, balanceadores de carga F5 em IPv4 e IPv6, correio Postfix, e uma implementação de Zabbix que montei para substituir a monitorização VMware Hyperic, já envelhecida. Também adotei e personalizei o ServiceNow, implementando fluxos de trabalho, instalação de aplicações e descoberta de nós Linux para gestão de configuração e inventário. Ajudei a desenhar e montar processos para externalizar o service desk fora de horas e reduzir o peso da prevenção.\nNa Nominet acabei por ser a primeira pessoa a quem perguntavam, fosse Linux, Unix, ServiceNow ou alguma coisa que ninguém conseguia situar, e fazia questão de voltar com algo que funcionasse e não com algo que soasse bem. É o género de sítio onde aprendes que a abordagem aborrecida e disciplinada à infraestrutura é a que sobrevive ao contacto com uma terça-feira de manhã.\nDepois da Nominet andei por infraestrutura e alojamento. VMware 6.7, Zerto para recuperação de desastres, armazenamento Dell Compellent e Nexsan com zoning fibre channel em Brocade, Citrix Cloud com gestão de perfis FSLogix ao lado do Azure. Também lá introduzi a monitorização com Zabbix, desenhando os modelos e os scripts de raiz.\nDepois o retalho. A chefiar uma pequena equipa, a trazer de volta para casa a administração do VMware 6.7 que estava com um terceiro, a implementar monitorização com Zabbix (outra vez, a substituir a tentativa falhada de alguém), a refazer a instalação de sistemas operativos à volta de PXE e Chocolatey, a atualizar a rede com equipamento Fortinet, e a pôr ordem nas compras de hardware.\nDepois o cargo que mudou tudo. No UK Centre for Ecology \u0026amp; Hydrology geri a equipa de computação científica, quatro pessoas a reportar diretamente a mim, e reconstruí a infraestrutura de raiz. Uma cloud privada Proxmox VE de 7 nós com armazenamento Ceph hiperconvergente sobre comutação dupla de 100Gb. Um cluster HPC de 8 nós em InfiniBand HDR com Slurm, com SR-IOV para dar às VM acesso à fabric e EasyBuild para compilar software. Migração de GPFS para armazenamento Ceph todo em NVMe. Ansible com NetBox como fonte de verdade para tudo: gestão de patches, controlo de desvios de configuração, integrações com Cloudflare, PowerDNS e Active Directory. Encaminhamento dinâmico OSPF para as redes da cloud. Espelhos locais de repositórios para a máxima rapidez e consistência nas instalações. Reinstalação do ambiente HPC de CentOS 7 para Rocky 9. Cloudflare para DNS (incluindo DNSSEC), proteção contra DDoS e acesso remoto Zero Trust. Isto incluiu migrar 25 zonas DNS autoritativas de BIND 9 alojado por nós para a Cloudflare em dois dias úteis. Foram atualizados vários registos, e tudo ficou integrado com Ansible e Let\u0026rsquo;s Encrypt.\nTudo isto com ferramentas open source, orçamento apertado, construído de propósito para ficar longe da armadilha do licenciamento da Broadcom e da VMware antes de ela se fechar. Isso arrumou a discussão. Infraestrutura open source a essa escala não é só viável: é melhor, e tenho o cluster e as faturas para o provar.\nA outra metade desse trabalho eram as quatro pessoas da equipa. Os cientistas não querem saber como se chama o armazenamento. Querem saber se o trabalho corre esta noite, e se a pessoa a quem perguntam consegue explicar a resposta sem os fazer sentir parvos por terem perguntado.\nComo tudo se junta A passagem para presales na croit não foi uma mudança de direção. Foi tudo a cair no mesmo sítio.\nTI fabril A fiabilidade não é opcional quando a produção depende de ti Suporte de primeira linha Aprender a ouvir, a comunicar e a ter paciência Desenvolvimento de aplicações Construir sistemas que resolvem problemas reais do negócio Gestão de TI global Carregar o peso técnico enquanto se desenvolvem pessoas Engenharia Linux a fundo O último nível de escalamento: mais ninguém a quem ligar DNS crítico na Nominet Infraestrutura e disciplina à escala nacional Infraestrutura e alojamento VMware, armazenamento e recuperação de desastres em escala Computação científica (UKCEH) Reconstruída em Proxmox VE + Ceph + HPC, toda em open source Presales na croit Desenhar o sistema, defender o desenho, ser honesto sobre ele A TI fabril ensinou-me que a fiabilidade deixa de ser uma preferência no momento em que a produção depende dela. O suporte de primeira linha ensinou-me a ouvir antes de fazer o que quer que seja. O desenvolvimento de aplicações ensinou-me a construir sistemas que resolvem um problema do negócio e não um problema interessante. Gerir uma equipa global ensinou-me a carregar o peso técnico e ainda assim desenvolver as pessoas à minha volta, o que é mais difícil do que qualquer das metades sozinha. O Linux de terceira linha ensinou-me como é ser o último nível de escalamento. Gerir Windows e Linux lado a lado durante vinte anos ensinou-me como as plataformas se comportam de facto sob carga, por oposição ao que a ficha técnica diz que farão. O VMware, que geri em quase todos os cargos a partir de 2008, ensinou-me como é a virtualização empresarial em escala, e depois o que acontece quando o chão comercial se mexe debaixo de uma plataforma onde assenta o parque inteiro. O armazenamento e as redes ensinaram-me onde vivem os problemas difíceis. A segurança atravessou tudo, de firewalls e VPN no início a DNSSEC, Zero Trust e endurecimento agora. A Nominet ensinou-me disciplina.\nJunta tudo isso e tens presales. Desenhas o sistema, depois defendes o desenho, e manténs-te honesto sobre o que ele não vai fazer, porque alguém está prestes a gastar dinheiro a sério com base na tua palavra.\nNa croit, isso quer dizer trabalhar com empresas na Europa e na Ásia-Pacífico que estão a repensar a virtualização e o armazenamento. As conversas costumam ser sobre deixar o VMware para ir para Proxmox VE com Ceph. As cargas de trabalho que vêm são sobretudo Windows, por isso a experiência multiplataforma não é coisa do passado. É o que faço agora.\nA parte que me importa é a honestidade. O que ponho à frente de alguém tem de ser a coisa que funciona no edifício dele, à escala dele, com as limitações que tem de facto, e se o equipamento que já tem faz a maior parte do trabalho, é isso que lhe vou dizer.\nA STACK QUE DESENHO E MONTO HOJE Automação e fonte de verdade Ansible · NetBox · Let's Encrypt Computação Proxmox VE: máquinas virtuais KVM + contentores LXC Armazenamento Ceph: blocos RBD · CephFS · todo em NVMe Rede Fabric de 25/100GbE · BGP / OSPF · IPv6 nativo Base Open source, em hardware que é teu Armazenamento O armazenamento foi sempre onde estavam os problemas mais difíceis. Não foi um plano de carreira deliberado: simplesmente correu assim.\nO fascínio começou cedo. Nos anos 90 sonhava com os discos Iomega Zip e Jaz: 100MB, e depois um gigabyte inteiro, num único cartucho amovível, quando as disquetes que toda a gente trocava levavam só 1,44MB. Eram equipamento caro, por isso durante anos ficaram no que se quer e não no que se tem. Quando finalmente arranjei uma drive Zip USB, as pens USB tinham acabado de aparecer, e o formato que eu tanto tinha querido já estava de saída. Uma lição precoce sobre a velocidade a que o armazenamento evolui, e sobre a rapidez com que o indispensável de hoje se torna a tralha da gaveta de amanhã.\nO ótico fez parte da mesma história. Em 1998 tinha uma drive HP CD-RW de velocidade quádrupla, e era uma maravilha. Lia e regravava discos que drives posteriores, mais rápidas, simplesmente recusavam, por isso ganhou o seu lugar como drive de salvamento muito depois de já dever ter sido reformada.\nComeçou pela interligação. Trabalhei com hardware de armazenamento de todo o tipo. IDE, várias gerações de SCSI, SATA, SAS e NVMe do lado do armazenamento ligado diretamente. ATA over Ethernet e iSCSI do lado do armazenamento em rede. HP 3par, Dell Compellent, Dell PowerVault, Nexsan, cada um com as suas manias e os seus modos de falha.\nDaí foi subindo pela stack. O LVM em cluster ensinou-me como se comporta o armazenamento partilhado quando vários nós precisam de acesso simultâneo, e o que acontece quando o bloqueio e o fencing não estão bem. O ZFS ensinou-me o que acontece quando se pensa a sério na integridade dos dados ao nível do sistema de ficheiros. O GPFS mostrou-me sistemas de ficheiros paralelos em escala. O Ceph ensinou-me como os sistemas distribuídos se comportam de outra forma perante falhas.\nCom os anos, o que começou como «a pessoa que também trata do armazenamento» passou a «a pessoa a quem ligas quando o armazenamento tem de ser bem desenhado».\nRedes As redes estiveram lá desde o início. Não são uma competência de apoio: são uma competência central. TCP/IP, DHCP e DNS atravessam todos os cargos que tive, da McKenna em diante.\nTrabalhar na Nominet queria dizer trabalhar na infraestrutura por trás do registo de nomes de domínio do Reino Unido. Isso é DNS à escala nacional. Nomes, resolução, delegação, e a expectativa de que funcione todas as vezes, sem exceção.\nGeri zonas autoritativas em BIND 9, configurei DNSSEC, montei balanceadores de carga F5 para IPv4 e IPv6, e mais tarde migrei parques de DNS para a Cloudflare com automação por API e integração com Let\u0026rsquo;s Encrypt. Montei infraestrutura DNS com arranque PXE para instalação de clusters no Reino Unido e na China. Percebo o DNS dos dois lados. Alojado por nós, onde cada falha é tua. E gerido, onde confias num fornecedor e precisas de verificar essa confiança com monitorização.\nPara além do DNS, as redes atravessam todos os cargos que tive. VLAN, bonding, LACP, zoning fibre channel com Brocade, firewalls Fortinet e Cisco ASA, IPTables e IPset. Desenho de fabrics de 25GbE e 100GbE, BGP, encaminhamento dinâmico OSPF, gestão de MTU, arquitetura IPv6. Túneis VPN, de OpenVPN em ligações internacionais difíceis a WireGuard e cloudflared para acesso seguro moderno. O Samba também foi uma competência profissional em vários cargos, a ligar a partilha de ficheiros em Linux à integração em domínios Windows muito antes de eu andar a testar a implementação de AD em alfa.\nUm cluster Ceph é uma aplicação de rede. O teto de desempenho do armazenamento é fixado pela rede que está por baixo. Os modos de falha são modos de falha de rede. Isso não se aprende num manual. Aprende-se a resolver problemas às duas da manhã.\nLinux Trabalho com as famílias RHEL, Debian, SUSE e Fedora há mais de duas décadas. Profissionalmente, isso quis dizer RHEL e CentOS para serviços em produção, Ubuntu para alojamento de aplicações, Rocky para HPC, e Gentoo e Fedora para uso pessoal. Passei na avaliação de competências de Linux do LinkedIn.\nA profundidade veio de problemas que não têm resposta no Stack Overflow, que é onde acabas por aprender o subsistema PCI a sério e não por ouvir dizer: grupos IOMMU, ACS, VFIO, SR-IOV, Resizable BAR e o que a tradução de DMA te está a custar em silêncio, e os parâmetros de arranque do kernel como controlos que mudam o comportamento da máquina e não como uma lista para copiar de uma wiki porque o blog de alguém disse que lhe resolveu a coisa.\nOs problemas de desempenho de armazenamento e virtualização vão quase sempre dar a uma camada para a qual ninguém olhou. É aí que vive o meu conhecimento de Linux.\nWindows O Linux é onde passo o tempo agora, mas o lado Windows é igualmente real e esteve presente em todos os empregos que tive. Windows Server, Active Directory, LDAP, Exchange, IIS, Microsoft SQL Server. Nada disso é uma competência antiga que tenha posto de lado.\nImporta ao nível do convidado, que é onde a maioria das pessoas deixa de olhar. Quando uma carga Windows corre em KVM, a pessoa que te sabe dizer como esse convidado se comporta com uma dada topologia de CPU, e que consegue seguir uma queixa de desempenho até um patch da Microsoft em vez de culpar o hipervisor, é a pessoa que passou anos dos dois lados da cerca. A maioria das discussões sobre desempenho de VM a que assisti foram ganhas por alguém que conhecia o convidado, não o anfitrião.\nAs pessoas a quem dei suporte vão de professores e administradores de empresas à equipa que trata dos edifícios. O trabalho é o mesmo em todos os casos. Perceber do que precisam de facto, pô-lo a funcionar, e explicá-lo de forma que não fiquem a sentir-se parvos por terem perguntado.\nVMware O VMware é a plataforma em que cresci profissionalmente, em sete cargos a partir de 2008, e geri a stack completa: ESXi, vCenter, vSAN, clustering vSphere, vMotion. Sei o que faz bem. Sei onde não faz. E vi a compra pela Broadcom reescrever a realidade comercial por baixo de empresas que tinham construído o parque inteiro em cima dele, o que é diferente de ler sobre isso.\nNão podes ajudar alguém a sair de uma plataforma em que nunca trabalhaste a sério. Como tal, consigo dizer-lhes do que estão a abdicar, o que estão a ganhar, e que parte da migração vai ser pior do que lhes fizeram crer.\nAutomação A forma de pensar em automação começou no meu primeiro cargo profissional, em 2006. Scripts VB na McKenna para automatizar o mapeamento de unidades no AD, a atribuição de impressoras e a instalação de software. Depois ferramentas de criação de contas de RH para AD na BT Engage IT. Depois sistemas de arranque PXE para clusters de computação sem disco na Sondrel. Depois Puppet na Nominet. Depois pacotes Chocolatey e reinstalação por PXE numa empresa de retalho. Depois personalização de fluxos de trabalho em ServiceNow em vários cargos.\nAgora é Ansible com NetBox como fonte de verdade. Não por estarem na moda, mas porque infraestrutura que não pode ser reconstruída a partir de código não é infraestrutura em que se possa confiar.\nA documentação é o mesmo argumento. Conhecimento que vive só na cabeça de alguém é um ponto único de falha, e sai do edifício às cinco da tarde com os outros todos. O mesmo que um disco sem redundância por trás, e tratado com a mesma seriedade.\nMonitorização O meu percurso em monitorização começou com o SolarWinds na Pulsant, a monitorizar em escala todo o parque de alojamento. O Zabbix veio depois, e merece menção própria porque o instalei em quase todos os sítios desde então. Começou na Nominet, onde conduzi o concurso e os testes e depois nos passei para Zabbix para substituir a montagem VMware Hyperic, já envelhecida, e ganhou por ser genuinamente intuitivo e não mais uma coisa com Nagios por baixo. Depois disso instalei-o de raiz numa plataforma de alojamento e infraestrutura, substituí a tentativa falhada de alguém no retalho, e usei-o para vigiar um cluster HPC de 8 nós no UKCEH.\nDe cada vez desenhei os modelos de monitorização e escrevi os scripts eu próprio. Quando fiz os exames de Zabbix Specialist e Professional em 2018, já o andava a implementar há anos.\nComunicação Trabalhar em infraestrutura crítica ensina-te a ser preciso. Trabalhar em presales ensina-te a ser claro. As duas coisas estão ligadas mas não são a mesma.\nSer preciso não vale nada se quem está a ouvir não consegue seguir o raciocínio, por isso tive de aprender a fazer a mesma explicação duas vezes: uma para o engenheiro que quer ver o mapa CRUSH, e outra para quem tem de aprovar porque é que o orçamento é o número que é. Não simplifico nada até ficar oco. Só torno visível cada passo do raciocínio, e deixo que me parem onde quiserem.\nAnos de utilizadores finais ensinaram-me outro tipo de paciência. As pessoas que se acham as mais espertas da sala são normalmente as que se portam de forma mais desamparada. As que começam com «não percebo muito de tecnologia» costumam ouvir, seguir os passos e resolver a coisa em dez minutos. E as que te dizem que sabem exatamente o que estão a fazer geralmente já pioraram as coisas antes de pegarem no telefone.\nO percurso em sistemas de negócio ajuda aqui mais do que as pessoas esperam, porque sempre tive de traduzir nos dois sentidos. Arquitetura SQL para um diretor de operações, um desenho de armazenamento para um CTO, ou sentado ao lado de alguém na secretária dele a mostrar-lhe a coisa que nunca ninguém lhe mostrou. A mesma competência de cada vez.\nComunidade Partilhar conhecimento atravessou a carreira toda.\nEra ativo nos fóruns do Gentoo quando montava sistemas a partir do código-fonte e precisava de perceber porque é que uma combinação de USE flags estava a partir uma compilação. Contribuí nos fóruns do Samba quando andava às voltas com problemas de partilha de ficheiros e integração em domínios entre Linux e Windows. Foi além de fazer perguntas. Montei um controlador de domínio Active Directory baseado em Samba quando o suporte de AD ainda estava em alfa. Testei-o contra clientes Windows 2000, XP e Vista e devolvi o que aprendi à comunidade.\nAgora sou um contribuidor ativo nos fóruns da comunidade Proxmox como DamienDye. Ajudo com desempenho de passthrough de NVMe, afinação de VM Windows, resolução de problemas de Ceph e redes de clusters.\nAs tecnologias mudam. O princípio não. Se percebi um problema, não há nada a ganhar em guardá-lo para mim, e alguém às duas da manhã daqui a seis meses vai ficar contente por estar escrito.\nTambém tenho o hábito de escavar nos problemas para lá do que a tarefa estritamente pede. Desenhei uma placa caseira de proteção contra falhas de energia para NVMe porque queria perceber exatamente porque é que a corrupção da FTL acontece ao nível do hardware. Estudei protocolos de correio eletrónico alojado por nós porque queria perceber o JMAP a partir do RFC em vez de simplesmente confiar num fornecedor. Fiz este blog porque escrever as coisas como deve ser é a forma de encontrares as lacunas na tua própria compreensão.\nComunidade longe do teclado Nem tudo foram fóruns.\nEm 2018 fui um dos fundadores da Longford Park Community Association em Banbury, no bairro onde vivo. Quatro fases de construção nova, um centro comunitário escrito nos planos, e nada que existisse para o gerir. Por isso um punhado de moradores montou alguma coisa.\nTratei primeiro da parte de TI, porque era isso que eu tinha para dar. O domínio lpca.org.uk foi para o ar em janeiro de 2018, e por trás dele montei o site, os sistemas de correio e as listas da direção, e escrevi a política de privacidade.\nEstive na direção desde o início, e fui o seu presidente de dezembro de 2018 a fevereiro de 2020. Catorze meses, e as coisas que importavam de facto aconteceram todas dentro deles. Conseguimos o registo como instituição de caridade a 11 de fevereiro de 2019, número 1181953. Tratei do arrendamento comercial do edifício. Depois abrimos o centro.\nEra para isso que servia a presidência. Não ordens de trabalhos e atas. Pôr a funcionar um edifício onde umas centenas de agregados familiares pudessem entrar. Moradores voluntários continuam a geri-lo nas fases 1 a 4 da urbanização: três salas, uma cozinha e um parque de estacionamento, alugados à hora a quem no bairro os quiser.\nAs direções de voluntários funcionam com boa vontade, e boa vontade não é um modelo de governação. Por isso fiz as pessoas cumprirem os estatutos, eu incluído. Perguntei porque é que estávamos a recrutar fora quando os estatutos diziam para envolver os moradores, e travei um envio de correio que ia parar à pasta de spam de todas as casas do bairro. Não para ser chato. Uma associação de moradores que não consegue chegar aos moradores já falhou na única função que tem, e mandei as ligações para o corrigir juntamente com a queixa.\nO centro continua aberto e eu já não estou na direção, e é assim que deve ser. Uma coisa que só funciona enquanto estás lá a segurá-la nunca foi bem construída.\nEste site Este blog é um site estático em Hugo com o tema PaperMod. Está alojado em Cloudflare Workers, que serve o site compilado como ficheiros estáticos.\nEscrevo aqui sobre a infraestrutura com que trabalho no dia a dia: Proxmox VE, Ceph, Ansible, NetBox, certificados e o que mais eu tenha andado a escavar nessa semana. Está escrito para ser usado, com os comandos e os números lá dentro, porque um artigo que não consegues seguir ao teclado é decoração. Sem conversa de marketing. Se uma coisa tem arestas por limar, o artigo di-lo.\nContacto Encontras-me no LinkedIn ou nos fóruns do Proxmox.\nSe estás a pensar em Ceph ou Proxmox para a tua empresa e queres uma conversa a sério sobre isso em vez de uma apresentação comercial, manda-me uma mensagem. Traz a carga de trabalho, as limitações e o orçamento que tens de facto. Digo-te o que vai fazer, o que não vai, e se a resposta honesta for que deves manter o que tens e configurá-lo como deve ser, também vais ter essa resposta.\n","permalink":"https://blogs.damiendye.uk/pt/about/","summary":"Damien Dye: Presales Engineer, especialista em infraestrutura e defensor do open source.","title":"Sobre mim"}]