Llai o Feitiau’n Cyrraedd y Gyriant
VDO yw haen dad-ddyblygu a chywasgu cnewyllyn Linux. Mae’n eistedd o dan grŵp cyfrolau ac yn gweithio mewn blociau 4 KiB. Pob bloc mae wedi’i weld o’r blaen, mae’n ei storio unwaith.
Mae’r hyn mae hynny’n ei olygu i’r caledwedd yn syml. Mae llai o feitiau’n cyrraedd y gyriant. Ysgrifennais gymysgedd oedd yn 75% dyblyg a 50% cywasgadwy drwy VDO am 30 eiliad ar y tro, a dywedodd cownteri’r gyriant ei hun ei fod wedi derbyn 23 i 28% o’r hyn ysgrifennodd y gwestai. Ychwanegodd chwe chlôn llawn o ddisg templed 8 bloc data rhyngddyn nhw. Tri deg dau cilobeit.
Mae llai o feitiau’n golygu llai o draul, a llai o waith i unrhyw cache ar y gyriant neu ar y rheolydd o’i flaen. Mae’n costio CPU a hwyrni i gyrraedd yno, ac ar yriant cyflym mae’r gost honno’n cael ei mesur isod yn erbyn yr un Optane heb VDO o gwbl. Ar ddisgiau troelli araf mae’r un gost yn diflannu i mewn i’r amseroedd chwilio, a dyna lle mae hyn yn mynd yn ddiddorol.
Mae dwy reol yn siapio popeth sy’n dilyn. Mae’r pentwr yn drwchus ar drwchus: all dim uwchben VDO, na VDO ei hun, addo mwy o le nag sydd gan y gyriant. A gall metadata VDO ei hun, ei fynegai a’i gyfnodolion, fyw ar NVMe tra bod y data’n byw yn rhywle arafach.
Mae pob rhif yma’n dod o un gwesteiwr Proxmox VE 9.2, Ryzen 7 5700G gydag 16 CPU, cnewyllyn 7.0.14-25-pve, LVM 2.03.31 ac offer vdo 8.3.1.1 Debian, ar ddau yriant Intel Optane a gafodd eu sychu wedyn.
Beth Yw VDO a Ble Mae’n Eistedd
Mae’r cnewyllyn yn disgrifio dm-vdo fel targed device-mapper sy’n ‘provides block-level deduplication, compression, and thin provisioning’1. Mae pob bloc 4 KiB sy’n dod i mewn yn cael ei hashio. Os oes bloc union yr un fath wedi’i storio’n barod, mae VDO yn cofnodi cyfeiriad yn lle copi. Mae blociau nad ydyn nhw’n ddyblyg yn mynd drwy LZ4 ac yn cael eu pacio sawl un i bob bloc ffisegol, a dydy blociau o ddim byd ond sero ddim yn cael eu storio o gwbl2.
LVM sy’n gyrru’r cyfan.
Mae lvcreate --type vdo yn gwneud pwll VDO, sy’n dal y blociau go iawn, a LV VDO ar ei ben gydag unrhyw faint rhithwir rwyt ti’n gofyn amdano2.
Mae grŵp cyfrolau trwchus yn mynd ar yr LV VDO, ac mae Proxmox yn ei ddefnyddio fel storio lvm cyffredin.
| Haen | Enw yn y lab | Beth mae’n ei wneud |
|---|---|---|
| Disgiau VM | vm-9901-disk-0 ac yn y blaen | LVs trwchus, wedi’u creu gan Proxmox |
| Grŵp cyfrolau | vdovg, 35 GiB | LVM plaen, yr hyn mae storio lvm Proxmox yn ei ddarllen |
| LV VDO | vdolab/vdolv, 35 GiB rhithwir | dad-ddyblygu, LZ4, blociau sero’n cael eu gollwng |
| Pwll VDO | vdolab/vdopool, 40 GiB | y blociau go iawn, metadata a mynegai VDO |
| Ffisegol | nvme8n1 | VG vdolab |
Trwchus ar drwchus, neu ddim o gwbl
Mae VDO yn ddarparwr tenau yn ei rinwedd ei hun: gellir rhoi unrhyw faint rhithwir i’r LV VDO. Gwna fe’n fwy nag y gall y pwll ei ddal ac mae’r grŵp cyfrolau ar ei ben yn drwchus ar addewid, sef tenau ar denau wedi’i symud i lawr un haen. Gwnes i’n union hynny ar yr adeiladwaith cyntaf, LV VDO 120 GiB ar bwll 40 GiB, a dangosodd Proxmox draean o’r storio’n rhydd tra oedd VDO yn llawn.
Felly meintia’r LV VDO i’r hyn y gall y pwll ei gyfeirio go iawn, dim mwy.
Mae lvcreate yn argraffu’r ffigur hwnnw, ‘can address 36.00 GB’ ar y pwll 40 GiB hwn, ac mae map blociau VDO ar gyfer y gofod rhesymegol yn dod allan o’r un lle, felly rhoddais 35 GiB iddo.
Yna profais i fe’r ffordd galed. Un ddisg VM yn cymryd pob estyniad y byddai Proxmox yn ei roi, 34 GiB, wedi’i llenwi o un pen i’r llall â data ar hap na all VDO wneud dim ag ef:
# vdostats --human-readable
Device Size Used Available Use% Space saving%
vdolab-vdopool-vpool 40.0G 38.1G 1.9G 95% 0%
Rhedodd y ddisg allan wrth ei phen ei hun, fel y dylai disg drwchus. Roedd gan VDO 1.9 GiB yn rhydd o hyd, mwy na’r 1 GiB oedd gan Proxmox ar ôl i’w ddyrannu. Ffigur Proxmox yw’r terfyn go iawn, a all VDO ddim rhedeg allan gyntaf.
Yr hyn rwyt ti’n ei golli yw’r gorymrwymo: mae’r lle mae dad-ddyblygu’n ei arbed yn dangos fel gyriant sydd byth yn cael ei ysgrifennu, nid fel disgiau ychwanegol i Proxmox. Dyna’r fargen gywir i’r post hwn, sy’n ymwneud â’r caledwedd. A phaid â rhoi pwll lvmthin arno chwaith. Dwy haen denau yw dwy set o lyfrau3.
Beth Mae’n ei Gostio Cyn i Ti Storio Beit
Mae VDO yn cadw mynegai dad-ddyblygu, y mynegai UDS, ar y pwll ei hun.
Adroddodd pwll 40 GiB gwag 4.0 GiB wedi’i ddefnyddio a 36.0 GiB ar gael.
Mae vdolistmetadata, o’r un pecyn vdo, yn rhestru pob bloc metadata ar y ddyfais, ac yn cyfrif am bron y cyfan ohono:
| Rhanbarth | Blociau 4 KiB | Maint |
|---|---|---|
| Mynegai UDS | 679,127 | 2.59 GiB |
| Cyfnodolyn adfer | 32,768 | 128 MiB |
| Cyfrifon cyfeirio a chyfnodolion, 18 slab | 6,372 | 25 MiB |
| Gofod rhy fach i bedwaredd slab ar bymtheg | 336,555 | 1.28 GiB |
| Cyfanswm | tua 4.0 GiB |
Mae’n werth gwybod am y llinell weddill: mae slabiau’n 2 GiB, felly meintia’r pwll mewn slabiau cyfan ynghyd â’r gorbenion neu fydd y gweddill ddim yn cael ei ddefnyddio o gwbl.
RAM yw’r bil arall. Mae’n cael ei dalu p’un a yw’r pwll yn brysur neu’n segur:
| Cost | Rheol o lvmvdo(7) | Y pwll 40 GiB hwn |
|---|---|---|
| Sefydlog | 38 MiB | 38 MiB |
| Cache map blociau | 1.15 MiB i bob MiB o gache, lleiafswm 150 MiB | 150 MiB (128 MiB yn ddiofyn) |
| Gofod ffisegol | 268 MiB i bob TiB | 11 MiB |
| Mynegai UDS (dwys) | lleiafswm 250 MiB, y rhagosodiad | 256 MiB |
| Cyfanswm | tua 455 MiB |
Mae’r mynegai dwys rhagosodedig yn cwmpasu ffenestr dad-ddyblygu o tua 256 GiB, gan fod mynegai dwys gydag 1 GiB o RAM yn ‘maintains a 1 TiB deduplication window’2. Mae’r cache map blociau 128 MiB wedi’i feintio ar gyfer ‘efficient access to 100 GB of logical space at a time’, ac mae dogfennaeth y cnewyllyn yn ei enwi fel y gwerth pwysicaf i’w addasu wrth i’r set waith dyfu1.
Adeiladu’r Pentwr
Gadael i LVM weld PV ar LV
Mae’r grŵp cyfrolau’n eistedd ar LV, ac mae LVM yn anwybyddu LVs fel cyfrolau ffisegol yn ddiofyn.
Mae devices/scan_lvs yn troi hynny ymlaen, ac mae cyfeirlyfr LVM yn cario’r rhybudd sy’n mynd gydag ef: ‘Caution is required to avoid using PVs that belong to guest images stored on LVs’4.
Fel arall byddai grwpiau cyfrolau gwestai sy’n defnyddio LVM y tu mewn i’w ddisg ei hun yn ymddangos ar y gwesteiwr.
Felly mae’r hidlydd yn newid hefyd. Yr un golygiad. Dim ond zvols ZFS a dyfeisiau RBD roedd yr hidlydd stoc ar y gwesteiwr hwn yn eu gwrthod. Ychwanegais wrthodiad i bob disg VM Proxmox:
# lvmconfig devices/global_filter devices/scan_lvs
global_filter=["r|/dev/zd.*|","r|/dev/rbd.*|","r|/dev/mapper/.*-(vm|base)--[0-9]+--disk--[0-9]+|"]
scan_lvs=1
Mae’r un cyfeirlyfr yn dweud bod scan_lvs yn ‘does not enable autoactivation of layered VGs’4.
Does dim angen hynny ar Proxmox. Mae ei ategyn LVM yn actifadu pob disg gyda lvchange -aey pan fydd y VM yn cychwyn5.
Profais i fe yn y cyflwr mae cychwyn yn gadael pethau, popeth wedi’i ddadactifadu ac yna’r un rhediadau udev pvscan: daeth y VG o dan VDO i fyny, ac actifadodd qm start ddisg y VM ei hun.
Mae’r dalfa oddi tano. Gyda’r VG o dan VDO yn anghyflawn, methodd yr un qm start gyda ‘Volume group “vdovg” not found’.
Y pwll VDO, trwchus, gyda’i osodiadau ar y llinell greu
Mae’r fformatydd ym mhecyn vdo Debian6:
# apt install vdo
Yna’r pwll.
-L yw’r gofod go iawn, -V y maint rhithwir, wedi’i gadw o fewn yr hyn y gall y pwll ei gyfeirio.
Mae cynllun yr edafedd a maint y discard yn mynd ar yr un llinell, oherwydd all y naill na’r llall gael ei newid wedyn heb stopio pob VM ar y pwll:
# pvcreate /dev/nvme8n1
Physical volume "/dev/nvme8n1" successfully created.
# vgcreate vdolab /dev/nvme8n1
Volume group "vdolab" successfully created
# lvcreate -y --type vdo -L 40G -V 35G -n vdolv vdolab/vdopool /dev/nvme8n1 --vdosettings "logical_threads=4 physical_threads=4 hash_zone_threads=2 cpu_threads=3 bio_threads=2 ack_threads=1 max_discard=4096"
Wiping vdo signature on /dev/vdolab/vdopool.
The VDO volume can address 36.00 GB in 18 data slabs, each 2.00 GB.
It can grow to address at most 16.00 TB of physical storage in 8192 slabs.
If a larger maximum size might be needed, use bigger slabs.
Logical volume "vdolv" created.
# dmsetup table vdolab-vdopool-vpool
0 73402368 vdo V4 /dev/dm-7 10485760 4096 32768 16380 deduplication on compression on maxDiscard 4096 ack 1 bio 2 bioRotationInterval 64 cpu 3 hash 2 logical 4 physical 4
Cynllun yr edafedd yw’r un sy’n cael ei fesur ymhellach i lawr ar gyfer gwesteiwr 16 CPU; mae gan max_discard=4096 ei adran ei hun.
Y grŵp cyfrolau a storio Proxmox
# pvcreate /dev/vdolab/vdolv
Physical volume "/dev/vdolab/vdolv" successfully created.
# vgcreate vdovg /dev/vdolab/vdolv
Volume group "vdovg" successfully created
# pvesm add lvm vdo-lvm --vgname vdovg --content images,rootdir --on-volume-remove discard=1
# pvesm status | grep -E "Name|vdo-lvm"
Name Type Status Total (KiB) Used (KiB) Available (KiB) %
vdo-lvm lvm active 36696064 0 36696064 0.00%
Mae on-volume-remove discard=1 yn bwysig, ac mae’n cael sylw isod.
Beth Arbedodd Dad-ddyblygu
Ysgrifennais bethau mae gwesteiwr Proxmox yn eu storio go iawn a darllen cownteri blociau VDO ar ôl pob un.
logical blocks used yw’r hyn ysgrifennodd yr haenau uwchben; data blocks used yw’r hyn storiodd VDO. Blociau 4 KiB yw’r ddau.
| Beth gafodd ei ysgrifennu | Blociau rhesymegol wedi’u hychwanegu | Blociau data wedi’u hychwanegu | Wedi’i arbed |
|---|---|---|---|
| rootfs Rocky Linux 10, ext4 ar ddisg 4 GiB | 114,505 | 60,537 | 47% |
Chwe chlôn llawn ohono (qm clone --full, tua 4 s yr un) | 6,291,456 | 8 | 99.9999% |
| ISO Proxmox Datacenter Manager 1.1, 1.36 GiB | 356,172 | 351,965 | 1.2% |
Ei ailadeiladu -auto, bron yr un beitiau | 356,399 | 40 | 99.99% |
| 4 GiB o sero | 1,048,575 | 0 | 100% |
| 1 GiB o ddata ar hap | 262,143 | 262,144 | 0% |
Ysgrifennodd pob clôn y 4 GiB i gyd, sero yn gynwysedig, oherwydd mae clôn llawn ar LV trwchus yn copïo pob bloc. Storiodd VDO y sero fel dim byd a’r gweddill fel cyfeiriadau.
Mae VDO yn dda iawn am ddata mae wedi’i weld o’r blaen. Ac am ddim byd. Mae’n ddiwerth ar ddata sydd wedi’i gywasgu neu ei amgryptio’n barod, a dyna pam arbedodd yr ISO cyntaf, squashfs gan mwyaf, 1.2%.
Gyda’r templed a’i chwe chlôn yn eu lle, dangosodd Proxmox y storio’n 80.01% wedi’i ddefnyddio, 28 GiB o ddisgiau trwchus allan o 35. Roedd y gyriant yn dal 4.3 GiB, a’r mynegai oedd y rhan fwyaf o hwnnw. Ar storio trwchus dyna’r pwynt: mae Proxmox yn cyfrif yr hyn sydd wedi’i ddyrannu, ac mae’r gyriant yn cario’r hyn sy’n wahanol go iawn.
Beth Mae’r Gyriant yn ei Dderbyn Go Iawn
Ciplun yw arbedion ar ddisg. Y llif sy’n bwysig i’r caledwedd.
Felly mesurais y beitiau’n cyrraedd y gyriant wrth ysgrifennu: fio am 30 eiliad, cownter ysgrifennu’r gyriant o /sys/block cyn ac ar ôl, yr un Optane gyda VDO a hebddo, ddwywaith yr un.
Mae’r cownter yn onest. Ar draws y rhediad cyfan adiodd i 794 GB, a symudodd ‘Data Units Written’ SMART y gyriant ei hun 794 GB hefyd.
| Llwyth gwaith, 30 s | Heb VDO | Gyda VDO, 16 edefyn | Beitiau’n cyrraedd y gyriant |
|---|---|---|---|
| ysgrifennu 4k ar hap, QD32, 4 swydd, 75% dyblyg, 50% cywasgu | 582,013 IOPS, p99 244 µs | 460,887 IOPS, p99 1.05 ms | 28% |
| ysgrifennu 128k, QD8, 75% dyblyg, 50% cywasgu | 2,345 MiB/s, p99 490 µs | 2,179 MiB/s, p99 1.02 ms | 23% |
| ysgrifennu 4k ar hap, QD32, 4 swydd, data ar hap | 571,721 IOPS | 272,366 i 381,005 IOPS | 59 i 100% |
| ysgrifennu 128k, QD8, data ar hap | 2,346 MiB/s | 1,051 i 1,854 MiB/s | 100% |
Ar gymysgedd realistig, cadwodd VDO 79 i 93% o drwybwn y gyriant noeth ac anfon chwarter y beitiau ato. Ar ddata cwbl ar hap dydy e’n arbed dim ac mae’n costio llawer, ac roedd y ddau rediad yn anghytuno mor eang fel mai dim ond yr ystod rydw i’n ei rhoi.
Prosesu VDO ei hun yw’r hwyrni cynffon, nid y gyriant. p99 o tua milieiliad, yn erbyn chwarter un yn noeth.
Does gan yr Optane ddim cache i’w ryddhau
Mae’r gyriannau hyn yn dweud hynny eu hunain: vwc 0 o nvme id-ctrl, write through yn /sys/block.
Mae Optane yn ysgrifennu yn ei le heb lwyfannu DRAM nac SLC, felly ar y caledwedd hwn y beitiau a’r traul yw’r ennill, nid cache gyriant sy’n llenwi’n arafach.
SSD NAND gyda cache SLC, neu reolydd RAID gyda cache write-back, yw lle mae llai o feitiau’n prynu ymatebolrwydd hefyd. Dyna adran RAID6 isod.
Paru Edafedd VDO â’r CPUs
Yn syth o’r bocs mae LVM yn rhoi deg edefyn i VDO: un rhesymegol, un ffisegol, un parth hash, dau CPU, pedwar cyflwyno bio, un cydnabod. Ar westeiwr 16 CPU mae hynny’n gadael y rhan fwyaf o’r peiriant yn segur tra bod gwaith map blociau VDO yn ciwio y tu ôl i un edefyn rhesymegol.
Mae dogfennaeth y cnewyllyn yn esbonio’r nobiau1. Mae pob edefyn rhesymegol yn berchen ar ‘a disjoint section of the block map’, pob edefyn ffisegol ar ‘a disjoint section of the data blocks’, ac mae’r ddau ‘can increase throughput’, tra bod gormod o edafedd yn ‘can waste resources and increase contention’. Mae edafedd rhesymegol yn mynd hyd at 60, rhai ffisegol hyd at 16, ac mae angen o leiaf un slab i bob edefyn ffisegol ar y pwll. Ar 18 slab mae lle gan hwn.
| Cynllun | logical | physical | hash | cpu | bio | ack | Cyfanswm |
|---|---|---|---|---|---|---|---|
| Rhagosodiadau LVM | 1 | 1 | 1 | 2 | 4 | 1 | 10 |
| Wedi’u paru ag 16 CPU | 4 | 4 | 2 | 3 | 2 | 1 | 16 |
| Dwbl hynny | 8 | 8 | 4 | 6 | 2 | 2 | 30 |
Rhedodd pob cynllun yr un swyddi fio ddwywaith, wedi’u cydblethu, gyda data ar hap, ynghyd â darllen y saith disg clôn i gyd ar unwaith fel mae saith VM yn cychwyn gyda’i gilydd:
| Prawf, cymedr dau rediad | Rhagosodiadau | Wedi’u paru ag 16 CPU | Dwbl hynny |
|---|---|---|---|
| ysgrifennu 4k ar hap, QD32, 4 swydd | 292,466 IOPS | 365,314 IOPS | 302,461 IOPS |
| p99 ysgrifennu 4k ar hap, 4 swydd | 2.1 i 3.7 ms | 1.5 i 1.6 ms | 2.1 i 2.2 ms |
| ysgrifennu dilyniannol 1M | 1,153 MiB/s | 1,729 MiB/s | 1,507 MiB/s |
| darllen 4k ar hap, QD32, 4 swydd | 507,450 IOPS | 503,827 IOPS | 485,263 IOPS |
| Saith disg clôn wedi’u darllen ar unwaith | 7.5 s | 3.1 s | 3.4 s |
Mae paru â nifer y CPUs yn ennill bron popeth: chwarter yn fwy o ysgrifiadau cyfochrog, hanner cymaint eto ar ysgrifiadau dilyniannol, saith disg wedi’u darllen 2.4 gwaith yn gyflymach, a chynffon dynnach. Mae dyblu eto’n waeth ym mhob man. Dyna’r gynnen mae’r ddogfennaeth yn rhybuddio amdani. Y rhagosodiadau oedd y lleiaf sefydlog hefyd, gyda’r darlleniad saith disg yn siglo o 6.1 i 8.8 s rhwng rhediadau.
Fel y cyfryw, y rheol yw un edefyn VDO i bob CPU, wedi’u taenu ar draws y mathau fel uchod, gydag edafedd ffisegol wedi’u capio gan nifer y slabiau.
Beth Mae VDO yn ei Gostio ar Galedwedd Cyflym
Yr un Optane heb VDO, yn erbyn VDO gyda’i edafedd wedi’u paru, data ar hap, cymedr dau rediad:
| Prawf | Optane, dim VDO | VDO, 16 edefyn |
|---|---|---|
| ysgrifennu 4k ar hap, QD1 | 42,294 IOPS, 19.4 µs | 55,806 IOPS, 12.1 µs |
| ysgrifennu 4k ar hap, QD32 | 142,416 IOPS | 144,292 IOPS |
| ysgrifennu 4k ar hap, QD32, 4 swydd | 572,293 IOPS | 365,314 IOPS |
| darllen 4k ar hap, QD1 | 55,276 IOPS, 14.4 µs | 27,988 IOPS, 31.4 µs |
| darllen 4k ar hap, QD32, 4 swydd | 586,463 IOPS | 503,827 IOPS |
| ysgrifennu dilyniannol 1M, QD8 | 2,348 MiB/s | 1,729 MiB/s |
| Saith disg templed wedi’u darllen ar unwaith | 11.1 s | 3.1 s |
Darllena fe’n blaen. Mae un darlleniad ar hap yn cymryd mwy na dwywaith cyhyd drwy VDO. Mae ysgrifiadau ar hap cyfochrog yn colli mwy na thraean, ysgrifiadau dilyniannol chwarter. Ar yriant mor gyflym â hwn, 17 µs o waith ychwanegol VDO i bob darlleniad yw’r rhan fwyaf o’r darlleniad.
Dydy’r ysgrifennu QD1 yn bod yn gyflymach drwy VDO ddim yn ginio am ddim. Ymhell o fod. Mae VDO yn cydnabod ysgrifiad cyn ei fod ar y gyriant, ac mae dogfennaeth y cnewyllyn yn blaen bod ‘unflushed writes may or may not persist after a crash’1. Mae’r rhif hwnnw’n mesur cydnabyddiaeth. Mae gwestai sy’n fflysio, fel mae pob system ffeiliau’n ei wneud, yn cael y gwydnwch mae’n gofyn amdano.
Y llinell saith disg yw’r un mae VDO yn ei hennill yn llwyr, ac mae’n werth bod yn glir pam. Mae’n rhaid i saith copi plaen ddarllen 28 GiB o feitiau go iawn, sero yn gynwysedig. Mae VDO yn darllen un set o flociau a rennir ac yn hepgor y sero.
Felly ar fflach cyflym, mae VDO yn cyfnewid hwyrni am feitiau. Cost sefydlog yw pob un o’r microeiliadau hynny, serch hynny, a dydy hi ddim yn tyfu pan fydd y gyriant oddi tano’n mynd yn arafach.
Rhoi Metadata VDO ar NVMe
Does gan VDO ddim dyfais metadata ar wahân. Mae popeth yn byw ar yr un LV pwll. Ond mae ffynhonnell dm-vdo yn dangos bod y cynllun yn sefydlog, a gellir adeiladu LV o ddarnau ar wahanol yriannau.
Mae’r cod fformatio’n gosod gwreiddiau’r map blociau o ddechrau’r rhanbarth data, yna crynodeb y slabiau a’r cyfnodolyn adfer o’r diwedd, ac yn llenwi’r canol â slabiau7.
Mae’r mynegai UDS yn eistedd o flaen y cyfan, yn syth ar ôl y bloc geometreg.
Cadarnhaodd vdolistmetadata hynny ar bwll y lab:
| Blociau | Beth | Ble mae’n eistedd |
|---|---|---|
| 0 i 679,188 | geometreg, mynegai UDS, uwch-floc, gwreiddiau’r map blociau | y 2.59 GiB cyntaf |
| y tu mewn i bob slab 2 GiB | data, dail y map blociau, 130 bloc cyfeirio a chyfnodolyn slab 224 bloc | wedi’u taenu drwy’r pwll |
| 10,452,928 i 10,485,695 | cyfnodolyn adfer | y 128 MiB olaf, bron |
| 10,485,696 i 10,485,759 | crynodeb y slabiau | y 256 KiB olaf un |
Felly adeilada’r LV pwll mewn tri darn: y pen blaen ar NVMe, y canol ar y gyriant araf, y gynffon ar NVMe.
Yna trosa fe’n bwll VDO, rhywbeth mae lvmvdo(7) yn ei ddogfennu ar gyfer LV sy’n bodoli2.
Yma mae nvme6n1 yn sefyll yn lle’r NVMe a nvme8n1 yn lle’r gyriant araf:
# lvcreate -y -L 3G -n splitpool vdolab /dev/nvme6n1
Logical volume "splitpool" created.
# lvextend -l +9408 vdolab/splitpool /dev/nvme8n1
Size of logical volume vdolab/splitpool changed from 3.00 GiB (768 extents) to 39.75 GiB (10176 extents).
Logical volume vdolab/splitpool successfully resized.
# lvextend -l +64 vdolab/splitpool /dev/nvme6n1
Size of logical volume vdolab/splitpool changed from 39.75 GiB (10176 extents) to 40.00 GiB (10240 extents).
Logical volume vdolab/splitpool successfully resized.
# lvconvert -y --type vdo-pool -n splitlv -V 35G vdolab/splitpool --vdosettings "logical_threads=4 physical_threads=4 hash_zone_threads=2 cpu_threads=3 bio_threads=2 ack_threads=1 max_discard=4096"
WARNING: Converting logical volume vdolab/splitpool to VDO pool volume with formatting.
THIS WILL DESTROY CONTENT OF LOGICAL VOLUME (filesystem etc.)
The VDO volume can address 36.00 GB in 18 data slabs, each 2.00 GB.
It can grow to address at most 16.00 TB of physical storage in 8192 slabs.
If a larger maximum size might be needed, use bigger slabs.
Logical volume "splitlv" created.
Converted vdolab/splitpool to VDO pool volume and created virtual vdolab/splitlv VDO volume.
Yna gwiria fod VDO wedi rhoi ei fetadata lle mae’r estyniadau:
# vdolistmetadata /dev/mapper/vdolab-splitpool_vdata | grep -v "slab [0-9]* \(reference\|journal\)"
0 .. 0: geometry block
1 .. 679127: index
679128 .. 679128: super block
679129 .. 679188: block map tree roots
10452928 .. 10485695: recovery journal
10485696 .. 10485759: slab summary
Mae estyniad yn 1,024 bloc. Pen blaen yr NVMe yw estyniadau 0 i 767, blociau 0 i 786,431, sy’n cwmpasu’r mynegai a’r gwreiddiau, gyda tua 420 MiB o ddata’r slab cyntaf yn dod gydag ef. Cynffon yr NVMe yw estyniadau 10,176 i 10,239, blociau 10,420,224 ymlaen, sy’n cwmpasu’r cyfnodolyn adfer a chrynodeb y slabiau.
Faint o waith VDO sy’n symud gydag ef, i bob rhediad 30 eiliad, wedi’i gyfrif i bob dyfais:
| Llwyth gwaith | I/Os ysgrifennu NVMe | I/Os ysgrifennu’r gyriant data | Cyfran NVMe |
|---|---|---|---|
| ysgrifennu 4k ar hap, 75% dyblyg, 50% cywasgu | 388,430 i 538,223 | 3.42 i 3.63 miliwn | 10 i 13% |
| ysgrifennu 128k, 75% dyblyg, 50% cywasgu | 458,214 i 634,167 | 3.30 i 3.53 miliwn | 12 i 15% |
| ysgrifennu 4k ar hap, data ar hap | 181,457 i 384,507 | 3.25 i 8.49 miliwn | 4 i 5% |
| darllen 4k ar hap | 0 ysgrifiad, 2% o’r darlleniadau | 0 |
Degfed ran neu fwy o’r gweithrediadau ysgrifennu: y cyfnodolyn adfer, diweddariadau’r mynegai, a’r sleisen honno o slab 0 ar ben blaen yr NVMe. Ysgrifiadau metadata bach, gwasgaredig ydyn nhw, y math mae disg troelli’n eu trin waethaf. Ar NVMe maen nhw’n ddim byd.
Dau derfyn.
Mae’r metadata i bob slab, cyfrifon cyfeirio, cyfnodolion slab a dail y map blociau, yn byw y tu mewn i’r slabiau, ac yn aros gyda’r data.
A wnes i ddim profi tyfu pwll hollt. Mae’r cyfnodolyn yn cael ei osod o’r diwedd, felly ar ôl unrhyw lvextend, rhed vdolistmetadata eto a gweld i ble’r aeth cyn ymddiried ynddo.
VDO ar bcache: Un NVMe, Dwy Swydd
bcache yw’r ffordd arall o roi fflach o flaen disgiau araf. Dyna’r hyn rydw i’n ei redeg yn barod o dan Ceph ar yriannau troelli, gyda phob gosodiad wedi’i esbonio yn y post bcache. Felly’r cwestiwn yw beth mae VDO yn ei wneud i gache bcache pan mae’n eistedd ar ben un.
Mae un NVMe yn gwneud y ddwy swydd fflach, wedi’i rannu’n ddau raniad:
| Dyfais | Maint | Swydd |
|---|---|---|
nvme8n1p1 | 32 GiB | cache bcache, writeback |
nvme8n1p2 | 8 GiB | pen blaen a chynffon VDO: mynegai, gwreiddiau, cyfnodolyn adfer, crynodeb y slabiau |
nvme6n1 | 349 GiB | dyfais gefn bcache, lle mae’r data’n byw |
/dev/bcache0 | 349 GiB | canol y pwll VDO, y slabiau |
Optanes yw’r ddau yriant eto, felly mae nvme6n1 yn sefyll yn lle disg troelli.
Cadwa hynny mewn cof ar gyfer pob ffigur isod. Mae’r ddyfais gefn yma’n gyflym, felly mae hyn yn mesur yr hyn sy’n cyrraedd y cache, nid pa mor hir mae gwerthyd yn ei gymryd i’w wagio.
Y rhaniadau a’r set cache, gyda’r gosodiadau o’r post hwnnw:
# sgdisk --zap-all /dev/nvme8n1
# sgdisk -n 1:0:+32G -c 1:bcache-cache -n 2:0:+8G -c 2:vdo-meta /dev/nvme8n1
# blockdev --rereadpt /dev/nvme8n1
# apt install bcache-tools
# make-bcache -C /dev/nvme8n1p1 -B /dev/nvme6n1 --writeback
# B=/sys/block/bcache0/bcache
# echo 0 > $B/sequential_cutoff
# echo 40 > $B/writeback_percent
# echo 81920 > $B/writeback_rate
# echo 20480 > $B/writeback_rate_minimum
# CS=/sys/fs/bcache/47bac36f-a1d5-4e8e-8695-2e7ff944172d
# echo 0 > $CS/congested_read_threshold_us
# echo 0 > $CS/congested_write_threshold_us
Mae’r llinellau echo hynny’n para tan yr ailgychwyn nesaf. Y rheol udev yn y post bcache yw sut maen nhw’n glynu.
Yna’r pwll, wedi’i hollti yr un ffordd ag uchod, gyda nvme8n1p2 ar gyfer y ddau ben a bcache0 ar gyfer y canol:
# pvcreate /dev/bcache0 /dev/nvme8n1p2
# vgcreate vdolab /dev/bcache0 /dev/nvme8n1p2
# lvcreate -y -L 3G -n vdopool vdolab /dev/nvme8n1p2
# lvextend -l +9408 vdolab/vdopool /dev/bcache0
# lvextend -l +64 vdolab/vdopool /dev/nvme8n1p2
# lvconvert -y --type vdo-pool -n vdolv -V 35G vdolab/vdopool --vdosettings "logical_threads=4 physical_threads=4 hash_zone_threads=2 cpu_threads=3 bio_threads=2 ack_threads=1 max_discard=4096"
# lvs -a --segments -o lv_name,lv_size,segtype,seg_start_pe,seg_size_pe,devices vdolab
LV LSize Type Start SSize Devices
vdolv 35.00g vdo 0 8960 vdopool(0)
vdopool 40.00g vdo-pool 0 10240 vdopool_vdata(0)
[vdopool_vdata] 40.00g linear 0 768 /dev/nvme8n1p2(0)
[vdopool_vdata] 40.00g linear 768 9408 /dev/bcache0(0)
[vdopool_vdata] 40.00g linear 10176 64 /dev/nvme8n1p2(768)
Argraffodd vdolistmetadata yr un ystodau blociau â’r adeiladwaith hollt, felly mae’r mynegai a’r ddau gyfnodolyn yn eistedd ar nvme8n1p2.
Mae vdovg a storio Proxmox yn mynd ar ei ben yn union fel o’r blaen.
Beth sy’n cyrraedd y cache
Y gymhariaeth yw LV 8 GiB yn syth ar bcache0 yn erbyn LV 8 GiB yn vdovg, yr un swyddi fio am 30 eiliad, ddwywaith, gyda’r cache wedi’i fflysio’n lân rhwng pob rhediad.
Mae cownteri’r dyfeisiau yn /sys/class/block yn dweud i ble’r aeth y beitiau.
| 75% dyblyg, 50% cywasgu, 30 s | bcache yn unig | VDO ar bcache |
|---|---|---|
| ysgrifennu 4k ar hap, QD32, 4 swydd | 212,222 a 205,585 IOPS | 390,206 a 304,757 IOPS |
| p99 | 1.89 a 2.04 ms | 1.45 a 2.54 ms |
| Ysgrifennodd y gwestai | 24.29 a 23.53 GiB | 44.67 a 34.88 GiB |
| Wedi’i ysgrifennu i gache bcache | 25.00 a 24.26 GiB | 11.48 a 10.44 GiB |
| Wedi’i ysgrifennu i raniad metadata VDO | 1.18 a 0.59 GiB | |
| Ysgrifiadau cache i bob beit gwestai | 103% | 26 a 30% |
| Wedi’i adael yn fudr yn y cache ar y diwedd | 6.0 a 6.5 GiB | 5.5 a 5.2 GiB |
| ysgrifennu 128k, QD8 | 2,001 a 1,985 MiB/s | 1,878 a 1,416 MiB/s |
| Ysgrifiadau cache i bob beit gwestai, 128k | 101% | 24 a 27% |
Ar ei ben ei hun cyrhaeddodd bcache ei uchaf ar tua 210,000 ysgrifiad bach yr eiliad, ac ysgrifennodd bob beit i’r cache ynghyd â 3% o’i eiddo ei hun. Rho VDO o’i flaen a chymerodd y cache chwarter y beitiau. Ar y rhediad cyntaf cariodd yr un cache wedyn 390,206 ysgrifiad yr eiliad, bron ddwywaith cymaint, a gorffen gyda llai o ddata budr yn aros am y gyriant araf o hyd. Y cache oedd y terfyn. Symudodd VDO fe.
Yr ail rediad yw’r un onest ar gyfer pwll sydd wedi bod yn cael ei ddefnyddio. Mae fio yn hadu ei generaduron yr un ffordd bob rhediad yn ddiofyn8, felly ysgrifennodd rhediad dau ddata roedd y mynegai wedi’i weld yn barod, yn pwyntio at flociau oedd wedi cael eu taflu ers hynny. Mae VDO yn trin y mynegai fel awgrymiadau ac yn darllen pob bloc ymgeisydd i wirio ei fod yn ddyblyg go iawn cyn ei rannu9. Yn ystod prawf ysgrifennu’n unig, darllenodd yr ail rediad hwnnw 7.11 GiB yn ôl allan o’r cache ac 1.20 GiB o’r gyriant data. Darllenodd y cyntaf 0.12 GiB. Dydy hen gyngor ddim yn rhad ac am ddim, ac ar bwll lle mae VMs yn mynd a dod fe fydd peth ohono bob amser.
Data ar hap yw’r ochr arall iddi:
| Data ar hap, 30 s | bcache yn unig | VDO ar bcache |
|---|---|---|
| ysgrifennu 4k ar hap, QD32, 4 swydd | 205,984 a 203,066 IOPS | 203,186 ac 85,882 IOPS |
| p99 | 2.04 a 2.15 ms | 5.7 a 17.7 ms |
| ysgrifennu 128k, QD8 | 2,038 a 2,017 MiB/s | 878 a 357 MiB/s |
| darllen 4k ar hap, QD1 | 36,609 a 36,639 IOPS, 21.6 µs | 26,345 a 26,202 IOPS, 33.6 a 33.7 µs |
| darllen 4k ar hap, QD32, 4 swydd | 471,585 a 471,730 IOPS | 335,461 a 336,941 IOPS |
Dim byd i’w arbed, felly gorbenion pur yw VDO, ac ar y rhediad â’r mynegai hen fe haneriodd yr ysgrifiadau bach a mwy. Daeth pob darlleniad yn y ddwy golofn o’r cache. Y 12 µs ychwanegol gan VDO yw’r un gost sefydlog mae’n ei hychwanegu ar Optane noeth.
Felly lle mae’r data’n ailadrodd, mae’r ddau’n pentyrru’n dda. Mae’r cache yn cael chwarter y beitiau, yn dal pwl yn hirach, ac mae ganddo lai i’w ysgrifennu’n ôl i’r gwerthydau. Lle nad yw’n ailadrodd, mae bcache yn well ei fyd ar ei ben ei hun.
Ar RAID6 Caledwedd HDD: Wedi’i Resymu, Nid Wedi’i Fesur
Does gen i ddim gwesteiwr RAID6 HDD i brofi arno, felly rhesymu wedi’i adeiladu ar y mesuriadau uchod yw’r adran hon. Mesura dy arae dy hun cyn dibynnu arno.
| Ar RAID6 HDD | Beth mae VDO yn ei newid |
|---|---|
| Ysgrifiadau’n cyrraedd yr arae | tua chwarter, ar gymysgedd fel yr un a fesurwyd |
| Cache write-back y rheolydd | yn llenwi ar chwarter y gyfradd, felly mae’n dal pwl tua phedair gwaith cyhyd |
| Cost CPU VDO | 17 µs i bob darlleniad, wedi’i golli y tu mewn i chwiliad 5 i 10 ms |
| Ysgrifiadau’r cyfnodolyn adfer | degfed ran neu fwy o’r I/Os ysgrifennu, bach ac wedi’u fflysio: rho nhw ar NVMe |
| Chwiliadau’r mynegai | gwylia dedupe advice timeouts yn vdostats; ar storio araf gall VDO roi’r gorau i chwilio ac ysgrifennu’r dyblyg beth bynnag |
| Darllen un clôn o’r dechrau i’r diwedd | arafach: mae ei flociau’n pwyntio’n ôl i rai’r templed, wedi’u gwasgaru ar draws yr arae |
Y ddwy linell gyntaf yw’r ateb caledwedd. Tra bod lle yng nghache batri neu fflach y rheolydd, mae’r gwestai’n gweld hwyrni’r cache. Pan fydd yn llenwi, mae’r gwestai’n gweld y gwerthydau. Anfona chwarter y beitiau ato ac mae’r un cache yn rhoi tua phedair gwaith y lle, ac mae ganddo chwarter cymaint i’w wagio. Yr adran bcache uchod yw hynny wedi’i fesur gyda cache meddalwedd yn lle un y rheolydd.
Y drydedd yw pam mae VDO yn perthyn ar ddisgiau araf yn fwy na rhai cyflym. Ar yr Optane, dyblodd VDO hwyrni’r darllen. Ar yriannau 7,200 rpm mae’r un gost sefydlog yn diflannu i mewn i un chwiliad.
Y tair olaf yw’r costau. Mae storm gychwyn o glonau unfath yn mynd yn gyflymach, ond mae darllen un clôn o un pen i’r llall yn mynd yn arafach, oherwydd mae dad-ddyblygu’n ei wasgaru. Ac mae ysgrifiadau bach VDO ei hun yn glanio ar yr arae hefyd, sef y ddadl dros y cynllun hollt uchod: mynegai a chyfnodolyn ar NVMe, slabiau ar y RAID6.
Dileu Disg: Gwna i Proxmox ei Thaflu
Mae tynnu LV yn rhyddhau ei estyniadau yn LVM. Dydy e ddim yn dweud wrth VDO bod y blociau heb eu defnyddio, felly mae VDO yn eu cadw. Mae dogfennaeth y cnewyllyn yn dweud pam mae hynny’n bwysig: ‘If the vdo is thinly provisioned, discarding unused blocks is essential to prevent the target from running out of space’1. Ar storio trwchus all e ddim rhedeg allan, ond lle ar y gyriant sy’n cael ei ddal ar gyfer data does neb yn berchen arno yw blociau heb eu taflu o hyd.
Opsiwn on-volume-remove discard=1 ar y storio yw’r ateb. Mae Proxmox yn ei ddisgrifio fel anfon ‘discard (TRIM) requests before removal’5:
| Dileu | Blociau VDO wedi’u rhyddhau |
|---|---|
storio lvm plaen, disg yn dal 1 GiB | 0 |
gyda on-volume-remove discard=1, yr un peth | 262,140, yr 1 GiB cyfan |
Mae’n araf ar ddisg fawr, serch hynny.
Cymerodd dileu’r ddisg 34 GiB o’r prawf llenwi 262.6 s i Proxmox, tra llwyddodd blkdiscard ar yr un math o ddata i wneud 15 GiB mewn 2.25 s.
Felly ar gyfer unrhyw beth mawr, rhed blkdiscard ar y ddisg yn gyntaf ac yna ei dileu.
Mae maint y discard yn bwysig hefyd. Mae max_discard rhagosodedig VDO yn un bloc 4 KiB i bob cais1:
| Discard 15 GiB o ddata ar hap | Amser a aeth heibio | CPU (sys) |
|---|---|---|
max_discard=1, y rhagosodiad | 8.06 s | 8.06 s |
max_discard=4096, 16 MiB | 2.25 s | 0.00 s |
Y tu mewn i’r gwesteion, troi opsiwn Discard y gyriant ymlaen fel bod eu TRIM yn cyrraedd y storio10, a rhedeg fstrim ar amserlen.
Lle Mae’n Ennill ei Le
| Yn ffitio | Ddim yn ffitio |
|---|---|
| llawer o VMs o’r un ychydig dempledi | cronfeydd data a gwaith sy’n gaeth i hwyrni ar ddyfnder |
| RAID6 HDD y tu ôl i gache write-back rheolydd | gwesteiwr NVMe yn unig sydd angen pob microeiliad |
| data troelli gydag NVMe ar gyfer metadata VDO | data sydd wedi’i gywasgu’n barod: cyfryngau, copïau wrth gefn, ISOs |
| bcache o flaen data troelli, lle mae’r data’n ailadrodd | bcache o flaen data nad yw’n ailadrodd |
| gyriannau lle mae gwydnwch ysgrifennu’n derfyn | disgiau gwestai wedi’u hamgryptio, sydd byth yn dad-ddyblygu |
| gwesteiwr gyda hanner gigabeit o RAM yn sbâr i bob pwll | pwll bach, lle mae’r mynegai’n bwyta degfed ran |
| Gosodiad | Rhagosodiad | Gosod i | Newid wedyn |
|---|---|---|---|
Maint rhithwir VDO -V | beth bynnag rwyt ti’n gofyn amdano | dim mwy nag y gall y pwll ei gyfeirio | tyfu’n unig, byth crebachu |
| Edafedd VDO | 10, un rhesymegol | un i bob CPU, wedi’u taenu fel uchod | dim ond gyda VMs y pwll wedi’u stopio |
max_discard | 1, sef 4 KiB | 4096, sef 16 MiB | dim ond gyda VMs y pwll wedi’u stopio |
on-volume-remove ar y storio | heb ei osod | discard=1 | ie, pvesm set |
| Discard ar bob disg rithwir | i ffwrdd | ymlaen | ie, i bob disg |
scan_lvs a’r hidlydd | 0, dim gwrthod disgiau VM | 1, disgiau VM wedi’u gwrthod | ie, yn lvm.conf |
Does dim o hynny’n anodd. Does dim ohono’n rhagosodiad.
Yr Ysgrifiad Rhataf Yw’r Un Na Wnei Di Byth ei Anfon
Yr hyn sy’n fy nharo am VDO yw pa mor wael mae’n cael ei werthu. Mae’n ymddangos fel ffordd o roi mwy ar ddisg nag mae’r ddisg yn ei ddal, a dyna’r peth lleiaf defnyddiol mae’n ei wneud. Gwnes i hynny ar ddamwain ar yr adeiladwaith cyntaf, a dangosodd Proxmox draean o’r storio’n rhydd tra oedd VDO yn llawn. Benthyciad yw gorymrwymo, ac mae’r gyriant yn ei alw’n ôl ar gyflymder ysgrifennu llawn.
Mae’r gwerth go iawn yn y llinell nad yw’r rhan fwyaf o bobl byth yn ei mesur. Mae chwarter y beitiau’n cyrraedd y gyriant yn chwarter y traul ac yn gache rheolydd sy’n para pedair gwaith cyhyd. Nid capasiti yw hynny. Y caledwedd yn gwneud llai o waith am yr un canlyniad yw e, a dyna’r unig fath o arbediad sydd ddim yn dod yn ôl i dy frathu.
Mae’n costio CPU, ac ar fflach cyflym mae’n costio hwyrni, ac mae’r ddau’n sefydlog. Dyna’r fargen, wedi’i dweud yn blaen: amser prosesydd wedi’i wario fel bod rhan araf, ddrud y bocs yn gwneud llai. Ar ddisgiau troelli y tu ôl i reolydd RAID neu bcache, gyda’r mynegai a’r cyfnodolyn ar NVMe, mae’r swm hwnnw’n dod allan yn dda. Ar westeiwr Optane yn unig, dydy e ddim gan mwyaf.
A fydd e ddim yn edrych ar ôl ei hun. Mae pob rhagosodiad sy’n bwysig yn anghywir i’r gwaith hwn: deg edefyn ar un ar bymtheg CPU, maint discard sy’n llosgi craidd, maint rhithwir y gelli di ei osod i unrhyw beth, a dim byd yng nghyfluniad y storio’n dweud wrth Proxmox am roi lle’n ôl. Does dim o hynny’n gudd. Mae’r cyfan yn y ddogfennaeth.
Felly adeilada fe’n drwchus, unwaith, yn iawn, gyda’r gosodiadau ar y llinell greu a’r metadata lle mae’n perthyn. Gwna hynny ac mae’r gyriant yn gwneud chwarter y gwaith. Hepgora fe ac rwyt ti wedi prynu haen arall sy’n addo mwy nag sydd ganddi.
Linux kernel documentation — dm-vdo — mae’r targed yn ‘provides block-level deduplication, compression, and thin provisioning’; ‘If the vdo is thinly provisioned, discarding unused blocks is essential to prevent the target from running out of space’; ‘unflushed writes may or may not persist after a crash’; mae’r cache map blociau 128 MB yn cynnal ‘efficient access to 100 GB of logical space at a time’; paramedrau’r edafedd, eu terfynau a’r canllawiau tiwnio; maxDiscard ‘in 4096-byte blocks’. ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎
lvmvdo(7) — Support for Virtual Data Optimizer in LVM — pwll VDO ac LV VDO, trosi LV sy’n bodoli gyda
lvconvert --type vdo-pool, defnydd cof, y mynegai dwys a’i ffenestr 1 TiB i bob GiB o RAM, a ‘You cannot reduce the size of a VDOPoolLV’. ↩︎ ↩︎ ↩︎ ↩︎Linux kernel source — drivers/md/dm-thin.c — mae
disable_discard_passdown_if_not_supported()yn diffodd pasio discard i lawr pan na all y ddyfais ddata gymryd talp tenau cyfan, sef yr hyn mae rhagosodiad VDO yn ei wneud o dan bwll tenau. ↩︎LVM2 — conf/example.conf.in —
devices/scan_lvs: ‘Caution is required to avoid using PVs that belong to guest images stored on LVs’ a ‘This option does not enable autoactivation of layered VGs’. ↩︎ ↩︎Proxmox pve-storage — LVMPlugin.pm — y briodwedd
on-volume-remove, ‘Use ‘discard=1’ to issue discard (TRIM) requests before removal’; mae cyfrolau’n cael eu hactifadu’n unigol gydalvchange -aeyyn hytrach na gydavgchange -aly. ↩︎ ↩︎Debian trixie — package vdo — ‘Management tools for Virtual Data Optimizer’, fersiwn 8.3.1.1-1, sy’n darparu
vdoformat,vdostatsavdolistmetadata. ↩︎Linux kernel source — drivers/md/dm-vdo/encodings.c — mae
vdo_initialize_layout()yn gwneud rhaniad y map blociau ar y dechrau, rhaniadau crynodeb y slabiau a’r cyfnodolyn adfer ar y diwedd, a’r storfa slabiau o’r hyn sydd ar ôl. ↩︎fio documentation — randrepeat — ‘Seed all random number generators in a predictable way so the pattern is repeatable across runs. Default: true.’ ↩︎
Linux kernel documentation — Design of dm-vdo — ‘vdo treats the locations in the index as hints, and reads each indicated block to verify that it is indeed a duplicate before sharing the existing block with a new one.’ ↩︎
Proxmox VE documentation — Qemu/KVM Virtual Machines, Trim/Discard — ‘For the guest to be able to issue TRIM commands, you must enable the Discard option on the drive.’ ↩︎