Datastore: HDD-RAIDz1
Garbage collection failed: atime safety check failed: update atime failed for chunk/file "/HDD-RAIDZ1/.chunks/bb9f/bb9f8df61474d25e71fa00722318cd387396ca1736605e1248821cc0de3d3af8" - ENOSPC: No space left on device
Kurz geschaut, was voll ist auf dem entsprechenden host, in diesem fall ein Proxmox Backup Server. Dafür melde ich mich via ssh an, es würde ebenso reichen in der WebGui zu schauen.
NAME USED AVAIL QUOTA REFQUOTA USEDSNAP MOUNTPOINT
HDD-RAIDZ1 3.57T 0B none none 0B /HDD-RAIDZ1
rpool 158G 715G none none 0B /rpool
rpool/ROOT 11.7G 715G none none 0B /rpool/ROOT
rpool/ROOT/pve-1 11.7G 715G none none 0B /
rpool/data 129G 715G none none 0B /rpool/data
rpool/data/vm-100-disk-0 3.80G 715G - - 0B -
rpool/data/vm-101-disk-0 7.31G 715G - - 0B -
rpool/data/vm-102-disk-0 9.89G 715G - - 0B -
rpool/data/vm-103-disk-0 4.04G 715G - - 0B -
rpool/data/vm-104-disk-0 3.02G 715G - - 0B -
rpool/data/vm-105-disk-0 24.4G 715G - - 0B -
rpool/data/vm-106-disk-0 9.95G 715G - - 0B -
rpool/data/vm-108-disk-0 9.05G 715G - - 0B -
rpool/data/vm-109-disk-0 18.6G 715G - - 0B -
rpool/data/vm-110-disk-0 1.90G 715G - - 0B -
rpool/data/vm-111-disk-0 5.09G 715G - - 0B -
rpool/data/vm-112-disk-0 4.44G 715G - - 0B -
rpool/data/vm-113-disk-0 9.48G 715G - - 0B -
rpool/data/vm-114-disk-0 16.4G 715G - - 0B -
rpool/data/vm-115-disk-0 1.81G 715G - - 0B -
rpool/var-lib-vz 17.1G 715G none none 0B /var/lib/vz
root@host1:~#
Da ist schnell klar: HDD-RAIDZ1 ist vollgelaufen.
Ziel ist nun den Reservespeicher des Dateisystems zu verkleinern, um genug Platz zu haben, dass wieder Dateitransaktionen möglich sind, um alte Backups zu löschen.
cat /sys/module/zfs/parameters/spa_slop_shift
5
Gibt den aktuellen Status aus, mit 6 wäre der Reservespeicher geringer, das setze ich nun um
echo 6 > /sys/module/zfs/parameters/spa_slop_shift
und schon habe ich genug Speicherplatz, Backups wieder bearbeiten zu können.
Das Ergebnis spricht für sich
root@host1:~# zfs list -o name,used,avail,quota,refquota,usedbysnapshots,mountpoint
NAME USED AVAIL QUOTA REFQUOTA USEDSNAP MOUNTPOINT
HDD-RAIDZ1 3.50T 69.5G none none 0B /HDD-RAIDZ1
rpool 153G 720G none none 0B /rpool
rpool/ROOT 11.7G 720G none none 0B /rpool/ROOT
rpool/ROOT/pve-1 11.7G 720G none none 0B /
rpool/data 124G 720G none none 0B /rpool/data
rpool/data/vm-100-disk-0 3.80G 720G - - 0B -
rpool/data/vm-101-disk-0 7.31G 720G - - 0B -
rpool/data/vm-102-disk-0 9.52G 720G - - 0B -
rpool/data/vm-103-disk-0 3.65G 720G - - 0B -
rpool/data/vm-104-disk-0 3.02G 720G - - 0B -
rpool/data/vm-105-disk-0 21.6G 720G - - 0B -
rpool/data/vm-106-disk-0 9.63G 720G - - 0B -
rpool/data/vm-108-disk-0 7.91G 720G - - 0B -
rpool/data/vm-109-disk-0 18.7G 720G - - 0B -
rpool/data/vm-110-disk-0 1.90G 720G - - 0B -
rpool/data/vm-111-disk-0 5.09G 720G - - 0B -
rpool/data/vm-112-disk-0 4.43G 720G - - 0B -
rpool/data/vm-113-disk-0 9.46G 720G - - 0B -
rpool/data/vm-114-disk-0 16.4G 720G - - 0B -
rpool/data/vm-115-disk-0 1.81G 720G - - 0B -
rpool/var-lib-vz 17.1G 720G none none 0B /var/lib/vz
Danach setze ich noch den Wert für „Löschschutz von 24h05Minuten (1445 Minuten) auf 4 Minuten. Dazu gehe ich über den Namen des Storages->Optionen->Tuning Options

Lösche die Backups, welche nicht mehr benötigt werden. Dabei ist es sinnvoll auch die Vorhaltezeiten der Backups anzupassen, damit der Fehler nicht erneut auftritt.
Sobald das erledigt ist lasse ich erst „prune“ einmal direkt durchlaufen und danach den Garbage Collect Job.
Via
name,used,avail,quota,refquota,usedbysnapshots,mountpoint
kann ich nun sehen, wie nach und nach Speicher freigeben wird.
NAME USED AVAIL QUOTA REFQUOTA USEDSNAP MOUNTPOINT
HDD-RAIDZ1 3.48T 86.7G none none 0B /HDD-RAIDZ1
Das dauert alles etwas.
NAME USED AVAIL QUOTA REFQUOTA USEDSNAP MOUNTPOINT
HDD-RAIDZ1 1.35T 2.22T none none 0B /HDD-RAIDZ1
rpool 153G 720G none
Danach ist es sinnvoll nicht zu vergessen die entsprechenden Werte wieder hochzusetzen:
echo 5 > /sys/module/zfs/parameters/spa_slop_shift
und

wieder hochzusetzen.
Das Beitragsbild wurde mit einer KI erzeugt. Der Rest des Textes ist Handarbeit. Zur Recherche wurde google verwendet.

Schreibe einen Kommentar