Proxmox Datastore vollgelaufen

Datastore: HDD-RAIDz1

Garbage collection failed: atime safety check failed: update atime failed for chunk/file "/HDD-RAIDZ1/.chunks/bb9f/bb9f8df61474d25e71fa00722318cd387396ca1736605e1248821cc0de3d3af8" - ENOSPC: No space left on device

Kurz geschaut, was voll ist auf dem entsprechenden host, in diesem fall ein Proxmox Backup Server. Dafür melde ich mich via ssh an, es würde ebenso reichen in der WebGui zu schauen.

NAME                       USED  AVAIL  QUOTA  REFQUOTA  USEDSNAP  MOUNTPOINT
HDD-RAIDZ1                3.57T     0B   none      none        0B  /HDD-RAIDZ1
rpool                      158G   715G   none      none        0B  /rpool
rpool/ROOT                11.7G   715G   none      none        0B  /rpool/ROOT
rpool/ROOT/pve-1          11.7G   715G   none      none        0B  /
rpool/data                 129G   715G   none      none        0B  /rpool/data
rpool/data/vm-100-disk-0  3.80G   715G      -         -        0B  -
rpool/data/vm-101-disk-0  7.31G   715G      -         -        0B  -
rpool/data/vm-102-disk-0  9.89G   715G      -         -        0B  -
rpool/data/vm-103-disk-0  4.04G   715G      -         -        0B  -
rpool/data/vm-104-disk-0  3.02G   715G      -         -        0B  -
rpool/data/vm-105-disk-0  24.4G   715G      -         -        0B  -
rpool/data/vm-106-disk-0  9.95G   715G      -         -        0B  -
rpool/data/vm-108-disk-0  9.05G   715G      -         -        0B  -
rpool/data/vm-109-disk-0  18.6G   715G      -         -        0B  -
rpool/data/vm-110-disk-0  1.90G   715G      -         -        0B  -
rpool/data/vm-111-disk-0  5.09G   715G      -         -        0B  -
rpool/data/vm-112-disk-0  4.44G   715G      -         -        0B  -
rpool/data/vm-113-disk-0  9.48G   715G      -         -        0B  -
rpool/data/vm-114-disk-0  16.4G   715G      -         -        0B  -
rpool/data/vm-115-disk-0  1.81G   715G      -         -        0B  -
rpool/var-lib-vz          17.1G   715G   none      none        0B  /var/lib/vz
root@host1:~#

Da ist schnell klar: HDD-RAIDZ1 ist vollgelaufen.

Ziel ist nun den Reservespeicher des Dateisystems zu verkleinern, um genug Platz zu haben, dass wieder Dateitransaktionen möglich sind, um alte Backups zu löschen.

cat /sys/module/zfs/parameters/spa_slop_shift
5

Gibt den aktuellen Status aus, mit 6 wäre der Reservespeicher geringer, das setze ich nun um

echo 6 > /sys/module/zfs/parameters/spa_slop_shift

und schon habe ich genug Speicherplatz, Backups wieder bearbeiten zu können.

Das Ergebnis spricht für sich

root@host1:~# zfs list -o name,used,avail,quota,refquota,usedbysnapshots,mountpoint
NAME                       USED  AVAIL  QUOTA  REFQUOTA  USEDSNAP  MOUNTPOINT
HDD-RAIDZ1                3.50T  69.5G   none      none        0B  /HDD-RAIDZ1
rpool                      153G   720G   none      none        0B  /rpool
rpool/ROOT                11.7G   720G   none      none        0B  /rpool/ROOT
rpool/ROOT/pve-1          11.7G   720G   none      none        0B  /
rpool/data                 124G   720G   none      none        0B  /rpool/data
rpool/data/vm-100-disk-0  3.80G   720G      -         -        0B  -
rpool/data/vm-101-disk-0  7.31G   720G      -         -        0B  -
rpool/data/vm-102-disk-0  9.52G   720G      -         -        0B  -
rpool/data/vm-103-disk-0  3.65G   720G      -         -        0B  -
rpool/data/vm-104-disk-0  3.02G   720G      -         -        0B  -
rpool/data/vm-105-disk-0  21.6G   720G      -         -        0B  -
rpool/data/vm-106-disk-0  9.63G   720G      -         -        0B  -
rpool/data/vm-108-disk-0  7.91G   720G      -         -        0B  -
rpool/data/vm-109-disk-0  18.7G   720G      -         -        0B  -
rpool/data/vm-110-disk-0  1.90G   720G      -         -        0B  -
rpool/data/vm-111-disk-0  5.09G   720G      -         -        0B  -
rpool/data/vm-112-disk-0  4.43G   720G      -         -        0B  -
rpool/data/vm-113-disk-0  9.46G   720G      -         -        0B  -
rpool/data/vm-114-disk-0  16.4G   720G      -         -        0B  -
rpool/data/vm-115-disk-0  1.81G   720G      -         -        0B  -
rpool/var-lib-vz          17.1G   720G   none      none        0B  /var/lib/vz

Danach setze ich noch den Wert für „Löschschutz von 24h05Minuten (1445 Minuten) auf 4 Minuten. Dazu gehe ich über den Namen des Storages->Optionen->Tuning Options

Screenshot des Dialogs „Tuning Options“ in Proxmox Backup Server. Die Prüfung der Zugriffszeit für die Garbage Collection ist aktiviert. Das hervorgehobene Feld „GC Access-Time Cutoff (minutes)“ zeigt 1445 Minuten (24 Stunden und 5 Minuten).

Lösche die Backups, welche nicht mehr benötigt werden. Dabei ist es sinnvoll auch die Vorhaltezeiten der Backups anzupassen, damit der Fehler nicht erneut auftritt.

Sobald das erledigt ist lasse ich erst „prune“ einmal direkt durchlaufen und danach den Garbage Collect Job.

Via

name,used,avail,quota,refquota,usedbysnapshots,mountpoint

kann ich nun sehen, wie nach und nach Speicher freigeben wird.


NAME                       USED  AVAIL  QUOTA  REFQUOTA  USEDSNAP  MOUNTPOINT
HDD-RAIDZ1                3.48T  86.7G   none      none        0B  /HDD-RAIDZ1

Das dauert alles etwas.

NAME                       USED  AVAIL  QUOTA  REFQUOTA  USEDSNAP  MOUNTPOINT
HDD-RAIDZ1                1.35T  2.22T   none      none        0B  /HDD-RAIDZ1
rpool                      153G   720G   none      

Danach ist es sinnvoll nicht zu vergessen die entsprechenden Werte wieder hochzusetzen:

echo 5 > /sys/module/zfs/parameters/spa_slop_shift

und

Screenshot des Dialogs „Tuning Options“ in Proxmox Backup Server. Die Prüfung der Zugriffszeit für die Garbage Collection ist aktiviert. Das hervorgehobene Feld „GC Access-Time Cutoff (minutes)“ zeigt 1445 Minuten (24 Stunden und 5 Minuten).

wieder hochzusetzen.

Das Beitragsbild wurde mit einer KI erzeugt. Der Rest des Textes ist Handarbeit. Zur Recherche wurde google verwendet.


Kommentare

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert