Category Archives: Guide

LVM Cache su SSD

Stanco delle prestazioni da bradipo dell’emulatore di Android e della (ahimé talvolta necessaria) macchina virtuale con Windows, che grattano di continuo sul disco meccanico della mia home directory, ho deciso che era giunto il momento di intervenire, per evitare di trovarsi catapultati negli anni 90 ogni due minuti.

Per risolvere il problema prestazionale esiste una soluzione molto semplice: comprare un nuovo disco a stato solido, abbastanza capiente. Questa soluzione però non è sicuramente delle più economiche.

La soluzione arzigogolata e nerd invece è: usare un piccolo disco SSD d’avanzo come cache per il disco meccanico.

Configurazione iniziale

Qualche mese fa mi è capitata una rocambolesca avventura per cui ho rischiato di perdere tutti i miei dati per colpa di un programmatore di firmware distratto. Certo, avevo un backup, ma non è la stessa cosa.

Quel giorno comprai dei dischi nuovi e mi feci un bel RAID1, come in figura.

Configurazione attuale, lenta

Questa configurazione avrebbe dovuto aiutarmi a prevenire perdite di dati, e anche a migliorare le performance in lettura dei dischi. Tuttavia, come ben presto si è rivelato, le cose non stavano affatto così, almeno quando i dischi venivano (ab)usati dalle sopraccitate applicazioni, particolarmente avide di random IO.

Il sistema operativo risiede comunque su un disco SSD a parte.

Nuova configurazione

Avendo un disco SSD d’avanzo, che avevo usato per rinsavire il computer portatile che mi ha accompagnato per numerosi viaggi in treno avanti e indietro per l’Università, ho quindi deciso di modificare la mia configurazione nel seguente modo.

Nuova configurazione desiderata

In questo modo, ogni volta che viene effettuato un accesso ad un file sul mio filesystem, LVM si preoccupa di controllare se, per caso, tale accesso può essere fatto anche per mezzo di una copia che si trova sul disco SSD.

Sì, LVM probabilmente potrebbe gestire direttamente anche il RAID, ma per il momento ho preferito riutilizzare le conoscenze già acquisite e continuare a sfruttare il RAID con mdadm.

La torre di Hanoi

Mi sono fatto prestare un disco meccanico di capienza identica ai miei dall’Officina Informatica del GOLEM.

Copiare tutto su quel disco e ricopiare di nuovo sul RAID? No, ho già trovato un disco col firmware buggato, e non desidero trovarne altri. Figuriamoci usare un disco usato di recupero!

Fare una specie di torre di Hanoi e rischiare comunque di perdere i dati per qualche errore umano (da me commesso)? Sì, facciamolo.

Mi sono quindi portato nella seguente situazione, installando il disco meccanico di passaggio, nominato sdd.

Vecchia e nuova configurazione (parziale) a confronto.
A sinistra l’array md0, a destra md1.

Poiché è molto facile fare confusione con i nomi, e poiché LVM permette di usare nomi mnemonici, ho assegnato i seguenti nomi autoesplicativi ai vari componenti del mio spazio di archiviazione.

  • picostorage: il gruppo virtuale;
  • slowdino: il volume sul vecchio lento dinosauro meccanico (il RAID1);
  • fastrabbit: il volume sul nuovo veloce disco SSD;
  • metaguy: il volume per i metadati;

Ho impostato la nuova configurazione, ma con un disco mancante (in rosso in figura).

# mdadm --create /dev/md1 --level=mirror --raid-devices=2 /dev/sdd missing
# pvcreate /dev/md1
# vgcreate picostorage /dev/md1
# lvcreate --name slowdino --size 1t picostorage /dev/md1
# mkfs.ext4 /dev/picostorage/slowdino

Dopodiché ho avviato la copia dei dati.

# mount /dev/picostorage/slowdino /mnt/dst
# rsync -av /home/* /mnt/dst

E, mentre copiava, conscio del fatto che avrebbe impiegato diverso tempo, mi sono preparato a inserire la cache.

# pvcreate /dev/sdc
# vgextend picostorage /dev/sdc
# lvcreate --name fastrabbit --size 64g picostorage /dev/sdc
# lvcreate --name metaguy --size 64m picostorage /dev/sdc
# lvconvert --type cache-pool --poolmetadata picostorage/metaguy picostorage/fastrabbit

Ho atteso la fine della copia dei miei dati, per evitare di abusare del povero disco SSD più del dovuto, dopodiché ho attivato la cache.

# lvconvert --type cache --cachepool picostorage/fastrabbit picostorage/slowdino

A questo punto, la cache è attiva. Non rimane che colmare il buco dell’array con uno dei dischi del vecchio array: simulo un guasto a uno dei dischi, lo rimuovo dall’array originale, cancello i metadati, e lo inserisco nel nuovo array.

# mdadm /dev/md0 -f /dev/sdb
# mdadm /dev/md0 -r /dev/sdb
# dd if=/dev/zero of=/dev/sdb bs=1M count=1
# mdadm /dev/md1 --add /dev/sdb

Mi trovo quindi in questa condizione, e attendo pazientemente che l’array su sdb venga ricostruito, controllandolo con mdstat.

Una volta ricostruito l’array correttamente su sdb e su sdd, ripeto l’operazione, simulando stavolta il fallimento di sdd, e inserendo nell’array sda. Al termine dell’operazione, mi trovo con i miei due dischi sda e sdb nella nuova configurazione, e posso restituire sdd al GOLEM.

In nessun momento di tutta questa procedura i miei dati sono stati su un disco soltanto, perciò si può dire che la procedura sia a prova di guasti hardware.

Non sono però sicuro che sia a prova di guasti umani, perciò non fatelo a casa. 🙂

Benchmark

Per verificare se davvero questa cache serve a qualcosa, faccio un veloce test.

$ fio --randrepeat=1 --ioengine=libaio --direct=1 --gtod_reduce=1 --name=test --filename=test --bs=4k --iodepth=64 --size=500M --readwrite=randrw --rwmixread=75

A fronte di circa 400 IOPS ottenute prima di installare la cache, adesso ne vengono fatte oltre 4000! 😮 Un risultato più che soddisfacente.

Anche durante l’uso delle applicazioni più avide, adesso la macchina risulta molto più fluida.

Il monitor di sistema mostra chiaramente i miglioramenti in lettura/scrittura dalla cache (in verde chiaro e fucsia), comparati con la lettura/scrittura dai dischi meccanici (in verde e rosso)

Manutenzione

Ogni tanto è bene controllare lo stato della cache e del RAID, e per questo ci vengono in aiuto i seguenti comandi:

# lvdisplay
# mdstat

Applicazioni Linux universali

app

Sarebbe bello se tutte le distribuzioni usassero lo stesso formato di pacchetti… probabilmente non accadrà a breve, ma in questa direzione si stanno affermando dei nuovi gestori di pacchetti che promettono di rivoluzionare (in positivo si spera) il modo di sviluppare e distribuire software su Linux.

Snappy

Ideato da Canonical ed adottato da Ubuntu (in parallelo ai pacchetti .deb a partire dalla versione 16.04) e da Ubuntu Touch.
Nel giugno di quest’anno è stato effettuato il port per svariate distribuzioni (Arch, Debian, Fedora/Red Hat, Gentoo, SUSE e Red Hat)
In linea teorica un pacchetto snap può quindi essere utilizzato praticamente da qualsiasi distribuzione Linux.

Com’è possibile tutto questo?
Di fatto si tratta di un’immagine di filesystem compressa contenente tutto il necessario per far girare un programma, questo viene automaticamente montato in loop dal demone snapd ed i suoi eseguibili vengono linkati in /usr/snap/bin.

PRO
– Semplice da utilizzare, ha un tool da riga di comando stile apt-get (snap find, snap install, snap remove…)

CONTRO
– Sembra il tentativo di Canonical di creare un Google Play per rifilare a tutti gli utenti Linux software a pagamento.
– Al momento sono pochi i programmi disponibili in questo formato

Flatpak (aka xdg-app)

Progetto nato circa un anno fa con lo scopo di creare un’alternativa libera dello Snappy di Ubuntu.
Non ha un repository principale come Snappy, è necessario configurarlo inserendo manualmente quelli che ci interessano:
es.: per installare GNOME
curl -O https://sdk.gnome.org/keys/gnome-sdk.gpg
flatpak remote-add --gpg-import=gnome-sdk.gpg gnome https://sdk.gnome.org/repo/
flatpak install gnome org.gnome.Platform 3.20
flatpak install gnome org.gnome.Sdk 3.20

PRO
– Permette di installare molto più software rispetto a snapd: es. Libreoffice, Firefox…
– Non ha un repository principale contenente anche programmi a pagamento
– Permette di creare pacchetti flat a partire

CONTRO
– Sintassi leggermente più complicata di snap

AppImage (aka Klik)

I pacchetti .AppImage sono concettualmente simili ai programmi per MacOSX.

Sono anch’essi file immagine compressi contenenti l’applicazione e tutte le librerie necessarie al suo utilizzo.
Basta scaricare il file, eseguirlo o cliccarci sopra ed il programma si installerà. Per cancellarlo è sufficiente cestinare l’icona del file.

PRO
– Installare un programma su Linux non è mai stato così facile. Finalmente un formato click’n’run stile MacOS per Linux.
– Elevata disponibilità di programmi https://bintray.com/probono/AppImages

CONTRO
– Anche se praticissimo per distribuire grossi pacchetti stile VLC, LibreOffice, Firefox o Chromium, questo tipo di formato difficilmente potrà essere utilizzato per pacchettizzare il sistema di base.
– Non esiste un tool stile apt-get per cercare ed installare “AppImmagini”
– Non possiede un tool per creare pacchetti a partire da un tarball.
– I file non vengono linkati in una directory di sistema (es. /usr/bin) per cui in caso di sistemi multiutenti ogni utente dovrà scaricarsi nella sua home il suo pacchetti .AppImage

rc.local su systemd

Il file /etc/rc.local è utilizzato su alcune distribuzioni Linux (Slackware) e sistemi Unix (*BSD) per permettere l’inserimento manuale di comandi da eseguire in fase di avvio.
Ecco come abilitarlo in una distribuzione dotata di systemd come gestore dell’init.

Creare il file
/usr/lib/systemd/system/rc-local.service

Ed inserire al suo interno le seguenti voci:

[Unit]
Description=/etc/rc.local compatibility
After=network.target
[Service]
Type=oneshot
ExecStart=/etc/rc.local
RemainAfterExit=yes
[Install]
WantedBy=multi-user.target

Creare il file /etc/rc.local contenente (per il momento) unicamente la riga:
#!/bin/bash

Rendere il file /etc/rc.local eseguibile:
# chmod +x /etc/rc.local

Abilitare il servizio
# systemctl enable rc-local

Per Arch Linux esiste un pacchetto su AUR che aggiunge e configura /etc/rc.local

OpenBSD

OpenBSDPuffy non è Linux, è una variante del sistema operativo BSD Unix incentrato particolarmente sulla sicurezza. Importanti progetti come OpenSSH sono stati sviluppati dal team di OpenBSD. È apprezzato soprattutto come firewall/router, ma dispone di un completo parco software per uso desktop (GNOME, KDE, XFCE, LibreOffice e molto altro…).

Essendo privo di un installer grafico non risulta particolarmente facile da configurare, ho quindi deciso di scrivere questo howto  per permettere a “chiunque” di provare questa interessante alternativa a Linux.