Tag Archives: mirror

Router-NAS

seagate_goflex

NBle modifiche che suggerisco potrebbero invalidare la garanzia del prodotto, non mi ritengo responsabile per eventuali danni al vostro hardware, se non sapete cosa state facendo non fatelo!

Questo post nasce in risposta a varie richieste di chiarimento che ho ricevuto in merito a come si possa modificare un router per fargli scaricare in automatico gli aggiornamenti di Arch Linux (o di altre distro).

Scelta dell’hardware

Ai suoi tempi la mia scelta cade sul Netgear DGN2200 per i seguenti motivi:

  • il prezzo contenuto: 49.9 €
  • presenza di una porta USB per la condivisione dei dati con uno storage esterno
  • possibilità di utilizzare un firmware personalizzato: Modfs

Ingredienti

  • un router Netgear DGN2200
  • un hard disk esterno (potrebbe andar bene anche una penna usb da diversi GB)
  • il firmware modificato,
  • l’immagine col modfs
  • binari di rsync + librerie per piattaforma mips

Per prima cosa flashare il router col nuovo firmware. Si tratta di un firmare quasi identico all’originale se non per il fatto che permette di caricare ed avviare il filesystem contenuto nella modfs. Per poter funzionare la modfs deve essere decompressa in una partizione FAT32 del disco collegato via USB al router, il nome dell’immagine non potrà essere modificato altrimenti non verrà caricata.

Ho optato per un HD da 320 GB, con una partizione sda1 FAT32 da qualche GB contenente la modfs e poco altro ed il resto del disco (sda2) formattato in ext3 così da non avere problemi né con i permessi, né con i file di dimensioni > 4 GB.

Col vostro browser preferito aprite l’interfaccia web di configurazione del router:
http://ip_router:8081

Nel mio caso http://192.168.0.1:8081, inserite user e password (di default: admin/admin). Andate su Services ed attivate cron ed sshd.

Per completare l’opera c’è bisogno di installare rsync sul router e di farlo partire in automatico ogni notte per sincronizzare i pacchetti dell’HD USB con quelli di un repository ufficiale di Arch (ovviamente tale giochetto può essere fatto con qualsiasi mirror che supporti rsync: Ubuntu, Debian, Slackware o perfino FreeBSD, NetBSD o OpenBSD).

L’architettura del router è mips, facilmente individuabile loggandovi con ssh e dando il comando # uname -a
Linux (none) 2.6.21.5 #2 Sun Apr 3 10:30:24 CEST 2011 mips unknown

Problema: dove rimediare rsync compilato per piattaforma mips?

Soluzione 1: scaricare buildroot e compilarne uno per conto nostro
Soluzione 2: cercare in rete se qualcuno si è già smazzato al posto nostro e distribuisce qualcosa che può fare al caso nostro.

Nel pieno spirito dell’opensource e data la mia proverbiale pigrizia ho deciso di approfittare del lavoro di qualcun altro. Nello specifico ho optato per sfruttare i pacchetti dei repositori dell’openwrt per adattarli alle mie esigenze.
Per chi fosse interessato metto a disposizione il pacchetto che ho fatto io: rsync, per installarlo basta copiarlo (es. da ssh usando wget) nella directory /tmp/mod/modfs del router e decomprimerlo.

La partizione FAT32 è automaticamente messa in share dal router e montata in /tmp/mnt/usb0/part1, ora bisogna montare manualmente anche l’altra partizione (sda2) all’interno del filesystem condiviso es.: /tmp/mnt/usb0/part1/pub.

Script
Aggiornare i repository di Arch  comporta l’impiego di vari parametri non particolarmente intuitivi da passare a rsync, per semplificarmi la vita mi sono creato quest script che scarica tutto quello che mi serve in /tmp/mnt/usb0/part1/pub/Backup/archlinux/

crond
Aggiungiamo lo script al cron-job così che possa essere eseguito ogni giorno ad una certa ora (es. alle 3:30):

/tmp/mod/modfs/packages/DGN2200/cron/scripts/cron_entry -s rsync "30 03 * * * /tmp/mnt/usb0/part1/pub/Backup/archlinux/mirror.sh"

/tmp/mod/modfs/packages/DGN2200/cron/scripts/update

(Per eliminare un processo da cron va invece usato quest’altro comando:
/tmp/mod/modfs/packages/DGN2200/cron/scripts/cron_entry -u rsync)

Condivisione
Per non interferire con i processi di sistema ho deciso di non sfruttare il server ftp dello share, ma di usare un nuovo processo con l’httpd di busybox.
httpd -p 81 -h /tmp/mnt/usb0/part1/pub/Backup/archlinux/ -c /tmp/mod/modfs/etc/httpd.conf
(Ho dovuto metterlo in ascolto sulla porta 81, perché l’80 è già occupata dal demone che gestisce l’interfaccia di configurazione del router)

Automatismo di boot
Per non dover montare a mano la partizione ext3 e far partire l’httpd sulla porta 81 ogni volta che devo riavviare il router, ho aggiunto allo script di sistema /tmp/mod/modfs/boot.sh
le seguenti righe:
mount /dev/sda2 /tmp/mnt/usb0/part1/pub
httpd -p 81 -h /tmp/mnt/usb0/part1/pub/Backup/archlinux/ -c /tmp/mod/modfs/etc/httpd.conf

Client
Per poter usare il repository locale dai PC di casa con Arch bisogna modificare il file /etc/pacman.d/mirrorlist
E come prima riga aggiungere
Server = http://192.168.0.1:81/$repo/$arch
(Dove 192.168.0.1 è l’IP del router e /$repo/$arch corrispondono al path dove risiedono i pacchetti)

Se usate Debian/Ubuntu dovrete invece modificare appropriatamente il file /etc/apt/sources.list

P.S.
In teoria la mia ADSL è un’Alice 7 MB, in pratica la portante arriva 1,5 MB a cui corrisponde una velocità massima in download di circa 155 Kb/sec.
Il mirror completo dei repository di Arch sono circa 25 GB per la i686 + altri 25 per la x86_64, quindi un totale di circa 50 GB se non volete rinunciare ad utilizzare un sistema a 64bit sui processori che lo supportano.
La prima volta che ho fatto la sincronizzazione per scaricare i 50 GB ho impiegato 3 giorni interi!
Adesso rsync si avvia in automatico ogni notte alle 3:30 ed in più di due anni non mi è mai capitato di trovarlo ancora in esecuzione la mattina alle 7.
Avere l’ADSL intasata dalle 3 alle 5 di mattina non crea alcun disturbo, mentre fare aggiornamenti di centinaia di MB in pochi secondi non ha prezzo 🙂
Guardate, ad esempio, la differenza di tempo che impiego nello scaricare un pacchetto da 26 MB come wine.

Repository esterno:
wine-1.3.33-1-x86_64            26.5M  152.2K/s 00:02:55

Mirror interno:
wine-1.3.33-1-x86_64            26.5M    4.8M/s 00:00:05

Ogni 25 MB risparmio circa 3 minuti. Non di rado capita un aggiornamento di KDE, GNOME o LibreOffice che può anche superare i 400 MB. Con la mia connessione ci metterei 40-50 minuti a PC, che moltiplicato x i 4 PC che ho, fanno 3 ore e mezzo! Col serverino casalingo impiego circa 1 minuto a PC e anche in quel breve lasso di tempo l’ADSL non subisce rallentamenti perché i pacchetti sono scaricati dalla LAN.
Cosa non ci tocca fare per rimediare all’inefficienza della Telecom…

Nuovo gateway con apt-cacher

Per alleggerire il carico della già precaria connessione ad Internet del GOLEM martedì scorso è staro ripristinato l’apt-cacher sul server rack. Vista l’opportunità abbiamo colto l’occasione per formattare il server, sostituire il disco con uno più grande (160 Gb) ed installare la nuova Debian wheezy.

Struttura della rete:

  •  Router Wifi/3G: si connette alla rete tramite Wifi o 3G.
  • Gateway (gw): accede ad Internet attraverso l’interfaccia eth0 con la quale si collega al router che gli assegna automaticamente un IP tramite dhcpd. Con uno switch collegato alla eth1 (rete interna) condivide, a sua volta, la connessione con tutti i PC dell’officina ai quali fornisce un indirizzo IP tramite un proprio dhcpd in ascolto sulla eth1.

Servizi installati sul gw: isc-dhcp-server, squid, apt-cacher-ng ed iptables.

Funzionamento: quando un computer Debian/Ubuntu si connette alla rete tramite il gw ed installa qualche pacchetto .deb il gw tiene in memoria il pacchetto così se un altro computer dovesse richiederlo non sarà necessario riscaricarlo da Internet, ma potrà essere scaricato dalla rete locale. Tutto questo avviene in modalità assolutamente trasparente e senza bisogno di configurare alcunché sui client.

Per i dettagli sulla configurazione si rimanda al wiki