BackupNinja

A Unix/Linux szerverek üzemeltetése wikiből
(Változatok közti eltérés)
(Szűrés)
(Rdiff-backup)
20. sor: 20. sor:
 
== Rdiff-backup ==
 
== Rdiff-backup ==
   
Az rdiff-backup egy inkrementális, és teljes mentéseket is támogató program. A mentési algoritmusa a librsync-re épül, ami egyezik az [http://samba.anu.edu.au/rsync/tech_report/ rsync alogritmusával]. Mindig a legutolsó mentés szerinti file-okat tárolja. A régebbi verziók diff láncokon keresztül érhetők el. A hosszú láncokat úgy lehet elkerülni, hogy mondjuk havonta új könyvtárba backupolunk. Az rdiff-backup képes ACL, és extended attribute-ok megőrzésére a mentés során a [http://pylibacl.sourceforge.net/ pylibacl], és a [http://pyxattr.sourceforge.net/ pyxattr] könyvtárak segítségével.
+
Az rdiff-backup egy inkrementális, és teljes mentéseket is támogató program. A mentési algoritmusa a librsync-re épül, ami egyezik az [http://samba.anu.edu.au/rsync/tech_report/ rsync alogritmusával]. Ebből adódóan inkább szöveges, mint bináris file-okhoz preferált a használata. Mindig a legutolsó mentés szerinti file-okat tárolja. A régebbi verziók diff láncokon keresztül érhetők el. A hosszú láncokat úgy lehet elkerülni, hogy mondjuk havonta új könyvtárba backupolunk. Az rdiff-backup képes ACL, és extended attribute-ok megőrzésére a mentés során a [http://pylibacl.sourceforge.net/ pylibacl], és a [http://pyxattr.sourceforge.net/ pyxattr] könyvtárak segítségével.
   
 
=== Mentés ===
 
=== Mentés ===

A lap 2009. december 12., 19:01-kori változata


A backupninja egy konfigurációs felületet nyújt több különböző backup-megoldás fölé. Jelen dokumentum az rdiff-backup-al vett konfigurációját tárgyalja, illetve magának az rdiff-backup-nak a működését.


Tartalomjegyzék

1 Telepítés, és előfeltételek

Debian alatt a következőképpen lehet telepíteni:

apt-get install rdiff-backup backupninja

Az rdiff-backup elég sok disztribúcióban megtalálható így ezt a megfelelő módon lehet telepíteni, a backupninja-t pedig a forrást letöltve, és kitömörítve a

./configure
make
sudo make install

hármassal telepíthetünk.

2 Rdiff-backup

Az rdiff-backup egy inkrementális, és teljes mentéseket is támogató program. A mentési algoritmusa a librsync-re épül, ami egyezik az rsync alogritmusával. Ebből adódóan inkább szöveges, mint bináris file-okhoz preferált a használata. Mindig a legutolsó mentés szerinti file-okat tárolja. A régebbi verziók diff láncokon keresztül érhetők el. A hosszú láncokat úgy lehet elkerülni, hogy mondjuk havonta új könyvtárba backupolunk. Az rdiff-backup képes ACL, és extended attribute-ok megőrzésére a mentés során a pylibacl, és a pyxattr könyvtárak segítségével.

2.1 Mentés

A /home könyvtárat a /backup-ba a következőképpen backupolhatjuk:

rdiff-backup /home /backup

Ez alapesetben a /backup könyvtárba másolja a file-okat a /home könyvtárból, és létrehoz egy rdiff-backup-data könyvtárat, amiben a metaadatokat tárolja. Ennek eredményeként a backup könyvtárból akár cp-vel is visszamásolhatjuk az adott file-okat.

Lehet más hosztra is menteni. Ebben az esetben viszont egy rdiff-backup-nak kell szerver módban futnia a másik oldalon. Ezt az "rdiff-backup --server" parancs futtatásával érhetjük el. Nyilván érdemes erre valami init scriptet írni, ha az adott gépet mentések tárolására használjuk. Egy másik hosztra a következő paranccsal menthetünk:

rdiff-backup /home user@host::/backup

Ez ssh fölött végzi a másolást. Egy további opció, hogy akár két gép között is levezérelhetjük a mentést. Ezt a következőképpen tehetjük:

rdiff-backup user@fromhost::/home user2@tohost::/backup

2.2 A backup könyvtár szerkezete

A backup könyvtár legfelső szintjén találhatóak a mentett file-ok, és könyvtárak. Mindig a legújabb verziók tárolódnak ezen a szinten. Az inkrementális mentés reverse diff-ekkel valósul meg, azaz egy file régebbi verzióját ezek visszatranszformálásával nyerhetjük. Másrészt minden backup könyvtárban található egy rdiff-backup-data nevű könyvtár, amiben a metaadatok tárolódnak. Ennek a szerkezete a következő:

backup.log # Ez az rdiff-backup adott backup directory-jához tartozó logfile-ja
error_log.<datum>.data # Az adott <datum>-kori mentés hibái
file_statistics.<datum>.data.gz # Ez az adott mentéskor a backup file-jainak változásáról készít statisztikát. Bővebben erről később.
increments/<filenev eleresi uttal>.<datum>.diff.gz # Az adott file adott mentéshez tartozó reverse diff-je.
increments/<filenev eleresi uttal>.<datum>.missing # Azt jelzi, hogy az adott időpontbeli mentésnél az adott file még nem létezett.
increments.<datum>.dir # Nem jöttem rá, hogy ez mit tárol
mirror_metadata.<datum>.diff.gz # Ebben a file <datum> mentési idejű állapotának metaadatai kerülnek. Bővebben erről később.
session_statistics.<datum>.data # Ebben az adott mentésről tárol statisztikai adatokat. Bővebben erről később.

A <datum> formátuma a következő

<év>-<hónap>-<nap>T<óra>:<perc>:<másodperc>+<óra>:<perc>

Itt a második óra, és perc az időzónát jelöli. Bővebben erről a specifikáció oldalán.

Egy file_statistics file tartalma a következőképpen nézhet ki:

# Format of each line in file statistics file:
# Filename Changed SourceSize MirrorSize IncrementSize
search 1 32 NA NA
tex.skeleton 1 297 NA NA
tex.skeleton~ 1 254 NA NA

A Changed egy boolean változó, ami azt jelzi, hogy az előző mentés óta változott-e az adott file. Ez az első mentés az adott file-okról, ezért a mirror size-nak nincs értelme. Az IncrementSize akkor nem nulla, ha az adott file a legutóbbi mentés óta változott. Ekkor értéke "rdiff-backup-data/increments/" könyvtárbeli az adott filehoz, és mentéshez tartozó diff file mérete.

A mirror_metadata file akkor nem üres, ha létezik olyan file, ami az előző mentés óta változott. Ekkor a file régi metaadatait tárolja azért, hogy vissza lehessen állítani az eredeti állapotot. Egy file-hoz tartozó blokk a következőképpen néz ki:

File tex.skeleton
  Type reg
  Size 297
  SHA1Digest 4477d46c39cbc5a7fe2d9c5c46236557f13a7cab
  ModTime 1258391205
  Uid 0
  Uname root
  Gid 0
  Gname root
  Permissions 493

Az SHA1Digest a file sha1 hash-e. A Permissions mező formátumát nem sikerült megfejtenem, de nyilván nem megtévesztő a neve, mert a chmod-al való módosítások hatására ez is változott. A többi mező neve magáért beszél.

Egy session_statistics file a következőképpen néz ki:

StartTime 1260333670.00 (Wed Dec  9 05:41:10 2009)
EndTime 1260333670.79 (Wed Dec  9 05:41:10 2009)
ElapsedTime 0.79 (0.79 seconds)
SourceFiles 5
SourceFileSize 597 (597 bytes)
MirrorFiles 1
MirrorFileSize 0 (0 bytes)
NewFiles 4
NewFileSize 597 (597 bytes)
DeletedFiles 0
DeletedFileSize 0 (0 bytes)
ChangedFiles 1
ChangedSourceSize 0 (0 bytes)
ChangedMirrorSize 0 (0 bytes)
IncrementFiles 0
IncrementFileSize 0 (0 bytes)
TotalDestinationSizeChange 597 (597 bytes)
Errors 0

Úgy gondolom ez nem szorul különösebb magyarázatra. Egy mentés statisztikai adatait tartalmazza. Ennek tartalma az "rdiff-backup --print-statistics " paranccsal is lekérdezhető.

2.3 Visszaállítás

A visszaállításra két lehetőségünk van. Az egyik, hogy megadunk egy időtartamot. Ez egy minimumot jelent a backup korára. A következőképpen használhatjuk ezt:

rdiff-backup -r 3D host::/backup /home

A 3D három napot jelent. Ebben az esetben, ha van egy 2, és egy 4 napos mentésünk, akkor a 4 nappal ezelőtti állapot lesz visszaállítva.

A másik visszaállítási mód, hogy pontosan megmondjuk, hogy egy adott file melyik állapotát akarjuk visszaállítani. Egy példa erre:

rdiff-backup host::/backup/rdiff-backup-data/increments/file.<datum>.diff.gz /home/file

Ha a legújabb mentett verzióra van szükségünk, akkor akár ki is másolhatjuk a backup könyvtár gyökeréből.

2.4 Szűrés

A program sokféle szűrőmetódust támogat, amivel egy adott mentéshez hozzáadhatunk, vagy épp abból elvehetünk file-okat. Fontos tudni, hogy egy file-ra mindig a rá illeszkedő első szűrőszabály érvényes, még akkor is ha egy késöbbi szűrőszabály is illeszkedik rá. A hozzáadást a "--include" előtagú flagekkel, míg a kihagyást a "--exclude" előtagú flagekkel lehet kikényszeríteni.

A legegyszerűbb a "--include/--exclude" flag. Ezek után adhatunk meg egy mintát, amelyekben a következő speciális karakterek szerepelhetnek zárójelek között, hogy a shell ne fejtse ki őket:

  • '*' minden olyan stringre illeszkedik, ami nem tartalmaz '/' karaktert
  • '**' minden minden stringre illeszkedik
  • '?' egy karakterre illeszkedik
  • '[<karakterek>]' csak a zárójelek között megadott karakterek/karaktertartományokra illeszkedik

Mindezek elé még fűzhetünk egy "ignorecase:"-t is, aminek jelentése egyértelmű. A "--exclude" illeszkedik, ha a minta illeszkedik a file nevére, vagy a file egy olyan könyvtárban van, amire illeszkedik a minta. A "--include" ezeken túl akkor is illeszkedik egy könyvtárra, ha egy benne lévő file-ra illeszkedik a minta. A backupninja konfigurációs file-jaiban csak ilyen flag-ekhez tartozó minták adhatók meg.

A "--(include|exclude)-regexp" után python reguláris kifejezések adhatók meg szintén zárójelek között.

A "--(include|exclude)-filelist" után egy filenevet megadva a file minden sorát include-oljuk, vagy exclude-oljuk. A sor elejére egy '-' karaktert írva ellentétes viselkedést válthatunk ki a szűrésnél. Hasonló ezekhez a flag-ekhez a "--(include|exclude)-globbing-filelist", ahol az adott file minden sorában mintákat adhatunk meg úgy ahogy a "--(include|exclude)" flageknél.

A mindenféle speciális fileokat is lehet szűrni a "--(include|exclude)-special-files" flaggel. Ez a device, a socket, a pipe, és a szimbolikus link típusú file-okat szűri. Lehet külön-külön is szűrni ezeket.

Meg lehet adni a minimális, és maximális fileméretet a "--(min|max)-file-size" flaggel.

Tekintve, hogy általában automatizáltan mentünk értelmesebb lenne összeállítani valamilyen konfigurációs nyelvet, ami a fenti sokféle szűrőt helyettesíti. Sajnos reményeim ellenére ezt a backupninja nem valósítja meg.

2.5 Egyéb hasznos opciók

Valójában egy flag van még, ami mindenképpen említésre érdemes. A "--remove-older-than <időformátum>" flaggel a backup-ból, minden adott időnél régebbi reverse-diff-et eltávolíthatunk.

További információ, valamint a szűrők, és az időformátumok részletes leírása a program man oldalán található.

Láthatóan az rdiff-backup alapból semmilyen eszközt nem ad a kezünkbe arra nézve, hogy a backup-okat automatizáljuk. Írhatunk persze erre egy scriptet, amihez készítünk egy jobot a cron.d-ben, vagy használhatjuk a következőkben bemutatandó backupninja rdiff action-jét erre.

3 Backupninja

A backupninja lényegében egy konfiguráció wrapper különböző backup programok egységes kezeléséhez. Ez a program egy shellscriptgyüjtemény. A backupninja script óránként egyszer fut le mint egy cron job. Ez futtatja a /usr/local/share/backupninja könyvtárban található handler-eket, amik a /etc/backup.d/ könyvtárban található konfigurációs file-ok(action-ök) alapján vezérlik a különböző megoldásokat.

Adott egy fő konfigurációs file, ami default esetben a /etc/backupninja.conf. Ebben a következő változók szerepelnek:

loglevel # Értéke 1, és 5 között lehet, és minél nagyobb a szám annál több dolgot logol
reportemail # Az az email cím, ahova sikeres backup, vagy probléma esetén email-t kell küldeni.
reportsuccess # yes, vagy no lehet az értéke, és yes esetén küld levelet a 
reportemail-es címre sikeres backup esetén
reportwarning # Értéke szintén yes/no lehet, és akkor küld email-t, ha volt valami 
probléma a mentéssel.
logfile # Értéke a logfile helye.
scriptdirectory # Értéke a backupninja script-jeit tartalmazó könyvtár neve.

A különböző backup-okat vezérlő configfile-ok default-ból a /etc/backup.d könyvtárban vannak, és a suffix-ük dönti el, hogy hogyan értelmeződnek. A file-okat a karakterek rendezési sorrendje szerint dolgozza fel a backupninja, így ha a sorrend fontos akkor ajánlott a sysvinit-hez hasonló file-elnevezési konvenciót használni. Ezeket a file-okat action file-oknak hívják. Minden action file-ban értelmeződik a következő változó:

when = friday at 10:30 # Azaz a mentés minden péntek délelőtt 10:30-kor kezdődjön

Ebből a változóból több is szerepelhet. Ekkor minden időpontban történik mentés. Ha nincs specifikálva ez a változó, akkor minden nap éjjel egykor fog végrehajtódni a mentés. A formátum a dokumentációból nekem nem volt teljesen világos, de 10-nél kisebb számok esetén nullát kell írni eléjük.

3.1 Action file-ok

Ezek a konfigurációs file-jai a különböző backup programoknak. Az rdiff-backup, a mysql, és a levelek mentésére szolgáló maildir file szintaxisát mutatom be röviden.

3.1.1 MySQL

A konfigurációs file suffix-a a ".mysql". A következő változókat lehet definiálni ebben:

dbusername,dbpassword,dbhost,databases,backupdir,compress # Ezeket nem részletezném, 
mivel intuíciónk nem csal.
hotcopy # yes esetén a mysqlhotcopy programot használja mentésre, ami az adatbázis 
bináris file-jairól készít másolatot.
sqldump # yes esetén a mysqldump programot használja a backup készítéséhez, ami egy 
sql scriptként készít mentést az adatbázisról.

3.1.2 Levelek

A levelek backupolásáért felelős config file suffix-a ".maildir". A konfigurációs fileban a következő változóknak adhatunk értéket:

keepdaily,keepweekly,keepmonthly # Azt lehet ezekkel megadni, hogy a napi,heti, havi mentésekből 
hányat tartson meg.
srcdir # A maildir helye
desthost,destdir,destuser # Milyen hoszt milyen könyvtárába, és milyen userként mentjük a leveleket.

Ennek a handler-je rsync-el menti a megfelelő könyvtárakat.

3.1.3 rdiff-backup

A suffix itt ".rdiff". Ez a konfigurációs file kicsit bonyolultabb az előzőeknél. Két szekciója van. A szekciók "[szekciónév]"-el kezdődnek, és egy következő szekcióig, vagy a file végéig tartanak. A [source] szekció változói a következők:

type # Ebből most cask a local támogatott, gondolom ezáltal a más gépek közötti rdiff vezérlése nem.
keep # Ez az ridff-backup "--remove-older-than" flaghez tartozó változójának ad értéket napokban
mérve. Ez vezérli azt, hogy maximálisan milyen régi backup-okat tartsunk meg.
include # Ebből több is lehet, és mindegyik egy sima "--include" változójának felel meg.
exclude # Az előzőhöz hasonló

A [dest] szekció változói:

type # Ebben az esetben remote, és local is lehet.
host # Ez az a host ahova backupolni fogunk
directory # A könyvtár ahova a backup-olás menni fog.
user # Ezen usernév alatt történik a backupolás.

Az opciók könnyen megfeleltethetőek rdiff-backup parancsoknak, de a lehetséges parancsok csak egy szűk részhalmazát fedik le. Írhatók viszont az action file-okhoz saját handler-ek is, de akár az rdiff-hez tartozó default handler-t is kiegészíthetjük, hogy több parancssori opciót lehessen vele állítani.

3.2 Handler-ek

A handler-ek sima shellscript-ek. Olvashatunk róluk a handlerekről szóló oldalon, vagy a /usr/local/share/backupninja könyvtárban található handler-ek forrásából.

Személyes eszközök