HA (High Availability) cluster építése
Tartalomjegyzék |
1 Elméleti alapok
1.1 Computer cluster – számítógép fürt
Egymással összekapcsolt számítógépek, amelyek együttműködve a fürt számára definiált funkciókat valósítják meg. A fürtön belüli gépek kívülről nem látszanak. A fürt mint egyetlen entitás nyújt szolgáltatásokat.
1.2 HA Clusters (Nagy rendelkezésre állású fürtök, feladatátvételi fürtök)
Olyan számítógép fürtök, amelyek a fürtők által nyújtott szolgáltatások rendelkezésre állását próbálják meg növelni. A szolgáltatásokat általában a fürt egyik tagja nyújtja, míg a többi tag annak meghibásodása esetén átveszi a szerepét, így növelve a szolgáltatások rendelkezésre állását.
1.2.1 HA cluster modellek
- Shared disk (Megosztott lemezes) modell – a fürt rendelkezik egy adattárolóval, amelyet a fürttagok egy közös interfészen keresztül érhetnek el konkurens módon.
- Shared nothing (Megosztott elem nélküli) modell – Minden logikai és fizikai egységet egyszerre csak egy fürttag birtokolhat.
- Replicated storage (Replikált lemezes) modell - Általában 2 fürttagból álló fürt, ahol egy fürttag (elsődleges fürttag) nyújtja a szolgáltatást és tükrözi az adatokat a többi (másodlagos) fürt számára. Ha az elsődleges fürttag kiesik, akkor egy másodlagos veszi át a szerepít (elsődlegessé válik).
1.2.2 HA cluster fogalmak
- failover – a szolgáltatások kiszolgálásának átvétele a meghibásodott fürttagtól.
- failback – a szolgáltatások kiszolgálásának visszaadása a megjavított fürttagnak.
- split barin – bizonyos meghibásodások esetén előfordulhat, hogy a fürt több partícióra esik szét, amely partíciók nem tudnak egymásról, így mindegyik partíció fürtöt fog képezni és megpróbálja nyújtani az eredeti fürt szolgáltatásait. Ez igen hamar az adatok korrupciójához és hibás kiszolgáláshoz vezet.
- STOMITH (Sooth The Other Machine In The Head) – split barin elkerülését célzó technika. Hiba esetén a hibás fürttagot egy másik fürttag újraindítja (fejbe lövi).
- Quorum - split barin elkerülését célzó technika. Amennyiben a fürt több részre esik szét akkor csak a legtöbb fürttagot tartalmazó rész működjön (ezen fürttagok alkotnak quorumot). Amennyiben a fürttagok száma páros, azért, hogy a többség biztosítva legyen a fürthöz hozzávesznek egy erőforrást (általában merevlemez (quorum disk)) amely fürttagként viselkedik.
- Erőforrás - erőforrásnak nevezhetünk minden olyan logikai vagy fizikai eszközt és szolgáltatást amelyet a fürt használ/kezel.
- CRM (Cluter Resource Management, Fürt erőforrás menedzsment) - A fürt erőforrásinak kezelését megvalósító eszköz.
2 HA cluster építése mysql szerver számára
2.1 felhasznált eszközök
Több program segítségével oldottam meg a feladatot. A fürtöt a Pacemaker CRM projekt segítségével OpenAIS fürt keretrendzsert felhasználva készítettem. Mivel az OpenAIS shared nothing modell alapján működik, a szerver adatainak a tükrözését a fürttagokra a DRBD projekt segítségével oldottam meg.
Ezen projektek mindegyikére igaz, hogy nem rendelkeznek stabil APIval, így az itt leírtak újrafelhasználhatósága korlátolt.
2.1.1 Pacemaker
Nagy rendelkezésre állású fürtökhöz készült CRM rendszer. A Linux HA projekt CRM részének leválasztásából fejlődött ki. két fürt keretrendszerrel képes együttműködni:
- heartbeat - a Linux HA project része, használata nem ajánlott.
- OpenAIS - ajánlott keretrendszer
2.1.2 OpenAIS
Az OpenAIS a Corosync általános fürt keretrendszert felhasználó, nagy rendelkezésre állású fürt keretrendszert megvalósító eszköz.
2.1.3 DRBD (Distributed Replicated Block Device)
Nagy rendelkezésre állás fürtökhöz készített, megosztott elem nélküli, replikált lemezes modellt követő, blokk eszközök tükrözésére való eszköz. A tükrözés valós idejű, transzparens (azaz a fürttagok számára átlátszó módon történik). Képes szinkron és aszinkron működésre is.
2.2 A példa rövid leírása
A példában 2 csomópontból álló replikált lemezes modellű fürtöt fogok létrehozni,amely, mysql szerver szolgáltatást fog nyújtani. Ehhez Ubuntu 9.10-es szervert használok. A szolgáltatást nyújtó programokat egy külön partíción helyezem el amelyet a /services mappába mountolok. Ezt a partíciót fogom DRBD segítségével tükrözni. Ezután konfigurálom az OpenaAIS keretrendszereket a csomópontokon, majd amikor a még nem beállított fürt felállat az OpeanAIS segítségével, konfigurálom a csomópontokat a Pacemaker használatával.
(Itt jegyezném meg, hogy az OpenAIS APIja nagyon erősen változik a fejlesztése közben. A neten található dokumentumok által használt programok (pl.: aiskeygen) jó része egyáltalán nem található meg az általam használt OpenAIS verzióban, így az alatta lévő Corosync segítségével konfiguráltam a csomópontokat. A konfiguráció menete (a konkrét parancsok, beállító fájlok) nem változik, csupán a programokat hívják másképp.
2.3 A példa
Először feltelepítetjük az Ubuntu 9.10 szervert mindkét csomópontra. A csomópontokban egy merevlemez van. Telepítés közben az alábbi módon particionáljuk a csomópontokat (/etc/fsab kimenet)
2.3.1 A csomópontok partíciói
# / was on /dev/sda2 during installation UUID=8125069d-3233-4792-b603-3b121a68a7bf / ext3 relatime,errors=remount-ro 0 1 # /boot was on /dev/sda1 during installation UUID=f9cf0557-9fad-4d02-a99b-4717f3889354 /boot ext2 relatime 0 2 # /drbd was on /dev/sda5 during installation UUID=b75b3bee-5ae7-4a98-bf86-cb1560b4c925 /drbd ext3 relatime 0 2 # /service was on /dev/sda6 during installation UUID=ba8ff678-27a4-4027-94cb-86cd6d7175c7 /service ext3 relatime 0 2 # swap was on /dev/sda3 during installation UUID=66723736-ffcc-43c9-aec9-3a21c3d67a0f none swap sw 0 0 /dev/scd0 /media/cdrom0 udf,iso9660 user,noauto,exec,utf8 0 0 /dev/fd0 /media/floppy0 auto rw,user,noauto,exec,utf8 0 0
Telepítés után először felrakjuka szükséges programokat:
sudo apt-get install drbd8-utils pacemaker-openais mysql-server apache2
A DRBD minden tükrözött blokk eszközéhez szükség van egy partícióra ahol a partícióhoz tartozó DRBD metaadatokat a program tárolhatja. A tükrözendő adatokat az sda6 partíción tároljuk, amit a /service csatolási pontra mountolunk. A partícióhoz tartozó metaadatokat pedig z sda5 partíción fogjuk tárolni.
Mivel azt szeretnénk, hogy a Pacemaker mountolja majd a DRBD meghajtóit, ezért ki kell szedni a hozzájuk tartozó fstab bejegyzéseket.
# / was on /dev/sda2 during installation UUID=8125069d-3233-4792-b603-3b121a68a7bf / ext3 relatime,errors=remount-ro 0 1 # /boot was on /dev/sda1 during installation UUID=f9cf0557-9fad-4d02-a99b-4717f3889354 /boot ext2 relatime 0 2 # /drbd was on /dev/sda5 during installation # UUID=b75b3bee-5ae7-4a98-bf86-cb1560b4c925 /drbd ext3 relatime 0 2 # /service was on /dev/sda6 during installation # UUID=ba8ff678-27a4-4027-94cb-86cd6d7175c7 /service ext3 relatime 0 2 # swap was on /dev/sda3 during installation UUID=66723736-ffcc-43c9-aec9-3a21c3d67a0f none swap sw 0 0 /dev/scd0 /media/cdrom0 udf,iso9660 user,noauto,exec,utf8 0 0 /dev/fd0 /media/floppy0 auto rw,user,noauto,exec,utf8 0 0
A metaadat partíciójának üresnek kell lennie, ha valamiért adat volt rajta azt töröljük:
sudo dd if=/dev/zero of=/dev/sda5
Ezután konfiguráljuk a hálózatot. Két hálózatot fogunk létrehozni. Egyet a DRBD adatforgalmához, egyet pedig a Pacemaker adatforgalmához (ezt lehet majd kívülről is elérni). Hozzuk létre a 2 hálózatot:
sudo nano /etc/network/interfaces
(az alpha csomópont adatai példaként)
auto eth1 iface eth1 inet static address 10.100.100.163 netmask 255.255.255.0 gateway 192.168.0.1 dns-nameservers gateway 192.168.0.1 auto eth2 iface eth2 inet static address 192.168.56.101 netmask 255.255.255.0
A DRBD konfigurációs fájljaiban a csomópontokra hivatkozni fogunk a neveikkel amit a DRBD hosztnévként is értelmez ezért be kell állítanunk ezeket hosztneveket:
sudo nano /etc/hosts
192.168.56.101 alpha.loc alpha 192.168.56.102 beta.loc beta
Ezután létrehozzuk a DRBD konfigurációs fájlját. Egy erőforrást fogunk létrehozni (r0), amiben beállítjuk a 2 csomópont adatait, sé azt, hogy hogyan használja őket a DRBD. Az adatokat szinkron módon akarjuk tükrözni, azaz az elsődleges csomópont írásának befejezése addig blokkolódik, amíg a másodlagos csomóponton az írás be nem fejeződött (protocol C). A csomópont 60 másodpercig vár mielőtt átváltana (degr-wfc-timeout 60). A kapcsolat titkosított ahol a közös kulcsot beállíthatjuk (shared-secret). Diszk hiba esetén szeretnék, ha lekapcsolná azt (on-io-error detach). Megadjuk mindkét csomóponton, hogy mely partíciókat akarjuk tükrözni, illetve melyek a metaadatok partíciói. Megadjuk, hogy milyen néven hozzon létre a DRBD blokkeszköz bejeygzést a /dev/ könyvtárba (drbd0). Megadjuk a csomópontok IP címeit és portszámát. (Ne felejtsük el átengedni a forgalmat a tűzfalon).
sudo nano /etc/drbd.conf
common { syncer { rate 10M; } }
resource r0 {
protocol C;
startup {
wfc-timeout 30;
degr-wfc-timeout 60;
}
disk {
on-io-error detach;
}
syncer {
rate 10M;
al-extents 257;
}
net {
cram-hmac-alg sha1;
shared-secret "seeeecreeet";
}
on alpha { #hostname
device /dev/drbd0;
disk /dev/sda6; #The partition you want to mirror
address 192.168.56.101:7788; # the cluster interconnect IP
meta-disk /dev/sda5 [0]; #The partition for the meta-data
}
on beta {
device /dev/drbd0;
disk /dev/sda6;
address 192.168.56.102:7788;
meta-disk /dev/sda5 [0];
}
}
A DRBD modulját tartalmazza az alap ubuntu telepítés, de alapból nincs bekapcsolva (ezt ellenőrizhetjük a lsmod | grep drbd paranccsal) ezért azt be kell kapcsolnunk.
sudo modprobe drbd
Mivel a drbd szeretné használni a tükrözött és a metaadat partíciókat (sda6, sda5), ha azok mountolva vannak umountoljuk őket.
sudo umount /dev/sda5 /dev sda6 /service /drbd
Most már készen állunk arra, hogy a konfigurációs fájl alapján létrehozzuk az erőforrásunkat (r0).
sudo drbdadm create-md r0
Ha valamiért nem sikerült, akkor újbóli próbálkozás előtt ne felejtsük el törölni a metaadatokat tároló partíció adatait (sudo dd if=/dev/zero of=/dev/sda5).
Ezután csatoljuk az erőforrást, szinkronizáljuk és csatlakozunk hozzá.
sudo drbdadm attach r0 sudo drbdadm syncer r0 sudo drbdadm connect r0
Ha ez idáig sikerült az egyik csomóponton, akkor az idáig megtett lépéseket meg kell ismételnünk a másik csomóponton (ha még nem tettük meg).
Ha mindkét csomópontot beállítottuk akkor ellenőrizhetjük a csomópontok állapotát:
sudo drbd-overview
a várt kimenet:
0:r0 Connected Secondary/Secondary Inconsistent/Inconsistent C r---
Jelenleg a DRBD még nem tudja, hogy melyik csomópontot szeretnénk elsődlegessé tenni, ezért mindkettő másodlagos (Secondary/Secondary), és az adatok még nincsenek szinkronizálva (Inconsistent/Inconsistent).
Amelyik csomópontott szeretnénk elsődlegessé tenni, adjuk ki a következő parancsot:
sudo drbdadm -- --overwrite-data-of-peer primary all
Ez elsődlegessé teszi a csomópontot, és mekezdi az adatok szinkronizációját. Ezt ellenőrizhetjük is a drbd-overview segítségével. HA a szinkronizáció befejeződött, akkor a következőhöz hasonló kimenetet kapunk:
0:r0 Connected Primary/Secondary UpToDate/UpToDate C r---
Hogy a failover működhessen, engedélyeznünk kell a drbd0 eszköz csatolását a /services csatolási pontra. Nyissuk meg a /etc/fstab fájlt:
sudo nano /etc/fstab
és adjuk hozzá a következő sort:
/dev/drbd0 /service ext3 defaults 0 2
A DRBDvel kapcsolatos beállításokat ezzel befejeztük.
--Kishonti István 2009. december 24., 19:49 (UTC)
