… und das ganz einfach.<\/p>\n
Um Ceph auf das System zu bekommen kann man sich die fertigen Pakte von Ceph.com holen. Bei mir die Aktuellen, mittlerweile 0.67.1, Dumpling Packete<\/p>\n
wget -q -O- 'https:\/\/ceph.com\/git\/?p=ceph.git;a=blob_plain;f=keys\/release.asc' | sudo apt-key add -\r\necho deb http:\/\/ceph.com\/debian-dumpling\/ $(lsb_release -sc) main | sudo tee \/etc\/apt\/sources.list.d\/ceph.list<\/pre>\nDamit ist die Paketquelle f\u00fcr Apt bekannt. Ein<\/p>\n
apt-get update && apt-get upgrade<\/pre>\nbringt das System auf den neuen Stand. Um Ceph zu Installieren kommt jetzt<\/p>\n
apt-get install ceph ceph-deploy<\/pre>\nDas Paket ceph-deploy ist f\u00fcr das erzeugen des Clusters und damit den Deploy der Maschinen zust\u00e4ndig.<\/p>\n
Als n\u00e4chstes muss man daf\u00fcr sorgen das die OSD\u00b4s, also Festplatten, vorbereitet werden. Dazu m\u00fcssen die ausgew\u00e4hlten Platten nur eine Normale Partition haben. Diese werden dann sp\u00e4ter von Ceph beim Deploy entsprechend in die Verzeichnisstruktur von Ceph eingeh\u00e4ngt.<\/p>\n
Dann geht es an\u00b4s erzeugen der Ceph Konfiguration.<\/p>\n
[global]\r\n ; use cephx or none\r\n auth supported = cephx\r\n\r\n auth cluster required = cephx\r\n auth service required = cephx\r\n auth client required = cephx\r\n\r\n keyring = \/etc\/ceph\/keyring.admin\r\n\r\n[mon]\r\n\r\n[mon.1]\r\n host = node01\r\n mon addr = 192.168.3.12:6789\r\n\r\n[mon.2]\r\n host = node02\r\n mon addr = 192.168.3.13:6789\r\n\r\n[mon.3]\r\n host = node03\r\n mon addr = 192.168.3.14:6789\r\n\r\n[mds]\r\n\r\n[mds.1]\r\n host = node01\r\n\r\n[mds.2]\r\n host = node02\r\n\r\n[mds.3]\r\n host = node03\r\n\r\n[osd]\r\n osd journal = \/var\/lib\/ceph\/journal\/osd.$id.journal ;only if you want put journal on a dedicated disk, like ssd\r\n osd journal size = 100\r\n\r\n ; uncomment the following line if you are mounting with ext4\r\n ; filestore xattr use omap = true\r\n\r\n ; uncomment if you want journal on tmpfs\r\n ;journal dio = false\r\n osd mkfs type = xfs\r\n osd mkfs options xfs = \"-f\"\r\n osd mount options xfs = \"rw,noatime,inode64,logbufs=8,logbsize=256k\"\r\n\r\n[osd.10]\r\n host = node01\r\n addr = 192.168.3.12\r\n devs = \/dev\/sdb1\r\n\r\n[osd.11]\r\n host = node01\r\n addr = 192.168.3.12\r\n devs = \/dev\/sdc1\r\n\r\n[osd.20]\r\n host = node02\r\n addr = 192.168.3.13\r\n devs = \/dev\/sdb1\r\n\r\n[osd.21]\r\n host = node02\r\n addr = 192.168.3.13\r\n devs = \/dev\/sdc1\r\n\r\n[osd.30]\r\n host = node03\r\n addr = 192.168.3.14\r\n devs = \/dev\/sdb1\r\n\r\n[osd.31]\r\n host = node03\r\n addr = 192.168.3.14\r\n devs = \/dev\/sdc1<\/pre>\nWie man sieht besteht der Ceph Cluster aus drei Nodes, auf jeder Node l\u00e4uft ein MON, ein MDS und zwei OSD\u00b4s mit je 8 GB. Somit sind alle Nodes im Cluster auch gleichzeitig Monitore und Metadaten Speicher. Damit k\u00f6nnen Theoretisch zwei Nodes weg brechen ohne die Daten zu gef\u00e4hrden.<\/p>\n
Um sich die Sache mit den OSD\u00b4s einfach zu machen nimmt man die Pfade der Platten direkt mit in die Konfiguration auf, ansonsten m\u00fcsste man das manuell \u00fcber die Fstab machen, was gerade bei vielen OSD\u00b4s zu fehlern f\u00fchren kann. Ausserdem hat es den Vorteil das Ceph in dieser Konstellation alle ben\u00f6tigten Verzeichnisse beim Deploy mit anlegt und das Einh\u00e4ngen der Platten automatisch nach dem anlegen des Dateisystems erledigt.<\/p>\n
Wie man sieht nutze ich XFS, aber auf den Performanceseiten<\/a> von Ceph hat BTRFS beim schreiben eigentlich immer die Nase vorn, was bei gro\u00dfen Nodes bzw. Clustern schon einen entscheidenden Unterschied machen kann, zum Testen mit VirtualBox reicht mir aber XFS.<\/p>\n