ceph

Если будешь ставить через cephadm, то качай версию pacific, почему-то более новые не работают.

Удобный установщик: https://git.lulzette.ru/lulzette/ceph-installer 

сервисы

• osd: хранение данных
• mon: условно, controlplane, управляет данными, балансирует данные, управляет кворумом, метаданные тоже тут
• mgr: These include the Ceph Dashboard and the cephadm manager module, фигня на питоне которая дает дашборд, прометеус, restful api и всякую такую некритичную для работы кластера фигню
  

Как организовано хранение?

Хосты с ролью OSD OSDшки (абстракция на уровне Ceph'а): 1 OSD на 1 Диск хоста, т.е. 10 дисков - 10 OSD на одном хосте PG (Placement Group): Группа размещения, т.е. на каких OSD размещать объект Ceph'а (не путать с объектом на уровне S3/swift/rgw). Также есть Карта OSD, которая ассоциирована с PG, в ней указана одна Primary OSD и одна или несколько Replica OSD

Куда файлы засовывать?

Есть 3 разных хранилища (?):

• cephfs
• RBD (Rados Block Device)
• S3/Swift который предоставляется Rados Gateway
• Rados/librados - библиотека для твоего приложения которая может общаться с радосом минуя промежуточные RBD/S3/Swift

 

See also:

https://bogachev.biz/2017/08/23/zametki-administratora-ceph-chast-1/