Instalacja klastra z jednym masterem jest bardzo łatwa i pomimo tego, że dokumentacja Kubernetes dotycząca kubeadm jest napisana w bardzo przystępny sposób to jest dość obszerna. Powodem takiej sytuacji jest oczywiście mnogość wspieranych systemów operacyjnych – RedHat family, Debian family, pluginów sieciowych – Flannel, Calico, Cannal, Cilium, Weave Net czy możliwych ustawień – jak np. proxy.

Instalacja klastra

Zakładając że kubeadm jest już zainstalowany, instalacje klastra można sprowadzić do następujących komend:

Prosta i szybka instalacja i jak twierdzi twórca dokumentacji:

kubeadm helps you bootstrap a minimum viable Kubernetes cluster that conforms to best practices

Czy dobrze korzystać z takiego klastra na produkcji? Sprawdzam.

Spec od security polecił mi jako pierwszy krok zapoznanie się z CIS – organizacją która ustanawia światowe standardy i dobre praktyki w dziedzinie bezpieczeństwa. Tak się składa, że opracowali również CIS benchmark dla Kubernetes który jest określany jako consensus-driven – czyli jest szansa na to, że zalecenia nie będą powodowały spadku wydajności klastra jak i bólu głowy Opsów którzy będą się nim opiekować.

CIS Benchmark – to dokument liczący ponad 250 stron, wiedziałem, że IT Security to trudna działka i jak widać sprawdza się to od samego początku.

Jestem wielkim zwolennikiem automatyzacji wszelkiego rodzaju i po zapoznaniu się z większością punktów z tego dokumentu stwierdziłem, że taki benchmark można zautomatyzować. Pierwszy krok, sprawdzenie czy ktoś to już zrobił … i voila!

Kube-bench – Kubernetes Security

Natrafiłem na projekt opensource kube-bench od firmy AquaSecurity który chwali się tym, że jest aplikacją sprawdzającą czy Kubernetes jest zainstalowany w bezpieczny sposób. Do dzieła!

Benchmark można uruchamiać na kilka sposobów ja wybieram ten wygodny – czyli przez kontener Docker. Dodaje informacje o lokalizacji mojego kubectl (which kubectl) oraz parametr „master” na końcu, mówiący o tym, że ten test będzie wykonywany w kontekście mastera. Dzięki temu nie muszę nic zmieniać w plikach konfiguracyjnych i polegam na domyślnej konfiguracji.

Jeśli jest to pierwsze uruchomienie tego obrazu to na pewno zostanie pobrany automatycznie z repozytorium aquasec i wyswietli długą listę sukcesów i porażek (ostrzeżeń też).

Podsumowanie kube-bench:

26 – PASS
32 – FAIL
9 – WARN

32 FAIL? Jak widać więcej niż połowa polityk tego benchmarku mówi „no go!” jeśli chodzi o bezpieczeństwo. Mam diagnozę, co dalej? Kube-bench, oprócz uruchomienia testu pokazuje co dokładnie poszło nie tak – i co najlepsze, jak to naprawić!

Przykład:

Pełny wynik testu kube-bench dla Kubernetes mastera znajdziesz tutaj.

Stosuje na początek dwie zmiany których żąda benchmark i … już tylko „30 FAILED”. 28 to go. Jeżeli się nie zgadzasz ze wszystkimi zastrzeżeniami ze strony kube-bench lub po prostu są one mało zrozumiałe – odsyłam do źródłowego benchmarku CIS na bazie którego powstała ta automatyzacja.

Kube-bench dla Node’a

Przykład powyżej dotyczy Kubernetes Mastera, który jest bardzo ważny z uwagi na funkcję którą pełni, ale warto nie zapominać o pozostałych członkach tego zespołu – Node’ach.

Tak samo jak dla Mastera można skorzystać z benchmarku w formie obrazu Docker.

Wynik tutaj wygląda jeszcze ciekawiej:

4 – PASS
15 – FAIL
0 – WARN

Wynik testu kube-bench dla Kubernetes Node znajdziesz tutaj.

Podsumowanie

Wygląda na to, że podstawowa instalacja z wykorzystaniem kubeadm, która co prawda jest „minimum viable Kubernetes” ale jak widać takie minimum nie jest bardzo bezpieczne – przynajmniej nie wg. CIS Benchmark. Dobrą wiadomością jest – że łatwo zintegrować kube-bench z własnym build pipelinem, monitorować i poprawiać problemy wtedy kiedy występują.

Linki:

1. CIS Benchmark: https://www.cisecurity.org/benchmark/kubernetes/
2. Instalacja kubeadm: https://kubernetes.io/docs/setup/independent/install-kubeadm/
3. Instalacja klastra Kubernetes: https://kubernetes.io/docs/setup/independent/create-cluster-kubeadm/
4. Kube-bench: https://github.com/aquasecurity/kube-bench
5. Wynik testu na masterze:
   https://gist.githubusercontent.com/toszo/15e1e21efc60d3dbbc5b8fe3260268da/raw/7fce77ecd914419b5462cdd33ffa12421fcb9cbd/master-sec-benchmark-result.txt
6. Wynik testu na nodzie:
   https://gist.githubusercontent.com/toszo/a95b44d7d8843bf56890473a5268b706/raw/89fa0e5ac38638fd16ec15401897bf0df0c3fdfe/kube-bench-node.txt