KPI w cyberbezpieczeństwie — co raportować zarządowi, a co pominąć

Bezpieczeństwo należy do nielicznych obszarów, w których rezultatem prawidłowo prowadzonych działań jest brak zdarzeń. Sprzedaż mierzy się przychodem, produkcję wolumenem, a bezpieczeństwo — nieobecnością incydentu, którego nie sposób policzyć. Prowadzi to do typowego zastępstwa: skoro rezultatu nie widać, raportuje się aktywność.

Drugą trudnością jest asymetria informacyjna. Zespół techniczny dysponuje danymi, których zarząd nie potrafi zinterpretować, a zarząd potrzebuje informacji, których zespół techniczny nie zbiera. W efekcie powstaje raport formalnie kompletny, lecz bezużyteczny dla obu stron.

Trzecia trudność ma charakter organizacyjny. Wskaźniki bywają dobierane pod dostępność danych, a nie pod pytania decyzyjne. Mierzy się to, co system potrafi wyeksportować, zamiast to, co jest potrzebne do rozstrzygnięcia o budżecie lub akceptacji ryzyka.

Rozróżnienie tych dwóch kategorii porządkuje większość dyskusji o raportowaniu. Metryka operacyjna służy zespołowi technicznemu do prowadzenia bieżącej pracy: pokazuje obciążenie, wydajność i stan systemów. Wskaźnik zarządczy służy zarządowi do podejmowania decyzji: pokazuje ekspozycję organizacji na ryzyko i postęp w jej ograniczaniu.

Test przynależności jest prosty. Należy zadać pytanie, jaka decyzja zapadnie w zależności od wartości wskaźnika. Jeżeli odpowiedź brzmi „żadna”, wskaźnik należy do warstwy operacyjnej i nie powinien znaleźć się w raporcie zarządczym.

Rozróżnienie nie oznacza, że metryki operacyjne są bezwartościowe — pełnią istotną funkcję na swoim poziomie. Problem powstaje dopiero przy ich przeniesieniu do raportu zarządczego, gdzie zajmują miejsce informacji potrzebnej do decyzji i tworzą wrażenie kontroli nad obszarem, który w rzeczywistości nie został oceniony.

Poniższe wielkości pojawiają się w raportach najczęściej i jednocześnie mają najniższą wartość decyzyjną. Ich obecność zwykle świadczy o tym, że raport powstał z danych dostępnych, a nie z pytań, na które zarząd potrzebuje odpowiedzi.

Wspólną cechą tych wielkości jest podatność na interpretację odwrotną do intencji. Wzrost liczby zablokowanych prób ataku bywa przedstawiany jako dowód skuteczności zabezpieczeń, choć równie dobrze może oznaczać wzrost ekspozycji organizacji. Spadek liczby alertów bywa odczytywany jako poprawa, podczas gdy jego przyczyną bywa awaria mechanizmu zbierania logów.

Zestaw wskaźników przydatnych zarządowi da się sprowadzić do czterech perspektyw. Każda odpowiada na inne pytanie i każda wiąże się z inną kategorią decyzji. Komplet daje obraz wystarczający do prowadzenia nadzoru bez wchodzenia w szczegóły techniczne.

Podział ten odpowiada również strukturze wymagań regulacyjnych. Przepisy oczekują udokumentowanego zarządzania ryzykiem, zapewnienia ciągłości działania oraz nadzoru nad łańcuchem dostaw — a więc dokładnie tych obszarów, które obejmują perspektywy druga, trzecia i czwarta. Raportowanie zbudowane w ten sposób pełni podwójną funkcję: wspiera decyzje i jednocześnie stanowi dowód sprawowania nadzoru.

Ta perspektywa odpowiada na pytanie, jaka jest odległość organizacji od stanu wymaganego przepisami oraz jak szybko ta odległość maleje. Ma bezpośrednie przełożenie na ryzyko sankcji i na zdolność przejścia kontroli, dlatego zwykle jest pierwszą pozycją raportu.

Kluczowe jest raportowanie w podziale na statusy, a nie jedną liczbą zbiorczą. Informacja, że spełnionych jest siedemdziesiąt procent wymogów, nie mówi nic o tym, czy pozostałe trzydzieści to drobne braki dokumentacyjne, czy nieistniejące procedury krytyczne.

Odrębnego wskazania wymaga gotowość dowodowa, rozumiana jako zdolność przedstawienia dokumentacji potwierdzającej zgodność w dniu kontroli, bez okresu przygotowawczego. Organizacje często spełniają wymogi merytorycznie, lecz nie utrzymują dowodów w stanie umożliwiającym natychmiastowe okazanie — co podczas kontroli bywa oceniane jak brak spełnienia wymogu.

Rejestr ryzyka bywa traktowany jako dokument tworzony na potrzeby audytu i następnie odkładany. Prawidłowo prowadzony stanowi natomiast podstawowe narzędzie zarządcze: pokazuje, co może zaszkodzić organizacji, kto za to odpowiada i jaka decyzja została podjęta.

Dla zarządu istotne są nie tyle same ryzyka, ile stan ich obsługi. Ryzyko zidentyfikowane, lecz pozbawione właściciela i decyzji, nie różni się w praktyce od ryzyka nierozpoznanego.

Osobną wartość informacyjną ma liczba ryzyk zaakceptowanych świadomie. Akceptacja ryzyka jest decyzją prawidłową, o ile została podjęta na właściwym poziomie i udokumentowana. Wskaźnik ten pokazuje zarządowi, jaką część ekspozycji organizacja przyjęła na siebie w sposób zamierzony — w odróżnieniu od ekspozycji wynikającej z zaniechania.

Ta perspektywa odpowiada na pytanie, czy organizacja jest w stanie wznowić działalność po poważnym zakłóceniu. Ma najwyższą wartość informacyjną spośród wszystkich czterech, ponieważ dotyczy scenariusza o największych konsekwencjach finansowych.

Kluczowe rozróżnienie dotyczy posiadania i przetestowania. Posiadanie kopii zapasowych nie jest wskaźnikiem — wskaźnikiem jest data ostatniego udanego odtworzenia danych z tych kopii. Podobnie plan ciągłości działania ma wartość dopiero po przeprowadzeniu ćwiczenia.

Rozbieżność między deklarowanym a rzeczywistym czasem odtworzenia należy do najczęściej ujawnianych problemów podczas pierwszego testu. Organizacje zakładają odtworzenie w ciągu kilku godzin, a próba przeprowadzona w warunkach kontrolowanych wykazuje kilka dni — najczęściej z powodu nieudokumentowanych zależności między systemami albo braku dostępu do danych uwierzytelniających poza środowiskiem produkcyjnym.

Znacząca część ekspozycji organizacji znajduje się poza jej własną infrastrukturą — u dostawców usług, oprogramowania i utrzymania. Regulacje wprost nakładają obowiązek zarządzania tym obszarem, a w praktyce bywa on najsłabiej udokumentowany.

Raportowanie w tej perspektywie powinno koncentrować się na dostawcach krytycznych, czyli takich, których awaria lub naruszenie bezpieczeństwa przekłada się bezpośrednio na działalność organizacji. Ocenianie wszystkich dostawców jednakowo prowadzi do formalizmu bez wartości.

Praktyczną trudność stanowi ustalenie samej listy dostawców krytycznych. W większości organizacji nie istnieje ona w formie utrzymywanej, a informacje rozproszone są między działem zakupów, IT i właścicielami procesów. Sporządzenie i utrzymanie tej listy bywa pierwszym realnym rezultatem pracy w tym obszarze i warto raportować sam fakt jej powstania.

Wskaźniki takie jak czas wykrycia czy czas reakcji bywają przenoszone do raportów zarządczych bez weryfikacji, czy organizacja w ogóle dysponuje danymi pozwalającymi je rzetelnie wyznaczyć. Są miarodajne wyłącznie dla podmiotu, który faktycznie prowadzi monitorowanie w trybie ciągłym — wewnętrznego zespołu operacyjnego albo zewnętrznego dostawcy usługi.

Jeżeli organizacja korzysta z zewnętrznego dostawcy monitorowania, wskaźniki te powinny pochodzić z jego raportowania i podlegać weryfikacji względem warunków umowy. Prezentowanie ich jako własnego rezultatu, gdy nadzór ogranicza się do doradztwa, wprowadza zarząd w błąd co do faktycznego stanu zdolności organizacji.

Raport zarządczy powinien mieścić się na jednej stronie. Ograniczenie objętości nie jest kwestią estetyki, lecz mechanizmem wymuszającym selekcję: przy jednej stronie do raportu trafia wyłącznie to, co ma znaczenie decyzyjne.

Sprawdza się układ czteroczęściowy, konsekwentnie powtarzany w kolejnych okresach. Powtarzalność struktury pozwala zarządowi porównywać stan między okresami bez ponownego wdrażania się w formę dokumentu.

Sekcją o największym znaczeniu jest ostatnia, zawierająca pytania decyzyjne. Raport kończący się opisem stanu przenosi na zarząd obowiązek samodzielnego sformułowania, co należy rozstrzygnąć — a to zadanie osoby przygotowującej materiał. Każde pytanie powinno mieć warianty, konsekwencje każdego z nich oraz rekomendację wraz z uzasadnieniem.

Wartość wskaźników ujawnia się w trendzie, nie w pojedynczym odczycie. Z tego powodu regularność ma większe znaczenie niż liczba raportowanych wielkości — zestaw ograniczony, lecz mierzony konsekwentnie, przewyższa rozbudowany raport przygotowywany doraźnie.

W typowej organizacji sprawdza się rytm kwartalny dla raportu zarządczego oraz miesięczny dla przeglądu operacyjnego prowadzonego na poziomie kierownictwa IT. Zdarzenia nadzwyczajne — poważny incydent, kontrola organu, istotna zmiana regulacyjna — uruchamiają raportowanie poza harmonogramem.

Rytm powinien zostać ustalony formalnie i wpisany do kalendarza organów zarządzających, a nie zależeć od inicjatywy osoby przygotowującej raport. Raportowanie prowadzone doraźnie ma dwie wady: nie pozwala budować trendu i przy kontroli nie stanowi dowodu na sprawowanie systematycznego nadzoru.

Wskaźnik bez wartości docelowej informuje o stanie, lecz nie pozwala ocenić, czy stan ten jest akceptowalny. Zarząd otrzymujący samą liczbę musi domyślać się, czy wymaga ona reakcji — co w praktyce oznacza, że reakcja nie następuje.

Wartości docelowe powinny wynikać z decyzji o akceptowalnym poziomie ryzyka, a nie z porównań z innymi organizacjami. Punktem wyjścia jest pytanie, jaka wartość oznacza sytuację, w której zarząd nie podejmuje działań, oraz jaka wartość uruchamia obowiązek reakcji.

Sprawdza się model trójstanowy: wartość docelowa, próg ostrzegawczy i próg wymagający decyzji. Taki układ pozwala raportować kolorem lub jednym słowem, bez konieczności interpretowania liczb przy każdym przeglądzie. Wartości ustala się raz, a weryfikuje przy rocznym przeglądzie zestawu wskaźników.

Sam dokument nie tworzy nadzoru. Wartość powstaje podczas omówienia, w którym zapadają decyzje i zostaje to udokumentowane. Przy braku takiego punktu raport staje się materiałem archiwalnym, a przy kontroli nie stanowi dowodu sprawowania nadzoru przez organy zarządzające.

Odbiorcą powinien być organ zarządzający jako całość, nie wyłącznie osoba odpowiedzialna za IT. Regulacje przypisują odpowiedzialność za zatwierdzenie środków zarządzania ryzykiem organom zarządzającym, co oznacza konieczność ich udziału w procesie — również wtedy, gdy obszar techniczny pozostaje poza ich kompetencjami.

Praktyczne znaczenie ma protokołowanie decyzji. Zapis, że zarząd zapoznał się ze stanem i świadomie zaakceptował określone ryzyko, ma inną wagę dowodową niż brak jakiegokolwiek śladu. Dotyczy to zwłaszcza sytuacji, w których organizacja świadomie odkłada wdrożenie zabezpieczenia z powodów budżetowych.

Najczęstszy zarzut wobec raportowania bezpieczeństwa brzmi, że nie przekłada się na decyzje o pieniądzach. Zarzut jest zasadny wtedy, gdy raport prezentuje stan w oderwaniu od kosztu jego poprawy. Wskaźnik nabiera znaczenia budżetowego dopiero w zestawieniu z nakładem potrzebnym do przesunięcia go w pożądanym kierunku.

Konstrukcja, która sprawdza się w praktyce, opiera się na trzech elementach zestawionych obok siebie: bieżąca wartość wskaźnika, konsekwencja jej utrzymania oraz szacunkowy nakład na doprowadzenie do wartości docelowej. Tak przedstawiona pozycja przestaje być informacją techniczną, a staje się wnioskiem inwestycyjnym porównywalnym z innymi.

Konsekwencję warto opisywać w kategoriach, którymi organizacja posługuje się na co dzień — przestoju, utraconego kontraktu, kosztu odtworzenia danych, ryzyka sankcji. Przeliczanie ryzyka na pojedynczą kwotę bywa kuszące, lecz przy niewielkiej liczbie zdarzeń historycznych wynik obarczony jest niepewnością, która podważa wiarygodność całego raportu.

Osobno należy raportować koszt zaniechania w obszarach, w których zarząd świadomie odłożył działanie. Jest to informacja niewygodna, ale konieczna: bez niej akceptacja ryzyka pozostaje decyzją podjętą bez znajomości jej ceny, a przy późniejszej kontroli trudno wykazać, że była świadoma.

Poniższe błędy powtarzają się niezależnie od wielkości organizacji i branży. Ich wspólnym mianownikiem jest przygotowywanie raportu z perspektywy nadawcy, a nie odbiorcy.

Organizacje rozpoczynające budowę raportowania zwykle nie dysponują żadnym z opisanych wskaźników. Nie stanowi to przeszkody — wartość powstaje od pierwszego pomiaru, ponieważ wyznacza on punkt odniesienia dla kolejnych.

Racjonalne jest rozpoczęcie od czterech pozycji, po jednej z każdej perspektywy, wybranych pod kątem dostępności danych. Rozbudowa zestawu następuje w kolejnych okresach, w miarę jak organizacja zaczyna zbierać brakujące informacje.

Pierwszy pomiar bywa niekomfortowy, ponieważ ujawnia obszary całkowicie nieobsłużone. Jest to jednak jego zasadnicza wartość: dopiero od tego momentu można wykazać postęp. Raport pokazujący poprawę z niskiego poziomu wyjściowego jest z perspektywy nadzoru materiałem mocniejszym niż raport prezentujący stan dobry bez historii pomiaru.