Responsible AI – jak ustalić metryki wykonalności

Aby zbudować matrycę wskaźników etycznej AI, należy najpierw ustanowić zasady, które będą stosowane w procesie projektowania, rozwijania, wdrażania i stosowania sztucznej inteligencji. Powinny one wynikać z ducha organizacji i wartości, które są w niej przyjęte.

Publikacja: 18.06.2024 04:30

Responsible AI – jak ustalić metryki wykonalności

Foto: Adobe Stock

Kto właściwie powinien odpowiadać za monitorowanie wskaźników wykonalności (KPI) dla odpowiedzialnej (responsible) i  godnej zaufania (trustworthy) sztucznej inteligencji? Sama odpowiedzialność za postępowanie organizacji (czy raczej jej pracowników) spoczywa na zarządzie, ale przecież operacyjnie ktoś musi zapewnić monitoring (także w zakresie jakości) i podejmować działania (corrective actions), które przywrócą stan pożądany. O tym „porozmawiamy” innym razem, dzisiaj natomiast zostanie poruszona tematyka wskaźników (KPI) „wykonalności” dla ResponsibleAI – koncepcji tzw. odpowiedzialnej sztucznej inteligencji.

Czy da się mierzyć poprawę dobrostanu

Znaczenie wskaźników etycznej AI jest ogromne, nawet jeżeli dzisiaj nie zdajemy sobie jeszcze z tego sprawy. Wyzwanie, przed którym stoimy w tym zakresie, to przełożenie, na pierwszy rzut oka, bardzo abstrakcyjnych oczekiwań na konkretne wymagania o charakterze organizacyjnym i technicznym.

Czytaj więcej

Co trzeba wiedzieć o cyklu życia AI

Zapytajcie inżyniera oprogramowania czy specjalistę od danych, jak mierzy zasadę „przyczyniania się do poprawy dobrostanu społecznego i środowiskowego” albo odpowiedzialności i rozliczalności czy nawet przejrzystości. Pewnie jest jakieś prawdopodobieństwo, że pokaże, jak podchodzi do kwestii uczciwości (fairness) czy wskaźników wyjaśnialności, ale raczej będzie to coś, co wykorzystuje na własne potrzeby, a nie ze względu na politykę organizacji.

Przeszkoda czy budowanie zaufania

Często wskaźniki w zakresie #responsibleai, o ile w ogóle są ustanowione na poziomie organizacji, to traktowane są raczej jako przeszkoda dla rozwijania rozwiązań i bloker biznesu niż coś, co realnie zwiększa wartość poprzez budowanie zaufania użytkowników (klientów) do nas samych. Tymczasem w kontekście sztucznej inteligencji stworzenie „ekosystemu” pod tym kątem może się w dłuższej perspektywie przyczynić do „odróżnienia” się organizacji od konkurencji oraz do rozwoju modeli biznesowych. Pamiętajmy przy tym, że etyka #ai, choć w wielu miejscach przenikająca się, nie jest tym samym co zapewnienie zgodności z przepisami, bo w końcu to, że przepisy pozwalają, nie oznacza, że trzeba (i warto).

Od czego zacząć

Budowanie matrycy wskaźników należy zacząć od ustanowienia zasad, które będziemy stosować w procesie projektowania, rozwijania, wdrażania i stosowania #ai, a te zasady powinny wynikać z ducha organizacji i wartości, które zostały przyjęte. Nie ma innej drogi. Możemy posiłkować się istniejącymi „frameworkami” (ramami), które tworzą organizacje oraz instytucje międzynarodowe, jak również podmioty prywatne, ale powinien być to tylko „pretekst” i punkt wyjścia. Bezpośrednie (bezmyślne?) kopiowanie nigdy nie przyniesie oczekiwanych skutków. No chyba że oczekujemy #ethicswashing. Pewnego wsparcia możemy poszukiwać w już istniejących rozwiązaniach dla ESG. To przecież dość zbieżna dziedzina.

Pytania pomocnicze

Jak może wyglądać przykładowy wskaźnik? Oczywiście istnieją formuły matematyczne, które pozwalają na „wyliczenie”, czy coś jest OK czy nie, ale nie w każdym przypadku wartości numeryczne się sprawdzą i znajdą zastosowanie. Spójrzmy na zasadę „odpowiedzialności i rozliczalności” – tutaj przyjmiemy formę opisowych pytań, na których odpowiedzi będą tylko „tak/nie” (jest to przykładowa i niepełna checklista – lista kontrolna):

1) czy dla projektu ustalono właściciela, który odpowiada za realizację projektu zgodnie z ustalonymi zasadami?

2) czy funkcjonują kanały komunikacji w zakresie wykrytych nieprawidłowości?

3) czy funkcjonuje system eskalacji oraz raportowania incydentów?

4) czy pracownicy odpowiadający za poszczególne aspekty projektu posiadają stosowne narzędzia?

5) czy przeprowadzono szkolenia z zakresu odpowiedzialnej AI?

6) czy z realizacji projektu wypracowany jest raport końcowy przedstawiony zgodnie ze strukturą organizacyjną np. zarządowi?

7) czy projekt będzie podlegał audytowi przeprowadzanemu przez upoważniony i niezależny podmiot?

8) czy projekt uzyskał stosowne akceptacje i zgody?

9) czy projekt uzyskał akceptację komitetu ds. etyki AI?

10) czy określono sposób postępowania z projektami, które naruszą standardy/zasady etyczne?

Ważne! O ile wskaźniki możemy wyznaczyć na poziomie „ogólnym”, np. w ramach stosownej polityki, o tyle ustalenie ich konkretnych wartości powinno odbywać się „na projekcie”, gdyż każdy projekt AI ma swoją specyfikę i dla każdego inne wartości mogą być bardziej adekwatne.

Same wskaźniki to za mało

Pamiętajmy, że to, co opracujemy, powinno być zbieżne z naszym systemem zarządzania ryzykiem (w idealnym układzie dla AI), bo ryzyka naruszenia norm etycznych często wiążą się z „twardymi” ryzykami dla systemów sztucznej inteligencji. Samo ustalenie wskaźników to oczywiście za mało, bo należy jeszcze:

1) określić, kto odpowiada za ich spełnienie oraz jacy interesariusze występują w danym procesie – najczęściej nie będzie to wyłącznie jedna osoba/jednostka,

2) wskazać scenariusze dla konkretnej zasady, aby dać interesariuszom wskazówkę, jak wygląda realizacja określonych zasad,

3) w miarę możliwości określić „co to znaczy”, że wskaźnik jest spełniony, np. poprzez „podkryteria” – to oczywiście sprowadza się do swoistej checklisty, ale trudno jest wprowadzić inne rozwiązania, jeżeli mówimy często o opisowym charakterze wskaźników.

Zaznaczenia wymaga, że poszczególne wskaźniki mogą różnić się w zależności od etapu cyklu życia systemu AI i ten fakt należy uwzględnić przy planowaniu własnej matrycy/tabeli dla tych wskaźników.

Ważnym elementem będzie też określenie, „co się stanie”, jeżeli wskaźnik nie zostanie spełniony, np. czy podejmowane jest wtedy działanie naprawcze, które pozwala na przywrócenie stanu pożądanego. Jeżeli spojrzymy na to w ten sposób, to widać też wyraźnie, że może nam to posłużyć jako lista czynności do odhaczenia przed realizacją (wdrożeniem, zastosowaniem) projektu #ai.

Konieczna jest dokumentacja

Oczywiście trzeba udokumentować cały proces, który może znaleźć się np. w polityce lub stanowić załącznik do zasad odpowiedzialnej i godnej zaufania AI i który będzie poprzedzać ustalenie takich wskaźników. Dokument posłuży nam nie tylko do bieżącego monitorowania, ale także „wykazania”, że stosujemy się do tych zasad, np. w ramach systemu informacji zarządczej czy regularnych audytów. Ustalenie procesu postępowania ze wskaźnikami powinno wiązać się także z procesem edukacji w organizacji – szkoleniami, instruktażami czy materiałami, które pozwolą interesariuszom na zrealizowanie tych wymogów.

* * *

To wszystko wydaje się kosztownym i długotrwałym procesem i w odniesieniu do „czasu” tak rzeczywiście jest. Proces wdrażania takiego podejścia jest ewolucyjny i długoterminowy, ma także charakter ciągły i iteracyjny. Dlatego warto zacząć od ustalenia, w jakim zakresie jesteśmy na to gotowi i czy rzeczywiście jest to kierunek dla nas. Uważam, że każda organizacja podchodząca odpowiedzialnie do AI powinna o tym pomyśleć, jednak mam też świadomość, że poziom zrozumienia i rozwoju technologii może się różnić w zależności od organizacji. Stąd zasada proporcjonalności, która będzie tutaj bardzo istotna.

Autor jest partnerem AI & CyberSec w ZP Zackiewicz & Partners, CEO w GovernedAI

Kto właściwie powinien odpowiadać za monitorowanie wskaźników wykonalności (KPI) dla odpowiedzialnej (responsible) i  godnej zaufania (trustworthy) sztucznej inteligencji? Sama odpowiedzialność za postępowanie organizacji (czy raczej jej pracowników) spoczywa na zarządzie, ale przecież operacyjnie ktoś musi zapewnić monitoring (także w zakresie jakości) i podejmować działania (corrective actions), które przywrócą stan pożądany. O tym „porozmawiamy” innym razem, dzisiaj natomiast zostanie poruszona tematyka wskaźników (KPI) „wykonalności” dla ResponsibleAI – koncepcji tzw. odpowiedzialnej sztucznej inteligencji.

Pozostało 93% artykułu
W sądzie i w urzędzie
Sprawy frankowiczów w sądach – wszystko co musisz wiedzieć
Praca, Emerytury i renty
Krem z filtrem, walizka i autoresponder – co o urlopie powinien wiedzieć pracownik
Praca, Emerytury i renty
Wakacyjne wyjazdy do pracy za granicę. Jak się przygotować?
Prawo pracy
Co przysługuje pracownikom w upały? Czy rodzi to obowiązki podatkowe i składkowe?
Materiał Promocyjny
Mazda CX-5 – wszystko, co dobre, ma swój koniec
Za granicą
Wakacje 2024 z biurem podróży. Jakie mam prawa podczas wyjazdu wakacyjnego?
Materiał Promocyjny
Jak Lidl Polska wspiera polskich producentów i eksport ich produktów?