Cyfrowy totalitaryzm. Coś nie jest tak

Wielkie rewolucje dokonują się nieraz bezszelestnie, w niemal niezauważalny sposób. Z dnia na dzień nie odnotowujemy żadnej wyraźnej zmiany – restauracje są wciąż pełne ludzi, autobusy i pociągi odjeżdżają z przystanków zgodnie z rozkładem jazdy, swoją codzienną rutyną pochłonięte są urzędy, banki i kościoły. Dopiero oglądając rzeczy z pewnego dystansu, można stwierdzić, że właśnie w tym momencie dokonała się znacząca zmiana; że od tego miesiąca i tego dnia należy zacząć datować początek jakiegoś znaczącego procesu.

Rok 2020 może okazać się dla przyszłych historyków takim właśnie momentem. Nie za sprawą brexitu, wyborów prezydenckich w Stanach Zjednoczonych czy wydarzeń na Bliskim Wschodzie. Może zapisać się w dziejach jako symboliczny moment narodzin nowego totalitaryzmu. A wszystko za sprawą wdrażanego w Chinach na pełną skalę właśnie teraz tzw. systemu zaufania społecznego.

Pokaż, jak się kajasz

Czym jest Social Credit System (SCS)? Najkrócej rzecz ujmując, jest to system permanentnej inwigilacji wszystkich obywateli Państwa Środka. Opracowywany od 2014 roku, pilotowany od ponad dwóch lat, system ma jeszcze w tym roku objąć swoim zasięgiem całą populację Chin, a więc około 1,4 mld ludzi. SCS używa najnowocześniejszych narzędzi analizy danych (tzw. big data), by zbierać informacje na temat działań obywateli – tego, czy płacą na czas rachunki, co oglądają w sieci, a nawet (dzięki rozbudowanemu systemowi kamer) czy przechodzą przez jezdnię na czerwonym świetle. Prawomyślne i propaństwowe zachowania sprawiają, że obywatela czeka nagroda w postaci przydzielanych mu punktów. Za działania niepożądane grozi jednak kara – punktowy rating danej osoby zostaje obniżony.

To, czy pomnożymy, czy też roztrwonimy przypisany przez państwo wyjściowy kapitał tysiąca punktów zaufania, ma bardzo mocne przełożenie na to, jak będzie wyglądało nasze życie. Według danych Associated Press w wyniku działania pilotażowej wersji systemu, w samym 2018 roku 17,5 mln razy odmówiono nisko punktowanym obywatelom prawa do kupna biletu lotniczego, a 5,5 mln razy – biletu na pociąg. 128 osobom zakazano wyjazdu z Chin w związku z niepłaceniem podatków. 290 tys. razy „niegodne" zaufania osoby nie mogły zająć wyższego stanowiska w przedsiębiorstwie lub pełnić roli jego prawnego przedstawiciela. Grzywną za niesprzątanie po psie lub wyprowadzanie pupila bez smyczy ukarano ponad tysiąc osób.

Oczywiście, niski wynik można próbować „podciągnąć" – choćby pomagając biednym, angażując się w prace społeczne, oddając krew czy też, co da zapewne najlepsze rezultaty, zachwalając rządzących w sieci. Z drugiej strony jednak wynik dobry można zaprzepaścić – do punktowo karanych działań należą choćby rozpowszechnianie plotek w internecie, nieregularne odwiedzanie rodziców, oszukiwanie w grach online (co pozwala wyłapać potencjalnych hakerów, zanim staną się groźni – pierwsze kroki w hakowaniu zwykle stawia się w grach). Ujemnymi punktami karane mogą być nawet nieszczere przeprosiny za popełnione przestępstwa czy wykroczenia. Czy kajamy się z autentycznym przekonaniem i wolą poprawy, czy tylko udajemy, pozwoli rozpoznać sztuczna inteligencja dzięki zaawansowanym narzędziom tzw. facial recognition – analizy ruchów mięśni twarzy.

W zbieraniu wszystkich tych danych rządowi w Pekinie pomagają technologiczni giganci, jak choćby Tencent, właściciel WeChata (największej platformy społecznościowej w Chinach), finansowa agencja analityczna Pengyuan czy Alibaba, największa na świecie firma sektora e-commerce (mówiąc po ludzku: takie Allegro do potęgi entej). Informacje dostarczane przez te podmioty, w połączeniu z danymi zbieranymi przez poszczególne ministerstwa oraz na wszystkich szczeblach państwowej administracji, sprawiają, że w Chinach powstaje inteligentny, wewnętrznie połączony system permanentnej inwigilacji każdej niemal czynności wykonywanej przez obywateli Państwa Środka.

Zawczasu wyłapani

System zaufania społecznego określa się czasami jako cyfrowy, XXI-wieczny odpowiednik tzw. dang'an (co po chińsku znaczy „teczka", „plik", „dokument") – systemu stosowanego na masową skalę w czasach Mao Tse-tunga. Wszelkiego rodzaju informacje na temat obywateli od momentu rozpoczęcia przez nich nauki w szkole podstawowej zbierano wówczas właśnie w specjalnych teczkach. Zawierały one zdjęcia, raporty ze szkoły czy zakładu pracy, opis charakterystycznych cech fizycznych i tym podobne szczegóły. Aparat represji totalitarnego państwa mógł dzięki zgromadzonej w ten sposób wiedzy szybko i skutecznie przeciwdziałać wszelkim przejawom działań „antyspołecznych" już w ich najwcześniejszym, zarodkowym stadium.

Nietrudno jednak zauważyć, że oryginalny dang'an ma się do systemu zaufania społecznego mniej więcej jak maczuga do wyrzutni rakiet albo jak awionetka do myśliwca bojowego. XX-wieczny Wielki Brat potrzebował armii szpicli i urzędników, by wiedzieć, co dzieje się wśród poddanych. W skład tej armii wchodzili ludzie o różnych talentach i różnym zaangażowaniu w wykonywaną pracę, niejednokrotnie dezinformujący przełożonych dla własnej korzyści. Informacje były więc, po pierwsze, niepełne, po drugie zaś, nie zawsze wiarygodne.

XXI-wieczny Big Brother opiera się tymczasem na big data. Powtarzalne trendy w zachowaniach obywateli pomoże mu wychwycić nie kierujący się subiektywnymi wrażeniami agent czy urzędnik, ale sztuczna inteligencja, która działa tym lepiej, im więcej ma materiału do nauki. Permanentne obserwowanie prawie półtoramiliardowej ludności gwarantuje zaś – ze stricte matematycznego punktu widzenia – że zebrany materiał pozwoli z niezwykłą skutecznością przewidywać zachowania właściwie każdej osoby, w tym identyfikować potencjalnie „nieprawomyślnych" obywateli.

We wtorek w porze lunchu

Czy oznacza to jednak, że tym samym odwieczny problem tyranii – pytanie o to, kto będzie sprawował kontrolę nad tymi, którzy w imieniu władcy sprawują kontrolę nad społeczeństwem – został rozwiązany? Bynajmniej. Choć powyższy opis może sprawiać wrażenie, że oto dobrnęliśmy do przerażającej formuły władzy nikogo (władzy niesprawowanej przez żadnego człowieka, w pełni przetransferowanej na sztuczną inteligencję czy przerastającą ludzką zdolność kalkulowania technologię), bynajmniej tak nie jest. Ktoś wciąż musi pilnować, czy system nie został zhakowany, czy należycie działa, czy nie wymaga korekt.

Warto zauważyć, że chociaż SCS wywodzi się do pewnego stopnia z tradycji dang'an, nie można go zredukować do zjawiska specyficznie chińskiego. Przeciwnie, wydaje się jak najściślej związany z modelem kapitalizmu, który zwycięża właśnie na naszych oczach. Mam na myśli gospodarkę, której kołem zamachowym są ogromne zasoby danych na temat konsumentów. Dzięki dostępowi do nich firmy mogą bardzo skutecznie profilować swoją ofertę, a czasami wręcz antycypować ludzkie działania (w sieci wyświetli mi się reklama butów do koszykówki, zanim zdam sobie sprawę z tego, że faktycznie fajnie byłoby nabyć nową parę).

Na co dzień nie myślimy o tym w ten sposób, ale temu właśnie służą największe firmy technologiczne zachodniego świata: Google, Amazon czy Facebook. Proste pytanie: dlaczego nie musimy płacić, by korzystać z tego ostatniego? Odpowiedź: bo nie jesteśmy klientem, tylko towarem. Takim samym towarem jest historia naszych zakupów w sklepach internetowych, historia odwiedzonych za pomocą przeglądarki stron albo zaszyta w naszych telefonach informacja o tym, gdzie się aktualnie znajdujemy (jak i o tym, gdzie byliśmy w zeszły wtorek w porze lunchu). Wszystko to są dane, które zagregowane w gigantyczne zbiory, a następnie przeanalizowane przez sztuczną inteligencję, pozwalają określić to, czego chcemy, w jaki sposób dokonujemy naszych wyborów, jak żyjemy. Krótko: za możliwość korzystania z niezliczonych udogodnień, jakie oferuje nam współczesna technika, oddajemy „rynkowi" za darmo jedną tylko, ale za to niezmiernie ważną rzecz – wiedzę o tym, kim jesteśmy.

Kim jest człowiek

Poznaj siebie! – to przykazanie delfickiej wyroczni znajduje się u samego źródła zachodniej cywilizacji. Mówi nam ono, że naprawdę wolni możemy być jedynie wtedy, kiedy zrozumiemy samych siebie. A jednocześnie: że każdy z nas jest zagadką, której nie da się nigdy do końca rozwiązać; w której zawsze pozostanie pewien pierwiastek tajemnicy, niejasności. Pytanie o to, kim jestem, okazuje się więc niemożliwe do oddzielenia od pytania o to, kim jest człowiek. Dlaczego? Bo tylko człowiek pyta o siebie oraz próbuje dociec sensu swojego życia. To pytanie – oraz wielorakie odpowiedzi, jakich udzielano na nie na przestrzeni wieków – wyznacza podstawę rozumnego życia, a więc również: naszej niedoskonałej, ludzkiej, arcyludzkiej wolności.

Jedną z wielkich obietnic totalitarnych ideologii jest wyzwolenie ludzi ze żmudnego obowiązku samopoznania. Wiedza na twój temat – mówią te ideologie człowiekowi – nie znajduje się w tobie. Nie masz żadnego „wewnętrznego świata" („duszy"), do której nikt nie miałby wstępu. Wiedzę o tobie posiadamy my – wszechwładne, totalne państwo. Tylko my (komuniści albo naziści – pod tym akurat względem to akurat żadna różnica) wiemy, kim jest prawdziwy człowiek oraz kim jest jego przeciwieństwo: antyczłowiek.

Tak wyglądały XX-wieczne totalitaryzmy. Wiele wskazuje na to, że również ich współczesny odpowiednik będzie wyznawcą nakreślonej powyżej filozofii władzy. Zmianie ulegają jedynie (aż?) narzędzia, za pomocą których będzie ona wdrażana w życie. Zamiast zakrojonych na szeroką skalę działań tajnej policji – big data oraz sztuczna inteligencja działające na rzecz kontroli wszystkich razem i każdego z osobna. Zamiast donosów składanych na komisariacie – donosy w sieci. Zamiast fizycznej eksterminacji wybranych grup – przeprowadzana z zatrważającą skutecznością operacja marginalizowania wszelkich realnie lub potencjalnie „nieprawomyślnych" obywateli na indywidualnym poziomie (zapewne bez konieczności ich mordowania).

Co charakterystyczne, system zaufania społecznego nawet w samej swojej nazwie powtarza charakterystyczny dla totalitarnej władzy gest odwracania znaczeń. Słowo „zaufanie" nie ma tu nic wspólnego z ufnością czy zawierzaniem komukolwiek. Przeciwnie: oznacza właśnie permanentną nieufność i wynikającą z niej totalną kontrolę.

Skoro jednak wiedza o człowieku znajduje się poza nim, oznacza to, że poza jego kontrolą znajduje się również język (władza nazywania rzeczy) oraz określanie rozumności. W ramach SCS rozumne (czyli dobre, racjonalne) staną się czynności zadekretowane jako wartościowe przez władze – dokładnie tak samo, jak w radzieckim systemie totalitarnym dobre i racjonalne było denuncjowanie wrogów realnego socjalizmu.

Za bezosobowymi na pozór algorytmami zawsze stoi więc ktoś, kto wyznacza ich działaniu najbardziej ogólny kierunek, kto jest ich „nieruchomym poruszycielem". Czy również w przypadku systemu zaufania społecznego – wraz ze zmianami w przywództwie chińskiej partii komunistycznej – dojdzie do odwrócenia raz przyjętej skali punktowej albo amnestii punktów ujemnych przyznanych jakiejś grupie obywateli? Nie można tego wykluczyć. Możliwe jednak również, że dokonywanie drastycznych zmian nikomu nie będzie się opłacało, bo kontrola okaże się na tyle doskonała, że podważanie jej przez kogokolwiek będzie równoznaczne z podcinaniem gałęzi, na której się siedzi.

Czerwony atrament

To na samej górze społecznej piramidy. Przyjrzyjmy się teraz jej dołom. Jak może czuć się ktoś, kto znajduje się pod czyjąś całkowitą kontrolą? Na YouTubie widziałem młodą Chinkę z zapałem zachwalającą działanie systemu zaufania społecznego. Jak przekonywała, „pozwala on wszystkim stać się lepszymi obywatelami". Gdy tego słuchałem, przypomniał mi się ponury rosyjski żart z czasów Związku Radzieckiego. Dwóch mieszkających w Moskwie przyjaciół zastanawia się, czy w łagrach jest faktycznie tak ciężko, jak ludzie sobie o tym z ust do ust powtarzają (żadnej wiarygodnej, publicznie dostępnej wiedzy na temat panujących tam warunków rzecz prosta nie ma). Mężczyźni umawiają się, że gdyby jeden z nich trafił do obozu i warunki faktycznie okazałyby się straszliwe, poinformuje o tym tego drugiego za pomocą pewnego sygnału. Mianowicie, napisze swój list czerwonym atramentem. Użycie jakiegokolwiek innego koloru będzie natomiast oznaczało, że warunki są całkiem znośne.

Po jakimś czasie jeden z przyjaciół faktycznie zostaje aresztowany i trafia do obozu pracy. Zgodnie z umową wysyła list napisany czarnym atramentem. Przyjaciel czyta w nim: „Drogi Alosza! Warunki w moim łagrze są wspaniałe. Jestem dobrze odżywiony, a strażnicy dbają o naszą szybką resocjalizację. Doprawdy, na nic nie można tu narzekać, wszystkiego jest pod dostatkiem. Brakuje jedynie czerwonego atramentu".

Nie wiem, czy młoda Chinka, której wypowiedź widziałem w internecie, wierzyła we własne słowa, czy też nie. Nie mam jednak wątpliwości, że nawet gdyby uważała system zaufania społecznego za straszny i głęboko represyjny, udzielając wywiadu zagranicznej telewizji, nie miała przy sobie niczego w rodzaju „czerwonego atramentu" z powyższego dowcipu. Nie miała, innymi słowy, żadnego sposobu, by poinformować nas, że „coś jest nie tak".