Dlaczego jeszcze rozwój AI jest niebezpieczny?
Niebawem za pomocą jednych systemów AI będą hakowane inne. Ci, którzy z pozycji wyższości uspokajają się barierą świadomości, zapominają o prostej rzeczy. Wystarczy spytać: czy żeby ktoś ciebie oszukał, mądry profesorze, wybitny intelektualisto, doświadczony dziennikarzu, to musi być bardziej wykształcony? Czy spryciarz wygrywający w trzy karty musi być mądrzejszy lub szlachetniejszy od swej ofiary? Nie, wystarczy, że jest sprawniejszy, cwańszy pod jakimś jednym względem.
Cywilizacja nie rozwija się po jednej ścieżce, a w różnych fazach rozwoju różne pola okazują się newralgiczne. Przykładowo, po II wojnie światowej był problem zapobieżenia rozprzestrzenianiu się broni masowego rażenia. Za dwa lata newralgiczny może być komputer kwantowy, który zrujnuje systemy szyfrowania informacji i spowoduje, że upadną płatności, cała komunikacja i strategiczna, i zwykła.
Do czego pan zmierza?
Że jeśli jakiś system sztucznej inteligencji – nawet nadal dość wąsko wyspecjalizowany, a nie tzw. ogólna, samoucząca się AI – będzie mnożnikiem potęgi w miejscu priorytetowym dla stabilności cywilizacyjnego ekosystemu, to jego nieintencjonalne działanie albo świadome użycie może np. trwale rozbić rynki finansowe na połowie globu i pociągnąć za sobą choćby serię wojen regionalnych. System AI nie musi być samouczący, nie musi być świadomy, nie musi być superinteligentny, aby był superniebezpieczny. Wystarczy, że na jakimś krytycznie ważnym polu będzie miał zdolności, za którymi przez jakiś czas nie nadążymy. Że niechcący wprowadzi nas w błąd.
Wreszcie, wracając już do ChatGPT – on może pozwolić na ostrzejsze postawienie problemu, o którym od lat się mówi, ale nie wyciąga się wniosków: problem tzw. zbędnych ludzi, czyli zastępowania ludzkiej pracy przez automaty. Zwykle technoentuzjaści – a uważam technoentuzjam za najgroźniejszą ideologię współczesnego świata – mówią, że AI, tak jak inne przełomowe technologie w dziejach ludzkości, likwidując jedne miejsca pracy, zarazem stworzy nowe. Ale wybitny historyk ekonomii Robert Skidelsky, przeprowadziwszy analizę, stwierdził, że choć faktycznie taki mechanizm występował, jest problem dopasowania do siebie szeregów czasowych. Może być tak, że AI miliony ludzi pozbawi miejsc pracy, a zanim te nowe powstaną, wystąpią fale niepokojów społecznych, które się wymkną spod kontroli zarówno poszczególnych krajów, jak i rynków międzynarodowych.
Obawiam się, że ten lub kolejny GPT może skokowo coś takiego spowodować, np. w e-commerce, edukacji, prawie. DoNotPay – „Pierwszy prawnik robot” – oferuje prawnicze usługi sztucznej inteligencji. Firma ogłosiła konkurs: kto stanie przed Sądem Najwyższym ze słuchawkami w uszach i będzie udzielał odpowiedzi tylko na podstawie tego, co ich sztuczna inteligencja podpowie, dostanie milion dolarów. Ktoś od razu wskazał, że to jest niezgodne z jakimś niuansem amerykańskiego prawa, ale sednem jest coś innego: oni chcą zaryzykować milion dolarów, twierdząc, że ktoś będzie skuteczniej się bronił przed sądem, korzystając z ich programu niż z tradycyjnego „ludzkiego” oprogramowania.
Michał Szułdrzyński: Kościół zlękniony
Jakaż słaba musiałaby być w narodzie wiara, jeśli miałoby ją zniszczyć odnalezienie przez historyków lub dziennikarzy dowodów na zaniedbania Karola Wojtyły.
ChatGPT otworzył ludziom oczy w tej kwestii?
Jeszcze niedawno uważano, że tzw. prace kreatywne zostaną zautomatyzowane w ostatniej kolejności. Czyli że, w odróżnieniu od robotników, osoby wykonujące prace umysłowe jako trudniejsze mogą się czuć bezpiecznie. A jednak nie. O ile się orientuję, to najbezpieczniej mogą się czuć pracownicy budowlani, bo na razie chaos na placu budowy jest tak duży, że żaden robot nie potrafi przetrwać tego, co się tam dzieje. Jaka jest tu perspektywa dla ludzkości? Sprowadzenie nas do roli wykonawców prostych prac w chaotycznym otoczeniu.
Rozumiem, że w żonglowaniu czterema jabłkami naraz jesteśmy jeszcze lepsi niż roboty. Ale ci, co nas uspokajają, zwracają uwagę, że ChatGPT to po prostu zespół algorytmów, przekazujący tak naprawdę odwzorowanie statystyczne tego, co powinno być odpowiedzią na dane pytanie. Że on nie rozumie tego, co on do nas mówi.
Ten brak świadomości komputerowego „rozmówcy” ma uspokajać? Absolutnie nie. Podejrzewam, że przeciętny plastyk, który wykonuje zlecenie reklamowe, przetwarza znacznie mniej informacji niż ChatGPT. Ten, jak rozumiem, ma wdrukowane jakieś modele semantyki ludzkich języków, w których zapisana jest nasza wrażliwość na świat. Wrażliwość być może już większa niż jakiegokolwiek poszczególnego człowieka.
Inną obawę wyraża amerykański badacz David Golumbia, który mówi, że – może przerysowując – obecne systemy AI przecierają drogę do faszyzmu.
W jakim sensie?
On idzie ścieżką rozważań podobną do zarysowanej w książce „Samobójstwo oświecenia?” wydanej w roku 2015, którą napisałem z zespołem. Wskazaliśmy, że neuronauka prowadzi do daleko posuniętej materializacji ludzkiego umysłu – m.in. wyobrażenia sobie, że ludzki umysł jako obiekt materialny jest w pełni manipulowalny. Wiemy, że np. przez stymulację przezczaszkową można wyłączyć u kogoś moduł empatii i człowiek będzie reagował na pewne zdarzenia tak, jakby zupełnie nie odczuwał cierpienia innych ludzi.
Amerykanin mówi, że jeśli człowieka będziemy postrzegali przez pryzmat tego, co potrafi kolejny system AI, to człowiek i człowieczeństwo zostaną zredukowane do kategorii bytów czysto algorytmicznych. Takie postrzeganie człowieka będzie świetnym quasi-aksjologicznym uprawomocnieniem panowania nad miliardami. Nie znam lepszego dziś argumentu na rzecz faszystowskiej wizji superrasy i ras podległych. To perspektywa kulturowa – tu nie badamy aspektu technologicznego, nie badamy aspektu wojen, nie badamy aspektu kumulacji zasobów, ale mentalne modele, wyobrażenia człowieczeństwa. Kto temu ulegnie, będzie nie tylko innych, ale i siebie samego traktował w istocie jako pewnego rodzaju roboty.
Mamy też zjawisko skrzywienia związanego z zestawem danych, które się wprowadza. Tzn. jeżeli w dzisiejszej debacie publicznej dominują jakieś poglądy – sam pan mówił o światopoglądzie liberalnym – to ten program promuje taki system, nawet nie wiedząc o tym.
Zróbmy symulację: system typu GPT będziemy karmili informacjami dostępnymi tylko w mediach posługujących się językiem chińskim. Tam znajdziemy m.in. narracje na temat światłego rozumu Komunistycznej Partii Chin jako uosobienia właściwego kierunku procesu dziejowego. Taki algorytm będzie miał swoistą wrażliwość autorytarną, w dodatku w otoczce konfucjańskiej wizji harmonii i stabilności – żebyśmy tego autorytaryzmu prymitywnie nie traktowali tylko przez pryzmat tortur. Ta tradycja nie przetrwałaby tysiącleci, gdyby była ufundowana tylko na nagiej przemocy. Jak będzie zachowywała się taki AI?
Kilka lat temu byłem na warsztacie Google’a na temat AI w Zurychu. Jeden z badaczy przedstawił dojrzały, moim zdaniem, pogląd, że wprawdzie bias (skrzywienie, stronniczość – ang.) systemów można ograniczać, ale jest zasadniczo nieeliminowalny. W ludzkie myślenie – być może w myślenie w ogóle – stronniczość jest wmontowana konstrukcyjnie. Możemy uchylać tylko bardziej rażące biasy, np. powodujące ewidentne naruszenia praw człowieka. Zresztą, może motywem, bez przemyślenia którego nie damy sobie z tym wszystkim rady, jest prześledzenie nurtu, jakim w ostatnich dekadach podążyły koncepcje praw człowieka.
W jakim kontekście?
Prof. Ian Bogost, wybitny badacz gier i gamingu, w tekście krytykującym media społecznościowe, twierdząc, że ich era dobiega końca, napisał: „ludzie po prostu nie powinni ze sobą tyle rozmawiać. Nie powinni mieć tyle do powiedzenia, nie powinni oczekiwać, że otrzymają tak dużą publiczność, a także nie powinni oczekiwać prawa do skomentowania każdej myśli lub aktywności. Poprzez swoją działalność do zachęcania, do recenzji każdego produktu, który kupimy, po tworzenie przekonania, że każdy tweet lub obraz na Instagramie gwarantuje polubienia, komentarze lub nowych obserwujących, media społecznościowe wyprodukowały pozytywnie popieprzoną, socjopatyczną wersję ludzkiej towarzyskości społeczności”. W efekcie niektórzy czują, że mają prawo do hejtu.
Nawet muszą to robić, to jest taki imperatyw.
A to jest jeszcze ciekawsze. Dla części psychik to omal przymus krytykowania. Może wiele osób ma wrażenie, że jak będą w internecie „demaskowali” mroczne spiski władzy, to wykonują jakiś obowiązek ogólnoludzki?
Wrócę do motywu prawa. Jak wiadomo, wojna kulturowa dotyczy m.in. kwestii praw człowieka kolejnych pokoleń. Prawa do aborcji – na przykład. Czy, w ramach poszerzania katalogu praw człowieka należałoby konstytucyjnie wpisać prawo do hejtu, prawo do komunikowania się z całym światem, prawo do mediów społecznościowych? Czy nie jest tak, że jak będziemy prawa kolejnych pokoleń tworzyć, to po prostu rozpruwamy jeszcze szerzej puszkę Pandory i zmniejszymy szansę rozwiązywania palących problemów ludzkości?
Zatrzymajmy się jeszcze przy ChatGPT. Chciałbym prosić o jakiś przykład – w jaki sposób taka pozornie niewinna aplikacja jest w stanie zdestabilizować nasze społeczeństwo?
Można zarysować kilka scenariuszy, ale w rzeczywistości to zapewne objawi się gdzieś indziej. Jeden z powszechnie już rozważanych scenariuszy dotyczy pisania przez uczniów i studentów esejów na wskazany temat – wymagania bodaj czy nie stanowiącego filaru w edukacji anglosaskiej. Zadanie to polega na trzech elementach: zgromadzeniu informacji, przyswojeniu ich ze zrozumieniem oraz – o ile się da – kreatywnej interpretacji. I ChatGPT to wszystko potrafi!
Niektórzy więc już teraz mówią: będziemy musieli zmienić nasze programy nauczania, przebudować system kształcenia. Już obecnie wiele z tekstów, które ChatGPT tworzy, przekracza poziom większości dzisiejszych studentów. Wizja optymistyczna jest taka, że skoro pewna część pracy jest zautomatyzowana, to powinniśmy od studentów wymagać czegoś więcej niż dotąd. Ale to „więcej” prawdopodobnie jest osiągalne dla jakiegoś promila ludzkości.
Po drugie, zanim ChatGPT jeszcze się pojawił, tkanka edukacyjna już została popsuta. Nauczanie zostało poważnie uszkodzone przez gaming i media społecznościowe. Obniżył się tzw. attention span, czyli czas skupienia na trudnym problemie. W dodatku całe pokolenie nie przyswoiło zdolności do pracy głębokiej. A żeby praca głęboka przynosiła efekt, to jeszcze jest jeden element niezbędny – nie tylko dłuższy okres skupienia, ale następnie okresy nudy. W okresach nudy umysł, wchodząc w tryb niby jałowy, rodzi nowe pomysły.
Całe pokolenie ma skrócony attention span, często nie zna pracy głębokiej i nie zmaga się z fazami nudy. Można powiedzieć, że to pokolenie jest pozbawione pewnego zasobu intelektualnego – pokolenie, które za Jackiem Dukajem nazwiemy „popiśmiennym”.
I teraz wchodzi w to ChatGPT. Te resztki młodych jeszcze niezdegenerowanych intelektualnie, którzy nie są cyfrowymi tubylcami, zostaną przez niego wykończone.
Da im drogę na skróty, obejście systemu edukacyjnego, a w efekcie otrzymanie pełnoprawnego dyplomu.
Między innymi. Choć już podobno napisano apkę do wykrywania plagiatów ChatGPT-owskich. Ale z drugiej strony są zautomatyzowane programy do parafrazowania tekstów.
Nowe technologie przyniosły spadek zaufania. Pamiętam, jak po którejś próbie nabrania mnie na tekst ściągnięty z internetu przestałem ufać studentom. Dydaktyka zaczęła dla mnie tracić smak. Wcześniej cechą nauczania było to, że wszyscy działamy w dobrej wierze. Jedni studenci są słabsi, inni świetni, ja też mogłem mieć gorszy dzień, słabiej przygotować się do wykładu, ale generalnie ufaliśmy sobie. A tutaj w edukację wszczepiono zinstytucjonalizowaną nieufność. Jak można nie widzieć destrukcyjnych skutków tego dla szerszej tkanki społecznej!? Co warte będzie życie społeczne, gdy w większości relacji przestaniemy sobie ufać? Czy wszyscy zamieniamy się w swoistych polityków, o których się mówi, że ich gradacja niechęci jest taka: wróg, największy wróg, partyjny kolega z listy wyborczej?
Najbardziej wyspecjalizowane w cyfrowych technologiach nadzoru państwo świata, Chiny, musiało ugiąć się po protestach w sprawie restrykcji covidowych – czy to wskazuje na ograniczenia dzisiejszej technologii nadzoru? Czy też to jest wyścig zbrojeń, a kolejne mechanizmy nadzoru nie dopuszczą do podobnego protestu?
Myślę, że jest w grze inny czynnik. Zapytajmy: dlaczego zniesiono niewolnictwo? Standardowe odpowiedzi wskazują na zaangażowanie ludzi wysoce etycznych, np. kwakrów, na rolę etyki chrześcijańskiej. Nie lekceważę tego, ale gdyby nie rozwój technologiczny przynoszący spadek efektywności pracy niewolniczej, to ona by długo jeszcze z nami była. Tam, gdzie praca niewolnicza zachowuje swą efektywność, wciąż jeszcze istnieje.
Gdzie na przykład?
To praca seksualna, handel ludźmi zniewolonymi, głównie kobietami, praca dzieci, które nie mają kompetencji, by egzekwować swoje prawa.
Wracając do Chin: może, tak jak pan mówi, system nadzoru był niewydolny wobec skali społecznego oburzenia. Tego nie wykluczam, ale o otwarciu się Chin, moim zdaniem, zdecydowało co innego: uświadomienie sobie, że kontynuacja polityki zero covid przyniesie zbyt poważne straty w grze globalnej. Że spór o to, jaką politykę zdrowotną prowadzić, rozstrzygnął argument ekonomiczny. Ci, którzy z powodów etycznych sądzili, że nie wolno pozwalać, by ludzi traktowano jak zwierzęta, nie odnieśliby sukcesu, gdyby praca niewolnicza dalej zachowywała swoją zyskowność.
„Wall Street Journal” pisał niedawno o tym, że Ukraińcy zbudowali najbardziej usieciowioną armię na świecie, przetestowaną w boju. Stworzyli coś, co dopiero planowali inżynierowie amerykańscy. Był tam opisany niezwykły przykład – zrobienia za pomocą drukarki 3D uchwytu do zwykłego komercyjnego drona, który pozwalał przenosić i zrzucać granaty. Od takich prostych rzeczy, po skomplikowane procesy zarządzania polem walki dzięki starlinkom – czy mamy do czynienia z przełomem w sztuce wojennej za pomocą nowoczesnych technologii?
Uważałbym na tzw. mgłę wojny. Wszyscy manipulują informacjami – Rosjanie, Ukraińcy, Amerykanie. Oczywiście, Ukraińcy, jako ofiara, mają do tego prawo. To, co o tej wojnie wiemy, podzieliłbym przez cztery. A być może o rzeczywistym przełomie na polu cyfryzacji wojny pewnych rzeczy się nie dowiemy, bo Ukraińcy raczej będą woleli coś sprzedać Amerykanom lub samemu zmonetyzować, bo ta wojna, będąca ogromnym porywem patriotyzmu, wcale nie zlikwidowała korupcji.
To, na co pan wskazał, to ilustracja formuły „potrzeba matką wynalazku”. Sprawdzenie jakiejś technologii na polu walki jest cenniejsze niż długotrwałe prace laboratoryjne.
Zastanawiam się, czy gdzieś w tle obie walczące strony nie testują jakichś bardziej złożonych systemów sztucznej inteligencji. Brzęczą mi w pamięci słowa Putina sprzed kilku lat, który powiedział, że kto będzie miał sztuczną inteligencję, ten będzie rządził światem. Raczej bym wykluczył, że Rosjanie mają wystarczająco uformowany kompleks badawczo-techniczny, który przyniesie im przełom. Za to podjąłbym zakład o butelkę dobrej whisky, że zgodnie z tradycją systemu sowieckiego zainwestowali potężne środki w szpiegostwo przemysłowe i że główne ośrodki typu Open AI czy DeepMind, tj. należąca do Google’a firma pracująca nad sztuczną inteligencją, nie raz zostały poddane próbie infiltracji. Może z powodzeniem.
Zastanawiam się, czy np. z jednej strony Amerykanie i Brytyjczycy, których nie lekceważę na polu nowych technologii, ale też Rosjanie, nie testują technologii będących czymś więcej niż proste zasysanie wszystkich dostępnych informacji z pola walki. Wiadomo, że tysiące żołnierzy robią zdjęcia, które są otagowane, mają zapisany czas i lokalizację. Może ktoś systematycznie zbiera wszystkie tego typu dane i testuje różne algorytmy, by znajdować wzorce oraz anomalie? Chodzi także o coś więcej aniżeli uzyskanie przewagi na poziomie taktycznym. Także o to, by znaleźć dźwignię przewagi strategicznej. Zdziwiłbym się, gdyby nikt nie próbował potraktować pola bitwy jako nowego źródła danych, którymi możemy nakarmić jakieś niekoniecznie już publicznie znane systemy AI.
Czyli to, czym chwaliły się ukraińskie służby, czyli śmiercią dużej liczby rekrutów w Makijiwce w Nowy Rok po trafieniu z HIMARS-a w bunkier, z którego mnóstwo osób wykonywało połączenia do Rosji, to jest raczej nie wyjątek, tylko reguła?
Nie wiem. Może to jest efekt właśnie pracy AI wspieranej przez człowieka, bo trzeba nie dać się nabrać, gdy ktoś przywiezie dwie walizki starych, ale działających smartfonów i wygeneruje sztuczny ruch w sieci, żeby zwabić kosztowną rakietę.
Być może tego dotyczył też spór dotyczący przekazania Ukrainie patriotów. Publicznie spierano się, ile to miesięcy trzeba uczyć żołnierzy, żeby mogli się nimi posługiwać. Zapytałem doświadczonych wojskowych, na czym polega ten czynnik czasu. Powiedzieli m.in., że Patriot jest bardzo drogim systemem i jedna ze strategii, którą mogą zastosować Rosjanie, to sprowokowanie wystrzelenia rakiet na cele niskiej wartości. Nie na prawdziwą rakietę, o dużej sile rażenia, tylko jakieś drony, atrapy czy rakiety o małej sile rażenia.
Ponoć dużo czasu wymaga nauczenie się, które cele są wysokiej wartości. Ale możliwe, że w trakcie tej wojny osiągnięto postęp w detekcji celów wysokiej wartości, nie tylko na podstawie danych odczytywanych przez człowieka, ale z całego zintegrowanego systemu monitorowania pola walki. I również mogę sobie wyobrazić, że jesteśmy o krok od tego, żeby obsługa patriotów została znacznie bardziej zautomatyzowana. Wtedy czas potrzebny Ukraińcom na naukę zostaje skrócony. Może dlatego Amerykanie zdecydowali się przekazać swe baterie i wymogli to samo na Niemcach?
To spekulacja. Zawsze swoich studentów starałem się uwrażliwić, żeby odróżniali spekulacje od informacji faktycznych. Ale musimy spekulować, bo inaczej nie zajrzymy w przyszłość.
W swojej książce, którą pan wydał niedawno z Jaremą Piekutowskim „Cyber kontra real: Cywilizacja w techno-pułapce”, posługuje się pan określeniem „media antyspołecznościowe”. Wydaje się ono zakładać, że jest jakaś natura ludzka, którą platformy społecznościowe psują. Moją tezą polemiczną jest to, że platformy społecznościowe doskonale rozumieją ludzką naturę i jest to element ich skuteczności. Natomiast rozbijają kulturę, w przeciwieństwie do natury. Kulturę, która pomagała nam pewne rzeczy wyrafinować, przekroczyć pewne naturalne ograniczenia.
Wyrafinować w sensie oszlifować?
Oszlifować w sensie rozwoju cywilizacyjnego czy kulturowego? Mam wrażenie, że media społecznościowe są arcynaturalne, to znaczy, że rozgrywają to, co w nas zwierzęce i atawistyczne, co kultura zachodnia starała się jednak jakoś wziąć w karby.
Podobną myśl niedawno sformułowałem w jednym z podcastów. Zaryzykowałem tezę, że rewolucja cyfrowa, której w sensie kulturowym być może obecnie najważniejszą częścią są media społecznościowe, jest siłą przeciwstawną temu wszystkiemu, co myśl oświeceniowa, ale i wcześniejsza, rozumiała przez postęp ludzkości.
Można powiedzieć, iż postęp ludzkości polega na tym, nasze niedobre cechy, które możemy określić różnie – zwierzęce, szkodliwe, antyludzkie czy antyspołeczne – staramy się osłabić, marginalizować, pacyfikować, w przeciwieństwie do innych cech, dobrych, jak solidarność, wrażliwość, odwzajemnianie, które wzmacniamy. Także poprzez rozwiązania instytucjonalne.
A swój sukces platformy społecznościowe zawdzięczają dobremu odczytaniu i następnie „napompowaniu” negatywnych cech człowieka, a spychaniu na margines tych pozytywnych. W ten sposób rewolucja cyfrowa marnuje dorobek cywilizacyjny dwóch tysięcy lat.
Uczymy dzieci, że świat jest oparty na pewnych zasadach, że musimy powstrzymywać swoje egoistyczne odruchy i wzmacniać postawy prospołeczne. I to nagle zostaje wysadzone w powietrze. Na jakim zasobie zostały zbudowane fortuny miliarderów z Doliny Krzemowej czy z chińskiego rejonu Shenzhen? Na wypłukaniu zasobów moralnej odpowiedzialności. To jest cena, jaką ludzkość płaci za to, że obecnie wystarczy kilkanaście najbogatszych osób zebrać w jednym pokoju, żeby miały więcej majątku niż cała biedniejsza połowa ludzkości. Tylko jeszcze nie wiemy, jaka będzie zapłata za wydrenowanie tego zasobu.
Czy technologie zmieniają naturę ludzką? Czy natura ludzka jest dziś taka sama jak u Arystotelesa czy Platona, którzy o niej pisali? Czy ona u naszych dzieci zmienia się i będzie inna, inaczej będą pracowały ich mózgi?
Mamy już technologie, nie tylko genetyczne, praktycznie jesteśmy na krawędzi, by tę naturę przebudowywać. Z różnych powodów jeszcze tego nie robimy.
Spór o to, czy w ogóle istnieje obiektywna ludzka natura, zapewne bierze się z tego, że mieści się ona w obszarze sporej zmienności. Gdyby już uległa poważnej zmianie, wtedy to, co Arystoteles skodyfikował jako wiedzę z tamtej epoki, byłoby już nieaktualne, a studiowanie Stagiryty stałoby się stratą czasu, bo jego pisma opisują rzeczywistość, której przeminęła. Wydaje mi się, że trans- czy posthumanizm jest wybitnie niemądrą strategią. Zamiast jakoś wspólnie uporządkować świat-między-nami, ten społeczny oraz ten między-nami-a-przyrodą, proponuje się nam ucieczkę od samych siebie.
– współpraca Jakub Mikulski
Andrzej Zybertowicz jest profesorem nauk społecznych i doradcą prezydenta Andrzeja Dudy. Kieruje Ośrodkiem Studiów nad Wyzwaniami Cywilizacyjnymi Akademii Sztuki Wojennej.
