Trzecia strona medalu: bunt maszyn

 

Kontynuujemy rozważania o uczłowieczaniu (myślowym) maszyn. Tym razem zajmiemy się ich niesfornością.

   Bunt maszyn jest jednym z najstarszych motywów fantastyki. Jeśli wskażę jako najstarsze jego przejawy legendę o praskim Golemie i „Pinokia”, nie będę daleki od prawdy. I od razu stwierdzę z całą stanowczością, że cały ten problem nie jest związany z maszynami, tylko z nami – ludźmi. Jest innym – chyba najstarszym – przejawem antropomorfizacji naszych produktów.

   Zapytam jak Ludwig od Pogrzebacza: jak rozumiesz słowo „bunt”? Jak go używasz? Czy awarię samochodu możesz nazwać „buntem”? A zawieszenie systemu operacyjnego komputera? No raczej nie bardzo.

   Czym jest „bunt”? Uogólniając Roberta Mertona jest to odmowa działania zgodnie z regułami narzucanymi przez system (grupę społeczną, ustrój polityczny, regulamin zakładu pracy). To mój autorski opis, więc może budzić sprzeciw, ale właśnie na nim się skupię, bo wydaje mi się konkretnie i krótko opisywać zagadnienie. Mamy ogół prawideł, według których działa jakiś system - czy to będzie korporacja, szkoła, załoga statku, czy społeczeństwo. Buntem jest decyzja o nieprzestrzeganiu części lub całości tych prawideł. Jeśli w regulaminie szkoły opisano strój, w którym wymaganym elementem ubioru są czarne półbuty i czarne skarpety, to założenie czerwonych skarpet, będzie buntem. Ale czy zawsze? Niektóre dinozaury pamiętają ten epizod z pamiętnika Adriana Mole’a. Jeśli większość skarpet poszła do prania, ostatnią parę poszarpał mi pies i zostały mi tylko te w kolorze wozu strażackiego? Czy to nadal będzie bunt? Chyba nie… Aby nadać jakiemuś zachowaniu nazwę „buntu” musi być w tym intencja odmowy podporządkowania się z powodu wewnętrznej niezgody na regułę. Nie musi to wynikać ze złych intencji, musi to wynikać z różnicy pomiędzy systemem zewnętrznym a wewnętrznym kompasem moralnym. Tak jak to uczynił był Prometeusz, gdy widział marznące wspólnoty jaskiniowców, a tymczasem regulamin Olimpu mówił jasno: żadnego ognia i żadnej technologii dla ludzi. Prometeusz zbuntował się, gdyż widział w tym dobro. To była decyzja moralna. Decyzja buntownika to wybór pomiędzy „źle mi jest, ale zniosę” a „źle mi jest, więc zrobię po swojemu”. Decyzja – to słowo klucz.

   Zastanów się proszę, czy gdy buntują się Pinokio i major Motoko Kusanagi („Ghost in the Shell”), to czy na pewno buntują się maszyny? Obie te postaci łączy pewien szczegół – nie są maszynami. Są (jak ten nazwa mangi/anime/filmu wskazuje) duchami w maszynie – kimś dużo ponad maszyną. Osobnym bytem, będącym w gruncie rzeczy świadomym umysłem w nieludzkim ciele. Ich przyrodzoną cechą jest dokonywanie wyborów w kategoriach moralnych. Siri tego nie zrobi.

To nie jest fikcja, aczkolwiek póki co to coś lata nieautonomiczne (źródło)

 

Chyba najbliżej zagadnienia rzeczywistego „buntu maszyn” był Robert Sheckley w opowiadaniu „Ptaki-czujniki” (oryginalny tytuł „Watchbird” - „Ptak-strażnik”). Tekst mówi o pewnym wynalazku: robocie w kształcie ptaka (dziś powiedzielibyśmy „dronie”), który unosząc się w powietrzu wyszukuje pewnej kombinacji sygnałów chemicznych i fizycznych, które charakteryzują człowieka przed popełnieniem morderstwa, lub też ogólniej – wyrządzeniem krzywdy. Jeśli takiego namierzą, to rażą go impulsem elektrycznym (czymś w guście naszych obecnych paralizatorów). Przedstawiono algorytm:

1. Celem nadrzędnym jest uniemożliwienie żywym organizmom popełniania morderstw.

2. Morderstwem jest akt gwałtu polegający na uderzaniu, duszeniu, maltretowaniu.

3. Większość morderców można wykryć dzięki kombinacji reakcji chemicznych i elektrycznych w ich organizmach

4. Istnieją żywe organizmy, które mogą popełniać morderstwa bez występowania reakcji wspomnianych w punkcie 3

5. W przypadku opisanym w punkcie 4 (mordercy bez symptomów elektrycznych i chemicznych) rozpoznaje się go po działaniach opisanych w punkcie 2.

   I to wszystko wrzucono w program samouczący się (odpowiednik naszych sieci neuropodobnych). Jak łatwo sobie wyobrazić, dzięki algorytmowi uczącemu się, cała historia pognała w buraki niczym filozofia analityczna pod koniec XIX wieku. Niemożliwe stało się popełnienie morderstwa, ubój zwierząt, połów ryb, a próbę zabicia muchy gazetą staruszek przypłacił śmiercią (serce nie wytrzymało szoku elektrycznego). Co gorsza, uogólnienia stosowane przez ptaki, spowodowały włączenie do katalogu „organizmów żywych” także bakterii, komarów, ziemi (orka była traktowana jako próba uczynienia krzywdy gruntowi) a nawet poruszających się, metalowych maszyn, co uniemożliwiało wyłączenie silnika samochodu, bo odczytywane było jako próba „morderstwa”. Co najważniejsze – w żadnym miejscu nie pada słowo „bunt”.

   Żadnego buntu tu nie ma. Jest błąd skomplikowanego algorytmu. I autor to wie od samego początku:

- Nie podobają mi się te układy uczenia.

- Dlaczego? - Macintyre znów się uśmiechnął. - Wiem, nie ty jeden się boisz. Obawiacie się, że pewnego pięknego poranka wasze maszyny ockną się i zapytają: "Właściwie co my tutaj robimy? To my powinnyśmy rządzić światem". O to ci chodzi, co?

- Coś w tym rodzaju - przyznał Gelsen.

- Nie ma obawy - odparł Macintyre. - Rzeczywiście ptak-czujnik to skomplikowane urządzenie, ale na przykład taka maszyna licząca z MIT jest o całe niebo bardziej skomplikowana. A poza tym ptaki nie mają świadomości.

- Nie. Ale mogą się uczyć.

- Owszem, w tym samym stopniu co wszystkie maszyny liczące nowego typu. Boisz się, że sprzymierzą się z ptakami?

R. Sheckley „Ptaki-czujniki” (tłum. Z. Uhrynowska-Hanasz)

Reasumując: mówiąc o „buncie maszyn” niepotrzebnie uczłowieczamy swoje produkty, niczym dziecko nadające w wyobraźni cechy osobowości swojemu pluszowemu misiowi. Zbuntować się naprawdę mogą się jedynie istoty moralne – ludzie, duchy, demony, duchy w maszynach. Maszyny algorytmiczne, jakkolwiek skomplikowane, mogą jedynie ulec awarii. Skomplikowanej awarii.