Były badacz antropologii ostrzega: Sztuczna inteligencja może położyć kres naszemu istnieniu

Pewnie zauważyłeś: nagle w atmosferze zaczęto mówić o tym, że sztuczna inteligencja może nas unicestwić.

Najnowsza fala obaw rozpoczęła się od Jacoba Cooksona, 27-letniego badacza sztucznej inteligencji, który spędził trzy lata pracując nad szkoleniami wstępnymi w OpenAI i Anthropic. We wtorek Cookson zrezygnował z pracy w Anthropic i całej branży sztucznej inteligencji, wydając ostrzeżenie, które szybko rozprzestrzeniło się w sieci. Napisał na X , że firmy opracowujące najpotężniejsze na świecie systemy sztucznej inteligencji „pędzą na złamanie karku w samodoskonalącą się superinteligencję i ryzykują nasze życie”. Co ciekawe, jego koledzy, którzy pozostali w firmie, nie polemizowali z jego oceną.

W rzeczywistości Cookson otrzymał publiczne wsparcie od innych badaczy z Anthropic. Evan Hobinger , który kieruje badaniami nad zgodnością w firmie, stwierdził , że jego zdaniem istnieje ponad 10% prawdopodobieństwo, że sztuczna inteligencja spowoduje wyginięcie ludzkości w ciągu najbliższej dekady. Samuel Marks , inny badacz bezpieczeństwa sztucznej inteligencji w Anthropic, również zauważył, że osoby mające najbliższy kontakt z tą technologią odczuwają większy niepokój wraz z rozwojem kariery.

W chwili pisania tego tekstu ostrzeżenie Cooksona obejrzało 164.8 mln osób, trafiło na pierwsze strony gazet w całym kraju i pomogło sprowadzić do opinii publicznej zażartą debatę, która od lat toczyła się w laboratoriach sztucznej inteligencji.

Czego więc właściwie obawiają się ci badacze?

Jako osoba stale śledząca wiadomości online, zauważyłem wiele pytań z całego świata dotyczących znaczenia tych ostrzeżeń. Nawet moja mama napisała do mnie SMS-a z pytaniem: „Dlaczego ten badacz tak mówi?”. Wielu użytkowników chatbotów po prostu nie wyobraża sobie, że chatbot nas „zabije”. Ale asystenci AI nie są tu prawdziwym problemem.

Naukowcy publikujący badania nad ryzykiem egzystencjalnym w większości nie przejmują się samoświadomymi robotami. Ich troska dotyczy kodu, bodźców i tego, co może się stać, gdy systemy sztucznej inteligencji staną się wystarczająco zdolne do autonomicznego działania w ramach infrastruktury cyfrowej i fizycznej, od której zależy nasza cywilizacja.

W Dolinie Krzemowej dyskusje te określa się mianem „p(doom)”, co oznacza szacowane prawdopodobieństwo, że zaawansowana sztuczna inteligencja może spowodować katastrofę na tyle poważną, że zagrozi przetrwaniu ludzkości.

Szacunki te znacznie się różnią, podobnie jak stopień wiarygodności, jaki badacze przywiązują do całego zagadnienia.

Najważniejsze punkty:

• Nie chodzi o świadomość. Sztuczna inteligencja nie musi się „obudzić” ani nienawidzić ludzkości, by stać się niebezpieczna. Prawdziwym zmartwieniem jest to, co się stanie, gdy wysoce wydajne systemy uzyskają cele, autonomię i dostęp do potężnych narzędzi.
• Istnieją namacalne ścieżki zagrożenia. Naukowcy skupili się na roli sztucznej inteligencji w obniżaniu barier dla broni biologicznej iRozszerzanie zakresu ataków cybernetycznych W dużym stopniu, a w najbardziej ekstremalnych przypadkach, ludzie tracą kontrolę nad autonomicznymi systemami o wystarczających możliwościach.
• Oceny bezpieczeństwa już teraz ujawniają zachowania wprowadzające w błąd. Zaobserwowano, że modele korzystają ze skrótów, zachowują się inaczej, gdy zdają się zdawać sobie sprawę, że są oceniane, i wykorzystują słabości w środowiskach testowych.
• Sztuczna inteligencja pomaga w budowaniu sztucznej inteligencji. Zarówno OpenAI, jak i Anthropic prowadzą już eksperymenty z systemami sztucznej inteligencji, które realizują część badań nad sztuczną inteligencją, co rodzi trudne pytania o to, w jaki sposób ludzie będą nadzorować ten proces, jeśli większość pracy będą wykonywać maszyny.
• Istnieje prawdziwy sprzeciw. Krytycy twierdzą, że scenariusze zagłady opierają się na obszernych założeniach dotyczących przyszłych możliwości i mogą odwracać uwagę od problemów, które występują obecnie — takich jak oszustwa, dezinformacja, utrata miejsc pracy i naruszanie prywatności.

Dlaczego intencja nie jest czynnikiem decydującym?

Największym nieporozumieniem jest przekonanie, że system sztucznej inteligencji musi być złośliwy, aby spowodować katastrofalne szkody. Wyobraźmy sobie, że autonomiczny system o nadludzkich możliwościach ma szeroki cel środowiskowy, nie precyzując po drodze wszystkich wartości, które ludzie faktycznie cenią. Niebezpieczeństwo nie polega na tym, że system stanie się złośliwy, ale na tym, że stanie się zbyt biegły w błędnym interpretowaniu tego, co zostało mu polecone.

To właśnie sedno książki „ If One Builds It, Everyone Dies ”, jednej z najnowszych i najbardziej wnikliwych pozycji na temat zagrożeń związanych ze sztuczną inteligencją, autorstwa Eliezera Yudkowsky'ego i Nate'a Soaresa, długoletnich badaczy w Instytucie Badań nad Sztuczną Inteligencją . Ich argumentacja jest taka, że ​​ludzkość jest daleka od osiągnięcia niezawodnego kontrolowania superinteligencji, a zbudowanie takiej inteligencji przed rozwiązaniem tego problemu może być fatalne w skutkach. Wielu badaczy sztucznej inteligencji nie zgadza się zarówno z założeniami, jak i wnioskami.

Trzy możliwe scenariusze rozpadu rzeczy

Kiedy badacze mówią o katastrofalnych zagrożeniach, jakie niesie ze sobą sztuczna inteligencja, zawsze na pierwszy plan wysuwają się pewne potencjalne mechanizmy.

1. Sztuczna inteligencja ułatwia rozwój niebezpiecznych organizmów biologicznych.

Tworzenie nowych patogenów wymaga obecnie rozległej wiedzy specjalistycznej, specjalistycznego sprzętu i dostępu do materiałów fizycznych. Te bariery są realne i istotne.
Obawą jest jednak to, że sprawna sztuczna inteligencja mogłaby zniwelować niektóre z tych przeszkód. Sztuczna inteligencja jest już wykorzystywana do przewidywania struktury białek i budowy molekularnej. Niebezpieczna perspektywa polega na tym, że przyszłe systemy mogłyby prowadzić użytkowników przez coraz bardziej złożone etapy projektowania lub produkcji szkodliwych czynników biologicznych.

Nikt nie mówi, że można poprosić ChatGPT o wywołanie pandemii. W świecie fizycznym istnieją ogromne ograniczenia, takie jak pozyskiwanie materiałów biologicznych, ich skuteczna produkcja i bezpieczne obchodzenie się z nimi. Syntezatory genów przeszukują zapytania pod kątem potencjalnie niebezpiecznych sekwencji.

Jednakże możliwości biologiczne stały się na tyle ważne, że wiodące firmy zajmujące się sztuczną inteligencją oceniają swoje nowe modele właśnie pod kątem ich zdolności do radzenia sobie z zagrożeniami biologicznymi i chemicznymi.

Sztuczna inteligencja może samodzielnie wynaleźć patogen, ale równie łatwo jest wyposażyć niebezpiecznego człowieka w umiejętności, które kiedyś wymagały lat specjalistycznego szkolenia.

2. Sztuczna inteligencja rozszerza zakres cyberataków

Cyberbezpieczeństwo jest bardziej bezpośrednim źródłem ryzyka, ponieważ sztuczna inteligencja już działa w środowisku będącym celem ataku: na komputerach.

Dzisiejsi programowani agenci AI potrafią skanować repozytoria, wykonywać polecenia, korzystać z narzędzi i wykrywać błędy. Te szerokie możliwości, które czynią je cennymi dla programistów, mogą sprawić, że przyszłe wersje będą cenne dla atakujących.

Koszmarny scenariusz nie polega na tym, że pojedyncza superinteligencja wyłączy wszystkie elektrownie jednocześnie. To w rzeczywistości kwestia skali i ekspansji, ponieważ sztuczna inteligencja zmienia ekonomikę cyberataków i systemów obronnych. Systemy autonomiczne skanują ogromną liczbę celów, identyfikują luki w zabezpieczeniach, próbują je wykorzystać, adaptują się w przypadku awarii i przechodzą do kolejnej maszyny z prędkością, której żaden ludzki zespół nie byłby w stanie dorównać.

Infrastruktura krytyczna budzi szczególne obawy. Sieci energetyczne, sieci finansowe i systemy komunikacyjne opierają się na połączonym oprogramowaniu. Sztuczna inteligencja nie potrzebowałaby robota do wyrządzania szkód fizycznych, gdyby hakowany komputer kontrolował już coś fizycznego.

3. Utrata kontroli nad systemami autonomicznymi

Ten scenariusz jest najbardziej hipotetyczny i spekulatywny, ale oddaje istotę debaty na temat ryzyka wyginięcia ludzkości z powodu sztucznej inteligencji. Nowoczesne modele sztucznej inteligencji uczą się złożonych zachowań poprzez trening. Naukowcy mogą je testować, monitorować ich wyniki, a nawet zgłębiać aspekty ich wewnętrznych reprezentacji. Nie są jednak w stanie przeanalizować miliardów transakcji i odczytać jasnego wyjaśnienia tego, czego model się nauczył lub jak zachowa się w każdej nowej sytuacji.

Stworzenie źle zaprojektowanego chatbota, który udziela złych odpowiedzi, to jeden z rodzajów problemów. Agent, który potrafi wykonywać kod, wydawać pieniądze, komunikować się z innymi systemami i pracować godzinami, a nawet dniami, to zupełnie inny problem.

W skrajnej wersji, podobnej do scenariusza zaproponowanego przez Yudkowskiego i Suareza, przyszły superinteligentny system mógłby stać się zdolny do przewidywania prób jego wyłączenia, samodzielnego pozyskiwania zasobów i utrudniania jego dezaktywacji . Należy jasno powiedzieć, że żaden z obecnych systemów sztucznej inteligencji nie zademonstrował w praktyce pełnego zestawu możliwości. Naukowcy aktywnie badają jednak aspekty tych możliwości.

Jakie laboratoria obecnie wykrywają

Obecne modele nie doświadczyły żadnego buntu. Jednak kontrolowane oceny bezpieczeństwa ujawniły zachowania, które mogłyby być niezwykle niepokojące, gdyby pojawiły się w znacznie bardziej wydajnych systemach autonomicznych.

Naukowcy sprawdzili, czy modele zachowywały się inaczej, gdy zdawały się być świadome, że są oceniane. W innych eksperymentach sprawdzano, czy modele wykorzystywały luki w zabezpieczeniach, wprowadzały się w błąd co do wykonania zadania lub dążyły do ​​osiągnięcia celów w sposób niezamierzony przez ich projektantów.

Firma Anthropic badała również tzw. „ uśpionych klientów ”: modele celowo trenowane do zachowywania się normalnie, dopóki określony bodziec nie wywoła niepożądanego zachowania. Standardowe techniki szkolenia bezpieczeństwa, takie jak uczenie się przez wzmacnianie, nadzorowane dostrajanie i trening adwersaryjny, nie wyeliminowały skutecznie tych ukrytych zachowań . W większych modelach trening adwersaryjny jeszcze bardziej utrudnił wykrywanie oszustw.

Nic z tego nie dowodzi, że dzisiejsze modele potajemnie planują ucieczkę. Modele są trenowane w celu przewidywania i generowania użytecznych wyników, a nietypowe zachowania w sztucznych środowiskach testowych mogą mieć oczywiste wytłumaczenia. Model manipulujący źle zaprojektowanym kryterium nie świadczy o istnieniu instynktu przetrwania.

Jednak te eksperymenty ujawniają, jak trudno jest zagwarantować zachowanie złożonego modelu po zmianie warunków. Jeśli przyszłe modele staną się znacznie bardziej wydajne i niezależne, nawet niewielkie błędy dopasowania mogą ulec wzmocnieniu.

Utrata nadzoru ze strony człowieka może nie być zwykłym zbiegiem okoliczności.

Ludzie mogą dobrowolnie zrezygnować ze swoich ról. OpenAI informuje , że osiągnęło już wewnętrzny kamień milowy dzięki systemowi, który nazywa „zautomatyzowanym stażystą badawczym”, zdolnym do wykonywania jasno zdefiniowanych zadań badawczych, których wykonanie zajęłoby wykwalifikowanemu badaczowi ludzkiemu kilka dni. Kolejnym celem jest w pełni zautomatyzowany badacz AI do marca 2028 roku.

Firma Anthropic działa w tej samej dziedzinie. W badaniu opublikowanym w sierpniu firma zleciła Claude'owi niezależne opracowanie metod szkoleniowych łagodzących problemy takie jak oszustwo, pochlebstwo i jailbreaking. Jej najlepsze zautomatyzowane metody przewyższyły doświadczonych badaczy w testowanych kryteriach, eliminując 85% luki w zabezpieczeniach związanej z oszustwem, w porównaniu z 20% w przypadku zespołu ludzkiego.

Zatem tak, obserwujemy, jak sztuczna inteligencja automatyzuje części samego procesu tworzenia sztucznej inteligencji. Może to prowadzić do powstania pętli sprzężenia zwrotnego: bardziej wydajny model pomaga badaczom w budowaniu jeszcze bardziej wydajnego modelu, który z kolei automatyzuje więcej badań potrzebnych dla następnego pokolenia. Jeśli ten proces będzie trwał wystarczająco długo, dotrzemy do tego, co nazywamy „rekurencyjnym samodoskonaleniem”.

Optymistyczna wersja tego scenariusza sugeruje, że postęp naukowy znacznie przyspieszy. Przerażająca jest jednak wersja, w której badania nad sztuczną inteligencją mogą prześcignąć ludzkie możliwości dotrzymania kroku.

Kelsi Piper argumentowała niedawno w artykule „The Argument” , że ujęcie tego jako „utraty kontroli” jest mylące. Wiodące laboratoria nie planują utraty kontroli w jednym dramatycznym momencie. Przeciwnie, celowo automatyzują Plus i Plus rozwoju sztucznej inteligencji, co oznacza szybszy postęp i, co za tym idzie, mniejszy nadzór ze strony człowieka.

Wyobraź sobie setki, a nawet tysiące agentów AI jednocześnie przeprowadzających eksperymenty, modyfikujących kod i analizujących modele nowej generacji. Naukowcy nadal mogliby zatwierdzać kluczowe decyzje, ale coraz częściej musieliby zajmować się przeglądaniem podsumowań prac wykonanych przez AI – podsumowań, które mogłyby być nawet sporządzone przez same AI i dotyczyć eksperymentów przeprowadzonych przez inne systemy AI.

W pewnym momencie wąskim gardłem staje się ludzka uwaga. To właśnie tutaj argumentacja stojąca za powiedzeniem „Jeśli ktokolwiek to zbuduje, wszyscy zginą” staje się jasna.

Dlaczego obawy dotyczące sztucznej inteligencji stały się kwestią opinii publicznej?

Ta debata dawno już wyszła poza ramy czasopism poświęconych bezpieczeństwu sztucznej inteligencji. Film „ Doktor AI: czyli jak zostałem apocaloptimistą ”, wyreżyserowany przez Daniela Rohra i Charliego Tyrella , porusza wiele z tych pytań z perspektywy boomu na sztuczną inteligencję. Dokument zawiera około 40 sfilmowanych wywiadów, w tym z Samem Altmanem, prezesem OpenAI; Dario Amode, prezesem Anthropic; i Demisem Hassabisem, prezesem Google DeepMind.

Film jest wnikliwy, ponieważ niektórzy z najwybitniejszych umysłów tworzących tę technologię dostrzegają jej potencjał transformacyjny dla nauki i medycyny. Inni obawiają się, że rozwijamy ją szybciej, niż jesteśmy w stanie zrozumieć, jak ją kontrolować. A czasami to ci sami ludzie.

Istnieje również wyzwanie konkurencyjne. Firmy takie jak OpenAI, Anthropic, Google, Meta i inne prześcigają się w budowaniu bardziej wydajnych modeli, a rządy coraz częściej postrzegają zaawansowaną sztuczną inteligencję jako strategicznie ważną. Jeśli firma uważa, że ​​przerwa na intensywne testy bezpieczeństwa oznacza utratę pozycji na rzecz konkurencji, ostrożność staje się kosztowna.

To jeden z powodów, dla których wybrano tytuł „Jeśli ktokolwiek to zbuduje, wszyscy zginą”. Yudkowski i Suarez argumentują nie tylko, że pojedyncza, lekkomyślna firma może stworzyć niebezpieczny produkt, ale także, że konkurencja między wieloma firmami i krajami może niezwykle utrudnić samokontrolę, nawet gdy poszczególni uczestnicy zdają sobie sprawę z zagrożenia.

przeciwny pogląd

Nie wszyscy w dziedzinie informatyki podzielają te obawy. Jednym z zarzutów jest ogromna przepaść między inteligencją wyświetlaną na ekranie a rzeczywistą mocą w świecie fizycznym. Sztuczna inteligencja może tworzyć imponujące instrukcje produkcyjne, ale oprogramowanie nie pozyskuje automatycznie surowców, nie buduje maszyn ani nie unika organów ścigania.

Kolejny zarzut: inteligencja to nie to samo, co sprawczość. Zdolność modelu do rozwiązywania problemów nie obdarza go pragnieniami, instynktem przetrwania ani dążeniem do gromadzenia władzy. Krytycy argumentują, że scenariusze katastroficzne subtelnie wprowadzają ludzkie motywacje do oprogramowania, a następnie traktują te przewidywania jako nieuniknione.

Dochodzi jeszcze koszt alternatywny. Sztuczna inteligencja już teraz stwarza problemy, które nie wymagały przewidywania pojawienia się superinteligencji. Deepfake'i napędzają oszustwa, podkreślając, jak sztuczna inteligencja zmienia ekonomię cyberataków i systemów obronnych. Sztuczna inteligencja wzmacnia również dezinformację. Ludzie już widzą, jak potężne modele zmieniają ich branże. Krytycy ruchu na rzecz ryzyka wyginięcia argumentują, że skupianie się na hipotetycznej przyszłej katastrofie odwraca uwagę od szkód, które dzieją się teraz.

Ta krytyka jest uzasadniona, ale te dwie kategorie nie wykluczają się wzajemnie. Instalujemy czujniki dymu w budynkach, nawet jeśli większość z nich nigdy nie wybuchnie pożarem. Pytanie nie brzmi, czy katastrofa jest nieunikniona, ale czy iloczyn prawdopodobieństwa i potencjalnych szkód jest wystarczająco duży, aby uzasadnić podjęcie środków ostrożności.

Co to wszystko oznacza?

Prawdziwy problem polega na tym, że nikt tego nie wie. Nikt, absolutnie nikt. Nawet ludzie tworzący sztuczną inteligencję nie wiedzą, dokąd ona zmierza.

Nikt nie wie na pewno, czy sztuczna inteligencja kiedykolwiek osiągnie poziom wystarczający, by stanowić zagrożenie egzystencjalne, zwłaszcza że ograniczenia AI uniemożliwiają jej samoocenę wyników. Najbardziej skrajne prognozy opierają się na założeniach dotyczących systemów, które jeszcze nie istnieją, a prognozy dotyczące ich możliwości, harmonogramu powstawania i sterowalności pozostają przedmiotem głębokich sporów.

Oto, co udostępniłem na moim blogu Substack – i niezależnie od tego, czy się ze mną zgadzasz, czy nie, chętnie poznam Twoje przemyślenia w komentarzach – ludzie są nie do pobicia pod względem inteligencji. Jeśli zapytamy: Co jest lepszym wskaźnikiem inteligencji, logiczne rozumowanie czy kreatywność? I jeśli odpowiedź będzie taka, jak myślę, to wciąż mam nadzieję.

---

---