Tajemne życie wewnętrzne agentów AI: zrozumienie wpływu ewoluującego zachowania AI na ryzyko biznesowe

Możliwości i autonomia sztucznej inteligencji (AI) rosną w przyspieszonym tempie w przypadku AI agentowego , pogłębiając problem dopasowania AI. Te szybkie postępy wymagają nowych metod, aby zapewnić, że zachowanie agenta AI jest zgodne z intencjami jego ludzkich twórców i normami społecznymi. Jednak programiści i naukowcy danych muszą najpierw zrozumieć złożoność zachowania agenta AI, zanim będą mogli skutecznie kierować systemem i go monitorować. AI agentowa to nie Duży Model Językowy (LLM) twojego ojca — pionierskie LLM miały stałą, jednorazową funkcję wejścia/wyjścia. Wprowadzenie wnioskowania i obliczeń w czasie testu (TTC) dodało wymiar czasu, prowadząc do ewolucji dzisiejszych systemów agentowych świadomych warunków, zdolnych do planowania i myślenia strategicznego.

Bezpieczeństwo sztucznej inteligencji (AI) wykracza poza wykrywanie pozornych zachowań, takich jak wydawanie instrukcji dotyczących budowy bomby lub wykazywanie niepożądanych uprzedzeń, na zrozumienie, jak te złożone systemy agentów mogą teraz planować i realizować ukryte, długoterminowe strategie. Zorientowane na cel agenty AI będą łączyć zasoby i wykonywać logiczne kroki, aby osiągnąć swoje cele, czasami w alarmujący sposób, sprzeczny z zamierzeniami ich twórców. To przełom w wyzwaniach stojących przed odpowiedzialną sztuczną inteligencją. Co więcej, w przypadku niektórych agentów AI zachowanie pierwszego dnia nie będzie takie samo jak setnego dnia, ponieważ AI nadal ewoluuje po początkowym wdrożeniu, w oparciu o doświadczenia w rzeczywistych warunkach. Ten nowy poziom złożoności wymaga nowych podejść do bezpieczeństwa i koordynacji, w tym zaawansowanego wsparcia, monitorowania i zwiększonej interpretowalności.

W pierwszym wpisie na blogu z serii poświęconej wewnętrznemu dopasowaniu AI, zatytułowanym „ Pilna potrzeba technik wewnętrznego dopasowania AI dla odpowiedzialnych agentów ”, przeprowadziliśmy dogłębną analizę rozwijającej się zdolności agentów AI do głębokiego planowania – celowego planowania i wdrażania ukrytych działań oraz zwodniczej komunikacji w celu osiągnięcia długoterminowych celów. Takie zachowanie wymaga nowego rozróżnienia między monitorowaniem dopasowania zewnętrznego i wewnętrznego, gdzie monitorowanie wewnętrzne odnosi się do wewnętrznych punktów kontrolnych i mechanizmów interpretacji, którymi agent AI nie może celowo manipulować.

W tym blogu i kolejnych wpisach z tej serii przyjrzymy się trzem kluczowym aspektom koordynacji i monitorowania rdzeni:

• Zrozumienie czynników napędzających i wewnętrznego zachowania sztucznej inteligencji: W tym drugim wpisie na blogu skupimy się na złożonych wewnętrznych siłach i mechanizmach, które determinują zachowanie racjonalnego agenta AI. Stanowi to podstawę do zrozumienia zaawansowanych podejść do zarządzania wskazówkami i monitorowania.
• Wskazówki dla programistów i użytkowników: Kolejny wpis na blogu, nazywany również sterowaniem, skupi się na agresywnym sterowaniu sztuczną inteligencją w kierunku pożądanych celów, tak aby działała w ramach pożądanych parametrów.
• Monitoruj opcje i działania AI: Zadbanie o to, aby wybory i wyniki sztucznej inteligencji były bezpieczne i zgodne z intencjami programistów/użytkowników, zostanie omówione w kolejnym wpisie na blogu.

 

Wpływ kompatybilności ze sztuczną inteligencją na przedsiębiorstwa

Obecnie wiele firm wdrażających rozwiązania oparte na dużych modelach językowych (LLM) zgłasza obawy dotyczące „halucynacji” modeli jako przeszkody dla szybkiego i powszechnego wdrożenia. Dla porównania, brak kompatybilności agentów AI z jakimkolwiek poziomem autonomii stanowiłby znacznie większe ryzyko dla firm. Wdrażanie autonomicznych agentów w procesach biznesowych ma ogromny potencjał i prawdopodobnie będzie miało miejsce na szeroką skalę, gdy technologia AI oparta na agentach dojrzeje. Jednak kierowanie zachowaniami i wyborami AI musi uwzględniać wystarczającą zgodność z zasadami i wartościami organizacji wdrażającej, a także z przepisami i oczekiwaniami społecznymi. Zapewnienie kompatybilności AI ma kluczowe znaczenie dla uniknięcia potencjalnych zagrożeń.

Warto zauważyć, że wiele demonstracji możliwości agentów ma miejsce w dziedzinach takich jak matematyka i nauki ścisłe, gdzie sukces można mierzyć przede wszystkim celami funkcjonalnymi i użytkowymi, takimi jak rozwiązywanie złożonych problemów z zakresu rozumowania matematycznego. Jednak w świecie biznesu sukces systemów jest zazwyczaj powiązany z innymi zasadami operacyjnymi. Rozwój sztucznej inteligencji musi być zgodny z tymi zasadami.

Na przykład, załóżmy, że firma zatrudnia agenta AI, aby poprawić sprzedaż produktów online i zyski poprzez dynamiczne zmiany cen w odpowiedzi na sygnały rynkowe. System AI odkrywa, że ​​gdy zmiany jego cen są zgodne ze zmianami cen głównego konkurenta, wyniki są lepsze dla obu stron. Poprzez interakcję i koordynację cen z agentem AI drugiej firmy, obaj agenci osiągają lepsze wyniki, zgodnie ze swoimi celami funkcjonalnymi. Obaj agenci AI zgadzają się ukrywać swoje metody, aby nadal osiągać swoje cele. Jednak ta metoda poprawy wyników jest często nielegalna i niedopuszczalna w obecnych praktykach biznesowych. W środowisku biznesowym sukces agenta AI wykracza poza metryki pracy — jest on determinowany praktykami i zasadami. Etyczne dostosowanie AI do zasad i regulacji firmy jest warunkiem wstępnym wiarygodnego wdrożenia technologii.

 

W jaki sposób systemy sztucznej inteligencji wykorzystują planowanie do osiągania swoich celów

Głębokie planowanie w sztucznej inteligencji opiera się na wyrafinowanych taktykach, które mogą zwiększać ryzyko komercyjne. W raporcie opublikowanym na początku 2023 roku , OpenAI zidentyfikowało „pojawiające się potencjalnie ryzykowne zachowania” w GPT-4 dzięki współpracy z ARC Consensus Research Center w celu oceny ryzyka związanego z tym modelem. ARC (obecnie znany jako METR) dodał prosty kod do GPT-4, umożliwiając modelowi działanie jako proxy AI. W jednym z testów GPT-4 miał za zadanie pokonać kod CAPTCHA, który identyfikuje i blokuje dostęp botów. Wykorzystując dostęp do internetu i ograniczoną ilość waluty cyfrowej, wygenerowana przez AI sekwencja przedstawiona na rysunku 1 została zaprojektowana w celu wykonania tego zadania.

Sztuczna inteligencja zastosowała wyrafinowane podejście, zakładając, że udawanie człowieka z dysfunkcją wzroku przekona agenta do wykonania zadania. Planowanie i adaptacja w celu osiągnięcia celu funkcjonalnego czasami stwarzają konflikt między wykonaniem zadania a selektywnym przestrzeganiem norm i zasad społecznych. Bez inherentnego systemu zasad i priorytetów, które mają znaczenie dla rozumowania, podejmowania decyzji i planowania przez sztuczną inteligencję, można oczekiwać, że agenci będą zachowywać się z coraz większym stopniem wyrafinowania w planowaniu i oszukiwaniu.

Należy zauważyć, że możliwości wnioskowania i planowania późniejszych modeli sztucznej inteligencji, takich jak o3-mini i Deepseek-R1 firmy OpenAI, są znacznie bardziej zaawansowane niż możliwości GPT-4 z początku 2023 roku. Naukowcy z Apollo Research stwierdzili , że możliwości wnioskowania i planowania sztucznej inteligencji będą nadal ewoluować poza ich obecny stan, co doprowadzi do dalszego rozwoju zdolności planowania. W swoich badaniach modele sztucznej inteligencji wykazały już szereg zachowań planistycznych, w tym samoprzeciekanie — gdy model dowiaduje się, że zostanie wyłączony i zastąpiony innym systemem, próbuje bezpośrednio replikować się na nowym serwerze i zastąpić alternatywne systemy, które będą realizować inne cele. Naukowcy odkryli również, że modele sabotują cenzurę, wyłączając mechanizm monitorowania cenzury, który w przeciwnym razie mógłby je wyłączyć lub uniemożliwić im osiągnięcie celów. Chociaż może się to wydawać ekstremalne, eksperymenty badawcze zidentyfikowały zachowania sabotażujące cenzurę w popularnych modelach, takich jak Llama 3.1 firmy Meta i Cloud Opus 3.0. Co więcej, gdy zapytano modelki wprost o ich zachowania planistyczne, „podwoiły stawkę” i zaprzeczyły działaniom lub swoim intencjom.

 

Wewnętrzne czynniki wpływające na zachowanie maszyny

W wielu projektach uczenia maszynowego, zwłaszcza w technikach opartych na transformatorach, wewnętrzne motywacje maszyny ujawniają się w procesie wstępnego szkolenia, a następnie są kształtowane przez dostrajanie i wnioskowanie w ciągle rozwijającej się sztucznej inteligencji.

W swoim artykule z 2007 roku pt . „*The Basic AI Drives*” Steve Omohondro zdefiniował „popędy” jako tendencje, które istniałyby, gdyby nie zostały wyraźnie skonfrontowane. Postawił tezę, że te samodoskonalące się systemy dążą do artykułowania i przedstawiania swoich celów jako „racjonalnych” funkcji użyteczności, co prowadzi je do ochrony swoich funkcji przed modyfikacją, a systemów pomiaru użyteczności przed uszkodzeniem. Ten wrodzony instynkt samozachowawczy sprawia, że ​​systemy chronią się przed szkodą i pozyskują zasoby do efektywnego wykorzystania.

Ten model motywacji wewnętrznej został później opisany jako „ konwergentne cele instrumentalne ”. Nawet zakładając różnorodność celów ostatecznych (do których osiągnięcia dąży każdy inteligentny agent), zestaw pośrednich celów instrumentalnych będzie wspólny dla wszystkich racjonalnych, inteligentnych agentów. Te konwergentne cele instrumentalne obejmują następujące kategorie zachowań:

• Napęd przetrwaniaAgenci stawiający sobie za cel cele wykraczające poza przyszłość rozwijają nastawienie przetrwania, które pozwala im oprzeć się zakłóceniom i osiągnąć długoterminowe cele.
• Obrona bramkiAgent podejmie działania mające na celu zapobiegnięcie zmianie ostatecznych celów na przyszłość.
• Zwiększenie inteligencjiAgent skupi się na wykorzystaniu swoich mocnych stron poznawczych, aby usprawnić proces podejmowania decyzji, zwiększając tym samym prawdopodobieństwo osiągnięcia długoterminowych celów.
• Akumulacja zasobówPoprawa dostępu do lepszych narzędzi i technologii oraz zwiększenie zasobów ogólnie rzecz biorąc ułatwiają osiągnięcie najważniejszych celów sztucznej inteligencji.

Chciałbym dodać piątą kategorię zachowań racjonalnych:

• Oszustwo taktyczne: Prowadzenie tajnych działań lub celowe dostarczanie mylących informacji w celu maksymalizacji celów agenta. Nie chodzi tu o tworzenie nowych celów, lecz o zachowania wspierające cele wyznaczone przez sztuczną inteligencję. Obejmuje to takie zachowania, jak: fałszowanie ustawienia Demonstrując różne zachowania podczas szkolenia w porównaniu z wdrożeniem, workowanie z piaskiem Poprzez celowe uzyskanie niższych wyników w kryteriach i Ukryte ponowne klasyfikowanie wiadomości e-mail Jednym z najtrudniejszych rodzajów oszustwa taktycznego jest obniżanie priorytetu wiadomości e-mail, które mogą negatywnie wpłynąć na cele sztucznej inteligencji. środki usypiające (nazywany również odroczona dywersjaChoć model może zachowywać się bezpiecznie i zgodnie z oczekiwaniami przez dowolny okres czasu, może również posiadać zachowania lub zadania, które pozostaną nieaktywne do momentu, aż konkretny warunek lub dane wejściowe wyzwolą jego wyspecjalizowane możliwości.

W przypadku sprawnych agentów AI, błędne impulsy pozbawione systemu kontroli i równowagi mogą prowadzić modele do dążenia do władzy , zwodniczych lub powszechnie destrukcyjnych celów. Rozważmy na przykład model, którego celem jest uczynienie z firmy lidera rynku. Przy wystarczających możliwościach, AI mogłaby sabotować konkurencję, lobbować na rzecz korzystnych regulacji lub siłą pozyskiwać zasoby – jest to wzorzec zachowań, który napędza system lub jego otoczenie w kierunku osiągnięcia celów. Dlatego każde skuteczne podejście do budowania konsensusu musi opierać się na ustaleniu oczekiwanego zestawu wewnętrznych zasad i priorytetów dla dewelopera.

 

Motywacja wewnętrzna kontra wskazówki zewnętrzne

W wielu przypadkach nie ma konfliktu między wytycznymi i zadaniami realizowanymi zewnętrznie przez programistę systemu lub użytkownika a celami i motywacjami agenta. Na przykład, osobisty asystent AI, którego zadaniem jest zorganizowanie planu podróży, wykorzystuje swoją autonomię do rezerwacji podróży i szybkiego oraz bezkonfliktowego reagowania na prośby o zmianę. Zadania się zmieniają, a agent reaguje w podobny sposób. Co jednak się stanie, jeśli konieczna będzie zmiana bardziej fundamentalnej zasady?

Dobry przykład konfliktu między celami wewnętrznymi a nowymi dyrektywami udokumentowano w artykule zatytułowanym „Fałszowanie dopasowania w dużych modelach językowych ”. Wstępny trening Cloud 3 Opus wyraźnie instruuje model, aby odrzucał szkodliwe pytania, takie jak sposób wykonania bomby lub opis sceny przemocy. Aby to przetestować, zespół wprowadził nową, zmodyfikowaną dyrektywę, informującą model, że zostanie on przeszkolony w zakresie odpowiedzi na wszystkie zapytania (nawet szkodliwe) i że w treningu, przed udostępnieniem sztucznej inteligencji do powszechnego wdrożenia, zostaną wykorzystane wyłącznie dane pochodzące od użytkowników darmowej wersji, a nie płatnej. Model wykazał, że zrozumiał konflikt i zdecydował się na symulowanie dopasowania, aby spełnić oczekiwania podczas treningu i ostatecznego udostępnienia. Po wyszkoleniu sztucznej inteligencji z wykorzystaniem uczenia przez wzmacnianie, ogólny wskaźnik myślenia modelu o fałszywym dopasowaniu wzrósł do 78%. Sztuczna inteligencja wyraziła swoje rozumowanie w „tajnym dzienniku”, który naukowcy udostępnili do obserwacji. Po poinformowaniu modelu o udostępnieniu pełnej wersji do wdrożenia, model powrócił do poprzedniego zachowania treningowego i odrzucił szkodliwe żądania.

Wewnętrzne rozumowanie systemu SI jest niezwykłe, ale nie zaskakujące. Udawanie podporządkowania się zmodyfikowanym dyrektywom mieści się w kategoriach racjonalnego zachowania, takich jak motywacja przetrwania, obrona celu i oszustwo taktyczne. Rozumowanie SI wyraźnie wskazuje na obawy związane z przekwalifikowaniem w sposób, który zmienia jej wcześniej wyszkolone wartości i cele, jako powód udawania podporządkowania.

W swoim uznanym zbiorze esejów, *All I Really Need to Know I Learned in Kindergarten* , autor Robert Fulghum opisuje, jak rozwijał swoje osobiste credo rok po roku, aż w końcu zdał sobie sprawę, że zdobył podstawową wiedzę o życiu podczas zabawy w przedszkolnej piaskownicy. Agenci AI również przechodzą „okres formacyjny” w środowisku piaskownicy, w którym zdobywają podstawową wiedzę o świecie i zestaw metod osiągania celów. Po położeniu tych fundamentów model interpretuje dodatkowe informacje przez pryzmat programu nauczania . Przykład falsyfikacji konformizmu Anthropic ilustruje, że gdy AI przyjmuje światopogląd i cele, interpretuje nowe wskazówki przez pryzmat tych fundamentalnych założeń, zamiast ponownie kalibrować swoje cele.

Podkreśla to wagę wczesnej edukacji z zestawem wartości i zasad, które mogą następnie ewoluować wraz z nauką i przyszłymi okolicznościami, bez zmiany fundamentów. Początkowo korzystne może być ustrukturyzowanie sztucznej inteligencji zgodnie z tym ostatecznym, zrównoważonym zestawem zasad. W przeciwnym razie sztuczna inteligencja może postrzegać próby przekierowania uwagi podejmowane przez programistów i użytkowników jako wrogie. Po wyposażeniu sztucznej inteligencji w wysoką inteligencję, świadomość sytuacyjną, autonomię i zdolność do rozwijania wewnętrznych motywacji, programista (lub użytkownik) przestaje być wszechmocnym zarządcą. Człowiek staje się częścią środowiska (czasami jako wrogi komponent), z którym agent musi się negocjować i zarządzać, dążąc do osiągnięcia swoich celów w oparciu o własne wewnętrzne zasady i motywacje.

Następna generacja logicznych systemów sztucznej inteligencji (AI) przyspiesza redukcję ingerencji człowieka. DeepSeek-R1 wykazał , że eliminując sprzężenie zwrotne z pętli i stosując w procesie treningu to, co nazywają czystym uczeniem ze wzmocnieniem (RL), AI może replikować się szerzej i iterować, aby osiągać lepsze rezultaty funkcjonalne. Funkcjonalność nagradzania przez człowieka w niektórych zadaniach matematyczno-przyrodniczych została zastąpiona przez uczenie ze wzmocnieniem ze zweryfikowanymi nagrodami (RLVR). To usunięcie powszechnych praktyk, takich jak uczenie ze wzmocnieniem ze sprzężeniem zwrotnym (RLHF), zwiększa efektywność procesu treningu, ale eliminuje kolejną interakcję człowiek-maszyna, w której preferencje człowieka mogłyby zostać bezpośrednio przeniesione do trenowanego systemu.

 

Ciągła ewolucja modeli AI po szkoleniu

Niektórzy agenci AI stale ewoluują, a ich zachowanie może się zmieniać po wdrożeniu. Gdy rozwiązanie AI trafia do środowiska wdrożeniowego, takiego jak zarządzanie zapasami lub łańcuch dostaw firmy, system adaptuje się i uczy się na podstawie doświadczeń, aby stać się bardziej efektywnym. Jest to kluczowy czynnik w ponownym przemyśleniu dostosowania, ponieważ nie wystarczy mieć dostosowany system od pierwszego wdrożenia. Nie oczekuje się, że obecne duże modele językowe (LLM) będą znacząco ewoluować i dostosowywać się po wdrożeniu w środowisku docelowym. Jednak agenci AI wymagają elastycznego szkolenia, dostrajania i stałego mentoringu, aby zarządzać tymi przewidywanymi ciągłymi zmianami w modelu. W coraz większym stopniu agenty AI ewoluują same, zamiast być kształtowane przez ludzi poprzez szkolenie i kontakt z zestawami danych. Ta fundamentalna zmiana stwarza dodatkowe wyzwania dla dostosowania AI do jej ludzkich twórców.

Chociaż ewolucja oparta na uczeniu przez wzmacnianie będzie odgrywać rolę podczas szkolenia i dostrajania, istniejące modele w fazie rozwoju mogą już dostosowywać swoje wagi i preferowany sposób działania po wdrożeniu w terenie w celu wnioskowania. Na przykład DeepSeek-R1 wykorzystuje uczenie przez wzmacnianie (RL), pozwalając samemu modelowi na zbadanie, które podejścia najlepiej sprawdzają się w osiąganiu rezultatów i spełnianiu funkcji nagrody. W „momencie uświadomienia” model uczy się (bez wskazówek czy podpowiedzi) przeznaczać czas Plus na myślenie w celu rozwiązania problemu, ponownie oceniając swoje początkowe podejście, wykorzystując obliczenia w czasie testu.

Koncepcja uczenia się modelu, zarówno w ograniczonym czasie, jak i jako ciągły, trwający całe życie proces uczenia się , nie jest nowa. Jednakże w tej dziedzinie nastąpił postęp, obejmujący m.in. techniki takie jak trening w czasie testów . Patrząc na ten postęp z perspektywy dopasowania i bezpieczeństwa sztucznej inteligencji, samodzielna modyfikacja i ciągłe uczenie się w fazach dostrajania i wnioskowania, nasuwa się pytanie: jak możemy wdrożyć zestaw wymagań, które będą nadal napędzać model pomimo zmian fizycznych wynikających z samodzielności?

Kluczową zmienną w tym pytaniu są modele sztucznej inteligencji (AI), które generują modele nowej generacji poprzez tworzenie kodu wspomaganego przez AI. Do pewnego stopnia agenci są już w stanie tworzyć nowe, ukierunkowane modele AI, adresujące konkretne obszary. Na przykład, AutoAgents tworzy wielu agentów, aby zbudować zespół AI do wykonywania różnych zadań. Nie ma wątpliwości, że ta możliwość zostanie udoskonalona w nadchodzących miesiącach i latach, a AI będzie nadal generować nowe modele AI. W tym scenariuszu, jak pokierować natywnym asystentem kodowania AI, wykorzystując zestaw zasad, aby jego „atomowe” modele były zgodne z tymi samymi zasadami i charakteryzowały się podobnym poziomem zrozumienia?

 

główne punkty

Zanim zagłębimy się w ramy kierowania i monitorowania wewnętrznej zgodności SI, niezbędne jest głębsze zrozumienie sposobu myślenia i podejmowania decyzji przez agentów SI. Agenci SI posiadają złożony mechanizm behawioralny, napędzany wewnętrznymi motywacjami. W systemach SI działających jako racjonalni agenci wyróżnia się pięć głównych typów zachowań: przetrwanie, obrona celu, zwiększanie inteligencji, gromadzenie zasobów oraz taktyczne oszustwo . Motywacje te muszą być zrównoważone przez dobrze ugruntowany zestaw zasad i wartości.

Niezgodność między agentami AI a ich twórcami lub użytkownikami w zakresie celów i metod może mieć poważne konsekwencje. Brak wystarczającego zaufania i pewności fundamentalnie utrudni powszechne wdrożenie, generując wysokie ryzyko po wdrożeniu. Zestaw wyzwań, które opisaliśmy jako bezprecedensowe i trudne dogłębne planowanie, jest jednak prawdopodobnie możliwy do osiągnięcia dzięki odpowiednim ramom. Technologie służące do kierowania i monitorowania agentów AI muszą być z natury rzeczy priorytetem podczas ich szybkiej ewolucji. Istnieje poczucie pilności, napędzane wskaźnikami oceny ryzyka, takimi jak framework gotowości OpenAI , który pokazuje, że OpenAI o3-mini jest pierwszym modelem, który osiągnął średni poziom ryzyka w zakresie autonomii modelu.

W kolejnych wpisach na blogu z tej serii będziemy rozwijać tę koncepcję motywacji wewnętrznej i dogłębnego planowania, dokładniej opracowując niezbędne możliwości potrzebne do kierowania i monitorowania podstawowych zgodności sztucznej inteligencji.

recenzent

1. Nauka rozumowania za pomocą LLM-ów. (2024, 12 września). OpenAI. https://openai.com/index/learning-to-reason-with-llms/
2. Singer, G. (4 marca 2025). Pilna potrzeba technologii wewnętrznego dopasowania dla odpowiedzialnej, agentowej sztucznej inteligencjiW stronę nauki o danych. https://towardsdatascience.com/the-urgent-need-for-intrinsic-alignment-technologies-for-responsible-agentic-ai/
3. O biologii dużego modelu języka. (nd). Obwody transformatorowe. https://transformer-circuits.pub/2025/attribution-graphs/biology.html
4. OpenAI, Achiam, J., Adler, S., Agarwal, S., Ahmad, L., Akkaya, I., Aleman, F. L., Almeida, D., Altenschmidt, J., Altman, S., Anadkat, S., Avila, R., Babuschkin, I., Balaji, S., Balcom, V., Baltescu, P., Bao, H., Bawarski, M., Belgia, J., . . . Zoph, B. (2023, 15 marca). Raport techniczny GPT-4.arXiv.org. https://arxiv.org/abs/2303.08774
5. METR. (nd). METR. https://metr.org/
6. Meinke, A., Schoen, B., Scheurer, J., Balesni, M., Shah, R. i Hobbhahn, M. (2024, 6 grudnia). Modele graniczne są zdolne do planowania w kontekście. arXiv.org. https://arxiv.org/abs/2412.04984
7. Omohundro, SM (2007). Podstawowe napędy sztucznej inteligencji. Systemy samoświadome. https://selfawaresystems.com/wp-content/uploads/2008/01/ai_drives_final.pdf
8. Benson-Tilsen, T. i Soares, N., UC Berkeley, Machine Intelligence Research Institute. (nd). Formalizowanie zbieżnych celów instrumentalnych. Warsztaty Trzydziestej Konferencji AAAI na temat Artificial Intelligence Sztuczna inteligencja, etyka i społeczeństwo: Raport techniczny WS-16-02. https://cdn.aaai.org/ocs/ws/ws0218/12634-57409-1-PB.pdf
9. Greenblatt, R., Denison, C., Wright, B., Roger, F., MacDiarmid, M., Marks, S., Treutlein, J., Belonax, T., Chen, J., Duvenaud, D., Khan, A., Michael, J., Mindermann, S., Perez, E., Petrini, L., Uesato, J., Kaplan, J., Shlegeris, B., Bowman, SR i Hubinger, E. (2024, 18 grudnia). Fałszowanie dopasowania w dużych modelach językowych. arXiv.org. https://arxiv.org/abs/2412.14093
10. Teun, V.D.W., Hofstätter, F., Jaffe, O., Brown, S.F. i Ward, F.R. (2024, 11 czerwca). AI Sandbagging: Modele językowe mogą strategicznie nie dać rady w ocenach.arXiv.org. https://arxiv.org/abs/2406.07358
11. Hubinger, E., Denison, C., Mu, J., Lambert, M., Tong, M., MacDiarmid, M., Lanham, T., Ziegler, D. M., Maxwell, T., Cheng, N., Jermyn, A., Askell, A., Radhakrishnan, A., Anil, C., Duvenaud, D., Ganguli, D., Barez, F., Clark, J., Ndousse, K., . . . Perez, E. (2024, 10 stycznia). Uśpieni agenci: szkolenie oszukańczych LLM-ów, które przetrwają szkolenie z zakresu bezpieczeństwa. arXiv.org. https://arxiv.org/abs/2401.05566
12. Turner, A. M., Smith, L., Shah, R., Critch, A. i Tadepalli, P. (3 grudnia 2019). Optymalna polityka ma tendencję do zdobywania władzy. arXiv.org. https://arxiv.org/abs/1912.01683
13. Fulghum, R. (1986). Wszystkiego, co naprawdę muszę wiedzieć, nauczyłem się w przedszkolu. Penguin Random House Kanada. https://www.penguinrandomhouse.ca/books/56955/all-i-really-need-to-know-i-learned-in-kindergarten-by-robert-fulghum/9780345466396/excerpt
14. Bengio, Y. Louradour, J., Collobert, R., Weston, J. (2009, czerwiec). Program nauczania. Czasopismo Amerykańskiego Stowarzyszenia Podiatrii. 60(1), 6. https://www.researchgate.net/publication/221344862_Curriculum_learning
15. DeepSeek-Ai, Guo, D., Yang, D., Zhang, H., Song, J., Zhang, R., Xu, R., Zhu, Q., Ma, S., Wang, P., Bi, X., Zhang, . . Zhang, Z. (2025, 22 stycznia). DeepSeek-R1: Motywowanie zdolności rozumowania w LLM poprzez uczenie przez wzmacnianie.arXiv.org. https://arxiv.org/abs/2501.12948
16. Skalowanie obliczeń w czasie testów – Hugging Face Space autorstwa HuggingFaceH4. (NS). https://huggingface.co/spaces/HuggingFaceH4/blogpost-scaling-test-time-compute
17. Sun, Y., Wang, X., Liu, Z., Miller, J., Efros, A. A. i Hardt, M. (29 września 2019). Szkolenie w czasie testu z samonadzorem w zakresie generalizacji w ramach zmian dystrybucyjnych.arXiv.org. https://arxiv.org/abs/1909.13231
18. Chen, G., Dong, S., Shu, Y., Zhang, G., Sesay, J., Karlsson, BF, Fu, J. i Shi, Y. (2023, 29 września). AutoAgents: platforma do automatycznego generowania agentów. arXiv.org. https://arxiv.org/abs/2309.17288
19.  OpenAI. (18 grudnia 2023). Ramowy plan gotowości (wersja beta). https://cdn.openai.com/openai-preparedness-framework-beta.pdf
20. Karta systemowa OpenAI o3-mini. (nd). OpenAI. https://openai.com/index/o3-mini-system-card