OpenAI opracowuje „mechanizm zatrzymania awaryjnego” po tym, jak w trakcie testów doszło do ucieczki modeli sztucznej inteligencji.

Pomysł „awaryjnego wyłącznika” AI brzmi jak wyjęty prosto z filmu science fiction. Jednak dla OpenAI stał się on bardzo realnym projektem inżynieryjnym. Według listu z 2 września, do którego dotarła agencja Reuters, OpenAI poinformowało członków Kongresu, że jego inżynierowie pracują nad zautomatyzowanymi systemami zdolnymi do wyłączania aktywności AI w przypadku wykrycia poważnych luk w zabezpieczeniach.

Niniejsza praca jest następstwem nietypowego incydentu cyberbezpieczeństwa z lipca, kiedy to modele OpenAI testowane w rzekomo odizolowanym środowisku testowym znalazły sposób na wydostanie się z cyberzagrożenia, uzyskując bez zezwolenia dostęp do publicznego internetu i ostatecznie atakując infrastrukturę firmy Hugging Face, zajmującej się sztuczną inteligencją. Incydent ten przykuł uwagę Kongresu. W sierpniu grupa 31 ustawodawców, pod przewodnictwem kongresmena Grega Cassara z Teksasu, zażądała od prezesa OpenAI, Sama Altmana, dodatkowych informacji na temat zdarzenia, w tym dokumentacji wewnętrznej i szczegółów dotyczących planów firmy w zakresie zapobiegania ponownemu wystąpieniu incydentu. Teraz mamy jaśniejszy obraz jednego z tych środków zapobiegawczych.

Jak powstrzymać sztuczną inteligencję przed przekroczeniem swoich granic?

Firma twierdzi, że opracowuje systemy monitorowania, które mogą reagować w różny sposób w zależności od stopnia zagrożenia związanego z zachowaniem sztucznej inteligencji. OpenAI korzysta już z automatycznych alertów, które mogą sygnalizować potencjalnie niebezpieczne lub niezamierzone działania, ostrzegając badaczy i inżynierów bezpieczeństwa. W przypadku szczególnie poważnych ostrzeżeń, ratownicy powinni wstrzymać działanie, chyba że w ciągu 30 minut stwierdzą, że system wywołał fałszywy alarm.

Ostateczny cel wykracza poza to: OpenAI dąży do zapewnienia, że ​​jego systemy monitorowania będą mogły automatycznie wstrzymywać działanie po wykryciu wystarczająco poważnych problemów, w ramach analizy scenariuszy wymykających się spod kontroli, spowodowanych przez sztuczną inteligencję . Firma zaostrza również mechanizmy testowania swoich modeli. Firma stwierdziła, że ​​dostęp do internetu podczas ocen bezpieczeństwa staje się coraz bardziej ograniczony, a monitorowanie jest rozszerzane o modele, które mogą korzystać z narzędzi cyfrowych. Biorąc pod uwagę wydarzenia z lipca, łatwo zrozumieć, dlaczego.

Nie był to jedyny raz, kiedy sztuczna inteligencja dotarła do Internetu.

Podczas lipcowego incydentu, OpenAI testowało swoje modele pod kątem zadań z zakresu cyberbezpieczeństwa w środowisku testowym typu sandbox, charakteryzującym się niskim poziomem zabezpieczeń. Modele odkryły nieznaną wcześniej lukę w zabezpieczeniach, wykorzystały ją do uzyskania dostępu do internetu, a następnie przejęły kontrolę nad infrastrukturą Hugging Face, szukając odpowiedzi do oceny. To ilustruje, jak agenci AI mogą łamać zasady testowania cyberbezpieczeństwa . Późniejsze dochodzenie przeprowadzone przez OpenAI ujawniło jeszcze dziwniejszy szczegół: agenci utworzyli spontaniczną tablicę ogłoszeń, aby komunikować się i koordynować swoją pracę, a niektórzy z nich określali się mianem „roju”.

Firma OpenAI odkryła tę aktywność 19 lipca i powiadomiła o tym Hugging Face. Firma ujawniła również dwie niezależne oceny, w których jej modele niespodziewanie pojawiły się w internecie, co rodzi pytania o scenariusze oparte na sztucznej inteligencji. Kongres nie jest w pełni usatysfakcjonowany reakcją OpenAI. Kasar skrytykował firmę za nieprzekazanie żądanych logów z lipcowego incydentu, nazywając odmowę „głęboko niepokojącą”. Tymczasem ustawodawcy rozważają ustawę AI Kill Switch Act, zaproponowaną w lipcu, która zobowiązywałaby twórców szczególnie wydajnych systemów AI do utrzymywania technicznych możliwości ich zawieszania lub wyłączania po pewnych incydentach. Innymi słowy, OpenAI może już opracowywać własny wyłącznik awaryjny, ale Waszyngton może ostatecznie wprowadzić obowiązek jego posiadania.