Przycisk „Zgadzam się”: Dlaczego może być najniebezpieczniejszą sztuczną inteligencją dla przedsiębiorstw?

O godzinie 2:00 w nocy automatyczny agent rozwiązywania problemów wykrywa problem z siecią, wiąże go z błędnie skonfigurowaną polityką, weryfikuje za pomocą niestandardowej struktury, czy proponowana poprawka działa w ramach zdefiniowanych granic polityki, a następnie ją naprawia. Sieć się stabilizuje i nikt nie zostaje powiadomiony.

Rano człowiek analizuje codzienne spostrzeżenia agenta: podsumowanie wszystkich wprowadzonych zmian, wraz z linkami do rekordów, śladami audytu, logiką i przyczynami źródłowymi. Potwierdza, że ​​wszystko zostało poprawnie rozwiązane, a następnie przechodzi do kolejnego etapu. To model „z udziałem człowieka w pętli”.

W innej organizacji, o 4:00 rano, samodzielnie stworzony, improwizowany agent przetwarzający wykrywa problem z siecią, identyfikuje go jako błędnie skonfigurowaną politykę i naprawia. Sieć się stabilizuje i nikt nie zostaje powiadomiony. Rano człowiek przegląda logi, zakłada, że ​​problem został rozwiązany i kontynuuje pracę.

Gdzie leży różnica?

Różnica polega na tym, że w scenariuszu samodzielnej konstrukcji logi przedstawiają tylko część historii. Nie pokazują one, że agent wprowadził trzy inne zmiany, aby dojść do tego rozwiązania, i że zmiany te były bardziej rozległe niż pierwotnie planowano. Co więcej, decyzje stojące za tymi zmianami nie zostały zgłoszone, ponieważ agent nie był do tego zobowiązany w ramach swoich ograniczeń. Ten brak przejrzystości systemu leży u podstaw problemu.

Tak może wyglądać przejście do systemu „człowieka pod kontrolą” bez odpowiednich mechanizmów kontroli i równowagi. Nie ma tu dramatycznego przekazywania zadań, tylko seria drobnych, rozsądnych delegacji, które stopniowo kumulują się w coś, na co nikt nie wyraził jednoznacznej zgody. To podkreśla wagę ludzkiej kontroli nad przyszłością sztucznej inteligencji.

Dzieje się to szybciej, niż większość liderów zdaje sobie sprawę. Według najnowszych badań, 57% liderów IT spodziewa się wyeliminować ludzi z pętli kontroli w ciągu roku lub krócej, a 79% już traktuje agentów AI jak „użytkowników” wymagających własnych mechanizmów zarządzania tożsamościami i kontroli.

Przejście na sztuczną inteligencję proxy następuje w szybszym tempie, niż większość organizacji jest na to przygotowana, zarówno pod względem zarządzania, jak i możliwości oceny autonomicznych systemów.

To jest przycisk „Zgadzam się”.

Rozwiązanie dla autonomicznej sztucznej inteligencji zawsze wydawało się niezwykle proste: utrzymanie kontroli nad czynnikiem ludzkim. Ktoś sprawdza dane wyjściowe, klika przycisk „zatwierdzenia” i ponosi odpowiedzialność. Ale rzeczywistość nie jest taka prosta. Sprawdzanie każdej czynności nie tworzy automatycznie odpowiedzialności i uniemożliwia organizacjom czerpanie pełnych korzyści z autonomii.

Zamiast analizować każdą procedurę z osobna, ludzie powinni skupić się na ocenie wyników, upewnieniu się, że system działa w założonych granicach, oraz dostarczaniu informacji zwrotnych, które z czasem poprawią jego wydajność.

Zatwierdzenie może stać się bezsensownym rytuałem. W miarę jak systemy udowadniają swoją niezawodność, a liczba alertów rośnie, ludzie zaczynają czasem traktować interwencję jako coś, co często jest zbędne.

Zatwierdzenie może stać się prostym kliknięciem, a nie przemyślanym wyborem. A gdy coś pójdzie nie tak (na przykład błędnie skonfigurowana polityka lub automatyczne przetwarzanie prowadzące do awarii usługi), trudno odpowiedzieć na pytanie, kto jest za to odpowiedzialny.

Wzmacnia to również szerszą zmianę: jedną z najważniejszych ludzkich zdolności staje się myślenie krytyczne i testowanie hipotez, a nie wykonywanie zadań.

Dzieje się coś jeszcze. Ludzie przechodzą z fazy realizacji do fazy czytania przed zatwierdzeniem – to fundamentalna zmiana w codziennej pracy większości z nas.

Co więcej, atrybucja to nie to samo, co źródło. Zapis dokumentujący działania agenta AI nie mówi prawie nic o przyczynach ani o tym, co wpłynęło na tę decyzję. A kiedy coś pójdzie nie tak, to właśnie te informacje są potrzebne.

Tożsamości nie-ludzkie i nowy krajobraz sieciowy

Gdy agenci AI działają w sieci – wysyłając zapytania do systemów, wprowadzając zmiany w konfiguracji lub kierując ruchem – są traktowani jako prawdziwi użytkownicy. Wymagają uprawnień, zasad, kontroli bezpieczeństwa, możliwości interpretacji i dzienników audytu, tak jak operatorzy. Ta potrzeba transparentności i rozliczalności jest zbieżna z działaniami mającymi na celu egzekwowanie transparentności w centrach danych AI.

Większość organizacji nie nadążyła jeszcze za tym rozwojem. Ramy tożsamości są projektowane z myślą o ludziach, a zastosowanie w nich agentów AI jako dodatku tworzy dokładnie ten rodzaj ukrytego dostępu, którego eliminacja zajmuje zespołom bezpieczeństwa całe życie.

Prawie 80% liderów, którzy już korzystają z agentów AI jako zarządzanych tożsamości, wyprzedza konkurencję. Pozostali narażają się na ryzyko, którego nie są w stanie ocenić, dopóki nie dojdzie do incydentu bezpieczeństwa.

Aby to osiągnąć, każdego agenta należy traktować jako jednostkę główną ze zdefiniowanymi uprawnieniami, ograniczonym czasowo dostępem, jasną ścieżką unieważniania uprawnień i kompletnym dziennikiem obejmującym nie tylko to, co agent zrobił, ale także to, co miał prawo zrobić i dlaczego.

Niepodległość nie jest czymś danym, trzeba na nią zapracować.

Zespoły ds. sieci i cyberbezpieczeństwa już wiedzą, jak stosować tę zasadę. Każda organizacja posiada ramy kontroli dostępu, które definiują, do czego i kiedy użytkownicy mogą uzyskać dostęp. Młodszy inżynier nie uzyskuje pełnego dostępu do systemów produkcyjnych od pierwszego dnia; zdobywa go stopniowo. Ta sama logika powinna mieć zastosowanie do agentów AI.

Jeszcze do tego punktu nie dotarliśmy. Zbyt często autonomia jest traktowana jako zasada „wszystko albo nic”, a to nie jest właściwy model. Zaufanie nie działa w ten sposób u ludzi i nie powinno działać w ten sposób w przypadku sztucznej inteligencji. Agenci sztucznej inteligencji powinni zacząć od proponowania rozwiązań, a następnie udowodnić swoją kompetencję w jasno określonych granicach, zanim ich uprawnienia zostaną rozszerzone. I upewnić się, że każda decyzja pozostawia ślad, który wyjaśnia nie tylko to, co się stało, ale także przyczyny, dla których się wydarzyło.

Wraz ze wzrostem wykorzystania autonomicznej sztucznej inteligencji (AI), organizacje będą musiały znaleźć równowagę między nadzorem ludzkim a systematycznym zarządzaniem. Ludzie nadal będą odpowiedzialni za weryfikację nie tylko wyników działania AI, ale także, w razie potrzeby, podejmowanych przez nią działań i uzasadnienia leżącego u ich podstaw.

Jednak wraz ze wzrostem skali i złożoności autonomicznych decyzji, nadzór ten musi być uzupełniony o infrastrukturę integrującą tożsamość, egzekwowanie zasad, możliwości monitorowania i rozliczalność. Te mechanizmy kontroli, razem wzięte, pomagają zapewnić transparentność, identyfikowalność i zgodność działań sztucznej inteligencji z celami organizacji.

Budowanie wieloagentowych systemów odpornych na presję

Wraz ze wzrostem wydajności tych systemów, organizacje coraz częściej przechodzą na architektury wieloagentowe. W takich architekturach każdy wyspecjalizowany agent obsługuje część przepływu pracy i przekazuje kontekst do następnego agenta. To właśnie tutaj tkwią złożoności.

Zachowanie pojedynczego agenta można prześledzić, jeśli popełni błąd. Jednak łańcuch agentów, w którym każdy działa w oparciu o wyniki poprzedniego, jest znacznie trudniejszy do rozszyfrowania w przypadku wystąpienia błędu, chyba że istnieje odpowiednia struktura i zarządzanie. Trzeba wiedzieć, co każdy agent wiedział, a nie tylko co zrobił.

Wykonaj podstawowe zadania

Dwie organizacje korzystają z tego samego agenta sieciowego opartego na sztucznej inteligencji. Jedna z nich wykonała podstawowe, mało atrakcyjne zadania: skonfigurowała ścisłe uprawnienia dostępu, odpowiednie mechanizmy kontroli tożsamości i dzienniki audytu, które w razie potrzeby dostarczają jasnych odpowiedzi. Druga nie.

Nie zauważysz różnicy, dopóki coś nie pójdzie nie tak.