Model Google Gemini wykorzystywany do złośliwych celów: możliwość hakowania i kontrolowania systemów inteligentnego domu

W przeszłości doniesienia o hakowaniu trafiały na pierwsze strony gazet, ale stały się tak powszechne, że nie dziwią już większości ludzi. Nabiera to rozpędu dopiero wtedy, gdy dotyczy dużej firmy i dotyka miliony ludzi, jak miało to miejsce w… Sprawa włamania do T-Mobile dotyczy 64 milionów klientówPonieważ istnieje wiele sposobów, w jakie Twoje dane mogą zostać naruszone, niemal każdy rodzaj usługi cyfrowej lub produktu ma zabezpieczenia, które mają temu zapobiec.

Oczywiście, te produkty nie są idealne i zawsze istnieją sposoby na przeprowadzenie złośliwych ataków, jeśli atakujący jest wystarczająco sprytny. Wraz z pojawieniem się dużych modeli językowych (LLM), takich jak Gemini firmy Google, zawsze istnieje możliwość, że te narzędzia sztucznej inteligencji mogą zostać wykorzystane do złośliwych celów. Chociaż nie widzieliśmy jeszcze żadnych poważnych doniesień na ten temat, możemy… Wired wyróżnił projekt badawczy Gemini jest wykorzystywane do kontrolowania Twojego życia w sposób, którego nigdy sobie nie wyobrażałeś. Badania pokazują, jak Gemini może być wykorzystywane do kontrolowania różnych aspektów Twojego cyfrowego życia, potencjalnie w tym inteligentnych urządzeń w domu, co budzi obawy o bezpieczeństwo i prywatność w dobie sztucznej inteligencji.

Tego typu ataki mogą stać się bardziej niebezpieczne.

Ben Nassi, Stav Cohen i Or Yair z Uniwersytetu w Tel Awiwie ujawnili swój projekt: „Zaproszenie to wszystko, czego potrzebujesz„Który wykorzystuje Gemini do dostępu i sterowania inteligentnym domem. Co ciekawe, atak nie rozpoczyna się w domu, ale opiera się na innym, niezwiązanym produkcie Google, który inicjuje proces.

Mówiąc wprost, niepożądana akcja jest uruchamiana, gdy użytkownik używa Gemini z określonym komunikatem. Sprytne w tym wszystkim jest to, że jest on ukryty i niewidoczny dla użytkownika. Wyjaśnia: Zespół badawczy szczegółowo opisuje, jak to działa., gdzie „promptware” wykorzystuje model dużego języka (LLM) do wykonywania złośliwych działań.

Wykorzystując „zatrucie kontekstu krótkoterminowego” i „zatrucie pamięci długoterminowej”, naukowcy odkryli, że mogą zmusić Gemini do wykonywania czynności, które pierwotnie nie były zawarte w monicie. Mogłoby to usuwać zdarzenia z różnych aplikacji Google, otwierać połączenia Zoom, dostarczać informacje o lokalizacji użytkownika, sterować inteligentnymi urządzeniami domowymi i wiele więcej. Ten typ ataku, znany jako „pośrednie wstrzykiwanie monitów”, wykorzystuje luki w zabezpieczeniach interakcji dużych modeli językowych z danymi zewnętrznymi.

Zespół badawczy demonstruje również, jak to wszystko działa, za pomocą zachwycających filmów instruktażowych. To prosty i skuteczny sposób na zniszczenie czyjegoś życia bez jego wiedzy. Ludzie bardziej skupiają się na tradycyjnych metodach hakowania, co oznacza, że ​​coś takiego może być niezwykle nieoczekiwane.

Na szczęście zespół badawczy zgłosił te problemy Google w lutym i spotkał się z zespołem, aby je rozwiązać. Google informuje, że „wdrożyło wielowarstwowe zabezpieczenia, w tym: ulepszone potwierdzenia użytkowników dotyczące wrażliwych działań; solidne przetwarzanie adresów URL z uwzględnieniem zasad sanityzacji i poziomu zaufania; oraz zaawansowane wykrywanie wstrzykiwania roszczeń za pomocą klasyfikatorów treści”.

Projekt podkreśla „teoretyczne techniki pośredniego wstrzykiwania roszczeń, które wpływają na asystentów opartych na dużych modelach językowych”, które mogą stać się powszechniejsze w niedalekiej przyszłości, wraz z rozwojem narzędzi sztucznej inteligencji. Jest to również dziedzina w powijakach i będzie wymagała lepszego monitorowania, aby zapobiec poważniejszym szkodom w przyszłości. W miarę jak w coraz większym stopniu polegamy na sztucznej inteligencji w naszym codziennym życiu, zrozumienie i minimalizowanie tych potencjalnych zagrożeń staje się kluczowe.

Jeśli interesują Cię luki w zabezpieczeniach, zawsze możesz Prześlij swoje znalezisko do Google W ramach programu Bug Hunters istnieje wiele sposobów, aby się do niego przyczynić, ponieważ sztuczna inteligencja to tylko niewielki wycinek tego, co jest obecnie monitorowane. Jeśli chodzi o coś poważniejszego, Google oferuje również nagrodę za Twoją pracę, dzięki czemu wysiłek jest jeszcze bardziej satysfakcjonujący.