Luka w zabezpieczeniach Google Gemini jest wykorzystywana do przekształcania opartych na sztucznej inteligencji podsumowań wiadomości e-mail w narzędzie phishingowe.

W Google Gemini for Workspace odkryto poważną lukę w zabezpieczeniach , którą atakujący mogą wykorzystać do wstrzyknięcia złośliwego kodu do wiadomości e-mail. Kod ten może następnie posłużyć do manipulowania narzędziem sztucznej inteligencji, wprowadzając użytkowników w błąd i przekierowując ich na strony phishingowe.

Według raportu Bleeping Computer , luka ta polega na tworzeniu podsumowań wiadomości e-mail, które wyglądają zupełnie normalnie, ale zawierają ukryte złośliwe instrukcje lub ostrzeżenia. Instrukcje te są wykonywane automatycznie przez Gemini podczas generowania podsumowania wiadomości.

Mechanizm ataku opiera się na osadzaniu niewidocznych dyrektyw Gemini w wiadomości e-mail. Uzyskuje się to poprzez ukrycie instrukcji na końcu treści wiadomości za pomocą kodu HTML i CSS, a następnie ustawienie rozmiaru czcionki na zero i koloru na biały. Ponieważ ten dodatkowy tekst nie zawiera żadnych załączników ani linków, nie zostanie wykryty ani oznaczony nawet przez najlepsze programy antywirusowe i pocztowe, co zwiększa prawdopodobieństwo dotarcia do skrzynki odbiorczej potencjalnej ofiary.

Gdy docelowy użytkownik otworzy wiadomość e-mail i poprosi Gemini o podsumowanie jej treści, oprogramowanie AI automatycznie wykona wykryte ukryte instrukcje. Użytkownicy często ufają możliwościom Gemini w zakresie przetwarzania treści w ramach Workspace, więc alert jest postrzegany jako uzasadnione ostrzeżenie, a nie jako złośliwy atak.

Podobne ataki odnotowano w ciągu ostatniego roku i pomimo wdrożenia pewnych środków zapobiegawczych mających na celu blokowanie wprowadzających w błąd odpowiedzi, technika ta pozostaje ogólnie skuteczna, co wyjaśnia jej ciągłe stosowanie.

Bleeping Computer poinformował, że kiedy firma zapytała Google o metody obrony przed tego typu atakami, rzecznik firmy powołał się na wpis na blogu dotyczący ataków typu code injection i wyjaśnił, że pewne środki zapobiegawcze są wdrażane lub wkrótce zostaną udostępnione. Google potwierdził również, że jak dotąd nie ma dowodów na występowanie tego typu ataków w środowisku naturalnym.

Figueroa, menedżer programu nagród za błędy GenAI firmy Mozilla, który odkrył lukę, proponuje kilka pomysłów na zapobieganie temu zagrożeniu: Zespoły ds. bezpieczeństwa powinny usuwać, neutralizować lub ignorować treści zaprojektowane tak, aby były ukryte w treści wiadomości. Alternatywnie, mogłyby wdrożyć filtry skanujące Gemini w poszukiwaniu pilnych wiadomości, adresów URL i numerów telefonów, oznaczając je do dalszej analizy przez użytkowników.

Na razie zachowaj ostrożność, używając Gemini do podsumowywania wiadomości e-mail, ponieważ nigdy nie wiadomo, co może się w nich kryć. Mamy nadzieję, że Google opublikuje poprawkę na ten nowy typ ataku raczej wcześniej niż później.