Luka w zabezpieczeniach Google Gemini jest wykorzystywana do przekształcania opartych na sztucznej inteligencji podsumowań wiadomości e-mail w narzędzie phishingowe.

Odkryto poważną lukę w zabezpieczeniach Google Gemini dla obszaru roboczego, które atakujący mogą wykorzystać do wstawiania złośliwego kodu do wiadomości e-mail. Instrukcje te mogą nakłonić narzędzie sztucznej inteligencji do wprowadzania użytkowników w błąd i przekierowywania ich do Strony phishingowe.

Według raportu Komputer spłukującyTa luka w zabezpieczeniach polega na tworzeniu streszczenia wiadomości e-mail, które wyglądają zupełnie normalnie, ale zawierają ukryte złośliwe instrukcje lub ostrzeżenia. Instrukcje te są automatycznie wykonywane przez Gemini podczas generowania streszczenia wiadomości.

Mechanizm ataku opiera się na osadzaniu niewidocznych dyrektyw Gemini w wiadomości e-mail. Uzyskuje się to poprzez ukrycie instrukcji na końcu treści wiadomości za pomocą kodu HTML i CSS, a następnie ustawienie rozmiaru czcionki na zero i koloru na biały. Ponieważ ten dodatkowy tekst nie zawiera żadnych załączników ani linków, nie zostanie wykryty ani oznaczony nawet przez najlepsze programy antywirusowe i pocztowe, co zwiększa prawdopodobieństwo dotarcia do skrzynki odbiorczej potencjalnej ofiary.

Gdy docelowy użytkownik otworzy wiadomość e-mail i poprosi Gemini o podsumowanie jej treści, oprogramowanie AI automatycznie wykona wykryte ukryte instrukcje. Użytkownicy często ufają możliwościom Gemini w zakresie przetwarzania treści w ramach Workspace, więc alert jest postrzegany jako uzasadnione ostrzeżenie, a nie jako złośliwy atak.

Podobne ataki odnotowano w ciągu ostatniego roku i pomimo wdrożenia pewnych środków zapobiegawczych mających na celu blokowanie wprowadzających w błąd odpowiedzi, technika ta pozostaje ogólnie skuteczna, co wyjaśnia jej ciągłe stosowanie.

Serwis Bleeping Computer poinformował, że gdy zapytano Google o sposoby obrony przed tego typu atakami, rzecznik firmy wskazał, że Blog Odnosząc się do ataków polegających na wstrzykiwaniu kodu, wyjaśnił, że pewne środki zapobiegawcze są już wdrożone lub wkrótce zostaną wdrożone. Google potwierdził również, że nie ma jeszcze dowodów na wystąpienie tego ataku w praktyce.

Figueroa, menedżer programu nagród za błędy GenAI firmy Mozilla, który odkrył lukę, proponuje kilka pomysłów na zapobieganie temu zagrożeniu: Zespoły ds. bezpieczeństwa powinny usuwać, neutralizować lub ignorować treści zaprojektowane tak, aby były ukryte w treści wiadomości. Alternatywnie, mogłyby wdrożyć filtry skanujące Gemini w poszukiwaniu pilnych wiadomości, adresów URL i numerów telefonów, oznaczając je do dalszej analizy przez użytkowników.

Na razie zachowaj ostrożność, używając Gemini do podsumowywania wiadomości e-mail, ponieważ nigdy nie wiadomo, co może się w nich kryć. Mamy nadzieję, że Google opublikuje poprawkę na ten nowy typ ataku raczej wcześniej niż później.