Przetestowałem 5 aplikacji do rozpoznawania pisma odręcznego opartych na sztucznej inteligencji: ta wypadła najlepiej, a ta nie była dokładna.

Z jednej strony narzędzia sztucznej inteligencji, takie jak ChatGPT و Google Bliźnięta و DeepSeek Niezwykle przydatne przy pisaniu wiadomości e-mail, podsumowywaniu treści i określaniu tonu tekstu.

Trudno sobie wyobrazić życie przed końcem 2022 roku, kiedy większość z nas odkryła, że ​​ChatGPT może wykonać część ciężkiej pracy w zakresie pisania treści. Potrzebujesz listu motywacyjnego? Możesz go napisać w 5 sekund, wraz z pozdrowieniem i podsumowaniem swojego doświadczenia zawodowego.

Z drugiej strony, wokół nas pełno jest kiepskich treści generowanych przez sztuczną inteligencję. Teksty pisane przez chatboty wykazują pewne oznaki, takie jak brak oryginalności i niejasności. Jednak w tej wojnie słów boty AI stale się udoskonalają.

Możesz poprosić ChatGPT o przerobienie Twoich treści, aby brzmiały bardziej autentycznie i aby uniknąć wykrycia przez aplikacje takie jak GPTZero. Wojna trwa i to prawdziwa gra w kotka i myszkę.

Tak naprawdę nie wiemy, kto wygrywa tę wojnę. Jeśli jesteś studentem, piszesz treści do pracy, a nawet piszesz e-mail na rodzinne spotkanie tego lata, odkrywanie pisania z wykorzystaniem sztucznej inteligencji jest o wiele łatwiejsze, niż mogłoby się wydawać – co może dać Ci do myślenia.

Na przykład większość wykładowców uniwersyteckich wie już, jak uruchomić usługę wykrywania sztucznej inteligencji (AI) w ramach swoich prac. Jedno z popularnych narzędzi, GPTZero, wykorzystuje indeks prawdopodobieństwa do wykrywania, czy w danym fragmencie treści występuje AI.

Jednak nie wszystkie aplikacje do wykrywania sztucznej inteligencji działają w ten sam sposób.

Znalazłem jedno narzędzie, które sprawdziło się znakomicie, i drugie, które zawiodło. Do przeprowadzenia testów wykorzystałem przykładowy rozdział z książki, którą piszę – wgrałem cały rozdział do pięciu aplikacji do wykrywania sztucznej inteligencji wymienionych poniżej.

Poprosiłem również ChatGPT o napisanie listu motywacyjnego do fikcyjnej pracy. Poprosiłem bota o odrobinę finezji i oryginalności, starając się nie ujawniać swojej sztucznej inteligencji. Na koniec poprosiłem ChatGPT o dokończenie tego eseju – 50-50 między mną a sztuczną inteligencją (czyli czegoś, czego nigdy bym nie zrobił w prawdziwym życiu).

Oto, jak każde narzędzie do wykrywania sztucznej inteligencji wypadło w trzech testach, w tym wielki zwycięzca.

1. Najlepszy w klasyfikacji generalnej: GPTZero

Korzystałem z GPTZero kilkakrotnie, częściowo dlatego, że darmowa wersja pozwala wykrywać niewielkie ilości tekstu bez konieczności subskrypcji usługi. Na potrzeby tej recenzji korzystałem z pełnej wersji Premium, która kosztuje 23.99 USD miesięcznie i umożliwia wykonywanie zarówno podstawowych, jak i zaawansowanych skanów.

Korzystając z zaawansowanego skanowania, GPTZero dzieli długi fragment tekstu na strony i ocenia prawdopodobieństwo wygenerowania tekstu przez sztuczną inteligencję dla każdej sekcji. GPTZero faktycznie oznaczył kilka akapitów z prawdopodobieństwem 1% wystąpienia błędu AI i kilka zdań z prawdopodobieństwem 5%. Ogólnie rzecz biorąc, usługa działała bardzo dobrze.

Kiedy testowałem list motywacyjny napisany przez ChatGPT, GPTZero naprawdę górowało nad wszystkimi innymi aplikacjami. Serwis zgłaszał, że list został na 100% napisany przez sztuczną inteligencję. Jedynym problemem było to, że mimo tak dobrej ogólnej oceny, pojawiały się fałszywe sygnały.

GPTZero zaklasyfikowało niewielką liczbę zdań jako wygenerowane przez człowieka. Kiedy poprosiłem GPTZero o przeanalizowanie mojego eseju, który w 50% został napisany przez człowieka, a w 50% przez sztuczną inteligencję, usługa zaklasyfikowała go jako 58% napisany przez człowieka – najdokładniejszy wynik spośród aplikacji do wykrywania AI.

2. Originality.AI: kompleksowe narzędzie do wykrywania treści generowanych przez sztuczną inteligencję

Originality.AI to kompleksowe, zaawansowane rozwiązanie do wykrywania treści generowanych przez sztuczną inteligencję, zapewniające szczegółowe i dokładne wyniki. Plan Pro kosztuje około 12.95 USD miesięcznie i obejmuje 2000 kredytów. Podczas testowania fragmentów mojej książki, Originality.AI było w stanie zidentyfikować cały tekst jako napisany przez człowieka ze 100% pewnością – jako jedyne narzędzie, które zrobiło to poprawnie. To bardzo uspokajające, chociaż narzędzie zakwestionowało niektóre zdania i uznało je za napisane przez sztuczną inteligencję, mimo że jego ogólny wynik wyniósł 100%.

W teście listu motywacyjnego wygenerowanym przez ChatGPT, Originality.AI zgłosił, że 91% listu zostało napisane przez człowieka. Poprosiłem ChatGPT o uniknięcie wykrycia przez sztuczną inteligencję i napisanie go w charakterystycznym stylu, ale ten wynik jest nieco niepokojący.

W innym teście poprosiłem ChatGPT o dokończenie tego eseju, a wyniki mnie zaszokowały. Originality.AI zaklasyfikował cały esej jako oryginalny ze 100% pewnością, mimo że tylko pierwsza połowa została napisana przez człowieka. (Kiedy poprosiłem ChatGPT o dokończenie eseju, wygenerował on dość ogólną treść, mimo że poprosiłem bota o dopasowanie się do stylu eseju). Originality.AI najwyraźniej dał się nabrać na tę sztuczkę, mimo że jest to powszechna praktyka, zwłaszcza wśród studentów. Podkreśla to wagę ostrożnego korzystania z narzędzi do wykrywania AI i krytycznej oceny wyników, pamiętając, że narzędzia te nie są w 100% niezawodne i czasami mogą popełniać błędy.

3. Gramatyka

Grammarly to przede wszystkim narzędzie stworzone, aby pomóc Ci pisać bez błędów i unikać plagiatu, ale zawiera również potężny detektor oparty na sztucznej inteligencji. Uważam, że jest on nieco zbyt czuły.

Jest uważany za interfejs Grammarly To trochę mylące, ponieważ jednocześnie oznacza plagiat i tekst napisany przez sztuczną inteligencję. Aplikacja oznaczyła jeden z moich rozdziałów, pisząc: „7% twojego tekstu pokrywa się ze źródłami zewnętrznymi”, co uznałem za obraźliwe. To nieprawda i frustrujące.

Aplikacja poinformowała również, że nie wykrywa typowych wzorców sztucznej inteligencji w tekście, co było ulgą. Nie podobały mi się jednak fałszywe flagi. Grammarly jest również drogie – kosztuje 30 dolarów miesięcznie przy płatności miesięcznej.

Mój trik, polegający na poproszeniu ChatGPT o napisanie listu motywacyjnego, aby uniknąć wykrycia, zadziałał idealnie – Grammarly odpowiedziało: „Twój dokument nie pasuje do niczego w naszych odniesieniach ani nie zawiera typowych wzorców tekstu AI”.

To była całkowita nieprawda, ponieważ tekst został w całości wygenerowany przez sztuczną inteligencję. Ten sam rezultat wystąpił, gdy przesłałem artykuł, który w 50% był mojego autorstwa, a w 50% autorstwa sztucznej inteligencji – stwierdził, że został on w całości wygenerowany przez człowieka. Dlatego, biorąc pod uwagę ograniczoną skuteczność narzędzia w wykrywaniu tekstu generowanego przez sztuczną inteligencję, użytkownicy powinni zachować ostrożność i stosować inne strategie niż Grammarly, aby weryfikować oryginalność swoich treści.

4. AI Winstona

Winston AI to potężna, w pełni funkcjonalna aplikacja, pod wieloma względami bardzo podobna do Originality.AI. Kiedy analizowałem przykładowy rozdział mojej książki, przyznałem Winston AI ocenę „ludzki” na poziomie 96%, co jest całkiem uczciwą oceną.

Niestety, podobnie jak Grammarly, system oznaczył fragmenty, które miały tylko 50% szans na napisanie przez człowieka. W środkowej części Winston AI ocenił dwa całe akapity jako w 100% napisane przez sztuczną inteligencję, mimo że tak nie było.

Przetestowałem plan Essential firmy Winston AI, który kosztuje 18 USD miesięcznie, ale nie wykrywa plagiatu; w przypadku płatności rocznej kosztuje 12 USD miesięcznie.

Jeśli chodzi o list motywacyjny, Winston AI wykazał się dużą dokładnością. System zaklasyfikował tekst jako w 100% napisany przez sztuczną inteligencję, chociaż wskazał, że druga połowa listu mogła zostać wygenerowana przez człowieka (co sugeruje 48% prawdopodobieństwo, że został on wygenerowany przez człowieka).

Na szczęście Winston AI poprawnie sklasyfikował również mój esej, wskazując na 46% prawdopodobieństwo, że został on wygenerowany przez człowieka. Aplikacja zidentyfikowała środkową część napisaną w całości przez AI, ale pominęła część końcową (która również została wygenerowana przez AI).

5. Najmniej skuteczny: Monika

Monica to moje najmniej ulubione narzędzie do wykrywania tekstów generowanych przez sztuczną inteligencję, głównie ze względu na swoją wielofunkcyjność, a wykrywanie przez AI to tylko jedna z wielu funkcji. W rzeczywistości Monica opiera się na Copyleaks w procesie wykrywania.

W rozdziale książki Monica zaklasyfikowała mój skrypt testowy jako w 99% przypominający człowieka, podobny do GPTZero i ZeroGPT, ale nie udzieliła żadnych dodatkowych wskazówek ani informacji zwrotnych dotyczących poszczególnych sekcji. Ten brak szczegółów zmniejsza jego użyteczność jako narzędzia do dogłębnej analizy.

Z kolei Monica była w stanie poprawnie rozpoznać list motywacyjny napisany w całości przez sztuczną inteligencję ze 100% dokładnością. Nie jest to zaskakujące, ponieważ GPTZero dostarczyło ten sam wynik, a Monica korzysta z tej samej aplikacji.

Monica miała poważne trudności z wykryciem mojego artykułu, który w 50% został napisany przez człowieka, a w 50% przez sztuczną inteligencję. Oprogramowanie ustaliło, że artykuł został napisany w 100% przez człowieka, ale nie zidentyfikowało drugiej połowy, która została wygenerowana przez sztuczną inteligencję. Ten poważny błąd stawia pod znakiem zapytania dokładność Moniki w analizie tekstów mieszanych.