Pamiętam, kiedy się pojawił ChatGPT Po raz pierwszy pierwszą rzeczą, którą wszyscy zaczęli mówić, było: „Pisarze są skończeni”. Ludzie zaczęli spekulować, że strony informacyjne, blogi i praktycznie cała treść pisana w internecie będzie generowana przez sztuczną inteligencję – i chociaż te przewidywania wydawały mi się ekstremalne, byłem pod wrażeniem tekstu, jaki potrafiła wygenerować GPT.
Oczywiście musiałem wypróbować to niesamowite nowe narzędzie samodzielnie, ale szybko odkryłem, że rezultaty nie były tak imponujące, jak się wydawało. Po ponad dwóch latach, jeśli chodzi o moje doświadczenie i przypadki użycia, nic się nie zmieniło: za każdym razem, gdy korzystam z ChatGPT, aby pomóc mi w pisaniu, to tylko mnie to spowalnia i frustruje. W rzeczywistości zauważyłem, że korzystanie z narzędzi takich jak ChatGPT do profesjonalnego pisania często prowadzi do rezultatów poniżej standardów, zwłaszcza jeśli chodzi o dokładność i styl.
Dlaczego ChatGPT u mnie nie działa?
ChatGPT potrafi generować naprawdę dobre treści. Potrafi pisać w sposób naturalny, spójny, a nawet inteligentny i interesujący. Jednak większość popularnych przykładów pochodzi z bardzo prostych podpowiedzi – w stylu „napisz wiersz o zakupach w Walmarcie, ale w stylu Williama Szekspira”, które wszyscy stosowali w 2023 roku. Jednak w przypadku złożonych zadań lub specyficznych wymagań, ChatGPT często wykazuje ograniczenia w rozumieniu kontekstu i udzielaniu trafnych i trafnych odpowiedzi. Ta wada sprawia, że jest nieskuteczny w sytuacjach wymagających dogłębnej analizy lub specjalistycznej kreatywności.
Przykro mi, ale po prostu nie mogę podchodzić cynicznie do technologii, która jest w stanie to osiągnąć. pic.twitter.com/yjlY72eZ0m
— Thomas H. Ptacek (@tqbf) December 2, 2022
Kiedy prosisz o coś takiego, rezultat jest wspaniały, ponieważ jest nieoczekiwany. W gruncie rzeczy prosisz o to, żeby cię zaskoczyło, i w większości przypadków tak się stanie.
Z drugiej strony, gdy próbujesz użyć ChatGPT do nudnego pisania, to zupełnie inna sprawa. Przede wszystkim, w przypadku artykułów takich jak ten, jest bezużyteczny. Wszystko, co teraz piszę, opiera się na moich własnych doświadczeniach i opiniach – sztuczna inteligencja nie napisze tego za mnie. Niektórzy mogliby twierdzić, że może pomóc w planowaniu, burzy mózgów czy dopracowywaniu argumentów – ale ja i tak nigdy nie chciałem pomocy w takich sprawach.
Rodzaj pracy, w której faktycznie próbowałem używać ChatGPT, to blogi korporacyjne. Znasz ten typ – artykuły wyjaśniające, poradniki i rekomendacje, które poruszają tematy związane z firmą i jej produktami (z subtelną autopromocją). Pisząc tego typu treści, często stawia się wiele wymagań: przewodnik po stylu dotyczący języka i gramatyki, słowa kluczowe do uwzględnienia, źródła do uwzględnienia i źródła, których należy unikać, a także szczegółowy plan treści z nagłówkami, strukturą i kluczowymi punktami już zdefiniowanymi.
Gdybym chciał wersję użytkową, nie mógłbym po prostu udostępnić GPT jednowierszowego monitu i pozwolić mu działać na żywioł. Wypróbowałem więc taką strukturę:
- Początkowy „kontekst” wyjaśniający, co piszę i o jakie rzeczy bym prosił, wraz z przykładowym akapitem pokazującym styl języka, jakiego oczekuję.
- Następne monity z „zarysem treści” zawierały jeden lub dwa nagłówki wraz z punktami określającymi, co należy omówić.
Nigdy nie prosiłbym go o zbyt wiele naraz, a ponieważ nie ufałem mu w kwestii dodawania statystyk i źródeł, zostawiłem to wszystko z zamiarem zrobienia tego samemu później.
Ale choć starałem się dzielić pracę na mniejsze części i dawać jasne instrukcje, zawsze napotykałem te same problemy:
- ChatGPT straszny W słuchaniu instrukcji.
- Ma zły nawyk popadania w skrajności.
- W tekście często pojawiają się nieprawdziwe lub nieistotne informacje.
- Jego „styl pisania” bardzo szybko staje się powtarzalny i banalny.
- Gdy wystąpi którykolwiek z powyższych problemów, niemal niemożliwe jest nakłonienie dużego modelu językowego (LLM) do pomyślnego przejrzenia lub skorygowania swoich wyników.
Pozwól, że wyjaśnię, co mam na myśli.
1. Słabość ChatGPT w rozumieniu szczegółowych instrukcji
Aby uzyskać dokładne i konkretne wyniki z ChatGPT, kluczowe staje się zapewnienie jasnych i szczegółowych instrukcji. Wydaje się jednak, że im więcej wymagań, tym większe prawdopodobieństwo, że model zignoruje niektóre z nich. Na przykład, monity mogą zawierać nagłówki, wypunktowania, wymaganą liczbę słów i instrukcje dotyczące formatowania, a dodatkowo chatbot musi pamiętać instrukcje dotyczące stylu od początku sesji. Próbowałem wielu różnych metod uproszczenia, ale zawsze uważałem, że ChatGPT nie jest w stanie obsłużyć tak wielu instrukcji.
W szczególności często miałem trudności z liczeniem słów i punktami. Model dużego języka (LLM) rzadko podawał mi żądaną liczbę słów (zazwyczaj znacznie mniej niż prosiłem) i nigdy nie zwracał uwagi na to, czy chcę otrzymać punkty, czy nie.
Czasami można to naprawić – na przykład, jeśli poprosiłeś o 200 słów z punktami, a otrzymałeś 300 słów bez nich, stosunkowo łatwo jest skrócić tekst o kilka słów i dodać punkty. Niestety, zawsze miałem wrażenie, że to ja mam najtrudniejsze do poprawienia błędy.
Gdy prosisz o 500 słów bez wypunktowania, a otrzymujesz 200 słów z wypunktowaniem, musisz wykonać większość pracy samodzielnie. Wymaga to obszernych przeformułowań i znacznego wysiłku, co zmniejsza skuteczność ChatGPT w takich przypadkach.
2. Tendencja do przesady: problem z ChatGPT
Kiedy prosisz ChatGPT o wykonanie czegoś konkretnego, na przykład użycie przyjaznego języka lub drugiej osoby, program ma tendencję do kurczowego trzymania się tych koncepcji i zauważalnego ich nadużywania. To nadużywanie jest jednym z najbardziej widocznych Wady ChatGPT.
Przyjazny język przeradza się w pełnowymiarową rozmowę tekstową z emoji, a narracja w drugiej osobie w jakiś sposób przeradza się w pytania i nadmierne odwoływanie się do czytelnika, z zamiarem jak najczęstszego używania zaimka „ty”. To jeden z Wyzwania ChatGPT W zrozumieniu kontekstu.
Napotkasz również trudności, jeśli potrzebujesz dużej liczby przykładów lub cytatów. Jeśli po prostu poprosisz GPT o „dużo” lub „wiele” czegoś, prawdopodobnie otrzymasz dwu- lub trzykrotnie więcej. Jeśli podasz konkretną liczbę, prawdopodobnie całkowicie ją zignoruje i poda losowo wybrany fragment. Innymi słowy, ledwo możesz kontrolować wynik. Ten problem z kontrolą wyników jest uważany za… Słabość w ChatGPT Trzeba się tym zająć.
3. Do tekstu często wkradają się informacje nieprawdziwe lub nieistotne.
Wszyscy wiemy, że sztuczna inteligencja „ma halucynacje” i czasami losowo popełnia błędy w informacjach – zdarza się to na tyle często, że trzeba dwukrotnie sprawdzić wszystko, co mówi, co jest czasochłonne i wpływa na ilość czasu, jaką można zaoszczędzić, korzystając z niej. „Ma halucynacje” to jedno z największych wyzwań, przed którymi stoi jej wykorzystanie w tworzeniu treści.
Aby temu zaradzić, zasadniczo nie pytałem o fakty ani liczby. Próbowałem na początku kilka razy, ale proces weryfikacji faktów był już żmudny i wkrótce przestało mnie to obchodzić.
Problem polega na tym, że GPT będzie losowo wprowadzać nieścisłości do swoich odpowiedzi, niezależnie od tego, czy poprosisz o fakty i liczby, czy nie. Oznacza to, że nie możesz po prostu sprawdzić, jak dobrze tekst się czyta lub czy jesteś zadowolony z jego argumentów – musisz zweryfikować i przeanalizować wszystko, co mówi. To niesamowicie irytujące. Walidacja informacji jest kluczowym elementem korzystania z dużych modeli językowych (LLM).
Skoro mowa tu o błędach i halucynacjach, to równie dobrze mogę wspomnieć o „najgorszych scenariuszach”. Czasami duży model językowy (LLM) wymyka się spod kontroli i choć nie zdarza się to za każdym razem, to kiedy już się zdarzy, trzeba przerwać sesję i poświęcić trochę czasu na wklejenie komunikatów do nowego czatu i rozpoczęcie od nowa. Nigdy osobiście nie widziałem, żeby ChatGPT oszalał w jakiś szczególnie zabawny sposób, ale mój znajomy miał kiedyś taką perełkę:
4. Styl pisania ChatGPT: powtarzalny i szybko banalny
Na początku może się wydawać, że ChatGPT brzmi „ludzko”. Ale z czasem, gdy będziesz go używać coraz częściej, zdasz sobie sprawę, że nie brzmi on po prostu jak człowiek, ale jak „normalni ludzie”.
Zbiory danych OpenAI obejmują większość treści internetowych – miliony artykułów i fora osobiste na Reddicie. Z przykrością muszę stwierdzić, że wiele z tych treści to po prostu śmieci. Jednak dzięki temu, że ChatGPT został na nich wytrenowany, wychwytuje wszystkie najczęstsze złe nawyki.
Generując dużo tekstu za pomocą ChatGPT, zauważysz, że niektóre struktury zdań i fraz stają się bardzo powtarzalne. Dla mnie dwoma najgorszymi przykładami były następujące struktury zdań:
- „Od A i B do C i D itd. itd. itd.” (Przykład: W świecie TikToka jest miejsce dla każdego – od entuzjastów majsterkowania i ekspertów od urody, po miłośników zwierząt i nauczycieli.)
- „Niezależnie od tego, czy jesteś A czy B, itd. itd. itd.” (Przykład: Niezależnie od tego, czy dopiero zaczynasz, czy chcesz rozwijać się dalej, kluczem do wyróżnienia się jest stosowanie inteligentnych strategii budowania prawdziwego zaangażowania.)
ChatGPT tak bardzo lubi te dwie struktury zdaniowe, że byłem niemal pewien, że w każdej sesji pojawi się ich trzy lub cztery. Te dwa przykłady pochodzą nawet z tego samego akapitu w jednej z odpowiedzi. Fraza „W świecie…” w pierwszym przykładzie to kolejny sposób, w jaki ChatGPT lubi rozpoczynać zdanie. To wszystko jest nudne, banalne i absurdalnie nadużywane (co jest oczywiście głównym powodem, dla którego ChatGPT generuje je tak często). Próbowałem nawet wyraźnie zakazać niektórych fraz i typów zdań, rozpoczynając każde polecenie od tej krótkiej listy:
Mówi się, że w dzisiejszych czasach niemal niemożliwe jest odróżnienie tekstu generowanego przez sztuczną inteligencję od tekstu napisanego przez ludzi – ale ja się z tym nie zgadzam. Jeśli spróbujesz sam korzystać z tych narzędzi sztucznej inteligencji i doświadczysz wszystkich pułapek i złych nawyków, rozpoznasz wiele charakterystycznych oznak. Kiedy ludzie mieszają treści generowane przez sztuczną inteligencję z tekstem pisanym przez ludzi i mocno edytują większość danych wyjściowych ChatGPT, można je całkowicie ukryć. Ale treści, które pochodzą bezpośrednio z modelu językowego i zostały opublikowane praktycznie w obecnej formie – można to rozpoznać. Można to zrobić całkiem łatwo.
5. Trudności w skutecznym debugowaniu lub modyfikowaniu wyników dużych modeli językowych (LLM).
Prawdziwym wyzwaniem jest to, że ChatGPT rzadko jest w stanie samodzielnie rozwiązać problemy. Gdy coś pójdzie nie tak, próby wyjaśnienia problemu i prośby o ponowne sprawdzenie często kończą się fiaskiem.
Na przykład, gdy pojawia się prośba o modyfikację liczby słów, często otrzymuje się tę samą liczbę. Gdy pojawia się prośba o usunięcie kropek, podkreśla się implementację, a następnie oferuje się plus. Gdy pojawia się prośba o modyfikację tonu lub stylu, trudno jest wdrożyć zmianę kompleksowo, co skutkuje niespójnym miksem.
Rozwiązaniem może być powtarzanie poleceń i tworzenie odpowiedzi ChatGPT na nowo, aż do uzyskania niemal idealnego rezultatu. Jednak dla autorów korzystanie z ChatGPT zmusza ich do przyjęcia roli redaktora.
Może to nie być problemem dla każdego – wielu pisarzy dokonuje pewnych korekt w ramach swojej pracy – ale innym to przeszkadza. Myśl o edytowaniu cudzych prac lub wyników GPT jest niemile widziana.
Jeśli chodzi o częstotliwość występowania błędów, to podczas każdej sesji trwającej wiele godzin i obejmującej ponad 30 podpowiedzi, zawsze istnieje możliwość napotkania jakiejś przeszkody.
Wynik: Poddałem się.
Przez miesiące próbowałem nauczyć się korzystać z ChatGPT w 2023 roku i wróciłem do niego po dużych aktualizacjach w ciągu kolejnych dwóch lat – ale moje doświadczenie się nie zmieniło. Wypróbowałem również inne modele dużych języków (LLM), ale nawet nowsze modele, które wykorzystują „wnioskowanie” i wywołują monolog wewnętrzny przed udzieleniem odpowiedzi, wciąż borykają się z tymi samymi problemami z użytecznością.
Aktualne modele LLM Nie przyspiesza mi to procesu pisania – po prostu zmusza mnie do robienia tego, czego nienawidzę, zamiast tego, co sprawia mi przyjemność. Jeśli nienawidzisz pisać i nigdy nie chcesz tego robić, ChatGPT zdecydowanie może Ci pomóc. Ale jeśli pisanie jest dla Ciebie hobby lub czymś, czym chcesz się zajmować zawodowo, prawdopodobnie doprowadzi Cię to do szaleństwa.
Ostatecznie nigdy nie opublikowałem niczego, co można by nazwać „wygenerowanym przez sztuczną inteligencję”. Za każdym razem, gdy próbowałem, jak to się mówi, „zintegrować to z moim procesem pracy”, kończyło się to biciem głową w mur, marnowaniem czasu, a potem zamykaniem programu, gdy zdawałem sobie sprawę, że niczego nie osiągnąłem, a termin zbliżał się wielkimi krokami.
Możliwość dodawania komentarzy nie jest dostępna.