OpenAI odpowiada na konkurencję DeepSeek szczegółową technologią śledzenia myśli dla o3-mini

OpenAI ujawnia teraz więcej szczegółów na temat procesu rozumowania w swoim najnowszym modelu myślenia, o3-mini. Zmiana ta została ogłoszona 10 czerwca. Konto OpenAI na platformie XDzieje się tak w czasie, gdy laboratorium sztucznej inteligencji zmaga się z rosnącą presją ze strony DeepSeek-R1, konkurencyjnego modelu open source, który wyświetla cały swój kod myślowy.

Modele takie jak o3 i R1 przechodzą przez długi proces „łańcucha myślowego” (CoT), w którym generują dodatkowy kod, aby rozłożyć problem na czynniki pierwsze, rozważyć i przetestować różne odpowiedzi, a następnie znaleźć ostateczne rozwiązanie. Wcześniej modele wnioskowania OpenAI ukrywały swój łańcuch myślowy, zapewniając jedynie ogólny przegląd kroków wnioskowania. Utrudniało to użytkownikom i programistom zrozumienie logiki wnioskowania modelu oraz modyfikowanie instrukcji i podpowiedzi, aby pokierować go we właściwym kierunku. 

OpenAI uznało proces myślowy za przewagę konkurencyjną i ukryło go, aby uniemożliwić konkurentom kopiowanie go do trenowania swoich modeli. Jednak gdy R1 i inne modele open source ujawniły pełny proces myślowy, ten brak przejrzystości stał się wadą OpenAI.

Nowa wersja o3-mini prezentuje bardziej szczegółową wersję procesu myślowego. Chociaż nadal nie widzimy początkowych symboli, zapewnia ona większą przejrzystość procesu myślowego.

Dlaczego jest to ważne dla aplikacji?

W naszych poprzednich eksperymentach z modelami O1 i R1 odkryliśmy, że model O1 radził sobie nieco lepiej z rozwiązywaniem problemów z analizą danych i wnioskowaniem. Jednak głównym ograniczeniem był brak możliwości ustalenia, dlaczego model popełniał błędy – często popełniał je w obliczu chaotycznych danych rzeczywistych pobranych z internetu. Z drugiej strony, proces myślowy modelu R1 pozwolił nam rozwiązywać problemy i modyfikować nasze podpowiedzi w celu usprawnienia wnioskowania.

Na przykład, w jednym z naszych eksperymentów, oba modele nie dostarczyły poprawnej odpowiedzi. Jednak dzięki szczegółowemu procesowi myślowemu R1, udało nam się odkryć, że problem nie tkwił w samym modelu, ale w etapie wyszukiwania, który gromadził informacje z sieci. W innych eksperymentach proces myślowy R1 ​​był w stanie dostarczyć nam wskazówek, gdy nie udało mu się przeanalizować dostarczonych przez nas informacji, podczas gdy O1 dał nam bardzo ogólny obraz tego, jak może sformułować swoją odpowiedź.

Przetestowaliśmy nowy model o3-mini w wariancie poprzedniego eksperymentu, który przeprowadziliśmy z o1. Do modelu wprowadziliśmy plik tekstowy zawierający różne ceny akcji z okresu od stycznia 2024 do stycznia 2025 roku. Plik był chaotyczny i niesformatowany – zawierał zarówno zwykły tekst, jak i elementy HTML. Następnie poprosiliśmy model o obliczenie wartości portfela zainwestowanego w akcje Magnificent 7 o wartości 140 dolarów pierwszego dnia każdego miesiąca od stycznia 2024 do stycznia 2025 roku, równomiernie rozłożonej na wszystkie akcje (w poleceniu użyliśmy terminu „Magnificent 7”, aby utrudnić zadanie).

Tym razem proces myślowy w o3-mini okazał się naprawdę pomocny. Najpierw model zastanowił się nad tym, czym jest Mag 7, przefiltrował dane, aby zachować tylko istotne akcje (aby utrudnić zadanie, dodaliśmy do danych akcje spoza Mag 7), obliczył miesięczną kwotę inwestycji dla każdej akcji i wykonał końcowe obliczenia, aby uzyskać poprawną odpowiedź (wartość portfela w ostatnim zarejestrowanym momencie w danych, którymi zasilaliśmy model, wynosiła około 2200 dolarów).

Określenie ograniczeń nowego algorytmu będzie wymagało dalszych testów, ponieważ OpenAI wciąż utrzymuje wiele szczegółów w tajemnicy. Jednak nasze wstępne testy wykazały, że nowy format wydaje się bardziej użyteczny.

Co to oznacza dla OpenAI?

Kiedy DeepSeek-R1 został wydany, miał trzy wyraźne zalety w stosunku do modeli wnioskowania OpenAI: był oprogramowaniem typu open source, niedrogim i przejrzystym.

Od tego czasu OpenAI udało się zniwelować tę różnicę. Podczas gdy o1 kosztuje 60 dolarów za milion tokenów, o3-mini kosztuje zaledwie 4.40 dolara, przewyższając o1 w wielu testach porównawczych. R1 kosztuje około 7-8 dolarów za milion tokenów u dostawców w USA. (DeepSeek oferuje model R1 w cenie 2.19 dolara za milion tokenów na swoich serwerach, ale wiele organizacji nie będzie mogło z niego korzystać, ponieważ jest hostowany w Chinach).

Dzięki nowym zmianom w wynikach CoT, OpenAI udało się w pewnym stopniu pokonać problem przejrzystości.

Pozostaje pytanie, co OpenAI zrobi z udostępnieniem swoich modeli jako open source. Od momentu premiery R1 został już zaadaptowany, rozwidlony i hostowany przez wiele różnych laboratoriów i firm, co potencjalnie czyni go preferowanym modelem myślenia dla firm. Prezes OpenAI, Sam Altman, przyznał niedawno, że w debacie o open source stał po „złej stronie historii”. Zobaczymy, jak ta świadomość sprawdzi się w przyszłych wydaniach OpenAI.