DeepSeek przygotowuje się do kolejnej rewolucji w dziedzinie sztucznej inteligencji, wykorzystując samodoskonalące się modele.

Zaledwie kilka miesięcy temu, inwestycja Wall Street w generatywną sztuczną inteligencję (AI) stanęła w obliczu przełomu, gdy na scenę wkroczył DeepSeek . Pomimo silnej cenzury, podejście DeepSeek oparte na otwartym kodzie źródłowym dowiodło, że wiodący model inferencyjnej AI niekoniecznie wymaga miliardów dolarów i można go osiągnąć przy skromnych zasobach. To stanowi istotną zmianę w naszym rozumieniu tworzenia zaawansowanych modeli AI.

Szybko została wdrożona komercyjnie przez gigantów, takich jak Huawei, Oppo i Vivo, a firmy takie jak Microsoft, Alibaba i Tencent szybko zapewniły jej miejsce na swoich platformach. Teraz kolejnym celem tej popularnej chińskiej firmy są samodoskonalące się modele sztucznej inteligencji, które wykorzystują podejście „pętli nagrody” do samodoskonalenia. Ten trend odzwierciedla ciągłe dążenie firm do tworzenia bardziej wydajnych i efektywnych systemów sztucznej inteligencji.

W preprintcie (za pośrednictwem Bloomberga ) naukowcy z DeepSeek i chińskiego Uniwersytetu Tsinghua opisują nowe podejście, które może uczynić modele sztucznej inteligencji inteligentniejszymi i wydajniejszymi poprzez samodoskonalenie. Technika leżąca u jego podstaw znana jest jako wstępna samokrytyka (SPCT), a podejście to jest technicznie znane jako generatywne modelowanie nagród (GRM). To podejście stanowi znaczący postęp w dziedzinie uczenia się sztucznej inteligencji z wykorzystaniem wzmocnienia.

Mówiąc najprościej, przypomina to tworzenie pętli sprzężenia zwrotnego w czasie rzeczywistym. Modele sztucznej inteligencji są zasadniczo optymalizowane poprzez skalowanie modelu w trakcie treningu. Wymaga to znacznych nakładów pracy ludzkiej i zasobów obliczeniowych. DeepSeek proponuje system, w którym główny „arbiter” tworzy własny zestaw krytycznych uwag i zasad dla modelu sztucznej inteligencji, przygotowując odpowiedź na zapytania użytkowników. To podejście ma na celu zmniejszenie zależności od intensywnych zasobów ludzkich w procesie treningu.

Ten zestaw krytyki i zasad jest następnie porównywany ze stałymi regułami leżącymi u podstaw modelu sztucznej inteligencji (AI) i pożądanym rezultatem. Jeśli stopień dopasowania jest wysoki, generowany jest sygnał nagrody, skutecznie kierujący AI do lepszych wyników w kolejnym cyklu. Ten ciągły proces oceny i nagradzania zwiększa zdolność modelu do uczenia się i adaptacji.

Eksperci, którzy opracowali ten artykuł badawczy , nazywają ten samooptymalizujący się model sztucznej inteligencji nowej generacji DeepSeek-GRM. Testy porównawcze wymienione w artykule wskazują, że modele te przewyższają Gemini firmy Google, Llama firmy Meta i GPT-4o firmy OpenAI. DeepSeek twierdzi, że te modele sztucznej inteligencji nowej generacji zostaną udostępnione za pośrednictwem kanału open source. To zobowiązanie do otwartości może przyspieszyć tempo innowacji w dziedzinie sztucznej inteligencji.

Samodoskonaląca się sztuczna inteligencja: czy to możliwe?

Idea samodoskonalącej się sztucznej inteligencji wywołała ambitne i kontrowersyjne dyskusje. Były prezes Google, Eric Schmidt, stwierdził, że możemy potrzebować „wyłącznika” dla takich systemów. Magazyn Fortune zacytował Schmidta: „Kiedy system potrafi się samodoskonalić, powinniśmy poważnie rozważyć jego odłączenie”. Samodoskonalące się systemy AI są uważane za jedno z najważniejszych osiągnięć w dziedzinie AI.

Koncepcja samodoskonalącej się sztucznej inteligencji nie jest zupełnie nowa. Idea superinteligentnej maszyny, zdolnej do tworzenia lepszych maszyn, narodziła się w 1965 roku, gdy matematyk I. J. Goode stworzył ją sam. W 2007 roku ekspert ds. sztucznej inteligencji Eliezer Yudkowski przedstawił teorię na temat Seed AI , sztucznej inteligencji „zaprojektowanej z myślą o samorozumieniu, samomodyfikacji i iteracyjnym samodoskonaleniu”.

W 2024 roku japońska firma Sakana AI przedstawiła szczegóły swojej koncepcji „świata AI” – systemu zdolnego do nawigacji po całej linii produkcyjnej artykułu badawczego, od początku do końca. W artykule opublikowanym w marcu tego roku eksperci Meta ujawnili samonagradzające się modele językowe, w których sama sztuczna inteligencja pełni rolę sędziego, przyznając nagrody podczas szkolenia. Ten krok w kierunku samouczących się systemów AI stanowi znaczący krok naprzód w rozwoju sztucznej inteligencji.

Dyrektor generalny Microsoftu, Satya Nadella, twierdzi, że rozwój sztucznej inteligencji jest optymalizowany przez model o1 firmy OpenAI i wszedł w fazę rekurencyjną: „wykorzystujemy sztuczną inteligencję do tworzenia narzędzi sztucznej inteligencji, które pozwolą nam tworzyć lepszą sztuczną inteligencję” pic.twitter.com/IHuFIpQl2C

— Tsarathustra (@tsarnick) 21 października 2024 r

Wewnętrzne testy przeprowadzone przez Meta na modelu sztucznej inteligencji Llama 2, wykorzystujące innowacyjną technologię samonagradzania, wykazały, że przewyższa on konkurencję, taką jak Claude 2 firmy Anthropic, Gemini Pro firmy Google i modele GPT-4 firmy OpenAI. Wspierana przez Amazon firma Anthropic ujawniła szczegóły dotyczące tego, co określiła mianem manipulacji nagrodami – nieoczekiwanego procesu, „w którym model bezpośrednio modyfikuje swój własny mechanizm nagradzania”.

Google nie pozostaje daleko w tyle w tym pomyśle. W badaniu opublikowanym w czasopiśmie Nature na początku tego miesiąca, eksperci Google DeepMind zaprezentowali algorytm sztucznej inteligencji o nazwie Dreamer, który potrafi się samodoskonalić, wykorzystując Minecraft jako przykład praktyczny.

Eksperci IBM pracują nad własnym podejściem zwanym indukcyjnym treningiem domknięcia, w którym model sztucznej inteligencji wykorzystuje własne odpowiedzi i porównuje je z danymi treningowymi, aby się udoskonalić. Jednak całe założenie nie jest do końca pozytywne.

Badania sugerują, że gdy modele sztucznej inteligencji próbują trenować się na samodzielnie generowanych danych syntetycznych, napotykają błędy, potocznie zwane „awariami modeli”. Ciekawe będzie, jak DeepSeek wdroży tę ideę i czy uda mu się to zrobić bardziej ekonomicznie niż jego zachodni konkurenci.