Wdrażanie sztucznej inteligencji w organizacjach: co ujawniają fakty dotyczące jej wykorzystania.

Wiele publicznych dyskusji na temat sztucznej inteligencji wciąż koncentruje się wokół rankingów: który model zajmuje najwyższą pozycję, który dostawca jest „zwycięzcą” i który wynik benchmarku jest najważniejszy. Jednak dla organizacji, które faktycznie tworzą i wdrażają rozwiązania AI, pytania te stają się mniej istotne niż zrozumienie, jak AI jest wykorzystywana w rzeczywistych sytuacjach.

Jednym z powodów są rosnące kontrowersje wokół koncepcji „tokenmaxxing” – praktyki mającej na celu maksymalizację wykorzystania sztucznej inteligencji, często napędzanej wewnętrznymi celami adopcyjnymi, zachętami lub konkurencją opartą na rankingach.

Jednak skupienie się na konsumpcji tokenów może zachęcać do podejmowania działań dla samych działań, zamiast mierzyć rzeczywistą wartość komercyjną, jaką oferuje sztuczna inteligencja.

Niedawne przykłady, w tym doniesienia o zamknięciu przez Amazon wewnętrznego rankingu sztucznej inteligencji i nałożeniu przez Ubera ograniczeń na wydatki pracowników na sztuczną inteligencję po szybkim wyczerpaniu rocznego budżetu, podkreślają ryzyko związane z traktowaniem wykorzystania sztucznej inteligencji jako podstawowego miernika sukcesu.

Jednak najnowsze dane sugerują bardziej zniuansowany obraz. Według lipcowych danych AI Gateway firmy Vercel, wolumen tokenów wzrósł w czerwcu o 29%, a wydatki o 27%, przy czym średnia cena tokena pozostała stabilna. Zamiast po prostu korzystać ze sztucznej inteligencji, organizacje coraz bardziej świadomie decydują, gdzie wdrażać różne modele i jak zrównoważyć koszty i wydajność.

Zespoły tworzące prawdziwe systemy AI coraz częściej przechodzą na dynamiczne kierowanie zadań w wielu modelach, w zależności od kosztów, niezawodności i możliwości wnioskowania. Na przykład, model o niskim koszcie może być przydatny do podsumowywania zadań, podczas gdy model o wysokiej wydajności jest zarezerwowany dla decyzji o wysokim ryzyku.

W praktyce sztuczna inteligencja polega raczej na koordynowaniu warstw w wielu modelach niż na budowaniu systemów wokół jednego dostawcy.

Najnowsze dane AI Gateway pokazują, że organizacje dystrybuują obciążenia w różnych kategoriach modeli, zamiast polegać na jednym dostawcy. Modele o otwartej wadze obsługują obecnie 29% tokenów bramkowych, generując jednocześnie mniej niż 4% wydatków, podczas gdy modele graniczne nadal dominują w obciążeniach wnioskowania o wyższej wartości.

Zamiast stosować podejście uniwersalne, organizacje wybierają różne modele w zależności od realizowanego zadania.

Przekroczenie szczytów list przebojów

Na wczesnych etapach wdrażania sztucznej inteligencji w firmach zespoły były zachęcane do agresywnego eksperymentowania, tworzenia prototypów i eksplorowania nowych przypadków użycia. To pomogło przyspieszyć adopcję, która wymaga przejścia sztucznej inteligencji z etapu eksperymentalnego do praktycznego zastosowania, ale jednocześnie stworzyło uproszczone założenie: więcej sztucznej inteligencji automatycznie oznacza większą wartość.

Wolumen i wydatki na tokeny wzrosły w czerwcu o około 30%, jednak średnia cena tokena pozostała stabilna. Organizacje nadal intensywnie inwestują w sztuczną inteligencję, ale coraz bardziej strategicznie rozdzielają obciążenia między modelami niskokosztowymi i premium.

Ten schemat odzwierciedla wcześniejsze zmiany technologiczne, takie jak wczesna era przetwarzania w chmurze, kiedy firmy agresywnie się rozwijały, zanim poprawiły wydajność. Wdrażanie sztucznej inteligencji podąża podobną trajektorią, ale w znacznie szybszym tempie.

Dla zespołów AI najprzydatniejszym wskaźnikiem AI nie są koszty, ale wyniki, które stanowią podstawę sukcesu . Przepływ pracy, który może zautomatyzować tygodnie pracy inżynierskiej, może być znacznie bardziej wydajny niż tańszy przepływ pracy, który generuje niepewne wyniki i generuje późniejsze koszty operacyjne przewyższające początkowe oszczędności.

Pytanie nie brzmi, jak mało sztucznej inteligencji zespół jest w stanie wykorzystać, ale jak skutecznie można ją wdrożyć do rozwiązywania istotnych problemów.

Sztuczna inteligencja zmienia obciążenia pracą

Tradycyjne chatboty działają w oparciu o stosunkowo proste przepływy pracy: wprowadzają polecenie i otrzymują odpowiedź. Systemy agentów, które reprezentują inteligentniejszych agentów AI , zachowują się zupełnie inaczej.

Agenci AI myślą, korzystają z narzędzi, wykonują kod, pobierają informacje, przeszukują bazy danych i powtarzają operacje w wielu krokach przed ukończeniem zadania. Każda z tych czynności zużywa tokeny.

W rezultacie obciążenia AI stają się coraz bardziej zależne od agentów. Pojedyncze żądanie może teraz obejmować łańcuchy wywołań narzędzi, pętle walidacyjne i zmiany dostawców zachodzące w tle, co całkowicie zmienia ekonomię.

Agenci zaplecza to najdroższe tokeny w przeliczeniu na portal, stanowiące 5% całkowitej liczby tokenów, ale 14% całkowitych wydatków. Bardziej złożone i wrażliwe biznesowo zadania wymagają większej inferencji niż prostsze zadania AI.

Oznacza to, że zwiększone wykorzystanie nie zawsze jest wskaźnikiem nieefektywności. W wielu przypadkach odzwierciedla rosnącą złożoność i możliwości samych systemów AI.

Infrastruktura jako czynnik różnicujący

Ponieważ organizacje coraz częściej polegają na wielu modelach sztucznej inteligencji i dostawcach usług, utrzymanie niezawodności staje się coraz bardziej złożonym zadaniem.

Zadania wnioskowania, przepływy pracy z wieloma agentami i złożone łańcuchy koordynacji mogą stanowić znaczne obciążenie dla dostawców modeli. Jeśli jeden model ulegnie awarii w trakcie wykonywania, cały przepływ pracy może się załamać.

W rezultacie routing awaryjny stał się podstawową infrastrukturą AI w środowiskach produkcyjnych. Raport Vercel AI Gateway z maja ujawnił, że około 3.5% żądań wymaga zmiany trasy z powodu awarii, przekroczenia limitu czasu lub problemów z ustaleniem szybkości transmisji.

Bez dynamicznego routingu między dostawcami usług, żądania te po prostu zawiodą. A dla użytkowników końcowych niestabilność dostawcy usług jest niewidoczna; nie interesuje ich źródło problemu, a jedynie to, czy aplikacja nadal działa.

W miarę jak systemy sztucznej inteligencji stają się coraz bardziej zdolne do działania jako niezależni agenci, elastyczność i koordynacja stają się równie ważne jak możliwości samego modelu, co podkreśla wagę przesunięcia SI w kierunku inteligentniejszych agentów.

Koniec ery jednego modelu

Strategie polegające na korzystaniu z usług jednego dostawcy stały się trudne do utrzymania. Nowe modele są stale wprowadzane na rynek, ceny zmieniają się dynamicznie, a różne modele charakteryzują się wysoką wydajnością w zależności od rodzaju zadania.

Najlepszy dziś model programowania może nie być najlepszy w przypadku zadań związanych z wyszukiwaniem informacji, obsługą klienta lub procesami wnioskowania w przyszłości.

Nie chodzi o to, by wybrać jeden model, który będzie jedynym zwycięzcą. Chodzi o budowanie systemów AI zdolnych do adaptacji i wchłaniania najlepszego modelu w danym tygodniu, ponieważ te preferencje szybko się zmieniają i będą się zmieniać nadal.

Zespoły traktujące formatowanie wielomodelowe jako infrastrukturę nie będą musiały przebudowywać swoich systemów podczas wprowadzania nowego modelu.