Aplikacja HuggingSnap AI: zobacz świat przez kamerę swojego telefonu

Abstrakcyjny:

• Hugging Face wprowadził na rynek HuggingSnap, aplikację na iOS, która potrafi analizować i opisywać to, co widzi kamera Twojego iPhone'a.
• Aplikacja działa w trybie offline i nigdy nie wysyła danych do chmury.
• HuggingSnap nie jest idealny, ale pokazuje, co można zrobić na tym urządzeniu.

Dawanie sztucznej inteligencji możliwości „widzenia” staje się coraz powszechniejsze wraz z pojawieniem się narzędzi takich jak ChatGPT, Microsoft Copilot i Google Gemini, które rozszerzają możliwości sztucznej inteligencji. Firma Hugging Face uruchomiła własną aplikację na iOS o nazwie HuggingSnap, która pozwala oglądać świat przez kamerę iPhone'a i opisywać to, co widzi, nawet bez połączenia z internetem. Aplikacja działa w trybie offline, dzięki czemu idealnie nadaje się do użytku w obszarach o słabym połączeniu internetowym.

Wyobraź sobie, że masz osobistego przewodnika, który wie, jak zachować ciszę. HuggingSnap działa całkowicie offline, wykorzystując wewnętrzny model widzenia Hugging Face, smolVLM2, co umożliwia natychmiastowe rozpoznawanie obiektów, opisywanie scen, czytanie tekstu i ogólne obserwacje otoczenia bez wysyłania danych w otchłań internetu.

Ta funkcja pracy w trybie offline sprawia, że ​​HuggingSnap jest szczególnie przydatny w sytuacjach, gdy łączność jest niestabilna. Czy wędrujesz po bezdrożach, podróżujesz za granicę bez stabilnego internetu, czy po prostu stoisz w alejce sklepu spożywczego, gdzie zasięg sieci komórkowej tajemniczo znika, ta funkcja w telefonie to prawdziwy skarb. Co więcej, aplikacja zapewnia, że ​​jest niezwykle wydajna, co oznacza, że ​​nie będzie rozładowywać baterii tak, jak robią to modele sztucznej inteligencji oparte na chmurze.

HuggingSnap patrzy na mój świat

Postanowiłem wypróbować aplikację HuggingSnap. Najpierw skierowałem ją na ekran laptopa, mając otwartą przeglądarkę na moim CV z TechRadar. Początkowo aplikacja dobrze radziła sobie z transkrypcją tekstu i wyjaśnianiem tego, co widziała. Jednak zboczyła z tematu, gdy zobaczyła nagłówki i inne szczegóły dotyczące mojego CV. HuggingSnap uznał, że wzmianki o nowych chipach komputerowych w nagłówkach wskazują na to, co napędzało mojego laptopa, a niektóre z nazw w nagłówkach najwyraźniej odnosiły się do innych osób korzystających z mojego laptopa.

Następnie skierowałem kamerę na pokój zabaw mojego syna, pełen zabawek, których jeszcze nie posprzątałem. Ponownie, sztuczna inteligencja świetnie poradziła sobie z ogólnym opisem obszaru zabaw i znajdujących się w nim zabawek. Poprawnie rozpoznawała kolory, a nawet faktury, odróżniając pluszaki od klocków. Ale zdarzało jej się też mylić w niektórych szczegółach. Na przykład opisała pluszowego misia jako psa, a pierścień do układania klocków zdawał się mylić z piłką. Ogólnie rzecz biorąc, HuggingSnap sprawdziłby się w opisaniu sytuacji znajomemu, ale nie na tyle dobrze, żeby zgłosić to na policję.

Spójrz w przyszłość

Rozwiązanie HuggingSnap na urządzeniu wyróżnia go na tle wbudowanych funkcji iPhone'a. Chociaż urządzenie potrafi identyfikować gatunki roślin, transkrybować tekst ze zdjęć i podpowiadać, czy pająk na ścianie to ten, który powinien skłonić Cię do poruszania się, zawsze wysyła pewne informacje do chmury.

HuggingSnap wyróżnia się w świecie, w którym większość aplikacji stara się śledzić niemal wszystko, co Cię dotyczy. Apple intensywnie inwestuje jednak w technologie sztucznej inteligencji (AI) przeznaczone dla przyszłych iPhone'ów. Na razie jednak, jeśli zależy Ci na prywatności i widoczności dzięki AI, HuggingSnap może być dla Ciebie idealnym rozwiązaniem.