Jak zainstalować najnowsze modele językowe (LLM) lokalnie na komputerze Mac

W ostatnich latach modele dużych języków (LLM) zyskały na popularności ze względu na możliwość generowania tekstu zbliżonego do ludzkiego i wspomagania różnych zadań. Nie wszystkie modele są dostępne w modelu open source, ale niemal każda duża firma technologiczna ma wersję, którą użytkownicy mogą pobrać i uruchomić.

Uruchamianie tych formularzy lokalnie na komputerze Mac może być korzystne zarówno ze względu na prywatność, jak i koszty. W tym artykule dowiesz się, jak zainstalować i uruchomić formularze LLM za pomocą Ollama , potężnego narzędzia dla programistów i początkujących użytkowników, a także omówimy narzędzia graficzne, które mogą uprościć ten proces dla tych, którzy nie chcą korzystać z terminala macOS.

W ten sposób możesz uzyskać dostęp do najnowszych szablonów tekstowych opartych na sztucznej inteligencji od firm [Google], [Microsoft], [Meta] i innych firm zajmujących się sztuczną inteligencją, takich jak [Mistral] i [DeepSeek].

Zrozumienie LLM: Co oznaczają parametry?

Zanim zagłębimy się w proces instalacji, wyjaśnijmy, co oznaczają liczby takie jak „ 7B ” lub „ 14B ” w odniesieniu do modeli LLM. Liczby te reprezentują rozmiar modelu pod względem parametrów (w miliardach), czyli w zasadzie „pokręteł i przełączników”, które są precyzyjnie dostrajane podczas treningu.

Większa liczba parametrów pozwala modelowi uchwycić bardziej złożone wzorce i relacje w języku, co potencjalnie prowadzi do lepszej wydajności. Należy jednak pamiętać, że większa liczba parametrów nie zawsze gwarantuje lepsze wyniki; jakość danych treningowych i zasoby obliczeniowe dostępne dla modelu również odgrywają istotną rolę.

Wymagania systemowe

Musisz się upewnić, że Twój [Mac] spełnia co najmniej następujące wymagania:

• macOS 10.15 lub nowszy (zalecany jest macOS 13 lub nowszy)
• Co najmniej 8 GB pamięci RAM (zalecane 16 GB lub więcej)
• 10 GB wolnej przestrzeni dyskowej (minimalne wymagania dla najmniejszych modeli; bardziej zaawansowane modele z maksymalną liczbą parametrów wymagają około 700 GB)
• Procesor wielordzeniowy [Intel] lub procesor [Apple Silicon] (preferowany M2 lub wyższy)

Zainstaluj Ollamę

Ollama to narzędzie open source, które pozwala uruchamiać programy LLM bezpośrednio na komputerze lokalnym. Oto jak zacząć:

1. Pobierz OllamęOdwiedź stronę internetową: Ollama Pobierz wersję na macOS. Możesz też użyć [Homebrew], aby ją zainstalować, uruchamiając brew install ollama W Twoim terminalu.

1. Zainstaluj OllamęJeśli pobrałeś instalator, kliknij go dwukrotnie i postępuj zgodnie z instrukcjami kreatora instalacji. Jeśli używasz Homebrew, przejdź do kroku 4.

1. Następnym krokiem instalatora jest po prostu kliknięcie przycisku. تثبيتZostaniesz poproszony o podanie hasła administratora.

1. Operacja OllamaOtwórz okno terminala i uruchom Ollamę jako usługę, używając polecenia brew services start ollamaDzięki temu Ollama będzie dostępna pod tym adresem http://localhost:11434/.
2. Pobierz i uruchom modelUżyj polecenia ollama pull <model-name> Aby pobrać szablon, należy użyć polecenia ollama run <model-name> Aby go uruchomić. Na przykład, aby uruchomić model DeepSeek-R1Użyj polecenia ollama pull deepseek-r1 Następuje zamówienie ollama run deepseek-r1.
3. Aby pobrać większą wersję szablonu, wystarczy dodać dwie pionowe kropki, a następnie rozmiar. Na przykład, aby pobrać szablon 14B Głębokie poszukiwanieUżyjesz polecenia ollama uruchom deepseek-r1:14bNa stronie Ollama możesz kliknąć dowolny formularz, aby wyświetlić wszystkie polecenia dla każdej wersji.

Pełną listę formularzy Ollama znajdziesz tutaj. Możesz również użyć drugiego polecenia, jak opisano powyżej; jeśli nie jest jeszcze zainstalowane, najpierw pobierze formularz, a następnie go uruchomi.

Teraz, gdy widzisz trzy strzałki skierowane w prawo (>>>), możesz zacząć wpisywać polecenia w formularzu.

To wszystko! Możesz teraz komunikować się lokalnie ze swoim absolwentem AI LLM bez obaw o koszty, nadużywanie czy możliwość czytania tego, co piszesz. To świetne rozwiązanie, jeśli masz jakieś drażliwe lub osobiste tematy, które chciałbyś omówić z absolwentem AI LLM, ale nie chcesz, żeby duża firma technologiczna czytała Twoje myśli.

Korzystanie z narzędzi graficznego interfejsu użytkownika w Ollama

Chociaż Ollama jest potężnym i wydajnym narzędziem dla programistów, niektórzy użytkownicy mogą preferować graficzny interfejs użytkownika (GUI) do interakcji z LLM-ami. Oto kilka narzędzi, które mogą zapewnić interfejs graficzny dla Ollama:

• • • Interfejs graficzny OllamaTo darmowa i otwarta aplikacja dla użytkowników systemu macOS, stworzona w oparciu o SwiftUI. Oferuje ona elegancki interfejs i stanowi doskonałą opcję dla osób, które chcą uzyskać dostęp do formularzy LLM lokalnie, bez użycia terminala.
    • Interfejs użytkownika OllamaProsty, oparty na HTML-u internetowy interfejs użytkownika, który pozwala definiować formularze i korzystać z nich bezpośrednio w przeglądarce. Zawiera również rozszerzenie do przeglądarki Chrome, zapewniające łatwy dostęp.
    • Czatbox AITo najłatwiejsza opcja dla początkujących i poniżej wyjaśnię, jak z niej korzystać. Pamiętaj, że nie musisz wykupić usługi Chatbox AI, która jest oferowana w ramach subskrypcji, dzięki czemu możesz uzyskać dostęp do wszystkich szablonów LLM bez konieczności samodzielnej instalacji Ollama.

Aby skorzystać z najlepszego interfejsu Chatbox AI, przejdź na stronę pobierania i pobierz wersję na komputer Mac.

Następnie otwórz instalator i uruchom program. Na pierwszym ekranie pojawi się okno z pytaniem, jak korzystać z Chatbox AI.

Należy kliknąć przycisk Użyj własnego klucza API/modelu lokalnego.

Następnie wybierz Ollama API jako dostawcę modelu AI.

Chatbox AI powinien automatycznie wykryć, że Ollama jest uruchomiona i ustawić host API na wartość domyślną, czyli adres IP pętli zwrotnej i numer portu 11434. Nie musisz nic tutaj zmieniać. W formularzu powinny być widoczne formularze, które wcześniej zainstalowałeś w terminalu. W moim przypadku jest to formularz Llama 3.2.

Wracając do ekranu głównego aplikacji, dotknij opcji „Just chat” lub „Nowy czat” i upewnij się, że w prawym dolnym rogu wybrano właściwy szablon. Możesz zmienić szablon w dowolnym momencie, ale zalecam utworzenie nowego czatu dla każdego używanego szablonu, aby łatwo zobaczyć różnice.

Alternatywne narzędzia do lokalnego uruchamiania modeli LLM

Jeśli szukasz alternatywy dla Ollama lub od samego początku preferujesz bardziej przyjazne dla użytkownika środowisko, LM Studio to kolejna doskonała opcja. Oferuje łatwy w obsłudze interfejs do eksploracji i korzystania z różnych modeli AI, umożliwiając ich łatwe pobieranie i uruchamianie. LM Studio jest dostępne na systemy Linux, Mac i Windows i oferuje funkcje takie jak dostosowywanie parametrów modelu i historii czatów. Obecnie jest darmowe, dlatego polecam je zamiast subskrypcji Chatbox AI.

Wniosek

Uruchamianie dużych modeli językowych (LLM) lokalnie na komputerze Mac będzie ważne dla każdego, kto chce zyskać większą kontrolę nad swoimi aplikacjami AI i priorytetowo traktować prywatność danych. Dzięki narzędziom takim jak Ollama i wspomnianym graficznym interfejsom użytkownika, które ułatwiają integrację LLM z procesem pracy, możesz bezpiecznie uwolnić nowy potencjał produktywności i kreatywności.

Jednak rozpoczęcie lokalnego wdrożenia LLM wymaga pewnego zrozumienia parametrów i ich wpływu na wydajność tych modeli na konkretnym komputerze. Najlepszym sposobem, aby się tego nauczyć, jest eksperymentowanie z różnymi modelami, aby sprawdzić, które z nich dają najlepsze rezultaty. Zrozumienie tej koncepcji pozwoli Ci podejmować lepsze decyzje dotyczące wyboru modeli i optymalizacji ich wydajności, aby dopasować je do Twoich konkretnych potrzeb.