Αναρωτηθήκατε ποτέ αν θα μπορούσατε να τρέξετε κάτι σαν το ChatGPT τοπικά στο Mac σας χωρίς να χρειάζεται το Διαδίκτυο; Με λίγη εγκατάσταση, μπορείτε πραγματικά. Και αυτό δωρεάν. Είτε θέλετε να διατηρήσετε τις συνομιλίες σας ιδιωτικές ή απλά θέλετε πρόσβαση εκτός σύνδεσης στο AI, εδώ μπορείτε να εκτελέσετε ισχυρά μεγάλα γλωσσικά μοντέλα τοπικά στο Mac σας.
Τι χρειάζεστε για να εκτελέσετε ένα LLM τοπικά σε Mac;
Πριν βυθίσουμε και ελέγξουμε τη ρύθμιση, εδώ είναι αυτό που θα χρειαστείτε:
- Ένα Mac με πυρίτιο της Apple (M1, M2 ή M3 συνιστάται)
- Τουλάχιστον 8GB RAM (16GB ή περισσότερο είναι καλύτερη)
- Περίπου 4-10 GB ελεύθερου χώρου δίσκου (ανάλογα με το μοντέλο)
- Μια λειτουργική σύνδεση στο Διαδίκτυο (μόνο για εγκατάσταση)
- Βασική εξοικείωση με τη χρήση της εφαρμογής τερματικού MacOS (δεν χρειάζεται να είστε επαγγελματίας)
Πώς να εκτελέσετε ένα LLM τοπικά σε Mac
Θα χρησιμοποιήσουμε ένα δωρεάν εργαλείο που ονομάζεται Ollama, το οποίο σας επιτρέπει να κατεβάσετε και να εκτελέσετε LLMS τοπικά με μερικές εντολές. Εδώ είναι πώς να ξεκινήσετε:
Βήμα 1: Εγκαταστήστε το homebrew (παραλείψτε εάν έχετε ήδη εγκατασταθεί)
Το Homebrew είναι ένας διαχειριστής πακέτων για macOS που σας βοηθά να εγκαταστήσετε εφαρμογές από την εφαρμογή Terminal. Εάν έχετε ήδη εγκαταστήσει το Homebrew στο Mac σας, μπορείτε να παραλείψετε αυτό το βήμα. Αλλά αν δεν το κάνετε, εδώ μπορείτε να το εγκαταστήσετε:
- Ανοίξτε την εφαρμογή Terminal από το LaunchPad ή το Spotlight.
- Αντιγράψτε και επικολλήστε την ακόλουθη εντολή και πατήστε επιστροφή:
/bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)"- Περιμένετε να ολοκληρωθεί η εγκατάσταση. Μπορεί να χρειαστούν λίγα λεπτά. Μόλις ολοκληρωθεί, ελέγξτε αν λειτουργεί πληκτρολογώντας:
brew doctor
Εάν βλέπετε “το σύστημά σας είναι έτοιμο να παρασκευάσει”, είστε καλοί να πάτε.
Εάν έχετε προβλήματα ή θέλετε μια πιο λεπτομερή διαδικασία βήμα προς βήμα, ελέγξτε τον οδηγό μας για το πώς να εγκαταστήσετε το Homebrew σε Mac.
Βήμα 2: Εγκαταστήστε και εκτελέστε το Ollama
Τώρα που το Homebrew είναι εγκατεστημένο και έτοιμο για χρήση στο Mac σας, ας εγκαταστήσουμε το Ollama:
- Σε ένα παράθυρο τερματικού, εκτελέστε:
brew install ollama- Μετά την εγκατάσταση, ξεκινήστε την υπηρεσία Ollama τρέχοντας:
ollama serve
Αφήστε αυτό το παράθυρο να ανοίξει ή να το ελαχιστοποιήσει. Αυτή η εντολή διατηρεί το Ollama να τρέχει στο παρασκήνιο.
Εναλλακτικά, κατεβάστε το Εφαρμογή Ollama και να το εγκαταστήσετε όπως κάθε κανονική εφαρμογή MAC. Μόλις ολοκληρωθεί, ανοίξτε την εφαρμογή και συνεχίστε να τρέχετε στο παρασκήνιο.
Βήμα 3: Κατεβάστε και εκτελέστε ένα μοντέλο
Το Ollama σας δίνει πρόσβαση σε δημοφιλή LLMS όπως το Deepseek, το Llama Meta, το Mistral, το Gemma και πολλά άλλα. Δείτε πώς μπορείτε να επιλέξετε και να εκτελέσετε ένα:
- Επισκεφτώ το Σελίδα αναζήτησης Ollama Για να βρείτε όλα τα μοντέλα AI, μπορείτε να τρέξετε τοπικά μέσω του Ollama στο Mac σας.
- Επιλέξτε το μοντέλο LLM που θέλετε να εγκαταστήσετε. (Χρησιμοποιώ το Deepseek-R1 καθώς είναι ένα μικρό μοντέλο που διαρκεί μόνο 1,1 GB χώρου και είναι αποτελεσματικό.)
- Στη σελίδα αυτή, θα βρείτε μια εντολή όπως αυτή:
ollama run [model-name]. Είναι διαφορετικό για διαφορετικά μοντέλα.
- Για το μοντέλο Deepseek R1 1.5b:
ollama run deepseek-r1:1.5b - Για το μοντέλο LLAMA 3:
ollama run llama3 - Για Mistral:
ollama run mistral
- Αντιγράψτε και επικολλήστε αυτήν την εντολή στο παράθυρο του τερματικού. Την πρώτη φορά που το τρέχετε αυτό, ο Ollama θα κατεβάσει το μοντέλο. Αυτό μπορεί να διαρκέσει λίγα λεπτά ανάλογα με την ταχύτητα του διαδικτύου σας.
- Μόλις μεταφορτωθεί το μοντέλο, θα δείτε μια προτροπή για να πληκτρολογήσετε την είσοδο σας. Τώρα συνομιλείτε με το μοντέλο!
Εάν επιλέξετε ένα μεγάλο μοντέλο, περιμένετε κάποια καθυστέρηση – μετά από όλα, ολόκληρο το μοντέλο λειτουργεί τοπικά στο MacBook σας. Τα μικρότερα μοντέλα ανταποκρίνονται γρηγορότερα, αλλά μπορούν να αγωνιστούν με ακρίβεια, ειδικά για καθήκοντα μαθηματικών και λογικών. Επίσης, θυμηθείτε ότι, δεδομένου ότι αυτά τα μοντέλα δεν έχουν πρόσβαση στο διαδίκτυο, δεν μπορούν να λάβουν πληροφορίες σε πραγματικό χρόνο.
Τούτου λεχθέντος, για πράγματα όπως ο έλεγχος της γραμματικής, η γραφή μηνυμάτων ηλεκτρονικού ταχυδρομείου ή οι ιδέες του brainstorming, εργάζονται εξαιρετικά. Έχω χρησιμοποιήσει εκτενώς το Deepseek-R1 στο MacBook μου με μια ρύθμιση UI Web, η οποία μου επιτρέπει επίσης να ανεβάσω εικόνες και να επικολλήσω τα αποσπάσματα κώδικα. Ενώ οι απαντήσεις του-και ειδικά οι δεξιότητές του κωδικοποίησης-δεν είναι τόσο απότομες όσο τα μοντέλα κορυφαίων επιπέδων όπως το ChatGPT ή το Deepseek 671B, παίρνει ακόμα τα περισσότερα καθημερινά καθήκοντα που γίνονται χωρίς να χρειάζονται το Διαδίκτυο.
Βήμα 4: Συνομιλία με το μοντέλο στο Terminal
Μόλις εκτελεστεί το μοντέλο, μπορείτε απλά να πληκτρολογήσετε το μήνυμά σας και να επιστρέψετε. Το μοντέλο θα ανταποκριθεί παρακάτω.
Για να βγείτε από τη συνεδρία, πατήστε Control+D στο πληκτρολόγιό σας. Όταν θέλετε να ξεκινήσετε ξανά να συνομιλείτε, απλώς χρησιμοποιήστε το ίδιο ollama run [model-name] εντολή. Δεδομένου ότι το μοντέλο έχει ήδη ληφθεί, θα ξεκινήσει αμέσως.
Βήμα 5: Προβολή και διαχείριση εγκατεστημένων μοντέλων
Για να ελέγξετε ποια μοντέλα κατεβάζονται επί του παρόντος, εκτελέστε:
ollama list
Για να διαγράψετε ένα μοντέλο που δεν χρειάζεστε πια, χρησιμοποιήστε:
ollama rm [model-name]Μπόνους: Χρησιμοποιήστε το Ollama με ένα UI στο διαδίκτυο
Ενώ η Ollama τρέχει στο τερματικό, ξεκινά επίσης μια τοπική υπηρεσία API στο http: // localhost: 11434, επιτρέποντάς σας να το συνδέσετε σε μια διεπαφή ιστού για οπτική αλληλεπίδραση με τα μοντέλα – παρόμοια με τη χρήση ενός chatbot. Μια δημοφιλής επιλογή για αυτό είναι το Open Webui, το οποίο παρέχει μια φιλική προς το χρήστη διεπαφή πάνω από τη βασική λειτουργικότητα του Ollama. Ας δούμε πώς να το ρυθμίσετε.
Βήμα 1: Εγκαταστήστε το Docker
Το Docker είναι ένα εργαλείο που σας επιτρέπει να συσκευάσετε ένα πρόγραμμα και όλα τα βασικά του στοιχεία σε ένα φορητό δοχείο, ώστε να μπορείτε να το εκτελέσετε εύκολα σε οποιαδήποτε συσκευή. Θα το χρησιμοποιήσουμε για να ανοίξουμε μια διαδικτυακή διεπαφή συνομιλίας για το μοντέλο AI.
Εάν το Mac σας δεν το έχει ήδη, ακολουθήστε αυτά τα βήματα για να εγκαταστήσετε το Docker:
- Κατεβάζω Επιφάνεια εργασίας Για το Mac σας, εκτελέστε το και ακολουθήστε τις οδηγίες στην οθόνη για να ολοκληρώσετε την εγκατάσταση.
- Ξεκινήστε την εφαρμογή Docker και συνδεθείτε.
- Ανοίξτε το τερματικό και πληκτρολογήστε την παρακάτω εντολή για επιβεβαίωση της εγκατάστασης:
docker --version
Εάν η εντολή επιστρέψει έναν αριθμό έκδοσης, σημαίνει ότι το Docker είναι εγκατεστημένο στο Mac σας.
Βήμα 2: Τραβήξτε την ανοιχτή εικόνα webui
Το Open Webui είναι ένα απλό εργαλείο που σας δίνει ένα παράθυρο συνομιλίας στο πρόγραμμα περιήγησής σας. Το τράβηγμα της εικόνας σημαίνει απλώς τη λήψη των αρχείων που απαιτούνται για την εκτέλεση.
Για να το κάνετε αυτό, μεταβείτε στην εφαρμογή τερματικού και πληκτρολογήστε:
docker pull ghcr.io/open-webui/open-webui:mainΑυτό θα κατεβάσει τα απαραίτητα αρχεία για τη διεπαφή.
Βήμα 3: Εκτελέστε το δοχείο Docker και ανοίξτε το webui
Τώρα, ήρθε η ώρα να τρέξετε το ανοιχτό webui χρησιμοποιώντας το Docker. Θα δείτε μια καθαρή διεπαφή όπου μπορείτε να συνομιλήσετε με το AI -No Terminal που χρειάζεται. Εδώ πρέπει να κάνετε:
- Ξεκινήστε το δοχείο Docker με επίμονη αποθήκευση δεδομένων και χαρτογραφημένες θύρες:
docker run -d -p 9783:8080 -v open-webui:/app/backend/data --name open-webui ghcr.io/open-webui/open-webui:main
- Περιμένετε μερικά δευτερόλεπτα για να ξεκινήσει το δοχείο.
- Ανοίξτε το πρόγραμμα περιήγησής σας και μεταβείτε στο:
http://localhost:9783/- Δημιουργήστε έναν λογαριασμό όταν σας ζητηθεί και θα ανακατευθύνετε στην κύρια διεπαφή.
Από εδώ, μπορείτε να συνομιλήσετε με οποιοδήποτε εγκατεστημένο μοντέλο σε μια καθαρή, φιλική προς το χρήστη διεπαφή προγράμματος περιήγησης. Αυτό το βήμα είναι προαιρετικό, αλλά σας δίνει μια ομαλότερη εμπειρία συνομιλίας χωρίς να χρησιμοποιήσετε το τερματικό.
Το Mac σας, το AI: Χωρίς διακομιστές, χωρίς χορδές
Αυτό είναι! Σε λίγα βήματα, έχετε ρυθμίσει το Mac σας για να εκτελέσετε ένα ισχυρό μοντέλο AI εντελώς εκτός σύνδεσης. Δεν υπάρχουν λογαριασμοί, κανένα σύννεφο και δεν χρειάζεται Διαδίκτυο μετά τη ρύθμιση. Είτε θέλετε ιδιωτικές συνομιλίες, τοπική παραγωγή κειμένου, ή απλά θέλετε να πειραματιστείτε με LLMS, το Ollama το καθιστά εύκολο και προσβάσιμο – ακόμη και αν δεν είστε προγραμματιστής. Δίνω μιά προσπάθεια!
Ελέγξτε επίσης αυτούς τους χρήσιμους οδηγούς:
- Πώς να εκτελέσετε εφαρμογές Android στο Mac
- Πώς να προβάλλετε εγγραφή στο Mac σας
- Πώς να εγκαταστήσετε το Git στο Mac σας
