Τοπικά μοντέλα AI

Τοπικά μοντέλα AI: η μελέτη και οι δοκιμές μας.

Το CodeHero μπορεί να χρησιμοποιεί ένα μοντέλο AI που τρέχει στον δικό σας υπολογιστή. Εδώ θα βρείτε ποια μοντέλα διαλέξαμε, πώς τα τρέχει το CodeHero και τι μετρήσαμε.

Είναι δικές μας μετρήσεις σε έναν υπολογιστή, στις 25 και 26 Οκτωβρίου 2026. Άλλος υπολογιστής, driver, έκδοση του llama.cpp, ρύθμιση ή εργασία δίνει άλλους αριθμούς. Δεν είναι εγγυήσεις.

Γιατί τοπικό μοντέλο

Ο δικός σας υπολογιστής

Το μοντέλο τρέχει σε έναν υπολογιστή που σας ανήκει, συνδεδεμένο στο CodeHero ως συσκευή. Το CodeHero το χρησιμοποιεί όπως κάθε άλλο πάροχο AI, σε μία από τις δύο τοπικές του θέσεις.

Το κείμενο μένει στο δίκτυό σας

Ένα ticket σε τοπικό μοντέλο στέλνει το κείμενο, τον κώδικα και την έξοδο των εργαλείων του στον δικό σας υπολογιστή, όχι σε εταιρεία AI. Ένα ticket σε υπηρεσία AI στέλνει το κείμενό του σε εκείνη την υπηρεσία: τον πάροχο τον διαλέγετε ανά project και ανά ticket.

Χωρίς χρέωση ανά χρήση

Πληρώνετε τον εξοπλισμό και το ρεύμα του, όχι κάθε αίτημα. Πολλοί developers μπορούν να μοιράζονται έναν server.

Το CodeHero 5.7.0 γράφει τους κανόνες του ώστε ένα δυνατό και ένα πιο αδύναμο μοντέλο να τους διαβάζουν το ίδιο. Μέτρο ήταν το Qwen3.6-35B-A3B, ένα μοντέλο που τρέχει στον δικό σας υπολογιστή: για κάθε είδος ticket απάντησε σωστά και στις 29 ερωτήσεις για τους κανόνες του, δύο φορές.

Ο υπολογιστής των δοκιμών μας

Υπολογιστής: GMKtec EVO-X2
Επεξεργαστής: AMD Ryzen AI Max+ 395, με γραφικά Radeon 8060S
Μνήμη: 128 GB, κοινή για επεξεργαστή και γραφικά
Σύστημα: Windows 11 Pro
Μηχανή: ο server του llama.cpp, έκδοση Vulkan
Μνήμη γραφικών: 96 GB, από το BIOS. Τα Windows κρατούν περίπου 32 GB· το llama.cpp βλέπει περίπου 112 GB.
Λειτουργία ενέργειας: Balanced, εκτός αν ο πίνακας γράφει Performance

Στα Windows, η έκδοση ROCm του llama.cpp θέλει το HIP SDK της AMD (ο driver γραφικών έχει παλαιότερα αρχεία HIP), οπότε ο δρόμος είναι η έκδοση Vulkan. Τι εξοπλισμό χρειάζεστε για αυτά τα μοντέλα: Εξοπλισμός

Πώς τρέχει το CodeHero ένα τοπικό μοντέλο

Ο υπολογιστής είναι συνδεδεμένη συσκευή στο CodeHero (Devices, σκοπός «LLM»). Ένας τρόπος για κάθε κάρτα γραφικών — AMD, NVIDIA ή Intel: ένα αρχείο μοντέλου GGUF και ο server του ίδιου του llama.cpp.
Ένα ticket με το skill local-llm κάνει τη ρύθμιση στον υπολογιστή. Κάθε εγκατάσταση λέγεται πρώτα — τι, πού, πόσο μεγάλη, πόση ώρα — και γίνεται μόνο μετά το δικό σας ναι: το llama.cpp στο C:\CodeHero\llm, κάθε μοντέλο στο C:\CodeHero\models. Κάθε αρχείο ελέγχεται με το SHA-256 του.
Ο server θέλει πάντα API key. Το κλειδί μένει στον υπολογιστή και μπαίνει στις ρυθμίσεις του CodeHero χωρίς να εμφανιστεί.
Ο server ξεκινά ξανά σε κάθε επανεκκίνηση του υπολογιστή, πριν συνδεθεί κανείς.
Η λειτουργία σκέψης του ticket ορίζει τη σκέψη του μοντέλου: «off» = χωρίς σκέψη· οι άλλες λειτουργίες σκέφτονται ως ένα όριο tokens και μετά το μοντέλο απαντά. Το ένα τέταρτο της εξόδου μένει πάντα για την απάντηση.
Δίπλα στον server τρέχει ένας φύλακας θερμοκρασίας. Διαβάζει τη θερμοκρασία της κάρτας γραφικών κάθε 5 δευτερόλεπτα — τη μέτρηση των ίδιων των Windows, αυτή που δείχνει η Διαχείριση εργασιών, χωρίς driver για εγκατάσταση. Στους 90 °C για 10 δευτερόλεπτα σταματά τον server, γράφει γιατί, και δεν τον ξεκινά ποτέ ξανά μόνος του.

Ποιος φτάνει σε αυτόν, και πώς — το επιλέγετε εσείς

Ποιος	Πώς
Το CodeHero, στο δικό σας μηχάνημα	Μέσα από το SSH της συσκευής (tunnel): τίποτα για άνοιγμα στον υπολογιστή
Το CodeHero ή η ομάδα σας, στο ίδιο δίκτυο	`http://<η IP του υπολογιστή>:<θύρα>/v1` + το API key
Το CodeHero ή η ομάδα σας, στο VPN του CodeHero	`http://<η IP του στο VPN>:<θύρα>/v1` + το API key

Η ομάδα σας παίρνει μόνο τη διεύθυνση και το κλειδί, ποτέ τη σύνδεση SSH του υπολογιστή. Στα Windows οι δύο δρόμοι μέσω δικτύου θέλουν τη θύρα επιτρεπτή στο firewall των Windows, μόνο για ιδιωτικά δίκτυα: δική σας απόφαση. Το CodeHero δεν αλλάζει ποτέ το firewall του υπολογιστή.

Ένας developer

Ο server μπορεί να χρησιμοποιεί την κεφαλή MTP ή το drafter του μοντέλου: μαντεύει λίγα tokens μπροστά και το μοντέλο τα ελέγχει. Γρηγορότερες απαντήσεις για έναν χρήστη.

Μια ομάδα 3–5

Πολλά «slots»: κάθε χρήστης παίρνει όλο το context του μοντέλου σε κοινό χώρο, χωρίς MTP. Η ταχύτητα του καθενός πέφτει· το σύνολο ανεβαίνει.

Τα δέκα μοντέλα που ξέρει το CodeHero

Το CodeHero 5.7.0 έχει κατάλογο δέκα μοντέλων: τα επίσημα αρχεία και, για τα εννέα, τα αρχεία της unsloth, κάθε μέγεθος με το SHA-256 του από το Hugging Face, τα αρχεία όρασης και MTP, και τις ρυθμίσεις τους για προγραμματισμό. Διαλέγει το αρχείο 8-bit όταν χωρά στη μνήμη της κάρτας γραφικών, αλλιώς το 4-bit.

Μοντέλο	Τύπος	Μέγεθος αρχείου: 8-bit · 4-bit	Όραση	Γρηγορότερο για έναν χρήστη	Άδεια και σημειώσεις
Qwen3.6-35B-A3B	MoE, 35B (3B ενεργά)	36,9 GB · 20–22 GB	ναι	MTP (χωριστό αρχείο)	Apache-2.0. Οι περισσότερες μετρήσεις μας έγιναν με αυτό.
Qwen3.8-27B	dense, 27B	29 GB · 18–19 GB	ναι	MTP (χωριστό αρχείο· μέσα στο αρχείο της unsloth)	Apache-2.0. Το template του δέχεται effort low, medium ή xhigh· το balanced του CodeHero είναι medium.
Qwen3.8-Flash-Next	MoE, 125B (6B ενεργά)	— · 102 GB	ναι	MTP (χωριστό αρχείο)	Qwen Community License: δωρεάν για τη δική σας ανάπτυξη, και για εμπορική χρήση. Χωριστή άδεια από την Qwen μόνο για εταιρεία που προσφέρει μοντέλα σε άλλους (API) ή φτιάχνει προϊόν AI για προγραμματισμό ή γραφείο — και τότε η εσωτερική της χρήση μένει δωρεάν.
Ornith-1.5-35B-A3B	MoE, 35B (3B ενεργά), βελτιωμένο Qwen	37.8 GB · 21,7 GB	ναι	MTP (μέσα στο αρχείο του)	MIT.
Ornith-1.5-122B	MoE, 122B (10B ενεργά)	132 GB · 76–80 GB	ναι	MTP (μέσα στο αρχείο του)	MIT.
Gemma-4-31B	dense, 31B	32,6 GB · 18,8 GB	ναι	drafter	Apache-2.0. KV cache 16-bit με το drafter του.
Gemma-4-26B-A4B	MoE, 26B (4B ενεργά)	26,9 GB · 17 GB	ναι	drafter	Apache-2.0.
gpt-oss-20b	MoE, 21B	— · 12,1 GB (MXFP4)	όχι	EAGLE-3 — πιο αργό στον υπολογιστή μας	Apache-2.0. Δεν μπορεί να σταματήσει τη σκέψη: «off» = το χαμηλότερο effort του.
gpt-oss-120b	MoE, 117B	— · 63,4 GB (MXFP4)	όχι	EAGLE-3 — πιο αργό στον υπολογιστή μας	Apache-2.0. Δεν μπορεί να σταματήσει τη σκέψη: «off» = το χαμηλότερο effort του.
Flint	MoE, 40B (2,5B ενεργά)	42,3 GB · 23–26 GB	όχι	—	Apache-2.0. Αποφασίζει μόνο του πότε σκέφτεται· στο «off» σκέφτεται το πολύ 1.024 tokens.

Το context είναι 262.144 tokens· για τα gpt-oss 131.072. Ένα μοντέλο εκτός καταλόγου δουλεύει κι αυτό, με γενικές ρυθμίσεις που ορίζετε στη σελίδα Providers.

Τι μετρήσαμε

Ταχύτητα γραφής για έναν χρήστη, χωρίς και με MTP

Μοντέλο	Αρχείο	Χωρίς	Με MTP: κώδικας / σκέψη	Tokens που μαντεύει μπροστά
Qwen3.6-35B-A3B	επίσημο, 8-bit	55	87 / 71	3
Ornith-1.5-35B-A3B	επίσημο, 8-bit	55	75 / 73	2
Gemma-4-26B-A4B	επίσημο, 8-bit + drafter	46,5	73,4 / 66,1	2
Gemma-4-31B	επίσημο, 8-bit + drafter	6,7	21,1 / 20,9	4
Qwen3.8-27B	unsloth, 8-bit, με την κεφαλή MTP μέσα	7,8	21,8 / 17,2	3
gpt-oss-20b	επίσημο, MXFP4	73,1	61,8 με EAGLE-3	3
gpt-oss-120b	επίσημο, MXFP4	52,5	44,0 με EAGLE-3	3

Tokens ανά δευτερόλεπτο, 26 Οκτωβρίου 2026, ένας χρήστης.
Το Qwen3.6-35B-A3B με 2 tokens μπροστά: 80 / 69· με 4: 83 / 67. Με τα τρία η ταχύτητα ήταν η υψηλότερη.
Με greedy decoding, το Qwen3.8-27B και το Gemma-4-26B-A4B έδωσαν την ίδια απάντηση με και χωρίς MTP.

Μεγάλα prompts, λειτουργία ενέργειας και θερμοκρασία

Το πρώτο αίτημα ενός ticket είναι μεγάλο: 40.000 έως 90.000 tokens. Qwen3.6-35B-A3B, επίσημο 8-bit, ένα καινούργιο prompt με prompt batch 1024:

Λειτουργία ενέργειας	Prompt 22.000 tokens	Prompt 88.000 tokens	Η κάρτα γραφικών
Balanced	1.062 tokens/s	575 tokens/s, περίπου 2,5 λεπτά	το πολύ 70 °C
Performance	1.131 tokens/s	το σταμάτησε η δοκιμή μας: η κάρτα έφτασε τους 89 °C σε περίπου 40 δευτερόλεπτα	89 °C

Το Ornith-1.5-35B-A3B σε Balanced: 1.047 και 581 tokens/s.
gpt-oss-20b, πρώτο prompt: 20.000 tokens με περίπου 1.600 tokens/s, 61.000 με περίπου 940. gpt-oss-120b: 20.000 με περίπου 870, 60.000 με περίπου 530.

Το prompt batch

Prompt batch	Qwen3.6-35B-A3B: 22K · 88K	Ornith-1.5-35B-A3B: 22K · 88K
1024	1.062 · 575	1.047 · 581
2048	919 · 542	728 · 488

Tokens ανά δευτερόλεπτο, Balanced. Το 4096 ήταν ακόμη πιο αργό. Η προεπιλογή του llama.cpp, 512, ήταν 4 % πιο αργή στα 8.000 tokens (Qwen3.6). Τα Gemma και gpt-oss διαβάζουν το ίδιο με κάθε batch.

Καθώς μεγαλώνει η συζήτηση

Qwen3.6-35B-A3B, 8-bit, μία συζήτηση που μεγαλώνει (ο server ξαναχρησιμοποιεί ό,τι έχει ήδη διαβάσει):

Context ως τώρα	Ανάγνωση	Γραφή
22.000 tokens	1.140 tokens/s	44 tokens/s
131.000 tokens	463 tokens/s	30 tokens/s
251.000 tokens	227 tokens/s	22 tokens/s

Για σύγκριση, στην 5.6.0: ένα prompt 512 tokens διαβάστηκε με 1.537 tokens/s, ένα 8.192 tokens με 1.311, και η γραφή ήταν 55,5 tokens/s.

Όριο σκέψης και ποιότητα

Qwen3.6-35B-A3B, 8-bit, ένας χρήστης. Οκτώ εργασίες προγραμματισμού με 65 κρυφά tests· το μοντέλο δεν βλέπει τα tests.

Σκέψη	Tests που πέρασαν, από 65	Χρόνος για τις 8 εργασίες
off	55,9	περίπου 2 λεπτά
ως 2.048 tokens	58,0	περίπου 5 λεπτά
ως 4.096 tokens	60,5	περίπου 9,5 λεπτά
ως 8.192 tokens	56,3	περίπου 17 λεπτά
χωρίς όριο	45 — δύο φορές εξάντλησε τα 32.768 tokens χωρίς απάντηση	περίπου 31 λεπτά

Κάθε τιμή είναι μέσος όρος πολλών δοκιμών: «off» 10 δοκιμές (50 έως 61), 4.096 tokens 4 δοκιμές (59 έως 62).
Το gpt-oss-120b στις ίδιες εργασίες: effort low 89 %, medium 98 % των tests.

Πολλοί χρήστες μαζί

Χρήστες	Ο καθένας	Μαζί
1	55 tokens/s	55 tokens/s
4	περίπου 23–27 tokens/s	περίπου 100 tokens/s

Qwen3.6-35B-A3B, 8-bit. Με context 262.144 tokens μοιρασμένο σε 4 slots, ο server ήταν έτοιμος σε 15 δευτερόλεπτα.

Ο φύλακας θερμοκρασίας

Η κάρτα γραφικών σε ηρεμία: 39–40 °C. Μια σύντομη απάντηση: περίπου 54 °C. Τέσσερις χρήστες μαζί: 55 °C.
Δοκιμάσαμε τον φύλακα με όριο 50 °C: σταμάτησε τον server σε 12 δευτερόλεπτα.
Ο φύλακας σταματά στους 90 °C για 10 δευτερόλεπτα. Το CodeHero δεν ανεβάζει ποτέ μόνο του αυτό το όριο.

Μοντέλα της κοινότητας που δοκιμάσαμε (εκτός καταλόγου)

Μοντέλο	Αρχείο	Γραφή: χωρίς · με MTP	Tests που πέρασαν, από 65
Tiel-Coder-35B-A3B, πάνω στο Ornith-1.5-35B-A3B	UD-Q8_K_XL	48 · 56–65 tokens/s (με τη δική του κεφαλή MTP)	χωρίς σκέψη: 46
Dirk-Qwen3.8-27B, fine-tune του Qwen3.8-27B	UD-Q8_K_XL	10,5 · 14,2 tokens/s	χωρίς σκέψη: 85 %· ως 4.096 tokens: 98 %

Τι μάθαμε

Περίπου 4.000 tokens σκέψης πέρασαν τα περισσότερα tests στις εργασίες μας: 60,5 από 65 tests, έναντι 55,9 χωρίς σκέψη. Περισσότερη σκέψη κράτησε περισσότερο χωρίς καλύτερο αποτέλεσμα· χωρίς όριο, το μοντέλο κάποιες φορές δεν απάντησε ποτέ. Το CodeHero δίνει στο Qwen3.6-35B-A3B αυτά τα όρια: balanced 4.000 tokens, pro 8.000.
Το MTP είναι για έναν χρήστη. Έκανε το Qwen3.6-35B-A3B περίπου 1,6 φορές γρηγορότερο στη γραφή κώδικα, και τα δύο dense μοντέλα περίπου τρεις φορές γρηγορότερα. Στα gpt-oss το EAGLE-3 ήταν πιο αργό: το CodeHero τα ξεκινά χωρίς αυτό. Ένας server για πολλούς χρήστες τρέχει χωρίς MTP.
Balanced για μεγάλα prompts. Σε prompt 88.000 tokens η κάρτα έμεινε στους 70 °C σε Balanced και έφτασε τους 89 °C σε Performance. Το Balanced ήταν 6 % πιο αργό σε μικρά prompts. Αν ο φύλακας σταματά τον server σε μεγάλα prompts, διαλέξτε Balanced ή δυνατότερη καμπύλη ανεμιστήρα στο BIOS: δική σας απόφαση.
KV cache 16-bit. Το CodeHero ξεκινά τον server με KV cache 16-bit· το 8-bit μόνο για να δοκιμάσετε την ακρίβειά του. Με το drafter του Gemma, ένα παλιό σφάλμα έδινε 0 % αποδεκτές μαντεψιές με cache 8-bit.
Prompt batch 1024: διάβαζε τα prompts γρηγορότερα από το 2048 για τα Qwen3.6 και Ornith, και από το 512 για το Qwen3.6. Το CodeHero τα ξεκινά με αυτό.
Επίσημο ή unsloth: στα 8 bit τα βάρη είναι ίδια, tensor προς tensor (το ελέγξαμε στα Qwen3.6-35B-A3B, Qwen3.8-27B και Gemma-4-31B)· διαφέρει μόνο το chat template. Στα 4 bit είναι διαφορετικά αρχεία: μετρήστε πριν διαλέξετε.
Η πρώτη απάντηση μετά από εκκίνηση είναι πιο αργή: η κάρτα ζεσταίνεται. Μετράτε από τη δεύτερη.
Μνήμη στα Windows: τα Windows μετρούν το μοντέλο στο δικό τους όριο (μνήμη + αρχείο σελιδοποίησης). Αφήστε το αρχείο σελιδοποίησης «System managed». Ένα μεγάλο μοντέλο μαζί με emulators Android μπορεί να εξαντλήσει το όριο: σταματήστε πρώτα έναν emulator.

Οι επόμενες δοκιμές

Χωριστές κάρτες γραφικών (1 έως 3 κάρτες NVIDIA, AMD ή Intel σε έναν υπολογιστή): ο οδηγός του CodeHero λέει τι χωρά, με τους κανόνες του ίδιου του llama.cpp. Δεν έχουμε ακόμη τέτοιον υπολογιστή, άρα δεν έχουν δοκιμαστεί.
Τα δύο μεγάλα μοντέλα στα 4 bit στον ίδιο υπολογιστή — Ornith-1.5-122B και Qwen3.8-Flash-Next: η ταχύτητα και η αξιοπιστία τους με μικρό context.
Συσκευές με Linux: σήμερα το CodeHero στήνει μόνο του τοπικό μοντέλο μόνο σε συσκευή Windows. Τα Windows ήρθαν πρώτα.

Διαβάστε επίσης

Οδηγός χρήσης §33: συσκευές και τοπικό LLM Εξοπλισμός Μπορούν τα μικρά τοπικά μοντέλα να κάνουν πραγματική δουλειά; Η ασφάλεια του CodeHero

Ερωτήσεις που μας κάνουν

Όλα τα άρθρα

Τι εξοπλισμό χρειάζομαι για ένα τοπικό μοντέλο;

Για τα τοπικά μοντέλα που δοκιμάσαμε και προτείνουμε για αυτή τη δουλειά, τουλάχιστον 96 GB μνήμης για το μοντέλο. Οι δοκιμές μας έγιναν σε υπολογιστή με AMD Ryzen AI Max+ 395 και 128 GB, με Windows 11.

Φεύγει ο κώδικάς μου από το δίκτυό μου με τοπικό μοντέλο;

Όχι για τα tickets που το χρησιμοποιούν: το μοντέλο τρέχει στον δικό σας υπολογιστή, οπότε το κείμενό τους μένει στο δίκτυό σας. Ένα ticket σε υπηρεσία εταιρείας AI στέλνει το κείμενό του σε εκείνη την υπηρεσία.

Μπορούν μικρά τοπικά μοντέλα AI να κάνουν πραγματική δουλειά;

Μέσα στο εργοστάσιο, ναι — περισσότερη από όση μόνα τους. Μικρά, καθαρά tickets, ένας έλεγχος ολοκλήρωσης, βοήθεια στα εργαλεία και ένα ισχυρότερο μοντέλο που ελέγχει το αποτέλεσμα επιτρέπουν σε μικρά μοντέλα στο δικό σας hardware να κάνουν μεγάλο μέρος της κατασκευής. Διαβάστε το άρθρο

Φτάνουν οι κωδικοί και τα κλειδιά μου στην εταιρεία AI;

Όχι όσα αποθηκεύετε ως μυστικά (οκτώ χαρακτήρες και πάνω): τα χρησιμοποιεί η εφαρμογή σας, αλλά οι τιμές τους δεν στέλνονται στην υπηρεσία AI. Έναν κωδικό γραμμένο σε μήνυμα ή ορατό σε screenshot δεν μπορεί να τον αναγνωρίσει — αποθηκεύετε κάθε κωδικό ως μυστικό. Διαβάστε το άρθρο

Είμαι δεμένος με μία εταιρεία AI;

Όχι. Το CodeHero δουλεύει με πολλές εταιρείες AI μαζί και με μοντέλα στο δικό σας hardware. Αλλάζετε εταιρεία ή μοντέλο όποτε θέλετε — το έργο, οι κανόνες και το ιστορικό του μένουν. Διαβάστε το άρθρο