Onysoft AI Gateway Node: Kendi Bilgisayarınızda Yapay Zeka Modeli Çalıştırın, API ile Kullanın

Bugünden itibaren Onysoft AI Gateway'de modelleri yalnız bulutta değil, kendi bilgisayarınızda da çalıştırabilirsiniz. Onysoft AI Gateway Node, Windows 10/11 (64 bit) ve Apple Silicon işlemcili Mac'ler için geliştirdiğimiz bir masaüstü programıdır. Bilgisayarınızın ekran kartında açık kaynak dil modellerini çalıştırır ve bu modelleri, diğer modellerle aynı API ucundan kullanmanızı sağlar.

Bu yazıda programın ne yaptığını, nasıl çalıştığını, hangi donanımda hangi modelleri çalıştırabildiğini ve bugün kendi Mac'imizde ölçtüğümüz gerçek sonuçları anlatıyoruz. Neyin bugün hazır olduğunu, neyin henüz olmadığını da açıkça yazdık.

Onysoft AI Gateway Node Nedir?

Onysoft AI Gateway Node, açık kaynak dil modellerini kendi bilgisayarınızda çalıştıran ve bu modelleri Onysoft hesabınıza bağlayan yerel bir masaüstü programıdır. Model, sizin donanımınızda çalışır; siz ise ona panel sohbetinden ya da kişisel API anahtarınızla dış programlardan ulaşırsınız.

Kısaca öne çıkan noktalar:

• Platformlar: Windows 10 ve Windows 11 (64 bit), macOS 13.3 ve üzeri (Apple Silicon, M1 ve sonrası).
• Motor: Modeller açık kaynak llama.cpp ile çalışır; Mac'te Metal, Windows'ta ekran kartı üzerinden.
• Katalog: Gemma 4, Qwen3, Ministral 3, Phi-4, gpt-oss-20b gibi 31 açık kaynak model; hepsi Apache 2.0 ya da MIT lisanslı.
• Donanım kontrolü ve öneri: Program donanımınızı ölçer, yapay zeka destekli bir öneriyle size uygun modelleri gösterir.
• Paylaşım yoğunluğu: Düşük, Dengeli ya da Yüksek; bilgisayarınızın ne kadarının modellere ayrılacağını siz seçersiniz.
• Aynı anda en fazla 3 model (işlemci modunda 1).
• Kullanım ücretsiz: Kendi cihazınızdaki modele giden isteklerde bakiyenizden kesinti yapılmaz; token sayısı ve süre yine kayda geçer.
• Port açılmaz: Bilgisayarınız dışarıdan bağlantı kabul etmez; bağlantıyı program sunucuya doğru kurar.

Neden Kendi Bilgisayarınızda Model Çalıştırmalısınız?

Yerel yapay zeka, yani modelin kendi donanımınızda çalışması, her iş için doğru seçim değildir. Ama bazı işler için belirgin avantajları vardır:

Gizlilik ve kontrol

Model bilgisayarınızda çalıştığı için isteğiniz bir model sağlayıcısının bulutunda işlenmez. Hangi modelin, hangi sürümle, hangi dosyadan çalıştığını siz bilirsiniz; model dosyası diskinizde durur ve siz silmedikçe değişmez. Aynı soruya yarın da aynı modelin yanıt vereceğinden emin olmak istediğiniz testler, iç araçlar ve deneyler için bu önemli bir güvencedir.

Maliyet

Kendi cihazınızdaki modele gönderdiğiniz istekler ücretsizdir. Zaten sahip olduğunuz bir ekran kartını ya da Mac'i kullanırsınız; ek maliyetiniz yalnızca elektrik ve internettir. Çok sayıda kısa ve tekrarlayan iş (özetleme, sınıflandırma, taslak üretme, kod tamamlama denemeleri) için bu fark hızla birikir.

Aynı API, aynı araçlar

Yerel modeli kullanmak için yeni bir araç öğrenmeniz gerekmez. Onysoft'ta bulut modellerini hangi uçla çağırıyorsanız, kendi cihazınızdaki modeli de aynı uçla çağırırsınız. Değişen tek şey model adıdır.

Dürüst sınırlar

Yerel modelin gücü donanımınızla sınırlıdır. 16 GB belleğe sahip bir bilgisayarda çalışan 4–12 milyar parametreli bir model, en büyük bulut modellerinin yaptığı her işi aynı kalitede yapamaz. Uzun ve karmaşık akıl yürütme gerektiren işlerde bulut modelleri hâlâ güçlü seçenektir. Onysoft'ta ikisi aynı hesapta ve aynı uçta durduğu için işe göre seçebilirsiniz: hızlı ve sık işler cihazınızda, ağır işler katalogdaki bulut modellerinde.

Nasıl Çalışır? Port Açılmaz, Bağlantıyı Program Kurar

Onysoft AI Gateway Node'un en önemli tasarım kararı şu: bilgisayarınız dışarıya port açmaz. Modem ayarı, port yönlendirme ya da güvenlik duvarı kuralı gerekmez. Bağlantıyı her zaman bilgisayarınızdaki program, Onysoft sunucusuna doğru kurar ve iş olup olmadığını bu bağlantı üzerinden sorar.

Bir isteğin izlediği yol:

1. Programınız (n8n, Cursor, kendi kodunuz) isteği her zamanki gibi https://api.onysoft.com/v1/chat/completions adresine gönderir; model adı node/ ile başlar.
2. Sunucu, anahtarın kişisel anahtarınız olduğunu ve istenen modelin çevrimiçi cihazlarınızdan birinde hazır olduğunu kontrol eder.
3. İstek, yalnız sizin cihazlarınızın alabileceği şekilde kuyruğa alınır.
4. Bilgisayarınızdaki Node programı işi kendi açtığı giden bağlantı üzerinden alır ve modeli yerel olarak (127.0.0.1) çalıştırır.
5. Sonuç sunucuya geri gönderilir ve programınıza diğer modellerle aynı biçimde döner.
6. Token sayıları ve süre kullanım kaydınıza işlenir; ücret 0'dır.

Programınız ──HTTPS──▶ api.onysoft.com ◀──giden bağlantı── Node programı
                         (kuyruk)                          (bilgisayarınız)
                                                               │
                                                        llama.cpp + model
                                                          127.0.0.1

Programa giriş de benzer şekilde yapılır: program bir cihaz kodu gösterir, siz bu kodu tarayıcıda Onysoft hesabınızla onaylarsınız. Program ayrıca sürüm kontrolü yapar; yeni bir sürüm yayımlandığında sizi uyarır.

Donanım Gereksinimleri

Program, donanımınızı kendisi ölçer ve yalnızca bilgisayarınıza sığan modelleri önerir. Başlamadan önce temel koşullar şunlar:

Platform	İşletim sistemi	Donanım	Nerede çalışır
Windows (ekran kartı)	Windows 10 / 11, 64 bit	NVIDIA (CUDA) önerilir; AMD ve Intel ayrık ekran kartları Vulkan ile deneysel. En az 6 GB ekran kartı belleği, güncel sürücü.	Ekran kartı
Windows (işlemci modu)	Windows 10 / 11, 64 bit	Ekran kartı yetersizse: AVX2 destekli 64 bit işlemci ve en az 8 GB bellek.	İşlemci (CPU); yavaş ama çalışır
macOS	macOS 13.3 ve üzeri	Apple Silicon (M1 ve sonrası), en az 8 GB birleşik bellek; büyük modeller için 16 GB ve üzeri önerilir. Intel işlemcili Mac'ler desteklenmez.	Ekran işlemcisi (Metal)

Disk için model başına yaklaşık 2 ile 20 GB arasında boş alan gerekir; program diskinize sığmayan modeli önermez.

Hangi bilgisayarda hangi model çalışır?

Modellere ayrılan bellek (bütçe) şöyle hesaplanır:

• Mac: birleşik bellek × %66 (36 GB'ın üzerinde %75) × paylaşım oranı. Mac'te ekran işlemcisi ile ana işlemci aynı belleği kullandığı için belleğin tamamı modellere verilmez.
• Windows: (ekran kartı belleği − 0,75 GB) × paylaşım oranı.
• Paylaşım oranı: Düşük %60, Dengeli %80, Yüksek %95.

Her modelin ihtiyacı yalnızca dosya boyutu değildir; bağlam belleği (KV önbelleği) ve küçük bir tampon da eklenir. Dengeli seviyede, tek model için yaklaşık tablo:

Donanım	Yaklaşık bütçe	Sığan model sayısı (31 içinden)	Örnek üst sınır
Mac, 8 GB	~4,2 GB	6	Qwen3 4B, Gemma 4 E2B
Mac, 16 GB	~8,4 GB	15	Gemma 4 12B
Mac, 24 GB	~12,7 GB	21	gpt-oss-20b
Mac, 32 GB	~16,9 GB	24	Mistral Small 3.2 24B, Gemma 4 26B-A4B
Mac, 48 GB ve üzeri	~28,8 GB ve üzeri	31	Kataloğun tamamı
Windows, 8 GB ekran kartı	~5,8 GB	8	Gemma 4 E4B, Qwen2.5 Coder 7B
Windows, 12 GB ekran kartı	~9,0 GB	15	Gemma 4 12B
Windows, 16 GB ekran kartı	~12,2 GB	21	gpt-oss-20b
Windows, 24 GB ekran kartı	~18,6 GB	27	Qwen3 Coder 30B-A3B

Tablo, programın kullandığı bütçe formülüyle ve katalogdaki bellek ihtiyacı değerleriyle hesaplandı. Birden fazla model aynı bütçeyi paylaşır; kesin hesabı program sizin donanımınızda yapar.

İşlemci (CPU) modu

Windows'ta ekran kartınız yetersizse program "İşlemci (CPU)" moduna geçebilir. Bu mod için AVX2 destekli bir işlemci ve en az 8 GB bellek gerekir. Bütçe, belleğinizden işletim sistemi için 4 GB ayrıldıktan sonra hesaplanır; aynı anda yalnız 1 model çalışır ve yalnız 5,5 GB'tan küçük model dosyaları seçilebilir. Yanıtlar ekran kartına göre belirgin biçimde yavaştır; bu yüzden işlemci modunda max_tokens vermezseniz varsayılan daha kısa tutulur (akışsız istekte 256, akışta 512). Yine de kısa işler ve denemeler için ekran kartı olmayan bir bilgisayarda da yerel model çalıştırabilirsiniz.

Model Kataloğu: 31 Açık Kaynak Model

Katalogdaki her model Apache 2.0 ya da MIT lisanslıdır. Modeller, üreticilerinin yayımladığı açık ağırlıkların yaklaşık 4 bit düzeyinde nicemlenmiş (Q4 ya da MXFP4) GGUF sürümleridir. Program her model dosyasını indirdikten sonra SHA256 özetiyle doğrular; özet uyuşmazsa dosya kullanılmaz ve silinir.

Model aileleri ve üreticileri:

• Gemma 4 (Google): E2B, E4B, 12B, 26B-A4B ve 31B.
• Qwen (Alibaba / Qwen): Qwen3 4B, 8B, 14B, 30B-A3B, 32B; Qwen3.5 4B ve 9B; Qwen3.6 35B-A3B; Qwen3.8 27B; Qwen2.5 Coder 7B ve 14B; Qwen3 Coder 30B-A3B.
• Mistral: Ministral 3 (3B, 8B, 14B), Mistral Small 3.2 24B ve Devstral Small 2 24B.
• Phi-4 (Microsoft): Phi-4 14B, Phi-4 mini 3.8B ve Phi-4 Reasoning Plus 14B.
• gpt-oss-20b (OpenAI).
• GLM (Zhipu): GLM-4 9B ve GLM-4.7 Flash.
• Granite 4.2 (IBM): 3B ve 8B.
• DeepSeek R1 0528 Qwen3 8B (DeepSeek).

Adında "MoE" geçen modeller uzmanlar karışımı mimarisindedir: toplam parametre sayısı büyük olsa da her token için yalnız bir kısmı çalışır. Örneğin Qwen3 30B-A3B'de 30 milyar parametrenin yaklaşık 3 milyarı etkindir; bu yüzden bellek ihtiyacı büyük, hızı ise küçük bir modele daha yakındır.

Tam liste (amaç, katalogdaki etikettir; dosya boyutu indirilecek model dosyasıdır):

Model	Katalog kimliği	Amaç	Dosya	Lisans
Ministral 3 3B	ministral-3-3b-instruct-2512-q4_k_m	Hızlı / hafif	2,1 GB	Apache 2.0
Granite 4.2 3B	granite-4.2-3b-q4_k_m	Hızlı / hafif	2,2 GB	Apache 2.0
Phi-4 mini 3.8B	phi-4-mini-instruct-3.8b-q4_k_m	Hızlı / hafif	2,5 GB	MIT
Qwen3.5 4B	qwen3.5-4b-q4_k_m	Hızlı / hafif	2,7 GB	Apache 2.0
Gemma 4 E2B	gemma-4-e2b-it-qat-q4_0	Hızlı / hafif	3,3 GB	Apache 2.0
Qwen3 30B-A3B (MoE)	qwen3-30b-a3b-q4_k_m	Hızlı / hafif	18,6 GB	Apache 2.0
Qwen3 4B	qwen3-4b-q4_k_m	Genel	2,5 GB	Apache 2.0
Qwen3 8B	qwen3-8b-q4_k_m	Genel	5,0 GB	Apache 2.0
Gemma 4 E4B	gemma-4-e4b-it-qat-q4_0	Genel	5,2 GB	Apache 2.0
Ministral 3 8B	ministral-3-8b-instruct-2512-q4_k_m	Genel	5,2 GB	Apache 2.0
Granite 4.2 8B	granite-4.2-8b-q4_k_m	Genel	5,3 GB	Apache 2.0
Qwen3.5 9B	qwen3.5-9b-q4_k_m	Genel	5,7 GB	Apache 2.0
GLM-4 9B 0414	glm-4-9b-0414-q4_k_m	Genel	6,2 GB	MIT
Gemma 4 12B	gemma-4-12b-it-qat-q4_0	Genel	7,0 GB	Apache 2.0
Ministral 3 14B	ministral-3-14b-instruct-2512-q4_k_m	Genel	8,2 GB	Apache 2.0
Qwen3 14B	qwen3-14b-q4_k_m	Genel	9,0 GB	Apache 2.0
Gemma 4 26B-A4B (MoE)	gemma-4-26b-a4b-it-qat-q4_0	Genel	14,4 GB	Apache 2.0
GLM-4.7 Flash (MoE)	glm-4.7-flash-q4_k_m	Genel	18,3 GB	MIT
Qwen3.8 27B	qwen3.8-27b-q4_k_m	Genel	19,0 GB	Apache 2.0
Qwen3 32B	qwen3-32b-q4_k_m	Genel	19,8 GB	Apache 2.0
Qwen3.6 35B-A3B (MoE)	qwen3.6-35b-a3b-q4_k_m	Genel	20,4 GB	Apache 2.0
Qwen2.5 Coder 7B	qwen2.5-coder-7b-q4_k_m	Kod	4,7 GB	Apache 2.0
Qwen2.5 Coder 14B	qwen2.5-coder-14b-q4_k_m	Kod	9,0 GB	Apache 2.0
Devstral Small 2 24B	devstral-small-2-24b-instruct-2512-q4_k_m	Kod	14,3 GB	Apache 2.0
Qwen3 Coder 30B-A3B (MoE)	qwen3-coder-30b-a3b-q4_k_m	Kod	18,6 GB	Apache 2.0
DeepSeek R1 0528 Qwen3 8B	deepseek-r1-0528-qwen3-8b-q4_k_m	Akıl yürütme	5,0 GB	MIT
Phi-4 14B	phi-4-14b-q4_k_m	Akıl yürütme	9,1 GB	MIT
Phi-4 Reasoning Plus 14B	phi-4-reasoning-plus-14b-q4_k_m	Akıl yürütme	9,1 GB	MIT
gpt-oss 20B (MoE)	gpt-oss-20b-mxfp4	Akıl yürütme	12,1 GB	Apache 2.0
Gemma 4 31B	gemma-4-31b-it-qat-q4_0	Akıl yürütme	17,7 GB	Apache 2.0
Mistral Small 3.2 24B	mistral-small-3.2-24b-instruct-2506-q4_k_m	Türkçe	14,3 GB	Apache 2.0

API'de kullanacağınız ad, tablodaki katalog kimliğinin başına node/ eklenerek oluşur: örneğin node/gemma-4-e2b-it-qat-q4_0 ya da node/gpt-oss-20b-mxfp4.

Kendi Cihazınızdaki Modeli API ile Kullanmak

Kendi cihazınızdaki modeli iki yoldan kullanabilirsiniz:

• Panel sohbeti: Model listesinde "Cihazım · <model>" olarak görünür; seçip doğrudan yazışırsınız.
• API: Panelden oluşturduğunuz kişisel API anahtarınızla n8n, Cursor, LangChain, OpenAI kütüphaneleri ya da kendi kodunuz gibi dış programlardan.

Uç ve anahtar, katalogdaki diğer modellerle aynıdır. Tek fark model adıdır:

curl https://api.onysoft.com/v1/chat/completions \
  -H "Authorization: Bearer sk-ony-ANAHTARINIZ" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "node/qwen3-4b-q4_k_m",
    "messages": [
      {"role": "user", "content": "Merhaba! Kısaca kendini tanıtır mısın?"}
    ],
    "max_tokens": 300
  }'

OpenAI Python kütüphanesiyle aynı istek:

from openai import OpenAI

client = OpenAI(base_url="https://api.onysoft.com/v1", api_key="sk-ony-ANAHTARINIZ")

yanit = client.chat.completions.create(
    model="node/qwen3-4b-q4_k_m",
    messages=[{"role": "user", "content": "Bu cümleyi özetle: ..."}],
)
print(yanit.choices[0].message.content)

Model adlandırma

Model adı	Anlamı
node/qwen3-4b-q4_k_m	Bu modelin hazır olduğu çevrimiçi cihazlarınızdan herhangi biri.
node/qwen3-4b-q4_k_m@12	Yalnız 12 numaralı cihazınız. Cihaz çevrimdışıysa istek başka cihaza gitmez, 503 node_unavailable döner.

Hangi modellerin o an hazır olduğunu GET https://api.onysoft.com/v1/node/models ile listeleyebilirsiniz. Yanıtta her model için kullanacağınız ad (id), cihaza özel ad (device_model_id) ve kullanıma hazır olup olmadığı (ready) yer alır.

Bilmeniz gereken sınırlar

• Yalnız kişisel API anahtarları kullanılabilir; proje ve iş ortağı anahtarları 403 node_owner_only alır.
• Kullanıcı başına aynı anda en fazla 4 istek işlenir.
• max_tokens vermezseniz varsayılan 2048'dir, üst sınır 8192'dir.
• tools, tool_choice ve response_format cihaza iletilir; araç çağırmayı bugünkü testimizde doğruladık.
• stream:true desteklenir; ancak cihaz yanıtı tamamını ürettikten sonra gönderdiği için parçalar, yanıt cihazda bitince art arda gelir.

Tüm parametreler, hata kodları ve süre sınırları Kendi Cihazınızdaki Modeller dokümanında yer alıyor.

Gerçek Ölçümler: Apple M5, 16 GB

Aşağıdaki sonuçlar 22 Eylül 2026'da, 16 GB birleşik belleğe sahip bir Apple M5 Mac üzerinde ölçüldü. İstekler, bir müşterinin yapacağı gibi Onysoft API'si üzerinden gönderildi.

Ölçüm	Sonuç
Qwen3 4B üretim hızı	~26,5 token/sn
Gemma 4 E2B üretim hızı	~22 token/sn
Kısa yanıt, akışsız istek (API üzerinden, uçtan uca)	0,8–1,5 sn
Kısa yanıt, akışlı istek (API üzerinden, uçtan uca)	~1 sn
Araç çağırma (tools)	Çalıştı

Bu rakamlar tek bir bilgisayarda ve kısa yanıtlarla ölçüldü. Hız; modele, bilgisayarınızın ekran kartına ya da belleğine, yanıtın uzunluğuna ve aynı anda çalışan model sayısına göre değişir. Daha büyük modeller daha yavaş, işlemci modu ise ekran kartına göre belirgin biçimde daha yavaştır.

Güvenlik ve Gizlilik

• İstek yalnız sizin cihazınıza gider. node/ ile başlayan bir istek, onu gönderen anahtarın sahibinin cihazlarında çalışır. Başka bir kullanıcının isteği bu yoldan sizin cihazınıza gelemez.
• Port açılmaz. Bilgisayarınız dışarıdan bağlantı kabul etmez; model yalnız yerel adreste (127.0.0.1) dinler ve bağlantıyı program kurar.
• Model dosyaları doğrulanır. Her dosya SHA256 özetiyle kontrol edilir; uyuşmayan dosya kullanılmaz.
• Giriş cihaz koduyla yapılır. Program bir kod gösterir, siz onu hesabınızla tarayıcıda onaylarsınız.
• Açık kayıt. İstek, sonucun size dönebilmesi için Onysoft sunucusundan geçer ve diğer modellerde olduğu gibi token sayısı, süre ve içerikle birlikte kendi kullanım kayıtlarınıza yazılır. Böylece kendi cihazınızdaki kullanımı da panelden izleyebilirsiniz.

Onysoft GPU Paylaşım Programı

Onysoft AI Gateway Node, Onysoft GPU Paylaşım Programı'nın bir parçası olarak dağıtılıyor. Program hem bireysel kullanıcılara hem de kurumlara açık.

Süreç üç adımdan oluşur:

1. Başvuru: GPU Paylaşım Programı sayfasından bireysel ya da kurumsal başvuru yaparsınız. Başvuru sırasında programın sözleşmelerini ve politikalarını okuyup kabul edersiniz.
2. Onay: Başvurunuz incelenir; onaylandığında size bildirilir.
3. İndirme ve bağlama: Onaylanan kullanıcılar Windows ya da macOS programını panelden (GPU Paylaşımım) indirir, cihaz koduyla hesaplarına bağlar ve modellerini seçer.

Bugün ne var, ne yok?

Özellik	Bugünkü durum
Kendi cihazınızdaki modeli panel sohbetinden kullanma	Hazır
Kendi cihazınızdaki modeli API ile kullanma (node/)	Hazır, ücretsiz
Windows ve macOS (Apple Silicon) programı	Hazır, onay sonrası panelden
Windows'ta işlemci (CPU) modu	Hazır
Başka müşterilerin isteklerinin cihazınıza yönlendirilmesi	Kapalı
Gelir paylaşımı ya da ödeme	Yok

Yani bugün Onysoft AI Gateway Node, kendi donanımınızı kendi işleriniz için kullanmanızı sağlıyor. Program geliştikçe yeni imkânları ayrıca duyuracağız.

Sonuç

Onysoft AI Gateway Node ile bir ekran kartına ya da Apple Silicon Mac'e sahip olan herkes, Gemma 4, Qwen3, Phi-4 ve gpt-oss-20b gibi açık kaynak modelleri kendi bilgisayarında çalıştırabilir ve bu modelleri alışık olduğu API ile, ücretsiz kullanabilir. Özetle:

• 31 açık kaynak model, hepsi Apache 2.0 ya da MIT lisanslı, SHA256 ile doğrulanarak indirilir.
• Windows 10/11 ve Apple Silicon Mac; ekran kartı yetersizse Windows'ta işlemci modu.
• Aynı uç: POST /v1/chat/completions, model adı node/<katalog_kimliği>.
• Port açılmaz; istek yalnız kendi cihazınıza gider.
• Apple M5 16 GB'ta Qwen3 4B ile ~26,5 token/sn; kısa yanıtlar API üzerinden yaklaşık 1 saniyede.

Başvurmak ve programı ayrıntılı incelemek için GPU Paylaşım Programı sayfasına göz atın. Teknik ayrıntılar dokümanda; bulut modellerinin tamamı modeller sayfasında.

İlgili yazılar: OpenAI SDK ile base_url ayarı, AI kod asistanlarını tek anahtarla kullanmak, KVKK uyumlu yapay zeka kullanımı ve açık kaynak bir modeli kendi sunucumuzda çalıştırma deneyimimiz.