Kendi Cihazınızdaki Modeller

Bilgisayarınızda çalışan modelleri dış programlardan API ile kullanın

Onysoft AI Gateway Node programını bilgisayarınıza kurup hesabınıza bağladıysanız, o bilgisayarda çalışan modelleri n8n, Cursor, LangChain, OpenAI kütüphaneleri ya da kendi kodunuz gibi dış programlardan kullanabilirsiniz. Uç ve anahtar diğer modellerle aynıdır; tek fark, model adının başındaki node/ önekidir.

Nasıl Çalışır?

Bilgisayarınız dışarıya port açmaz; bağlantıyı her zaman Node programı sunucuya doğru kurar. Bir istek şu yolu izler:

1. Programınız isteği her zamanki gibi https://api.onysoft.com/v1/chat/completions adresine gönderir.
2. Sunucu, anahtarın panelden oluşturduğunuz kişisel bir anahtar olduğunu ve istenen modelin çevrimiçi cihazlarınızdan birinde hazır olduğunu kontrol eder.
3. İstek, sahibi siz olacak şekilde kuyruğa alınır.
4. Bilgisayarınızdaki Node programı, sunucuya kendisinin açtığı ve sürekli yenilediği giden bağlantı üzerinden işi alır ve modeli bilgisayarınızda yerel olarak (127.0.0.1) çalıştırır.
5. Sonuç sunucuya geri gönderilir ve programınıza diğer modellerle aynı biçimde yanıt olarak döner.
6. Token sayıları ve süre kullanım kaydınıza işlenir; ücret 0'dır.

Programınız (n8n, Cursor, kendi kodunuz)
   │  ▲
   │  │   POST /v1/chat/completions  "model": "node/..."
   │  │   yanıt, diğer modellerle aynı biçimde döner
   ▼  │
api.onysoft.com   anahtar ve cihaz kontrolü → kuyruk
   ▲  │
   │  │   giden bağlantı: Node programı işi alır, sonucu geri gönderir
   │  │   (bilgisayarınızda port açılmaz)
   │  ▼
Bilgisayarınız    Onysoft AI Gateway Node → yerel model (127.0.0.1)

Model Adı

Katalog kimliğinin başına node/ ekleyin. Aynı model birden fazla cihazınızda hazırsa istek bunlardan birine gider; belirli bir cihazı seçmek için sonuna @<cihaz_no> ekleyin.

Kullanabileceğiniz adları ve cihaz numaralarını GET /v1/node/models yanıtındaki id ve device_model_id alanlarında bulursunuz. node/ sonrasındaki katalog kimliğinde büyük/küçük harf farkı önemli değildir; öneki ise küçük harfle yazın. Anahtarınıza model kısıtı tanımladıysanız, tüm cihaz modellerine izin vermek için listeye node/* ekleyebilirsiniz.

Örnek İstek

Uç, anahtar ve istek gövdesi diğer modellerle aynıdır; yalnız model alanı değişir.

curl https://api.onysoft.com/v1/chat/completions \
  -H "Authorization: Bearer sk-ony-your-api-key" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "node/qwen3-4b-q4_k_m",
    "messages": [
      {"role": "user", "content": "Merhaba! Kısaca kendini tanıtır mısın?"}
    ],
    "max_tokens": 300
  }'

Örnek Yanıt

Yanıt diğer modellerle aynı biçimdedir. id isteğin kimliğidir (req_...), model alanında cihaz numarası olmadan node/<katalog_kimliği> yazar ve cost.amount her zaman 0'dır. Model düşünce metni ürettiyse mesajda reasoning ve reasoning_content alanları da bulunur; araç çağırdıysa tool_calls gelir ve finish_reason değeri tool_calls olur.

{
  "success": true,
  "data": {
    "id": "req_5c1e9a7d2b3f4e6a8c0d1e2f",
    "object": "chat.completion",
    "created": 1758542400,
    "model": "node/qwen3-4b-q4_k_m",
    "choices": [
      {
        "index": 0,
        "message": {
          "role": "assistant",
          "content": "Merhaba! Ben Qwen3, bilgisayarınızda çalışan bir dil modeliyim."
        },
        "finish_reason": "stop",
        "logprobs": null
      }
    ],
    "usage": {
      "prompt_tokens": 18,
      "completion_tokens": 16,
      "total_tokens": 34
    },
    "cost": {
      "amount": 0,
      "currency": "USD"
    }
  }
}

Desteklenen Parametreler

Cihazınıza yalnız aşağıdaki alanlar iletilir:

• messages, max_tokens (ya da max_completion_tokens), temperature, top_p, stop, seed, presence_penalty, frequency_penalty, response_format, tools ve tool_choice. Akışta ayrıca stream ve stream_options.include_usage dikkate alınır.
• max_tokens vermezseniz varsayılan 2048'dir; 8192'den büyük bir değer verirseniz 8192'ye indirilir.
• Modeli çalıştırabilecek cihazlarınızdan biri modeli işlemcide (CPU) çalıştırıyorsa ve max_tokens vermediyseniz varsayılan, akışsız istekte 256, stream:true isteğinde 512'dir. Açıkça verdiğiniz değere dokunulmaz.
• n yalnız 1 olabilir; başka bir değer 400 invalid_request döner.
• Listede olmayan alanlar cihaza iletilmez ve yok sayılır.

Akış (Streaming)

stream:true gönderdiğinizde yanıt, diğer modellerde olduğu gibi SSE parçaları hâlinde gelir. Ancak cihaz yanıtı sunucuya tamamını ürettikten sonra gönderir; bu yüzden parçalar, yanıt cihazda tamamlanınca art arda ve yaklaşık 40 karakterlik dilimler hâlinde gelir.

Cihaz yanıtı üretirken bağlantı açık tutulur: sunucu 5 saniyede bir : ping yorum satırı gönderir. SSE istemcileri ve OpenAI kütüphaneleri bu satırları yok sayar. Akışsız istekte süre sınırı daha kısa olduğundan uzun yanıtlar için stream:true kullanmanızı öneririz.

: ping

: ping

data: {"id":"req_5c1e9a7d2b3f4e6a8c0d1e2f","object":"chat.completion.chunk","created":1758542400,"model":"node/qwen3-4b-q4_k_m","choices":[{"index":0,"delta":{"role":"assistant","content":""},"finish_reason":null,"logprobs":null}]}

data: {"id":"req_5c1e9a7d2b3f4e6a8c0d1e2f","object":"chat.completion.chunk","created":1758542400,"model":"node/qwen3-4b-q4_k_m","choices":[{"index":0,"delta":{"content":"Merhaba! Ben Qwen3, bilgisayarınızda çal"},"finish_reason":null,"logprobs":null}]}

data: {"id":"req_5c1e9a7d2b3f4e6a8c0d1e2f","object":"chat.completion.chunk","created":1758542400,"model":"node/qwen3-4b-q4_k_m","choices":[{"index":0,"delta":{"content":"ışan bir dil modeliyim."},"finish_reason":null,"logprobs":null}]}

data: {"id":"req_5c1e9a7d2b3f4e6a8c0d1e2f","object":"chat.completion.chunk","created":1758542400,"model":"node/qwen3-4b-q4_k_m","choices":[{"index":0,"delta":{},"finish_reason":"stop","logprobs":null}]}

data: {"id":"req_5c1e9a7d2b3f4e6a8c0d1e2f","object":"chat.completion.chunk","created":1758542401,"model":"node/qwen3-4b-q4_k_m","choices":[],"usage":{"prompt_tokens":18,"completion_tokens":16,"total_tokens":34},"cost":{"amount":0,"currency":"USD"}}

data: [DONE]

Parça sırası: role, varsa düşünce metni (reasoning / reasoning_content), content, varsa tool_calls ve finish_reason. stream_options.include_usage gönderdiyseniz ardından bir usage parçası gelir. En sonda her zaman usage ve cost içeren parça, ardından [DONE] gönderilir.

Akış başladıktan sonra oluşan hatalar (cihazın isteği süresinde almaması, zaman aşımı, cihaz hatası) HTTP durum kodu olarak değil, akışın içinde bir error parçası olarak gelir ve akış [DONE] ile kapanır. Anahtar, model adı ve istek gövdesiyle ilgili hatalar ise akış başlamadan, normal JSON hata yanıtı olarak döner.

data: {"error":{"code":"node_timeout","message":"..."}}

data: [DONE]

Cihaz Modellerini Listeleme

GET /v1/node/models, hesabınıza bağlı cihazlarda yüklü modelleri döner. Aynı model iki cihazınızda yüklüyse iki satır gelir (node_id farklıdır). Bir modeli o an kullanabilmek için ready alanının true olması gerekir. Bu uç da yalnız kişisel anahtarlarla çalışır.

curl https://api.onysoft.com/v1/node/models \
  -H "Authorization: Bearer sk-ony-your-api-key"

{
  "success": true,
  "object": "list",
  "data": [
    {
      "id": "node/qwen3-4b-q4_k_m",
      "object": "model",
      "created": 1758369600,
      "owned_by": "cihazim",
      "name": "Qwen3 4B",
      "purpose": "genel",
      "context_window": 8192,
      "node_id": 12,
      "node_name": "MacBook Pro",
      "device_model_id": "node/qwen3-4b-q4_k_m@12",
      "online": true,
      "sharing": true,
      "model_status": "hazir",
      "ready": true,
      "last_seen_at": "2026-09-22T14:05:31+03:00",
      "pricing": {
        "input_per_million_tokens": 0,
        "output_per_million_tokens": 0,
        "currency": "USD"
      }
    }
  ],
  "total": 1
}

Hata Kodları

Hata yanıtları diğer uçlarla aynı biçimdedir: {"success": false, "error": {"code": "...", "message": "..."}}. Hata mesajları Türkçedir.

Sınırlar

• Yalnız panelde API Anahtarları sayfasından oluşturduğunuz kişisel anahtarlar kullanılabilir; proje ve iş ortağı anahtarları 403 node_owner_only alır.
• Kullanıcı başına aynı anda en fazla 4 istek (kuyrukta bekleyenler ve cihazda çalışanlar birlikte sayılır).
• Akışsız istekte cihazın isteği alması için 30 saniye, yanıtı üretmesi için 120 saniye vardır; toplam bekleme 160 saniyeyi geçmez. stream:true isteğinde bu süreler 60 ve 180 saniyedir (model işlemcide çalışıyorsa 300 saniye).
• Bağlam penceresi modelin context_window değeridir (yazılı değilse 8192 token). İstem uzunluğu yaklaşık 4 karakter = 1 token hesabıyla tahmin edilir.
• Mesajlar en fazla 256 KB, istek gövdesinin tamamı en fazla 512 KB olabilir; en fazla 64 araç ve en fazla 4 stop metni tanımlanabilir.

Gizlilik ve Güvenlik

• İsteğiniz yalnızca kendi cihazlarınıza gider; başka bir kullanıcının cihazına asla yönlendirilmez. Başkaları da bu yoldan sizin cihazınıza istek gönderemez.
• Bilgisayarınız dışarıya port açmaz. Bağlantıyı her zaman Node programı sunucuya doğru kurar; bu yüzden modem, NAT ya da güvenlik duvarı arkasında ek bir ayar gerekmez.
• Her istek, diğer modellerde olduğu gibi token sayıları, süre ve istek/yanıt içeriğiyle birlikte kullanım kayıtlarınıza yazılır.

Ücret

Kendi cihazınızı kullanmak ücretsizdir; bakiyenizden kesinti yapılmaz. İstekler kullanım kaydınızda tutarı 0 olarak görünür, token sayıları ve süre yine kaydedilir.

Sık Sorulan Sorular

Neden ayrı bir uç yok?

n8n, Cursor, LangChain ve OpenAI kütüphaneleri gibi OpenAI uyumlu araçlar sohbet için /v1/chat/completions ucunu bekler. Aynı ucu kullandığımız için bu araçlarda adresi ya da anahtarı değiştirmeniz gerekmez; yalnız model adını değiştirirsiniz. node/ öneki, isteğin katalogdaki bir modele değil sizin cihazınıza gideceğini açıkça belirtir.

Bilgisayarım kapalıysa ne olur?

Çevrimiçi ve modeli hazır bir cihazınız yoksa istek 503 node_unavailable ile döner. Bilgisayarınız az önce kapandıysa sunucu onu 45 saniye boyunca çevrimiçi sayar; bu durumda istek kuyruğa girer ve hata, isteğin alınma süresi dolunca (akışsız istekte 30, akışta 60 saniye) gelir. Akışlı istekte bu hata akışın içinde bir error parçası olarak gelir. İstek başka bir cihaza ya da başka bir modele aktarılmaz.

Proje anahtarımla kullanabilir miyim?

Hayır. Cihaz modelleri yalnız panelde API Anahtarları sayfasından oluşturduğunuz kişisel anahtarlarla çalışır; proje ve iş ortağı anahtarları 403 node_owner_only alır.

Başkası benim cihazımı bu yoldan kullanabilir mi?

Hayır. İstek, onu gönderen anahtarın sahibinin cihazlarına gider. Sizin anahtarınızla gönderilen istek yalnız sizin cihazlarınızda, başkasının anahtarıyla gönderilen istek yalnız onun cihazlarında çalışır.