AI ekipleri · Yönlendirme
Apinizer'ın AI Gateway'i her prompt'u maliyete, gecikmeye, yeteneğe ve politikaya göre yönlendirir. Gerektiğinde frontier model; yeterliyse bölgesel; egemenlik gerekiyorsa açık ağırlıklı — hepsi tek kimlik, tek denetim, tek çalışma zamanı altında.
Sorun
Servisler bir sprint içinde model seçer ve o modelin faturasını, hız limitini, egemenlik profilini ve kesintilerini sonsuza dek devralır. Sağlayıcıda bir olay yaşandığında uygulamada da yaşanır. Daha ucuz bir model iş görecekken ekip yine de frontier fiyatını öder. Apinizer modeli bir politika kararına dönüştürür — servis başına değil, çağrı başına.
Yetenekler
Çağrının özniteliklerine göre yönlendirin — tüketici, proje, header'lar, istenen model sınıfı. Özetleme küçük bir modele, kod üretimi kod uzmanı bir modele, görüntü işleme çok modlu bir modele — uygulamayı değiştirmeden.
İki yönlendirme algoritması sizin yerinize karar verir: en düşük maliyet, model kataloğunun birim fiyatlarına göre seçer; en düşük gecikme, canlı sağlık probu gecikmesine göre seçer. Frontier sağlayıcılar yalnızca kurallar öyle diyorsa devreye girer ve her yedek bacakta bacak başına maliyet tavanı vardır. Kullanım süresi dolmuş bir model gateway'de reddedilir ve OpenAI uyumlu `GET /v1/models` keşif yanıtından çıkarılır; böylece bir istemci, kullanımdan kalkmakta olan bir modele kendini sabitleyemez.
Yirmi altı sağlayıcı ve 185 model, arayüzde düzenleyebileceğiniz fiyatlandırma ve yaşam döngüsü tarihleriyle birlikte hazır gelir. Katalogda olmayan bir sağlayıcı — bölgesel bir tedarikçi, dahili bir çıkarım servisi — bir içe aktarma dosyasıyla değil, ekran üzerinde tanımlanır; adaptör konuştuğu iletişim protokolünü izler, böylece özel bir endpoint kendi doğal formatıyla konuşabilir. Sağlayıcı eklemek bir sürüm beklemez.
Sağlayıcıda takılma mı var? Trafik, havuzdaki aynı yetenek profiline sahip bir sonraki sağlayıcıya kayar. Uygulama, bir olay yaşandığını bilmez bile.
Koşullu yönlendirme, isteğin zaten taşıdığı öznitelikleri okur — bir header, bir token claim'i, tüketici kimliği — böylece düzenlemeye tabi veri taşıyan trafik, yalnızca o yargı bölgesi için onayladığınız sağlayıcılara ulaşır. Kural kod değil veridir ve bir kez devreye alındığında her çağrıya otomatik uygulanır.
Başka bir tedarikçi ailesindeki yedek bacakta istek, o tedarikçinin doğal formatında yeniden kurulur — girişte OpenAI, çıkışta Anthropic, Gemini veya Bedrock. Yeniden denemeler idempotent kalır; başarısız bir bacak asla iki kez faturalanmaz.
Yerel llama / mistral / qwen kurulumları, yönlendirme havuzunda barındırılan sağlayıcılarla yan yana yaşar. Seçimi uygulama değil, politika yapar.
Kullanım senaryoları
Müşteri hizmetleri özetlerinin %90'ı, ülke içinde barındırılan Türkçeye uyarlanmış bir modelle karşılanıyor. Frontier sağlayıcılar yalnızca çekişmeli veya İngilizce karışık durumlarda kullanılıyor.
%90 yerel, %10 frontier
Kod üretimi ve incelemesi kod odaklı bir modele, tasarım dokümanı özetleme genel bir modele gidiyor. Kuyruk gecikmesi düşüyor; kalite yükseliyor.
Yönlendirme kuralı, istek header'larını ve içeriği okuyor. PII'ye benzeyen her şey yalnızca onaylı yargı bölgelerindeki sağlayıcılara gidiyor; geri kalan her şey tüm havuzu kullanıyor.
Frontier sağlayıcı 14 dakika boyunca 5xx dönüyor. Gateway ikincile geçiyor; uygulama, olay sayfası açılmadan hizmet vermeye devam ediyor.
0 kullanıcıya yansıyan etki
Yeni model, mevcut modelin yanında birincil havuza katılıyor. Analytics Engine'deki model bazlı maliyet, gecikme ve hata telemetrisi soruyu bir haftada karara bağlıyor; geçiş tek bir politika değişikliği, geri dönüş de bir o kadar kolay.
Uyumluluk onaylı model listesi merkezi olarak yönetiliyor. Yönlendirme asla sertifikasız bir model seçmiyor; denetçiler 'hangi model yanıtladı' diye sormayı bırakıyor.
İlk çağrı egemen Arapça LLM'e gidiyor; frontier sağlayıcılar yedekte. Maliyet düşüyor; egemenlik anlatısı güçleniyor.
Yerel 70B model, SCADA agent prompt'larını çalıştırıyor. Barındırılan sağlayıcılar operasyon dışı kullanıma ayrılmış. Agent, operatör ağından asla çıkmıyor.
Önerilen ürünler
Kural tabanlı koşullu yönlendirme, en düşük maliyet ve en düşük gecikme algoritmaları, egemenlik kuralları, aileler arası failover.
AI Gateway sayfasını açınSeçenekleri karşılaştırmak için model, proje ve tüketici bazında telemetri.
Analytics sayfasını açınHangi model yanıtlamış olursa olsun semantik yanıtları destekleyen önbellek katmanı.
Cache sayfasını açınSağlayıcı sağlığı ve gecikme probları; bozulmada önem derecesine duyarlı alarmlar.
Monitoring sayfasını açınKaynaklar
Koşullu kuralların, maliyetin, gecikmenin ve egemenliğin yönlendirme politikasında nasıl bir araya geldiği.
Her AI çağrısının üzerinde yaşadığı hat — sağlayıcılar, MCP, agent'lar.
Sağlayıcı, proje ve tüketici bazında telemetri.
AI hattının topolojideki yeri.
Yönlendirme politikası kod olarak yayınlanır, Git'te incelenir, idempotent uygulanır.
Yönlendirmenin MCP yönetişimi, A2A gateway, güvenlik duvarları ve önbellekle bir araya geldiği yer.
Daha fazlasını keşfedin
Her çağrıya doğru model
30 dakikalık uygulamalı bir tanıtım — yetenek bazlı yönlendirme, maliyet katmanları, egemenlik kuralları — seçtiğiniz bir Kubernetes üzerinde.
