Çağrı bazlı telemetri
Sağlayıcı, model, girdi / çıktı / önbellekten gelen token'lar, maliyet dökümü, ilk token süresi, çıktı token'ı başına süre, guardrail ve kişisel veri bayrakları, failover kaynağı, trace id — çağrı başına 28 AI alanı kaydedilir.
AI ekipleri · Telemetri
Apinizer'ın AI hattı prompt'ları, yanıtları, MCP çağrılarını ve A2A konuşmalarını tek bir Elasticsearch indeksinde — ve tek bir denetim defterinde — birleştirir. Maliyet sıçramaları, gecikme kuyruğu ve guardrail isabetleri aynı panolarda yaşar.
Sorun
Model ekibinin elinde prompt örneklerinden oluşan bir tablo var. Platform ekibinde Prometheus var. Uyumluluk ekibinde hiçbir şey yok. 'Bu bize salı günü kaça mal oldu' sorusu gündeme geldiğinde üç araç birbirini tutmuyor. Apinizer her AI olayını — prompt, yanıt, araç çağrısı, agent konuşması — maliyet ve denetimle birlikte tek bir yere koyar. Salı sorusu tek bir sorguya dönüşür.
Yetenekler
Sağlayıcı, model, girdi / çıktı / önbellekten gelen token'lar, maliyet dökümü, ilk token süresi, çıktı token'ı başına süre, guardrail ve kişisel veri bayrakları, failover kaynağı, trace id — çağrı başına 28 AI alanı kaydedilir.
Bir proxy için canlı trace'i açın ve çağrıları gerçekleşirken izleyin. Zincirleme çağrılar tek bir trace ağacı oluşturur; zaman çizelgesi görünümü sürenin nereye gittiğini gösterir ve kaydedilmiş bir istek worker üzerinde yeniden oynatılarak aynı durum yeniden üretilebilir.
Her AI kararının dengelediği iki sayı — çağrı bazında birleştirilmiş tek pano, sekiz boyutta ayrıştırılmış: kişi, grup, organizasyon birimi, uygulama, model, proje, deployment ve ekip.
Bir akışın çıkışta hangi MCP araçlarını ve A2A becerilerini — ve kaç kez — çağırdığı sıradan trafik kaydına yazılır; böylece "bu agent gerçekte ne yaptı" sorusunu yanıtlamak artık trace açmayı gerektirmez. İsteğin gerçekte ulaştığı sağlayıcı adresi de kendi sütununu alır ve query string olmadan kaydedilir; böylece URL'deki bir anahtar asla loga düşmez.
Yavaş bir istek, süreyi tüketen politikaya atfedilebilir — sıra, politika türü ve milisaniye cinsinden süre trafik kaydında yer alır. Varsayılan olarak kapalıdır ve log hedefi başına açılır; böylece üretimde tam gövde trace'in yükü olmadan atıf elde edersiniz.
Herhangi bir agent zincirini uçtan uca yeniden kurun — MCP çağrıları ve A2A sıçramaları dâhil. Sorgu; prompt'ları araç çağrılarına, yanıtlara ve kullanıcıya dönen cevaplara bağlar.
AI metriklerinde EMA + Bollinger bantları. Gecikme kuyruğu patladığında nöbetçiye P1; isabet kaçırma oranı sinsice arttığında özete P3.
Her AI olayı denetim defterinin yanında durur; aynı veri OpenTelemetry GenAI semantiğiyle OTLP üzerinden, bir Prometheus metrik ailesiyle ve içe aktarılabilir bir Grafana panosuyla yerel olarak dışa aktarılır. Düzenleyicinin AI kararlarına dair soruları adli bir projeyle değil, kayıtlı bir sorguyla çözülür.
Kullanım senaryoları
Müşteri şikâyeti belirli bir yanıta atıf yaptı; denetim sorgusu prompt'u, modeli, yönlendirme kararını ve araç çağrılarını saniyeler içinde döndürdü. Yanıt: tek paragraf, hafta sonuna kadar.
Sanal tüketici başına token harcaması EMA üst bandını kırdı; anomali alarmı günlük bütçe devrilmeden tetiklendi. Ekip bir istemcideki retry fırtınasını buldu, sınırladı ve taban çizgisine dönüldü.
30 dakikadan kısa sürede yakalandı
Denetim sorgusu: 'bu vatandaşın dosyası için modele hangi bağlam girdi'. Sonuç: kişisel veri yok; maskeleme güvenlik duvarı işini yapmış. Şikâyet kanıtla kapatıldı.
AI tarafından çözülen kayıtlar prompt maliyetleriyle etiketleniyor; NPS puanı başına maliyet hesaplanıyor. Finans, birim ekonomisini kendi panosunda görüyor.
Editör bir yanıtı işaretliyor; ekip kaydedilmiş trace'i açıyor, tam prompt'u ve getirilen RAG bağlamını okuyor, ardından isteği worker üzerinde yeniden oynatarak farklı bir modele karşı yeniden üretiyor.
Zincir MCP → A2A → MCP → API hattını izledi. Denetim sorgusu her aşamayı sırasıyla döndürdü; kök neden bir gün içinde iş ortağına iletildi.
P99 gecikmesi bir gecede 2,4 saniyeden 3,9 saniyeye kaydı. Anomali alarmı tetiklendi; kök neden sağlayıcı tarafındaki bir bozulmaydı; yönlendirme 90 saniyede ikincile geçti.
Operasyonlarda daha sıkı, analitikte daha gevşek alarmlar var. Aynı gözlemlenebilirlik yüzeyi, agent sınıfı başına farklı politikalar.
Önerilen ürünler
Çağrı bazlı telemetri, trace DAG'ı, yeniden oynatma, zincir yeniden kurma.
AI Gateway sayfasını açınMaliyet, gecikme, token ve denetimi tek görünümde sunan Elasticsearch tabanlı panolar.
Analytics sayfasını açınAI metriklerinde anomali tespiti; nöbet düzeninize bağlı, önem derecesine duyarlı alarmlar.
Monitoring sayfasını açınAI trafiği ve API trafiği tek gözlemlenebilirlik düzleminde — tüketici ve denetimle birleştirilmiş.
Gateway sayfasını açınKaynaklar
Çağrı bazlı telemetri, trace yeniden oynatma, adli zincirler.
Her AI olayının düştüğü yer — yönlendirme, önbellekleme ve güvenlik duvarlarının yanında.
Maliyet, gecikme, token'lar ve denetim tek Elasticsearch üzerinde.
Anomali tespiti ve önem derecesine duyarlı aksiyon zincirleri.
AI gözlemlenebilirliği KVKK / GDPR / BDDK kanıtlarını nasıl besler.
AI telemetrisinin platformdaki yeri.
Daha fazlasını keşfedin
Birleştirilmiş AI gözlemlenebilirliği
Seçtiğiniz bir Kubernetes üzerinde 30 dakikalık uygulamalı bir tur — telemetri, trace, alarmlar, denetim.