Platform ekipleri · Runtime

Öğle arası deploy edin. Operasyona haber vermeyin.

Her tanım, politika ve dönüşüm çalışan gateway üzerine anında yüklenir. Yeniden başlatma yok, kademeli reboot yok, kaybolan devam eden istek yok — dağıtık önbellek de her pod yeniden zamanlamasından sağ çıkar.

Hot deploy & cache — For platform teams use case overview from Apinizer.
For platform teams · Hot deploy & cache

Sorun

Çoğu gateway, deploy'un küçük bir iş olduğunu varsayar. Değildir.

Yeniden deploy, kademeli restart demektir. Kademeli restart; sıcak önbelleklerin soğuması, bağlantı havuzlarının yeniden kurulması, JWK'lerin yeniden çekilmesi ve kuyruk gecikmesinin on dakika boyunca sıçraması demektir. Mühendisler cuma sabahı 04:00'te deploy etmeyi öğrenir — bu da deploy etmedikleri anlamına gelir. Apinizer'ın runtime'ı deploy'u bir yapılandırma yenilemesi olarak ele alır: gateway yeni biçimi yerinde devralır, dağıtık önbellek ise sarsılmadan kalır.

  • 0

    yeniden başlatma

    tanım uygulaması başına

  • <200ms

    yayılım

    Worker'lar arasında

  • 0

    kaybolan devam eden istek

Yetenekler

Apinizer'ın buradaki rolü

Sıfır yeniden başlatmalı deploy'lar

Bir tanım uygulayın — gateway yeni biçimi yerinde devralır. Devam eden istekler eski biçimde tamamlanır; yenileri yeni biçime düşer.

Dağıtık önbellek

Her Worker'ın paylaştığı Hazelcast tabanlı önbellek. Yeniden zamanlamalardan sağ çıkar; geçersiz kılmalar küme genelinde bir saniyeden kısa sürede yayılır.

Koordineli geçersiz kılma

Bir önbellek anahtarını bir kez geçersiz kılın; her Worker onu bırakır. 'Bir node'da bayat değer var' kayıtları tarihe karışır.

Anahtar bazlı TTL'ler

Endpoint, tüketici ve yanıt varyantı bazında önbellek stratejileri. Sıcak veriye hızlı şeritler, hassas sorgulara temkinli TTL'ler.

Önceden ısıtılmış havuzlar

Bağlantı havuzları, JWK setleri, OAuth introspection önbellekleri — hepsi deploy'lar boyunca sıcak tutulur. Yeni pod'lar sıcak durumu eşlerinden devralır.

Önbellek analitiği

İsabet oranı, kaçırma oranı, tahliye nedeni — endpoint ve bölge bazında. Neyin önbelleğe değeceğini, bir maliyet sorununa dönüşmeden ayarlayın.

Kullanım senaryoları

Canlı ortamda bu şöyle görünür…

  • Perakende

    İstanbul'daki e-ticaret sitesi, Black Friday sırasında 40 politika değişikliği yayınlıyor

    Hız limitleri, header'lar, A/B rotaları — hepsi zirve anında hot deploy edildi. Sıfır kademeli restart, platforma yazılabilecek sıfır terk edilmiş sepet.

    40 deploy, 0 yeniden başlatma

  • Bankacılık

    Frankfurt'taki özel banka, JWK'leri bakım penceresi olmadan yeniliyor

    Kimlik sağlayıcı anahtarları döndürüyor. Gateway yeni JWK'leri yerinde devralıyor; devam eden token'lar eski anahtarla, yeniler yeni anahtarla doğrulanıyor.

  • Toplu taşıma

    Amsterdam ulaşım otoritesi, tarife API'sini 6 Worker üzerinde önbelleğe alıyor

    Yoğun saatlerde tarife sorgularında %97 önbellek isabet oranı. Aksama durumunda geçersiz kılma 400 ms'de yayılıyor.

    %97 isabet oranı

  • Sigorta

    Stockholm'deki sigortacı, gün ortasında yeni bir fiyatlandırma endpoint'ini A/B testine alıyor

    Hot deploy, trafiğin %5'ini yeni biçime ayırıyor. Telemetri doğruluyor; bir sonraki apply geçişi %100'e taşıyor. Pazarlığı yapılan bir deploy penceresi yok.

  • Bankacılık

    Varşova'daki banka, pazarlama kampanyası sırasında kredi hesaplayıcıyı önbellekten sunuyor

    Hesaplayıcı API, TV reklamı sırasında saniyede 12 bin isteği karşılıyor. Backend hiçbir zaman saniyede 200 istekten fazlasını görmüyor; gerisini girdi bazlı TTL'lerle önbellek sırtlanıyor.

    Backend yükünde 60 kat azalma

  • Telekom

    Prag'daki operatör, önbellek sıcaklığını kaybetmeden pod yeniden zamanlamaları yapıyor

    Hazelcast durumu küme genelinde koruyor. Bir pod yeniden zamanlandığında yeni pod önbelleği eşlerinden devralıyor — backend'e soğuk başlangıç fırtınası yok.

  • Medya

    Milano'daki yayıncı, her son dakika haberinde 4 milyon önbellek anahtarını geçersiz kılıyor

    Yayın ekibi haberi yayınlıyor; gateway etkilenen anahtarları küme genelinde geçersiz kılıyor. CDN bir saniyeden kısa sürede taze içerik çekiyor; okurlar asla bayat manşet görmüyor.

  • E-devlet

    Bakü'deki bakanlık, 200 endpoint'i mesai saatleri içinde yeniliyor

    APIops apply'ları anında devreye giriyor. Platform ekibi deploy'ları geceye planlamayı bırakıyor; operasyon el kitabı en uzun bölümünü kaybediyor.

Nasıl çalışır

Uygula, yay, sun — her seferinde bu sırayla.

  1. Adım 01

    Uygula

    Arayüz, APIops veya pipeline üzerinden bir tanım gönderin. Manager doğrular ve her Worker'a yayınlar.

  2. Adım 02

    Yay

    Worker'lar değişikliği bir saniyeden kısa sürede alır. Önbellek katmanı sıcak anahtarları korur; hiçbir şey düşürülmez.

  3. Adım 03

    Sun

    Devam eden istekler eski biçimde tamamlanır. Yeni istekler yeni biçime düşer — yeniden başlatma yok, ısınma yok, sıçrama yok.

  4. Adım 04

    Gözlemle

    Analytics geçişi, önbellek isabet oranlarını ve kuyruk gecikmesini gerçek zamanlı gösterir. Geri almak da yalnızca bir başka apply'dır.

Korkusuz deploy

Öğlen yayınlayın. Gece rahat uyuyun.

Seçtiğiniz bir Kubernetes üzerinde 30 dakikalık uygulamalı bir tur — uygulayın, yayın, önbelleğe alın, gözlemleyin.