AKS Autoscaling Architecture – Karpenter

Hola chicos,

Este diagrama se puede explicar como una comparación entre dos formas de escalar la capacidad de cómputo en AKS: Cluster Autoscaler tradicional y Node Auto-Provisioning (NAP) basado en Karpenter. Actualmente, Microsoft posiciona NAP como la opción moderna para aprovisionar automáticamente nodos optimizados según las necesidades reales de los Pods pendientes. Microsoft Learn

Resumen

El problema comienza cuando una aplicación genera más carga y Kubernetes crea nuevos Pods, pero el clúster ya no tiene suficiente CPU o memoria para ejecutarlos.

Applications
↓
More Pods
↓
Pending / Unschedulable Pods
↓
Need more compute capacity

A partir de ahí, AKS puede responder de dos maneras:

                AKS
                 │
         Pending Pods
                 │
        ┌────────┴────────┐
        │                 │
        ▼                 ▼
Cluster Autoscaler      Karpenter / NAP
        │                 │
        ▼                 ▼
Scale existing         Choose optimal
Node Pool              VM configuration
        │                 │
        ▼                 ▼
Azure VMSS            New Azure VM

La diferencia principal es que Cluster Autoscaler escala node pools previamente definidos, mientras que Karpenter/NAP analiza los requerimientos de los Pods y puede seleccionar dinámicamente una configuración de VM adecuada. Microsoft Learn


Paso 1. La aplicación genera demanda

Supongamos que tienes:

Frontend
Backend
Workers
APIs

y aumenta el tráfico.

Entonces HPA, KEDA o la propia aplicación pueden generar más replicas:

Pods = 5
↓
Pods = 20

Al principio Kubernetes intenta colocar esos Pods en los nodos existentes.


Paso 2. Kubernetes Scheduler intenta asignar los Pods

El Scheduler busca capacidad:

Pending Pod
↓
Scheduler
↓
Available Node?

Si existe capacidad:

YES
↓
Pod scheduled

Pero si todos los nodos están llenos:

NO
↓
Pod remains Pending

Esto genera la señal que interesa al autoscaling de infraestructura.


Paso 3. Cluster Autoscaler detecta Pods no schedulables

En el modelo tradicional:

Pending Pod
↓
Cluster Autoscaler

Cluster Autoscaler identifica que algún Pod no puede ejecutarse por falta de recursos.

Por ejemplo:

Pod requires:
CPU: 2
Memory: 8 GiB

y los nodos existentes no tienen esa capacidad disponible.


Paso 4. Cluster Autoscaler busca un Node Pool existente

Cluster Autoscaler trabaja sobre grupos de nodos ya definidos.

Por ejemplo:

AKS
│
├── systempool
│ Standard_D4s_v5
│
├── apppool
│ Standard_D8s_v5
│
└── memorypool
Standard_E8s_v5

El autoscaler debe decidir:

¿En qué Node Pool existente
podría ejecutarse este Pod?

Paso 5. Azure VMSS aumenta instancias

Cuando encuentra un pool adecuado:

Cluster Autoscaler
↓
Azure API
↓
Virtual Machine Scale Set
↓
Add VM

Ejemplo:

Node Pool
3 Nodes
↓
4 Nodes
↓
5 Nodes

AKS soporta Cluster Autoscaler para ajustar automáticamente la cantidad de nodos en un pool entre mínimos y máximos configurados. Microsoft Learn


Paso 6. El nuevo nodo entra en AKS

Una vez creada la VM:

Azure VMSS
↓
New VM
↓
Join AKS
↓
Ready Node

Entonces:

Pending Pod
↓
Scheduler
↓
New Node
↓
Running

El flujo completo tradicional es:

Pending Pods
↓
Cluster Autoscaler
↓
Existing Node Pool
↓
VMSS Scale Out
↓
New Node
↓
Pod Scheduled

Paso 7. ¿Qué cambia con Karpenter / NAP?

Node Auto-Provisioning utiliza Karpenter para analizar directamente los requisitos de los Pods pendientes.

Microsoft describe NAP como un sistema que aprovisiona y administra automáticamente la configuración de VM óptima para los workloads. Microsoft Learn

El flujo es:

Pending Pod
↓
Karpenter
↓
Evaluate requirements
↓
Choose VM
↓
Provision Node

Aquí ya no dependemos solamente de:

Node Pool A
Node Pool B
Node Pool C

predefinidos con un único SKU.


Paso 8. Karpenter analiza los requisitos del Pod

Por ejemplo, el Pod necesita:

CPU = 4
Memory = 16 GiB
OS = Linux
Arch = amd64
Zone = 2
Capacity = On-Demand

Karpenter analiza:

CPU
Memory
Architecture
OS
Availability Zone
VM family
Spot / On-Demand
Constraints

y busca una máquina adecuada.


Paso 9. NodePool define las reglas permitidas

Aquí entra el recurso NodePool.

Por ejemplo:

apiVersion: karpenter.sh/v1
kind: NodePool
metadata:
name: applications
spec:
template:
spec:
requirements:
- key: kubernetes.io/arch
operator: In
values:
- amd64
- key: kubernetes.io/os
operator: In
values:
- linux
- key: karpenter.sh/capacity-type
operator: In
values:
- on-demand

NodePool no define necesariamente:

"crea exactamente una D8s_v5"

sino reglas como:

Linux
amd64
On-Demand
Certain VM families
Certain zones

AKS NAP permite configurar selectors de SKU, límites de recursos y prioridades en estos NodePools. Microsoft Learn


Paso 10. AKSNodeClass define detalles Azure

En AKS moderno también existe:

AKSNodeClass

Este recurso permite definir características específicas de Azure, como imagen de VM, disco del sistema operativo, configuración kubelet o máximo de Pods por nodo. Microsoft Learn

Conceptualmente:

NodePool
│
│ What kind of capacity?
▼
AKSNodeClass
│
│ How should Azure create it?
▼
Azure VM

Paso 11. Karpenter selecciona una VM óptima

Supongamos que varias VMs son válidas:

D4s_v5
D8s_v5
E4s_v5
E8s_v5

Karpenter puede determinar cuál satisface mejor las necesidades del workload.

Pod Requirements
↓
Candidate SKUs
↓
Best fit
↓
Provision VM

Este modelo es una de las principales diferencias frente al Cluster Autoscaler tradicional. Microsoft Learn


Paso 12. Karpenter crea capacidad Just-In-Time

El concepto clave es:

Just-In-Time Capacity

No necesitas mantener constantemente capacidad sobrante.

No workload
↓
No extra nodes
Workload appears
↓
Create node

Esto puede mejorar la utilización de infraestructura y reducir capacidad ociosa.


Paso 13. El nodo se registra en Kubernetes

Después:

Karpenter
↓
Azure VM Provisioning
↓
Node joins AKS
↓
Node Ready

El Scheduler puede entonces ejecutar el Pod:

Pending Pod
↓
New Karpenter Node
↓
Running Pod

Paso 14. Consolidación

Karpenter no solo escala hacia arriba.

También puede analizar nodos infrautilizados:

Node A → 15%
Node B → 10%
Node C → 20%

y determinar que los Pods pueden consolidarse:

Node A ┐
Node B ├──► Node D
Node C ┘

Después:

Unused nodes
↓
Terminate

Esto permite reducir costes y mejorar la utilización de las máquinas. NAP contempla mecanismos de consolidación dentro del modelo de NodePool. Microsoft Learn


Paso 15. Spot y On-Demand

También puedes controlar el tipo de capacidad:

On-Demand

o:

Spot

Por ejemplo:

- key: karpenter.sh/capacity-type
operator: In
values:
- spot
- on-demand

Esto permite usar Spot para workloads tolerantes a interrupciones y On-Demand para servicios críticos.


Paso 16. Availability Zones

Otro criterio puede ser:

Zone 1
Zone 2
Zone 3

De esta manera:

Karpenter
↓
Select Zone
↓
Provision VM

Esto ayuda a distribuir capacidad entre zonas según las restricciones definidas.


Cluster Autoscaler vs Karpenter/NAP

Una forma didáctica de explicarlo en tu blog es:

CaracterísticaCluster AutoscalerKarpenter / NAP
Escala nodos✅✅
Usa pools existentes✅No necesariamente
Selección dinámica de VMLimitada✅
Just-in-time provisioningLimitado✅
Spot / On-Demand flexibleSegún pool✅
ConsolidaciónBásicaAvanzada
Optimización por workloadMenorMayor
ModeloNode-group centricWorkload centric

Microsoft incluso publica una guía específica para migrar de Cluster Autoscaler a Node Auto-Provisioning. Microsoft Learn


Cómo habilitar NAP

Para un clúster existente:

az aks update \
--name $AKS_NAME \
--resource-group $AKS_RG \
--node-provisioning-mode Auto

Microsoft documenta --node-provisioning-mode Auto como el mecanismo para habilitar Node Auto-Provisioning. Microsoft Learn

En AKS Automatic, NAP viene preconfigurado; en AKS Standard se habilita explícitamente. Microsoft Learn


Observabilidad del autoscaling

Durante todo el proceso conviene monitorizar:

Pending Pods
Node Count
Provisioning Time
CPU
Memory
Node utilization
Scheduler failures
Spot interruptions
Scaling events

Con:

Azure Monitor
Managed Prometheus
Azure Managed Grafana
Log Analytics
Alerts

Así puedes entender no solo:

¿Cuántos nodos tengo?

sino:

¿Por qué se creó este nodo?
¿Por qué este Pod estaba Pending?
¿Cuánto tardó en aprovisionarse?
¿Existe capacidad infrautilizada?

Flujo completo del diagrama

Puedes resumir la arquitectura en tu blog así:

1. Application demand increases
↓
2. Kubernetes creates more Pods
↓
3. Scheduler tries to place Pods
↓
4. Pods become Unschedulable
↓
5. Autoscaling mechanism detects demand
↓
┌──────┴───────┐
│ │
▼ ▼
Cluster Autoscaler Karpenter / NAP
│ │
▼ ▼
Existing VMSS Analyze Pod needs
Node Pool │
│ ▼
▼ Choose optimal SKU
Scale VMSS │
│ ▼
▼ Provision Azure VM
New Node │
└────────┬───────┘
▼
Node joins AKS
↓
Scheduler retries
↓
Pod Running

Idea principal para el blog

Puedes explicarlo con una frase sencilla:

Cluster Autoscaler pregunta “¿qué node pool existente debo ampliar?”, mientras que Karpenter/NAP pregunta “¿qué tipo de nodo necesita realmente este workload?”

Esa diferencia convierte a Node Auto-Provisioning en un enfoque más dinámico: los Pods generan la demanda, Karpenter evalúa sus requisitos y AKS crea capacidad adecuada justo cuando es necesaria, reduciendo capacidad ociosa y mejorando el equilibrio entre disponibilidad, rendimiento y coste. Microsoft Learn

Deja una respuesta