USD 1,600 al mes por un pipeline que corría una vez al día

Un cliente grande tenía un problema que le estaba costando USD 1,600 al mes. Nos pidieron revisar su infraestructura y hacer una auditoría completa. Ahí empezó todo.

El problema que heredamos

• Un pipeline que tardaba entre 1.5 y 2 horas en dejar los datos listos para Power BI
• Queries que tardaban 8 a 10 minutos
• 30 GB de datos con crecimiento desordenado
• Varias Lambdas sin CI/CD, con credenciales hardcodeadas y sin alertas de fallo
• Un equipo frustrado porque "la data siempre llegaba tarde"

Lo que encontramos

• Redshift para apenas 30 GB de datos que solo se consultaban una vez al día desde Power BI
• Glue ETL cargando todo en memoria para hacer un merge
• Data duplicada, e incluso triplicada, entre la base, S3 y procesos intermedios
• Sin tracking de estado: si un proceso fallaba, nadie se enteraba hasta que el reporte no llegaba

La decisión

Simplificar la arquitectura por completo: apagar Redshift y Glue, y centralizar todo el flujo en PostgreSQL sobre EC2.

Lo que construimos

• PostgreSQL como orquestador central
• Una tabla report_status con idempotency keys
• Un solo Lambda como trigger desde S3
• Generación automática de schemas y tablas
• Vistas materializadas para los dashboards
• Reintentos automáticos y reprocesamiento controlado
• CI/CD para el orquestador

El resultado

Antes	Después
USD 1,600/mes	USD 130/mes
Pipeline de 2 horas	minutos
Queries de 8–10 min	1–5 segundos
30 GB	5 GB
Crecimiento desordenado	arquitectura predecible

La moraleja

No necesitas una arquitectura "enterprise" para todo. A veces la mejor solución no es agregar más servicios: es entender bien el problema y diseñar algo más simple, más barato y más eficiente. La herramienta correcta no es la más cara — es la que realmente resuelve tu necesidad.

¿Has visto arquitecturas sobredimensionadas para problemas simples?