Resumen de Puntos Destacados de Respuesta a Incidentes

Cada punto destacado de las 9 páginas de esta sección, reunido en una sola página y agrupado por la página de la que proviene.

Respuesta a Incidentes para Servicios Go

• Los incidentes de Go se agrupan en torno a despliegues, saturación, GC/memoria y agotamiento de pools
• El triaje sigue métricas, logs, cambios recientes y luego perfiles dirigidos
• Mitiga el impacto del usuario antes del análisis de causa raíz profunda cuando los SLOs se queman
• pprof, volcados de goroutines y estadísticas de sql.DB son diagnósticos de Go de primera clase
• Las post-mortems sin culpa capturan evidencia en tiempo de ejecución, no solo narrativa

Fundamentos de Resolución de Problemas de Producción

• Registra la versión de compilación y en tiempo de ejecución al inicio con runtime.Version() y debug.ReadBuildInfo()
• Propaga X-Request-ID a través de los manejadores y adjúntalo con slog.With para logs buscables
• Registra pprof solo en el puerto de administración local para perfilar de forma segura la producción bajo carga
• Usa métricas RED acotadas de Prometheus con plantillas de ruta para rastrear la relación de errores y la latencia
• Monitoriza el aumento del recuento de goroutines desde /debug/vars para detectar problemas de memoria y latencia

Perfilado en Vivo de CPU y Heap Bajo Carga de Incidentes

• Recopila perfiles bajo carga real de un pod representativo para evitar datos inactivos engañosos
• El perfilado de CPU tiene costos que escalan con la tasa de muestreo; mantén las ventanas de incidentes en 20-30 segundos
• Heap inuse_space muestra objetos vivos; alloc_space muestra presión acumulada de GC
• Guarda los archivos .prof y la salida de texto de pprof ya que los pods desaparecen pero los tickets persisten
• Limita /debug/pprof al loopback con autenticación de token antes de recopilar cualquier perfil
• Establece runtime.MemProfileRate = 1 solo en un pod para ventanas de depuración, nunca en toda la flota

Análisis de Volcado de Goroutines y Perfil de Fugas

• Monitoriza runtime.NumGoroutine() como advertencia temprana de que el recuento de goroutines está aumentando
• Agrupa pilas idénticas del endpoint /debug/pprof/goroutine para identificar patrones de fuga
• Usa la salida debug=2 para revelar la función creadora, el estado y los marcos de pila completos
• Las barras anchas en la vista de goroutines de pprof muestran muchas copias de la misma traza de fuga idéntica
• Ejecuta el servidor pprof de administración junto con la carga de trabajo para volcados de goroutines en vivo y análisis
• El experimento de perfil de fuga de goroutines de Go 1.26 atribuye el crecimiento a los sitios de creación

Playbooks de OOM, Tormenta de GC y Pico de Latencia

• Confirma si OOMKilled, solo latencia o ambos mediante kubectl describe pod
• Establece GOMEMLIMIT al 90% del límite de memoria del contenedor
• Perfila el heap con inuse_space y luego alloc_space antes de reiniciar el pod
• Corrige los 1-2 principales marcos de alloc_space antes de optimizar en otro lugar
• Las tormentas de GC siguen la tasa de asignación más que la configuración de GC
• Prueba de resistencia a carga máxima durante 30+ minutos para validar la estabilización del heap

Agotamiento del Pool de Conexiones de Base de Datos

• DB.Stats() expone WaitCount y WaitDuration, la prueba irrefutable de agotamiento
• Escalar pods sin redimensionar MaxOpenConns multiplica la demanda de conexiones por réplica
• Cada réplica tiene su propio pool; las conexiones totales son iguales a réplicas por MaxOpenConns
• sql.DB es un pool, no una sola conexión; contrólalo a través de SetMaxOpenConns
• Nunca esperes E/S de usuario o de red dentro de transacciones; mantenlas cortas
• Usa QueryContext en todas partes ya que Query ignora la cancelación de la solicitud

Plantilla de Post-Mortem para Incidentes de Go

• Completa los metadatos y la línea de tiempo de post-mortem dentro de las 48 horas mientras los detalles del incidente estén frescos
• Captura el estado del runtime de Go: versión, SHA de compilación, GOMEMLIMIT, GOMAXPROCS y métricas de GC
• Adjunta el perfil de CPU, el perfil de heap, el volcado de goroutines y la diferencia de despliegue al apéndice de evidencia
• Usa los Cinco Porqués para el análisis de causa raíz sin culpa en lugar de lenguaje de culpa
• Aborda OOMKilled estableciendo GOMEMLIMIT y corrigiendo fugas de memoria antes de escalar
• Agrega detección de fugas de goroutines a través de goleak CI y el flag -race en pruebas de staging

Lista de Verificación de Traspaso de Guardia para Plataformas Go

• Completa la documentación de traspaso dentro de los 30 minutos posteriores al final del turno con el acuse de recibo del ingeniero entrante
• Enlaza dashboards y tickets en lugar de depender de la transferencia de conocimiento solo verbal
• Escala incidentes activos SEV-1 y SEV-2 a través de un puente en vivo en lugar de notas asíncronas
• Documenta las etiquetas de imagen de Go y los cambios de entorno GOMEMLIMIT/GOGC en la sección de despliegues recientes
• Marca el agotamiento de solo latencia sin errores como problemas de GC o pool de conexiones para investigar
• Verifica que el ingeniero entrante tenga acceso a VPN y Kubernetes para puertos de administración y pprof

Mejores Prácticas de Resolución de Problemas de Producción

• Expón métricas RED por plantilla de ruta para el triaje del primer minuto
• Exporta sql.DB.Stats() como medidores de Prometheus para alertar sobre el agotamiento del pool
• Rastrea el recuento de goroutines y los percentiles de pausa de GC para incidentes de memoria
• Usa QueryContext con plazos en cada llamada a la base de datos para evitar esperas en el pool
• Establece MaxOpenConns usando la fórmula de límite de DB dividido por el recuento de réplicas
• Monta pprof solo en puertos autenticados, nunca los expongas al público