Caso de Estudio
Cracking Nielsen's ETL: From 20 Days to 3
Faster POS data: cutting Nielsen ETL from 20 days to 3.
En P&G Canadá, Arturo reconstruyó el ETL de POS de Nielsen, evitando su UI lenta y propensa a fallos mediante automatización ODBC directa. Esto otorgó a ventas y planificación acceso a datos más rápido que Walmart, convirtiendo cuellos de botella de datos en ventaja competitiva.
Resultados Clave
La Transformación
El Desafío
Los datos de POS de Nielsen eran vitales para la gestión de categorías en P&G Canadá, pero la tubería de extracción estándar era dolorosamente lenta. Las descargas a través de la UI de Nielsen tardaban hasta 20 días, y eso si funcionaban. Los frecuentes tiempos de espera y fallos de sesión hacían que los analistas pasaran horas supervisando extracciones, reiniciando trabajos y reconciliando datos parciales. Para cuando los datos llegaban a ventas y planificación, ya tenían dos o tres semanas de antigüedad.
El impacto iba más allá de la incomodidad. El equipo de Walmart Canadá de P&G perdía terreno en las revisiones de categoría porque competidores con pipelines más rápidos tomaban decisiones promocionales y de surtido semanas antes. Los gerentes de categoría no podían responder a cambios del mercado que aún no veían. El equipo de ventas intuía que algo fallaba en ciertas tiendas, pero no podía respaldarlo con números actuales. Mientras tanto, los analistas dedicaban un tercio de su semana solo a extraer datos de Nielsen, tiempo que debería ir al análisis.
- Las descargas tardaban hasta 20 días mediante la UI estándar.
- Los frecuentes fallos y tiempos de espera requerían supervisión constante de los analistas.
- Los datos de dos a tres semanas de antigüedad hacían que los gerentes de categoría entraran a las revisiones de Walmart sin los números más recientes.
- Los analistas dedicaban días cada semana solo a la extracción, sin tiempo para el análisis real.
Nuestro Enfoque
Evitamos la UI de Nielsen por completo y fuimos directo a la fuente. Reverse-engineerizamos la estructura de la base de datos backend de Nielsen y establecimos una conexión ODBC directa — algo que sus herramientas estándar no soportaban ni documentaban. Esto requirió mapear sus relaciones internas de tablas y entender cómo Nielsen segmentaba los datos por geografía, categoría y período a nivel de base de datos.
Luego, construimos un pipeline de extracción automatizado usando flujos de trabajo KNIME en infraestructura VM dedicada. Cada flujo manejaba un dominio específico (volúmenes POS, ventas en dólares, métricas de distribución, participación en estante) y se ejecutaba en trabajos cron programados que extraían datos continuamente sin intervención manual. La lógica de extracción manejaba la cadencia de actualización de Nielsen: sabíamos qué tablas se refrescaban en qué días, priorizando las métricas más sensibles al tiempo.
La fiabilidad era tan importante como la velocidad. Incorporamos lógica de reintento y validación de conteo de filas en cada paso para que las extracciones fallidas o parciales se recuperaran automáticamente. Una comparación de checksum contra la extracción anterior detectaba actualizaciones retroactivas de Nielsen, algo más común de lo esperado. También diseñamos el formato de salida para encajar directamente en las plantillas de reporte internas de P&G, eliminando el paso de reformateo que antes añadía un día completo a cada ciclo.
Una vez estable el pipeline, configuramos la distribución semanal de datasets actualizados a todo el equipo de Walmart Canadá de P&G: líderes de ventas, gerentes de categoría y analistas de cadena de suministro recibían datos validados y actuales con la misma cadencia. En lugar de que cada analista ejecutara su propia extracción obteniendo resultados distintos según cuándo lo hiciera, todos trabajaban con el mismo dataset. También construimos vistas específicas por categoría que pre-filtraban los datos para el alcance de cada analista, reduciendo su tiempo de configuración a cero.
El Resultado
El SLA bajó de 20 a 3 días — una reducción del 85% en la latencia de datos. Pero el impacto real fue aguas abajo. Los equipos de ventas podían responder a movimientos del mercado en días, no semanas. Los gerentes de categoría entraban a las revisiones de Walmart con datos más frescos que los propios compradores de Walmart, una ventaja competitiva significativa en un entorno minorista donde la ventaja de datos se traduce directamente en influencia en el estante.
Esta ventaja contribuyó directamente a que P&G asegurara la Captaincy de Categoría en Walmart para Cuidado Bucal, Cuidado Femenino y Cuidado Infantil: el reconocimiento del minorista de que P&G era el socio más capaz analíticamente en esas categorías. La Captaincy significaba que P&G ayudaba a Walmart a tomar decisiones de surtido y estantería para toda la categoría, no solo para sus propios productos.
Los insights más rápidos se tradujeron en aproximadamente $5M de aumento anual en POS, impulsado por un mejor timing promocional, recomendaciones de surtido más inteligentes y una reacción más rápida a los movimientos de la competencia. Los analistas que pasaban 3 días a la semana en extracción redirigieron ese tiempo al análisis real: el tipo de trabajo profundo que informaba las revisiones trimestrales y la planificación anual. El pipeline funcionó durante años después del despliegue inicial con mantenimiento mínimo, convirtiéndose en parte de la infraestructura invisible del equipo.
Lo Que Dice el Cliente
Arturo aprendió nuevas tecnologías rápidamente y las aplicó a problemas del negocio—rediseñó nuestra extracción masiva de datos para que fuera 10× más rápida en menos de dos meses, y después permitió que otros escalaran el mismo enfoque.
Aamir Mohatarem
Senior Manager - Business Analytics, Procter & Gamble
¿Quieres resultados similares para tu organización?
HablemosTambién Te Puede Interesar
How High is High: Breaking the Negative Feedback Loop in Automated Replenishment
Identified critical flaw in Walmart's automated replenishment, developed custom OSA algorithm, and drove $3M incremental revenue across two P&G categories in 4 months.
Leer caso de estudioAutomated Replenishment Reports Saved 120+ Hours Monthly
Cutting analysis time from days to minutes — boosting in-stock rates across Walmart Canada.
Leer caso de estudio¿Listo para convertir datos en decisiones?
Hablemos de cómo lograr ROI medible en meses.