In un mondo sempre più orientato ai dati, l'infrastruttura del Data Warehouse (DWH) è cruciale per le operazioni aziendali. Per un cliente nel settore dei beni di lusso, il loro DWH Legacy era stato costruito oltre 20 anni fa, accumulando numerosi hotfix ed eccezioni. Questo sistema obsoleto ha portato a problemi di stabilità e prestazioni, ostacolando la capacità dell'azienda di soddisfare nuove esigenze di business e di innovazione tecnologica.

Affrontare i problemi critici delle pipeline

Una delle sfide più urgenti era l'inefficienza delle pipeline critiche che generavano report chiave. Qualsiasi errore in queste pipeline poteva causare ritardi, con tempi di esecuzione che potevano durare ore, il che era inaccettabile vista l'urgenza dei report. Questo ha evidenziato la necessità di un processo completo di migrazione e refactoring del DWH.

Per risolvere queste sfide, BIP xTech ha condotto una valutazione dettagliata per determinare l'ambito della modernizzazione e scegliere le tecnologie adeguate. La decisione è stata quella di migrare il DWH su Google Cloud Platform (GCP), utilizzando BigQuery e Dataform per una trasformazione dei dati senza interruzioni.

Sfruttare BigQuery e Dataform

BigQuery è stato scelto per le sue prestazioni superiori rispetto al vecchio hardware on-premise e per la sua integrazione fluida con gli strumenti di Business Intelligence, nonché per la conformità agli standard di sicurezza del settore. Inoltre, il suo modello di pricing "pay-as-you-go" ha permesso al cliente di gestire efficacemente i costi durante la fase di migrazione.

Dataform ha agito come orchestratore, eseguendo query da BigQuery a BigQuery. Questa scelta è stata ideale poiché la maggior parte delle trasformazioni nel sistema legacy erano già implementate in SQL, riducendo così la necessità di riscrivere estensivamente le pipeline. Dataform ha inoltre introdotto pratiche moderne di ingegneria del software, come il controllo di versione, i controlli di qualità dei dati e i test unitari, garantendo una singola fonte di verità per i dati dell'azienda.

Vantaggi del cloud-native

La migrazione al cloud ha fornito al cliente numerose funzionalità native di GCP che hanno migliorato significativamente la loro infrastruttura. Ad esempio, l'uso di snapshot delle tabelle ha consentito rollback istantanei dei dati, mentre Cloud Workflow ha facilitato l'integrazione tra Dataform e altri servizi GCP. Il monitoraggio in tempo reale tramite Cloud Alerting ha assicurato che eventuali errori fossero immediatamente affrontati.

La migrazione a BigQuery ha portato a una drastica riduzione dei tempi di esecuzione delle pipeline. La prima pipeline ottimizzata ha visto un calo del tempo di esecuzione da due ore a pochi minuti, evidenziando i significativi miglioramenti delle prestazioni.

Riduzione dei costi e scalabilità

La migrazione ha anche comportato risparmi sui costi grazie al modello "pay-as-you-go" di BigQuery, che ha ottimizzato le query per caricare solo i dati necessari. Inoltre, l'architettura completamente gestita di GCP ha eliminato i costi di gestione dell'infrastruttura e ha fornito scalabilità automatica per soddisfare le crescenti esigenze del cliente.

Miglioramento della qualità dei dati e documentazione

Grazie a Dataform, il progetto ha prodotto documentazione integrata che ha accelerato l'onboarding di nuovi membri del team. Inoltre, i processi di pulizia dei dati e i controlli delle trasformazioni hanno ridotto il numero di errori e fornito log dettagliati per una facile risoluzione dei problemi.

La migrazione del DWH da Oracle a BigQuery ha trasformato l'infrastruttura dati del cliente, offrendo loro migliori prestazioni, riduzione dei costi e miglioramento nella gestione dei dati. Collaborando con BIP xTech, l'azienda del settore dei beni di lusso si è posizionata per un successo continuo in un mondo orientato ai dati, garantendo che la loro infrastruttura IT sia scalabile, affidabile e a prova di futuro.