Nel decennio appena passato, i data warehouse sono stati il pilastro della analisi dei dati aziendali; le funzioni amministrative, di marketing e di vendita hanno basato budget, pianificazioni e reportistiche su queste piattaforme dati centralizzate e alimentate dall’insieme dei sistemi informativi.

Con l’avvento delle soluzioni cloud native per la analisi del dato, proposte da Google, da Microsoft e AWS, sempre più aziende stanno intraprendendo un percorso di modernizzazione del proprio data warehouse. Un percorso verso quella che tutti gli analisti chiamano la Augmented Business Intelligence.

Ne parliamo con tre esperti del nostro centro di eccellenza xTech sulle tecnologie cloud e di gestione dei dati.

Marco Pesarini, Partner di xTech, ci spiega cosa vuol dire modernizzare il proprio data warehouse e per quale ragione i nostri clienti guardino con interesse a queste soluzioni.

“Modernizzare il proprio data warehouse vuol dire portare la propria piattaforma di analisi dei dati su funzioni native cloud, completamente gestite e fornite in modalità pay-per-use. Un po’ come abbiamo fatto con i server di posta elettronica, sostituti da servizi cloud come Office365 o GMail. Niente più hardware o licenze, che spesso ingombrano il budget IT, niente più costi di esercizio o disservizi dal proprio data centre; i dati, i report, le analisi sono sempre disponibili, accessibili attraverso la rete e con un modello di costo basato sul puro consumo.

Google BigQuery, Azure Synapse e AWS RedShift sono le soluzioni cloud, chiavi in mano, su cui costruire la piattaforma dati, senza più pensare a una complicata architettura IT a sostegno della stessa.

Molti nostri clienti si avvicinano alla modernizzazione del data warehouse per ragioni di costo, i nostri benchmark parlano di una riduzione fino al 50% del TCO rispetto alle soluzioni tradizionali. Una riduzione su cui la parte del leone la fanno le licenze software a cui si sostituiscono più snelli modelli di pay-per-use che portano il payback time del progetto di migrazione anche al disotto dei 18 mesi.

Ma i benefici della modernizzazione sono molto più del solo risparmio, i clienti che iniziano ad approfondire il tema capiscono come con una soluzione di data warehouse modernizzata si possono fare analisi non possibili con i data warehouse tradizionali.

Le soluzioni cloud abilitano una gestione molto più in tempo reale della reportistica; si supera il modello “con ritardo” del data warehouse, dove i dati spesso sono vecchi di 24 ore e gli aggiornamenti di molti report avvengono su base settimanale o mensile. Le soluzioni cloud native adottano strumenti di caricamento del dato di derivazione big data con cui si può pensare ad una alimentazione near real-time dai sistemi gestionali al data warehouse, per avere, giusto per fare un esempio, dati contabili freschi di giornata.

I data warehouse nativi cloud sono inoltre più aperti alla gestione di dati non strutturati e di origine esterna alla azienda, pensiamo ad esempio ai dati da sorgenti IoT e dai social network, per una azienda che voglia arricchire le proprie analisi di marketing con i sentiment della rete o con i dati raccolti dagli oggetti connessi sul campo. Questi dati spesso nascono nel cloud e hanno volumi molto importanti, per cui gestirli direttamente sul cloud permette di ridurre drasticamente i costi di trasferimento e abilita una gestione elastica delle risorse – creo spazio per la gestione del dato solo quando mi serve senza dovere affrontare investimenti insensati nel tempo.

Ultimo ma non ultimo, le soluzioni data warehouse cloud integrano nativamente funzionalità di machine learning e intelligenza artificiale, delle più avanzate sul mercato: quelle fornite da Google, Microsoft e Amazon. Funzionalità che possono essere inserite direttamente sulla reportistica della azienda per trasformare i report del vecchio data warehouse in strumenti evoluti di analisi, deduzione e previsione. Strumenti più idonei per affrontare il periodo incerto che ci troviamo ad affrontare; un periodo in cui la nostra esperienza e molte delle nostre prassi potranno non essere più sufficienti; un periodo da affrontare con la Augmented Business Intelligence.

Tutto questo offerto dal cloud, a pochi click di distanza dal nostro PC, dal nostro tablet, dal nostro smartphone, ovunque saremo. Per questo parliamo di una trasformazione epocale.”

Eros Frigerio, Manager e Solution Architect di xTech, ci spiega quali sono le principali sfide che i nostri clienti devono affrontare nel modernizzare il proprio data warehouse e quale approccio è consigliabile seguire.

“Come illustrava il collega Marco, la scelta di modernizzare il proprio data warehouse in cloud introduce numerosi benefici, ma, al contempo, porta una serie di sfide che vanno affrontate durante la progettazione e l’implementazione della soluzione. Le principali sono:

1. Rispetto dei requisiti di sicurezza e compliance: nel mondo del cloud pubblico è necessario porre forte attenzione ai requisiti minimi di sicurezza e di compliance (ad esempio il GDPR). Non si può pensare ad approcci troppo timorosi – dobbiamo anonimizzare tutto – ma serve lavorare sui vari casi d’uso, per trovare soluzioni che siano il miglior compromesso tra agilità operativa e compliance.
2. Necessità di adottare un approccio cloud-native: i modelli dati e le pipeline di ingestion e trasformazione dei dati devono essere ottimizzati per il mondo cloud. Servono competenze specialistiche per adottare le componenti più idonee e ottenere il massimo beneficio dai servizi e dalle funzionalità native del cloud (serverless, autoscaling, etc.). Un approccio al cloud con soluzioni troppo tradizionali non solo non è benefico, potrebbe essere controproducente. Porto ad esempio il tema della modellazione dati, dove un approccio classico guidato dalla normalizzazione per la riduzione dello spazio di memorizzazione, deve cedere il passo a nuovi approcci più orientati alla de-normalizzazione – meno SQL e più excel se mi si concede la metafora – in grado di abilitare al meglio le potenzialità di gestione dei dati non strutturati.
3. Necessità di adottare soluzioni di governance: la configurazione e implementazione dei servizi cloud all’interno del disegno architetturale aziendale deve essere accompagnata da un framework di governance dei dati che permetta di controllare il dato lungo il suo articolato percorso di trasformazione; per garantire i livelli di qualità tecnici e di busienss attesi. La data governance diventa una componente fondamentale del progetto di modernizzazione.

Al fine di prevenire possibili problematiche, è fondamentale quindi avere nel team di progetto il corretto mix di competenze specialistiche, sule funzioni cloud native, sulla data governace e sulla sicurezza nel cloud oltra a saper comprendere, valutare e indirizzare un approccio strutturato e maturo al programma di modernizzazione.

Al fine di assicurare e sostenere l’evoluzione dei caposaldi del nuovo data warehouse, il nostro approccio si sostanzia in tre fasi chiave durante le quali si esaminano quattro aree di intervento: scelta della strategia di accesso al cloud, disegno della architettura di riferimento, data modelling, e roll-out delle soluzioni per gli analytics.

La prima fase è l’assessment, durante la quale si analizza la situazione in essere per valutare la fattibilità tecnica ed economica, la maturità organizzativa e la disponibilità dei dati per individuare la miglior direzione strategica. Un passo fondamentale dell’assessment, che spesso aiuta il cliente nel comprendere i benefici e le sfide legate al data warehouse modernizzato, è il proof of concept, un esercizio in-vitro che mira alla migrazione in cloud di uno specifico ambito di dati, uno specifico report, per toccare con mano cosa la modernizzazione significhi. Un proof of concept si raggiunge in poche settimane ed è spesso di grande aiuto per consapevolizzare tutti gli stakeholder del progetto.

Segue la fase di concettualizzazione della foundation, volta alla creazione dei principali pilastri fondanti del nuovo data warehouse, in termini soprattutto di architettura, modello dati e linee guida di implementazione dei flussi dati e degli analytics.

La terza e ultima fase è quella implementativa, execute, measure and improve, che prevede l’effettiva attivazione e configurazione delle componenti architetturali cloud, lo sviluppo del nuovo modello di dati, delle pipeline di ingestion e trasformazione e l’implementazione degli use case analitici e di reporting. Tutto in un progresso agile che preveda fasi di continuo miglioramento.”

Luca Natali, Associate Data Engineer di xTech, ci spiega quali sono le principali tecnologie abilitanti lo sviluppo di piattaforma di data warehouse modernizzata.

“Le principali tecnologie per lo sviluppo di quello che chiamiamo data warehouse modernizzato, sono i servizi cloud-native sviluppati dai provider per produrre una piattaforma che segua la completa gestione dal dato grezzo alle dashboard di visualizzazione. Questi servizi si possono raggruppare in cinque categorie fondamentali:

• Raw Data Layer: servizi di object-storage, capaci di accomodare dati strutturati, semi-strutturati e non-strutturati. Vengono usati solitamente come aree di appoggio per i file provenienti da altri ambienti cloud o da sistemi presso il data centre del cliente. Alcuni esempi sono: Amazon S3, Google Cloud Storage, Azure Blob Storage.
• Data Integration: strumenti di processing gestiti e scalabili, tali da effettuare un’elaborazione dei dati distribuita adeguando le risorse necessarie alla computazione in maniera dinamica. A corredo di questi strumenti è spesso utile l’inserimento di servizi addizionali per la schedulazione delle attività, servizi per l’elaborazione basata su eventi (come ad esempio le funzioni serverless event-based), servizi per l’anonimizzazione dei dati, servizi di data catalogue, etc. Alcuni esempi di questi strumenti sono: Amazon Glue, Azure Data Factory, Google Dataflow.
• Data Warehousing: è la componente principale della catena, dove vengono salvati i dati, in formato tabellare, nel modello dati, dopo il processo di trasformazione e di valutazione della qualità. Alcuni esempi sono: Amazon Redshift, Google BigQuery, Azure Synapse Analytics
• Visualization/Reporting: sono infine i servizi per lo sviluppo di reportistica e per la creazione di dashboard di visualizzazione dei dati. Molto spesso questi strumenti sono integrati con altre fonti in modo da poter combinare dati da più sorgenti eterogenee abilitando nuove tipologie di analisi.

Alcuni esempi sono: Amazon QuickSight, Microsoft PowerBI, Google Data Studio.

Un aspetto che rende molto appetibili questi strumenti cloud native per la realizzazione di nuovi data warehouse e la loro facilità di integrazione con le sorgenti dati della azienda. Abbiamo la possibilità con pochi passi di configurazione, non solo di integrare sistemi aziendali tradizionali (come ERP o CRM storici) ma anche di agganciare sistemi informativi aziendali più moderni e basati sul cloud, come Salesforce o ServiceNow.

Interessante infine sottolineare come anche per i clienti che hanno già portato sul cloud il proprio data warehouse, senza però cambiare la tecnologia – adottando cioè un approccio lift & shift IaaS , la modernizzazione può rappresentare un’opportunità di introdurre ulteriori benefici a quelli già riscontrati con la prima migrazione del data warehouse: una maggiore flessibilità ed agilità, una superiore affidabilità della piattaforma, una riduzione dei task operativi giornalieri – grazie al servizio completamente gestito (gestione dei backup, degli upgrade SW, ecc.). Questi benefici non riguardano solamente il data warehouse di per se, ma anche tutti gli strumenti relativi al processing del dato, gli strumenti per l’esecuzione di pipeline di ETL, gli strumenti di schedulazione. Per questo, come dicevano i colleghi, al fine di trarre il massimo beneficio dalla soluzione modernizzata, l’intera catena di gestione del dato dalla fase di ingestion fino al reporting dovrebbe essere disegnata e implementata facendo largo uso di strumenti cloud-native.”

---

Se sei interessato a saperne di più sulla nostra offerta o vuoi avere una conversazione con uno dei nostri esperti, invia un’e-mail a [email protected] con “Data Warehouse” come oggetto, e sarai contattato prontamente.