Gestione della qualità dei dati

Analisi accurate e decisioni corrette grazie a dati puliti

Che cos’è la qualità dei dati e la gestione della qualità dei dati?

La qualità dei dati è un concetto soggettivo che ogni azienda deve definire in modo specifico. Si tratta dell’insieme delle caratteristiche di un set di dati che permettono di soddisfare le esigenze degli utenti.
La gestione della qualità dei dati (Data Quality Management) indica tutti i processi e le procedure che mirano a garantire un’elevata qualità dei dati. Ciò comprende l’identificazione, la pulizia e la messa a disposizione dei dati.

Le ragioni principali della scarsa qualità dei dati

I dati non sono mai puliti e perfetti al 100%. Questo può dipendere dal fatto che i dati arrivano in azienda attraverso canali diversi. Di conseguenza, possono risultare obsoleti, duplicati o incoerenti. Per garantire la massima qualità possibile dei dati, è utile conoscere le cause principali che portano a dati errati. In questo modo puoi evitare in anticipo una scarsa qualità dei dati. Ecco le cause principali:

• Inserimento manuale dei dati: in molte aziende i dati vengono inseriti manualmente. Questo però comporta un alto rischio di errori. I dati possono essere inseriti nel posto sbagliato o nel formato sbagliato, e basta un attimo per fare un errore di battitura o invertire due cifre.
• Conversione dei dati: durante il trasferimento dei dati da una posizione di archiviazione all’altra, i dati possono andare persi o essere modificati per sbaglio. Questo può succedere, ad esempio, perché i dati sono salvati in formati diversi o perché la struttura dei dati è diversa.
• Aggiornamenti in tempo reale: per prendere decisioni valide è importante lavorare sempre con dati aggiornati. Ma anche in questo caso possono verificarsi errori, magari perché alcuni record non sono stati ancora aggiornati al momento dell’analisi o perché non c’è stato abbastanza tempo per controllare i dati.
• Unificazione dei dati: quando i dati devono essere unificati, ad esempio in caso di consolidamenti, fusioni aziendali o modifiche al sistema, possono verificarsi errori quali formati non validi, duplicati e conflitti.
• Aggiornamenti del sistema: anche gli aggiornamenti frequenti del tuo software possono causare errori, poiché è possibile che i dati vengano cancellati o danneggiati durante l’operazione.
• Raccolta indiscriminata dei dati: spesso le aziende raccolgono tutti i dati che vengono generati. Questo offre un certo potenziale, dato che i dati potrebbero servire in futuro. Tuttavia, rende anche più difficile garantire la qualità e analizzare i dati. Per questo, dovresti cercare di salvare solo i dati che ti servono davvero.

Come si misura la qualità dei dati? I criteri

Diversi criteri mostrano quanto è alta la qualità dei tuoi dati e se i dati sono adatti per un determinato compito.

• Completezza: tutti i set di dati necessari sono completi?
  I dati incompleti potrebbero non essere utilizzabili o esserlo solo in parte. Per questo bisogna assicurarsi che un set di dati contenga tutti gli attributi necessari e che, a loro volta, gli attributi contengano tutti i dati necessari.
• Pertinenza: sono disponibili tutti i dati necessari per gli scopi previsti?
  Non tutti i dati raccolti sono rilevanti per i vostri scopi. Pertanto, la raccolta deve essere mirata, in modo da includere solo i dati strettamente necessari. Ciò vale in particolare per i dati dei clienti, che sono soggetti alle normative sulla protezione dei dati.
• Accuratezza: i dati raccolti sono corretti e riportati come richiesto?
  Quando raccogli i dati, è importante assicurarti che siano corretti. Allo stesso tempo, dovrebbero anche avere il livello di dettaglio richiesto. Questo significa, ad esempio, che dovrebbero essere salvate tutte le cifre decimali necessarie.
• Attualità: i dati sono aggiornati?
  In un’azienda si generano continuamente nuovi dati. Per questo è importante eseguire le analisi sempre con dati aggiornati, per individuare tempestivamente eventuali cambiamenti o problemi. In pratica, spesso consigliamo ai nostri clienti di basarsi su dati affidabili quando prendono decisioni. A seconda della situazione, può essere utile, ad esempio, usare i dati del giorno prima, dato che i dati in tempo reale possono cambiare in pochissimo tempo.
• Validità: la provenienza dei dati è affidabile, ovvero i dati provengono da fonti affidabili?
  La provenienza dei set di dati dovrebbe essere tracciabile, per poter valutare se i dati sono affidabili.
• Disponibilità e accessibilità: gli utenti possono accedere facilmente ai dati di cui hanno bisogno? Sono nel formato richiesto?
  Ad esempio, se i dati rilevanti sono distribuiti su strumenti diversi o non sono nel formato corretto, non è sempre garantita una facile accessibilità.
• Coerenza: sono presenti contraddizioni o duplicati nei dati? Ci sono incongruenze con altri dati?
  I dati devono essere inequivocabili, privi di contraddizioni tra loro o con altri dati, privi di ridondanze e strutturati in modo uniforme.

Cosa si può fare per garantire un’elevata qualità dei dati?

Per garantire che i dati mantengano costantemente un alto livello di qualità, bisogna innanzitutto stabilire come misurarla. Successivamente, i dati dovrebbero essere analizzati, puliti e monitorati in base ai criteri definiti. Questo processo dovrebbe essere ripetuto regolarmente per mantenere una qualità dei dati costantemente elevata e per poter eliminare definitivamente le fonti di errore.

1. Definire i criteri

Come primo passo, si stabilisce quali criteri usare per misurare la qualità dei dati. Ad esempio, si definisce quali dati devono essere disponibili per le tue esigenze e in quale formato devono essere presentati.

2. Profilazione/analisi dei dati:

L'analisi dei dati serve a individuare dati duplicati, incongruenze, errori e informazioni incomplete. In questo modo è possibile valutare la qualità dei dati e, in fasi successive, pulirli e aggiornarli. Inoltre, l’analisi dei dati può servire a individuare le fonti di errore e quindi ad adottare misure che garantiscano che gli errori individuati non si ripetano in futuro.

3. Pulizia dei dati

Nella fase di pulizia dei dati si risolvono i problemi individuati durante l'analisi dei dati. In pratica, si eliminano i dati duplicati, si completano quelli incompleti e si correggono le incongruenze.

4. Monitoraggio dei dati:

I dati esistenti e quelli nuovi dovrebbero essere controllati continuamente per garantire un’elevata qualità dei dati su base permanente.

Suggerimenti per la gestione della qualità dei dati

1. Determinare le persone responsabili

Se non c’è nessuno che si assuma la responsabilità della qualità dei dati, potrebbe capitare che nessuno si senta in dovere di occuparsene. Per questo è importante stabilire chi ne è responsabile. A seconda del set di dati, possono essere persone diverse, ma anche un solo collaboratore. I responsabili hanno il compito di assicurarsi che, durante l’inserimento dei dati, vengano rispettati gli standard definiti e che i dati vengano regolarmente controllati e aggiornati.

2. Affrontare le carenze di qualità

Non esiste una qualità dei dati al 100%, perché gli errori possono capitare in qualsiasi momento. A seconda dello scopo, però, si può stabilire quali dati devono essere assolutamente corretti per poter eseguire analisi accurate e quindi prendere decisioni giuste.
Il nostro consiglio: è vero che è importante che il maggior numero possibile di record sia corretto. tuttavia, il rapporto costi-benefici delle correzioni potrebbe essere sfavorevole, ad esempio se la pulizia dei dati richiede molto tempo, ma poi li usi poco o non abbiano alcuna rilevanza. Concentrati quindi in primo luogo sui difetti di qualità dei dati essenziali.

3. Migliorare la qualità dei dati direttamente alla fonte

Le soluzioni di Business Intelligence come myPARM BIact ti offrono la possibilità di modificare, correggere o integrare manualmente i dati memorizzati. Tuttavia, tieni presente che, da un lato, con queste correzioni la fonte dei dati rimane comunque errata e, dall’altro, anche le correzioni manuali comportano un elevato rischio di errore. Inoltre, potrebbe capitare che alcuni errori già presenti vengano trascurati. Per questo motivo, la qualità dei dati dovrebbe essere migliorata, se possibile, già a livello della fonte stessa. In questo modo, il software di BI avrà a disposizione dati di alta qualità.

4. Monitoraggio continuo dei dati

Più spesso individui gli errori, li correggi e adotti misure per evitarli, maggiore sarà la qualità dei tuoi dati in futuro. Tuttavia, è importante considerare la qualità dei dati come un processo iterativo, poiché in qualsiasi momento possono insorgere nuovi errori, i requisiti relativi ai dati possono cambiare oppure il volume e la varietà dei dati generati possono aumentare. Il processo di gestione della qualità dei dati dovrebbe quindi essere portato avanti in modo continuo.

Conclusione

Prendere decisioni basate sui dati invece che sull’istinto può contribuire in modo significativo al successo della tua azienda. Questo comporta però il rischio che i dati su cui si è basata una decisione possano essere errati. Per questo motivo è importante che una buona gestione della qualità dei dati ti garantisca di poterti sempre fidare dell’accuratezza dei tuoi dati.

Volete provare​ myPARM BI^act in una demo? Allora fissate subito un appuntamento con noi!