Gestión de la calidad de los datos

Análisis acertados y decisiones correctas gracias a datos limpios

¿Qué es la calidad de los datos y la gestión de la calidad de los datos?

La calidad de los datos es un concepto subjetivo que cada empresa debe definir por sí misma. Se refiere al conjunto de características de un conjunto de datos que permiten satisfacer las necesidades de los usuarios.
La gestión de la calidad de los datos hace referencia a todos los procesos y procedimientos destinados a garantizar una alta calidad de los datos. Esto incluye identificar, depurar y poner a disposición los datos.

Las principales causas de la mala calidad de los datos

Los datos nunca están al 100 % limpios ni son perfectos. Esto puede deberse a que llegan a la empresa por diferentes vías. Por eso, pueden estar desactualizados, repetidos o ser incoherentes. Para garantizar la mayor calidad posible de los datos, te conviene conocer las causas principales de los datos erróneos. Así podrás evitar de antemano que los datos sean de mala calidad. Estas son las causas principales:

• Introducción manual de datos: En muchas empresas se introducen los datos a mano. Sin embargo, esto conlleva un alto riesgo de errores. Los datos pueden introducirse en el lugar equivocado o en un formato incorrecto, y es muy fácil cometer un error tipográfico o invertir dos cifras.
• Conversión de datos: Al transferir datos de un lugar a otro, estos pueden perderse o modificarse sin querer. Esto puede deberse, por ejemplo, a que los datos se guardan en formatos diferentes o a que la estructura de los datos es distinta.
• Actualizaciones en tiempo real: Para poder tomar buenas decisiones, es importante trabajar siempre con datos actualizados. Pero incluso aquí pueden surgir errores si algunos registros aún no se han actualizado en el momento del análisis o porque no ha habido tiempo suficiente para revisarlos.
• Fusión de datos: si hay que fusionar datos, por ejemplo, en casos de consolidaciones, fusiones de empresas o cambios en los sistemas, también pueden surgir errores como formatos no válidos, duplicados y conflictos.
• Actualizaciones del sistema: Las actualizaciones frecuentes de tu software también pueden provocar errores, ya que es posible que, durante el proceso, se borren o se dañen datos.
• Recopilación indiscriminada de datos: A menudo, las empresas recopilan todos los datos que se generan. Esto tiene cierto potencial, ya que los datos podrían ser necesarios en el futuro. Sin embargo, también complica el control de calidad y el análisis de datos. Por eso, lo mejor es guardar solo los datos que realmente se necesiten.

¿Cómo se mide la calidad de los datos? Los criterios

Varios criterios le muestran la calidad de sus datos y si éstos son adecuados para una tarea específica.

• Integridad: ¿Están completos todos los registros de datos requeridos?
  Los datos incompletos pueden resultar inutilizables o solo parcialmente utilizables. Por lo tanto, es fundamental garantizar que un conjunto de datos contenga todos los atributos necesarios y que, a su vez, dichos atributos contengan todos los datos necesarios.
• Relevancia: ¿Están disponibles todos los datos necesarios para los fines previstos?
  No todos los datos recopilados son relevantes para sus fines. Por lo tanto, deben recopilarse de forma selectiva, de manera que solo se obtengan los datos necesarios. Esto se aplica especialmente a los datos de los clientes, que están sujetos a la normativa de protección de datos.
• Precisión: ¿Son correctos los datos registrados y se han indicado tal y como se necesita?
  Cuando recopiles datos, es importante asegurarte de que sean correctos. Al mismo tiempo, también deben tener el nivel de detalle necesario. Esto significa, por ejemplo, que deben guardarse todos los decimales necesarios.
• Actualidad: ¿Están los registros actualizados?
  En una empresa se generan datos nuevos constantemente. Por eso, es recomendable realizar los análisis siempre con datos actuales para detectar cambios o problemas a tiempo. En la práctica, solemos recomendar a nuestros clientes que, a la hora de tomar decisiones, se basen en datos con una fecha de actualización fiable. Dependiendo de la situación, puede ser conveniente, por ejemplo, usar los datos del día anterior, ya que los datos en tiempo real pueden cambiar en muy poco tiempo.
• Validez: ¿Es fiable el origen de los datos o proceden de fuentes fiables?
  El origen de los conjuntos de datos debe ser rastreable para poder evaluar si los datos son fiables.
• Disponibilidad y accesibilidad: ¿Pueden los usuarios acceder fácilmente a los datos que necesitan? ¿Están disponibles en el formato requerido?
  Por ejemplo, si los datos relevantes están distribuidos en diferentes herramientas o no están en el formato correcto, no siempre se garantiza un fácil acceso.
• Consistencia: ¿Existen contradicciones o duplicados en los datos? ¿Hay inconsistencias con otros datos?
  Los datos deben ser inequívocos, sin contradicciones entre sí o con otros datos, sin redundancias y con una estructura uniforme.

¿Qué se puede hacer para garantizar una alta calidad de los datos?

Para que los datos mantengan siempre una alta calidad, primero hay que definir cómo se mide esa calidad. A continuación, hay que analizar, depurar y supervisar los datos según los criterios definidos. Este proceso debe repetirse con regularidad para mantener una alta calidad de los datos de forma constante y poder eliminar de forma permanente las fuentes de error.

1. definir criterios

En primer lugar, se determina qué criterios se van a utilizar para medir la calidad de los datos. Por ejemplo, se define qué datos deben estar disponibles para tus fines y en qué formato deben presentarse.

2. perfilado de datos / análisis de datos:

El análisis de datos sirve para detectar datos duplicados, contradicciones, errores e información incompleta. De esta forma, se puede evaluar la calidad de los datos y, en pasos posteriores, limpiarlos y actualizarlos. Además, el análisis de datos sirve para identificar las fuentes de error y así tomar medidas que garanticen que los errores detectados no vuelvan a ocurrir en el futuro.

3. limpieza de datos / depuración de datos:

En el paso de limpieza de datos se solucionan los problemas detectados en el análisis de datos. Es decir, se eliminan los datos duplicados, se completan los datos incompletos y se corrigen las contradicciones.

4. control de datos / supervisión de datos:

Los datos existentes y los nuevos deben revisarse continuamente para garantizar una alta calidad de los datos a largo plazo.

Consejos para la gestión de la calidad de los datos

1. determinar quién es responsable

Si nadie se hace cargo de la calidad de los datos, puede que nadie se sienta responsable de ello. Por eso es importante designar a los responsables. Dependiendo del conjunto de datos, pueden ser varias personas, pero también un solo empleado. Los responsables se encargan de velar por que, al introducir los datos, se respeten las normas establecidas, así como de que los datos se revisen y actualicen con regularidad.

2. tratamiento de los defectos de calidad

No existe una calidad de datos del 100 %, ya que en cualquier momento pueden producirse errores. Sin embargo, dependiendo del uso que se le vaya a dar, se puede determinar qué datos deben ser correctos sin falta para poder realizar análisis precisos y, así, tomar decisiones acertadas.
Nuestro consejo: aunque es importante que el mayor número posible de registros sea correcto, sin embargo, la relación coste-beneficio de las correcciones puede ser desfavorable, por ejemplo, si la limpieza de los datos lleva mucho tiempo, pero luego apenas los utilizas o no tienen relevancia. Por eso, céntrate ante todo en solucionar los problemas de calidad de los datos esenciales.

3. mejorar la calidad de los datos directamente en la fuente

Las soluciones de inteligencia empresarial, como myPARM BIact, te permiten modificar, corregir o completar manualmente los datos almacenados. Sin embargo, debes tener en cuenta que, por un lado, con estas correcciones la fuente de datos sigue conteniendo errores y, por otro, las correcciones manuales también conllevan un alto riesgo de cometer errores. Además, podría pasar que se pasaran por alto errores ya existentes. Por eso, lo mejor es mejorar la calidad de los datos, a ser posible, ya en la fuente de datos. Así se proporcionan datos de alta calidad al software de BI.

4. control continuo de los datos

Cuanto más a menudo detectes errores, los corrijas y tomes medidas para evitarlos, mayor será la calidad de tus datos en el futuro. Sin embargo, es importante ver la calidad de los datos como un proceso iterativo, ya que en cualquier momento pueden surgir nuevos errores, cambiar los requisitos de los datos o aumentar el volumen y la diversidad de los datos generados. Por eso, el proceso de gestión de la calidad de los datos debería llevarse a cabo de forma continua.

Conclusión

Tomar decisiones basadas en datos, en lugar de en corazonadas, puede contribuir en gran medida al éxito de tu empresa. Sin embargo, esto conlleva el riesgo de que los datos que han llevado a esa decisión puedan ser erróneos. Por eso es importante que una buena gestión de la calidad de los datos te garantice que puedas confiar en que tus datos son correctos en todo momento.

¿Desea conocer​ myPARM BI^act en una demostración? Entonces, ¡concierte una cita con nosotros ahora mismo!